CN106953775A - 一种实现报文检错的方法及装置 - Google Patents
一种实现报文检错的方法及装置 Download PDFInfo
- Publication number
- CN106953775A CN106953775A CN201610009902.0A CN201610009902A CN106953775A CN 106953775 A CN106953775 A CN 106953775A CN 201610009902 A CN201610009902 A CN 201610009902A CN 106953775 A CN106953775 A CN 106953775A
- Authority
- CN
- China
- Prior art keywords
- message
- data block
- enter
- going out
- analysis node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
Landscapes
- Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种实现报文检错的方法及装置,包括:将存储的入向报文和出向报文分别分解为相应的数据块后,分发到预先建立的两个或两个以上分析节点;各分析节点对分发给自身的数据块进行入向报文与出向报文的中不应发生变化部分进行匹配,确定未出错的报文;按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文,并继续进行入向报文与出向报文中不应发生变化部分的匹配,直至所有未匹配成功的报文在同一分析节点时,确定未匹配成功的报文发生错误。本发明方法通过将入向报文和出向报文进行存储、分解和分发后,进行不应发生变化部分的匹配,实现了对发生错误报文的检测。
Description
技术领域
本发明涉及数据通信领域,尤指一种实现报文检错的方法及装置。
背景技术
在运行商网络、企业网络、以及互联网网络等网络中涉及种类和数量都十分庞大的网络设备,例如:宽带远程接入服务器(BRAS)设备、接入/核心路由器设备、接入/核心交换机设备、三层交换机设备和各种光网络设备等。这些网络设备运行IP网络协议,通过相互连接构建了一个基于IP网络协议的世界。报文经过网络设备传输时部分报文字段是不应发生变化的,而在报文传输过程中则可能发生报文错误的情况;以企业网络为例,假设存在区域A与区域B、区域A与区域C的通信链路,区域A和区域B之间的通信链路由于路由器或交换机的丢包率高、系统问题等IP链路问题使不应发生变化的报文字段在区域A和区域B之间传输时发生变化,造成报文错误的问题,影响正常通信。上述系统问题可能是系统软件或硬件存在故障、或外部环境影响系统工作性能(比如电磁干扰)等影响报文正常传输的问题。如果不应发生变化的报文字段被改变,例如IP地址字段被修改,则报文会被投递到错误的目的地址,最终作为坏包丢弃,影响网络的正常通信。
当网络规模不大时,发现错误报文后,一般可以由经验丰富的技术人员根据经验判断是否网络设备可能存在的问题,通过重启可能存在问题的网络设备、重新进行网络连接、或更换网络设备等方法进行报文出错问题的解决。当网络规模增大到一定程度时,如何确定报文是否发生错误变得十分困难,基于错误报文依据经验进行网络设备是否存在问题的判断准确程度也大大降低,解决错误报文问题需要进行多次尝试,而每次尝试都可能造成网络彻底中断,影响网络的正常通信。尤其是对于规模庞大的互联网网络,确定报文发生错误尤为困难。
发明内容
为了解决上述技术问题,本发明提供一种实现报文检错的方法及装置,能够在网络规模增大的情况下,确定报文是否发生错误。
为了达到本发明目的,本发明提供了一种实现报文检错的方法,包括:
获取并存储被检测网络传输的入向报文和出向报文;
将存储的入向报文和出向报文分别分解为相应的数据块后,分发分解的数据块到预先建立的两个或两个以上分析节点;
各分析节点对分发给自身的数据块进行入向报文与出向报文的中不应发生变化部分进行匹配,确定未出错的报文;
剔除各分析节点确定的未出错的报文后,按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文,并继续进行入向报文与出向报文中不应发生变化部分的匹配,直至所有未匹配成功的报文在同一分析节点时,确定未匹配成功的报文发生错误;
所述被检测网络为由一个或一个以上网络设备构成的网络。
可选的,获取被检测网络传输的入向报文和出向报文具体包括:
当所述网络设备为电口设备时,通过所述被检测网络的网络设备上配置复制所述入向报文和所述出向报文;
当所述网络设备为光口设备时,通过所述被检测网络的分光器进行所述入向报文和所述出向报文的分光复制。
可选的,存储被检测网络传输的入向报文和出向报文具体包括:
将获取的所述入向报文和所述出向报文分别按照二进制文件的形式进行存储。
可选的,将存储的入向报文和出向报文分别分解为相应的数据块具体包括:
将存储的入向报文按照预设的固定值或预设的区间值分解为相应的数据块;
将存储的出向报文按照预设的固定值或预设的区间值分解为相应的数据块。
可选的,将存储的入向报文和出向报文分别分解为相应的数据块具体包括:
当当前数据块大小小于预设的固定值,且加上下一条报文数据块大小大于所述预设的固定值,则将所述当前数据块进行补充数位处理,使完成补充数位处理后的数据块大小等于所述预设的固定值,将完成补充数位处理的数据块作为分解的数据块;或,
当当前数据块大小大于预设的区间值的最小值,且加上下一条报文的数据块大小小于或等于所述预设的区间值的最大值,则将所述当前数据块加上下一条报文的数据块作为分解的数据块。
可选的,按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文具体包括:
剔除各分析节点确定的未出错的报文后,逐次选择一个或一个以上分析节点,将选择的分析节点的所述剩余的入向报文和出向报文分发到其他分析节点。
可选的,该方法还包括:对所述数据块中的各条报文进行区分。
可选的,对所述数据块中的各条报文进行区分具体包括:
在数据块的预设位置记录各报文长度,通过记录的报文长度区分所述数据块中的各条报文。
可选的,将入向报文与出向报文中不应发生变化部分进行匹配具体包括:
将所述入向报文中不应发生变化部分的内容与出向报文中所述不应发生变化部分的内容进行匹配;或,
提取所述入向报文中不应发生变化部分的内容的特征值和所述出向报文中不应发生变化部分的内容的特征值;
将提取的所述入向报文中不应发生变化部分的内容的特征值与提取的所述出向报文中不应发生变化部分的内容的特征值进行匹配。
可选的,确定未匹配成功的报文发生错误前,该方法还包括:
过滤所述被检测网络主动发出的出向报文和发送给所述被检测网络的入向报文。
可选的,当所述被检测网络传输的报文的常见报文时,该方法还包括:对入向报文和出向报文中不应发生变化部分包含的区分字段内容进行报文学习;
通过获得入向报文和出向报文中不应发生变化部分包含的区分字段内容的报文学习结果对报文学习结果中入向报文和出向报文中不应发生变化部分包含的区分字段匹配的报文进行过滤,对剩余的报文进行所述入向报文和出向报文中不应发生变化部分的匹配。
可选的,确定未出错的报文具体包括:
各分析节点对分发给自身的数据块中包含的入向报文和出向报文分别进行哈希映射及归约计算;
对完成映射及规约计算的入向报文和出向报文进行入向报文与出向报文的中不应发生变化部分的匹配,确定匹配成功的键值对对应的入向报文和出向报文为未出错的报文。
可选的,剔除确定的未出错的报文具体包括:
根据所述哈希计算的映射确定所述匹配成功的键值对对应的入向报文和出向报文在数据块中的位置,并进行剔除处理。
可选的,存储被检测网络传输的入向报文和出向报文为预设时间跨度内被检测网络传输的入向报文和出向报文,该方法还包括:
将当前时间跨度内未匹配成功的报文中时间属性在时间边界TR内的报文检出,并存储到下一个时间跨度T存储的所述被检测网络传输的入向报文和出向报文中,进行报文检错。
可选的,该方法之前还包括:区分所述入向报文和出向报文。
另一方面,本申请还提供一种实现报文检错的系统,包括:处理装置和两个或两个以上分析节点;其中,
处理装置包括:获取存储单元、分解分发单元及重分单元;其中,
获取存储单元,用于获取并存储被检测网络传输的入向报文和出向报文;
分解分发单元,用于将存储的入向报文和出向报文分别分解为相应的数据块后,分发分解的数据块到预先建立的各分析节点;
重分单元,用于各分析节点剔除确定的未出错的报文后,按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文;
各分析节点包括匹配单元、剔除单元及确定单元;其中,
匹配单元,用于对分发给自身的数据块进行入向报文与出向报文的中不应发生变化部分进行匹配,确定未出错的报文;
剔除单元,用于剔除确定的未出错的报文;
确定单元,用于确定所有未匹配成功的报文均在自身时,确定未匹配成功的报文发生错误;
所述被检测网络为由一个或一个以上网络设备构成的网络。
再一方面,本申请还提供一种实现报文检错的处理装置,包括:获取存储单元、分解分发单元及重分单元;其中,
获取存储单元,用于获取并存储被检测网络传输的入向报文和出向报文;
分解分发单元,用于将存储的入向报文和出向报文分别分解为相应的数据块后,分发分解的数据块到预先建立的各分析节点;
重分单元,用于各分析节点剔除确定的未出错的报文后,按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文;
可选的,获取存储单元具体用于,
当所述网络设备为电口设备时,通过所述被检测网络的网络设备上配置复制所述入向报文和所述出向报文,将配置复制的被检测网络传输的入向报文和出向报文进行存储;
当所述网络设备为光口设备时,通过所述被检测网络的分光器进行所述入向报文和所述出向报文的分光复制,将分光复制的被检测网络传输的入向报文和出向报文进行存储。
可选的,获取存储单元具体用于,
获取被检测网络传输的入向报文和出向报文,将获取的所述入向报文和所述出向报文分别按照二进制文件的形式进行存储。
可选的,分解分发单元具体用于,
将存储的入向报文按照预设的固定值或预设的区间值分解为相应的数据块;和,
将存储的出向报文按照预设的固定值或预设的区间值分解为相应的数据块;
分发分解的数据块到预先建立的各分析节点进行报文检错。
可选的,分解分发单元具体用于,
当当前数据块大小小于预设的固定值,且加上下一条报文数据块大小大于所述预设的固定值,则将所述当前数据块进行补充数位处理,使完成补充数位处理后的数据块大小等于所述预设的固定值,将完成补充数位处理的数据块作为分解的数据块;或,
当当前数据块大小大于预设的区间值的最小值,且加上下一条报文的数据块大小小于或等于所述预设的区间值的最大值,则将所述当前数据块加上下一条报文的数据块作为分解的数据块;
分发分解的数据块到预先建立的各分析节点进行报文检错。
可选的,该处理装置还包括区分单元,用于对所述数据块中的各条报文进行区分。
可选的,区分单元具体用于,
在数据块的预设位置记录各报文长度,通过记录的报文长度区分所述数据块中的各条报文。
可选的,重分单元具体用于,剔除各分析节点确定的未出错的报文后,逐次选择一个或一个以上分析节点,将选择的分析节点的所述剩余的入向报文和出向报文分发到其他分析节点。
可选的,存储被检测网络传输的入向报文和出向报文为预设时间跨度内被检测网络传输的入向报文和出向报文,该处理装置还包括边界处理单元,用于将当前时间跨度内未匹配成功的报文中时间属性在时间边界TR内的报文检出,并存储到下一个时间跨度T存储的所述被检测网络传输的入向报文和出向报文中,进行报文检错。
可选的,该处理装置还包括入向出向区分单元,用于区分所述入向报文和出向报文。
还一方面,本申请还提供一种实现报文检错的分析节点,包括匹配单元、剔除单元及确定单元;其中,
匹配单元,用于对接收的数据块进行入向报文与出向报文的中不应发生变化部分进行匹配,确定未出错的报文;
剔除单元,用于剔除确定的未出错的报文;
确定单元,用于确定所有未匹配成功的报文均在自身时,确定未匹配成功的报文发生错误。
可选的,匹配单元具体用于,对分发给自身的数据块中的入向报文和出向报文,
将所述入向报文中不应发生变化部分的内容与出向报文中所述不应发生变化部分的内容进行匹配;或,
提取所述入向报文中不应发生变化部分的内容的特征值和所述出向报文中不应发生变化部分的内容的特征值;
将提取的所述入向报文中不应发生变化部分的内容的特征值与提取的所述出向报文中不应发生变化部分的内容的特征值进行匹配。
可选的,该分析节点还包括过滤单元,用于确定未匹配成功的报文发生错误前,过滤所述被检测网络主动发出的出向报文和发送给所述被检测网络的入向报文。
可选的,该分析节点还包括报文学习单元和学习过滤单元,
报文学习单元,用于当所述被检测网络传输的报文的常见报文时,对入向报文和出向报文中不应发生变化部分包含的区分字段内容进行报文学习;
学习过滤单元,用于通过获得入向报文和出向报文中不应发生变化部分包含的区分字段内容的报文学习结果对报文学习结果中入向报文和出向报文中不应发生变化部分包含的区分字段匹配的报文进行过滤,对剩余的报文发送到匹配单元进行所述入向报文和出向报文中不应发生变化部分的匹配。
可选的,匹配单元具体用于,
对接收的数据块中包含的入向报文和出向报文进行哈希映射及归约计算;
对完成映射及规约计算的入向报文和出向报文进行入向报文与出向报文的中不应发生变化部分的匹配,确定匹配成功的键值对对应的入向报文和出向报文为未出错的报文。
可选的,剔除单元具体用于,根据所述哈希计算的映射确定所述匹配成功的键值对对应的入向报文和出向报文在数据块中的位置,以进行剔除处理。
与现有技术相比,本申请技术方案包括:将存储的入向报文和出向报文分别分解为相应的数据块后,分发到预先建立的两个或两个以上分析节点;各分析节点对分发给自身的数据块进行入向报文与出向报文的中不应发生变化部分进行匹配,确定未出错的报文;按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文,并继续进行入向报文与出向报文中不应发生变化部分的匹配,直至所有未匹配成功的报文在同一分析节点时,确定未匹配成功的报文发生错误。本发明方法通过将入向报文和出向报文进行存储、分解和分发后,进行不应发生变化部分的匹配,实现了对发生错误报文的检测。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实现报文检错的方法的流程图;
图2为本发明实现报文检错的系统的结构程图;
图3为本发明实现报文检错的处理装置的结构框图;
图4为本发明实现报文检错的分析节点的结构框图;
图5为本发明第一实施例的方法流程图;
图6为本发明第二实施例的方法流程图;
图7为本发明第三实施例的方法流程图;
图8为本发明第四实施例的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
图1为本发明实现报文检错的方法的流程图,如图1所示,包括:
步骤100、获取并存储被检测网络传输的入向报文和出向报文;这里,被检测网络为由一个或一个以上网络设备构成的网络。
本步骤中,获取被检测网络传输的入向报文和出向报文具体包括:
当网络设备为电口设备时,通过被检测网络的网络设备上配置复制入向报文和出向报文;
当网络设备为光口设备时,通过被检测网络的分光器进行入向报文和出向报文的分光复制。
存储被检测网络传输的入向报文和出向报文具体包括:
将获取的入向报文和出向报文分别按照二进制文件的形式进行存储。
步骤101、将存储的入向报文和出向报文分别分解为相应的数据块后,分发分解的数据块到预先建立的两个或两个以上分析节点;
本步骤中,将存储的入向报文和出向报文分别分解为相应的数据块具体包括:
将存储的入向报文按照预设的固定值或预设的区间值分解为相应的数据块;
将存储的出向报文按照预设的固定值或预设的区间值分解为相应的数据块。
优选的,将存储的入向报文和出向报文分别分解为相应的数据块具体包括:
当当前数据块大小小于预设的固定值,且加上下一条报文数据块大小大于预设的固定值,则将当前数据块进行补充数位处理,使完成补充数位处理后的数据块大小等于预设的固定值,将完成补充数位处理的数据块作为分解的数据块;或,
当当前数据块大小大于预设的区间值的最小值,且加上下一条报文的数据块大小小于或等于预设的区间值的最大值,则将当前数据块加上下一条报文的数据块作为分解的数据块。
需要说明的是,入向报文的数据块和出向报文的数据块是分开进行分解的,下一条报文是指相应的入向报文或出向报文,即入向报文的数据块的下一条报文必定是入向报文,出向报文的数据块的下一条必定是出向报文。
步骤102、各分析节点对分发给自身的数据块进行入向报文与出向报文的中不应发生变化部分进行匹配,确定未出错的报文;
本步骤中,将入向报文与出向报文中不应发生变化部分进行匹配具体包括:
将入向报文中不应发生变化部分的内容与出向报文中不应发生变化部分的内容进行匹配;或,
提取入向报文中不应发生变化部分的内容的特征值和出向报文中不应发生变化部分的内容的特征值;
将提取的入向报文中不应发生变化部分的内容的特征值与提取的出向报文中不应发生变化部分的内容的特征值进行匹配。
需要说明的是,这里的匹配是指内容或特征值相同。
优选的,确定未出错的报文具体包括:
各分析节点对分发给自身的数据块中包含的入向报文和出向报文分别进行哈希映射及归约计算;
对完成映射及规约计算的入向报文和出向报文进行入向报文与出向报文的中不应发生变化部分的匹配,确定匹配成功的键值对对应的入向报文和出向报文为未出错的报文。
步骤103、剔除各分析节点确定的未出错的报文后,按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文,并继续进行入向报文与出向报文中不应发生变化部分的匹配,直至所有未匹配成功的报文在同一分析节点时,确定未匹配成功的报文发生错误;
本步骤中,按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文具体包括:
各分析节点剔除确定的未出错的报文后,逐次选择一个或一个以上分析节点,将选择的分析节点的剩余的入向报文和出向报文分发到其他分析节点。
需要说明的是,这里逐次选择一个或一个以上分析节点可以是,选择一个分析节点,将该分析节点除确定未出错报文外剩余的入向报文和出向报文均分到其他分析节点;也可以选择两个、三个,一半分析节点,甚至更多的分析节点,将选择的分析节点除确定未出错报文外剩余的入向报文和出向报文均分到其他分析节点。
剔除确定的未出错的报文具体包括:
根据哈希计算的映射确定匹配成功的键值对对应的入向报文和出向报文在数据块中的位置,并进行剔除处理。
需要说明的是,进行映射计算时,会将入向报文和出向报文从数据块提取后映射到哈希列表中,由于需要进行映射计算,因此入向报文和出向报文在数据块中的偏移量为默认的参数。
本发明方法还包括:对数据块中的各条报文进行区分。
这里,对数据块中的各条报文进行区分具体包括:对入向报文的数据块中的各条入向报文进行区分;对出向报文的数据块中的各条出向报文进行区分。
优选的,对数据块中的各条报文进行区分具体包括:
在数据块的预设位置记录各报文长度,通过记录的报文长度区分数据块中的各条报文。
确定未匹配成功的报文发生错误前,本发明方法还包括:
过滤被检测网络主动发出的出向报文和发送给被检测网络的入向报文。
需要说明的是,这里确定未匹配成功的报文发生错误前可以是进行匹配之前,也可以是匹配之后,具体时间可以根据网络配置和性能等进行设置。
当被检测网络传输的报文的常见报文时,本发明方法还包括:对入向报文和出向报文中不应发生变化部分包含的区分字段内容进行报文学习;
通过获得入向报文和出向报文中不应发生变化部分包含的区分字段内容的报文学习结果对报文学习结果中入向报文和出向报文中不应发生变化部分包含的区分字段匹配的报文进行过滤,对剩余的报文进行入向报文和出向报文中不应发生变化部分的匹配。
需要说明的是,入向报文和出向报文中不应发生变化部分包含的区分字段匹配表示该部分报文为未发生错误的报文。
存储被检测网络传输的入向报文和出向报文为预设时间跨度内被检测网络传输的入向报文和出向报文,本发明方法还包括:
将当前时间跨度内未匹配成功的报文中时间属性在时间边界(TR)内的报文检出,并存储到下一个时间跨度(T)存储的被检测网络传输的入向报文和出向报文中,进行报文检错。其中T主要根据分解的数据块大小除以流量速率计算获得,数据块大小主要根据系统性能进行设定,流量速率根据系统容量进行设定;TR主要根据网络延时情况进行设定,TR取值一般不大于2分钟。
需要说明的是,本发明方法可以采用哈希算法进行入向报文和出向报文中不应发生变化部分的匹配,匹配过程中,报文长度、时间属性及报文在数据库中的偏移量可以通过关键字进行存储。
本发明方法之前还包括:区分入向报文和出向报文。
本发明方法通过将入向报文和出向报文进行存储、分解和分发后,进行不应发生变化部分的匹配,实现了对发生错误报文的检测。
图2为本发明实现报文检错的系统的结构程图,如图2所示,包括:处理装置和两个或两个以上分析节点;其中,
处理装置包括:获取存储单元、分解分发单元及重分单元;其中,
获取存储单元,用于获取并存储被检测网络传输的入向报文和出向报文;
分解分发单元,用于将存储的入向报文和出向报文分别分解为相应的数据块后,分发分解的数据块到预先建立的各分析节点;
重分单元,用于各分析节点剔除确定的未出错的报文后,按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文;
各分析节点包括匹配单元、剔除单元及确定单元;其中,
匹配单元,用于对分发给自身的数据块进行入向报文与出向报文的中不应发生变化部分进行匹配,确定未出错的报文;
剔除单元,用于剔除确定的未出错的报文;
确定单元,用于确定所有未匹配成功的报文均在自身时,确定未匹配成功的报文发生错误;
被检测网络为由一个或一个以上网络设备构成的网络。
图3为本发明实现报文检错的处理装置的结构框图,如图3所示,包括:获取存储单元、分解分发单元及重分单元;其中,
获取存储单元,用于获取并存储被检测网络传输的入向报文和出向报文;
获取存储单元具体用于,
当网络设备为电口设备时,通过被检测网络的网络设备上配置复制入向报文和出向报文,将配置复制的被检测网络传输的入向报文和出向报文进行存储;
当网络设备为光口设备时,通过被检测网络的分光器进行入向报文和出向报文的分光复制,将分光复制的被检测网络传输的入向报文和出向报文进行存储。
获取存储单元具体用于,
获取被检测网络传输的入向报文和出向报文,将获取的入向报文和出向报文分别按照二进制文件的形式进行存储。
分解分发单元,用于将存储的入向报文和出向报文分别分解为相应的数据块后,分发分解的数据块到预先建立的各分析节点;
分解分发单元具体用于,
将存储的入向报文按照预设的固定值或预设的区间值分解为相应的数据块;和,
将存储的出向报文按照预设的固定值或预设的区间值分解为相应的数据块;
分发分解的数据块到预先建立的各分析节点进行报文检错。
分解分发单元具体用于,
当当前数据块大小小于预设的固定值,且加上下一条报文数据块大小大于预设的固定值,则将当前数据块进行补充数位处理,使完成补充数位处理后的数据块大小等于预设的固定值,将完成补充数位处理的数据块作为分解的数据块;或,
当当前数据块大小大于预设的区间值的最小值,且加上下一条报文的数据块大小小于或等于预设的区间值的最大值,则将当前数据块加上下一条报文的数据块作为分解的数据块;
分发分解的数据块到预先建立的各分析节点进行报文检错。
重分单元,用于各分析节点剔除确定的未出错的报文后,按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文;
重分单元具体用于,剔除各分析节点确定的未出错的报文后,逐次选择一个或一个以上分析节点,将选择的分析节点的剩余的入向报文和出向报文分发到其他分析节点。
本发明处理装置还包括区分单元,用于对数据块中的各条报文进行区分。
区分单元具体用于,
在数据块的预设位置记录各报文长度,通过记录的报文长度区分数据块中的各条报文。
存储被检测网络传输的入向报文和出向报文为预设时间跨度内被检测网络传输的入向报文和出向报文,本发明处理装置还包括边界处理单元,用于将当前时间跨度内未匹配成功的报文中时间属性在时间边界(TR)内的报文检出,并存储到下一个时间跨度(T)存储的被检测网络传输的入向报文和出向报文中,进行报文检错。
本发明处理装置还包括入向出向区分单元,用于区分入向报文和出向报文。
图4为本发明实现报文检错的分析节点的结构框图,如图4所示,包括匹配单元、剔除单元及确定单元;其中,
匹配单元,用于对接收的数据块进行入向报文与出向报文的中不应发生变化部分进行匹配,确定未出错的报文;
匹配单元具体用于,对分发给自身的数据块中的入向报文和出向报文,
将入向报文中不应发生变化部分的内容与出向报文中不应发生变化部分的内容进行匹配;或,
提取入向报文中不应发生变化部分的内容的特征值和出向报文中不应发生变化部分的内容的特征值;
将提取的入向报文中不应发生变化部分的内容的特征值与提取的出向报文中不应发生变化部分的内容的特征值进行匹配。
剔除单元,用于剔除确定的未出错的报文;
确定单元,用于确定所有未匹配成功的报文均在自身时,确定未匹配成功的报文发生错误。
本发明分析节点还包括过滤单元,用于确定未匹配成功的报文发生错误前,过滤被检测网络主动发出的出向报文和发送给被检测网络的入向报文。
本发明分析节点还包括报文学习单元和学习过滤单元,
报文学习单元,用于当被检测网络传输的报文的常见报文时,对入向报文和出向报文中不应发生变化部分包含的区分字段内容进行报文学习;
学习过滤单元,用于通过获得入向报文和出向报文中不应发生变化部分包含的区分字段内容的报文学习结果对报文学习结果中入向报文和出向报文中不应发生变化部分包含的区分字段匹配的报文进行过滤,对剩余的报文发送到匹配单元进行入向报文和出向报文中不应发生变化部分的匹配。
匹配单元具体用于,
对接收的数据块中包含的入向报文和出向报文进行哈希映射及归约计算;
对完成映射及规约计算的入向报文和出向报文进行入向报文与出向报文的中不应发生变化部分的匹配,确定匹配成功的键值对对应的入向报文和出向报文为未出错的报文。
剔除单元具体用于,根据哈希计算的映射确定匹配成功的键值对对应的入向报文和出向报文在数据块中的位置,以进行剔除处理。
以下通过具体实施例对本发明方法进行清楚详细的说明,实施例仅用于陈述本发明,并不用于限定本发明方法的保护范围。
实施例1
本实施例进行报文检错时,被检测网络可以是一个或一个以上网络设备构成的网络,网络设备可以是路由器或交换机等;本实施例获取被检测网络传输的入向报文和出向报文,将获取的入向报文和出向报文进行区分存储;存储方式可以采用文件的形式进行,每一个入向报文或出向报文存储时包含相应的报文内容、时间属性、和报文的流向信息等;按照预设的分解策略将存储的报文分解为数据块后,将分解的数据块发送到两个或两个以上分析节点进行入向报文与出向报文中不应发生变化部分的匹配,通过匹配结果确定报文是否发生错误;这里,分解的数据块需要保证入向报文或出向报文内容的完整,即每一入向报文和出向报文都应该是完整的报文。图5为本发明第一实施例的方法流程图,如图5所示,包括:
步骤500、获取并存储被检测网络传输的入向报文和出向报文;本实施例将流经被检测网络的报文按照流入接口和流出接口进行区分后复制,以二进制文件的形式进行存储;
本实施例中,如果被检测网络包含的网络设备是电口设备,可以在网络设备上配置复制入向报文和出向报文;如果网络设备时光口设备,则在分光器上,对流入的入向报文和流出的出向报文进行分光复制。
优选的,本实施例存储被检测网络传输的入向报文和出向报文时,除了报文内容外还存储报文的时间属性(即传输时间)、报文的流向信息、报文长度等信息用于报文检错。
步骤501、将存储的入向报文和出向报文分别分解为相应的数据块后,分发分解的数据块到预先建立的两个或两个以上分析节点;
本步骤中,数据块的分发可以根据负载均衡技术进行。另外,数据块中的各个报文通过记录报文长度进行区分;在预设位置添加各个报文的长度可以通过例如每记录一条报文前先以int形式记录本报文的长度,然后再添加相应的报文;在进行匹配时,根据记录的报文长度区分各个报文,并基于报文区分进行报文的读取。
本实施例中,为了保证各个分析节点负载均衡,本实施例首先需要确定各个数据块的大小,数据块大小一般由分析节点的性能决定,且数据块大小一般为2的N次幂;目前,一般的PC可以满足数据块大小为64M的入向报文数据块和出向报文数据块的匹配;本实施例按照预设的固定值或预设的区间值分解为存储的入向报文和出向报文相应的数据块,这里,对存储的入向报文和出向报文是分别进行数据块的分解的;本实施例仍以PC可以满足数据块大小为64M的数据块的匹配为基础,即假设预设的固定值为64M,分解数据块时,当当前数据块大小小于64M时,计算当前数据块加上下一条报文的大小,如果大于64M,则将当前数据块进行补充数位处理,例如补充数值0的位数的处理,使完成补零处理的数据块达到64M,作为一个分解的数据块;下一条报文被分解到下一数据块中。采用第二种方式进行数据块分解时,首先需要限定预设的区间值,本实施例可以设定预设的区间值为63M到65M为合理大小,即当前数据块加上下一条报文的大小在63M到65M之间时,将当前数据块加上下一条报文的数据块作为分解的数据块。
需要说明的是,分析节点的个数一般根据被检测网络网口流量大小进行确定,一般的网络流量达到1千兆时需要一个分析节点进行入向报文与出向报文的中不应发生变化部分的匹配。
步骤502、各分析节点对分发给自身的数据块进行入向报文与出向报文的中不应发生变化部分进行匹配,确定未出错的报文;
需要说明的是,报文经过网络设备传输时,不应发生变化部分从流入网络设备到流出网络设备,其内容是不会发生变化的,即如果网络未出现链路问题,则入向报文中不应发生变化部分的报文字段和出向报文中不应发生变化部分的报文字段所包含的内容是一样的,匹配确定包含内容一致时,确定报文没有发生错误;例如、假设网络设备传输的报文不应发生变化部分的内容是[0x10,0x20,0x30],则报文检错的装置如果获取到一个入向报文,不应发生变化部分的内容是[0x10,0x20,0x30];报文检错的装置根据入向报文和出向报文不应发生变化部分的匹配,确定报文未发生错误;本实施例如果报文不应发生变化部分在传输过程中发生了改变,则例如获取的出向报文变成[0x10,0x20,0x31],此时,报文检错的装置无法匹配与入向报文不应发生变化部分相同的出向报文,确定报文发生了错误。不同种类的报文,在网络设备传输时不发生变化的报文字段部分可能是不同的,具体可以根据本领域技术人员的公知常识进行确定,发生变化的报文字段是指除不发生变化的报文字段部分的内容,如IP报文的TTL字段,在传输过程中会被网络设备做合法修改(比如、此时网络设备时一个路由器)。
对入向报文与出向报文中不应发生变化部分进行匹配可以是对入向报文中不应发生变化部分与出向报文中不应发生变化部分进行内容上的一一对比;例如、将入向报文中不应发生变化部分加载到第一列表中,将出向报文中不应发生变化部分加载到第二列表中,加载到列表的顺序一般按照时间排序,进行内容对比时,逐个提取第二列表中的出向报文与第一列表中的入向报文进行匹配,直至匹配到相同内容的入向报文时,确定报文未发生错误。
对入向报文与出向报文中不应发生变化部分进行匹配还可以通过对入向报文中不应发生变化部分和出向报文中不应发生变化部分分别提取特征值后,将入向报文中不应发生变化部分提取的特征值与出向报文中不应发生变化部分提取的特征值进行匹配,通过提取特征值的方法可以提高入向报文和出向报文的匹配效率。
优选的,提取特征值的方法可以通过计算哈希值的方法实现,报文的特征值与报文在匹配过程中存在映射关系,以哈希计算进行匹配为例,各报文及报文对应的特征值可以通过哈希表中该报文对应的VALUE值和KEY值分别进行存储,根据KEY值的匹配成功确定VALUE值匹配成功,从而确定报文匹配成功。为了实现多未发生错误报文的检测,本实施例可以对各个报文进行位置偏移计算,及将入向报文和出向报文进行哈希计算时,计算获得各个报文的位置偏移,根据位置偏移对确定未发生错误的报文从哈希计算从删除。
当采用计算哈希值的方法进行入向报文与出向报文中不应发生变化部分的匹配时,本实施例方法还包括:
将报文长度、和/或源地址、和/或目的地址、和/或源端口、和/或目的端口作为特征值进行匹配;
需要说明的是,只所以增加报文长度、和/或源地址、和/或目的地址、和/或源端口、和/或目的端口作为特征值进行匹配主要是考虑到不同报文进行哈希计算时,获得的哈希值可能会相同,源端口、和/或目的端口主要针对TCP/UDP报文而言;另外,对报文进行哈希计算时,如果报文较长,可以将报文分段后进行哈希计算、将分段计算的哈希值作为报文的特征值,进行入向报文和出向报文中不应发生变化部分的匹配。
步骤503、剔除各分析节点确定的未出错的报文后,逐次选择一个或一个以上分析节点,将选择的分析节点的剩余的入向报文和出向报文分发到其他分析节点,并继续进行入向报文与出向报文中不应发生变化部分的匹配,直至所有未匹配成功的报文在同一分析节点时,确定未匹配成功的报文发生错误。
需要说明的是,这里是一个逻辑循环的过程,假设将第一分析节点未匹配成功的入向报文和出向报文均分后分配给第二分析节点和第三分析节点,在第二分析节点和第三分析节点剔除确定未发生错误的报文后,需要继续选择一个或一个以上分析节点,将未匹配成功的入向报文和出向报文按照预设的重分策略发送到其他分析节点继续进行入向报文和出向报文中不应发生变化部分的匹配,直至所有未匹配的报文最终在同一分析节点时,完成整个报文检错流程。
实施例2
图6为本发明第二实施例的方法流程图,如图6所示,包括:
步骤600、获取并存储被检测网络传输的入向报文和出向报文;
步骤601、将存储的入向报文和出向报文分别分解为相应的数据块后,分发分解的数据块到预先建立的两个或两个以上分析节点;
步骤602、各分析节点对分发给自身的数据块中包含的入向报文和出向报文分别进行映射及归约计算;
步骤603、对完成映射及规约计算的入向报文和出向报文进行入向报文与出向报文的中不应发生变化部分进行匹配,从数据块中剔除确定未出错的报文。
剔除确定未发生错误的报文可以通过实施例1中位置偏移计算的方法实现,即通过位置偏移确定数据块中未发生错误的报文,以进行剔除处理。
步骤604、逐次选择一个或一个以上分析节点,将选择的分析节点的剩余的入向报文和出向报文分发到其他分析节点,并继续进行入向报文与出向报文中不应发生变化部分的匹配,直至所有未匹配成功的报文在同一分析节点。
步骤605、对未匹配成功的报文过滤被检测网络主动发出的出向报文和发送给被检测网络的入向报文,获得确定发生错误的报文。
需要说明的是,步骤605可以在进行入向报文和出向报文不应发生变化部分的匹配之前进行处理,减少数据传输和提高匹配效率。
实施例3
本实施例按照时间跨度T对被检测网络传输的入向报文和出向报文进行存储,存储的入向报文和出向报文可能出现在不同时间跨度存储的文件中,因此,需要根据设定时间边界TR,用于避免入向报文和出向报文出现在不同时间跨度存储的文件中,对时间边界内未匹配的报文按照流向分别添加到下一个时间跨度的存储的入向报文和出向报文中。
假设本实施例为第一次进行被检测网络传输的入向报文和出向报文的存储,图7为本发明第三实施例的方法流程图,如图7所示,包括:
步骤700、获取并存储被检测网络传输的入向报文和出向报文;
需要说明的是,如果是第N次进行被检测网络传输的入向报文和出向报文的存储,则步骤700中需要加入第N-1次未匹配成功的报文;
步骤701、将存储的入向报文和出向报文分别分解为相应的数据块后,分发分解的数据块到预先建立的两个或两个以上分析节点;
步骤702、各分析节点对分发给自身的数据块中包含的入向报文和出向报文分别进行映射及归约计算;
步骤703、对完成映射及规约计算的入向报文和出向报文进行入向报文与出向报文的中不应发生变化部分进行匹配,从数据块中剔除确定未出错的报文。
步骤704、逐次选择一个或一个以上分析节点,将选择的分析节点的剩余的入向报文和出向报文分发到其他分析节点,并继续进行入向报文与出向报文中不应发生变化部分的匹配,直至所有未匹配成功的报文在同一分析节点时,确定未匹配成功的报文发生错误。
需要说明的是,这里的匹配过程和步骤703中的匹配过程相同。
步骤705、对未匹配成功的报文过滤被检测网络主动发出的出向报文和发送给被检测网络的入向报文,获得确定发生错误的报文。
步骤706、将当前时间跨度内未匹配成功的报文中时间属性在时间边界TR内的报文检出,并存储到下一个时间跨度T存储的被检测网络传输的入向报文和出向报文中,进行报文检错。
实施例4
在进行报文匹配时,如果报文数量过多会使得匹配效率过低,则可以通过对常见报文进行学习的方法提高匹配效率;常见报文数量多、内容比较固定、报文发生异常的可能性低。
在本实施例中,报文学习主要针对入向报文和出向报文中不应发生变化部分中特殊的区分字段,包括协议和/或长度和/或标志位等,例如,大量的TCP SYN报文携带的参数几乎一样,比如长度、SYN标志位等。本实施例获取单元获取入向报文和出向报文不应发生变化部分后,提取协议和/或长度和/或标志位等区分字段;对从入向报文和出向报文中不应发生变化部分提取的区分字段进行报文学习后进行匹配;匹配成功,确定报文未发生错误。如果匹配失败,则该报文不是常见报文,采用实施例一中的方法对入向报文和出向报文中不应发生变化部分进行匹配,确定报文是否发生错误。
需要说明的是,是否进行区分字段的报文学习可以通过本领域技术人员对该类报文出现频率和数量进行分析,通过分析确定进行报文学习时,通过监测该部分报文是否出现,一旦监测到该部分报文出现时,自动触发进行报文学习。
图8为本发明第四实施例的方法流程图,如图8所示,包括:
步骤800、获取并存储被检测网络传输的入向报文和出向报文;
步骤801、将存储的入向报文和出向报文分别分解为相应的数据块后,分发分解的数据块到预先建立的两个或两个以上分析节点;
步骤802、各分析节点对分发给自身的数据块中包含的入向报文和出向报文分别进行映射及归约计算;
步骤803、各分析节点提取入向报文和出向报文中不应发生变化部分中的区分字段,对区分字段进行报文学习;
步骤804、匹配报文学习的区分字段;如果匹配成功,执行步骤8050;如果匹配失败,则执行步骤8060;
步骤8050、确定报文学习的区分字段匹配成功对应的报文为未发生错误的报文,剔除数据块中确定未发生错误的报文;
步骤8060、对入向报文和出向报文中不应发生变化部分进行匹配,确定未发生错误的报文。
需要说明的是,本实施例进行报文检错的入向报文和出向报文是除发送给被检测网络和被检测网络主动发出的报文。
步骤8061、各分析节点剔除确定的未出错的报文后,逐次选择一个或一个以上分析节点,将选择的分析节点的剩余的入向报文和出向报文分发到其他分析节点,并继续进行入向报文与出向报文中不应发生变化部分的匹配,直至所有未匹配成功的报文在同一分析节点时,确定未匹配成功的报文发生错误。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (32)
1.一种实现报文检错的方法,其特征在于,包括:
获取并存储被检测网络传输的入向报文和出向报文;
将存储的入向报文和出向报文分别分解为相应的数据块后,分发分解的数据块到预先建立的两个或两个以上分析节点;
各分析节点对分发给自身的数据块进行入向报文与出向报文的中不应发生变化部分进行匹配,确定未出错的报文;
剔除各分析节点确定的未出错的报文后,按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文,并继续进行入向报文与出向报文中不应发生变化部分的匹配,直至所有未匹配成功的报文在同一分析节点时,确定未匹配成功的报文发生错误;
所述被检测网络为由一个或一个以上网络设备构成的网络。
2.根据权利要求1所述的方法,其特征在于,所述获取被检测网络传输的入向报文和出向报文具体包括:
当所述网络设备为电口设备时,通过所述被检测网络的网络设备上配置复制所述入向报文和所述出向报文;
当所述网络设备为光口设备时,通过所述被检测网络的分光器进行所述入向报文和所述出向报文的分光复制。
3.根据权利要求1所述的方法,所述的方法,其特征在于,所述存储被检测网络传输的入向报文和出向报文具体包括:
将获取的所述入向报文和所述出向报文分别按照二进制文件的形式进行存储。
4.根据权利要求1所述的方法,其特征在于,所述将存储的入向报文和出向报文分别分解为相应的数据块具体包括:
将存储的入向报文按照预设的固定值或预设的区间值分解为相应的数据块;
将存储的出向报文按照预设的固定值或预设的区间值分解为相应的数据块。
5.根据权利要求4所述的方法,其特征在于,所述将存储的入向报文和出向报文分别分解为相应的数据块具体包括:
当当前数据块大小小于预设的固定值,且加上下一条报文数据块大小大于所述预设的固定值,则将所述当前数据块进行补充数位处理,使完成补充数位处理后的数据块大小等于所述预设的固定值,将完成补充数位处理的数据块作为分解的数据块;或,
当当前数据块大小大于预设的区间值的最小值,且加上下一条报文的数据块大小小于或等于所述预设的区间值的最大值,则将所述当前数据块加上下一条报文的数据块作为分解的数据块。
6.根据权利要求1~5任一项所述的方法,其特征在于,所述按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文具体包括:
剔除各分析节点确定的未出错的报文后,逐次选择一个或一个以上分析节点,将选择的分析节点的所述剩余的入向报文和出向报文分发到其他分析节点。
7.根据权利要求1~5任一项所述的方法,其特征在于,该方法还包括:对所述数据块中的各条报文进行区分。
8.根据权利要求7所述的方法,其特征在于,对所述数据块中的各条报文进行区分具体包括:
在数据块的预设位置记录各报文长度,通过记录的报文长度区分所述数据块中的各条报文。
9.根据权利要求1~5任一项所述的方法,其特征在于,将入向报文与出向报文中不应发生变化部分进行匹配具体包括:
将所述入向报文中不应发生变化部分的内容与出向报文中所述不应发生变化部分的内容进行匹配;或,
提取所述入向报文中不应发生变化部分的内容的特征值和所述出向报文中不应发生变化部分的内容的特征值;
将提取的所述入向报文中不应发生变化部分的内容的特征值与提取的所述出向报文中不应发生变化部分的内容的特征值进行匹配。
10.根据权利要求1~5任一项所述的方法,其特征在于,所述确定未匹配成功的报文发生错误前,该方法还包括:
过滤所述被检测网络主动发出的出向报文和发送给所述被检测网络的入向报文。
11.根据权利要求1~5任一项所述的方法,其特征在于,当所述被检测网络传输的报文的常见报文时,该方法还包括:对入向报文和出向报文中不应发生变化部分包含的区分字段内容进行报文学习;
通过获得入向报文和出向报文中不应发生变化部分包含的区分字段内容的报文学习结果对报文学习结果中入向报文和出向报文中不应发生变化部分包含的区分字段匹配的报文进行过滤,对剩余的报文进行所述入向报文和出向报文中不应发生变化部分的匹配。
12.根据权利要求1~5任一项所述的方法,其特征在于,所述确定未出错的报文具体包括:
各分析节点对分发给自身的数据块中包含的入向报文和出向报文分别进行哈希映射及归约计算;
对完成映射及规约计算的入向报文和出向报文进行入向报文与出向报文的中不应发生变化部分的匹配,确定匹配成功的键值对对应的入向报文和出向报文为未出错的报文。
13.根据权利要求12所述的方法,其特征在于,所述剔除确定的未出错的报文具体包括:
根据所述哈希计算的映射确定所述匹配成功的键值对对应的入向报文和出向报文在数据块中的位置,并进行剔除处理。
14.根据权利要求1~5任一项所述的方法,其特征在于,所述存储被检测网络传输的入向报文和出向报文为预设时间跨度内被检测网络传输的入向报文和出向报文,该方法还包括:
将当前时间跨度内未匹配成功的报文中时间属性在时间边界TR内的报文检出,并存储到下一个时间跨度T存储的所述被检测网络传输的入向报文和出向报文中,进行报文检错。
15.根据权利要求1~5任一项所述的方法,其特征在于,该方法之前还包括:区分所述入向报文和出向报文。
16.一种实现报文检错的系统,其特征在于,包括:处理装置和两个或两个以上分析节点;其中,
处理装置包括:获取存储单元、分解分发单元及重分单元;其中,
获取存储单元,用于获取并存储被检测网络传输的入向报文和出向报文;
分解分发单元,用于将存储的入向报文和出向报文分别分解为相应的数据块后,分发分解的数据块到预先建立的各分析节点;
重分单元,用于各分析节点剔除确定的未出错的报文后,按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文;
各分析节点包括匹配单元、剔除单元及确定单元;其中,
匹配单元,用于对分发给自身的数据块进行入向报文与出向报文的中不应发生变化部分进行匹配,确定未出错的报文;
剔除单元,用于剔除确定的未出错的报文;
确定单元,用于确定所有未匹配成功的报文均在自身时,确定未匹配成功的报文发生错误;
所述被检测网络为由一个或一个以上网络设备构成的网络。
17.一种实现报文检错的处理装置,其特征在于,包括:获取存储单元、分解分发单元及重分单元;其中,
获取存储单元,用于获取并存储被检测网络传输的入向报文和出向报文;
分解分发单元,用于将存储的入向报文和出向报文分别分解为相应的数据块后,分发分解的数据块到预先建立的各分析节点;
重分单元,用于各分析节点剔除确定的未出错的报文后,按照预设策略重新分配除确定未出错的报文外剩余的入向报文和出向报文。
18.根据权利要求17所述的处理装置,其特征在于,所述获取存储单元具体用于,
当所述网络设备为电口设备时,通过所述被检测网络的网络设备上配置复制所述入向报文和所述出向报文,将配置复制的被检测网络传输的入向报文和出向报文进行存储;
当所述网络设备为光口设备时,通过所述被检测网络的分光器进行所述入向报文和所述出向报文的分光复制,将分光复制的被检测网络传输的入向报文和出向报文进行存储。
19.根据权利要求17或18所述的处理装置,其特征在于,所述获取存储单元具体用于,
获取被检测网络传输的入向报文和出向报文,将获取的所述入向报文和所述出向报文分别按照二进制文件的形式进行存储。
20.根据权利要求17或18所述的处理装置,其特征在于,所述分解分发单元具体用于,
将存储的入向报文按照预设的固定值或预设的区间值分解为相应的数据块;和,
将存储的出向报文按照预设的固定值或预设的区间值分解为相应的数据块;
分发分解的数据块到预先建立的各分析节点进行报文检错。
21.根据权利要求17或18所述的处理装置,其特征在于,所述分解分发单元具体用于,
当当前数据块大小小于预设的固定值,且加上下一条报文数据块大小大于所述预设的固定值,则将所述当前数据块进行补充数位处理,使完成补充数位处理后的数据块大小等于所述预设的固定值,将完成补充数位处理的数据块作为分解的数据块;或,
当当前数据块大小大于预设的区间值的最小值,且加上下一条报文的数据块大小小于或等于所述预设的区间值的最大值,则将所述当前数据块加上下一条报文的数据块作为分解的数据块;
分发分解的数据块到预先建立的各分析节点进行报文检错。
22.根据权利要求17或18所述的处理装置,其特征在于,该处理装置还包括区分单元,用于对所述数据块中的各条报文进行区分。
23.根据权利要求22所述的处理装置,其特征在于,所述区分单元具体用于,
在数据块的预设位置记录各报文长度,通过记录的报文长度区分所述数据块中的各条报文。
24.根据权利要求17或18所述的处理装置,其特征在于,所述重分单元具体用于,剔除各分析节点确定的未出错的报文后,逐次选择一个或一个以上分析节点,将选择的分析节点的所述剩余的入向报文和出向报文分发到其他分析节点。
25.根据权利要求17或18所述的处理装置,其特征在于,所述存储被检测网络传输的入向报文和出向报文为预设时间跨度内被检测网络传输的入向报文和出向报文,该处理装置还包括边界处理单元,用于将当前时间跨度内未匹配成功的报文中时间属性在时间边界TR内的报文检出,并存储到下一个时间跨度T存储的所述被检测网络传输的入向报文和出向报文中,进行报文检错。
26.根据权利要求17或18所述的处理装置,其特征在于,该处理装置还包括入向出向区分单元,用于区分所述入向报文和出向报文。
27.一种实现报文检错的分析节点,其特征在于,包括匹配单元、剔除单元及确定单元;其中,
匹配单元,用于对接收的数据块进行入向报文与出向报文的中不应发生变化部分进行匹配,确定未出错的报文;
剔除单元,用于剔除确定的未出错的报文;
确定单元,用于确定所有未匹配成功的报文均在自身时,确定未匹配成功的报文发生错误。
28.根据权利要求27所述的分析节点,其特征在于,所述匹配单元具体用于,对分发给自身的数据块中的入向报文和出向报文,
将所述入向报文中不应发生变化部分的内容与出向报文中所述不应发生变化部分的内容进行匹配;或,
提取所述入向报文中不应发生变化部分的内容的特征值和所述出向报文中不应发生变化部分的内容的特征值;
将提取的所述入向报文中不应发生变化部分的内容的特征值与提取的所述出向报文中不应发生变化部分的内容的特征值进行匹配。
29.根据权利要求27或28所述的分析节点,其特征在于,该分析节点还包括过滤单元,用于确定未匹配成功的报文发生错误前,过滤所述被检测网络主动发出的出向报文和发送给所述被检测网络的入向报文。
30.根据权利要求27或28所述的分析节点,其特征在于,该分析节点还包括报文学习单元和学习过滤单元,
报文学习单元,用于当所述被检测网络传输的报文的常见报文时,对入向报文和出向报文中不应发生变化部分包含的区分字段内容进行报文学习;
学习过滤单元,用于通过获得入向报文和出向报文中不应发生变化部分包含的区分字段内容的报文学习结果对报文学习结果中入向报文和出向报文中不应发生变化部分包含的区分字段匹配的报文进行过滤,对剩余的报文发送到匹配单元进行所述入向报文和出向报文中不应发生变化部分的匹配。
31.根据权利要求27所述的分析节点,其特征在于,所述匹配单元具体用于,
对接收的数据块中包含的入向报文和出向报文进行哈希映射及归约计算;
对完成映射及规约计算的入向报文和出向报文进行入向报文与出向报文的中不应发生变化部分的匹配,确定匹配成功的键值对对应的入向报文和出向报文为未出错的报文。
32.根据权利要求31所述的分析节点,其特征在于,所述剔除单元具体用于,根据所述哈希计算的映射确定所述匹配成功的键值对对应的入向报文和出向报文在数据块中的位置,以进行剔除处理。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610009902.0A CN106953775A (zh) | 2016-01-06 | 2016-01-06 | 一种实现报文检错的方法及装置 |
PCT/CN2017/070507 WO2017118430A1 (zh) | 2016-01-06 | 2017-01-06 | 一种实现报文检错的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610009902.0A CN106953775A (zh) | 2016-01-06 | 2016-01-06 | 一种实现报文检错的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106953775A true CN106953775A (zh) | 2017-07-14 |
Family
ID=59273314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610009902.0A Withdrawn CN106953775A (zh) | 2016-01-06 | 2016-01-06 | 一种实现报文检错的方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106953775A (zh) |
WO (1) | WO2017118430A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115834411A (zh) * | 2023-02-16 | 2023-03-21 | 北京派网软件有限公司 | 一种网络性能分析方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101783786A (zh) * | 2009-01-19 | 2010-07-21 | 中兴通讯股份有限公司 | 数据包过滤方法和装置 |
CN102594600A (zh) * | 2012-02-21 | 2012-07-18 | 中兴通讯股份有限公司 | 一种确定双向转发检测会话故障位置的方法及系统 |
CN103051629A (zh) * | 2012-12-24 | 2013-04-17 | 华为技术有限公司 | 一种基于软件定义网络中数据处理的系统、方法和节点 |
CN203027498U (zh) * | 2012-11-27 | 2013-06-26 | 北京交控科技有限公司 | 测试装置 |
CN103580953A (zh) * | 2013-10-21 | 2014-02-12 | 华为技术有限公司 | 一种故障检测的方法及设备 |
CN103746868A (zh) * | 2013-12-23 | 2014-04-23 | 普联技术有限公司 | 一种发送及接收测试报文的方法、装置及测试设备 |
CN104243348A (zh) * | 2014-09-22 | 2014-12-24 | 曙光信息产业(北京)有限公司 | 一种数据处理方法和装置 |
CN104243093A (zh) * | 2013-06-14 | 2014-12-24 | 西门子公司 | 用于在将数据从发送器传输到至少一个接收器时识别错误的方法和系统 |
US20150200827A1 (en) * | 2014-01-13 | 2015-07-16 | Cisco Technology, Inc. | Network performance diagnostics system |
CN105141583A (zh) * | 2015-07-28 | 2015-12-09 | 中国电子科技集团公司第三十六研究所 | 一种字符串匹配方法和系统 |
-
2016
- 2016-01-06 CN CN201610009902.0A patent/CN106953775A/zh not_active Withdrawn
-
2017
- 2017-01-06 WO PCT/CN2017/070507 patent/WO2017118430A1/zh active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101783786A (zh) * | 2009-01-19 | 2010-07-21 | 中兴通讯股份有限公司 | 数据包过滤方法和装置 |
CN102594600A (zh) * | 2012-02-21 | 2012-07-18 | 中兴通讯股份有限公司 | 一种确定双向转发检测会话故障位置的方法及系统 |
CN203027498U (zh) * | 2012-11-27 | 2013-06-26 | 北京交控科技有限公司 | 测试装置 |
CN103051629A (zh) * | 2012-12-24 | 2013-04-17 | 华为技术有限公司 | 一种基于软件定义网络中数据处理的系统、方法和节点 |
CN104243093A (zh) * | 2013-06-14 | 2014-12-24 | 西门子公司 | 用于在将数据从发送器传输到至少一个接收器时识别错误的方法和系统 |
CN103580953A (zh) * | 2013-10-21 | 2014-02-12 | 华为技术有限公司 | 一种故障检测的方法及设备 |
CN103746868A (zh) * | 2013-12-23 | 2014-04-23 | 普联技术有限公司 | 一种发送及接收测试报文的方法、装置及测试设备 |
US20150200827A1 (en) * | 2014-01-13 | 2015-07-16 | Cisco Technology, Inc. | Network performance diagnostics system |
CN104243348A (zh) * | 2014-09-22 | 2014-12-24 | 曙光信息产业(北京)有限公司 | 一种数据处理方法和装置 |
CN105141583A (zh) * | 2015-07-28 | 2015-12-09 | 中国电子科技集团公司第三十六研究所 | 一种字符串匹配方法和系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115834411A (zh) * | 2023-02-16 | 2023-03-21 | 北京派网软件有限公司 | 一种网络性能分析方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2017118430A1 (zh) | 2017-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105745870B (zh) | 从用于检测大流的串行多级过滤器去除头部过滤器以便清除流以实现延长操作 | |
CN104102475B (zh) | 分布式并行任务处理的方法、装置及系统 | |
CN106605392A (zh) | 用于使用控制器在网络上进行操作的系统和方法 | |
CN107547249A (zh) | 链路切换方法、装置、sdn交换机、控制器及存储介质 | |
CN106708700B (zh) | 一种应用于服务端的运维监控方法和装置 | |
CN109376532A (zh) | 基于elk日志采集分析的电力网络安全监测方法及系统 | |
CN107005584A (zh) | 内联服务交换机 | |
CN107077340A (zh) | 负载均衡 | |
US10795744B2 (en) | Identifying failed customer experience in distributed computer systems | |
CN102510346B (zh) | 网络设备的测试方法、系统及装置 | |
CN107566150A (zh) | 处理云资源的方法和物理节点 | |
CN106789157B (zh) | 堆叠系统及堆叠交换机的硬件资源管理方法 | |
CN108062243A (zh) | 执行计划的生成方法、任务执行方法及装置 | |
CN106357726A (zh) | 负载均衡方法及装置 | |
CN110191064A (zh) | 流量负载均衡方法、装置、设备、系统及存储介质 | |
CN109510777A (zh) | 流表编排方法、装置及sdn控制器 | |
CN108092971A (zh) | 一种处理业务报文的方法及装置 | |
CN105281946A (zh) | 用于网络交换机中的灵活和高效分析的方法和装置 | |
CN104268293B (zh) | 数据库中的不可累加指标处理方法和装置 | |
CN106953775A (zh) | 一种实现报文检错的方法及装置 | |
CN106790411B (zh) | 虚拟交换机与物理交换机的非聚合端口级联系统及方法 | |
CN112532467B (zh) | 用于实现故障检测的方法、装置及系统 | |
US20170180256A1 (en) | Determining switch load values for switches | |
CN107426012A (zh) | 一种基于超融合架构的故障恢复方法及其装置 | |
CN106603722A (zh) | 一种管理设备的确定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170714 |