CN101505283A - 一种报文处理方法及装置 - Google Patents

一种报文处理方法及装置 Download PDF

Info

Publication number
CN101505283A
CN101505283A CNA2009101317323A CN200910131732A CN101505283A CN 101505283 A CN101505283 A CN 101505283A CN A2009101317323 A CNA2009101317323 A CN A2009101317323A CN 200910131732 A CN200910131732 A CN 200910131732A CN 101505283 A CN101505283 A CN 101505283A
Authority
CN
China
Prior art keywords
message
predetermined manner
default
module
kinds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009101317323A
Other languages
English (en)
Other versions
CN101505283B (zh
Inventor
伊鹏
扈红超
张风雨
张震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA Information Engineering University
Original Assignee
PLA Information Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA Information Engineering University filed Critical PLA Information Engineering University
Priority to CN2009101317323A priority Critical patent/CN101505283B/zh
Publication of CN101505283A publication Critical patent/CN101505283A/zh
Application granted granted Critical
Publication of CN101505283B publication Critical patent/CN101505283B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供一种报文处理方法及装置,所述方法包括:利用三种预设方式中的任意一种方式对输入的报文进行处理,得到第一报文,所述三种预设方式分别为:提取报文IP分组头部或者载荷固定位置的特征码符合第一预设特征的报文、提取报文载荷中任意位置的特征码符合第二预设特征的报文及提取报文载荷中特征码范围符合第三预设特征的报文;以所述三种预设方式中另外两种方式中的任意一种方式对所述第一报文进行处理,得到第二报文;按照所述三种预设方式中余下的预设方式对所述第二报文进行处理,得到第三报文;将所述第一报文、第二报文及第三报文发送到预设位置存储。

Description

一种报文处理方法及装置
技术领域
本发明涉及网络通讯技术领域,更具体地说,涉及一种报文处理方法及装置。
背景技术
随着网络技术的不断发展,相互之间的网络资源共享极大的提高了人们的工作效率,人们对网络的依赖也越来越高,通过网络对终端进行恶意的访问或者攻击会破坏终端的正常使用,因此需要对访问的报文进行筛选、过滤。例如面临垃圾邮件日益严重的现状,就需要对垃圾邮件进行过滤,过滤方法是基于IP分组5元组对业务进行筛选和过滤,IP分组5元组是指IP报文头部目的IP地址、源IP地址、协议类型、目的端口和源端口。
由于恶意攻击技术的日益复杂化,攻击方可以更改源IP地址、协议类型、源端口地址等参数,这就使得现有的单独依靠IP分组5元组获取信息的方式来判断是否为恶意攻击的方法无法满足现实需要。
发明内容
本发明的实施例提供一种报文处理方法及装置,以解决现有技术存在的报文过滤能力弱的问题。
本发明实施例提供的一种报文处理方法,包括:利用三种预设方式中的任意一种方式对输入的报文进行处理,得到第一报文,所述三种预设方式分别为:提取报文IP分组头部或者载荷固定位置的特征码符合第一预设特征的报文、提取报文载荷中任意位置的特征码符合第二预设特征的报文及提取报文载荷中特征码范围符合第三预设特征的报文;以所述三种预设方式中另外两种方式中的任意一种方式对所述第一报文进行处理,得到第二报文;按照所述三种预设方式中余下的预设方式对所述第二报文进行处理,得到第三报文;将所述第一报文、第二报文及第三报文发送到预设位置存储。
进一步的,在利用三种预设方式中的任意一种方式对输入的报文进行处理之前还包括:将所述输入的报文线速封装成携带分组信息的预设格式的报文。
进一步的,在利用三种预设方式中的任意一种方式对输入的报文进行处理之前还包括:
识别所述输入的报文是否符合协议特征的业务类型,当所述输入的报文不符合所述协议特征时,将所述输入报文标上丢弃优先级标识;
对于未能通过协议特征识别出业务类型的报文,当该报文不符合基于网络行为特征的业务类型时,将该报文标上丢弃优先级标识;
对于未能通过基于网络行为特征识别出业务类型的报文,则将该报文标上缺省优先级标识;
依据报文标识的丢弃优先级标识或缺省优先级标识和报文的长度来判断是否丢弃该报文。
进一步的,依据报文标识的丢弃优先级标识、缺省优先级标识和报文的长度来判断是否丢弃该报文包括:
设置队列需要支持的丢弃优先级个数为m,设置队列门限个数为m+1,设置报文的丢弃概率为Ploss,设置各队列门限为th0,th1,...,thm,设置报文长度为d;
初始换队列门限th0,th1,...,thm,将报文的丢弃概率Ploss设为0,
当报文长度小于等于thi并大于thi-1时,所述i取值范围在1至m之间,
则,
用公式 P loss = 0 pri > i - 1 P loss = min { 1 , d - th i - 1 th i - th i - 1 } pri = i - 1 P loss = 1 pri < i - 1
得到该报文的丢弃概率Ploss
当报文长度大于最大预设门限时,则丢弃该报文。
进一步的,在将所述第一报文、第二报文及第三报文发送到预设位置存储之后还包括:
将所述第一报文按照目的地址进行单播封装;
将所述第二报文和第三报文按照目的地址进行组播封装。
进一步的,所述报文IP分组头部或者载荷固定位置的特征码和/或所述报文载荷中任意位置的特征码为:报文长度、协议类型、源IP地址、目的IP地址、源端口号、目的端口号、TCP标志位、数据区指定位置特征中的一个或多个组合。
进一步的,所述报文载荷中特征码范围为:报文长度范围、源端口号范围、目的端口号范围、源IP地址范围或目的IP地址范围中的一个或多个组合。
本发明还提供了一种报文处理装置的实施例,包括:
第一识别模块,用于利用三种预设方式中的任意一种方式对输入的报文进行处理,得到第一报文,所述三种预设方式分别为:提取报文IP分组头部或者载荷固定位置的特征码符合第一预设特征的报文、提取报文载荷中任意位置的特征码符合第二预设特征的报文及提取报文载荷中特征码范围符合第三预设特征的报文;
第二识别模块,用于以所述三种预设方式中另外两种方式中的任意一种方式对所述第一报文进行处理,得到第二报文;
第三识别模块,用于按照所述三种预设方式中余下的预设方式对所述第二报文进行处理,得到第三报文;
报文存储模块,用于将所述第一报文、第二报文及第三报文发送到预设位置存储。
进一步的,该装置实施例还包括:报文格式封装模块,用于将所述输入的报文线速封装成携带分组信息的预设格式的报文并提供给第一识别模块。
进一步的,该装置实施例还包括报文舍弃模块,报文舍弃模块对输入的报文处理后发送给第一识别模块,所述报文舍弃模块包括:
协议识别子模块,用于识别所述输入的报文是否符合协议特征的业务类型,当所述输入的报文不符合所述协议特征时,将所述输入报文标上丢弃优先级标识;
网络行为识别子模块,用于对于未能通过协议特征识别出业务类型的报文,当该报文不符合基于网络行为特征的业务类型时,将该报文标上丢弃优先级标识;
缺省识别子模块,用于对于未能通过基于网络行为特征识别出业务类型的报文,则将该报文标上缺省优先级标识;
判断处理子模块,用于依据报文标识的丢弃优先级标识或缺省优先级标识和报文的长度来判断是否丢弃该报文。
进一步的,在该装置实施例中,第二识别模块同第三识别模块之间通过交换网络实现数据交换。
进一步的,在该装置实施例中,还包括:分发封装模块,用于将存储于所述预设位置的第一报文按照目的地址进行单播封装,将存储于所述预设位置的第二报文和第三报文按照目的地址进行组播封装。
从上述的技术方案可以看出,与现有技术相比,本发明的实施例中将接收的报文进行三种预设方式的处理,可以根据需要选择符合一种或多种预设方式的报文进行后期的处理,对报文的过滤能力得到提高。本发明实施例在对报文进行处理报文之前还包括报文舍弃步骤,通过报文舍弃步骤减轻了报文过滤环节的处理压力,利于支持更高的接口速率。
附图说明
图1为本发明方法实施例一的流程图;
图2为本发明方法实施例二中对无效报文识别舍弃的流程图;
图3为本发明装置实施例三的结构示意图;
图4为本发明装置实施例三中报文格式封装模块的结构示意图;
图5为本发明装置实施例四中报文舍弃模块的结构示意图。
具体实施方式
本发明实施例提供了一种报文处理方法及装置。
为了引用和清楚起见,本文中使用的技术名词、简写或缩写总结如下:
FPGA,Field-Programmable Gate Array,即现场可编程门阵列;
TCAM,ternary content addressable memory,一种高速路由查找技术;
SRAM,Static RAM,具有静止存取功能的内存;
MAC,Media Access Control,介质访问控制子层协议。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了一种报文处理方法的实施例一,包括:
步骤101,利用三种预设方式中的任意一种方式对输入的报文进行处理,得到第一报文,所述三种预设方式分别为:提取报文IP分组头部或者载荷固定位置的特征码符合第一预设特征的报文、提取报文载荷中任意位置的特征码符合第二预设特征的报文及提取报文载荷中特征码范围符合第三预设特征的报文;
步骤102,以所述三种预设方式中另外两种方式中的任意一种方式对所述第一报文进行处理,得到第二报文;
步骤103,按照所述三种预设方式中余下的预设方式对所述第二报文进行处理,得到第三报文;
步骤104,将所述第一报文、第二报文及第三报文发送到预设位置存储。
在具体实施时,步骤101可以是提取载荷中任意位置的特征码符合第二预设特征的报文,得到第一报文;步骤101也可以是提取载荷中特征码范围符合第三预设特征的报文,得到第一报文;总之,步骤101可以采用三种预设处理方式中的任一种方式对输入的报文进行处理,提取需要保留的报文。可以想到,假如步骤101采取了第一预设处理方式,那么步骤102就可以采取第二或第三预设处理方式,如果步骤102采取第二预设处理方式,则步骤103采取第三预设方式。
得到第一、第二和第三报文之后,可以根据需要对报文进行处理,如果实际需要的是符合二种处理方式的报文,那么就可以将没有符合任何一种预设方式的报文删除,将第一报文也可以删除,只需要提取第二报文应用于后期处理就可以了。那么如果实际需要的是符合三种预设方式的报文,则将第三报文应用与后期处理,其它的报文就可以删除或者指定存储在预设位置。实施例一的方法可以将用户不感兴趣的报文过滤掉,保留用户感兴趣的报文,留下的报文输入到后端设备处理,后端设备具体实现什么功能和用户的使用环境、目的有关,例如可以是将http分组数据恢复成网页。
不需要创造性思考也可以知道,在具体实施时,也可以将符合预设方式的报文认为是需要删除的报文,那么没有符合任何一种预设方式的报文则是实际需要的报文。
上述实施例一中,所述IP分组头部或者载荷固定位置的特征码可以是:报文长度、协议类型、源IP地址、目的IP地址、源端口号、目的端口号、TCP标志位、数据区指定位置特征中的一个或多个组合。所述报文载荷中任意位置的特征码也可以是:报文长度、协议类型、源IP地址、目的IP地址、源端口号、目的端口号、TCP标志位、数据区指定位置特征中的一个或多个组合。报文载荷中特征码范围可以是:报文长度范围、源端口号范围、目的端口号范围、源IP地址范围或目的IP地址范围中的一个或多个组合。
在本发明方法的实施例二中,可参见图2,在依据预设特征对报文进行判断标上任一个标识之前,还可以包括无效报文识别舍弃,无效报文识别舍弃的作用等效于一个能够线速过滤报文的“漏桶”,可以包括:
步骤201,识别所述输入的报文是否符合协议特征的业务类型,当所述输入的报文不符合所述协议特征时,将所述输入报文标上丢弃优先级标识;
在实施步骤201时,如果报文符合协议特征的则不予舍弃,继续按照实施一中所述的三种预设方式进行处理,提取需要的报文。
步骤202,对于未能通过协议特征识别出业务类型的报文,当该报文不符合基于网络行为特征的业务类型时,将该报文标上丢弃优先级标识;
在实施步骤202时,如果报文符合基于网络行为特征的业务类型,则不予舍弃,将该报文按照实施一中所述的三种预设方式进行处理,提取需要的报文。
步骤203,对于未能通过基于网络行为特征识别出业务类型的报文,则将该报文标上缺省优先级标识;
步骤204,依据报文标识的丢弃优先级标识或缺省优先级标识和报文的长度来判断是否丢弃该报文。
在实施步骤204时,可以采用如下方法来判断是否该丢弃报文,具体如下:
假定缓存队列需要支持m个丢弃优先级,则为缓存队列设置m+1个门限,记作th0,th1,th2,...,thm-1,thm。将该队列深度记作d,进入该队列的报文的优先级记作pri,进入该队列的报文的丢弃概率记作Ploss,若thi-1<d≤thi i∈[1,m],则有
P loss = 0 pri > i - 1 P loss = min { 1 , d - th i - 1 th i - th i - 1 } pri = i - 1 P loss = 1 pri < i - 1
对优先级为i-1的报文,其丢弃概率为
Figure A200910131732D00112
对于优先级小于i-1的报文,其丢弃概率为1,对于优先级大于i-1的报文,其丢弃概率为0。如果d>thm,则丢弃进入队列的所有报文。
在应用上述算法具体实施时,首先初始化队列门限th0,th1,th2,...,thm-1,thm,即对th0,th1,th2,...,thm-1,thm,赋予不同的值,具体赋值的数值,用户可以根据应用场合设定,不在此赘述。然后,将所有标有丢弃优先级或缺省优先级报文的丢弃概率设为0,对于进入队列的第一个分组,同时查看其优先级和报文长度,在处理第一个分组的同时,计算第一个分组写入完毕以后队列的深度d1,d1等于原队列深度d加上第一个分组的报文长度。同时更新所有优先级报文在该队列深度下的丢弃概率Ploss。在第二个报文到达时,同样是先提取该报文的优先级和报文长度,根据优先级决定该报文是否应该丢弃。
如果当前报文按照所述算法应被丢弃,则该报文从前级读入时,不写入缓存队列;如果该报文按照所述算法不应被丢弃,则读取的报文写入缓存队列,同时根据其长度更新当前报文发送完毕后的队列深度d以及不同优先级分组的丢包概率Ploss。所以,该队列管理机制在任何时刻,都保持最新的队列深度d和不同优先级分组的丢包率,每次分组到达依据其丢包概率决定该分组是否应丢弃,并根据判别结果,更新下一个分组到达时的队列深度和各优先级分组的丢包率。
进一步的,在实施例二中,在无效报文识别舍弃之前,还可以包括报文格式封装,所述报文格式封装是指:将所述输入的报文线速封装成携带分组信息的预设格式的报文。
在本发明方法实施例三中,在将所述第一报文、第二报文及第三报文发送到预设位置存储之后还包括:将所述第一报文按照目的地址进行单播封装;将所述第二报文和所述第三报文按照目的地址进行组播封装。单播封装是指只向一个节点分发的格式封装,组播封装是指向多个节点分发的格式封装。
本发明还给出了一种报文处理装置的实施例三,可参见图3,该装置包括:
第一识别模块301,用于利用三种预设方式中的任意一种方式对输入的报文进行处理,得到第一报文,所述三种预设方式分别为:提取报文IP分组头部或者载荷固定位置的特征码符合第一预设特征的报文、提取报文载荷中任意位置的特征码符合第二预设特征的报文及提取报文载荷中特征码范围符合第三预设特征的报文;
第二识别模块302,用于以所述三种预设方式中另外两种方式中的任意一种方式对所述第一报文进行处理,得到第二报文;
第三识别模块303,用于按照所述三种预设方式中余下的预设方式对所述第二报文进行处理,得到第三报文;
报文存储模块304,用于将所述第一报文、第二报文及第三报文发送到预设位置存储。
在具体实施报文处理装置时,参见图3,该装置还可以包括报文格式封装模块400,用于将所述输入的报文线速封装成携带分组信息的预设格式的报文并提供给第一识别模块。在实际应用中,如果报文在传输介质中通过光信号传输,那么在报文格式封装模块400可以具体如图4所示那样,包括:光电转换子模块401,串并转换子模块402,链路层处理子模块403,内部格式封装子模块404。光电转换子模块401将接收的光信号转换为串行差分电信号,然后送到串并转换子模块402;串并转换子模块402将输入的串行信号转化为并行信号,转化后的信号送入链路层处理子模块403;链路层处理子模块403主要完成链路层处理,链路层处理比较复杂,在此简单描述,具体实施时,链路层处理子模块403可以选用商用的链路层处理芯片;链路层处理子模块403对串并转换子模块402发来的链路层分组进行链路层解封处理,把解封出来的以太网帧送入内部格式封装子模块404;内部格式封装子模块404可以采用FPGA子模块,经过链路层处理子模块403处理后的数据分组就变成了IP分组,因此可以由FPGA子模块进行处理,并打上线路号、虚容器标识、时隙号、策略号和时间戳等标签。
第一识别模块301可以采用固定关键词筛选的方式识别有效报文,报文字段可以是报文头部固定位置的协议字段,也可以是数据域的特定位置数据特征。在具体实施时,可以采用FPGA+TCAM+SRAM的查表处理方案,筛选控制由FPGA完成,关键词特征存储在TCAM中,查表结果存储在SRAM中,输入的数据经过第一识别模块301筛选后将匹配结果记入到分组中。具体的查表过程可以采用流水线机制,包括如下过程:当IP报文到来时,首先有FPGA从报文头部中提取出查表关键字,送给TCAM查表,TCAM搜索到与该关键字匹配的表项时,将该匹配表项的地址由TCAM结果输出总线送出,读取该地址下SRAM的表项得到本次路由查表的结果即转发该报文的目的接口,然后由SRAM数据总线将该报文送到FPGA数据线路中。
第二、三识别模块也可以采用FPGA+TCAM+SRAM的查表处理方案,不再赘述。
在第二识别模块302同第三识别模块303之间可以设置交换网络,第二识别模块302同第三识别模块303之间通过交换网络交换数据;采用交换网络有利于系统的平滑升级,在实际应用中,可以将第一、二识别模块看做是一个子系统,将第三识别模块看做是另一个子系统;将经过第一、二识别模块处理后的数据输入到第三识别模块中,数据就从第一级系统进入第二级系统,子系统之间的数据传送是由交换网络完成的。因此交换网络的作用是为不同子系统之间交换数据的,采用交换网络后,就可以将一个复杂的系统分解为多个子系统来实现,子系统之间采用交换网络提供的通道交换数据,可以完成更复杂的分组处理。
参见图3,实施例三的装置还可以包括报文舍弃模块500,所述报文舍弃模块500接收经报文格式封装模块400处理后的数据,对此数据进行舍弃处理后再发送给第一识别模块,本发明还给出了一种报文处理装置的实施例四,实施例四中报文舍弃模块500在具体实施时可以包括(参见图5):
协议识别子模块501,用于用于识别所述输入的报文是否符合协议特征的业务类型,当所述输入的报文不符合所述协议特征时,将所述输入报文标上丢弃优先级标识;
网络行为识别子模块502,用于对于未能通过协议特征识别出业务类型的报文,当该报文不符合基于网络行为特征的业务类型时,将该报文标上丢弃优先级标识;
缺省识别子模块503,用于对于未能通过基于网络行为特征识别出业务类型的报文,则将该报文标上缺省优先级标识;
判断处理子模块504,用于依据报文标识的丢弃优先级标识或缺省优先级标识和报文的长度来判断是否丢弃该报文。
在采用上述方法实施二中的算法进行报文识别舍弃时,判断处理子模块504还可以包括缓存队列子模块505,以及队列管理策略子模块506;更进一步的队列管理策略子模块506可以包括:队列深度计数和门限判决子模块507、丢包概率更新电路子模块508以及队列读写使能信号产生子模块509。
在具体实施时,协议识别子模块501,网络行为识别子模块502和缺省识别子模块503依次对输入的报文进行判断和标识,协议识别子模块501识别报文是否符合协议特征的业务类型,如果不符合则将报文标上丢弃优先级标识;网络行为识别子模块502对于未能通过协议特征识别出业务类型的报文,则识别报文是否符合基于网络行为特征的业务类型,如果不符合则将报文标上丢弃优先级标识;缺省识别子模块503对于未能通过网络行为特征识别出业务类型的报文,则将报文标上缺省优先级标识;标上有优先级标识的报文就有可能是要舍弃的报文,将这些报文输入判断处理子模块504,判断处理子模块504依据丢弃优先级标识或缺省优先级标识和报文的长度来判断是否丢弃该报文。
报文舍弃模块500在功能上等效于一个能够线速过滤无用报文的漏桶,根据后端关键信息收敛单元的处理能力,线速优先丢弃无用的报文,使得处理后的报文到达的速率等同于关键信息收敛单元的处理能力,这里所说的关键信息收敛单元可以是指实施例三中的第一-三识别模块和报文存储模块。
进一步的,在实施例三的基础上,参见图3,在报文存储模块之后还可以包括:分发封装模块600,用于将存储于报文存储模块304中的第一报文按照目的地址进行单播封装,将存储于报文存储模块304中的第二报文和第三报文按照目的地址进行组播封装。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员可以理解,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,所述程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1、一种报文处理方法,其特征在于,包括:
利用三种预设方式中的任意一种方式对输入的报文进行处理,得到第一报文,所述三种预设方式分别为:提取报文IP分组头部或者载荷固定位置的特征码符合第一预设特征的报文、提取报文载荷中任意位置的特征码符合第二预设特征的报文及提取报文载荷中特征码范围符合第三预设特征的报文;
以所述三种预设方式中另外两种方式中的任意一种方式对所述第一报文进行处理,得到第二报文;
按照所述三种预设方式中余下的预设方式对所述第二报文进行处理,得到第三报文;
将所述第一报文、第二报文及第三报文发送到预设位置存储。
2、根据权利要求1所述方法,其特征在于,在利用三种预设方式中的任意一种方式对输入的报文进行处理之前还包括:将所述输入的报文线速封装成携带分组信息的预设格式的报文。
3、根据权利要求1所述方法,其特征在于,在利用三种预设方式中的任意一种方式对输入的报文进行处理之前还包括:
识别所述输入的报文是否符合协议特征的业务类型,当所述输入的报文不符合所述协议特征时,将所述输入报文标上丢弃优先级标识;
对于未能通过协议特征识别出业务类型的报文,当该报文不符合基于网络行为特征的业务类型时,将该报文标上丢弃优先级标识;
对于未能通过基于网络行为特征识别出业务类型的报文,则将该报文标上缺省优先级标识;
依据报文标识的丢弃优先级标识或缺省优先级标识和报文的长度来判断是否丢弃该报文。
4、根据权利要求3所述方法,其特征在于,所述依据报文标识的丢弃优先级标识、缺省优先级标识和报文的长度来判断是否丢弃该报文包括:
设置队列需要支持的丢弃优先级个数为m,设置队列门限个数为m+1,设置报文的丢弃概率为Ploss,设置各队列门限为th0,th1,...,thm,设置报文长度为d;
初始换队列门限th0,th1,...,thm,将报文的丢弃概率Ploss设为0,
当报文长度小于等于thi并大于thi-1时,所述i取值范围在1至m之间,则,
用公式 P loss = 0 pri > i - 1 P loss = min { 1 , d - th i - 1 th i - th i - 1 } pri = i - 1 P loss = 1 pri < i - 1
得到该报文的丢弃概率Ploss
当报文长度大于最大预设门限时,则丢弃该报文。
5、根据权利要求1所述方法,其特征在于,在将所述第一报文、第二报文及第三报文发送到预设位置存储之后还包括:
将所述第一报文按照目的地址进行单播封装;
将所述第二报文和第三报文按照目的地址进行组播封装。
6、根据权利要求1-5任一种所述的方法,其特征在于,所述报文IP分组头部或者载荷固定位置的特征码和/或所述报文载荷中任意位置的特征码为:报文长度、协议类型、源IP地址、目的IP地址、源端口号、目的端口号、TCP标志位、数据区指定位置特征中的一个或多个组合。
7、根据权利要求1-5任一种所述的方法,其特征在于,所述报文载荷中特征码范围为:报文长度范围、源端口号范围、目的端口号范围、源IP地址范围或目的IP地址范围中的一个或多个组合。
8、一种报文处理装置,其特征在于,包括:
第一识别模块,用于利用三种预设方式中的任意一种方式对输入的报文进行处理,得到第一报文,所述三种预设方式分别为:提取报文IP分组头部或者载荷固定位置的特征码符合第一预设特征的报文、提取报文载荷中任意位置的特征码符合第二预设特征的报文及提取报文载荷中特征码范围符合第三预设特征的报文;
第二识别模块,用于以所述三种预设方式中另外两种方式中的任意一种方式对所述第一报文进行处理,得到第二报文;
第三识别模块,用于按照所述三种预设方式中余下的预设方式对所述第二报文进行处理,得到第三报文;
报文存储模块,用于将所述第一报文、第二报文及第三报文发送到预设位置存储。
9、根据权利要求8所述的装置,其特征在于,还包括:报文格式封装模块,用于将所述输入的报文线速封装成携带分组信息的预设格式的报文并提供给第一识别模块。
10、根据权利要求8所述的装置,其特征在于,还包括报文舍弃模块,报文舍弃模块对输入的报文处理后发送给第一识别模块,所述报文舍弃模块包括:
协议识别子模块,用于识别所述输入的报文是否符合协议特征的业务类型,当所述输入的报文不符合所述协议特征时,将所述输入报文标上丢弃优先级标识;
网络行为识别子模块,用于对于未能通过协议特征识别出业务类型的报文,当该报文不符合基于网络行为特征的业务类型时,将该报文标上丢弃优先级标识;
缺省识别子模块,用于对于未能通过基于网络行为特征识别出业务类型的报文,则将该报文标上缺省优先级标识;
判断处理子模块,用于依据报文标识的丢弃优先级标识或缺省优先级标识和报文的长度来判断是否丢弃该报文。
11、根据权利要求8所述的装置,其特征在于,第二识别模块同第三识别模块之间通过交换网络实现数据交换。
12、根据权利要求8所述的装置,其特征在于,还包括:分发封装模块,用于将存储于所述预设位置的第一报文按照目的地址进行单播封装,将存储于所述预设位置的第二报文和第三报文按照目的地址进行组播封装。
CN2009101317323A 2009-03-27 2009-03-27 一种报文处理方法及装置 Expired - Fee Related CN101505283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009101317323A CN101505283B (zh) 2009-03-27 2009-03-27 一种报文处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009101317323A CN101505283B (zh) 2009-03-27 2009-03-27 一种报文处理方法及装置

Publications (2)

Publication Number Publication Date
CN101505283A true CN101505283A (zh) 2009-08-12
CN101505283B CN101505283B (zh) 2011-05-25

Family

ID=40977355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101317323A Expired - Fee Related CN101505283B (zh) 2009-03-27 2009-03-27 一种报文处理方法及装置

Country Status (1)

Country Link
CN (1) CN101505283B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102195977A (zh) * 2011-04-13 2011-09-21 北京恒光创新科技股份有限公司 一种网络协议识别方法及装置
CN103001958A (zh) * 2012-11-27 2013-03-27 北京百度网讯科技有限公司 异常tcp报文处理方法及装置
CN104468239A (zh) * 2014-12-22 2015-03-25 上海大唐移动通信设备有限公司 一种基于规则的数据处理方法及装置
CN104660499A (zh) * 2015-01-29 2015-05-27 东南大学 一种避免因丢包而连续损失两组报文的报文处理方法
CN105491014A (zh) * 2015-11-20 2016-04-13 成都科来软件有限公司 一种基于国家编号的数据包检测方法
CN107728497A (zh) * 2017-09-29 2018-02-23 深圳狗尾草智能科技有限公司 用于人机交互的通信方法
CN110999233A (zh) * 2017-08-10 2020-04-10 华为技术有限公司 一种管理组播节目的方法、装置和网络设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102195977A (zh) * 2011-04-13 2011-09-21 北京恒光创新科技股份有限公司 一种网络协议识别方法及装置
CN102195977B (zh) * 2011-04-13 2014-07-23 北京恒光创新科技股份有限公司 一种网络协议识别方法及装置
CN103001958A (zh) * 2012-11-27 2013-03-27 北京百度网讯科技有限公司 异常tcp报文处理方法及装置
CN103001958B (zh) * 2012-11-27 2016-03-16 北京百度网讯科技有限公司 异常tcp报文处理方法及装置
CN104468239A (zh) * 2014-12-22 2015-03-25 上海大唐移动通信设备有限公司 一种基于规则的数据处理方法及装置
CN104660499A (zh) * 2015-01-29 2015-05-27 东南大学 一种避免因丢包而连续损失两组报文的报文处理方法
CN104660499B (zh) * 2015-01-29 2017-12-26 东南大学 一种避免因丢包而连续损失两组报文的报文处理方法
CN105491014A (zh) * 2015-11-20 2016-04-13 成都科来软件有限公司 一种基于国家编号的数据包检测方法
CN110999233A (zh) * 2017-08-10 2020-04-10 华为技术有限公司 一种管理组播节目的方法、装置和网络设备
CN107728497A (zh) * 2017-09-29 2018-02-23 深圳狗尾草智能科技有限公司 用于人机交互的通信方法
CN107728497B (zh) * 2017-09-29 2020-01-24 深圳狗尾草智能科技有限公司 用于人机交互的通信方法

Also Published As

Publication number Publication date
CN101505283B (zh) 2011-05-25

Similar Documents

Publication Publication Date Title
CN101505283B (zh) 一种报文处理方法及装置
CN102769565B (zh) 基于流持续时间的用于网络中路径选择的方法和装置
CN101741603B (zh) 一种基于令牌桶的流量监管方法及设备
CN100502354C (zh) 一种基于vlan的数据报文传输方法和以太网桥设备
US7751319B2 (en) Method and processor for classifying data packet units
CN101170512B (zh) 报文业务处理方法
CN103840996B (zh) 光网络单元中实现用户端口vlan业务管理的方法及系统
CN102387082B (zh) 基于流分类的分组流量控制系统及控制方法
CN101827073A (zh) 跟踪片段数据流
CN101330472A (zh) 流媒体数据的缓存处理方法
CN102594676A (zh) 桥端口扩展网络及其拥塞控制方法、端口扩展器和控制桥
CN108206787A (zh) 一种拥塞避免方法和装置
CN104243348B (zh) 一种数据处理方法和装置
CN101964751B (zh) 数据包的传输方法及装置
CN100531123C (zh) 一种实现数据包模式到信元帧模式转换的装置及其方法
CN111740922B (zh) 数据传输方法、装置、电子设备及介质
CN101459699B (zh) 一种网络地址转换方法和装置
CN103442091A (zh) 一种数据传输方法及装置
CN102739536A (zh) 一种报文缓存方法及路由器
CN107124316B (zh) 一种数据通信设备中基于硬件的快速倒换动作实现方法
CN101895470B (zh) 流控信息传递方法和装置
CN101764758A (zh) 用于连接以太网与光突发交换网络的边缘节点及实现方法
CN101938404B (zh) 用于数据流量管理的随机早期丢弃方法和装置
CN105323234A (zh) 业务节点能力处理方法、装置、业务分类器及业务控制器
CN107592361A (zh) 一种基于双ib网络的数据传输方法、装置、设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110525

Termination date: 20190327

CF01 Termination of patent right due to non-payment of annual fee