CN103812700A - 一种基于规则信息熵的报文分类方法 - Google Patents

Abstract

本发明公开了一种基于规则信息熵的报文分类方法，通过对分类规则的预处理，在报文分类规则的属性域上计算规则的离群属性子集，然后利用规则的属性权矢量计算加权距离，进而分析规则的加权邻域的子空间离群影响因子，通过与离群因子阈值的比较生成报文匹配的频繁匹配子集。后续报文匹配就先匹配具有非离群属性的规则的频繁匹配子集，提高了匹配效率。同时本发明对分类规则预处理产生频繁匹配子集的时间开销相对于整个数据流的匹配开销较小，且算法的转发性能远高于预处理前。

Description

一种基于规则信息熵的报文分类方法

技术领域

本发明属于通信技术领域，涉及一种基于规则信息熵的报文分类方法。

背景技术

随着Internet应用的迅猛发展，网络使用人群正以空前的规模急剧膨胀。网络时代的到来，为人们的生活提供了无限的便利，但同时也对网络的带宽、网络的安全性、网络的服务类型等方面也提出了巨大的挑战。与最初的网络应用相比，目前网络支持的业务类型也由传统的数据业务转变为个人多媒体业务、企业金融业务，政府办公应用等多种业务。因此，通过有效的技术手段，管理和控制网络中的各种业务流量，为不同应用分配合理的带宽资源，提供不同级别的服务质量保障，都是建立在高效报文分类技术之上的。报文分类是根据报文头部信息的关键字段对报文进行分类，网络设备针对不同类别的报文可以采取不同的操作，这种分类操作由网络设备的分类器完成。而路由器在完成传统的路径选择，报文转发的功能外，可以充当分类器的角色。它通过抽取报文头中不同域的信息，根据规则库中一定的规则，对接收到的报文采取不同的处理方式，以实现对数据的差别服务。

现代网络技术的发展使得越来越多的网络设备需要支持快速准确的报文分类，如安全网关、边缘路由器、核心路由器等。未来网络的发展趋势需要为用户提供更好的服务质量，而诸如防火墙、区分服务、虚拟专网VPN、基于策略的路由、高层交换等提高服务质量的机制都是基于高效高速的路由表查找、报文分类、流标识、Buffer管理和分组调度管理等网络控制机制技术之上的，以对不同要求的IP流进行不同的高速处理。

目前报文分类处理技术分为两个大的方向，一种是对报文分类规则设计专用的数据结构或把报文的匹配归结为几何空间的寻找最小区域问题，该方向着力于设计良好的算法和路由器操作系统集成，通过软件方法实现报文分类匹配；另外一种研究方向是设计专门的用于硬件实现报文处理的指令，现有的方案大多把IP数据报的各个字段映射为结构良好的二进制编码，利用硬件处理二进制编码以此来获得较高的处理能力，因此编码的设计决定了对报文进行分类处理的性能。现阶段报文分类处理技术主要提取IP数据包的源地址、目的地址、源端口、目的端口对分类规则进行匹配，而对应用层协议的分类匹配的支持不足，这无法满足提供多种服务的互联网数据流分类要求；同时对于采用硬件设计方案来说，支持报文分类服务的种类越多，编码规则越复杂，增加实现的难度，而且丧失了硬件快速处理的优势。

报文分类问题的实质就是对一个到达的报文根据其头字段的信息在分类器规则库中寻找代价最小的匹配规则。每个头字段具体的匹配方式由过滤规则相应域的表达形式决定，共有三种不同的匹配方式：(1)精确匹配。报文头字段的值与过滤规则匹配域的精确值匹配。(2)前缀匹配。报文头字段的值符合过滤规则匹配域规定的前缀。(3)范围匹配。报文头字段的值落在过滤规则匹配域规定的范围内。当一个报文的d个头字段与一条过滤规则的d个域均匹配时，就称该报文匹配该规则。由于过滤规则的交叠性，一个报文可能匹配规则库中的多条过滤规则，选取这些过滤规则中代价最小的并执行该规则所关联的动作。表1是一个简单的分类器规则库示例。

表1过滤规则库示例

报文分类问题的研究最早始于二十世纪初，经过不断研究积累，基于不同思想和不同数据结构的算法及改进优化已近二十余种。最初的流分类问题研究主要是基于IP路由查找，后来随着网络应用要求的不断提高，基于差分服务、网络安全等各方面的报文分类研究逐步展开。这个研究领域主要有两大方向:以George Varghese教授及其弟子Srinivasan为主，偏向于尝试数据结构以及Hash函数解决方案的圣路易斯大学(Washington University inSt.Louls)学派，其主要合作伙伴是Bell实验室和微软研究院；另一学派是以Nick McKeown教授及其弟子PanKaj Gupta为主，重点研究多维数据报文分类及基于TCAM算法设计的的斯坦福大学学派，其主要的合作伙伴是Cisco公司。国内从事这一领域的研究的主要有:清华网络和协议测试实验室、中科大信息网络实验室、北京邮电大学程控交换技术与通讯网国家重点实验室等。目前具有代表性的流分类算法有:递归流分类算法、交叉乘积算法、聚合比特向量算法、网格查找树算法、二维组空间查找等。

目前流行的报文分类算法根据其实现特点可以分为三类：①基于硬件和硬件优化的算法，该类报文分类方法主要利用一些特殊的硬件或硬件设备的某些特性（如并行性、流水性等）来实现报文分类，虽然分类速度较快，但维数少，扩展性差，价格比价昂贵，一些运算符不能直接支持，内存数组利用可能也不是很有效，并且对基于PC机的路由器来说不实用。如TCAM、BV、ABV；②基于缓存和特殊数据结构的算法，该类报文分类方法主要是基于缓存技术和建立一些特殊的数据结构（如搜索树、哈希表等）来实现报文分类的方法[5]。该方法通过设计特殊的数据结构和利用缓存保存中间结果来减少遍历报文分类规则的次数，但这种算法空间复杂度较高，规则动态更新效率差，特别是在树型结构中引入转向指针后使得快速插入和删除过滤规则变得更加困难。如RFC、Grid of Trie、Cross-Producting；③基于计算几何的算法，此类报文分类算法主要依据计算几何理论和分类问题的几何意义来设计和实现。该类算法扩展性好，可用于大型规则库，支持规则快速更新，缺点是算法复杂、预处理时间长。如FIS、G-filter；

现有分类算法在处理时间、空间性能、更新效率方面的各有侧重，但对多维的分类的处理上表现得不尽如人意。虽然G-filter、Grid of Trie可以在处理维度上进行扩展，但是以构造复杂的数据结构，增加预处理时间为代价。基于硬件优化设计的方法是牺牲了对报文的处理维度，简化了映射关系以此来提高处理速度，很难适应目前语音、视频、VoIP、视频会议、电子银行和网上炒股等实时业务的要求。采用设计特殊数据结构和几何空间映射的软件实现方案，需要和路由器操作系统集成，加大了分类处理过程中路由器的负担，使得路由器成为数据处理的瓶颈，影响传输效率。

由于高速网络发展的需要，为了使网络性能得到全面的提高，需要网络各部件工作得更快，特别是路由器。而传统的路由器已经无法满足日益增长的业务需要，发展高速路由器作为未来骨干网的良好解决方案越来越受到人们的重视。为此要引入高速的路由表查找、报文分类、流标识、Buffer管理和分组调度管理等网络控制机，以对不同要求的IP流进行不同的高速处理。其中高速的路由表查找和报文分类问题是Buffer管理和分组调度算法的重要基础，它们的速度快慢和性能好坏直接影响整个路由器的性能。到目前为止,一些快速的路由表查找算法已经研究出，但仍存在反应速度慢，时间复杂度高，难以适应网络的高速线性转发，成为网络传输的瓶颈。

IP报文分类技术用不同的规则来标识各个数据流,每条规则根据对报文头部各字段的分析指出该数据流中的报文应当执行的相应操作。而分类算法由于报文多维特征导致了此类算法的时间和空间复杂度较高，因此分类算法的优劣对提供这些服务的网络设备（如路由器）的整体性能有决定性影响。

发明内容

为了克服现有技术中存在的缺陷，本发明提出一种基于规则信息熵的报文分类方法，利用分类规则的结构和统计特性降低空间和时间复杂度，通过规则预处理来增加报文分类速度，减少内存消耗，降低处理时间，实现高维分类规则下数据包的快速转发。

其技术方案如下：

一种基于规则信息熵的报文分类方法，包括以下步骤：

（1）获取网络数据流，得到待分类的数据报文。

（2）利用现有的分类规则对输入的报文进行匹配。在这个过程中匹配上的规则归入集合R。对于R∈C，则R的离群属性子集DIOS(R)={F[j]∈V|F[j]为R的离群属性}

其中，F[j]为R的离群属性。其计算方式为：

R∈C，F[j]∈V，若满足如下关系

${\mathrm{LEA}}_{F\left[j\right]}\left(R\right)\≥\frac{\underset{Q\∈N_k\left(R\right)}{\mathrm{\Σ}}{\mathrm{LEA}}_{F\left[j\right]}}{N_k\left(R\right)}$

其中LEA是局部属性熵。

（3）然后根据离群属性子集计算R的属性权矢量AWV(R)，计算方法如下：对于R∈D，R的属性权矢量AWV(R)＝(w₁,w₂,...,w_d)，其中w_j为属性F[j]关于R的权重：

（4）计算规则的加权邻域的子空间离群影响因子：

R的加权邻域的子空间离群影响因子SP0IF计算如下：

$\mathrm{SPOIF}\left(R\right)=\frac{{\mathrm{den}}_{\mathrm{avg}}\left({\mathrm{WN}}_k\left(R\right)\right)}{\mathrm{den}\left(R\right)}$

其中 ${\mathrm{den}}_{\mathrm{avg}}\left({\mathrm{WN}}_k\left(R\right)\right)=\frac{\underset{q\∈{\mathrm{WN}}_k\left(p\right)}{\mathrm{\Σ}}\mathrm{den}\left(R\right)}{\left|{\mathrm{WN}}_k\left(R\right)\right|}$

（5）把SP0IF与离群因子阈值进行比较，SP0IF大于阈值，则SP0IF对应的规则集为频繁匹配子集，反之则是非频繁匹配子集。

（6）后续报文优先匹配具有非离群属性的规则的频繁匹配子集，这样可加快匹配速度。如果在频繁匹配子集中匹配失败，则去匹配非频繁匹配子集，然后扩大规则R的领域，即增大权值K。返回步骤（2）重新计算。

本发明的有益效果：

本发明采用对分类规则进行与处理的思路，提出了一种离群属性检测分类方法。在网络数据报文的分类规则的属性域上计算出离群属性子集，然在利用规则属性加权矢量去完成对加权距离计算，进一步分析规则加权邻域的子空间离群影响因子，通过与离群因子阈值比较生成频繁匹配子集对规则进行预处理。本发明通过对先到报文匹配上的规则的预处理，能有效地缩小后续报文的匹配范围，降低了报文匹配的时间，在保证匹配精度的情况下，提高了报文转发的速度，有利于网络数据的快速转发。

附图说明

图1是本发明基于规则信息熵的报文分类方法的流程图；

图2是不同算法的精度对比图；

图3是.HiCuts预处理前后的转发能力对比图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步详细地说明。

本发明通过对分类规则的预处理，在报文分类规则的属性域上计算规则的离群属性子集，然后利用规则的属性权矢量计算加权距离，进而分析规则的加权邻域的子空间离群影响因子，通过与离群因子阈值的比较生成报文匹配的频繁匹配子集。后续报文匹配就先匹配具有非离群属性的规则的频繁匹配子集，提高了匹配效率。同时本发明对分类规则预处理产生频繁匹配子集的时间开销相对于整个数据流的匹配开销较小，且算法的转发性能远高于预处理前。

基于分类规则信息熵的报文处理方法流程图如图1所示。

对输入的报文进行分类规则的匹配，对每个匹配上的规则R，计算规则R的离群属性子集DIOS(R)，然后根据离群属性子集计算R的属性权矢量AWV(R)，进一步利用R的属性权矢量AWV(R)计算加权距离，进而分析R的加权邻域的子空间离群影响因子（SP0IF）。分析可知，SPOIF值越大，离群可能性越大。经过一定流量的报文匹配计算之后，对于SPOIF值大于离群因子阈值t的规则作为离群规则，得到非频繁匹配子集，以后的报文匹配就先匹配具有非离群属性的规则的频繁匹配子集。对于无法在频繁匹配子集得进行匹配规则的情况，则在非频繁匹配子集中，增大邻域k值，重复以上过程。

基于分类规则信息熵的报文处理方法中涉及到的数据集合计算方式如下：

规则R局部属性熵(Local Entropy of Attribute).对R∈C，F[j]∈V，R关于F[j]的局部属性熵定义为

${\mathrm{LEA}}_{F\left[j\right]}\left(R\right)=-\underset{q\∈N_k\left(p\right)}{\mathrm{\Σ}}\frac{\mathrm{dist}({\mathrm{\Π}}_{F\left[j\right]}R,{\mathrm{\Π}}_{F\left[j\right]}Q)-d_{\min }}{d_{\max }-d_{\min }}\·{\log }_2\left(\frac{\mathrm{dist}({\mathrm{\Π}}_{F\left[j\right]}\left(R\right),{\mathrm{\Π}}_{F\left[\right[j]}\left(Q\right))-d_{\min }}{d_{\max }-d_{\min }}\right)$

$d_{\max }=\max \left\{\mathrm{dist}({\mathrm{\Π}}_{{F\left[j\right]}_i}\left(R\right),{\mathrm{\Π}}_{F\left[j\right]}\left(Q\right))\right|Q\∈N_k\left(R\right)\}$

d_min＝min{dist(Π_F[j](R),Π_F[j](Q))|q∈N_k(R)}

局部信息熵

描述了规则R及其邻近规则在属性F[j]上投影值的分布情况，其数值越大，说明以R为中心的规则在属性F[j]上表现出的不稳定性(非规范性)越大；数值越小，说明以R为中心的规则在属性F[j]上分布越趋规范.生成规则R在各维上的局部属性熵后，进一步对R的离群子空间进行定义。

R的离群属性(outlier attribute)计算方式：

对`R∈C，F[j]∈V，若满足如下关系

${\mathrm{LEA}}_{F\left[j\right]}\left(R\right)\≥\frac{\underset{Q\∈N_k\left(R\right)}{\mathrm{\Σ}}{\mathrm{LEA}}_{F\left[j\right]}}{N_k\left(R\right)}$

则称属性F[j]为R的离群属性。其中LEA是局部属性熵。

R的离群属性子集(distinct outlier attribute subspace)

对R∈C，R的离群属性子集DIOS(R)={F[j]∈V|F[j]为R的离群属性}

R的所有离群属性构成R的离群属性子集，这个属性子集对应d维属性集的投影子空间，规则R在这个子空间内表现出较强的不确定性。

属性权矢量(attribute weighted vector)

对R∈D，R的属性权矢量AWV(R)＝(w₁,w₂,...,w_d)，其中w_j为属性F[j]关于R的权重：

属性子空间加权距离(subspace weighted distance)

对R,Q,N∈C，Q和N关于R的子空间加权距离定义为SWDIST_R(Q，N)：

${\mathrm{SWDIST}}_R(Q,N)=\sqrt{\underset{j}{\mathrm{\Σ}}{w}_j{({\mathrm{\Π}}_{A_j}\left(Q\right)-{\mathrm{\Π}}_{A_j}\left(R\right))}^2}$

其中w_j为属性F[j]关于R的权重

R的加权k距离(weighted k-distance)

存在o∈C，使得至少有k个数据点o’∈C满足SWDIST(R，o’)≤SWDIST(R，o)，并且最多有k-1个数据点o’∈C满足SWDIST(R，o)<SWDIST(R，o)，则R的加权k距离k-wdist(R)=SWDIST_p(R，0).

R的加权k邻域(weighted k neighborhood)

WN_k(R)={x∈C|SWDIST≤k-wdist(R)}

R的局部密度(1ocal density)

den(R)=1/k-wdist(R)

R的子空间离群影响因子(subspace outlier influence factor)

R的子空间离群影响因子SP0IF定义如下：

$\mathrm{SPOIF}\left(R\right)=\frac{{\mathrm{den}}_{\mathrm{avg}}\left({\mathrm{WN}}_k\left(R\right)\right)}{\mathrm{den}\left(R\right)}$

其中 ${\mathrm{den}}_{\mathrm{avg}}\left({\mathrm{WN}}_k\left(R\right)\right)=\frac{\underset{q\&Element;{\mathrm{WN}}_k\left(p\right)}{\mathrm{\&Sigma;}}\mathrm{den}\left(R\right)}{\left|{\mathrm{WN}}_k\left(R\right)\right|}$

规则集C的频繁匹配子集(frequence matching Sub-Set)

N={C-R|R∈C，SPOIF(R)>r}，r为离群因子阈值

基于分类规则信息熵的报文处理方法（Packet Classification Method based RuleEntropy，PCMRE）的测试

实验平台配置如下：Intel酷睿2双核2.6G/2048M，windows2003(Server版)，采用VisualC++（6.0）实现。PCMRE作为报文分类的预处理算法，是利用报文进行分类学习，产生频繁子集，加快后续报文处理速度。这里结合Grid of Trie，HiCuts，RFC这三种典型的分类算法，分别用PCMRE进行预处理后再由这三种方法进行分类匹配。测试中使用了不同大小的规则集，这些规则集来源于ClassBench。PCMRE的关键在于在这些规则集上产生频繁匹配子集，缩小报文匹配范围。由于采用PCMRE对分类规则进行预处理，必然产生时间开销，但预处理的这段时间提高了后面报文匹配的精确度。这里采用以下方法度量精确度Precision=number of corresponding rules/number of rules number of corresponding rule是指在t时间内与报文匹配的规则数，t小于任何一种分类算法遍历所有规则的时间。

实验结果如图2所示，利用PCMRE产生频繁配子集，缩小报文匹配的范围，使得在t时间内后续报文匹配的精确度大大提高。但时间的开销相对算法配速度来说任然较小，特别是对于规则库较大的报文分类情况，占用少量的时间，建立频繁子集极大地缩短了匹配的时间，提高了精确度。以HiCuts算法为例，利用ODC处理后包转发率和时间关系如图3所示。τ时刻是两种方法处理能力交汇时间点，具体的报文分类算法不同，时间点可能不一致。

本发明基于规则信息熵的报文分类方法具有以下特点：

（1）建立了报文分类规则的信息熵。通过信息熵确定离群属性，进而利用离群影响因子划分分类规则的频繁匹配子集。

（2）由于本发明需要经过相应的处理过程来产生频繁匹配子集和非频繁匹配子集，会产生一定的时间开销。但本发明采用的规则预处理产生频繁匹配子集的时间开销相对于整个数据流的匹配开销较小，在时间t之后该算法的转发性能远高于预处理前。

（3）考虑到后续报文在频繁匹配子集中可能无法匹配，不得不匹配非频繁匹配子集。因此对非频繁匹配子集进行了修正，增大规则的邻域空间，为后续报文建立新的频繁匹配子集。

以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (1)

1.一种基于规则信息熵的报文分类方法，其特征在于，包括以下步骤：

（1）获取网络数据流，得到待分类的数据报文；

（2）利用现有的分类规则对输入的报文进行匹配；在这个过程中匹配上的规则归入集合R；对于R∈C，则R的离群属性子集DIOS(R)={F[j]∈V|F[j]为R的离群属性}：

其中，F[j]为R的离群属性；其计算方式为：

R∈C，F[j]∈V，若满足如下关系

${\mathrm{LEA}}_{F\left[j\right]}\left(R\right)\&GreaterEqual;\frac{\underset{Q\&Element;N_k\left(R\right)}{\mathrm{\&Sigma;}}{\mathrm{LEA}}_{F\left[j\right]}}{N_k\left(R\right)}$

其中LEA是局部属性熵；

（3）然后根据离群属性子集计算R的属性权矢量AWV(R)，计算方法如下：

对于R∈D，R的属性权矢量AWV(R)＝(w₁,w₂,...,w_d)，其中w_j为属性F[j]关于R的权重：

（4）计算规则的加权邻域的子空间离群影响因子：

R的加权邻域的子空间离群影响因子SP0IF计算如下：

$\mathrm{SPOIF}\left(R\right)=\frac{{\mathrm{den}}_{\mathrm{avg}}\left({\mathrm{WN}}_k\left(R\right)\right)}{\mathrm{den}\left(R\right)}$

其中 ${\mathrm{den}}_{\mathrm{avg}}\left({\mathrm{WN}}_k\left(R\right)\right)=\frac{\underset{q\&Element;{\mathrm{WN}}_k\left(p\right)}{\mathrm{\&Sigma;}}\mathrm{den}\left(R\right)}{\left|{\mathrm{WN}}_k\left(R\right)\right|}$

（5）把SP0IF与离群因子阈值进行比较，SP0IF大于阈值，则SP0IF对应的规则集为频繁匹配子集，反之则是非频繁匹配子集；

（6）后续报文优先匹配具有非离群属性的规则的频繁匹配子集，如果在频繁匹配子集中匹配失败，则去匹配非频繁匹配子集，然后扩大规则R的领域，即增大权值K；返回步骤（2）重新计算。

Images