CN105429817A

CN105429817A - 基于dpi和dfi的非法业务识别装置与方法

Info

Publication number: CN105429817A
Application number: CN201510728788.2A
Authority: CN
Inventors: 刘永明; 王渊; 李佳坤
Original assignee: ZTEsoft Technology Co Ltd
Current assignee: ZTEsoft Technology Co Ltd
Priority date: 2015-10-30
Filing date: 2015-10-30
Publication date: 2016-03-23

Abstract

本发明提供一种基于DPI和DFI的非法业务识别装置，包括检测模块与执行模块。检测模块包括源IP检测单元、DPI检测单元以及DFI检测单元，其中：源IP检测单元被设置用于检测输入的网络信息流的IP地址以决定其是否属于非法业务包；DPI检测单元被设置用于输入的网络信息流进行逐包分析以决定其是否属于非法业务包；DFI检测单元被设置用于在分类特征库的基础上根据匹配特征值来检测网络信息流是否属于非法业务包；执行模块中预置了多种执行策略，该执行模块被设置成根据前述检测模块的检测结果而执行这些执行策略。本发明将DPI和DFI相结合，利用两种技术的优点，同时也规避了它们的缺点，既提高了性能，也具有良好的扩展性。

Description

基于DPI和DFI的非法业务识别装置与方法

技术领域

本发明涉及网络通信技术领域，尤其是业务识别，具体而言涉及一种基于DPI和DFI的非法业务识别装置与方法。

背景技术

在当今高速大容量的Internet环境中，随着以TCP/IP为基础的互联网应用的增长，P2P网络应用以独有的优势飞速的发展，在网络流量中占据了超过半数的比例。P2P技术的发展在一定程度上方便了互联网用户的交流、文件共享等。但同时，随着P2P的发展，也带来了很多负面的影响。比如说P2P严重地吞噬、消耗网络带宽，造成网络环境日益恶化。面对近年来网络攻击日趋频繁的趋势，只统计正常应用流量的比例也无法满足运维需求了。对异常流量进行分析监控成为流量分析系统主要功能

然而，随着业务和应用的快速出现，网络的业务识别成为了一个非常困难的问题，从早期的端口识别方法发展至今，越来越多的应用和业务采用动态可变端口、端口伪装以及合法端口封装的方式来躲避监管；而进一步产生的深度包检测虽然可以解决部分端口识别法所无法识别的业务，比如可变端口或伪装等，但仍然无法满足快速发展的业务特征更新、加密业务等场景，造成业务识别问题仍然举步维艰，因此进一步出现了以智能计算等模糊型方法为主的业务识别算法，但仍然无法很好的解决网络业务识别的问题，因此如何建立一套精确、智能、实时的网络业务识别机制，已成为一个具有高度挑战性的问题，并成为互联网流量测量领域的研究热点之一。

发明内容

本发明目的在于提供一种基于DPI和DFI的非法业务识别装置与方法，基于DPI和DFI相结合的识别来防止非法业务造成异常流量。

本发明的上述目的通过独立权利要求的技术特征实现，从属权利要求以另选或有利的方式发展独立权利要求的技术特征。

为达成上述目的，本发明提出的基于DPI和DFI的非法业务识别装置，包括检测模块与执行模块，其中：

检测模块包括源IP检测单元、DPI检测单元以及DFI检测单元，其中：源IP检测单元被设置用于检测输入的网络信息流的IP地址以决定其是否属于非法业务包；通过源IP检测单元的网络信息流再进入DPI检测单元，该DPI检测单元被设置用于输入的网络信息流进行逐包分析以决定其是否属于非法业务包；通过DPI检测单元的网络信息流再进入DFI检测单元，该DFI检测单元被设置用于在分类特征库的基础上根据匹配特征值来检测网络信息流是否属于非法业务包；

执行模块中预置了多种执行策略，该执行模块被设置成根据前述检测模块的检测结果而执行这些执行策略。

本发明的另一方面提出一种基于DPI和DFI的非法业务识别方法，包括以下步骤：

步骤1、接收网络信息流的输入；

步骤2、提取网络信息流的IP地址，并检测IP地址以决定其是否属于非法业务包，如果属于非法业务包则进入步骤5，否则继续下一步检测；

步骤3、采用DPI检测方法对输入的网络信息流进行逐包分析以决定其是否属于非法业务包，如果属于非法业务包则进入步骤5，否则继续下一步检测；

步骤4、采用DFI检测方法对输入的网络信息流在分类特征库的基础上根据匹配特征值来检测其是否属于非法业务包，进入步骤5；

步骤5、根据非法业务包检测结果执行预置的处理策略。

由以上本发明的技术方案可知，本发明所提出的非法业务识别方案，将DPI和DFI相结合，利用了两种技术的优点，同时也规避了它们的缺点，既提高了性能，也具有良好的扩展性。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是根据本发明实施例的基于DPI和DFI的非法业务识别装置的示意图。

图2是根据本发明实施例的基于DPI和DFI的非法业务识别方法的流程示意图。

图3是根据本发明实施例的源IP检测的流程示意图。

图4是根据本发明实施例的DPI检测的流程示意图。

图5是根据本发明实施例的DFI检测的流程示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

结合图1、图2所示，根据本发明的实施例，一种基于DPI和DFI的非法业务识别装置，包括检测模块与执行模块。检测模块用于对输入的网络信息流进行检测，判断其是否属于非法业务包，并输出结果到执行模块。执行模块则根据检测模块输出的结果而执行预置的执行策略，对网络数据量进行相应的处理，即根据检测模块的检测结果来决定执行哪种行为。例如允许通过检测的网络信息流进入到应用系统部分进行数据接收处理，而未通过检测的信息流则丢弃或者退回；若监测后出在特征库内存在非法数据，对于得数据信息根据特征信息的位置判断，而采取信息过滤措施等等。

结合图1，检测模块包括源IP检测单元、DPI检测单元以及DFI检测单元，其中：源IP检测单元被设置用于检测输入的网络信息流的IP地址以决定其是否属于非法业务包；通过源IP检测单元的网络信息流再进入DPI检测单元，该DPI检测单元被设置用于输入的网络信息流进行逐包分析以决定其是否属于非法业务包；通过DPI检测单元的网络信息流再进入DFI检测单元，该DFI检测单元被设置用于在分类特征库的基础上根据匹配特征值来检测网络信息流是否属于非法业务包。

下面结合附图1-4所示，对前述检测模块以及执行模块进行更加具体的示例性说明和描述。

如图1所示，首先网络信息流通过系统入口进入，到达检测模块。

结合图2以及图3所示，源IP检测单元首先提取出网络信息流的源IP地址，扫描非法源IP概率库，若非法源IP概率库没有该IP地址，则写入该IP地址到非法源IP概率库，同时写入它所对应的分值，若非法源IP概率库已经有该IP地址，则将其分值进行累计，加上当前的分值，此时再判断累计的分值是否超过阈值，若该IP地址累计的分值超过阈值，则判断该网络信息流属于非法业务包，若未超过阈值，那么进行接下来的检测。

本例中，我们引入了非法源IP概率库的应用。由于非法数据量通常来自于某些攻击者，因此如果能在检测到大量来自于某个地址的非法业务流之后，能屏蔽所有来自于该IP地址的数据，那么便能节省网络流量，还能节省检测这些攻击数据的开销，同时也能起到抵御拒绝服务攻击的效果。我们可以为每个非法业务特征字符串设置分值，每匹配到一个地址的非法业务包，我们就扫描非法源IP概率库，同时将该IP地址所对应的总分值累加，如果分值达到每个阈值，我们便屏蔽该地址发送的数据。比如，特征字“ABC”对应的分值为5，当一个IP地址发送的网络包含有“ABC”时，我们首先扫描该IP概率库，若没有该IP，则写入该IP，同时写入它所对应的分值5，若有该IP，则将其当前的分值加5。检测非法业务时首先扫描该非法源IP概率库，如果该IP所对应的总分值超过某个阈值比如100，那么我们便发送检测结果到执行模块执行预置的策略，例如退回或者丢弃这些数据流。

通过源IP检测的网络信息流继续输入到DPI检测单元。

结合图2、图4所示，DPI检测单元采用深度包检测（DPI）技术对输入的信息流进行逐包分析。将接收到的数据包进行拆分提取出应用层数据，同时将其与应用数据特征库进行匹配。比如，某个包的应用层数据含有非法业务关键字，便是该层特征匹配成功，那么便意味着该数据包具有潜在的非法业务包。

在一些例子中，DPI检测单元的匹配检测过程中，我们采用了AC多模匹配算法进行匹配，可更加高效、快速地完成匹配。因此，在DPI的特征匹配阶段，我们通过引入AC多模匹配，只需要进行特征库的更新和预编译，构造出规则树，同时进行多特征的匹配便会执行得非常迅速。

在另一些例子中，如果网络包进行了加密，也可以建立加密的特征库即利用加密后的关键字建立获得的加密的应用数据特征库，这样，便可以应对加密数据。

在更进一步优选的例子中，实时地接收中心数据库推送来的新版本的应用数据特征库，进行本地的应用数据特征库的升级，实现了特征库的随时更新，动态存储。在中心特征库的更新时，我们采用基于SVM机器学习理论技术，对样本不断地进行学习，从而扩充和更新本地的应用数据特征库。

可见，在DPI检测过程中，通过对应用数据的关键字进行匹配，即对数据的“指纹”特征与本地的特征库进行比对，就能实现对信息流的监测。

通过DPI检测单元的网络信息流再进入DFI检测单元。

结合图2、图5所示，DFI检测单元的检测采用的是一种基于流量行为的应用识别，即不同的应用类型体现在会话连接或数据流上的状态各有不同，是一种深度/动态流检测。

因为DFI检测的速度比较快，因此可以建立庞大的分类特征库。在建立DFI特征库的时候同样的也引入基于SVM的机器学习有关技术，对样本进行学习，源源不断地扩充中心分类特征库，而系统的本地分类特征库同DPI检测一样，可以实时接收中心分类特征库的推送来实现本地系统的更新。同时，DFI的检测与网络包是否加密无关，因此可以应对加密数据。

如图5所示，DFI检测单元是在分类特征库的基础上根据匹配特征值来检测网络信息流是否属于非法业务包。匹配特征值可以是本地应用的平均网络包大小、平均传送速率、建立的握手时长以及各种统计数据的运算等等。

结合图1、图2，输入的网络数据流在进行完检测模块的DPI和DFI检测后，便进入到系统的执行模块。

执行模块可以预置各种执行策略，比如：如果通过检测的网络信息流可以进入到应用系统部分进行数据接收处理，而未通过检测的信息流可以丢弃或者退回；若监测后出在特征库内存在非法数据，对于得数据信息根据特征信息的位置判断，而采取信息过滤措施；如果持续地收到某个IP发送的非法业务信息流，还可以屏蔽该IP地址，并将其加地址加入特征库；对于数据源地址列在非法数据特征库的数据进行隔离甚至拒绝接收，等等。这些执行策略的最终目的都是从不同层次上对监测后的信息进行合理处理，达到最优的执行结果。

也就是说，执行模块根据检测模块的检测结果来决定执行哪种行为，这样的执行逻辑是根据预置的执行策略决定的。

在本例子中，执行模块的各种执行策略可以根据应用系统业务流程自由灵活地设定。

如图2所示，结合图1以及以上所述基于DPI和DFI的非法业务识别装置的描述内容，本公开还提出基于DPI和DFI的非法业务识别方法，包括以下步骤：

步骤1、接收网络信息流的输入；

步骤5、根据非法业务包检测结果执行预置的处理策略。

应当理解，结合图3-图5所示以及前述描述的关于基于DPI和DFI的非法业务识别装置的一个或多个实施例的内容，这里的基于DPI和DFI的非法业务识别方法具体实现已经在前述内容中做了相应的描述，在此不再赘述。

由以上本发明的技术方案可见，本发明引入了AC多模匹配算法。AC算法是经典的多模匹配算法，至今大部分的多模匹配算法都是针对AC算法进行改进。AC算法对所有关键字建立有限自动机，利用该自动机对输入文本进行扫描。AC多模匹配的时间复杂度与匹配的特征库里的字符串数量无关，这也意味着，无论特征库的数量多么庞大，所要执行的匹配时间都与其无关。因此，在DPI的特征匹配阶段，如果引入AC多模匹配，只需要进行特征库的更新和预编译，构造出规则树，同时进行多特征的匹配便会执行得非常迅速。

同时，本发明还使用基于SVM的机器学习技术构建特征库。统计学习理论是一种专门的小样本统计理论,为研究有限样本情况下的统计模式识别和更广泛的机器学习问题建立了一个较好的理论框架,同时也发展了一种模式识别方法——支持向量机(SupportVectorMachine,简称SVM),在解决小样本、非线形及高维模式识别问题中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。目前,统计学习理论和SVM已经成为国际上机器学习领域新的研究热点并已被应用于人脸识别、文本识别、手写体识别等领域。利用基于SVM的机器学习技术，通过分类和训练源源不断地扩充DPI和DFI的本地和中心特征库，从而使得整个系统的识别精度得到提高，还能降低更新特征库的开销。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims

1.一种基于DPI和DFI的非法业务识别装置，其特征在于，包括检测模块与执行模块，其中：

2.根据权利要求1所述的基于DPI和DFI的非法业务识别装置，其特征在于，所述源IP检测单元被设置成按照下述方式进行网络信息流的检测：

首先提取出网络信息流的源IP地址，扫描非法源IP概率库，若非法源IP概率库没有该IP地址，则写入该IP地址到非法源IP概率库，同时写入它所对应的分值，若非法源IP概率库已经有该IP地址，则将其分值进行累计，加上当前的分值，此时再判断累计的分值是否超过阈值，若该IP地址累计的分值超过阈值，则判断该网络信息流属于非法业务包，若未超过阈值，那么进行接下来的检测。

3.根据权利要求1所述的基于DPI和DFI的非法业务识别装置，其特征在于，所述DPI检测单元采用深度包检测技术对输入的信息流进行逐包分析，将接收到的数据包进行拆分提取出应用层数据，同时将其与应用数据特征库进行匹配。

4.根据权利要求1所述的基于DPI和DFI的非法业务识别装置，其特征在于，所述DPI检测单元在进行匹配检测过程中，采用了AC多模匹配算法进行匹配。

5.根据权利要求3或4所述的基于DPI和DFI的非法业务识别装置，其特征在于，所述应用数据特征库还被设置成可根据远程的中心服务器推送的新版本进行本地的应用数据特征库的更新和扩充，所述远程的中心服务器基于SVM机器学习，对样本不断地进行学习，扩充和更新本地的应用数据特征库。

6.根据权利要求1所述的基于DPI和DFI的非法业务识别装置，其特征在于，所述DFI检测单元在分类特征库的基础上根据匹配特征值来检测网络信息流是否属于非法业务包，其中的匹配特征值是本地应用的平均网络包大小、平均传送速率、建立的握手时长以及各种统计数据的运算结果。

7.根据权利要求6所述的基于DPI和DFI的非法业务识别装置，其特征在于，所述分类特征库还被设置成可根据远程的中心服务器推送的新版本进行本地的应用数据特征库的更新和扩充，所述远程的中心服务器基于SVM机器学习，对样本不断地进行学习，扩充和更新本地的分类特征库。

8.一种基于DPI和DFI的非法业务识别方法，包括以下步骤：

步骤1、接收网络信息流的输入；

步骤5、根据非法业务包检测结果执行预置的处理策略。

9.根据权利要求8所述的基于DPI和DFI的非法业务识别方法，其特征在于，所述步骤2中，检测IP地址以决定其是否属于非法业务包的具体实现包括：

根据提取出网络信息流的源IP地址，扫描非法源IP概率库，若非法源IP概率库没有该IP地址，则写入该IP地址到非法源IP概率库，同时写入它所对应的分值；若非法源IP概率库已经有该IP地址，则将其分值进行累计，加上当前的分值，此时再判断累计的分值是否超过阈值，若该IP地址累计的分值超过阈值，则判断该网络信息流属于非法业务包，若未超过阈值，那么进行接下来的检测。

10.根据权利要求8所述的基于DPI和DFI的非法业务识别方法，其特征在于，所述步骤2的DPI检测方法在进行匹配检测过程中，采用了AC多模匹配算法进行匹配。