CN106559287A - 基于元引擎的分级深度包检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于元引擎的分级深度包检测系统及方法，涉及深度包检测领域。该系统包括至少一个DPI功能实体和至少一个控制单元，每个DPI功能实体包括0个到多个数据包扫描元引擎、0个到多个数据包分析元引擎、0个到多个操作执行元引擎和一个策略规则库，元引擎是DPI功能实体内的基本处理部件，每个DPI功能实体内上述三类元引擎的总数至少为1，控制单元用于实现对相应DPI功能实体的控制，并通过DPI功能实体对其内部的元引擎进行管理和调度，多个元引擎以流水线式分级实现相应的功能。本发明能够有效提高DPI功能实体的资源利用率和工作效率。

Description

基于元引擎的分级深度包检测系统及方法

技术领域

本发明涉及深度包检测领域，具体是涉及一种基于元引擎的分级深度包检测系统及方法。

背景技术

互联网的不断发展，必然使网络变得越来越复杂，网络的运维管理变得更加困难，网络安全问题日渐突出。一方面，各种各样的网络攻击层出不穷，各种网络垃圾充斥网络，病毒、蠕虫也不断涌现，这些问题给互联网带来许多负面影响。另一方面，互联网中流量种类繁多，对互联网资源的占用千差万别。按照帕累托原则推算，20％的业务使用着网络80％的资源，但这些业务并没付出与它所占用资源相匹配的代价，同时它们对其它业务的服务质量有着较大的负面影响。如何精确掌控网络全貌并基于掌控的信息完成网络的精细运维管理是网络领域的另一难点。

DPI(Deep Packet Inspection，深度包检测)技术可以解决或联合其它技术一起解决上述问题。DPI技术基于从二层到七层网络协议的分析，能够实现对网络中数据的精确感知，从而做到对网络现状的精确把握。

需要强调的是，互联网的日新月异也对DPI相关技术提出了越来越高的要求，这使得DPI功能的实现，仅仅依赖于单一DPI功能实体(就产品而言，对应DPI设备)变得不可能。而且，依靠单一DPI功能实体实现特定的DPI功能很大可能会造成上述DPI功能实体设计复杂，导致传统DPI功能实体的工作效率和资源利用率低下。

发明内容

本发明的目的是为了克服传统DPI功能实体无法满足复杂DPI需求的缺陷，提供一种基于元引擎的分级深度包检测系统及方法，能够有效提高DPI功能实体的资源利用率和工作效率。

本发明提供一种基于元引擎的分级深度包检测系统，该系统包括至少一个DPI功能实体和至少一个控制单元，每个DPI功能实体包括0个到多个数据包扫描元引擎、0个到多个数据包分析元引擎、0个到多个操作执行元引擎和一个策略规则库，元引擎是DPI功能实体内的基本处理部件，每个DPI功能实体内上述三类元引擎的总数至少为1，控制单元用于实现对相应DPI功能实体的控制，并通过DPI功能实体对其内部的元引擎进行管理和调度，多个元引擎以流水线式分级实现相应的功能。

在上述技术方案的基础上，所述控制单元获得其控制的所有DPI功能实体的基本信息：标识、各类元引擎数，根据上述基本信息，获取DPI功能实体内所有元引擎的相关信息：元引擎的名称、类别、功能特性、是否可用、关联的其它元引擎。

在上述技术方案的基础上，所述控制单元收到外部输入的DPI功能需求时，控制单元根据外部输入的DPI功能需求和所有元引擎的信息，搜索到一组能够满足上述需求的元引擎，然后告知对应的DPI功能实体哪些元引擎需要参与实现当前的DPI功能，对应的DPI功能实体配置自身对应的元引擎参与实现DPI功能。

在上述技术方案的基础上，参与实现DPI功能的各个元引擎实现的功能不重复，且所有参与的元引擎功能叠加起来覆盖上述DPI功能。

在上述技术方案的基础上，参与实现DPI功能的元引擎属于同类或异类，参与的多个同类或异类元引擎以流水线式分级实现相应的功能。

在上述技术方案的基础上，参与实现DPI功能的多个元引擎为整个系统内部任意元引擎，能跨DPI功能实体；参与实现DPI功能的异类元引擎遵守以下规则：数据包扫描元引擎在数据包分析元引擎和操作执行元引擎之前，数据包分析元引擎在操作执行元引擎之前。

在上述技术方案的基础上，所述策略规则库是存放包括深度包检测规则的数据，供属于同一个DPI功能实体的任意元引擎使用。

本发明还提供一种适用于上述系统的基于元引擎的分级深度包检测方法，包括以下步骤：

S1、控制单元收集所控制的DPI功能实体的基本信息：标识、各类元引擎数；

S2、控制单元根据上述基本信息，获取上述DPI功能实体内部的所有元引擎信息：元引擎的名称、类别、功能特性、是否可用、关联的其它元引擎。

S3、控制单元根据收集的元引擎信息，生成表示所有元引擎逻辑连接关系的有向图和表示所有元引擎属性的信息表；

S4、控制单元处理外部输入的DPI功能需求：判断是否有DPI功能需求输入，当有DPI功能需求输入时，转到步骤S5，否则循环判断是否有DPI功能需求输入；

S5、控制单元根据输入的DPI功能需求、有向图和信息表，计算出实现该DPI功能需求所需要的所有元引擎集合；

S6、控制单元根据计算出来的结果，分别向对应的DPI功能实体下达命令，要求对应的元引擎参与上述DPI功能的实现，各DPI功能实体根据控制单元的指令，配置其部内对应的元引擎来实现上述的DPI功能，DPI功能实体内的各元引擎、不同DPI功能实体的元引擎均按照流水线式逐级运行。

在上述技术方案的基础上，所述元引擎的有向图表示的是元引擎分级的可行性。

在上述技术方案的基础上，所述元引擎的信息表包含以下信息：元引擎是否可用；元引擎的类别；元引擎是处理二层协议、三层协议还是其它协议；元引擎处理带宽、时延的信息。

与现有技术相比，本发明的优点如下：

(1)传统的DPI功能实体通常是实现DPI功能的基本对象或组件，本发明将传统深度包检测技术调度单元进一步细化，并且引入分级流水线处理的思想。本发明将DPI功能实体，按照实现功能进一步划分为更小的功能实体：元引擎，DPI功能的实现以元引擎为基础。具体来说，将DPI功能实体划分为数据包扫描元引擎、数据包分析元引擎以及操作执行元引擎等三种类型的元引擎。各类元引擎的数量根据实际资源的情况确定。基于元引擎的资源情况和相应的配置，可以在DPI功能实体内部和DPI功能实体之间实现分级DPI功能。本发明的系统由一个或多个DPI功能实体和一个或多个控制单元组成，而每个DPI功能实体由0个到多个数据包扫描元引擎、0个到多个数据包分析元引擎以及0个到多个操作执行元引擎组成，并且上述三类引擎的总数至少为1。所有DPI功能实体协同实现DPI功能，控制单元调度和控制DPI功能实体以及内部的元引擎。本发明的深度包检测方法如下：控制单元获取所有DPI功能实体的基本信息，然后基于上述基本信息获取所有元引擎的数量、逻辑特性、连接关系等相关信息；控制单元接收深度包检测需求输入，然后根据输入的深度包检测需求和所有元引擎的相关信息，得到需要用来实现上述深度包检测需求的元引擎集合，并调度系统内属于上述集合的元引擎；这些元引擎协同实现上述的深度包检测需求，克服了传统DPI功能实体无法满足复杂DPI需求的缺陷，同时部署灵活，DPI功能实体之间互联弥补，能够有效提高DPI功能实体的资源利用率和工作效率。

(2)由多个DPI功能实体协同来完成上述特定的DPI功能，可以使这些功能实体不必设计得复杂、昂贵，互相取长补短，部署灵活，可以说既能够确保实现上述的DPI功能，又不会由于复杂DPI需求带来设备成本的非线性增长。因此多DPI功能实体联合使用是一个实现DPI功能的可行方案。

附图说明

图1是本发明实施例中基于元引擎的分级深度包检测系统的结构示意图。

图2是本发明实施例中以独立DPI功能实体实现的分级深度包检测系统在网络中部署的示意图。

图3是本发明实施例中以嵌入DPI功能实体实现的分级深度包检测系统在网络中部署的示意图。

图4是本发明实施例中基于元引擎的分级深度包检测方法的流程图。

图5是本发明实施例中控制单元生成的元引擎有向图。

图6是本发明实施例中控制单元生成的元引擎信息表。

图7是传统深度包检测系统的功能结构图。

图8是本发明实施例中基于元引擎的分级深度包检测系统在单个深度包检测系统场景的示例。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细描述。

参见图1所示，本发明实施例提供一种基于元引擎的分级深度包检测系统，该系统包括以下组件或设备：

(1)一个或多个DPI功能实体。通常情况下，系统需要多个DPI功能实体。

(2)一个或多个控制单元。通常情况下，1个控制单元就能够满足要求，当DPI功能实体数量较多时，才可能用到多个控制单元。

其中，DPI功能实体是完成DPI功能的主要组件。

每个DPI功能实体包括0个到多个数据包扫描元引擎、0个到多个数据包分析元引擎、0个到多个操作执行元引擎、策略规则库，每个DPI功能实体内上述三类元引擎的总数至少为1。策略规则库是存放包括深度包检测规则的数据，供属于同一个DPI功能实体的任意元引擎使用。

元引擎是DPI功能实体内的基本处理部件，它可大可小，可以大到是一组通用CPU(Central Processing Unit，中央处理器)或一组网络处理器或一组ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)芯片，也可以小到多核处理器的一个核或ASIC芯片内部的一个功能模块，甚至小到软件的一个线程或网络处理器内部的一个引擎。在每个DPI功能实体内，上述三类元引擎的数量分别可以为0个到多个，但总数不能是0。通常情况下，每个DPI功能实体每个类别的元引擎都有多个。

控制单元用于实现对相应DPI功能实体的控制，并通过DPI功能实体对其内部的元引擎进行管理和调度。控制单元对在它控制范围内的所有DPI功能实体进行控制，并且针对特定DPI功能需求，通过调度元引擎来实现对应的DPI功能。在控制单元的调度下，系统内部分或全部元引擎根据资源情况和控制单元的设置参与DPI功能的实现，多个元引擎以流水线式分级实现相应的功能。

本发明实施例中的分级深度包检测系统是以元引擎为调度单位来调度和分配处理资源的。

控制单元获得其控制的所有DPI功能实体的基本信息：标识、各类元引擎数，根据上述基本信息，获取DPI功能实体内所有元引擎的相关信息：元引擎的名称、类别、功能特性、是否可用、关联的其它元引擎等等。

当控制单元收到外部输入(如用户配置)的DPI功能需求时，控制单元根据外部输入的DPI功能需求和所有元引擎的信息，搜索到一组能够满足上述需求的元引擎，然后告知对应的DPI功能实体哪些元引擎需要参与实现当前的DPI功能，对应的DPI功能实体配置自身对应的元引擎参与实现上述的DPI功能。

参与实现DPI功能的元引擎，各个元引擎实现的功能不重复，且所有参与的元引擎功能叠加起来覆盖上述DPI功能。

参与实现DPI功能的元引擎可以是同类，也可以是异类。

参与实现DPI功能的多个同类或异类元引擎以流水线式分级实现相应的功能。

参与实现DPI功能的同类元引擎，可以是同构的，也即结构和功能相同；也可以是异构的，也即结构和功能不相同。

参与实现DPI功能的异类元引擎需遵照如下规则：数据包扫描元引擎在数据包分析元引擎和操作执行元引擎之前，数据包分析元引擎在操作执行元引擎之前。

参与实现DPI功能的多个元引擎可以跨DPI功能实体，也就是说，上述的多个元引擎可以是整个系统内部任意元引擎。

本发明实施例中的基于元引擎的分级深度包检测系统存在两种典型应用场景，DPI功能实体以独立的方式存在或者嵌入到现有的网络设备中。例如，图2中，DPI功能实体以独立的方式存在；图3中，DPI功能实体则是嵌入到现有的网络设备中。

参见图4所示，本发明实施例还提供一种适用于上述系统的基于元引擎的分级深度包检测方法，该方法包括以下步骤：

S1、控制单元收集所控制的DPI功能实体的基本信息：标识、各类元引擎数，换句话说，控制单元要能够知道它所控制的对象的基本情况。

S2、控制单元根据上述基本信息，获取上述DPI功能实体内部的所有元引擎信息，包括元引擎名称、类别、功能特性、是否可用、关联的其它元引擎等等。

S3、控制单元根据收集的元引擎信息，生成表示所有元引擎逻辑连接关系的有向图和表示所有元引擎属性的信息表。

图5是元引擎逻辑连接关系的有向图的示例，它表示的是元引擎分级的可行性，也就是说，只有存在有向边的两个元引擎才能够分级执行。图5中元引擎标识Am.n中，A表示元引擎类别，m表示DPI功能实体编号，n表示在DPI功能实体内的元引擎编号。

图6表示的元引擎属性的信息表，它包含元引擎的所有必要信息，如该元引擎是否可用，该元引擎是什么类别，该元引擎是处理二层协议、三层协议还是其它协议，该元引擎处理带宽、时延的信息等等。

S4、控制单元处理输入的DPI功能需求：判断是否有DPI功能需求输入，当有DPI功能需求输入时，转到步骤S5，否则循环判断是否有DPI功能需求输入。

S5、控制单元根据输入的DPI功能需求、有向图和信息表，计算出实现该DPI功能需求所需要的所有元引擎集合。

S6、控制单元根据计算出来的结果，分别向对应的DPI功能实体下达命令，要求对应的元引擎参与上述DPI功能的实现，各DPI功能实体根据控制单元的指令，配置其部内对应的元引擎来实现上述的DPI功能，DPI功能实体内的各元引擎、不同DPI功能实体的元引擎均按照流水线式逐级运行。

图7是传统深度包检测系统的功能结构图，比较图1和图7，可以看出本发明实施例和传统方法的本质区别。

归纳起来，本发明的主要两个关键特征为：

(1)本发明实施例以元引擎为深度包检测基本处理单元。

(2)本发明实施例以分级深度包检测的思想为核心。

从图1可知，基于元引擎的分级深度包检测系统内有n个DPI功能实体，每个DPI功能实体内有若干个数据包扫描元引擎、数据包分析元引擎和操作执行元引擎。当然，每个DPI功能实体内也配置有规则策略库。

分级深度包检测的思想体现在两个方面：

(1)DPI功能实体内的分级，也就是说，DPI功能实体内的各元引擎按照流水线式逐级运行。

(2)DPI功能实体间的分级，也就是说，不同DPI功能实体的元引擎按照流水线式逐级运行。

控制单元对在它控制范围内的所有DPI功能实体进行控制，并且针对特定DPI功能需求，通过调度元引擎来实现对应的DPI功能，元引擎是调度的最小处理单元。在控制单元的调度下，系统内部分或全部元引擎根据资源情况和控制单元的设置参与DPI功能的实现，多个元引擎以流水线式分级实现相应的功能。

参与实现DPI功能的多个元引擎可以是整个系统内部任意元引擎，可以跨DPI功能实体。这也就是说，元引擎之间的分级既可以发生在DPI功能实体内部，也可以发生在DPI功能实体之间。

图8所示的是分级发生在DPI功能实体内部的情形，图内带箭头虚线表示的实深度包检测过程的示例，分别经过两个数据包扫描元引擎、两个数据包分析元引擎、两个操作执行元引擎。

从图1可看到分级发生在DPI功能之间的情形，图内有两条带箭头虚线，左边的虚线表示仅依靠DPI功能实体1就能满足需求的示例，右边的虚线表示需依赖多个DPI功能实体才能满足需求的示例。

另外，元引擎之间的分级也需遵循相应的规则：多个同类或异类元引擎以流水线式分级实现相应的功能，但异类元引擎需满足：数据包扫描元引擎在数据包分析元引擎和操作执行元引擎之前，数据包分析元引擎在操作执行元引擎之前。参与分级DPI功能的同类元引擎，可以是同构的，也即结构和功能相同；也可以是异构的，也即结构和功能不相同。举例来说，如果元引擎S1.1负责二层协议的扫描，另外一个元引擎S1.2可以负责三层、四层或其它协议的扫描，也可以负责二层协议的扫描。但是，参与分级DPI功能的各元引擎，其实现的功能不能重复，例如，元引擎S1.1元引擎S1.2是同构的元引擎，那么它们处理的数据应该不同。同时所有参与实现特定DPI功能的所有元引擎的功能总和应至少能够满足该DPI功能的要求。

本领域的技术人员可以对本发明实施例进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。

说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (10)

1.一种基于元引擎的分级深度包检测系统，其特征在于：该系统包括至少一个DPI功能实体和至少一个控制单元，每个DPI功能实体包括0个到多个数据包扫描元引擎、0个到多个数据包分析元引擎、0个到多个操作执行元引擎和一个策略规则库，元引擎是DPI功能实体内的基本处理部件，每个DPI功能实体内上述三类元引擎的总数至少为1，控制单元用于实现对相应DPI功能实体的控制，并通过DPI功能实体对其内部的元引擎进行管理和调度，多个元引擎以流水线式分级实现相应的功能。

2.如权利要求1所述的基于元引擎的分级深度包检测系统，其特征在于：所述控制单元获得其控制的所有DPI功能实体的基本信息：标识、各类元引擎数，根据上述基本信息，获取DPI功能实体内所有元引擎的相关信息：元引擎的名称、类别、功能特性、是否可用、关联的其它元引擎。

3.如权利要求2所述的基于元引擎的分级深度包检测系统，其特征在于：所述控制单元收到外部输入的DPI功能需求时，控制单元根据外部输入的DPI功能需求和所有元引擎的信息，搜索到一组能够满足上述需求的元引擎，然后告知对应的DPI功能实体哪些元引擎需要参与实现当前的DPI功能，对应的DPI功能实体配置自身对应的元引擎参与实现DPI功能。

4.如权利要求3所述的基于元引擎的分级深度包检测系统，其特征在于：参与实现DPI功能的各个元引擎实现的功能不重复，且所有参与的元引擎功能叠加起来覆盖上述DPI功能。

5.如权利要求4所述的基于元引擎的分级深度包检测系统，其特征在于：参与实现DPI功能的元引擎属于同类或异类，参与的多个同类或异类元引擎以流水线式分级实现相应的功能。

6.如权利要求5所述的基于元引擎的分级深度包检测系统，其特征在于：参与实现DPI功能的多个元引擎为整个系统内部任意元引擎，能跨DPI功能实体；参与实现DPI功能的异类元引擎遵守以下规则：数据包扫描元引擎在数据包分析元引擎和操作执行元引擎之前，数据包分析元引擎在操作执行元引擎之前。

7.如权利要求1所述的基于元引擎的分级深度包检测系统，其特征在于：所述策略规则库是存放包括深度包检测规则的数据，供属于同一个DPI功能实体的任意元引擎使用。

8.一种适用于权利要求1所述系统的基于元引擎的分级深度包检测方法，其特征在于，包括以下步骤：

S1、控制单元收集所控制的DPI功能实体的基本信息：标识、各类元引擎数；

S2、控制单元根据上述基本信息，获取上述DPI功能实体内部的所有元引擎信息：元引擎的名称、类别、功能特性、是否可用、关联的其它元引擎。

S3、控制单元根据收集的元引擎信息，生成表示所有元引擎逻辑连接关系的有向图和表示所有元引擎属性的信息表；

S4、控制单元处理外部输入的DPI功能需求：判断是否有DPI功能需求输入，当有DPI功能需求输入时，转到步骤S5，否则循环判断是否有DPI功能需求输入；

S5、控制单元根据输入的DPI功能需求、有向图和信息表，计算出实现该DPI功能需求所需要的所有元引擎集合；

S6、控制单元根据计算出来的结果，分别向对应的DPI功能实体下达命令，要求对应的元引擎参与上述DPI功能的实现，各DPI功能实体根据控制单元的指令，配置其部内对应的元引擎来实现上述的DPI功能，DPI功能实体内的各元引擎、不同DPI功能实体的元引擎均按照流水线式逐级运行。

9.如权利要求8所述的基于元引擎的分级深度包检测方法，其特征在于：所述元引擎的有向图表示的是元引擎分级的可行性。

10.如权利要求8所述的基于元引擎的分级深度包检测方法，其特征在于：所述元引擎的信息表包含以下信息：元引擎是否可用；元引擎的类别；元引擎是处理二层协议、三层协议还是其它协议；元引擎处理带宽、时延的信息。