CN103905261B - 协议特征库在线更新方法及系统 - Google Patents

Abstract

本发明涉及一种协议特征库在线更新方法及系统，方法包括：流量探针设备通过DPI技术和DFI技术识别可疑未知数据流量，并进行采样；将样本发给特征库分析平台；特征库分析平台统计样本的统计特征和行为模式特征，并与协议特征库中未记录的新协议或应用的数据流量进行匹配，确定对应的统计特征和行为模式特征，并形成特征库文件或特征条目；然后更新到协议特征库中。本发明通过布设采用DPI技术和DFI技术的流量探针设备来及时发现可疑未知数据流量，通过采集样本与新的协议或应用匹配的方式来确定新的协议或应用对应的统计特征和行为模式特征，并基于此对协议特征库进行在线更新，从而实现协议特征库的快速在线更新，提高协议识别效率。

Description

协议特征库在线更新方法及系统

技术领域

本发明涉及通信技术领域，尤其涉及一种协议特征库在线更新方法及系统。

背景技术

随着互联网应用尤其是近几年移动互联的飞速发展，各种新应用新协议不断涌现，现有应用和协议的版本也在不断地更新，随之而来的是应用层协议特征的多样化以及不断的演进变化，其对应的识别方式也需不断的升级。早期的网络应用协议一般使用固定的端口号，网络侧的服务器也通常使用固定的互联网协议（Internet Protocol，简称IP）地址，通过简单的IP地址加端口号的方式可以比较容易的识别出相应的应用协议，以对不同的应用协议根据需要进行相应的处理。

近几年随着点对点（Peer to Peer，简称P2P）业务的发展，P2P业务大多使用动态的端口和IP地址，通过IP地址加端口号的方式已经无法识别出P2P业务。对于P2P类业务，一般使用深度包解析（Deep PacketInspection，简称DPI）和流量统计特征匹配方式进行识别：DPI通过对单个或多个数据包的内容的特征进行匹配的方式来识别；流量统计特征匹配方式通过对应用流报文大小的均值、流速率均值等统计特征进行分析实现应用的识别。

但是，目前大多数网络应用（例如P2P应用等）的协议更新频繁，同一个应用具有多种不同版本，使用多种协议类型。当一种网络应用协议更新后，原来的识别方法将不再起作用，需要对原协议特征库甚至协议识别方法进行更新，以满足协议识别的要求。

目前的更新方式基本为离线方式，当网络上出现一种新的应用协议时，负责应用协议识别系统的技术人员在获知有新的应用协议后，人工地对新应用协议进行数据采集与分析，总结新应用协议的特征，然后形成新的特征库文件，在协议识别设备中对新特征库甚至对协议识别软件进行更新，或者在网站中公布新特征库文件，协议识别设备定时到该网站中进行下载并更新。

目前一方面流行的应用协议为了避免被识别、另一方面也是应用本身功能不断完善的需求，导致应用协议的版本与特征更新频繁，使得应用协议识别设备的上述协议特征识别方法更新速度跟不上，从而导致协议识别率低下，甚至使协议识别设备的存在显得可有可无。

发明内容

本发明的目的是提出一种协议特征库在线更新方法及系统，能够实现协议特征库的快速在线更新，提高协议识别效率。

为实现上述目的，本发明提供了一种协议特征库在线更新方法，包括：

流量探针设备通过深度包检测技术和深度流检测（Deep FlowInspection，简称DFI）技术识别符合预设速率和持续时间的可疑未知数据流量，并进行采样；

所述流量探针设备将所述可疑未知数据流量的样本发给特征库分析平台；

所述特征库分析平台接收到所述可疑未知数据流量的样本后，统计所述可疑未知数据流量的样本的统计特征和行为模式特征；

所述特征库分析平台将所述可疑未知数据流量的样本的统计特征和行为模式特征与协议特征库中未记录的新协议或应用的数据流量进行匹配，确定所述新协议或应用的数据流量所对应的统计特征和行为模式特征，并形成特征库文件或特征条目；

所述特征库分析平台将形成的特征库文件或特征条目更新到协议特征库中。

进一步的，所述流量探针设备通过深度包检测技术和深度流检测技术识别符合预设速率和持续时间的可疑未知数据流量的操作具体为：

所述流量探针设备通过深度包检测技术识别未知应用/协议的数据流量；

所述流量探针设备通过深度流检测技术判断所述未知应用/协议的数据流量是否符合预设速率和持续时间，来确定所述未知应用/协议的数据流量是否为可疑未知数据流量。

进一步的，符合预设速率和持续时间的可疑未知数据流量为在1小时内平均速率达到1Mbps以上的短时高速流量，或为在3小时以上平均速率低于10Kbps的长时低速流量。

进一步的，在所述特征库分析平台将形成的特征库文件或特征条目更新到协议特征库中之后，还包括：

所述特征库分析平台将所述特征库文件或特征条目发送给所述流量探针设备进行更新。

进一步的，所述特征库分析平台将所述可疑未知数据流量的样本的统计特征和行为模式特征与协议特征库中未记录的新协议或应用的数据流量进行匹配的操作具体为：

所述特征库分析平台对协议特征库中未记录的新协议或应用的数据流量进行抓包分析，获得对应的统计特征和行为模式特征；

所述特征库分析平台将所述可疑未知数据流量的样本的统计特征和行为模式特征与从协议特征库中未记录的新协议或应用的数据流量抓包分析获得的统计特征和行为模式特征进行比对，根据比对结果确定所述可疑未知数据流量的样本的统计特征和行为模式特征所匹配的新协议或应用。

为实现上述目的，本发明提供了一种协议特征库在线更新系统，包括：

流量探针设备，用于通过深度包检测技术和深度流检测技术识别符合预设速率和持续时间的可疑未知数据流量，并进行采样，然后将所述可疑未知数据流量的样本发给特征库分析平台；

特征库分析平台，用于接收到所述所述可疑未知数据流量的样本后，统计所述可疑未知数据流量的样本的统计特征和行为模式特征，并将所述可疑未知数据流量的样本的统计特征和行为模式特征与协议特征库中未记录的新协议或应用的数据流量进行匹配，确定所述新协议或应用的数据流量所对应的统计特征和行为模式特征，并形成特征库文件或特征条目，然后将形成的特征库文件或特征条目更新到协议特征库中。

进一步的，所述流量探针设备部署于网络流量出口位置。

进一步的，所述流量探针设备具体包括：

未知流量识别模块，用于通过深度包检测技术识别未知应用/协议的数据流量；

可疑流量确定模块，用于通过深度流检测技术判断所述未知应用/协议的数据流量是否符合预设速率和持续时间，来确定所述未知应用/协议的数据流量是否为可疑未知数据流量；

流量样本发送模块，用于对所述可疑未知数据流量进行采样，并发给所述特征库分析平台。

进一步的，符合预设速率和持续时间的可疑未知数据流量为在1小时内平均速率达到1Mbps以上的短时高速流量，或为在3小时以上平均速率低于10Kbps的长时低速流量。

进一步的，所述特征库分析平台具体包括：

特征统计模块，用于接收到所述可疑未知数据流量的样本后，统计所述可疑未知数据流量的样本的统计特征和行为模式特征；

抓包分析模块，用于对协议特征库中未记录的新协议或应用的数据流量进行抓包分析，获得对应的统计特征和行为模式特征；

特征比对模块，用于将所述可疑未知数据流量的样本的统计特征和行为模式特征与从协议特征库中未记录的新协议或应用的数据流量抓包分析获得的统计特征和行为模式特征进行比对；

匹配结果确定模块，用于根据比对结果确定所述可疑未知数据流量的样本的统计特征和行为模式特征所匹配的新协议或应用，确定所述新协议或应用的数据流量所对应的统计特征和行为模式特征，形成特征库文件或特征条目；

特征库更新模块，用于将形成的特征库文件或特征条目更新到协议特征库中。

进一步的，所述特征库分析平台还包括：

探针设备更新模块，用于将所述特征库文件或特征条目发送给所述流量探针设备进行更新。

基于上述技术方案，本发明通过布设采用DPI技术和DFI技术的流量探针设备来及时发现可疑未知数据流量，通过采集样本与新的协议或应用匹配的方式来确定新的协议或应用对应的统计特征和行为模式特征，并基于此对协议特征库进行在线更新，从而实现协议特征库的快速在线更新，提高协议识别效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分。在附图中：

图1为本发明协议特征库在线更新方法的一实施例的流程示意图。

图2为本发明协议特征库在线更新方法的另一实施例的流程示意图。

图3为本发明协议特征库在线更新系统的一实施例的结构示意图。

图4为本发明协议特征库在线更新系统的另一实施例的结构示意图。

图5为本发明协议特征库在线更新系统的又一实施例的结构示意图。

具体实施方式

下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。本发明的示例性实施例及其说明用于解释本发明，但并不构成对本发明的不当限定。

如图1所示，为本发明协议特征库在线更新方法的一实施例的流程示意图。在本实施例中，协议特征库在线更新方法包括：

步骤101、流量探针设备通过DPI技术和DFI技术识别符合预设速率和持续时间的可疑未知数据流量，并进行采样；

步骤102、流量探针设备将可疑未知数据流量的样本发给特征库分析平台；

步骤103、特征库分析平台接收到可疑未知数据流量的样本后，统计可疑未知数据流量的样本的统计特征和行为模式特征；

步骤104、特征库分析平台将可疑未知数据流量的样本的统计特征和行为模式特征与协议特征库中未记录的新协议或应用的数据流量进行匹配，确定新协议或应用的数据流量所对应的统计特征和行为模式特征，并形成特征库文件或特征条目；

步骤105、特征库分析平台将形成的特征库文件或特征条目更新到协议特征库中。

在本实施例中，通过布设采用DPI技术和DFI技术的流量探针设备来及时发现可疑未知数据流量，通过采集样本与新的协议或应用匹配的方式来确定新的协议或应用对应的统计特征和行为模式特征，并基于此对协议特征库进行在线更新，从而实现协议特征库的快速在线更新，提高协议识别效率。

流量探针设备可以部署于网络流量出口位置，以便能够及时探测到网络流量，在识别可疑未知数据流量的过程中，流量探针设备通过DPI技术识别未知应用/协议的数据流量，即利用DPI技术将数据报文中的应用层信息提取出来，检查数据报文是否是流量探针设备可以识别出的协议类型或应用类型，如果是流量探针设备可以识别出的协议类型或应用类型，则无需采样，否则继续通过DFI技术判断该未知应用/协议的数据流量是否符合预设速率和持续时间，这里的预设速率和持续时间就是可疑流量的识别依据。

以一些P2P流量为例，可能存在短时间内较大数据流量的情况，也可能存在很长一段时间内只有较少的流量的情况，基于这种特点，流量探针设备可以预先设置这些识别标准，例如确定短时高速流量和长时低速流量的数据流量就为可疑未知数据流量，短时高速流量可以为在1小时内平均速率达到1Mbps以上的流量，长时低速流量可以为在3小时以上平均速率低于10Kbps的流量。根据实际情况预设速率和持续时间可以相应的进行调整，并不限于以上所举的例子。

特征库分析平台在接收到流量探针设备发送的可疑未知数据流量的样本后，可以先统计出可疑未知数据流量的样本的统计特征和行为模式特征，再对协议特征库中未记录的新协议或应用的数据流量进行抓包分析，获得对应的统计特征和行为模式特征。

特征库分析平台将可疑未知数据流量的样本的统计特征和行为模式特征与从协议特征库中未记录的新协议或应用的数据流量抓包分析获得的统计特征和行为模式特征进行比对，根据比对结果确定所述可疑未知数据流量的统计特征和行为模式特征所匹配的新协议或应用。

如图2所示，为本发明协议特征库在线更新方法的另一实施例的流程示意图。与上一实施例相比，本实施例在步骤105之后，还包括：

步骤106、特征库分析平台将形成的特征库文件或特征条目发送给流量探针设备进行更新。

通过步骤106可以使流量探针设备及时对自身所保存的协议或应用的特征信息进行更新，以便流量探针设备在识别未知流量时能够及时排除已经建立特征库文件或特征条目的协议或应用的流量，避免重复采样而占用系统资源。

本领域普通技术人员可以理解，实现上述方法实施例的全部和部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算设备可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，而前述的存储介质可以包括ROM、RAM、磁碟和光盘等各种可以存储程序代码的介质。

如图3所示，为本发明协议特征库在线更新系统的一实施例的结构示意图。在本实施例中，协议特征库在线更新系统包括：流量探针设备1和特征库分析平台2。

流量探针设备1负责通过DPI技术和DFI技术识别符合预设速率和持续时间的可疑未知数据流量，并进行采样，然后将所述可疑未知数据流量的样本发给特征库分析平台2。流量探针设备1可以有多个，部署于不同的网络流量出口位置，并均与特征库分析平台2进行通信。

特征库分析平台2负责在接收到所述可疑未知数据流量的样本后，统计所述可疑未知数据流量的样本的统计特征和行为模式特征，并将所述可疑未知数据流量的样本的统计特征和行为模式特征与协议特征库中未记录的新协议或应用的数据流量进行匹配，确定所述新协议或应用的数据流量所对应的统计特征和行为模式特征，并形成特征库文件或特征条目，然后将形成的特征库文件或特征条目更新到协议特征库中。协议特征库可以设置在特征库分析平台2内，也可以设置在特征库分析平台2外。

如图4所示，为本发明协议特征库在线更新系统的另一实施例的结构示意图。在本实施例中，流量探针设备1可以具体包括：未知流量识别模块11、可疑流量确定模块12和流量样本发送模块13。

未知流量识别模块11负责通过DPI技术识别未知应用/协议的数据流量。可疑流量确定模块12负责通过DFI技术判断所述未知应用/协议的数据流量是否符合预设速率和持续时间，来确定所述未知应用/协议的数据流量是否为可疑未知数据流量。符合预设速率和持续时间的可疑未知数据流量可以为在1小时内平均速率达到1Mbps以上的短时高速流量，或为在3小时以上平均速率低于10Kbps的长时低速流量。流量样本发送模块13负责对所述可疑未知数据流量进行采样，并发给特征库分析平台2。

在本实施例中，特征库分析平台2可以具体包括：特征统计模块21、抓包分析模块22、特征比对模块23、匹配结果确定模块24和特征库更新模块25。

特征统计模块21负责在接收到所述可疑未知数据流量的样本后，统计所述可疑未知数据流量的样本的统计特征和行为模式特征。抓包分析模块22负责对协议特征库中未记录的新协议或应用的数据流量进行抓包分析，获得对应的统计特征和行为模式特征。特征比对模块23负责将所述可疑未知数据流量的样本的统计特征和行为模式特征与从协议特征库中未记录的新协议或应用的数据流量抓包分析获得的统计特征和行为模式特征进行比对。

匹配结果确定模块24负责根据比对结果确定所述可疑未知数据流量的样本的统计特征和行为模式特征所匹配的新协议或应用，确定所述新协议或应用的数据流量所对应的统计特征和行为模式特征，形成特征库文件或特征条目。特征库更新模块25负责将形成的特征库文件或特征条目更新到协议特征库中。

如图5所示，为本发明协议特征库在线更新系统的又一实施例的结构示意图。与上一实施例相比，本实施例中的特征库分析平台还可以进一步包括探针设备更新模块26，负责将所述特征库文件或特征条目发送给流量探针设备1进行更新。

通过探针设备更新模块可以使流量探针设备及时对自身所保存的协议或应用的特征信息进行更新，以便流量探针设备在识别未知流量时能够及时排除已经建立特征库文件或特征条目的协议或应用的流量，避免重复采样而占用系统资源。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同和相似的部分可以相互参见。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处可以参见方法实施例部分的说明。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (9)

1.一种协议特征库在线更新方法，包括：

流量探针设备通过深度包检测技术和深度流检测技术识别符合预设速率和持续时间的可疑未知数据流量，并进行采样；

所述流量探针设备将所述可疑未知数据流量的样本发给特征库分析平台；

所述特征库分析平台接收到所述可疑未知数据流量的样本后，统计所述可疑未知数据流量的样本的统计特征和行为模式特征；

所述特征库分析平台将所述可疑未知数据流量的样本的统计特征和行为模式特征与协议特征库中未记录的新协议或应用的数据流量进行匹配，确定所述新协议或应用的数据流量所对应的统计特征和行为模式特征，并形成特征库文件或特征条目；

所述特征库分析平台将形成的特征库文件或特征条目更新到协议特征库中；

其中在所述特征库分析平台将形成的特征库文件或特征条目更新到协议特征库中之后，还包括：

所述特征库分析平台将所述特征库文件或特征条目发送给所述流量探针设备进行更新。

2.根据权利要求1所述的协议特征库在线更新方法，其中所述流量探针设备通过深度包检测技术和深度流检测技术识别符合预设速率和持续时间的可疑未知数据流量的操作具体为：

所述流量探针设备通过深度包检测技术识别未知应用/协议的数据流量；

所述流量探针设备通过深度流检测技术判断所述未知应用/协议的数据流量是否符合预设速率和持续时间，来确定所述未知应用/协议的数据流量是否为可疑未知数据流量。

3.根据权利要求2所述的协议特征库在线更新方法，其中符合预设速率和持续时间的可疑未知数据流量为在1小时内平均速率达到1Mbps以上的短时高速流量，或为在3小时以上平均速率低于10Kbps的长时低速流量。

4.根据权利要求1所述的协议特征库在线更新方法，其中所述特征库分析平台将所述可疑未知数据流量的样本的统计特征和行为模式特征与协议特征库中未记录的新协议或应用的数据流量进行匹配的操作具体为：

所述特征库分析平台对协议特征库中未记录的新协议或应用的数据流量进行抓包分析，获得对应的统计特征和行为模式特征；

所述特征库分析平台将所述可疑未知数据流量的样本的统计特征和行为模式特征与从协议特征库中未记录的新协议或应用的数据流量抓包分析获得的统计特征和行为模式特征进行比对，根据比对结果确定所述可疑未知数据流量的样本的统计特征和行为模式特征所匹配的新协议或应用。

5.一种协议特征库在线更新系统，包括：

流量探针设备，用于通过深度包检测技术和深度流检测技术识别符合预设速率和持续时间的可疑未知数据流量，并进行采样，然后将所述可疑未知数据流量的样本发给特征库分析平台；

特征库分析平台，用于接收到所述可疑未知数据流量的样本后，统计所述可疑未知数据流量的样本的统计特征和行为模式特征，并将所述可疑未知数据流量的样本的统计特征和行为模式特征与协议特征库中未记录的新协议或应用的数据流量进行匹配，确定所述新协议或应用的数据流量所对应的统计特征和行为模式特征，并形成特征库文件或特征条目，然后将形成的特征库文件或特征条目更新到协议特征库中；

其中，所述特征库分析平台还包括：

探针设备更新模块，用于将所述特征库文件或特征条目发送给所述流量探针设备进行更新。

6.根据权利要求5所述的协议特征库在线更新系统，其中所述流量探针设备部署于网络流量出口位置。

7.根据权利要求5所述的协议特征库在线更新系统，其中所述流量探针设备具体包括：

未知流量识别模块，用于通过深度包检测技术识别未知应用/协议的数据流量；

可疑流量确定模块，用于通过深度流检测技术判断所述未知应用/协议的数据流量是否符合预设速率和持续时间，来确定所述未知应用/协议的数据流量是否为可疑未知数据流量；

流量样本发送模块，用于对所述可疑未知数据流量进行采样，并发给所述特征库分析平台。

8.根据权利要求7所述的协议特征库在线更新系统，其中符合预设速率和持续时间的可疑未知数据流量为在1小时内平均速率达到1Mbps以上的短时高速流量，或为在3小时以上平均速率低于10Kbps的长时低速流量。

9.根据权利要求5所述的协议特征库在线更新系统，其中所述特征库分析平台具体包括：

特征统计模块，用于接收到所述可疑未知数据流量的样本后，统计所述可疑未知数据流量的样本的统计特征和行为模式特征；

抓包分析模块，用于对协议特征库中未记录的新协议或应用的数据流量进行抓包分析，获得对应的统计特征和行为模式特征；

特征比对模块，用于将所述可疑未知数据流量的样本的统计特征和行为模式特征与从协议特征库中未记录的新协议或应用的数据流量抓包分析获得的统计特征和行为模式特征进行比对；

匹配结果确定模块，用于根据比对结果确定所述可疑未知数据流量的样本的统计特征和行为模式特征所匹配的新协议或应用，确定所述新协议或应用的数据流量所对应的统计特征和行为模式特征，形成特征库文件或特征条目；

特征库更新模块，用于将形成的特征库文件或特征条目更新到协议特征库中。