CN101814977A - 利用数据流头部特征的tcp流量在线识别方法及装置 - Google Patents

Abstract

本发明涉及一种利用数据流头部特征的TCP流量在线识别方法和装置，其中方法包括：提取数据流中头部若干包的包长、修正的包间隔时间等参数，构建基于联合概率分布的协议特征库，通过未知数据流头部数据包属性与协议特征库进行比对获得该数据流的协议类型；其中装置包括：数据流分离模块，属性提取模块，分类仲裁模块和协议特征库模块。本发明实施例减弱了往返时延对协议特征显著性的影响，能准确识别各种基于TCP的应用层业务，支持在线的流量识别，并且识别过程简单高效，适于硬件装置实现，可用于高速骨干网中需要在线流量识别的设备和系统。

Description

利用数据流头部特征的TCP流量在线识别方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种流量识别的方法和装置。

背景技术

网络和业务的复杂化需要人们能够很好的对网络的运行和传送内容进行更好的管理和监控。首先，从业务上看，业务多样化趋势加剧，使得区分网络待传送业务的服务质量(QoS)需求成为挑战。网络应该尽量满足业务的QoS，然而满足QoS的前提是获取分析QoS。这就需要我们能够对网络业务进行在线分类，以便在传送中有效的区分不同业务，根据既定策略对流量进行疏导，测量应用层业务性能以及用户业务的计费。其次，从网络规划和优化上看，网络管理员需要对网络中现有流量进行成分分析，以便于根据目前的承载情况优化现有网络结构或者规划新的网络建设。后者不需要在线识别方式，可采用离线的方式加以分析。另外，从网络安全角度来看，应该对网络中存在的有害流量，如蠕虫病毒等以消灭，抑制其传播，这也同样需要流量识别技术作为支撑。

目前采用的流量识别方法主要基于传输层端口和应用层载荷(签名)。由于端口号的滥用，尤其是P2P业务采用动态端口号甚至采用HTTP协议约定的80端口作为传输通道，使得单纯基于传输层端口号进行业务识别的方法失去了有效性。而针对载荷特征的方法，由于涉及较为复杂的操作，不适用于高速骨干网的流量识别。而采用人工智能方法进行流量识别的方法，又由于其计算复杂性和固有的串行处理的特性，不适于网络设备的硬件实现，因而限制了其在高速骨干网的应用。

为了适应目前和未来高速骨干网的需要，流量识别技术迫切的需要满足以下几点：1)参数选择上避免采用端口或者净荷作为主要特征；2)算法设计上要保证流量的在线识别；2)处理方法上要具有并行化处理的特性，且易于硬件实现。

发明内容

本发明的目的是提供一种利用数据流头部特征的TCP流量在线识别方法及装置。通过提取一个数据流中头部若干包的包长、修正的包间隔时间等参数，然后与事先提取的协议特征库进行比对，获得该数据流所属的类型。本发明提供的方法包括以下步骤：

步骤1，前期真实流量数据的获取：采集多个网络真实流量数据集，这些流量数据集最好来自不同地点和不同时间；

步骤2，前期真实流量的数据流梳理：通过查找数据流的起始数据包，如TCP的Set-up包，以及{源地址、目的地址、源端口、目的端口、传输层协议类型}五元组将步骤1所得流量数据集分离为不同的TCP流，这样流量数据集就变为了TCP流的集合；

步骤3，对前期真实TCP流集合进行人工分类：使用净荷检查等方法，对步骤2得到的TCP流集合进行手工的流量识别分类，使得步骤2的每一条数据流都与一种协议类型相对应；

步骤4，提取TCP流集合的包特征：得到每一条流中数据包的包长、包的修正间隔时间、传输方向等特征，并按照数据包在该流的先后顺序构建一个特征序列。需要注意的是，本步骤采集的参数是修正的间隔时间，并不是简单的相邻两数据包在测量点到达时间之差，而是两数据包到达时间的差值减去数据流两端点往返传送时延的估计值。具体实施例将对修正间隔时间进行详细阐述；

步骤5，建立协议特征库：根据步骤3所得的数据流协议类型和步骤4所得的数据流特征，建立协议特征库。其主要工作是建立若干组矩阵，每一个矩阵存储同一种协议数据流的同一序号数据包特征的联合概率密度。这样每一种协议就有一组联合概率密度矩阵与之对应，其中存储着该类协议数据流头部若干数据包的特征的联合概率密度；

步骤6，提取待分析数据流的数据包特征：按照数据包在该数据流的先后顺序，依次提取这些数据包的特征，组成一个特征序列；

步骤7，比对协议特征库：将步骤6所得到的特征序列与步骤5所得到的协议特征库进行比对，获得该数据流属于某种协议的概率；

步骤8，协议类型分类仲裁：根据步骤7所得到的概率值，最大概率值所对应的协议类型即判为该数据流所属的协议类型。

本发明还提供了一种基于本方法的流量在线识别装置，其至少包括：

数据流分离模块，从监测流量中按照{源地址、目的地址、源端口、目的端口、传输层协议类型}五元组进行数据流分离，以便于提取特征和后期的流量管理；

属性提取模块，从数据流中按顺序提取头部若干个数据包的特征，组成特征序列；

分类仲裁模块，完成提取特征与协议特征库的比对，以及按照最大概率原则进行的仲裁；

协议特征库模块，存储通过前期采集数据分析得到的协议特征，即步骤5中所得到矩阵形式的协议特征库。

因此，本发明提供的流量识别方法和装置，在识别过程中避免了对数据流净荷检查，仅需要数据包的底层参数，如包长，时间间隔等，参数提取简单；在分类仲裁过程中，采用联合概率密度的方式避免了复杂的正则运算，而多片式的矩阵存储结构非常适于硬件并行化操作，因而处理方式较传统手段大为简化；本方法仅需要提取数据流头部若干个包的信息而非整个数据流的信息，这使得本方法可以实现网络数据的在线实时识别。较低的参数提取需求，高效的计算处理方式，准确的流量分类结果，以及易于硬件在线实现的特性构成了本发明的最大特色。

附图说明

为了更清楚地说明本发明实施例，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显然地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得的更多的附图。

图1是本发明一个实施例提供的流量识别方法流程图；

图2是本发明一个实施例提供的流量识别装置的结构示意图；

图3是本发明一个实施例中关于修正间隔时间描述的示意图；

图4是本发明一个实施例提供的关于往返时延测量的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。

图1为本发明一个实施例提供的流量识别方法的流程图，如图1所示，该方法包括：

S101、在不同时间从不同地点收集多个网络流量数据集；

网络流量识别装置一般部署在一定的网络中，为了提高协议特征库的精确度，需要在准备部署的网络中设置测量设备，从网络中采集真实流量数据集。其中，该流量数据集包括用于通过净荷检查等方式确定流量协议类型所需的信息，以及数据包长、包间隔时间等后续步骤所需的特征参数；同时，该流量数据集剔除了与识别类型无关的流量。显然，S101所述的真实流量数据集可通过探针方式在承载众多用户的网络中获得，还包括其它方式获得的真实流量，如人为在某些终端上产生WWW流量并在传输路径上加以采集。

S102、对采集的流量数据进行梳理，使之构成一个TCP流的集合；

某些流量识别方法使用的参数是一个数据流中数据包的平均特征，比如：平均包长，平均包间隔。而本方法使用的参数包含了数据包的顺序信息，因此需要把流量数据集按照{源地址、目的地址、源端口、目的端口、传输层协议类型}五元组将S101所得流量数据集分离为不同的TCP流，这样流量数据集就变为了TCP流的集合；其中，TCP流的头部的判断依据可以使用但不限于TCP的Setup、Setup/ACK、ACK数据包；并且一个数据流中数据包必须按照达到观测点的先后顺序排列。

S103、对所获得的TCP数据流进行协议分类；

采用载荷分析等方法，以离线方式获得TCP数据流的协议类型，如WWW、MAIL、FTP、P2P等。需要注意的是，S103采用的算法不限于采用载荷分析方法，但是需要保证很高的正确度，以保证协议特征库的精确性。

S104、提取TCP流的属性以及进行数据预处理；

本发明一个实施例仅需要提取每条流头部若干个包的包长、修正包间隔时间以及传送方向，包数可以根据实际测试情况加以调整，建议数目为5-10。由于包长和修正间隔时间范围较大且需要离散化，可能需要数据的归一化处理，如采用Log函数，arctan函数对原始数据进行处理，并选取合适的离散刻度。同时，由于部分数据包因为丢失和延迟过大引起重传，此部分数据可以剔除以提高精确度。在本步骤，每一条流可以获得如下的特征序列：{{第一个包长，第一个修正包间隔时间，第一个包传送方向}，{第二个包长，第二个修正包间隔时间，第二个包传送方向}，{第三个包长，第三个修正包间隔时间，第三个包传送方向}，……，{第n个包长，第n个修正包间隔时间，第n个包传送方向}}，其中，n为使用的数据流头部数据包的数目。

S105、为每一种协议建立一组矩阵，按顺序存储该协议数据流数据包特征的联合概率分布。

图1中的S104获得了每一条流的特征序列，本步骤将统计同一种协议类型的数据流特征序列的联合概率分布。以WWW有关协议为例，根据集合中所有WWW数据流的第一个包的特征{第一个包长，第一个修正包间隔时间，第一个包传送方向}，可以得到所有WWW数据流第一个包的二维联合概率分布，并将该分布存储到一个二维矩阵中。其中，包长和修正间隔时间为两个坐标轴，包传送方向可以通过包长的正负性加以表示。矩阵中每个单元的值为WWW数据流第一个包所对应包长和包间隔的概率密度。目的是通过联合概率密度来反映WWW业务第一个数据包的统计特性。同理可以得到第2个矩阵来反映WWW业务第2个数据包的特性。至此可以得到WWW的n个矩阵，以反映WWW数据流前n个包的特性。同样地，可以获得其它协议类型的n个矩阵。这些矩阵合在一起构成了协议特征库。

S106、当流量识别设备部署后，一旦需要分析一个未知数据流，那么首先提取该数据流的数据包特征；

如果S105中使用了前n个包的特征，那么S106也将提取该数据流前n个包的特征，组成一个特征序列：{{第一个包长，第一个修正包间隔时间，第一个包传送方向}，{第二个包长，第二个修正包间隔时间，第二个包传送方向}，{第三个包长，第三个修正包间隔时间，第三个包传送方向}，……，{第n个包长，第n个修正包间隔时间，第n个包传送方向}}，其中，n为使用的数据流头部数据包的数目。

S107、将未知数据流的特征与已知的协议特征库进行比对，获得该数据流属于某种协议的概率值；

通过S106获得的未知数据流特征序列与S105得到的协议特征库进行比对，根据{第i个包长，第i个修正包间隔时间、第i个包传送方向}，很容易从协议特征库的矩阵中得到根据第i个包来看，属于某种协议类型的概率。前n个包所得概率的均值可以看作该数据流属于该协议的概率。

S108、将S107获得的概率值放在一起，如果哪个概率值大，就说明这个数据流就更应该属于哪个协议类型。在S108中，也可以采用加权修正的方法来仲裁该数据流属于哪种协议类型。

图2提供了本发明一个实施例提供的流量识别装置的结构示意图。从功能上看，可以分为在线和离线两个部分。离线部分主要完成协议特征库的构造；在线部分主要负责未知数据流的分类。其中，前期数据流量采集211、数据流分离212、数据流特征提取213可在装置部署前完成，因此不是使用流量识别的装置或者系统的必要组成部分。而数据流分离模块221、属性提取模块222、分类仲裁模块223和协议特征模块214一般应在使用流量识别的装置或系统中出现。

每一模块具体功能和处理流程如下：在带有流量识别的装置或系统使用前，需要使用探针等手段进行前期数据采集211，数据流分离212，数据流特征提取213，完成图1中S101-S105的工作，构建协议特征库模块214。其中，协议特征库214一般可以置于装置中的存储器中，如ROM，FLASN等。当一个未知流量进入流量识别装置后，数据流分离模块221将寻找TCP流的头部，并按照{源地址、目的地址、源端口、目的端口、传输层协议类型}五元组将流量按照数据流分离开来，属性提取模块222按数据包先后顺序，依次提取包长、修正包间隔时间、传送方向等参数，形成特征序列，送入分类仲裁模块223，完成图1的S106工作。分类仲裁模块将读取协议特征模块存储的协议联合概率分布信息进行分类判断，完成图1的S107-S108的内容。值得一提的是：由于协议特征库同时存有多个协议的特征库，因此计算该数据流属于某种协议的概率可以并行进行；同时，数据流分离模块221、属性提取模块222、分类仲裁模块223构成流水线工作模式，可以极大地提高该装置识别流量的吞吐量。

图3是本发明一个实施例中关于修正间隔时间描述的示意图。某些流量识别方法采用包间隔时间作为参数用于流量识别，但是需要包间隔时间这一参数受网络状态影响很大，尤其是往返时延对包间隔时间有着直接而显著的影响，使之不能很好的反映协议本身的特性。本发明采用修正的包间隔时间，即在传统的包间隔时间扣除往返时延的影响。在本发明的一个实施例中，以测量点本地时钟为准，记录同一数据流中相邻数据包到达的时间差T，同时估计该数据流两端点间的往返时延R，修正后的包间隔时间为T-R。通过这种方式减弱了往返时延对于包间隔时间这一参数的影响，增强了协议特征的显著性。

图4是本发明一个实施例提供的关于往返时延测量的流程图。由于TCP建立连接仅需要很少的处理时间，因此本实施例采用TCP三次握手机制来估计往返时延，即测量点一旦发现出现TCP Setup数据包，就记录该包到达时刻T1，同时等待同一数据流TCP Setup/ACK数据包出现，一旦发现就记录其到达时刻T2，然后等待并记录TCPACK包到达时刻T3。T3-T1为两端点往返时延的估算值。

本实施例提供的方法和装置，使用了数据包本身的属性，避免了净荷检查；使用修正包间隔时间，增强了协议特征的显著性，避免了往返时延对于结果的影响；采用了联合概率密度作为特征分析手段以及矩阵式的存储结构，避免了复杂的计算，且便于硬件实现。该方法仅使用数据流头部若干个包的特征，不需要数据流整体信息，因此可以方便的实现流量的在线识别。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种利用数据流头部特征的TCP流量在线识别方法，其特征在于包括以下步骤：

步骤1，前期真实流量数据的获取：采集多个网络真实流量数据集，这些数据集在不同时间采自于待部署网络；

步骤2，前期真实流量的数据流梳理：通过查找数据流的起始数据包，以及{源地址、目的地址、源端口、目的端口、传输层协议类型}五元组将步骤1所得流量数据集分离为不同的TCP流，使得流量数据集就转换为TCP流的集合；

步骤3，对前期真实TCP流集合进行人工分类：使用净荷检查等方法，对步骤2得到的TCP流集合进行手工的流量识别分类，使步骤2的每一条流都与一种协议类型相对应；

步骤4，提取TCP流集合的包特征：得到每一条流中关于数据包的特征，并按照数据包在该流的先后顺序构建一个特征序列；

步骤5，建立协议特征库：根据步骤3所得的数据流协议类型和步骤4所得的数据流特征，建立若干组矩阵，每一个矩阵存储同一种协议数据流的同一序号数据包特征的联合概率密度，使得每一种协议有一组联合概率密度矩阵与之对应，其中概率密度矩阵存储该类协议数据流头部若干数据包的特征的联合概率密度；

步骤6，提取待分析数据流的数据包特征：按照数据包在该数据流的先后顺序，依次提取这些数据包的特征，组成一个特征序列；

步骤7，比对协议特征库：将步骤6所得到的特征序列与步骤5所得到的协议特征库进行比对，获得该数据流属于某种协议的概率值；

步骤8，协议类型分类仲裁：根据步骤7所得到的概率值，最大概率值所对应的协议类型即判为该数据流所属的协议类型。

2.根据权利要求1所述的方法，其特征在于，在流量识别装置用于网络流量在线识别之前，存在一个离线处理阶段，对前期的数据进行搜集，并进行人工分类，提取特征，构建协议特征库。

3.根据权利要求1所述的方法，其特征在于，采用参数的联合概率分布作为协议特征衡量的工具；其存储和表达方式包括但不限于矩阵式存储结构，其数据预处理手段包括但不限于归一化和离散化。

4.根据权利要求1所述的方法，其特征在于，识别未知数据流时，仅提取数据流头部若干包的特征，而不需要提取整个数据流的属性。

5.根据权利要求1所述的方法，其特征在于，把修正的包间隔时间用于流量识别之中。

6.根据权利要求1所述的方法，用于TCP业务的在线流量识别方法及装置，其特征在于，采集的特征序列遵照同一数据流中数据包到达的顺序。

7.根据权利要求1所述的方法，用于TCP业务的在线流量识别方法及装置，其特征在于，分类仲裁阶段按照最大概率原则或者加权最大概率原则的方式进行判决。

8.根据权利要求1所述的方法，其特征在于，步骤4中的数据包的特征包括以下的一种或者几种，

单个数据包的特征；

关联的多个数据包的特征。

9.一种利用数据流头部特征的TCP流量在线识别装置，其特征在于，

数据流分离模块，从监测流量中按照{源地址、目的地址、源端口、目的端口、传输层协议类型}五元组进行数据流分离，并去掉不关心的数据流量；

属性提取模块，从数据流中按顺序提取头部若干个数据包的特征，组成特征序列；

分类仲裁模块，完成提取特征与协议特征库的比对，以及按照最大概率或者加权最大概率原则进行仲裁；

协议特征库模块，存储通过前期采集数据分析得到的协议特征。

Images