CN106209506A - 一种虚拟化深度包检测流量分析方法及系统 - Google Patents

Abstract

本发明提供了一种虚拟化深度包检测流量分析方法和系统，将网络功能虚拟化NFV技术与深度包DPI技术有机结合，设置基于五元组的流信息表，I/O接收核基于五元组要素对接收的数据流分配相应的流标识，将流标识及其对应的五元组要素添入流信息表中；工作核对接收的数据流进行解析，获取流标识，根据预设的正则表达式特征库文件和流信息表，对访问WEB的流量进行识别和统计。本发明提供的虚拟化深度包检测流量分析方法和系统，具有业务识别准确性高、部署过程灵活、可扩展性强，可以有效提高运维成本效益。

Description

一种虚拟化深度包检测流量分析方法及系统

技术领域

本发明涉及通信网络技术领域，尤其涉及一种虚拟化深度包检测流量分析方法及系统。

背景技术

网络技术已经成为人们日常生活中不可或缺的一部分，为了提供良好的网络环境和网络服务，网络管理员或者网络服务提供者ISP需要对网络的稳定性和安全性进行管理，由此对网络流量识别和分析也提出了更高的要求。

现有技术中，通常利用DPI(Deep Packet Inspection，深度包检测)技术对网络流量进行识别和分析。通过DPI可以了解用户的真正需求，充分利用网络资源，开发有吸引力的增值业务，提升用户对网络的依赖性和忠诚度，进而构建更好的盈利模式。但是实现现有的DPI技术需要多种硬件设备，网络搭建时间长，灵活性低，这也使得网络管理更加复杂，从而导致运营费用增加。

近年来，随着网络技术的创新发展，网络功能虚拟化NFV(Network FunctionVirtualization)技术被提出和应用，NFV的技术基础是使用云计算和虚拟化技术将通用的计算/网络/存储硬件设备分解为不同的虚拟资源供上层应用使用，打破了专有硬件对网络的限制，提升网络建设、管理和维护的效率。

如何将NFV技术与DPI结合，在虚拟化平台上深度感知网络应用，进行准确的网络流量识别分析，成为网络业务控制和管理的手段，进一步使得构建可运营、可管理的网络，成为运营商关注的焦点。

发明内容

本发明提供了一种虚拟化深度包检测流量分析方法及系统，以解决现有DPI技术的业务识别准确性低，灵活性差的问题。

为解决上述问题，本发明提供了一种虚拟化深度包检测流量分析方法，所述方法包括：

I/O接收核接收数据流，对五元组要素相同的数据流设置相同的流标识StreamID，将所述Stream ID及其相对应的五元组要素添加到流信息表中，在预分配的内存地址上，将包含所述Stream ID的数据流放入先入先出队列中；

工作核从所述先入先出队列中取出数据流，解析取出的数据流的Stream ID，根据预设的正则表达式特征库文件和所述流信息表，对取出的数据流执行扫描，搜索匹配的特征值，进行深度包检测，统计访问所述特征值对应的WEB的流量。

可选地，其中，所述五元组要素包括：源IP地址、源端口、目的IP地址、目的端口和协议；所述流信息表包括：所述Stream ID与所述五元组要素以及流标记和特征值ID的唯一对应关系；其中，所述流标记用于表示数据流是否已匹配特征值,所述特征值ID对应于所述预设的正则表达式特征库文件中的特征值。

可选地，其中，所述对五元组要素相同的数据流设置相同的流标识Stream ID包括：

解析接收的数据流的五元组要素，比较当前的所述流信息表中是否存在与该五元组要素相同的数据流；若已存在，则使用该流信息表中五元组要素相同的数据流的StreamID，并将所述Stream ID添加到所述数据流的附加字段中；若当前的流信息表中不存在与该五元组要素相同的数据流，则将现有的流信息表的最大Stream ID加1作为新的Stream ID，在所述流信息表中增加相应的表项，并将所述新的Stream ID添加到所述数据流的附加字段中。

可选地，其中，所述对取出的数据流执行扫描，搜索匹配的特征值包括：

对取出的数据流执行Hyperscan扫描，在流模式下，使用单匹配模式匹配所述流标记，将相同Stream ID的多个数据块作为一条流，搜索匹配的特征值。

可选地，其中，所述对取出的数据流执行扫描，搜索匹配的特征值包括：

解析取出的数据流的Stream ID，判断所述流信息表中所述Stream ID对应的流标记是否置位；

当所述Stream ID对应的流标记已置位时，判断所述数据流是否为TCP FIN报文；如果不是TCP FIN报文，则按所述Stream ID对应的特征值ID统计所述数据流；如果是TCPFIN报文，则将所述流信息表中所述Stream ID对应的流标记清除，结束对所述特征值ID对应的WEB的一次访问的流量统计。

可选地，其中，所述对取出的数据流执行扫描，搜索匹配的特征值还包括：

当所述Stream ID对应的流标记没有置位时，判断所述数据流是否匹配所述预设的正则表达式特征库文件中的特征值；

当所述数据流匹配所述预设的正则表达式特征库文件中的特征值时，置位所述流信息表中所述Stream ID对应的流标记位，记录特征值ID，按所述特征值ID进行WEB流量统计；当所述数据流未匹配到所述预设的正则表达式特征库文件中的特征值时，进行TCP流量统计。

为解决上述问题，本发明还提供了一种虚拟化深度包检测流量分析系统，所述系统包括：

I/O接收核，用于对接收数据流，对五元组要素相同的数据流设置相同的流标识Stream ID，将所述Stream ID及其相对应的五元组要素添加到流信息表中，在预分配的内存地址上，将包含所述Stream ID的数据流放入先入先出队列中；

工作核，用于从所述先入先出队列中取出数据流，解析取出的数据流的StreamID，根据预设的正则表达式特征库文件和所述流信息表，对取出的数据流执行扫描，搜索匹配的特征值，进行深度包检测，统计访问所述特征值对应的WEB的流量。

可选地，其中，所述五元组要素包括：源IP地址、源端口、目的IP地址、目的端口和协议；所述流信息表包括所述Stream ID与所述五元组要素以及流标记和特征值ID的唯一对应关系；其中，所述流标记用于表示数据流是否已匹配特征值,所述特征值ID对应于所述预设的正则表达式特征库文件中的特征值。

可选地，其中，所述I/O接收核包括流分类模块，

所述流分类模块，用于解析接收的数据流的五元组要素，比较当前的所述流信息表中是否存在与该五元组要素相同的数据流；若已存在，则使用该流信息表中五元组要素相同的数据流的Stream ID，并将所述Stream ID添加到所述数据流的附加字段中；若当前的流信息表中不存在与该五元组要素相同的数据流，则将现有的流信息表的最大StreamID加1作为新的Stream ID，在所述流信息表中增加相应的表项，并将所述新的Stream ID添加到所述数据流的附加字段中。

可选地，其中，所述工作核包括解析统计模块；

所述解析统计模块，用于对取出的数据流执行Hyperscan扫描，在流模式下，使用单匹配模式匹配所述流标记，将相同Stream ID的多个数据块作为一条流，搜索匹配的所述特征库文件中的特征值。

可选地，其中，所述解析统计模块包括解析子模块和统计子模块：

所述解析子模块，用于解析取出的数据流的Stream ID，判断所述流信息表中所述Stream ID对应的流标记是否置位；

所述统计子模块，用于当所述Stream ID对应的流标记已置位时，判断所述数据流是否为TCP FIN报文；如果不是TCP FIN报文，则按所述Stream ID对应的特征值ID统计所述数据流；如果是TCP FIN报文，则将所述流信息表中所述Stream ID对应的流标记清除，结束对所述特征值ID对应的WEB的一次访问的流量统计。

可选地，其中，所述解析子模块，还用于当所述Stream ID对应的流标记没有置位时，判断所述数据流是否匹配所述预设的正则表达式特征库文件中的特征值；

所述统计子模块，还用于当所述数据流匹配所述预设的正则表达式特征库文件中的特征值时，置位所述流信息表中所述Stream ID对应的流标记位，记录特征值ID，按所述特征值ID进行WEB流量统计；当所述数据流未匹配到所述预设的正则表达式特征库文件中的特征值时，进行TCP流量统计。

本发明实施例提供的虚拟化深度包检测流量分析方法及系统，将网络功能虚拟化NFV技术与深度包DPI技术有机结合，设置基于五元组的流信息表，I/O接收核基于五元组要素，对接收的数据流分配相应的流标识，工作核对接收的数据流进行解析，获取流标识，根据预设的正则表达式特征库文件和上述流信息表，对访问WEB的流量进行识别和统计，业务识别准确性高、部署过程灵活、可扩展性强，可以有效提高运维成本效益。

附图说明

图1为本发明实施例一的虚拟化深度包检测流量分析方法示意图；

图2为本发明实施例二的虚拟化深度包检测流量分析系统结构示意图；

图3为本发明实施例二中的模块示意图；

图4为本发明的一种示范性实施例的方法流程图；

图5为图4中流量分析步骤的具体方法流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明的实施例中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

本发明实施例中处理网络流量的设备为多核设备，将多核设备的逻辑核Lcore预先分为三类：

(1)I/O接收核(I/O RX Lcore)；

(2)工作核(Worker Lcore)；

(3)I/O发送核(I/O TX Lcore)。

对应地，通过数据面开发套件DPDK(Data-plane Development Kit)在多核设备上创建多个线程，并将每个线程绑定到单独的核上，以减少线程调度的开销，提高性能。

具体地，I/O RX Lcore处理网卡数据接收的线程；Worker Lcore处理数据业务流程，以及I/O TX Lcore处理网卡数据发送线程；其中，IO RX/TX Lcore可以与各个WorkerLcore之间分别创建一个无锁的单生产者单消费者环形(ring)队列；各类型逻辑核个数根据总核数分配设置为预定值，例如，配置有以下初始参数，1个I/O RX Lcore、1个WorkerLcore、1个I/O TX Lcore，同时也可以根据容量需求灵活扩展核个数，进一步提高性能。

基于上述多核设备，本发明实施例提出了一种虚拟化深度包检测流量分析方法，包括：

步骤10：I/O接收核接收数据流，对五元组要素相同的数据流设置相同的流标识Stream ID，将所述Stream ID及其相对应的五元组要素添加到流信息表中，在预分配的内存地址上，将包含所述Stream ID的数据流放入先入先出队列中；

步骤12：工作核从所述先入先出队列中取出数据流，解析取出的数据流的StreamID，根据预设的正则表达式特征库文件和所述流信息表，对取出的数据流执行扫描，搜索匹配的特征值，进行深度包检测，统计访问所述特征值对应的WEB的流量。

本发明实施例中，预先设置一个基于五元组(即：源IP地址、源端口、目的IP地址、目的端口和协议)的流信息表，I/O RX Lcore可以从网卡接收数据流并且直接将接收到的数据流传输到预分配的内存中，例如，I/O RX Lcore可以采用轮询方式调用轮询模式驱动PMD(Poll Mode Drivers)驱动从网卡接收数据流并且直接将接收到的数据流传输到预分配的内存中；

I/O接收核可以在预分配的内存地址上直接处理数据流，接收到数据流后，解析数据流的五元组要素，对五元组要素相同的数据流分配相同的流标识Stream ID，将所述Stream ID及其相对应的五元组要素添加到所述流信息表中，在所述数据流中增加一字段，分别添加相应的流标识Stream ID；在预分配的内存地址上，将包含所述Stream ID的数据流放入先入先出队列中，例如，可以通过写索引控制入队操作，将包含流标识Stream ID的数据流放入一个无锁的单生产者单消费者环形队列中，所述环形队列介于所述I/O接收核与工作核之间；

本实施例中，还预先设定了一个正则表达式特征库；可选地，例如，针对WEB流量分析，可以设定正则表达式特征库文件的特征值包括：常用网站域名，例如，www.baidu.com,www.163.com等等，当然也可以包括用户自定义的其它特征库文件的特征值，例如：www.abc.com。

所述工作核从所述先入先出队列中取出数据流，解析取出的数据流的Stream ID，例如，所述工作核可以通过读索引控制出队列操作从所述环形队列取出数据流，从数据流的附加字段中解析取出的数据流的Stream ID；然后根据预设的正则表达式特征库文件和上述流信息表，对取出的数据流执行扫描，由于预设的正则表达式特征库文件的特征值包括常用网站域名，因此通过搜索匹配的特征值，进行深度包检测，可以统计用户对该匹配到的特征值(网站域名)对应的WEB的访问流量。

本发明实施例提供的虚拟化深度包检测流量分析方法，将网络功能虚拟化NFV技术与深度包DPI技术有机结合，设置基于五元组的流信息表，I/O接收核基于五元组要素，对接收的数据流分配相应的流标识，工作核对接收的数据流进行解析，获取流标识，根据预设的正则表达式特征库文件和上述流信息表，对访问WEB的流量进行识别和统计，业务识别准确性高、部署过程灵活、可扩展性强，可以有效提高运维成本效益。

可选地，其中，所述五元组要素包括：源IP地址、源端口、目的IP地址、目的端口和协议；所述流信息表包括所述Stream ID与所述五元组要素、流标记以及特征值ID的唯一对应关系；其中，所述流标记用于表示数据流是否已匹配特征值,所述特征值ID对应于所述预设的正则表达式特征库文件中的特征值。

例如，可以按下列方式，建立基于五元组的流信息表，如表一所示：

表一

如表一所示，Flag用于表示一条标识为Stream ID的流，是否已经匹配特征值，例如，可以设置Flag＝1为已匹配，Flag＝0为未匹配。显然，也可以采用其它类似方式进行标记。表一初始化时可以为空。同时建立特征值ID与特征库文件中特征值的唯一对应关系，例如，可以如下表二所示：

特征值ID	特征库特征值
		1	www.baidu.com
2	www.163.com
		3	www.sohu.com
4	www.abc.com
		……	……

表二

可选地，其中，步骤10中可以包括以下子步骤：

步骤101：解析接收的数据流的五元组要素，比较当前的流信息表中是否存在与该五元组要素相同的数据流；若已存在，则使用该流信息表中五元组要素相同的数据流的Stream ID，并将所述Stream ID添加到所述数据流的附加字段中；若当前的流信息表中不存在与该五元组要素相同的数据流，则将现有的流信息表的最大Stream ID加1作为新的Stream ID，更新所述流信息表，建立相应的对应表项，并将所述Stream ID添加到所述数据流的附加字段中。

本实施例中，参照上述表一，I/O接收核对接收的数据流进行解析，判断其中的五元组要素在上述表一中是否已存在(即上述表一中是否已经有五元组元素相同的流信息)，若已存在，就将该五元组元素对应的Stream ID添加到所解析的数据流的附加字段中；若当前的流信息表中不存在与该五元组要素相同的数据流，则将现有的最大Stream ID加1作为新的Stream ID，更新所述流信息表，建立相应的对应表项，并将所述新Stream ID添加到所述数据流的附加字段中；显然，随着I/O接收核接收数据流的增加，基于五元组的流信息表的内容也会不断增加。

可选地，其中，步骤12中可以包括以下子步骤：

步骤121：对取出的数据流执行Hyperscan扫描，在流模式下，使用单匹配模式匹配所述流标记，将相同Stream ID的多个数据块作为一条流，搜索匹配的特征值。

本实施例，可以将预先设定的特征库文件编译为Hyperscan database，并且根据输入的参数确定匹配模式为singleMatch单匹配模式，以及根据输入的mode参数确定运行模式为流模式；

基于上述流模式下的singleMatch,对数据流执行Hyperscan扫描时，可以将相同Stream ID下的多个数据块作为一条流，搜索匹配的正则表达式特征库文件中的特征值，得到相应的特征值ID，从而统计相应特征值ID下的总流量。

例如，当数据流经过某个网络设备时超过该设备MTU(Maximum TransmissionUnit，最大传输单元)值后，具有分片功能的网络设备会将数据流分片成多个，如在第一个数据块结尾为字符“www.bai”，下一个数据块开头为字符“du.com”，若匹配特征值“www.baidu.com”，在流模式下执行Hyperscan扫描时能够匹配，即可以将相同Stream ID下的多个数据块作为一条流。

可选地，其中，步骤121可以包括以下步骤：

步骤1210：解析取出的数据流的Stream ID，判断所述流信息表中所述Stream ID对应的流标记是否置位；

当所述Stream ID对应的流标记已置位时，判断所述数据流是否为TCP FIN报文，如果不是TCP FIN报文，则按所述Stream ID对应的特征值ID统计所述数据流；如果是TCPFIN报文，则将所述流信息表中所述Stream ID对应的流标记清除，结束对所述特征值ID对应的WEB的一次访问的流量统计。

本实施例中，可选地，工作核解析取出的数据流的Stream ID后，先判断所述流信息表中所述Stream ID对应的流标记是否置位；

例如，当解析出数据流的Stream ID为s1时，如果发现Flag＝1，则表示表一中的Stream ID＝s1对应的流标记已置位(即已匹配特征值)；如果Flag＝0，则表示表一中的Stream ID＝s1对应的流标记没有置位；

如果所述Stream ID＝s1对应的流标记已置位，例如，当判断发现相应的Flag＝1时，则判断所述数据流是否为TCP FIN报文，如果不是TCP FIN报文，则按所述s1对应的特征值ID(如表一中的ID＝1)统计访问WEB的数据流(即统计访问该特征值ID对应的网站的WEB的中间报文数据流)；如果是TCP FIN报文，则清除所述流信息表中所述s1对应的流标记，例如，此时可以清除Flag标志或设置Flag＝0，结束对所述特征值ID(ID＝1)对应的网站(即www.baidu.com)的一次WEB访问的流量统计。

本发明实施例中，由于采用了流模式和单匹配模式，可以通过匹配流标识对应的标志位，在同一条流中只匹配一次即首次特征值匹配；例如，在WEB访问中，某个TCP连接建立后的第一个报文通常包含所访问网站域名，通过本发明实施例的深度包检测即可以找到一次WEB访问的流量起点。例如，假定要统计的WEB网站是www.163.com，某个TCP连接后的第一个报文包含的所访问网站域名为www.163.com；相应的特征库文件的特征值ID＝2，其流标识为s2，则在第一个报文会被I/O接收核分类为流标识Stream ID＝s2；此后，I/O接收核接收的数据报文，只要是五元组元素与Stream ID＝s2对应的五元组元素相同，则数据报文中的附加字段中都会被添加s2的流标识,直到接收到TCP FIN报文；

工作核解析接收数据报文，TCP连接后的第一个报文即包含Stream ID＝s2,此时判断标志位Flag，由于是第一个报文，Flag没有被置位，即Flag＝0，此时需要置位Flag，例如设置Flag＝1；此后，凡是Stream ID＝s2的报文，由于Flag＝1已设置，只要FIN标志没有置位，都属于对该网站(www.163.com)的同一次访问的数据流，按一次访问www.163.com统计流量；当收到的报文中FIN标志置位时，表明本次访问www.163.com的结束报文已收到，此时工作核清除流信息表中所述s2对应的流标记(例如，设置Flag＝0)，结束对特征值ID＝2对应的网站(即www163.com)的WEB的一次访问的流量统计。即获得对特征值ID＝2对应的网站的WEB的一次访问的总流量。

可选地，其中，步骤121还可以包括以下步骤：

步骤1211：当所述Stream ID对应的流标记没有置位时，判断所述数据流是否匹配预设的正则表达式特征库文件中的特征值；

当所述数据流匹配所述预设的正则表达式特征库文件中的特征值时，置位所述流信息表中所述Stream ID对应的流标记，记录特征值ID，按所述特征值ID进行WEB流量统计；当所述数据流未匹配到所述预设的正则表达式特征库文件中的特征值时，进行TCP流量统计。

本实施例中，当工作核接收并解析到流标识为s3的数据流时，如果发现所述Stream ID对应的流标记没有置位，需要判断该数据流是否匹配预设的正则表达式特征库文件中的特征值，例如，预设的正则表达式特征库文件中设置了特征值www.sohu.com,对应的特征值ID＝3；如果该数据流(Stream ID＝s3)匹配特征库文件中的特征值www.sohu.com，则更新所述流信息表，将Stream ID＝s3对应的Flag设置为1(Flag＝1)，并记录特征值ID＝3，表明匹配到新的特征值，进行相应的WEB访问流量统计(即进行针对访问www.sohu.com的流量统计，该数据流是某个新用户首次访问www.sohu.com的第一个报文)；如果所述数据流未匹配到所述预设的正则表达式特征库文件中的特征值，则该数据流不属于本发明实施例统计的WEB流量的内容(该数据流与本发明实施例需要统计的WEB网站没有关系，或者说该数据流不是访问特征库中相关WEB的数据流)，仅进行TCP流量统计。

本发明实施例中设计的五元组分流方法，可以保证同一TCP流被分类至同一stream ID中被同一线程所处理。当被访问站点的源端口变化时(例如，用户访问www.163.com时，当www.163.com端口发生变化后，来自www.163.com的报文的五元组要素将发生变化)，计算得出的Stream ID也将不一样，实际上访问的是同一网站，即163，此时可以将同一用户匹配同一特征库的特征值ID的多条流统计值累加，即可得出某个用户关于特征值ID(例如，表二中的特征值ID＝2，即对网站www.163.com)访问的总流量。

相应地，本发明实施例还提供一种虚拟化深度包检测流量分析系统，如图2所示，包括：

I/O接收核20，用于对接收数据流，对五元组要素相同的数据流设置相同的流标识Stream ID，将所述Stream ID及其相对应的五元组要素添加到流信息表中，在预分配的内存地址上，将包含所述Stream ID的数据流放入先入先出队列中；

工作核22，用于从所述先入先出队列中取出数据流，解析取出的数据流的StreamID，根据预设的正则表达式特征库文件和所述流信息表，对取出的数据流执行扫描，搜索匹配的特征值，进行深度包检测，统计访问所述特征值对应的WEB的流量。

本发明实施例提供的虚拟化深度包检测流量分析系统，将网络功能虚拟化NFV技术与深度包DPI技术有机结合，设置基于五元组的流信息表，I/O接收核基于五元组要素，对接收的数据流分配相应的流标识，工作核对接收的数据流进行解析，获取流标识，根据预设的正则表达式特征库文件和上述流信息表，对访问WEB的流量进行识别和统计，业务识别准确性高、部署过程灵活、可扩展性强，可以有效提高运维成本效益。

可选地，其中，所述五元组要素包括：源IP地址、源端口、目的IP地址、目的端口和协议；所述流信息表包括所述Stream ID与所述五元组要素、流标记以及特征值ID的唯一对应关系；其中，所述流标记用于表示数据流是否已匹配特征值,所述特征值ID对应所述预设的正则表达式特征库文件中的特征值。

可选地，所述I/O接收核20包括流分类模块201：

所述流分类模块201：用于解析接收的数据流五元组要素，比较当前的流信息表中是否存在与该五元组要素相同的数据流；若已存在，则使用该流信息表中五元组要素相同的数据流的Stream ID，并将所述Stream ID添加到所述数据流的附加字段中；若当前的流信息表中不存在与该五元组要素相同的数据流，则将现有的流信息表的最大Stream ID加1作为新的Stream ID，更新所述流信息表，建立相应的对应表项，并将所述新的Stream ID添加到所述数据流的附加字段中。

可选地，所述工作核22包括解析统计模块221：

所述解析统计模块221：用于对取出的数据流执行Hyperscan扫描，在流模式下，使用单匹配模式匹配所述流标记，将相同Stream ID的多个数据块作为一条流，搜索匹配的所述特征库文件中的特征值，进行流量统计。

可选地，其中，所述解析统计模块221包括解析判断子模块2210和统计子模块2211：

所述解析判断子模块2210，用于解析取出的数据流的Stream ID，判断所述流信息表中所述Stream ID对应的流标记是否置位；

所述统计子模块2211，用于当所述Stream ID对应的流标记已置位时，判断所述数据流是否为TCP FIN报文，如果不是TCP FIN报文，则按所述Stream ID对应的特征值ID统计所述数据流；如果是TCP FIN报文，则将所述流信息表中所述Stream ID对应的流标记清除，结束对所述特征值ID对应的WEB的一次访问的流量统计。

可选地，其中，

所述解析判断子模块2210，还用于当所述Stream ID对应的流标记没有置位时，判断所述数据流是否匹配所述预设的正则表达式特征库文件中的特征值；

所述统计子模块2211，用于当所述数据流匹配所述预设的正则表达式特征库文件中的特征值时，置位所述流信息表中所述Stream ID对应的流标记位，并记录特征值ID，按所述特征值ID进行WEB流量统计；当所述数据流未匹配到所述预设的正则表达式特征库文件中的特征值时，进行TCP流量统计。

下面通过一个示范性例子对本发明的实施例进行更详细的说明。

如图所示，假设采用一个I/O接收核，一个工作核和一个I/O发送核，其中，在I/O接收核与工作核之间，工作核与I/O发送核之间分别建立了一个无锁的单生产者单消费者环形队列。

对于I/O接收核I/O RX Lcore：

步骤30：I/O接收核从网卡收取数据包；

本步骤中，基于DPDK高性能转发平面，I/O RX Lcore可以采用轮询方式调用轮询模式驱动PMD(Poll Mode Drivers)驱动从网卡接收数据流并且直接将接收到的数据流传输到预分配的内存中；例如，PMD驱动使用无中断方式直接操作网卡的接收队列，接收到数据流后直接传输到预分配的内存中。

步骤31：对接收的数据包进行流分类，给每个接收到的数据流添加Stream ID；

本步骤中，I/O接收核通过轮询感知收到数据流后，可以在预分配的内存地址上直接处理数据流，包括以下子步骤：

1)使用预先设定的五元组要素(源IP地址，源端口，目的IP地址，目的端口，协议)信息建立流信息表，该流表包含流标识Stream ID与源IP地址、源端口、目的IP地址、目的端口、协议已及流标记Flag和特征值ID的唯一对应关系；即，每条流具有一个流标识StreamID，其在流信息表中的源IP地址、源端口、目的IP地址、目的端口以及协议唯一确定；当然，初始时该表内容也可为空；

2)确认Stream ID：接收到数据流后，解析数据流五元组要素，比较当前的流信息表中是否存在与该五元组要素相同的流，若已存在，则使用该流信息表的Stream ID，若不存在，则在现有最大Stream ID基础上加1作为新的Stream ID，更新所述流信息表，修改添加流信息表的内容，并将Stream ID添加到该数据流的附加子段中。

步骤32：将报文放入环形队列缓存中；

本步骤中，I/O接收核线程将已分配Stream ID的数据流放入与工作核之间的环形队列中。具体地，DPDK基于现有KFIFO技术可以实现一种无锁环形队列。本发明实施例采用单生产者单消费者无锁队列，生产者通过写索引控制入队操作，消费者通过读索引控制出队列操作。队列的增长方向是顺时钟方向，生产者以顺时钟方向往队列中放数据。

对于工作核Worker Lcore：

步骤33：工作核线程从环形队列缓存中接收数据流；

本步骤中，工作核线程从与I/O接收核之间的环形队列中轮询，判断是否接收到数据流。如上所述，当接收到数据流时，消费者(工作核)同样以顺时钟方向从队列中取数据。

步骤34：判断协议报文；

本步骤中，工作核从环形队列取出数据流后，判断目的IP地址是否为本机IP地址，若为本机IP地址，该数据流上交协议栈处理，否则交由网络流量分析统计模块处理。

步骤35：网络流量分析；

步骤36：通过环形队列缓存发送数据流。

工作核线程将已分析数据流放入与I/O发送核之间的环形队列中。

对于I/O发送核(I/O TX Lcore)

步骤37：通过环形队列缓存接收数据流；

I/O发送核线程采用轮询方式从工作核与I/O发送核队列中收取待发送数据流。

步骤38：发送数据包；

I/O发送核可以采用PMD驱动使用无中断方式直接操作网卡发送队列，将数据流发出。

其中，如图5所示，上述步骤35包括以下子流程。如图5所示，可以包括以下步骤：

步骤351：解析数据流，获取数据流的Stream ID；

步骤352：判断基于五元组的流信息表中该数据流Stream ID对应的流标记Flag是否被置位(流标记Flag已置位表明该数据流已匹配预设的正则表达式特征库文件中的特征值)；如果流标记没有被置位(例如，Flag＝0)，执行步骤353；如果流标记已经被置位(例如Flag＝1)，则执行步骤354；

步骤353：判断流标记未置位的数据流是否匹配预设的正则表达式特征库；若数据流匹配预设的正则表达式特征库文件中某个特征值，接步骤356；；如果数据流未匹配到预设的正则表达式特征库文件中特征值，转步骤357；

步骤356：置位流信息表中该Stream ID对应的流标记，表明该数据流已匹配特征值，并记录特征值ID，然后进行WEB流统计；转步骤360；

步骤357：不对流信息表中该Stream ID对应的流标记进行处理，进行TCP流量统计；转步骤360。

其中，步骤35可以包括以下内容：

使用高速正则表达式匹配引擎hyperscan实现高性能DPI特征值检测：

预先设定正则表达式特征库，本实施例是进行WEB流量分析，可以设定正则表达式特征库包括：常用网站域名；当然也可以包括自定义的特征库，例如：其它自定义域名：www.abc.com,www.abc.net等等；

将预先设定的特征库文件编译为hyperscan database，并且根据输入的参数确定匹配模式为singleMatch单匹配模式，以及根据输入的mode参数确定运行模式为流模式；

本实施例中，相同Stream ID所含多个数据块可以视为一条流，可以跨数据块进行匹配。例如，当数据流经过某个网络设备时超过该设备MTU(Maximum Transmission Unit，最大传输单元)值后，具有分片功能的网络设备会将数据流分片成多个，如在第一个数据块结尾为字符“www.bai”，下一个数据块开头为字符“du.com”，若匹配特征值“www.baidu.com”，在流模式下能够匹配；

根据预设的特征库文件和流分类步骤创建的基于五元组的流信息表信息，对数据流执行扫描，搜索匹配的特征值，进行深度包检测。例如，典型地，在流模式下使用singleMatch匹配标志位，在同一条流中只匹配一次即首次特征值匹配；在WEB访问中，某个TCP连接建立后的第一个报文通常包含所访问网站域名，通过本实施例的深度包检测即可以找到一次WEB访问的流量起点。

步骤354：判断流标记已置位的数据流是否为TCP FIN报文；如是TCP FIN报文，接步骤358；如果不是TCP FIN报文，转步骤359；

步骤358：若数据流为TCP FIN报文，则视为流结束标志，清除流信息表中该StreamID对应的流标记，表明该流已结束，确认一次WEB访问的流量终点；转步骤360；

步骤359：如果不是FIN报文，进行WEB流量统计。

步骤360：汇总统计流量并实时显示。

其中，步骤354中，

可以判断接收的数据流的FIN标志位字段是否被置位；当该FIN标志位字段被置位时，表明收到的数据流为TCP FIN报文；如果FIN标志为字段没有被置位，则表明收到数据流不是TCP FIN报文；

本步骤中，可以通过校验数据流固定字段内容，判断流标记已置位的数据流是否为TCP FIN报文。

若数据流为TCP FIN报文则视为流结束标志，清除流信息表中该Stream ID对应的流标记，表明该流已结束，确认一次WEB访问的流量终点；

如果收到的数据流不是TCP FIN报文，则属于访问WEB网站的中间报文，需要进行WEB流量统计。

步骤360：各种结果统计至相Stream ID的统计表中，统计结果显示使用socket套接字与本系统程序同步数据，将应用程序统计到的数据实时刷新显示，可以包含以下内容：

总流量(字节数、报文个数、带宽Mbps)；

总匹配流量(字节数、报文个数、带宽Mbps)；

特征库ID(字节数、报文个数、带宽Mbps)；

基于时间段的流量趋势等等。

本实施例设计的基于五元组的流分类方法，可保证同一TCP流被分类至同一Stream ID中被同一线程所处理。但是，当被访问站点的源端口变化时，计算得出的StreamID也将不一样，而实际上访问的是同一网站，如百度或163，此时可以将同一用户匹配同一特征库ID多条流统计值累加，即可得出某个用户某个特征值ID即网站访问的总流量。

在上述实施例中，上述的WEB访问流量分析中虚拟化DPI技术可以通过开源数据面开发套件(Data-plane Development Kit，DPDK)和开源Hyperscan技术的结合来实现，其业务识别准确性明显高于现有的硬件DPI技术，部署过程中的灵活性、可扩展性及运维成本效益也明显提高；优选地，如果在开源云操作系统(Openstack)基础上利用DPDK和开源Hyperscan技术来实现虚拟化的DPI技术，进一步减少技术融合的复杂度，提高可靠性。

性能测试结果：

本实施例开源的云操作系统Openstack实现应用虚拟化时，在该云平台上整合开源DPDK与Hyperscan库，实现高性能深度包检测。数据流处理过程中直接采用传递内存指针的方式，减少了内存拷贝带来的性能损失，从而能够提供超高性能的数据平面。例如，采用HP 360Gen8服务器，至强E52670CPU，基于Openstack虚拟化平台，测试结果显示：

报文1400字节时，单工作核，匹配baidu.com字符串，能达到7.2Gbps；

报文256字节时，单工作核，匹配baidu.com字符串，能达到1.7Gbps。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种虚拟化深度包检测流量分析方法，其特征在于，包括：

I/O接收核接收数据流，对五元组要素相同的数据流设置相同的流标识Stream ID，将所述Stream ID及其相对应的五元组要素添加到流信息表中，在预分配的内存地址上，将包含所述Stream ID的数据流放入先入先出队列中；

工作核从所述先入先出队列中取出数据流，解析取出的数据流的Stream ID，根据预设的正则表达式特征库文件和所述流信息表，对取出的数据流执行扫描，搜索匹配的特征值，进行深度包检测，统计访问所述特征值对应的WEB的流量。

2.如权利要求1所述的方法，其特征在于，所述五元组要素包括：源IP地址、源端口、目的IP地址、目的端口和协议；所述流信息表包括：所述Stream ID与所述五元组要素、流标记以及特征值ID的唯一对应关系；其中，所述流标记用于表示数据流是否已匹配特征值,所述特征值ID对应于所述预设的正则表达式特征库文件中的特征值。

3.如权利要求1或2所述的方法，其特征在于，所述对五元组要素相同的数据流设置相同的流标识Stream ID包括：

解析接收的数据流的五元组要素，比较当前的所述流信息表中是否存在与该五元组要素相同的数据流；若已存在，则使用该流信息表中五元组要素相同的数据流的Stream ID，并将所述Stream ID添加到所述数据流的附加字段中；若当前的流信息表中不存在与该五元组要素相同的数据流，则将现有的流信息表的最大Stream ID加1作为新的Stream ID，在所述流信息表中增加相应的表项，并将所述新的Stream ID添加到所述数据流的附加字段中。

4.如权利要求3所述的方法，其特征在于，所述对取出的数据流执行扫描，搜索匹配的特征值包括：

对取出的数据流执行Hyperscan扫描，在流模式下，使用单匹配模式匹配所述流标记，将相同Stream ID的多个数据块作为一条流，搜索匹配的特征值。

5.如权利要求1或2所述的方法，其特征在于，所述对取出的数据流执行扫描，搜索匹配的特征值包括：

解析取出的数据流的Stream ID，判断所述流信息表中所述Stream ID对应的流标记是否置位；

当所述Stream ID对应的流标记已置位时，判断所述数据流是否为TCP FIN报文；如果不是TCP FIN报文，则按所述Stream ID对应的特征值ID统计所述数据流；如果是TCP FIN报文，则将所述流信息表中所述Stream ID对应的流标记清除，结束对所述特征值ID对应的WEB的一次访问的流量统计。

6.如权利要求5所述的方法，其特征在于，所述对取出的数据流执行扫描，搜索匹配的特征值还包括：

当所述Stream ID对应的流标记没有置位时，判断所述数据流是否匹配所述预设的正则表达式特征库文件中的特征值；

当所述数据流匹配所述预设的正则表达式特征库文件中的特征值时，置位所述流信息表中所述Stream ID对应的流标记，记录特征值ID，按所述特征值ID进行WEB流量统计；当所述数据流未匹配到所述预设的正则表达式特征库文件中的特征值时，进行TCP流量统计。

7.一种虚拟化深度包检测流量分析系统，其特征在于，包括：

I/O接收核，用于对接收数据流，对五元组要素相同的数据流设置相同的流标识StreamID，将所述Stream ID及其相对应的五元组要素添加到流信息表中，在预分配的内存地址上，将包含所述Stream ID的数据流放入先入先出队列中；

工作核，用于从所述先入先出队列中取出数据流，解析取出的数据流的Stream ID，根据预设的正则表达式特征库文件和所述流信息表，对取出的数据流执行扫描，搜索匹配的特征值，进行深度包检测，统计访问所述特征值对应的WEB的流量。

8.如权利要求7所述的系统，其特征在于，所述五元组要素包括：源IP地址、源端口、目的IP地址、目的端口和协议；所述流信息表包括所述Stream ID与所述五元组要素、流标记以及特征值ID的唯一对应关系；其中，所述流标记用于表示数据流是否已匹配特征值,所述特征值ID对应于所述预设的正则表达式特征库文件中的特征值。

9.如权利要求7或8所述的系统，其特征在于，所述I/O接收核包括流分类模块；

所述流分类模块，用于解析接收的数据流的五元组要素，比较当前的所述流信息表中是否存在与该五元组要素相同的数据流；若已存在，则使用该流信息表中五元组要素相同的数据流的Stream ID，并将所述Stream ID添加到所述数据流的附加字段中；若当前的流信息表中不存在与该五元组要素相同的数据流，则将现有的流信息表的最大Stream ID加1作为新的Stream ID，在所述流信息表中增加相应的表项，并将所述新的Stream ID添加到所述数据流的附加字段中。

10.如权利要求9所述的系统，其特征在于，所述工作核包括解析统计模块；

所述解析统计模块，用于对取出的数据流执行Hyperscan扫描，在流模式下，使用单匹配模式匹配所述流标记，将相同Stream ID的多个数据块作为一条流，搜索匹配的所述特征库文件中的特征值。

11.如权利要求10所述的系统，其特征在于，所述解析统计模块包括解析子模块和统计子模块：

所述解析子模块，用于解析取出的数据流的Stream ID，判断所述流信息表中所述Stream ID对应的流标记是否置位；

所述统计子模块，用于当所述Stream ID对应的流标记已置位时，判断所述数据流是否为TCP FIN报文；如果不是TCP FIN报文，则按所述Stream ID对应的特征值ID统计所述数据流；如果是TCP FIN报文，则将所述流信息表中所述Stream ID对应的流标记清除，结束对所述特征值ID对应的WEB的一次访问的流量统计。

12.如权利要求11所述的系统，其特征在于，

所述解析子模块，还用于当所述Stream ID对应的流标记没有置位时，判断所述数据流是否匹配所述预设的正则表达式特征库文件中的特征值；

所述统计子模块，还用于当所述数据流匹配所述预设的正则表达式特征库文件中的特征值时，置位所述流信息表中所述Stream ID对应的流标记，记录特征值ID，按所述特征值ID进行WEB流量统计；当所述数据流未匹配到所述预设的正则表达式特征库文件中的特征值时，进行TCP流量统计。