CN107426049A - 一种网络流量精确检测方法、设备及存储介质 - Google Patents

Abstract

本发明提供了一种网络流量精确检测方法、设备及存储设备，所述方法包括：获取网络中的待检测数据包，根据预设的提取位置集在所述数据包中提取若干个内容串，其中所述提取位置集中包括若干个提取特征的关键字或位置、及提取长度；将所述内容串在预设的特征串集中进行匹配，得到每个所述内容串的匹配结果；判断若干个所述匹配结果是否满足预设的特征关系，当所述匹配结果满足所述预设的特征关系时，则所述数据包命中所述预设的特征关系对应的规则。本发明在特征定义与匹配时，采用先提取后查询比对的方法，有效解决目前使用正则表达式定义复杂和特征匹配性能不可控的问题。

Description

一种网络流量精确检测方法、设备及存储介质

技术领域

本发明涉及网络安全领域，特别涉及一种网络流量精确检测方法、设备及存储介质。

背景技术

随着互联网尤其是移动互联网的快速发展，网络应用范围和用户规模快速扩张，产生网络流量的应用和场景也越来越多，网络流量海量增长。网络中充斥着各种各样的数据流量，如基础通信流量、正常页面浏览流量、游戏流量、对等网络(Peer ro Peer,P2P)流量、即时通信(Instant Massage,IM)流量等，其中就混杂着需要重点关注的可疑流量。

目前网络流量的检测与识别多采用内置特征规则库方式作为检测依据，主要集中在流量控制、应用识别与分类方面。在网络安全应用中，除基础的对于网络流量的应用识别与分类的需求外，对于特定流量的精准识别的需求也越来越重要；对于核心的安全检测与响应，需要对网络流量进行实时、精准的检测分析，以检测和识别出特定的可疑流量并进行处理。然而精确识别通常需要复杂的特征描述，传统正则匹配方法无法提供便捷、易理解的特征定义，同时在完全自定义特征的情况下无法保证稳定的检测性能。

深度报文检测(Deep Packet Inspection，DPI)技术是在分析包头的基础上，增加了对应用层负载的分析，是一种基于应用层的流量检测和控制技术，当数据流流经监控设备时，DPI引擎通过匹配特征字、包长等信息对应用层协议进行识别。不同的应用通常会采用不同的协议进行数据传输，而各种协议都有其特殊的指纹，通过把数据包和这些指纹信息做比较，从而完成流量协议的精确检测，是目前的主流流量识别的核心技术和主要方法。

DPI需要事先详细分析待识别应用协议，找出交互中不同于其他协议的字段；对于协议特征的提取，若固定字段唯一，则使用该字段作为协议特征串；若存在多个固定字段，则选择其中出现频率最高的特征串来标识协议特征。目前多使用正则表达式代替固定的特征串来表示协议特征。

正则表达式是用某种已知模式去匹配一类字符串的一个字符串公式，它主要用来作为描述字符串匹配的工具。正则表达式具有很强的表达能力，它是由一些普通字符(如字符a到z)和一些元字符(metacharacters)组成的，普通字符包括数字和大小写的英文字母，而元字符则有其特殊的含义。不同的解析方式所支持的元字符不尽相同。

正则表达式的书写方式，尤其是复杂特征的正则表达式书写方式，对检测效率影响重大，随着特征的增加，检测性能无规律变化，性能预估准确性及可控性差；而且，正则表达式书写复杂，不同的系统使用不同的解析方法，自定义特征需要具备专业知识和经验，一般运维人员和分析人员很难快速上手完成特征规则的编写；同时，正则表达式主要针对字符串特征，对于二进制特征没有很好的适用性。

发明内容

鉴于上述问题，本发明提供了一种网络流量精确检测方法、设备及存储介质。

本发明提供的一种网络流量精确检测方法，包括：

获取网络中的数据包，根据预设的提取位置集在所述数据包中提取若干个内容串，其中所述提取位置集中包括若干个提取特征的关键字或位置、及提取长度；

将所述内容串在预设的特征串集中进行匹配，得到每个所述内容串的匹配结果；

判断若干个所述匹配结果是否满足预设的特征关系，当所述匹配结果满足所述预设的特征关系时，则所述数据包命中所述预设的特征关系对应的规则。

可选的，在根据预设的提取位置集在待检测网络流量中提取若干个内容串之前，还包括：

收集网络流量样本，对所述网络流量样本进行分析，得到规则定义，并将所述规则定义解析为提取位置集、特征串集及特征关系。

具体的，所述提取位置集中还包括所述提取特征的偏移。

具体的，根据预设的提取位置集在所述数据包中提取若干个内容串，包括：

根据所述提取位置集中任一提取特征的关键字或位置得到对应的提取起始位置，结合对应的提取长度，在所述数据包中进行内容串的提取，遍历所述提取位置集中的所有提取位置，得到若干个内容串。

具体的，将所述内容串在预设的特征串集中进行匹配，得到每个所述内容串的匹配结果，包括：

查询每个所述内容串在所述预设的特征串集中是否存在，若存在，则匹配成功；若不存在，则匹配失败。

更加具体的，所述查询每个所述内容串在所述预设的特征串集中是否存在，包括：

当所述预设的特征串集存储在内存数据库中时，使用数据库查询接口查询每个所述内容串在所述预设的特征串集中是否存在。

具体的，判断若干个所述匹配结果是否满足预设的特征关系，包括：

将若干个所述匹配结果带入预设的特征关系表达式中，计算所述特征关系表达式的值，根据所述特征关系表达式的值判断若干个所述匹配结果是否满足预设的特征关系。

本发明提供的网络流量检测方法，还包括：记录命中的数据包和所述命中的数据包对应的特征关系。

本发明还提供了一种网络流量检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述网络流量精确检测的方法的步骤。

本发明还提供了一种存储介质，所述存储介质上存储有网络流量检测程序，所述网络流量检测程序被处理器执行时实现上述的网络流量检测方法的步骤。

本发明有益效果如下：

本发明提出的网络流量精确检测方法、设备及存储介质，以DPI(Deep PacketInspection，深度报文检测)技术思想为基础，与传统模式匹配不同，在特征定义与匹配时，采用先提取后查询比对的方法，有效解决目前使用正则表达式定义复杂和特征匹配性能不可控的问题，能够很好地适用于大批量特征精确匹配的情况。

附图说明

图1是本发明方法实施例的网络流量精确检测方法的流程图；

图2是实例2中网络流量精确检测方法的流程示意图；

图3是本发明网络流量检测设备的结构示意图；

图4是实例4中网络流量检测设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明公开的示例性实施例。虽然附图中显示了本发明公开的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明公开的范围完整的传达给本领域的技术人员。

为了解决目前使用正则表达式定义复杂和特征匹配性能不可控的问题，本发明提供了一种网络流量精确检测方法、设备及存储介质，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

根据本发明的方法实施例，提供了一种网络流量精确检测方法，图1是本发明方法实施例的网络流量精确检测方法的流程图，如图1所示，根据本发明方法实施例的网络流量精确检测方法包括如下处理：

步骤101：获取网络中的数据包，根据预设的提取位置集在所述数据包中提取若干个内容串，其中所述提取位置集中包括若干个提取特征的关键字或位置、及提取长度。

具体的，步骤101中根据预设的提取位置集在所述数据包中提取若干个内容串，包括：

根据所述提取位置集中任一提取特征的关键字或位置得到对应的提取起始位置，结合对应的提取长度，在所述数据包中进行内容串的提取，遍历所述提取位置集中的所有提取位置，得到若干个内容串。

步骤102：将所述内容串在预设的特征串集中进行匹配，得到每个所述内容串的匹配结果。

具体的，步骤102中，将所述内容串在预设的特征串集中进行匹配，得到每个所述内容串的匹配结果，包括：

查询每个所述内容串在所述预设的特征串集中是否存在，若存在，则匹配成功；若不存在，则匹配失败。

更加具体的，所述查询每个所述内容串在所述预设的特征串集中是否存在，包括：

当所述预设的特征串集存储在内存数据库中时，使用数据库查询接口查询每个所述内容串在所述预设的特征串集中是否存在。

将所述预设的特征串集存储在内存中，包括自定义集合数据结构或内存数据库；当所述预设的特征串集存储在内存数据库(如REDIS)时，使用数据库查询接口查询每个所述内容串在所述预设的特征串集中是否存在。具体的，在内存中使用位数组记录匹配结果，数组中的值采用0或1表示每个特征的匹配结果，0表示不匹配，1表示匹配成功。

步骤103：判断若干个所述匹配结果是否满足预设的特征关系，当所述匹配结果满足所述预设的特征关系时，则所述数据包命中所述预设的特征关系对应的规则。

具体的，步骤103中判断若干个所述匹配结果是否满足预设的特征关系，包括：

将若干个所述匹配结果带入预设的特征关系表达式中，计算所述特征关系表达式的值，根据所述特征关系表达式的值判断若干个所述匹配结果是否满足预设的特征关系。

本发明方法实施例的另一实施例，在根据预设的提取位置集在待检测网络流量中提取若干个内容串之前，还包括：

收集网络流量样本，对所述网络流量样本进行分析，得到规则定义，并将所述规则定义解析为提取位置集、特征串集及特征关系。

具体的，所述提取位置集中还包括所述提取特征的偏移。

为了更加详细的说明本发明的方法实施例，给出实例1和实例2。

实例1

为解决正则表达式定义与匹配所带来的问题，本发明提出了一种网络流量精确检测的方法，包括：

以关键字或起始位置、偏移、长度、特征串为条件定义单个特征，其中特征串可以为字符串或二进制串；

以多个特征之间的逻辑关系定义一个规则，如与或关系；

将所有特征串在内存或数据库中以集合方式存储，优选的，使用内存数据库(如REDIS)存储特征串的散列值集合；

获取网络中的待检测数据包；

根据位置及长度提取待检测数据包中的内容，优选的，多个特征均以关键字作为起始位置标识时，使用多模式匹配算法，如AC(Aho—Corasiek)或WM(Wu-Manber)算法等；

查询提取内容是否在特征串集合中；

根据命中结果及规则定义的多特征关系，判断数据包命中的规则。

实例2

图2是实例2中网络流量精确检测方法的流程示意图，具体说明如下：

步骤201，规则自定义；

首先，预先安装并运行产生待分析网络流量的应用软件或可执行程序，收集网络流量样本；然后，对网络流量样本进行载荷内容的人工分析，明文载荷特征使用字符串表示，密文载荷可以使用二进制串表示，记录特征串及位置(单位根据需要可以为字节或位)；有多个特征时明确特征之间的与或关系；最后将提取的特征及特征关系，以数据库字段或文件方式描述并存储。

该实施例以文本格式文件为例，特征定义格式示例为：{fid,关键字或位置标识,偏移,长度,串值}，单位为字节；规则定义格式示例为{rid,fid1&/|fid2&/|……&/|fidn}。

如某恶意软件通信数据包的一个特征为载荷部分起始为ghost，则特征定义为{0001,0,0,5,“ghost”}或{0001,0,0,5,\x63\x62\x6F\x73\x74}；

同时该恶意软件通信数据包的另一个特征为载荷部分起始偏移13个字节后值为78 9C，则该特征定义为{0002,0,13,2,\x78\x9C}或{0002,13.0,2,\x78\x9C}；

则该恶意软件通信数据包的检测规则为{0001,0001&0002}。

步骤202，获取网络中的数据包；

主动获取网络中的数据包，尤其是TCP、HTTP、FTP、TFTP等数据包，以实时、精确检测网络流量中是否存在符合规则需重点关注的流量；获取方式可以是串行网关设备，也可以是网络出口处并行的镜像设备，也可以是多处主机设备或交换或路由设备等。本实施例以串行方式为例。

步骤203，根据位置定义提取数据包内容；

根据特征定义中的位置定义(包括起始位置、偏移、长度)，找到指定位置，提取指定长度的数据包内容；当指定位置以关键字标识时，采用模式匹配算法进行快速查找，优选的，在多特征时，使用多模匹配算法确定提取位置，如AC(Aho—Corasiek)或WM(Wu-Manber)算法等；记录找到提取标识并提取成功的特征id，然后进入步骤104。

步骤204，在特征串集合中查找提取内容，判断提取内容与特征串是否匹配；

将特征定义中的特征串值以集合方式存储在内存或数据库中，判断提取内容是否在集合中存在，若存在，则匹配成功；本实施例中使用REDIS作为存储和查询工具，以REDIS集合方式存储大批量的特征串值，使用REDIS查询接口可以以O(1)的时间复杂度完成一次匹配；结合REDIS灵活的数据结构和高效的访问速度，可有效提高处理效率；记录所有匹配结果。

步骤205，判断匹配结果是否满足特征关系，满足则判断数据包命中规则；

根据规则定义关系计算匹配结果，以判断是否满足特征关系；本实施例中采用0或1表示每个特征匹配结果，0表示未找到提取位置或提取后结合中查找结果为不存在，即不匹配，1表示特征匹配，然后根据规则定义的特征关系形成特征关系计算表达式，计算表达式的值，结果为1则表示规则命中，结果为0则表示未命中；如有5个特征a、b、c、d、e，当前待检测数据包对应的匹配结果分别为1、0、0、1、1，某规则定义的特征关系为(a&b&c)|(a&d&e)，带入匹配值为1&0&0|1&1&1，计算结果为1，则数据包命中该规则。

本发明方法实施例的网络流量精确检测方法在文本文件中直接配置特征与规则，接收到网络流量后，根据特征中的位置定义提取包负载中的内容串，通过查找内容串是否在特征串集中判断数据包符合的特征，然后根据规则定义的多个特征之间的关系计算匹配结果，即可完成规则对数据包的精确检测，检测效率与特征数量正相关，有效解决了现有检测方法中正则表达式方式的性能不可控问题。

与上述方法实施例相对应，本发明还提供了一种网络流量检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述网络流量检测的方法的步骤。

图3是本发明网络流量检测设备的结构示意图，具体的，所述网络流量检测设备，包括内容提取模块301、特征匹配模块302及关系计算模块303：

所述内容提取模块301，用于根据预设的提取位置集在待检测网络流量中提取若干个内容串，其中所述提取位置集中包括若干个特征的关键字或位置、及提取长度。

所述特征匹配模块302，用于将所述内容串在预设的特征串集中进行匹配，得到每个所述内容串的匹配结果。

所述关系计算模块303，用于判断若干个所述匹配结果是否满足预设的特征关系，当所述匹配结果满足所述预设的特征关系时，则所述数据包命中所述预设的特征关系对应的规则。

为了更加详细的说明本发明的方法实施例，给出实例3和实例4。

实例3

本实例描述了一种网络流量精确检测装置，主要包括：

规则定义模块：通过Web或文件方式实现{关键字或位置,偏移,长度,串值}格式的特征定义及多特征与/或关系的规则定义；

规则解析模块：将规则定义解析为提取位置集、特征串集、特征关系集等三个数据集合供检测过程使用；

内容提取模块：根据提取位置集在待检测数据包中进行内容提取；

特征匹配模块：查询提取的内容在特征串集中是否存在，存在则匹配成功；

关系计算模块：根据匹配结果记录，判断匹配结果是否满足特征关系集中的关系定义，满足则数据包命中对应的规则。

实例4：

图4是实例4中网络流量检测设备的结构示意图，具体说明如下：

规则定义模块401，通过Web或文件方式实现{关键字或位置,偏移,长度,串值}格式的特征定义及多特征与/或关系的规则定义。

规则解析模块402，将规则定义解析为数据集合供检测过程使用；解析结果主要包括提取位置集、特征串集、特征关系集三部分，分别供内容提取模块404、特征匹配模块405、关系计算模块406使用；解析结果集采用REDIS的集合数据结构在内存中存储。

流量获取模块403，主动获取网络中的实时数据包，本实施例以该模块位于串行网关设备中为例，转发通过网关处的数据包给内容提取模块204；但不仅限于此，也可以位于网络出口处并行的镜像设备中，也可以位于多处主机设备或交换或路由设备等。

内容提取模块404，根据提取位置集在待检测数据包中进行内容提取；当提取位置集中有大量以关键字定义的起始位置时，对所有关键字进行预处理后，对待检测数据包进行多模匹配以提高确定具体提取位置的计算效率；对数据包内容按照起始位置值、长度，提取具体内容；提取成功则进入特征匹配模块205，全部提取失败则转回流量给网关设备。

特征匹配模块405，查询提取的内容在特征串集中是否存在，存在则匹配成功；本实施例中，直接使用REDIS接口SISMEMBER确定提取内容是否是特征串集中的成员；在内存中使用位数组记录匹配结果，数组中的值采用0或1表示每个特征匹配结果，0表示不匹配，1表示匹配成功。

关系计算模块406，根据匹配结果记录，判断匹配结果是否满足特征关系集中的关系定义，满足则数据包命中对应的规则；本实施例中，根据规则集中定义的特征关系将结果数组中的值形成特征关系计算表达式，计算表达式的值，结果为1则表示规则命中，结果为0则表示未命中。

结果输出模块407，记录命中的规则信息和数据包信息，同时根据具体的需求对命中的数据包进行进一步的处理，如转发、阻断或记录统计；本实施例中以REDIS为结果记录媒介，同时与MySQL结合进行数据同步和持久化，将规则信息、数据包信息、命中时间信息等进行记录，供后续业务使用、查看或查询。

本实施例提供了一种网络流量检测设备，通过该设备，可以便捷的自定义检测特征与规则，同时结合REDIS数据库的灵活数据结构和快速访问速度，高效完成数据包内容精确检测中的存储、匹配和记录，提高了本申请中网络流量精确检测方案的实时性、适用性和方便性。

本发明还提供了一种存储介质，所述存储介质上存储有网络流量检测程序，所述网络流量检测程序被处理器执行时实现上述的网络流量精确检测方法的步骤。具体的，所述存储介质可以为计算机可读介质。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种网络流量精确检测方法，其特征在于，包括：

获取网络中的数据包，根据预设的提取位置集在所述数据包中提取若干个内容串，其中所述提取位置集中包括若干个提取特征的关键字或位置、及提取长度；

将所述内容串在预设的特征串集中进行匹配，得到每个所述内容串的匹配结果；

判断若干个所述匹配结果是否满足预设的特征关系，当所述匹配结果满足所述预设的特征关系时，则所述数据包命中所述预设的特征关系对应的规则。

2.如权利要求1所述的网络流量精确检测方法，其特征在于，在根据预设的提取位置集在待检测网络流量中提取若干个内容串之前，还包括：

收集网络流量样本，对所述网络流量样本进行分析，得到规则定义，并将所述规则定义解析为提取位置集、特征串集及特征关系。

3.如权利要求1或2所述的网络流量精确检测方法，其特征在于，所述提取位置集中还包括所述提取特征的偏移。

4.如权利要求1所述的网络流量精确检测方法，其特征在于，根据预设的提取位置集在所述数据包中提取若干个内容串，包括：

根据所述提取位置集中任一提取特征的关键字或位置得到对应的提取起始位置，结合对应的提取长度，在所述数据包中进行内容串的提取，遍历所述提取位置集中的所有提取位置，得到若干个内容串。

5.如权利要求1所述的网络流量精确检测方法，其特征在于，将所述内容串在预设的特征串集中进行匹配，得到每个所述内容串的匹配结果，包括：

查询每个所述内容串在所述预设的特征串集中是否存在，若存在，则匹配成功；若不存在，则匹配失败。

6.如权利要求5所述的网络流量精确检测方法，其特征在于，所述查询每个所述内容串在所述预设的特征串集中是否存在，包括：

当所述预设的特征串集存储在内存数据库中时，使用数据库查询接口查询每个所述内容串在所述预设的特征串集中是否存在。

7.如权利要求1所述的网络流量精确检测方法，其特征在于，判断若干个所述匹配结果是否满足预设的特征关系，包括：

将若干个所述匹配结果带入预设的特征关系表达式中，计算所述特征关系表达式的值，根据所述特征关系表达式的值判断若干个所述匹配结果是否满足预设的特征关系。

8.如权利要求1所述的网络流量精确检测方法，其特征在于，还包括：

记录命中的数据包和所述命中的数据包对应的特征关系。

9.一种网络流量检测设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有网络流量检测程序，所述网络流量检测程序被处理器执行时实现如权利要求1至8中任一项所述的网络流量精确检测方法的步骤。