CN113094399B

CN113094399B - 网络流量多序列匹配方法、系统、设备及可读存储介质

Info

Publication number: CN113094399B
Application number: CN202110437311.4A
Authority: CN
Inventors: 马小博; 瞿建; 潘鹏宇; 王鑫; 李森; 卞华峰
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2021-04-22
Filing date: 2021-04-22
Publication date: 2022-12-30
Anticipated expiration: 2041-04-22
Also published as: CN113094399A

Abstract

本发明公开了一种网络流量多序列匹配方法、系统、设备及可读存储介质，将所有待匹配序列进行压缩，减少计算序列的总长度，然后提取所有待匹配序列中的向量，对提取的向量进行去重，同时建立双向连接指针，统计去重后的所有向量的各个维度的出现次数，按照出现频率建立一棵基于信息增益的多叉决策树，将被匹配序列的每个向量依次送入多叉决策树，得出向量匹配结果，解耦了向量匹配与序列匹配，分别设计、优化了向量匹配方法与多序列匹配方法，以更快速的对多条序列特征进行匹配，加速算法的计算过程，减小传统算法的时空复杂度。在进行大规模网络流量多序列匹配的情况下，能够在保证匹配效果的情况下大量减少计算量，节省模型特征生成的时间成本。

Description

网络流量多序列匹配方法、系统、设备及可读存储介质

技术领域

本发明属于网络安全与特征匹配领域，尤其涉及到一种网络流量多序列匹配方法、系统、设备及可读存储介质。

背景技术

近些年来，互联网的规模不断扩张，但是网络空间中仍然存在着大量的潜在威胁，面对这些威胁，政府、公司均采用了多种多样的方式进行网络监管。被动流量分析是网络监管中的一个重要的有效组成部分，可以在一定程度上对用户的上网行为进行分析识别，从而进一步对威胁行为进行检测、阻拦、取证。流量分析的一般方式是在网关建立流量镜像，然后将镜像流量送入检测模型，由检测模型输出结果。检测模型会使用不同种类的特征作为输入信息，包括统计特征、时序特征等等，随后使用机器学习、深度学习等手段对特征进行处理，最终判断流量是否存在潜在威胁。数据包序列特征是另一种一种新兴的特征，可以用来进行流量模式匹配，生成模型所必要的输入信息。但这种特征缺乏在实际应用场景中的应用，其主要原因是需要大量的计算量，其计算量通常是统计特征的数倍，由于计算量的限制仍无法大规模部署，如何快速的对多条序列特征进行匹配是一个具有极高应用价值的问题，是目前亟需解决的问题。

发明内容

本发明的目的在于提供一种网络流量多序列匹配方法、系统、设备及可读存储介质，以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种网络流量多序列匹配方法，包括以下步骤：

S1，将所有待匹配序列进行压缩；

S2，从压缩后的待匹配序列中的提取所有待匹配序列中的向量，对提取的向量进行去重，同时建立双向连接指针；

S3，统计去重后的所有向量的各个维度的出现次数，按照出现频率建立一棵基于信息增益的多叉决策树；

S4，将被匹配序列的每个向量依次送入多叉决策树，得出向量匹配结果；

S5，利用双向连接指针还原所有去重后待匹配序列相对于每一个向量的匹配结果，然后对每个去重后待匹配序列分别使用贪心算法输出单个向量串的匹配结果，对匹配后的单个向量串进行解压缩，还原所有原始待匹配序列的匹配结果，从而实现网络流量的多序列快速匹配。

进一步的，通过接收所有的输入数据获取待匹配序列以及一个被匹配序列。

进一步的，进一步的，待匹配序列和被匹配序列的元素均为维度相同的多维向量。

进一步的，多叉决策树用于单个向量的快速匹配，多叉决策树的每一步过程为选择优先匹配的向量维度。

进一步的，多叉决策树的叶子节点包含去重后序列中所有出现的向量。

一种网络流量多序列匹配系统，包括数据压缩模块，向量去重模块，匹配模块，

数据压缩模块用于接收所有的输入数据，并将接收的输入数据中的待匹配序列进行压缩，减少计算序列的总长度；

向量去重模块用于从数据压缩模块中获取从压缩后的待匹配序列中的提取所有待匹配序列中的向量，对提取的向量进行去重，同时建立双向连接指针；

匹配模块用于根据去重后的所有向量的各个维度的出现次数，按照出现频率建立一棵基于信息增益的多叉决策树，同时将输入数据中被匹配序列的每个向量依次送入多叉决策树，得出向量匹配结果，利用双向连接指针还原所有去重后待匹配序列相对于每一个向量的匹配结果，然后对每个去重后待匹配序列分别使用贪心算法输出单个向量串的匹配结果，对匹配后的单个向量串进行解压缩，还原所有原始待匹配序列的匹配结果并输出。

一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述网络流量多序列匹配方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述网络流量多序列匹配方法的步骤。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种网络流量多序列匹配方法，通过将所有待匹配序列进行压缩，以减少计算序列的总长度，然后提取所有待匹配序列中的向量，对提取的向量进行去重，同时建立双向连接指针，统计去重后的所有向量的各个维度的出现次数，按照出现频率建立一棵基于信息增益的多叉决策树，将被匹配序列的每个向量依次送入多叉决策树，得出向量匹配结果，解耦了向量匹配与序列匹配，分别设计、优化了向量匹配方法与多序列匹配方法，以更快速的对多条序列特征进行匹配，加速算法的计算过程，减小传统算法的时空复杂度。在进行大规模网络流量多序列匹配的情况下，能够在保证匹配效果的情况下大量减少计算量，节省模型特征生成的时间成本。本发明充分结合了多序列匹配的特性，减少了冗余计算，有着很强的泛用性与启发性，同样适合于非网络领域的多序列匹配。

本发明一种网络流量多序列匹配系统，能够在保证匹配效果的情况下大量减少计算量，节省模型特征生成的时间成本。

附图说明

图1为本发明实施例中用于向量快速匹配的多叉决策树示意图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

一种网络流量多序列匹配方法，包括以下步骤：

S1，通过接收所有的输入数据，获取待匹配序列以及一个被匹配序列；待匹配序列和被匹配序列的元素均为维度相同的多维向量；可同时获取多个待匹配序列，待匹配序列的向量串小于被匹配序列的向量串。

S2，将所有待匹配序列进行压缩，减少计算序列的总长度；

S3，从压缩后的待匹配序列中的提取所有待匹配序列中的向量，进行去重，建立双向连接指针以方便之后还原原始序列；

S4，统计去重后的所有向量的各个维度的出现次数，按照出现频率建立一棵基于信息增益的多叉决策树；

以一般用户的流量为基准，建立的多叉决策树用于单个向量的快速匹配，目标是让单个向量匹配的平均时间达到最小，多叉决策树的每一步过程为选择优先匹配的向量维度，多叉决策树的叶子节点包含去重后序列中所有出现的向量。

S5，将被匹配序列的每个向量依次送入多叉决策树，得出向量匹配结果；

S6，利用双向连接指针还原所有去重后待匹配序列相对于每一个向量的匹配结果，然后对每个去重后待匹配序列分别使用贪心算法输出单个向量串的匹配结果，对匹配后的单个向量串进行解压缩，还原所有原始待匹配序列的匹配结果，从而实现网络流量的多序列快速匹配。

实施例：

针对输入数据中待匹配序列A₁，A₂,…，A_n和被匹配序列P进行匹配：

步骤1：将所有待匹配序列A₁,A₂,…,A_n进行压缩，从而减少序列计算量，记压缩结果为向量串B₁,B₂,…,B_m。

步骤2：提取所有向量串B₁,B₂,…,B_m中的向量，对向量进行去重，并建立双向指针连接以方便之后还原原始向量串；

步骤3：统计对去重后的所有向量的各个维度的出现次数，按照频率建立一棵基于信息增益的多叉决策树；多叉决策树的决策过程为选择优先匹配的向量维度，多叉决策树的叶子节点包含了向量串B₁,B₂,…,B_m中所有出现的向量；多叉决策树可以用于向量的快速匹配，其建立过程保证了尽可能快的向量匹配速度。

步骤4：将被匹配序列P的每个向量依次送入多叉决策树，得出向量匹配结果；

步骤5：利用步骤2中的双向指针还原所有向量串B₁,B₂,…,B_m相对于被匹配序列P中向量的匹配结果；对每个向量串B₁,B₂，…，B_m分别使用贪心算法，输出单个向量串的匹配结果；

步骤6：对得到的匹配结果进行解压缩后还原所有向量串A₁,A₂,…，A_n的匹配结果。

本发明一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器采用中央处理单元(CPU)，或者采用其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于网络流量多序列匹配方法的操作。

实施例：一种网络流量多序列匹配系统，能够用于实现上述实施例中的网络流量多序列匹配方法，具体包括数据压缩模块，向量去重模块和匹配模块；

本发明再一个实施例中，本发明还提供了一种存储介质，具体采用计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。计算机可读存储介质包括终端设备中的内置存储介质，提供存储空间，存储了终端的操作系统，也可包括终端设备所支持的扩展存储介质。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM 存储器，也可以是非不稳定的存储器(Non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关网络流量多序列匹配方法的相应步骤。

实施例：针对具体的序列进行匹配；

步骤1:获取所有的输入数据，待匹配序列A₁，A₂，…，A_n以及被匹配序列 P；

设输入的待匹配序列为A₁，A₂，被匹配序列P的具体信息如下：

A₁＝[<2,5>，<1，4>]

A₂＝[<2，5>，<1，4>，<0，6>]

P＝[<2，5>，<1，4>，<2，5>，<0，6>，<2，5>，<1，2>，<1，4>，<1，4>， <0，1>]

其中，尖括号中代表了一个向量，可以看到，此例中均为二维向量；现在需要在被匹配序列P中为A₁，A₂进行匹配。

步骤2:将所有待匹配序列A₁，A₂进行压缩，记压缩结果为向量串 B₁，B₂，…,B_m；

B₁＝[<2，5>,<1,4>]

B₂＝[B₁,<0,6>]

A₁＝B₁

A₂＝B₂

经过压缩，待匹配序列A₁,A₂变为了向量串B₁,B₂，向量串B₁,B₂比A₁,A₂总长度减少了1；

步骤3:提取向量串B₁,B₂中的向量，进行去重，记结果为V₁,V₂,V₃，并建立双向指针连接；

V₁＝<2,5>,V₂＝<1,4>,V₃＝<0，6>

步骤4:统计对去重后的所有向量的各个维度的出现次数，按照频率建立一棵基于信息增益的多叉决策树；多叉决策树如图1所示，多叉决策树首先判断向量的第一位，然后再判断向量的第二位，最终完成一个向量的匹配过程；如果匹配的叶子节点为空，则不存在匹配。

步骤5:将被匹配序列P的每个向量依次送入多叉决策树，得出向量匹配结果；

P＝[<2，5>，<1，4>，<2，5>，<0,6>,<2，5>，<1，2>，<1，4>，<1，4>，<0，1>]

V₁＝<2，5>，V₂＝<1，4>，V₃＝<0，6>

匹配结果为：[V₁，V₂，V₁，V₃，V₁，空，V₂，V₂,空]

步骤6:还原向量串B₁，B₂相对于每一个被匹配序列P中向量的匹配结果，利用贪心算法，输出单个向量串的匹配结果，记向量串B₁,B₂匹配结果分别为 R₁,R₂。R₁中有三个结果，分别表示了P中第0、1项，第2、6项、第4、7 项匹配成功了B₁；同理，R₂中有一个结果，表示了P中第0、1、3项匹配成功了B₂。

R₁＝{[0,1],[2,6]，[4，7]}

R₂＝{[0，1，3]}

步骤7:对匹配的结果解压缩，还原向量串A₁，A₂的匹配结果。由于在此案例中，A₁＝B₁，A₂＝B₂，因此A₁，A₂的匹配结果也就是R₁，R₂，至此，得到了问题的最终输出。

R₁＝{[0，1]，[2，6],[4,7]}

R₂＝{[0,1,3]}。

上述方法能够以更快速的对多条序列特征进行匹配，加速算法的计算过程，减小传统算法的时空复杂度，通过对输入的多序列进行压缩，接着解耦了向量匹配与序列匹配，充分结合了多序列匹配的特性，减少了冗余计算，有着很强的泛用性与启发性，同样适合于非网络领域的多序列匹配，能够在保证匹配效果的情况下大量减少计算量，节省模型特征生成的时间成本。

Claims

1.一种网络流量多序列匹配方法，其特征在于，包括以下步骤：

S1，通过接收所有的输入数据，获取待匹配序列以及一个被匹配序列；待匹配序列和被匹配序列的元素均为维度相同的多维向量；待匹配序列的向量串小于被匹配序列的向量串，将所有待匹配序列进行压缩；待匹配序列和被匹配序列均为网络流量序列；

2.根据权利要求1所述的一种网络流量多序列匹配方法，其特征在于，获取多个待匹配序列。

3.根据权利要求1所述的一种网络流量多序列匹配方法，其特征在于，多叉决策树用于单个向量的快速匹配，多叉决策树的每一步过程为选择优先匹配的向量维度。

4.根据权利要求3所述的一种网络流量多序列匹配方法，其特征在于，多叉决策树的叶子节点包含去重后序列中所有出现的向量。

5.一种网络流量多序列匹配系统，其特征在于，包括数据压缩模块，向量去重模块和匹配模块；

数据压缩模块用于接收所有的输入数据，获取待匹配序列以及一个被匹配序列；待匹配序列和被匹配序列的元素均为维度相同的多维向量；待匹配序列的向量串小于被匹配序列的向量串，并将接收的输入数据中的待匹配序列进行压缩，减少计算序列的总长度；待匹配序列和被匹配序列均为网络流量序列；

6.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4任一项所述方法的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。