CN114884704B - 一种基于对合和投票的网络流量异常行为检测方法和系统 - Google Patents

Abstract

本发明涉及一种基于对合和投票的网络流量异常行为检测方法和系统。该方法包括：选择网络流量数据的会话开始部分和会话结束部分的数据包，将其分别转化为头部特征图和尾部特征图；采用基于对合结构的分类算法对头部特征图和尾部特征图中的特征分别进行分类，得到网络流量是异常行为的两组概率；通过投票算法将两组概率进行整合，得到网络流量异常行为的检测结果。本发明使用对合结构代替卷积结构，提出了一个分类算法I‑Res，得到更具有代表性的特征；分别选取会话开始部分和结束部分的数据包并分别使用I‑Res进行判别，使用投票算法将两部分结果结合，从而得到鲁棒性更强的结果。

Description

一种基于对合和投票的网络流量异常行为检测方法和系统

技术领域

本发明提出了一种有效的网络流量异常行为检测方法和系统。该方法结合了对合结构和投票算法，属于机器学习与信息安全结合的交叉技术领域。

背景技术

随着互联网的快速发展，针对网络的攻击变得非常普遍，且攻击手段不断进化。网络空间中存在的大量攻击行为造成了巨大的经济损失，影响社会稳定和国家安全。入侵检测系统(IDS)是一种主动防御技术，能有效识别来自网络的攻击和威胁。

IDS由Denning于1987年提出，至今仍受到学术界和工业界的广泛关注。IDS可以分为网络入侵检测系统(NIDS)和主机入侵检测系统(HIDS)。相比于HIDS，NIDS可以分析整个网络中的动态流量，可以灵活地部署在网络中的各个节点，被广泛应用于各个领域。NIDS可以分为基于签名的NIDS和基于异常的NIDS。基于签名的NIDS学习攻击行为的特征，只能检测到已知的攻击；而基于异常的NIDS学习正常行为的特征，将偏离正常行为的行为识别为攻击，能够检测未知攻击，应用场景更为广泛。基于异常的NIDS使用的方法有基于统计的方法、基于机器学习的方法和基于深度学习的方法。相比于其他两种方法，深度学习方法具有能自动提取特征，处理高维数据，潜力巨大。目前已有大量深度学习方法被用于入侵检测，如卷积神经网络(CNN)、长短期记忆网络(LSTM)和自编码器(AE)。

卷积神经网络(CNN)是深度学习领域中的经典模型，在图像处理领域表现出色。CNN由卷积层、池化层和全连接层组成。卷积层是CNN最重要的组成部分，可实现局部感知，得到更深层次、更具代表性的特征。池化层对卷积得到的特征图进行降维，简化数值运算，得到更简洁、更具代表性的特征。全连接层负责计算样本属于每个类别的概率。由于其出色的性能，CNN已被广泛应用于入侵检测领域。当前的主流方法是将网络流量按照流或会话进行划分，然后提取部分数据包的部分字节，将其转化为灰度图，使用CNN进行分类，从而实现入侵检测。然而，按照以上流程的处理方式仍存在一些问题。

其一，会话或流中数据包的个数和数据包的大小不确定，而深度学习方法一般要求确定的输入大小。为此，现有的方法通常会选择会话中的前几个数据包和数据包的前几个字节作为输入。这部分数据包含了通信双方建立连接时的信息，对于入侵检测很重要。然而，这种处理方式会导致会话和流的其他部分包含的信息的丢失，影响检测性能。

其二，现实世界中的图像是多通道的，因此CNN可以使用多个卷积核从不同的通道中学习不同的信息。然而，由网络流量生成的图像并不具有这样的多通道特性，CNN无法发挥其作用。卷积的空间不确定性使得它不能适应不同位置的不同模式，而这种适应性是网络流量分类的关键。具体来说，在将网络流量转换为图像进行分类时，属于一个流的多个数据包的特征通常会组成一个图像，因此图中像素之间的依赖关系反映了一个流中数据包之间的依赖关系。此外，卷积的局部性限制了它的感知域的大小，使其无法捕获像素之间的远距离依赖。

发明内容

针对现有技术中存在的问题，本发明提出了一个基于对合和投票的网络流量异常行为检测方法和系统，并将其命名为IVIDM。具体来说，本发明使用对合结构代替卷积结构，提出了一个分类算法I-Res，得到更具有代表性的特征；分别选取会话开始部分和结束部分的数据包并分别使用I-Res进行判别，使用投票算法将两部分结果结合，从而得到鲁棒性更强的结果。

对合结构是Duo Li等人于2021年提出的一种运算结构，它具有空间特异性和通道无关性，在很多任务上性能优异。对合结构解决了卷积运算的局限性，更适合于处理由网络流量转化的图像。对合结构能够捕获数据包之间的长距离依赖关系，并从不同的位置学习丰富的特征。因此，本发明基于对合结构提出了一个类似残差网络的分类算法I-Res。

会话开始部分的数据包中包含了通信双方建立连接和初始数据传输的信息，而会话结束部分的数据包中包含了连接断开的信息，也同样重要。本发明分别选取会话开始和会话结束部分的数据包作为模型输入。

综上，本发明采用具体技术方案是：

一种基于对合和投票的网络流量异常行为检测方法，包括以下步骤：

选择网络流量数据的会话开始部分和会话结束部分的数据包，将其分别转化为头部特征图和尾部特征图；

采用基于对合结构的分类算法对头部特征图和尾部特征图中的特征分别进行分类，得到网络流量是异常行为的两组概率；

通过投票算法将两组概率进行整合，得到网络流量异常行为的检测结果。

进一步地，所述选择网络流量数据的会话开始部分和会话结束部分的数据包，将其分别转化为头部特征图和尾部特征图，包括分割原始流量、数据提取和灰度图转化。

进一步地，所述分割原始流量包括：首先将pcap文件中的IPV4流量过滤出来；然后根据源IP、源端口、目的IP、目的端口和协议类型对流量进行分组，每组流量代表一个会话；最后将每组流量中的数据包按照时间戳进行排序。

进一步地，所述数据提取包括：

从每个会话中选择最开始的14个数据包和最后的14个数据包作为模型输入，将其称为头部数据包和尾部数据包；如果会话中包含的数据包少于28个，则将1个49维的全0矩阵作为一个数据包，并用其填充会话中不足的部分，之后再提取头部数据包和尾部数据包；

然后，分别提取头部数据包和尾部数据包中的每个数据包的前49个字节并组合起来作为头部特征和尾部特征；如果数据包的长度大于49个字节，则仅取前49个字节；如果小于49个字节，不足的部分则用0填充；经过数据提取后，得到头部特征和尾部特征，其维度均为14*49。

进一步地，所述灰度图转化包括：将头部特征和尾部特征分别转化为灰度图，称其为头部特征图和尾部特征图。

进一步地，所述分类算法为基于对合结构的使用残差结构的分类算法，其由4个部分组成，各部分分别由1个、2个、4个和1个残差结构组成；在每个残差结构中，对合核的维度为3*3，对合核之后是一个标准化层和RELU层；在第一部分之前以及第四部分之后分别有一个维度为7*7的对合核；数据通过所有对合操作后，再经过一个池化层和全连接层，得到最终的输出。

一种采用上述方法的基于对合和投票的网络流量异常行为检测系统，其包括：

1)数据准备单元：选择合适的数据集，将数据处理为适合入侵检测模型IVIDM输入的格式，作为训练数据集。

2)模型训练单元：使用处理过的训练数据集训练入侵检测模型IVIDM。

3)异常行为检测单元：使用训练好的入侵检测模型IVIDM来检测待检测数据集上的异常行为。

进一步地，所述入侵检测模型IVIDM由以下模块组成：

1)数据预处理模块：将原始数据进行分割，从中提取所需数据，并转化为后续模块适合的格式。具体地，该模块选择网络流量数据的会话开始部分和会话结束部分的数据包，将其分别转化为头部特征图和尾部特征图。

2)分类模块：对从会话开始的数据包中提取的特征和会话结束的数据包中提取的特征分别进行分类，得到网络流量是异常行为的两组概率；

3)聚合模块：通过投票算法将以上的两组概率进行整合，得到最终结果，即网络流量异常行为的检测结果。

与现有技术相比，本发明的积极效果为：

本发明在真实的网络流量数据集上进行了实验，使用整体准确率，精准率，召回率和F1值对模型的性能进行评价。综合性的实验结果表明本发明提出的模型在性能方面优于支持向量机、决策树等现有的基线识别方法，并且优于使用卷积的深度学习方法。

附图说明

图1是本发明中基于对合和投票的入侵检测模型IVIDM的整体结构图。

图2是本发明中分类模型I-Res的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的目的、特征和优点能够更加明显易懂，下面结合附图对本发明的技术核心作进一步详细的说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在本发明中，设计了一种有效的网络流量异常行为识别方法。该方法的总体思路是对网络流量数据先进行预处理，选择会话开始部分和结束部分的数据包，将其分别转化为图片，然后分别使用本文提出的分类算法计算样本属于各类的概率，最后使用投票算法将两部分的结果结合以得到最终结果，从而能够检测网络流量数据中的攻击行为。

本发明的整体结构图如图1所示，所属的具体步骤细节描述为：

1)数据预处理模块

本发明使用的验证数据集为CICIDS2017数据集。具体而言，CICIDS2017数据集由加拿大网络安全研究所提供，作者根据配置文件模拟用户行为和攻击场景，捕获这个过程产生的所有流量，包括良性流量和10种恶意流量。此外，此数据集的流量都是在真实背景下产生的。

为了去除冗余数据，提升检测效率，减少耗费时间。本发明对网络流量数据进行了数据预处理，包含分割原始流量、数据提取和灰度图转化。

a)分割原始流量。原始pcap文件中混杂着各类网络流量无法作为模型的输入。本发明首先将pcap文件中的IPV4流量过滤出来；然后根据源IP、源端口、目的IP、目的端口和协议类型对流量进行分组(例如图1中使用pcap文件分割器SplitCap进行分组)，每组流量代表一个会话；最后将每组流量中的数据包按照时间戳进行排序。

b)数据提取。一个会话中包含的数据包的个数以及数据包的大小不是固定值，而模型需要固定大小的输入。为满足此需求，本发明对会话和数据包进行截取。根据过往研究经验，本发明从每个会话中选择最开始的14个数据包和最后的14个数据包作为模型输入，并将其称为头部数据包和尾部数据包。如果会话中包含的数据包少于28个，本发明将1个49维的全0矩阵作为一个数据包，并用其填充会话中不足的部分，之后再提取头部数据包和尾部数据包。然后，本发明分别提取头部数据包和尾部数据包中的每个数据包的前49个字节并组合起来作为头部特征和尾部特征。如果数据包的长度大于49个字节，则仅取前49个字节；如果小于49个字节，不足的部分则用0填充。经过数据提取后，得到头部特征和尾部特征，其维度均为14*49。

c)灰度图转化。由于模型的输入格式是图片，本发明将头部特征和尾部特征分别转化为灰度图，称其为头部特征图和尾部特征图。

2)分类模块

如图1所示，分类模块由两个结构相同的I-Res结构组成，其输入分别为头部特征图和尾部特征图，输出为样本属于每个类的两组概率。

a)对合结构

对合结构由Duo Li等人在2021年提出，具有空间特异性和通道独立性。对合结构相比于卷积结构更适合于处理由网络流量转化的图像，能学习特征图中对应的数据包之间的长距离依赖，并从不同位置学习丰富的特征。

本发明结合入侵检测任务的特性，将对合结构进行了简化。

为对合结构的输入，其中H和W为特征图的长和宽；

为对合核，其中K为对合核的尺寸，G为对合核的数量；对合操作的计算过程如公式(1)所示，其中Y为经过对合操作后输出的特征图，i,j,k表示特征图中某个值的位置，u,v表示偏移量；Δ_K为卷积运算的领域偏移集合，其计算过程如公式(2)所示；图像中的每个像素对应一个对合核，其生成方式如公式(3)所示，其中

W₀和W₁为权重，r为缩小的比例。

I_i,j＝W₁σ(W₀X_i,j) 公式(3)

b)I-Res分类算法

残差网络通过引入残差结构解决了神经网络层数增加时带来的退化和过拟合问题，其结构可以加速神经网络的训练，模型的精度也大大提高。残差结构的计算过程如公式(4)所示，其中X为输入，Y为输出，F是映射函数，W_i为对合核，W_s为卷积核。

Y＝F(X,{W_i})+W_sX 公式(4)

本发明基于对合结构，提出了一个使用残差结构的分类算法I-Res，其结构如图2所示。I-Res由4个部分组成，各部分分别由1个、2个、4个和1个残差结构组成。在每个残差结构中，对合核的维度为3*3，对合核之后是一个标准化层和RELU层。在第一部分之前以及第四部分之后分别有一个维度为7*7的对合核。数据通过所有对合操作后，再经过一个池化层和全连接层，得到最终的输出。

3)聚合模块

聚合模块使用投票算法将I-Res对头部特征图和尾部特征图判断的概率进行聚合，通过给不同分类器设置权重将其结果聚合起来。公式(5)展示了样本属于第i类的概率H(x_i)的计算方法，其中T为分类器的个数，w_j为第j个分类器的权重，h(x_i,j)为第j个分类器输出的概率。

在本发明中，T的取值为2，w₁和w₂的取值分别为0.5。

4)结果对比

本发明在真实的网络流量数据集上进行了实验，使用精准率，召回率和F1值对模型的性能进行评价。为了验证所提方法的有效性，本发明对机器学习方法和具有类似结构的深度学习方法进行了对比实验。本发明还使用处理一个样本花费的时间作为评价指标，验证了模型的效率。

a)与机器学习方法的性能对比

本发明在CICIDS2017数据集上与机器学习方法的性能对比结果如表1所示。与IVIDM进行对比的机器学习算法有K近邻算法(KNN)、随机森林(RF)、ID3决策树(ID3)、AdaBoost、多层感知机(MLP)、朴素贝叶斯

和二次判别分析(QDA)。从表1可以看出，本发明提出的IVIDM的性能优于其他机器学习算法，证明了本文的有效性。

机器学习算法使用人工设计的特征。特征设计需要很强的专业知识，而且一般情况下无法体现数据的深层次特点，特征提取的过程中也会丢失重要信息。相比之下，本发明提出的IVIDM使用深度学习方法，自动提取更具代表性的特征，有助于性能提升。

表1.IVIDM与机器学习方法在CICIDS2017数据集上的性能对比

算法	精确率	召回率	F1
				KNN	0.96	0.96	0.96
RF	0.98	0.97	0.97
				ID3	0.98	0.98	0.98
AdaBoost	0.77	0.84	0.77
				MLP	0.77	0.83	0.76
Naive-Bayes	0.88	0.04	0.04
				QDA	0.97	0.88	0.92
<u>IVIDM</u>	<u>0.9962</u>	<u>0.9962</u>	<u>0.9962</u>

b)与深度学习方法的性能对比

本发明在CICIDS2017数据集上与深度学习方法的性能对比结果如表2所示。与IVIDM进行对比的深度学习算法有PBCNN、VGG、MobileNet和ResNet。PBCNN是一个基于报文字节的多层模型，其使用卷积核依次提取报文级和会话级特征，然后使用Text-CNN获取流量的表示后进行分类。VGG、MobileNet和ResNet是图像识别领域的经典模型，与本发明提出的IVIDM具有类似的结构。从表2中可以看出，本发明提出的IVIDM的性能优于其他深度学习方法，可以有效检测网络流量中的异常行为。其原因有二，一是IVIDM使用对合操作代替卷积操作，可以更精确地提取特征；二是IVIDM同时考虑了头部特征和尾部特征，算法学习到的信息更丰富。

表2.IVIDM与深度学习方法在CICIDS2017数据集上的性能对比

算法	精确率	召回率	F1
				PBCNN	0.982	0.983	0.983
VGG	0.918	0.928	0.919
				MobileNet	0.943	0.944	0.941
ResNet	0.957	0.953	0.953
				<u>IVIDM</u>	<u>0.9962</u>	<u>0.9962</u>	<u>0.9962</u>

c)效率

算法的效率在实际应用中至关重要。检测效率决定了检测系统能否及时发现网络流量中的异常并做出反应。本发明提出的IVIDM处理一个样本花费的时间如表3。从表中可以看出分类阶段花费的时间最多，而聚合花费的时间最少。此外，加上捕获数据包并将其划分为流所花费的时间，整个流程花费的时间不会超过20ms。由此可以看出，IVIDM具有实时检测的能力。

表3 IVIDM各部分处理一个样本花费的时间(ms)

阶段	耗时
		数据预处理	3.4675
分类	8.91
		聚合	0.0022
合计	12.3797

与机器学习和深度学习方法的性能对比结果表明本发明提出的IVIDM对于网络流量的检测具有更好的准确率。对IVIDM的效率的分析表明其响应速度快，满足实时检测的要求，具有被实际应用的潜力。

基于同一发明构思，本发明的另一实施例提供一种基于对合和投票的网络流量异常行为检测系统，其包括：

数据准备单元，用于选择合适的数据集，将数据处理为适合入侵检测模型输入的格式，作为训练数据集；

模型训练单元，用于使用处理过的训练数据集训练入侵检测模型；

异常行为检测单元，用于使用训练好的入侵检测模型来检测待检测数据集上的异常行为。

其中，所述入侵检测模型由以下模块组成：

数据预处理模块，用于选择网络流量数据的会话开始部分和会话结束部分的数据包，将其分别转化为头部特征图和尾部特征图；

分类模块，用于对从会话开始的数据包中提取的特征和会话结束的数据包中提取的特征分别进行分类，得到网络流量是异常行为的两组概率；

聚合模块，用于通过投票算法将以上的两组概率进行整合，得到最终结果，即网络流量异常行为的检测结果。

基于同一发明构思，本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

以上所述实施例仅表达了本发明的实施方式，其描述较为具体，但并不能因此理解为对本发明专利范围的限制。应当指出，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应当以所附权利要求为准。

Claims (8)

1.一种基于对合和投票的网络流量异常行为检测方法，其特征在于，包括以下步骤：

选择网络流量数据的会话开始部分和会话结束部分的数据包，将其分别转化为头部特征图和尾部特征图；

采用基于对合结构的分类算法对头部特征图和尾部特征图中的特征分别进行分类，得到网络流量是异常行为的两组概率；

通过投票算法将两组概率进行整合，得到网络流量异常行为的检测结果；

所述对合结构的输入为

其中H和W为特征图的长和宽；对合核为

其中K为对合核的尺寸，G为对合核的数量；对合操作的计算过程如公式(1)所示，其中Y为经过对合操作后输出的特征图，i,j,k表示特征图中某个值的位置，u,v表示偏移量；Δ_K为卷积运算的领域偏移集合，其计算过程如公式(2)所示；图像中的每个像素对应一个对合核，其生成方式如公式(3)所示：

I_i，j＝W₁σ(W₀X_i，j) 公式(3)

其中

W₀和W₁为权重，r为缩小的比例；

所述分类算法为基于对合结构的使用残差结构的分类算法，其由4个部分组成，各部分分别由1个、2个、4个和1个残差结构组成；在每个残差结构中，对合核的维度为3*3，对合核之后是一个标准化层和RELU层；在第一部分之前以及第四部分之后分别有一个维度为7*7的对合核；数据通过所有对合操作后，再经过一个池化层和全连接层，得到最终的输出。

2.根据权利要求1所述的方法，其特征在于，所述选择网络流量数据的会话开始部分和会话结束部分的数据包，将其分别转化为头部特征图和尾部特征图，包括分割原始流量、数据提取和灰度图转化。

3.根据权利要求2所述的方法，其特征在于，所述分割原始流量包括：首先将pcap文件中的IPV4流量过滤出来；然后根据源IP、源端口、目的IP、目的端口和协议类型对流量进行分组，每组流量代表一个会话；最后将每组流量中的数据包按照时间戳进行排序。

4.根据权利要求2所述的方法，其特征在于，所述数据提取包括：

从每个会话中选择最开始的14个数据包和最后的14个数据包作为模型输入，将其称为头部数据包和尾部数据包；如果会话中包含的数据包少于28个，则将1个49维的全0矩阵作为一个数据包，并用其填充会话中不足的部分，之后再提取头部数据包和尾部数据包；

然后，分别提取头部数据包和尾部数据包中的每个数据包的前49个字节并组合起来作为头部特征和尾部特征；如果数据包的长度大于49个字节，则仅取前49个字节；如果小于49个字节，不足的部分则用0填充；经过数据提取后，得到头部特征和尾部特征，其维度均为14*49。

5.根据权利要求2所述的方法，其特征在于，所述灰度图转化包括：将头部特征和尾部特征分别转化为灰度图，称其为头部特征图和尾部特征图。

6.根据权利要求1所述的方法，其特征在于，所述投票算法对头部特征图和尾部特征图判断的概率进行聚合，样本属于第i类的概率H(x_i)的计算公式如下：

其中，T为分类器的个数，w_j为第j个分类器的权重，h(x_i,j)为第j个分类器输出的概率。

7.一种采用权利要求1～6中任一权利要求所述方法的基于对合和投票的网络流量异常行为检测系统，其特征在于，包括：

数据准备单元，用于选择合适的数据集，将数据处理为适合入侵检测模型输入的格式，作为训练数据集；

模型训练单元，用于使用处理过的训练数据集训练入侵检测模型；

异常行为检测单元，用于使用训练好的入侵检测模型来检测待检测数据集上的异常行为。

8.根据权利要求7所述的系统，其特征在于，所述入侵检测模型由以下模块组成：

数据预处理模块，用于选择网络流量数据的会话开始部分和会话结束部分的数据包，将其分别转化为头部特征图和尾部特征图；

分类模块，用于对从会话开始的数据包中提取的特征和会话结束的数据包中提取的特征分别进行分类，得到网络流量是异常行为的两组概率；

聚合模块，用于通过投票算法将以上的两组概率进行整合，得到最终结果，即网络流量异常行为的检测结果。

Images