CN115348215B - 一种基于时空注意力机制的加密网络流量分类方法 - Google Patents

Abstract

本发明公开了一种基于时空注意力机制的加密网络流量分类方法，包括如下步骤：步骤1，解析报文，获取网络流量数据X，并进行归一化处理；步骤2，将归一化处理后的网络流量数据输入到空间特征提取组件SAtt，提取网络流量的空间特征Z_s；步骤3，将归一化处理后的网络流量数据输入到时间特征提取组件TAtt，提取网络流量的时间特征Z_t；步骤4，将空间特征Z_s和时间特征Z_t进行重构，得到网络流量特征Z。本发明利用空间特征提取组件SAtt和时间特征提取组件TAtt分别提取空间特征和时间特征，对网络流量分类效果明显提高，在不同类别的流量下均有不错的分类表现，且算法收敛速度较快。

Description

一种基于时空注意力机制的加密网络流量分类方法

技术领域

本发明涉及网络流量分类领域，特别涉及一种基于时空注意力机制的加密网络流量分类方法。

背景技术

5G等新兴技术推动网络流量向多元化、大尺度等特点转变，网络组成日趋复杂，网络规模的壮大推动着网络流量呈现度多元化的趋势，实时而准确的网络流量分类在网络管控领域极为重要。5G技术大幅提高通信速率，短时间内产生大容量数据，庞大的数据流使得流量管控难度加大，为了在有限的资源下提供更好的网络服务，必须增强网络流量分类能力，以增强网络可控性。因此，建立准确的流量分类模型具有重要的实际意义。

现有网络流量的分类方法分为三大类：传统流量分类方法、加密流量分类方法以及基于本领域深度学习模型进行分类。

传统流量分类方法包括基于端口的方法和基于有效载荷的方法，其中基于端口的流量分类方法通过解析端口号映射到不同分类，该方法原理简单；基于有效载荷流量分类方法通过分析数据包中包含的特殊字段来识别和判断数据包中的流量类型，但上述两种方法在面对加密流量时分类结果的置信度较低。

加密流量分类方法包括基于主机行为的方法和基于机器学习的方法，其中基于主机行为的分类方法以主机行为作为分类依据，但该方法在地址转换时仅仅依靠端口号来判定分类，分类性能较低；基于浅层机器学习的分类方法通过业务流的统计特征实现流量的高效识别和分类，然而根据不同策略对原始特征集生成特定的特征子集后依据某种约定对特征子集进行评估，不仅需要额外的计算开销，也需要根据分类应用的特点手动选取合适特征，导致手动提取特征工作量巨大。

基于深度学习的网络流量分类方法包括1D-CNN、CNN+LSTM、LSTM+ATT，FS-NET，基于1D-CNN的分类方法可快速实现流量分类，但是精度不高；CNN+LSTM是著名的时空间特征提取方法，广泛应用于网络流量分类，能够捕捉到网络流量的时间和空间特征，但是计算复杂度较高，且算法并未考虑注意力机制，算法收敛速度慢，分类效果难以进一步提升；LSTM+ATT是基于注意力机制的流量分类模型，该方法并未考虑流量的空间特征；FS-NET是多层GRU堆叠的端到端分类模型，在编码层和解码器层均采用两层双GRU网络，分类开销低，且能保证较高水平的分类精度，但并未关注多流量并发时的空间特征提取问题。综上，现有网络流量分类方法在一定程度上可以解决流量分类问题，但难以精确描述网络流量的时空特征，且算法收敛速度低，分类效果难以进一步提升。

发明内容

发明目的：针对以上问题，本发明目的是提供一种基于时空注意力机制的加密网络流量分类方法。

技术方案：本发明的一种基于时空注意力机制的加密网络流量分类方法，包括如下步骤：

步骤1，解析报文，获取网络流量数据X，并进行归一化处理；

步骤2，将归一化处理后的网络流量数据输入到空间特征提取组件SAtt，提取网络流量的空间特征Z_s；

步骤3，将归一化处理后的网络流量数据输入到时间特征提取组件TAtt，提取网络流量的时间特征Z_t；

步骤4，将空间特征Z_s和时间特征Z_t进行重构，得到网络流量特征Z。

进一步，所述空间特征提取组件SAtt由通道注意力模块CAM和空间注意力模块SAM拼接组成。

进一步，所述时间特征提取组件TAtt由多层双向GRU模块和时间注意力机制拼接组成。

进一步，所述步骤2包括：

步骤201，通过通道注意力模块CAM对输入特征F分别进行maxpooling和avgpooling，输入特征F维度为H×W×C，其中H代表输入特征图的高度，W代表输入特征图的宽度，C代表输入特征图的深度；将得到的两个1*1*C特征图输入到参数共享的多层感知机MLP中，再经过sigmoid激活，生成空间注意力模块SAM的输入特征M_c，则特征M_c的表达式为：

M_c(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

步骤202，将特征M_c输入到空间注意力模块SAM中，对特征M_c进行标准卷积操作，降维得到一个H*W*1特征图，再经过sigmoid激活，生成空间特征Z_s。

进一步，所述步骤3包括：

步骤301，将输入序列输入到多层双向GRU模块，获取两个方向的序列信息，分别为正向和反向/>其中n表示输入序列的长度，t∈[1,n]；

步骤302，继续叠加J层双向GRU模块，则输出序列信息表示为：

步骤303，将序列信息h_t输入到注意力时间机制中计算各输入注意力分布，最后经过全连接层FC得到时间特征Z_t，表达式为：

Z_t＝Σa_ih_i

式中，a_i表示第i时刻模型学习到的注意力参数，a_i表达式为：

式中，j∈[1,i]，e_i表示i时刻对应的注意力概率分布打分值，表达式为：

e_i＝tanh(w_ih_i+b_i)

式中，w_i表示i时刻的权重系数矩阵，b_i表示对应的偏移量。

有益效果：本发明与现有技术相比，其显著优点是：本发明针对网络流量的时空特性，从原始流序列中自动学习分类特征，利用空间特征提取组件SAtt和时间特征提取组件TAtt分别提取空间特征和时间特征，利用重构机制将时空特征进行融合，以促进特征学习。通过尽可能保持重构序列和原始流序列的相似性，融合后的特征可以包含更多的鉴别信息，从而提高了分类性能。在不同类别的流量下均有不错的分类表现，且算法收敛速度较快。

附图说明

图1是本发明基于时空注意力机制的加密网络流量分类流程图；

图2是本发明SAtt组件结构图；

图3是本发明通道注意力模块CAM原理图；

图4是本发明时间特征提取组件TAtt结构图；

图5是多层双向GRU模块结构图；

图6是实施例不同epoch下准确率的对比图；

图7是实施例不同epoch下损失的对比图；

图8是实施例三种指标在不同流量类型下的分布图；

图9是实施例混淆矩阵图；

图10是实施例消融实验结果图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。

本实施例所述的一种基于时空注意力机制的加密网络流量分类方法，流程图如图1所示，包括如下步骤：

步骤1，解析报文，获取网络流量数据X，并进行归一化处理，平衡各特征数值本身大小造成的巨大学习差异，使各个特征对结果做出的贡献相同；

步骤2，将归一化处理后的网络流量数据输入到空间特征提取组件SAtt，提取网络流量的空间特征Z_s。

其中，空间特征提取组件SAtt由通道注意力模块CAM和空间注意力模块SAM拼接组成，如图2所示，包括：

步骤201，如图3所示，通过通道注意力模块CAM对输入特征F分别进行maxpooling(最大池化)和avgpooling(平均池化)，特征F维度为H×W×C，其中H代表输入特征图的高度，W代表输入特征图的宽度，C代表输入特征图的深度。将得到的两个1*1*C特征图输入到参数共享的多层感知机MLP(多层感知机)中，再经过激活函数sigmoid激活，生成空间注意力模块SAM的输入特征M_c，则特征M_c的表达式为：

M_c(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

步骤202，将特征M_c输入到空间注意力模块SAM中，对特征M_c进行标准卷积操作，降维得到一个H*W*1特征图，再经过sigmoid激活，生成空间特征Z_s。

步骤3，将归一化处理后的网络流量数据输入到时间特征提取组件TAtt，提取网络流量的时间特征Z_t。

时间特征提取组件TAtt由多层双向GRU模块和时间注意力机制拼接组成，如图4所示，时间特征提取组件TAtt工作原理为：

步骤301，将输入序列输入到多层双向GRU模块，获取两个方向的序列信息，分别为正向和反向/>其中n表示输入序列的长度，t∈[1,n]；x_t表示输入序列，X_i＝[x₁,x₂,…x_n]。

步骤302，继续叠加J层双向GRU模块，则输出序列信息表示为：

步骤303，将序列信息h_t输入到注意力时间机制中计算各输入注意力分布，最后经过全连接层FC得到时间特征Z_t，表达式为：

Z_t＝Σa_ih_i

式中，a_i表示第i时刻模型学习到的注意力参数，a_i表达式为：

式中，时刻j∈[1,i]，e_i表示i时刻对应的注意力概率分布打分值，表达式为：

e_i＝tanh(w_ih_i+b_i)

式中，w_i表示i时刻的权重系数矩阵，b_i表示对应的偏移量。

图5是GRU模型结构图，GRU能有效改善由于序列过长导致梯度消失的问题，由于GRU模型训练时间较短，本实施例选取GRU模型来提取网络流量的时间特征。h^T-1表示T-1时刻的隐藏状态，X^T表示T时刻的流量特征。T时刻的隐藏状态h^T通过更新门Γ_u来确定是维持上一时刻的隐藏状态h^T-1、还是更新为T时刻的候选隐藏状态Γ_u通过σ函数来使自身等于近似于0或1的值。Γ_r为重置门，用于控制忽略上一状态信息h^T-1。GRU非常适合捕捉网络流量典型的时间序列的时间特征。

步骤4，将空间特征Z_s和时间特征Z_t进行重构，重构后的特征表征为：

最终得到融合后的网络流量特征Z，然后与真实标签Y经过计算损失loss，得到最终的分类结果。

为充分评估本实施例所述加密网络流量分类方法的分类性能，利用不同算法对网络流量的分类效果进行了多次实验。本实施例试验环境如表1所示：

表1实验环境参数

参数类别	参数值
		硬件环境	OptiPlex 5070
编程环境	Python 3.7
		操作系统	Windows10 64bit
处理器	Intel(R)Core(TM)i7-9700CPU
		内存	32GB
Anaconda3	Version 4.11 64bit
		Tensorflow	Version 1.10

本实施例的超参数设置如表2所示：

表2超参数设置

不同算法下对网络流量的分类效果进行了多次实验，选取了三种评价指标作为评判模型效果好坏的指标，具体如下：

(1)精准率(Precision)，Precision指的是流量类型预测正确的概率，具体公式如下：：

(2)召回率(Recall)，所有的正样本被正确预测的概率，具体公式如下：

(3)调和平均系数(F₁)，F₁的取值反应模型的优异程度，具体公式如下：

其中，TP表示正类预测为正类的样本数，FP表示把负类预测为正类的样本数量，FN表示正类预测为负类的样本数量。

表3对比了领域内基线方法与本发明提出方法在同一数据集上当epoch分别为5、10以及15时对应的Precision、Recall及F₁的数据结果。

表3不同模型评价指标结果

从表1中可知本实施例SCF-NET模型较其他模型分类效果显著，SCF-NET模型在epoch＝15处的Precision、Recall以及F₁都是最优的。以epoch＝15的分类结果为例，本实施例中SCF-NET的Precision、Recall以及F₁值分别比1D-CNN模型高了5.3％和12.3％以及11.7％；与CNN+LSTM模型相比，本实施例SCF-NET模型分别比该模型高了3.8％和11.2％以及11.3％；与LSTM+ATT模型相比，分别比该模型高了4.7％和12.6％以及11.5％。与FS-NET模型相比，本实施例SCF-NET模型分别比该模型高了1.8％和1.1％以及1.4％。1D-CNN提取的是网络流量的空间特征，LSTM+ATT提取的是网络流量的时间特征，这两种方法的分类效果均比CNN-LSTM的效果差，而FS-NET虽是双向GRU堆叠的自适应编解码结构，但由于其出色的重构机制可以细粒度的还原流量序列的数值特征，其模型分类效果对比其他典型模型较为突出。本实施例从最原始的网络流量中挖掘时间特征与空间特征，并能通过重构机制增强特征，其流量分类结果与其他模型相比，有着显著的优势。

从图6、图7可知本实施例SCF-NET模型在不同的epoch下表现出长期的优势。随着epoch的增加，SCF-NET模型的分类效果显著增加，对比其他模型的三个评价指标，SCF-NET模型的分类效果仍然是最好的。图6显示了SCF-NET模型随着epoch的增加准确率不断增加最后处于较高水平。图7中本实施例方法在epoch＝15的情况下loss收敛至较低数值，可以看出SCF-NET模型具有稳定的长期分类能力。

当epoch取15的时候，各种对比模型的准确率均处于相对较好的水平。在同一数据集下对流量分类的准确率进行了交叉验证分析，表4显示了各种对比方法交叉验证的平均精度和标准偏差，通过与1D-CNN、CNN-LSTM、LSTM-ATT、FS-NET等典型的基于深度学习的网络流量分类模型对比分析，本实施例流量分类交叉实验的结果准确率最高，且波动范围较于其他模型较小，表示本实施例的SCF-NET模型在多次交叉实验验证下均能保证较高的流量分类准确率。

表4交叉验证

从图8可以看出，本实施例中的SCF-NET模型在不同类型的流量下表现出优势。本实施例比较了SCF-NET与CNN-LSTM、FS-NET两种方法的性能。如图8所示，SCF-NET在CHAT、FT、MAIL、STREAMING、VOIP、P2P、BROWSING等七种不同的流量下Precision、Recall和F1均处于较好水平，SCF-NET能够获得更准确和健壮的分类结果。

图9为本实验环境下对七种流量分类测试的混淆矩阵，从图中可以看出，本实施例设计的SCF-NET模型在不同类别的流量下均有不错的分类表现，其中VOIP流量较其他六种网络流量分类准确率最高。VOIP实际上是一种基于IP的语音通信，因为本实施例采用的是1D-CNN提取时间特征，1D-CNN在序列模型、NLP领域表现很好，1D-CNN实际上就是滑动窗口，对这种时间序列的流量更加友好，能对较长网络流量序列进行特征学习。所以最后通过比较发现，VOIP流量最终的预测效果是最优的。

图10反映了消融实验的结果，为了验证本实施例流量分类方法的先进性，通过消融实验来验证本实施例中空间特征提取组件SAtt、时间特征提取组件TAtt的有效性。在原始流量的基础上依次添加1)SAtt；2)TAtt；3)SAtt+TAtt(即本实施例提出的SCF-NET模型)模块，最终形成三个子模型在工作日数据集上进行仿真，其结果如图10所示。从图10可以看出，在添加了SAtt模块后子模型的分类精度要高于添加TAtt模块的子模型。但由于网络流量分类问题是典型的空间特征提取问题，空间特征要比时间特征更影响模型的分类精度，而添加了SAtt模块的子模型能提取网络流量更丰富的空间特征，因此，仅添加TAtt模块的子模型总体分类效果要差。但是从仿真结果来看，添加了TAtt模块的子模型在收敛能力上较仅添加SAtt模块的子模型要更突出，所以添加了TAtt+SAtt模块的模型(即SCF-NET模型)综合了两个模块的优点，不仅能够提升分类精度，还能大幅提升收敛速度。

Claims (1)

1.一种基于时空注意力机制的加密网络流量分类方法，其特征在于，该分类方法包括以下步骤：

步骤1，解析报文，获取网络流量数据X，并进行归一化处理；

步骤2，将归一化处理后的网络流量数据输入到空间特征提取组件SAtt，提取网络流量的空间特征Z_s；

步骤3，将归一化处理后的网络流量数据输入到时间特征提取组件TAtt，提取网络流量的时间特征Z_t；

步骤4，将空间特征Z_s和时间特征Z_t进行重构，得到网络流量特征Z；

最终得到融合后的网络流量特征Z，然后与真实标签Y经过计算损失loss，得到最终的分类结果；

所述空间特征提取组件SAtt由通道注意力模块CAM和空间注意力模块SAM拼接组成；

所述时间特征提取组件TAtt由多层双向GRU模块和时间注意力机制拼接组成；

所述步骤2包括：

步骤201，通过通道注意力模块CAM对输入特征F分别进行maxpooling和avgpooling，输入特征F维度为H×W×C，其中H代表输入特征图的高度，W代表输入特征图的宽度，C代表输入特征图的深度；将得到的两个1*1*C特征图输入到参数共享的多层感知机MLP中，再经过sigmoid激活，生成空间注意力模块SAM的输入特征M_c，则特征M_c的表达式为：

M_c(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

步骤202，将特征M_c输入到空间注意力模块SAM中，对特征M_c进行标准卷积操作，降维得到一个H*W*1特征图，再经过sigmoid激活，生成空间特征Z_s；

所述步骤3包括：

步骤301，将输入序列输入到多层双向GRU模块，获取两个方向的序列信息，分别为正向和反向/>其中n表示输入序列的长度，t∈[1,n]；x_t表示输入序列；

步骤302，继续叠加J层双向GRU模块，则输出序列信息表示为：

步骤303，将序列信息h_t输入到注意力时间机制中计算各输入注意力分布，最后经过全连接层FC得到时间特征Z_t，表达式为：

Z_t＝∑a_ih_i

式中，a_i表示第i时刻模型学习到的注意力参数，a_i表达式为：

式中，j∈[1,i]，e_i表示i时刻对应的注意力概率分布打分值，表达式为：

e_i＝tanh(w_ih_i+b_i)

式中，w_i表示i时刻的权重系数矩阵，b_i表示对应的偏移量。