CN116192765A - 一种基于注意力机制的物联网设备流量早期识别方法 - Google Patents

Abstract

本发明提出了一种基于注意力机制的物联网设备流量早期识别方法，分为四个部分，第一部分为对物联网流量的数据预处理和特征处理；第二部分为构建多特征时序样本集，具体内容为基于窗口，构建多特征时序样本；第三部分为构建物联网设备早期识别模型，具体为通过通道注意力和空间注意力模块，在保留所有维度信息的基础上重新学习输入样本不同通道以及不同位置的权重；第四部分为模型训练与物联网设备流量分类，具体内容为使用训练样本训练模型，使用该模型对测试样本分类，根据模型对比结果确定最终分类模型。本发明能够实现对物联网设备流量的早期准确分类，仅使用75个分组精确率可达99.2％。便于网络管理者对物联网流量进行及时的分类与监管。

Description

一种基于注意力机制的物联网设备流量早期识别方法

技术领域

本发明属于网络空间安全技术领域，涉及数据包级别特征和注意力机制的早期物联网设备流量分类方法。

背景技术

近年来，物联网技术的日益普及导致物联网设备数量呈爆炸性增长。物联网技术使得物理设备、车辆以及家用电器等能够互相通信并且相互操作，广泛地影响人们的生活和生产的各个方面，尤其是涉及到互联网的小型办公室以及智能家居环境。锁、灯泡和插头等简单的家庭设备可以使用物联网技术通过互联网互联，从而通过监控温度等控制空调和照明设备改善我们的生活。

物联网技术的发展使得远程监控和控制成为可能，改变了典型SOHO网络的结构和性质，与传统网络相比，物联网网络更加异构，给网络管理和监管带来了新的挑战。同时，由于物联网设备大多只有较少的计算资源，几乎没有安全保护，攻击者可能利用物联网设备未经授权地获得家庭或企业网络的访问权限，更有甚者可以利用物联网设备进行更大规模的攻击。物联网网络的异构性以及脆弱性增加了物联网网络管理和监管的难度。另外，不同的物联网设备具有不同的服务质量要求，不同设备对网络带宽或丢包的容忍度不同。因此，许多网络管理任务依赖于网络所连接物联网设备类型的识别。

为了能够更有效地解决物联网网络结构复杂且难以满足服务质量要求的问题，实现物联网设备网络监管与管理。本发明构建基于通道注意力机制以及空间注意力机制的深度学习模型，使用数据包级特征对物联网设备类型进行识别。并基于各种评估指标对基于不同数据包个数窗口的实验结果进行对比，选择合适的窗口大小以平衡早期性和分类准确性，确定最终模型。

发明内容

为了对物联网网络进行监管和管理，实现对物联网设备流量的早期准确识别，本发明提出了一种基于注意力机制的物联网设备流量早期识别方法。针对现有的物联网设备分类模型数据等待时间较长的问题，提出了一种基于注意力机制的物联网设备流量早期识别方法。方法首先获取物联网设备流量进行数据预处理与特征处理；根据不同的数据包个数窗口切割数据，构建不同的多特征物联网流量时序样本集，并将其划分为训练集与测试集；接着构建添加了通道注意力模块和空间注意力模块的全卷积网络模型；随后利用训练样本及其标签训练模型，将测试样本输入训练好的模型中，根据不同数据包个数窗口的物联网设备识别实验结果，平衡模型早期性以及分类准确性，确定合适的窗口大小。为了达到上述目的，本发明提供如下技术方案：

一种基于注意力机制的物联网设备流量早期识别方法，包括如下步骤：

(1)获取物联网设备流量数据集UNSW，进行数据预处理与特征处理；

(2)根据多种数据包个数窗口，构建不同的多特征物联网流量时序样本集，再将处理后的样本集划分为训练集和测试集；

(3)使用全卷积网络为基础构建深度学习模型，向模型中添加通道注意力机制以及空间注意力机制，使模型在保留所有维度信息的基础上重新学习输入特征图不同通道以及不同位置的权重；

(4)利用训练样本及其标签训练模型，并将测试样本输入到训练好的分类模型中进行物联网设备流量分类，基于多种指标评估模型的分类结果；根据使用不同数据包个数窗口大小的多种分类结果指标，在平衡早期性和分类准确性的基础上，确定物联网识别的最佳窗口大小。

进一步，所述步骤(1)具体包括如下子步骤：

(1.1)对UNSW数据集进行数据处理，根据MAC地址区分流量，为流量添加标签，用于后续验证分类结果；

(1.2)提取并处理数据包级特征，用于后续样本构建。

进一步的我们选取的物联网流量数据包级特征如下表所示：

进一步，所述步骤(2)具体包括如下子步骤：

(2.1)分别针对提取到的每一种包级特征，构建时序序列；

(2.2)根据不同的数据包个数窗口大小，切割时序序列，将相同数据包的不同特征序列叠加，构成二维排列，构建多个多特征时序样本集；

(2.3)多个多特征时序样本集均按照8：2的比例被分割为训练集与测试集。

进一步，所述步骤(3)具体包括如下子步骤：

(3.1)构建物联网设备识别模型，模型主要由包含三个卷积层的全卷积网络构成，其中每层的过滤器依次为128个、256个和128个，卷积核大小分别为8、5、3。每个卷积层后面均连接一个批归一化层和一个ReLU激活函数；

(3.2)在(3.1)的基础上添加通道注意力机制，在模型前两个激活函数后各添加一个通道注意力模块，将卷积层输出的信息整体输入通道注意力模块，先后经过两个线性投影学习不同通道信息的权重，两个线性投影之间使用ReLU激活函数进行非线性处理，使用Sigmoid激活函数获得归一化权重，通过乘法加权到原数据得到新数据；

(3.3)在(3.2)的基础上添加空间注意力机制，在每个通道注意力模块后添加空间注意力模块，经过通道注意力模块获得的新数据继续输入空间注意力模块，使用两层卷积层进行空间信息融合，两层卷积层中间使用ReLU激活函数进行处理，使用Sigmoid激活函数获得归一化权重，通过乘法加权到样本数据上，完成数据的权重更新；

(3.4)在(3.3)模型的基础上，在模型最后添加全局池化层；整个模型作为输入样本的特征提取器，学习多特征时序数据的特征，使用Softmax函数获得分类结果。

进一步，所述步骤(4)具体包括如下子步骤：

(4.1)在上述的多特征时序样本集中，数据集数据形如(B，L，C)，其中B是输入数据集中的数据样本数，L是设定的最大输入数据包个数，C是从每个数据包提取得到的特征数，此多特征时序数据作为后续深度学习模型的输入数据；

(4.2)利用训练样本及标签训练模型，将测试样本输入到训练好的分类模型中，实现对物联网设备流量的多分类；

(4.3)使用多种评估指标对比分类结果，在平衡早期性以及分类准确性的基础上，确定合适的数据包个数窗口大小。

与现有技术相比，本发明具有如下优点和有益效果：

(1)本发明能够在早期识别网络中的物联网设备类型，设备类型识别精确率可达99.2％，便于网络管理者对物联网流量进行有效监管。

(2)本发明使用流量数据包级特征，构建多特征时序样本集，基于细粒度特征，有效利用多特征之间的关系以及单特征的时序信息，具有较高的可区分性，提升了物联网设备识别准确率的同时减少了流量数据的等待时间。

(3)本发明构建了基于注意力机制的深度学习模型，在利用全卷积网络学习样本信息过程中，通过通道注意力机制和空间注意力机制对不同特征以及特征的不同位置进行权重更新，自动地学习输入特征之间的关系，有效提高了对物联网设备流量的识别准确率。

(4)本发明可以有效并尽可能早期地对当前网络中的物联网设备流量进行准确的识别。

附图说明

图1物联网设备流量分类框架示意图；

图2物联网设备分类模型结构示意图；

图3不同数据包个数窗口下的模型在各个性能指标上的表现；

图4不同模型与本发明对物联网流量早期识别在不同性能指标上的表现。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

实施例1：本发明提出了一种基于注意力机制的物联网设备流量早期识别方法，分类框架如图1所示，分四个部分，第一部分为数据预处理和特征处理，具体内容为获取实验数据UNSW数据集，根据MAC地址区分流量，为分组添加标签，提取并处理数据包级特征；第二部分为多特征时序样本集构建，具体内容为基于提取到的数据包级特征，为每种特征构建时序序列，根据不同的数据包个数窗口大小，切割时序序列，相同数据包的各特征序列叠加构成二维排列，构建多个多特征物联网流量时序样本集，所有样本集均按照8：2的比例被分割为训练集与测试集；第三部分为使用通道注意力和空间注意力机制构建深度学习模型，具体内容为构建包含三个卷积层的全卷积网络，每个卷积层后为批归一化层和激活函数，前两个卷积层的激活函数后一次添加通道注意力模块和空间注意力模块，获得特征图的归一化权重，对输入特征进行权重更新，模型最后为全局池化层和Softmax函数以获得分类结果；第四部分为分类模型训练与物联网设备流量分类，具体内容为利用训练样本及标签训练模型，将测试样本输入到训练好的分类模型中，实现对物联网设备流量的多分类，使用多种评估指标对比分类结果，在平衡早期性以及分类准确性的基础上，确定合适的数据包个数窗口大小。具体地说，一种针对物联网流量的早期分类方法，包括如下步骤：

(1)获取物联网流量数据集，进行数据预处理和特征提取。

本步骤的具体过程如下：

(1.1)根据MAC地址区分流量，为流量添加标签，获得17类物联网流量，用于后续验证分类结果；

(1.2)提取并处理数据包级特征，用于后续样本构建。所提取物联网流量的5种特征的特征名称和特征对应的含义如下表所示：

(2)在对数据包级特征再处理的基础上，针对每种特征构建时序序列，根据不同的数据包个数窗口，切割时序序列，相同数据包的各特征序列叠加构成二维排列，构建多个多特征时序样本集，所有样本集均按照8：2的比例分割为训练集与测试集。

本步骤中具体过程如下：

(2.1)基于提取到的数据包级特征，依次为每种特征构建时序序列；

(2.2)使用不同的数据包个数窗口大小，包括25、50、75、100、125、150、175、200八种数据包个数窗口大小，依次按照八种窗口切割时序序列，同时保证切割后Interval特征序列切片保证第一个值为0，使得每个Interval特征序列切片都是以0为首的数字序列；

(2.3)将相同数据包的不同特征序列叠加，窗口内的5种特征序列构成二维数组，构建多个不同的多特征时序样本集，如以5个数据包个数为例，获得的一个多特征时序样本如下所示：

(2.4)将8个不同的多特征时序样本集均按照8：2的比例分割为训练集与测试集。

(3)使用通道注意力和空间注意力机制构建深度学习模型，具体内容为构建包含三个卷积层的全卷积网络，每个卷积层后为批归一化层和激活函数，前两个卷积层的激活函数后一次添加通道注意力模块和空间注意力模块，获得特征图的归一化权重，对输入特征进行权重更新，模型最后为全局池化层和Softmax函数以获得分类结果。

本步骤中具体过程如下：

(3.1)构建物联网设备识别模型，模型主要由包含三个卷积层的全卷积网络构成，其中每层的过滤器依次为128个、256个和128个，卷积核大小分别为8、5、3。每个卷积层后面均连接一个批归一化层和一个ReLU激活函数；

(3.2)在(3.1)的基础上添加通道注意力机制，在模型前两个激活函数后各添加一个通道注意力模块，将卷积层输出的信息整体输入通道注意力模块，先后经过两个线性投影学习不同通道信息的权重，两个线性投影之间使用ReLU激活函数进行非线性处理，使用Sigmoid激活函数获得归一化权重，通过乘法加权到样本数据上；

(3.3)在(3.2)的基础上添加空间注意力机制，在每个通道注意力模块后添加空间注意力模块，经过通道注意力模块获得的新数据继续输入空间注意力模块，使用两层卷积层进行空间信息融合，两层卷积层中间使用ReLU激活函数进行处理，使用Sigmoid激活函数获得归一化权重，通过乘法加权到样本数据上，完成数据的权重更新；

(3.4)在(3.3)模型的基础上，在模型最后添加全局池化层；整个模型作为输入样本的特征提取器，学习多特征时序数据的特征，使用Softmax函数获得分类结果。

(4)利用训练样本及标签训练模型，将测试样本输入到训练好的分类模型中，实现对物联网设备流量的多分类，使用准确率、精确度、召回率和F1-score作为评估指标，对比分类结果，在平衡早期性以及分类准确性的基础上，确定合适的数据包个数窗口。

本步骤具体包括以下过程：

(4.1)在上述的多特征时序样本集中，数据集数据形如(B，L，C)，其中B是输入数据集中的数据样本数，L是设定的最大输入数据包个数，C是从每个数据包提取得到的特征数，此多特征时序数据作为后续深度学习模型的输入数据；

(4.2)利用训练样本及标签训练模型；

(4.3)将测试样本输入到训练好的分类模型中，判断流量其所属的物联网设备类型，类型包括：AmazonEcho、BelkinMotionSensor、BelkinSwitch、Dropcam、HPPrinter、iHomePowerPlug、InstoonCamera、LiFXBulb、NetatmoWeatherstation、Pixstartphotoframe、SamsungSmartCam、SmartThings、TP-Link Camera、TP-Link Plug、TribySpeaker、Withingssleepsensor、WithingsSmartBabyMonitor，共17种物联网设备类型；

(4.4)评估8种数据包个数窗口下模型的识别性能，具体对比结果见图3。根据结果可得当使用窗口较大时，模型的分类性能会上升，但同样其数据等待时间增加，模型的时间效率下降。当窗口大小从25增加至50时，模型性能的四个指标均提升1％以上，且准确率提升2％左右。输入数据包个数从25增加到75时，模型的分类性能提升较为明显，但是当数据包个数超过75且小于175时，模型分类性能虽然仍然有所提升，但是提升程度显著下降；当数据包个数超过175时，模型分类性能有轻微下降。综上所述，为了平衡模型的分类性能以及设备识别的早期性，选择使用75作为窗口大小，75个数据包在UNSW数据集中的数据等待时间为184.2秒,,约为三分钟，本模型的具体实验结果见图4。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种基于注意力机制的物联网设备流量早期识别方法，其特征在于，包括如下步骤：

(1)获取物联网设备流量数据集UNSW，进行数据预处理，提取并处理数据包级特征；

(2)基于提取到的数据包级特征，根据多种数据包个数窗口，构建不同的多特征物联网流量时序样本集，将处理后的样本集划分为训练集和测试集，多特征物联网流量时序样本的二维结构为后续特征学习提供结构基础；

(3)使用全卷积网络构建深度学习模型，向模型中添加通道注意力机制以及空间注意力机制，使得该模型在训练的过程中既学习物联网流量单特征时序数据的前后关联，又充分考虑不同物联网流量特征之间的相关关系，提升模型准确性；

(4)利用训练样本及其标签训练模型，并将测试样本输入到训练好的分类模型中进行物联网设备流量分类，基于多种指标评估模型的分类结果；根据模型使用不同窗口大小获得的多种分类结果指标，在平衡早期型和分类准确性的基础上，确定最佳窗口大小。

2.根据权利要求1所述的基于注意力机制的物联网设备流量早期识别方法，其特征在于，步骤(1)具体包括如下子步骤：

(1.1)对UNSW数据集进行数据处理，根据MAC地址区分流量，为流量添加标签，用于后续验证分类结果；

(1.2)提取并处理数据包级特征，用于后续样本构建。

3.根据权利要求2所述的基于注意力机制的物联网设备流量早期识别方法，其特征在于，所述步骤(1.2)中特征提取结果如下表所示：

4.根据权利要求1所述的基于注意力机制的物联网设备流量早期识别方法，其特征在于，所述步骤(2)具体包括如下子步骤：

(2.1)分别针对提取到的每一种包级特征，构建时序序列；

(2.2)根据不同的数据包个数窗口大小，切割时序序列，将相同数据包的不同特征序列叠加，构成二维排列，构建多个多特征时序样本集；

(2.3)多个多特征时序样本集均按照8：2的比例被分割为训练集与测试集。

5.根据权利要求1所述的基于注意力机制的物联网设备流量早期识别方法，其特征在于，所述步骤(3)具体包括如下子步骤：

(3.1)构建物联网设备识别模型，模型由包含三个卷积层的全卷积网络构成，其中每层的过滤器依次为128个、256个和128个，卷积核大小分别为8、5、3，每个卷积层后面均连接一个批归一化层和一个ReLU激活函数；

(3.2)在(3.1)的基础上添加通道注意力机制，在模型前两个激活函数后各添加一个通道注意力模块，将卷积层输出的信息整体输入通道注意力模块，先后经过两个线性投影学习不同通道信息的权重，两个线性投影之间使用ReLU激活函数进行非线性处理，使用Sigmoid激活函数获得归一化权重，通过乘法加权到样本数据上；

(3.3)在(3.2)的基础上添加空间注意力机制，在每个通道注意力模块后添加空间注意力模块，经过通道注意力模块获得的新数据继续输入空间注意力模块，使用两层卷积层进行空间信息融合，两层卷积层中间使用ReLU激活函数进行处理，使用Sigmoid激活函数获得归一化权重，通过乘法加权到样本数据上，完成数据的权重更新；

(3.4)在(3.3)模型的基础上，在模型最后添加全局池化层；整个模型作为输入样本的特征提取器，学习多特征时序数据的特征，使用Softmax函数获得分类结果。

6.根据权利要求1所述的基于注意力机制的物联网设备流量早期识别方法，其特征在于，所述步骤(4)具体包括如下子步骤：

(4.1)在上述的多特征时序样本集中，数据集数据形如(B，L，C)，其中B是输入数据集中的数据样本数，L是设定的最大输入数据包个数，C是从每个数据包提取得到的特征数，此多特征时序数据作为后续深度学习模型的输入数据；

(4.2)利用训练样本及标签训练模型，将测试样本输入到训练好的分类模型中，实现对物联网设备流量的多分类；

(4.3)使用多种评估指标对比分类结果，在平衡早期性以及分类准确性的基础上，确定合适的数据包个数大小。

Images