CN117640476A - 一种基于关系网络的小样本应用层协议识别方法 - Google Patents

Abstract

本发明涉及一种基于关系网络的小样本应用层协议识别方法，属于网络安全领域。本发明为解决现有方法在已标记网络流量不足时分类性能差的问题，利用网络流量清洗剔除原始网络流量中的冗余数据包，利用流重组将原始网络流量中多个数据包转化为有序网络流，通过流切分和协议数据归一化将网络流转化为符合协议识别模型输入格式要求的二维矩阵，进而为网络流标注好协议类别。接着构建训练协议识别模型所需任务集。然后将任务集输入协议识别模型，利用任务集训练并调整协议识别模型参数，得到成熟的小样本协议识别模型。最后将待测网络流量样本输入小样本协议识别模型，输出预测协议类别。本发明能够更好地识别小样本应用层协议。

Description

一种基于关系网络的小样本应用层协议识别方法

技术领域

本发明属于网络安全领域，具体涉及一种基于关系网络的小样本应用层协议识别方法。

背景技术

协议识别是指从网络流量中提取协议数据，进而提取协议数据中富有区分度的关键特征，基于所提取关键特征区分不同类别的协议数据。利用协议识别技术能够及时准确分析网络所捕获网络流量的组成成分，为提升网络管理质量和保证网络安全提供坚实基础。

现有协议识别方法主要包括基于端口、基于深度包检测、基于机器学习和基于深度学习四类。由于动态端口和端口伪装等技术的广泛使用，基于端口号的协议识别方法已经失效。基于深度包检测的协议识别技术通过提取协议数据的特征字符串，与预先建立的特征库进行匹配来区分不同协议，该方法存在计算较大、特征库更新维护困难和无法识别加密协议的问题。基于机器学习的协议识别方法通过收集协议数据的统计特征，例如某条网络流内数据包的数目，然后利用特征工程去掉部分冗余特征，得到最优特征子集，最后利用机器学习模型基于最优特征子集识别不同协议，该方法存在需要丰富的经验知识来为所捕获网络流量设计合理的统计特征等问题。基于深度学习的协议识别方法利用深度学习模型自动挖掘协议数据的特征并分类，与机器学习模型等浅层模型不同，深度学习模型所挖掘的协议数据特征更具区分度和代表性，是目前协议识别领域的研究热点。

当标注好的协议数据数量较少时，基于深度学习的协议识别模型在训练过程中将会出现过拟合，导致协议识别准确率极低。但是收集能够反映当前网络发展现状的协议数据集并进行有效标注的难度较大，并且在网络攻击发现初期无法收集足够数量的协议数据。因此，研究如何基于少量的协议数据准确识别不同协议具有十分重要的意义。

发明内容

（一）要解决的技术问题

本发明旨在解决现有协议识别方法需要大量标注好的协议数据对模型进行训练，当标注好的协议数据数量较少时，无法对模型进行有效训练，导致协议识别准确率较低的问题。

（二）技术方案

为了解决上述技术问题，本发明提供了一种基于关系网络的小样本应用层协议识别方法，包括以下步骤：

（1）采集原始网络流量，利用Wireshark、Tcpdump等工具捕获原始网络流量，并利用含端口号的信息为每一个数据包打上协议标签。

（2）对原始网络流量进行预处理，包括步骤：

（2-1）对原始网络流量进行清洗，剔除与协议识别无关的数据包，具体是首先剔除非IP网络流量，然后剔除TCP和UDP之外的网络流量；

（2-2）对原始网络流量进行流重组，将多个数据包重组为有序网络流，并进一步剔除TCP SYN和TCP FIN等与协议识别无关的数据包；

（2-3）对重组后的网络流进行切分，截取网络流的前n个字节用于协议识别，网络流长度超过固定长度n则舍弃多余部分，不足则在末尾用零填充；

（2-4）对切分后的网络流进行归一化处理：为消除量纲不同带来的不良影响，加快模型收敛速度，需要对网络流进行归一化处理，具体步骤为：对于每一条网络流，将网络流每个字节转化为十进制数值并除以256，得到一个一维向量，该向量中每个分量的取值范围为[0,1）；由于本发明要求输入为二维矩阵，因此将得到一维向量进一步转化为二维矩阵。

（2-5）给每一条网络流设置协议标签。

（3）基于预处理后得到的网络流量构建训练协议识别模型所需任务集，包括步骤：

（3-1）根据样本数量多少，将预处理后得到的网络流量划分为大量类协议集D_Large和少量类协议集D_small;

（3-2）从大量类协议数据集D_Large中随机抽取N类协议，每类协议随机抽取（K+M）个样本，前K个样本加入当前子任务T_i的支持集，剩余M个样本加入当前子任务T_i的查询集；

（3-3）重复步骤（3-2），从大量类协议数据集D_Large构建元训练集T_train={T₁,T₂,…,T_a}，a为子任务的个数。

（3-4）和步骤（3-2）~（3-3）类似，从少量类协议数据集D_small中抽取样本，构建元测试集T_test={T₁,T₂,…,T_b}，b为子任务的个数，元训练集、元测试集构成所述任务集。

（4）分类模型构建，即，将任务集输入神经网络，得到训练成熟的小样本协议识别模型，包括步骤：

（4-1）每次从元训练集T_train随机抽取多个子任务，选取均方误差函数（MeanSquare Error，MSE）作为协议识别模型的损失函数。

（4-2）依次利用抽取的子任务训练协议识别模型（神经网络），将每个子任务的支持集样本输入协议识别模型，计算相应损失函数值，基于该损失函数值利用梯度下降算法调整协议识别模型的参数。进一步地，将当前子任务的查询集样本输入协议识别模型，计算相应损失函数值。

（4-3）依次重复执行步骤（4-2），直至抽取的所有子任务的支持集样本均用于模型训练，该次训练任务结束，将该批次所有查询集样本对应损失函数值进行累加，根据累加后的损失函数值调整协议识别模型的参数。

（4-4）依次重复执行步骤（4-1）~（4-3），直至协议识别模型收敛。

（4-5）利用元测试集T_test对上述得到的协议识别模型进行微调，得到训练成熟的小样本协议识别模型。

（5）未知协议识别，即，将预处理后得到的网络流量输入到小样本协议识别模型，输出预测协议类别（预测目标类型），包括步骤：

（5-1）将数据集（包括D_large和D_small）中所有样本作为支持集，首先，输入训练成熟的小样本协议识别模型的特征提取模块后得到对应样本特征，计算每类协议所有样本对应特征的对应各分量累加后除以该类协议样本总数得到的算数平均值，将其作为该类协议的代表特征。

（5-2）利用所得小样本协议识别模型的特征提取模块提取待测样本的特征，与代表每类协议的特征分别进行拼接，将拼接后的数据输入小样本协议识别模型的相似度计算模块进行相似度计算，自动计算出待测样本与各类协议的相似度，返回相似度最高对应的协议类别为预测输出结果；如果待测样本与任一类协议的相似度均不大于某一阈值，则将测样本识别为未知协议。

（三）有益效果

本发明的方法包括以下步骤：网络流量采集、数据预处理、任务集构建、分类模型构建和未知协议识别。本发明首先采集原始网络流，其次对原始网络流进行预处理，包括网络流量清洗、网络流重组与切分、协议数据归一化和协议标签标注等子步骤，利用网络流量清洗剔除原始网络流量中的冗余数据包，利用流重组将原始网络流量中多个数据包转化为有序网络流，通过流切分和协议数据归一化将网络流转化为符合协议识别模型输入格式要求的二维矩阵，进而为网络流标注好协议类别。由于小样本协议识别问题属于“N-way K-shot”分类问题，因此接着构建训练协议识别模型所需任务集。然后将任务集输入协议识别模型，利用任务集训练并调整协议识别模型参数，得到成熟的小样本协议识别模型。最后将待测网络流量样本输入小样本协议识别模型，输出预测协议类别。本发明能够更好地识别小样本应用层协议。

附图说明

图1为本发明的协议识别流程示意图；

图2为本发明采用的协议识别模型结构图。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

小样本学习是指基于少量标注样本学习得到一个能够解决实际问题的模型。例如，人类仅需要学习几个或几十个样本，就能够获得区分各类样本的能力。在较多小样本学习模型中，关系网络表现尤为出色，该模型包括特征提取模块和相似度计算模块，前者用于提取输入的特征，后者用于计算样本的相似度。

因此，本发明提出一种基于关系网络的小样本应用层协议识别方法，解决现有方法在已标记网络流量不足时分类性能差的问题。本发明利用ResNet和ECA-Net构建关系网络的特征提取模块，利用全卷积神经网络构建关系网络的相似度计算模块，提高关系网络的特征提取能力，能够更好地识别小样本应用层协议。利用特征提取模块自动提取输入的特征，利用相似度计算模块计算输入的相似度，根据相似度判断输入所属协议类别。

图1所示为本发明的一个实施例，该实施例包括以下步骤：

（1）网络流量采集：利用Wireshark和Tcpdump等工具捕获原始网络流量数据，为后续模型训练和模型预测提高数据支撑。

（2）数据预处理：将捕获的原始网络流量进行预处理，包括网络流量清洗、网络流重组与切分、归一化和协议标签标注等子步骤，将原始网络流量转化为一维向量，并将得到一维向量进一步转化为二维矩阵，作为协议识别模型的输入。

（3）任务集构建：由于小样本协议识别问题属于“N-way K-shot”方分类问题，因此构建模型在元测试和元训练阶段所需要的任务集合。

（4）将任务集输入协议识别模型，在元训练阶段利用大量类协议数据集对模型进行训练，在元测试阶段利用少量类协议数据集对模型进行微调，得到小样本协议识别模型。

（5）未知协议识别：将预处理后得到的待测样本输入训练成熟的协议识别模型，输出预测协议标签。

具体来说，本发明包括以下步骤：

（1）网络流量采集。利用Wireshark、Tcpdump等工具捕获原始网络流量数据，并利用端口号等信息为每一个数据包打上协议标签。

（2）数据预处理

数据预处理是进行协议识别的关键步骤，目的是从网络流量中抽取有序网络流。本发明数据预处理主要包括网络流量清洗、网络流重组与切分、协议数据归一化和协议标注四个子步骤。

由于本发明关注IP协议，因此需要根据数据链路层首部的协议字段剔除非IP流量数据，然后根据IP层首部的协议字段剔除TCP和UDP之外的流量数据。

在网络协议识别领域，完整的TCP连接或者一次UDP交互代表一条网络流。对于TCP连接，可以用TCP SYN和TCP FIN数据包标识网络流的开始和结束，然后根据TCP首部的序号和标识位将所捕获数据包按顺序组成一条有序的网络流。对于UDP交互，首先设置一个时间阈值。采取第一个捕获的UDP数据包的发送时间为网络流开始时间，之后每捕获一个UDP数据包，计算其发送时间和网络流开始时间的差值，如果差值大于时间阈值差值，表明当前网络流已结束，所捕获的数据包属于下一条网络流，否则表明当前网络流还未结束，将所捕获的数据包拼接到当前网络流尾部。由于TCP SYN 和TCP FIN数据包分别用于建立和结束连接，不包含与协议识别相关的信息。在网络流重组后，剔除这些数据包。

由于协议识别模型对输入有格式要求，但网络流的长度存在差异，因此需要截取固定长度的数据用于协议识别。由于应用层协议的首部格式较为固定，包含较多关于应用层协议识别的信息，载荷部分为通信双方传递的用户数据，具有较大随机性，包含较少关于应用层协议识别的信息。因此为尽可能保留首部信息，本发明截取网络流前部截取固定长度n字节的数据，将每个字节转化为0~255的十进制值，得到长为n的一维矩阵。为满足协议识别模型对输入格式的要求，将得到一维矩阵进一步转为[n/2,n/2]的二维矩阵。

在协议识别模型训练阶段，需要对数据集进行协议标签标注。本发明采用one-hot方式。假设协议类别总数为A，则利用长为A的一维向量表示协议标签,该一维向量中仅有一位分量的值为1，其余分量的值均为0，且值为1的分量，其位置表示相应的网络流所属协议类别。举例来看，假设数据集包含5类协议，则[1,0,0,0,0]^T表示第一种协议，[0,1,0,0,0]^T表示第二种协议，其余协议依次类推。

（3）任务集构建

本发明中小样本协议识别问题为“N-way K-shot”分类问题，因此构建任务集，为后续协议识别模型训练提供数据支撑。具体步骤如下：

首先根据样本数量，将网络流量数据集划分为大量类协议数据集D_Large和少量类协议数据集D_small。然后基于大量类协议数据集生成元训练集T_train={T₁,T₂,…,T_a}，对于子任务Ti，从大量类协议数据集D_Large随机抽取N类协议，每类协议随机抽取（K+M）个样本，前K个样本放入当前子任务的支撑集，剩余M个样本放入当前子任务的查询集。最后采用上述类似方法，基于少量类协议数据集生成元测试集T_test={T₁,T₂,…,T_b}。

（4）分类模型构建

利用生成的任务集训练协议识别模型，在元训练阶段利用元测试集T_train对模型进行训练，在元测试阶段利用元测试集T_test对协议识别模型进行微调，得到小样本协议识别模型。具体过程为：在元训练阶段，对协议识别模型进行多次训练，每次均从元测试任务集T_train中随机抽取多个子任务，将每个子任务的支持集样本输入协议识别模型，计算损失函数值并据此调整协议识别模型的参数，将该批次所有子任务查询集样本对应损失函数值累加后，基于累加后的损失函数值进一步调整协议识别模型。在元测试阶段，利用元测试集T_test对协议识别模型的参数进一步微调，得到并保存训练成熟的小样本协议识别模型。

本发明实例该步骤构建的协议识别模型如图2所示，输入为16x16的二维矩阵，依次利用具有32个大小为3x3卷积核的二维卷积层、池化窗口为2x2的二维最大池化层、ResNet、ECA_Net、Flatten层和全连接层进行特征提取，将所提取特征输入分类器后输出分类结果。其中，ResNet的两个卷积层均具有32个大小为3x3的卷积核，Add表示将对应元素相加；ECA_Net的一维卷积层具有1个大小为3的卷积核，Multiply表示对应元素相乘；

（5）未知协议识别

将经步骤（2）预处理后得到的待测网络流量样本输入小样本协议识别模型，输出目标协议类型。本步骤的具体过程为：

首先将大量类和少量类协议数据集中所有样本作为支持集，利用协议识别模型的特征提取模块提取支持集所有样本的特征，然后计算得到代表该类协议的特征。

然后利用小样本协议识别模型的特征提取模块提取待测样本的特征，与每类协议的代表特征分别进行拼接后输入到小样本协议识别模型的相似度计算模块，输出预测结果。其中，预先设置相似度阈值，如果待测样本与任一类协议的相似度均不大于该阈值，则将待测样本识别为未知协议。其中，拼接的目的是实现利用关系网络的相似度计算模块自动计算所输入两个样本的相似度，度量两个样本相似程度的传统做法是将所得两个样本特征对应元素相减，这是线性度量方式，本发明的基于相似度计算模块的做法是非线性度量方式，计算结果更加准确。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于关系网络的小样本应用层协议识别方法，其特征在于，包括如下步骤：

(1)采集原始网络流量；

(2)对原始网络流量进行预处理；

(3)基于预处理后得到的网络流量构建训练协议识别模型所需任务集；

(4)将任务集输入神经网络，得到训练成熟的小样本协议识别模型；

(5)将预处理后得到的网络流量输入到小样本协议识别模型，输出预测协议类别。

2.根据权利要求1所述的方法，其特征在于，步骤(1)利用Wireshark或Tcpdump工具捕获原始网络流量，并利用含端口号的信息为每一个数据包打上协议标签。

3.根据权利要求1所述的方法，其特征在于，步骤(2)具体包括：

（2-1）对原始网络流量进行清洗，剔除与协议识别无关的数据包，首先剔除非IP网络流量，然后剔除TCP和UDP之外的网络流量；

（2-2）对原始网络流量进行流重组，将多个数据包重组为有序网络流，并进一步剔除与协议识别无关的数据包；

（2-3）对得到的有序网络流进行切分，截取网络流前部固定长度的数据用于协议识别；

（2-4）对切分后的有序网络流进行归一化，将有序网络流每个字节转化为十进制值后除以256，并转化为二维矩阵；

（2-5）为每一条有序网络流设置协议标签。

4.根据权利要求3所述的方法，其特征在于，步骤(3)具体包括：

（3-1）根据样本数量，将预处理后得到的网络流量划分为大量类协议数据集和少量类协议数据集；

（3-2）对于子任务T _i ，从大量类协议数据集中随机抽取N类协议，每类协议随机抽取K+M个样本，前K个样本加入当前子任务T _i 的支持集，剩余M个样本加入当前子任务T _i 的查询集；

（3-3）循环执行步骤（3-2），得到元训练集T_train={T₁,T₂,…,T_a}，a为子任务的数目；

（3-4）基于少量类协议数据集构建元测试集T_test={T₁,T₂,…,T_b}，b为子任务的个数，元训练集、元测试集构成所述任务集。

5.根据权利要求4所述的方法，其特征在于，步骤(4)中，利用所构建的任务集对协议识别模型进行训练，更新模型参数，得到成熟的小样本协议识别模型，具体步骤包括：

（4-1）从元训练集T_train随机抽取多个子任务；

（4-2）将所抽取的每个子任务的支持集样本输入协议识别模型，计算相应的损失函数值，利用梯度下降算法基于损失函数值更新协议识别模型的参数，并将当前子任务的查询集样本输入协议识别模型，计算相应损失函数值；

（4-3）依次重复执行步骤（4-2），直至抽取的所有子任务的支持集样本均用于模型训练，将抽取的所有子任务的查询集样本对应的损失函数值进行累加，利用累加后的损失函数值更新协议识别模型的参数；

（4-4）依次重复执行步骤（4-1）~（4-3），直至协议识别模型收敛；

（4-5）利用元测试任务集T_test对得到的协议识别模型进行微调，得到成熟的小样本协议识别模型。

6.根据权利要求5所述的方法，其特征在于，步骤(5)具体包括：

（5-1）将大量类协议数据集和少量类协议数据集中所有样本作为支持集，输入训练成熟的小样本协议识别模型后得到对应样本特征，计算每类协议所有样本对应特征的算数平均值，将其作为该类协议的代表特征；

（5-2）利用所得小样本协议识别模型的特征提取模块提取待测样本的特征，与每类协议的代表特征分别拼接后输入所得小样本协议识别模型的相似度计算模块，从而自动计算出待测样本与各类协议的相似度，其中，最高相似度对应的协议类别即为预测协议类别；如果待测样本与各类协议的相似度均不大于预设阈值，将待测样本识别为未知协议。

7.根据权利要求3所述的方法，其特征在于，步骤（2-2）对原始网络流量进行流重组，将多个数据包重组为有序网络流时，对于TCP连接，用TCP SYN和TCP FIN数据包标识网络流的开始和结束，然后根据TCP首部的序号和标识位将所捕获数据包按顺序组成一条有序的网络流；对于UDP交互，首先设置一个时间阈值，采取第一个捕获的UDP数据包的发送时间为网络流开始时间，之后每捕获一个UDP数据包，计算其发送时间和网络流开始时间的差值，如果差值大于时间阈值差值，表明当前网络流已结束，所捕获的数据包属于下一条网络流，否则表明当前网络流还未结束，将所捕获的数据包拼接到当前网络流尾部。

8.根据权利要求3所述的方法，其特征在于，步骤（2-3）中，网络流长度超过固定长度n则舍弃多余部分，不足则在末尾用零填充。

9.根据权利要求5所述的方法，其特征在于，步骤（4-1）中，选取均方误差函数作为协议识别模型的损失函数。

10.一种用于实现如权利要求1至9中任一项所述方法的系统。