CN109871948A - 一种基于二维卷积神经网络的应用层协议识别方法 - Google Patents

Abstract

本发明提出一种基于二维卷积神经网络的应用层协议识别方法，包括以下步骤：数据预处理、分类模型的构建、未知网络流的应用层协议识别。本发明从捕获的原始网络数据中提取出网络流，将网络流转化为二维卷积神经网络的输入，由二维卷积神经网络在训练过程中自动提取特征作为协议识别的依据。最后，利用训练好的卷积神经网络分类模型进行网络协议识别。本发明能够避免应用层协议识别领域人工提取特征的困难，有效提高应用层协议识别结果的准确率。

Description

一种基于二维卷积神经网络的应用层协议识别方法

技术领域

本发明涉及网络技术领域，尤其是一种基于二维卷积神经网络的应用层协议识别方法，该方法以网络数据流为分析对象，将网络数据流映射成二维特征矩阵输入二维卷积神经网络，通过卷积神经网络自动化提取出合适的特征用于识别网络流所对应的应用层协议，在训练好卷积神经网络之后，通过卷积神经网络对应用层协议归属信息未知的网络流量进行协议识别。

背景技术

应用层协议识别是指通过人工分析或自动化手段从IP协议承载的网络流量中提取出能够标识网络应用层协议的关键特征，然后以这些特征为基础准确标识网络流量所隶属的应用层协议。应用层协议识别技术有助于对网络流量的组成进行分析，能够为网络管理与维护、网络内容审计、网络安全防御等多个研究领域提供数据支撑。

根据对人力的依赖程度，应用层协议识别可以分为人工分析和自动分析两类。人工分析方法依靠研究人员的领域经验或先验知识获取协议特征信息，进而对网络流量进行协议识别。而自动分析方法则基于模式识别、机器学习等理论从网络流量中自动化提取协议特征，并以此特征作为协议识别的根据，减少了人工开销。

根据研究方法的不同，目前应用层协议自动识别方法主要包括基于预设规则的协议识别方法、基于载荷特征的协议识别方法、基于主机行为的协议识别方法以及基于机器学习的协议识别方法四种。

基于预设规则的协议识别方法中最典型的方法是利用端口进行协议识别。但是随着网络应用的快速发展，很多应用都向用户提供了自定义端口的功能，用户可以根据自己的喜好设置网络应用所使用的端口，这使得基于传统的IANA的端口分配规则越来越难准确识别流量类型。比如，不能因为通信使用了80端口，就判定其为HTTP协议的流量。基于载荷特征的协议识别方法主要是使用深度包检测和正则表达式技术，通过匹配数据包载荷中预定义的固定特征串，来进行协议识别。这种识别方法简单、准确度较高，但不能识别加密协议，而且当特征串的数量较多时，计算开销将显著增长，识别效果会降低。基于主机行为的协议识别方法主要利用了网络流量的统计特性，如数据流持续时间、字节数、传输间隔时间等在网络数据传输过程可直接测量的统计参数。此类方法有效避免前两种方法的特征提取操作，但因统计信息采集繁琐，且受网络环境影响，统计结果可能不稳定，应用层协议识别的准确度偏低。

面对与日俱增的网络流量，基于机器学习的协议识别方法是目前效果较好的一类应用层协议识别方法。根据分类模型结构的不同，机器学习方法可以分为浅层学习和深度学习两类。浅层学习算法本质上属于浅层结构算法，主要包括支持向量机、朴素贝叶斯、决策树、k-means等机器学习算法。这些算法在应用层协议识别领域应用时，难以表示复杂的非线性函数关系，处理复杂问题的泛化能力有限，而且依赖于人工选择特征，特征选择的好坏会严重影响协议识别效果。

相比于浅层学习算法，深度学习算法的特征是从原始数据中自动学习得到。深度学习算法不需要繁琐的特征提取与特征数据建模，仅需依据原始数据，通过多层网络学习得到原始数据的抽象高层特征。卷积神经网络是深度学习领域目前最为重要的模型。卷积神经网络已经应用在自然语言处理、图像分类与识别、语音识别等领域，并且取得了很好的效果，但在协议识别领域的应用相对较少。

目前，卷积神经网络在应用层协议识别领域的应用尚处于起步阶段。如何将网络流量转化为卷积神经网络的输入缺乏深入研究，卷积神经网络结构的设计也需要系统分析，充分考虑网络结构和参数对应用层协议识别过程的影响。在提高卷积神经网络训练效率的同时，提升应用层协议识别的准确率，是该领域研究的核心目标。

发明内容

发明目的：为克服现有技术的缺陷，本发明提供一种基于二维卷积神经网络的应用层协议识别方法。本发明以网络流为分析对象，所涉及的网络流可以是一个完整的TCP连接或者一次完整的UDP交互。同一种协议的网络流之间存在一定的相似性，可以利用这种相似性区分不同协议产生的网络流量。本发明首先从捕获的原始网络数据中提取出网络流，然后将网络流转化为二维特征矩阵作为二维卷积神经网络的输入，基于二维卷积神经网络自动提取合适特征作为网络协议识别的基础，并进行卷积神经网络的训练。最后，利用训练好的卷积神经网络分类模型对应用层协议信息未知的网络流量进行网络协议识别。本发明能够避免应用层协议识别领域人工提取特征的困难，有效提高应用层协议识别结果的准确率。

技术方案：为实现上述技术效果，本发明提出一种基于二维卷积神经网络的应用层协议识别方法，包括以下步骤：

(1)数据预处理，包括步骤：

(1-1)将捕获的原始网络流进行流重组，将捕获的每一条原始网络流中捕获的数据包重新整合为有序流；

(1-2)对重组得到的每一条网络流进行流切分，截取出每条网络流前部的一段固定长度的数据作为该条网络流协议识别的依据；

(1-3)对每一条网络流进行归一化处理：为每一条网络流构造一个长度与相应截取数据的长度相同的向量x，将截取数据中每个字节对应的十进制数值依次赋给向量中的各个分量，将向量x中每个分量的数值除以256，使分量的取值统一到区间[0，1)内；然后，将向量x中的所有分量按排序等分为若干组，建立二维特征矩阵，以每一组为对应矩阵中的一行的规律将向量x中的所有分组依次填充到二维特征矩阵中；

(1-4)为每一条原始网络流添加应用层协议类型标签；

(2)搭建二维卷积神经网络，二维卷积神经网络输入层的数据格式与步骤(1)中二维特征矩阵的格式一致；将步骤(1)中得到的各条网络流的二维特征矩阵和相应的应用层协议类型标签作为训练数据，对二维卷积神经网络进行训练，训练过程中根据二维卷积神经网络输出的预测值与真实的应用层协议标签之间的差异，调整卷积神经网络中的各项参数，迭代训练二维卷积神经网络，直至满足预设的停止条件；

(3)捕获应用层信息未知的网络流，对捕获的网络流依次进行流重组、流切分、归一化处理，得到应用层信息未知的网络流的二维特征矩阵，将二维特征矩阵输入训练好的二维卷积神经网络，计算得到网络流的应用层协议类型。

进一步的，所述一条网络流为一次完整的TCP连接所形成的TCP流，或者一次UDP交互所形成的UDP流。

进一步的，对于TCP流的流重组步骤为：以TCP连接建立的时刻为TCP流的开始时刻，以TCP连接建立连接断开的时刻作为TCP流的结束时刻，利用TCP首部的序列号和标识，将到达的数据包重新整合为一条有序流；对于UDP流的流重组步骤为：设置一个时间窗口，以时间窗口中第一个数据包的发送时间为UDP流的开始时间，在时间窗口所规定的时间内未捕获下一个数据包，认为这条UDP流结束，将该时刻作为UDP流的结束时间，将时间窗口内捕获到的所有UDP数据包按照捕获时间从前到后进行排序。

进一步的，所述步骤(1-4)中采用one-hot标签的方式标识应用层协议类型标签。

进一步的，所述卷积神经网络结构包括依次级联的输入层、C1层、S2层、C3层、S4层、FC5层、FC6层、FC7层和输出层，其中，C1层、C3层为卷积层，S2、S4为池化层，FC5层、FC6层、FC7层为全连接层。

进一步的，所述输出层为一个SoftMax分类器，输出层有n个神经元，n为应用层协议的类别总数。

有益效果：与现有技术相比，本发明具有以下优势：

本发明充分利用了二维卷积神经网络的优势，不需要人工选择特征，由卷积神经网络在训练数据的基础上，自动提取特征作为应用层协议识别的基础。卷积神经网络学习获得的高层特征比基于专家经验的人工特征能够更好完成分类任务，本方法所能达到的应用层协议识别准确率比现有方法更高。

附图说明

图1为本发明的整体实现流程示意图；

图2为本发明实施例的二维卷积神经网络结构图。

具体实施方式

下面结合附图和具体实施例对本发明作更进一步的说明。

图1所示为本发明的一个实施例，该实施例包括以下步骤：

(1)数据预处理：对捕获的原始网络流量进行数据预处理，通过流重组与切分、归一化处理等子步骤，将原始的网络流量转换成符合二维卷积神经网络输入的形式。

(2)分类模型的构建：将训练数据集提供给所设计的二维卷积神经网络模型，卷积神经网络预测数据所对应的应用层协议信息，根据预测值与数据真实标签的差异，调整卷积神经网络中的各项参数，迭代反复，在达到训练停止条件时输出训练好的二维卷积神经网络。

(3)未知网络流的应用层协议识别：将应用层信息未知的网络流输入二维卷积神经网络，卷积神经网络通过逐层计算，输出网络流所隶属的应用层协议信息。

参考图1所示的整体实现流程，本实施例的基于二维卷积神经网络的应用层协议识别方法主要包括数据预处理、分类模型的构建、未知网络流的应用层协议识别等3个部分，具体的实施方式以下分别说明。

(1)数据预处理

数据预处理是进行应用层网络协议识别的重要步骤，其目的是从捕获的网络流量中提取出网络流，并将网络流转换成符合卷积神经网络输入的形式。数据预处理可以细分为三个子步骤：首先进行流重组与切分，得到网络流信息；其次，对网络流数据进行归一化处理；最后，为网络流标注协议标签，构建训练数据集，便于卷积神经网络的训练，其中的最后一步是在训练阶段所需要的。

网络流量数据可以看作有序的字节流。网络流量的相邻字节具有紧密的关联关系，从流量负载中可以看到一些具有明显协议特征的短序列，利用卷积神经网络中的卷积核和采样窗口遍历网络流量，可以自动化提取出这些短序列特征，以便进行应用层网络协议的识别。

在进行应用层协议识别时，首先需要将连续的网络流量按照一定粒度进行划分。本发明关注的是网络流的内容，所涉及的网络流可以是一个完整的TCP连接或者一次完整的UDP交互。对于TCP流，可以根据TCP连接建立和连接断开信息，来标识TCP流的开始与结束，利用TCP首部的序列号和标识将到达的数据包重新整合为一条有序流。而对于UDP流，由于没有连接建立的过程，可以设置一个固定的时间窗口，根据数据包的发送时间确定UDP流的开始和结束，在规定时间内未捕获流的下一个数据包认为这条流结束，而后将指定时间窗口内的UDP数据包按照捕获的先后顺序进行拼接。

在提取出网络流之后，需要进行流切分。流切分的目的是从重组得到的网络流中切分出用于应用层协议识别的数据内容。由于协议首部的字段边界通常难以准确定位，在这种情况下，本发明选取网络流前部的一段固定长度的数据作为协议识别的依据，一方面可以确保将应用层的首部包含进来，另一方面，应用层数据负载中位于前面的数据往往更能够体现应用层协议的特征。卷积神经网络要求输入数据格式相同，因此本发明实施例采用每条网络流前部的784字节数据作为判别依据，选择784这个数值是因为在后期处理时，正好可以将相应的网络流数据映射为一个28x28的二维特征矩阵。

由于采样数据的字节取值范围较大，不利于数值求解和模型训练，为了便于二维卷积神经网络的分析处理，需要将协议数据归一化。归一化的具体步骤如下。首先，构造一个长度为784字节的向量x，将每个字节对应的十进制数值赋给向量中的每个分量。其次，对x中每个分量的数值进行归一化处理。归一化的方法是将每个分量的数值除以256，使分量的取值统一到[0，1)区间。这种处理方式主要有两方面优势：一是让协议数据取值分布更加紧凑，二是让不同协议数据处于同一个数量级，适合对比评价，提高模型的学习能力。由于卷积神经网络的输入通常是二维特征矩阵，还需要将向量x转化为可表征图像的二维特征矩阵，具体转化方法是将x中的元素按照顺序每28个元素放入一行，共有28行，得到一个28x28的二维特征矩阵。

在训练阶段，为了构造训练数据集，还需要在预处理时为网络流标注协议标签，说明每条网络流属于哪种应用层协议。所提供的训练数据属于离散型数据，one-hot标签方式对于离散型数据而言是一种较好的标签方式。one-hot标签标识由比特0-1序列组成，使用one-hot标识方式可以将离散特征映射到欧式空间。这种处理适合于离散特征之间距离和相似度的计算。本发明例采用one-hot标签标识描述网络流所属的协议类型。举例来看，已知应用层协议类型的总数量为N，据此设置一个维度为N的向量对流进行标识。如果网络流属于第n种协议，则向量中第n位元素的取值为1，其余位设置为0。如N＝5，n＝3，对应于[0，0，1，0，0]^T，表示网络流属于第3种协议。将网络流数据及其对应的应用层标签一起保存到数据集，用于后续二维卷积神经网络的训练。

(2)分类模型的构建

该步工作首先需要针对流量识别的需求设计二维卷积神经网络的结构，此后，利用训练数据集对二维卷积神经网络进行训练，使卷积神经网络具有识别网络流量所对应的应用层协议的能力。

针对网络协议识别的实际需求，本发明实施例在设计卷积神经网络结构时考虑了如下因素。首先，根据数据集的特征，设计输入层的数据格式为28x28的矩阵。鉴于网络协议数据的复杂性，为了提高协议识别的准确率，设计了包含多个卷积层、池化层、全连接层的卷积神经网络。其次，针对网络层数增加引发梯度消失、过拟合、退化等问题，采用了ReLU函数、Dropout机制、3x3或5x5卷积核。此外，为了保证模型训练的效率，加快算法的收敛速度，减少振荡，采用了指数衰减的学习率。

本发明实施例所使用的卷积神经网络结构包括Input层、C1层、S2层、C3层、S4层、FC5层、FC6层、FC7层和Output层，其中C1层、C3层为卷积层、S2、S4为池化层、FC5层、FC6层、FC7层为全连接层，具体网络结构如图2所示。为了多角度提取局部特征，C1层选用32个卷积核，C3层选用64个卷积核。由于参数误差可能导致均值偏移，为了能够尽可能地保留局部特征的纹理信息，S2层、S4层选用最大值采样。首先是两个交替的卷积层和池化层。C1层是第一个卷积层，首先对Input层进行填充处理，使得卷积后映射的图像与Input层的图像大小相等；然后选取32个3x3卷积核，并与偏置项相加；最后使用ReLU激活函数激活，得到32张28x28特征图像。S2层是第一个池化层，对C1层输出图像进行最大值池化，池化窗口设置为2x2，得到32张14x14特征图像。C3层是第二个卷积层，使用64个5x5卷积核，其处理方式与C1层相同，得到64个14x14特征图像。S4层是第二个池化层，得到64张7x7特征图像。

然后是三个全连接层：FC5、FC6、FC7。FC5层有3316个神经元，与S4层进行全连接，加上偏置项，使用ReLU函数激活。与FC5层进行全连接的FC6层有256个神经元，加上偏置项，然后使用ReLU函数激活。与FC6进行全连接的FC7层有64个神经元，加上偏置项，使用ReLU函数激活。采用Dropout策略，丢弃50％的特征。

最后一层是Output层，实际是一个SoftMax分类器，输出的是样本的概率分布。SoftMax分类器能够将包含任意实数的K维向量转化成另一个K维向量，使得新的K维向量的每个元素的取值在0～1之间，且所有元素的总和为1。这种转化函数可以凸显占比最大的项目，抑制远小于最大项的其他分量。Output层有n个神经元，n由应用层协议分类的数量决定。根据不同的协议识别问题，可以微调模型。

卷积神经网络的训练包括正向传播和反向传播两部分。在训练时，首先是对一批训练样本进行正向传播，计算网络每一层的输出值，最终通过损失函数计算出卷积神经网络对于样本标签的预测值与真实标签值之间的误差。卷积神经网络训练的实质就是求解损失函数的极小值，使误差最低，这意味着卷积神经网络的分类结果越精确。这种最优化问题可以用梯度下降法进行求解。梯度下降法的原理是沿着梯度向量的反方向进行迭代以期能够达到损失函数的极值点。梯度下降法在反向传播的过程中实施。但是，为了实施梯度下降法，需要在正向传播的阶段收集一些数据。其中，最主要的是在正向传播时，计算每个样本的损失函数在每一层的权值参数以及偏置参数的梯度值，进而通过计算一批训练样本的梯度的均值，得到整体梯度值。

反向传播过程将对卷积神经网络中的参数进行更新，其起点是输出层，终点是输入层。通过不断迭代，促使参数更新朝着二维卷积神经网络收敛的方向进行，最终获得使损失函数达到极小值的网络结构。为了求解极小值，本发明实施例使用了Mini-Batch随机梯度下降法，方法将数据集分成若干批，采用部分样本代替全部样本，按批计算损失函数，能够保证参数更新朝着模型收敛的方向进行。通过不断迭代，求解出极值点，此时所得到的网络结构就是满足训练条件要求的网络结构。

(3)未知网络流的应用层协议识别

在二维卷积神经网络达到训练要求以后，即可以利用训练得到的二维卷积神经网络进行未知网络流的应用层协议识别。对截获的应用层信息未知的网络流量首先进行数据预处理。通过流重组与切分，得到网络流信息，并进而对网络流数据进行归一化处理，转化为适合作为卷积神经网络输入的二维特征矩阵。之后，将二维特征矩阵数据输入经过训练的二维卷积神经网络。二维卷积神经网络将依据训练阶段学习到的知识，推断网络流量所隶属的应用层协议。

综上所述，本发明的基于二维卷积神经网络的应用层协议识别方法，充分利用了卷积神经网络能够自动通过多层网络学习获得原始数据抽象高层特征的优势，首先通过训练数据集使卷积神经网络具备对网络流量的应用层协议进行识别的能力，而后利用训练好的二维卷积神经网络对应用层信息未知的网络流量进行协议识别，规避了人工提取特征的困难，提高了应用层协议识别的准确率。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于二维卷积神经网络的应用层协议识别方法，其特征在于，包括顺序执行的步骤(1)至(3)：

(1)数据预处理，包括步骤：

(1-1)将捕获的原始网络流进行流重组，将捕获的每一条原始网络流中捕获的数据包重新整合为有序流；

(1-2)对重组得到的每一条网络流进行流切分，截取出每条网络流前部的一段固定长度的数据作为该条网络流协议识别的依据；

(1-3)对每一条网络流进行归一化处理：为每一条网络流构造一个长度与相应截取数据的长度相同的向量x，将截取数据中每个字节对应的十进制数值依次赋给向量中的各个分量，将向量x中每个分量的数值除以256，使分量的取值统一到区间[0，1)内；然后，将向量x中的所有分量按排序等分为若干组，建立二维特征矩阵，以每一组为对应矩阵中的一行的规律将向量x中的所有分组依次填充到二维特征矩阵中；

(1-4)为每一条原始网络流添加应用层协议类型标签；

(2)搭建二维卷积神经网络，二维卷积神经网络输入层的数据格式与步骤(1)中二维特征矩阵的格式一致；将步骤(1)中得到的各条网络流的二维特征矩阵和相应的应用层协议类型标签作为训练数据，对二维卷积神经网络进行训练，训练过程中根据二维卷积神经网络输出的预测值与真实的应用层协议标签之间的差异，调整卷积神经网络中的各项参数，迭代训练二维卷积神经网络，直至满足预设的停止条件；

(3)捕获应用层信息未知的网络流，对捕获的网络流依次进行流重组、流切分、归一化处理，得到应用层信息未知的网络流的二维特征矩阵，将二维特征矩阵输入训练好的二维卷积神经网络，计算得到网络流的应用层协议类型。

2.根据权利要求1所述的一种基于二维卷积神经网络的应用层协议识别方法，其特征在于，所述一条网络流为一次完整的TCP连接所形成的TCP流，或者一次UDP交互所形成的UDP流。

3.根据权利要求2所述的一种基于二维卷积神经网络的应用层协议识别方法，其特征在于，对于TCP流的流重组步骤为：以TCP连接建立的时刻为TCP流的开始时刻，以TCP连接建立连接断开的时刻作为TCP流的结束时刻，利用TCP首部的序列号和标识，将到达的数据包重新整合为一条有序流；对于UDP流的流重组步骤为：设置一个时间窗口，以时间窗口中第一个数据包的发送时间为UDP流的开始时间，在时间窗口所规定的时间内未捕获下一个数据包，认为这条UDP流结束，将该时刻作为UDP流的结束时间，将时间窗口内捕获到的所有UDP数据包按照捕获时间从前到后进行排序。

4.根据权利要求3所述的一种基于二维卷积神经网络的应用层协议识别方法，其特征在于，所述步骤(1-4)中采用one-hot标签的方式标识应用层协议类型标签。

5.根据权利要求4所述的一种基于二维卷积神经网络的应用层协议识别方法，其特征在于，所述卷积神经网络结构包括依次级联的输入层、C1层、S2层、C3层、S4层、FC5层、FC6层、FC7层和输出层，其中，C1层、C3层为卷积层，S2、S4为池化层，FC5层、FC6层、FC7层为全连接层。

6.根据权利要求5所述的一种基于二维卷积神经网络的应用层协议识别方法，其特征在于，所述输出层为一个SoftMax分类器，输出层有n个神经元，n为应用层协议的类别总数。