CN110808945B

CN110808945B - 一种基于元学习的小样本场景下网络入侵检测方法

Info

Publication number: CN110808945B
Application number: CN201910858882.8A
Authority: CN
Inventors: 沈继忠; 许聪源; 杜歆
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2019-09-11
Filing date: 2019-09-11
Publication date: 2020-07-28
Anticipated expiration: 2039-09-11
Also published as: CN110808945A

Abstract

本发明公开了一种基于元学习的小样本场景下网络入侵检测方法。该检测方法包括：数据包捕获，从目标网络上抓取各种类型的流量信息；构建数据集，从采集的原始流量信息中构建出用于元学习的2个数据集；特征提取，从数据集里选择2个相同结构的数据流，通过对数据流进行特征提取得到2组特征；比较，对2组特征进行比对，输出差异值；分类，每一个测试集里的样本会和支持集里的样本一一对比，根据与不同类型样本的平均差异值来确定样本的预测标签；输出，如果得到的预测标签是恶意流量，说明检测到了网络入侵，输出入侵报警信息。通过本发明可以在仅获取少量恶意样本的情况下实现对这类恶意样本的检测，即实现小样本场景下的网络入侵检测。

Description

一种基于元学习的小样本场景下网络入侵检测方法

技术领域

本发明涉及信息安全技术领域，尤其涉及一种基于元学习的小样本场景下网络入侵检测方法。

背景技术

网络入侵检测系统的作用是鉴别网络流量，主要将网络流量分为正常流量和带有入侵攻击的流量。为了应对瞬息万变的网络空间环境，目前网络入侵检测系统需要使用以机器学习为代表的智能化算法来实现流量的鉴别。在传统的机器学习中，机器专注于一个特定的任务T。在网络入侵检测领域，一个基本的任务是用分类器判断网络流量样本的属性，即我们有K个关于该任务的样本和标签

其中

我们的目的是构建一个分类器模型f，其输入是某一样本x_i，输出是该样本对应标签y_i的估计值。在一般的监督学习场景下，样本数量K较大，并划分为两个部分：训练集

和测试集

使用传统机器学习技术的网络入侵检测系统已经取得了较好的成果，对于样本数较大的恶意样本的检测效果较好。但是当新型恶意样本在网络空间中刚出现时，由于可以截获的样本数量较小，此时基于传统机器学习技术的网络入侵检测系统检测效果较差。

发明内容

本发明的目的在于针对目前没有成熟的小样本场景下的网络入侵检测方法这一现状，提出一种基于元学习的小样本场景下网络入侵检测方法。

当样本数量K较小时，网络入侵检测问题是一种小样本学习问题，此时传统的机器学习方法会遭遇过拟合，因此检测效果不好。而元学习方法可以在样本数较小时避免过拟合的问题，实现小样本场景的网络入侵检测方法。通过元学习方法，机器不再专注于一个特定的任务，而是构建元任务模型F，通过对任务集

中的任务进行学习，进而获得完成新任务T_N的能力。以学习N个任务的元学习方法为例，任务N中的分类类别和前N-1个任务中分类类别不同。即元学习通过“学会学习”的方式实现了迁移学习。

在网络入侵检测领域，我们将一个特定任务T_i定义为区分正常样本和特定种类恶意样本的二分类任务，且不同任务的分类类型可以不同。考虑一个简化的场景，即流量样本有5种类型，记为O，A，B，C和D。O表示正常流量样本，通常获取难度较低。A，B，C，D是4种不同类型的恶意流量样本，其中A，B和C是数据集中已有大量标记样本的类型，数量足够多，D是一种新型的恶意样本，只有较少的K个。我们的最终目标是完成终极任务T_d：通过学习K个类型D的恶意样本和K个正常样本得到分类器模型f_d，从而分类未知流量样本，实现对类型D的恶意样本检测。在任务T_d中，这2K个样本构成支持集Su＝{(x₁,y₁),(x₂,y₂),…,(x_2K,y_2K)}，其中

待分类的未知流量样本构成测试集。由于K较小，为了完成任务T_d，仅有2K的样本是不够的。但是，我们可以采样另外三种类型的恶意流量样本，与正常样本一起构造与终极任务T_d类似的任务T_a、T_b和T_c。以T_a为例：K个类型A的恶意样本和K个正常样本构成采样集Sa＝{(x₁,y₁),(x₂,y₂),…,(x_2K,y_2K)}，其中

而待分类的流量样本构成请求集。此处采样集和请求集用于模拟终极任务T_d中的支持集和测试集。它们的区别在于，采样集和请求集是从带标记的数据集中抽样得到的，即我们可以构造任务集

其中包含了大量类似T_a、T_b和T_c的任务，而由任务T_d构成的任务集是用于测试的任务集

从元学习的角度来看，

和

是元任务模型F的训练集和测试集，因此可以称为元训练集和元测试集。

为了达到上述目的，本发明采用以下技术方案：

一种基于元学习的小样本场景下网络入侵检测方法，包括以下步骤：

步骤1：数据包捕获。从目标网络上抓取各种类型的流量信息，分类打好标签存放。

步骤2：构建数据集。从采集的原始流量信息中构建出用于元学习的2个数据集。这一步骤包括数据的预处理和数据流的重建，将预处理后的流量组合成数据流，以数据流为单位随机划分出采样集、请求集、支持集和测试集，再把采样集和请求集构建成元训练集，把支持集和测试集构建成元测试集。

步骤3：特征提取。从数据集里选择2个相同结构的数据流，通过对数据流进行特征提取得到2组特征。

步骤4：比较。对2组特征进行比较，输出差异值。差异值是一个实数，表示两个输入的数据流的差异。

步骤5：分类。在元学习的训练阶段，每一个请求集里的样本会和采样集里的样本一一对比，根据采样集里样本标签分类计算平均差异值，即计算请求集里的样本和采样集里正常与恶意两类样本的平均差异值。请求集里样本预测的标签是和采样集里平均差异值最小的那一类样本的标签。类似的，在元测试阶段，每一个测试集里的样本会和支持集里的样本一一对比，根据支持集里样本标签分类计算平均差异值。由于元测试阶段不需要大量的任务，且支持集里的样本数量较小，所以可以实现小样本检测。

步骤6：输出。如果得到的预测标签是恶意流量，说明检测到了网络入侵，输出入侵报警信息。

进一步地，所述的数据包捕获步骤，需要得到正常流量样本和至少两类不同的恶意流量样本，其中正常流量样本和一部分类别的恶意流量样本的数量较多，属于大样本场景，另一部分类别的恶意流量样本数量较少，属于小样本场景。

进一步地，所述的将预处理后的流量组合成数据流，是指将具有相同的五元组[源IP，目的IP，源端口，目的端口，协议]的网络流量数据包按时间先后顺序组合在一起，得到数据流，数据流的标签与其中包含的数据包的标签一致，若同一个数据流里包含多种标签的数据包，则由人工介入手动指定一种标签。

进一步地，所述的特征提取步骤和比较步骤通过人工神经网络完成，特征提取网络记为F-Net，比较网络记为C-Net。两个网络是级联关系，构成FC-Net可以实现输入数据流，输出差异值的功能。

进一步地，所述的FC-Net以端到端的方式训练，不需要人工提取特征。

进一步地，所述的特征提取网络F-Net是一个双路的处理三维张量的卷积网络，每一路都由Block I和Block II两种模块交叉排列而成。其中Block I模块由三维卷积操作、批标准化操作、非线性激活操作和随机失活操作组成，Block II模块在Block I模块基础上删去随机失活操作。

进一步地，所述的比较网络C-Net一共由6层组成：连接层、卷积层1、卷积层2、全连接层1、全连接层2和输出层。

进一步地，所述的比较网络C-Net学习得到的比较函数不一定严格满足对称性，但是训练时2个被比较的特征表达随机输入，不区分顺序，最终学习得到的比较函数会近似满足对称性。

本发明有如下的有益效果：

1.本小样本场景下网络入侵检测方法可以在仅获取少量恶意样本的情况下实现对这类恶意样本的检测。

2.本小样本场景下网络入侵检测方法充分利用了网络流量分布的不均衡性。即虽然待检测的恶意网络流量类型样本数量较少，但是相关技术人员可以获取到大量正常的网络流量和其它类型的恶意流量样本用于训练人工神经网络。

3.本小样本场景下网络入侵检测方法使用成熟的卷积操作作为特征提取的主要操作，便于部署到现有的人工智能加速硬件上，无需研发专用的加速硬件，为应用提供了方便。

附图说明

图1是本发明实施例中的小样本场景下网络入侵检测方法的步骤示意图；

图2是本发明实施例中的FC-Net的网络结构示意图；

图3是本发明实施例中的一个小样本检测任务的执行流程示意图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

图1所示的是本发明实施例中的小样本场景下网络入侵检测方法的5个主要步骤示意图，各部分分别表示：1.数据包捕获；2.构建数据集；3.特征提取；4.比较；5.分类。下面对每个步骤做详细描述。

步骤1：数据包捕获。从目标网络上抓取各种类型的流量信息，分类打好标签存放。本发明对流量样本的类型数量没有特别规定，以一个简化的场景为例，流量样本有5种类型，记为O，A，B，C和D。O表示正常流量样本，由于网络空间中大部分流量都是正常的，因此获取难度较低。A，B，C，D是4种不同类型的恶意流量样本，分别是(A)暴力猜解SSH密码的攻击流量样本，(B)HTTP拒绝服务攻击流量样本，(C)端口扫描攻击流量样本和(D)某新型攻击的流量样本。其中A，B和C是已知攻击类型，因此有大量标记样本，即数量足够多，而D是一种新型的恶意样本，只有较少的K个。在这个简化的场景里，K＝2，即我们只获得了2个类型D的恶意样本。

步骤2：构建数据集。从步骤1采集的原始流量信息中构建出用于元学习的2个数据集。这一步骤包括数据的预处理和数据流的重建，先以数据流为单位随机划分出采样集、请求集、支持集和测试集，再把采样集和请求集构建成元训练集，把支持集和测试集构建成元测试集。不同于传统的机器学习，这里数据集不再是简单的划分为训练集和测试集，而是需要生成包含多个任务的元训练集，每个任务定义为在小样本场景下其中一种类型的攻击数据流和正常数据流的二分类任务。元训练集里每个任务中包含采样集和请求集，用于模拟元测试集中的支持集和测试集。

步骤4：比较。对2组特征进行比对，输出差异值。差异值是一个实数，表示两个输入的数据流的差异。

步骤3和步骤4都通过人工神经网络完成，特征提取网络记为F-Net，比较网络记为C-Net。两个网络是级联关系，构成的FC-Net以端到端的方式实现输入数据流，输出差异值的功能。在小样本场景下，只需要将测试集中的样本和支持集中的样本的特征进行对比，根据支持集中不同类别产生的平均差异值来判断被测样本属于哪一种类别，完成小样本分类任务。

图2所示的是本发明实施例中的FC-Net的网络结构示意图，各部分分别表示：

1.特征提取网络F-Net；

2.比较网络C-Net。

F-Net是一个双路的处理三维张量的卷积网络，每一路都由Block I和Block II两种模块交叉排列而成。其中“Conv3D,2×2×2,128”表示三维卷积操作，卷积核大小是2×2×2，共128个通道；“BN3D”表示批标准化，尺寸也是128个通道；“ReLU”表示激活函数使用修正线性单元；“Dropout,0.4”表示随机失活操作，概率为0.4。通过F-Net，两个样本转换成了两个特征表达A和O。

C-Net与电路中的比较器类似，C-Net的输入是F-Net输出的特征，且此类高度非线性的函数人工设计难度较大，常常不如由网络自己学习得到，因此构造C-Net学习这个比较函数，经过训练的C-Net就具有了比较函数的功能。神经网络学习得到的函数不一定严格满足对称性，但是训练时A和O随机输入，如果没有特别的偏置，C-Net会近似满足对称性。C-Net一共有6层：连接层将2个特征图连接到一起，送入2个结构相同的卷积层Block III；卷积结果再送入2个全连接层FC，其中64和1分别表示有64和1个神经元；输出层使用Sigmoid函数，得到特征表达A和O的归一化差异值。

步骤6：输出：如果得到的预测标签是恶意流量，说明检测到了网络入侵，输出入侵报警信息。这里的入侵报警信息包括但不限于直接在屏幕上显示，记录到日志数据库，以及通知入侵防御系统进行切断连接、通知管理人员等操作。

以一个小样本检测任务为例，图3展示了检测的流程。该测试任务中，有2个标签，分别是恶意样本标签D和正常样本标签O。支持集里共有4个样本，分为两类，每类有2个，即样本数K＝2，测试集里有待测试样本，类型未知，用问号表示。该待测试样本通过FC-Net分别和支持集里的4个样本进行一一对比，得到4个特征差异值，分别记为DS(1)～DS(4)。其中DS(2)和DS(3)是和标签为O的正常样本比较得到的，计算DS(2)和DS(3)的平均值，记为DS<O>。同理，DS(1)和DS(4)是和标签为D的恶意样本比较得到的，计算DS(1)和DS(4)的平均值，记为DS<D>。DS<O>和DS<D>衡量了待测样本与支持集里两类样本的平均差异值。比较DS<O>与DS<D>的大小，若DS<O>较小，说明待测样本与标签为O的正常样本更接近，待测样本的预测标签为O，反之亦然。若预测的标签为恶意样本标签D，说明检测到了网络入侵，就输出入侵报警信息。

应当理解的是，上述实施例为了便于普通技术人员理解，描述较为详细且具体，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims

1.一种基于元学习的小样本场景下网络入侵检测方法，其特征在于，包括以下步骤：

步骤（1）数据包捕获：从目标网络上抓取各种类型的流量信息，分类打好标签存放；

步骤（2）构建数据集：从采集的原始流量信息中构建出用于元学习的2个数据集，即将预处理后的流量组合成数据流，再以数据流为单位随机划分出采样集、请求集、支持集和测试集，最后把采样集和请求集构建成元训练集，把支持集和测试集构建成元测试集；

步骤（3）特征提取：从数据集里选择2个相同结构的数据流，通过对数据流进行特征提取得到2组特征；

步骤（4）比较：对2组特征进行比较，输出差异值，差异值是一个实数，表示两个输入的数据流的差异；

步骤（5）分类：每一个测试集里的样本会和支持集里的样本一一对比，根据支持集里样本标签分类计算平均差异值，即分别计算测试集里的样本和支持集里正常与恶意两类样本的平均差异值，测试集里样本预测的标签是和支持集里平均差异值最小的那一类样本的标签；

步骤（6）输出：如果得到的预测标签是恶意流量，说明检测到了网络入侵，输出入侵报警信息。

2.根据权利要求1所述的基于元学习的小样本场景下网络入侵检测方法，其特征在于，所述数据包捕获步骤中，需要得到正常流量样本和至少两类不同的恶意流量样本，其中正常流量样本和一部分类别的恶意流量样本属于大样本场景，另一部分类别的恶意流量样本属于小样本场景。

3.根据权利要求1所述的基于元学习的小样本场景下网络入侵检测方法，其特征在于，所述的将预处理后的流量组合成数据流，是指将具有相同的五元组[源IP，目的IP，源端口，目的端口，协议]的网络流量数据包按时间先后顺序组合在一起，得到数据流，数据流的标签与其中包含的数据包的标签一致，若同一个数据流里包含多种标签的数据包，则由人工介入手动指定一种标签。

4.根据权利要求1所述的基于元学习的小样本场景下网络入侵检测方法，其特征在于，所述的特征提取步骤和比较步骤通过人工神经网络完成，特征提取网络记为F-Net，比较网络记为C-Net，且两个网络是级联关系，构成FC-Net可以实现输入数据流，输出差异值的功能。

5.根据权利要求4所述的基于元学习的小样本场景下网络入侵检测方法，其特征在于，所述的特征提取步骤和比较步骤使用的FC-Net以端到端的方式训练，不需要人工提取特征。

6.根据权利要求4所述的基于元学习的小样本场景下网络入侵检测方法，其特征在于，所述的特征提取网络F-Net是一个双路的处理三维张量的卷积网络，每一路都由Block I和Block II两种模块交叉排列而成，其中Block I模块由三维卷积操作、批标准化操作、非线性激活操作和随机失活操作组成，Block II模块在Block I模块基础上删去随机失活操作。

7.根据权利要求4所述的基于元学习的小样本场景下网络入侵检测方法，其特征在于，所述的比较网络C-Net一共由6层组成：连接层、卷积层1、卷积层2、全连接层1、全连接层2和输出层。

8.根据权利要求4所述的基于元学习的小样本场景下网络入侵检测方法，其特征在于，所述的比较网络C-Net学习得到的比较函数不一定严格满足对称性，但是训练时2个被比较的特征表达随机输入，不区分顺序，最终学习得到的比较函数会近似满足对称性。