CN112115467A

CN112115467A - 一种基于集成学习的半监督分类的入侵检测方法

Info

Publication number: CN112115467A
Application number: CN202010925526.6A
Authority: CN
Inventors: 肖洪光; 陈浩
Original assignee: Changsha University of Science and Technology
Current assignee: Changsha University of Science and Technology
Priority date: 2020-09-04
Filing date: 2020-09-04
Publication date: 2020-12-22

Abstract

本发明公开了一种基于集成学习的半监督分类的入侵检测方法，其特征在于，主要方法为采用TSVM算法作为半监督分类的算法，首先对原始标记数据集训练出一个初始SVM，使用该学习器对未标记样本打标，基于打标后的样本重新训练SVM，最终得到一组扩展后的标记数据。利用原始标记数据和扩展后的标记数据来训练LightGBM框架作为集成学习的分类器，能够有效的区分各种攻击类型。本发明只需要少量的标记数据就可以获得较优的性能，特别针对出现频率较低的攻击方式，我们采用GAN生成更多的数据来进行训练。相比较传统的入侵检测系统，具有较高的准确率，并且可以及时做出响应。

Description

一种基于集成学习的半监督分类的入侵检测方法

技术领域

本发明涉及网络安全领域，具体涉及一种基于集成学习的半监督分类的入侵检测方法

背景技术

在我国高新技术水平不断提升的背景下，计算机技术、网络技术得到了进一步的优化完善。但随之而来的是网络攻击行为不断涌现，网络攻击方式变得越来越复杂。Symantec2018年互联网安全威胁报告中指出,每10个被分析的URL中就有1个是恶意的。并且随着云计算的迅速发展，在个人电脑上犯的安全错误，极有可能也会发生在云中。一个配置错误的云工作负载或存储实例可能会使云服务公司损失几百万美元。2017年5月和6月，勒索软件“WannaCry”和“Petya”在150多个国家的一万多家组织中发起攻击。在国内，我们通过国家互联网应急中心(CNCERT)发表的《2019年前三季度智能设备恶意程序活动情况报告》可知，2019年捕获的智能设备恶意程序样本数量达到了290.69万个，恶意程序服务器端传播源IP地址1.86万个、发现329.26万个智能设备IP地址疑似感染恶意程序。仅仅依靠传统的入侵检测系统等安全防范措施已经满足不了用户对网络安全的要求。

发明内容

针对现有技术中的不足，本发明提供的一种基于集成学习的半监督分类的入侵检测方法可以在网络入侵发生时及时做出响应。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于集成学习的半监督分类的入侵检测方法，其特征在于，包括以下步骤：

S1、使用生成对抗网络(GAN)生成更多的U2R数据集以提高该类攻击类型的检测率

S2、使用生成的数据集与10％的KDD-NSL数据集组合产生数据集合D_l

S3、使用数据集D_l训练TSVM神经网络作为初始预测模型

S4、使用训练好的TSVM对无标签数据进行预测得到伪标签数据集D′_u

S5、使用半监督学习算法得到一组有标签和无标签集合数据集

S6、使用集成学习的方法训练有标签和无标签集合数据集，得到最后的模型

进一步地,步骤S1中使用生成对抗网络模拟真实的U2R数据的具体方法为：

S1-1、从NSL-KDD数据集中获取训练数据，从训练数据中选取所有的U2R数据作为生成对抗网络的真实数据X。

S1-2、生成模型G通过捕捉真实样本x的概率分布，使用一组随机变量z生成样本G(z)

S1-3、判定模型D判断D(G(z))的大小，D(X)和G(z)交替地最小化和最大化V(D,G)

S1-4、最终求得近似最优解的生成模型minG，minG生成足够的U2R数据

进一步地，所述步骤S3训练TSVM神经网络作为初始预测模型，其具体做法为：

根据公式1作为计算(w，b)，ξ：

s.t.y_i(w^Tx_i+b)≥1-ξ_i，i＝1，2，…，l，

ξ_i＞＞0，i＝1，2，…，m，

首先使用有标记样本集训练出一个初始SVM，0接着使用该学习器对未标记样本进行打标，这样所有的样本都有了标记，并基于这些有标记的样本重新训练SVM，之后在寻找易出错样本不断调整。算法伪代码如下：

输入：有标记的样本集D_l＝{(x₁，y₁)，(x₂，y₂)，……，(x_l，y_l)}；

未标记的样本集D_u＝{x_l+1，x_l+2，……x_l+u}；

折中参数C_l，C_u

过程：

S3-1：用D_l训练一个SVM_l作为初始SVM；

S3-2：用SVM_l对D_u中样本进行预测，得到伪标记

S3-3：初始化C_l，＞＞C_u；

S3-4：while C_u＜C_l do

S3-5：基于D_lD_u求解式1，得到(w，b)，ξ；

S3-6：

S3-7：

S3-8：

S3-9：基于D_l D_u

C_lC_u重新求解，得到(w，b)，ξ；

S3-10：end while

S3-11：C_u＝min{2C_u，C_l}

S3-12：end while

输出：未标记样本的预测结果：

进一步地所述步骤S4使用训练好的TSVM对无标签数据进行预测得到伪标签数据集D′u其具体做法为：

将S3生成伪标签赋值给对应的样本集形成

进一步地，所述步骤S5使用半监督学习算法得到一组有标签和无标签集合数据集，其具体做法为：样本集D_l和D′_u组成第三步骤的训练数据集。

进一步地，所述步骤S5使用集成学习的方法训练有标签和无标签集合数据集，得到最后的模型，其具体做法为选用LightGBM框架来实现集成学习GBDT模型：

其中使用的具体梯度提升树算法如下：

输入：

训练集

损失函数L(y，f(x))；

输出：回归树

S6-1初始化

S6-2：for m＝1，2，…M do

(a)按照下面公式计算残差

(b)拟合残差r_mi学习一个回归树，得到第m棵树的叶节点区域R_m，j，j＝1，2，…J

(c)找出一颗误差最小的树(构造树的过程与CART相同)

(d)更新

S6-3：得到回归问题提升树

本发明的有益效果为：本发明首先采用生成对抗网络生成足够的U2R数据解决系统对U2R数据检测不敏感的问题，从而更好地识别U2R攻击，然后将10％的NSL-KDD带标记的数据与生成的U2R数据融合成带标签的训练数据集，并通过TSVM算法对带标记的数据进行特征分类，形成最后再对未标记的数据进行预测，给未标记数据一个标签。我们利用原始标记数据和预测后的标记数据训练了一个能多分类的LightGBM模型，有效地对网络流量进行分类。

本发明只需要少量的标记数据就可以获得较优的性能，特别是针对出现频率较低的攻击，相比于传统的入侵检测系统，具有较高的查全率和准确率，并且可以及时做出响应。

附图说明

图1为本发明的流程图

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，

只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易

见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种基于集成学习的半监督分类的入侵检测方法包括以下步骤：

S3、使用数据集D_l训练TSVM神经网络作为初始预测模型

步骤S1中使用生成对抗网络模拟真实的U2R数据的具体方法为：

S1-3、判定模型D判断D(G(z))的大小，D(X)和G(z)交替地最小化和最大化V(D，G)

步骤S3训练TSVM神经网络作为初始预测模型，其具体做法为：

根据公式1作为计算(w，b)，ξ：

s.t.y_i(w^Tx_i+b)≥1-ξ_i，i＝1，2，…，l，

ξ_i＞＞0，i＝1，2，…m，

未标记的样本集D_u＝{x_l+1，x_l+2，……x_l+u}；

折中参数C_l，C_u

过程：

S3-1：用D_l训练一个SVM_l作为初始SVM；

S3-2：用SVM_l对D_u中样本进行预测，得到伪标记

S3-3：初始化C_l，＞＞C_u；

S3-4：whileC_u＜C_ldo

S3-5：基于D_lD_u求解式1，得到(w，b)，ξ；

S3-6：

S3-7：

S3-8：

S3-9：基于D_lD_u，

C_lC_u重新求解，得到(w，b)，ξ；

S3-10：end while

S3-11：C_u＝min{2C_u，C_l}

S3-12：end while

输出：未标记样本的预测结果：

步骤S4使用训练好的TSVM对无标签数据进行预测得到伪标签数据集D′_u其具体做法为：

将S3生成伪标签赋值给对应的样本集形成

步骤S5使用半监督学习算法得到一组有标签和无标签集合数据集，其具体做法为：样本集D_l和D′_u组成第三步骤的训练数据集。

步骤S5使用集成学习的方法训练有标签和无标签集合数据集，得到最后的模型，其具体做法为选用LightGBM框架来实现集成学习GBDT模型：

其中使用的具体梯度提升树算法如下：

输入：

训练集

损失函数L(y，f(x))；

输出：回归树

S6-1初始化

S6-2：for m＝1，2，…M do

(a)按照下面公式计算残差

(c)找出一颗误差最小的树(构造树的过程与CART相同)

(d)更新

S6-3：得到回归问题提升树

LightGBM(Light Gradient Boosting Machine)是一个实现GBDT算法的框架，它的优化部分包括以下几个方面：

基于Histogram的决策树算法

带深度限制的Leaf-wise的叶子生长策略

直方图做差加速

直接支持类别特征

Cache命中率优化

基于直方图的稀疏特征优化

多线程优化

因此我们的发明可以具有以下优点：

更快的训练速度

更低的内存消耗

更好的准确率

分布式支持，可以快速处理海量数据。

Claims

1.一种基于集成学习的半监督分类的入侵检测方法，其特征在于，包括以下步骤：

S3、使用数据集D_l训练TSVM神经网络作为初始预测模型

S6、使用集成学习的方法训练有标签和无标签集合数据集，得到最后的模型。

2.根据权利要求1所述的集成学习的半监督分类的入侵检测方法，其特征在于，所述步骤S1中使用生成对抗网络模拟真实的U2R数据的具体方法为：

S1-4、最终求得近似最优解的生成模型minG，minG生成足够的U2R数据。

3.根据权利要求1所述的集成学习的半监督分类的入侵检测方法，其特征在于，所述步骤S3训练TSVM神经网络作为初始预测模型，其具体做法为：

根据公式1作为计算(w，b)，ξ：

s.t.y_i(w^Tx_i+b)≥1-ξ_i，i＝1，2，…，l，

ξ_i＞＞0，i＝1，2，…，m，

未标记的样本集D_u＝{x_l+1，x_l+2，……x_l+u}；

折中参数C_l，C_u

过程：

S3-1：用D_l训练一个SVM_l作为初始SVM；

S3-2：用SVM_l对D_u中样本进行预测，得到伪标记

S3-3：初始化C_l，＞＞C_u；

S3-4：while C_u＜C_l do

S3-5：基于D_lD_u求解式1，得到(w，b)，ξ；

S3-6：

S3-7：

S3-8：

S3-9：基于D_lD_u，

C_lC_u重新求解，得到(w，b)，ξ；

S3-10：end while

S3-11：C_u＝min{2C_u，C_l}

S3-12：end while

输出：未标记样本的预测结果：

。

4.根据权利要求1所述的集成学习的半监督分类的入侵检测方法，其特征在于，所述步骤S4使用训练好的TSVM对无标签数据进行预测得到伪标签数据集D′_u其具体做法为：

将S3生成伪标签赋值给对应的样本集形成

5.根据权利要求1所述的集成学习的半监督分类的入侵检测方法，其特征在于，所述步骤S5使用半监督学习算法得到一组有标签和无标签集合数据集，其具体做法为：样本集D_l和D′_u组成第三步骤的训练数据集。

6.根据权利要求1所述的集成学习的半监督分类的入侵检测方法，其特征在于，所述步骤S5使用集成学习的方法训练有标签和无标签集合数据集，得到最后的模型，其具体做法为选用LightGBM框架来实现集成学习GBDT模型：

其中使用的具体梯度提升树算法如下：

输入：

训练集

损失函数L(y，f(x))；

输出：回归树

S6-1初始化

2：for m＝1，2，…M do

(a)按照下面公式计算残差

(c)找出一颗误差最小的树(构造树的过程与CART相同)

(d)更新

3：得到回归问题提升树

。