CN108429753A

CN108429753A - 一种快速特征匹配的工业网络DDoS入侵检测方法

Info

Publication number: CN108429753A
Application number: CN201810216882.3A
Authority: CN
Inventors: 罗志勇; 许申声; 赵杰; 罗蓉; 李凯凯; 张柔; 季良缘; 夏文彬
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2018-03-16
Filing date: 2018-03-16
Publication date: 2018-08-21

Abstract

本发明提出一种快速特征匹配的工业网络DDoS入侵检测方法，涉及工业网络通信领域，属于信息安全方面，该方法主要利用深度学习模型替换了传统的入侵检测所使用的数据库查找特征匹配模型，完成工业网络中入侵检测系统的设计。该方法首先提取数据包特征，进行特征筛选和构建特征矩阵，再将特征矩阵输入到深度学习模型中进行判别，模型经KDD99数据集训练，对DDoS攻击类型具有极高的识别率。该方法对传统的数据库查找特征匹配速度慢的缺陷做出改进，使系统不再需要等待查找数据库的耗时，极大的提高了匹配速率，另外匹配的精确度高，误报率低，并且部署方便，有效的降低了系统资源的使用，符合工业网络对网络实时性的要求。

Description

一种快速特征匹配的工业网络DDoS入侵检测方法

技术领域

本发明涉及工业网络通信领域，属于信息安全方面，具体涉及一种快速特征匹配的工业网络DDoS入侵检测方法。

背景技术

工业网络是指安装在生产制造环境的一种数字化、双向、多站的通信系统。随着时代的发展，工业网络已经和外部网络的连接越来越密切和频繁，在过去，工业网络与外部互联网之间通常没有物理连接，仅仅作为孤立的局域网存在。但是现在，工业网络不仅仅连接着内部的制造设备，同时也通过Internet连接到了全球各地，实现例如远程监控、远程软件升级、资源统一调配、协作分工等任务。但设备互联互通在满足了现代工业信息化需要的同时，也使得攻击者能够通过外部网络对工业系统进行网络攻击，从而给生产带来巨大的安全隐患。工业网络的安全性问题正在日益凸显，也正是因为工业网络不断的提升连接性，开放性，复杂性，使得工业网络的入侵风险不断增加。为了应对于日益增长的网络入侵威胁，入侵检测系统IDS(Intrusion Detection System)现在已经成为了网络安全防御中的关键组成部分，它通过收集和分析网络中的行为，利用与已知的入侵行为模型的对比或对未知入侵行为的判断分析，在发现可疑传输时，发出警报或者采取主动反应措施的网络安全设备。

本发明重点意在防范以DDoS攻击手段入侵工业网络的行为，DDoS为分布式拒绝服攻击，该攻击的原理是在短时间内发起巨量请求，使服务器资源耗尽而瘫痪，常见类型如SYNFlooding、ACKFlooding攻击等。DDoS一般的攻击目标是网络核心设施，在工控领域，可攻击的目标有核心交换机，数据服务器等，网络一旦停止服务，各类生产数据、报文、指令无法正常传输，在数据流量密集的工业现场造成的损失将难以估量。目前国内外对该类面向工业网络的入侵检测系统的研究还处在初级阶段，目前应用的解决方案有利用异常检测系统监控系统参数，如CPU占用率、登录失败次数等，这种方案的缺陷在于误报率和漏报率较高；此外还有建立攻击特征数据库，对入站数据进行分析和匹配，这种方式较为消耗系统资源，检测效率低下，这在实时性要求较高的工业网络中是不允许的。因此，需要一种高效且精确的解决方案。

本发明提出一种快速特征匹配的工业网络DDoS入侵检测方法，该方法利用深度学习模型对进入工业内网的数据包进行快速特征匹配，判断数据包是否携带攻击特征，并作出响应。与传统的入侵检测系统相比，该方法将特征的数据库查找过程替换为深度学习特征识别过程，传统方式在数据库查询的过程中浪费了大量的时间，系统需要等待查询结果才可以进行检测，而本方法不需要查询，在模型训练完成的情况下只需进行特征匹配，因此大大提高了检测速度，满足了工业网络数据传输中对时延较为苛刻的要求，同时实现入侵检测与识别。

发明内容

本发明的目的在于提升目前工业网络系统的安全性及实时性，由于传统的工业网络本身较为脆弱，在开放的互联网环境中极易成为攻击目标，但是为了满足现代工业信息化的要求意味着网络必须更加开放，这对工业网络自身的安全性提出了挑战。网络入侵检测则是一种有效的网络安全防护技术，入侵检测系统一般置于Internet接入路由器之后的第一台交换机上，首先抓取网络中流经的数据包，通过分析，匹配是否有DDoS攻击的行为特征，并对这个连接进行下一步处理。但是传统的入侵检测系统存在着匹配速度慢，检测效率低等缺陷，不适合工业网络对实时性的要求。

因此，本发明提出了一种快速特征匹配的工业网络DDoS入侵检测方法，该方法首先提取数据包特征，构建特征矩阵，再将特征矩阵输入到经KDD99数据集训练完成的深度学习模型中进行特征匹配，若被匹配为攻击数据包，则丢弃此数据包，并进行记录；若为正常数据包，则让其通过系统。深度学习模型为经KDD99数据集训练完成的模型，该数据集包含大量DDoS网络攻击样本，样本的质量优秀，很适合作为深度学习的数据集使用，经检测该模型拥有99.9％的 DDoS攻击特征匹配率。该方法舍弃了传统的数据库查询模式，减少了大量的查询耗时，直接利用深度学习模型进行特征匹配，匹配效率和准确度上有极大提升。该方法主要包括以下步骤：

a.抓取由外网进入工业内网的数据包；

b.对数据包进行分析，提取DDos特征数据，并做标准化和归一化处理，转换为特征矩阵；

c.利用经KDD99数据集训练完成的深度学习模型识别DDoS攻击数据，进行快速特征匹配；

d.对匹配结果进行判定，对判定结果进行处理；

e.将判定结果存入日志数据库，并记录数据包的主要特征。

1)步骤a中所描述的抓取由外网进入工业内网的数据包，部署的位置由具体的需求确定，一般部署在受保护资源的位置，或者是Internet接入工业网络后的第一台交换机上。抓取是数据包为所有流经此交换机由外网进入内网的数据包，包括有线，无线流量。

2)步骤b中对数据包进行分析，筛选DDoS特征数据,过滤无用的特征信息，再将数据做标准化，归一化处理转换为特征矩阵。首先将对抓取的数据包进行解包分析，提取特征值，再对特征值进行特征筛选，保留与DDoS攻击特性关联性较强的特征。特征值分为四大类，包括TCP连接基本特征，TCP连接的内容特征，基于时间的网络流量统计特征，和基于主机的网络流量统计特征，具体步骤如下：

2.1)对于提取数据包的特征类型，一共有四大类：

第一类为TCP连接基本特征，特征包含了一些连接的基本属性，如连续时间，协议类型，传送的字节数等；

第二类为TCP连接的内容特征，特征包含了连接内容的一些特征，如登录失败次数，是否获得超级用户权限，使用shell命令的次数等，该特征主要针对于U2R(未授权的本地超级用户特权访问)和R2L(来自远程主机的未授权访问)之类的攻击，由于它们不像DDoS攻击那样在数据记录中具有频繁序列模式，而一般都是嵌入在数据包的数据负载里面，单一的数据包和正常连接没有什么区别，所以抽取了部分可能反应入侵行为的内容特征；

第三类为基于时间的网络流量统计特征，由于网络攻击事件在时间上有很强的关联性，因此统计出当前连接记录与之前一段时间内的连接记录之间存在的某些联系，可以更好的反映连接之间的关系。这类特征又分为两种集合：一个是“same host”特征，只观察在过去两秒内与当前连接有相同目标主机的连接，例如相同的连接数，在这些相同连接与当前连接有相同的服务的连接等等；另一个是“same service”特征，只观察过去两秒内与当前连接有相同服务的连接，例如这样的连接有多少个，其中有多少出现SYN错误或者REJ错误；

第四类为基于主机的网络流量统计特征，使用一个具有100个连接的时间窗，统计当前连接之前100个连接记录中与当前连接具有相同目标主机的统计信息。

2.2)对特征值进行特征筛选，由于在实际的检测过程中并不需要数据包的全部特征信息，仅仅选取了部分与DDoS攻击行为关联性强的特征，特征的筛选有助于降低计算复杂度(减少训练和检测时间，这对工业入侵检测的实时性是很重要的)，消除信息冗余，提高学习算法的准确性，促进数据理解，提高泛化能力。具体步骤如下：

计算训练数据集合D的经验熵H(D):

选择特征A的经验条件熵H(D|A):

计算信息增益:g(D,A)＝H(D)-H(D|A)

其中D为训练数据集合，|D|为样本容量，K为分类数，|Ck|为Ci的样本个数，根据特征A将D划分为n个子集D1，D2.....Dn，|Di|为Di的样本个数，|Di|之和为|D|。

计算相关性：

抽取信息增益和相关性排序的前n1个特征组成特征子集I1和C1，n2个特征组成子集I2和C2，一般n1<n2且n1+n2<30，并按照以下操作进行合并：

(I₁∪C₁)∪(I₂∪C₁)∪(I₂∩C₂)

最后得到特征缩减过后的特征序号。

2.3)将特征数据进行处理，做数值标准化和归一化处理，并转换为特征矩阵，具体步骤如下：

对于符号型数据，需要将符号型数据映射成离散型数据。比如特征协议类型取值为TCP，UDP，ICMP三个符号值，则将其映射成0,1,2三个离散值；特征目标主机的网络服务类型的取值为七十个符号值，则将其映射成0至69个离散值。

对于数值型数据，需要将数值型数据进行数据标准化处理，将数据变换为 [0,1]区间的值，假设对特征x_i进行标准化，采用变换公式其中 x_max表示x_i中的最大值，x_min表示x_i中的最小值。特别的，如果存在

x_max-x_min＝0的情况，则该类特征设为0。

3)步骤c中将特征矩阵输入经KDD99数据集训练完成的深度学习模型，在训练的过程中，使用KDD99数据集中10％的数据进行训练，共包含494021条样本数据，其中DDoS攻击样本达到了391458条，利用训练集反复训练深度学习分类器，使其识别DDoS样本的能力达到99.9％以上。

进一步的，深度学习模型的设计包括：

3.1)深度学习模型层数的设计，包括输入层、隐藏层、输出层，对于本设计，推荐隐藏层的层数n>3。

3.2)输入层及隐藏层的激活函数均采用ReLU函数，f(x)＝max(x,0)，使得前向传播拥有非线性的特性。

3.3)优化策略包括梯度下降算法，学习率更新算法，正则化算法等。

神经网络的优化分为两个阶段，第一阶段通过前向传播算法计算得到预测值，并将预测值和真实值做对比得出差值，然后在第二个阶段通过反向传播算法计算损失函数对每一个参数的梯度，再根据梯度和学习率使用梯度下降算法更新每一个参数。

反向传播中的梯度下降算法综合了梯度下降和随机梯度下降算法的优缺点，每次计算一部分训练数据的损失函数，这一小部分数据被成为一个 batch，每次在一个batch上优化神经网络的参数，可以大大减小迭代所需的次数。

学习率采用了指数衰减法，目的是先使用较大的学习率来快速得到一个比较优的解，然后随着迭代的继续逐步减小学习率，使得模型在训练后期更加稳定。具体实现方法为：

其中decayed_learning_rate是每一轮优化时的学习率，learning_rate为事先设定初始学习率，decay_rate为衰减系数，decay_steps为衰减速度， global_step为全局的迭代轮数。

为了避免过拟合问题，采用了正则化，正则化的思想就是在损失函数中加入了刻画模型复杂度的指标，假设用于刻画模型在训练数据上的表现的损失函数为J(θ)，那么在优化时不是直接优化J(θ)，而是优化J(θ)+λR(w)，其中 R(w)刻画的是模型的复杂程度，λ表示模型复杂损失在总损失中的比例。本发明采用了L2正则化，实现方法为：

3.4)在梯度下降算法中，需要损失函数，损失函数衡量了模型的误差，利用Softmax层，Softmax回归函数将神经网络的输出变成一个概率分布，原始的神经网络输出为y₁,y₂,y₃...y_n，那么经过Softmax回归处理之后的输出为：

这样就把神经网络的输出也变成了一个概率分布，从而可以通过交叉熵来计算预测的概率分布和真实答案的概率分布之间的距离。

4)步骤d中获得深度学习网络的输出结果，进行判定，对判定结果进行处理，具体过程如下：

4.1)输出的结果有两类，分别为正常、入侵。入侵检测系统将根据输出结果进行相应处理。

4.2)若检测结果为入侵，将攻击包丢弃，并将攻击包的源IP地址，TCP源端口、UDP源端口添加进黑名单，再次连接时直接拒绝服务。若检测结果为正常，则不做处理，让其数据包通过。

5)步骤e中将判定结果存入日志数据库，主要将数据包的特征信息，包括 TCP/UDP源端口、TCP/UDP目的端口、IP地址、攻击类型、攻击时间等信息进行持久化，以便人工进行查看，添加/删除黑名单白名单等操作。

本发明有如下效果：

1.本发明提出了基于深度学习的入侵检测模型，不同于传统的入侵检测模型，需要建立入侵特征库，在检测的过程中需要一条一条的进行数据库查找匹配，系统耗费在数据库查询的时间上非常多。而利用训练完成的深度学习模型，仅需要将特征矩阵输入模型，对矩阵进行分类后即可得到检测结果，极大的加快了检测速率，提高了检测精度。

2.本发明对于工业网络进行设计，突出了工业网络对实时性的要求，与传统的入侵检测系统相比占用资源少，部署方便，易于移植。

附图说明

图1为本发明数据包特征筛选流程图。

图2为本发明深度学习模型的实现过程图。

图3为本发明入侵检测系统的运行流程图。

具体实施方式

本发明提出了一种快速特征匹配的工业网络DDoS入侵检测方法，该方法首先提取数据包特征，构建特征矩阵，再将特征矩阵输入到深度学习模型中进行检测，实现高效的入侵检测系统。下面结合附图和具体实施方案对本发明做进一步详细说明。

图1给出了本发明数据包特征筛选流程图，具体是这样实现的：

1.将特征值提取后，计算每个特征的信息增益和相关性；

计算训练数据集合D的经验熵H(D):

选择特征A的经验条件熵H(D|A):

计算信息增益:g(D,A)＝H(D)-H(D|A)

计算相关性：

2.抽取信息增益和相关性排序的前n1个特征组成特征子集I1和C1，n2个特征组成子集I2和C2，一般n1<n2且n1+n2<30；

3.按照以下操作进行合并：

(I₁∪C₁)∪(I₂∪C₁)∪(I₂∩C₂)

4.最后得到特征缩减结果。

图2给出了深度学习模型的实现过程图，具体是这样实现的：

1.训练数据经过数据预处理，输入深度学习模型中进行训练。深度学习模型层数的设计，包括输入层、隐藏层、输出层，对于本设计，推荐隐藏层的层数n>3。

输入层及隐藏层的激活函数均采用ReLU函数，学习率采用了指数衰减法，为了避免过拟合问题，采用了L2正则化作为优化算法，同时加入了Softmax层，采用Softmax回归函数将神经网络的输出变成一个概率分布，从而可以通过交叉熵来计算预测的概率分布和真实答案的概率分布之间的距离。

2.训练完成的深度学习模型被用来在入侵检测系统实际运行时检测攻击行为，具体为实际的特征数据经过数据预处理，变换为特征矩阵，输入模型中进行检测，输出检测结果。

图3给出了入侵检测系统的运行流程图，具体是这样实现的：

1.抓取由外网进入工业内网的数据包，抓取的数据包为所有流经此交换机由外网进入内网的数据包，包括有线，无线流量；

2.对数据包进行分析，提取需要的特征数据，由于在实际的检测过程中并不需要数据包的全部特征信息，仅仅选取了与DDoS攻击行为关联性强的特征，并将提取出的特征按照顺序排列组成特征向量；

3.将特征数据进行预处理，将数值标准化和归一化，并转换为特征矩阵。对于符号型数据，需要将符号型数据映射成离散型数据。对于数值型数据，需要将数值型数据进行数据标准化处理，将数据变换为[0,1]区间的值，假设对特征xi进行标准化，采用变换公式其中x_max表示x_i中的最大值，x_min表示x_i中的最小值。特别的，如果存在x_max-x_min＝0的情况，则该类特征设为0；

4.将特征矩阵输入训练完成的深度学习网络模型中，进行攻击检测；

5.获得深度学习网络输出的检测结果，进行判定，对判定结果进行处理。若检测结果为入侵，将攻击包丢弃，并将攻击包的源IP地址，TCP源端口、UDP源端口添加进黑名单，再次连接时将拒绝服务。若检测结果为正常，则不做处理，让其数据包通过；

6.将判定结果存入日志数据库，将检测结果持久化，以便人工进行查看。

根据上述具体实施方案可知，本发明主要利用深度学习模型替换了传统的入侵检测所使用的数据库查找特征匹配模型，消除了数据库查询所耗费的时间，以深度学习分类器作为匹配模型，检测攻击行为的速度快，检测精确度高，误报率低。同时对输入特征进行筛选，有效的降低计算复杂度，减少了训练和检测时间。整个系统部署方便，降低了系统资源的使用，解决了工业网络环境下系统资源受限的局限性，并且满足工业网络实时性的要求。

Claims

1.一种快速特征匹配的工业网络DDoS入侵检测方法，其特征在于，提取网络数据包的特征，筛选并组成特征矩阵，利用经KDD99数据集训练完成的深度学习模型检测DDoS攻击特征，无需数据库查找，该模型可直接输出结果矩阵，完成DDoS入侵行为的检测。该方法可配合工业防火墙，实现工业网络中DDoS攻击行为的快速检测和处理，主要包括以下几个步骤：

a.抓取由外网进入工业内网的数据包；

d.对匹配结果进行判定，对判定结果进行处理；

e.将判定结果存入日志数据库，并记录数据包的主要特征。

2.根据权利要求1所述的一种快速特征匹配的工业网络DDoS入侵检测方法，其特征在于，步骤a中，将在工业网络入口处进行抓包操作，抓取入站流量数据包，数据包均为外网(因特网)发往内网(工业网络)的数据流量，包括有线及无线方式。

3.根据权利要求1所述的一种快速特征匹配的工业网络DDoS入侵检测方法，其特征在于，步骤b中，首先将对抓取的数据包进行解包分析，提取特征值，再对特征值进行特征筛选，过滤不需要的特征信息，保留DDoS攻击相关的特征以实现更好的深度学习模型匹配精度，最后进行特征的标准化和归一化处理。特征值分为四大类，包括TCP连接基本特征，TCP连接的内容特征，基于时间的网络流量统计特征，和基于主机的网络流量统计特征，特征的提取、筛选和标准化处理方式如下：

(1)提取特征的四大类为：TCP连接基本特征，包含了一些连接的基本属性，如连续时间，协议类型，传送的字节数等；TCP连接的内容特征，包含了连接内容的一些特征，如登录失败次数，是否获得超级用户权限，使用shell命令的次数等；基于时间的网络流量统计特征，一个是“same host”特征，只观察在过去两秒内与当前连接有相同目标主机的连接。另一个是“same service”特征，只观察过去两秒内与当前连接有相同服务的连接；基于主机的网络流量统计特征，该特征使用一个具有100个连接的时间窗，统计当前连接之前100个连接记录中与当前连接具有相同目标主机的统计信息。

(2)由于本方法的特点在于对DDoS攻击行为的快速匹配，因此实际的检测过程中并不需要数据包的全部信息，仅仅选取了部分与DDoS攻击行为关联性强的特征。因此需要进行特征筛选，特征的筛选有助于降低计算复杂度(减少训练和检测时间，这对工业入侵检测的实时性是很重要的)，消除信息冗余，提高学习算法的准确性，促进数据理解，提高泛化能力。具体步骤为：

计算每个特征的信息增益g(D,A)＝H(D)-H(D|A)

计算每个特征的相关性

抽取信息增益和相关性排序的前n1个特征组成特征子集I1和C1，n2个特征组成子集I2和C2，一般n1<n2且n1+n2<30，并按照(I₁∪C₁)∪(I₂∩C₂)进行合并操作，最后得到筛选过后的特征集。

(3)特征值需要进行标准化处理才能够输入深度学习网络进行判别，由于特征属性中有两种类型的数值：数值型和非数值型，数值型数据还包括离散型和连续型，对于深度学习模型来说，输入矩阵需要统一的连续数值型数据类型，经过归一化处理，数据的取值范围和数值分布在合理的区间内，这对于检测系统来说是影响精确度的重要条件之一。所以，首先将非数值型数据映为数值型，再将离散型数据连续化，标准化为[0,1]区间的连续值，最后形成特征矩阵。

4.根据权利要求1所述的一种快速特征匹配的工业网络DDoS入侵检测方法，其特征在于，步骤c中，将处理完成的特征矩阵输入经KDD99数据集训练完成的深度学习模型识别DDoS攻击数据，进行快速特征匹配。KDD99数据集中的DDoS攻击样本有着非常好的质量和数量，可使深度学习模型具有极高的识别率。该方法不再需要查询特征数据库，只需经深度学习模型完成特征匹配判断，即可得到判断结果。

5.根据权利要求1所述的一种快速特征匹配的工业网络DDoS入侵检测方法，其特征在于，步骤d中，将判定结果矩阵，检测当前的数据包是否为攻击包。若是，则将数据包进行丢弃处理，并将数据包源IP地址加入黑名单，数据包的特征信息转交给日志记录模块，对数据包的详细信息进行记录，以便查询；若不是攻击包，则让其通过系统。

6.根据权利要求1所述的一种快速特征匹配的工业网络DDoS入侵检测方法，其特征在于，步骤e中，日志记录模块接收被检测为攻击数据包的数据包特征，记录其时间，攻击类型，和特征项，IP地址，端口号，更新到系统日志中，以便查询。