CN109829299B - 一种基于深度自编码器的未知攻击识别方法 - Google Patents

Abstract

本发明公布了一种基于深度自编码器的未知攻击检测方案，通过对所有攻击类型进行一定的语义描述，语义描述基于外部文本数据进行标准化的语义文本提取，并进行自然语言处理形成语义特征描述向量，语义特征空间是所有特征的语义特征描述向量，最终通过攻击数据集训练到语义特征的深度自编码模型。自编码模型获得隐层输出，即训练集数据到语义特征的映射模型，新型攻击的数据特征通过自编码模型得到新型攻击的语义特征，并与语义特征空间进行比较，通过向量相似度的计算，得到新型攻击最接近的攻击类型从而达到预测新型攻击的目的。本发明适用于未知攻击检测，能够对新型攻击得到较为准确的识别，从而便于进行后续快速检测和拦截。

Description

一种基于深度自编码器的未知攻击识别方法

技术领域

本发明涉及零样本机器学习，属于未知攻击处理和识别领域，尤其基于深度自编码器模型的识别方案。

背景技术

在互联网时代的今天，网络在为人类带来便捷的同时，也存在着安全隐患。近年出现的网络攻击呈现体系化的趋势，攻击范围广、命中率高、潜伏时期长。网络攻击造成的经济、社会、军事、外交的损失是无可估量的。网络攻击的威胁尤其在大数据时代变得更加突出，数据愈加密集的安全隐患加上防御机制的疲态，使得遭受的攻击明显攀升，所以拥有准确识别未知攻击的能力能为及时处理攻击事件提供巨大的帮助。

使用Zero-shot Learning(零样本机器学习)进行未知攻击的识别是入侵检测领域国内外研究热点之一，影响网络空间安全包含的政治安全、经济安全、军事安全、文化安全等各个方面，实现未知攻击的检测对网络空间安全的影响深远。

Zero-shot Learning被应用于因训练样本不足而导致的模型出现欠缺的问题，传统的机器学习和深度学习要求海量的训练数据和反复地训练，而Zero-shot Learning的根本目的就是用来解决识别训练样本中从未出现过的样本，所以Zero-shot Learning在识别新式攻击上是一种非常有效的方法。

本方案基于深度自编码器，深度自编码是神经网络的一种，经过训练后能将输入复制到输出。经过数据的压缩和解压缩过程，从数据样本中自动学习，训练出一种特定的编码器模型用于检测同类型的数据。该深度自编码器构建出自编码器的编码和解码过程，中间使用文本信息转换成的语义信息作为约束，得到攻击本身到语义空间的映射模型，从而实现Zero-shot Learning在新型攻击上的识别。

《Multi-Cue Zero-Shot Learning with Strong Supervision》利用网上多样的非结构化的文本数据实现全自动的算法，构建了一个联合嵌入框架(joint embeddingframework)，将多样的文本信息和语义视觉信息映射到同一个空间中，并使用了一个强监督的方法来表示对象的视觉信息。

基于外部语料库的方式，使得高维描述的获取变得完全自动。作者使用multiple-cue的思想来联合表示属性，联合文本信息和视觉信息，得到了最终的算法。先利用外部语料库得到类别的多个方面(multiple language parts)的属性表示，这时属性表示已经确定下来，再将图片中的对象进行多个方面(multiple visual parts)的表示，训练从样本对象到类别属性之间的映射(分类器)，即可实现zero-shot learning。

关于未知攻击的另一篇论文《Semantic Autoencoder for Zero-ShotLearning》，同样采用外部语料库的方式，作者使用了一个十分基础的自编码器对原始样本进行编码，输入X为样本，S为自编码器的隐层，输出x^为由隐层还原为样本的表示，关于利用语义自编码器实现zero-shot learning一定程度上解决了训练集和测试集的领域漂移(domain shift)问题。整个算法最核心的地方是在自编码器进行编码和解码时，使用了原始数据作为约束，即编码后的数据能够尽可能恢复为原来的数据。

在实现zero-shot learning时，作者先将数据集分为训练集和测试集，且两个数据集的数据类别之间是没有交集的。利用一些先验知识，即外部资料库，得到每种类别的属性向量表示，利用训练集训练出映射矩阵W，这样就可以对测试集中的样本进行类别的预测。

以上论文提出的利用多线索嵌入方法在利用外部语料库得到多个方面的属性表示，对属性的界定标准不明确，属性表示比较多，对图片或者其他资源的表示需要花费一定的时间。产生映射矩阵的方法取决于编码过程，对于模型的训练单一且针对特定属性相似数据集，延拓性差，加之对图像中的对象多方面属性描述更为复杂，对特定或有歧义的表示存在一定的差异，缺少对映射模型的构建，计算量大、复杂度很高和算法鲁棒性差，导致高效性降低。

发明内容

本发明的目的在于：通过对所有攻击类型进行一定的语义描述，语义描述基于外部文本数据(如wikipedia语料库)进行标准化的语义文本提取，并进行自然语言处理(NLP)工具处理形成语义特征描述向量，语义特征空间是所有特征的语义特征描述向量，并通过攻击数据集训练到语义特征的自编码模型。自编码模型得到隐层输出，即训练集数据到语义特征的映射函数，从而在预测新型攻击时，我们过新型攻击的数据特征通过自编码模型得到新型攻击的语义特征并与语义特征空间进行比较，通过向量间距离的计算，得到新型攻击最接近的攻击类型从而达到预测新型攻击。

本发明包括了一种基于深度自编码器的未知攻击识别方法，其主要步骤包括：

攻击文本的收集：对各种攻击的描述资料的收集，确定攻击的特征属性进行详尽的描述，形成一个语义描述文本语料库Text；

攻击语义矩阵的生成：将攻击文本语料库Text建立词汇表V，V中的所有词汇按照次序初始化为一个K维向量V₁＝(v₁,v₂,v₃,…v_k)，将单词wo_i的上下文窗口内的词向量输入CBOW模型，由隐层累加得到K维的中间向量W_new。W_new在哈夫曼树中沿着特定的路径到达叶子节点(即当前词wo_i)，采用梯度下降法(SGD)调整路径中非叶结点的参数，以及最终上下文词的向量，使得实际路径向正确路径靠拢，经过n次迭代收敛后，即可得到每个词的向量表示。形成由词句向量组成的语义知识库S。

S＝{{S₁₁,S₁₂,S₁₃,S₁₄…}{S₂₁,S₂₂,S₂₃,S₂₄…}…}∈R^N

深度自编码器的构造：编码过程是将数据预处理后的数据集作为编码器的输入，通过进行特征中心化预处理过程，达到数据白化和降低维度的目的。训练过程中加入高维度的L₁惩罚项P＝{P₁,P₂,P₃,P₄……P₁₀₀₀}∈R^N，通过足够大的α实现稀疏，即用于特征选择，使得权重只有部分有效值，强迫网络进行学习。逐层训练，并加入最后一层，即加入语义特征空间向量作为约束，利用所有数据进行训练，得到权重W，同时计入稀疏编码ρ，为了达到约束每个神经元的目的，ρ的取值在0附近，前馈调整各层权重的值，直至自编码器编码过程的网络收敛。解码过程作为编码的逆过程，经过同样的训练输出编码器输入的值，重现输入，最终分别得到由攻击特征到攻击语义描述向量的模型M₁和由语义描述向量到还原攻击特征模型M₂的两个模型。

未知攻击的识别：将未知的待识别攻击的特征预处理，再将其输入至深度自编码器模型M₁中，得到隐含层输出的语义描述向量，将S′与已有的语义知识库进行余弦相似度计算，结果对比得到S′最接近的语义知识库S中的某行语义向量S_i，即判定该新型攻击所属攻击类型。

由于采用了以上所述的技术方案，本发明的有益效果在于：

1)改变原有以监督学习为主识别已有攻击的方式，本发明采用基于深度自编码器的零样本机器学习的非监督和半监督学习的方式，提升了识别攻击的能力，尤其是对未知攻击的识别提出了解决方案。

2)本发明采用了对攻击文本的收集归纳的方式，按照特征属性重定义产生攻击描述文本，通过优化的自然语言处理的方式得到各种攻击的语义矩阵资料库，达到了参考和训练使用的标准。

3)本发明采用了深度自编码器来构建攻击识别的模型，多出的隐层便会赋予自编码器学习更复杂的数据中潜在模式的能力，在单隐含层自编码器和系数自编码器的技术基础上增强了生成模型的鲁棒性和准确性。

附图说明

本发明将通过具体实例以及附图的方式说明，其中：

图1为本发明识别新攻击的系统框架。

图2为本发明的深度自编码器模型。

图3至图5为本发明编码过程预训练的过程与结果。

具体实施方式

为使本发明的方案技术和应用性更加清楚，下面结合具体实施实例和附图，对本发明做更详细的描述。

实施实例

参考图2至图5，具体执行步骤有编码过程，解码过程，和识别攻击过程，描述如下：

(1)编码过程

(1.1)编码过程是将已有攻击的训练集中的协议类型、网络服务类型、网络连接状态、和攻击类型通过预处理，预处理包括数值标准化和数值归一化：

(1.2)预处理后的数据作为自编码器的输入，即L1层对应攻击的特征输入，L3层对应由步骤1所得到的语义特征空间

S＝{{S₁₁,S₁₂,S₁₃,S₁₄…}{S₂₁,S₂₂,S₂₃,S₂₄…}…}∈R^N

，特点在于使用语义特征空间的语义矩阵作为约束，通过训练并且优化函数为

|g(f(x))-x|+λ|f(x)-S|

(其中λ表示编码权重)自编码器，得到L2层的自编码器编码过程的隐层输出

X＝{{x₁₁,x₁₂,x₁₃,x₁₄…}{x₂₁,x₂₂,x₂₃,x₂₄…}…}∈R^N

(1.3)样本数据L1进行特征中心化预处理过程。

(1.4)如图3，左侧是本编码过程希望得到的网络，即从攻击特征输入L1层的500维输入，通过PCA降维得到L2层200维的输入，以去除数据噪声，并更明确显示攻击的重要特征；

(1.5)再将200维的L2层通过L3层语义特征的约束，通过训练得到L3层40维的输出，并同时反馈修正L2层的参数。

(1.6)右侧是所进行预训练的第一步，将数据进行预处理和PCA主成分分析。为了防止网络没有进行训练，而直接将数据传到L2隐层再到输出层的情况，所以加入1000维度的L₁惩罚项，

P＝{P₁,P₂,P₃,P₄……P₁₀₀₀}∈R^N

L₁正则化对梯度的是增添一项与w_i同号的常数，通过足够大的α实现稀疏，即用于特征选择，使得权重只有部分有效值，强迫网络进行学习。

(1.7)训练这层收敛之后即可进入下一层的训练，令x不变，进行自编码，得到权重矩阵W1，并使用W1的转置W1’进行还原输入层L1的500维输入。这一步之后，保证之前得到的权重W1不变，将网络继续进行下一层的训练，如图4所示。将数据经过第一层的输出作为输入，令A1保持不变进行自编码，得到权重W2。

(1.8)经过同样的自编码过程得到右侧图所示的W1-W3所有权重值。

(1.9)最后加入最后一层，即加入语义特征空间向量作为约束，利用所有数据进行训练，得到权重W4，同时计入稀疏编码ρ，为了达到约束每个神经元的目的，ρ的取值在0附近。前馈调整W1-W3的值，直至自编码器编码过程的网络收敛。

(2)解码过程

(2.1)解码的过程将L2层所得到的隐层输出转置作为L4层，即解码器的中间隐层，训练还原出L1层的原本攻击特征输入。

(2.2)如图5所示，过程中将L1、L5层的相似性作为约束，要求L1层的输入经过自编码器得到的L5层输出还原L1层的输入，并将编码器内的衔接层L3层语义特种空间层作为再次的约束，要求语义特征空间向量参与自编码器的编码和解码过程。

(2.3)基于自编码器的编码过程步骤，将得到的权重的转置从L3层作为参数逐层还原隐层的输出，直至还原输出L5原攻击特征输入的L1层。

(2.4)作为编码过程的逆过程，通过类比解码过程训练并调节参数，经过多次迭代之后，所有权值和偏置均能被优化。最终分别得到由攻击特征到攻击语义描述向量的模型M₁和由语义描述向量到还原攻击特征模型M₂的两个模型。

(3)识别攻击

(3.1)将未知的待识别攻击的特征预处理，再将其输入至深度自编码器模型M₁中，得到隐含层输出的语义描述向量

S′＝(s₁,s₂,s₃,…s_k)∈R^N

将S′与已有的语义知识库S＝{{S₁₁,S₁₂,S₁₃,S₁₄…}{S₂₁,S₂₂,S₂₃,S₂₄…}…}∈R^N进行对比。

(3.2)余弦相似度是通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性。在比较过程中，向量的规模大小不予考虑，仅仅考虑到向量的指向方向。余弦相似度通常用于两个向量的夹角小于90°之内，因此余弦相似度的值为0到1之间。计算公式如下：

S_i表示S中的某行语义向量。

(3.3)通过结果对比得到S′最接近的语义知识库S中的某行语义向量S_i，即判定该新型攻击所属攻击类型。

以上所述，仅为本发明的具体实施方式，本说明书(包括附加权利要求、摘要和附图)中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换，即除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (5)

1.一种基于深度自编码器的未知攻击识别方法，包括下列步骤：

攻击文本的收集：对各种攻击的描述资料的收集，确定攻击的特征属性进行详尽的描述，特征属性包括41种TCP连接、内容特征和网络流量统计特征，形成一个语义描述文本语料库Text；

攻击语义矩阵生成：将攻击文本语料库Text建立词汇表V，V中的所有词汇按照次序初始化为一个K维向量V₁＝(v₁，v₂，v₃，...v_k)，将单词wo_i的上下文窗口内的词向量输入CBOW模型，由隐层累加得到K维的中间向量W_new；W_new在哈夫曼树中沿着特定的路径到达叶子节点即当前词wo_i，采用梯度下降法调整路径中非叶结点的参数，以及最终上下文词的向量，使得实际路径向正确路径靠拢，经过n次迭代收敛后，即可得到每个词的向量表示；形成由词句向量组成的语义知识库S；

S＝{(s₁₁，s₁₂，s₁₃，s₁₄...)，(s₂₁，s₂₂，s₂₃，s₂₄...)，...}∈R^N

深度自编码器构造：编码过程是将已有攻击的训练集中数据进行标准化

(STAD_j≠0，elseX′_ij＝0)，和归一化操作

数据预处理之后作为编码过程的输入L1层，进行特征中心化预处理过程，达到数据白化和降低维度的目的；通过PCA降维，得到L2层低维的输入，以去除数据噪声，并更明确显示攻击的重要特征；为了防止网络没有进行训练，而直接将数据传到L2隐层再到输出层的情况，因此加入高维度的L₁惩罚项，

P＝{P₁，P₂，P₃，P₄......P₁₀₀₀}∈R^N

即指权值向量w中各个元素的绝对值之和，表示为P＝||w||₁，数学表示为：

其损失函数为：

求解梯度：

sing(w)是去w各个元素的正负号，L₁正则化对梯度的是增添一项与w_i同号的常数，通过α实现稀疏，即用于特征选择，使得权重只有部分有效值，强迫网络进行学习；训练这层收敛之后即可进入下一层的训练，令X不变，进行自编码，得到权重矩阵W1，并使用W1的转置W1^T进行还原输入层L1的高维输入，并逐层训练；最后，加入最后一层，即加入语义特征空间向量作为约束，利用所有数据进行训练，得到权重W4，同时计入稀疏编码ρ，为了达到约束每个神经元的目的，ρ的取值在0附近；β是稀疏惩罚项的权重，计算其损失函数

其中KL距离表示为

j是隐含层神经元的平均激活值，节点输出平均值为

前馈调整W1-W3的值，直至自编码器编码过程的网络收敛；

解码的过程将L2层所得到的隐层输出转置作为L4层，即解码器的中间隐层，训练还原出L1层的原本攻击特征输入，将得到的权重的转置从L3层作为参数逐层还原隐层的输出，直至还原输出L5原攻击特征输入的L1层；最终分别得到由攻击特征到攻击语义描述向量的模型M₁和由语义描述向量到还原攻击特征模型M₂的两个模型；

识别未知攻击：将未知的待识别攻击的特征预处理，再将其输入至深度自编码器模型M₁中，得到隐含层输出的语义描述向量

S′＝(s₁，s₂，s₃，...s_k)∈R^N

将S′与已有的语义知识库S＝{(s₁₁，s₁₂，s₁₃，s₁₄...)，(s₂₁，s₂₂，s₂₃，s₂₄...)，...}∈R^N进行余弦相似度计算：

通过结果对比得到S′最接近的语义知识库S中的某行语义向量S_i＝(s_i1，s_i2，s_i3，s_i4，...，s_ij)，即判定新型攻击所属攻击类型。

2.如权利要求1所述的方法，其特征在于相对其他检测方法，实现了零样本机器学习训练得到的深度自编码器未知攻击的识别；由于攻击的未知性和多样性，但易提取、易训练和学习，得到的新攻击源不断加入攻击识别库中，丰富语义特征库，深度自编码模型易训练且鲁棒性强，保证了识别多种新攻击的准确度和高效性。

3.如权利要求1所述方法，创新了构建哈夫曼树的方法训练得到词句向量的方法；根据语料库建立词汇表V，V中的所有词汇按照次序初始化为一个K维向量

V₁＝(v₁，v₂，v₃，...u_k)；

描述文本中的每句描述定义一个唯一的ID，即Paragraph ID，同样按照次序形成一个K维向量

V₂＝(v_p1，v_p2，v_p3，...v_pk)∈R^N

统计词汇表V中各个词汇出现的频率，即n个权值，分别设为w₁，w₂，w₃，...w_n，并认为其是有n棵仅有一个结点的树形成的森林F；在森林F中选出两个根节点的权值最小的树合并，作为一棵树的左子树、右子树，且新树的根节点权值为其左、右子树根节点权值之和；从森林F中删除选取的两棵树，并将新树加入森林F中直到森林F中仅剩下一棵树为止，该树即是根据词频构建哈夫曼树W；将语料库中的文本进行连续词袋模型训练；将单词wo_i的上下文窗口内的词向量输入模型，由隐层累加得到K维的中间向量W_new；W_new在哈夫曼树中沿着某个特定的路径到达某个叶子节点，即当前词wo_i；

将若Wi的编码为“01101”，则从哈夫曼树的根节点开始，将V₁，V₂对应连接起来得到期望中间向量V，

V＝(v′₁，v′₂，v′₃，...v′_k)

V与根节点相连经过Softmax计算，Softmax函数的定义如下

其中，Vi是前级输出单元的输出；i表示类别索引，总的类别个数为C；得到分为0的概率接近于1，在第二层输入1的概率接近于1，以此类推，直至到达叶子节点；进行下去，把一路上计算得到的概率相乘，即可得到wo_i在当前网络下的概率P，残差是1-P，于是采用梯度下降法调整路径中非叶结点的参数，以及最终上下文词的向量，使得实际路径向正确路径靠拢，经过n次迭代收敛后，即可得到每个词的向量表示；

保持Paragraph ID不变，即V₂向量不变，相当于每次在预测单词概率的同时，都利用了整个语句的语义；训练语句阶段，为待预测的语句doc_i分配一个新的Paragraph ID，词向量和输出层softmax的参数保持不变，再次采用梯度下降法训练语句doc_i，直至收敛；得到待预测语句的语句向量S_i；得到每个待预测语句的向量表示之后，形成由词句向量组成的语义知识库S；

S＝{(s₁₁，s₁₂，s₁₃，s₁₄...)，(s₂₁，s₂₂，s₂₃，s₂₄...)，...}∈R^N。

4.如权利要求1中所述方法，采用了一种十分有效的攻击映射矩阵的方法，能够将非均匀、多种类的未知攻击数据集中的特征提取，映射成均匀分布的语义矩阵，达到了后续比较和计算攻击相似度的目的。

5.如权利要求3中所述的方法，采用了哈夫曼编码构成哈夫曼树，并形成的森林F的方法，从而确定从根节点到叶节点的正确路径，也确定了路径上所有分类器上应该作出的预测；利用连续词袋模型训练并求解梯度调整路径中非叶结点的参数，使得确定上下文的每个词句的向量表示，达到形成攻击语义矩阵库的目的。

Images