CN109714340A

CN109714340A - 一种序列到序列的网络异常请求识别方法以及装置

Info

Publication number: CN109714340A
Application number: CN201811619152.4A
Authority: CN
Inventors: 姚鸿富; 陈奋; 陈荣有; 程长高
Original assignee: Xiamen Service Cloud Mdt Infotech Ltd
Current assignee: Xiamen Service Cloud Mdt Infotech Ltd
Priority date: 2018-12-28
Filing date: 2018-12-28
Publication date: 2019-05-03

Abstract

本发明提出一种序列到序列的网络异常请求识别方法以及装置，涉及网络安全领域。该方法包括：收集大量正常的网络请求数据；对所述网络请求数据进行预处理后得到目标数据集，所述目标数据集包括训练数据集和验证数据集；基于序列到序列模型结构，将所述训练数据集作为训练数据，训练得到网络异常请求识别模型；将待测数据输入到所述网络异常请求识别模型，若所述待测数据中各字符的平均交叉熵大于预设阈值，则将所述待测数据认定为异常请求数据，否则，认定为正常请求数据。本发明技术方案不仅能实现识别待测数据为正常的网络请求，还能针对不正常请求标识出不正常的字符位置，因此具有一定的可解释性。

Description

一种序列到序列的网络异常请求识别方法以及装置

技术领域

本发明涉及网络安全领域，特别涉及一种序列到序列的网络异常请求识别方法以及装置。

背景技术

随着信息化战略的持续推进和互联网、云计算等技术的大力发展，越来越多的企业、组织和个人开发部署了WEB应用到互联网，IT行业欣欣向荣。与此同时，各种网络安全事件频频发生，影响巨大，给企业和用户带来了重大的利益损失。网络空间面临着重大的安全问题。

WEB应用安全则是安全行业一个重要的分支。针对WEB应用安全，当前的的主要安全措施是部署防火墙(WAF-Web Application Firewall)，一种用来防止应用层攻击的系统。传统的WAF主要是基于规则匹配的，由安全从业人员对SQL注入攻击、XSS攻击、系统命令执行攻击等攻击手法编写匹配规则，WAF根据这些规则进行识别和拦截。这种传统方法对已知的攻击类型具有很好的效果，执行效率通常令人满意，具有良好的可解释性且维护简单。但是攻击手法灵活多变，基于规则匹配的防御方法很容易被绕过，面对未知的攻击和0day攻击难以有效应对。另外规则的制定很难把握误判与漏判问题的平衡问题，太严格的规则容易误杀正常业务流量，造成误判，太松散的规则容易被绕过，造成漏判。

另一方面，随着机器学习的快速发展，安全厂商开始研究机器学习乃至深度学习在网络空间安全领域的应用，并开始形成一种趋势。机器学习模型的鲁棒性能给WAF带来一定水平的未知攻击识别能力。以机器学习、深度学习为代表的AI技术是数据驱动的，海量的数据AI智能防御系统的基石。比较常见的机器学习方法一般使用含标签数据的监督学习方法，然而，从海量数据中获取含有准确标签的数据的成本极高，而且使用标签数据做监督分类建模的模型往往是黑盒模型，可解释性不好。因此，亟待提出一种能在无标签数据上训练模型，实现对于网络异常请求的识别。

发明内容

为了克服如上所述的技术问题，本发明提出一种序列到序列的网络异常请求识别方法以及装置，该方法能在无标签数据上训练模型，实现对于网络异常请求的识别。

本发明所采用的具体技术方案如下：

第一方面，本发明提出一种序列到序列的网络异常请求识别方法，包括：

收集大量正常的网络请求数据；

对所述网络请求数据进行预处理后得到目标数据集，所述目标数据集包括训练数据集和验证数据集；

基于序列到序列模型结构，将所述训练数据集作为训练数据，训练得到网络异常请求识别模型；

将待测数据输入到所述网络异常请求识别模型，若所述待测数据中各字符的平均交叉熵大于预设阈值，则将所述待测数据认定为异常请求数据，否则，认定为正常请求数据。

进一步地，所述对所述网络请求数据进行预处理后得到目标数据集，所述目标数据集包括训练数据集和验证数据集，包括：

通过对构成网络请求的相关合法字符进行编号，构建字典文件，其中，所述相关合法字符包括数字、小写字母、大写字母以及特定标点符号；

根据所述字典文件，将所述网络请求数据转换为数值序列格式；

通过预设比例将数值序列格式的网络请求数据进行划分，包括训练数据集和验证数据集。

进一步地，所述字典文件还包括四个特殊符号，分别是：

<PAD>:用于补全字符；

<UNK>:用于替代低频词；

<GO>:起始标识符；

<EOS>:结束标识符。

进一步地，所述序列到序列模型结构的编码器和解码器采用循环神经网络构成。

进一步地，所述序列到序列模型结构的编码器和解码器采用长短期记忆网络构成。进一步地，所述预设阈值是根据下述步骤得到：

将所述验证数据集输入所述网络异常请求识别模型，得到交叉熵的均值mean_loss和标准差std_loss；

所述预设阈值＝A*mean_loss+B*std_loss，其中A＝1，B>3。

进一步地，A＝1，B＝6。

进一步地，上述所提序列到序列的网络异常请求识别方法还包括：

将待测数据输入到所述网络异常请求识别模型后，若所述待测数据中当前字符经解码器输出的概率小于一定阈值时，对当前字符标进行异常字符的定位标识。

进一步地，所述目标数据集还包括测试数据集。

进一步地，利用所述测试数据集输入到所述网络异常请求识别模型进行测试，统计误报率，对所述网络异常请求识别模型的识别准确率进行评估。

第二方面，本发明提出一种序列到序列的网络异常请求识别装置，包括处理器和存储器，所述存储器存储有至少一段程序，所述程序由所述处理器执行以实现如第一方面任一所述的序列到序列的网络异常请求识别方法。

第三方面，本发明提出一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序运行时执行以实现如第一方面任一所述的序列到序列的网络异常请求识别方法。

本发明提供的技术方案带来的有益效果是：

本发明通过收集大量正常的网络请求数据；对所述网络请求数据进行预处理后得到训练数据集；基于序列到序列模型结构，将所述训练数据集作为训练数据，训练得到网络异常请求识别模型；将待测数据输入到所述网络异常请求识别模型。将所述验证数据集输入所述网络异常请求识别模型，根据交叉熵的均值mean_loss和标准差std_loss得到所述预设阈值。将待测数据输入到所述网络异常请求识别模型后，若所述待测数据中当前字符经解码器输出的概率小于一定阈值时，对当前字符标进行异常字符的定位标识。因此，本发明技术方案不仅能实现识别待测数据为正常的网络请求，还能针对不正常请求标识出不正常的字符位置，具有一定的可解释性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明一种序列到序列的网络异常请求识别方法；

图2所示为本发明一种对网络请求数据进行预处理的示意图；

图3所示为本发明中一种网络异常请求识别模型的结构示意图；

图4所示为本发明一种SQL注入类型数据异常成分标识示意图；

图5为本发明一种XSS攻击类型数据异常成分标识示意图；

图6示出了本发明实施例所涉及的一种序列到序列的网络异常请求识别装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方案作进一步地详细描述。

如图1所示为本发明一种序列到序列的网络异常请求识别方法，示出了该方法的具体实施步骤，包括：

在步骤101中，收集大量正常的网络请求数据；

通过收集大量真实正常HTTP请求数据作为后续构建网络异常请求识别模型的数据基础，在一种可能的实际操作中，可以通过网页调试与发送网页HTTP请求的相关插件批量生成大量正常的网络请求数据。

在步骤102中，对所述网络请求数据进行预处理后得到目标数据集，所述目标数据集包括训练数据集和验证数据集；

通过步骤101获取的数据还需要进行进一步的数据处理，在一种可能的实际操作中，将通过下述步骤进行数据预处理操作得到目标数据集，需要说明的是，这里的目标数据集仅是对所述网络请求数据进行预处理后得到得数据集的一种概括描述。如图2所示为本发明一种对网络请求数据进行预处理的示意图，示出了该预处理方法的具体实施步骤，包括：

在步骤201中，通过对构成网络请求的相关合法字符进行编号，构建字典文件，其中，所述相关合法字符包括数字、小写字母、大写字母以及特定标点符号；

将构成网络请求的相关合法字符，这里的相关合法字符为网络请求中的合法字符，包括数字、小写字母、大写字母以及特定标点符号等构建成字典文件，在一种可能的实现中，可以添加四个特殊符号进字典，分别是：

<PAD>:用于补全字符，在一种可能的实际操作中，字典编号是0；

<UNK>:用于替代低频词或者一些未遇到过的词，在一种可能的实际操作中，字典编号是1；

<GO>:句子起始标识符，在一种可能的实际操作中，字典编号是2；

<EOS>:句子结束标识符，在一种可能的实际操作中，字典编号是3；

容易理解的是，对于其他包括数字、字母、符号等单一字符只需要确保各字符的字典编号不发生冲突即可，具体的编号方式在本发明技术方案中不作限制。

在步骤202中，根据所述字典文件，将所述网络请求数据转换为数值序列格式；

通过上述步骤201构建了关于网络请求数据的字典文件，在一种可能的实际操作中，对于任意网络请求数据，通过遍历该请求数据的方式，逐个查询各个字符在字典文件中对应的编号，当遍历到该数据的末尾，便成功构建了该网络请求所对应的完整数值序列格式的形式。

在步骤203中，通过预设比例将数值序列格式的网络请求数据进行划分，包括训练数据集和验证数据集。

在本步骤中，对步骤202中的转换为数值序列格式后的网络请求数据按照一定比例进行划分，可选的，可以按照将70％的数据作为后续步骤中的训练数据集，用于训练得到网络异常请求模型，而剩下的30％作为验证数据集，用于进一步对训练得到的网络异常请求识别模型的效果进行验证和确定异常请求识别的阈值。

在步骤103中，基于序列到序列模型结构，将所述训练数据集作为训练数据，训练得到网络异常请求识别模型；

序列到序列模型结构，即Seq2Seq，是一个编码器Encoder-解码器Deocder结构的模型，输入是一个序列，输出也是一个序列，其中，Encoder将一个可变长度的输入序列变为固定长度的向量，Decoder将这个固定长度的向量解码成可变长度的输出序列。

在一种可能的实现中，本发明技术方案中的序列到序列模型结构的编码器和解码器采用循环神经网络，进一步地，本发明技术方案采用长短期记忆网络构成编码器和解码器，如图3所示为本发明中一种网络异常请求识别模型的结构示意图，其中，模型的输入和输出是相同的。

编码器将步骤102中得到的训练数据集中映射到指定的固定维度矢量(EncoderVector)，解码器对编码器的输出进行解码。特别的，在本发明技术方案中，将seq2seq的目标值(Target)设置为等于其输入值(source)，因此，所述seq2seq模型经过训练实际是在学习如何创建输入样本本身，也就是构造一个关于输入的近似函数。

在本发明技术方案中，由于训练数据都是采用正常的网络请求样本数据，因此将异常请求样本数据输入训练好的模型，则模型会以较高的损失值(loss)重建它，此处所述的损失值采用的是交叉熵指标来衡量，当这个损失值超过某指定阈值，则认为该输入模型的请求样本数据的异常请求，这也是模型识别异常请求的原理。

在步骤104中，将待测数据输入到所述网络异常请求识别模型，若所述待测数据中各字符的平均交叉熵大于预设阈值，则将所述待测数据认定为异常请求数据，否则，认定为正常请求数据。

本步骤中的待测试数据是指待检测的网络请求经过数据预处理后的数值序列格式的数据，所述的数据预处理过程采用步骤202的方法，这里便不再进行赘述，具体可参照步骤202所述的内容。

当网络请求中包含一些异常成分时便会成为网络异常请求，比如：SQL注入，就是通过把SQL命令插入到Web表单提交的输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令，如图4所示为本发明一种SQL注入类型数据异常成分标识示意图；XSS攻击，全称跨站脚本攻击，是为不和层叠样式表(Cascading Style Sheets,CSS)的缩写混淆，故将跨站脚本攻击缩写为XSS，XSS是一种在web应用中的计算机安全漏洞，它允许恶意web用户将代码植入到提供给其它用户使用的页面中，如图5为本发明一种XSS攻击类型数据异常成分标识示意图，其中，图4和图5中采用下划线部分标示出异常成分。

根据交叉熵公式：其中，H表示输入的单个字符所对应的交叉熵，y_i表示输出的预测概率，y_i'表示对应的one-hot编码。

这样便可以计算待测数据的各个字符对应的交叉熵。而在一种可能的实际操作中，所述预设阈值是根据下述步骤得到：

所述预设阈值＝A*mean_loss+B*std_loss，其中A>0，B>1。优选的，A＝1，B＝6。

本发明所公开的序列到序列的网络异常请求识别方法还包括：将待测数据输入到所述网络异常请求识别模型后，若所述待测数据中当前字符经解码器输出的概率小于一定阈值时，对当前字符标进行异常字符的定位标识。在一种可能的实际操作中，这里的阈值可以设置为0.09，当所述概率小于0.09时候认为当前位置的字符的输出损失值较大，认定此当前位置字符存在异常，进而实现对输入数据异常位置的定位标识。

综上所述，本发明所提技术方案在异常网络请求识别方面具有显著的有益效果：

本实施例通过收集大量正常的网络请求数据；对所述网络请求数据进行预处理后得到训练数据集；基于序列到序列模型结构，将所述训练数据集作为训练数据，训练得到网络异常请求识别模型；将待测数据输入到所述网络异常请求识别模型，不仅能实现识别待测数据为正常的网络请求，还能针对不正常请求标识出不正常的字符位置，因此具有一定的可解释性。

图1所对应的实施例的步骤102中，在一种可能的实现中，所述目标数据集还包括测试数据集，利用所述测试数据集输入到所述网络异常请求识别模型进行测试，统计误报率，可以对所述网络异常请求识别模型的识别准确率进行评估，有利于对模型结构参数进行进一步地调整。本发明还公开一种测试效果实例，通过采用本发明技术方案所建立异常网络请求识别模型，在2200条全部为正常请求数样本的测试数据上，在使用验证数据确定的阈值下，出现8条误报，误报率0.36％。在构造和收集的1097条异常请求样本数据上测试，全部测试样本被识别为异常，因此，本发明所提出的序列到序列的网络异常请求识别方法具有很好的识别效果。

图6示出了本发明实施例所涉及的一种序列到序列的网络异常请求识别装置结构示意图。该装置包括：处理器601、存储器602和总线603。

处理器601包括一个或一个以上处理核心，处理器602通过总线603与处理器601相连，存储器603用于存储程序指令，处理器601执行存储器602中的程序指令时实现上述一种序列到序列的网络异常请求识别方法。

可选的，存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

本发明还提供一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现上述方法实施例提供的一种序列到序列的网络异常请求识别方法。

可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的一种序列到序列的网络异常请求识别方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储与一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用于以限制发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种序列到序列的网络异常请求识别方法，其特征在于，包括：

收集大量正常的网络请求数据；

2.根据权利要求1所述的序列到序列的网络异常请求识别方法，其特征在于，所述对所述网络请求数据进行预处理后得到目标数据集，所述目标数据集包括训练数据集和验证数据集，包括：

3.根据权利要求2所述的序列到序列的网络异常请求识别方法，其特征在于，所述字典文件还包括四个特殊符号，分别是：

<PAD>:用于补全字符；

<UNK>:用于替代低频词；

<GO>:起始标识符；

<EOS>:结束标识符。

4.根据权利要求1所述的序列到序列的网络异常请求识别方法，其特征在于，所述序列到序列模型结构的编码器和解码器采用循环神经网络构成。

5.根据权利要求4所述的序列到序列的网络异常请求识别方法，其特征在于，所述序列到序列模型结构的编码器和解码器采用长短期记忆网络构成。

6.根据权利要求1所述的序列到序列的网络异常请求识别方法，其特征在于，所述预设阈值是根据下述步骤得到：

所述预设阈值＝A*mean_loss+B*std_loss，其中A＝1，B>3。

7.根据权利要求6所述的序列到序列的网络异常请求识别方法，其特征在于，A＝1，B＝6。

8.根据权利要求1所述的序列到序列的网络异常请求识别方法，其特征在于，还包括：

9.根据权利要求1至8任一所述的序列到序列的网络异常请求识别方法，其特征在于，所述目标数据集还包括测试数据集。

10.根据权利要求9所述序列到序列的网络异常请求识别方法，其特征在于，利用所述测试数据集输入到所述网络异常请求识别模型进行测试，统计误报率，对所述网络异常请求识别模型的识别准确率进行评估。

11.一种序列到序列的网络异常请求识别装置，其特征在于，包括处理器和存储器，所述存储器存储有至少一段程序，所述程序由所述处理器执行以实现如权利要1至10任一所述的序列到序列的网络异常请求识别方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序运行时执行以实现如权利要求1至10任一所述的序列到序列的网络异常请求识别方法。