CN109831460A - 一种基于协同训练的Web攻击检测方法 - Google Patents

Abstract

本发明提出了一种基于协同训练的Web攻击检测方法，针对大部分URL标签缺失导致训练Web攻击检测模型困难的问题，该方法可以利用部分有标记的URL和大量无标记的URL进行模型训练，首先通过专家知识特征和文本特征将样本向量化，得到两个独立的视图，再利用视图进行协同训练，得到两个攻击检测模型，最后通过集成学习将这两个模型进行结合，可用于检测Web攻击。该方法能够减少人工标记数据的工作量，可以降低检测Web攻击的成本。

Description

一种基于协同训练的Web攻击检测方法

技术领域

本发明涉及一种基于协同训练的Web攻击检测方法，属于Web入侵检测和网络安全技术领域。

背景技术

随着Web系统的广泛应用，针对Web系统的攻击技术层出不穷，导致Web系统遭受攻击事件越来越多。近年来数据泄露事件不断发生，据Verizon公司《2018年数据泄露调查报告》统计，2018年中90％的数泄露事件是由Web攻击导致的。由此可见Web系统的安全还得不到保障，所以研究Web攻击检测方法仍然很有必要。

Web攻击检测的方法目前主要分为基于规则的检测方法和基于机器学习的检测方法。目前市场上大多数检测Web攻击的安全产品采用是基于规则的检测方法，该方法可以检测出大部分已知的Web攻击，但当前Web攻击的种类繁多，在应对攻击变形的情况时，漏报率会随之增加。同时，由于规则数量的增加，规则库的维护难度越来越高，检测性能也受到了影响。由于基于规则的检测方法存在上述的缺点，因此基于机器学习的检测方法成为了当前的研究热点。

基于机器学习的检测方法大致体上分为有监督学习检测、无监督学习检测和半监督学习检测。有监督学习检测法需要收集大量的数据并人工做标记，再用分类算法做训练，该方法的优点在于准确率高，缺点在于需要人工对大量的数据做标记，训练成本高；无监督学习检测法是利用聚类算法对无标记的数据做训练，该方法的优点在于训练数据不需要标签，缺点准确率相比有监督学习要低，在实际检测时表现不好；半监督学习检测只需人工标记部分无标记的数据，利用有标记的数据和无标记的数据同时做训练。Ya-Lin Zhang等人发表在2017 ACM SIGSAC Conference on Computer and Communications Security上《APU Learning based System for Potential Malicious URL Detection》文章提到了利用PU-learning半监督学习来检测 Web攻击，并且最终可以达到94.2％的准确率，但是起始阶段需要大量的恶意样本，这仍然需要人工标记来获得。

因此，如何在保证较高准确率的前提下，减少人工标记数据的工作量成为了目前基于机器学习的检测方法亟待解决的问题。

发明内容

针对现有技术存在的问题，本发明的目的在于设计提供一种基于协同训练的Web攻击检测方法的技术方案，该方法能利用部分有标记样本和大量无标记样本训练Web入侵检测模型，减少人工标记数据的工作量，降低检测Web攻击的成本。

为实现上述的目的，在训练阶段，本发明首先用专家经验特征和文本特征来构建两个视图，之后每个视图基于已有标记的URL训练出一个分类器，然后让每个分类器去对未标记的 URL进行预测，挑选高置信度的URL赋予伪标记，并将伪标记URL提供给另一个模型作为新增的有标记URL用于训练更新。将这个协同学习的过程不断迭代，直到两个分类器都不再发生变化或达到了未标记的URL都被标记。最后通过利用Stacking方法将两个分类器集成，得到最终的Web入侵检测模型；在检测阶段，本发明先从Http请求中提取URL，利用专家经验特征和文本特征分别将URL向量化，然后将两个向量输入Web入侵检测模型，模型的输出若为+1表示该Http请求带是攻击，输出为-1表示该Http请求是正常请求。

本发明的方法通过以下具体步骤实现：

1处理Web日志，构建数据集

1.1从Web日志中提取URL

先从Web服务器中收集Web日志，再从中提取出URL，并对其进行解码，构成集合S；

1.2人工标记部分URL

随机从S中抽取|L|个样本，人工对样本进行标记，标签的集合为{-1，+1}，-1代表是正常的URL，+1代表带有攻击的URL，标记样本构成集合L，未标记样本构成集合U，保证 S＝L+U，|L|<<|U|；

2利用专家知识特征和文本特征，获得两个独立的视图

2.1用专家知识特征构建视图

特征空间＝{路径长度，路径深度，参数长度，参数个数，参数名最大长度，参数名平均长度，参数值最大长度，参数值平均长度，参数值中字母占有的比例，参数之中数字占有的比例，参数值中特殊字符占有的比例，攻击关键字的个数}，共计12个特征，其中特殊字符有“<”、“@”、“％”等以及攻击关键词有“and”、“or”、“select”、“<script>”、“eval”等，可以通过查询攻击特征库来得到，用特征空间将URL向量化，S转化为视图X¹，最后需要对 X¹进行归一化处理，公式为其中X_max、X_min分别是原始X¹的最大值和最小值；

2.2用文本特征构建视图

首先利用N-gram对URL进行分词，URL的特征空间是所有字符的组合，若S中有c种不同的字符，则URL向量的维度d＝cⁿ，其中n为N-gram中N的取值，之后用TF-IDF来计算URL的特征值，对于样本x第i个的特征值x_i公式由以下的公式得出： x_i＝TF_i×IDF_i，其中n_i、n_total、n_s、分别表示第i个特征在URL中出现的数量、URL分词后的总数、S的大小、有第i个特征的URL数量，通过N-gram分词和计算TF-IDF，最终得到视图X²；

3利用两个独立的视图进行协同训练，获得两个分类器

3.1有标记样本集合无标记样本集合从D_u中随机抽取s个样本构成缓冲池D_s，此时D_u＝D_u-D_s，视图1的有标记样本集合视图2的有标记样本集合

3.2用来训练分类器m₁，用来训练分类器m₂，训练算法可以采用逻辑回归、神经网络、支持向量机等；

3.3遍历D_s，对于x∈D_s，若max m₁(x)＞θ，则将x加入 其中m_i(x)表示分类器m_i对样本x是+1和-1的概率预测值，maxm_i(x)表示取其中最高的概率值，θ是人工设定的阈值，高于该阈值说明x具有高置信度，其中p_i是带符号的预测概率值，作为x的伪标签，同理若maxm₂(x)＞θ，则将x加入

3.4用s₁表示增加的数量，用s₂表示增加的数量，保证s＞＞s₁+s₂，这是需要从D_u中随机取s₁+s₂个样本加入D_s中；

3.5重复3.1到3.4的步骤直到或者s₁＝s₂＝0，这表明集合U全部被标记完成或者分类器不再变化；

3.6得到经过协同训练的两个分类器m₁和m₂；

4利用Stacking方法将两个分类器集成，用于Web攻击检测

4.1将D_l输入m₁和m₂得到集合和其中和分别是m₁和m₂的预测结果，y_i是D_l原始的标签；

4.2用和训练一个分类器m，来集成m₁和m₂，训练算法可以采用逻辑回归、神经网络、支持向量机等；

4.3m、m₁和m₂构成了一个集成的模型M，该模型可用于最终的Web攻击检测；

5用Web攻击检测模型对Http请求进行攻击检测

5.1从Http请求中提取出URL

采集网络流量，获得Http请求，从中提取出URL，并将其解码；

5.2将URL向量化

利用2.1中提到12个特征将URL转化为向量x¹，利用2.2提到的N-gram和TF-IDF将URL转化为向量x²；

5.3攻击的检测

将x¹和x²输入模型M，若模型的输出为+1，表示该Http请求是带有攻击的请求，若模型的输出为-1，表示该Http请求是正常请求。

本发明的显著效果在于针对Web攻击检测时大量Web请求标签缺失的情况，利用了协同训练算法，能够利用少量有标签数据和大量无标签数据来训练Web攻击检测模型，该方法能够减少人工标记数据的工作量，可以降低检测Web攻击的成本。

附图说明

图1 基于协同训练的Web攻击检测方法流程图；

图2 协同训练算法的示意图。

具体实施方法

以下结合附图和实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

实施例：一种基于协同训练的Web攻击检测方法，该方法的流程如图1所示，该实施例具体实施步骤如下：

1处理Web日志，构建数据集

1.1从Web日志中提取URL

先从Web服务器中收集Web日志，再从中提取出URL，并对其进行解码，构成集合S；例如，Web日志中的一条记录 202.107.201.11--[18/Aug/2018:16:15:46+0800]″GET″/html/main/col38/ column_38_1.html？id＝361 HTTP/1.0″200 472″-″″-″，经过处理后变为/html/main/ col38/column_38_1.html？id＝361；

1.2人工标记部分URL

人工标记部分URL：随机从S中抽取|L|个样本，人工对样本进行标记，标签的集合为{-1， +1}，-1代表是正常的URL，+1代表带有攻击的URL，标记样本构成集合L，未标记样本构成集合U，保证S＝L+U，L<<U；

2利用专家知识特征和文本特征，获得两个独立的视图

2.1用专家知识特征构建视图

特征空间＝{路径长度，路径深度，参数长度，参数个数，参数名最大长度，参数名平均长度，参数值最大长度，参数值平均长度，参数值中字母占有的比例，参数之中数字占有的比例，参数值中特殊字符占有的比例，攻击关键字的个数}，共计12个特征，其中特殊字符有“<”、“@”、“％”等以及攻击关键词有“and”、“or”、“select”、“<script>”、“eval”等，可以通过查询攻击特征库来得到，用特征空间将URL向量化，S转化为视图X¹，最后需要对 X¹进行归一化处理，公式为其中X_max、X_min分别是原始X¹的最大值和最小值；

2.2用文本特征构建视图

首先利用N-gram对URL进行分词，URL的特征空间是所有字符的组合，若S中有c种不同的字符，则URL向量的维度d＝cⁿ，其中n为N-gram中N的取值，之后用TF-IDF来计算URL的特征值，对于样本x第i个的特征值x_i公式由以下的公式得出： x_i＝TF_i×IDF_i，其中n_i、n_total、n_S、分别表示第i个特征在URL中出现的数量、URL分词后的总数、S的大小、有第i个特征的URL数量，通过上述方法将S 转化为视图X²；

3利用两个独立的视图进行协同训练，获得两个分类器

3.1有标记样本集合无标记样本集合从D_u中随机抽取s个样本构成缓冲池D_s，此时D_u＝D_u-D_s，视图1的有标记样本集合视图2的有标记样本集合

3.2用来训练分类器m₁，用来训练分类器m₂，训练算法可以采用逻辑回归、神经网络、支持向量机等；

3.3遍历D_s，对于x∈D_s，若max m₁(x)＞θ，则将x加入 其中m_i(x)表示分类器m_i对样本x是+1和-1的概率预测值，max m_i(x)表示取其中最高的概率值，θ是人工设定的阈值，高于该阈值说明x具有高置信度，其中p_i是带符号的预测概率值，作为x的伪标签，同理若max m₂(x)＞θ，则将x加入

参考图2，模型1对暂存池中向量化的某条数据进行预测，如果得到的概率值大于设定的阈值θ，那么将其加入模型2的有标记样本集合中，同理，模型2如果对某条数据进行预测，得到的概率大于设定的阈值θ时，将其加入模型1的有标记训练样本集合中；

3.4用s₁表示增加的数量，用s₂表示增加的数量，保证s＞＞s₁+s₂，这是需要从D_u中随机取s₁+s₂个样本加入D_s中；

当暂存池中的数据因为加到有标记样本中而减少时，这时需要从无标记样本集合中取数据加入暂存池中，使得它的数量保持在s；

3.5重复3.1到3.4的步骤直到或者s₁＝s₂＝0，这表明集合U全部被标记完成或者分类器不再变化；

3.6得到经过协同训练的两个模型m₁和m₂；

4利用Stacking方法将两个分类器集成，用于Web攻击检测

4.1将D_l输入m₁和m₂得到集合和其中和分别是m₁和m₂的预测结果，y_i是D_l原始的标签；

4.2用和训练一个分类器m，来集成m₁和m₂，训练算法可以采用逻辑回归、神经网络、支持向量机等，这一步的核心就是把两个模型输出的概率值当作输入，原始的标签当作目标输出值，进行训练；

4.3m、m₁和m₂构成了一个集成的模型M，该模型可用于最终的Web攻击检测；

5用Web攻击检测模型对Http请求进行攻击检测

5.1从Http请求中提取出URL

采集网络流量，获得Http请求，从中提取出URL，并将其解码，该步骤同1.1中从Web日志中提取URL的方法；

5.2将URL向量化

利用2.1中提到12个特征将URL转化为向量x¹，利用2.2提到的N-gram和TF-IDF将URL转化为向量x²；

5.3攻击的检测

将x¹和x²输入模型M，若模型的输出为+1，表示该Http请求是带有攻击的请求，若模型的而输出为-1，表示该Http请求是正常请求。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于协同训练的Web攻击检测方法，其特征在于包括以下步骤：

S1处理Web日志，构建数据集；

S2利用专家知识特征和文本特征，获得两个独立的视图；

S3利用两个独立的视图进行协同训练，获得两个分类器；

S4利用Stacking方法将两个分类器集成，得到Web攻击检测模型；

S5用Web攻击检测模型对Http请求进行攻击检测。

2.根据权利要求1所述的一种基于协同训练的Web攻击检测方法，其特征在于所述步骤S1中处理构建数据集的过程包括：

S11先从Web服务器中收集Web日志，再从中提取出URL，并对其进行解码，构成集合S；

S12随机从S中抽取|L|个样本，人工对样本进行标记，标签的集合为{-1，+1}，-1代表是正常的URL，+1代表带有攻击的URL，标记样本构成集合L，未标记样本构成集合U，保证S＝L+U，|L|＜＜|U|。

3.根据权利要求2所述的一种基于协同训练的Web攻击检测方法，其特征在于所述步骤S2中获得两个独立的视图的过程包括：

S21用专家知识特征构建视图：特征空间＝{路径长度，路径深度，参数长度，参数个数，参数名最大长度，参数名平均长度，参数值最大长度，参数值平均长度，参数值中字母占有的比例，参数之中数字占有的比例，参数值中特殊字符占有的比例，攻击关键字的个数}，共计12个特征，用特征空间将URL向量化，S转化为视图X¹，最后需要对X¹进行归一化处理，公式为其中X_max、X_min分别是原始X¹的最大值和最小值；

S22用文本特征构建视图：将URL看作文本，将URL转化为特征向量，S转化为视图X²，首先利用N-gram对URL进行分词，URL的特征空间是所有字符的组合，若S中有c种不同的字符，则URL向量的维度d＝cⁿ，其中n为N-gram中N的取值，之后用TF-IDF来计算URL的特征值，对于样本x第i个的特征值x_i公式由以下的公式得出： x_i＝TF_i×IDF_i，其中n_i、n_total、n_S、分别表示第i个特征在URL中出现的数量、URL分词后的总数、S的大小、有第i个特征的URL数量。

4.根据权利要求3所述的一种基于协同训练的Web攻击检测方法，其特征在于所述步骤S3中进行协同训练获得两个分类器的内容包括：

S31有标记样本集合无标记样本集合从D_u中随机抽取s个样本构成缓冲池D_s，此时D_u＝D_u-D_s，视图1的有标记样本集合视图2的有标记样本集合

S32用有监督学习算法通过来训练分类器m₁，用有监督学习算法通过来训练分类器m₂；

S33遍历D_s，对于x∈D_s，若max m₁(x)＞θ，则将x加入 其中m_i(x)表示分类器m_i对样本x是+1和-1的概率预测值，max m_i(x)表示取其中最高的概率值，θ是人工设定的阈值，高于该阈值说明x具有高置信度，其中p_i是带符号的预测概率值，作为x的伪标签，同理若max m₂(x)＞θ，则将x加入

S34用s₁表示增加的数量，用s₂表示增加的数量，保证s＞＞s₁+s₂，这是需要从D_u中随机取s₁+s₂个样本加入D_s中；

S35重复S31到S34的步骤直到或者s₁＝s₂＝0，这表明集合U全部被标记完成或者分类器不再变化；

S36得到经过协同训练的两个分类器m₁和m₂。

5.根据权利要求4所述的一种基于协同训练的Web攻击检测方法，其特征在于所述步骤S4中将两个分类器集成的内容包括：

S41将D_l输入m₁和m₂得到集合和其中和分别是m₁和m₂的预测结果，y_i是D_l原始的标签；

S42用和训练一个次级分类器m，来集成m₁和m₂；

S43 m、m₁和m₂构成了一个集成的模型M。

6.根据权利要求5所述的一种基于协同训练的Web攻击检测方法，其特征是所述步骤S5中用Web攻击检测模型对Http请求进行攻击检测的内容包括：

S51采集网络流量，获得Http请求，从中提取出URL，并将其解码；

S52将URL向量化：利用S21中提到12个特征将URL转化为向量x¹，利用S21提到的N-gram和TF-IDF将URL转化为向量x²；

S53攻击的检测，将x¹和x²输入模型M，若模型的输出为+1，表示该Http请求是带有攻击的请求，若模型的而输出为-1，表示该Http请求是正常请求。