CN110912888B - 一种基于深度学习的恶意http流量检测系统和方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的恶意HTTP流量检测系统和方法，涉及信息安全技术领域，包括域分割模块、主动标签矫正模块、多域特征提取模块，所述域分割模块将不同类别的字段分割成具有特定方法进行域分割的统一格式；所述主动标签矫正模块的主动标签矫正算法对标签进行矫正后存入数据库；所述多域特征提取模块挖掘HTTP协议中不同类型域之间的深层关系，通过所述主动标签矫正模块得到的数据进行训练学习，得到可信模型，通过本方案的实施，解决了如何利用字段交互和选择有效字段来描述HTTP流量的问题，减少了无效信息的负面影响而且突出了最重要的字段，同时也提高了框架的可解释性。

Description

一种基于深度学习的恶意HTTP流量检测系统和方法

技术领域

本发明涉及信息安全技术领域，尤其涉及一种基于深度学习的恶意HTTP流量检测系统和方法。

背景技术

超文本传输协议(HTTP)是实现桌面和移动网站以及应用程序的主要协议。由于HTTP的普及和广泛的应用，使攻击者更容易隐藏在大量的HTTP流量中，它已成为非法活动的主要媒体。

现有的恶意HTTP流量检测方法可以根据功能的设计方式大致分为两类:(1)手动设计方法:使用基于统计的多域相关特征集检测异常。为了利用结构信息，Rafiqu设计了一个消息树，仅通过基于集群的方法从恶意流量生成签名。Richard被动地生成从多字段中提取的指纹，以描述应用程序的网络行为。由于单个字段在HTTP中也起着关键作用，例如统一资源定位符(URL)。Zhao等人专注于提取词汇特征以识别恶意URL。同样，Zhang等人通过挖掘状态代码的错误模式来检测恶意流量，状态代码是HTTP的特定字段。(2)自动学习方法:与URL相比，网络流量数据也遭受标签噪声和非平稳性的不可避免的困难，使得自学习功能容易受到标签的攻击。因此，现有的自动学习方法主要集中在恶意URL的检测上。应用一组卷积神经网络(CNN)来模拟URL String的字符和单词，并在一个联合优化的框架中使用嵌入层。这些传统技术已成功识别网络中的恶意流量。

但是，这些技术存在两个问题。首先，手动设计功能的成功是有限的，因为有效的特征挖掘和选择过程是代价高昂的，并且在不同的应用中确定最有用的特征是不灵活的。例如从HTTP/1.0版本升级到HTTP/1.1或HTTP/1.1升级到HTTP/2.0，研究人员不得不寻求新功能。其次，对于现有的自学习功能，即使对于大多数手动设计的功能，也仅关注单个字段或多字段内容，字段之间的底层触发关系(如URL和引用之间的关系，版本和方法)不受重视。

因此，本领域的技术人员致力于开发一种基于深度学习的恶意HTTP流量检测系统和方法，解决了如何利用字段交互和选择有效字段来描述HTTP流量的问题。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何实现特征工程代价小、特征挖掘深入的恶意HTTP流量检测系统。

为了克服上述难点，我们将恶意网络流量检测问题从无功能工程角度重新定义为主动标签矫正以删除噪声标签和多域特征提取以自动发现基础特征的步骤组合。

为实现上述目的，本发明提供了一种基于深度学习的恶意HTTP流量检测系统，包括域分割模块、主动标签矫正模块、多域特征提取模块，域分割模块将不同类别的字段分割成具有特定方法进行域分割的统一格式；主动标签矫正模块的主动标签矫正算法对标签进行矫正后存入数据库；多域特征提取模块挖掘HTTP协议中不同类型域之间的深层关系，通过主动标签矫正模块得到的数据进行训练学习，得到可信模型。

进一步的，域分割模块将不同的字段分为两类：结构域和受限域，根据这两个类别对每个字段进行预处理。

进一步的，多域特征提取模块包括注意力模块和特征交叉模块，特征交叉模块的多层交叉网络来自动搜索有效特征，注意力模块的注意网络来减轻琐碎的信息，并自动发现不同领域的重要部分并将它们聚集在一起。

进一步的，恶意HTTP流量监测系统包括报告生成模块，报告生成模块被配置成结合注意力模块中的信息生成判定报告。

进一步的，恶意HTTP流量检测系统采用服务端/客户端架构，在服务器端配置各模块，进行成熟模型的训练和恶意HTTP的检测；客户端被配置为面向用户上传网络流量和呈现生成的判定报告。

为实现上述目的，本发明还提供了一种基于深度学习的恶意HTTP流量检测方法，包括以下步骤：

S1、恶意流量样本进行域分割模块得到域分割后的样本；

S2、对分割后的恶意流量输入主动标签矫正模块得到标签矫正后的样本；

S3、使用有监督值的多域多特征提取模块训练深度学习网络；

S4、输入域分割后恶意流量，使用训练成熟的深度学习网络进行恶意性检测；

S5、根据上述判定结果生成检测报告。

进一步的，恶意流量样本进行域分割模块得到域分割后的样本包括以下步骤：

S1-1、分割为受限域，检测HTTP域中具有固定格式字段的域进行分割；

S1-2、分割为结构域，检测HTTP域中无固定格式字段的域进行分割，并对分割后的样本进行填充和截断，使分割后的样本具有统一的格式字段。

进一步的，对分割后的恶意流量输入主动标签矫正模块得到标签矫正后的样本包括以下步骤：

S2-1、使用域分割模块中的URI字段，构造字典集合，低于一定词频的字将会被重置为一个特殊字符；

S2-2、得到字段集合的字典大小；

S2-3、初始化一个嵌入矩阵，使用数据集中训练样本构造一个word2vec模型；

S2-4、通过平均每一个样本在嵌入矩阵中的位置获取样本的平均值；

S2-5、构造一个空集合sup集合；

S2-6、构造一个空集合nsup集合；

S2-7、创建一个SVM模型1，使用数据集中的所有样本；

S2-8、将SVM模型1中的支持向量从数据集中分解，并把他们加入sup集合，把其他的样本加入nsup集合；

S2-9、创建一个SVM模型2,使用nsup中的所有样本；

S2-10、使用SVM模型2测试sup集合中的样本，根据他们的概率重新排序被标错的样本；

S2-11、手动检查曾经在sup集合中未曾出现的样本，基于S2-10中的排序，矫正错误的标签；

S2-12、重复步骤S2-6到S2-12直到所有噪声样本都被矫正。

进一步的，使用有监督值的多域多特征提取模块训练深度学习网络包括以下步骤：

S3-1、使用交叉网络提取交叉层的交互特征；

S3-2、使用注意力机制提取不同域的显著性特征；

S3-3、将由交叉网络得到的特征和由注意力机制得到的特征合并，作为最终特征；

S3-4、使用逻辑层作预测。

进一步的，输入域分割后恶意流量，使用训练成熟的深度学习网络进行恶意性检测包括以下步骤：

S4-1、使用经过主动标签矫正后的样本作为多域特征提取模块的监督值；

S4-2、对深度学习网络，根据分类损失函数进行更新训练，得到成熟的网络模型。

与现有技术相比，本发明提出了一种基于SVM的HTTP标签校正算法。然后解决了如何利用字段交互和选择有效字段来描述HTTP流量。本发明模型通过保持学习特征与交叉网络交互的能力来增强DCN，并且首先提出精心设计的注意网络来学习不同领域的重要性等级，这不仅减少了无效信息的负面影响而且突出了最重要的字段，但也提高了框架的可解释性。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的基于深度学习的恶意HTTP流量检测的系统结构图；

图2a是本发明的一个较佳实施例的基于深度学习的恶意HTTP流量检测的方法流程图；

图2b是本发明的一个较佳实施例的域分割步骤；

图2c是本发明的一个较佳实施例的主动标签矫正算法步骤；

图2d是本发明的一个较佳实施例的多域特征提取步骤；

图2e是本发明的一个较佳实施例的使用有监督值的多域多特征提取模块训练深度学习网络步骤；

图3a是本发明一个较佳实施例的基于深度学习的恶意HTTP流量检测的总体架构图；

图3b是本发明的一个较佳实施例的基于深度学习的恶意HTTP流量检测的输入实例示意图；

图3c是本发明的一个较佳实施例的基于深度学习的恶意HTTP流量检测的域分割的输出结果示意图；

图3d是本发明的一个较佳实施例的基于深度学习的恶意HTTP流量检测的报告生成实例示意图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选7实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，是本发明的一个较佳实施例的基于深度学习的恶意HTTP流量检测的系统结构图，基于深度学习的恶意HTTP流量检测系统100采用服务端/客户端架构。服务器端被配置为域分割模块110、主动标签矫正模块120、多域特征提取模块130、报告生成模块140，进行成熟模型的训练和恶意HTTP的检测；客户端即浏览器端被配置为面向用户上传网络流量和呈现生成的判定报告。

域分割模块110，不同类别的域有不同的格式,域分割模块110将不同类别的字段分割成具有特定方法进行域分割的统一格式。将不同的字段分为两类：结构域和受限域，根据这两个类别对每个字段进行预处理，以便解决非结构化字段的问题。受限域指的是HTTP字段中可选择值数量有限的字段，比如Method域在HTTP1.0中仅能选择3个值；结构域指的是HTTP字段中可选择值具有特定的结构，但数量无限制的字段，比如URI域的值可以在遵从协议格式规范下任意选择。将所有域进行上述分类后，按照非字符串和数字的特殊字,如“/”，“？”，“：”等，对域中字符串进行分割。例如，形如‘http://www.baidu.com’的URL的分割结果为‘http’,‘www’,‘baidu’,‘com’。

主动标签矫正模块120，由于HTTP流量在采集过程中存在大量错误标签或者攻击者进行的具有误导性的标签，利用主动标签矫正模块120的主动标签矫正算法对标签进行矫正后存入数据库。

多域特征提取模块130，利用了深度交叉注意网络进行多域特征提取，深度交叉网络的混合网络作用是发现字段之间的潜在关系和减少琐碎信息并提高可解释性。首先，不同字段之间的关系可能会引入更高级别的语义，并且需要更多的攻击者来逃避检测。另一方面，琐碎的信息会掩盖有效特征，而解释性对解释决策很重要。多域特征提取模块130由注意力模块和特征交叉模块组成，特征交叉和注意力指的是不同域之间的关系交叉、注意，可以是受限域与受限域，也可以是受限域和结构域之间的交叉、注意。特征交叉模块的多层交叉网络来自动搜索有效特征，包括关系特征，表示为交叉特征。注意力模块的注意网络来减轻琐碎的信息，并尝试自动发现不同领域的重要部分并将它们聚集在一起，这被称为注意力特征。多域特征提取模块130挖掘HTTP协议中不同类型域之间的深层关系，通过主动标签矫正模块120得到的数据进行训练学习，得到可信模型。多域特征提取模块130还可以通过输出不同字段的标准化注意权重来提高系统的可解释性。通过整合两个网络的结果，所有域之间的关系特征被提取并与全面且信息丰富的参与域连接。然后进一步利用交叉特征和参加特征之间的不明确且高度非线性的语义特征。

报告生成模块140，该模块被配置成结合注意力模块中的信息进行结果生成判定报告。报告生成模块140为非必要模块，结果的生成和判定还可通过其他方式呈现或者同其他接口、系统相连接生成报告。

如图2a-2e所示，是本发明的一个较佳实施例的基于深度学习的恶意HTTP流量检测的系统结构图。本发明提供了一种基于深度学习的恶意HTTP流量检测的方法，包括如下步骤:

S1、恶意流量样本进行域分割模块得到域分割后的样本；

S2、对分割后的恶意流量输入主动标签矫正模块得到标签矫正后的样本；

S3、使用有监督值的多域多特征提取模块训练深度学习网络；

S4、输入域分割后恶意流量，使用训练成熟的深度学习网络进行恶意性检测；

S5、根据上述判定结果生成检测报告。

详细地，步骤S1、恶意流量样本进行域分割模块得到域分割后的样本中的域分割包括以下步骤：

S1-1、分割为受限域，检测HTTP域中具有固定格式字段的域进行分割；

S1-2、分割为结构域，检测HTTP域中无固定格式字段的域进行分割，并对分割后的样本进行填充和截断，使分割后的样本具有统一的格式字段。

详细地，步骤S2、对分割后的恶意流量输入主动标签矫正模块得到标签矫正后的样本中的主动标签矫正算法包括如下步骤：

S2-1、使用域分割模块中的URI字段，构造字典集合，低于一定词频的字将会被重置为一个特殊字符；

S2-2、得到字段集合的字典大小；

S2-3、初始化一个嵌入矩阵，使用数据集中训练样本构造一个word2vec模型；

S2-4、通过平均每一个样本在嵌入矩阵中的位置获取样本的平均值；

S2-5、构造一个空集合sup集合；

S2-6、构造一个空集合nsup集合；

S2-7、创建一个SVM模型1，使用数据集中的所有样本；

S2-8、将SVM模型1中的支持向量从数据集中分解，并把他们加入sup集合，把其他的样本加入nsup集合；

S2-9、创建一个SVM模型2,使用nsup中的所有样本；

S2-10、使用SVM模型2测试sup集合中的样本，根据他们的概率重新排序被标错的样本；

S2-11、手动检查曾经在sup集合中未曾出现的样本，基于S2-10中的排序，矫正错误的标签；

S2-12、重复步骤S2-6到S2-12直到所有噪声样本都被矫正。

详细地，步骤S3、使用有监督值的多域多特征提取模块训练深度学习网络中多域特征提取模块包括以下步骤：

S3-1、使用交叉网络提取交叉层的交互特征；

S3-2、使用注意力机制提取不同域的显著性特征；

S3-3、将由交叉网络得到的特征和由注意力机制得到的特征合并，作为最终特征；

S3-4、使用逻辑层作预测。

详细地，步骤S4、输入域分割后恶意流量，使用训练成熟的深度学习网络进行恶意性检测中多域特征提取模块训练深度学习网络包括以下步骤：

S4-1、使用经过主动标签矫正后的样本作为多域特征提取模块的监督值；

S4-2、对深度学习网络，根据分类损失函数进行更新训练，得到成熟的网络模型。

图3a是本发明一个较佳实施例的基于深度学习的恶意HTTP流量检测的总体架构图,输入数据为HTTP流量数据,依次经过域分割模块110、主动标签矫正模块120、多域特征提取模块130的处理，通过报告生成模块140生成判定报告。

图3b是本发明一个较佳实施例的基于深度学习的恶意HTTP流量检测的输入实例示意图，输入数据为HTTP流量数据，日志记录为包含HTTP协议内所有结构信息，例如Method、URI、Version、Host、User-Agent等域结构，此日志记录结构为本领域内的常识性信息，无需创造性劳动就可以轻易获得。

图3c是本发明的一个较佳实施例的基于深度学习的恶意HTTP流量检测的域分割的输出结果示意图，针对日志记录的不同结构信息，按照域分割模块110所具体描述的判定方法和处理手段将每条日志记录分割为不同字段类型的配对信息，比如针对HTTP流量数据中第一条日志实例，Method字段下获得的值内容为POST,HOST字段下获得的值内容为m.aedxdrcb.com,以此类推，可以获得所有字段的对应值内容信息。

图3d是本发明的一个较佳实施例的基于深度学习的恶意HTTP流量检测的报告生成实例示意图，针对域分割模块110域分割的输出结果中所分割得到的不同结构内容信息，报告生成模块140可以产出每一个结构域的可疑度分析结果，比如针对HTTP流量数据中第一条日志实例，当模型判定该记录为恶意流量时，Method字段的可疑度为0.00％，URI字段的可疑度为4.67％，Host字段的可疑度为84.70％，以此类推，所有字段的可疑度总和为100％，研究人员可以根据报告生成模块140对模型作出的判断进行可解释性分析。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (1)

1.一种基于深度学习的恶意HTTP流量检测方法，包括以下步骤：

S1、恶意流量样本进行域分割模块得到域分割后的样本；

S2、对分割后的恶意流量输入主动标签矫正模块得到标签矫正后的样本；

S3、使用有监督值的多域多特征提取模块训练深度学习网络；

S4、输入域分割后恶意流量，使用训练成熟的深度学习网络进行恶意性检测；

S5、根据S4检测结果生成检测报告；

所述恶意流量样本进行域分割模块得到域分割后的样本包括以下步骤：

S1-1、分割为受限域，检测HTTP域中具有固定格式字段的域进行分割；

S1-2、分割为结构域，检测HTTP域中无固定格式字段的域进行分割，并对分割后的样本进行填充和截断，使分割后的样本具有统一的格式字段；

所述对分割后的恶意流量输入主动标签矫正模块得到标签矫正后的样本包括以下步骤：

S2-1、使用域分割模块中的URI字段，构造字典集合，低于一定词频的字将会被重置为一个特殊字符；

S2-2、得到字段集合的字典大小；

S2-3、初始化一个嵌入矩阵，使用数据集中训练样本构造一个word2vec模型；

S2-4、通过平均每一个样本在嵌入矩阵中的位置获取样本的平均值；

S2-5、构造一个空集合sup集合；

S2-6、构造一个空集合nsup集合；

S2-7、创建一个SVM模型1，使用数据集中的所有样本；

S2-8、将SVM模型1中的支持向量从数据集中分解，并把他们加入sup集合，把其他的样本加入nsup集合；

S2-9、创建一个SVM模型2,使用nsup中的所有样本；

S2-10、使用SVM模型2测试sup集合中的样本，根据他们的概率重新排序被标错的样本；

S2-11、手动检查曾经在sup集合中未曾出现的样本，基于S2-10中的排序，矫正错误的标签；

S2-12、重复步骤S2-6到S2-12直到所有噪声样本都被矫正；

所述使用有监督值的多域多特征提取模块训练深度学习网络包括以下步骤：

S3-1、使用交叉网络提取交叉层的交互特征；

S3-2、使用注意力机制提取不同域的显著性特征；

S3-3、将由交叉网络得到的特征和由注意力机制得到的特征合并，作为最终特征；

S3-4、使用逻辑层作预测；

所述输入域分割后恶意流量，使用训练成熟的深度学习网络进行恶意性检测包括以下步骤：

S4-1、使用经过主动标签矫正后的样本作为多域特征提取模块的监督值；

S4-2、对深度学习网络，根据分类损失函数进行更新训练，得到成熟的网络模型。

Images