CN111191767B - 一种基于向量化的恶意流量攻击类型的判断方法 - Google Patents

Abstract

本发明提供一种基于向量化的恶意流量攻击类型的判断方法，涉及信息处理技术领域。该方法首先把原始流量数据以会话为单位进行长度统一，然后送入自动编码机模型提取大小一致长度适中的会话数据，将处理后的会话数据转化为图像集合，送入卷积神经网络训练得到向量，并与对应统计特征提取的向量进行拼接，得到新的流量向量集合，并放到临时数据库中；对临时数据库中的向量以余弦距离为依据进行聚类，找出聚类中心的向量，构建行为向量库；预处理后的待检测流量向量与行为向量库中向量以余弦距离为依据进行相似度检测，获得待检测流量的流量类型。本发明方法通过向量距离的计算，提高了检测的效率，有效的降低了相似的恶意流量特征的误判程度。

Description

一种基于向量化的恶意流量攻击类型的判断方法

技术领域

本发明涉及信息处理技术领域，尤其涉及一种基于向量化的恶意流量攻击类型的判断方法。

背景技术

随着互联网的快速发展，通信网络发展迅猛，网络攻击层出不穷。为保证和提高网络的可用性和可靠性，如何有效预防和检测恶意流量成为业界和学术界共同关注的重点问题。大量文献表明，网络流量在正常运行的情况下是具有一定的周期性和稳定性的，不同时段的不同协议的流量均匀增加或者减少是正常状态，比如节假日时段的不同网络协议的流量比工作时的成相同比例的减少，当流量偏离了其正常的行为，打破这一规律，发生比较明显的突变时，就可能发生了异常。

传统检测流量异常的方法分为基于端口和基于深度包检测，这一过程都是依赖于人为制定的规则。人为制定的规则又依赖于人工统计的数据，人工统计这一过程需要大量的人力物力，且效率也不高，制定出来的规则也是固定不变的，不具备可扩展性，这就要求规则制定者考虑全面，提前设定所有可能的异常检测情况，这往往是不现实的。

另一方面，传统检测流量异常的方法往往只是检测到了网络流量中的一种或者几种特征向量，而且选取的特征向量没有特定的攻击类型定义，因而检测系统检测时只知道网络中某些特征向量出现了异常，但是不能判断出现了什么样的攻击。

随着机器学习技术的迅猛发展以及人工智能产业的迅速崛起，使用机器学习、深度学习方法进行流量异常检测成为业界和学术界关注的重点，相关研究工作已经存在很多，研究成果在一定程度上也推动着流量异常检测工作高效进展。但机器学习技术以及深度学习方法在应用过程中也存在很大的局限性，其中面临的最大挑战是机器学习技术处理的原始数据居多，原始数据中大量无用的数据反而会影响对恶意流量类型的判断，并且使用单一的机器学习模型对恶意流量进行类别判定时，对于未知的恶意流量攻击类型无法做出准确判断，从而引起流量的误判。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于向量化的恶意流量攻击类型的判断方法，挖掘数据内的行为特征和统计特征，并用向量表示，达到更好的恶意流量类型检测效果。

为解决上述技术问题，本发明所采取的技术方案是：一种基于向量化的恶意流量攻击类型的判断方法，包括以下步骤：

步骤1、对原始流量数据以会话为单位进行划分，根据已知的流量类型，对划分后的每一条流量数据标记流量类型；所述原始流量数据包括原始的正常流量数据以及原始的异常流量数据；

步骤2、构建一个5层的深度自动编码机模型和一个卷积神经网络模型；

所述深度自动编码机模型先采用无监督逐层贪心训练算法，完成对隐藏层的预训练，然后采用BP算法对整个模型进行参数优化，使隐藏层节点数从高到低，再从低到高，最终输出第三层节点提取出来的向量；所述卷积神经网络采用残差网络结构，网络整体深度为16，以3*3的小型卷积核和2*2的最大池化层为单元进行叠加而成，最终加以全连接层得出恶意流量类型，最终该模型输出结果为全连接层的输入向量；

步骤3、对步骤1中的已标记流量类型的流量数据进行再处理，在保留原数据关键信息的基础上统一数据长度；

步骤4、将经过步骤3处理后的数据输入到步骤2构建的自动编码机模型，进行特征提取，突出流量数据中的关键特征，得到大小一致，分布相对均匀的数据集合；

步骤5、将步骤4中得到的数据集合中的每一个流量数据转化为十六进制表示形式，然后将流量数据转化为二维数组，最后将二维数组转化为一张灰度图，得到一个图像集合；

步骤6、将步骤5得到的图像集合输入到步骤2构建的卷积神经网络结构中，利用卷积神经网络结构进行特征的再提取，输出流量数据向量；

步骤7、对原始流量数据进行统计特征提取，再将统计特征向量化，并与步骤6中得到的流量数据向量对应拼接，得到新的流量向量集合，并将新获得的流量向量放入临时数据库中；所述临时数据库存储临时的流量向量数据，在进行聚类操作后，临时数据库会清空；

步骤8、根据步骤1中标注的流量类型，对临时数据库中的流量向量进行分类，针对每一类别的流量向量集合根据余弦距离进行聚类，得到聚类中心点向量，以该聚类中心向量代表这一类别的流量类型，保存到行为向量库中；所述行为向量库包括正常向量库和恶意向量库：其中，正常向量库记录了正常行为相关流量的向量，异常向量库记录了异常行为相关流量的向量；

步骤9、对于待检测的恶意流量，按照步骤1-步骤7获得其特征的向量化表示，将其与行为向量库中的所有向量进行相似度计算，进而确定流量类型；

对于待检测的恶意流量，按照步骤1-步骤7获得其特征的向量化表示，将其与行为向量库中的所有向量进行余弦距离计算，若计算结果大于给定的阈值，则待检测向量可能是该类型的向量，在所有大于阈值的计算结果中取最大值，将待检测向量判定为该流量类型；若计算结果没有超过阈值，则该流量类型为新型恶意流量类别，直接将该向量加入行为向量库中表示一种恶意流量类型；

步骤10、将待检测流量向量放入对应临时向量库中，定期对临时向量库进行步骤8中的聚类操作，更新行为向量库中的向量。

采用上述技术方案所产生的有益效果在于：本发明提供的一种基于向量化的恶意流量攻击类型的判断方法，通过深度自动编码机模型统一数据长度、最小化损失原始数据集的特征，并将统一后的数据转化为图像，利用卷积神经网络提取图像化数据的全部特征从而得到向量表示，即一个向量代表一个会话的流量特征，解决了分散的向量无法代表具有时间特征的数据的问题，并且这一操作极大的降低了后续需要处理的数据量，提高了数据处理的效率。考虑到原始流量数据中包含的部分冗余无用的特征不仅对类型判别没有起到太大的作用，反而会影响判断结果准确性，所以本发明中从原始流量数据提取的向量和统计特征提取向量进行拼接的操作，降低原始数据中无用特征的占比，科学全面体现会话的流量特征。针对待检测的流量，在判断流量类型的过程中，将待检测的流量数据进行向量化，并计算与行为向量库中已有的向量集合之间的余弦距离，评估向量之间的相似度，这一操作使得检测恶意流量同时具备误用检测和异常检测的特点，解决了传统只能检测固定已知的恶意流量攻击类型的局限性：在区别出恶意流量具体的攻击类型的同时，也识别出未知的恶意攻击类型，具有可扩展性；同时向量距离计算的科学高效性也提高了检测的效率，有效的降低了相似的恶意流量特征的误判程度。

附图说明

图1为本发明实施例提供的一种基于向量化的恶意流量攻击类型的判断方法的流程图；

图2为本发明实施例提供的一种基于向量化的恶意流量攻击类型的判断方法的具体过程图；

图3为本发明实施例提供的原始流量数据向量化过程的流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例中，一种基于向量化的恶意流量攻击类型的判断方法，如图1和2所示，包括以下步骤：

步骤1、对原始流量数据以会话为单位进行划分，根据已知的流量类型，对划分后的每一条流量数据标记流量类型；所述原始流量数据包括原始的正常流量数据以及原始的异常流量数据；

本实施例中，原始流量数据包括50000条原始正常流量数据和50000条原始恶意流量数据，每条数据包含了多个流量包；对这些原始恶意流量数据集进行恶意流量类型标注，正常流量均标记为正常；本实施例中，选择的恶意流量类型均是网络交互偏多且较难分辨的，分别是ARP攻击、DNS劫持、R2L、U2L、CC攻击，并对这5大类型进行细分，如ARP攻击分为IP地址冲突、ARP泛洪攻击、ARP欺骗攻击、ARP扫描攻击、虚拟主机攻击5小类。

步骤2、构建一个5层的深度自动编码机模型和一个卷积神经网络模型；

所述深度自动编码机模型先采用无监督逐层贪心训练算法，完成对隐藏层的预训练，然后采用BP算法对整个模型进行参数优化，使隐藏层节点数从高到低，再从低到高，最终输出第三层提取出来的向量；所述卷积神经网络采用残差网络结构，网络整体深度为16，以3*3的小型卷积核和2*2的最大池化层为单元进行叠加而成，最终加以全连接层得出恶意流量类型，最终该模型输出结果为全连接层的输入向量；

步骤3、对步骤1中的已标记流量类型的流量数据进行再处理，在保留原数据关键信息的基础上统一数据长度；

通过步骤1得到的预处理后的流量数据集由于是以会话为单位进行切割的，不同的会话传输的数据长度不相同，所以需要进行数据长度统一化操作。本实施例中对每一个会话数据从数据开始进行定长切割，分别切割65536字节长度的数据。

步骤4、将步骤3中得到的数据输入到步骤2构建的自动编码机模型中，进行特征提取，突出流量数据中的关键特征，得到大小一致，分布相对均匀的数据集合；

将定长切割后的每一个会话数据送入到步骤2构建好的自动编码机模型中，最终得到固定长度的会话数据构成的流量数据集合。

步骤5、将步骤4中得到的数据集合中的每一个流量数据转化为十六进制表示形式，每一条流量数据长度为8192字节，然后再将流量数据转换成二维数组，最后将二维数组转化为一张灰度图，得到一个图像集合；

本实施例将预处理化后的每一条会话数据转化为16进制数据，并对每一条会话数据转化为长为256字节，宽为32的二维数组，最后将每一条会话数据组成的二维数组转化为一张灰度图，得到一个图像集合。

步骤6、将步骤5得到的图像集合输入到步骤2构建的卷积神经网络结构中，利用卷积神经网络结构进行特征的再提取，输出流量数据向量；

将步骤5得到的图像集合传入到步骤2已经构建好的卷积神经网络结构中去，经过卷积、降采样、池化操作获得图像数据的高级局部特征，最后利用卷积神经网络的1024个神经元提取得到1024维向量，本实施例中，原始流量数据向量化过程如图3所示。

步骤7、对原始流量数据进行统计特征提取，再将统计特征向量化，并与步骤6中得到的流量数据向量对应拼接，得到新的流量向量集合，将新获得的流量向量放入临时数据库中；所述临时数据库存储临时的向量数据，在进行聚类操作后，临时数据库会清空；

本实施例中，将100000条原始流量数据对应的统计特征提取的41个特征用向量表示，也就是每条数据都是41维向量，每一维度都代表该连接的一个属性。本实施例中使用的41维特征分为基本属性、内容属性、基于时间的统计属性、基于连接的统计属性，具体分为持续时间、协议类型、服务类型、连接状态、源-目的字节数、目的-源字节数、是否同一主机或端口、错误分段数、加急包个数、敏感文件访问次数、登录失败次数、是否登录成功、compromised出现次数、是否超级用户、是否出现su root命令、超级用户访问次数、创建文件次数、Shell命令次数、访问控制文件次数、FTP会话中站连接次数、是否敏感登录/访客、相同目的/服务连接数、相同目的/服务的连接中SYN/REJ错误百分比、相同目的连接中的相同/不同服务百分比、相同服务连接中的不同目的百分比、相同目的连接数、相同目的相同服务连接数、相同目的相同/不同服务百分比、相同目的相同源端口百分比、相同目的相同服务连接中的不同源百分比、相同目的/服务连接中SYN/REJ错误百分比。将这41维向量与步骤6到的1024维原始流量数据向量进行向量拼接，最终得到1065维向量来表示一个会话中提取的特征。

步骤8、根据步骤1中标注的流量类型，对临时数据库中的流量向量进行分类，针对每一类别的流量向量集合根据余弦距离进行聚类，得到聚类中心点向量，以该聚类中心向量代表这一类别的流量类型，保存到行为向量库中；所述行为向量库包括正常向量库和恶意向量库：其中，正常向量库记录了正常行为相关流量的向量，异常向量库记录了异常行为相关流量的向量；

步骤9、对于待检测的恶意流量，按照步骤1-步骤7获得其特征的向量化表示，将其与行为向量库中的所有向量进行相似度计算，进而确定流量类型；

对于待检测的恶意流量，按照步骤1-步骤7获得其特征的向量化表示，将其与行为向量库中的所有向量进行余弦距离计算，若计算结果大于给定的阈值，则待检测向量可能是该类型的向量，在所有大于阈值的计算结果中取最大值，将待检测向量判定为该流量类型；若计算结果没有超过阈值，则该流量类型为新型恶意流量类别，直接将该向量加入行为向量库中表示一种恶意流量类型；

步骤10、将待检测流量向量放入对应临时向量库中，定期对临时向量库进行步骤8中的聚类操作，更新行为向量库中的向量；

本实施例中，对某系统按照7日留存率监控得到的流量来判断流量类型，该流量类型首先呈现为未知状态；

本实施例中，对待处理的流量数据首先按照步骤1-7进行向量化处理，即进行预处理。最终得到4个1065维向量,分别用W1、W2、W3、W4表示；以W1为例，分别与行为向量库中的向量进行余弦距离计算，设定恶意距离阈值为0.8，在大于这一阈值的范围内，找到余弦距离最大的向量，该向量对应的恶意流量攻击类型即为检测流量的类型，同时设置正常距离阈值为0.6，在大于这一阈值的范围内，即该流量为正常向量，其余即为新型恶意攻击类型。本实施例中，最终在该流量数据中检测得到了ARP攻击、CC攻击和两类新型恶意攻击类型。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (4)

1.一种基于向量化的恶意流量攻击类型的判断方法，其特征在于：包括以下步骤：

步骤1、对原始流量数据以会话为单位进行划分，根据已知的流量类型，对划分后的每一条流量数据标记流量类型；所述原始流量数据包括原始的正常流量数据以及原始的异常流量数据；

步骤2、构建一个5层的深度自动编码机模型和一个卷积神经网络模型；

步骤3、对步骤1中的已标记流量类型的流量数据进行再处理，在保留原数据关键信息的基础上统一数据长度；

步骤4、将经过步骤3处理后的数据输入到步骤2构建的自动编码机模型中，进行特征提取，突出流量数据中的关键特征，得到大小一致，分布相对均匀的数据集合；

步骤5、将步骤4中得到的数据集合中的每一个流量数据转化为十六进制表示形式，然后再将流量数据转换成二维数组，最后将二维数组转化为一张灰度图，得到一个图像集合；

步骤6、将步骤5得到的图像集合输入到步骤2构建的卷积神经网络结构中，利用卷积神经网络结构进行特征的再提取，输出流量数据向量；

步骤7、对原始流量数据进行统计特征提取，再将统计特征向量化，并与步骤6中得到的流量数据向量对应拼接，得到新的流量向量集合，并将新获得的流量向量放入临时数据库中；所述临时数据库存储临时的向量数据，在进行聚类操作后，临时数据库会清空；

步骤8、根据步骤1中标注的流量类型，对临时数据库中的流量向量进行分类，针对每一类别的流量向量集合根据余弦距离进行聚类，得到聚类中心向量，以该聚类中心向量代表这一类别的流量类型，保存到行为向量库中；

步骤9、对于待检测的恶意流量，按照步骤1-步骤7获得其特征的向量化表示，将其与行为向量库中的所有向量进行相似度计算，进而确定流量类型；

步骤10、将待检测流量向量放入对应临时向量库中，定期对临时向量库进行步骤8中的聚类操作，更新行为向量库中的向量。

2.根据权利要求1所述的一种基于向量化的恶意流量攻击类型的判断方法，其特征在于：步骤2所述深度自动编码机模型先采用无监督逐层贪心训练算法，完成对隐藏层的预训练，然后采用BP算法对整个模型进行参数优化，使隐藏层节点数从高到低，再从低到高，最终输出第三层提取出来的向量；所述卷积神经网络采用残差网络结构，网络整体深度为16，以3*3的小型卷积核和2*2的最大池化层为单元进行叠加而成，最终加以全连接层得出恶意流量类型，最终该模型输出结果为全连接层的输入向量。

3.根据权利要求1所述的一种基于向量化的恶意流量攻击类型的判断方法，其特征在于：所述行为向量库包括正常向量库和恶意向量库：其中，正常向量库记录了正常行为相关流量的向量，异常向量库记录了异常行为相关流量的向量。

4.根据权利要求1所述的一种基于向量化的恶意流量攻击类型的判断方法，其特征在于：所述步骤9的具体方法为：

对于待检测的恶意流量，按照步骤1-步骤7获得其特征的向量化表示，将其与行为向量库中的所有向量进行余弦距离计算，若计算结果大于给定的阈值，则待检测向量可能是该类型的向量，在所有大于阈值的计算结果中取最大值，将待检测向量判定为该流量类型；若计算结果没有超过阈值，则该流量类型为新型恶意流量类别，直接将该向量加入行为向量库中表示一种恶意流量类型。

Images