CN110943974A - 一种DDoS异常检测方法及云平台主机 - Google Patents

Abstract

一种DDoS异常检测方法及云平台主机，根据CPU利用率和网络流量数据，采用基于窗口的时间序列分析方法和单类分类检测方法进行异常检测。本发明可以实现更高的准确率和较低的误报率，同时也能记录攻击的过程，有利于人工的进一步分析并且将攻击后的行为与正常工作下的负载高峰进行区分。

Description

一种DDoS异常检测方法及云平台主机

技术领域

本发明涉及云平台异常检测领域，特别涉及一种面向云数据中心CPU利用率和网络流量数据的一种DDoS异常检测方法。

背景技术

随着互联网行业的不断创新与发展，云计算(Cloud computing)是在基于互联网的使用以及网络服务的增加、交付模式的多样化而出现的，一般是通过互联网来提供动态的、虚拟化的且易扩展的资源，云是在此基础上的一种比喻。云服务市场的增长使得其所受的威胁也越来越大，许多网络攻击者利用云计算的漏洞来谋取利益，在云平台受到的网络安全攻击中，DDoS攻击的数量在急剧增长。DDoS攻击通常是通过多个主机向虚拟机发送大量网络数据包以使得虚拟机无法满足合法用户对web应用程序、多媒体应用程序等各种应用的服务请求。为了提高云平台的可靠性和安全性，这就要求我们需要对云平台进行异常检测，而且需要花费最少的资源来进行异常检测。

目前，有人提出基于人工神经网络(Artifical Neural Network，ANN)的云入侵检测系统，从虚拟机网络流量数据集中分析“正常”与“异常”。也有使用线性回归(LinearRegression，LR)和随机森林算法(Random Forest，RF)来检测和分类云数据中心的异常，并在其中对比了One-Class SVM(无监督异常值检测)算法和Isolation Forest(孤立森林)算法的异常检测过程。近年来熵在各种网络异常检测工具中得到了广泛的应用。有人基于引入的数据密度概念的云异常检测技术，实现了非参数柯西函数。通过观察熵变量是否服从正态分布来识别云安全攻击。还有使用Kolmogorov-Smirnov测试(柯尔莫哥洛夫-斯米尔诺夫检验)来确定熵变量是否服从正态分布。

人工神经网络是把一切特征都转化为数字，这种运算过程多于大多数情况都是可以检测出云数据异常，但数据的转化过程势必会缺少一些信息，对于云检测来说，信息就是检测的重点，对于一些未知情况可能会导致较高的错误率和误报率，不能达到企业级的要求。此外其他几种算法对于多数情况的异常都是可以做到较高的检测，但都无法检测由于未知攻击而导致的云数据异常，因为这些攻击的过程没有被记录下来，或是与已知的“异常”模式有很大的不同。

不同研究人员提出了各种不同的方法来进行异常检测，但是这其中的大部分方法无法广泛实施。

发明内容

本发明提供一种DDoS异常检测方法及云平台主机，具有更高的准确率和较低的误报率，同时也能记录攻击的过程，有利于人工的进一步分析并且将攻击后的行为与正常工作下的负载高峰进行区分。

为了达到上述目的，本发明提供一种DDoS异常检测方法，包含以下步骤：

收集遭受攻击后的虚拟机的CPU利用率和网络流量数据；

采用基于窗口的时间序列分析方法对收集到的遭受攻击后的虚拟机的CPU利用率和网络流量数据进行处理，生成测试数据集；

采用单类分类检测方法，利用预先训练好的OCC模型对测试数据集进行异常检测，得到分布式拒绝服务DDoS攻击的异常检测结果。

所述OCC模型的训练方法包含：

收集每台虚拟机在遭受攻击前和遭受攻击后的CPU利用率和网络流量数据；

采用基于窗口的时间序列分析方法对收集到的虚拟机的CPU利用率和网络流量数据进行处理，生成训练数据集；

构建OCC模型，以训练数据集作为OCC模型的输入数据，采用单类分类检测方法对OCC模型进行异常检测训练。

所述的采用基于窗口的时间序列分析方法生成训练数据集的方法包含：

将每台虚拟机的所有数据平均分配到大小相等的时间区间中，计算每个时间区间中数据的均值和标准差，每个时间区间的均值和标准差组成一个二维向量；

每个时间区间的二维向量设置有对比向量，将所有的二维向量和对比向量都设置为正类，所有时间区间的二维向量和对比向量组成训练数据集。

生成每个时间区间的二维向量后，进一步包含：

对该二维向量进行标准化处理，再将标准化后的二维向量输入人工神经网络进行训练，得到非线性函数表达的二维向量。

进行标准化处理的标准化公式为：

其中，X是原始数据，X_min是每组最小值；X_max是每组数据最大值。

如权利要求3所述的DDoS异常检测方法，其特征在于，所述的采用基于窗口的时间序列分析方法生成测试数据集的方法包含：

将每台虚拟机遭受攻击后的数据平均分配到大小相等的时间区间中，计算每个时间区间中数据的均值和标准差，每个时间区间的均值和标准差组成二维向量，将所有小于预设对比向量的二维向量组成测试数据集。

所述时间区间为1分钟，所述对比向量＝[1.0，1.0]，表示设置的最大均值和最大标准差。

在所述二维向量的两个数值同时大于1时，将所述二维向量设置为所述对比向量，并标注所述二维向量为异常数据；

在所述二维向量的两个数值没有同时大于1时，将所述二维向量作为样例向量，加入测试数据集。

在所述OCC模型的训练状态为未完成时，若所述异常检测结果包含异常则继续对所述OCC模型进行训练；

若所述异常检测结果不包含异常，则将模型的稳定周期增加，并在所述稳定周期等于预设阈值时继续对所述OCC模型进行训练。

本发明还提供一种云平台主机，所述的云平台主机包含处理器，所述的处理器执行所述的DDoS异常检测方法，实现对云平台中虚拟机的异常检测。

本发明可以实现更高的准确率和较低的误报率，同时也能记录攻击的过程，有利于人工的进一步分析并且将攻击后的行为与正常工作下的负载高峰进行区分。

附图说明

图1是本发明提供的一种DDoS异常检测方法的流程图。

图2是本发明的一个实施例中的DDoS异常检测方法的流程图。

图3是本发明的一个实施例中生成训练数据集的流程图。

图4是本发明的一个实施例中生成测试数据集的流程图。

图5是本发明的一个实施例中模型训练的流程图。

图6是本发明的一个实施例中异常检测的流程图。

图7是模拟针对运行图形分析应用程序的虚拟机进行DDoS异常检测的示意图。

图8是模拟针对运行媒体流应用程序的虚拟机进行DDoS异常检测的示意图。

具体实施方式

以下根据图1～图8，具体说明本发明的较佳实施例。

鉴于目前大部分DDoS异常检测方法无法广泛实施的问题，本发明提出了一种针对DDoS攻击的云数据中心异常检测方法。本方法利用云平台中较为容易获得的数据，比如CPU利用率和网络流量数据，收集攻击前后的CPU利用率和网络流量数据，通过单类分类算法和对时间窗口序列的分析，进而进行异常检测分析，对其进行异常检测，不仅能够准确地检测出云平台是否出现异常，是否受到攻击，并且能分辨出云平台的数据异常是由于自身工作峰值还是由于攻击所致。

基于单类分类算法的检测方法是为了解决现实中广泛存在的诸如故障和目标检测、异常行为检测、图像中的人脸识别、疾病检测以及入侵检测等异常数据样本缺失甚至根本没有的单类问题。该算法的任务不是分类问题以“区分不同的类”为目标，也不是回归问题以“对每一个样本产生一个期望输出”为目标。算法通过利用仅有的一类目标数据建立起相应的数据描述边界，给出一个关于训练样本集的描述，在理想情况下，该描述应该覆盖代表训练样本集的样本类，获得目标数据样本分布的数据描述后，对未知样本的分类就转化为检验未知样本是否服从学到的目标样本的描述。如果服从，则接受未知样本为目标类样本，否则拒绝接受，即将未知样本标注为非目标类样本。

基于窗口的时间序列分析是将时间序列划分成若干个固定大小的子序列(窗口)，在各子序列中定位异常点，该方法的基础是时间序列中的异常点可能是其一个或多个子序列中的异常点导致。本方法中基于窗口的时间序列分析方法是将原始数据分到相等大小的多个窗口中，然后计算每个窗口中数据的平均值和熵。这些窗口中的平均值和熵就构成了用于异常检测分析的数据。简单说明如下：将CPU利用率数据点分成10个窗口，每个窗口的大小为1分钟，然后计算每个窗口的平均值、标准差和熵。选择窗口大小为1分钟的原因是：如果窗口短于1分钟，不利于减少干扰，如果长于1分钟，则不能准确表示CPU利用率的变化。最后将平均值和标准差结合起来考虑，近而将三类问题(区分正常、异常、工作峰值)转化为两类：1、“正类”，由正常情况和负载峰值组成，2、“负类”，由异常情况组成。这样的话，通过分类可以区分这两类且能得到高准确度和低误报率。

如图1所示，本发明提供一种DDoS异常检测方法，通过云数据中心的一台主机节点来检测其它虚拟机的行为，进而发现异常。所述的DDoS异常检测方法包含以下步骤：

步骤S1、主机收集每台虚拟机在遭受攻击前后的CPU利用率和网络流量数据；

步骤S2、主机采用基于窗口的时间序列分析方法对收集到的所有的虚拟机原始数据进行处理，生成训练数据集；

步骤S3、主机采用基于窗口的时间序列分析方法对收集到的遭受攻击后的虚拟机原始数据进行处理，生成测试数据集；

步骤S4、主机构建OCC模型，以训练数据集作为OCC模型的输入数据，采用单类分类检测方法对OCC模型进行异常检测训练；

步骤S5、训练好的OCC模型采用单类分类检测方法对测试数据集进行异常检测。

如图2所示，在本发明的一个实施例中，提供一种DDoS异常检测方法，具体包含以下步骤：

步骤1、数据收集。

RADM(实时异常检测方法)通过来收集每台虚拟机的CPU利用率和网络流量数据(传输和接收的网络数据包的总大小)。

收集这些数据的频率为5秒，通过数据收集器来收集数据，即在主机节点上运行virt-top(一个用于检索虚拟领域统计信息的程序)来收集虚拟机的CPU利用率和网络流量数据。

步骤2：基于窗口的时间序列分析训练。

对于每一台虚拟机，首先需要获取历史数据中的所有原始数据点，然后进行训练，将这些数据分配到大小为1分钟的时间区间中，再计算每个区间内的均值(avg)和标准差(sd)。因此每个数据区间产生一个二维向量(avg，sd)。此外，训练模块还要定义对比数据点。这些人为数据生成的数据点代表真实的工作负载峰值，比数据点的数目等于原始数据的总数。将每个对比数据点表示为人工数据，即向量(1.0，1.0)，它表示原始数据的最大均值和最大标准差。最后将从训练得到的向量和对比的向量结合起来作为训练数据使用。

如图3所示，生成训练数据集的具体步骤包含：

获得每一台虚拟机(1～N)的原始数据；

将每台虚拟机的原始数据分拆到十个区间DBij，每个时间区间间隔一分钟(选择窗口大小为1分钟的原因是：如果窗口短于1分钟，不利于减少干扰，如果长于1分钟，则不能准确表示CPU利用率的变化)；

对每一分钟的区间都计算它的均值avg和标准差sd，并初始化输入实例，把它们组合成一个二维向量[avg,sd]，然后用数组ini存储每一个二维向量，并对样本标签设置为正类；

接着对每个时间区间产生的二维向量进行标准化(标准化后的原始数据范围在0～1之间)，并对每一组数据进行训练；在本实施例中，标准化公式为：

其中，X是原始数据，X_min是每组最小值；X_max是每组数据最大值；在本实施例中，采用神经网络ANN对每个时间区间产生的二维向量进行训练，将经过标准化的数据通过函数转变成拟合概率论的非线性函数结果，从而使结果更贴近检测环境；

定义对比数据点，即设置区间的二维向量的最大值为[1.0,1.0]；

最后把训练样本都设置为正类，最后返回训练数据集。

步骤3：基于窗口的时间序列分析测试。

测试模块使用最后一分钟的原始数据(在本实施例中，是在最后五分钟注入的攻击，所以最后一分钟更能准确显示虚拟机各方面的数据，作为测试训练集计算出的结果更准确)进行测试，计算最后一分钟的原始数据的平均值(avg)和标准差(sd)并生成二维向量(avg，sd)，该二维向量就是异常检测的测试样本。将平均值和标准差结合起来，然后提取训练数据集的最大值和最小值，过滤异常值，使测试数据和训练数据在同一个标准下得到。

如图4所示，生成测试数据集的具体步骤包含：

对每台虚拟机(1～N)进行初始化(原始数据清零)；

计算每一台虚拟机最后一分钟的原始数据的平均值(avg)和标准差(sd)，生成二维向量(avg，sd)；

如果二维向量(avg，sd)的两个数值都大于1，则将该二维向量(avg，sd)设置为[1.0,1.0]，同时标注为异常数据；如果二维向量(avg，sd)的两个数值没有同时大于1，则将该二维向量(avg，sd)作为样例向量，同时把它加入到样本的测试实例；

最后返回测试数据集。

步骤4：模型训练。

在模型训练模块为每个虚拟机构建一个OCC模型，作为训练模型器。OCC模型以训练数据集作为输入，对数据集进行分类，识别虚拟机“正常”的CPU和网络使用模式。然后将生成的训练好的OCC模型存储在模型存储器中。

如图5所示，模型训练的具体步骤包含：

将每一台虚拟机的训练数据集输入OCC模型，输入训练周期的阈值(一般为50分钟)，输出异常检测训练的状态(第一次训练/停止训练/完成训练)。

对于每一台虚拟机，判断其训练状态有没有完成(即训练状态Training Status是否为completed/已完成)，

如果训练状态为未完成，则继续判断其训练状态是否是第一次训练，以及其训练结果是否已经含有异常(异常检查通过分析最后五分钟的异常检测结果(ADR))，如果判断结果为是，则运行模拟训练器(包括OCC模型)，并将训练状态置为“正在训练中”，将训练周期(即稳定周期阈值)设置为0；如果判断结果为否，则训练周期在原基础上加5。

接着判断训练周期是否跟之前输入的阈值相等，若相等，将训练状态置为“已完成”，若不相等，则将训练状态置为“停止”状态。

步骤5：异常检测。

使用训练好的OCC模型进行异常检测。对于每个虚拟机，都是将测试样本输入训练好的OCC模型。当虚拟机的CPU或网络流量出现偏差时，OCC模型就将其标记为异常。

如图6所示，异常检测的具体步骤包含：

输入当前数据，即将测试数据集的测试样本(最后一分钟的CPU利用率或网络流量数据)输入训练好的该虚拟机的OCC模型(即异常检测器)，OCC模型输出异常检测结果，如果结果属于“正类”，则将其置为“正常”，否则将其置为“异常”。

步骤6：异常模拟。

本方法分别模拟了针对运行图形分析应用程序和运行媒体流应用程序的虚拟机。

如图7所示，对于图形分析云服务应用程序，通过在“分析虚拟机”上运行“压力”模拟工具来模拟攻击，“压力”模拟工具是一个简单的工作负载生成器，它可以给系统施加可配置的CPU、内存、I/O和磁盘压力。通过运行CPU压力工具注入异常，将攻击前后状态通过图像显示，在注入异常前后利用本发明提供的DDoS异常检测方法对虚拟机进行分析，检测DDoS异常攻击。

如图8所示，对于媒体流云服务应用程序，通过使用iPerf工具从模拟攻击的虚拟机发送连续的HTTP请求到服务器虚拟机来实现。iPerf客户端的攻击虚拟机发送连续的HTTP请求到服务器虚拟机的iPerf服务端，iPerf客户端的负载量高的虚拟机发送随机的瞬时HTTP请求到服务器虚拟机的iPerf服务端，媒体流客户端中的50个客户机发送请求到服务器虚拟机的媒体流服务端。在实验室使用openstack构建了云数据中心，并在云数据中心使用一台服务器虚拟机收集工作负载，通过运行一个占用虚拟机几乎100％CPU、内存、I/O以及磁盘压力的压力工具来模拟DDOS攻击，从而造成云服务器资源达到峰值，无法给正常用户提供资源和服务。在这种攻击下，CPU会被大量消耗。对于图形分析云服务应用程序，工作负载峰值时通过在分析虚拟机上运行“压力”工具生成的，工具运行大约五秒左右。对于媒体流云服务应用程序，工作负载峰值是在iPerf工具的帮助下，从“攻击虚拟机”向“服务器虚拟机”发送大约五秒左右的HTTP请求来实现的(服务器虚拟机作为iPerf服务器，负载量高虚拟机作为iPerf客户端)。

通过基于实验室的实验和基于真实的云数据中心实验来评估实时异常检测方法(Real-time Anomaly Detection Method，RADM)的性能。将本方法部署在真实的云平台中，通过对实验得到的数据进行分析比较，验证了本方法的可行性和效率。

本发明可以实现更高的准确率和较低的误报率，同时也能记录攻击的过程，有利于人工的进一步分析并且将攻击后的行为与正常工作下的负载高峰进行区分。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种DDoS异常检测方法，其特征在于，包含以下步骤：

收集遭受攻击后的虚拟机的CPU利用率和网络流量数据；

采用基于窗口的时间序列分析方法对收集到的遭受攻击后的虚拟机的CPU利用率和网络流量数据进行处理，生成测试数据集；

采用单类分类检测方法，利用预先训练好的OCC模型对测试数据集进行异常检测，得到分布式拒绝服务DDoS攻击的异常检测结果。

2.如权利要求1所述的DDoS异常检测方法，其特征在于，所述OCC模型的训练方法包含：

收集每台虚拟机在遭受攻击前和遭受攻击后的CPU利用率和网络流量数据；

采用基于窗口的时间序列分析方法对收集到的虚拟机的CPU利用率和网络流量数据进行处理，生成训练数据集；

构建OCC模型，以训练数据集作为OCC模型的输入数据，采用单类分类检测方法对OCC模型进行异常检测训练。

3.如权利要求2所述的DDoS异常检测方法，其特征在于，所述的采用基于窗口的时间序列分析方法生成训练数据集的方法包含：

将每台虚拟机的所有数据平均分配到大小相等的时间区间中，计算每个时间区间中数据的均值和标准差，每个时间区间的均值和标准差组成一个二维向量；

每个时间区间的二维向量设置有对比向量，将所有的二维向量和对比向量都设置为正类，所有时间区间的二维向量和对比向量组成训练数据集。

4.如权利要求3所述的DDoS异常检测方法，其特征在于，生成每个时间区间的二维向量后，进一步包含：

对该二维向量进行标准化处理，再将标准化后的二维向量输入人工神经网络进行训练，得到非线性函数表达的二维向量。

5.如权利要求4所述的DDoS异常检测方法，其特征在于，进行标准化处理的标准化公式为：

其中，X是原始数据，X_min是每组最小值；X_max是每组数据最大值。

6.如权利要求3所述的DDoS异常检测方法，其特征在于，所述的采用基于窗口的时间序列分析方法生成测试数据集的方法包含：

将每台虚拟机遭受攻击后的数据平均分配到大小相等的时间区间中，计算每个时间区间中数据的均值和标准差，每个时间区间的均值和标准差组成二维向量，将所有小于预设对比向量的二维向量组成测试数据集。

7.如权利要求6所述的DDoS异常检测方法，其特征在于，所述时间区间为1分钟，所述对比向量＝[1.0，1.0]，表示设置的最大均值和最大标准差。

8.如权利要求7所述的DDoS异常检测方法，其特征在于，进一步包含：

在所述二维向量的两个数值同时大于1时，将所述二维向量设置为所述对比向量，并标注所述二维向量为异常数据；

在所述二维向量的两个数值没有同时大于1时，将所述二维向量作为样例向量，加入测试数据集。

9.如权利要求1所述的DDoS异常检测方法，其特征在于，进一步包含：

在所述OCC模型的训练状态为未完成时，若所述异常检测结果包含异常则继续对所述OCC模型进行训练；

若所述异常检测结果不包含异常，则将模型的稳定周期增加，并在所述稳定周期等于预设阈值时继续对所述OCC模型进行训练。

10.一种云平台主机，其特征在于，所述的云平台主机包含处理器，所述的处理器执行如权利要求1-9中任意一项所述的DDoS异常检测方法，实现对云平台中虚拟机的异常检测。

Images