CN112929369B - 一种分布式实时DDoS攻击检测方法 - Google Patents

Abstract

本发明公开了一种分布式实时DDoS攻击检测方法，包括实时监测系统状态指标，根据系统状态指标，判断系统是否处于DDoS攻击状态；当系统处于DDoS攻击状态时，根据触发攻击感知的系统状态指标，判断DDoS攻击的类型；对接口流量进行检测，筛选出DDoS攻击发起源的IP地址或访问频次异常的接口，以使得发起针对该接口的防御工作。通过监测系统状态指标，判断系统是否处于DDoS攻击状态，能够预判系统处于DDoS攻击状态，同时预判DDoS攻击类型，以此面对目前应用层DDoS攻击持续时间短，发起速度快的特点，当DDoS攻击没有发生时暂停DDoS攻击检测工作，降低服务器性能消耗，感知算法所预判的DDoS攻击类型可以用于选定合适的DDoS攻击检测算法，以提高攻击检测整体的准确率。

Description

一种分布式实时DDoS攻击检测方法

技术领域

本发明涉及网络安全技术领域，尤其涉及一种分布式实时DDoS攻击检测方法。

背景技术

互联网作为全球经济发展的重要组成部分，如今已全面渗透到经济社会的各个领域，成为生产建设、经济贸易、科技创新、公共服务、文化传播、生活娱乐的新型平台和变革力量。而Web服务是互联网中最广泛的应用类型和内容提供方式，因此也成为网络攻击的主要攻击对象。分布式拒绝服务攻击(Distributed Denial-of-Service Attack,DDoS)采用欺骗和伪装的策略来进行网络攻击，使网站服务器充斥大量要求回复的信息，以此消耗网络带宽或系统资源，导致网络或系统不胜负荷以至于瘫痪而停止提供正常的网络服务，从而达到攻击者在商业竞争、服务绑架或经济要求的目的，是当前Web服务面临的最大威胁之一。

根据电信云堤发布的“DDoS攻击态势报告”中显示，目前网络中被入侵的设备中有超过50％以上被用于发起DDoS攻击。

DDoS攻击随着个人计算机的普及以及物联网设备的发展越来越频繁地出现在公众的视野并且造成了巨大的恶性后果以及经济损失。个人计算机硬件能力的提升降低了DDoS攻击的成本，网络应用的复杂度提高带来了更大的工作量不对称性，物联网设备的发展给予了黑客更多的傀儡，造成更加复杂多变的源IP以及网络UA标识，加大了DDoS攻击检测和防御的难度。而DDoS攻击发起工具如Hyenae、DDOSIM-Layer、HULK、Pyloris等下载方便，许多专业性不强的不法分子也可以发起DDoS攻击，对服务提供商、普通用户都带来较大危害，造成了巨大的经济损失和资源浪费。据统计抗DDoS攻击的平均流量费用已达到3万/Gb，目前DDoS攻击流量峰值越来越高，而网络应用成为民众日常生活必不可少的内容，大流量DDoS攻击会导致网站服务的完全瘫痪，为了不影响用户的使用，DDoS攻击的检测实时性尤为重要。

发明内容

针对上述缺陷或不足，本发明的目的在于提供一种分布式实时DDoS攻击检测方法。

为达到以上目的，本发明的技术方案为：

一种分布式实时DDoS攻击检测方法，包括以下步骤:

实时监测系统状态指标，根据系统状态指标，判断系统是否处于DDoS攻击状态；

当系统处于DDoS攻击状态时，根据触发攻击感知的系统状态指标，判断DDoS攻击的类型；

对接口流量进行检测，筛选出DDoS攻击发起源的IP地址或访问频次异常的接口，以使得发起针对该接口的防御工作。

所述根据系统状态指标，判断系统是否处于DDoS攻击状态包括：

1.1、通过数据模型进行系统状态指标数值的预测；

1.2、利用预测值以及观测值获取偏离度，根据偏离度判断系统是否处于DDoS攻击状态。

所述数据模型包括：AR模型、MA模型、或ARMA模型。

所述通过AR模型进行系统状态指标数值的预测包括：

AR模型公式：

θ＝(2^-1，2^-2，2^-3…2^-L)；

L＝min{10,max{3,0.3≤|lg(V_t-L/V_t-L-1)|}}；

其中V_t为目标系统状态指标在时间间隔次数t的预测值；t为当前统计间隔时间的次数；S_t-i为系统状态指标在t-i时刻的观测值；i为1到L的时刻下标，即某一时刻；

θ_i为AR模型参数，这里θ_i可视为在预测中对t-i时刻观测值的置信程度；为了保证通用性以及提高计算效率，使用参数θ代替θ_i；为了保证整体系数和为1，添加了θ_LS_t-L部分，即将最后一个参数的系数值翻倍；

L为模型的阶数，即参与预测的观测值数量；；V_t-L为目标系统状态指标在向前搜索时间间隔t-L次数的预测值，V_t-L-1为目标系统状态指标在向前搜索时间间隔t-L-1次数的预测值；vt-L与vt-L-1为向前搜索L个时刻的两个连续vt；e为误差的补偿值。

获得预测值后，根据预测值与观测值进行偏离程度计算，计算公式为：

即取参与预测的所有观测值的方差与预测值的差进行比较，当预测值与观测值的差超过p倍的方差时，判断为系统正遭受DDoS攻击；所述p为DDoS攻击感知算法的判断阈值。

所述系统状态指标具体包括KNR、PCIR、IUR以及PUR：

根据预设时间间隔，统计关键接口与普通接口的访问次数比KNR；所述关键接口为需要配合数据库使用或等待其他第三方服务的回复功能的接口；

统计关键接口访问次数比的主成分分析的接口访问频次比PCIR；

统计关键接口访问次数与当前用户的人数比IUR；

统计访问网页页面次数与当前用户人数比PUR。

所述关键接口与普通接口的访问次数比使用KNR(Key Interface to NormalInterface Radio)表示，其计算公式：

其中request_key为关键接口的访问次数，request_normal为其余接口的访问次数，t为算法检测的单位时间；

所述统计关键接口访问次数比的主成分分析的接口访问频次比使用PCIR表示，其计算公式：

PCIR＝PCA₁([Interface₁,Interface₂...Interface_n]_t)

其中t表示算法检测的单位时间，Interface_n表示Web服务应用中第n个接口的请求次数；

所述统计接口访问次数与当前用户的人数比使用IUR表示，其计算公式：

其中t表示算法检测的单位时间，request_all表示该时刻下Web服务应用所有的HTTP请求次数，IP表示该时刻下Web服务应用所有活跃用户链接数量，即源IP数量；

所述统计访问网页页面次数与当前用户人数比PUR表示，其计算公式：

其中t表示算法检测的单位时间，Page表示该时间内网页页面的访问个数，IP表示该时刻下Web服务应用所有活跃用户链接数量，即源IP数量。

所述当系统处于DDoS攻击状态时，根据触发攻击感知的系统状态指标，判断DDoS攻击的类型具体包括；

当KNR出现偏离时，触发asymmetric workload型DDoS攻击感知；

当IUR出现偏离时，触发request flooding型DDoS攻击感知；

对接口流量进行检测，筛选出DDoS攻击发起源的IP地址或访问频次异常的接口包括：

3.1、建立检测模型，通过所述检测模型计算模型用户正常度概率；

3.2、获取用户操作序列，运算得出所述用户操作序列的操作正常度概率；

3.3、将操作正常度概率与模型用户正常度概率进行比较，当操作正常度概率包含于模型用户正常度概率，则判断该用户行为正常；当操作正常度概率不包含于模型用户正常度概率，则判断该用户行为异常。

所述检测模型为隐半马尔可夫模型；

隐半马尔可夫模型参数集描述：

HSMM＝(A＝{s_m},P＝{ts_mn},T＝{tr_m(r_i,τ_i)},D＝{num_m(d)})

其中A为用户访问状态的初始概率矩阵，表示用户处于某种初始状态的概率的集合；P为状态间相互转移的概率矩阵，为用户处于某浏览状态时到另一浏览状态的概率集合；T为在某状态下观察值的概率矩阵，用于描述用户的某一真实浏览状态呈现为后台服务器的某组实际请求内容以及请求时间间隔的概率，即用户浏览状态观察值的概率分布函数；D为状态驻留时间的概率分布，即用户到达下一个业务关键点或浏览状态时后台服务器实际接收用户的请求访问，即观察值的个数。

其中，s_m＝∑state_m/∑state；

ts_mn＝(∑θ(state_m,state_n))/(∑state_m)；

num_m(d)＝∑length_m-1,m(d)/∑state_m；

其中，s_m为用户处于初始的浏览状态为state_m的概率，state_m表示浏览状态m，state表示任意浏览状态；ts_mn表示用户的浏览状态从state_m转移到state_n的概率，θ(state_m,state_n)表示在所有观察结果序列中出现的以state_m起始，state_n结束的不重复子集；tr_m(r_i,τ_i)表示用于到达访问状态state_m时后台服务器实际接收到经过τ_i的时间间隔后的访问观察状态r_i的概率，其中r_i代表后台服务器观察到的用户浏览状态，r_i-1为浏览序列中r_i的上一浏览状态，τ_i为相应的两个状态r_i、r_i-1的访问时间间隔即

space函数为该Web应用中用户两次http请求访问间隔的概率密度函数,space(τ_i)即用户两次请求间隔时间为τ_i的概率；num_m(d)为当用户到达业务关键点访问状态为state_m时后台服务器接收到的观察状态访问数量为d的概率，其中length_m-1,m(d)函数表示在所有观察结果序列中出现的以state_m-1起始，state_m结束的长度为d子集数量。

与现有技术比较，本发明的有益效果为：

本发明提供了一种分布式实时DDoS攻击检测方法，通过监测系统状态指标，根据系统状态指标，判断系统是否处于DDoS攻击状态，能够预判系统处于DDoS攻击状态，同时预判DDoS攻击类型，以此面对目前应用层DDoS攻击持续时间短，发起速度快的特点，当DDoS攻击没有发生时暂停DDoS攻击检测工作，降低服务器性能消耗，感知算法所预判的DDoS攻击类型可以用于选定合适的DDoS攻击检测算法，以提高攻击检测整体的准确率。

进一步地，为了能够应对目前应用层DDoS攻击呈现的高频次、低时长、大规模的发展趋势，以及解决目前DDoS攻击检测中面临的包括高质量数据集匮乏、环境对抗性以及模型可解释性等常见困难，提出了一种具备实时性、参数可实时更新的基于用户访问行为的DDoS攻击检测算法。

附图说明

图1是本发明分布式实时DDoS攻击检测方法流程图；

图2是本发明HSMM模型训练流程图；

图3是本发明HSMM模型参数更新流程。

具体实施方式

下面将结合附图对本发明做详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，本发明提供了一种分布式实时DDoS攻击检测方法，包括以下步骤:

1、实时监测系统状态指标，根据系统状态指标，判断系统是否处于DDoS攻击状态；

传统DDoS攻击检测方式大多是将获取的流量经过处理后直接送往检测算法中进行流量的分类及攻击检测等工作，但实际遭受DDoS攻击的时间占绝少数，具有突发性。这种方式由于算法的持续运行，会导致大量的算力浪费。通过DDoS攻击感知算法来预判系统的当前状态以及DDoS攻击发生时的攻击类型。当DDoS攻击没有发生时暂停DDoS攻击检测工作，从而降低算力的浪费。当系统状态正常时，攻击检测模块所属服务器处于休眠状态，配合云服务器提供商的弹性计算方案，可以节约大量的服务器费用。同时通过对DDoS攻击类型的预判，系统可以实现针对攻击的类型或问题源选择一种针对该问题表现最好的DDoS攻击检测方法，从而提高整体的检测性能。

所述根据系统状态指标，判断系统是否处于DDoS攻击状态包括：

1.1、通过数据模型进行系统状态指标数值的预测；

1.2、利用预测值以及观测值获取偏离度，根据偏离度判断系统是否处于DDoS攻击状态。

所述数据模型包括：AR模型、MA模型、或ARMA模型。系统状态指标所需的数据主要包括访问流量中的源IP、URI信息、时间信息以及系统接口列表等，这些信息属于Web应用中可以直接获取且完整的信息。这些信息在作为Web应用中的系统状态指标的视角下是根据时间变化的一个数值序列，系统状态指标序列可以视为一个数据完整、数据量足够多的依赖于时间推移的状态序列，同时这些序列的状态都与上一时刻的系统使用情况以及用户行为相关，具有自相关性。通过这些条件以及特性，将使用博克斯-詹金斯方法(Box-Jenkins)也称B-J法，来进行系统状态指标的预测。

Box-Jenkins方法是统计学中用于时间序列预测的方法，通过该方法可以在分析时间序列的基础上，使用足够的数据来较完整准确地预测时间序列。其常用模型包括：AR模型(自回归模型)、MA模型(滑动平均模型)、ARMA模型(自回归-滑动平均混合模型)等。

由于实际在DDoS攻击中会尝试耗尽系统资源，系统状态指标的值会在DDoS攻击中发生数量级的变化，因此在进行系统状态指标的预测用于DDoS攻击状态的判断时，不需要非常高的精度，所以这里选择效率最高的AR模型用于系统状态指标的预测。

下面以AR模型为例进行说明：

所述通过AR模型进行系统状态指标数值的预测包括：

AR模型公式：

θ＝(2^-1，2^-2，2^-3…2^-L)；

L＝min{10,max{3,0.3≤|lg(V_t-L/V_t-L-1)|}}；

其中V_t为目标系统状态指标在时间间隔次数t的预测值；t为当前统计间隔时间的次数；S_t-i为系统状态指标在t-i时刻的观测值；i为1到L的时刻下标，即某一时刻；

θ_i为AR模型参数，这里θ_i可视为在预测中对t-i时刻观测值的置信程度；为了保证通用性以及提高计算效率，使用参数θ代替θ_i；为了保证整体系数和为1，添加了θ_LS_t-L部分，即将最后一个参数的系数值翻倍；

L为模型的阶数，即参与预测的观测值数量；；为目标系统状态指标在向前搜索时间间隔t-L次数的预测值，为目标系统状态指标在向前搜索时间间隔t-L-1次数的预测值；vt-L与vt-L-1为向前搜索L个时刻的两个连续vt；为了平缓可能出现的峰值，采用上式，对于大于10的长度由于系数值的取值已经为2-10，在DDoS攻击感知的精度要求中对结果不会造成影响，而取|lg(V_t-L/V_t-L-1)|小于0.3的目的是为了选取观测值中较为平缓的部分，使出现过的尖锐值或波峰不会影响预测结果。

e为误差的补偿值。该补偿值可以由后续的DDoS防御模块工作中的正常性测试请求结果反馈进行动态调整，也可以由系统的使用者针对网站的运行情况进行手动调整，例如当网站举办活动或者新功能发布时。调整方式于系统状态指标的补充及判断阈值的自动修正章节中详细描述。

获得预测值后，根据预测值与观测值进行偏离程度计算，计算公式为：

即取参与预测的所有观测值的方差与预测值的差进行比较，当预测值与观测值的差超过p倍的方差时，判断为系统正遭受DDoS攻击；所述p为DDoS攻击感知算法的判断阈值，由于可以根据DDoS攻击防御模块的反馈进行自动修正，根据实验结果将p的初始值设为2即可。

在实验中，发现观测值中的波动会较大的影响预测准确度，为了提高总体的预测准确度，需要对参与预测的系统状态指标所依赖的序列的观测值进行滤波处理，例如源IP数量、接口访问次数、CPU利用率等。一般采用的数值滤波方式包括以下方法：

(1)限幅滤波法

将两次采样间的最大差值限定为x，每次检测到新的观测值时如果本次的观测值与上一观测值的差小于等于x则有效，大于x则本次观测值无效，使用上一个观测值进行替代，即观测值的取值范围公式：

V_t-x≤V_t+1＜V_t+x

限幅滤波法优势在于具有极少的计算量同时能够有效地克服观测值中因偶然因素导致的脉冲型干扰，但参数值x的选取需要根据实验或经验判断，且采用该方法会让序列的数值变化损失数值特性、平滑度变差。

(2)递推平均滤波法

递推平均滤波法也称滑动平均滤波法，利用了滑动窗口的思想，将连续N个观测值视为一个队列，将队列中的数据进行算术平均运算作为下一时刻观测值的滤波结果。

递推平均滤波法的优势在于它对周期性干扰有良好的抑制作用，获得较好的平滑度，但其灵敏度低，对偶然出现的脉冲型干扰效果较差。

(3)防脉冲干扰平均滤波法

结合了中位值滤波法以及算术平均滤波法的优势，将滑动窗口中的最大值以及最小值去除后计算滤波结果，可以较好地避免脉冲性干扰以及周期性干扰，适合用于高频率、周期性变化的系统。

(4)一阶滞后滤波法

一阶滞后滤波法，观测值滤波，公式为：

V_t+1＝(1-x)*S_t+1+x*V_t

其中S为实际观测值，x为选定的比例参数，这种滤波方式在数值较平缓的场景下有良好效果，但会降低系统判断的灵敏度。

其它滤波方法还包括卡尔曼滤波法、加权递推滤波法、消抖滤波法等。由于DDoS攻击时各参数发生指数级的变化，故滤波算法需要在消除脉冲干扰的同时保留大脉冲的特性。且由于网络因素以及用户、DNS节点等服务器的缓存功能，系统状态指标各参数会发生高频率的抖动，所以这里选用防脉冲干扰平均滤波法用于AR模型进行数据预测前的滤波处理，可以较好地消除由于网络以及偶然性因素导致的脉冲干扰，提高预测模型的准确率。

本发明中，基于上述对Web服务应用用户访问行为的假设，提出了“关键接口”的概念以及多个评判Web服务系统当前系统状态指标用于针对DDoS攻击的感知。应用层DDoS按照攻击特点可以分成以下三类，request flooding、asymmetric workload以及repeatedone-shot，在发生不同类型的攻击时会触发相应的系统状态指标报警，从而预判DDoS攻击类型并通知执行后续的DDoS攻击检测及防御工作。现代Web服务应用中为了提升用户使用体验，存在一些功能复杂度高、时间开支大的功能，例如全站搜索功能、订单查询功能、历史日志查询、修改密码的短信发送或邮件发送等功能。这些功能都需要配合数据库使用或等待其他第三方服务的回复，占用大量CPU时间，拥有极高的工作量不对称性。针对这些功能发起攻击时只要攻击者拥有一定量的攻击源，即使是进行较低速的重复访问或者使用repeated one-shot攻击，也可以快速地耗尽系统资源，故这些功能接口经常作为DDoS攻击的目标，加以利用可以作为评判DDoS攻击状态的方式之一。本发明将Web应用中的这种接口定义为“关键接口”。

根据上述针对真实网络流量的分析以及研究发现一个典型的网络应用，所述系统状态指标具体包括KNR、IUR、以及PUR：

根据预设时间间隔，统计关键接口与普通接口的访问次数比KNR；所述关键接口为需要配合数据库使用或等待其他第三方服务的回复功能的接口；

所述关键接口与普通接口的访问次数比使用KNR表示，其计算公式：

其中request_key为关键接口的访问次数，request_normal为普通接口的访问次数，t为算法检测的单位时间；

Web服务应用中正常用户间针对网站业务的需求相似，这种情况下用户使用不同接口的频率相对稳定，对关键接口的使用是无感知无目的性的，不应该出现针对关键接口的强目的性访问。低速DDoS攻击利用访问高资源消耗的关键接口消耗系统资源，在统计时间内关键接口的访问频率会大幅提升。当该指标出现偏离时，触发asymmetric workload型DDoS攻击感知。

所述统计关键接口访问次数比的主成分分析的接口访问频次比使用PCIR(PrincipalComponentofInterfaceRadio)表示，其计算公式：

PCIR＝PCA₁([Interface₁,Interface₂...Interface_n]_t)

其中t表示算法检测的单位时间，Interface_n表示Web服务应用中第n个接口的请求次数；

所述统计关键接口访问次数与当前用户的人数比IUR(Interface to UserRadio)；

其中t表示算法检测的单位时间，request_all表示该时刻下Web服务应用所有的HTTP请求次数，IP表示该时刻下Web服务应用所有活跃用户链接数量，即源IP数量。

正常用户需求下进行操作的速度即访问接口的速度是相对稳定的，故在统计时间内用户的数量(源IP数量)与访问接口的次数比是相对稳定。当请求洪攻击发生时，攻击源主机会快速发起HTTP请求，故当该指标出现大幅度偏离时，触发request flooding型DDoS攻击感知。

所述统计访问网页页面次数与当前用户人数比PUR表示，其计算公式：

其中t表示算法检测的单位时间，Page表示该时间内网页页面的访问个数，IP表示该时刻下Web服务应用所有活跃用户链接数量，即源IP数量。

该指标主要针对动态页面发起的攻击(例如CC攻击)。正常用户访问一个页面并发生数据更新后会有一定停留观察的时间，同时这个时间会在页面跳转导致页面大幅度变化时提升到5s以上，且当系统遭受针对动态页面发起攻击时，攻击者的主要目的就是通过获取页面以及访问动态页面的数据更新接口从而耗尽系统资源，故在统计时间下属于Web应用页面部分中的接口访问频率以及用户数量即源IP的比值将大幅上升，即指标将大幅偏离正常值。

通过上述系统状态指标及其分析，系统状态指标可以描述当前Web应用服务的状态，同时具有数据获取方便、计算量低、无需人工数据标注等特点，符合分布式DDoS攻击防护系统设计的初衷，即运行的实时性。

为使算法判断的阈值能够实现自动修正或手动修正，额外加入对服务器CPU使用情况以及内存资源的监控，补充了CUR以及RUR两种系统状态指标，具体定义如下：

(1)统计时间间隔下CPU资源使用率增量与用户人数(IP数量)增量比，使用CUR(CPU usage to User Radio)表示，具体定义公式：。

其中t为算法检测的单位时间间隔，CPU_increment为该时刻下CPU使用量的增量数值，IP_increment为该时刻下活跃用户增量，即活跃IP链接增量。

(2)统计时间间隔下访问接口访问次数与用户人数(IP数量)增量比，使用RUR(RAMusage to User Radio)表示，具体定义公式：

其中t为算法检测的单位时间间隔，RAM_increment为该时刻下RAM使用量的增量数值，IP_increment为该时刻下活跃用户增量，即活跃IP链接增量。

当系统资源占用异常上升，触发CUR或RUR指标报警时，算法将直接通知攻击检测模块进行攻击检测，获得检测结果后，根据攻击防御模块的正常性测试反馈结果调整感知算法。如果确实发生DDoS攻击则对系统状态指标判断攻击发生的阈值进行修正，使其更加灵敏；如果DDoS攻击没有发生，则通知系统的运维人员升级服务器配置。

系统状态指标的数值受当前用户情况或Web应用的状态影响。例如购物网站在购物节、大型促销等活动发生时，用户群体行为突然改变，导致系统状态指标形成尖锐的数值变化，造成算法的异常报警。(注：由于系统状态指标中使用的都是与用户数量相关的比值，且算法集合了异常值的滤波处理，故一般情况下的网站活动不会导致上述情况。)同时由于不同的Web应用及不同行业的业务特性不同，且DDoS攻击者发起DDoS攻击具有目的性，在实际使用中算法运行初期配置的系统状态指标判断阈值p可能会出现过于敏感或迟滞的现象。

为了能够应对上述特殊情况导致的Web服务系统状态异常变化，从而实现算法面对Web服务应用合理变化时的自动兼容，当系统状态指标错误报警时，根据攻击防御模块返回的正常性测试结果，算法将记录该情况并调整判断阈值。本发明采用表1所定义的数据表记录上述修正，运维人员也可以通过可视化方式手动添加记录作为排除白名单。

表1攻击感知修正记录表结构

通过该数据表对系统运行过程中的正常性测试结果反馈进行自动记录，配合系统运维人员的主动补充，可以使算法对DDoS攻击的感知灵敏度和准确度随着系统的运行逐步提高。

2、当系统处于DDoS攻击状态时，根据触发攻击感知的系统状态指标，判断DDoS攻击的类型；

当KNR出现偏离时，触发asymmetric workload型DDoS攻击感知；

当IUR出现偏离时，触发request flooding型DDoS攻击感知；

3、对接口流量进行检测，筛选出DDoS攻击发起源的IP地址或访问频次异常的接口，以使得发起针对该接口的防御工作。

如果将用户访问的页面或者当前操作业务的步骤视为一种状态，那么用户从登录网站到完成业务的一系列操作过程都可以认为是在状态间进行转移，而访问过程中用户可能打开不同的页面，浏览不同的内容和办理业务，这种转移对于网站服务器来说是一种随机过程。同时根据描述DDoS攻击感知算法，可以得知HTTP请求的时间间隔也是描述用户正常访问行为的重要参数之一，用于描述状态间转移的概率。而用户完成网站业务所执行的业务关键点是一组有序且必须的状态序列，即在用户访问的行为状态转移过程中，从一个状态向下一个状态转移的概率除了与当前状态相关，还与已发生的历史状态相关。

根据上述用户浏览行为视为状态转移的思路以及用户对业务关键点的访问与之前状态相关的特性，这里选择隐半马尔可夫模型(Hidden Semi-Markov Models,HSMM)可以较好地描述网站用户的浏览行为。新模型在隐马尔可夫模型的基础上加入了停驻时间的组成部分，具有更好的建模能力，可以正确描述用户访问状态以及访问间隔两个重要指标。

具体包括：

3.1、建立检测模型，通过所述检测模型计算模型用户正常度概率；

3.2、获取用户操作序列，运算得出所述用户操作序列的操作正常度概率；

3.3、将操作正常度概率与模型用户正常度概率进行比较，当操作正常度概率包含于模型用户正常度概率，则判断该用户行为正常；当操作正常度概率不包含于模型用户正常度概率，则判断该用户行为异常。

所述检测模型为隐半马尔可夫模型；

隐半马尔可夫模型参数集描述：

HSMM＝(A＝{s_m},P＝{ts_mn},T＝{tr_m(r_i,τ_i)},D＝{num_m(d)})

其中A为用户访问状态的初始概率矩阵，表示用户处于某种初始状态的概率的集合；P为状态间相互转移的概率矩阵，为用户处于某浏览状态时到另一浏览状态的概率集合；T为在某状态下观察值的概率矩阵，用于描述用户的某一真实浏览状态呈现为后台服务器的某组实际请求内容以及请求时间间隔的概率，即用户浏览状态观察值的概率分布函数；D为状态驻留时间的概率分布，即用户到达下一个业务关键点或浏览状态时后台服务器实际接收用户的请求访问，即观察值的个数。

其中，s_m＝∑state_m/∑state；

ts_mn＝(∑θ(state_m,state_n))/(∑state_m)；

num_m(d)＝∑length_m-1,m(d)/∑state_m；

其中，s_m为用户处于初始的浏览状态为state_m的概率，state_m表示浏览状态m，state表示任意浏览状态；ts_mn表示用户的浏览状态从state_m转移到state_n的概率，θ(state_m,state_n)表示在所有观察结果序列中出现的以state_m起始，state_n结束的不重复子集；tr_m(r_i,τ_i)表示用于到达访问状态state_m时后台服务器实际接收到经过τ_i的时间间隔后的访问观察状态r_i的概率，其中r_i代表后台服务器观察到的用户浏览状态，r_i-1为浏览序列中r_i的上一浏览状态，τ_i为相应的两个状态r_i、r_i-1的访问时间间隔即

space函数为该Web应用中用户两次http请求访问间隔的概率密度函数,space(τ_i)即用户两次请求间隔时间为τ_i的概率；num_m(d)为当用户到达业务关键点访问状态为state_m时后台服务器接收到的观察状态访问数量为d的概率，其中length_m-1,m(d)函数表示在所有观察结果序列中出现的以state_m-1起始，state_m结束的长度为d子集数量。

由于实际可获取用户访问日志数据数量有限，且算法本身以低计算量、可实时更新为目的进行设计，space(τ_i)函数作为Web应用中用户访问间隔的概率密度函数，无法通过有效数据直接确定，只能通过拟合的方式获得。参考JDKnowles以及VDBEwout等人的研究，同时根据针对Clark-HTTP、NASA-HTTP等网络访问数据集的研究分析，发现space(τ_i)函数接近帕累托分布(也称布拉德福分布)，因此在假定space(τ_i)服从帕累托分布的前提下，可以使用以下公式进行替代：

其中τ_min的值在模型训练使用初期可能由于训练数据的选取问题导致不够准确，通过DDoS攻击防御模块正常性检测的反馈机制可以使该值逐渐合理化；其中k值的获得方式可由以下方法进行估算：

(1)满足帕累托分布的随机变量的期望值为：

(2)满足帕累托分布的随机变量的标准差为：

利用帕累托分布的这两个特性可以计算训练数据的数学期望以及标准差，从而计算k值。由于训练数据构成的模型并不是完美地遵循帕累托分布，故从期望值跟标准差计算的k值会有略微差距，只需计算平均值即可。同时当训练数据选取合理时，k值差距不会过大，可以通过两k值的差来判断当前选取的训练数据是否合理。

选择使用HSMM模型进行DDoS攻击检测除了模型能够较好地描述用户访问行为，也是为了规避目前大多DDoS攻击检测算法在实现中的常见困难及劣势。这些困难和劣势主要来源于高质量数据匮乏、对抗环境以及对模型可解释性的需求。

(1)高质量数据匮乏：由于网络请求随时都在发生，网络流量的数据并不缺乏，但缺乏适合机器学习使用的高质量数据集。Web服务应用由于业务各不相同，导致了白样本的多样性，但大多机器学习进行DDoS攻击检测要求的都是黑样本，而DDoS攻击方式多变又使黑样本的种类难以齐全导致可靠性问题。同时由于Web服务应用的多样性，网络流量数据都是以非结构化出现，数据加工、清洗、标注都需要较复杂的处理以及专业性，较大的数据处理消耗致使安全厂商间并不共享或公开安全相关数据集，导致了高质量数据匮乏的恶性循环。

(2)对抗环境：相对于机器学习的一般应用环境，DDoS攻击方式多变，且攻击者具有充分的动机和目的绕过或对抗机器学习的模型。无论是数据层面的投毒攻击还是模型层面的对抗样本攻击，都会对DDoS攻击检测带来困难，这种困难对使用黑样本进行训练的模型尤为明显，只有保持在运行中持续更新模型参数才可以面对攻击者不断改变的攻击手法。

(3)对模型可解释性的需求：由于Web服务应用需要实时响应用户的使用，DDoS攻击检测的模型或检测结果可能反映Web服务应用当前的问题或直接影响正常用户的使用，需要网站运维人员快速做出响应。而机器学习的模型以及输出结果的可解释性对于DDoS攻击检测来说是比较差的，原因是运维人员无法直接像面对图像识别或其他普通分类应用场景一样区分模型提供的结果是否真正在进行DDoS攻击从而做出处理。同时模型的训练结果本身对于算法开发人员来说可读性较差，这种情况在使用深度学习时更为明显，主要依靠数据质量，无法更好地发挥算法开发人员的网络安全知识。

通过使用以及优化HSMM发挥其优势，可以达到以下目的，以解决或规避上述DDoS攻击检测算法应用中的困难。

(1)实时性：算法模型在DDoS检测过程中进行状态转移概率的计算只需要用到模型的后向算法。该算法的主要时间开销是对用户操作的搜索，可以通过建立哈希表或搜索树进行优化，在实际应用中完全可以达到实时运行以及快速响应的目的。

(2)适应性：相对于目前流行的深度学习算法，HSMM模型的训练不需要海量的数据，且训练速度较快，同时由于检测算法是利用了正常用户的访问行为进行建模，只需要使用正常的网络日志进行训练，不需要对数据进行DDoS攻击的标记，也不受数据集或数据来源的限制，减少了人工标记的时间及成本。核心是可以实现利用所需防护的网站自身产出的网络日志进行实时训练，使检测算法能够更好地适应不同的Web应用。

(3)模型可解释性：模型最终的训练结果是一组状态转移以及停驻时间概率的集合，相对于集成学习、随机森林、深度学习等方法的训练结果，HSMM的训练结果如果配以较好可视化页面以及操作引导，可以达到一定的可读性，甚至实现人工优化或微调，同时抽取出来的用户访问行为模型对于网站的开发以及维护也可以提供帮助。而当算法的检测结果出现时，通过回溯用户操作，运维人员可以了解该操作序列与模型描述的用户正常访问行为的不同之处以及算法判断为DDoS攻击时用户所处的业务节点，以此来实现算法结果的可解释性。

模型的应用分为模型的训练以及使用模型进行DDoS攻击检测两个部分。先使用算法利用用户的http请求日志形成用户的访问行为模型，检测时只要计算某用户的http请求序列在用户行为模型下的发生概率，再比较偏离程度，根据给定的判断阈值即可判断该用户的访问行为是否正常。

模型参数的训练

模型参数的训练首先是训练数据的获取及处理，同时需要确认space(τ_i)函数的k值以及计算过程中通过数学期望与标准差计算的k值差距是否过大。数据处理过程主要是将Web应用所观测记录的每个用户HTTP访问数据按照时间以及业务顺序排列形成所示访问序列公式：

然后利用上面HSMM模型的算法，通过图2所描述流程迭代计算可以得到HSMM模型中需要的参数集合完成模型的训练过程。

在训练数据足够的情况下，模型训练足够的判断标志可以以模型结果Pr(list_i|data)即针对某用户访问序列的用户正常度的概率收敛到一定区间作为标志。

使用该模型进行DDoS攻击检测需要先记录用户从对网站建立会话开始的多次访问，当用户对网站的访问次数即后台服务器对用户访问的观察状态序列长度到达足够的长度后，即可投入算法模型进行用户正常度概率的计算。观察状态序列的最小长度主要按照网站的典型业务链长度来决定，且需要大于典型业务链的长度以减少部分不需要的检测工作。

获取用户操作序列后，需要运算得出该用户操作序列的正常度概率，本发明是使用优化的后向算法来进行运算。使用后向算法的原因是相对于使用前向算法，Web应用网站可以准确地在用户建立会话时获取用户操作序列的首状态及后续操作序列，用于后向算法的运算，但不能等待用户关闭会话获取完整的操作序列才对用户正常度进行判断。这样DDoS攻击防御部分就无法发挥效果，同时在DDoS攻击感知到检测的过程中，被测用户操作序列也可能同时增长或发生变化。

这里对于后向算法的优化主要是在实现的角度上进行。由于后向算法需要多次回溯及搜索用户的操作序列，在实现中采用了以时间换空间的方式，通过hash表对计算过程进行优化。同时在数据库的存储查询中，利用了属性叠加的方式，将用户的id标识以及操作顺序拼接作为操作日志中的一个整形字段进行存储并建立索引，当需要进行检测时可以快速从数据库中获取用户的整个操作序列。

运算得出用户的正常度概率后需要与模型的正常概率分布进行比较，模型训练完成后可以获得该网站的典型业务用户行为的概率分布。根据概率是否被正常用户的行为概率分布所包含，即可判断该用户行为是否正常，实现DDoS攻击检测。

模型的实时更新：

模型参数集的实时更新是模型选取以及算法设计的初衷，根据图3所示流程可以实现算法参数的实时更新。

通过该流程配合系统DDoS攻击防御模块中对用户正常性判断的结果反馈，可以获取Web服务应用当前版本下出现的与上一版本不同的用户习惯操作序列，且保证这些序列非DDoS攻击者的对抗样本攻击，即保证数据源的可靠性和有效性。利用这些用户序列，可以实现对模型参数增量更新，同时由于算法的实时性高，从而实现随系统运行实时更新模型参数。

对于本领域技术人员而言，显然能了解到上述具体事实例只是本发明的优选方案，因此本领域的技术人员对本发明中的某些部分所可能作出的改进、变动，体现的仍是本发明的原理，实现的仍是本发明的目的，均属于本发明所保护的范围。

Claims (6)

1.一种分布式实时DDoS攻击检测方法，其特征在于，包括以下步骤:

实时监测系统状态指标，根据系统状态指标，判断系统是否处于DDoS攻击状态；

当系统处于DDoS攻击状态时，根据触发攻击感知的系统状态指标，判断DDoS攻击的类型；

对接口流量进行检测，筛选出DDoS攻击发起源的IP地址或访问频次异常的接口，以使得发起针对该接口的防御工作；

所述根据系统状态指标，判断系统是否处于DDoS攻击状态包括：

1.1、通过数据模型进行系统状态指标数值的预测；

1.2、利用预测值以及观测值获取偏离度，根据偏离度判断系统是否处于DDoS攻击状态；

所述数据模型包括：AR模型、MA模型、或ARMA模型；

所述通过AR模型进行系统状态指标数值的预测包括：

AR模型公式：

θ＝(2^-1，2^-2，2^-3…2^-L)；

L＝min{10,max{3,0.3≤lg(V_t-L/V_t-L-1)}}；

其中V_t为目标系统状态指标在时间间隔次数t的预测值；t为当前统计间隔时间的次数；S_t-i为系统状态指标在t-i时刻的观测值；i为1到L的时刻下标，即某一时刻；

θ_i为AR模型参数，这里θ_i可视为在预测中对t-i时刻观测值的置信程度；为了保证通用性以及提高计算效率，使用参数θ代替θ_i；为了保证整体系数和为1，添加了θ_LS_t-L部分，即将最后一个参数的系数值翻倍；

L为模型的阶数，即参与预测的观测值数量；V_t-L为目标系统状态指标在向前搜索时间间隔t-L次数的预测值，V_t-L-1为目标系统状态指标在向前搜索时间间隔t-L-1次数的预测值；V_t-L与V_t-L-1为向前搜索L个时刻的两个连续Vt；e为误差的补偿值；

获得预测值后，根据预测值与观测值进行偏离程度计算，计算公式为：

其中，S为实际观测值，即取参与预测的所有观测值的方差与预测值的差进行比较，当预测值与观测值的差超过p倍的方差时，判断为系统正遭受DDoS攻击；所述p为DDoS攻击感知算法的判断阈值。

2.根据权利要求1所述的分布式实时DDoS攻击检测方法，其特征在于，所述系统状态指标具体包括KNR、PCIR、IUR以及PUR：

根据预设时间间隔，统计关键接口与普通接口的访问次数比KNR；所述关键接口为需要配合数据库使用或等待其他第三方服务的回复功能的接口；

统计关键接口访问次数比的主成分分析的接口访问频次比PCIR；

统计关键接口访问次数与当前用户的人数比IUR；

统计访问网页页面次数与当前用户人数比PUR。

3.根据权利要求2所述的分布式实时DDoS攻击检测方法，其特征在于，所述关键接口与普通接口的访问次数比使用KNR(Key Interface to Normal Interface Radio)表示，其计算公式：

其中request_key为关键接口的访问次数，request_normal为普通接口的访问次数，Δt为算法检测的单位时间；

统计所述关键接口与普通接口的访问次数比的主成分分析的接口访问频次比使用PCIR表示，其计算公式：

PCIR＝PCA₁([Interface₁,Interface₂...Interface_n]_t)

其中，PCA₁代表第一主成分分析，_t表示算法检测的单位时间，Interface_n表示Web服务应用中第n个接口的请求次数；

统计接口访问次数与当前用户的人数比使用IUR表示，其计算公式：

其中Δt表示算法检测的单位时间，request_all表示该时刻下Web服务应用所有的HTTP请求次数，IP表示该时刻下Web服务应用所有活跃用户链接数量，即源IP数量；

所述统计访问网页页面次数与当前用户人数比PUR表示，其计算公式：

其中Δt表示算法检测的单位时间，Page表示该时间内网页页面的访问个数，IP表示该时刻下Web服务应用所有活跃用户链接数量，即源IP数量。

4.根据权利要求2或3所述的分布式实时DDoS攻击检测方法，其特征在于，所述当系统处于DDoS攻击状态时，根据触发攻击感知的系统状态指标，判断DDoS攻击的类型具体包括；

当KNR出现偏离时，触发asymmetric workload型DDoS攻击感知；

当IUR出现偏离时，触发request flooding型DDoS攻击感知。

5.根据权利要求1所述的分布式实时DDoS攻击检测方法，其特征在于，对接口流量进行检测，筛选出DDoS攻击发起源的IP地址或访问频次异常的接口包括：

3.1、建立检测模型，通过所述检测模型计算模型用户正常度概率；

3.2、获取用户操作序列，运算得出所述用户操作序列的操作正常度概率；

3.3、将操作正常度概率与模型用户正常度概率进行比较，当操作正常度概率包含于模型用户正常度概率，则判断该用户行为正常；当操作正常度概率不包含于模型用户正常度概率，则判断该用户行为异常。

6.根据权利要求5所述的分布式实时DDoS攻击检测方法，其特征在于，所述检测模型为隐半马尔可夫模型；

隐半马尔可夫模型参数集描述：

HSMM＝(A＝{s_m},P＝{ts_mn},T＝{tr_m(r_i,τ_i)},D＝{num_m(d)})

其中A为用户访问状态的初始概率矩阵，表示用户处于某种初始状态的概率的集合；P为状态间相互转移的概率矩阵，为用户处于某浏览状态时到另一浏览状态的概率集合；T为在某状态下观察值的概率矩阵，用于描述用户的某一真实浏览状态呈现为后台服务器的某组实际请求内容以及请求时间间隔的概率，即用户浏览状态观察值的概率分布函数；D为状态驻留时间的概率分布，即用户到达下一个业务关键点或浏览状态时后台服务器实际接收用户的请求访问，即观察值的个数；

其中，s_m＝∑state_m∑state；

ts_mn＝(∑θ(state_m,state_n))(∑state_m)；

num_m(d)＝∑length_m-1,m(d)∑state_m；

其中，s_m为用户处于初始的浏览状态为state_m的概率，state_m表示浏览状态m，state表示任意浏览状态；ts_mn表示用户的浏览状态从state_m转移到state_n的概率，θ(state_m,state_n)表示在所有观察结果序列中出现的以state_m起始，state_n结束的不重复子集；tr_m(r_i,τ_i)表示用于到达访问状态state_m时后台服务器实际接收到经过τ_i的时间间隔后的访问观察状态r_i的概率，其中r_i代表后台服务器观察到的用户浏览状态，r_i-1为浏览序列中r_i的上一浏览状态，τ_i为相应的两个状态r_i、r_i-1的访问时间间隔即

space函数为Web应用中用户两次http请求访问间隔的概率密度函数,space(τ_i)即用户两次请求间隔时间为τ_i的概率；num_m(d)为当用户到达业务关键点访问状态为state_m时后台服务器接收到的观察状态访问数量为d的概率，其中length_m-1,m(d)函数表示在所有观察结果序列中出现的以state_m-1起始，state_m结束的长度为d子集数量。

Images