CN109639515A - 基于隐马尔可夫和Q学习协作的DDoS攻击检测方法 - Google Patents

Abstract

本发明公开了基于隐马尔可夫和Q学习协作的DDoS攻击检测方法，结合隐马尔可夫模型的相关理论，在现有检测方法的基础上，提出了基于隐马尔可夫模型和TCP连接状态结合的DDoS攻击检测方法，首先从网络数据流中抓取不同的历史数据，包括正常的和正在遭受DDoS攻击的数据流量，分别获得网络传输单元，攻击者和目标主机的TCP连接状态，然后进行模型参数的学习，使隐马尔可夫模型准确的描述网络数据流动态TCP连接的状态序列，然后在单点检测模型的基础上，结合强化学习中Q学习的相关理论，针对分布式检测中存在的问题，提出了基于分布式协作Q学习的检测方法。经实验对比分析，降低了系统中各检测点之间的通讯量，提高了系统的运行效率。

Description

基于隐马尔可夫和Q学习协作的DDoS攻击检测方法

技术领域

本发明涉及一种基于隐马尔可夫和Q学习协作的DDoS攻击检测的方法，属于机器学习信息安全领域，涉及机器学习分类算法与强化学习中Q学习算法的结合及使用。

背景技术

传统的拒绝服务(Denial of Service，DoS)是指通过恶意的网络访问，制造大量的数据包流入目标主机、非法的请求和访问、恶意占用网络带宽和系统资源以消耗系统资源为目的，最终使目标系统造成拥塞，至此目标系统最终无法为其合法用户提供服务造成的拒绝服务攻击。分布式拒绝服务攻击(Distributed Denial of Service，DDoS)由四个部分组成即由攻击主控平台(即攻击者所在的主机)、主控机、攻击代理、目标系统。首先由攻击主控平台通过木马病毒及系统漏洞慢慢的侵入网络上的主机，最终通过木马病毒控制网络上的主机，使其变成其主控机或者攻击代理，然后攻击主控平台向攻击代理发出统一的攻击对象(目标系统)和攻击方法，至此所有的攻击代理向目标系统发出海量的攻击。最终消耗完目标系统的资源。

近年来，分布式拒绝服务攻击的检测与防御技术已成为信息安全领域的研究热点之一，DDoS攻击具有的分布式特性，使得该类攻击比比传统的拒绝服务攻击拥有更多的攻击资源，具有更强大的破坏力，而且更难以防范。目前，由于现有入侵检测技术的局限性，DDoS攻击已经对Internet安全运行构成了极大的威胁，使得对新一代DDoS检测与防御技术研究的需求更为迫切。

DDoS攻击在网络层层面上会引起流量、访问协议数量分布、同协议不同种数据包数比例、访问源地址数量及分布、数据包头信息等多方面上的变化，并且导致链路拥塞和数据传输时延大幅增加。基于流量的检测方法存在两个主要问题：首先是阈值设置，阈值的设置是在长期监测网络正常情况下，而根据网络的通信量设置的。如果设置过大检测会不灵敏，设置太小会经常性误报；其次，是当大量突发性合法访问与DDoS攻击并发时，基于流量的检测很难区别。据此，如果阈值设置不恰当会对正常的突发性通信造成较大影响，甚至降低系统的性能。基于源地址监控的检测方法对于提供公用服务的服务器，它是接受大量的用户进行合法访问，那么就会出现大量的突发性新的IP地址，对于这类情况往往它是无效的，甚至会发生误报对目标主机影响更大。

另外在DDoS攻击的检测防御方面，根据检测防御系统的部署位置可以分为基于源端网络的检测和基于受害端网络的检测。在系统结构方面，可以分为集中式检测和分布式检测，其中分布式检测是主要研究方向。在检测手段方面，可以分为基于特征码的检测方法和基于异常的检测方法。基于特征码的检测方法检测的准确性高，但对于强分布的带宽攻击无能为力，多用于传统的入侵检测系统。基于异常的检测方法往往结合人工智能以及自动控制理论，能够发现未知类型的攻击，但检测的准确率比较低，是目前入侵检测系统研究的热点。在响应手段方面，现有的响应方法一般是中断有嫌疑的网络连接，但容易造成响应不彻底，降低正常服务的服务质量等。

针对现有检测方法存在的问题，本发明结合机器学习和强化学习的相关理论进展，提出使用TCP连接状态来构造隐马尔可夫检测模型，并通过分布式协作Q学习来加强各检测点之间的协作通信，提高系统的运行效率。

发明内容

面对DDoS攻击的严重威胁，在入侵检测的基础上，本发明结合机器学习的相关理论，提出了基于隐马尔可夫模型(Hidden Markov Model，HMM)和Q学习协作的DDoS检测方法。

首先根据网络连接数、TCP连接状态、持续时间建立关于隐马尔可夫的DDoS攻击单点检测序列模型，因HMM是基于概率事件的统计，尤其是每次状态的变化仅与前一时刻的状态有关，而与过去的状态无关，基于这种情况它能很好的模拟数据的动态变化，来对事件进行预测。在基于TCP协议的DDoS检测中，HMM模型可以被用来刻画计算机系统的动态运行特征。从宏观上讲，计算机系统运行的动态过程有一些确定的先验规律，例如一次正常的TCP通信需要完成打开端口、监听端口、发起连接建立请求、接受请求、通信阶段和资料释放等几个阶段，每一个不同的阶段可以用HMM的状态来描述；由于每个阶段的具体细节具有不同的随机性，从而产生不同的连接状态信息，这些不同的数据可以用HMM的观察值来描述。将不同的TCP协议阶段看成HMM的状态，阶段之间的依赖关系就可以用HMM的转移矩阵来描述，DDoS利用服务器接受连接，分配通信资源时，客户端停止发送ACK确认，从而使服务端处于等待阶段来实现达到DDoS攻击的目的。现在把不同的TCP协议状态对应于HMM的不同状态集，通过用前后向算法来计算某步骤序列出现的概率，然后就可以针对当前连接来判断当前系统的受攻击的进程。同时使用采集，和分析当前连接状态数，对其进行统计并根据统计结果建立连接数阈值和时间，如果当前系统的连接状态数超过阈值后，就开始报警。

其次因DDoS攻击源分布很广，攻击发生时会占用攻击源到受害者之间的网络资源，造成网络的拥塞，同时在分布式拒绝服务攻击中，攻击数据流在各传输网络传输，最后在受害端聚合然后向受害网络发起攻击，但分布式系统的每个检测点只能检测到其中的一小部分攻击数据流，这一部分攻击数据流相对于大量正常的网络数据流来说非常小，可能不会引起检测系统的预警，针对此问题，采用分布式协作Q学习的检测方法对各检测点的信息进行综合分析，提高检测效果。

本发明所采用的基于隐马尔可夫和Q学习协作的DDoS攻击检测方法具体实现步骤如下：

S1、基于HMM的DDoS攻击检测模型建立步骤：

1)首先从网络数据流中抓取不同的历史数据，包括正常的和正在遭受DDoS攻击的数据流量，分别获得网络传输单元，攻击者和目标主机的TCP连接状态。

2)然后对这些采集数据进行格式化处理后存放在数据库中，通过统计求出不同的状态之间的转移即得到状态转移矩阵A；通过分析找出每个状态对应的观测值，计算出在已知每个状态的情况下，观测值出现的概率矩阵B。

3)最后通过隐马模型中的Baum-Welch算法进行反复迭代建立并训练出最优的HMM模型参数，之后通过Viterbi算法检测出相应连接状态下最可能的DDoS攻击行为，具体算法流程如图1所示。

S2、基于分布式协作Q学习的DDoS攻击检测算法步骤：

强化学习是智能体(Agent)以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，基本框架图如图2所示。图中表示在强化学习中Agent选择动作a作用于环境，环境接受该动作后发生变化，同时产生一个瞬时奖赏值(强化信号)r反馈给Agent，Agent再根据强化信号和当前环境状态，选择下一个动作。

最常用的强化学习方法是Q学习，在Q学习中，长期累积奖励由Q函数的评估函数值确定。定义评估函数值Q_t(s,a)为Agent在状态s下选取动作a，并在下个状态选取最优动作的折扣奖励累积值。学习过程中，通过递归的方式不断更新该Q值，以获得最大的长期累积奖励，从而得到预期目标下的最佳分配策略。Q值的更新如式(1)所示，

其中，r表示接受的奖赏值；α为学习率，0＜α＜1；γ为奖励折扣值，0＜γ＜1；s_t+1和a_t+1分别表示下一状态和动作，表示状态不变，动作变化时最大的Q值。

在分布式拒绝服务攻击的单点检测模型中，为了达到保证通信质量以对DDoS攻击作出及时响应的目的，本文将各单点检测模型视为一个学习Agent，在上述Q学习算法中引入协作学习，提出一种协作式多AgentQ学习算法。对于Agenti，设其环境状态为s，动作集为a，奖赏函数为γ_t ⁱ，动作选择策略为π(s,a)，利用Q学习建立的单点检测模型算法描述如下：

a)状态s：假设在正常的网络数据流的情况下，单点HMM的决策模块的判断值的范围是(-E,0)，那么即可在(-E,0)的区间内划分一系列状态。

b)动作集a：若决策模块的判断值低于正常数据判断范围的最小值，那么即可判断出现攻击，从而直接通知其它结点进行响应.，即每一个状态按照一定的概率选择是否需要进行通讯。

c)奖赏函数如果当前状态选择通讯，通讯之后又检测到了攻击，给予较大的奖赏γ¹；若选择通讯但没有检测到攻击，给予较小的奖赏γ²；若没有选择通讯，给予奖赏γ³。

d)动作选择策略π(s,a)：在Q学习算法的策略选择中，存在着探索和开发间的平衡问题，探索意味着Agent通过不断学习知识来更新Q值，发现更好的策略，开发意味着Agent从所有行动中选择最佳行动，为了解决该平衡问题，通常使用ε-贪心算法和Boltzmann分布算法。本方法选择Boltzmann分布来确定最优动作，如式(2)所示，

本方法提出的基于协作式多AgentQ学习算法的具体步骤如下：

1)系统初始化，设定α、γ和T₀，以及初始状态s₀，总迭代数N。

2)对于每个Agenti，执行Q学习算法：

a)观察当前状态

b)由式(1)选择动作α_t并执行；

c)观察后续状态并计算奖赏函数

d)根据式(2)更新值；

3)当t能被N整除时，则使用上述的协作学习算法对Q值进行融合更新；

4)t←t+1，T按下式更新；

T＝T₀-T₀×t/N

5)当t达到设定的总迭代次数N时，则结束；否则，转步骤2)。

附图说明

图1：基于HMM的算法流程图。

图2：强化学习反馈过程图。

具体实施方式

下面结合相关附图对本发明进行解释和阐述：

为使本发明的目的、技术方案和特点更加清楚明白，以下结合具体实施例子，并参照附图，对本发明进行进一步的细化说明。本发明方法整体框架图如图1所示。各个步骤流程说明如下：

1)从网络数据流中抓取基于TCP连接状态的特征表示；

2)统计出正常和异常的网络连接状态数，表示出状态和观测值之间的概率矩阵；

3)利用隐马模型中的Baum-Welch算法进行反复迭代建立并训练出最优的HMM模型参数；

4)训练出单点检测模型之后，利用分布式协作Q学习进行各检测点之间的通信以对分布式DDOS攻击做出及时响应。

本发明方法分布式环境的模拟及其性能测试实验如下：

在局域网环境中，通过DARPA99数据集产生正常数据流，通过DDoS工具，产生攻击数据流，二者混合模拟网络攻击数据流。通过检测结点的检测结果与分布式融合之后的检测结果对比，检测数据融合的效果；在同一测试环境中，基于分布式协作Q学习的检测模型，基于随机广播的分布式检测模型和基于实时广播的分布式检测模型同时运行，以基于实时通讯的系统性能为标准，对三者的性能进行比较。

分布式检测系统的性能有两个衡量指标：通讯代价和系统的检测率。当攻击者发动DDoS攻击时，由于单个的检测结点只能观察到一小部分攻击数据流，检测系统可能不会发现攻击，只有当攻击数据流达到一定程度时，才会检测得到。因此，在误报率尽可能小的情况下，检测率是衡量分布式检测系统的一个重要指标。此外，如果分布式系统内的各个结点保持大量的通讯，就占用大量的网络带宽，在正常的网络情况下，浪费大量的资源。所以，在误报率为0的情况下使用系统的检测率和通讯代价作为衡量分布式检测系统性能的标准。

定义检测率为：

定义通讯代价为：

定义总体性能为：

在局域网环境中，本文选自了三组不同的数据集模拟正常网络数据流，同时用DDoS工具产生攻击数据流，各分布式检测系统同时进行检测，检测结果如表1所示。

表1：检测结果对比

根据各性能指标的定义，本文得出基于实时通讯的检测各项性能指标均为1。通过表1可以看出，基于分布式协作Q学习的检测方法在三者中总体性能最高。与实时通讯检测方法相比，基于分布式协作Q学习的检测方法的检测率低，但通讯代价也低，这就说明了分布式协作Q学习方法在牺牲少量检测率的基础上，自适应的对各个结点的检测通讯量进行了优化，提高了总体性能。与基于随机广播的协同方法相比，基于分布式协作Q学习的检测方法检测率比较高，通讯代价也比较低。这说明，基于分布式协作Q学习的检测方法还是比较有效的。

Claims (4)

1.基于隐马尔可夫和Q学习协作的DDoS攻击检测方法，其特征在于：该方法的具体实现步骤如下，

S1、基于HMM的DDoS攻击检测模型；

S2、基于分布式协作Q学习的DDoS攻击检测算法；

S3、基于协作式多AgentQ学习算法。

2.根据权利要求1所述的基于隐马尔可夫和Q学习协作的DDoS攻击检测方法，其特征在于：

S1、基于HMM的DDoS攻击检测模型建立步骤：

1)首先从网络数据流中抓取不同的历史数据，包括正常的和正在遭受DDoS攻击的数据流量，分别获得网络传输单元，攻击者和目标主机的TCP连接状态；

2)然后对这些采集数据进行格式化处理后存放在数据库中，通过统计求出不同的状态之间的转移即得到状态转移矩阵A；通过分析找出每个状态对应的观测值，计算出在已知每个状态的情况下，观测值出现的概率矩阵B；

3)最后通过隐马模型中的Baum-Welch算法进行反复迭代建立并训练出最优的HMM模型参数，之后通过Viterbi算法检测出相应连接状态下最可能的DDoS攻击行为。

3.根据权利要求1所述的基于隐马尔可夫和Q学习协作的DDoS攻击检测方法，其特征在于：

S2、基于分布式协作Q学习的DDoS攻击检测算法步骤：

强化学习是智能体Agent以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，基本框架图如图2所示；图中表示在强化学习中Agent选择动作a作用于环境，环境接受该动作后发生变化，同时产生一个瞬时奖赏值即强化信号r反馈给Agent，Agent再根据强化信号和当前环境状态，选择下一个动作；

定义评估函数值Q_t(s,a)为Agent在状态s下选取动作a，并在下个状态选取最优动作的折扣奖励累积值；学习过程中，通过递归的方式不断更新该Q值，以获得最大的长期累积奖励，从而得到预期目标下的最佳分配策略；Q值的更新如式(1)所示，

其中，r表示接受的奖赏值；α为学习率，0＜α＜1；γ为奖励折扣值，0＜γ＜1；s_t+1和a_t+1分别表示下一状态和动作，表示状态不变，动作变化时最大的Q值；

在分布式拒绝服务攻击的单点检测模型中，为了达到保证通信质量以对DDoS攻击作出及时响应的目的，将各单点检测模型视为一个学习Agent，在上述Q学习算法中引入协作学习，提出一种协作式多Agent Q学习算法；对于Agent i，设其环境状态为s，动作集为a，奖赏函数为动作选择策略为π(s,a)，利用Q学习建立的单点检测模型算法描述如下：

a)状态s：假设在正常的网络数据流的情况下，单点HMM的决策模块的判断值的范围是(-E,0)，那么即可在(-E,0)的区间内划分一系列状态；

b)动作集a：若决策模块的判断值低于正常数据判断范围的最小值，那么即可判断出现攻击，从而直接通知其它结点进行响应.，即每一个状态按照一定的概率选择是否需要进行通讯；

c)奖赏函数如果当前状态选择通讯，通讯之后又检测到了攻击，给予较大的奖赏γ¹；若选择通讯但没有检测到攻击，给予较小的奖赏γ²；若没有选择通讯，给予奖赏γ³；

d)动作选择策略π(s,a)：在Q学习算法的策略选择中，存在着探索和开发间的平衡问题，探索意味着Agent通过不断学习知识来更新Q值，发现更好的策略，开发意味着Agent从所有行动中选择最佳行动，为了解决该平衡问题，通常使用ε-贪心算法和Boltzmann分布算法；本方法选择Boltzmann分布来确定最优动作，如式(2)所示，

4.根据权利要求3所述的基于隐马尔可夫和Q学习协作的DDoS攻击检测方法，其特征在于：

基于协作式多Agent Q学习算法的具体步骤如下：

1)系统初始化，设定α、γ和T₀，以及初始状态s₀，总迭代数N；

2)对于每个Agent i，执行Q学习算法：

a)观察当前状态

b)由式(1)选择动作α_t并执行；

c)观察后续状态并计算奖赏函数r_t ⁱ；

d)根据式(2)更新值；

3)当t能被N整除时，则使用上述的协作学习算法对Q值进行融合更新；

4)t←t+1，T按下式更新；

T＝T₀-T₀×t/N

5)当t达到设定的总迭代次数N时，则结束；否则，转步骤2)。