CN115102767A - 一种基于分布式协作学习的DDoS主动防御系统及方法 - Google Patents

Abstract

本发明公开了一种基于分布式协作学习的DDoS主动防御系统及方法，该系统包括DDoS攻击检测模块、边缘设备分布学习模块、决策强化学习模块和主动防御模块；采用CNN神经网络充分发掘数据流量的时间特征和空间特征；将CNN神经网络模型和轻量级模型引入物联网DDoS攻击流量检测；边缘节点上传环境信息给云服务器，控制节点下放主动防御决策给边缘节点；实现边缘节点做出协作学习决策，部署拓扑构造策略；选择主动防御措施。与现有技术相比，本发明实现了应用于端‑边设备架构下，针对物联网数据流的分布式在线DDoS检测技术，实现延迟更低、鲁棒性更好的智能防御引擎；节点间的交互机制和学习机制提升了主动防御的精确度，有效降低了时延。

Description

一种基于分布式协作学习的DDoS主动防御系统及方法

技术领域

本发明涉及物联网安全领域，特别是涉及一种DDoS主动防御系统及方法。

背景技术

分布式拒绝服务(DDoS)攻击，是当今互联网中最具有威胁的网络攻击之一。鉴于DDos有多种攻击组合方式，如攻击者使用多个协议组合的多向量DDoS攻击方式，使得传统的检测和防御方案难以实施。例如，传统的基于签名的入侵检测系统不能应对此类攻击，而现有的基于统计异常的检测系统也受到定义检测阈值要求的限制。使用深度学习技术的主动防御技术正在被探索以解决现有解决方案的局限性，此类方法通过从数据包的低级粒度特征中获得流量的高级特征表示，从而有效区分DDoS攻击流量和良性流量。

现有的基于深度学习的DDoS攻击检测技术，学习模型的训练和推断过程都是在高性能服务器或云端进行的。各个边缘设备需要将大量的模型数据上传给云服务器，这样会给边缘设备网络造成的巨大压力，无法实时处理跨多个捕获时间窗口分割流量的检测，从而影响对DDoS主动防御的时效性。

模型与数据集是深度学习的关键。在现有解决方案中，采用集中式深度学习的检测方法对硬件资源和带宽等有较高的要求。进一步地，主动防御的实时快速在线检测的需求，使得集中式的边缘智能学习策略已经无法完美解决DDoS攻击的主动防御实时检测问题。本发明亟待解决以下的技术问题：

(1)单节点特征提取缺少全局流量信息；

(2)边缘设备的资源受限，DDoS攻击检测时间冗长；

(3)DDoS攻击检测的准确度较低导致主动防御效果不优。

发明内容

针对上述现有技存在的技术问题，同时为缓解大量训练数据传输对骨干网络的压力以及主动防御的延迟，本发明提出一种基于分布式协作学习的DDoS主动防御系统及方法，针对物联网数据流的分布式在线DDoS检测技术，从而实现对DDoS攻击的主动防御。

本发明利用如下的技术方案来实现：

一种基于分布式协作学习的DDoS主动防御系统，该系统包括DDoS攻击检测模块、边缘设备分布学习模块、决策强化学习模块和主动防御模块，其中：

所述DDoS攻击检测模块，其采用CNN神经网络充分发掘数据流量的时间特征和空间特征，结合边缘网络的部署要求，将CNN神经网络模型和轻量级模型引入物联网DDoS攻击流量检测；

所述边缘网络分布式学习模块，其构建出分布式协作学习的边缘网络拓扑模型，加入了不同于云服务器的控制节点，从而缓解大量训练数据传输对骨干网络的压力以及主动防御的延迟；其中的分布式协作学习的边缘网络拓扑模型中设置有边缘节点和控制节点：边缘节点是小型基站或物联网边缘设备，其负责上传环境信息给云服务器；控制节点是云服务器，其负责收集来自边缘节点上传的环境信息包括网络中可用的信道子载波的数量，在每个迭代周期向各个边缘节点下放主动防御决策；

所述决策强化学习模块，其使用深度强化学习算法，帮助边缘节点在资源受限的情况下做出协作学习决策，有效地实时分布式协作学习和进行拓扑构造策略的部署；

所述主动防御模块，其根据发现边缘节点出现遭受DDoS攻击的异常情况后，选择防御措施。

一种基于分布式协作学习的DDoS主动防御方法，该方法具体包括以下步骤：

步骤1、采用CNN神经网络充分发掘数据流量的时间特征和空间特征，结合边缘网络的部署要求，将CNN神经网络模型和轻量级模型引入物联网DDoS攻击流量检测；

步骤2、边缘节点上传环境信息给云服务器，控制节点下放主动防御决策给边缘节点；

步骤3、利用深度强化学习算法实现边缘节点做出协作学习决策，部署拓扑构造策略；

步骤4、根据发现边缘节点出现遭受DDoS攻击的异常情况后，选择主动防御措施。

与现有技术相比，本发明能够达成以下技术效果：

1)把深度学习模型下放到各个边缘服务器，将实时检测下沉到端和边缘侧，实现了应用于端-边设备架构下，针对物联网数据流的分布式在线DDoS检测技术，实现延迟更低、鲁棒性更好的智能防御引擎；

2)检测攻击的模型更加轻量化，适用于边缘网络环境，节点间的交互机制和学习机制提升了主动防御的精确度，有效降低了时延。

附图说明

图1为本发明的一种基于分布式协作学习的DDoS主动防御系统模块图；

图2为本发明的CNN神经网络架构图；

图3为本发明的边缘网络拓扑模型结构图；

图4为本发明的一种基于分布式协作学习的DDoS主动防御方法流程图；

附图标记：

100、DDoS攻击检测模块，200、边缘设备分布学习模块，300、决策强化学习模块，400、主动防御模块。

具体实施方式

下面结合附图及实施例对本发明作进一步详细说明。

如图1所示，为本发明的一种基于分布式协作学习的DDoS主动防御系统模块图。该系统包括DDoS攻击检测模块100、边缘设备分布学习模块200、决策强化学习模块300和主动防御模块400。其中：

所述DDoS攻击检测模块100，其采用CNN神经网络充分发掘数据流量的时间特征和空间特征，结合边缘网络的部署要求，将CNN神经网络模型和轻量级模型引入物联网DDoS攻击流量检测，该模块包括以下步骤：

步骤1-1、将物联网数据流量中每个数据包中的特征转换为长度为W的一维向量x，一维向量x中上午每一个元素为一个特征的量化值，一维向量x表示数据包流的空间特征。

步骤1-2：H个连续数据包的特征构成二维张量X，表示为H×W，其中，每行为一个数据包的一维向量x，每列为不同数据包的同类特征，二维张量X表示数据包流的时间特征，体现了同一种特征随时间的变化；

步骤1-3：将特征数据作为CNN神经网络的输入，如图2所示，为本发明的CNN神经网络架构图。首先经过两个卷积层的处理，其中，第一卷积层C1采用16个卷积核，卷积核大小为3×3，采用了补零的方式，输出特征图大小为16×H×W；第二卷积层C2采用32个卷积核，大小为3×3，输出特征图大小为32×(H-2)×(W-2)；

步骤1-4、将第二卷积层的输出特征图作为三层全连接层D1-D3的输入，第一全连接层D1、第二全连接层D2、第一全连接层D3的层数分别为64、32和2。由于物联网流量特征规模较小，不采用一般神经网络中具有的池化层。激活函数使用整流线性单元ReLU，表达式为：

ReLU(x)＝max(0，x)

步骤1-5：分类器采用Softmax函数，损失函数采用交叉熵函数，表达式为：

其中，y_i代表样本i的标签，p_i代表样本i预测为正的概率。

根据CNN神经网络各层神经元排列结构，可得神经网络的规模N_p(CNN)，表达式如下：

N_p(CNN)＝16×3×3+32×3×3+32×(H-2)×(W-2)×64+64×32+32×2＝2544+2048×(H-2)×(W-2)。

所述边缘网络分布式学习模块200，其设计了分布式协作学习的边缘网络拓扑模型，加入了不同于云服务器的控制节点，从而缓解大量训练数据传输对骨干网络的压力以及主动防御的延迟。如图3所示，为分布式协作学习的边缘网络拓扑模型结构图。该模型中设置有边缘节点和控制节点。其中，边缘节点是小型基站或一些具有计算和存储容量的物联网边缘设备。将两个边缘节点之间的通信表示为点对点(P2P)网络处理模式。具体来说，在每个迭代周期中更新每个边缘节点的本地模型，通过正交频分多址无线连接向邻居边缘节点发送或接收本地模型。边缘节点的本地模型，是每个边缘节点通过上述CNN神经网络学习得到的主动防御模型。模型更新即每个边缘节点与相邻边缘节点进行本地模型融合后得到的新的模型。模型更新算法主要采用经典的Stacking模型融合算法。

控制节点是云服务器，其负责收集来自边缘节点上传的环境信息包括网络中可用的信道子载波的数量，每个边缘节点上的带宽资源以及系统的基本拓扑结构，在每个迭代周期向各个边缘节点下放主动防御决策。边缘节点上传环境信息给云服务器。控制节点下放主动防御决策给边缘节点。

所述决策强化学习模块300，其使用深度强化学习算法，帮助边缘节点在资源受限的情况下做出最佳的协作学习决策，有效地实时学习和部署最合适的拓扑构造策略。本模块具体包括如下步骤：

步骤3-1、模型参数定义：γ_t∈[0，1]为奖励贴现因子，r为奖励函数，T为模型收敛前的总时间，G(t)为第t次历元下环境的基本拓扑结构，k(t)为第t次历元下可用的子载波数量，C_n(t)为第t次历元下第n个节点的可用带宽，C_t为第t次历元下边缘节点上的可用带宽集合，可表示为C_t＝{C₁(t)，C₂(t)，…，，C_n(t)}，h_e(t)为第t次历元下链路e的通道增益，V_e(t)为第t次历元下链路e的白噪音，s_t为第t次获取环境中的状态空间集合，可表示为s_t＝(G(t)，k(t)，C_t，h_e(t)，V_e(t))，b(t)为第t次历元的无线链路选择决策的编码，a_t为第t次历元下采取的策略行动集合，可表示为a_t＝{b(t)}。

步骤3-2、基于深度强化学习进行问题建模，即：使用深度强化学习建立模型得出策略，计算出最优的R₀，得到对应的最优行为a_t。

步骤3-3、进行分布式协作学习：

控制节点获取当前环境下的状态空间s_t，包括各个边缘节点的网络拓扑结构、可用子信道、可用带宽、信道增益、信道白噪音等参数；

将获取的s_t参数传入训练好的模型中，通过模型学习得出最优R₀对应的最优的行为a_t，并将行为a_t下发到边缘节点；

边缘节点接到行为指令后实施行为a_t；

完成行为a_t后，由奖励函数r(s_t，a_t)进行一个reward反馈，增强深度强化学习模型的准确率。

所述主动防御模块400，其根据发现边缘节点出现遭受DDoS攻击的异常情况后，选择合理的防御措施，避免节点遭受DDoS攻击带来的破坏影响。网络环境中的分布式构造消除了集中式主动防御检测的运算瓶颈和安全隐患，任何一个主机遭受的DDoS攻击都会对检测模型进行优化，实现对分布攻击式等复杂的网络行为检测。接收到网络数据后，采用数据加密、访问控制、权限设置、主动响应、断开链接、自动恢复和联动方式等主动防御技术进行安全防御。

如图4所示，为本发明的一种基于分布式协作学习的DDoS主动防御方法流程图。该流程包括以下步骤：

步骤1、采用CNN神经网络充分发掘数据流量的时间特征和空间特征，结合边缘网络的部署要求，将CNN神经网络模型和轻量级模型引入物联网DDoS攻击流量检测；具体包括：

步骤1-1、将物联网数据流量中每个数据包中的特征转换为长度为W的一维向量x，一维向量x中每一个元素为一个特征的量化值。一维向量x表示数据包流的空间特征。

步骤1-2：H个连续数据包的特征构成二维张量X，表示为H×W，其中，每行为一个数据包的一维向量x，每列为不同数据包的同类特征，二维张量X表示数据包流的时间特征，体现了同一种特征随时间的变化；

步骤1-3：构建CNN神经网络：将特征数据作为CNN神经网络的输入，首先经过两个卷积层的处理，其中，第一卷积层C1采用16个卷积核，卷积核大小为3×3，采用了补零的方式，输出特征图大小为16×H×W；第二卷积层C2采用32个卷积核，大小为3×3，输出特征图大小为32×(H-2)×(W-2)；

步骤1-4、将第二卷积层的输出特征图作为三层全连接层D1-D3的输入，第一全连接层D1、第二全连接层D2、第一全连接层D3的层数分别为64、32和2。由于物联网流量特征规模较小，不采用一般神经网络中具有的池化层。激活函数使用整流线性单元ReLU，表达式为：

ReLU(x)＝max(0，x)

步骤1-5：分类器采用Softmax函数，损失函数采用交叉熵函数，表达式为：

其中，y_i代表样本i的标签，p_i代表样本i预测为正的概率；

根据CNN神经网络各层神经元排列结构，可得神经网络的规模N_p(CNN)，表达式如下：

N_p(CNN)＝16×3×3+32×3×3+32×(H-2)×(W-2)×64+64×32+32×2＝2544+2048×(H-2)×(W-2)；

步骤2、边缘节点上传环境信息给云服务器，控制节点下放主动防御决策给边缘节点；

步骤3、利用深度强化学习算法实现边缘节点做出协作学习决策，部署拓扑构造策略；具体包括以下处理：

步骤3-1、基于深度强化学习进行问题建模，即：使用深度强化学习建立模型得出防御策略R₀表达式如下：

其中，s_t为第t次获取环境中的状态空间集合，a_t为第t次历元下采取的策略行动集合，γ_t∈[0，1]为奖励贴现因子，T为模型收敛前的总时间；

步骤3-3、进行分布式协作学习，学习过程具体如下：

控制节点获取当前环境下的状态空间s_t，包括各个边缘节点的网络拓扑结构、可用子信道、可用带宽、信道增益、信道白噪音等参数；

将获取的s_t参数传入训练好的模型中，通过模型学习得出最优R₀对应的最优的行为a_t，并将行为a_t下发到边缘节点；

边缘节点接到行为指令后实施行为a_t；

完成行为a_t后，由奖励函数r(s_t，a_t)进行一个reward反馈，增强深度强化学习模型的准确率；

步骤4、根据发现边缘节点出现遭受DDoS攻击的异常情况后，选择主动防御措施。

综上所述，本发明整体技术方案重点包括模型划分、参数共享、服务请求调度和边缘协同这些处理过程。

Claims (6)

1.一种基于分布式协作学习的DDoS主动防御系统，其特征在于，该系统包括DDoS攻击检测模块、边缘设备分布学习模块、决策强化学习模块和主动防御模块，其中：

所述DDoS攻击检测模块，其采用CNN神经网络充分发掘数据流量的时间特征和空间特征，结合边缘网络的部署要求，将CNN神经网络模型和轻量级模型引入物联网DDoS攻击流量检测；

所述边缘网络分布式学习模块，其构建出分布式协作学习的边缘网络拓扑模型，加入了不同于云服务器的控制节点，从而缓解大量训练数据传输对骨干网络的压力以及主动防御的延迟；其中的分布式协作学习的边缘网络拓扑模型中设置有边缘节点和控制节点：边缘节点是小型基站或物联网边缘设备，其负责上传环境信息给云服务器；控制节点是云服务器，其负责收集来自边缘节点上传的环境信息包括网络中可用的信道子载波的数量，在每个迭代周期向各个边缘节点下放主动防御决策；

所述决策强化学习模块，其使用深度强化学习算法，帮助边缘节点在资源受限的情况下做出协作学习决策，有效地实时分布式协作学习和进行拓扑构造策略的部署；

所述主动防御模块，其根据发现边缘节点出现遭受DDoS攻击的异常情况后，选择防御措施。

2.如权利要求1所述的一种基于分布式协作学习的DDoS主动防御系统，其特征在于，所述DDoS攻击检测模块进一步包括以下处理：

将物联网数据流量中每个数据包中的特征转换为长度为W的一维向量x，一维向量x中上午每一个元素为一个特征的量化值，一维向量x表示数据包流的空间特征；

H个连续数据包的特征构成二维张量X，表示为H×W，其中，每行为一个数据包的一维向量x，每列为不同数据包的同类特征，二维张量X表示数据包流的时间特征，体现了同一种特征随时间的变化；

构建边缘网络：特征数据作为CNN神经网络的输入，首先经过两个卷积层的处理，其中，第一卷积层C1采用16个卷积核，卷积核大小为3×3，采用了补零的方式，输出特征图大小为16×H×W；第二卷积层C2采用32个卷积核，大小为3×3，输出特征图大小为32×(H-2)×(W-2)；第二卷积层的输出特征图作为三层全连接层D1-D3的输入，第一全连接层D1、第二全连接层D2、第一全连接层D3的层数分别为64、32和2。

3.如权利要求1所述的一种基于分布式协作学习的DDoS主动防御系统，其特征在于，所述决策强化学习模块进一步包括以下处理：

使用深度强化学习建立模型得出防御策略R₀表达式如下：

其中，s_t为第t次获取环境中的状态空间集合，a_t为第t次历元下采取的策略行动集合，γ_t∈[0，1]为奖励贴现因子，T为模型收敛前的总时间；

进行分布式协作学习，学习过程具体如下：

控制节点获取当前环境下的状态空间s_t，包括各个边缘节点的网络拓扑结构、可用子信道、可用带宽、信道增益、信道白噪音等参数；

将获取的s_t参数传入训练好的模型中，通过模型学习得出防御策略R₀对应的行为a_t，并将行为a_t下发到边缘节点；

边缘节点接到行为指令后实施行为a_t；

完成行为a_t后，由奖励函数r(s_t，a_t)进行一个reward反馈，增强深度强化学习模型的准确率。

4.基于如权利要求1所述的一种基于分布式协作学习的DDoS主动防御系统的一种基于分布式协作学习的DDoS主动防御方法，其特征在于，该方法具体包括以下步骤：

步骤1、采用CNN神经网络充分发掘数据流量的时间特征和空间特征，结合边缘网络的部署要求，将CNN神经网络模型和轻量级模型引入物联网DDoS攻击流量检测；

步骤2、边缘节点上传环境信息给云服务器，控制节点下放主动防御决策给边缘节点；

步骤3、利用深度强化学习算法实现边缘节点做出协作学习决策，部署拓扑构造策略；

步骤4、根据发现边缘节点出现遭受DDoS攻击的异常情况后，选择主动防御措施。

5.如权利要求4所述的一种基于分布式协作学习的DDoS主动防御方法，其特征在于，所述步骤1进一步包括以下处理：

步骤1、采用CNN神经网络充分发掘数据流量的时间特征和空间特征，结合边缘网络的部署要求，将CNN神经网络模型和轻量级模型引入物联网DDoS攻击流量检测；具体包括：

步骤1-1、将物联网数据流量中每个数据包中的特征转换为长度为W的一维向量x，一维向量x中每一个元素为一个特征的量化值。一维向量x表示数据包流的空间特征。

步骤1-2：H个连续数据包的特征构成二维张量X，表示为H×W，其中，每行为一个数据包的一维向量x，每列为不同数据包的同类特征，二维张量X表示数据包流的时间特征，体现了同一种特征随时间的变化；

步骤1-3：构建CNN神经网络：将特征数据作为CNN神经网络的输入，首先经过两个卷积层的处理，其中，第一卷积层C1采用16个卷积核，卷积核大小为3×3，采用了补零的方式，输出特征图大小为16×H×W；第二卷积层C2采用32个卷积核，大小为3×3，输出特征图大小为32×(H-2)×(W-2)；

步骤1-4、将第二卷积层的输出特征图作为三层全连接层D1-D3的输入，第一全连接层D1、第二全连接层D2、第一全连接层D3的层数分别为64、32和2。

6.如权利要求4所述的一种基于分布式协作学习的DDoS主动防御方法，其特征在于，所述步骤3进一步包括以下处理：

步骤3-1、基于深度强化学习进行问题建模，即：使用深度强化学习建立模型得出防御策略R₀表达式如下：

其中，s_t为第t次获取环境中的状态空间集合，a_t为第t次历元下采取的策略行动集合，γ_t∈[0，1]为奖励贴现因子，T为模型收敛前的总时间；

步骤3-3、进行分布式协作学习，学习过程具体如下：

控制节点获取当前环境下的状态空间s_t，包括各个边缘节点的网络拓扑结构、可用子信道、可用带宽、信道增益、信道白噪音等参数；

将获取的s_t参数传入训练好的模型中，通过模型学习得出最优R₀对应的最优的行为a_t，并将行为a_t下发到边缘节点；

边缘节点接到行为指令后实施行为a_t；

完成行为a_t后，由奖励函数r(s_t，a_t)进行一个reward反馈，增强深度强化学习模型的准确率。

Images