CN112416976A - 基于分布式多级协同的分布式拒绝服务攻击监控系统及方法 - Google Patents
基于分布式多级协同的分布式拒绝服务攻击监控系统及方法 Download PDFInfo
- Publication number
- CN112416976A CN112416976A CN202011298396.4A CN202011298396A CN112416976A CN 112416976 A CN112416976 A CN 112416976A CN 202011298396 A CN202011298396 A CN 202011298396A CN 112416976 A CN112416976 A CN 112416976A
- Authority
- CN
- China
- Prior art keywords
- distributed
- convergence
- data
- service
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 238000004891 communication Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 230000002776 aggregation Effects 0.000 claims description 15
- 238000004220 aggregation Methods 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 238000005206 flow analysis Methods 0.000 claims description 5
- 238000005215 recombination Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 230000005484 gravity Effects 0.000 description 19
- 238000007637 random forest analysis Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007123 defense Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Abstract
本发明公开了一种基于分布式多级协同的分布式拒绝服务攻击监控系统及方法，系统包括汇聚控制器和服务节点，所述汇聚控制器为一个或多个，管理与其连接的一个或者多个的服务节点，向与其连接的服务节点提出数据要求，实时接收服务节点的数据反馈，并结合网络拓扑信息，进行信息汇聚处理，得出攻击的探测结果；所述服务节点为多个，分别部署安装在各个网络设备上，所述网络设备包括网关设备、可编程交换机、网络安全一体机和计算机系统上，各服务节点用于和汇聚控制器建立通信通道，每个服务节点向一个或者多个汇聚控制器注册、连接，并接受该汇聚控制器的管控。本发明可以根据这个局部网络内汇聚的内容进行“局部”分析，提高整个系统的执行效率和拒绝服务攻击监控效果。
Description
技术领域
本发明涉及计算机网络通信技术领域，具体涉及一种基于分布式多级协同的分布式拒绝服务攻击监控系统及方法。
背景技术
当前在计算机网络通信中对DoS攻击(特别是DDoS(指分布式拒绝服务攻击)攻击)的监控和探测方式，主要是通过在路由节点，网关设备，或者防火墙等安全网络设备，用带内或者带外(导流)的方式，对网络流量进行分析，并通过与已知的网络流量模型(正常流量或者攻击流量)对比，得到是否有DoS或者DDoS的攻击在发生。并且根据这个结果针对这些被认为是攻击的流量进行压制，从而缓解攻击。
现有的探测技术，主要是基于单点的探测技术，或者网关和云协同的探测技术，上述的探测技术：缺乏对网络拓扑信息的充分感知，采集的网络流量数据也缺乏全局性。
这就容易导致对DDoS攻击的检测失误(将正常流量检测误认为是攻击流量，或者将攻击流量误认为是正常流量)。上述探测技术的局限性还表现在对流量的压制实施点会局限在网关设备或者云清洗中心，而被攻击的计算机系统，以及其他的网络设备节点无法参与到检测和防御中。
因此，如何解决上述问题，提供一种在全网络范围内，将对分布式拒绝服务攻击(DDoS)的快速检测和识别方法，是当前急需解决的问题。
发明内容
本发明的目的是克服现有技术对拒绝服务攻击监控和探测方式存在很大的局限性的问题。本发明的基于分布式多级协同的分布式拒绝服务攻击监控系统及方法，服务节点为多个，分别部署安装在各个网络设备，在所有参与的网络设备节点和计算机系统，分布式并发进行，汇聚控制器可以部署一个或者多个，多个分级部署的控制器可以实现多级控制。每个控制器管理一个局部的网络，并且可以根据这个局部网络内汇聚的内容进行“局部”分析，提高整个系统的执行效率和拒绝服务攻击监控效果。
为了达到上述目的，本发明所采用的技术方案是：
一种基于分布式多级协同的分布式拒绝服务攻击监控系统，包括汇聚控制器和服务节点，
所述汇聚控制器为多个，管理与其连接的一个或者多个的服务节点，向与其连接的服务节点提出数据要求，实时接收服务节点的数据反馈，并结合网络拓扑信息，进行信息汇聚处理，得出攻击的探测结果；
所述服务节点为多个，分别部署安装在各个网络设备上，所述网络设备包括网关设备、可编程交换机、网络安全一体机和计算机系统上，各服务节点用于和汇聚控制器建立通信通道，每个服务节点向一个或者多个汇聚控制器注册、连接，并接受该汇聚控制器的管控，该管控为服务节点根据配置和汇聚控制器的要求，把本地数据和本地决策信息提交给与其连接的汇聚控制器。
前述的基于分布式多级协同的分布式拒绝服务攻击监控系统，所述汇聚控制器包括分布式全网数据采集模块、数据清洗与规约模块、分布式DDoS攻击检测模块、监控与告警模块，
所述分布式全网数据采集模块，用于对目标网络进行数据包的采集、数据解析，以及采集计算机系统自身的参数数据，以便提取全网数据的关键属性，并将提取的属性进行缓存；
所述数据清洗与规约模块，数据清洗根据DDoS攻击流量的特点，将提取的基础属性数据进一步计算、规约，构建出更多维度的特征属性，该多维度的特征属性将作为分布式DDoS攻击检测模块的数据源；
所述分布式DDoS攻击检测模块，包括特征工程分析单元、DDoS攻击识别知识库、机器学习检测模型以及验证DDoS攻击单元，所述特征工程分析单元包括网络基线分析、流量分析、协议分析以及统计分析，均对多维度的特征属性数据源进行分析，以便获取训练特征；
所述机器学习检测模型，直接通过规则经验进行识别检测，并且将经验知识进行积累，形成DDoS攻击识别知识库；
所述验证DDoS攻击单元，检测出的DDoS攻击进行验证与反馈；
所述监控与告警模块，对于验证准确检测出的DDoS攻击进行及时告警。
前述的基于分布式多级协同的分布式拒绝服务攻击监控系统，所述数据清洗与规约模块，数据清洗根据DDoS攻击流量的特点，将提取的基础属性数据进一步计算、规约，构建出更多维度的特征属性，包括以下过程，
(1)，建立全网数据连接，监听全网数据；
(2)，按设置时间窗口批次读取全网数据；
(3)，统计数据维度的属性，并进行协议会话重组，统计会话维度属性；
(4)，合并多种维度属性作为分布式DDoS攻击检测模块的数据源。
前述的基于分布式多级协同的分布式拒绝服务攻击监控系统，所述机器学习检测模型是通过集成学习实现的，具体采用改进的SMOTE抽样算法实现的。
前述的基于分布式多级协同的分布式拒绝服务攻击监控系统，所述汇聚控制器包括含控制界面CLI和GUI。
一种基于分布式多级协同的分布式拒绝服务攻击监控系统的监控方法，包括以下步骤，
步骤(A)，将服务节点安装部署在各个网络设备上，包括网关设备、可编程交换机、网络安全一体机和计算机系统上，且分布式部署汇聚控制器；
步骤(B)，启动服务节点，与最近汇聚控制器建立通信通道，每个服务节点向一个或者多个汇聚控制器注册、连接，并接受该汇聚控制器的管控；
步骤(C)，各汇聚控制器根据配置向与其连接的各个服务节点提出数据要求，并实时接收服务节点的数据反馈；
步骤(D)，各服务节点根据配置和汇聚控制器提出数据要求，通过本地信息作出本地的攻击检测判断，得到本地结果，并且将该本地结果反馈到对应的汇聚服务器；
步骤(E)，汇聚服务器接收到各服务节点反馈的本地结果，并根据根据收集到的网络和计算机系统信息，结合网络拓扑信息，进行信息汇聚处理，得出攻击的探测结果。
前述的基于分布式多级协同的分布式拒绝服务攻击监控系统的监控方法，步骤(A)，分布式部署汇聚控制器，该汇聚控制器部署一个或者多个，多个分级部署的汇聚控制器实现多级分布式控制，每个汇聚控制器管理该区域的服务节点覆盖的局部网络。
本发明的有益效果是：本发明的基于分布式多级协同的分布式拒绝服务攻击监控系统及方法，服务节点为多个，分别部署安装在各个网络设备，在所有参与的网络设备节点和计算机系统，分布式并发进行，汇聚控制器可以部署一个或者多个，多个分级部署的控制器可以实现多级控制。每个控制器管理一个局部的网络，并且可以根据这个局部网络内汇聚的内容进行“局部”分析，提高整个系统的执行效率和拒绝服务攻击监控效果，具有以下优点：
(1)相比在单一网络设备上进行的攻击分析和监控方法，此方案通过在网络范围，让所有的网络设备和网络节点都参与到流量分析和攻击监控中，可以获取更全面的网络流量模型，进而实现更准确，更高效的攻击探测和监控；
(2)计算机系统主动参与到攻击检测和监控中，可以将有关的应用和系统资源的利用率全盘纳入分析，可以提高探测的准确率；
(3)传统方案无法对于不经过检测器(DDoS防御设备或者云服务)的流量无能为力，特别是对于一个网络环境的内部流量(东西向流量)无法实施有效的探测和监控。本方案将探测和分析能力分布在所有参与的网络节点(网络设备和计算机系统)，让检测的覆盖更全面，提高整个系统的执行效率。
附图说明
图1是本发明基于分布式多级协同的分布式拒绝服务攻击监控系统的系统框图；
图2是本发明的汇聚控制器的系统框图；
图3是本发明的构建出更多维度的特征属性的流程图；
图4是Boosting算法基本原理图；
图5是Bagging算法基本原理图；
图6是本发明的改进SMOTE算法的流程图。
具体实施方式
下面将结合说明书附图，对本发明作进一步的说明。
如图1所示，本发明的基于分布式多级协同的分布式拒绝服务攻击监控系统，包括汇聚控制器1和服务节点2，
所述汇聚控制器1为多个，管理与其连接的一个或者多个的服务节点2，向与其连接的服务节点2提出数据要求，实时接收服务节点2的数据反馈，并结合网络拓扑信息，进行信息汇聚处理，得出攻击的探测结果；
所述服务节点2为多个，分别部署安装在各个网络设备上，所述网络设备包括网关设备、可编程交换机、网络安全一体机和计算机系统上，各服务节点2用于和汇聚控制器1建立通信通道，每个服务节点向一个或者多个汇聚控制器1注册、连接，并接受该汇聚控制器1的管控，该管控为服务节点2根据配置和汇聚控制器1的要求，把本地数据和本地决策信息提交给与其连接的汇聚控制器1。
如图2所示，所述汇聚控制器1包括分布式全网数据采集模块、数据清洗与规约模块、分布式DDoS攻击检测模块、监控与告警模块，
所述分布式全网数据采集模块，用于对目标网络进行数据包的采集、数据解析，以及采集计算机系统自身的参数数据，以便提取全网数据的关键属性，并将提取的属性进行缓存；
所述数据清洗与规约模块，数据清洗根据DDoS攻击流量的特点，将提取的基础属性数据进一步计算、规约，构建出更多维度的特征属性，该多维度的特征属性将作为分布式DDoS攻击检测模块的数据源；
所述分布式DDoS攻击检测模块，包括特征工程分析单元、DDoS攻击识别知识库、机器学习检测模型以及验证DDoS攻击单元，所述特征工程分析单元包括网络基线分析、流量分析、协议分析以及统计分析，均对多维度的特征属性数据源进行分析，以便获取训练特征；
所述机器学习检测模型，直接通过规则经验进行识别检测，并且将经验知识进行积累，形成DDoS攻击识别知识库；
所述验证DDoS攻击单元，检测出的DDoS攻击进行验证与反馈；
所述监控与告警模块，对于验证准确检测出的DDoS攻击进行及时告警。
所述数据清洗与规约模块，数据清洗根据DDoS攻击流量的特点，将提取的基础属性数据进一步计算、规约，构建出更多维度的特征属性，包括以下过程，如图3所示，
(1)，建立全网数据连接，监听全网数据；
(2)，按设置时间窗口批次读取全网数据；
(3)，统计数据维度的属性，并进行协议会话重组，统计会话维度属性；
(4)，合并多种维度属性作为分布式DDoS攻击检测模块的数据源。
所述机器学习检测模型是通过集成学习实现的，具体采用改进的SMOTE抽样算法实现的，如何选择改进的SMOTE抽样算法实现的原因介绍如下，集成学习(EnsembleLearning,EL)是一种非常有效的机器学习方法，它的思路是通过合并多个基础的机器学习算法来提升机器学习性能，以达到减小方差(通过bagging)、偏差(通过boosting)和改进预测结果(通过stacking)的效果，集成学习在不同规模的网络流量数据集上都有相对应的策略。对于全网范围内大数据集而言，可以将数据集划分为多个小数据集(各个网络节点的数据集)，然后采用多个学习模型学习不同的小数据集，最后通过汇集控制器进行汇聚集成。对于每个网络节点的小数据集，可以采用自助采样(boostrap)方法进行抽样，从而得到多个数据集，分别训练多个模型再进行集成。在集成学习中，根据基分类器的依赖关系，一般可以分为两种算法，一种是Booosting算法,其基本原理如图4所示，各个基分类器之间有依赖关系，需要串行计算，包括GBDT(Gradient Boosting Decision Tree)和XGBoost等；另外一种是Bagging算法，其基本原理如图5所示，各个基分类器之间没有依赖关系，可以并行计算，代表的算法是随机森林(Random Forest)。随机森林是Bagging算法的一个扩展变体。具体来说，Bagging算法是在原始数据集上采用有放回的随机取样方法抽取多个子样本，从而利用多个子样本训练多个基学习器，降低了模型的方差。而随机森林进行了两个方面的改动。一方面，随机森林使用了CART树作为基学习器，且CART树一般使其充分生长。另一方面，随机森林在选择划分属性时是通过某种策略直接在当前树结点的属性特征集合中选择一个最优属性；而在随机森林中，对CART树的每个节点，先从该节点的属性集合中随机选择一个包含多个属性的子集，然后再从这个子集中选择一个最优属性用于划分，其随机森林算法步骤为
输入：样本集S＝{(x1,y1),(x2,y2),…,xm,ym)}，弱分类器的迭代次数为T；
输出：随机森林模型f(x).对于t＝1,2,…,T,对训练集进行第t次随机采样，共采集m次，得到包含m个样本的采样集St，用其训练第t个CART树模型Gt(x)，在训练CART树模型的节点时，在节点的样本特征中随机选取部分特征，根据选择的部分特征进行计算，选择最优的特征来做左右子树的划分，每棵树都完整生长而不进行剪枝。非平衡数据是指数据集中某一类的样本数量明显少于其他类样本的数目，其中占数量最多的一类样本被称为多数类，而占数量最少的一类则称为少数类。对于非平衡分布的数据集，其容易引发数据稀缺、极端值和噪声等一系列现象，从而导致分类性能及精度下降等问题。在网络安全方面，大量的网络数据中，不安全或恶意攻击的数据信息所占的份额很少，这就使数据集出现非平衡的现象。这种现象经常会大面积出现负类的预测准确率远远低于正类，使得分类算法得到的分类器具有很大的偏向性，从而导致分类器性能的大幅度下降。由于偏向性的问题存在,使得在随机森林算法的分类精度很高的情况下，也会出现大面积的错分现象，这使得很多实现问题难以得到有效解决。
针对非平衡数据引起的问题，当前解决办法大致分两大类：一类是改进算法；另一类是改造数据。本发明主要采用改造数据的方法来改进非平衡数据问题，即改变训练集数据的分布，通过人为增加负样本，提升不平衡率。这里使用的是改进的SMOTE(SyntheticMinority Oversampling Technique，合成少数类过采样技术)算法，该算法的本质是对随机向上抽样策略的改进。由于随机向上抽样的过程中，只是简单地复制负类，在选择复制对象是存在随机性，且生成的对象在原始数据集中也存在重复问题，不能有效地解决问题的本质，而SMOTE算法提供了一种很好的假设，在相距较近的负类之间的样本仍然是负类。从这个假设出发，该方法为每个负样本确定其K个相距最近的负类，然后在样本与其近邻样本的连线上合成“模拟”样本，合成过程如下：
Pi＝xi+rand(0,1)*(yij-xi)
其中：xi(i＝1,2,…,n)为负类样本，n为负类样本总个数；
yij(j＝1,2,…,m)为Xi相邻的m个近邻样本；
pj(j＝1,2,…,m)为合成的“模拟”样本；
rand(0,1)表示在(0,1)之间的一个随机数。
而针对SMOTE算法，一是在近邻选择时存在一定的盲目性，二是无法克服非平衡数据集的数据分布问题，容易产生分布边缘化的问题，于是本发明提出一种改进的SMOTE抽样算法,其基本假设是：根据聚类算法的思想和物理学的重心理论，同一类的样本应有一个共同的重心，一个类用它的重心(该类样本属性的均值)做代表比较合理。基于这个假设，既然每个类都有一个重心，那么在“模拟”样本的过程中，新产生的样本也应向类的重心靠拢，这样使得样本的产生过程有一定的方向性，从而克服SMOTE算法在进行合成时的盲目化问题。而且由于“模拟样本”会有目的趋向重心，由处在分布边缘的样本产生的新样本的分布会得到改善，从而克服了SMOTE算法在进行合成时的边缘化问题。如何在产生“模拟”样本时，使新产生的样本向重心汇聚，其算法的具体步骤如下：
计算负类样本的中心点，如果将每个负类样本看着空间中的一个点，那么负类样本的中心点就是这些点组成的空间的重心，越趋近于重心的点越具有该负类样本的特征，重心的计算可以有两种计算方式：
一是可以使用向量的概念来完成该重心的计算，主要是引入向量重心的概念。设训练集为T，每个样本有r个属性，负类和正类的样本量分别为n1和n2，则负类样本集合可记为X:X＝{X1,X2,…,Xn1],Xi＝(xi1,xi2,…,xir)；正类样本集合可记为Y:Y＝{Y1,Y2,…,Yn2},Yi＝(yj1,yj2,…,yjr)。
定义负类样本的重心为：
定义正类样本的重心为：
根据正负样本的定义，可以计算出负类样本的重心点，从而进一步围绕重心点产生“模拟”样本；
二是使用统计工具完成数据集的初始聚类，找到负类样本的重心点。具体做法是，使用SPSS、R等统计软件，选择K均值聚类算法、系统聚类、两步聚类等常用的聚类办法，将负类样本集输入到软件中，设置需要将负类样本集分为二类。根据软件的运行结果，选择样本点数量多的一类的中心点作为本算法中负样本的中心点。
“模拟”样本的合成。为了保证合成的样本向类的重心趋近，本算法对SMOTE算法的公示进行改造，公式如下：
pj＝Xi+rand(0,1)*(Xcenter-Xi)
其中：Xi(i＝1,2,…,n1)为负类样本，n1为负类样本总个数；
Xcenter为负类样本的中心点；
pj(j＝1,2,…,m)为合成的“模拟”样本；
rand(0,1)表示在(0,1)之间的一个随机数。
从几何角度上看，本算法的本质是在负类样本和数据集重心之间的连线上进行再抽样，这样使得新产生的“模拟”样本，永远在中心点和负类样本之间，其所处的位置由随机数确定，不会偏离出负类样本集的几何空间，因此不会产生边缘化的趋势，而是有目的性地向中心点趋近，从而减少了算法的不稳定性。
欠抽样处理合成后的负类数据集。根据中心点、M值和公式pj合成样本,让合成的负类样本数量比实际需要的样本数量多出一部分，然后使用欠抽样的办法删除一些样本，被删除的样本需符合一个基本原则，那就是该样本离中心点的距离较别的样本点要远。负类样本到中心点的距离计算的方式有很多，包括欧式距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧式距离、马氏距离、夹角余弦距离、汉明距离等，可以根据实际应用来选择具体的方法。最后，使所合成的样本数量达到所需要满足的平衡率，平衡率可以根据实际应用确定。
经过上述的过程处理后，整个再非平衡处理过程结束，将负类样本集和正类样本集组合在一起，就可以作为随机森林算法的训练数据(即为机器学习检测模型构建原理)，具体算法流程图如图4-6所示。
本发明的分布式多级协同的分布式拒绝服务攻击监控系统的汇聚控制器1包括含控制界面CLI和GUI，便于监控与告警模块，对于验证准确检测出的DDoS攻击进行及时告警的展示。
根据本发明的分布式多级协同的分布式拒绝服务攻击监控系统的监控方法，包括以下步骤，
步骤(A)，将服务节点2安装部署在各个网络设备上，包括网关设备、可编程交换机、网络安全一体机和计算机系统上，且分布式部署汇聚控制器1，该汇聚控制器1部署一个或者多个，多个分级部署的汇聚控制器1实现多级分布式控制，每个汇聚控制器管理该区域的服务节点覆盖的局部网络；
步骤(B)，启动服务节点2，与最近汇聚控制器1建立通信通道，每个服务节点向一个或者多个汇聚控制器1注册、连接，并接受该汇聚控制器1的管控；
步骤(C)，各汇聚控制器1根据配置向与其连接的各个服务节点2提出数据要求，并实时接收服务节点2的数据反馈；
步骤(D)，各服务节点2根据配置和汇聚控制器1提出数据要求，通过本地信息作出本地的攻击检测判断，得到本地结果，并且将该本地结果反馈到对应的汇聚服务器1；
步骤(E)，汇聚服务器1接收到各服务节点2反馈的本地结果，并根据根据收集到的网络和计算机系统信息，结合网络拓扑信息，进行信息汇聚处理，得出攻击的探测结果。
综上所述，本发明的基于分布式多级协同的分布式拒绝服务攻击监控系统及方法，服务节点为多个，分别部署安装在各个网络设备，在所有参与的网络设备节点和计算机系统，分布式并发进行，汇聚控制器可以部署一个或者多个，多个分级部署的控制器可以实现多级控制。每个控制器管理一个局部的网络，并且可以根据这个局部网络内汇聚的内容进行“局部”分析，提高整个系统的执行效率和拒绝服务攻击监控效果，具有以下优点：
(1)相比在单一网络设备上进行的攻击分析和监控方法，此方案通过在网络范围，让所有的网络设备和网络节点都参与到流量分析和攻击监控中，可以获取更全面的网络流量模型，进而实现更准确，更高效的攻击探测和监控；
(2)计算机系统主动参与到攻击检测和监控中，可以将有关的应用和系统资源的利用率全盘纳入分析，可以提高探测的准确率，(例如，传统方案对于一些低流量的DDoS攻击无法探知，但这些攻击足以使一台或者多台服务器拒绝服务)；
(3)传统方案无法对于不经过检测器(DDoS防御设备或者云服务)的流量无能为力，特别是对于一个网络环境的内部流量(东西向流量)无法实施有效的探测和监控。本方案将探测和分析能力分布在所有参与的网络节点(网络设备和计算机系统)，让检测的覆盖更全面，提高整个系统的执行效率。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.基于分布式多级协同的分布式拒绝服务攻击监控系统，其特征在于：包括汇聚控制器(1)和服务节点(2)，
所述汇聚控制器(1)为一个或多个，管理与其连接的一个或者多个的服务节点(2)，向与其连接的服务节点(2)提出数据要求，实时接收服务节点(2)的数据反馈，并结合网络拓扑信息，进行信息汇聚处理，得出攻击的探测结果；
所述服务节点(2)为多个，分别部署安装在各个网络设备上，所述网络设备包括网关设备、可编程交换机、网络安全一体机和计算机系统上，各服务节点(2)用于和汇聚控制器(1)建立通信通道，每个服务节点向一个或者多个汇聚控制器(1)注册、连接，并接受该汇聚控制器(1)的管控，该管控为服务节点(2)根据配置和汇聚控制器(1)的要求，把本地数据和本地决策信息提交给与其连接的汇聚控制器(1)。
2.根据权利要求1所述的基于分布式多级协同的分布式拒绝服务攻击监控系统，其特征在于：所述汇聚控制器(1)包括分布式全网数据采集模块、数据清洗与规约模块、分布式DDoS攻击检测模块、监控与告警模块，
所述分布式全网数据采集模块，用于对目标网络进行数据包的采集、数据解析，以及采集计算机系统自身的参数数据，以便提取全网数据的关键属性，并将提取的属性进行缓存；
所述数据清洗与规约模块，数据清洗根据DDoS攻击流量的特点，将提取的基础属性数据进一步计算、规约，构建出更多维度的特征属性，该多维度的特征属性将作为分布式DDoS攻击检测模块的数据源；
所述分布式DDoS攻击检测模块，包括特征工程分析单元、DDoS攻击识别知识库、机器学习检测模型以及验证DDoS攻击单元，所述特征工程分析单元包括网络基线分析、流量分析、协议分析以及统计分析，均对多维度的特征属性数据源进行分析，以便获取训练特征；
所述机器学习检测模型，直接通过规则经验进行识别检测，并且将经验知识进行积累，形成DDoS攻击识别知识库；
所述验证DDoS攻击单元，检测出的DDoS攻击进行验证与反馈；
所述监控与告警模块，对于验证准确检测出的DDoS攻击进行及时告警。
3.根据权利要求2所述的基于分布式多级协同的分布式拒绝服务攻击监控系统，其特征在于：所述数据清洗与规约模块，数据清洗根据DDoS攻击流量的特点，将提取的基础属性数据进一步计算、规约，构建出更多维度的特征属性，包括以下过程，
(1)，建立全网数据连接，监听全网数据；
(2)，按设置时间窗口批次读取全网数据；
(3)，统计数据维度的属性，并进行协议会话重组，统计会话维度属性；
(4)，合并多种维度属性作为分布式DDoS攻击检测模块的数据源。
4.根据权利要求2所述的基于分布式多级协同的分布式拒绝服务攻击监控系统，其特征在于：所述机器学习检测模型是通过集成学习实现的，具体采用改进的SMOTE抽样算法实现的。
5.根据权利要求2所述的基于分布式多级协同的分布式拒绝服务攻击监控系统，其特征在于：所述汇聚控制器(1)包括含控制界面CLI和GUI。
6.基于权利要求1-5所述的基于分布式多级协同的分布式拒绝服务攻击监控系统的监控方法，其特征在于：包括以下步骤，
步骤(A)，将服务节点(2)安装部署在各个网络设备上，包括网关设备、可编程交换机、网络安全一体机和计算机系统上，且分布式部署汇聚控制器(1)；
步骤(B)，启动服务节点(2)，与最近汇聚控制器(1)建立通信通道，每个服务节点向一个或者多个汇聚控制器(1)注册、连接，并接受该汇聚控制器(1)的管控；
步骤(C)，各汇聚控制器(1)根据配置向与其连接的各个服务节点(2)提出数据要求，并实时接收服务节点(2)的数据反馈；
步骤(D)，各服务节点(2)根据配置和汇聚控制器(1)提出数据要求，通过本地信息作出本地的攻击检测判断，得到本地结果，并且将该本地结果反馈到对应的汇聚服务器(1)；
步骤(E)，汇聚服务器(1)接收到各服务节点(2)反馈的本地结果，并根据根据收集到的网络和计算机系统信息，结合网络拓扑信息，进行信息汇聚处理，得出攻击的探测结果。
7.根据权利要求6所述的基于分布式多级协同的分布式拒绝服务攻击监控系统的监控方法，其特征在于：步骤(A)，分布式部署汇聚控制器(1)，该汇聚控制器(1)部署一个或者多个，多个分级部署的汇聚控制器(1)实现多级分布式控制，每个汇聚控制器管理该区域的服务节点覆盖的局部网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011298396.4A CN112416976A (zh) | 2020-11-18 | 2020-11-18 | 基于分布式多级协同的分布式拒绝服务攻击监控系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011298396.4A CN112416976A (zh) | 2020-11-18 | 2020-11-18 | 基于分布式多级协同的分布式拒绝服务攻击监控系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112416976A true CN112416976A (zh) | 2021-02-26 |
Family
ID=74774773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011298396.4A Pending CN112416976A (zh) | 2020-11-18 | 2020-11-18 | 基于分布式多级协同的分布式拒绝服务攻击监控系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112416976A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699154A (zh) * | 2021-03-25 | 2021-04-23 | 上海洋漪信息技术有限公司 | 应对大流量数据的多级缓存方法 |
| CN113923041A (zh) * | 2021-10-20 | 2022-01-11 | 广东工业大学 | 一种SDN网络下DDoS攻击流量识别检测方法 |
| CN115952426A (zh) * | 2023-03-10 | 2023-04-11 | 中南大学 | 基于随机采样的分布式噪音数据聚类方法及用户分类方法 |
| CN116155630A (zh) * | 2023-04-21 | 2023-05-23 | 北京邮电大学 | 恶意流量识别方法及相关设备 |
| CN116192704A (zh) * | 2023-04-27 | 2023-05-30 | 北京豪密科技有限公司 | 网络密码机的监控系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101321171A (zh) * | 2008-07-04 | 2008-12-10 | 北京锐安科技有限公司 | 一种检测分布式拒绝服务攻击的方法及设备 |
| CN105827611A (zh) * | 2016-04-06 | 2016-08-03 | 清华大学 | 一种基于模糊推理的分布式拒绝服务网络攻击检测方法和系统 |
| CN107154915A (zh) * | 2016-03-02 | 2017-09-12 | 阿里巴巴集团控股有限公司 | 防御分布式拒绝服务DDoS攻击的方法、装置及系统 |
| CN110830469A (zh) * | 2019-11-05 | 2020-02-21 | 中国人民解放军战略支援部队信息工程大学 | 基于SDN和BGP流程规范的DDoS攻击防护系统及方法 |
| CN110868393A (zh) * | 2019-09-24 | 2020-03-06 | 国网河北省电力有限公司信息通信分公司 | 一种基于电网信息系统异常流量的防护方法 |
-
2020
- 2020-11-18 CN CN202011298396.4A patent/CN112416976A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101321171A (zh) * | 2008-07-04 | 2008-12-10 | 北京锐安科技有限公司 | 一种检测分布式拒绝服务攻击的方法及设备 |
| CN107154915A (zh) * | 2016-03-02 | 2017-09-12 | 阿里巴巴集团控股有限公司 | 防御分布式拒绝服务DDoS攻击的方法、装置及系统 |
| CN105827611A (zh) * | 2016-04-06 | 2016-08-03 | 清华大学 | 一种基于模糊推理的分布式拒绝服务网络攻击检测方法和系统 |
| CN110868393A (zh) * | 2019-09-24 | 2020-03-06 | 国网河北省电力有限公司信息通信分公司 | 一种基于电网信息系统异常流量的防护方法 |
| CN110830469A (zh) * | 2019-11-05 | 2020-02-21 | 中国人民解放军战略支援部队信息工程大学 | 基于SDN和BGP流程规范的DDoS攻击防护系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 钱明: ""基于大数据分析的网络安全审计技术的研究"", 《知网》, pages 4 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699154A (zh) * | 2021-03-25 | 2021-04-23 | 上海洋漪信息技术有限公司 | 应对大流量数据的多级缓存方法 |
| CN112699154B (zh) * | 2021-03-25 | 2021-06-18 | 上海洋漪信息技术有限公司 | 应对大流量数据的多级缓存方法 |
| CN113923041A (zh) * | 2021-10-20 | 2022-01-11 | 广东工业大学 | 一种SDN网络下DDoS攻击流量识别检测方法 |
| CN115952426A (zh) * | 2023-03-10 | 2023-04-11 | 中南大学 | 基于随机采样的分布式噪音数据聚类方法及用户分类方法 |
| CN116155630A (zh) * | 2023-04-21 | 2023-05-23 | 北京邮电大学 | 恶意流量识别方法及相关设备 |
| CN116192704A (zh) * | 2023-04-27 | 2023-05-30 | 北京豪密科技有限公司 | 网络密码机的监控系统及方法 |
| CN116192704B (zh) * | 2023-04-27 | 2023-07-14 | 北京豪密科技有限公司 | 网络密码机的监控系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112416976A (zh) | 基于分布式多级协同的分布式拒绝服务攻击监控系统及方法 | |
| US11606389B2 (en) | Anomaly detection with graph adversarial training in computer systems | |
| Marir et al. | Distributed abnormal behavior detection approach based on deep belief network and ensemble SVM using spark | |
| Chkirbene et al. | Hybrid machine learning for network anomaly intrusion detection | |
| Hu et al. | Online adaboost-based parameterized methods for dynamic distributed network intrusion detection | |
| Gogoi et al. | MLH-IDS: a multi-level hybrid intrusion detection method | |
| CN111817982B (zh) | 一种面向类别不平衡下的加密流量识别方法 | |
| CN111277578A (zh) | 加密流量分析特征提取方法、系统、存储介质、安全设备 | |
| CN111988285A (zh) | 一种基于行为画像的网络攻击溯源方法 | |
| Li | Application of CART decision tree combined with PCA algorithm in intrusion detection | |
| CN113660209B (zh) | 一种基于sketch与联邦学习的DDoS攻击检测系统及应用 | |
| Ghalehgolabi et al. | Intrusion detection system using genetic algorithm and data mining techniques based on the reduction | |
| Kozik et al. | Pattern extraction algorithm for netflow-based botnet activities detection | |
| CN112468498B (zh) | 配电终端多源异构安全监测数据的跨模态聚合方法 | |
| CN115842636A (zh) | 一种基于时序特征的网络异常行为监测方法以及装置 | |
| Yu et al. | Design of DDoS attack detection system based on intelligent bee colony algorithm | |
| CN110311870B (zh) | 一种基于密度数据描述的ssl vpn流量识别方法 | |
| Lu et al. | Unsupervised anomaly detection using an evolutionary extension of k-means algorithm | |
| CN111901137A (zh) | 一种利用蜜罐告警日志挖掘多步攻击场景的方法 | |
| Liu et al. | MSCA: An unsupervised anomaly detection system for network security in backbone network | |
| Babu et al. | Improved Monarchy Butterfly Optimization Algorithm (IMBO): Intrusion Detection Using Mapreduce Framework Based Optimized ANU-Net. | |
| CN114244549B (zh) | 一种面向工业互联网的GSSK-means异常流量检测方法、存储器和处理器 | |
| Qi | Computer Real-Time Location Forensics Method for Network Intrusion Crimes. | |
| CN111064724B (zh) | 一种基于rbf神经网络的网络入侵检测系统 | |
| Khadija et al. | Detecting network intrusion by combining DBSCAN, principle component analysis and ranker |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |