CN102801738B - 基于概要矩阵的分布式拒绝服务攻击检测方法及系统 - Google Patents
基于概要矩阵的分布式拒绝服务攻击检测方法及系统 Download PDFInfo
- Publication number
- CN102801738B CN102801738B CN201210314601.0A CN201210314601A CN102801738B CN 102801738 B CN102801738 B CN 102801738B CN 201210314601 A CN201210314601 A CN 201210314601A CN 102801738 B CN102801738 B CN 102801738B
- Authority
- CN
- China
- Prior art keywords
- address
- suspicious
- summarization information
- node
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于概要矩阵的分布式拒绝服务攻击检测方法及系统,方法如下:1)部署检测节点;2)数据采集:检测节点采集网络流量,根据连续的采样间隔内采集数据中的所有目的IP地址更新的两个连续概要矩阵;3)局部检测:根据两个连续概要矩阵获取可疑IP地址;4)局部信息融合:检测节点将可疑IP地址逐跳融合并发送给路由树的根节点;5)全局决策:路由树的根节点进行全局决策确定受分布式拒绝服务攻击的IP地址;系统包括协同工作的多个检测节点,检测节点包括数据采集模块、局部检测模块、局部信息融合模块和全局决策模块。本发明具有识别准确率高、漏报率低、检测迅速及时、节约资源、可扩展性好的优点。
Description
技术领域
本发明涉及网络安全技术领域,具体涉及一种基于信息压缩技术在局部监控全局流量并正确发现可能被攻击目标,以及如何进行全局协同从而尽早确认被攻击目标的分布式拒绝服务攻击检测方法及系统。
背景技术
信息技术的不断发展、计算机网络的日益普及,人们的正常生活已经离不开互联网。互联网技术的发展日新月异,但随之产生的安全问题和隐患也越来越多。计算机应急响应组协调中心(Computer Emergency Response Team /Coordination Center,CERT)曾对互联网相关漏洞以及攻击复杂度和易用性的发展趋势公布一份报告,该报告的内容显示:互联网漏洞的发现数从1995年的250个到1999年的500个呈缓慢式增长;从1999年开始呈现爆发态势,到2001年达到峰值4000个漏洞的报告数。漏洞的增多导致对应互联网攻击手段越来越复杂,但CERT的统计数据还显示自1990年到2001年间与日趋复杂的攻击手段相应的攻击技巧和知识含量却不断下降。
如此严峻的安全形势下,计算机网络的安全性显得尤为重要。在众多计算机网络安全问题中,分布式拒绝服务(DDoS)攻击由于攻击代价低,且攻击工具肆意泛滥,近年来已成为影响网络可用性的首要威胁之一。Arbor Networks第五次年度安全报告称,2009年分布式拒绝服务攻击发生的次数增长了20%,并且随后的一年里,基于僵尸网络发起的分布式拒绝服务攻击将成为网络服务提供商们关心的首要问题。
分布式拒绝服务攻击是指利用一批受控制的机器向一台机器发送貌似合法的服务请求来占用过多的服务资源,从而使合法的用户无法得到服务。如图1所示,实施分布式拒绝服务攻击的网络分为四个区域,区域1为黑客所在网络即实际攻击机、区域2是傀儡控制机、区域3是攻击傀儡机网络、区域4是被攻击的受害者。区域3的傀儡机越多攻击发起的初期可能产生的攻击流量就越小,越不易发现。从形式上,分布式拒绝服务主要分为:1)对网络宽带发起攻击,运用大量的通信量冲击网络,使得可用网络资源消耗殆尽;2)对计算机资源发起攻击,运用大量的连接请求冲击计算机,使得所有可用的系统资源都消耗殆尽。从攻击原理上可分为两类:1、直接攻击,攻击者直接向被攻击主机发送大量攻击分组;2、反射攻击,利用中间结点(包括路由器和主机,又称为反射结点) 进行攻击。
针对分布式拒绝服务攻击,如何能在攻击发起的初始阶段及时有效的检测出攻击,对减少攻击损失至关重要。但是DDoS攻击具有攻击特征不明显和空间分布广的特点,使得防护系统难以及时有效的发现攻击并采取应对措施。DDoS 攻击分布式的特性决定了攻击在网络局部的攻击流可能非常小,容易掩藏于正常报文流中,难以被正确识别。另外,通过操控一个在全网分布的傀儡机攻击网来发起协同攻击,使得网络局部难以得到攻击的整体态势,也增加了协同检测的难度。针对分布式拒绝服务攻击检测问题,现有技术存在集中式单点检测和分布式检测两类方法。
早期的DDoS检测以集中式单点检测为主,通过分析本地流量特征,如源目的IP地址分布熵、报文到达间隔时间、特定协议报文比例、TTL值等,检测提取DDoS攻击引起的流量异常。例如:中国专利申请号为20110262106.5、名称为 “一种DoS/DDos攻击检测方法” 公开的技术方案中根据到达目的IP流量的平均波动情况检测流量异常;中国专利申请号为200910243441.3、名称为“一种DDoS攻击检测方法”公开的技术方案中统计单位时间内各类型报文比例、通过预设经验阈值检测DDoS 攻击;程杰仁等在《计算机研究与发展》2009年第8期发表的《基于地址相关度的分布式拒绝服务攻击检测方法》中定义报文源地址和目的地址相关度概念,并以此检测地址欺骗的DDoS攻击。但是,集中式单点检测方法受限于DDoS攻击的强度,攻击流量比例越大,检测准确率越高;检测系统越靠近受害者,检测迟缓越小。但DDoS攻击的攻击源分散且每个攻击源产生的攻击流量较小,因此集中式单点检测方法难以保证检测的及时性和准确性(漏报率和误报率)。
分布式检测方法从网络中的多个监测点收集信息,以检测流量异常,更适应DDoS攻击的攻击源分散的特点。例如:中国专利申请号为200810134728.8、名称为“分布式拒绝服务攻击的检测方法和系统”记载的技术方案提取以本节点为目的的OD流(源到端的流)异常空间序列,计算本地及全局相关系数,最终确认攻击;中国专利申请号为201010605804.6、名称为“一种分布式DDoS攻击流识别方法”记载的技术方案在网络边界检测到达目标地址的报文数量异常,将可疑信息发送到路由器进一步融合分析;Chen, Y.等人在IEEE Trans. Parallel Distrib. Syst.上发表的《Collaborative Detection of DDoS Attacks over Multiple Network Domains》提出一种协同检测DDoS攻击的方法,各协同节点利用累计和检测算法检测本地网络流量异常,并将报警信息逐级上传,构建全局攻击树,当攻击树超过一定规模时则认为网络中存在DDoS攻击。但是,上述分布式检测方法实际上是在局部检测节点报警的基础上进行报警融合,检测算法受限于本地检测算法的精确度,未能解决网络边缘检测异常困难的问题。专利“分布式拒绝服务攻击的检测方法和系统”的检测点部署在受害机上,确定攻击的同时主机也面临崩溃的危险。攻击检测是DDoS攻击响应的前提,提供准确的受害者信息有助于及时过滤攻击流量,保护受害主机。上述第一种方法以OD流为检测单位,无法识别受害主机,于攻击响应无异;后两者方法虽能够准确识别受害主机,但需要保存每个IP流状态,消耗大量内存。因此,分布式检测算法必须在检测粒度和资源消耗之间权衡。
综上所述,分布式拒绝服务攻击具有局部特征不明显和空间分布广的特点,集中式单点检测技术只能看到局部视图,检测的正确性和及时性无法保证;而现有的分布式检测技术,难以识别被攻击目标,且检测的有效性受限于系统资源消耗。
发明内容
本发明要解决的技术问题是提供一种识别准确率高、漏报率低、检测迅速及时、节约资源、可扩展性好的基于概要矩阵的分布式拒绝服务攻击检测方法及系统。
为了解决上述技术问题,本发明采用的技术方案为:
一种基于概要矩阵的分布式拒绝服务攻击检测方法,实施步骤如下:
1)部署检测节点:在网络中部署分散的多个检测节点,并在所述检测节点中构建两个概要矩阵,所述概要矩阵由对应多种哈希函数的哈希表构成,所述哈希表包含多个用于存储IP地址概要信息的存储位置;
2)数据采集:检测节点采集网络流量,根据采样间隔内采集数据中的所有目的IP地址更新一个概要矩阵中的IP地址概要信息,然后根据下一个采样间隔内采集数据中的所有目的IP地址更新另一个概要矩阵中的IP地址概要信息;
3)局部检测:检测节点获取同一IP地址概要信息在所述两个概要矩阵之间的变化比例,将其中变化比例超过预设阈值的IP地址概要信息作为可疑IP地址概要信息并获取对应的可疑IP地址;
4)局部信息融合:检测节点根据可疑IP地址生成路由树并初始化报警次数,路由树的每一个中间检测节点接收上一跳检测节点共享的报警次数和可疑IP地址及其概要信息,将报警次数加1、将可疑IP地址及其概要信息和局部检测输出的可疑IP地址及其概要信息进行求和融合,获取融合后概要信息在连续的两个采样间隔内的变化比例超过预设阈值的可疑IP地址及其概要信息,并将报警次数和所述可疑IP地址及其概要信息共享给下一跳检测节点;
5)全局决策:路由树的根节点根据收到的报警次数和可疑IP地址及其概要信息进行全局决策确定受分布式拒绝服务攻击的IP地址。
作为本发明基于概要矩阵的分布式拒绝服务攻击检测方法的进一步改进:
所述步骤2)的详细步骤如下:
2.1)检测节点采集网络流量;
2.2)获取采样间隔内采集数据中的所有目的IP地址,将每一个IP地址进行哈希运算,根据哈希运算结果更新一个概要矩阵中对应的IP地址概要信息,将IP地址在概要矩阵中哈希表的对应的存储位置的值加1,直至更新完该采样间隔内的所有目的IP地址;
2.3)获取下一个采样间隔内采集数据中的所有目的IP地址,将每一个IP地址进行哈希运算,根据哈希运算结果更新另一个概要矩阵中对应的IP地址概要信息,将IP地址在该概要矩阵中哈希表的对应的存储位置的值加1,直至更新完该采样间隔内的所有目的IP地址。
所述步骤3)的详细步骤如下:
3.1)首先将前一个概要矩阵中的IP地址概要信息的值减去后一个概要矩阵中相应存储位置所存的IP地址概要信息的值得到可疑概要矩阵,所述可疑概要矩阵包含发往所有IP地址在一个采样间隔内的变化数;然后将所述变化数与后一个概要矩阵中相应存储位置所存的IP地址概要信息的值做比得到IP地址在一个采样间隔内的变化比例;
3.2)从所述可疑概要矩阵中获取所述变化比例超过预设阈值的可疑IP地址概要信息;
3.3)根据所述可疑IP地址概要信息获取可疑目的IP地址。
所述步骤3.3)的详细步骤如下:
3.3.1)对所述可疑概要矩阵的每一行进行反向散列运算;
3.3.2)根据所述可疑IP地址概要信息对可疑概要矩阵的各行进行反向散列运算后的结果做交集,得到交集的结果即为可疑IP地址。
所述步骤4)的详细步骤如下:
4.1)检测节点根据可疑IP地址生成路由树并初始化报警次数,检测节点作为路由树的第一个节点向下一跳节点共享报警次数和可疑IP地址及其概要信息;
4.2)路由树的每一个中间检测节点接收上一跳检测节点共享的报警次数和可疑IP地址及其概要信息,将报警次数加1、将可疑IP地址及其概要信息和局部检测输出的可疑IP地址概要信息进行求和融合;
4.3)中间检测节点将当前采样间隔内的可疑IP地址概要信息融合值与上一个采样间隔内的IP地址概要信息融合值相减得到融合后的发往可疑IP地址信息变化数,将融合后的发往可疑IP地址信息变化数与上一个采样间隔内的可疑IP地址概要信息融合值做比得到可疑IP地址概要信息在当前检测节点的全局变化比例,如果可疑IP地址概要信息在当前检测节点的全局变化比例低于预设值则将所述可疑IP地址概要信息丢弃,否则根据可疑IP地址生成路由树,将所述可疑IP地址及其概要信息和共享报警次数共享给下一跳检测节点。
所述步骤5)的详细步骤如下:
5.1)路由树的根节点接收上一跳检测节点共享的报警次数和可疑IP地址及其概要信息,将报警次数加1、将可疑IP地址及其概要信息和局部检测输出的可疑IP地址概要信息进行求和融合;
5.2)根节点将当前采样间隔内的可疑IP地址概要信息融合值与上一个采样间隔内的IP地址概要信息融合值相减得到融合后的发往可疑IP地址信息变化数,将融合后的发往可疑IP地址信息变化数与上一个采样间隔内的可疑IP地址概要信息融合值做比得到可疑IP地址概要信息在当前检测节点的全局变化比例,如果可疑IP地址概要信息在当前检测节点的全局变化比例低于预设值则将所述可疑IP地址概要信息丢弃,否则进入下一步;
5.3)判断可疑IP地址概要信息的数量在当前的概要矩阵中哈希表的数量的比例是否大于预设阈值,如果大于且共享报警次数超过预设值,则将所述可疑IP地址概要信息对应的IP地址作为受到分布式拒绝服务攻击的攻击对象。
所述步骤1)中在网络中部署分散的多个检测节点时,检测节点部署于网络边缘位置。
本发明还提供一种基于概要矩阵的分布式拒绝服务攻击检测系统,包括部署于网络中并协同工作的多个检测节点,所述检测节点包括:
数据采集模块,用于采集网络流量,并根据采样间隔内采集数据中的所有目的IP地址更新一个概要矩阵中的IP地址概要信息、根据下一个采样间隔内采集数据中的所有目的IP地址更新另一个概要矩阵中的IP地址概要信息;所述两个概要矩阵均由对应多种哈希函数的哈希表构成,所述哈希表包含多个用于存储IP地址概要信息的存储位置;
局部检测模块,用于获取同一IP地址概要信息在所述两个概要矩阵之间的变化比例、将其中变化比例超过预设阈值的IP地址概要信息作为可疑IP地址概要信息并获取对应的可疑IP地址;
局部信息融合模块,用于根据可疑IP地址生成路由树并初始化报警次数,路由树的每一个中间检测节点接收上一跳检测节点共享的报警次数和可疑IP地址及其概要信息,将报警次数加1、将可疑IP地址及其概要信息和局部检测输出的可疑IP地址及其概要信息进行求和融合,获取融合后概要信息在连续的两个采样间隔内的变化比例超过预设阈值的可疑IP地址及其概要信息,并将报警次数和所述可疑IP地址及其概要信息共享给下一跳检测节点;
全局决策模块,用于在当前检测节点为路由树的根节点时根据收到的报警次数和可疑IP地址及其概要信息进行全局决策确定受分布式拒绝服务攻击的IP地址。
作为本发明基于概要矩阵的分布式拒绝服务攻击检测系统的进一步改进:所述检测节点部署于网络边缘位置。
本发明基于概要矩阵的分布式拒绝服务攻击检测方法具有下述优点:
1、本发明利用局部检测节点对网络流量进行监控并发现可能的被攻击目标,再通过全网检测节点信息的协同融合,实现在攻击流量到达目标之前发现攻击行为的目的,通过局部检测节点协同实现,突破传统集中式单点检测在分布式情况下的局限性,以单点检测作为基础进而进行全局分析,对整体网络情况进行判断,使得在攻击初期,隐藏于正常流量中的攻击信息得以发现,提高报警准确率减少漏报率,能够及时正确地检测出攻击并识别出被攻击目标,具有识别准确率高、漏报率低、检测迅速及时、可扩展性好的优点。
2、本发明利用连续的概要矩阵存储相邻两个报文采样间隔采集得到的数据,对报文的IP摘要信息进行压缩,便于数据分析,优化了存储空间,使检测节点的资源免于被巨大的网络流量消耗殆尽,存储性能高效,资源分配合理,实施网络流量监控的花销小。
3、本发明利用路由树机制实现检测信息共享,根据目的IP地址,通过路由表自动生成共享拓扑路径,在不占用额外资源的情况下快速生成共享路径方案,为攻击检测信息的融合提供了高效的共享方式。
本发明基于概要矩阵的分布式拒绝服务攻击检测系统为与本发明基于概要矩阵的分布式拒绝服务攻击检测方法对应的装置,因此也具有与上述基于概要矩阵的分布式拒绝服务攻击检测方法相同的技术效果,在此不再赘述。
附图说明
图1为现有技术实施分布式拒绝服务攻击检测的拓扑结构示意图。
图2为本发明实施例的基本流程示意图。
图3为本发明实施例的详细流程示意图。
图4为本发明实施例中检测节点的部署位置示意图。
图5为本发明实施例中概要矩阵的结构示意图。
图6为本发明实施例中生成可疑概要矩阵的原理示意图。
图7为本发明实施例中矩阵反编获取可疑IP地址的原理示意图。
图8为本发明实施例中路由树的连接结构示意图。
图9为本发明实施例中路由树的拓扑结构示意图。
图10为本发明实施例的系统结构示意图。
具体实施方式
如图2和图3所示,本实施例基于概要矩阵的分布式拒绝服务攻击检测方法的实施步骤如下:
1)部署检测节点:在网络中部署分散的多个检测节点,并在检测节点中构建两个概要矩阵,概要矩阵由对应多种哈希函数的哈希表构成,哈希表包含多个用于存储IP地址概要信息的存储位置;
2)数据采集:检测节点采集网络流量,根据采样间隔内采集数据中的所有目的IP地址更新一个概要矩阵中的IP地址概要信息,然后根据下一个采样间隔内采集数据中的所有目的IP地址更新另一个概要矩阵中的IP地址概要信息;
3)局部检测:检测节点获取同一IP地址概要信息在两个概要矩阵之间的变化比例,将其中变化比例超过预设阈值的IP地址概要信息作为可疑IP地址概要信息并获取对应的可疑IP地址;
4)局部信息融合:检测节点根据可疑IP地址生成路由树并初始化报警次数,路由树的每一个中间检测节点接收上一跳检测节点共享的报警次数和可疑IP地址及其概要信息,将报警次数加1、将可疑IP地址及其概要信息和局部检测输出的可疑IP地址及其概要信息进行求和融合,获取融合后概要信息在连续的两个采样间隔内的变化比例超过预设阈值的可疑IP地址及其概要信息,并将报警次数和可疑IP地址及其概要信息共享给下一跳检测节点;
5)全局决策:路由树的根节点根据收到的报警次数和可疑IP地址及其概要信息进行全局决策确定受分布式拒绝服务攻击的IP地址。
本实施例通过概要矩阵存储IP地址概要信息,两个概要矩阵用于交替存储相邻采样间隔的信息,局部检测节点利用连续概要矩阵对网络流量进行信息压缩存储,发现可疑概要信息后,利用矩阵反编技术发现可能的被攻击目标,存储信息量低,能够实现对网络流量监控的软硬件开销低;此外,检测节点利用 DHT 对等网络协议将所有局部检测节点组织成路由树,再通过路由树对局部检测信息进行融合,最后由路由树的根节点确认被攻击目标,因此不需要集中节点,针对不同的信息发送目的,将网络中所有节点自组织成不同的路由树拓扑结构,利用对等路由,路由表中的下一跳目的,即为本节点的父节点,从而不要维护树拓扑结构,网络自形成拓扑树,生成信息共享路径,完全由分布式的检测节点实现,非常节约资源,实施成本低。
本实施例中,步骤1)中在网络中部署分散的多个检测节点时,检测节点部署于网络边缘位置,能够尽量靠近攻击源的位置,能够发现初期隐藏在正常流量中的攻击行为,极大的提前了发现攻击的时间,以便做出判断阻止攻击,使检测及时性得到保证。如图4所示,其中的A所示即为本实施例的检测节点。本实施例中,为每个检测节点创建检测进程,包括局部监测代理和全局融合确认代理,局部监测代理用于局部检测正常运行,全局融合确认代理则用于保持局部信息融合和全局决策正常运行,检测节点对本地的所有网络接口启动高速网络流量监测功能,从而能够捕获所有流经该节点的报文。本实施例中,针对检测节点的网络接口,创建网络流量数据采集线程,实现多个网络接口流量数据的并行采集,采集的数据主要是报文的目的IP地址信息。
本实施例中,步骤2)的详细步骤如下:
2.1)检测节点采集网络流量;
2.2)获取采样间隔内采集数据中的所有目的IP地址,将每一个IP地址进行哈希运算,根据哈希运算结果更新一个概要矩阵中对应的IP地址概要信息,将IP地址在概要矩阵中哈希表的对应的存储位置的值加1,直至更新完该采样间隔内的所有目的IP地址;
2.3)获取下一个采样间隔内采集数据中的所有目的IP地址,将每一个IP地址进行哈希运算,根据哈希运算结果更新另一个概要矩阵中对应的IP地址概要信息,将IP地址在该概要矩阵中哈希表的对应的存储位置的值加1,直至更新完该采样间隔内的所有目的IP地址。
步骤2.2)将每一个IP地址进行哈希运算即可得到IP地址摘要信息,其详细步骤如下:将网络流量信息中提取目的IP地址作为更新概要矩阵的哈希函数hi(key)所需要的key值。目的IP地址通过hi(key)进行哈希运算并更新哈希表得到目的IP地址对应的概要信息。例如某目的IP地址经过不同哈希函数运算后,在哈希函数对应的哈希表上得到一个对应的位置——图5中黑色方格意为目的IP地址经过Hash后在哈希表中对应的存储位置,根据得到的位置信息对该位置的值加1,对整个采样间隔内的信息完成以上过程后,对概要矩阵的更新结束,目的IP地址在哈希表中对应位置存储的信息即为该IP地址的概要信息。完成当前采样间隔的概要矩阵更新后立即开始下一采样间隔信息的采集,并更新另一个概要矩阵,更新方法重复以上步骤。新的概要矩阵与上一时段采样间隔的概要矩阵构成连续概要矩阵。以上步骤反复循环执行,形成连续不断地采样间隔,从而实现概要矩阵的持续更新。
本实施例中,步骤3)的详细步骤如下:
3.1)首先将前一个概要矩阵中的IP地址概要信息的值减去后一个概要矩阵中相应存储位置所存的IP地址概要信息的值得到可疑概要矩阵,可疑概要矩阵包含发往所有IP地址在一个采样间隔内的变化数;然后将变化数与后一个概要矩阵中相应存储位置所存的IP地址概要信息的值做比得到IP地址在一个采样间隔内的变化比例;
3.2)从可疑概要矩阵中获取变化比例超过预设阈值的可疑IP地址概要信息;
3.3)根据可疑IP地址概要信息获取可疑目的IP地址。
如图5所示,概要矩阵由H个哈希函数的哈希表构成,每个哈希表存储空间为K,即对应可存储K个IP地址信息。IP地址概要信息根据IP值对报文信息进行哈希运算得到,IP地址概要信息的表达式hi(key)代表所对应不同的哈希函数、key值(目的IP地址)得到的IP地址概要信息。通过哈希函数对报文信息进行压缩得到的结果即为IP地址概要信息。一个IP值能够根据不同的哈希函数可生成多条对应的概要信息。一个完整的概要矩阵对应H种哈希函数,每一个哈希函数对应存储空间为K的哈希表,hi(key)代表所对应不同的Hash,即变量i的取值范围是[0,H],其中key的取值为网络数据流中提取的目的IP地址。对目的IP地址进行Hash运算,根据运算结果,在该哈希函数的哈希表上得到目的IP地址对应的位置,将此位置的值加1,代表该位置对应的目的IP地址在网络流量中出现了一次,对采样间隔的所有信息完成以上操作后,最终目的IP地址在哈希表中对应位置的值即为该目的IP地址的概要信息,所有不同的目的IP地址在各哈希表中都有对应的存储概要信息的位置,采样间隔内所有目的IP地址的概要信息组成一个采样间隔的概要矩阵信息。图5中黑色方格即表示各哈希函数根据IP地址得到的概要信息在哈希表中相应的存储位置。检测节点的连续概要矩阵中的两个概要矩阵是独立的,信息采集频率以固定的采样间隔划分,每个采样间隔用于维护一个概要矩阵,两个概要矩阵交替更新以完成对数据信息的连续采集。
如图6所示,St、St-1是存储两个相邻采样间隔概要信息的连续概要矩阵。每个概要矩阵对应5个不同的哈希函数(St、St-1的左侧为哈希函数编号),哈希函数对应哈希表中不同的填充方框代表不同目的IP地址经过哈希函数运算得到的概要信息在哈希表中对应的存储位置,DSt为连续概要矩阵经过可疑信息判断后存储可疑信息的可疑概要矩阵。利用St-1中各个哈希表所存的概要信息的值减去St中相应位置所存的概要信息的值得到发往相同目的IP地址的信息在一个采样间隔内的变化数。正值表示增加,负值表示减少。变化数与St中所存相应概要信息的值做比得到目的IP地址的变化比例,如果变化比例大于局部检测规定的阈值10%,则判定以哈希表中该位置所存概要信息所对应目的IP地址为可疑IP,概要信息位可疑概要信息。如图6所示的DSt中的填充方格所示意即为连续概要矩阵经过局部可疑信息判断后确定两个在哈希表中对应可疑信息的存储位置。
根据本实施例的参数设置,概要矩阵中每个概要信息对应的IP地址数量为216~220个,因此从概要矩阵查找对应IP地址需要消耗大量的资源。本实施例引入概要矩阵反编技术解决上述问题,能够直接找出对应IP地址,而不牺牲本地资源而达到识别可疑IP地址的目的。如图7所示,本实施例的步骤3.3)实施概要矩阵反编技术获取可疑IP地址的详细步骤如下:
3.3.1)对可疑概要矩阵的每一行进行反向散列运算;
3.3.2)根据可疑IP地址概要信息对可疑概要矩阵的各行进行反向散列运算后的结果做交集,得到交集的结果即为可疑IP地址。
本实施例中,步骤4)的详细步骤如下:
4.1)检测节点根据可疑IP地址生成路由树并初始化报警次数,检测节点作为路由树的第一个节点向下一跳节点共享报警次数和可疑IP地址及其概要信息;
4.2)路由树的每一个中间检测节点接收上一跳检测节点共享的报警次数和可疑IP地址及其概要信息,将报警次数加1、将可疑IP地址及其概要信息和局部检测输出的可疑IP地址概要信息进行求和融合;
4.3)中间检测节点将当前采样间隔内的可疑IP地址概要信息融合值与上一个采样间隔内的IP地址概要信息融合值相减得到融合后的发往可疑IP地址信息变化数,将融合后的发往可疑IP地址信息变化数与上一个采样间隔内的可疑IP地址概要信息融合值做比得到可疑IP地址概要信息在当前检测节点的全局变化比例,如果可疑IP地址概要信息在当前检测节点的全局变化比例低于预设值则将可疑IP地址概要信息丢弃,否则根据可疑IP地址生成路由树,将可疑IP地址及其概要信息和共享报警次数共享给下一跳检测节点。
本实施例中,每一个中间检测节点发送共享信息时,检测节点以每个可疑IP地址和其概要信息构建共享路径。这样能够促使由同一个分布式拒绝服务攻击在不同检测节点处引起的可疑概要信息最终会达到同一个检测节点。若可疑IP地址概要信息在当前检测节点的全局变化比例低于预设值50%,则认为该可疑概要信息不具备普遍性,不符合分布式拒绝服务攻击的特点,这类可疑概要信息在融合过程中被丢弃。反之认为该目的IP地址在当前融合的所有节点中确为可疑目的IP地址,并将其作为共享信息发往下一跳节点。
如图8所示,图中环状拓扑结构意为所有检测节点互相连接,都作用在由检测节点构成的协同平台上,树状拓扑结构意为路由树根据实际检测到的信息情况将节点组织成树状拓扑结构,树状拓扑结构的共享路径如图9所示。现假设检测到某一可疑IP地址,则局部信息融合的过程如下:节点3、节点4、节点6各自完成了局部检测并得到了同一可疑IP地址和对应的不同哈希函数的IP地址概要信息a、b、c、d、e,其中填充框代表该IP地址概要信息为对应检测节点排除的可疑IP地址。根据路由树生成的共享路径,节点3、节点4、节点6这三个检测节点都将节点8作为目标节点,构建了以节点8为根节点的树状拓扑结构。节点3和节点4将信息发往节点7进行融合,节点7再将融合了节点3与节点4的信息发往节点8,在节点8与节点6的信息进行融合。此时根据树状共享路径所示,节点8即为路由树的根节点(最终决策点),所以节点8融合后得到的信息即为最终信息,当信息到达节点8时,在节点3与节点6中个别哈希函数得出可疑IP的误差(节点3为b,节点6为c)已经被消除。
所有信息汇总到了路由树的根节点(最终决策点)进行全局决策。此时所有信息包括:可疑IP地址、可疑IP地址对应的当前采样间隔和上一个采样间隔概要信息的部分节点融合值以及树状共享路径中叶子节点融合信息所统计的报警次数;融合后的信息即为综合了全局的全局决策信息,融合最终得出可疑目的IP地址信息及其对应的可疑概要信息,若不具备普遍性的可疑IP地址做抛弃处理。本实施例中,步骤5)的详细步骤如下:
5.1)路由树的根节点接收上一跳检测节点共享的报警次数和可疑IP地址及其概要信息,将报警次数加1、将可疑IP地址及其概要信息和局部检测输出的可疑IP地址概要信息进行求和融合;
5.2)根节点将当前采样间隔内的可疑IP地址概要信息融合值与上一个采样间隔内的IP地址概要信息融合值相减得到融合后的发往可疑IP地址信息变化数,将融合后的发往可疑IP地址信息变化数与上一个采样间隔内的可疑IP地址概要信息融合值做比得到可疑IP地址概要信息在当前检测节点的全局变化比例,如果可疑IP地址概要信息在当前检测节点的全局变化比例低于预设值则将可疑IP地址概要信息丢弃,否则进入下一步;
5.3)判断可疑IP地址概要信息的数量在当前的概要矩阵中哈希表的数量的比例是否大于预设阈值,如果大于且共享报警次数超过预设值,则将可疑IP地址概要信息对应的IP地址作为受到分布式拒绝服务攻击的攻击对象。因为IP地址概要信息的值是根据IP地址经过哈希运算后得到的结果维护的,所以这些IP地址概要信息与目的IP地址相关联,每个IP地址在H个哈希函数的作用下对应H条概要信息。本实施例中,如果最终决策点确定的可疑IP地址对应的H条概要信息中,确定为可疑概要信息的个数在H条概要信息中所占比例大于规定阈值(本实施例设置为80%),且经过统计报警节点的个数后,确定警报源信息个数总和大于10,则确认该IP地址受到了分布式拒绝服务攻击,本实施例全局决策发现被攻击的IP地址后,立即发出警报。
如图10所示,本实施例基于概要矩阵的分布式拒绝服务攻击检测系统包括部署于网络中并协同工作的多个检测节点,检测节点包括:
数据采集模块,用于采集网络流量,并根据采样间隔内采集数据中的所有目的IP地址更新一个概要矩阵中的IP地址概要信息、根据下一个采样间隔内采集数据中的所有目的IP地址更新另一个概要矩阵中的IP地址概要信息;两个概要矩阵均由对应多种哈希函数的哈希表构成,哈希表包含多个用于存储IP地址概要信息的存储位置;
局部检测模块,用于获取同一IP地址概要信息在两个概要矩阵之间的变化比例、将其中变化比例超过预设阈值的IP地址概要信息作为可疑IP地址概要信息并获取对应的可疑IP地址;
局部信息融合模块,用于根据可疑IP地址生成路由树并初始化报警次数,路由树的每一个中间检测节点接收上一跳检测节点共享的报警次数和可疑IP地址及其概要信息,将报警次数加1、将可疑IP地址及其概要信息和局部检测输出的可疑IP地址及其概要信息进行求和融合,获取融合后概要信息在连续的两个采样间隔内的变化比例超过预设阈值的可疑IP地址及其概要信息,并将报警次数和可疑IP地址及其概要信息共享给下一跳检测节点;
全局决策模块,用于在当前检测节点为路由树的根节点时根据收到的报警次数和可疑IP地址及其概要信息进行全局决策确定受分布式拒绝服务攻击的IP地址。
数据采集模块对流经其部署位置的网络流量进行监控,通过流量采集工具完成数据采集工作。数据采集模块提取协同检测需要的信息,主要为网络数据流的目的IP地址。并利用概要矩阵记录到达不同目的IP地址的报文数量。本实施例中,检测节点部署于网络边缘位置,能够发现初期隐藏在正常流量中的攻击行为,极大的提前了发现攻击的时间,使检测及时性得到保证。在基于概要矩阵的分布式拒绝服务攻击检测系统的整个协同检测框架中,各个检测节点的地位和功能都是相同的,路由树根据现实情况将节点组织成树状拓扑,所以根据不同的现实网络攻击情况它们既是局部检测信息的发送节点,同时也可能会接收到来自其他检测节点的共享信息。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种基于概要矩阵的分布式拒绝服务攻击检测方法,其特征在于实施步骤如下:
1)部署检测节点:在网络中部署分散的多个检测节点,并在所述检测节点中构建两个概要矩阵,所述概要矩阵由对应多种哈希函数的哈希表构成,所述哈希表包含多个用于存储目的IP地址概要信息的存储位置;
2)数据采集:检测节点采集网络流量,根据采样间隔内采集数据中的所有目的IP地址更新一个概要矩阵中的IP地址概要信息,然后根据下一个采样间隔内采集数据中的所有目的IP地址更新另一个概要矩阵中的IP地址概要信息;
3)局部检测:检测节点获取同一IP地址概要信息在所述两个概要矩阵之间的变化比例,将其中变化比例超过预设阈值的IP地址概要信息作为可疑IP地址概要信息并获取对应的可疑IP地址;
4)局部信息融合:检测节点根据可疑IP地址生成路由树并初始化报警次数,路由树的每一个中间检测节点接收上一跳检测节点共享的报警次数和可疑IP地址及其概要信息,将报警次数加1、将可疑IP地址及其概要信息和局部检测输出的可疑IP地址及其概要信息进行求和融合,获取融合后概要信息在连续的两个采样间隔内的变化比例超过预设阈值的可疑IP地址及其概要信息,并将报警次数和所述可疑IP地址及其概要信息共享给下一跳检测节点;
5)全局决策:路由树的根节点根据收到的报警次数和可疑IP地址及其概要信息进行全局决策确定受分布式拒绝服务攻击的IP地址。
2.根据权利要求1所述的基于概要矩阵的分布式拒绝服务攻击检测方法,其特征在于,所述步骤2)的详细步骤如下:
2.1)检测节点采集网络流量;
2.2)获取采样间隔内采集数据中的所有目的IP地址,将每一个IP地址进行哈希运算,根据哈希运算结果更新一个概要矩阵中对应的IP地址概要信息,将IP地址在概要矩阵中哈希表的对应的存储位置的值加1,直至更新完该采样间隔内的所有目的IP地址;
2.3)获取下一个采样间隔内采集数据中的所有目的IP地址,将每一个IP地址进行哈希运算,根据哈希运算结果更新另一个概要矩阵中对应的IP地址概要信息,将IP地址在该概要矩阵中哈希表的对应的存储位置的值加1,直至更新完该采样间隔内的所有目的IP地址。
3.根据权利要求2所述的基于概要矩阵的分布式拒绝服务攻击检测方法,其特征在于,所述步骤3)的详细步骤如下:
3.1)首先将前一个概要矩阵中的IP地址概要信息的值减去后一个概要矩阵中相应存储位置所存的IP地址概要信息的值得到可疑概要矩阵,所述可疑概要矩阵包含发往所有IP地址在一个采样间隔内的变化数;然后将所述变化数与后一个概要矩阵中相应存储位置所存的IP地址概要信息的值做比得到IP地址在一个采样间隔内的变化比例;
3.2)从所述可疑概要矩阵中获取所述变化比例超过预设阈值的可疑IP地址概要信息;
3.3)根据所述可疑IP地址概要信息获取可疑目的IP地址。
4.根据权利要求3所述的基于概要矩阵的分布式拒绝服务攻击检测方法,其特征在于,所述步骤3.3)的详细步骤如下:
3.3.1)对所述可疑概要矩阵的每一行进行反向散列运算;
3.3.2)根据所述可疑IP地址概要信息对可疑概要矩阵的各行进行反向散列运算后的结果做交集,得到交集的结果即为可疑IP地址。
5.根据权利要求1~4中任意一项所述的基于概要矩阵的分布式拒绝服务攻击检测方法,其特征在于,所述步骤4)的详细步骤如下:
4.1)检测节点根据可疑IP地址生成路由树并初始化报警次数,检测节点作为路由树的第一个节点向下一跳节点共享报警次数和可疑IP地址及其概要信息;
4.2)路由树的每一个中间检测节点接收上一跳检测节点共享的报警次数和可疑IP地址及其概要信息,将报警次数加1、将可疑IP地址及其概要信息和局部检测输出的可疑IP地址概要信息进行求和融合;
4.3)中间检测节点将当前采样间隔内的可疑IP地址概要信息融合值与上一个采样间隔内的IP地址概要信息融合值相减得到融合后的发往可疑IP地址信息变化数,将融合后的发往可疑IP地址信息变化数与上一个采样间隔内的可疑IP地址概要信息融合值做比得到可疑IP地址概要信息在当前检测节点的全局变化比例,如果可疑IP地址概要信息在当前检测节点的全局变化比例低于预设值则将所述可疑IP地址概要信息丢弃,否则根据可疑IP地址生成路由树,将所述可疑IP地址及其概要信息和共享报警次数共享给下一跳检测节点。
6.根据权利要求5所述的基于概要矩阵的分布式拒绝服务攻击检测方法,其特征在于,所述步骤5)的详细步骤如下:
5.1)路由树的根节点接收上一跳检测节点共享的报警次数和可疑IP地址及其概要信息,将报警次数加1、将可疑IP地址及其概要信息和局部检测输出的可疑IP地址概要信息进行求和融合;
5.2)根节点将当前采样间隔内的可疑IP地址概要信息融合值与上一个采样间隔内的IP地址概要信息融合值相减得到融合后的发往可疑IP地址信息变化数,将融合后的发往可疑IP地址信息变化数与上一个采样间隔内的可疑IP地址概要信息融合值做比得到可疑IP地址概要信息在当前检测节点的全局变化比例,如果可疑IP地址概要信息在当前检测节点的全局变化比例低于预设值则将所述可疑IP地址概要信息丢弃,否则进入下一步;
5.3)判断可疑IP地址概要信息的数量、当前的概要矩阵中哈希表的数量之间的比例是否大于预设阈值,如果大于且共享报警次数超过预设值,则将所述可疑IP地址概要信息对应的IP地址作为受到分布式拒绝服务攻击的攻击对象。
7.根据权利要求6所述的基于概要矩阵的分布式拒绝服务攻击检测方法,其特征在于,所述步骤1)中在网络中部署分散的多个检测节点时,检测节点部署于网络边缘位置。
8.一种基于概要矩阵的分布式拒绝服务攻击检测系统,其特征在于,包括部署于网络中并协同工作的多个检测节点,所述检测节点包括:
数据采集模块,用于采集网络流量、并根据采样间隔内采集数据中的所有目的IP地址更新一个概要矩阵中的IP地址概要信息、根据下一个采样间隔内采集数据中的所有目的IP地址更新另一个概要矩阵中的IP地址概要信息;所述两个概要矩阵均由对应多种哈希函数的哈希表构成,所述哈希表包含多个用于存储IP地址概要信息的存储位置;
局部检测模块,用于获取同一IP地址概要信息在所述两个概要矩阵之间的变化比例、将其中变化比例超过预设阈值的IP地址概要信息作为可疑IP地址概要信息并获取对应的可疑IP地址;
局部信息融合模块,用于根据可疑IP地址生成路由树并初始化报警次数,路由树的每一个中间检测节点接收上一跳检测节点共享的报警次数和可疑IP地址及其概要信息,将报警次数加1、将可疑IP地址及其概要信息和局部检测输出的可疑IP地址及其概要信息进行求和融合,获取融合后概要信息在连续的两个采样间隔内的变化比例超过预设阈值的可疑IP地址及其概要信息,并将报警次数和所述可疑IP地址及其概要信息共享给下一跳检测节点;
全局决策模块,用于在当前检测节点为路由树的根节点时根据收到的报警次数和可疑IP地址及其概要信息进行全局决策确定受分布式拒绝服务攻击的IP地址。
9.根据权利要求8所述的基于概要矩阵的分布式拒绝服务攻击检测系统,其特征在于:所述检测节点部署于网络边缘位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210314601.0A CN102801738B (zh) | 2012-08-30 | 2012-08-30 | 基于概要矩阵的分布式拒绝服务攻击检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210314601.0A CN102801738B (zh) | 2012-08-30 | 2012-08-30 | 基于概要矩阵的分布式拒绝服务攻击检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102801738A CN102801738A (zh) | 2012-11-28 |
CN102801738B true CN102801738B (zh) | 2014-11-05 |
Family
ID=47200700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210314601.0A Expired - Fee Related CN102801738B (zh) | 2012-08-30 | 2012-08-30 | 基于概要矩阵的分布式拒绝服务攻击检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102801738B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103701795B (zh) * | 2013-12-20 | 2017-11-24 | 北京奇安信科技有限公司 | 拒绝服务攻击的攻击源的识别方法和装置 |
CN108040057B (zh) * | 2014-12-17 | 2021-08-06 | 江西武大扬帆科技有限公司 | 适于保障网络安全、网络通信质量的sdn系统的工作方法 |
CN105187411B (zh) * | 2015-08-18 | 2018-09-14 | 福建省海峡信息技术有限公司 | 一种分布式异常检测网络数据流的方法 |
CN106817340B (zh) | 2015-11-27 | 2020-05-08 | 阿里巴巴集团控股有限公司 | 预警决策的方法、节点及子系统 |
CN105516174A (zh) * | 2015-12-25 | 2016-04-20 | 北京奇虎科技有限公司 | 网络攻击追踪显示系统和方法 |
CN105610851B (zh) * | 2016-01-14 | 2018-11-09 | 北京乐动卓越科技有限公司 | 防御分布式拒绝服务攻击的方法及系统 |
CN106549929B (zh) * | 2016-07-15 | 2019-11-05 | 北京安天网络安全技术有限公司 | 一种apt攻击源头的定位方法及系统 |
CN106453242A (zh) * | 2016-08-29 | 2017-02-22 | 四川超腾达物联科技有限公司 | 一种网络安全防护系统 |
CN107800674A (zh) * | 2016-09-07 | 2018-03-13 | 百度在线网络技术(北京)有限公司 | 一种用于检测分布式拒绝服务的攻击流量的方法和装置 |
CN106357692A (zh) * | 2016-11-08 | 2017-01-25 | 广州华多网络科技有限公司 | Ip地址存取方法和伪造源攻击抵抗方法、装置及服务器 |
CN108616534B (zh) * | 2018-04-28 | 2020-05-26 | 中国科学院信息工程研究所 | 一种基于区块链防护物联网设备DDoS攻击的方法及系统 |
CN110445766B (zh) * | 2019-07-17 | 2021-09-14 | 海南大学 | DDoS攻击态势评估方法及装置 |
CN114338067A (zh) * | 2020-10-09 | 2022-04-12 | 中国移动通信有限公司研究院 | DDoS的检测方法、装置及检测节点 |
CN113612768B (zh) * | 2021-08-02 | 2023-10-17 | 北京知道创宇信息技术股份有限公司 | 网络防护方法及相关装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1472916A (zh) * | 2003-06-24 | 2004-02-04 | 北京邮电大学 | 大规模分布式入侵检测系统的数据融合机制 |
CN101388885A (zh) * | 2008-07-23 | 2009-03-18 | 成都市华为赛门铁克科技有限公司 | 分布式拒绝服务攻击的检测方法和系统 |
-
2012
- 2012-08-30 CN CN201210314601.0A patent/CN102801738B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1472916A (zh) * | 2003-06-24 | 2004-02-04 | 北京邮电大学 | 大规模分布式入侵检测系统的数据融合机制 |
CN101388885A (zh) * | 2008-07-23 | 2009-03-18 | 成都市华为赛门铁克科技有限公司 | 分布式拒绝服务攻击的检测方法和系统 |
Non-Patent Citations (2)
Title |
---|
《基于k-Means改进算法的分布式拒绝服务攻击检测 The Detection of Distributed Denial-of-Service Attacks Using the Improved k-Means Algorithm》;刘运 等;《计算机工程与科学》;20081231;第30卷(第12期);第23-26页 * |
刘运 等.《基于k-Means改进算法的分布式拒绝服务攻击检测 The Detection of Distributed Denial-of-Service Attacks Using the Improved k-Means Algorithm》.《计算机工程与科学》.2008,第30卷(第12期),第23-26页. * |
Also Published As
Publication number | Publication date |
---|---|
CN102801738A (zh) | 2012-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102801738B (zh) | 基于概要矩阵的分布式拒绝服务攻击检测方法及系统 | |
Zheng et al. | Realtime DDoS defense using COTS SDN switches via adaptive correlation analysis | |
CN108063765B (zh) | 适于解决网络安全的sdn系统 | |
CN103561004B (zh) | 基于蜜网的协同式主动防御系统 | |
KR100800370B1 (ko) | 어택 서명 생성 방법, 서명 생성 애플리케이션 적용 방법, 컴퓨터 판독 가능 기록 매체 및 어택 서명 생성 장치 | |
KR101070614B1 (ko) | 봇넷 정보를 이용한 악성 트래픽 격리 시스템과 봇넷 정보를 이용한 악성 트래픽 격리 방법 | |
CN103442008B (zh) | 一种路由安全检测系统及检测方法 | |
CN104660582B (zh) | DDoS识别、防护和路径优化的软件定义的网络架构 | |
CN108289088A (zh) | 基于业务模型的异常流量检测系统及方法 | |
CN101572701A (zh) | 针对DNS服务的抗DDoS攻击安全网关系统 | |
CN101465855B (zh) | 一种同步泛洪攻击的过滤方法及系统 | |
CN108282497A (zh) | 针对SDN控制平面的DDoS攻击检测方法 | |
CN104115463A (zh) | 用于处理网络元数据的流式传输方法和系统 | |
CN107683597A (zh) | 用于异常检测的网络行为数据收集和分析 | |
CN106357673A (zh) | 一种多租户云计算系统DDoS攻击检测方法及系统 | |
CN104539595B (zh) | 一种集威胁处理和路由优化于一体的sdn架构及工作方法 | |
CN104202336A (zh) | 一种基于信息熵的DDoS攻击检测方法 | |
CN106357685A (zh) | 一种防御分布式拒绝服务攻击的方法及装置 | |
CN103607399A (zh) | 基于暗网的专用ip网络安全监测系统及方法 | |
CN101459660A (zh) | 用于集成多个威胁安全服务的方法及其设备 | |
CN106961387A (zh) | 一种基于转发路径自迁移的链路型DDoS防御方法及系统 | |
CN104468636A (zh) | DDoS威胁过滤与链路重配的SDN架构及工作方法 | |
Xing et al. | Research on the defense against ARP spoofing attacks based on Winpcap | |
CN105871773A (zh) | 一种基于SDN网络架构的DDoS过滤方法 | |
CN104092588A (zh) | 一种基于SNMP与NetFlow结合的网络异常流量检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141105 Termination date: 20210830 |