CN111464359A - 异常流量告警决策系统及方法 - Google Patents
异常流量告警决策系统及方法 Download PDFInfo
- Publication number
- CN111464359A CN111464359A CN202010260852.XA CN202010260852A CN111464359A CN 111464359 A CN111464359 A CN 111464359A CN 202010260852 A CN202010260852 A CN 202010260852A CN 111464359 A CN111464359 A CN 111464359A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- flow
- component
- protocol
- proportion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims description 35
- 230000004044 response Effects 0.000 claims description 15
- 230000005856 abnormality Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000000630 rising effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
- H04L41/0609—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time based on severity or priority
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开提供一种异常流量告警决策系统,该系统包括:流量分类组件,按照至少包括数据报文的流量、协议比例和源IP数量的多个维度中的每一个维度,在一个统计周期内对所接收的数据报文进行分类统计,并将分类统计结果分别存储在存储器中;打分组件,将针对每个维度所分类统计的结果归属到对应维度的不同阈值范围,并基于所归属的不同阈值范围赋予所接收的数据报文相应维度下的分数;以及异常判定组件,累计所有维度对应的分数,并将累计分数超过正常阈值分数所对应的统计周期所接收的数据报文的流量状态判定为不同级别的异常流量状态。
Description
技术领域
本公开涉及用于进行异常流量告警决策系统及其方法,尤其涉及利用多维度异常流量告警判决的系统及其方法。
背景技术
随着网络通信技术的进步与发展,网络用户与接入设备的数量迅速增长,各种网络攻击如DDOS、数据窃取、数据篡改、暴力破解等网络攻击频繁发生,从而导致网络安全受到越来越多的威胁。
异常流量是对于互联网而言非正常的流量,包括网络攻击流量、网络病毒流量、异常服务流量等。网络异常流量通常会对整个互联网系统造成影响,甚至导致服务中断,产生不可挽回的损失。部署合适的异常流量检测系统不仅仅保证网络正常运营,也是保证整个互联网系统的稳定运行。在互联网的日常维护过程中,有时需要获得详细的网络管理报告,如现有IP地址分配情况、目前正在运行的服务及其开放的端口、目前网络环境中运行的网络协议及实时的流量分布,从而保证整个IT系统安全、可靠和稳定的运行,并且为后期可能涉及的系统扩容提供数据参考。
当前用于异常流量检测的检测设备,主要是以阈值为主进行异常流量判定,尤其是对于DDoS攻击流量来说,用户给多种类型的流量设置阈值,通过流量在一定流量统计周期内是否超过阈值来确认是否发生这种类型的攻击,例如判断SYN FLood攻击,就设定SYN报文数目达到1000PPS算低级异常事件,超过3000PPS算中级异常事件,超过5000PPS算高级异常事件,达到相应的阈值就会产生对应级别的异常事件告警。在现有的技术方案中,这个阈值可以使用基线自学习等方案进行优化,也就是由设备自动根据历史流量进行学习产生阈值,用户无需再进行手动配置,这种方案使阈值的配置更准确,减少了误告警和漏告警情况。
然而,通过阈值进行攻击判定太过于简单,导致在很多场景下会出现误报和漏报的现象,例如,用户设置的SYN报文阈值是100pps,正常流量是50pps,但是用户的流量可能在某一时刻有所上升,此时SYN报文的流量超过100pps,但是它并不意味着攻击,只是单纯的正常流量上升,而用阈值的方法进行判定就会误认为是发生了SYN攻击。
因此,需要一种技术方案来通过将数据报文的流量、协议比例、源IP数目趋势等多个维度的异常事件判决结果结合起来,形成统一的判定标准来确定是否是当前数据报文是否发生异常事件以及所发生的异常事件的级别,并在适当的显示装置上展示判决结果。
发明内容
本公开就是针对上述技术问题而提出的技术方案,其目的是通过将数据报文的流量、协议比例、源IP数目趋势等多个维度的异常事件判决结果结合起来,形成统一的判定标准来确定是否是当前数据报文是否发生异常事件以及所发生的异常事件的级别,以提升异常告警的准确度,减少异常事件的误判和漏判。
根据本公开的一个方面,提供了一种异常流量告警决策系统,该系统包括:流量分类组件,按照至少包括数据报文的流量、协议比例和源IP数量的多个维度中的每一个维度,在一个统计周期内对所接收的数据报文进行分类统计,并将分类统计结果分别存储在存储器中;打分组件,将针对每个维度所分类统计的结果归属到对应维度的不同阈值范围,并基于所归属的不同阈值范围赋予所接收的数据报文相应维度下的分数;以及异常判定组件,累计所有维度对应的分数,并将累计分数超过正常阈值分数所对应的统计周期所接收的数据报文的流量状态判定为不同级别的异常流量状态。
根据本公开的异常流量告警决策系统,还包括自学习组件,被构造为每经过一定学习周期则基于流量分类组件针对每个维度连续几个统计周期内所获得统计结果,调整对应维度的不同阈值范围。
根据本公开的异常流量告警决策系统,还包括告警通知组件,被构造为根据所述异常判定组件得到的不同级别的异常流量状态,向用户呈现出当前统计周期的异常告警信息以及异常级别。
根据本公开的异常流量告警决策系统,其中所述协议比例的在TCP协议下的正常阈值范围为所接收到的数据报文中的ACK数据报文和SYN数据报文的比例大于或等于3:1。
根据本公开的异常流量告警决策系统,其中所述协议比例的在DNS协议下的正常阈值范围为所接收到的数据报文中的DNS请求数据报文和DNS应答数据报文的比例大于或等于1:1。
根据本公开的异常流量告警决策系统,其中所述源IP数目的正常阈值范围小于当前统计周期之前的3-5个统计周期内源IP数目峰值的平均值。
根据本公开的异常流量告警决策系统,其中所述流量的阈值范围是预先设置的。
根据本公开的异常流量告警决策系统,其中当流量预设的阈值为N时,所述流量的正常阈值范围为n≤N,打分组件对在一个统计周期内位于该阈值范围的流量对应给出的分值为0;所述流量的第一级异常阈值范围为N≤n≤2N,打分组件对在一个统计周期内位于第一级异常阈值范围的流量对应给出的分值为1;所述流量的第二级异常阈值范围为2N<n≤3N,打分组件对在一个统计周期内位于第二级异常阈值范围的流量对应给出的分值为2;所述流量的第三级异常阈值范围为n>3N,打分组件对在一个统计周期内位于第三级异常阈值范围的流量对应给出的分值为3。
根据本公开的异常流量告警决策系统,其中所述协议比例在TCP协议下的SYN数据报文和ACK数据报文的比例n的第一级异常阈值范围为1/3≤n≤1/2,打分组件对在一个统计周期内位于第一级异常阈值范围的协议比例流量对应给出的分值为1;SYN数据报文和ACK数据报文的比例n的第二级异常阈值范围为1/2<n≤1,打分组件对在一个统计周期内位于第二级异常阈值范围的协议比例流量对应给出的分值为2;SYN数据报文和ACK数据报文的比例n的第三级异常阈值范围为n>1,打分组件对在一个统计周期内位于第三级异常阈值范围的协议比例流量对应给出的分值为3。
根据本公开的异常流量告警决策系统,其中所述协议比例在DNS协议下的应答数据报文和请求数据报文的比例n的第二级异常阈值范围为1/2≤n≤4/5,打分组件对在一个统计周期内位于第二级异常阈值范围的协议比例流量对应给出的分值为2;应答数据报文和请求数据报文的比例n的第三级异常阈值范围为0<n<1/2时或者n>3/2,打分组件对在一个统计周期内位于第三级异常阈值范围的协议比例流量对应给出的分值为3。
根据本公开的异常流量告警决策系统,其中所述源IP数目的阈值为当前统计周期之前的3-5个统计周期内源IP数目峰值的平均值N。所述源IP数目n的第一级异常阈值范围为1.5N≤n≤2N,打分组件对在一个统计周期内位于第一级异常阈值范围的协议比例流量对应给出的分值为1;所述源IP数目n的第二级异常阈值范围为2N<n≤3N,打分组件对在一个统计周期内位于第二级异常阈值范围的协议比例流量对应给出的分值为2;2N<n≤3N n的第三级异常阈值范围为n≥3N,打分组件对在一个统计周期内位于第三级异常阈值范围的协议比例流量对应给出的分值为3。
根据本公开的另一个方面,还提供了一种异常流量告警决策方法,包括:通过流量分类组件按照至少包括数据报文的流量、协议比例和源IP数量的多个维度中的每一个维度,在一个统计周期内对所接收的数据报文进行分类统计,并将分类统计结果分别存储在存储器中;通过打分组件将针对每个维度所分类统计的结果归属到对应维度的不同阈值范围,并基于所归属的不同阈值范围赋予所接收的数据报文相应维度下的分数;以及通过异常判定组件累计所有维度对应的分数,并将累计分数超过阈值分数所对应的统计周期所接收的数据报文的流量状态判定为不同级别的异常流量状态。
根据本公开的异常流量告警决策方法,还包括通过自学习组件每经过一定学习周期则基于流量分类组件针对每个维度连续几个统计周期内所获得统计结果,调整对应维度的不同阈值范围。
根据本公开的异常流量告警决策方法,还包括告警通知组件,被构造为根据所述异常判定组件得到的不同级别的异常流量状态,向用户呈现出当前统计周期的异常告警信息以及异常级别。
根据本公开的异常流量告警决策方法,其中所述协议比例的在TCP协议下的正常阈值范围为所接收到的数据报文中的ACK数据报文和SYN数据报文的比例大于或等于3:1。
根据本公开的异常流量告警决策方法,其中所述协议比例的在DNS协议下的正常阈值范围为所接收到的数据报文中的DNS请求数据报文和DNS应答数据报文的比例大于或等于1:1。
根据本公开的异常流量告警决策方法,其中所述源IP数目的正常阈值范围小于当前统计周期之前的3-5个统计周期内源IP数目峰值的平均值。
根据本公开的异常流量告警决策方法,其中所述流量维度的阈值范围是预先设置的。
优选地,对于SYN和DNS的协议比例维度而言,如果在当前流量统计周期内所述打分组件打出的总分为2分,则所述异常判定组件认为发生了低级别异常事件;如果得分在3分到4分之间,则所述异常判定组件认为是中级别异常事件;而如果得分大于等于5分,则所述异常判定组件认为是高级别异常事件。
优选地,除针对SYN和DNS的协议比例维度而言,如果在当前流量统计周期内所述打分组件打出的得分为2分,则所述异常判定组件认为是发生了低级别异常事件;如果在当前流量统计周期内所述打分组件打出的得分为3分,则所述异常判定组件认为是发生了中级别异常事件;而如果在当前流量统计周期内所述打分组件打出的得分大于等于3分,则所述异常判定组件认为是发生了高级异常事件。
根据本公开的上述技术方案,上述多维度异常流量告警决策系统与方法通过对多维度分别进行异常判断,与传统的仅通过流量阈值一个维度进行异常判定的系统与方法相比,显然可以显著地提升异常告警的准确度,减少误判和漏判。
附图说明
通过结合附图对于本公开的示例性实施例进行描述,可以更好地理解本公开,在附图中:
图1示出了根据本公开的一个实施例的多维度异常流量告警决策系统的框图;以及
图2示出了根据本公开的一个实施例的多维度异常流量告警判决方法的流程图。
具体实施方式
以下将描述本公开的具体实施方式,需要指出的是,在这些实施方式的具体描述过程中,为了进行简明扼要的描述,本说明书不可能对实际的实施方式的所有特征均作详尽的描述。应当可以理解的是,在任意一种实施方式的实际实施过程中,正如在任意一个工程项目或者设计项目的过程中,为了实现开发者的具体目标,为了满足系统相关的或者商业相关的限制,常常会做出各种各样的具体决策,而这也会从一种实施方式到另一种实施方式之间发生改变。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本公开公开的内容相关的本领域的普通技术人员而言,在本公开揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本公开的内容不充分。
除非另作定义,权利要求书和说明书中使用的技术术语或者科学术语应当为本公开所属技术领域内具有一般技能的人士所理解的通常意义。本公开专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“一个”或者“一”等类似词语并不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同元件,并不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,也不限于是直接的还是间接的连接。
本公开的“维度”可以是流量、协议比例或源IP数目趋势等。虽然根据本公开的一个实施例采用三个维度,但后续可以在这些基础上再进行维度增减。在这三个维度的实施例中,流量维度的正常与否的判定和现有的方案判定方法一致,可以通过流量大小和预设值的阈值进行比较判定。协议比例维度是利用正常流量中协议之间会存在一定的比例关系而确定的。例如,对于TCP协议来说,ACK和SYN的比例是一定大于3:1的,如果小于这个值,那么TCP协议中SYN的流量一定是不正常,再比如DNS请求和DNS应答的比例是接近于1:1的,DNS请求会稍微多一点,如果发生严重的不平衡一定是某一种类型的流量突然增大导致的。源IP数目趋势这个维度主要是利用正常流量访问的源IP数目在一定范围内波动,而发生攻击时由于会有大量僵尸主机的访问,所以源IP数目的趋势一定会大于正常情况,利用当前流量的源IP数目和之前历史的峰值进行比较进行异常判定。这三种维度单独拿出来进行判定异常都会在不同的场景下产生误报或者漏报,所以通过某种机制将它们结合在一起就可以达到优化异常判定的目的。
根据本公开的一个实施例,对多种维度的流量异常进行检测的机制在本公开中是打分。在一个实施例中,打分的具体方案可以如下:
A)对于流量维度来说,假设设置的阈值是N,那么当流量n在N≤n≤2N时,得1分,当流量在2N<n≤3N时,得2分,当流量n>3N时,得3分;
B)对于协议比例维度来说,只有几种有规律的协议可以使用,对于SYN Flood攻击的判定,当SYN和ACK的比例n介于1/3≤n≤1/2时,得1分,比例n介于1/2<n≤1时,得2分;而比例n>1时,得3分。对于DNS这种有请求才有对应应答的协议,它们的协议接近1:1,请求稍多一些,当应答和请求的比例1/2≤n≤4/5时或者3/2>n>1时,得2分,比例为0<n<1/2时或者n>3/2时,得3分;
C)对于源IP数目来说,需要当前时间的前三个流量统计周期(可以设置,默认1小时)的源IP数目峰值的平均值N来作为判断阈值,当前流量统计周期内源IP数目n的比例关系如下:当1.5N≤n≤2N时,得1分,当2N<n≤3N时,得2分,当n≥3N时,得3分。
以上打分方案仅仅一个实例,本领域技术人员应该明白,可以想到多种打分方案来实现本公开的目的。
另外,在判决流量异常时,需要将上述单个维度的打分结果综合起来,以用于判决流量是否异常。例如,在当前流量统计周期,对于SYN Flood和DNS Flood的判定,如果得2分,可以认为发生了低级别异常事件;如果得分在3分到4分,那么认为是中级别异常事件;而如果得分大于等于5分,那么认为是高级别异常事件。对于其它类型的攻击判定,如果得分2分,可以认为是发生了低级别异常事件;如果得分在3分,那么认为是发生了中级别异常事件;而如果得分大于等于3分,那么认为是发生了高级异常事件。
通过上面的方案可以看到,当单纯的流量小幅度超过阈值时而其它两个维度没有变化时,得分是不会触发异常告警的,也就杜绝了正常流量上升带来的误报,但是当流量大幅度超过阈值时,那么即使其它两个维度没有触发,也会产生低级或者中级告警,因为流量大幅度上升肯定伴随着带宽占满的风险。同时,如果发生类似HTTP CC攻击这样的异常流量时,单纯从流量是无法区分的,因为HTTP CC攻击自身就和正常流量行为一样,但是这种攻击在协议比例和源IP数目上是有显著提升的,从这两个维度就可以发现异常的存在,弥补了单纯流量判定异常的缺陷。整个打分机制并不是固定的,用户也可以根据自身网络中的特点修改打分方式,使之更适应自身的网络状况。
图1示出了根据本公开的一个实施例的多维度异常流量告警决策系统100的框图。如图1所示,该多维度异常流量告警决策系统包括流量分类组件110、自学习组件120、打分组件130、异常判定组件140、告警通知组件150以及数据报文分类存储组件160。
根据本公开的一个实施例,该流量分类组件110负责将数据报文按照不同的协议、源IP等进行分类统计,将统计之后的结果进行分别存储在数据报文分类存储组件160。例如,本公开所述的协议包括但不限于SYN协议、UDP协议、DNS协议等。
自学习组件120是一个异步处理组件,它会定期对由流量分类组件110存储在数据报文分类存储组件160中的分类结果按照不同的维度进行计算,以获得各个维度当前流量统计周期的相应阈值范围。例如,根据本公开的一个实施例,对于流量来说,自学习组件120会根据前几个流量统计周期预测下一个流量统计周期的阈值或阈值范围(以下统称为阈值范围),这个阈值范围就是后续打分的依据。这里,自学习组件120根据先前几个流量统计周期预测下一个流量统计周期的阈值范围的方法可以采用通用的任何方法,例如,自学习组件120取前几个流量统计周期的峰值流量的2倍做为当前流量统计周期的阈值范围,而对于源IP来说,自学习组件120可以根据前几个流量统计周期的峰值流量的平均值做为当前流量统计周期的阈值范围。
打分组件130可以根据自学习组件120所得到的当前流量、协议比例以及源IP数目等依照一种打分机制来对当前流量统计周期的三个维度或更多个维度进行打分。具体而言,对于流量维度来说,假设设置的阈值是N,那么当流量n在N≤n≤2N时,打分组件130给该流量打1分,当流量在2N<n≤3N时,打2分,当流量n>3N时,打3分。对于协议比例维度来说,只有几种有规律的协议可以使用,对于SYN Flood攻击的判定,当SYN和ACK的比例1/3≤n≤1/2时,打分组件130给该协议比例打1分,比例1/2<n≤1时,打2分,而比例n>1时,打3分。对于DNS这种有请求才有对应应答的协议,它们的协议接近1:1,请求稍多一些,当应答和请求的比例1/2≤n≤4/5时或者3/2>n>1时,打分组件130给该协议比例打2分,而比例为0<n<1/2时或者n>3/2时,打分组件130给该协议比例打3分。
对于源IP数目来说,打分组件130需要当前时间的前三个流量统计周期(可以设置,默认1小时)的源IP数目峰值的平均值N来作为判断阈值,当前流量统计周期内源IP数目n的比例关系如下:当1.5N≤n≤2N时,打1分,当2N<n≤3N时,打2分,而当n≥3N时,打3分。
然后,打分组件130将最终打分结果发送给异常判定组件140。
异常判定组件140用于接收打分组件130给出的分数。异常判定组件140拿到各个维度的分数之后,通过计算得出当前是否存在异常,异常的等级是多少。具体来说,在当前流量统计周期,对于SYN Flood和DNS Flood的判定,如果得2分,异常判定组件140可以认为发生了低级别异常事件;如果得分在3分到4分,那么异常判定组件140认为是中级别异常事件;而如果得分大于等于5分,那么异常判定组件140认为是高级别异常事件。对于其它类型的攻击判定,如果得分2分,异常判定组件140可以认为是发生了低级别异常事件;如果得分在3分,那么异常判定组件140认为是发生了中级别异常事件;而如果得分大于等于3分,那么异常判定组件140认为是发生了高级异常事件。然后,异常判定组件140将最终结果传递给告警通知组件150。
概括而言,异常流量告警决策系统的流量分类组件110按照至少包括数据报文的流量、协议比例和源IP数量的多个维度中的每一个维度,在一个统计周期内对所接收的数据报文进行分类统计,并将分类统计结果分别存储在存储器中。其打分组件130,将针对每个维度所分类统计的结果归属到对应维度的不同阈值范围,并基于所归属的不同阈值范围赋予所接收的数据报文相应维度下的分数。其异常判定组件140,累计所有维度对应的分数,并将累计分数超过正常阈值分数所对应的统计周期所接收的数据报文的流量状态判定为不同级别的异常流量状态。该系统的自学习组件120,被构造为每经过一定学习周期则基于流量分类组件110针对每个维度连续几个统计周期内所获得统计结果,调整对应维度的不同阈值范围。该系统的告警通知组件150,被构造为根据所述异常判定组件140得到的不同级别的异常流量状态,向用户呈现出当前统计周期的异常告警信息以及异常级别。所述协议比例的在TCP协议下的正常阈值范围为所接收到的数据报文中的ACK数据报文和SYN数据报文的比例大于或等于3:1。所述协议比例的在DNS协议下的正常阈值范围为所接收到的数据报文中的DNS请求数据报文和DNS应答数据报文的比例大于或等于1:1。所述源IP数目的正常阈值范围小于当前统计周期之前的3-5个统计周期内源IP数目峰值的平均值。所述流量的阈值范围可以是预先设置的。
当流量预设的阈值为N时,所述流量的正常阈值范围为n≤N,打分组件130对在一个统计周期内位于该阈值范围的流量对应给出的分值为0;所述流量的第一级异常阈值范围为N≤n≤2N,打分组件130对在一个统计周期内位于第一级异常阈值范围的流量对应给出的分值为1;所述流量的第二级异常阈值范围为2N<n≤3N,打分组件130对在一个统计周期内位于第二级异常阈值范围的流量对应给出的分值为2;所述流量的第三级异常阈值范围为n>3N,打分组件130对在一个统计周期内位于第三级异常阈值范围的流量对应给出的分值为3。
所述协议比例在TCP协议下的SYN数据报文和ACK数据报文的比例n的第一级异常阈值范围为1/3≤n≤1/2,打分组件130对在一个统计周期内位于第一级异常阈值范围的协议比例流量对应给出的分值为1;SYN数据报文和ACK数据报文的比例n的第二级异常阈值范围为1/2<n≤1,打分组件130对在一个统计周期内位于第二级异常阈值范围的协议比例流量对应给出的分值为2;SYN数据报文和ACK数据报文的比例n的第三级异常阈值范围为n>1,打分组件130对在一个统计周期内位于第三级异常阈值范围的协议比例流量对应给出的分值为3。
所述协议比例在DNS协议下的应答数据报文和请求数据报文的比例n的第二级异常阈值范围为1/2≤n≤4/5,打分组件130对在一个统计周期内位于第二级异常阈值范围的协议比例流量对应给出的分值为2;应答数据报文和请求数据报文的比例n的第三级异常阈值范围为0<n<1/2时或者n>3/2,打分组件130对在一个统计周期内位于第三级异常阈值范围的协议比例流量对应给出的分值为3。
所述源IP数目的阈值为当前统计周期之前的3-5个统计周期内源IP数目峰值的平均值N。所述源IP数目n的第一级异常阈值范围为1.5N≤n≤2N,打分组件130对在一个统计周期内位于第一级异常阈值范围的协议比例流量对应给出的分值为1;所述源IP数目n的第二级异常阈值范围为2N<n≤3N,打分组件130对在一个统计周期内位于第二级异常阈值范围的协议比例流量对应给出的分值为2;2N<n≤3N n的第三级异常阈值范围为n≥3N,打分组件130对在一个统计周期内位于第三级异常阈值范围的协议比例流量对应给出的分值为3。
第一级异常为低级别异常,第二级异常为中级别异常,而第三级异常为高级别异常。
通常,网络受到的攻击为对于SYN Flood和DNS Flood。对于SYN和DNS的协议比例维度而言,如果在当前流量统计周期内所述打分组件打出的总分,即异常判定组件140,累计所有维度对应的分数为2分,则所述异常判定组件140认为发生了低级别异常事件;如果累计所有维度对应的分数在3分到4分之间,则所述异常判定组件140认为是中级别异常事件;而如果累计所有维度对应的分数得分大于等于5分,则所述异常判定组件认为是高级别异常事件。
可选择地,这种综合判断的异常程度可以根据用户进行调整,例如,对于非SYNFlood和DNS Flood的攻击,如果在当前流量统计周期内所述打分组件打出的总分,即异常判定组件140,累计所有维度对应的分数为2分,则所述异常判定组件140认为发生了低级别异常事件;如果累计所有维度对应的分数在3分,则所述异常判定组件140认为是中级别异常事件;而如果累计所有维度对应的分数得分大于等于3分,则所述异常判定组件认为是高级别异常事件。
告警通知组件150根据异常判定组件140发送的最终结果,会在页面展示出当前的告警信息以及严重程度。
通过上面的方案可以看到,根据本公开的系统通过流量阈值、协议比例、源IP数目阈值三个维度的统计数据综合判定异常流量行为。通过打分机制将3个不相关的维度结合起来,形成一个统一的判定标准来确定是否是异常事件以及异常事件的级别。当单纯的流量小幅度超过阈值时而其它两个维度没有变化时,得分是不会触发异常告警的,也就杜绝了正常流量上升带来的误报,但是当流量大幅度超过阈值时,那么即使其它两个维度没有触发,也会产生低级或者中级告警,因为流量大幅度上升肯定伴随着带宽占满的风险。同时,如果发生类似HTTP CC攻击这样的异常流量时,单纯从流量是无法区分的,因为HTTP CC攻击自身就和正常流量行为一样,但是这种攻击在协议比例和源IP数目上是有显著提升的,从这两个维度就可以发现异常的存在,弥补了单纯流量判定异常的缺陷。整个打分机制并不是固定的,用户也可以根据自身网络中的特点修改打分方式,使之更适应自身的网络状况。因此。上述多维度异常流量告警决策系统与传统的仅通过流量阈值进行异常判定的系统相比,显然可以显著地提升异常告警的准确度,减少误判和漏判的情况。
图2示出了根据本公开的一个实施例的多维度异常流量告警判决方法的流程图。如图1所示,在步骤S210中,将数据报文按照不同的协议、源IP等进行分类统计,将统计之后的结果进行分别存储在存储器中。
在步骤S220中,定期对在步骤S210中所存储的结果分不同的维度进行计算,以获得各个维度当前流量统计周期的相应阈值范围。例如,根据本公开的一个实施例,对于流量来说,根据前几个流量统计周期预测下一个流量统计周期的阈值,这个阈值就是后续打分的依据。具体来说,根据前几个流量统计周期预测下一个流量统计周期的阈值的方法可以采用通用的任何方法,例如,取前几个流量统计周期的峰值流量的2倍做为阈值。对于源IP来说,可以根据前几个流量统计周期的峰值流量的平均值做为阈值。
接下来,在步骤230中,可以根据按照先前流量、协议比例以及源IP数目趋势而确定的各个维度的阈值范围,依照一种打分机制来对当前流量统计周期的各个维度数据的异常情况进行打分。具体而言,对于流量维度来说,假设设置的阈值是N,那么当流量n在N≤n≤2N时,给该流量打1分,当流量在2N<n≤3N时,打2分,当流量n>3N时,打3分。对于协议比例维度来说,只有几种有规律的协议可以使用,对于SYN Flood攻击的判定,当SYN和ACK的比例1/3≤n≤1/2时,给该协议比例打1分,比例1/2<n≤1时,打2分,而比例n>1时,打3分。对于DNS这种有请求才有对应应答的协议,它们的协议接近1:1,请求稍多一些,当应答和请求的比例1/2≤n≤4/5时或者3/2>n>1时,给该协议比例打2分,而比例为0<n<1/2时或者n>3/2时,给该协议比例打3分。对于源IP数目来说,需要当前时间的前三个流量统计周期(可以设置,默认1小时)的源IP数目峰值的平均值N来作为判断阈值,当前流量统计周期内源IP数目n的比例关系如下:当1.5N≤n≤2N时,打1分,当2N<n≤3N时,打2分,而当n≥3N时,打3分。
然后,在步骤S240中,根据各个维度的分数总和来确定当前流量统计周期的数据报文的异常检测得分,并由此确定当前是否存在异常以及异常的等级是多少。具体来说,在当前流量统计周期,对于SYN Flood和DNS Flood的判定,如果得2分,可以认为发生了低级别异常事件;如果得分在3分到4分,那么认为是中级别异常事件;而如果得分大于等于5分,那么认为是高级别异常事件。对于其它类型的攻击判定,如果得分2分,可以认为是发生了低级别异常事件;如果得分在3分,那么认为是发生了中级别异常事件;而如果得分大于等于3分,那么认为是发生了高级异常事件。
最后,在步骤S250中,在页面展示当前流量统计周期的数据报文的异常检测得分,确定的当前流量统计周期的数据报文的是否异常的决定,和/或异常的等级,以告诉用户当前数据报文的异常程度。然后结束当前流量统计周期的数据报文的流量异常检测进行。
该方法与仅通过流量阈值进行异常判定的方法相比,显然可以显著地提升异常告警的准确度,减少误判和漏判的情况。
以上结合具体实施例描述了本公开的基本原理,但是需要指出的是,对本领域的普通技术人员而言,能够理解本公开的方法和系统的全部或者任何步骤或者组件,可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加以实现,这是本领域普通技术人员在阅读了本公开的说明的情况下运用他们的基本编程技能就能实现的。
因此,本公开的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此,本公开的目的也可以仅仅通过提供包含实现所述方法或者系统的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本公开,并且存储有这样的程序产品的存储介质也构成本公开。显然,所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是,在本公开的系统和方法中,显然,各部分或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (12)
1.一种异常流量告警决策系统,该系统包括:
流量分类组件,按照至少包括数据报文的流量、协议比例和源IP数量的多个维度中的每一个维度,在一个统计周期内对所接收的数据报文进行分类统计,并将分类统计结果分别存储在存储器中;
打分组件,将针对每个维度所分类统计的结果归属到对应维度的不同阈值范围,并基于所归属的不同阈值范围赋予所接收的数据报文相应维度下的分数;以及
异常判定组件,累计所有维度对应的分数,并将累计分数超过正常阈值分数所对应的统计周期所接收的数据报文的流量状态判定为不同级别的异常流量状态。
2.根据权利要求1所述的异常流量告警决策系统,还包括自学习组件,被构造为每经过一定学习周期则基于流量分类组件针对每个维度连续几个统计周期内所获得统计结果,调整对应维度的不同阈值范围。
3.根据权利要求1所述的异常流量告警决策系统,还包括告警通知组件,被构造为根据所述异常判定组件得到的不同级别的异常流量状态,向用户呈现出当前统计周期的异常告警信息以及异常级别。
4.根据权利要求1所述的异常流量告警决策系统,其中所述协议比例的在TCP协议下的正常阈值范围为所接收到的数据报文中的ACK数据报文和SYN数据报文的比例大于或等于3:1。
5.根据权利要求1所述的异常流量告警决策系统,其中所述协议比例的在DNS协议下的正常阈值范围为所接收到的数据报文中的DNS请求数据报文和DNS应答数据报文的比例大于或等于1:1。
6.根据权利要求1所述的异常流量告警决策系统,其中所述源IP数目的正常阈值范围小于当前统计周期之前的3-5个统计周期内源IP数目峰值的平均值。
7.一种异常流量告警决策方法,包括:
通过流量分类组件按照至少包括数据报文的流量、协议比例和源IP数量的多个维度中的每一个维度,在一个统计周期内对所接收的数据报文进行分类统计,并将分类统计结果分别存储在存储器中;
通过打分组件将针对每个维度所分类统计的结果归属到对应维度的不同阈值范围,并基于所归属的不同阈值范围赋予所接收的数据报文相应维度下的分数;以及
通过异常判定组件累计所有维度对应的分数,并将累计分数超过阈值分数所对应的统计周期所接收的数据报文的流量状态判定为不同级别的异常流量状态。
8.根据权利要求7所述的异常流量告警决策方法,还包括通过自学习组件每经过一定学习周期则基于流量分类组件针对每个维度连续几个统计周期内所获得统计结果,调整对应维度的不同阈值范围。
9.根据权利要求7所述的异常流量告警决策方法,还包括告警通知组件,被构造为根据所述异常判定组件得到的不同级别的异常流量状态,向用户呈现出当前统计周期的异常告警信息以及异常级别。
10.根据权利要求7所述的异常流量告警决策方法,其中所述协议比例的在TCP协议下的正常阈值范围为所接收到的数据报文中的ACK数据报文和SYN数据报文的比例大于或等于3:1。
11.根据权利要求7所述的异常流量告警决策方法,其中所述协议比例的在DNS协议下的正常阈值范围为所接收到的数据报文中的DNS请求数据报文和DNS应答数据报文的比例大于或等于1:1。
12.根据权利要求7所述的异常流量告警决策方法,其中所述源IP数目的正常阈值范围小于当前统计周期之前的3-5个统计周期内源IP数目峰值的平均值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010260852.XA CN111464359A (zh) | 2020-04-03 | 2020-04-03 | 异常流量告警决策系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010260852.XA CN111464359A (zh) | 2020-04-03 | 2020-04-03 | 异常流量告警决策系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111464359A true CN111464359A (zh) | 2020-07-28 |
Family
ID=71680511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010260852.XA Pending CN111464359A (zh) | 2020-04-03 | 2020-04-03 | 异常流量告警决策系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111464359A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112333168A (zh) * | 2020-10-27 | 2021-02-05 | 杭州安恒信息技术股份有限公司 | 一种攻击识别方法、装置、设备及计算机可读存储介质 |
CN112468406A (zh) * | 2020-12-14 | 2021-03-09 | 杭州迪普科技股份有限公司 | 流量阈值的确定方法及装置 |
CN113179250A (zh) * | 2021-03-26 | 2021-07-27 | 北京六方云信息技术有限公司 | web未知威胁检测方法及系统 |
CN113660256A (zh) * | 2021-08-13 | 2021-11-16 | 全球能源互联网研究院有限公司 | 一种dns水刑攻击检测模型构建方法及流量清洗方法 |
CN115174254A (zh) * | 2022-07-22 | 2022-10-11 | 科来网络技术股份有限公司 | 流量异常告警方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107508816A (zh) * | 2017-08-31 | 2017-12-22 | 杭州迪普科技股份有限公司 | 一种攻击流量防护方法及装置 |
CN107707547A (zh) * | 2017-09-29 | 2018-02-16 | 北京神州绿盟信息安全科技股份有限公司 | 一种DDoS攻击的检测方法及设备 |
CN110719302A (zh) * | 2019-12-12 | 2020-01-21 | 武汉绿色网络信息服务有限责任公司 | 一种物联网信令风暴攻击检测的方法及装置 |
-
2020
- 2020-04-03 CN CN202010260852.XA patent/CN111464359A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107508816A (zh) * | 2017-08-31 | 2017-12-22 | 杭州迪普科技股份有限公司 | 一种攻击流量防护方法及装置 |
CN107707547A (zh) * | 2017-09-29 | 2018-02-16 | 北京神州绿盟信息安全科技股份有限公司 | 一种DDoS攻击的检测方法及设备 |
CN110719302A (zh) * | 2019-12-12 | 2020-01-21 | 武汉绿色网络信息服务有限责任公司 | 一种物联网信令风暴攻击检测的方法及装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112333168A (zh) * | 2020-10-27 | 2021-02-05 | 杭州安恒信息技术股份有限公司 | 一种攻击识别方法、装置、设备及计算机可读存储介质 |
CN112468406A (zh) * | 2020-12-14 | 2021-03-09 | 杭州迪普科技股份有限公司 | 流量阈值的确定方法及装置 |
CN112468406B (zh) * | 2020-12-14 | 2022-06-24 | 杭州迪普科技股份有限公司 | 流量阈值的确定方法及装置 |
CN113179250A (zh) * | 2021-03-26 | 2021-07-27 | 北京六方云信息技术有限公司 | web未知威胁检测方法及系统 |
CN113660256A (zh) * | 2021-08-13 | 2021-11-16 | 全球能源互联网研究院有限公司 | 一种dns水刑攻击检测模型构建方法及流量清洗方法 |
CN115174254A (zh) * | 2022-07-22 | 2022-10-11 | 科来网络技术股份有限公司 | 流量异常告警方法、装置、电子设备及存储介质 |
CN115174254B (zh) * | 2022-07-22 | 2023-10-31 | 科来网络技术股份有限公司 | 流量异常告警方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111464359A (zh) | 异常流量告警决策系统及方法 | |
CN111614627B (zh) | 一种面向sdn的跨平面协作ddos检测与防御方法与系统 | |
Maglaras et al. | Combining ensemble methods and social network metrics for improving accuracy of OCSVM on intrusion detection in SCADA systems | |
CN108429651B (zh) | 流量数据检测方法、装置、电子设备及计算机可读介质 | |
US10635817B2 (en) | Targeted security alerts | |
JP4490307B2 (ja) | ネットワーク異常検出装置及びコンピュータプログラム及びネットワーク異常検出方法 | |
US11700269B2 (en) | Analyzing user behavior patterns to detect compromised nodes in an enterprise network | |
JP6442051B2 (ja) | コンピュータネットワークへの攻撃を検出する方法 | |
Meng et al. | Adaptive false alarm filter using machine learning in intrusion detection | |
US20110239301A1 (en) | Technique of detecting denial of service attacks | |
WO2015126410A1 (en) | Scoring for threat observables | |
US7903657B2 (en) | Method for classifying applications and detecting network abnormality by statistical information of packets and apparatus therefor | |
CN102447707B (zh) | 一种基于映射请求的DDoS检测与响应方法 | |
JP2007013343A (ja) | ワーム検出パラメータ設定プログラム及びワーム検出パラメータ設定装置 | |
CN106357660B (zh) | 一种ddos防御系统中检测伪造源ip的方法和装置 | |
CN113518057B (zh) | 分布式拒绝服务攻击的检测方法、装置及其计算机设备 | |
JP2007179131A (ja) | イベント検出システム、管理端末及びプログラムと、イベント検出方法 | |
US20040111638A1 (en) | Rule-based network survivability framework | |
CN101572609A (zh) | 检测拒绝服务攻击的方法及其装置 | |
Tran et al. | One-class support vector machine for anomaly network traffic detection | |
KR100628317B1 (ko) | 네트워크 공격 상황 탐지 장치 및 그 방법 | |
CN113824700B (zh) | 基于端口相似性的双阶段软件定义网络流表溢出防御方法 | |
Chakir et al. | An efficient method for evaluating alerts of Intrusion Detection Systems | |
Ouyang et al. | Can network characteristics detect spam effectively in a stand-alone enterprise? | |
KR101374009B1 (ko) | 이상 트래픽 차단 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200728 |