CN112839018B - 一种度数值生成方法以及相关设备 - Google Patents

一种度数值生成方法以及相关设备 Download PDF

Info

Publication number
CN112839018B
CN112839018B CN201911168671.8A CN201911168671A CN112839018B CN 112839018 B CN112839018 B CN 112839018B CN 201911168671 A CN201911168671 A CN 201911168671A CN 112839018 B CN112839018 B CN 112839018B
Authority
CN
China
Prior art keywords
network address
detected
data packet
value
source network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911168671.8A
Other languages
English (en)
Other versions
CN112839018A (zh
Inventor
万星
李柏晴
唐璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201911168671.8A priority Critical patent/CN112839018B/zh
Publication of CN112839018A publication Critical patent/CN112839018A/zh
Application granted granted Critical
Publication of CN112839018B publication Critical patent/CN112839018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies
    • H04L63/0236Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643Hash functions, e.g. MD5, SHA, HMAC or f9 MAC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例公开一种度数值生成方法以及相关设备,可用于源网络地址度数值统计领域中,仅对源网络地址的度数值大于或等于第一阈值的满足过滤条件的数据包进行分析,大大的降低了待分析数据包的数量,极大的提高了源网络地址的度数值的分析效率,方法包括:获取待检测数据包的源网络地址,在待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将待检测数据包确定为满足过滤条件的数据包,进而生成与满足过滤条件的数据包对应的源网络地址的度数值。

Description

一种度数值生成方法以及相关设备
技术领域
本申请涉及数据安全领域,尤其涉及一种度数值生成方法以及相关设备。
背景技术
随着互联网技术的迅猛发展,各种网络设备与人们的日常生活密不可分,与此同时,网络攻击也日趋严重,网络安全监控在抵御大规模网络攻击上扮演着举足轻重的角色。
在网络安全监控中,为了有效降低因网络攻击而导致的损失,对网络数据流量中数据包的源网络地址或目的网络地址的度数值进行分析成为分析网络攻击原因的重要研究方向。
但由于目前网络设备的发展及网络规模的增大,网络数据传输速率越来越快,网络数据流量巨大,网络数据流量中的数据包数量也相当可观,因此,一种高效的源网络地址或目的网络地址的度数值的生成方法亟待推出。
发明内容
本申请提供了一种度数值生成方法以及相关设备,仅对源网络地址的度数值大于或等于第一阈值的多个满足过滤条件的数据包进行分析,大大的降低了待分析数据包的数量,极大的提高了源网络地址的度数值的分析效率。
为解决上述技术问题,本申请提供以下技术方案:
第一方面,本申请提供一种度数值生成方法,可用于源网络地址度数值统计领域中,数据节点的功能为用于数据包转发,则数据节点可以接收到多个待检测数据包,针对每个待检测数据包,数据节点会获取待检测数据包的源网络地址,其中,源网络地址用于标识待检测数据包的来源,具体为源IP地址,或者为源IP地址以及源端口号,在待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将待检测数据包确定为满足过滤条件的数据包,也即数据节点可以从多个待检测数据包中获取到多个满足过滤条件的数据包,其中,源网络地址的度数值指的是与源网络地址相关联的不同目的网络地址的个数,由于数据节点接收到的多个满足过滤条件的数据包可以来自于同一个源网络地址,也可以来自于多个不同的源网络地址,因此数据节点可以根据多个满足过滤条件的数据包,生成与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值。数据节点在获取待检测数据包之后,仅将源网络地址的度数值大于或等于第一阈值的数据包确定为满足过滤条件的数据包,从而仅生成与所述多个满足过滤条件的数据包对应的至少一个源网络地址的度数值,由于攻击设备会向其他网络设备发送大量的数据包,从而攻击设备的源网络地址的度数值往往很大,仅根据多个满足过滤条件的数据包生成至少一个源网络地址的度数值并不会导致遗漏攻击设备的源网络地址;且本领域技术人员在研发过程中对网络流量中的数据包进行分析,发现网络流量中低度数值的数据包占据了很大的比重,仅对源网络地址的度数值大于或等于第一阈值的多个满足过滤条件的数据包进行分析,大大的降低了待分析数据包的数量,极大的提高了源网络地址的度数值的分析效率;且数据节点仅需对多个满足过滤条件的数据包的网络地址进行存储,也极大的减少了存储资源的开销。
在第一方面的一种可能实现方式中,数据节点在获取到单个待检测数据包的源网络地址之后,可以获取与待检测数据包的源网络地址对应的至少一个位图,在根据与待检测数据包的源网络地址对应的至少一个位图,确定待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将待检测数据包确定为满足过滤条件的数据包,其中,第一阈值的作用为过滤掉不可能攻击设备发送的数据包,第一阈值的取值可以为4、5、8、10或12具体的,数据节点可以根据与待检测数据包的源网络地址对应的至少一个位图中的数值内容,确定待检测数据包的源网络地址的度数值是否大于或等于第一阈值。通过位图来确定待检测数据包的源网络地址的度数值是否大于或等于第一阈值,由于位图数据结构紧凑,占用空间小,进一步减少了存储资源的开销。
在第一方面的一种可能实现方式中,数据节点获取与待检测数据包的源网络地址对应的至少一个位图,可以包括:数据节点通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值,用于生成待检测数据包的源网络地址的哈希值的至少一个哈希函数中的每个哈希函数对应至少一个位图;从第一哈希函数对应的至少一个位图中,获取与第一哈希值对应的第一位图,其中,第一哈希函数为用于生成待检测数据包的源网络地址的哈希值的至少一个哈希函数中的一个哈希函数,第一哈希值为待检测数据包的源网络地址的至少一个哈希值中通过第一哈希函数生成的哈希值,第一位图为与待检测数据包的源网络地址对应的至少一个位图中的一个位图,在数据节点上配置的用于对待检测数据包的源网络地址进行哈希计算的至少一个哈希函数中包括多个哈希函数的情况下,可以重复执行前述操作,从而可以获取到与多个哈希值对应的多个位图,也即获取到与待检测数据包的源网络地址对应的多个位图。通过上述方式,提供了一种通过哈希函数完成待检测数据包与位图之间对应关系的具体实现方式,提高了本方案的可执行性;且采用哈希函数来实现检测数据包与位图之间的对应,方便快捷,有利于提高过滤过程的效率。
在第一方面的一种可能实现方式中,用于生成待检测数据包的源网络地址的至少一个哈希值的至少一个哈希函数包括至少两个哈希函数,至少两个哈希函数包括的为不同的哈希函数。由于同一个哈希函数对不同的待检测数据包的源网络地址进行哈希计算后,存在得到相同哈希值的可能性,这称为不同的源网络地址在同一个哈希函数处发生碰撞,这样会导致不同的源网络地址会归属到同一个位图中,进而本来不满足过滤条件的数据包可能会因为哈希函数在生成哈希值过程的失误而导致通过过滤,而采用至少两个不同的哈希函数分别对待检测数据包的源网络地址进行哈希计算,在与待检测数据包的源网络地址对应的所有位图均表明待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,才将前述待检测数据包确定为满足过滤条件的数据包,提高了数据包过滤过程的准确率;且避免对不满足过滤条件的数据包的网络地址进行存储,也降低了存储资源的开销。
在第一方面的一种可能实现方式中,数据节点在根据与待检测数据包的源网络地址对应的至少一个位图,确定待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将待检测数据包确定为满足过滤条件的数据包之前,方法还可以包括:数据节点在获取到第一位图中所有字节位置的数值之后,可以对第一位图中数值为一的字节位置的数量进行统计,进而可以判断第一位图中数值为一的字节位置的数量是否大于或等于第一阈值,在与待检测数据包的源网络地址对应的所有位图中数值为一的字节位置的数量均大于或等于第一阈值情况下,确定待检测数据包的源网络地址的度数值大于或等于第一阈值。本实现方式中,通过与待检测数据包的源网络地址对应的位图中数值为一的字节位置的数量,来判断待检测数据包的源网络地址的度数值是否大于或等于第一阈值,也即提供了一种具体的判断方式,提高了本方案的可执行性;且利用位图中数值为一的字节位置的数量进行判断,方便快捷,易于实现。
在第一方面的一种可能实现方式中,数据节点在与待检测数据包的源网络地址对应的每个位图中数值为一的字节位置的数量大于或等于第一阈值情况下,确定待检测数据包的源网络地址的度数值大于或等于第一阈值,可以包括:在与待检测数据包的源网络地址对应的每个位图中所有字节位置的数值均为一的情况下,确定待检测数据包的源网络地址的度数值等于第一阈值。本实现方式中,提供了判断待检测数据包的源网络地址的度数值是否大于或等于第一阈值的另一种具体实现方式,提高了本方案的实现灵活性;且无需对位图中数值为一的字节位置的数量进行统计,而是直接判断位图中所有字节位置的数值是否均为一,进一步缩短了判断过程的时间,提高了判断过程的效率。
在第一方面的一种可能实现方式中,数据节点获取待检测数据包的源网络地址之后,方法还包括:在根据与待检测数据包的源网络地址对应的至少一个位图,确定待检测数据包的源网络地址的度数值小于第一阈值的情况下,数据节点获取待检测数据包的目的网络地址,其中,目的网络地址用于标识待检测数据包的目的地,具体可以为目的IP地址,或者为目的IP地址以及目的端口号;并通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值,从第一位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置,其中,第一位图指的是在对待检测数据包的源网络地址的度数值进行统计,且对多个待检测数据包进行过滤的过程中,与待检测数据包的源网络地址对应的一个位图,第二哈希值为待检测数据包的目的网络地址的至少一个哈希值的一个哈希值,之后数据节点将与第二哈希值对应的字节位置的数值填充为一,并将待检测数据包确定为无效数据包。本实现方式中,数据节点边对待检测数据包进行过滤,边对待检测数据包的源网络地址进行统计,由于攻击设备的源网络地址的度数值会很大,也即远超第一阈值,这种边过滤边统计的方式不会造成对攻击设备的遗漏,且提高了过滤过程的效率。
在第一方面的一种可能实现方式中,数据节点获取待检测数据包的源网络地址之前,方法还可以包括:数据节点可以获取预设时长内的数据流量,以从预设时长内的数据流量中获取到待检测数据包集合,待检测数据包集合中包括多个待检测数据包,针对每个待检测数据包,获取待检测数据包的源网络地址和目的网络地址;通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值,并通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值;获取与待检测数据包的源网络地址的至少一个哈希值对应的至少一个位图,并从每个位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置,其中,第二哈希值为待检测数据包的目的网络地址的至少一个哈希值的一个哈希值,将与第二哈希值对应的字节位置的数值填充为一,在数据节点对待检测数据包集合中的每个待检测数据包都执行完前述步骤之后,可以完成判断条件的形成步骤,也即数据节点先利用待检测数据包集合中的所有数据包对待检测数据包的源网络度数值进行统计,进而再将待检测数据包集合中的所有数据包进行过滤,提高了过滤过程的精准度。
在第一方面的一种可能实现方式中,数据节点根据多个满足过滤条件的数据包,生成与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值,包括:通过可逆草图检测器和去重计数器对多个满足过滤条件的数据包进行统计,并生成与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值。本实现方式中,采用可逆草图检测器和去重计数器对多个满足过滤条件的数据包进行组合统计,方便快捷;且可逆草图检测器和去重计数器这种组合具有还原可逆能力,也即根据可逆草图检测器和去重计数器输出的至少一个源网络地址的度数值可以还原出源网络地址,从而在发现攻击设备之后,可以及时的获取到攻击设备的网络地址。
在第一方面的一种可能实现方式中,数据节点根据多个满足过滤条件的数据包,生成与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值,包括:通过可逆草图检测器和布隆过滤器对多个满足过滤条件的数据包进行统计,并生成与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值。本实现方式中,还提供了采用可逆草图检测器和布隆过滤器对多个满足过滤条件的数据包进行统计,提高了本方案的实现灵活性;且可逆草图检测器和布隆过滤器这种组合也具有还原可逆能力,也即根据可逆草图检测器和布隆过滤器输出的至少一个源网络地址的度数值可以还原出源网络地址,从而在发现攻击设备之后,可以及时的获取到攻击设备的网络地址。
在第一方面的一种可能实现方式中,向中心服务器发送与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值,对应的,中心服务器可以接收到一个或多个数据节点发送的至少一个源网络地址的度数值,进而中心服务器可以对多个数据节点生成的至少一个源网络地址的度数值进行综合检测,从而中心服务器可以对更大范围的攻击设备进行监控;由于单个数据节点仅将源网络地址的度数值小的数据包过滤掉,因此在中心服务器进行综合检测时不会造成精度的损失,且提高了中心服务器进行综合检测的效率;进一步地,数据节点输出的至少一个源网络地址的度数值采用的是二位位图的形式,在综合检测的过程中可以达到高效便利的效果;更进一步地,在数据节点采用的为可逆草图检测器和去重计数器组合统计方式,或者,采用的为可逆草图检测器和去重计数器组合统计方式,可以根据及时获取到攻击设备的网络地址,提高了中心服务器对攻击设备的监控精细度。
第二方面,本申请还提供一种度数值生成方法,可用于目的网络地址度数值统计领域中,数据节点获取待检测数据包的目的网络地址,在待检测数据包的目的网络地址的度数值大于或等于第二阈值的情况下,将待检测数据包确定为满足过滤条件的数据包,并根据满足过滤条件的数据包,生成与满足过滤条件的数据包对应的目的网络地址的度数值。
在第二方面的一种可能实现方式中,数据节点获取与待检测数据包的目的网络地址对应的至少一个位图,数据节点在根据与待检测数据包的目的网络地址对应的至少一个位图,确定待检测数据包的目的网络地址的度数值大于或等于第二阈值的情况下,将待检测数据包确定为满足过滤条件的数据包,其中,第二阈值的作用为过滤掉不可能是发送给被攻击设备的数据包,第二阈值的取值可以为4、5、8、10或12。
在第二方面的一种可能实现方式中,数据节点获取与待检测数据包的目的网络地址对应的至少一个位图,可以包括:数据节点通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值,用于生成待检测数据包的源网络地址的哈希值的至少一个哈希函数中的每个哈希函数对应至少一个位图,从第二哈希函数对应的至少一个位图中,获取与第三哈希值对应的第二位图,其中,第二哈希函数为用于生成待检测数据包的源网络地址的哈希值的至少一个哈希函数中的一个哈希函数,第三哈希值为待检测数据包的目的网络地址的至少一个哈希值中通过第二哈希函数生成的哈希值,第二位图指的是在对待检测数据包的目的网络地址的度数值进行统计,且对多个待检测数据包进行过滤的过程中,与待检测数据包的目的网络地址对应的至少一个位图中的一个位图。
在第二方面的一种可能实现方式中,用于生成待检测数据包的目的网络地址的哈希值的至少一个哈希函数中包括至少两个哈希函数,至少两个哈希函数包括的为不同的哈希函数。
在第二方面的一种可能实现方式中,数据节点在根据与待检测数据包的目的网络地址对应的至少一个位图,确定待检测数据包的目的网络地址的度数值大于或等于第二阈值的情况下,将待检测数据包确定为满足过滤条件的数据包之前,方法还可以包括:数据节点在与待检测数据包的目的网络地址对应的每个位图中数值为一的字节位置的数量大于或等于第二阈值情况下,确定待检测数据包的目的网络地址的度数值大于或等于第二阈值。
在第二方面的一种可能实现方式中,数据节点在与待检测数据包的目的网络地址对应的每个位图中数值为一的字节位置的数量大于或等于第二阈值情况下,确定待检测数据包的目的网络地址的度数值大于或等于第二阈值,可以包括:数据节点在与待检测数据包的目的网络地址对应的每个位图中所有字节位置的数值均为一的情况下,确定待检测数据包的目的网络地址的度数值等于第二阈值。
在第二方面的一种可能实现方式中,数据节点获取待检测数据包的目的网络地址之后,方法还可以包括:数据节点在根据与待检测数据包的目的网络地址对应的至少一个位图,确定待检测数据包的目的网络地址的度数值小于第二阈值的情况下,获取待检测数据包的源网络地址,通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值,从第二位图包括的至少一个字节位置中获取与第四哈希值对应的字节位置,其中,第二位图为与待检测数据包的目的网络地址对应的至少一个位图中的一个位图,第四哈希值是在对待检测数据包的目的网络地址的度数值进行统计的过程中,对待检测数据包的源网络地址进行哈希计算,生成的至少一个哈希值中的一个哈希值,将与第四哈希值对应的字节位置的数值填充为一,并将待检测数据包确定为无效数据包。
在第二方面的一种可能实现方式中,数据节点获取待检测数据包的目的网络地址之前,方法还可以包括:数据节点获取待检测数据包集合,待检测数据包集合中包括多个待检测数据包,针对每个待检测数据包,获取待检测数据包的目的网络地址和源网络地址,通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值,并通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值;获取与待检测数据包的目的网络地址的至少一个哈希值对应的至少一个位图,并从每个位图包括的至少一个字节位置中获取与第四哈希值对应的字节位置,其中,第四哈希值为待检测数据包的源网络地址的至少一个哈希值的一个哈希值,将与第四哈希值对应的字节位置的数值填充为一。
在第二方面的一种可能实现方式中,数据节点根据满足过滤条件的数据包,生成与满足过滤条件的数据包对应的目的网络地址的度数值,可以包括:数据节点通过可逆草图检测器和去重计数器对满足过滤条件的数据包进行统计,并生成与满足过滤条件的数据包对应的目的网络地址的度数值。
在第二方面的一种可能实现方式中,数据节点根据满足过滤条件的数据包,生成与满足过滤条件的数据包对应的目的网络地址的度数值,可以包括:数据节点通过可逆草图检测器和布隆过滤器对满足过滤条件的数据包进行统计,并生成与满足过滤条件的数据包对应的目的网络地址的度数值。
在第二方面的一种可能实现方式中,方法还包括:数据节点向中心服务器发送与满足过滤条件的数据包对应的目的网络地址的度数值。
对于本申请第二方面提供的数据节点执行第二方面以及第二方面的各种可能实现方式的具体实现步骤,以及每种实现方式所带来的有益效果,均可以参考第一方面以及第一方面中各种可能的实现方式中的描述,区别在于,将第一方面中的源网络地址替换为目的网络地址,将第一方面中的目的网络地址替换为源网络地址,此处不再一一赘述。
第三方面,本申请还提供一种度数值生成装置,可用于源网络地址度数值统计领域中,度数值生成装置包括获取单元、确定单元和生成单元,其中,获取单元,用于获取待检测数据包的源网络地址;确定单元,用于在待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将待检测数据包确定为满足过滤条件的数据包;生成单元,用于根据满足过滤条件的数据包,生成与满足过滤条件的数据包对应的源网络地址的度数值。
在第三方面的一种可能实现方式中,获取单元,还用于获取与待检测数据包的源网络地址对应的至少一个位图;确定单元,具体用于在根据与待检测数据包的源网络地址对应的至少一个位图,确定待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将待检测数据包确定为满足过滤条件的数据包。
在第三方面的一种可能实现方式中,获取单元,具体用于:通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值,用于生成待检测数据包的源网络地址的哈希值的至少一个哈希函数中的每个哈希函数对应至少一个位图;从第一哈希函数对应的至少一个位图中,获取与第一哈希值对应的第一位图,其中,第一哈希函数为用于生成待检测数据包的源网络地址的哈希值的至少一个哈希函数中的一个哈希函数,第一哈希值为待检测数据包的源网络地址的至少一个哈希值中通过第一哈希函数生成的哈希值,第一位图为与待检测数据包的源网络地址对应的至少一个位图中的一个位图。
在第三方面的一种可能实现方式中,用于生成待检测数据包的源网络地址的至少一个哈希值的至少一个哈希函数包括至少两个哈希函数,至少两个哈希函数包括的为不同的哈希函数。
在第三方面的一种可能实现方式中,确定单元,还用于在与待检测数据包的源网络地址对应的每个位图中数值为一的字节位置的数量大于或等于第一阈值情况下,确定待检测数据包的源网络地址的度数值大于或等于第一阈值。
在第三方面的一种可能实现方式中,确定单元,具体用于在与待检测数据包的源网络地址对应的每个位图中所有字节位置的数值均为一的情况下,确定待检测数据包的源网络地址的度数值等于第一阈值。
在第三方面的一种可能实现方式中,获取单元,还用于在根据与待检测数据包的源网络地址对应的至少一个位图,确定待检测数据包的源网络地址的度数值小于第一阈值的情况下,获取待检测数据包的目的网络地址;生成单元,还用于通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值;获取单元,还用于从第一位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置,其中,第一位图为与待检测数据包的源网络地址对应的至少一个位图中的一个位图,第二哈希值为待检测数据包的目的网络地址的至少一个哈希值的一个哈希值;装置还包括:填充单元,用于将与第二哈希值对应的字节位置的数值填充为一,并将待检测数据包确定为无效数据包。
在第三方面的一种可能实现方式中,获取单元,还用于获取待检测数据包集合,待检测数据包集合中包括多个待检测数据包;获取单元,还用于针对每个待检测数据包,获取待检测数据包的源网络地址和目的网络地址;生成单元,还用于通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值,并通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值;获取单元,还用于获取与待检测数据包的源网络地址的至少一个哈希值对应的至少一个位图,并从每个位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置,其中,第二哈希值为待检测数据包的目的网络地址的至少一个哈希值的一个哈希值;装置还包括:填充单元,用于将与第二哈希值对应的字节位置的数值填充为一。
在第三方面的一种可能实现方式中,生成单元,具体用于通过可逆草图检测器和去重计数器对满足过滤条件的数据包进行统计,并生成与满足过滤条件的数据包对应的源网络地址的度数值。
在第三方面的一种可能实现方式中,生成单元,具体用于通过可逆草图检测器和布隆过滤器对满足过滤条件的数据包进行统计,并生成与满足过滤条件的数据包对应的源网络地址的度数值。
在第三方面的一种可能实现方式中,装置还包括:发送单元,用于向中心服务器发送与满足过滤条件的数据包对应的源网络地址的度数值。
对于本申请第三方面提供的度数值生成装置的组成模块执行第三方面以及第三方面的各种可能实现方式的具体实现步骤,以及每种实现方式所带来的有益效果,均可以参考第一方面以及第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第四方面,本申请还提供一种度数值生成装置,可用于目的网络地址度数值统计领域中,度数值生成装置包括获取单元、确定单元和生成单元,获取单元,用于获取待检测数据包的目的网络地址;确定单元,用于在待检测数据包的目的网络地址的度数值大于或等于第二阈值的情况下,将待检测数据包确定为满足过滤条件的数据包;生成单元,用于根据满足过滤条件的数据包,生成与满足过滤条件的数据包对应的目的网络地址的度数值。
在第四方面的一种可能实现方式中,获取单元,还用于获取与待检测数据包的目的网络地址对应的至少一个位图;确定单元,具体用于在根据与待检测数据包的目的网络地址对应的至少一个位图,确定待检测数据包的目的网络地址的度数值大于或等于第二阈值的情况下,将待检测数据包确定为满足过滤条件的数据包。
在第四方面的一种可能实现方式中,获取单元,具体用于:通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值,用于生成待检测数据包的源网络地址的哈希值的至少一个哈希函数中的每个哈希函数对应至少一个位图;从第二哈希函数对应的至少一个位图中,获取与第三哈希值对应的第二位图,其中,第二哈希函数为用于生成待检测数据包的源网络地址的哈希值的至少一个哈希函数中的一个哈希函数,第三哈希值为待检测数据包的目的网络地址的至少一个哈希值中通过第二哈希函数生成的哈希值,第二位图为与待检测数据包的目的网络地址对应的至少一个位图中的一个位图。
在第四方面的一种可能实现方式中,用于生成待检测数据包的目的网络地址的哈希值的至少一个哈希函数中包括至少两个哈希函数,至少两个哈希函数包括的为不同的哈希函数。
在第四方面的一种可能实现方式中,确定单元,还用于在与待检测数据包的目的网络地址对应的每个位图中数值为一的字节位置的数量大于或等于第二阈值情况下,确定待检测数据包的目的网络地址的度数值大于或等于第二阈值。
在第四方面的一种可能实现方式中,确定单元,具体用于在与待检测数据包的目的网络地址对应的每个位图中所有字节位置的数值均为一的情况下,确定待检测数据包的目的网络地址的度数值等于第二阈值。
在第四方面的一种可能实现方式中,获取单元,还用于在根据与待检测数据包的目的网络地址对应的至少一个位图,确定待检测数据包的目的网络地址的度数值小于第二阈值的情况下,获取待检测数据包的源网络地址;生成单元,还用于通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值;获取单元,还用于从第二位图包括的至少一个字节位置中获取与第四哈希值对应的字节位置,其中,第二位图为与待检测数据包的目的网络地址对应的至少一个位图中的一个位图,第四哈希值为待检测数据包的源网络地址的至少一个哈希值的一个哈希值;装置还包括:填充单元,用于将与第四哈希值对应的字节位置的数值填充为一,并将待检测数据包确定为无效数据包。
在第四方面的一种可能实现方式中,获取单元,还用于获取待检测数据包集合,待检测数据包集合中包括多个待检测数据包;获取单元,还用于针对每个待检测数据包,获取待检测数据包的目的网络地址和源网络地址;生成单元,还用于通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值,并通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值;获取单元,还用于获取与待检测数据包的目的网络地址的至少一个哈希值对应的至少一个位图,并从每个位图包括的至少一个字节位置中获取与第四哈希值对应的字节位置,其中,第四哈希值为待检测数据包的源网络地址的至少一个哈希值的一个哈希值;装置还包括:填充单元,用于将与第四哈希值对应的字节位置的数值填充为一。
在第四方面的一种可能实现方式中,生成单元,具体用于通过可逆草图检测器和去重计数器对满足过滤条件的数据包进行统计,并生成与满足过滤条件的数据包对应的至少一个目的网络地址的度数值。
在第四方面的一种可能实现方式中,生成单元,具体用于通过可逆草图检测器和布隆过滤器对满足过滤条件的数据包进行统计,并生成与满足过滤条件的数据包对应的目的网络地址的度数值。
在第四方面的一种可能实现方式中,装置还包括:发送单元,用于向中心服务器发送与满足过滤条件的数据包对应的目的网络地址的度数值。
对于本申请第四方面提供的度数值生成装置的组成模块执行第四方面以及第四方面的各种可能实现方式的具体实现步骤,以及每种实现方式所带来的有益效果,均可以参考第二方面以及第二方面中各种可能的实现方式中的描述,此处不再一一赘述。
第五方面,本申请还提供一种数据节点,可用于源网络地址度数值统计领域中,可以包括存储器、处理器以及总线系统,其中,存储器用于存储程序,处理器用于执行存储器中的程序,包括如下步骤:获取待检测数据包的源网络地址;在待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将待检测数据包确定为满足过滤条件的数据包;根据满足过滤条件的数据包,生成与满足过滤条件的数据包对应的源网络地址的度数值,总线系统用于连接存储器以及处理器,以使存储器以及处理器进行通信。
本申请第五方面中,数据节点还可以用于执行第一方面的各个可能实现方式中数据节点执行的步骤,具体均可以参阅第一方面,此处不再赘述。
第六方面,本申请还提供一种数据节点,可用于目的网络地址度数值统计领域中,可以包括存储器、处理器以及总线系统,其中,存储器用于存储程序,处理器用于执行存储器中的程序,包括如下步骤:获取待检测数据包的目的网络地址;在待检测数据包的目的网络地址的度数值大于或等于第二阈值的情况下,将待检测数据包确定为满足过滤条件的数据包;根据满足过滤条件的数据包,生成与满足过滤条件的数据包对应的目的网络地址的度数值,总线系统用于连接存储器以及处理器,以使存储器以及处理器进行通信。
本申请第六方面中,数据节点还可以用于执行第二方面的各个可能实现方式中数据节点执行的步骤,具体均可以参阅第二方面,此处不再赘述。
第七方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面或第二方面所述的度数值生成方法。
第八方面,本申请提供了一种电路系统,电路系统包括处理电路,处理电路配置为执行如上述第一方面或第二方面所述的度数值生成方法。
第九方面,本申请提供了一种计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面或第二方面所述的度数值生成方法。
第十方面,本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持基带处理装置或射频装置实现上述方面中所涉及的功能,例如,发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存基带处理装置或射频装置必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
附图说明
图1为本申请实施例提供的度数值生成方法的一种应用场景示意图;
图2为本申请实施例提供的度数值生成方法的一种流程示意图;
图3为本申请实施例提供的度数值生成方法中哈希函数与位图之间对应关系的一种示意图;
图4为本申请实施例提供的度数值生成方法中待检测数据包与字节位置之间对应关系的一种示意图;
图5为本申请实施例提供的度数值生成方法另一种流程示意图;
图6为本申请实施例提供的度数值生成方法的又一种流程示意图;
图7为本申请实施例提供的度数值生成方法的再一种流程示意图;
图8为本申请实施例提供的度数值生成方法的又一种流程示意图;
图9为本申请实施例提供的度数值生成装置的一种结构示意图;
图10为本申请实施例提供的度数值生成装置的另一种结构示意图;
图11为本申请实施例提供的度数值生成装置的又一种结构示意图;
图12为本申请实施例提供的度数值生成装置的再一种结构示意图;
图13为本申请实施例提供的数据节点的一种结构示意图。
具体实施方式
本申请实施例提供了一种度数值生成方法以及相关设备,仅对源网络地址的度数值大于或等于第一阈值的多个满足过滤条件的数据包进行分析,大大的降低了待分析数据包的数量,极大的提高了源网络地址的度数值的分析效率。
下面结合附图,对本申请的实施例进行描述。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所通过的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
本申请可以应用于需要对源网络地址的度数值进行统计,或者,需要对目的网络地址的度数值进行统计的数据节点中,前述数据节点具体可以表现为交换机、路由器或者其他用于对数据流量进行中转的数据中心节点,在前述数据节点中,可以通过对源网络地址或目的网络地址的度数值进行统计,从而发现网络中的异常数据流量情况,如发现分布式阻断服务(distributed denial of service,DDOS)攻击,进而采取相应防护措施。
为了对本申请实施例的应用场景有进一步的理解,请参阅图1,图1为本申请实施例提供的度数值生成方法的一种应用场景示意图,其中,度数值生成系统中可以包括中心服务器、数据节点以及与数据节点连接的多个终端设备。参阅图1,每个数据节点可以与中心服务器的交换机或路由器连接,从而实现单个数据节点与中心服务器的通信,虽然图中未示出,单个数据节点还可以通过其他类型的有线网络或无线网络与中心服务器进行通信连接。作为示例,例如图1示出的为区域骨干网络以及所连接的局部网络,以广东省的网络为例,则数据节点A、数据节点B至数据节点D可以分别指的是深圳、惠州、东莞、河源的数据中心节点,而中心服务器为位于广州的骨干网络的中心服务器。作为另一示例,例如图1示出的为特别大的数据中心,则数据节点A、数据节点B至数据节点D可以为该数据中心的每个交换机,中心服务器则是该数据中心中用于管理所有交换机的服务器。此处不对具体的应用场景进行穷举。
其中,图1中的终端设备包含但不仅限于平板电脑、笔记本电脑、语音交互设备及个人电脑(personal computer,PC),此处不做限定。其中,语音交互设备包含但不仅限于智能音响以及智能家电。图1中的服务器可以是一台服务器或多台服务器组成的服务器集群或云计算中心等,具体此处均不限定。
需要说明的是,图1中示出的网络架构仅为一个示例,在其他市县场景中,也可以不存在中心服务器这一层,而是只存在数据节点以及与数据节点连接的多个终端设备,且虽然图1中示出了4个数据节点、24个终端设备、1个中心服务器,但图1仅为一个示例,并不用于限定数据节点、终端设备以及中心服务器的数量。
结合上述描述,下面开始对本申请实施例提供的度数值生成方法的具体实现流程进行描述,数据节点可以接收到多个待检测数据包,针对每个待检测数据包,可以获取到待检测数据包的源网络地址,并判断待检测数据包的源网络地址的度数值是否大于或等于第一阈值,在大于或等于第一阈值的情况下,将待检测数据包确定为满足过滤条件的数据包,通过前述方式,可以从多个待检测数据包中过滤出度数值大于或等于第一阈值的多个数据包,进而基于多个满足过滤条件的数据包进行统计,生成与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值,由于攻击设备需要发出大量的攻击数据包,也即攻击设备的源网络地址的度数值很大,从而可以根据生成的至少一个源网络地址的度数值来发现攻击设备。对应的,被攻击设备会接收到大量的攻击数据包,也即被攻击设备的目的网络地址的度数值很大,则数据节点可以将前述发现攻击设备的方案中的源网络地址替换为目的网络地址,以根据生成的至少一个目的网络地址的度数值来发现被攻击设备。由于在前述两种情况下数据节点执行的流程有所不同,以下分别对前述两种情况的具体实现流程进行描述。
一、判断源网络地址的度数值是否大于或等于第一阈值
本申请实施例中,在数据节点对攻击设备进行检测的过程中,针对每个待检测数据包,数据节点需要判断待检测数据包的源网络地址的度数值是否大于或等于第一阈值,为了形成待检测数据包的源网络地址的度数值的判断条件,在一种情况下,数据节点会在获取到待检测数据包集合,也即获取到所有的待检测数据包,先利用待检测数据包集合中排在前面的多个待检测数据包对度数值大于或等于第一阈值的源网络地址进行定位,也即形成判断条件,在对待检测数据包集合中排在后面的多个待检测数据包进行过滤,也即将判断条件形成步骤与过滤步骤融合。在另一种情况下,数据节点会获取到待检测数据包集合,先利用待检测数据包集合中的所有待检测数据包对度数值大于或等于第一阈值的源网络地址进行定位,再重新对待检待检测数据包集合中的所有待检测数据包进行过滤,也即将判断条件形成步骤和过滤步骤分离。由于在前述两种情况下数据节点执行的流程有所不同,以下分别对前述两种情况的具体实现流程进行描述。
(1)判断条件形成步骤与过滤步骤融合
本申请实施例中,请参阅图2,图2为本申请实施例提供的度数值生成方法的一种流程示意图,本申请实施例提供的度数值生成方法可以包括:
201、数据节点获取待检测数据包的源网络地址。
本申请的一些实施例中,数据节点的功能为用于数据包转发,可以一直接收到数据流量,由于核心网络中的数据节点一般需要转发的数据流量较大,则数据节点在进行异常流量检测时,可以获取预设时长内的数据流量,以从预设时长内的数据流量中获取到待检测数据包集合;其中,预设时长的取值可以为5分钟、8分钟、10分钟或其他时长值。
具体的,在一种实现方式中,数据节点可以为在固定的时间点获取预设时长内的数据流量,也即定时检测是否存在攻击设备攻击数据节点;作为示例,例如在每天凌晨两点获取预设时长内的数据流量进行检测,作为另一示例,例如在每周周一的早上五点获取预设时长内的数据流量进行检测等。在另一种实现方式中,数据节点可以在单位时间内接收到的数据包数量大于或等于第三阈值时,获取预设时长内的数据流量,作为示例,例如数据节点在一秒内接收到的数据包的数量超过1000个的情况下,数据节点单位时间内接收到的数据包的数量超过合理阈值,就会存在数据节点被攻击设备攻击的可能性,从而可以获取预设时长内的数据流量进行检测,以及时发现攻击设备。在另一种情况下,数据节点可以随机选取预设时长内的数据流量,此处不对获取预设时长内的数据流量的方式进行限定。
数据节点在获取到预设时长内的数据流量之后,可以从预设时长内的数据流量中获取到多个待检测数据包,每个待检测数据包均携带有源网络地址,其中,源网络地址用于标识待检测数据包的来源,具体可以表现为源互联网协议(Internet Protocol,IP)地址,或者表现为源IP地址以及源端口(port)号,或者还可以表现为其他标识来源的信息。具体的,针对每个待检测数据包,数据节点可以解析待检测数据包,并获取待检测数据包的源网络地址。
202、数据节点获取与待检测数据包的源网络地址对应的至少一个位图。
本申请的一些实施例中,数据节点在获取到单个待检测数据包的源网络地址之后,可以获取与待检测数据包的源网络地址对应的一个或多个位图。
具体的,数据节点可以设置有至少一个过滤器(filter),每个过滤器包括c个长度为b的位图,每个过滤器中的每个位图也可以称为一个组(group),其中,c和b均为大于或等于1的整数,b的取值大于或等于第一阈值,第一阈值的作用是过滤掉不可能是来自于攻击设备的数据包,也即过滤掉为满足正常业务需求而接收到的数据包,第一阈值的取值可以为4、5、8、10、12或其他数值等。对应的,数据节点上可以配置有至少一个用于对待检测数据包的源网络地址进行哈希计算的哈希函数,过滤器与哈希函数之间一一对应,也即每个哈希函数与每个过滤器包括的c个长度为b的位图对应。可选地,不同的过滤器之间可以对应有不同的哈希函数,也即在用于对待检测数据包的源网络地址进行哈希计算的至少一个哈希函数包括至少两个哈希函数的情况下,至少两个哈希函数中包括的为不同的哈希函数。从而数据节点可以通过至少一个哈希函数,对待检测数据包的源网络地址进行哈希计算,以生成待检测数据包的源网络地址的至少一个哈希值,进而获取与每个哈希值对应的位图,从而获得与待检测数据包的源网络地址对应的至少一个位图。
更具体的,在一种情况下,数据节点上配置的至少一个用于对待检测数据包的源网络地址进行哈希计算的哈希函数中包括一个第一哈希函数,则数据节点在获取到待检测数据包的源网络地址之后,可以利用第一哈希函数对待检测数据包的源网络地址进行哈希计算,生成待检测数据包的源网络地址的一个第一哈希值,进而从第一哈希函数对应的c个位图中,获取与第一哈希值对应的第一位图。
在另一种情况下,数据节点上配置的用于对待检测数据包的源网络地址进行哈希计算的至少一个哈希函数中包括多个哈希函数,第一哈希函数为前述多个哈希函数中的任一个哈希函数。则数据节点在获取到待检测数据包的源网络地址之后,可以同时利用前述多个哈希函数对待检测数据包的源网络地址进行哈希计算;也可以逐个利用前述多个哈希函数中的每个哈希函数对待检测数据包的源网络地址进行哈希计算,从而通过多个哈希函数,生成待检测数据包的源网络地址的多个哈希值。针对前述待检测数据包的源网络地址的多个哈希值中的每一个哈希值,或者说针对前述待检测数据包的源网络地址的多个哈希值中通过第一哈希函数生成的第一哈希值,数据节点会从与第一哈希函数对应的多个位图中,获取与第一哈希值对应的c个位图中,获取与第一哈希值对应的第一位图,其中,第一位图为与待检测数据包的源网络地址对应的至少一个位图中的一个位图,数据节点可以重复前述操作,从而可以获取到与多个哈希值对应的多个位图,也即获取到与待检测数据包的源网络地址对应的多个位图。
为进一步理解本方案,请参阅图3,图3为本申请实施例提供的度数值生成方法中哈希函数与位图之间对应关系的一种示意图,图3中以数据节点上配置有多个用于对源网络地址进行哈希计算的哈希函数,每个位图的长度为5为例,图3中的src是source(源)的缩写,指的是源网络地址,h1、h2至hr分别指的是多个第一哈希函数,h1、h2和hr互相为不同的哈希函数,不同的哈希函数分别对应不同的过滤器,利用h1、h2至hr这多个哈希函数对同一个源网络地址进行哈希计算,分别得到多个哈希值之后,可以分别获取与每个哈希值对应的位图,也即分别获取与每个哈希值对应的组,从而建立起了源网络地址与位图之间的对应关系,继续结合图3进行举例,例如若通过第一哈希函数h1生成待检测数据包的源网络地址的第一哈希值为0,则与取值为0的第一哈希值对应的位图为过滤器1中序号为0的位图(也即图3中的Group 0),再例如若通过第一哈希函数h2生成待检测数据包的源网络地址的第一哈希值为c,则与前述取值为c的第一哈希值对应的位图为过滤器2中序号为c的位图(也即图3中的Group c),此处不进行穷举,应当理解,图3中的示例仅为方便理解本方案,不用于限定本方案。
进一步地,第一哈希函数指的是用于确定与待检测数据包的源网络地址对应的第一位图的哈希函数;第一位图指的是在对待检测数据包的源网络地址的度数值进行统计,且对多个待检测数据包进行过滤的过程中,与待检测数据包的源网络地址对应的多个位图中的一个位图。需要说明的是,本申请实施例中示出的过滤器和组这两个概念可以是为了方便描述而提出的,在实际产品中,数据节点中也可以不存在过滤器和组这两个概念,而是直接建立每个第一哈希函数和c个位图之间的对应关系。
本申请实施例中,数据节点中预先设置有每个哈希函数与至少一个位图之间的对应关系,在获取到待检测数据包的源网络地址之后,通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值,进而从与每个哈希函数对应的至少一个位图中,获取与每个哈希值对应的位图,从而完成了待检测数据包与至少一个位图之间的对应。通过上述方式,提供了一种通过哈希函数完成待检测数据包与位图之间对应关系的具体实现方式,提高了本方案的可执行性;且采用哈希函数来实现检测数据包与位图之间的对应,方便快捷,有利于提高过滤过程的效率。
203、数据节点根据至少一个位图判断待检测数据包的源网络地址的度数值是否大于或等于第一阈值,若小于第一阈值,则进入步骤204;若大于或等于第一阈值,则进入步骤208。
本申请实施例中,数据节点在获取到与待测试数据包的源网络地址对应的至少一个位图之后,可以获取到每个位图中所有字节位置的数值,进而根据每个位图中所有字节位置的数值的内容判断待检测数据包的源网络地址的度数值是否大于或等于第一阈值,在与待测试数据包的源网络地址对应的所有位图均指示待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,可以视为待检测数据包的源网络地址的度数值大于或等于第一阈值,也即通过了过滤器的过滤,其中,源网络地址的度数值指的是与源网络地址相关联的不同目的网络地址的个数。通过位图对待检测数据包的源网络地址的度数值是否大于或等于第一阈值进行判断,由于位图数据结构紧凑,占用空间小,进一步减少了存储资源的开销。
具体的,参见步骤202中的描述,与待测试数据包的源网络地址对应的至少一个位图中每个位图的长度为m,位图的长度指的是位图包括的字节位置的个数,也即每个位图包括的字节位置的个数可以大于或等于第一阈值。针对前述至少一个位图中的第一位图,数据节点在获取到第一位图中所有字节位置的数值之后,可以对第一位图的m个字节位置中数值为一的字节位置的数量进行统计,进而可以判断第一位图中数值为一的字节位置的数量是否大于或等于第一阈值,在与待检测数据包的源网络地址对应的所有位图中数值为一的字节位置的数量均大于或等于第一阈值情况下,确定待检测数据包的源网络地址的度数值大于或等于第一阈值。本实施例中,通过与待检测数据包的源网络地址对应的位图中数值为一的字节位置的数量,来判断待检测数据包的源网络地址的度数值是否大于或等于第一阈值,也即提供了一种具体的判断方式,提高了本方案的可执行性;且利用位图中数值为一的字节位置的数量进行判断,方便快捷,易于实现。
可选地,与待测试数据包的源网络地址对应的至少一个位图中每个位图包括的字节位置可以等于第一阈值,则数据节点在获取到与待测试数据包的源网络地址对应的至少一个位图之后,针对前述至少一个位图中的第一位图,可以判断第一位图中所有字节位置的数值是否均为一,在前述至少一个位图中每个位图中所有字节位置的数值均为一的情况下,确定待检测数据包的源网络地址的度数值等于第一阈值。本实施例中,提供了判断待检测数据包的源网络地址的度数值是否大于或等于第一阈值的另一种具体实现方式,提高了本方案的实现灵活性;且无需对位图中数值为一的字节位置的数量进行统计,而是直接判断位图中所有字节位置的数值是否均为一,进一步缩短了判断过程的时间,提高了判断过程的效率。
进一步地,由于同一个哈希函数对不同的待检测数据包的源网络地址进行哈希计算后,存在得到相同哈希值的可能性,这称为不同的源网络地址在同一个哈希函数处发生碰撞,这样会导致不同的源网络地址会归属到同一个位图中,进而本来不满足过滤条件的数据包可能会因为哈希函数在生成哈希值过程的失误而导致通过过滤,而采用至少两个不同的哈希函数分别对待检测数据包的源网络地址进行哈希计算,在与待检测数据包的源网络地址对应的所有位图均表明待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,才将前述待检测数据包确定为满足过滤条件的数据包,提高了数据包过滤过程的准确率;且避免对不满足过滤条件的数据包的网络地址进行存储,也降低了存储资源的开销。
更进一步地,数据节点上配置的用于对待检测数据包的源网络地址进行哈希计算的哈希函数的个数越多,数据包过滤过程的准确率就越高,但前述哈希函数的个数越多,过滤过程所消耗的时间对应的也会变久;具体的,前述哈希函数的个数可以与待检测数据包的个数以及预先设置的误报率有关,其中,误报率指的是因失误导致本来不满足过滤条件却成功通过过滤器的数据包占所有待检测数据包的概率。假设通过步骤201获取到的待检测数据包的个数为n个,前述哈希函数的个数为r个,且要求的误报率为p,则哈希函数的个数可以通过如下公式计算:
Figure BDA0002288132520000151
其中,与上述每个哈希函数对应的c个位图中c的取值可以通过如下公式计算:
Figure BDA0002288132520000152
作为示例,例如通过步骤201获取到的待检测数据包的个数为100000个,误报率为0.00001,则c的取值为500000,r的取值为5,应当理解,数据节点上配置的用于对待检测数据包的源网络地址进行哈希计算的哈希函数的个数以及每个哈希函数对应的位图的个数还可以结合更多或更少的因素确定,此处不做限定。
204、数据节点获取待检测数据包的目的网络地址。
本申请的一些实施例中,在数据节点确定待检测数据包的源网络地址的度数值小于第一阈值的情况下,会获取待检测数据包的目的网络地址,每个待检测数据包中还携带有目的网络地址,其中,目的网络地址用于标识待检测数据包的目的地,具体可以表现为目的IP地址,或者表现为目的IP地址以及目的端口号,或者还可以表现为其他标识目的地的信息。具体的,针对每个待检测数据包,数据节点需要解析待检测数据包,并获取待检测数据包的目的网络地址;可选地,由于步骤201中也需要解析待检测数据包,则数据节点也可以在通过步骤201解析待检测数据包时,获取并存储源网络地址和目的网络地址,从而数据节点可以从已存储数据中获取待检测数据包的目的网络地址。
205、数据节点通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值。
本申请的一些实施例中,数据节点中还配置有至少一个用于对待检测数据包的目的网络地址进行哈希计算的哈希函数,在获取到待检测数据包的目的网络地址之后,数据节点需要通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值。其中,第二哈希函数为用于对待检测数据包的目的网络地址进行哈希计算的至少一个哈希函数中的任一个哈希函数,第二哈希值为待检测数据包的目的网络地址的至少一个哈希值中由第二哈希函数生成的哈希值。在用于对目的网络地址进行哈希计算的至少一个哈希函数包括至少两个哈希函数的情况下,前述至少两个哈希函数中包括的可以为相同的哈希函数,也可以为不同的哈希函数。进一步地,第一哈希函数和第二哈希函数可以为相同的哈希函数,也可以为不同的哈希函数
具体的,在一种情况下,若数据节点上配置有一个用于对源网络地址进行哈希计算的第一哈希函数,则用于对目的网络地址进行哈希计算的至少一个哈希函数中包括一个第二哈希函数,数据节点在获取到待检测数据包的目的网络地址之后,通过第二哈希函数生成待检测数据包的目的网络地址的一个第二哈希值。
在另一种情况下,若数据节点上配置有多个用于对源网络地址进行哈希计算的哈希函数,数据节点中可以配置一个第二哈希函数,数据节点在获取到待检测数据包的目的网络地址之后,通过第二哈希函数生成待检测数据包的目的网络地址的一个第二哈希值。
在另一种情况下,若数据节点上配置有多个用于对源网络地址进行哈希计算的哈希函数,数据节点中可以配置多个用于对目的网络地址进行哈希计算的哈希函数,针对任一个第二哈希函数,数据节点通过第二哈希函数生成待检测数据包的目的网络地址的一个第二哈希值,从而可以利用多个哈希函数生成目的网络地址的多个哈希值。进一步的,用于对源网络地址进行哈希计算的多个哈希函数与用于对目的网络地址进行哈希计算的多个哈希函数之间可以为一一对应关系,目的网络地址的多个哈希值与源网络地址的多个哈希值的哈希值个数可以相同。
206、数据节点从第一位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置。
本申请的一些实施例中,由于数据节点通过步骤202获取到与待检测数据包的源网络地址对应的至少一个位图,针对前述至少一个位图中的一个第一位图,数据节点可以根据待检测数据包的目的网络地址的一个第二哈希值,从第一位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置。
具体的,在一种情况下,数据节点上配置有一个用于对源网络地址进行哈希计算的第一哈希函数和一个用于对目的网络地址进行哈希计算的第二哈希函数,则数据节点获取与通过前述第一哈希函数生成的一个第一哈希值对应的一个第一位图,并从第一位图包括的至少一个字节位置中获取与一个第二哈希值对应的字节位置。
在另一种情况下,数据节点上配置有多个用于对源网络地址进行哈希计算的哈希函数和一个用于对目的网络地址进行哈希计算的第二哈希函数,则数据节点获取与源网络地址对应的多个位图,目的网络地址至少一个哈希值中包括一个第二哈希值,针对前述多个位图中的每个第一位图,从第一位图包括的多个第一字节位置中获取与前述一个第二哈希值对应的字节位置,从而通过同一个第二哈希值,建立待检测数据包与多个位图中的某一个字节位置之间的对应关系。
在另一种情况下,数据节点上配置有多个用于对源网络地址进行哈希计算的哈希函数和多个用于对目的网络地址进行哈希计算的哈希函数,用于对源网络地址进行哈希计算的多个哈希函数与用于对目的网络地址进行哈希计算的多个哈希函数之间可以为一一对应关系,则数据节点获取与源网络地址对应的多个位图,目的网络地址至少一个哈希值中包括多个哈希值,针对一个第二哈希值,则数据节点可以获取与生成前述第二哈希值的第二哈希函数对应的第一哈希函数,进而获取到与第一哈希函数对应的第一位图,从而从第一位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置,进而建立待检测数据包与多个位图中每个位图中的一个字节位置之间的对应关系。
为进一步理解本方案,请参阅图4,图4为本申请实施例提供的度数值生成方法中待检测数据包与字节位置之间对应关系的一种示意图,图4中以数据节点上配置的用于对源网络地址进行哈希计算的哈希函数为多个,用于对目的网络地址进行哈希计算的哈希函数为一个为例,图4中的dst是destination(目标)的缩写,指的是目的网络地址,假设待检测数据包的src为187.17.120.132,dst为187.17.179.132,有r个对待检测数据包的源网络地址进行哈希计算的哈希函数,分别为h1、h2至hr,其中,h1(src)=1,h2(src)=0,hr(src)=c,则与待检测数据包的源网络地址对应的r个位图,分别为过滤器1中的位图1(也即图4中的Group 1),过滤器2中的位图0(也即图4中的Group 0)以及过滤器r中的位图c(也即图4中的Group c),对于r个位图中的其他位图做省略描述。数据节点配置有1个对待检测数据包的目的网络地址进行哈希计算的哈希函数,为h,h(dst)=2,则从r个位图包括的每个位图中获取字节位置2,并将其确定为与待测试数据包对应的字节位置,也即图4中位图1、位图0以及位图c中黑点的位置,应当理解,图4中的示例仅为方便理解本方案,不用于限定本方案。
207、数据节点将与待检测数据包对应的每个字节位置的数值填充为一,并将待检测数据包确定为无效数据包。
本申请的一些实施例中,数据节点在待检测数据包的源网络地址的度数值小于第一阈值的情况下,可以在获取到与待检测数据包的源网络地址对应的一个或多个位图之后,从每个位图中获取与待检测数据包的目的网络地址对应的一个字节位置,也即获取到与待检测数据包对应的一个或多个字节位置,将与待检测数据包对应的每个字节位置的数值填充为一,并将待检测数据包确定为无效数据包。具体的,数据节点可以删除不满足过滤条件的数据包,也可以为不满足过滤条件的数据包设置无效标识等,此处不做限定。
本申请实施例中,数据节点在获取到待检测数据包的源网络地址之后,在根据与待检测数据包的源网络地址对应的至少一个位图,确定待检测数据包的源网络地址的度数值小于第一阈值的情况下,获取待检测数据包的目的网络地址,进而根据待检测数据包的目的网络地址,获取到与待检测数据包对应的字节位置,并将对应的字节位置的数值填充为一,也即边对待检测数据包进行过滤,边对待检测数据包的源网络地址进行统计,由于攻击设备的源网络地址的度数值会很大,也即远超第一阈值,这种边过滤边统计的方式不会造成对攻击设备的遗漏,且提高了过滤过程的效率。
208、数据节点将待检测数据包确定为满足过滤条件的数据包。
本申请的一些实施例中,数据节点在待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将待检测数据包确定为满足过滤条件的数据包。
209、数据节点根据满足过滤条件的数据包,生成与满足过滤条件的数据包对应的源网络地址的度数值。
本申请的一些实施例中,数据节点重复执行步骤201至步骤208多次,从而对从预设时长内的数据流量中获取的多个待检测数据包中每个待检测数据包执行一次过滤操作,以从多个待检测数据包中获取到多个满足过滤条件的数据包。由于不同的数据包中携带的可以为相同的源网络地址,也可以为不同的源网络地址,则数据节点需要对多个满足过滤条件的数据包进行统计,以生成与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值;也即,数据节点需要确定多个满足过滤条件的数据包的源网络地址为哪些,每种源网络地址的度数值为多少,其中,满足过滤条件的数据包与源网络地址的对应关系为多对多,或者为多对一。数据节点在获取到每个源网络地址的度数值之后,可以判断是否存在度数值大于或等于第四阈值的源网络地址,进而获取度数值大于或等于第四阈值的源网络地址,也即发现了攻击设备的网络地址;其中,第四阈值的取值可以为200、500、800、1000或其他数值,需要结合当前数据节点的数据流量、攻击设备的历史数据包发送量或其他因素确定,此处不做限定。
具体的,在一种情况下,数据节点可以通过可逆草图检测器(invertiblesketches)和去重计数器(distinct counters)对多个满足过滤条件的数据包进行统计,并生成与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值。其中,可逆草图检测器为一种统计源网络地址所对应的目的网络地址个数的可逆草图算法,从而可以用于对多个满足过滤条件的数据包对应的至少一个源网络地址的度数值进行统计,但由于可逆草图检测器在对待检测数据包的源网络地址的度数值进行统计的过程中,不会区分相同的目的网络地址,例如当可逆草图检测器针对某一个源网络地址发送给相同的目的网络地址的两个数据包,可逆草图检测器会视为源网络地址的度数值为2,但源网络地址的度数值指的是与同一源网络地址关联的不同目的网络地址的个数,因此需要去重计数器来过滤相同的目的网络地址。本实施例中,采用可逆草图检测器和去重计数器对多个满足过滤条件的数据包进行组合统计,方便快捷;且可逆草图检测器和去重计数器这种组合具有还原可逆能力,也即根据可逆草图检测器和去重计数器输出的至少一个源网络地址的度数值可以还原出源网络地址,从而在发现攻击设备之后,可以及时的获取到攻击设备的网络地址。
在另一种情况下,数据节点可以通过可逆草图检测器和布隆过滤器(bloomfilter)对多个满足过滤条件的数据包进行统计,并生成与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值。其中,布隆过滤器的功能与去重计数器的功能一样,也是用于过滤相同的目的网络地址。本实施例中,还提供了采用可逆草图检测器和布隆过滤器对多个满足过滤条件的数据包进行统计,提高了本方案的实现灵活性;且可逆草图检测器和布隆过滤器这种组合也具有还原可逆能力,也即根据可逆草图检测器和布隆过滤器输出的至少一个源网络地址的度数值可以还原出源网络地址,从而在发现攻击设备之后,可以及时的获取到攻击设备的网络地址。
进一步地,在生成与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值之后,数据节点可以得到可逆草图检测器和去重计数器输出的,或者,得到可逆草图检测器和布隆过滤器输出的至少一个源网络地址的度数值。前述输出的至少一个源网络地址的度数值具体可以表现为二维位图的形式,二维位图中包括多个数组,具体的,前述多个数组中的每个数组可以为长度为三的数组,其中每个数组中包括源网络地址的度数值计数器、候选源网络地址及指示计数器(indicator counter)。
为进一步理解本方案,请参阅图5,图5为本申请实施例提供的度数值生成方法一种流程示意图。请参阅图5,数据节点中可以设置有过滤模块和计算模块,过滤模块中设置有多个过滤器,每个过滤器由c个位图组成,从而当待检测数据包进入过滤模块时,过滤模块可以通过多个哈希函数(也即图5中的h1、h2至hr),获取每个过滤器中与待检测数据包对应的位图(也即图5中的Group),从而在与待检测数据包对应的位图表明待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,待检测数据包确定为满足过滤条件的数据包,也即进入计数模块;计数模块中可以配置可逆草图检测器和去重计数器的组合方式,也可以配置有可逆草图检测器和布隆过滤器的组合方式,从而可以通过计数模块生成并输出与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值,应当理解,图5中的示例仅为方便理解本方案,不用于限定本方案。
210、数据节点向中心服务器发送与满足过滤条件的数据包对应的源网络地址的度数值。
本申请的一些实施例中,数据节点还可以向中心服务器发送与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值,对应的,中心服务器可以接收到一个或多个数据节点发送的至少一个源网络地址的度数值,进而中心服务器可以对多个数据节点生成的至少一个源网络地址的度数值进行综合检测,从而中心服务器可以对更大范围的攻击设备进行监控;由于单个数据节点仅将源网络地址的度数值小的数据包过滤掉,因此在中心服务器进行综合检测时不会造成精度的损失,且提高了中心服务器进行综合检测的效率;进一步地,数据节点输出的至少一个源网络地址的度数值采用的是二位位图的形式,在综合检测的过程中可以达到高效便利的效果;更进一步地,在数据节点采用的为可逆草图检测器和去重计数器组合统计方式,或者,采用的为可逆草图检测器和去重计数器组合统计方式,可以根据及时获取到攻击设备的网络地址,提高了中心服务器对攻击设备的监控精细度。
步骤210为可选步骤,若不执行步骤210,则在步骤209之后,可以视为执行结束。在执行步骤210的情况下,本申请实施例不限定步骤201至208与步骤209至210之间的执行次数关系,可以为在执行多次步骤201至208之后,执行一次步骤209至210。
(2)判断条件形成步骤和过滤步骤分离
本申请实施例中,请参阅图6,图6为本申请实施例提供的度数值生成方法的一种流程示意图,本申请实施例提供的度数值生成方法可以包括:
601、数据节点获取待检测数据包集合。
本申请的一些实施例中,数据节点可以获取预设时长内的数据流量,以从预设时长内的数据流量中获取到待检测数据包集合,由于具体实现方式已在图2对应的实施例中的步骤201中进行了介绍,此处不再赘述。
602、数据节点针对每个待检测数据包,获取待检测数据包的源网络地址和目的网络地址。
本申请的一些实施例中,数据节点在获取到待检测数据包集合之后,可以获取到多个待检测数据包,针对每一个待检测数据包,数据节点都可以获取待检测数据包的源网络地址和目的网络地址,具体获取待检测数据包的源网络地址和目的网络地址的具体实现方式在图2对应的实施例中的步骤201和步骤204中进行了介绍,此处不再赘述。
603、数据节点通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值,并通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值。
本申请实施例中,对于数据节点通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值的具体实现方式,可以参考图2对应实施例中步骤202中对于数据节点通过哈希函数,生成源网络地址的哈希值的描述;对于数据节点通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值的具体实现方式,可以参考图2对应实施例中步骤205处的描述,此处不再赘述。
604、数据节点获取与待检测数据包的源网络地址的至少一个哈希值对应的至少一个位图,并从每个位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置。
本申请实施例中,第二哈希值指的是待检测数据包的目的网络地址的至少一个哈希值中的一个哈希值,对于数据节点获取与待检测数据包的源网络地址的至少一个哈希值对应的至少一个位图的具体实现方式,可以参考图2对应实施例中步骤202中对于根据源网络地址的至少一个哈希值获取对应的至少一个位图的描述;对于数据节点从每个位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置,可以参考图2对应实施例中步骤206中的描述,此处不再赘述。
605、数据节点将与待检测数据包对应的每个字节位置的数值填充为一。
本申请的一些实施例中,数据节点在确定了与待检测数据包的目的网络地址的至少一个哈希值中每个第二哈希值对应的字节位置之后,也即确定了与待检测数据包对应的至少一个位图包括的每个位图中对应的字节位置,从而可以将与待检测数据包对应的至少一个字节位置填充为一,在数据节点对待检测数据包集合中的每个待检测数据包都执行完步骤602至605之后,可以完成判断条件的形成步骤,从而可以开始执行对待检测数据包集合中的所有待检测数据包的过滤步骤,也即开始执行步骤606至610。需要说明的是,本申请实施例中,不限定步骤601和步骤602至605的执行次数,可以在执行一次步骤601之后,多次执行步骤602至605。
606、数据节点获取待检测数据包的源网络地址。
607、数据节点获取与待检测数据包的源网络地址对应的至少一个位图。
608、数据节点根据至少一个位图判断待检测数据包的源网络地址的度数值是否大于或等于第一阈值,若小于第一阈值,则进入步骤609;若大于或等于第一阈值,则进入步骤610。
本申请实施例中,数据节点执行步骤606至608的具体实现方式可以参考图2对应实施例中的步骤201至203,此处不做赘述。
609、数据节点将待检测数据包确定为无效数据包。
本申请的一些实施例中,数据节点对于待检测数据包的源网络地址的度数值小于第一阈值的数据包,可以确定为无效数据包。具体的,数据节点可以删除不满足过滤条件的数据包,也可以为不满足过滤条件的数据包设置无效标识等,此处不做限定。
610、数据节点将待检测数据包确定为满足过滤条件的数据包。
611、数据节点根据满足过滤条件的数据包,生成与满足过滤条件的数据包对应的源网络地址的度数值。
612、数据节点向中心服务器发送与满足过滤条件的数据包对应的源网络地址的度数值。
本申请实施例中,数据节点执行步骤610至612的具体实现方式可以参考图2对应实施例中的步骤208至210,此处不做赘述。需要说明的是,本申请实施例中,不限定步骤602至605、步骤606至610以及步骤611至612之间的执行次数,可以为在执行多次步骤602至605之后,再开始执行多次步骤606至610,再执行一次步骤611至612。
本申请实施例中,数据节点先利用待检测数据包集合中的所有数据包对待检测数据包的源网络度数值进行统计,进而再将待检测数据包集合中的所有数据包进行过滤,提高了过滤过程的精准度。
本申请实施例中,数据节点在获取待检测数据包之后,仅将源网络地址的度数值大于或等于第一阈值的数据包确定为满足过滤条件的数据包,从而仅生成与所述多个满足过滤条件的数据包对应的至少一个源网络地址的度数值,由于攻击设备会向其他网络设备发送大量的数据包,从而攻击设备的源网络地址的度数值往往很大,仅根据多个满足过滤条件的数据包生成至少一个源网络地址的度数值并不会导致遗漏攻击设备的源网络地址;且本领域技术人员在研发过程中对网络流量中的数据包进行分析,发现网络流量中低度数值的数据包占据了很大的比重,仅对源网络地址的度数值大于或等于第一阈值的多个满足过滤条件的数据包进行分析,大大的降低了待分析数据包的数量,极大的提高了源网络地址的度数值的分析效率;且数据节点仅需对多个满足过滤条件的数据包的网络地址进行存储,也极大的减少了存储资源的开销。
二、判断目的网络地址的度数值是否大于或等于第一阈值
本申请实施例中,在数据节点对被攻击设备进行检测的过程中,针对每个待检测数据包,数据节点需要判断待检测数据包的目的网络地址的度数值是否大于或等于第一阈值,对应的,为了形成待检测数据包的目的网络地址的度数值的判断条件,数据节点也可以采取判断条件形成步骤与过滤步骤融合,以及,判断条件形成步骤和过滤步骤分离这两种方式,以下对前述两种方式进行分别介绍。
(1)判断条件形成步骤与过滤步骤融合
本申请实施例中,请参阅图7,图7为本申请实施例提供的度数值生成方法的一种流程示意图,本申请实施例提供的度数值生成方法可以包括:
701、数据节点获取待检测数据包的目的网络地址。
702、数据节点获取与待检测数据包的目的网络地址对应的至少一个位图。
703、数据节点根据至少一个位图判断待检测数据包的目的网络地址的度数值是否大于或等于第二阈值,若小于第二阈值,则进入步骤704;若大于或等于第二阈值,则进入步骤708。
本申请实施例中,第二阈值为与第一阈值相对的概念,第二阈值的作用为过滤掉不可能是发送给被攻击设备的数据包,第二阈值的取值可以与第一阈值的取值相同,也可以不同,第二阈值的取值可以为4、5、8、10、12或其他数值等。
704、数据节点获取待检测数据包的源网络地址。
705、数据节点通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值。
706、数据节点从第二位图包括的至少一个字节位置中获取与第四哈希值对应的字节位置。
本申请实施例中,第二位图指的是在对待检测数据包的目的网络地址的度数值进行统计,且对多个待检测数据包进行过滤的过程中,与待检测数据包的目的网络地址对应的至少一个位图中的一个位图,第二位图是从与第二哈希函数对应的多个位图中获取的与第三哈希值对应的位图,第二哈希函数是在对待检测数据包的目的网络地址的度数值进行统计的过程中,对待检测数据包的目的网络地址进行哈希计算的多个哈希函数中的一个哈希函数,第三哈希值是通过第二哈希函数生成的一个哈希值,第四哈希值是在对待检测数据包的目的网络地址的度数值进行统计的过程中,对待检测数据包的源网络地址进行哈希计算,生成的至少一个哈希值中的一个哈希值。
707、数据节点将与待检测数据包对应的每个字节位置的数值填充为一,并将待检测数据包确定为无效数据包。
708、数据节点将待检测数据包确定为满足过滤条件的数据包。
709、数据节点根据满足过滤条件的数据包,生成与满足过滤条件的数据包对应的目的网络地址的度数值。
710、数据节点向中心服务器发送与满足过滤条件的数据包对应的目的网络地址的度数值。
本申请实施例中,数据节点执行步骤701至710的具体实现方式可以参考图2对应实施例中的步骤201至210,区别在于,将步骤201至210中的源网络地址替换为目的网络地址,将步骤201至210中的目的网络地址替换为源网络地址,此处不做赘述。
(2)判断条件形成步骤与过滤步骤分离
本申请实施例中,请参阅图8,图8为本申请实施例提供的度数值生成方法的一种流程示意图,本申请实施例提供的度数值生成方法可以包括:
801、数据节点获取待检测数据包集合。
802、数据节点针对每个待检测数据包,获取待检测数据包的目的网络地址和源网络地址。
803、数据节点通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值,并通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值。
804、数据节点获取与待检测数据包的目的网络地址的至少一个哈希值对应的至少一个位图,并从每个位图包括的至少一个字节位置中获取与第四哈希值对应的字节位置。
805、数据节点将与待检测数据包对应的每个字节位置的数值填充为一。
806、数据节点获取待检测数据包的目的网络地址。
807、数据节点获取与待检测数据包的目的网络地址对应的至少一个位图。
808、数据节点根据至少一个位图判断待检测数据包的目的网络地址的度数值是否大于或等于第二阈值,若小于第二阈值,则进入步骤809;若大于或等于第二阈值,则进入步骤810。
809、数据节点将待检测数据包确定为无效数据包。
810、数据节点将待检测数据包确定为满足过滤条件的数据包。
811、数据节点根据满足过滤条件的数据包,生成与满足过滤条件的数据包对应的目的网络地址的度数值。
812、数据节点向中心服务器发送与满足过滤条件的数据包对应的目的网络地址的度数值。
本申请实施例中,数据节点执行步骤801至812的具体实现方式可以参考图2对应实施例中的步骤601至612,区别在于,将步骤601至612中的源网络地址替换为目的网络地址,将步骤601至612中的目的网络地址替换为源网络地址,此处不做赘述。对于第四哈希值以及第二阈值的概念,在图7对应的实施例中也已经详细介绍,此处不做赘述。
本申请实施例中,数据节点在获取待检测数据包之后,仅将目的网络地址的度数值大于或等于第一阈值的数据包确定为满足过滤条件的数据包,从而仅生成与所述多个满足过滤条件的数据包对应的至少一个目的网络地址的度数值,由于被攻击设备往往会接收到大量的攻击数据包,从而被攻击设备的网络地址的度数值往往很大,仅根据多个满足过滤条件的数据包生成至少一个目的网络地址的度数值并不会导致遗漏被攻击设备的目的网络地址;且本领域技术人员在研发过程中对网络流量中的数据包进行分析,发现网络流量中低度数值的数据包占据了很大的比重,仅对目的网络地址的度数值大于或等于第一阈值的多个满足过滤条件的数据包进行分析,大大的降低了待分析数据包的数量,极大的提高了目的网络地址的度数值的分析效率;且数据节点仅需对多个满足过滤条件的数据包的网络地址进行存储,也极大的减少了存储资源的开销。
进一步地,数据节点还可以向中心服务器发送与多个满足过滤条件的数据包对应的至少一个目的网络地址的度数值,对应的,中心服务器可以接收到一个或多个数据节点发送的至少一个目的网络地址的度数值,进而中心服务器可以对多个数据节点生成的至少一个目的网络地址的度数值进行综合检测,从而中心服务器可以对更大范围的被攻击设备进行监控;由于单个数据节点仅将目的网络地址的度数值小的数据包过滤掉,因此在中心服务器进行综合检测时不会造成精度的损失,且提高了中心服务器进行综合检测的效率;进一步地,数据节点输出的至少一个目的网络地址的度数值采用的是二位位图的形式,在综合检测的过程中可以达到高效便利的效果;更进一步地,在数据节点采用的为可逆草图检测器和去重计数器组合统计方式,或者,采用的为可逆草图检测器和去重计数器组合统计方式,可以根据及时获取到攻击设备的网络地址,提高了中心服务器对被攻击设备的监控精细度。
为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关装置。请参阅图9,图9为本申请实施例提供的度数值生成装置的一种结构示意图,度数值生成装置900包括获取单元901、确定单元902和生成单元903,其中,获取单元901,用于获取待检测数据包的源网络地址;确定单元902,用于在待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将待检测数据包确定为满足过滤条件的数据包;生成单元903,用于根据满足过滤条件的数据包,生成与满足过滤条件的数据包对应的源网络地址的度数值。
本申请实施例中,获取单元901在获取待检测数据包之后,确定单元902仅将源网络地址的度数值大于或等于第一阈值的数据包确定为满足过滤条件的数据包,从而生成单元903仅生成与所述多个满足过滤条件的数据包对应的至少一个源网络地址的度数值,由于攻击设备会向其他网络设备发送大量的数据包,从而攻击设备的源网络地址的度数值往往很大,仅根据多个满足过滤条件的数据包生成至少一个源网络地址的度数值并不会导致遗漏攻击设备的源网络地址;且本领域技术人员在研发过程中对网络流量中的数据包进行分析,发现网络流量中低度数值的数据包占据了很大的比重,仅对源网络地址的度数值大于或等于第一阈值的多个满足过滤条件的数据包进行分析,大大的降低了待分析数据包的数量,极大的提高了源网络地址的度数值的分析效率;且度数值生成装置900仅需对多个满足过滤条件的数据包的网络地址进行存储,也极大的减少了存储资源的开销。
在一种可能的设计中,获取单元901,还用于获取与待检测数据包的源网络地址对应的至少一个位图;确定单元902,具体用于在根据与待检测数据包的源网络地址对应的至少一个位图,确定待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将待检测数据包确定为满足过滤条件的数据包。
本申请实施例中,确定单元902通过位图来确定待检测数据包的源网络地址的度数值是否大于或等于第一阈值,由于位图数据结构紧凑,占用空间小,进一步减少了存储资源的开销。
在一种可能的设计中,获取单元901,具体用于:通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值,用于生成待检测数据包的源网络地址的哈希值的至少一个哈希函数中的每个哈希函数对应至少一个位图;从第一哈希函数对应的至少一个位图中,获取与第一哈希值对应的第一位图,其中,第一哈希函数为用于生成待检测数据包的源网络地址的哈希值的至少一个哈希函数中的一个哈希函数,第一哈希值为待检测数据包的源网络地址的至少一个哈希值中通过第一哈希函数生成的哈希值,第一位图为与待检测数据包的源网络地址对应的至少一个位图中的一个位图。
本申请实施例中,通过上述方式,提供了一种通过哈希函数完成待检测数据包的源网络地址与位图之间对应关系的具体实现方式,提高了本方案的可执行性;且采用哈希函数来实现检测数据包与位图之间的对应,方便快捷,有利于提高过滤过程的效率。
在一种可能的设计中,用于生成待检测数据包的源网络地址的至少一个哈希值的至少一个哈希函数包括至少两个哈希函数,至少两个哈希函数包括的为不同的哈希函数。
本申请实施例中,由于同一个哈希函数对不同的待检测数据包的源网络地址进行哈希计算后,存在得到相同哈希值的可能性,这称为不同的源网络地址在同一个哈希函数处发生碰撞,这样会导致不同的源网络地址会归属到同一个位图中,进而本来不满足过滤条件的数据包可能会因为哈希函数在生成哈希值过程的失误而导致通过过滤,而采用至少两个不同的哈希函数分别对待检测数据包的源网络地址进行哈希计算,在与待检测数据包的源网络地址对应的所有位图均表明待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,才将前述待检测数据包确定为满足过滤条件的数据包,提高了数据包过滤过程的准确率;且避免对不满足过滤条件的数据包的网络地址进行存储,也降低了存储资源的开销。
在一种可能的设计中,确定单元902,还用于在与待检测数据包的源网络地址对应的每个位图中数值为一的字节位置的数量大于或等于第一阈值情况下,确定待检测数据包的源网络地址的度数值大于或等于第一阈值。
本申请实施例中,确定单元902通过与待检测数据包的源网络地址对应的位图中数值为一的字节位置的数量,来判断待检测数据包的源网络地址的度数值是否大于或等于第一阈值,也即提供了一种具体的判断方式,提高了本方案的可执行性;且利用位图中数值为一的字节位置的数量进行判断,方便快捷,易于实现。
在一种可能的设计中,确定单元902,具体用于在与待检测数据包的源网络地址对应的每个位图中所有字节位置的数值均为一的情况下,确定待检测数据包的源网络地址的度数值等于第一阈值。
本申请实施例中,提供了判断待检测数据包的源网络地址的度数值是否大于或等于第一阈值的另一种具体实现方式,提高了本方案的实现灵活性;且无需对位图中数值为一的字节位置的数量进行统计,而是直接判断位图中所有字节位置的数值是否均为一,进一步缩短了判断过程的时间,提高了判断过程的效率。
在一种可能的设计中,请参阅图10,图10为本申请实施例提供的度数值生成装置的一种结构示意图,获取单元901,还用于在根据与待检测数据包的源网络地址对应的至少一个位图,确定待检测数据包的源网络地址的度数值小于第一阈值的情况下,获取待检测数据包的目的网络地址;生成单元903,还用于通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值;获取单元901,还用于从第一位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置,其中,第一位图为与待检测数据包的源网络地址对应的至少一个位图中的一个位图,第二哈希值为待检测数据包的目的网络地址的至少一个哈希值的一个哈希值;度数值生成装置900还包括:填充单元904,用于将与第二哈希值对应的字节位置的数值填充为一,并将待检测数据包确定为无效数据包。
本申请实施例中,获取单元901在获取到待检测数据包的源网络地址之后,在根据与待检测数据包的源网络地址对应的至少一个位图,确定待检测数据包的源网络地址的度数值小于第一阈值的情况下,获取待检测数据包的目的网络地址,进而获取单元901根据待检测数据包的目的网络地址,获取到与待检测数据包对应的字节位置,填充单元904将对应的字节位置的数值填充为一,也即边对待检测数据包进行过滤,边对待检测数据包的源网络地址进行统计,由于攻击设备的源网络地址的度数值会很大,也即远超第一阈值,这种边过滤边统计的方式不会造成对攻击设备的遗漏,且提高了过滤过程的效率。
在一种可能的设计中,请参阅图10,获取单元901,还用于获取待检测数据包集合,待检测数据包集合中包括多个待检测数据包;获取单元901,还用于针对每个待检测数据包,获取待检测数据包的源网络地址和目的网络地址;生成单元903,还用于通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值,并通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值;获取单元901,还用于获取与待检测数据包的源网络地址的至少一个哈希值对应的至少一个位图,并从每个位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置,其中,第二哈希值为待检测数据包的目的网络地址的至少一个哈希值的一个哈希值;度数值生成装置900还包括:填充单元904,用于将与第二哈希值对应的字节位置的数值填充为一。
本申请实施例中,度数值生成装置900先利用待检测数据包集合中的所有数据包对待检测数据包的源网络度数值进行统计,进而再将待检测数据包集合中的所有数据包进行过滤,提高了过滤过程的精准度。
在一种可能的设计中,生成单元903,具体用于通过可逆草图检测器和去重计数器对满足过滤条件的数据包进行统计,并生成与满足过滤条件的数据包对应的源网络地址的度数值。
本申请实施例中,生成单元903采用可逆草图检测器和去重计数器对多个满足过滤条件的数据包进行组合统计,方便快捷;且可逆草图检测器和去重计数器这种组合具有还原可逆能力,也即根据可逆草图检测器和去重计数器输出的至少一个源网络地址的度数值可以还原出源网络地址,从而在发现攻击设备之后,可以及时的获取到攻击设备的网络地址。
在一种可能的设计中,生成单元903,具体用于通过可逆草图检测器和布隆过滤器对满足过滤条件的数据包进行统计,并生成与满足过滤条件的数据包对应的源网络地址的度数值。
本申请实施例中,还提供了采用可逆草图检测器和布隆过滤器对多个满足过滤条件的数据包进行统计,提高了本方案的实现灵活性;且可逆草图检测器和布隆过滤器这种组合也具有还原可逆能力,也即根据可逆草图检测器和布隆过滤器输出的至少一个源网络地址的度数值可以还原出源网络地址,从而在发现攻击设备之后,可以及时的获取到攻击设备的网络地址。
在一种可能的设计中,请参阅图10,度数值生成装置900还包括:发送单元905,用于向中心服务器发送与满足过滤条件的数据包对应的源网络地址的度数值。
本申请实施例中,度数值生成装置900还可以向中心服务器发送与多个满足过滤条件的数据包对应的至少一个源网络地址的度数值,对应的,中心服务器可以接收到一个或多个数据节点发送的至少一个源网络地址的度数值,进而中心服务器可以对多个数据节点生成的至少一个源网络地址的度数值进行综合检测,从而中心服务器可以对更大范围的攻击设备进行监控;由于单个数据节点仅将源网络地址的度数值小的数据包过滤掉,因此在中心服务器进行综合检测时不会造成精度的损失,且提高了中心服务器进行综合检测的效率;进一步地,数据节点输出的至少一个源网络地址的度数值采用的是二位位图的形式,在综合检测的过程中可以达到高效便利的效果;更进一步地,在数据节点采用的为可逆草图检测器和去重计数器组合统计方式,或者,采用的为可逆草图检测器和去重计数器组合统计方式,可以根据及时获取到攻击设备的网络地址,提高了中心服务器对攻击设备的监控精细度。
需要说明的是,上述度数值生成装置900中各模块/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例中图2和图6对应的方法实施例基于同一构思,具体内容可参见本申请前述所示的图2和图6对应的方法实施例中的叙述,此处不再赘述。
本申请实施例还提供了另一种度数值生成装置,请参阅图11,图11为本申请实施例提供的度数值生成装置的一种结构示意图,度数值生成装置1100包括获取单元1101、确定单元1102和生成单元1103,其中,获取单元1101,用于获取待检测数据包的目的网络地址;确定单元1102,用于在待检测数据包的目的网络地址的度数值大于或等于第二阈值的情况下,将待检测数据包确定为满足过滤条件的数据包;生成单元1103,用于根据满足过滤条件的数据包,生成与满足过滤条件的数据包对应的目的网络地址的度数值。
本申请实施例中,获取单元1101在获取待检测数据包之后,确定单元1102仅将目的网络地址的度数值大于或等于第一阈值的数据包确定为满足过滤条件的数据包,从而生成单元1103仅生成与所述多个满足过滤条件的数据包对应的至少一个目的网络地址的度数值,由于被攻击设备往往会接收到大量的攻击数据包,从而被攻击设备的网络地址的度数值往往很大,仅根据多个满足过滤条件的数据包生成至少一个目的网络地址的度数值并不会导致遗漏被攻击设备的目的网络地址;且本领域技术人员在研发过程中对网络流量中的数据包进行分析,发现网络流量中低度数值的数据包占据了很大的比重,仅对目的网络地址的度数值大于或等于第一阈值的多个满足过滤条件的数据包进行分析,大大的降低了待分析数据包的数量,极大的提高了目的网络地址的度数值的分析效率;且度数值生成装置1100仅需对多个满足过滤条件的数据包的网络地址进行存储,也极大的减少了存储资源的开销。
在一种可能的设计中,获取单元1101,还用于获取与待检测数据包的目的网络地址对应的至少一个位图;确定单元1102,具体用于在根据与待检测数据包的目的网络地址对应的至少一个位图,确定待检测数据包的目的网络地址的度数值大于或等于第二阈值的情况下,将待检测数据包确定为满足过滤条件的数据包。
本申请实施例中,确定单元1102通过位图来确定待检测数据包的目的网络地址的度数值是否大于或等于第二阈值,由于位图数据结构紧凑,占用空间小,进一步减少了存储资源的开销。
在一种可能的设计中,获取单元1101,具体用于:通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值,用于生成待检测数据包的源网络地址的哈希值的至少一个哈希函数中的每个哈希函数对应至少一个位图;从第二哈希函数对应的至少一个位图中,获取与第三哈希值对应的第二位图,其中,第二哈希函数为用于生成待检测数据包的源网络地址的哈希值的至少一个哈希函数中的一个哈希函数,第三哈希值为待检测数据包的目的网络地址的至少一个哈希值中通过第二哈希函数生成的哈希值,第二位图为与待检测数据包的目的网络地址对应的至少一个位图中的一个位图。
本申请实施例中,通过上述方式,提供了一种通过哈希函数完成待检测数据包的目的网络地址与位图之间对应关系的具体实现方式,提高了本方案的可执行性;且采用哈希函数来实现检测数据包与位图之间的对应,方便快捷,有利于提高过滤过程的效率。
在一种可能的设计中,用于生成待检测数据包的目的网络地址的哈希值的至少一个哈希函数中包括至少两个哈希函数,至少两个哈希函数包括的为不同的哈希函数。
本申请实施例中,由于同一个哈希函数对不同的待检测数据包的目的网络地址进行哈希计算后,存在得到相同哈希值的可能性,这称为不同的目的网络地址在同一个哈希函数处发生碰撞,这样会导致不同的目的网络地址会归属到同一个位图中,进而本来不满足过滤条件的数据包可能会因为哈希函数在生成哈希值过程的失误而导致通过过滤,而采用至少两个不同的哈希函数分别对待检测数据包的目的网络地址进行哈希计算,在与待检测数据包的目的网络地址对应的所有位图均表明待检测数据包的目的网络地址的度数值大于或等于第一阈值的情况下,才将前述待检测数据包确定为满足过滤条件的数据包,提高了数据包过滤过程的准确率;且避免对不满足过滤条件的数据包的网络地址进行存储,也降低了存储资源的开销。
在一种可能的设计中,确定单元1102,还用于在与待检测数据包的目的网络地址对应的每个位图中数值为一的字节位置的数量大于或等于第二阈值情况下,确定待检测数据包的目的网络地址的度数值大于或等于第二阈值。
本申请实施例中,确定单元1102通过与待检测数据包的源网络地址对应的位图中数值为一的字节位置的数量,来判断待检测数据包的源网络地址的度数值是否大于或等于第二阈值,也即提供了一种具体的判断方式,提高了本方案的可执行性;且利用位图中数值为一的字节位置的数量进行判断,方便快捷,易于实现。
在一种可能的设计中,确定单元1102,具体用于在与待检测数据包的目的网络地址对应的每个位图中所有字节位置的数值均为一的情况下,确定待检测数据包的目的网络地址的度数值等于第二阈值。
本申请实施例中,提供了判断待检测数据包的源网络地址的度数值是否大于或等于第二阈值的另一种具体实现方式,提高了本方案的实现灵活性;且无需对位图中数值为一的字节位置的数量进行统计,而是直接判断位图中所有字节位置的数值是否均为一,进一步缩短了判断过程的时间,提高了判断过程的效率。
在一种可能的设计中,请参阅图12,图12为本申请实施例提供的度数值生成装置的一种结构示意图,获取单元1101,还用于在根据与待检测数据包的目的网络地址对应的至少一个位图,确定待检测数据包的目的网络地址的度数值小于第二阈值的情况下,获取待检测数据包的源网络地址;生成单元1103,还用于通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值;获取单元1101,还用于从第二位图包括的至少一个字节位置中获取与第四哈希值对应的字节位置,其中,第二位图为与待检测数据包的目的网络地址对应的至少一个位图中的一个位图,第四哈希值为待检测数据包的源网络地址的至少一个哈希值的一个哈希值;度数值生成装置1100还包括:填充单元1104,用于将与第四哈希值对应的字节位置的数值填充为一,并将待检测数据包确定为无效数据包。
本申请实施例中,获取单元1101在获取到待检测数据包的目的网络地址之后,在根据与待检测数据包的目的网络地址对应的至少一个位图,确定待检测数据包的目的网络地址的度数值小于第二阈值的情况下,获取待检测数据包的源网络地址,进而获取单元1101根据待检测数据包的源网络地址,获取到与待检测数据包对应的字节位置,填充单元1104将对应的字节位置的数值填充为一,也即边对待检测数据包进行过滤,边对待检测数据包的目的网络地址进行统计,由于被攻击设备的目的网络地址的度数值会很大,也即远超第二阈值,这种边过滤边统计的方式不会造成对攻击设备的遗漏,且提高了过滤过程的效率。
在一种可能的设计中,请参阅图12,获取单元1101,还用于获取待检测数据包集合,待检测数据包集合中包括多个待检测数据包;获取单元1101,还用于针对每个待检测数据包,获取待检测数据包的目的网络地址和源网络地址;生成单元1103,还用于通过至少一个哈希函数,生成待检测数据包的目的网络地址的至少一个哈希值,并通过至少一个哈希函数,生成待检测数据包的源网络地址的至少一个哈希值;获取单元1101,还用于获取与待检测数据包的目的网络地址的至少一个哈希值对应的至少一个位图,并从每个位图包括的至少一个字节位置中获取与第四哈希值对应的字节位置,其中,第四哈希值为待检测数据包的源网络地址的至少一个哈希值的一个哈希值;度数值生成装置1100还包括:填充单元1104,用于将与第四哈希值对应的字节位置的数值填充为一。
本申请实施例中,度数值生成装置1100先利用待检测数据包集合中的所有数据包对待检测数据包的目的网络度数值进行统计,进而再将待检测数据包集合中的所有数据包进行过滤,提高了过滤过程的精准度。
在一种可能的设计中,生成单元1103,具体用于通过可逆草图检测器和去重计数器对满足过滤条件的数据包进行统计,并生成与满足过滤条件的数据包对应的目的网络地址的度数值。
本申请实施例中,生成单元1103采用可逆草图检测器和去重计数器对多个满足过滤条件的数据包进行组合统计,方便快捷;且可逆草图检测器和去重计数器这种组合具有还原可逆能力,也即根据可逆草图检测器和去重计数器输出的至少一个目的网络地址的度数值可以还原出源网络地址,从而在发现被攻击设备之后,可以及时的获取到被攻击设备的网络地址。
在一种可能的设计中,生成单元1103,具体用于通过可逆草图检测器和布隆过滤器对满足过滤条件的数据包进行统计,并生成与满足过滤条件的数据包对应的目的网络地址的度数值。
本申请实施例中,还提供了采用可逆草图检测器和布隆过滤器对多个满足过滤条件的数据包进行统计,提高了本方案的实现灵活性;且可逆草图检测器和布隆过滤器这种组合也具有还原可逆能力,也即根据可逆草图检测器和布隆过滤器输出的至少一个目的网络地址的度数值可以还原出目的网络地址,从而在发现被攻击设备之后,可以及时的获取到被攻击设备的网络地址。
在一种可能的设计中,请参阅图12,度数值生成装置1100还包括:发送单元1105,用于向中心服务器发送与满足过滤条件的数据包对应的目的网络地址的度数值。
本申请实施例中,度数值生成装置1100还可以向中心服务器发送与多个满足过滤条件的数据包对应的至少一个目的网络地址的度数值,对应的,中心服务器可以接收到一个或多个数据节点发送的至少一个目的网络地址的度数值,进而中心服务器可以对多个数据节点生成的至少一个目的网络地址的度数值进行综合检测,从而中心服务器可以对更大范围的被攻击设备进行监控;由于单个数据节点仅将目的网络地址的度数值小的数据包过滤掉,因此在中心服务器进行综合检测时不会造成精度的损失,且提高了中心服务器进行综合检测的效率;进一步地,数据节点输出的至少一个目的网络地址的度数值采用的是二位位图的形式,在综合检测的过程中可以达到高效便利的效果;更进一步地,在数据节点采用的为可逆草图检测器和去重计数器组合统计方式,或者,采用的为可逆草图检测器和去重计数器组合统计方式,可以根据及时获取到攻击设备的网络地址,提高了中心服务器对被攻击设备的监控精细度。
需要说明的是,上述度数值生成装置1100中各模块/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例中图7和图8对应的方法实施例基于同一构思,具体内容可参见本申请前述所示的图7和图8对应的方法实施例中的叙述,此处不再赘述。
本申请实施例中还提供一种数据节点,请参阅图13,图13是本申请实施例提供的数据节点一种结构示意图,数据节点1300上可以部署有图9和图10对应实施例中所描述的度数值生成装置900,用于实现图2和图6对应实施例中数据节点的功能,或者,数据节点1300上可以部署有图11和图12对应实施例中所描述的度数值生成装置1100,用于实现图7和图8对应实施例中数据节点的功能。具体的,数据节点1300可以包括处理器1301(其中数据节点1300中的处理器1301的数量可以一个或多个,图13中以一个处理器为例)、存储器1302、通信接口1303和输入/输出接口1304,其中,处理器1301可以包括应用处理器13011和通信处理器13012。在本申请的一些实施例中,处理器1301、存储器1302、通信接口1303和输入/输出接口1304可通过总线或其它方式连接。
存储器1302可以包括只读存储器和随机存取存储器,并向处理器1301提供指令和数据。存储器1302的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory,NVRAM)。存储器1302存储有处理器和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。
处理器1301控制通信设备的操作。具体的应用中,通信设备的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1301中,或者由处理器1301实现。处理器1301可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1301可以是通用处理器、数字信号处理器(digital signal processing,DSP)、微处理器或微控制器,还可进一步包括专用集成电路(application specific integratedcircuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1301可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1302,处理器1301读取存储器1302中的信息,结合其硬件完成上述方法的步骤。
通信接口1303可以是网络适配卡。可选地,数据节点1300还可以包括输入/输出接口1304,输入/输出接口1304连接有输入/输出设备,用于接收输入的信息,输出操作结果。输入/输出接口1304可以为鼠标、键盘、显示器、或者光驱等。
本申请实施例中,应用处理器13011,用于执行图2和图6对应实施例中的数据节点执行的度数值生成方法,或者,用于执行图7和图8对应实施例中数据节点执行的度数值生成方法。需要说明的是,对于应用处理器13011执行度数值生成方法的具体实现方式,均可以参考图2至图8对应的各个方法实施例中的叙述,此处不再一一赘述。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有用于进行信号处理的程序,当其在计算机上运行时,使得计算机执行如前述图2至图6所示实施例描述的方法中数据节点所执行的步骤,或者,使得计算机执行如前述图7至图8所示实施例描述的方法中数据节点所执行的步骤。
本申请实施例中还提供一种电路系统,电路系统包括处理电路,处理电路配置为执行如前述图2至图6所示实施例描述的方法中数据节点所执行的步骤,或者,配置为执行如前述图7至图8所示实施例描述的方法中数据节点所执行的步骤。
本申请实施例中还提供一种包括计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图2至图6所示实施例描述的方法中数据节点所执行的步骤,或者,使得计算机执行如前述图7至图8所示实施例描述的方法中数据节点所执行的步骤。
本申请实施例提供的数据节点具体可以为芯片,芯片包括:处理单元和通信单元,所述处理单元例如可以是处理器,所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,使得数据节点执行如前述图2至图6所示实施例描述的方法中数据节点所执行的步骤,或者,使得数据节点执行如前述图7至图8所示实施例描述的方法中数据节点所执行的步骤。可选地,所述存储单元为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是所述度数值生成装置端内的位于所述芯片外部的存储单元,如只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
其中,上述任一处提到的处理器,可以是一个通用中央处理器,微处理器,ASIC,或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。

Claims (39)

1.一种度数值生成方法,其特征在于,所述方法包括:
获取待检测数据包的源网络地址;
在所述待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将所述待检测数据包确定为满足过滤条件的数据包,其中,所述源网络地址的度数值指的是与同一所述源网络地址相关联的不同目的网络地址的个数;
根据所述满足过滤条件的数据包,生成与所述满足过滤条件的数据包对应的源网络地址的度数值;
所述方法还包括:
获取与所述待检测数据包的源网络地址对应的至少一个位图;
所述在所述待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将所述待检测数据包确定为满足过滤条件的数据包,包括:
在根据与所述待检测数据包的源网络地址对应的至少一个位图,确定所述待检测数据包的源网络地址的度数值大于或等于所述第一阈值的情况下,将所述待检测数据包确定为所述满足过滤条件的数据包;
所述获取与所述待检测数据包的源网络地址对应的至少一个位图,包括:
通过至少一个哈希函数,生成所述待检测数据包的源网络地址的至少一个哈希值,用于生成所述待检测数据包的源网络地址的哈希值的至少一个哈希函数中的每个哈希函数对应至少一个位图;
从第一哈希函数对应的至少一个位图中,获取与第一哈希值对应的第一位图,其中,所述第一哈希函数为用于生成所述待检测数据包的源网络地址的哈希值的至少一个哈希函数中的任意一个哈希函数,所述第一哈希值为所述待检测数据包的源网络地址的至少一个哈希值中通过所述第一哈希函数生成的哈希值,所述第一位图为与所述待检测数据包的源网络地址对应的至少一个位图中的一个位图。
2.根据权利要求1所述的方法,其特征在于,用于生成所述待检测数据包的源网络地址的至少一个哈希值的至少一个哈希函数包括至少两个哈希函数,所述至少两个哈希函数包括的为不同的哈希函数。
3.根据权利要求1所述的方法,其特征在于,所述在根据与所述待检测数据包的源网络地址对应的至少一个位图,确定所述待检测数据包的源网络地址的度数值大于或等于所述第一阈值的情况下,将所述待检测数据包确定为所述满足过滤条件的数据包之前,所述方法还包括:
在与所述待检测数据包的源网络地址对应的每个位图中数值为一的字节位置的数量大于或等于所述第一阈值情况下,确定所述待检测数据包的源网络地址的度数值大于或等于所述第一阈值。
4.根据权利要求3所述的方法,其特征在于,所述在与所述待检测数据包的源网络地址对应的每个位图中数值为一的字节位置的数量大于或等于所述第一阈值情况下,确定所述待检测数据包的源网络地址的度数值大于或等于所述第一阈值,包括:
在与所述待检测数据包的源网络地址对应的每个位图中所有字节位置的数值均为一的情况下,确定所述待检测数据包的源网络地址的度数值等于所述第一阈值。
5.根据权利要求3所述的方法,其特征在于,所述获取待检测数据包的源网络地址之后,所述方法还包括:
在根据与所述待检测数据包的源网络地址对应的至少一个位图,确定所述待检测数据包的源网络地址的度数值小于所述第一阈值的情况下,获取所述待检测数据包的目的网络地址;
通过至少一个哈希函数,生成所述待检测数据包的目的网络地址的至少一个哈希值;
从第一位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置,其中,所述第一位图为与所述待检测数据包的源网络地址对应的至少一个位图中的一个位图,所述第二哈希值为所述待检测数据包的目的网络地址的至少一个哈希值的一个哈希值;
将与所述第二哈希值对应的字节位置的数值填充为一,并将所述待检测数据包确定为无效数据包。
6.根据权利要求3所述的方法,其特征在于,所述获取待检测数据包的源网络地址之前,所述方法还包括:
获取待检测数据包集合,所述待检测数据包集合中包括多个所述待检测数据包;
针对每个所述待检测数据包,获取所述待检测数据包的源网络地址和目的网络地址;
通过至少一个哈希函数,生成所述待检测数据包的源网络地址的至少一个哈希值,并通过至少一个哈希函数,生成所述待检测数据包的目的网络地址的至少一个哈希值;
获取与所述待检测数据包的源网络地址的至少一个哈希值对应的至少一个位图,并从每个位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置,其中,所述第二哈希值为所述待检测数据包的目的网络地址的至少一个哈希值的一个哈希值;
将与所述第二哈希值对应的字节位置的数值填充为一。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述根据所述满足过滤条件的数据包,生成与所述满足过滤条件的数据包对应的源网络地址的度数值,包括:
通过可逆草图检测器和去重计数器对所述满足过滤条件的数据包进行统计,并生成与所述满足过滤条件的数据包对应的源网络地址的度数值。
8.根据权利要求1至6任一项所述的方法,其特征在于,所述根据所述满足过滤条件的数据包,生成与所述满足过滤条件的数据包对应的源网络地址的度数值,包括:
通过可逆草图检测器和布隆过滤器对所述满足过滤条件的数据包进行统计,并生成与所述满足过滤条件的数据包对应的源网络地址的度数值。
9.根据权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:
向中心服务器发送与所述满足过滤条件的数据包对应的源网络地址的度数值。
10.一种度数值生成方法,其特征在于,所述方法包括:
获取待检测数据包的目的网络地址;
在所述待检测数据包的目的网络地址的度数值大于或等于第二阈值的情况下,将所述待检测数据包确定为满足过滤条件的数据包,其中,所述目的网络地址的度数值指的是与同一所述目的网络地址相关联的不同源网络地址的个数;
根据所述满足过滤条件的数据包,生成与所述满足过滤条件的数据包对应的目的网络地址的度数值;
所述方法还包括:
获取与所述待检测数据包的目的网络地址对应的至少一个位图;
所述在所述待检测数据包的目的网络地址的度数值大于或等于第二阈值的情况下,将所述待检测数据包确定为满足过滤条件的数据包,包括:
在根据与所述待检测数据包的目的网络地址对应的至少一个位图,确定所述待检测数据包的目的网络地址的度数值大于或等于所述第二阈值的情况下,将所述待检测数据包确定为所述满足过滤条件的数据包;
所述获取与所述待检测数据包的目的网络地址对应的至少一个位图,包括:
通过至少一个哈希函数,生成所述待检测数据包的目的网络地址的至少一个哈希值,用于生成所述待检测数据包的源网络地址的哈希值的至少一个哈希函数中的每个哈希函数对应至少一个位图;
从第二哈希函数对应的至少一个位图中,获取与第三哈希值对应的第二位图,其中,所述第二哈希函数为用于生成所述待检测数据包的源网络地址的哈希值的至少一个哈希函数中的一个哈希函数,所述第三哈希值为所述待检测数据包的目的网络地址的至少一个哈希值中通过所述第二哈希函数生成的哈希值,所述第二位图为与所述待检测数据包的目的网络地址对应的至少一个位图中的一个位图。
11.根据权利要求10所述的方法,其特征在于,用于生成所述待检测数据包的目的网络地址的哈希值的至少一个哈希函数中包括至少两个哈希函数,所述至少两个哈希函数包括的为不同的哈希函数。
12.根据权利要求10所述的方法,其特征在于,所述在根据与所述待检测数据包的目的网络地址对应的至少一个位图,确定所述待检测数据包的目的网络地址的度数值大于或等于所述第二阈值的情况下,将所述待检测数据包确定为所述满足过滤条件的数据包之前,所述方法还包括:
在与所述待检测数据包的目的网络地址对应的每个位图中数值为一的字节位置的数量大于或等于所述第二阈值情况下,确定所述待检测数据包的目的网络地址的度数值大于或等于所述第二阈值。
13.根据权利要求12所述的方法,其特征在于,所述在与所述待检测数据包的目的网络地址对应的每个位图中数值为一的字节位置的数量大于或等于所述第二阈值情况下,确定所述待检测数据包的目的网络地址的度数值大于或等于所述第二阈值,包括:
在与所述待检测数据包的目的网络地址对应的每个位图中所有字节位置的数值均为一的情况下,确定所述待检测数据包的目的网络地址的度数值等于所述第二阈值。
14.根据权利要求12所述的方法,其特征在于,所述获取待检测数据包的目的网络地址之后,所述方法还包括:
在根据与所述待检测数据包的目的网络地址对应的至少一个位图,确定所述待检测数据包的目的网络地址的度数值小于所述第二阈值的情况下,获取所述待检测数据包的源网络地址;
通过至少一个哈希函数,生成所述待检测数据包的源网络地址的至少一个哈希值;
从第二位图包括的至少一个字节位置中获取与第四哈希值对应的字节位置,其中,所述第二位图为与所述待检测数据包的目的网络地址对应的至少一个位图中的一个位图,所述第四哈希值为所述待检测数据包的源网络地址的至少一个哈希值的一个哈希值;
将与所述第四哈希值对应的字节位置的数值填充为一,并将所述待检测数据包确定为无效数据包。
15.根据权利要求12所述的方法,其特征在于,所述获取待检测数据包的目的网络地址之前,所述方法还包括:
获取待检测数据包集合,所述待检测数据包集合中包括多个所述待检测数据包;
针对每个所述待检测数据包,获取所述待检测数据包的目的网络地址和源网络地址;
通过至少一个哈希函数,生成所述待检测数据包的目的网络地址的至少一个哈希值,并通过至少一个哈希函数,生成所述待检测数据包的源网络地址的至少一个哈希值;
获取与所述待检测数据包的目的网络地址的至少一个哈希值对应的至少一个位图,并从每个位图包括的至少一个字节位置中获取与第四哈希值对应的字节位置,其中,所述第四哈希值为所述待检测数据包的源网络地址的至少一个哈希值的一个哈希值;
将与所述第四哈希值对应的字节位置的数值填充为一。
16.根据权利要求10至15任一项所述的方法,其特征在于,所述根据所述满足过滤条件的数据包,生成与所述满足过滤条件的数据包对应的目的网络地址的度数值,包括:
通过可逆草图检测器和去重计数器对所述满足过滤条件的数据包进行统计,并生成与所述满足过滤条件的数据包对应的目的网络地址的度数值。
17.根据权利要求10至15任一项所述的方法,其特征在于,所述根据所述满足过滤条件的数据包,生成与所述满足过滤条件的数据包对应的目的网络地址的度数值,包括:
通过可逆草图检测器和布隆过滤器对所述满足过滤条件的数据包进行统计,并生成与所述满足过滤条件的数据包对应的目的网络地址的度数值。
18.根据权利要求10至15任一项所述的方法,其特征在于,所述方法还包括:
向中心服务器发送与所述满足过滤条件的数据包对应的目的网络地址的度数值。
19.一种度数值生成装置,其特征在于,所述装置包括:
获取单元,用于获取待检测数据包的源网络地址;
确定单元,用于在所述待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将所述待检测数据包确定为满足过滤条件的数据包,其中,所述源网络地址的度数值指的是与同一所述源网络地址相关联的不同目的网络地址的个数;
生成单元,用于根据所述满足过滤条件的数据包,生成与所述满足过滤条件的数据包对应的源网络地址的度数值;
所述获取单元,还用于获取与所述待检测数据包的源网络地址对应的至少一个位图;
所述确定单元,具体用于在根据与所述待检测数据包的源网络地址对应的至少一个位图,确定所述待检测数据包的源网络地址的度数值大于或等于所述第一阈值的情况下,将所述待检测数据包确定为所述满足过滤条件的数据包;
其中,所述获取单元,具体用于:
通过至少一个哈希函数,生成所述待检测数据包的源网络地址的至少一个哈希值,用于生成所述待检测数据包的源网络地址的哈希值的至少一个哈希函数中的每个哈希函数对应至少一个位图;
从第一哈希函数对应的至少一个位图中,获取与第一哈希值对应的第一位图,其中,所述第一哈希函数为用于生成所述待检测数据包的源网络地址的哈希值的至少一个哈希函数中的一个哈希函数,所述第一哈希值为所述待检测数据包的源网络地址的至少一个哈希值中通过所述第一哈希函数生成的哈希值,所述第一位图为与所述待检测数据包的源网络地址对应的至少一个位图中的一个位图。
20.根据权利要求19所述的装置,其特征在于,用于生成所述待检测数据包的源网络地址的至少一个哈希值的至少一个哈希函数包括至少两个哈希函数,所述至少两个哈希函数包括的为不同的哈希函数。
21.根据权利要求19所述的装置,其特征在于,
所述确定单元,还用于在与所述待检测数据包的源网络地址对应的每个位图中数值为一的字节位置的数量大于或等于所述第一阈值情况下,确定所述待检测数据包的源网络地址的度数值大于或等于所述第一阈值。
22.根据权利要求21所述的装置,其特征在于,
所述确定单元,具体用于在与所述待检测数据包的源网络地址对应的每个位图中所有字节位置的数值均为一的情况下,确定所述待检测数据包的源网络地址的度数值等于所述第一阈值。
23.根据权利要求21所述的装置,其特征在于,
所述获取单元,还用于在根据与所述待检测数据包的源网络地址对应的至少一个位图,确定所述待检测数据包的源网络地址的度数值小于所述第一阈值的情况下,获取所述待检测数据包的目的网络地址;
所述生成单元,还用于通过至少一个哈希函数,生成所述待检测数据包的目的网络地址的至少一个哈希值;
所述获取单元,还用于从第一位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置,其中,所述第一位图为与所述待检测数据包的源网络地址对应的至少一个位图中的一个位图,所述第二哈希值为所述待检测数据包的目的网络地址的至少一个哈希值的一个哈希值;
所述装置还包括:填充单元,用于将与所述第二哈希值对应的字节位置的数值填充为一,并将所述待检测数据包确定为无效数据包。
24.根据权利要求21所述的装置,其特征在于,
所述获取单元,还用于获取待检测数据包集合,所述待检测数据包集合中包括多个所述待检测数据包;
所述获取单元,还用于针对每个所述待检测数据包,获取所述待检测数据包的源网络地址和目的网络地址;
所述生成单元,还用于通过至少一个哈希函数,生成所述待检测数据包的源网络地址的至少一个哈希值,并通过至少一个哈希函数,生成所述待检测数据包的目的网络地址的至少一个哈希值;
所述获取单元,还用于获取与所述待检测数据包的源网络地址的至少一个哈希值对应的至少一个位图,并从每个位图包括的至少一个字节位置中获取与第二哈希值对应的字节位置,其中,所述第二哈希值为所述待检测数据包的目的网络地址的至少一个哈希值的一个哈希值;
所述装置还包括:填充单元,用于将与所述第二哈希值对应的字节位置的数值填充为一。
25.根据权利要求19至24任一项所述的装置,其特征在于,
所述生成单元,具体用于通过可逆草图检测器和去重计数器对所述满足过滤条件的数据包进行统计,并生成与所述满足过滤条件的数据包对应的源网络地址的度数值。
26.根据权利要求19至24任一项所述的装置,其特征在于,
所述生成单元,具体用于通过可逆草图检测器和布隆过滤器对所述满足过滤条件的数据包进行统计,并生成与所述满足过滤条件的数据包对应的源网络地址的度数值。
27.根据权利要求19至24任一项所述的装置,其特征在于,所述装置还包括:
发送单元,用于向中心服务器发送与所述满足过滤条件的数据包对应的源网络地址的度数值。
28.一种度数值生成装置,其特征在于,所述装置包括:
获取单元,用于获取待检测数据包的目的网络地址;
确定单元,用于在所述待检测数据包的目的网络地址的度数值大于或等于第二阈值的情况下,将所述待检测数据包确定为满足过滤条件的数据包,其中,所述目的网络地址的度数值指的是与同一所述目的网络地址相关联的不同源网络地址的个数;
生成单元,用于根据所述满足过滤条件的数据包,生成与所述满足过滤条件的数据包对应的目的网络地址的度数值;
所述获取单元,还用于获取与所述待检测数据包的目的网络地址对应的至少一个位图;
所述确定单元,具体用于在根据与所述待检测数据包的目的网络地址对应的至少一个位图,确定所述待检测数据包的目的网络地址的度数值大于或等于所述第二阈值的情况下,将所述待检测数据包确定为所述满足过滤条件的数据包;
其中,所述获取单元,具体用于:
通过至少一个哈希函数,生成所述待检测数据包的目的网络地址的至少一个哈希值,用于生成所述待检测数据包的源网络地址的哈希值的至少一个哈希函数中的每个哈希函数对应至少一个位图;
从第二哈希函数对应的至少一个位图中,获取与第三哈希值对应的第二位图,其中,所述第二哈希函数为用于生成所述待检测数据包的源网络地址的哈希值的至少一个哈希函数中的一个哈希函数,所述第三哈希值为所述待检测数据包的目的网络地址的至少一个哈希值中通过所述第二哈希函数生成的哈希值,所述第二位图为与所述待检测数据包的目的网络地址对应的至少一个位图中的一个位图。
29.根据权利要求28所述的装置,其特征在于,用于生成所述待检测数据包的目的网络地址的哈希值的至少一个哈希函数中包括至少两个哈希函数,所述至少两个哈希函数包括的为不同的哈希函数。
30.根据权利要求28所述的装置,其特征在于,
所述确定单元,还用于在与所述待检测数据包的目的网络地址对应的每个位图中数值为一的字节位置的数量大于或等于所述第二阈值情况下,确定所述待检测数据包的目的网络地址的度数值大于或等于所述第二阈值。
31.根据权利要求30所述的装置,其特征在于,
所述确定单元,具体用于在与所述待检测数据包的目的网络地址对应的每个位图中所有字节位置的数值均为一的情况下,确定所述待检测数据包的目的网络地址的度数值等于所述第二阈值。
32.根据权利要求30所述的装置,其特征在于,
所述获取单元,还用于在根据与所述待检测数据包的目的网络地址对应的至少一个位图,确定所述待检测数据包的目的网络地址的度数值小于所述第二阈值的情况下,获取所述待检测数据包的源网络地址;
所述生成单元,还用于通过至少一个哈希函数,生成所述待检测数据包的源网络地址的至少一个哈希值;
所述获取单元,还用于从第二位图包括的至少一个字节位置中获取与第四哈希值对应的字节位置,其中,所述第二位图为与所述待检测数据包的目的网络地址对应的至少一个位图中的一个位图,所述第四哈希值为所述待检测数据包的源网络地址的至少一个哈希值的一个哈希值;
所述装置还包括:填充单元,用于将与所述第四哈希值对应的字节位置的数值填充为一,并将所述待检测数据包确定为无效数据包。
33.根据权利要求30所述的装置,其特征在于,
所述获取单元,还用于获取待检测数据包集合,所述待检测数据包集合中包括多个所述待检测数据包;
所述获取单元,还用于针对每个所述待检测数据包,获取所述待检测数据包的目的网络地址和源网络地址;
所述生成单元,还用于通过至少一个哈希函数,生成所述待检测数据包的目的网络地址的至少一个哈希值,并通过至少一个哈希函数,生成所述待检测数据包的源网络地址的至少一个哈希值;
所述获取单元,还用于获取与所述待检测数据包的目的网络地址的至少一个哈希值对应的至少一个位图,并从每个位图包括的至少一个字节位置中获取与第四哈希值对应的字节位置,其中,所述第四哈希值为所述待检测数据包的源网络地址的至少一个哈希值的一个哈希值;
所述装置还包括:填充单元,用于将与所述第四哈希值对应的字节位置的数值填充为一。
34.根据权利要求28至33任一项所述的装置,其特征在于,
所述生成单元,具体用于通过可逆草图检测器和去重计数器对所述满足过滤条件的数据包进行统计,并生成与所述满足过滤条件的数据包对应的目的网络地址的度数值。
35.根据权利要求28至33任一项所述的装置,其特征在于,
所述生成单元,具体用于通过可逆草图检测器和布隆过滤器对所述满足过滤条件的数据包进行统计,并生成与所述满足过滤条件的数据包对应的目的网络地址的度数值。
36.根据权利要求28至33任一项所述的装置,其特征在于,所述装置还包括:
发送单元,用于向中心服务器发送与所述满足过滤条件的数据包对应的目的网络地址的度数值。
37.一种数据节点,其特征在于,包括处理器,所述处理器和存储器耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至9中任一项所述的方法,或者,实现权利要求10至18中任一项所述的方法。
38.一种计算机可读存储介质,包括程序,当其在计算机上运行时,使得计算机执行如权利要求1至9中任一项所述的方法,或者,执行如权利要求10至18中任一项所述的方法。
39.一种电路系统,其特征在于,所述电路系统包括处理电路,所述处理电路配置为执行如权利要求1至9中任一项所述的方法,或者,执行如权利要求10至18中任一项所述的方法。
CN201911168671.8A 2019-11-25 2019-11-25 一种度数值生成方法以及相关设备 Active CN112839018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911168671.8A CN112839018B (zh) 2019-11-25 2019-11-25 一种度数值生成方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911168671.8A CN112839018B (zh) 2019-11-25 2019-11-25 一种度数值生成方法以及相关设备

Publications (2)

Publication Number Publication Date
CN112839018A CN112839018A (zh) 2021-05-25
CN112839018B true CN112839018B (zh) 2022-11-18

Family

ID=75923007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911168671.8A Active CN112839018B (zh) 2019-11-25 2019-11-25 一种度数值生成方法以及相关设备

Country Status (1)

Country Link
CN (1) CN112839018B (zh)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184094B (zh) * 2007-12-06 2011-07-27 北京启明星辰信息技术股份有限公司 一种适于局域网环境的网络节点扫描检测方法和系统
CN101267313B (zh) * 2008-04-23 2010-10-27 成都市华为赛门铁克科技有限公司 泛洪攻击检测方法及检测装置
CN102333313A (zh) * 2011-10-18 2012-01-25 中国科学院计算技术研究所 移动僵尸网络特征码生成方法和移动僵尸网络检测方法
CN103856470B (zh) * 2012-12-06 2018-06-19 腾讯科技(深圳)有限公司 分布式拒绝服务攻击检测方法及检测装置
CN105227515A (zh) * 2014-05-28 2016-01-06 腾讯科技(深圳)有限公司 网络入侵阻断方法、装置及系统
US10296748B2 (en) * 2016-02-25 2019-05-21 Sas Institute Inc. Simulated attack generator for testing a cybersecurity system
CN107770113A (zh) * 2016-08-15 2018-03-06 台山市金讯互联网络科技有限公司 一种精确确定攻击特征的洪水攻击检测方法
CN109145158B (zh) * 2017-06-13 2021-07-20 华为技术有限公司 一种布隆过滤器中数据的处理方法以及布隆过滤器
CN107395818B (zh) * 2017-08-28 2021-05-04 Oppo广东移动通信有限公司 装饰组件、壳体组件及其装配方法和移动终端
CN107612946B (zh) * 2017-11-03 2021-09-03 北京奇艺世纪科技有限公司 Ip地址的检测方法、检测装置和电子设备
CN107733721A (zh) * 2017-11-13 2018-02-23 杭州迪普科技股份有限公司 一种网络异常检测方法及装置
CN110392034B (zh) * 2018-09-28 2020-10-13 新华三信息安全技术有限公司 一种报文处理方法及装置
CN109889547B (zh) * 2019-03-29 2021-10-26 新华三信息安全技术有限公司 一种异常网络设备的检测方法及装置
CN111314300B (zh) * 2020-01-17 2022-03-22 广州华多网络科技有限公司 恶意扫描ip检测方法、系统、装置、设备和存储介质
CN112073376A (zh) * 2020-08-10 2020-12-11 烽火通信科技股份有限公司 一种基于数据面的攻击检测方法及设备

Also Published As

Publication number Publication date
CN112839018A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
US10917322B2 (en) Network traffic tracking using encapsulation protocol
CN110519290B (zh) 异常流量检测方法、装置及电子设备
CN108965347B (zh) 一种分布式拒绝服务攻击检测方法、装置及服务器
US10097464B1 (en) Sampling based on large flow detection for network visibility monitoring
US9979624B1 (en) Large flow detection for network visibility monitoring
US10536360B1 (en) Counters for large flow detection
US10033602B1 (en) Network health management using metrics from encapsulation protocol endpoints
CN107968791B (zh) 一种攻击报文的检测方法及装置
CN111181798B (zh) 网络时延测量方法、装置、电子设备及存储介质
WO2016195987A1 (en) Method and apparatus for grouping features into bins with selected bin boundaries for use in anomaly detection
JP2012508476A (ja) ネットワーク異常流量分析装置及び方法
US10003515B1 (en) Network visibility monitoring
JP5673805B2 (ja) ネットワーク装置、通信システム、異常トラヒックの検出方法およびプログラム
CN103929334A (zh) 网络异常通知方法和装置
CN110798426A (zh) 一种洪水类DoS攻击行为的检测方法、系统及相关组件
CN107294743B (zh) 一种网络路径探测方法、控制器及网络设备
EP4075749A1 (en) Detection method and detection device for heavy flow data stream
CN106302001B (zh) 数据通信网络中业务故障检测方法、相关装置及系统
CN110958245B (zh) 一种攻击的检测方法、装置、设备和存储介质
CN110071843B (zh) 一种基于流路径分析的故障定位方法及装置
CN112839018B (zh) 一种度数值生成方法以及相关设备
CN110768934A (zh) 网络访问规则的检查方法和装置
US9900207B2 (en) Network control protocol
CN111106977A (zh) 数据流检测方法、装置及存储介质
CN110768975A (zh) 流量清洗方法、装置、电子设备及机器可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant