CN106411892B - Ddos系统地址信息传输、访问请求过滤方法、装置及服务器 - Google Patents

Ddos系统地址信息传输、访问请求过滤方法、装置及服务器 Download PDF

Info

Publication number
CN106411892B
CN106411892B CN201610867165.8A CN201610867165A CN106411892B CN 106411892 B CN106411892 B CN 106411892B CN 201610867165 A CN201610867165 A CN 201610867165A CN 106411892 B CN106411892 B CN 106411892B
Authority
CN
China
Prior art keywords
hash
bitmap
access request
address information
hash table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610867165.8A
Other languages
English (en)
Other versions
CN106411892A (zh
Inventor
刘京洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huaduo Network Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201610867165.8A priority Critical patent/CN106411892B/zh
Publication of CN106411892A publication Critical patent/CN106411892A/zh
Application granted granted Critical
Publication of CN106411892B publication Critical patent/CN106411892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种DDOS系统地址信息传输方法，包括如下步骤：使用哈希函数将依据所述系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成相应的哈希表；当所述系统判定IP访问请求异常时，转换该哈希表为哈希位图并传输所述哈希位图至清洗设备，供所述清洗设备据以对到达系统的IP访问请求执行首次过滤操作，以清除其中与哈希位图不匹配的IP访问请求；本发明还提供一种装置，其包括：第一哈希变换模块、第一位图转换模块、第一传输模块。通过上述方案，本发明可实现快速地传输数据。

Description

DDOS系统地址信息传输、访问请求过滤方法、装置及服务器
【技术领域】
本发明涉及网络安全技术领域，具体涉及一种DDOS系统地址信息传输、访问请求过滤方法、装置及服务器。
【背景技术】
随着互联网技术的快速发展，网络系统越来越容易遭受到各种攻击，网络问题日益突出，而其中分布式拒绝服务器攻击因其隐蔽性强、攻击范围广、简单高效等的特点则成为黑客惯用的攻击方法之一，尤其是受到商业竞争和经济勒索等因素的驱动，DDOS攻击越发呈现组织化、规模化、商业化的特点，攻击频率也越来越高，给各类互联网用户和服务提供商带来了业务中断、系统瘫痪等严重后果，严重影响了网络应用向更广阔的方向发展。
现有技术中，利用检测设备对保护对象进行实时监测，即对IP地址进行传输，当发生攻击时，即有一些恶意的IP地址访问服务器时，则通过清洗设备通过各种清洗规则过滤攻击的黑名单，从而实现对恶意的IP地址对服务器进行访问的阻止。在此技术下，可有效减少服务器的负担等问题，但是，对于攻击频率的越发密集，会因在传输数据时耗损CPU资源等问题，在时间和效果上便出现仅仅差强人意的情况，所以如何在保证有效过滤恶意IP地址下，快速地传输数据就是一个必须考虑的问题。
【发明内容】
本发明的首要目的在于提供一种基于全量IP可以有少许完整性损失的情况下，尽可能保证时间和完整性上平衡的技术方案，具体地涉及一种DDOS系统地址信息传输方法及装置。
本发明的另一目的在于提供一种DDOS系统访问请求过滤方法及装置。
本发明的另一目的在于提供一种DDOS系统地址信息传输方法及装置。
本发明的另一目的在于提供一种服务器。
为实现该目的，本发明采用如下技术方案：
第一方面，本发明提供一种DDOS系统地址信息传输方法，包括如下步骤：使用哈希函数将依据所述系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成相应的哈希表；当所述系统判定IP访问请求异常时，转换该哈希表为哈希位图并传输所述哈希位图至清洗设备，供所述清洗设备据以对到达系统的IP访问请求执行首次过滤操作，以清除其中与哈希位图不匹配的IP访问请求。
更进一步地，还包括如下后续步骤：待所述哈希位图传输完毕，传输所述白名单至所述清洗设备，供所述清洗设备据以对到达系统的IP访问请求执行二次过滤操作，以清除其中与所述白名单不匹配的IP访问请求。
其中，所述哈希表为对所述地址信息进行哈希变换后索引形成的索引表，包括多个索引标识单元，每个索引标识单元对应指示至少一个所述的地址信息；所述哈希位图以该索引表为对照基础，对于索引表中非空的索引标识单元，在哈希位图与其相应位置处置非空位值；对于索引表中为空值的索引标识单元，在哈希位图与其相应位置处置空位值。
一种DDOS系统地址信息传输装置，包括：第一哈希变换模块，用于使用哈希函数将依据所述系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成相应的哈希表；第一位图转换模块，用于转换该哈希表为哈希位图；第一传输模块，用于当所述系统判定IP访问请求异常时，传输所述哈希位图至清洗设备，以供所述清洗设备据以对到达系统的IP访问请求执行首次过滤操作，以清除其中与哈希位图不匹配的IP访问请求。
第二方面，本发明提供一种DDOS系统访问请求过滤方法，包括：接收检测设备将哈希表转换生成的哈希位图，所述哈希表为所述检测设备使用哈希函数将依据所述系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成；利用所述哈希位图对到达系统的IP访问请求执行首次过滤操作，以清除其中与之不匹配的IP访问请求。
其中，所述利用所述哈希位图对到达系统的IP访问请求执行首次过滤操作的步骤，包括：使用所述哈希函数对到达系统的IP访问请求的地址信息进行哈希变换生成相应的哈希表；并利用该哈希表与所述哈希位图做比较，识别出与所述哈希位图不匹配的到达系统的IP访问请求的地址信息，并将相应的IP访问请求滤除。
进一步地，还包括后续步骤：接收所述检测设备传输的所述白名单，并对到达系统的IP访问请求执行二次过滤操作，以清除其中与所述白名单不匹配的IP访问请求。
更进一步地，所述对到达系统的IP访问请求的地址信息执行二次过滤操作的步骤包括：利用所述白名单与所述到达系统的IP访问请求的地址信息做比较，识别出与所述白名单不匹配的到达系统的IP访问请求的地址信息，并将相应的IP访问请求滤除。
一种DDOS系统访问请求过滤装置，包括：接收模块，用于接收检测设备将哈希表转换生成的哈希位图，所述哈希表为所述检测设备使用哈希函数将依据所述系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成；第一过滤模块，用于利用所述哈希位图对到达系统的IP访问请求的地址信息执行首次过滤操作，以清除其中与之不匹配的IP访问请求。
第三方面，本发明提供一种DDOS系统地址信息传输方法，包括：检测设备使用哈希函数将依据所述系统确定的IP访问请求地址信息确定的白名单进行哈希变换生成相应的哈希表；当所述系统判定IP访问请求异常时，所述检测设备转换所述哈希表为哈希位图，并传输该哈希位图至清洗设备；所述清洗设备利用接收到的所述哈希位图对到达系统的IP访问请求执行首次过滤操作，以清除其中与哈希位图不匹配的IP访问请求。
更进一步地，还包括：所述检测设备待将所述哈希位图传输完毕后，传输所述白名单至所述清洗设备以供所述清洗设备据以对到达系统的IP访问请求执行二次过滤操作，以清除其中与所述白名单不匹配的IP访问请求。
其中，所述哈希表为对所述地址信息进行哈希变换后索引形成的索引表，包括多个索引标识单元，每个索引标识单元对应指示至少一个所述的地址信息；所述哈希位图以该索引表为对照基础，对于索引表中非空的索引标识单元，在哈希位图与其相应位置处置非空位值；对于索引表中为空值的索引表标识单元，在哈希位图与其相应位置处置空位值。
其中，所述清洗设备利用接收到的所述哈希位图对到达系统的IP访问请求执行首次过滤操作的步骤，包括：
所述清洗设备使用所述哈希函数对到达系统的IP访问请求的地址信息进行哈希变换生成哈希表；并利用该哈希表与所述哈希位图做比较，识别出与所述哈希位图不匹配的到达系统的IP访问请求的地址信息，并将相应的IP访问请求滤除。
一种DDOS系统地址信息传输装置，包括：第二哈希变换模块，用于检测设备使用哈希函数将依据所述系统确定的IP地址信息确定的白名单进行哈希变换生成相应的哈希表；第二位图转换模块，用于所述检测设备转换所述哈希表为哈希位图；第二传输模块，用于当所述系统判定IP访问异常时，所述检测设备传输所述哈希位图至清洗设备；第二过滤模块，用于所述清洗设备利用接收到的所述哈希位图对到达系统的IP访问请求执行首次过滤操作，以清除其中与哈希位图不匹配的IP访问请求。
第四方面，本发明提供一种服务器，包括处理器，该处理器用于执行如以上所述的任意一项所述的DDOS系统地址信息传输、访问请求过滤方法的步骤。
与现有技术相比，本发明具备如下优点：
本发明的检测设备可以利用哈希函数对依据系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成哈希表，并可转换生成相应的哈希位图；当所述系统判定IP访问异常时，将哈希位图传输给清洗设备，由清洗设备利用所述哈希位图与到达系统的IP访问请求的地址信息对比，识别出与所述哈希位图不匹配的IP访问请求的地址信息，对其访问请求进行首次过滤，最大程度地保证了在正常服务白名单的访问请求下，提高防御的高效性；更进一步地，在本发明中，为不确定的数据大小(即未知的到达系统的IP访问请求的地址信息的量)，给出了确定的效果和时间，即基于黑白名单中存在少许完整性损失的情况下，尽可能在时间与完整性上得到尽可能大的平衡。
显然，上述有关本发明优点的描述是概括性的，更多的优点描述将体现在后续的实施例揭示中，以及，本领域技术人员也可以本发明所揭示的内容合理地发现本发明的其他诸多优点。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
【附图说明】
图1为本发明一种实施例用于DDOS系统地址信息传输方法的流程图。
图2为本发明另一种实施例用于DDOS系统地址信息传输方法的流程图。
图3为本发明一种实施例用于DDSO系统访问请求过滤方法的流程图。
图4为本发明另一种实施例用于DDOS系统访问请求过滤方法的流程图。
图5为本发明另一种实施例用于DDOS系统地址信息传输方法的流程图。
图6为本发明一种实施例用于DDOS系统地址信息传输装置的模块框图。
图7为本发明一种实施例用于DDOS系统访问请求过滤装置的模块框图。
图8为本发明另一种实施例用于DDOS系统地址信息传输装置的模块框图。
【具体实施方式】
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
运行环境
在DDOS(Distributed Denial of service分布式拒绝服务)系统中，分为检测设备和清洗设备，而因为检测和清洗都可能是集群的，即数据的传输可能是以数据流的方式进行，为多对多；不能使用一对一的TCP进行，使用一对一的TCP会使得模型非常复杂，即检测设备向清洗设备传输数据的过程的算法非常复杂。本发明鉴于上述情况，是在ZK(ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务)的2MB的限制(有的系统限制3MB或其他，这取决于各自的配置)下解决相关技术问题的。
实施例一
为对本发明DDOS系统地址信息传输方法作进一步的解释，请参阅图1：
S11使用哈希函数将依据所述系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成相应的哈希表；
哈希表(Hash table，也叫散列表)，是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做哈希函数(散列函数)，存放记录的数组叫做哈希表(散列表)。也即，给定表M，存在函数f(key)，对任意给定的关键字值key，代入函数后若能得到包含该关键字的记录在表中的地址，则称表M为哈希(Hash)表，函数f(key)为哈希(Hash)函数。在实际工作中需视不同的情况采用不同的哈希函数，通常考虑的因素有：计算哈希函数所需时间、关键字的长度、哈希表的大小、关键字的分布情况、记录的查找频率等。
在本实施例中，检测设备与清洗设备使用同一哈希函数对IP地址进行哈希变换，而其中的哈希函数可根据实际情况进行选择，本领域技术人员可根据实际情况，选择相应最为适合的哈希函数进行哈希变换解决本实施例解决的问题，而本实施例中未给出具体的哈希函数，并不影响本领域技术人员对本实施例的理解。
本实施例中，所述依据系统确定的IP访问请求的地址信息确定的白名单为检测设备在对保护对象的流量进行实时监测的同时，从线上流量学习的白名单，所述白名单具体为正常向服务器提出访问请求的IP地址信息；其中变换成相应的哈希表为检测设备对所述地址信息进行哈希变换后索引形成的索引表，也就是说，给定表M，选定函数f(key)，对任意检测设备从线上流量学习到的合法的IP地址(关键字值key)，代入函数后，能得到包含该IP地址的记录在表中的地址。其中所述哈希表包括多个索引标识单元(bucket)，每个索引标识单元对应指示至少一个所述的地址信息。
其中，哈希表是基于dpdk(Intel Data Plane Development Kit)的实现方案，在此方案中，会由一个大数组表示哈希变换后的结果。而其中运用到的哈希算法可自选。在本实施例中，哈希表不可避免冲突现象，即对不同的关键字可能得到同一哈希地址(即key1≠key2，而hash(key1)＝hash(key2))。具有相同函数值的关键字对该哈希函数来说称为同义词。因此，在建造哈希表时不仅要设定一个好的哈希函数，而且要设定一种处理冲突的方法。其中，影响产生冲突多少有以下三个因素：哈希函数是否均匀、处理冲突的方法、哈希表的装填因子。其中，所述哈希表的装填因子为填入表中的元素个数/哈希表的长度。
为了更好地处理冲突，平衡时间与完整性上的问题，本实施例设置所述索引标识单元有四个槽，若得到哈希表中同一的索引标识单元的白名单超过四个，则第五个得到同一的索引标识单元的白名单直接进行丢弃处理。而适应于不同情况下对于冲突的处理可以适应性地改变索引标识单元的槽数。
S12当所述系统判定IP访问请求异常时，转换该哈希表为哈希位图并传输所述哈希位图至清洗设备，供所述清洗设备据以对到达系统的IP访问请求执行首次过滤操作，以清除其中与哈希位图不匹配的IP访问请求。
在本实施例中，为了尽可能在时间与完整性上得到尽可能大的平衡，减少CPU资源的损耗，检测设备选择将哈希变换之后得到的哈希表转换的哈希位图传输给清洗设备。所述哈希位图以哈希表为对照基础，对于哈希表中非空的索引标识单元，在哈希位图与其相应位置处置非空位值；对于索引表中为空值的索引标识单元，在哈希位图与其相应位置处置空位值。例如：若哈希表中的bucket中有一个不为空的，则把该位置置1，若为空则置0(即置非空位值或空位值)。假设白名单IP地址为172.23.12.23经过哈希之后得到在哈希表中的位置为23334，则哈希表中第23334位不为空，被置为1，而本实施例中，传输的即为上述被哈希之后的带有数据0和1的结果位图。
当所述系统判定IP访问请求异常时，即有恶意IP对服务器进行访问时，检测设备则将哈希之后生成的哈希位图传输给清洗设备，清洗设备接收到所述位图后，将使用此位图及与检测设备相同的哈希函数对新到达的数据包进行是否命中白名单的判断。具体的，为清洗设备使用与检测设备一致的哈希函数，将所述新到达的数据包即到达系统的IP访问请求的地址信息，哈希变换得到相应的哈希表，而后将接收到的位图与此哈希表作出比较，若比较后，所述哈希位图在所述清洗设备生成的哈希表中对应的位置上数据被置为非空位值，则判断该位置上的到达系统的IP访问请求的地址信息为白名单，反之，为非白名单。例如，IP地址为172.23.12.23经过清洗设备哈希变换之后得到代表其的位置为第23334位，而检测设备生成的位图中，此位置若被置为1(非空位值)，作比较后，可判断在此位置上的地址信息为白名单。
作出比较后，所述清洗设备将对与所述哈希位图不匹配的系统的IP访问请求执行首次过滤操作，即滤除被判定为恶意的IP访问。
所述清洗设备对判断为白名单的系统的IP的访问请求不进行过滤，并使其回流到网络中，继续对其进行服务，而判断为非白名单的到达系统的IP访问请求则进行过滤处理。
实施例二
基于实施例一的步骤，本实施例更进一步的，还包括如下后续步骤(请参阅图2)：
S23待所述哈希位图传输完毕，传输所述白名单至所述清洗设备以供所述清洗设备据以对到达系统的IP访问请求执行二次过滤操作，以清除其中与所述白名单不匹配的IP访问请求。
与现有技术相同的是，检测设备会将获取到的白名单传输给清洗设备，但此步骤为后续步骤，并不影响上述方案的实现，但是通过本步骤，将没有经过变换的白名单传输给清洗设备，是为在检测设备与清洗设备同步后，清洗设备可将利用位图与哈希变换后的索引表做比较，替换为利用完整的白名单数据与新到达的数据包进行比较。在保持系统稳定性的考虑下，本步骤仍有存在的必要。
具体地，所述检测设备将在传输所述哈希位图结束后，将所述白名单完整地传输到清洗设备一侧，而此时，待检测设备与清洗设备的数据同步后，清洗设备将利用完整的白名单与到达系统的IP访问请求的地址信息做比较，并识别出与所述白名单不匹配的到达系统的IP访问请求的地址信息，对其IP访问请求执行二次过滤操作，即滤除本步骤中识别出的黑名单的访问请求。
实施例三
为对本发明DDOS系统访问请求过滤方法作进一步的解释，请参阅图3：
S31接收检测设备将哈希表转换生成的哈希位图，所述哈希表为所述检测设备使用哈希函数将依据所述系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成；
在本实施例中，清洗设备将接收到检测设备传输的哈希位图，所述哈希位图为检测设备由哈希表转换生成，具体地，所述哈希表为检测设备使用哈希函数将系统确定的IP访问请求的地址信息(即检测设备在对保护对象的流量进行实时监测的同时，从线上流量学习的白名单)，对所述地址信息进行哈希变换后索引形成的索引表。
S32利用所述哈希位图对与之不匹配的系统的IP访问请求执行首次过滤操作。
接收到所述哈希位图，清洗设备将使用与所述检测设备一样的哈希函数对系统的IP访问请求的地址信息进行哈希变换，生成相应的哈希表；并利用该哈希表与所述哈希位图做比较，识别出与所述哈希位图不匹配的系统的IP访问请求的地址信息，并对其访问请求执行首次过滤操作，即滤除在本实施例中被判定为非白名单的IP访问请求。
实施例四
基于实施例三的步骤，本实施例更进一步的，还包括如下后续步骤(请参阅图4)：
S43接收所述检测设备传输的所述白名单，并对系统的IP访问请求执行二次过滤操作，以清除其中与所述白名单不匹配的IP访问请求。
与现有技术相同的是，清洗设备将会获取到检测设备在传输哈希位图结束后传输的白名单，但此步骤为后续步骤，并不影响上述方案的实现，但是通过本步骤，将没有经过变换的完整的白名单传输给清洗设备，是为在检测设备与清洗设备同步后，清洗设备可将利用位图与哈希变换后的哈希表做比较，替换为利用完整的白名单数据与新到达的数据包进行比较。在保持系统稳定性的考虑下，本步骤仍有存在的必要。
具体地，清洗设备在接收到完整的白名单时，即清洗设备与检测设备的数据同步后，清洗设备将利用此完整的白名单与到达系统的IP访问请求的地址信息作比较，识别出与所述白名单不匹配的IP访问请求的地址信息，并将相应的IP访问请求滤除，即滤除在本实施例中判定为恶意的IP访问。
实施例五
为对本发明的DDOS系统地址信息传输方法的步骤进行详细说明，请参阅图5：
S51检测设备使用哈希函数将依据所述系统确定的IP访问请求地址信息确定的白名单进行哈希变换生成相应的哈希表；所述哈希表为对所述地址信息进行哈希变换后索引形成的索引表；
S52当所述系统判定IP访问请求异常时，所述检测设备转换所述哈希表为哈希位图，并传输该哈希位图至清洗设备；所述转换该哈希表为哈希位图的方法为对所述哈希表中的索引标识单元中非空的位置相应于哈希位图的位置处置非空位置；对于所述哈希表中的索引标识单元中空值的位置相应于哈希位图的位置处置空位值。
S53所述清洗设备利用接收到的所述哈希位图对到达系统的IP访问请求执行首次过滤操作，以清除其中与哈希位图不匹配的IP访问请求。所述清洗设备利用接收到的所述哈希位图对到达系统的IP访问请求执行首次过滤操作的步骤，包括：所述清洗设备使用所述哈希函数对到达系统的IP访问请求的地址信息进行哈希变换生成哈希表；并利用该哈希表与所述哈希位图做比较，识别出与所述哈希位图不匹配的到达系统的IP访问请求的地址信息，并将相应的IP访问请求滤除。
更进一步地，还包括：所述检测设备待将所述哈希位图传输完毕后，传输所述白名单至所述清洗设备以供所述清洗设备据以对到达系统的IP访问请求执行二次过滤操作，以清除其中与所述白名单不匹配的IP访问请求。
实施例六
下面，以具体例子对上述内容进行检验说明：
假设检测设备从线上流量学习到200w个白名单IP地址，而所利用的哈希算法是非常好的(假设在理想状态下，具体实际使用的哈希算法可按需构建)，这些白名单IP地址在哈希变换后是相对均匀地分布在哈希表中；同时，假设哈希表的数组大小为16MB*8(64位的机器，在不同位数的机器下，运行环境会有所差异，但不影响本实施例的技术方案)，即此哈希表对应有16777216(16*1024*1024＝224)个索引标识单元(bucket)，而全量的IP地址有232个(此处IP地址的个数与采用的网络协议相关，本实施例中采用IPV4协议)，则此情况下，bucket的数目为IP地址总数的1/28。所以，200w个IP地址仅占全量的IP空间的万分之4.66，也即200w个IP地址占据了哈希表中的7821(224*万分之4.66)个bucket。
于此，我们结合本实施例中，设置每个bucket带有4个槽(处理冲突的办法，可按需进行调整)，则可放置7821*4个IP地址，但7821*4比起200w仍小很多。更多的是，由于哈希函数的特殊性，不可能存在上述说的绝对平均的按比例使用bucket，所述bucket的使用并不取决于需要的数目，而是取决于其分布(上述假设的白名单IP地址在哈希变换后相对均匀地分布在哈希表中)，所以实际上，假设仅有200w个IP地址，也是无法与16MB的哈希数组对应，但是具体的，则取决于哈希函数的选择和IP地址的分布情况。所以，对于冲突的处理，需要根据实际情况选取，本实施例中提出的仅为其中一种，在软件领域也无法对此穷尽列举情况，本领域技术人员应知悉。
在进行传输时，检测设备将生成的哈希位图替代原哈希表传输给清洗设备。此时，位图大小为16MB除以8，为2MB，符合本实施例在ZK的限制下的要求。
再次假设我们平均使用了10w个bucket，也即在数组大小为16MB的情况下，使用了比例为1/167的bucket。于此，在本实施例中，不难发现，本实施例的实施是基于黑白名单的少许完整性缺失上实现的，并不能完整地获取到所有白名单的IP地址，但仍可以166/167的比例确认出不属于白名单中的黑名单IP地址，仍达到了99.4％的命中率。在软件领域中，时间、空间、效率中难以兼顾的情况下，本实施例尽了最大的可能达到了时间与完整性的最大程度上的平衡。
实施例七
为了更好地对本发明中一种DDOS系统地址传输装置进行描述，请参阅图6：
本实施例的装置中包括：第一哈希变换模块61、第一位图转换模块62、第一传输模块63。
其中，第一哈希变换模块61，用于使用哈希函数将依据所述系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成相应的哈希表。
第一位图转换模块62，用于转换该哈希表为哈希位图。
第一传输模块63，用于当所述系统判定IP访问请求异常时，传输所述哈希位图至清洗设备，以供所述清洗设备据以对到达系统的IP访问请求执行首次过滤操作，以清除其中与哈希位图不匹配的IP访问请求。
实施例八
为了更好地对本发明中一种DDOS系统访问请求过滤装置进行描述，请参阅图7：
本实施例的装置中包括：接收模块71、第一过滤模块72。
其中，接收模块71，用于接收检测设备将哈希表转换生成的哈希位图，所述哈希表为所述检测设备使用哈希函数将依据所述系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成。
其中，第一过滤模块72，用于利用所述哈希位图对到达系统的IP访问请求的地址信息执行首次过滤操作，以清除其中与之不匹配的IP访问请求。
实施例九
为了更好地对本发明中另一种DDOS系统地址信息传输装置进行描述，请参阅图8：
本实施例中的装置，包括：第二哈希变换模块81、第二位图转换模块82、第二传输模块83、第二过滤模块84。
其中，第二哈希变换模块81，用于检测设备使用哈希函数将依据所述系统确定的IP地址信息确定的白名单进行哈希变换生成相应的哈希表；
其中，第二位图转换模块82，用于所述检测设备转换所述哈希表为哈希位图；
其中，第二传输模块83，用于当所述系统判定IP访问异常时，所述检测设备传输所述哈希位图至清洗设备；
其中，第二过滤模块84，用于所述清洗设备利用接收到的所述哈希位图对到达系统的IP访问请求执行首次过滤操作，以清除其中与哈希位图不匹配的IP访问请求。
本发明还提供一种服务器，包括一个或多个处理器，该处理器用于执行如实施例一至五所述的方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种DDOS系统地址传输、访问请求过滤装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种DDOS系统地址信息传输方法，其特征在于，包括如下步骤：
使用哈希函数将依据所述系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成相应的哈希表；所述哈希表包括多个索引标识单元，每个索引标识单元对应指示预设值以下的所述地址信息，并丢弃每个索引标识单元中超出所述预设值的所述地址信息；
当所述系统判定IP访问请求异常时，转换该哈希表为哈希位图并传输所述哈希位图至清洗设备，所述哈希位图以哈希表为对照基础，对于哈希表中非空的索引标识单元，在哈希位图与其相应位置处置非空位值；对于哈希表中为空值的索引标识单元，在哈希位图与其相应位置处置空位值；供所述清洗设备将使用所述哈希函数对到达系统的IP访问请求的地址信息进行哈希变换生成清洗设备的哈希表与所述哈希位图比较，以对到达系统的IP访问请求执行首次过滤操作，清除其中与哈希位图不匹配的IP访问请求。
2.根据权利要求1所述的DDOS系统地址信息传输方法，其特征在于，还包括如下后续步骤：
待所述哈希位图传输完毕，传输所述白名单至所述清洗设备，供所述清洗设备据以对到达系统的IP访问请求执行二次过滤操作，以清除其中与所述白名单不匹配的IP访问请求。
3.一种DDOS系统访问请求过滤方法，其特征在于，包括：
接收检测设备将哈希表转换生成的哈希位图，所述哈希表为所述检测设备使用哈希函数将依据所述系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成；所述哈希表包括多个索引标识单元，每个索引标识单元对应指示预设值以下的所述地址信息，并丢弃每个索引标识单元中超出所述预设值的所述地址信息；所述哈希位图以哈希表为对照基础，对于哈希表中非空的索引标识单元，在哈希位图与其相应位置处置非空位值；对于哈希表中为空值的索引标识单元，在哈希位图与其相应位置处置空位值；
使用所述哈希函数对到达系统的IP访问请求的地址信息进行哈希变换生成清洗设备的哈希表；
比对清洗设备的哈希表与所述哈希位图，以对到达系统的IP访问请求执行首次过滤操作，清除其中与哈希位图不匹配的IP访问请求。
4.根据权利要求3所述的DDOS系统访问请求过滤方法，其特征在于，还包括后续步骤：
接收所述检测设备传输的所述白名单，并对到达系统的IP访问请求执行二次过滤操作，以清除其中与所述白名单不匹配的IP访问请求。
5.根据权利要求4所述的DDOS系统访问请求过滤方法，其特征在于，所述对到达系统的IP访问请求的地址信息执行二次过滤操作的步骤包括：
利用所述白名单与所述到达系统的IP访问请求的地址信息做比较，识别出与所述白名单不匹配的到达系统的IP访问请求的地址信息，并将相应的IP访问请求滤除。
6.一种DDOS系统地址信息传输方法，其特征在于，包括：
检测设备使用哈希函数将依据所述系统确定的IP访问请求地址信息确定的白名单进行哈希变换生成相应的哈希表；所述哈希表包括多个索引标识单元，每个索引标识单元对应指示预设值以下的所述地址信息，并丢弃每个索引标识单元中超出所述预设值的所述地址信息；
当所述系统判定IP访问请求异常时，所述检测设备转换所述哈希表为哈希位图，并传输该哈希位图至清洗设备；所述哈希位图以哈希表为对照基础，对于哈希表中非空的索引标识单元，在哈希位图与其相应位置处置非空位值；对于哈希表中为空值的索引标识单元，在哈希位图与其相应位置处置空位值；
所述清洗设备将使用所述哈希函数对到达系统的IP访问请求的地址信息进行哈希变换生成清洗设备的哈希表与所述哈希位图比较，以对到达系统的IP访问请求执行首次过滤操作，清除其中与哈希位图不匹配的IP访问请求。
7.根据权利要求6所述的DDOS系统地址信息传输方法，其特征在于，还包括：
所述检测设备待将所述哈希位图传输完毕后，传输所述白名单至所述清洗设备以供所述清洗设备据以对到达系统的IP访问请求执行二次过滤操作，以清除其中与所述白名单不匹配的IP访问请求。
8.一种DDOS系统地址信息传输装置，其特征在于，包括：
第一哈希变换模块，用于使用哈希函数将依据所述系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成相应的哈希表；所述哈希表包括多个索引标识单元，每个索引标识单元对应指示预设值以下的所述地址信息，并丢弃每个索引标识单元中超出所述预设值的所述地址信息；
第一位图转换模块，用于转换该哈希表为哈希位图；所述哈希位图以哈希表为对照基础，对于哈希表中非空的索引标识单元，在哈希位图与其相应位置处置非空位值；对于哈希表中为空值的索引标识单元，在哈希位图与其相应位置处置空位值；
第一传输模块，用于当所述系统判定IP访问请求异常时，传输所述哈希位图至清洗设备，以供所述清洗设备将使用所述哈希函数对到达系统的IP访问请求的地址信息进行哈希变换生成清洗设备的哈希表与所述哈希位图比较，以对到达系统的IP访问请求执行首次过滤操作，清除其中与哈希位图不匹配的IP访问请求。
9.一种DDOS系统访问请求过滤装置，其特征在于，包括：
接收模块，用于接收检测设备将哈希表转换生成的哈希位图，所述哈希表为所述检测设备使用哈希函数将依据所述系统确定的IP访问请求的地址信息确定的白名单进行哈希变换生成；所述哈希表包括多个索引标识单元，每个索引标识单元对应指示预设值以下的所述地址信息，并丢弃每个索引标识单元中超出所述预设值的所述地址信息；所述哈希位图以哈希表为对照基础，对于哈希表中非空的索引标识单元，在哈希位图与其相应位置处置非空位值；对于哈希表中为空值的索引标识单元，在哈希位图与其相应位置处置空位值；
第一过滤模块，用于使用所述哈希函数对到达系统的IP访问请求的地址信息进行哈希变换生成清洗设备的哈希表；比对清洗设备的哈希表与所述哈希位图，以对到达系统的IP访问请求的地址信息执行首次过滤操作，清除其中与哈希位图不匹配的IP访问请求。
10.一种DDOS系统地址信息传输装置，其特征在于，包括：
第二哈希变换模块，用于检测设备使用哈希函数将依据所述系统确定的IP地址信息确定的白名单进行哈希变换生成相应的哈希表；所述哈希表包括多个索引标识单元，每个索引标识单元对应指示预设值以下的所述地址信息，并丢弃每个索引标识单元中超出所述预设值的所述地址信息；
第二位图转换模块，用于所述检测设备转换所述哈希表为哈希位图；所述哈希位图以哈希表为对照基础，对于哈希表中非空的索引标识单元，在哈希位图与其相应位置处置非空位值；对于哈希表中为空值的索引标识单元，在哈希位图与其相应位置处置空位值；
第二传输模块，用于当所述系统判定IP访问异常时，所述检测设备传输所述哈希位图至清洗设备；
第二过滤模块，用于所述清洗设备将使用所述哈希函数对到达系统的IP访问请求的地址信息进行哈希变换生成清洗设备的哈希表与所述哈希位图比较，以对到达系统的IP访问请求执行首次过滤操作，清除其中与哈希位图不匹配的IP访问请求。
11.一种服务器，其特征在于，包括处理器，该处理器用于执行如权利要求1至2、6至7任意一项所述的DDOS系统地址信息传输方法的步骤或如权利要求3至5任意一项所述的DDOS系统访问请求过滤方法的步骤。
CN201610867165.8A 2016-09-28 2016-09-28 Ddos系统地址信息传输、访问请求过滤方法、装置及服务器 Active CN106411892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610867165.8A CN106411892B (zh) 2016-09-28 2016-09-28 Ddos系统地址信息传输、访问请求过滤方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610867165.8A CN106411892B (zh) 2016-09-28 2016-09-28 Ddos系统地址信息传输、访问请求过滤方法、装置及服务器

Publications (2)

Publication Number Publication Date
CN106411892A CN106411892A (zh) 2017-02-15
CN106411892B true CN106411892B (zh) 2019-08-30

Family

ID=59229283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610867165.8A Active CN106411892B (zh) 2016-09-28 2016-09-28 Ddos系统地址信息传输、访问请求过滤方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN106411892B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347166B (zh) * 2019-08-09 2023-01-31 烽火通信科技股份有限公司 一种提高接口表查找效率的方法及系统
CN111586018B (zh) * 2020-04-29 2022-05-31 杭州迪普科技股份有限公司 一种流量清洗方法及装置
CN113556364B (zh) * 2021-09-18 2021-12-07 浙江大学 一种基于DPDK的DDoS实时防御系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1475930A (zh) * 2002-08-15 2004-02-18 联想(北京)有限公司 基于状态检测的链路层资源定位信息过滤的方法
KR20080010095A (ko) * 2006-07-26 2008-01-30 전북대학교산학협력단 개선된 블룸필터 기반의 분산 서비스 거부 공격 탐지구조와 이를 이용한 탐지 알고리즘.
CN101771702A (zh) * 2010-01-05 2010-07-07 中兴通讯股份有限公司 点对点网络中防御分布式拒绝服务攻击的方法及系统
CN103179132A (zh) * 2013-04-09 2013-06-26 中国信息安全测评中心 一种检测和防御cc攻击的方法及装置
CN105282152A (zh) * 2015-09-28 2016-01-27 广东睿江科技有限公司 一种异常流量检测的方法
CN105553974A (zh) * 2015-12-14 2016-05-04 中国电子信息产业集团有限公司第六研究所 一种http慢速攻击的防范方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1475930A (zh) * 2002-08-15 2004-02-18 联想(北京)有限公司 基于状态检测的链路层资源定位信息过滤的方法
KR20080010095A (ko) * 2006-07-26 2008-01-30 전북대학교산학협력단 개선된 블룸필터 기반의 분산 서비스 거부 공격 탐지구조와 이를 이용한 탐지 알고리즘.
CN101771702A (zh) * 2010-01-05 2010-07-07 中兴通讯股份有限公司 点对点网络中防御分布式拒绝服务攻击的方法及系统
CN103179132A (zh) * 2013-04-09 2013-06-26 中国信息安全测评中心 一种检测和防御cc攻击的方法及装置
CN105282152A (zh) * 2015-09-28 2016-01-27 广东睿江科技有限公司 一种异常流量检测的方法
CN105553974A (zh) * 2015-12-14 2016-05-04 中国电子信息产业集团有限公司第六研究所 一种http慢速攻击的防范方法

Also Published As

Publication number Publication date
CN106411892A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN104580168B (zh) 一种攻击数据包的处理方法、装置及系统
CN106411892B (zh) Ddos系统地址信息传输、访问请求过滤方法、装置及服务器
CN105915650B (zh) 负载均衡方法和装置
JP3718621B2 (ja) インターネットアドレス決定方法及び装置
JP5594171B2 (ja) 通信処理装置、アドレス学習プログラムおよびアドレス学習方法
CN106230870B (zh) 私有协议文件传输系统与方法
CN111934921A (zh) 一种网络拓扑发现方法及装置、设备、存储介质
CN109787827B (zh) 一种cdn网络监控的方法及装置
CN105991444A (zh) 业务处理的方法和装置
CN107666473A (zh) 一种攻击检测的方法及控制器
CN108092940A (zh) 一种dns的防护方法及相关设备
CN106131244A (zh) 一种报文传送方法及装置
CN105939323A (zh) 数据包过滤方法及装置
CN106209837A (zh) Arp欺骗检测方法及系统
CN109658065A (zh) 一种人力资源管理系统
CN104717257B (zh) 传输数据报文的方法及装置
CN106598747A (zh) 网络数据包的并行处理方法及装置
CN107193634A (zh) 一种虚拟机的访问方法及装置
CN105474587B (zh) 一种发送数据包的方法及装置
CN106549784B (zh) 一种数据处理方法和设备
CN109005164A (zh) 一种网络系统、设备、网络数据交互方法及存储介质
CN108460044A (zh) 数据的处理方法和装置
CN103607350A (zh) 一种路由生成方法及装置
CN111294285B (zh) 一种网络数据的分发方法及负载均衡器
US10237353B2 (en) Method and system for discovering the topology of the communications between applications of a computer network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant