CN106789849B - Cc攻击识别方法、节点及系统 - Google Patents

Cc攻击识别方法、节点及系统 Download PDF

Info

Publication number
CN106789849B
CN106789849B CN201510821979.3A CN201510821979A CN106789849B CN 106789849 B CN106789849 B CN 106789849B CN 201510821979 A CN201510821979 A CN 201510821979A CN 106789849 B CN106789849 B CN 106789849B
Authority
CN
China
Prior art keywords
site
access
source
url
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510821979.3A
Other languages
English (en)
Other versions
CN106789849A (zh
Inventor
任宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510821979.3A priority Critical patent/CN106789849B/zh
Publication of CN106789849A publication Critical patent/CN106789849A/zh
Application granted granted Critical
Publication of CN106789849B publication Critical patent/CN106789849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • H04L63/1458Denial of Service

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请提供了一种CC攻击识别方法、节点及系统。该方法包括以下步骤:获取站点的每个访问特征对应的源IP数量,不同源IP在所述站点的相同的访问URL集合上的相同的访问分布对应所述站点的一个访问特征,源IP访问的所述站点的各个URL构成该源IP在所述站点的访问URL集合;根据获取的所述源IP数量识别是否发生针对所述站点的CC攻击。根据本申请的方案,有效提高了CC攻击识别的可靠性和安全性。

Description

CC攻击识别方法、节点及系统
技术领域
本申请涉及计算机安全技术领域,尤其涉及一种CC攻击识别方法、节点及系统。
背景技术
目前,互联网发展迅猛,基于网页(Web)搭建的应用越来越多,针对网站的攻击日益频繁,成为攻击的重要目标。
其中,尤以应用层网络CC(Challenge Collapsar,挑战黑洞)攻击为甚。CC攻击即7层DDoS(Distributed Denial of Service,分布式拒绝服务)攻击,目前主要的防御策略是根据统计阈值来识别CC攻击,进而采取防御措施。比如最常见的Web Http防御策略,在协议解析后,通过多个维度统计频率:统计源IP(Internet Protocol,互联网协议)访问QPS(Query Per Second,每秒查询率)、统计源IP访问某个站点的QPS、统计源IP访问特定URL(Uniform Resource Locator,统一资源定位符)的QPS、统计站点在单位时间内被访问的不同源IP数、统计站点在单位时间内被访问的QPS等等;针对上述各种统计数据分别进行计数,当某种或某几种统计数据的计数值达到设定的防御阈值后,视为发生CC攻击,启动防御策略,即对攻击源进行处罚,例如要求二次认证或阻断访问。
上述防御方式容易被攻击者绕过,尤其是攻击者探测出防御阈值后,可以发起低速攻击,即每个攻击源IP访问频率不高(低于防御阈值),但攻击源很多,从而绕开防御。
综上,现有的CC攻击防御系统的可靠性和安全性较差。
发明内容
本申请的目的是提供一种CC攻击识别方法、节点及系统,以解决现有的CC攻击防御系统的可靠性和安全性较差的问题。
根据本申请的一个方面,提供一种CC攻击识别方法,该方法包括以下步骤:获取站点的每个访问特征对应的源IP数量,不同源IP在所述站点的相同的访问URL集合上的相同的访问分布对应所述站点的一个访问特征,源IP访问的所述站点的各个URL构成该源IP在所述站点的访问URL集合;根据获取的所述源IP数量识别是否发生针对所述站点的CC攻击。
根据本申请的另一方面,还提供了一种CC攻击识别节点,该节点包括以下单元:访问特征统计单元,用于获取站点的每个访问特征对应的源IP数量,不同源IP在所述站点的相同的访问URL集合上的相同的访问分布对应所述站点的一个访问特征,源IP访问的所述站点的各个URL构成该源IP在所述站点的访问URL集合;攻击识别单元,用于根据获取的所述源IP数量识别是否发生针对所述站点的CC攻击。
根据本申请的又一方面,还提供了一种CC攻击识别系统,该系统包括至少一个上述节点。
与现有技术相比,本申请具有以下优点:现有的CC攻击防御系统所采用的防御策略在多个维度上进行参数统计,那么攻击者一旦探测出防御阈值后,就可以通过多个攻击源IP低频率访问的方式绕开攻击。而本申请实施例提供的技术方案,针对站点的访问特征进行统计,即获取站点的每个访问特征对应的源IP数量,其中,不同源IP在所述站点的相同的访问URL集合上的相同的访问分布对应所述站点的一个访问特征。可见,即使是不同的源IP发起低频率的攻击,只要这些源IP的访问URL集合相同,且访问分布相同,则作为一个访问特征进行统计,即将这些源IP视为一个访问源进行统计,进而根据获取的所述源IP数量识别是否发生针对所述站点的CC攻击,从而识别出CC攻击,避免攻击者通过多个攻击源IP、每个源IP低密度访问的方式绕过识别,从而提高了CC识别的稳定性和安全性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本申请一个实施例的方法流程图;
图2为本申请另一个实施例的CC攻击识别节点的结构示意图;
图3为本申请另一个实施例的网络系统流程图;
图4为根据本申请一个实施例的攻击分析系统的工作流程图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在上下文中所称“节点”是一种计算机设备,指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备,其可以包括处理器与存储器,由处理器执行在存储器中预存的存续指令来执行预定处理过程,或是由ASIC、FPGA、DSP等硬件执行预定处理过程,或是由上述二者组合来实现。
需要说明的是,所述计算机设备仅为举例,其他现有的或今后可能出现的计算机设备如可适用于本申请,也应包含在本申请保护范围以内,并以引用方式包含于此。
后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时,用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的,并且是用于 描述本申请的示例性实施例的目的。但是本申请可以通过许多替换形式来具体实现,并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是,当一个模块被称为“连接”或“耦合”到另一模块时,其可以直接连接或耦合到所述另一模块,或者可以存在中间模块。与此相对,当一个模块被称为“直接连接”或“直接耦合”到另一模块时,则不存在中间单元。应当按照类似的方式来解释被用于描述模块之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”,“与...邻近”相比于“与...直接邻近”等等)。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指,否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是,这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在,而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是,在一些替换实现方式中,所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说,取决于所涉及的功能/动作,相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本申请作进一步详细描述。
图1为本申请一个实施例的CC攻击方法的流程示意图。
其中,本实施例的方法主要通过计算机设备来实现,可以由单个计算机设备实现,也可以由多个计算机设备组成的CC攻击识别系统实现。如果由CC攻击识别系统实现,该CC攻击识别系统中包括若干节点,其具体配合工作的方式有多种,将在下面的实施例中举例说明。
根据本实施例的方法包括步骤S110-S120。
在步骤S110中,获取站点的每个访问特征对应的源IP数量。
其中,站点可以通过域名来标识。例如,域名为a.com的站点与 域名为b.com的站点为不同的站点。
其中,站点的每个访问特征分别反映了访问该站点的源IP的一个访问URL集合,以及这个或这些源IP在该访问URL集合上的访问分布;不同源IP在该站点的相同的访问URL集合上的相同的访问分布对应该站点的一个访问特征。
其中,源IP访问的站点的各个URL构成该源IP在该站点的访问URL集合。
例如,域名为a.com的站点下有URL1、URL2和URL3,共有4个源IP访问该站点。其中,源IP_1.1.1访问站点_a.com的URL1和URL2,则源IP_1.1.1在站点_a.com上的访问URL集合为{URL1,URL2},其在该访问URL集合上的访问分布为A;源IP_1.1.2在站点_a.com上的访问URL集合为{URL1,URL2},其在该访问URL集合上的访问分布也为A;源IP_1.1.3在站点_a.com上的访问URL集合为{URL1,URL3},其在该访问URL集合上的访问分布为B;源IP_1.1.4在站点_a.com上的访问URL集合为{URL1,URL3},其在该访问URL集合上的访问分布为C。
那么,站点_a.com有三个访问特征。其中一个访问特征对应访问URL集合{URL1,URL2}及源IP在该访问URL集合上的访问分布A,其对应的源IP数量为2;另一个访问特征对应访问URL集合{URL1,URL3}及源IP在该访问URL集合上的访问分布B,其对应的源IP数量为1;又一个访问特征对应访问URL集合{URL1,URL3}及源IP在该访问URL集合上的访问分布C,其对应的源IP数量为1。
在步骤S120中,根据获取的上述源IP数量识别是否发生针对该站点的CC攻击。
本申请实施例提供的技术方案,针对站点的访问特征进行统计,即获取站点的每个访问特征对应的源IP数量,其中,不同源IP在所述站点的相同的访问URL集合上的相同的访问分布对应所述站点的一个访问特征。可见,即使是不同的源IP发起低频率的攻击,只要这些源IP的访问URL集合相同,且访问分布相同,则作为一个访问 特征进行统计,即将这些源IP视为一个访问源进行统计,进而根据获取的所述源IP数量识别是否发生针对所述站点的CC攻击,从而识别出CC攻击,避免攻击者通过多个攻击源IP、每个源IP低密度访问的方式绕过识别,从而提高了CC识别的稳定性和安全性。
上述步骤S110中,既可以通过统计、计算的方式获取站点的每个访问特征对应的源IP数量,也可以从外部获取站点的每个访问特征对应的源IP数量。
其中,如果CC攻击识别系统中的从节点从外部获取站点的每个访问特征对应的源IP数量,其可以从CC攻击识别系统的主节点获取。一种实现方式可以是,主节点通过统计、计算的方式,根据每个站点的访问请求分别确定每个站点的每个访问特征对应的源IP数量,并按照站点将确定的源IP数量发送给不同的从节点,从节点从而实现上述步骤S110。
为了降低主节点的负荷,可以由主节点通过外部获取的方式实现上述步骤S110。其中,主节点可以从CC攻击识别系统的从节点获取。一种实现方式可以是,主节点将接收到的访问请求按照站点分流给各个从节点,其中,相同站点的访问请求分流给相同的从节点,各个从节点通过统计、计算的方式,根据分流至本节点的访问请求确定访问请求所针对的站点的每个访问特征对应的源IP数量,并将确定的源IP数量上报给主节点,主节点从而实现上述步骤S110。
为了降低主节点的负荷,也可以由从节点从其他从节点处获取的方式实现上述步骤S110。其中,从节点可以从用于计算上述源IP数量的从节点获取。一种实现方式可以是,主节点将接收到的访问请求按照站点分流给各个用于计算上述源IP数量的从节点,这些从节点通过统计、计算的方式,根据站点的访问请求分别确定该站点的每个访问特征对应的源IP数量,并发送给用于该站点对应的用于进行CC攻击识别的从节点,该从节点从而实现上述步骤S110。
其中,如果通过统计、计算的方式实现步骤S110,那么,在步骤S110之前,还获取访问上述站点的每个源IP在该站点的访问URL集合 上的访问分布。为了进一步降低主节点的负荷、优化系统性能,可以由从节点通过统计、计算的方式实现步骤S110。
其中,既可以通过统计、计算的方式获取访问上述站点的每个源IP在该站点的访问URL集合上的访问分布,也可以从外部获取访问上述站点的每个源IP在该站点的访问URL集合上的访问分布。其中,从外部获取的实现方式可以参照上述实施例的描述,此处不再赘述。
如果通过统计、计算的方式获取访问上述站点的每个源IP在该站点的访问URL集合上的访问分布,其实现方式有多种。一种实现方式中,获取上述站点的每个URL的访问概率,该站点的每个URL的访问概率由单位时间内该URL的访问次数及单位时间内该站点的各个URL的总访问次数确定;根据该站点的每个URL的访问概率,获取访问该站点的每个源IP在所述站点的访问URL集合上的访问分布。
例如,CNTi表示单位时间内URL_i的访问次数,则
Figure BDA0000855396450000071
表示单位时间内站点的各个URL的总访问次数,Pi=CNTi/Total_CNT表示单个URL的访问频率,
Figure BDA0000855396450000072
表示源IP在站点的访问URL集合上的访问分布
其中,可以根据最近的单位时间内的统计量确定单位时间内的访问次数。例如,以秒为单位,则始终根据最近1秒内的统计量确定1秒内的访问次数。也可以根据最近的单位时间内的统计量以及历史统计量确定单位时间内的访问次数。例如,以秒为单位,则根据最近1秒内的统计量以及之前确定的单位时间内的访问次数,更新单位时间内的访问次数。
基于上述任意通过统计、计算的方式实现上述步骤S110的实施例。其中,步骤S110的一种具体实现方式如下:获取上述站点的每个访问URL集合的内容融合值;根据访问该站点的每个源IP在该站点的访问URL集合的内容融合值和上述访问分布,确定上述每个源IP对应的访问特征值;统计取值相同的各个访问特征值的数量作为该站点的每个访问特征对应的源IP数量。
其中,访问URL集合的内容融合值由该访问URL集合中的各个 URL的文本内容确定的,不同访问URL集合的内容融合值不同。
其中,内容融合值可以是从外部获取的,其具体获取方式可以参照上述实施例的描述,此处不再赘述。内容融合值也可以是通过统计、计算的方式确定的,一种实现方式中:获取每个访问URL集合中的各个URL的文本内容对应的哈希值之和;分别将每个访问URL集合的哈希值之和转换为字符串,转换得到的字符串为内容融合值。其具体实现可以通过如下公式表示:
Figure BDA0000855396450000081
其中,+代表XOR,Hash(URL1)+Hash(URL2)=Hash(URL1)XOR Hash(URL2);Hash函数针对URL文本内容处理,返回二进制数组;Hash函数可以用SHA1或MD5等;H_URLS表示多个URL Hash值的和,通过Hash算法和XOR二进制运算,将任意多个URL合并为一个唯一的值,且与计算的顺序无关。
C_URLS=Hex(H_URLS)
H_URLS是二进制格式,通过Hex函数转化成字符串,这里是16进展转化,将1个字节转化成0-9A-F两位字符,也可以用Base64形式处理。
无论采用何种方式获得内容融合值,只要内容融合值以字符串表示,均可以按照预定顺序,将每个源IP在上述站点的访问URL集合的内容融合值与上述访问分布级联,级联结果为源IP对应的访问特征值Key_URLS。其具体实现可以通过如下公式表示:
Key_URLS=E_URLS||C_URLS,||代表字符串拼接
基于上述任意方法实施例,上述步骤S120的实现方式有多种。一种实现方式中预设第一阈值,将获取的最大源IP数量与预设的第一阈值进行比较,根据比较结果识别是否发生针对上述站点的CC攻击。例如,最大源IP数量大于预设的第一阈值则表示发生针对上述站点的CC攻击,否则表示未发生;又例如,最大源IP数量大于或等于预设的第一阈值则表示发生针对上述站点的CC攻击,否则表示未发生。另一种实现方式中预设第二阈值,将获取的最大源IP数量与获取的源IP数量总和 的比值(又称最大源IP数量的占比)、与预设的第二阈值进行比较,根据比较结果识别是否发生针对上述站点的CC攻击。例如,最大源IP数量的占比大于预设的第二阈值则表示发生针对上述站点的CC攻击,否则表示未发生;又例如,最大源IP数量的占比大于或等于预设的第二阈值则表示发生针对上述站点的CC攻击,否则表示未发生。
针对某个站点可能会获取多个源IP数量,其中的最大源IP数量如果满足CC攻击的预判条件,则就可以表明该站点发生CC攻击,如果最大源IP数量不满足CC攻击的预判条件,则其他源IP数量肯定也不满足。因此,仅针对最大源IP数量进行判断即可,从而减少运算量。
应当指出的是,本申请实施例提供的方法不仅可以实现对CC攻击的识别,进一步的,还可以对CC攻击的攻击源进行识别。那么,在上述任意实施例的基础上,获取源IP数量最大的访问特征对应的源IP,作为攻击源。
图2为本申请一个实施例的CC攻击节点2的结构示意图。其中包括:
访问特征统计单元201,用于获取站点的每个访问特征对应的源IP数量,不同源IP在所述站点的相同的访问URL集合上的相同的访问分布对应所述站点的一个访问特征,源IP访问的所述站点的各个URL构成该源IP在所述站点的访问URL集合;
攻击识别单元202,用于根据获取的所述源IP数量识别是否发生针对所述站点的CC攻击。
本申请实施例提供的技术方案,针对站点的访问特征进行统计,即获取站点的每个访问特征对应的源IP数量,其中,不同源IP在所述站点的相同的访问URL集合上的相同的访问分布对应所述站点的一个访问特征。可见,即使是不同的源IP发起低频率的攻击,只要这些源IP的访问URL集合相同,且访问分布相同,则作为一个访问特征进行统计,即将这些源IP视为一个访问源进行统计,进而根据获取的所述源IP数量识别是否发生针对所述站点的CC攻击,从而识别出CC攻击,避免攻击者通过多个攻击源IP、每个源IP低密度访问的方式绕过识别, 从而提高了CC识别的稳定性和安全性。
可选的,所述节点还包括:
访问分布统计单元,用于获取访问所述站点的每个源IP在所述站点的访问URL集合上的访问分布。
可选的,所述节点作为CC攻击识别系统中的从节点,所述访问分布统计单元用于:
至少根据分流至本节点的所述站点的访问请求中携带的源IP和URL,获取访问所述站点的每个源IP在所述站点的访问URL集合上的访问分布。
可选的,所述访问分布统计单元具体用于:
根据分流至本节点的所述站点的访问请求中携带的URL和访问时间,获取所述站点的每个URL的访问概率,所述站点的每个URL的访问概率由单位时间内该URL的访问次数及单位时间内所述站点的各个URL的总访问次数确定;
根据所述站点的每个URL的访问概率及分流至本节点的所述站点的访问请求中携带的源IP,获取访问所述站点的每个源IP在所述站点的访问URL集合上的访问分布。
可选的,所述节点作为CC攻击识别系统中的主节点,所述访问分布统计单元用于:
从所述CC攻击识别系统的从节点获取访问所述站点的每个源IP在所述站点的访问URL集合上的访问分布。
可选的,所述访问特征统计单元具体用于:
获取所述站点的每个访问URL集合的内容融合值,访问URL集合的内容融合值由该访问URL集合中的各个URL的文本内容确定的,不同访问URL集合的内容融合值不同;
根据访问所述站点的每个源IP在所述站点的访问URL集合的内容融合值和所述访问分布,确定所述每个源IP对应的访问特征值;
统计取值相同的各个访问特征值的数量作为所述站点的每个访问特征对应的源IP数量。
可选的,所述节点作为CC攻击识别系统中的从节点,为了获取所述站点的每个访问URL集合的内容融合值,以及根据访问所述站点的每个源IP在所述站点的访问URL集合的内容融合值和所述访问分布,确定所述每个源IP对应的访问特征值,所述访问特征统计单元具体用于:
获取每个访问URL集合中的各个URL的文本内容对应的哈希值之和;
分别将每个访问URL集合的哈希值之和转换为字符串,转换得到的字符串为内容融合值;
按照预定顺序,将所述每个源IP在所述站点的访问URL集合的内容融合值与所述访问分布级联,级联结果为源IP对应的访问特征值。
可选的,所述节点作为CC攻击识别系统中的主节点,为了获取所述站点的每个访问URL集合的内容融合值,所述访问特征统计单元具体用于:
从所述CC攻击识别系统的从节点获取所述站点的每个访问URL集合的内容融合值。
可选的,所述节点作为主节点还包括访问请求分流单元,用于将接收到的访问请求按照站点分流给各个从节点,其中,相同站点的访问请求分流给相同的从节点。
基于上述任一节点实施例,可选的,所述攻击识别单元具体用于:
将获取的最大源IP数量与预设的第一阈值进行比较,根据比较结果识别是否发生针对所述站点的CC攻击;或者,
将获取的最大源IP数量与获取的源IP数量总和的比值、与预设的第二阈值进行比较,根据比较结果识别是否发生针对所述站点的CC攻击。
基于上述任一节点实施例,可选的,所述攻击识别单元还用于:获取源IP数量最大的访问特征对应的源IP,作为攻击源。
本申请实施例还提供一种CC攻击识别系统,包括至少一个如上所述的节点。
其中,所述系统还包括主节点,若干如上所述的节点作为从节点;
主节点将接收到的访问请求分流给各个从节点,其中,相同站点的访问请求分流给相同的从节点;
从节点根据分流至本节点的访问请求获取访问请求对应的站点的每个访问特征对应的源IP数量;根据获取的所述源IP数量识别是否发生针对所述站点的CC攻击。
下面将结合具体应用场景,对本申请实施例提供的方法进行详细说明。
假设在对进行电子商务的WEB服务器进行CC攻击识别的系统中,如图3所示,WEB服务器用于处理电子商务的访问请求,将访问请求分发给各个站点,并返回处理结果页面。
Web服务器需要将所有的Http请求流量数据发送给攻击分析系统,包括:时间(time)、来源IP(SRC_IP)、URL等。
攻击分析系统是核心系统,对Http请求流量实时分析,并检测是否发生CC攻击,若发生CC攻击,则检测并提取攻击源IP,以黑名单的形式提交给拦截系统。
拦截系统用于根据攻击分析系统提供的来源IP黑名单,实施访问阻断或二次验证功能。一般可由应用级防火墙或者其他可实施拦截的安全产品实现。
攻击分析系统的工作流程如图4所示,具体包括:
接收Web服务器发送的HTTP请求数据,按HOST(站点域名)分流,提交给不同的引擎处理,不同域名的流量分离检测,比如:针对a.com和b.com的站点的检测是分开的;
同一HOST下的请求,按来源IP(SRC_IP)分组;
统计同一个来源IP(SRC_IP)下单位时间内(如:秒),访问不同URL的次数(CNT),计算每个URL的频率,得到TIME、URL、CNT列表;
计算URL分布:E_URLS,公式如下:
Figure BDA0000855396450000121
表示URL总的访问次数
Pi=CNTi/Total_CNT表示单个URL出现的概率
Figure BDA0000855396450000131
表示URLS分布值
计算URL内容融合值:C_URLS,公式如下:
Figure BDA0000855396450000132
说明:
a、+代表XOR,Hash(URL1)+Hash(URL2)=Hash(URL1)XOR Hash(URL2)
b、Hash函数针对URL文本内容处理,返回二进制数组;Hash函数可以用SHA1或MD5等;
c、H_URLS表示多个URL Hash值的和,通过Hash算法和XOR二进制运算,将任意多个URL合并为一个唯一的值,且与计算的顺序无关。
C_URLS=Hex(H_URLS)
H_URLS是二进制格式,通过Hex函数转化成字符串,这里是16进展转化,将1个字节转化成0-9A-F两位字符,也可以用Base64形式处理。
生成Key_URLS=E_URLS||C_URLS,||代表字符串拼接。
统计每个Key_URLS出现的次数,表示访问的URL集合相同,且分布也相同的IP个数。
计算次数最多的Key_URLS的占比:D_KU;
若D_KU超过阈值,则检测HOST受到CC攻击,说明该网站,大量的访问IP,请求的URL集合相同,同时访问的频率、分布也相同,符合机器访问的特征,由DDos攻击引起。
攻击IP提取,将Key_URLS等于MAX_Key_URLS的来源IP提取出来,构成IP列表,极为发起DDos攻击的来源IP,同步给拦截系统。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,本申请的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包 括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
虽然前面特别示出并且描述了示例性实施例,但是本领域技术人员将会理解的是,在不背离权利要求书的精神和范围的情况下,在其形式和细节方面可以有所变化。

Claims (16)

1.一种CC攻击识别方法,其特征在于,该方法包括以下步骤:
获取访问站点的每个源IP在所述站点的访问URL集合上的访问分布,其中包括:
获取所述站点的每个URL的访问概率,所述站点的每个URL的访问概率由单位时间内该URL的访问次数及单位时间内所述站点的各个URL的总访问次数确定;
根据所述站点的每个URL的访问概率,获取访问所述站点的每个源IP在所述站点的访问URL集合上的访问分布;
获取站点的每个访问特征对应的源IP数量,不同源IP在所述站点的相同的访问URL集合上的相同的访问分布对应所述站点的一个访问特征,源IP访问的所述站点的各个URL构成该源IP在所述站点的访问URL集合;
根据获取的所述源IP数量识别是否发生针对所述站点的CC攻击。
2.根据权利要求1所述的方法,其特征在于,所述获取站点的每个访问特征对应的源IP数量的步骤包括:
获取所述站点的每个访问URL集合的内容融合值,访问URL集合的内容融合值由该访问URL集合中的各个URL的文本内容确定的,不同访问URL集合的内容融合值不同;
根据访问所述站点的每个源IP在所述站点的访问URL集合的内容融合值和所述访问分布,确定所述每个源IP对应的访问特征值;
统计取值相同的各个访问特征值的数量作为所述站点的每个访问特征对应的源IP数量。
3.根据权利要求2所述的方法,其特征在于,所述获取所述站点的每个访问URL集合的内容融合值的步骤包括:
获取每个访问URL集合中的各个URL的文本内容对应的哈希值之和;
分别将每个访问URL集合的哈希值之和转换为字符串,转换得到的字符串为内容融合值;
所述根据访问所述站点的每个源IP在所述站点的访问URL集合的内容融合值和所述访问分布,确定所述每个源IP对应的访问特征值的步骤包括:
按照预定顺序,将所述每个源IP在所述站点的访问URL集合的内容融合值与所述访问分布级联,级联结果为源IP对应的访问特征值。
4.根据权利要求1~3任一项所述的方法,其特征在于,所述根据获取的所述源IP数量识别是否发生针对所述站点的CC攻击的步骤包括:
将获取的最大源IP数量与预设的第一阈值进行比较,根据比较结果识别是否发生针对所述站点的CC攻击;或者,
将获取的最大源IP数量与获取的源IP数量总和的比值、与预设的第二阈值进行比较,根据比较结果识别是否发生针对所述站点的CC攻击。
5.根据权利要求1~3任一项所述的方法,其特征在于,识别到发生针对所述站点的CC攻击后,该方法还包括:
获取源IP数量最大的访问特征对应的源IP,作为攻击源。
6.一种CC攻击识别节点,其特征在于,包括:
访问分布统计单元,用于获取访问站点的每个源IP在所述站点的访问URL集合上的访问分布,所述访问分布统计单元具体用于:
根据分流至本节点的所述站点的访问请求中携带的URL和访问时间,获取所述站点的每个URL的访问概率,所述站点的每个URL的访问概率由单位时间内该URL的访问次数及单位时间内所述站点的各个URL的总访问次数确定;
根据所述站点的每个URL的访问概率及分流至本节点的所述站点的访问请求中携带的源IP,获取访问所述站点的每个源IP在所述站点的访问URL集合上的访问分布;
访问特征统计单元,用于获取站点的每个访问特征对应的源IP数量,不同源IP在所述站点的相同的访问URL集合上的相同的访问分布对应所述站点的一个访问特征,源IP访问的所述站点的各个URL构成该源IP在所述站点的访问URL集合;
攻击识别单元,用于根据获取的所述源IP数量识别是否发生针对所述站点的CC攻击。
7.根据权利要求6所述的节点,其特征在于,所述节点作为CC攻击识别系统中的从节点,所述访问分布统计单元用于:
至少根据分流至本节点的所述站点的访问请求中携带的源IP和URL,获取访问所述站点的每个源IP在所述站点的访问URL集合上的访问分布。
8.根据权利要求6所述的节点,其特征在于,所述节点作为CC攻击识别系统中的主节点,所述访问分布统计单元用于:
从所述CC攻击识别系统的从节点获取访问所述站点的每个源IP在所述站点的访问URL集合上的访问分布。
9.根据权利要求6所述的节点,其特征在于,所述访问特征统计单元具体用于:
获取所述站点的每个访问URL集合的内容融合值,访问URL集合的内容融合值由该访问URL集合中的各个URL的文本内容确定的,不同访问URL集合的内容融合值不同;
根据访问所述站点的每个源IP在所述站点的访问URL集合的内容融合值和所述访问分布,确定所述每个源IP对应的访问特征值;
统计取值相同的各个访问特征值的数量作为所述站点的每个访问特征对应的源IP数量。
10.根据权利要求9所述的节点,其特征在于,所述节点作为CC攻击识别系统中的从节点,为了获取所述站点的每个访问URL集合的内容融合值,以及根据访问所述站点的每个源IP在所述站点的访问URL集合的内容融合值和所述访问分布,确定所述每个源IP对应的访问特征值,所述访问特征统计单元具体用于:
获取每个访问URL集合中的各个URL的文本内容对应的哈希值之和;
分别将每个访问URL集合的哈希值之和转换为字符串,转换得到的字符串为内容融合值;
按照预定顺序,将所述每个源IP在所述站点的访问URL集合的内容融合值与所述访问分布级联,级联结果为源IP对应的访问特征值。
11.根据权利要求9所述的节点,其特征在于,所述节点作为CC攻击识别系统中的主节点,为了获取所述站点的每个访问URL集合的内容融合值,所述访问特征统计单元具体用于:
从所述CC攻击识别系统的从节点获取所述站点的每个访问URL集合的内容融合值。
12.根据权利要求8或11所述的节点,其特征在于,所述节点还包括访问请求分流单元,用于将接收到的访问请求按照站点分流给各个从节点,其中,相同站点的访问请求分流给相同的从节点。
13.根据权利要求6~11任一项所述的节点,其特征在于,所述攻击识别单元具体用于:
将获取的最大源IP数量与预设的第一阈值进行比较,根据比较结果识别是否发生针对所述站点的CC攻击;或者,
将获取的最大源IP数量与获取的源IP数量总和的比值、与预设的第二阈值进行比较,根据比较结果识别是否发生针对所述站点的CC攻击。
14.根据权利要求6~11任一项所述的节点,其特征在于,所述攻击识别单元还用于:获取源IP数量最大的访问特征对应的源IP,作为攻击源。
15.一种CC攻击识别系统,其特征在于,包括至少一个如权利要求6所述的节点。
16.根据权利要求15所述的系统,其特征在于,所述系统还包括主节点,若干如权利要求6所述的节点作为从节点;
主节点将接收到的访问请求分流给各个从节点,其中,相同站点的访问请求分流给相同的从节点;
从节点根据分流至本节点的访问请求获取访问请求对应的站点的每个访问特征对应的源IP数量;根据获取的所述源IP数量识别是否发生针对所述站点的CC攻击。
CN201510821979.3A 2015-11-24 2015-11-24 Cc攻击识别方法、节点及系统 Active CN106789849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510821979.3A CN106789849B (zh) 2015-11-24 2015-11-24 Cc攻击识别方法、节点及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510821979.3A CN106789849B (zh) 2015-11-24 2015-11-24 Cc攻击识别方法、节点及系统

Publications (2)

Publication Number Publication Date
CN106789849A CN106789849A (zh) 2017-05-31
CN106789849B true CN106789849B (zh) 2020-12-04

Family

ID=58963337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510821979.3A Active CN106789849B (zh) 2015-11-24 2015-11-24 Cc攻击识别方法、节点及系统

Country Status (1)

Country Link
CN (1) CN106789849B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259476B (zh) * 2017-12-29 2021-01-05 杭州安恒信息技术股份有限公司 一种基于模糊诱导的防猜解绕过方法及其系统
CN109995732A (zh) * 2017-12-30 2019-07-09 中国移动通信集团安徽有限公司 网站安全访问监控方法、装置、设备及介质
CN108494791A (zh) * 2018-04-08 2018-09-04 北京明朝万达科技股份有限公司 一种基于Netflow日志数据的DDOS攻击检测方法及装置
CN110213393B (zh) * 2018-04-17 2021-09-17 腾讯科技(深圳)有限公司 报文处理方法及计算机设备
CN111464480A (zh) * 2019-01-18 2020-07-28 华为技术有限公司 一种访问请求处理方法及装置
US11337108B2 (en) * 2020-02-19 2022-05-17 Verizon Patent And Licensing Inc. Uplink congestion control based on SIP messaging
CN114499917B (zh) * 2021-10-25 2024-01-09 中国银联股份有限公司 Cc攻击检测方法及cc攻击检测装置
CN114640504B (zh) * 2022-02-24 2024-02-06 京东科技信息技术有限公司 Cc攻击防护方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505219A (zh) * 2009-03-18 2009-08-12 杭州华三通信技术有限公司 一种防御拒绝服务攻击的方法和防护装置
CN103701795A (zh) * 2013-12-20 2014-04-02 北京奇虎科技有限公司 拒绝服务攻击的攻击源的识别方法和装置
CN103916379A (zh) * 2013-12-04 2014-07-09 哈尔滨安天科技股份有限公司 一种基于高频统计的cc攻击识别方法及系统
CN104065644A (zh) * 2014-05-28 2014-09-24 北京知道创宇信息技术有限公司 基于日志分析的cc攻击识别方法和设备
US9178899B2 (en) * 2013-08-28 2015-11-03 Bank Of America Corporation Detecting automated site scans

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505219A (zh) * 2009-03-18 2009-08-12 杭州华三通信技术有限公司 一种防御拒绝服务攻击的方法和防护装置
US9178899B2 (en) * 2013-08-28 2015-11-03 Bank Of America Corporation Detecting automated site scans
CN103916379A (zh) * 2013-12-04 2014-07-09 哈尔滨安天科技股份有限公司 一种基于高频统计的cc攻击识别方法及系统
CN103701795A (zh) * 2013-12-20 2014-04-02 北京奇虎科技有限公司 拒绝服务攻击的攻击源的识别方法和装置
CN104065644A (zh) * 2014-05-28 2014-09-24 北京知道创宇信息技术有限公司 基于日志分析的cc攻击识别方法和设备

Also Published As

Publication number Publication date
CN106789849A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106789849B (zh) Cc攻击识别方法、节点及系统
CN108494775B (zh) 防止利用合法数据或篡改合法数据进行网络攻击的方法
CN109474575B (zh) 一种dns隧道的检测方法及装置
CN112019575B (zh) 数据包处理方法、装置、计算机设备以及存储介质
EP3170091B1 (en) Method and server of remote information query
CN108712426B (zh) 基于用户行为埋点的爬虫识别方法及系统
CN109768992B (zh) 网页恶意扫描处理方法及装置、终端设备、可读存储介质
CN107395553B (zh) 一种网络攻击的检测方法、装置及存储介质
CN102571846A (zh) 一种转发http请求的方法及装置
CN104184832A (zh) 网络应用中的数据提交方法及装置
CN110958249B (zh) 信息处理方法、装置、电子设备及存储介质
CN106713318B (zh) 一种web站点安全防护方法及系统
CN102594809B (zh) 一种文件快速扫描方法和系统
CN105635064B (zh) Csrf攻击检测方法及装置
CN109413016B (zh) 一种基于规则的报文检测方法和装置
CN112989348B (zh) 攻击检测方法、模型训练方法、装置、服务器及存储介质
CN110855649A (zh) 一种检测服务器中异常进程的方法与装置
CN103916379A (zh) 一种基于高频统计的cc攻击识别方法及系统
US8407802B2 (en) Method and system for providing security seals on web pages
CN109495471B (zh) 一种对web攻击结果判定方法、装置、设备及可读存储介质
US20190124111A1 (en) Responding and processing method for dnssec negative response
Wang et al. DGA and DNS covert channel detection system based on machine learning
CN114978740A (zh) 基于区块链的标识关联和验证的解析方法
TWI750252B (zh) 記錄網站存取日誌的方法和裝置
CN111355694B (zh) 一种网络数据校验方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1237552

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant