CN110875907A - 一种访问请求控制方法及装置 - Google Patents

一种访问请求控制方法及装置 Download PDF

Info

Publication number
CN110875907A
CN110875907A CN201811013982.2A CN201811013982A CN110875907A CN 110875907 A CN110875907 A CN 110875907A CN 201811013982 A CN201811013982 A CN 201811013982A CN 110875907 A CN110875907 A CN 110875907A
Authority
CN
China
Prior art keywords
access request
access
source
website
source website
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811013982.2A
Other languages
English (en)
Inventor
任宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811013982.2A priority Critical patent/CN110875907A/zh
Publication of CN110875907A publication Critical patent/CN110875907A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请的目的是提供一种访问请求控制方法及设备，该方法包括：从访问请求中提取出来源网站；根据所述来源网站在白名单中进行查询；响应于在所述白名单中没有查询到所述来源网站并且单位时间段内来自所述来源网站的访问请求的访问次数占比超过第一预设阈值，对所述访问请求进行拦截。本申请的访问请求控制方法及设备，能够有效快速识别出异常的来源网站并拦截，阻断恶意访问，尤其对于访问频率低、用户量大的Web DDos等网络攻击，能够有效防御。

Description

一种访问请求控制方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种访问请求控制方法及装置。
背景技术
现有技术中，分布式拒绝服务(DDoS，Distributed Denial of Service)攻击指借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，对一个或多个目标发动DDoS攻击，从而成倍地提高拒绝服务攻击的威力。其攻击方式具体如下：
攻击者首先攻陷网站，在页面中植入恶意JavaScript代码，成为感染网站；当普通用户浏览感染网站时，感染网站向该普通用户返回的页面中包含恶意JavaScript代码，并在用户浏览器执行；恶意JavaScript代码在普通用户无感知的情况下，后台向受害网站(被攻击的网站)发起大量频繁访问。此时，普通用户的上网设备成为攻击武器，若感染网站的在线普通用户达到一定规模，则受害网站会受到来自不同在线普通用户的几十到上千倍的频繁访问，形成DDos攻击。这种攻击都是来自真实普通用户，并且普通用户终端的IP变化频率快，传统安全产品很难抵御。
申请内容
本申请的一个目的是提供一种访问请求控制方法及装置，以解决现有的分布式拒绝服务攻击的问题。
根据本申请实施例的第一方面，提供一种访问请求控制方法，包括：
从访问请求中提取出来源网站；
根据所述来源网站在白名单中进行查询；
响应于在所述白名单中没有查询到所述来源网站并且单位时间段内来自所述来源网站的访问请求的访问次数占比超过第一预设阈值，对所述访问请求进行拦截。
进一步，本申请实施例所述的方法，还包括：
响应于在所述白名单中查询到所述来源网站，或者，响应于在所述白名单中没有查询到所述来源网站并且单位时间段内来自所述来源网站的访问请求的访问次数占比没有超过第一预设阈值，将所述访问请求转发至目标网站。
进一步，本申请实施例所述的方法，所述访问请求为超文本传输协议请求；
所述从访问请求中提取出来源网站的步骤包括：
从所述访问请求的超文本传输协议请求头的Referer字段中提取域名；
从所述域名中提取所述来源网站。
进一步，本申请实施例所述的方法，在根据所述来源网站在白名单中进行查询之前，还包括：
收集访问请求日志，从所述访问请求日志中获取访问请求的来源网站；
对所述访问请求的来源网站进行筛选，将筛选得到的来源网站加入所述白名单。
进一步，本申请实施例所述的方法，对所述访问请求的来源网站进行筛选的步骤包括：
计算单位时间段内，来自来源网站的访问请求的访问次数占比；
筛选出所述访问次数占比超过第二预设阈值的来源网站。
进一步，本申请实施例所述的方法，在筛选出所述访问次数占比超过第二预设阈值的来源网站之后，还包括：
计算来自筛选出的来源网站的访问请求的访问次数占比的总和数；
根据所述总和数确定所述第一预设阈值。
进一步，本申请实施例所述的方法，所述访问请求为超文本传输协议请求；
所述从所述访问请求日志中获取访问请求的来源网站的步骤包括：
从所述访问请求日志中的超文本传输协议请求头的Referer字段中提取域名；
从所述域名中提取来源网站。
根据本申请实施例的第二方面，提供一种访问请求控制装置，包括：
提取模块，用于从访问请求中提取出来源网站；
查询模块，用于根据所述来源网站在白名单中进行查询；
判断模块，用于响应于在所述白名单中没有查询到所述来源网站并且单位时间段内来自所述来源网站的访问请求的访问次数占比超过第一预设阈值，对所述访问请求进行拦截。
进一步，本申请实施例所述的装置，所述判断模块还用于：
响应于在所述白名单中查询到所述来源网站，或者，响应于在所述白名单中没有查询到所述来源网站并且单位时间段内来自所述来源网站的访问请求的访问次数占比没有超过第一预设阈值，将所述访问请求转发至目标网站。
进一步，本申请实施例所述的装置，所述访问请求为超文本传输协议请求；
所述提取模块具体用于：
从所述访问请求的超文本传输协议请求头的Referer字段中提取域名；
从所述域名中提取所述来源网站。
进一步，本申请实施例所述的装置，还包括：
白名单生成模块，用于：
收集访问请求日志，从所述访问请求日志中获取访问请求的来源网站；
对所述访问请求的来源网站进行筛选，将筛选得到的来源网站加入所述白名单。
进一步，本申请实施例所述的装置，所述白名单生成模块具体用于：
计算单位时间段内，来自来源网站的访问请求的访问次数占比；
筛选出所述访问次数占比超过第二预设阈值的来源网站。
进一步，本申请实施例所述的装置，所述白名单生成模块还用于：
计算来自筛选出的来源网站的访问请求的访问次数占比的总和数；
根据所述总和数确定所述第一预设阈值。
进一步，本申请实施例所述的装置，所述白名单生成模块还用于：
从所述访问请求日志中的超文本传输协议请求头的Referer字段中提取域名；
从所述域名中提取来源网站。
根据本申请实施例的第三方面，提供一种存储设备，所述存储设备存储计算机程序指令，所述计算机程序指令根据本申请所述的方法进行执行。
根据本申请实施例的第四方面，提供一种计算设备，包括：用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述计算设备执行本申请所述的方法。
本申请的访问请求控制方法及装置，可以应用于WAF(Web ApplicationFirewall，网页应用防火墙)中，通过实时分析来自外站即来源网站的单位时间段内的访问次数占比，若来源网站不在白名单，且该来源网站的单位时间段内的访问次数占比超过第一预设阈值，则视为发生了如JavaScript DDos等的网络攻击，对于来自不断变化的感染网站攻击，由于访问次数占比发生显著变化并且不在白名单内，因此能够有效快速识别出异常的来源网站并拦截，阻断恶意访问，尤其对于访问频率低、用户量大的Web DDos等网络攻击，能够有效防御。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例的访问请求控制方法的流程示意图；
图2示出本申请实施例的访问请求控制原理图；
图3示出本申请实施例的规则生成系统WAF管理后台系统的实现流程图；
图4示出本申请实施例的网络攻击拦截流程图；
图5为本申请实施例的访问请求控制装置的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
图1为本申请实施例的访问请求控制方法的流程示意图，如图1所示，本申请实施例的访问请求控制方法，包括：
步骤S101，从访问请求中提取出来源网站；
步骤S102，根据所述来源网站在白名单中进行查询；
步骤S103，响应于在所述白名单中没有查询到所述来源网站并且单位时间段内来自所述来源网站的访问请求的访问次数占比超过第一预设阈值，对所述访问请求进行拦截。
其中，所述白名单是许可的来源网站，对这些许可的来源网站的访问请求不需要进行拦截，可以放行。访问请求是指需要对其进行拦截或放行判断的访问请求。
本实施例可以应用于WAF(Web Application Firewall，网页应用防火墙)中，WAF是抵御Web攻击的重要工具。WAF处于用户与后台Web应用之间，对HTTP流量实时安全检测，阻断各种攻击请求。目前常见的WAF产品针对Web层DDos攻击(CC)，可以基于普通用户端的IP(或Cookie)维度的频率统计，建立阈值，达到一定次数对该普通用户端进行拦截；或者由安全运营人员，根源攻击的特征，手工配置规则，发布到WAF产品进行拦截。然而，目前的WAF针对Web层的CC攻击手段，基于频率统计的手法，适合服务器、肉鸡发起的DDos攻击，服务器、肉鸡的短时间内访问频率高，通过统计IP单位时间访问次数能够有效拦截。而一方面，JavaScript DDos中感染网站的普通用户端的数量大，另一方面，每一单个的普通用户端(IP)的访问频率却很低，只是感染网站的所有普通用户端加起来总访问量高，即，感染网站的每一单个的普通用户端的向受害网站发起攻击的频率低，但感染网站的所有普通用户端向受害网站发起攻击的总量高，传统WAF不会防御；安全运营人员通过人工提取特征，加规则的方式，在收到攻击时，能够发现来自某网站的流量增高，添加User_Agent特征拦截，但是，黑客攻击的网站不断更新，对应来自新的感染网站的流量，运营人员无法实时发现并及时更新规则，同时规则会越来越多，影响目前的WAF性能。
本申请实施例的访问请求控制方法，通过实时分析来自外站即来源网站的单位时间段内的访问次数占比，若来源网站不在白名单，且该来源网站的单位时间段内的访问次数占比超过第一预设阈值，则视为发生了如JavaScript DDos等的网络攻击，对于来自不断变化的感染网站攻击，由于访问次数占比发生显著变化并且不在白名单内，因此能够有效快速识别出异常的来源网站并拦截，阻断恶意访问，尤其对于访问频率低、用户量大的WebDDos等网络攻击，能够有效防御。
可选地，本申请实施例的访问请求控制方法还可以包括：
响应于在所述白名单中查询到所述来源网站，将所述访问请求转发至目标网站；
或者，响应于在所述白名单中没有查询到所述来源网站并且单位时间段内来自所述来源网站的访问请求的访问次数占比没有超过第一预设阈值，将所述访问请求转发至目标网站。
其中，对来源网站在所述白名单中的访问请求，无论其单位时间段内访问次数占比是否超过第一预设阈值，或对只要是单位时间段内的访问次数占比未超过第一预设阈值的访问请求，无论其来源网站是否在所述白名单中，说明这些访问请求都不是网络攻击，都不对其拦截，可将该访问请求转到其对应的目标网站。
可选地，本申请实施例的访问请求控制方法，在根据所述来源网站在白名单中进行查询之前，还可包括：
收集访问请求日志，从所述访问请求日志中获取访问请求的来源网站；
对所述访问请求的来源网站进行筛选，将筛选得到的来源网站加入所述白名单。
其中，所述从所述访问请求日志中获取访问请求的来源网站的步骤包括：从所述访问请求日志中的超文本传输协议(HTTP，HyperText Transfer Protocol)请求头的Referer字段中提取域名；从所述域名中提取来源网站。
具体地，对所述访问请求的来源网站进行筛选的步骤包括：
计算单位时间段内，来自来源网站的访问请求的访问次数占比；
筛选出所述访问次数占比超过第二预设阈值的来源网站。
例如，可以取访问次数最高的N个来源网站作为所述筛选出的来源网站，加入白名单。
具体地，在筛选出所述访问次数占比超过第二预设阈值的来源网站之后，还包括：
计算来自筛选出的来源网站的访问请求的访问次数占比的总和数；
根据所述总和数确定所述第一预设阈值。
例如，计算来自所述筛选出的来源网站的访问请求的访问次数占比的总和数为20％，则所述第一预设阈值为100％-20％＝80％。第一预设阈值的计算公式为：A＝B-C，其中，A表示第一预设阈值，B表示全部访问次数，C表示总和数。
图2为本申请实施例的访问请求控制原理图，如图2所示，本实施例可基于Web的流量日志，由WAF中的白名单规则生成算法，针对JavaScript DDos等攻击的特点，构建白名单模型，提供WAF进行检测，拦截异常访问，减少黑客攻击面。
如图2所示，普通用户端12访问后台Web网站(受害网站13)，WAF处于中间位置，WAF采用白名单和第一预设阈值的安全规则对普通用户端12对后台Web网站的访问请求流量检测，阻断攻击请求。
本申请的访问请求控制方法一实施例中，若所述访问请求为超文本传输协议(HTTP，HyperText Transfer Protocol)请求，上述实施例中的从访问请求中提取出来源网站的步骤包括：
从所述访问请求的超文本传输协议(HTTP)请求头的Referer字段中提取域名；
从所述域名中提取所述来源网站。
如图2所示，可以通过从访问请求日志中学习网站正常流量的特征，针对云WAF保护的每个网站，根据正常流量中的Referer来训练模型，构建来源网站白名单清单。进一步的，所述白名单还可以经过进一步修正如经过WAF管理人员确认，配置来自外部来源网站的单位时间段内访问请求的访问次数占比的第一预设阈值，发布到WAF，防止例外情况误拦截。
如图2所示，规则生成系统14采集经过WAF的访问请求日志，提取HTTP请求头中的Referer字段，根据HTTP协议，该字段表示访问请求的来源，比如：普通用户端访问感染网站11的http://www.a.com/index.htm地址，普通用户端的浏览器请求www.a.com资源从感染网站获得页面内容并展示给用户，同时index.htm页面访问(或后台加载)http://www.b.com/img/1.jpg，此时普通用户端浏览器会发起对受害网站13www.b.com的访问，而此次访问请求中，Referer字段的值：http://www.a.com/index.htm，表示这次请求的上一个访问地址(来源网站)。规则生成系统14分析正常情况下来自外站的访问请求的Referer中提取到的域名(Domain)，基于域名统计外站的单位时间段内的访问请求的访问次数(TopN Referer_Domain列表)和单位时间段内的访问请求的访问次数占比，生成WAF规则(“外站白名单”规则)可以包括白名单和单位时间段内访问请求的访问次数占比的第一预设阈值。WAF管理后台系统15展示WAF规则，运营人员可以查看规则内容，并可以调整规则，基于观察的历史流量情况，设置修正第一预设阈值，调整或增加外站白名单，防止误拦截，最后将产生的规则发布到WAF系统。
如图2所示，WAF可以根据规则生成系统14推送的外站流量白名单规则，对访问受害网站13的每个HTTP请求检查，从Referer中提取域名Domain，统计单位时间内每个Referer_Domain的访问次数和访问次数占比，若某个Referer_Domain访问次数占比超过第一预设阈值，并且该Referer_Domain不在外站白名单中，则说明来该Referer_Domain的访问请求是Javascript DDos等网络攻击，WAF拦截来自新出现Referer_Domain的流量。
通过前述实施例产生的“外站白名单”规则，可以实时检测外站流量情况，若出现新的Referer_Domain，并且该Referer_Domain访问次数占比很大，则视为发生攻击，进行拦截。
如图2所示，“规则生成系统14和WAF管理后台系统15”处理流程可如图3所示：
步骤S31，收集日志，从WAF系统收到访问网站的HTTP请求日志；
步骤S32，对HTTP请求日志进行Referer过滤，从HTTP请求头(header)提取Referer字段，从Referer提取域名，即：Referer_Domain，若Referer为空，或为当前网站，则设置为“-”。若域名为子域名，需转化为二级域名，比如“bbs.a.com”→“a.com”，如下表所示：
Referer Referer_Domain
-
/index.htm -
http://www.a.com/index.htm a.com
http://bbs.a.com/thread/abcd-111.htm a.com
步骤S33，来源网站占比统计，统计单位时间内，每个Referer_Domain的访问次数及占比，取访问次数最高的N个Referer_Domain，即TopN_Referer_List，并计算排除当前网站(“-“)的TopN访问次数占比，如下表所示，
Figure BDA0001785709030000101
Figure BDA0001785709030000111
步骤S34，模型产生，统计一段时间后，获得稳定的TopN Referer_Domain列表及对应的访问次数占比，得到WAF模型：TopN_Referer_Domain_List、TopN_Refere_Host_Radio。如上表中，TopN_Refere_Host_Radio为20％。
步骤S35，人工确认，WAF管理员通过WAF管理后台系统15查看规则，并结合网站实际情况，添加新的白名单，同时为了防止误拦截，基于生成的占比比例，设置第一预设阈值。例如，计算来自所述筛选出的来源网站的访问请求的访问次数占比的总和数为20％，则所述第一预设阈值为100％-20％＝80％。
步骤S36，WAF管理后台系统15将包含白名单和第一预设阈值的模型同步发布到WAF引擎。
对应的，本申请一具体的应用实例中，网络攻击拦截流程如图4所示，与如图3所示的包含白名单和第一预设阈值的模型产生的前几步类似，包括：
步骤S41，采集日志，获取待控制的访问请求；
步骤S42，进行Referer过滤，从待控制的访问请求提取Referer_Domain；
步骤S43，统计每个待控制的访问请求的Referer_Domain的访问次数及其占比；
步骤S44，若来自外站的请求占比超过第一预设阈值，检查该Referer_Domain是否包含不是白名单中的域名，若不包含，步骤S45，则对Referer_Domain对应的来源网站的访问请求进行拦截。
图5为本申请实施例的访问请求控制装置的结构示意图，如图5所示，本申请实施例还提供一种访问请求控制装置，包括：提取模块51、查询模块52和判断模块53。
提取模块51，用于从访问请求中提取出来源网站；
查询模块52，用于根据所述来源网站在白名单中进行查询；
判断模块53，用于响应于在所述白名单中没有查询到所述来源网站并且单位时间段内来自所述来源网站的访问请求的访问次数占比超过第一预设阈值，对所述访问请求进行拦截。
本实施例可以应用于WAF(Web Application Firewall，网页应用防火墙)中，通过实时分析来自外站即来源网站的单位时间段内的访问次数占比，若来源网站不在白名单，且该来源网站的单位时间段内的访问次数占比超过第一预设阈值，则视为发生了如JavaScript DDos等的网络攻击，对于来自不断变化的感染网站攻击，由于访问次数占比发生显著变化并且不在白名单内，因此能够有效快速识别出异常的来源网站并拦截，阻断恶意访问，尤其对于访问频率低、用户量大的Web DDos等网络攻击，能够有效防御。
可选地，所述判断模块53还用于：
响应于在所述白名单中查询到所述来源网站，或者，响应于在所述白名单中没有查询到所述来源网站并且单位时间段内来自所述来源网站的访问请求的访问次数占比没有超过第一预设阈值，将所述访问请求转发至目标网站。
本实施例中，对只要是来源网站在所述白名单中的访问请求，无论其单位时间段内访问次数占比是否超过第一预设阈值，或对只要是单位时间段内的访问次数占比未超过第一预设阈值的访问请求，无论其来源网站是否在所述白名单中，说明这些访问请求都不是网络攻击，都不对其拦截，可将该访问请求转到支对应的目标网站。
具体地，若所述访问请求为超文本传输协议请求，所述提取模块51具体用于：
从所述访问请求的超文本传输协议请求头的Referer字段中提取域名；
从所述域名中提取所述来源网站。
在此，通过从所述待控制的HTTP请求头的Referer字段中提取域名，然后从所述域名中精确提取来源网站。
本实施例中，如图2所示，WAF可以根据规则生成系统14推送的外站流量白名单规则，对访问受害网站13的每个HTTP请求检查，从Referer中提取Domain，统计单位时间内每个Referer_Domain的访问次数和访问次数占比，若某个Referer_Domain访问次数占比超过第一预设阈值，并且该Referer_Domain不丰外站白名单中，则说明来该Referer_Domain的访问请求是Javascript DDos等网络攻击，WAF拦截来自新出现Referer_Domain的流量。
通过前述实施例产生的“外站白名单”规则，可以实时检测外站流量情况，若出现新的Referer_Domain，并且该Referer_Domain访问次数占比很大，则视为发生攻击，进行拦截。
可选地，本申请实施例所述的装置还包括：白名单生成模块。
白名单生成模块，用于：收集访问请求日志，从所述访问请求日志中获取访问请求的来源网站；对所述访问请求的来源网站进行筛选，将筛选得到的来源网站加入所述白名单。
如图2所示，本实施例可基于Web的流量日志，由WAF中的白名单规则生成算法，针对JavaScript DDos等攻击的特点，构建白名单模型，提供WAF进行检测，拦截异常访问，减少黑客攻击面。
如图2所示，普通用户端12访问后台Web网站(受害网站)，WAF处于中间位置，WAF采用白名单和第一预设阈值的安全规则对普通用户端12对后台Web网站的访问请求流量检测，阻断攻击请求。
具体地，白名单生成模块具体用于：计算单位时间段内，来自来源网站的访问请求的访问次数占比；筛选出所述访问次数占比超过第二预设阈值的来源网站。
例如，可以取访问次数最高的N个来源网站作为所述筛选出的来源网站，加入白名单。
可选地，白名单生成模块还用于：计算来自筛选出的来源网站的访问请求的访问次数占比的总和数；根据所述总和数确定所述第一预设阈值。
例如，计算来自所述筛选出的来源网站的访问请求的访问次数占比的总和数为20％，则所述第一预设阈值为100％-20％＝80％。
进一步，若所述访问请求为HTTP请求，所述白名单生成模块还用于：从所述访问请求日志中的超文本传输协议请求头的Referer字段中提取域名；从所述域名中提取来源网站。
本实施例中，如图2所示，可以通过从访问请求日志中学习网站正常流量的特征，针对云WAF保护的每个网站，根据正常流量中的Referer来训练模型，构建来源网站白名单清单。进一步的，所述白名单还可以经过进一步修正如经过WAF管理人员确认，配置来自外部来源网站的单位时间段内访问请求的访问次数占比的第一预设阈值，发布到WAF，防止例外情况误拦截。
如图2所示，规则生成系统14采集经过WAF的访问请求日志，提取HTTP请求头中的Referer字段，根据HTTP协议，该字段表示访问请求的来源，比如：普通用户端访问感染网站11的http://www.a.com/index.htm地址，普通用户端的浏览器请求www.a.com资源从感染网站获得页面内容并展示给用户，同时index.htm页面访问(或后台加载)http://www.b.com/img/1.jpg，此时普通用户端浏览器会发起对受害网站13www.b.com的访问，而此次访问请求中，Referer字段的值：http://www.a.com/index.htm，表示这次请求的上一个访问地址(来源网站)。规则生成系统14分析正常情况下来自外站的访问请求的Referer中提取到的域名(Domain)，基于域名统计外站的单位时间段内的访问请求的访问次数(TopN Referer_Domain列表)和单位时间段内的访问请求的访问次数占比，生成WAF规则(“外站白名单”规则)可以包括白名单和单位时间段内访问请求的访问次数占比的第一预设阈值。WAF管理后台系统15展示WAF规则，运营人员可以查看规则内容，并可以调整规则，基于观察的历史流量情况，设置修正第一预设阈值，调整或增加外站白名单，防止误拦截，最后将产生的规则发布到WAF系统。
本申请实施例还提供一种存储设备，所述存储设备存储计算机程序指令，所述计算机程序指令根据本申请各实施例所述的方法进行执行。
本申请实施例还提供一种计算设备，包括：用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述计算设备执行本申请各实施例所述的方法。
综上所述，本申请可以应用于WAF(Web Application Firewall，网页应用防火墙)中，通过实时分析来自外站即来源网站的单位时间段内的访问次数占比，若来源网站不在白名单，且该来源网站的单位时间段内的访问次数占比超过第一预设阈值，则视为发生了如JavaScript DDos等的网络攻击，对于来自不断变化的感染网站攻击，由于访问次数占比发生显著变化并且不在白名单内，因此能够有效快速识别出异常的来源网站并拦截，阻断恶意访问，尤其对于访问频率低、用户量大的Web DDos等网络攻击，能够有效防御。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (16)

1.一种访问请求控制方法，其特征在于，包括：
从访问请求中提取出来源网站；
根据所述来源网站在白名单中进行查询；
响应于在所述白名单中没有查询到所述来源网站并且单位时间段内来自所述来源网站的访问请求的访问次数占比超过第一预设阈值，对所述访问请求进行拦截。
2.根据权利要求1所述的方法，其特征在于，还包括：
响应于在所述白名单中查询到所述来源网站，或者，响应于在所述白名单中没有查询到所述来源网站并且单位时间段内来自所述来源网站的访问请求的访问次数占比没有超过第一预设阈值，将所述访问请求转发至目标网站。
3.根据权利要求1所述的方法，其特征在于，所述访问请求为超文本传输协议请求；
所述从访问请求中提取出来源网站的步骤包括：
从所述访问请求的超文本传输协议请求头的Referer字段中提取域名；
从所述域名中提取所述来源网站。
4.根据权利要求1所述的方法，其特征在于，在根据所述来源网站在白名单中进行查询之前，还包括：
收集访问请求日志，从所述访问请求日志中获取访问请求的来源网站；
对所述访问请求的来源网站进行筛选，将筛选得到的来源网站加入所述白名单。
5.根据权利要求4所述的方法，其特征在于，对所述访问请求的来源网站进行筛选的步骤包括：
计算单位时间段内，来自来源网站的访问请求的访问次数占比；
筛选出所述访问次数占比超过第二预设阈值的来源网站。
6.根据权利要求5所述的方法，其特征在于，在筛选出所述访问次数占比超过第二预设阈值的来源网站之后，还包括：
计算来自筛选出的来源网站的访问请求的访问次数占比的总和数；
根据所述总和数确定所述第一预设阈值。
7.根据权利要求4所述的方法，其特征在于，所述访问请求为超文本传输协议请求；
所述从所述访问请求日志中获取访问请求的来源网站的步骤包括：
从所述访问请求日志中的超文本传输协议请求头的Referer字段中提取域名；
从所述域名中提取来源网站。
8.一种访问请求控制装置，其特征在于，包括：
提取模块，用于从访问请求中提取出来源网站；
查询模块，用于根据所述来源网站在白名单中进行查询；
判断模块，用于响应于在所述白名单中没有查询到所述来源网站并且单位时间段内来自所述来源网站的访问请求的访问次数占比超过第一预设阈值，对所述访问请求进行拦截。
9.根据权利要求8所述的装置，其特征在于，所述判断模块还用于：
响应于在所述白名单中查询到所述来源网站，或者，响应于在所述白名单中没有查询到所述来源网站并且单位时间段内来自所述来源网站的访问请求的访问次数占比没有超过第一预设阈值，将所述访问请求转发至目标网站。
10.根据权利要求8所述的装置，其特征在于，所述访问请求为超文本传输协议请求；
所述提取模块具体用于：
从所述访问请求的超文本传输协议请求头的Referer字段中提取域名；
从所述域名中提取所述来源网站。
11.根据权利要求8所述的装置，其特征在于，还包括：
白名单生成模块，用于：
收集访问请求日志，从所述访问请求日志中获取访问请求的来源网站；
对所述访问请求的来源网站进行筛选，将筛选得到的来源网站加入所述白名单。
12.根据权利要求11所述的装置，其特征在于，所述白名单生成模块具体用于：
计算单位时间段内，来自来源网站的访问请求的访问次数占比；
筛选出所述访问次数占比超过第二预设阈值的来源网站。
13.根据权利要求12所述的装置，其特征在于，所述白名单生成模块还用于：
计算来自筛选出的来源网站的访问请求的访问次数占比的总和数；
根据所述总和数确定所述第一预设阈值。
14.根据权利要求11所述的装置，其特征在于，所述白名单生成模块还用于：
从所述访问请求日志中的超文本传输协议请求头的Referer字段中提取域名；
从所述域名中提取来源网站。
15.一种存储设备，其特征在于，所述存储设备存储计算机程序指令，所述计算机程序指令根据权利要求1至7中任一项所述的方法进行执行。
16.一种计算设备，其特征在于，包括：用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述计算设备执行权利要求1至7中任一项所述的方法。
CN201811013982.2A 2018-08-31 2018-08-31 一种访问请求控制方法及装置 Pending CN110875907A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811013982.2A CN110875907A (zh) 2018-08-31 2018-08-31 一种访问请求控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811013982.2A CN110875907A (zh) 2018-08-31 2018-08-31 一种访问请求控制方法及装置

Publications (1)

Publication Number Publication Date
CN110875907A true CN110875907A (zh) 2020-03-10

Family

ID=69715358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811013982.2A Pending CN110875907A (zh) 2018-08-31 2018-08-31 一种访问请求控制方法及装置

Country Status (1)

Country Link
CN (1) CN110875907A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111917789A (zh) * 2020-08-08 2020-11-10 詹能勇 基于大数据和物联网通信的数据处理方法及云计算平台
CN112565237A (zh) * 2020-11-30 2021-03-26 北京博瑞彤芸科技股份有限公司 一种处理业务激活请求的方法和系统
CN113162943A (zh) * 2021-04-28 2021-07-23 中国工商银行股份有限公司 一种防火墙策略动态管理的方法、装置、设备和存储介质
CN114079574A (zh) * 2020-08-14 2022-02-22 中移动信息技术有限公司 数据过滤的方法、装置、设备及存储介质
CN114710308A (zh) * 2021-09-28 2022-07-05 北京卫达信息技术有限公司 一种网络设备访问的控制方法及系统
CN115361179A (zh) * 2022-08-04 2022-11-18 四川启睿克科技有限公司 一种基于自定义拦截标识的cc攻击防护方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118035A (zh) * 2013-03-07 2013-05-22 星云融创（北京）信息技术有限公司 分析网站访问请求参数合法范围的方法及装置
CN103428186A (zh) * 2012-05-24 2013-12-04 中国移动通信集团公司 一种检测钓鱼网站的方法及装置
CN103701795A (zh) * 2013-12-20 2014-04-02 北京奇虎科技有限公司 拒绝服务攻击的攻击源的识别方法和装置
CN104601558A (zh) * 2014-12-31 2015-05-06 微梦创科网络科技（中国）有限公司 防御跨站请求伪造攻击的方法及装置
US9275226B1 (en) * 2013-09-17 2016-03-01 Symantec Corporation Systems and methods for detecting selective malware attacks
CN106506547A (zh) * 2016-12-23 2017-03-15 北京奇虎科技有限公司 针对拒绝服务攻击的处理方法、waf、路由器及系统
CN106685899A (zh) * 2015-11-09 2017-05-17 阿里巴巴集团控股有限公司 用于识别恶意访问的方法和设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428186A (zh) * 2012-05-24 2013-12-04 中国移动通信集团公司 一种检测钓鱼网站的方法及装置
CN103118035A (zh) * 2013-03-07 2013-05-22 星云融创（北京）信息技术有限公司 分析网站访问请求参数合法范围的方法及装置
US9275226B1 (en) * 2013-09-17 2016-03-01 Symantec Corporation Systems and methods for detecting selective malware attacks
CN103701795A (zh) * 2013-12-20 2014-04-02 北京奇虎科技有限公司 拒绝服务攻击的攻击源的识别方法和装置
CN104601558A (zh) * 2014-12-31 2015-05-06 微梦创科网络科技（中国）有限公司 防御跨站请求伪造攻击的方法及装置
CN106685899A (zh) * 2015-11-09 2017-05-17 阿里巴巴集团控股有限公司 用于识别恶意访问的方法和设备
CN106506547A (zh) * 2016-12-23 2017-03-15 北京奇虎科技有限公司 针对拒绝服务攻击的处理方法、waf、路由器及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111917789A (zh) * 2020-08-08 2020-11-10 詹能勇 基于大数据和物联网通信的数据处理方法及云计算平台
CN114079574A (zh) * 2020-08-14 2022-02-22 中移动信息技术有限公司 数据过滤的方法、装置、设备及存储介质
CN112565237A (zh) * 2020-11-30 2021-03-26 北京博瑞彤芸科技股份有限公司 一种处理业务激活请求的方法和系统
CN113162943A (zh) * 2021-04-28 2021-07-23 中国工商银行股份有限公司 一种防火墙策略动态管理的方法、装置、设备和存储介质
CN113162943B (zh) * 2021-04-28 2023-01-31 中国工商银行股份有限公司 一种防火墙策略动态管理的方法、系统
CN114710308A (zh) * 2021-09-28 2022-07-05 北京卫达信息技术有限公司 一种网络设备访问的控制方法及系统
CN114710308B (zh) * 2021-09-28 2023-01-06 北京卫达信息技术有限公司 一种网络设备访问的控制方法及系统
CN115361179A (zh) * 2022-08-04 2022-11-18 四川启睿克科技有限公司 一种基于自定义拦截标识的cc攻击防护方法

Similar Documents

Publication Publication Date Title
US11212306B2 (en) Graph database analysis for network anomaly detection systems
CN110875907A (zh) 一种访问请求控制方法及装置
US20200244689A1 (en) Detection and mitigation of recursive domain name system attacks
WO2018095192A1 (zh) 网站攻击的检测和防护方法及系统
Dou et al. A confidence-based filtering method for DDoS attack defense in cloud environment
CN107465651B (zh) 网络攻击检测方法及装置
US8370407B1 (en) Systems providing a network resource address reputation service
US7640235B2 (en) System and method for correlating between HTTP requests and SQL queries
US9817969B2 (en) Device for detecting cyber attack based on event analysis and method thereof
US20130312081A1 (en) Malicious code blocking system
US20130007882A1 (en) Methods of detecting and removing bidirectional network traffic malware
CN106685899B (zh) 用于识别恶意访问的方法和设备
Kim et al. Malicious URL protection based on attackers' habitual behavioral analysis
US9197657B2 (en) Internet protocol address distribution summary
CN103179132A (zh) 一种检测和防御cc攻击的方法及装置
US20220232042A1 (en) System and method for cybersecurity analysis and protection using distributed systems
CN103428224A (zh) 一种智能防御DDoS攻击的方法和装置
US20130332109A1 (en) Methods and systems for statistical aberrant behavior detection of time-series data
Satam et al. Anomaly Behavior Analysis of DNS Protocol.
CN111953638B (zh) 网络攻击行为检测方法、装置及可读存储介质
WO2018130137A1 (zh) 一种防御网络攻击的方法、装置、介质及设备
Soltanaghaei et al. Detection of fast-flux botnets through DNS traffic analysis
CN109413022B (zh) 一种基于用户行为检测http flood攻击的方法和装置
CN110324339B (zh) 基于信息熵的DDoS攻击检测方法、装置和电子设备
US10462180B1 (en) System and method for mitigating phishing attacks against a secured computing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40025335

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200310