CN110505235A - 一种绕过云waf的恶意请求的检测系统及方法 - Google Patents

Abstract

本发明公开了一种绕过云WAF的恶意请求的检测系统，包括：云WAF引擎IP记录模块、流量镜像模块、IP来源判断模块、流量重放模块、引擎检测模块，云WAF引擎IP记录模块，用于在WEB端记录识别云WAF的端节点引擎IP并使用正则匹配的方式，提取WEB后端日志中引擎源地址IP，及添加云WAF端节点引擎并保存到数据库中。本发明的检测系统可有效有识别来自非云WAF引擎的恶意请求，减少云WAF被绕过的攻击情况，降低恶意攻击被漏报的几率。

Description

一种绕过云WAF的恶意请求的检测系统及方法

技术领域

本发明涉及网络安全技术领域，特别涉及一种绕过云WAF的恶意请求的检测系统及方法。

背景技术

当前的WAF(Web Application Firewall)形式存在三种：硬件WAF，软件WAF，云WAF，下面将主要针对云WAF进行说明。

通常情况下，云WAF系统由控制中心及端节点两大部分组成。控制中心部署有DNS服务器、调度系统等，用来解析并调度客户端对网站的访问请求。端节点采用多台分布式部署，每一个端节点都是一台独立的硬件WAF设备或者引擎，用来过滤非法的网站请求。

但在实际中，存在云WAF容易被绕过的现象，这是云WAF发展中比较突出的问题，且目前并无良好的解决办法；WAF对网站实施保护，主要采用的是反向代理技术，具体实现过程为：用户首先需要将被保护的网站域名解析权移交给云WAF系统(采用修改域名DNS记录或CNAME记录的方式)即用户需要在自己的WEB服务器控制台上，设置DNS解析服务器为云WAF的DNS服务器，然后云WAF的控制中心调度DNS服务器把针对该网站的访问解析到云WAF的指定的防护节点引擎上进行检测，经过防护节点引擎检测，确认该访问请求安全后，再递交给原始的WEB服务器，对用户请求进行响应和回复。

网站运营者接入WAF，需要通过配置代理端口并设定地址映射规则，通过WAF防护引擎将用户请求转发到WEB服务器，而不是直接将WEB服务器暴露给用户进行访问，从而达到隐藏真实服务器的目的。

然而问题在于，云WAF系统高度依赖于云WAF的DNS服务器进行访问调度，以实现用户访问流量牵引，被防护网站的所有访问流量只有经过指定的DNS服务器解析后才会被转发到云WAF系统的防护节点引擎进行过滤。这样一来，如果黑客利用社会工程学或者找到该网站业务逻辑漏洞，例如通过在业务返回的信息中本身就存在该网站WEB服务器的源IP，或通过社会工程学手段和其他渗透技术手段获取到该业务WEB服务器的IP信息，然后通过伪造DNS服务器，或者本地绑定域名和该网站WEB服务器真实IP的方式，把夹带有恶意攻击的请求，直接发送给WEB服务器，实现从用户直接到WEB服务器访问，而不经过云WAF的检测，就可以轻松的绕过云WAF系统对原始服务器实施攻击，简单的过程如图1所示。

发明内容

本发明的目的是克服上述背景技术中不足，提供一种绕过云WAF的恶意请求的检测系统及方法，可有效有识别来自非云WAF引擎的恶意请求，减少云WAF被绕过的攻击情况，降低恶意攻击被漏报的几率。

为了达到上述的技术效果，本发明采取以下技术方案：

一种绕过云WAF的恶意请求的检测系统，包括：

云WAF引擎IP记录模块，用于在WEB端记录识别云WAF的端节点引擎IP并使用正则匹配的方式，提取WEB后端日志中引擎源地址IP，及添加云WAF端节点引擎并保存到数据库中；

流量镜像模块，用于在WEB服务器端对服务端口进行流量镜像并保存流量文件，及使用nDPI分析技术实时解析流量中的关键信息；

IP来源判断模块，用于定时读取WEB服务器中保存的云WAF引擎地址并作为云WAF标准引擎地址集合，及实时对比流量中解析出来的请求源地址，并判断该请求是来自云WAF引擎地址还是来自其他地址；

流量重放模块，用于将IP来源判断模块识别为不是来自于云WAF引擎地址的请求通过重放技术转发至云WAF引擎；

引擎检测模块，用于对流量重放模块转发的请求进行检测，判断其是否为恶意请求。

进一步地，所述流量镜像模块解析流量中的关键信息时，所述关键信息至少包括请求源地址、请求时间。

进一步地，所述IP来源判断模块判断该请求是来自云WAF引擎地址还是来自其他地址的判断标准为：

若解析出的请求的源IP包含在云WAF标准引擎地址集合中，则判定该请求是来自云WAF引擎地址，否则判定该请求不是来自云WAF引擎地址。

进一步地，在判定请求不是来自云WAF引擎地址后，所述IP来源判断模块进一步结合流量镜像模块解析出的该请求的请求源地址、请求时间从而关联到该条请求流量，并将此条请求流量开头添加“no”字段，作为不安全流量标记，再将该条流量转发至流量重放模块。

同时，本发明公开了一种绕过云WAF的恶意请求的检测方法，包括以下步骤：

A.设置云WAF接入，包括在云WAF的控制端添加WEB服务器IP地址及防护策略，设置网站域名DNS解析到云WAF；

B.云WAF节点引擎IP地址记录，包括接入云WAF时，收集DNS调度服务器分配的端节点防护引擎信息，并在被防护的WEB服务器上的后台程序数据库中记录云WAF端节点引擎的地址；

C.对被云WAF防护的WEB服务器的服务开放端口进行监听，并对进入被云WAF防护的WEB服务器的服务开放端口的流量镜像到目的接收端口；

D.设置目的接收端口并设置接收程序，其中，接收程序在接收到镜像的流量后或者保存的流量文件后，使用nDPI库实时解析流量文件的关键信息，所述关键信息至少包括请求源地址；

E.每t分钟读取步骤B中已经记录的所有各云WAF节点引擎IP地址，并作为标准云WAF引擎节点IP地址集；

F.将步骤D中解析的请求源地址与所述标准云WAF引擎节点IP地址集进行比较，判断请求源地址是否包含在标准云WAF引擎节点IP地址集中，若包含，则判定该请求源地址对应的流量为安全流量请求，否则，判定为不安全流量请求；

G.关联WEB服务器端口和云WAF检测引擎地址，使云WAF引擎可完全接受来自WEB服务器重放的不安全流量请求，并可以用于威胁检测，再将步骤F中判定的不安全流量请求重放至云WAF的检测引擎；

H.云WAF引擎接收被重放的不安全流量请求并进行检测，判断是否为恶意请求。

进一步地，所述步骤C中进行流量的镜像时，通过使用防火墙规则IPtalbes设置端口映射或使用流量镜像软件将被云WAF防护的WEB服务器的服务开放端口的流量发进行镜像。

进一步地，所述步骤D中的关键信号还包括请求时间。

进一步地，所述步骤F中对于判定为不安全流量请求将结合步骤D中解析出的请求源地址及请求时间关联到其请求流量，并在请求流量开头添加no字段作为不安全流量标记。

本发明与现有技术相比，具有以下的有益效果：

本发明的绕过云WAF的恶意请求的检测系统及方法，相对于现有技术中，云WAF只有在当前网站在设置DNS解析后，才能将用户请求牵引到云WAF中进行检测，而对于没有通过该DNS解析的请求则无能为力的问题，本发明的技术方案采用了在WEB服务器端镜像流量，使用nDPI流量分析技术分析流量IP并通过遍历的方式识别IP是否绕过云WAF，判断该请求是否经过为云WAF检测，并将未经过云WAF的请求发回至云WAF重新检测的方式，使所有的请求必须全部经过云WAF检测才能到达服务器，大大减少了被绕过的几率。

附图说明

图1是现有技术的云WAF检测流程和攻击者绕过云WAF流程示意图。

图2是本发明的绕过云WAF的恶意请求的检测方法流程示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

实施例一：

一种绕过云WAF的恶意请求的检测系统，包括：云WAF引擎IP记录模块、流量镜像模块、IP来源判断模块、流量重放模块、引擎检测模块。

云WAF引擎IP记录模块用于在WEB端记录识别云WAF的端节点引擎IP并使用正则匹配的方式，提取WEB后端日志中引擎源地址IP，添加云WAF端节点x引擎，及添加云WAF端节点引擎并保存到数据库中，其保存的格式为云WAF引擎1节点IP：x.x.x.x0，并会对该地址定时复核和更新。

其中，WEB后端服务器接受的是云WAF引擎转发的用户请求，故WEB后端记录中的日志信息中，记录的访问者IP实则为云WAF引擎的地址，所以使用正则匹配将WEB后端记录的日志中的访问者IP地址信息筛选出来即可并作为云WAF的引擎地址即可。且WEB网站在提供服务的时候，本身会产生日志，记录用户请求信息包括访问者地址、请求方法、请求资源内容，请求时间，请求状态码等元素，这些日志一般以文件形式如access.log或者access.log.txt保存在后端组件的日志存储目录内。因此可以在云WAF引擎IP记录程序中读取这部分的日志的所有内容，使用正则表达式匹配日志内容中的访问用户IP字段，如tomcat apache日志中的％h即为client_addr，然后匹配的地址添加编号云WAF引擎1节点，形成引擎编号+IP的形式，即为云WAF引擎x节点IP地址：x.x.x.x.，按照此数据格式，写入到后台的数据库中。

在记录以上云WAF节点数据后，通过正则匹配提取的后端日志中的引擎节点IP地址，需要定时复核和更新，以防止引擎地址ip节点变化，而对后续结果产生影响。复核程序每t时间定时从WEB后端日志中提取引擎地址，和原数据库内容进行对比，如果发现地址有变化，则进行更新，无变化，在维持原状态。

流量镜像模块用于在WEB服务器端对服务端口进行流量镜像并可根据镜像方法的不同，保存流量文件，及使用nDPI分析技术实时解析流量中的关键信息；其中，关键信息包括但不限于请求源地址如source_addr，src请求时间time等。

目前大部分的WEB服务器对外提供服务器的端口是80、443或者还有其他的例如8080、8081等，可针对被防护站点的WEB服务器的开放端口进行监听，例如在linux系统上，如centos系统，可直接设置端口流量转发，即A端口的流量，可通过系统组件如firewall、iptables设置防火墙规则，直接将此端口的所有流量转发至本机的B端口，即可以将本服务器80端口直接转发到本服务器另一个未被占用的端口如60001，然后在此端口设置接收程序，并将流量保存为文件如流量1.pcap；或者可以使用tcpcopy对WEB服务器端口流量进行转发和保存并保存为流量文件。

同时，在目的接收端口，可以设置接收程序，并将镜像到的流量中的请求源IP解析提取，一般的通信流量都会存在记录source addr：x.x.x.x或source：x.x.x.x，具体过程如下：

首先，在目的端口设置请求接收程序，并保存从WEB服务端口转发过来的流量，如该流量可以保存为流量1.pcap；

然后，对使用nDPI流量分析技术对流量文件进行解析，在WEB服务器上安装nDPI流量分析库后，接收程序实时导入如流量文件如流量1.pcap进行解析，此种导入模式下，nDPI流量分析库正好可以分析出流量中的会话信息：src为访问者IP地址，dst为被访问者IP地址，time为访问时间，由于云WAF代理转发的请求，所以这里流量中解析的为云WAF的引擎地址src即为访问者IP地址，time为访问时间，并作为该条访问流量的关联标识信息。

IP来源判断模块用于定时读取WEB服务器中保存的云WAF引擎地址并作为云WAF标准引擎地址集合，及实时对比流量中解析出来的请求源地址，并判断该请求是来自云WAF引擎地址还是来自其他地址。

具体的，其判断标准为：

若解析出的请求的源IP包含在云WAF标准引擎地址集合中，则判定该请求是来自云WAF引擎地址，即经过云WAF检测，认定为安全，且此条跳过并进行下一条检测，否则判定该请求不是来自云WAF引擎地址，即该条请求未经过云WAF检测。

在判定请求不是来自云WAF引擎地址后，所述IP来源判断模块进一步结合流量镜像模块解析出的该请求的请求源地址、请求时间从而关联到该条请求流量，并将此条请求流量开头添加“no”字段，作为不安全流量标记，再将该条流量转发至流量重放模块。

具体的，在实际应用中，IP来源判断模块每t分钟实时从数据库中读取云WAF引擎IP记录模块已经记录的各云WAF端节点IP，如：

云WAF引擎1节点IP：x.x.x.x0

云WAF引擎2节点IP：x.x.x.x1

云WAF引擎3节点IP：x.x.x.x2

并将上述云WAF端节点IP作为云WAF引擎节点IP的标准地址集合。

然后再将对于流量镜像模块解析出的访问者IP地址，和云WAF引擎节点IP的标准地址集合进行对比，具体为使用遍历的方式，确定该请求中的访问者IP地址是否包含在云WAF标准地址集合中，以确定该请求是否为安全请求。

流量重放模块用于将IP来源判断模块识别为不是来自于云WAF引擎地址的请求通过重放技术转发至云WAF引擎，具体过程如下：

首先，绑定WEB服务器端口和云WAF检测引擎地址，使云WAF引擎可完全接受来自WEB服务器重放的不安全流量，并可以用于威胁检测；

然后，设置WEB服务器的特点空闲端口，使用流量重放技术(如已经广泛使用的tcpcopy)将从IP来源判断模块接收的被标记为不安全的请求流量重放到云WAF的端节点引擎的引擎检测模块，利用云WAF已有的检测能力，判断该请求是否为恶意请求。

引擎检测模块用于对流量重放模块转发的请求进行检测，判断其是否为恶意请求。

实施例二

如图2所示，一种绕过云WAF的恶意请求的检测方法，包括以下步骤：

步骤一.设置云WAF接入，包括在云WAF的控制端添加WEB服务器IP地址及防护策略，设置网站域名DNS解析到云WAF。

步骤二.云WAF节点引擎IP地址记录，包括接入云WAF时，收集DNS调度服务器分配的端节点防护引擎信息，并在被防护的WEB服务器上的后台程序数据库中记录云WAF端节点引擎的地址。

具体为：通过提取后端WEB服务器日志的请求源地址的方法，记录云WAF所有引擎节点IP，以apache日志格式为例，基本日志格式如下：

LogFormat"％h％a％l％u％t\"％r\"％>s％b\"％{Referer}i\"\"％{User-Agent}i\""combined

日志格式说明：％h为remote_addr即远端主机名；％a为client_addr，即报文中的客户端地址，在本发明中为云WAF的引擎地址，％l为remote_ident即客户端日志名称，来自identd；％u为remote_user即客户端用户名；％t为time_local即服务器时间；％r为请求包括请求内容，包括方法名、地址和http协议；Referer为来源网页；User-Agent为客户端信息。

记录云WAF引擎的地址，需提取WEB端日志中代表客户端地址的％a即client_addr，通过正则匹配将日中中的客户端地址进行筛选，并添加云WAF节点引擎名称，保存在数据库中，保存的格式为云WAF引擎1节点IP：x.x.x.x；同理运用以上手法保存其他节点传送过来的用户请求，并保存在数据库中，最终形成的内容数据为：

云WAF引擎1节点IP：x.x.x.x0

云WAF引擎2节点IP：x.x.x.x1

云WAF引擎3节点IP：x.x.x.x2

需要说明的是，上述仅为举例说明，并不特指云WAF节点引擎只有三个，同理WEB后端日志不仅包含apache日志，还有其余的可做为WEB后端的组件如tomcat，nginx，wordpress等日志。

步骤三.对被云WAF防护的WEB服务器的服务开放端口进行监听，例如常见的80，443，8080等，并对进入被云WAF防护的WEB服务器的服务开放端口的流量镜像到目的接收端口。

以centsos为例，简单可以使用防火墙规则IPtalbes设置端口映射，或者使用流量镜像软件(tcpcopy，将80，443,8080等端口的流量发进行镜像，保存为流量1.pcap文件。

步骤四.设置目的接收端口如60001等，并设置接收程序，其中，接收程序在接收到镜像的流量后或者保存的流量文件后，使用nDPI库实时解析流量文件的关键信息，所述关键信息至少包括请求源地址如访问者地址src，还有请求时间time如等关键信息并作为该条访问流量的关联信息。

步骤五.每t分钟读取步骤二中已经记录的所有各云WAF节点引擎IP地址，并作为标准云WAF引擎节点IP地址集。

步骤六.将步骤四中解析的请求源地址与所述标准云WAF引擎节点IP地址集进行比较，判断请求源地址是否包含在标准云WAF引擎节点IP地址集中，若包含，则判定该请求源地址对应的流量为安全流量请求，否则，判定为不安全流量请求。

对于判定为不安全流量请求将结合步骤四中解析出的请求源地址及请求时间关联到其请求流量，并在请求流量开头添加no字段作为不安全流量标记。

步骤七.关联WEB服务器端口和云WAF检测引擎地址，使云WAF引擎可完全接受来自WEB服务器重放的不安全流量请求，并可以用于威胁检测，请求转发模块接收步骤六中被标记为不安全的流量请求，使用WEB服务器的特点空闲端口，利用流量重放技术或者程序如已经广泛使用的tcpcopy，将此条流量请求重放云WAF的检测引擎。

H.云WAF的检测引擎接收被重放的不安全流量请求并进行检测，判断是否为恶意请求。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (8)

1.一种绕过云WAF的恶意请求的检测系统，其特征在于，包括：

云WAF引擎IP记录模块，用于在WEB端记录识别云WAF的端节点引擎IP并使用正则匹配的方式，提取WEB后端日志中引擎源地址IP，及添加云WAF端节点引擎并保存到数据库中；

流量镜像模块，用于在WEB服务器端对服务端口进行流量镜像并保存流量文件，及使用nDPI分析技术实时解析流量中的关键信息；

IP来源判断模块，用于定时读取WEB服务器中保存的云WAF引擎地址并作为云WAF标准引擎地址集合，及实时对比流量中解析出来的请求源地址，并判断该请求是来自云WAF引擎地址还是来自其他地址；

流量重放模块，用于将IP来源判断模块识别为不是来自于云WAF引擎地址的请求通过重放技术转发至云WAF引擎；

引擎检测模块，用于对流量重放模块转发的请求进行检测，判断其是否为恶意请求。

2.根据权利要求1所述的一种绕过云WAF的恶意请求的检测系统，其特征在于，所述流量镜像模块解析流量中的关键信息时，所述关键信息至少包括请求源地址、请求时间。

3.根据权利要求2所述的一种绕过云WAF的恶意请求的检测系统，其特征在于，所述IP来源判断模块判断该请求是来自云WAF引擎地址还是来自其他地址的判断标准为：

若解析出的请求的源IP包含在云WAF标准引擎地址集合中，则判定该请求是来自云WAF引擎地址，否则判定该请求不是来自云WAF引擎地址。

4.根据权利要求3所述的一种绕过云WAF的恶意请求的检测系统，其特征在于，在判定请求不是来自云WAF引擎地址后，所述IP来源判断模块进一步结合流量镜像模块解析出的该请求的请求源地址、请求时间从而关联到该条请求流量，并将此条请求流量开头添加“no”字段，作为不安全流量标记，再将该条流量转发至流量重放模块。

5.一种绕过云WAF的恶意请求的检测方法，其特征在于，包括以下步骤：

A.设置云WAF接入，包括在云WAF的控制端添加WEB服务器IP地址及防护策略，设置网站域名DNS解析到云WAF；

B.云WAF节点引擎IP地址记录，包括接入云WAF时，收集DNS调度服务器分配的端节点防护引擎信息，并在被防护的WEB服务器上的后台程序数据库中记录云WAF端节点引擎的地址；

C.对被云WAF防护的WEB服务器的服务开放端口进行监听，并对进入被云WAF防护的WEB服务器的服务开放端口的流量镜像到目的接收端口；

D.设置目的接收端口并设置接收程序，其中，接收程序在接收到镜像的流量后或者保存的流量文件后，使用nDPI库实时解析流量文件的关键信息，所述关键信息至少包括请求源地址；

E.每t分钟读取步骤B中已经记录的所有各云WAF节点引擎IP地址，并作为标准云WAF引擎节点IP地址集；

F.将步骤D中解析的请求源地址与所述标准云WAF引擎节点IP地址集进行比较，判断请求源地址是否包含在标准云WAF引擎节点IP地址集中，若包含，则判定该请求源地址对应的流量为安全流量请求，否则，判定为不安全流量请求；

G.关联WEB服务器端口和云WAF检测引擎地址，使云WAF引擎可完全接受来自WEB服务器重放的不安全流量请求，并可以用于威胁检测，再将步骤F中判定的不安全流量请求重放至云WAF的检测引擎；

H.云WAF引擎接收被重放的不安全流量请求并进行检测，判断是否为恶意请求。

6.根据权利要求5所述的一种绕过云WAF的恶意请求的检测方法，其特征在于，所述步骤C中进行流量的镜像时，通过使用防火墙规则IPtalbes设置端口映射或使用流量镜像软件将被云WAF防护的WEB服务器的服务开放端口的流量发进行镜像。

7.根据权利要求5所述的一种绕过云WAF的恶意请求的检测方法，其特征在于，所述步骤D中的关键信号还包括请求时间。

8.根据权利要求7所述的一种绕过云WAF的恶意请求的检测方法，其特征在于，所述步骤F中对于判定为不安全流量请求将结合步骤D中解析出的请求源地址及请求时间关联到其请求流量，并在请求流量开头添加no字段作为不安全流量标记。