CN104361283B - 防护Web攻击的方法 - Google Patents

Abstract

本发明涉及一种防护Web攻击的方法，包括以下步骤：对各访问请求，提供以下防护组合中的至少一种：A.先执行黑名单防护子流程，再执行白名单防护子流程；B.执行黑名单防护子流程，同时对该访问请求的镜像流量执行白名单防护子流程；C.先判断该访问请求的通用资源标识符(URI)是否在已充分学习白名单的URI库，如果是，则对该访问请求执行白名单防护子流程，如果不是，则对该访问请求执行黑名单防护子流程；其中在各组合中，在对各访问请求执行完黑名单防护子流程后，执行白名单学习子流程，以访问请求中的URI为单位学习白名单。

Description

防护Web攻击的方法

技术领域

本发明涉及Web应用安全领域，尤其是涉及一种防护Web攻击的方法。

背景技术

Web应用防火墙(Web Application Firewall,WAF)是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。随着高级持续性威胁(AdvancedPersistent Threat,APT)攻击的出现，可以看到黑客们频繁使用新的漏洞进行攻击，攻击越来越有针对性和持续性。防护未知攻击和迅速防护成了WAF碰到的主要挑战。

在Web应用安全防护领域，现有的防护策略主要有黑名单技术和白名单技术。黑名单技术主要通过收集已知漏洞提取出攻击特征库，基于这个库来识别攻击行为；若访问请求和攻击特征库匹配，则认为是攻击，否则认为是正常。白名单技术主要针对网站的流量，进行一段时间的学习，建立一套正常行为基线；后续的访问请求如在基线之内，则认为是正常，否则会被识别为攻击。

现有WAF的防护技术，在防护过程中基本上是单独使用白名单技术或者黑名单技术。但是如果单独采用黑名单技术，由于攻击特征是基于已知漏洞的，所以存在难以防护未知攻击的问题，而如果单独采用白名单技术，因为需要时间学习，存在难以迅速防护的问题。

上述现有技术中的缺点，造成了目前的WAF还无法迅速防御未知攻击。因此，亟需一种能迅速防御未知攻击的方法。

发明内容

本发明所要解决的技术问题是提供一种防护Web攻击的方法，它可以防御未知攻击，而且能够迅速建立防护。

本发明为解决上述技术问题而采用的技术方案是提出一种防护Web攻击的方法，包括以下步骤：对各访问请求，提供以下防护组合中的至少一种：A.先执行黑名单防护子流程，再执行白名单防护子流程；B.执行黑名单防护子流程，同时对该访问请求的镜像流量执行白名单防护子流程；C.先判断该访问请求的通用资源标识符(URI)是否在已充分学习白名单的URI库，如果是，则对该访问请求执行白名单防护子流程，如果不是，则对该访问请求执行黑名单防护子流程；其中在各组合中，在对各访问请求执行完黑名单防护子流程后，执行白名单学习子流程，以访问请求中的URI为单位学习白名单。

在本发明的一实施例中，在各组合中，在执行完该黑名单防护子流程后，发送日志给该白名单学习子流程。

在本发明的一实施例中，在该组合A和组合B中，该白名单学习子流程向该白名单防护子流程输出如下内容：正常行为基线，用于检测请求是否异常；白名单规则库，用于排除请求的可疑特征。

在本发明的一实施例中，在该组合C中，该白名单学习子流程向该白名单防护子流程输出如下内容：正常行为基线，用于检测请求是否异常；白名单规则库，用于排除请求的可疑特征；以及已充分学习白名单的URI库，用于该组合C决定该访问请求执行该黑名单防护子流程还是该白名单防护子流程。

在本发明的一实施例中，该白名单学习子流程向该白名单防护子流程定期更新该正常行为基线，且随时更新该白名单规则库。

在本发明的一实施例中，该白名单学习子流程向该白名单防护子流程定期更新该正常行为基线，且随时更新该白名单规则库和该已充分学习白名单URI库。

在本发明的一实施例中，执行该白名单学习子流程包括如下步骤：清洗掉不符合http或https规范的日志；对每个URI的访问者来源、访问次数和访问频率进行统计分析，建立一条基线值；对http或https请求中的各个参数的数据类型进行统计分析，建立一条基线值；建立一个可疑特征库，将日志与可疑特征库进行匹配以找出可疑点；分析该可疑点，生成白名单规则库。

在本发明的一实施例中，对于每一处可疑点，如果在设定的时间范围内，访问来源和访问次数都超过设定的阈值，那么则消除该可疑点。

在本发明的一实施例中，在该组合C中，该白名单学习子流程是基于以下参数的至少部分判定访问请求中的URI是否已充分学习白名单：URI的白名单条数、可疑点的日志数量、无可疑点的日志数量、以及访问时间，以建立该已充分学习白名单的URI库。

在本发明的一实施例中，在该组合C中，判断该访问请求中的URI是否已经学习过白名单的步骤包括：a.判断下该URI的白名单条数是否超过一定的阈值，如果超过，则认定已经充分学习；b.判断有可疑点的日志数量是否超过设定的阈值，并且所有可疑点均被分析过，如果满足这两个条件，则认定为已经学习充分；c.判断无可疑点的日志是否超过设定的阈值，如果超过，则认定已经充分学习；d.判断该URI的访问时间是否超过设定的阈值，如果超过，则认定已经充分学习。

在本发明的一实施例中，执行该黑名单防护子流程包括：将该访问请求与黑名单库进行匹配；如果该访问请求与所述黑名单库匹配上，则判定该访问请求为攻击；否则判定为正常。

在本发明的一实施例中，执行该白名单防护子流程包括：a.检测该次访问请求是否偏离该正常行为基线，如果偏离，则判定为攻击，如果未偏离，进入步骤b；b.通过一可疑特征库，检测该次访问是否存在可疑点，如果有可疑点，进入步骤c，否则进入步骤d；c.将该可疑点和该白名单规则库进行匹配，如果在白名单规则库中，则进入步骤d，如果不在白名单规则库中，则判定为攻击；d.将该次访问请求判定为正常。

在本发明的一实施例中，当防护组合中的至少两种时，允许使用者选择所使用的防护组合。

本发明由于采用以上技术方案，通过黑名单和白名单组合防护相比现有技术的单独防护，既能够防护未知攻击，又能够进行快速防御。并且，本发明是以URI为单位学习白名单，令白名单防护时间明显提前，使WAF更早进行针对未知攻击的白名单防护。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1示出根据本发明的一个实施例的防护Web攻击的方法原理图。

图2示出根据本发明的一个实施例的防护Web攻击的方法流程图。

图3示出根据本发明的一个实施例的黑名单防护子流程的流程图。

图4示出根据本发明的一个实施例的白名单学习子流程的流程图。

图5示出根据本发明的一个实施例的以URI为单位学习白名单的流程图。

图6示出根据本发明的一个实施例的判断URI是否充分学习白名单的流程图。

图7示出根据本发明的一个实施例的白名单防护子流程的流程图。

具体实施方式

以下在具体实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本发明相关的目的及优点。

本发明的实施例描述防护Web攻击的方法，这一方法组合使用黑名单防护和白名单防护。黑名单防护主要通过收集已知漏洞提取出攻击特征库，因此可以防护已知攻击。白名单防护主要针对网站的流量，进行一段时间的学习，建立一套正常行为基线，可以防护未知攻击。可以理解，黑名单防护存在难以防护未知攻击的问题，白名单防护，存在难以迅速防护的问题。因此组合防护相比单独防护，既能够防护未知攻击，又能够进行快速防御。

黑名单防护和白名单防护的组合方式例如可以包括：先后检测，先经过黑名单防护再经过白名单防护；过渡检测，充分学习白名单之前，使用黑名单防护，充分学习之后，过渡到使用白名单防护；同时检测，黑名单机制检测已知攻击，镜像一份流量，用白名单机制发现未知攻击。但是可以理解，在本发明的各个实施例中，可以仅提供上述组合中的一种或多种。当提供了多种组合时，WAF(Web Application Firewall,应用防火墙)可以预设这些组合的优先级。或者，WAF可以允许使用者根据偏好确定这些组合的优先级。

尽管组合黑名单防护和白名单防护比起单独防护存在优势。但是在白名单防护建立前，防护方法仍然仅依赖于黑名单防护。这一段可观的时期成为WAF的薄弱之处。为了解决这一问题，本发明的实施例改变了白名单学习的流程及启用时机。具体地说，不再以整个网站为单位来学习白名单，而是以网站中的通用资源标识符(URI)为单位来学习白名单。当一个URI已经学习白名单后，即可以使用这部分内容进行白名单防护。这一方法的优势是令白名单防护时间明显提前，使WAF更早进行针对未知攻击的白名单防护。

本发明的实施例将在参考附图的下述描述中展开。

图1示出了根据本发明的一个实施例的防护Web攻击的方法原理图。参考图1所示，根据本发明实施例的方法，包括步骤101，WAF在受到访问请求时，对各个访问请求，提供至少一种黑名单防护和白名单防护组合。举例来说，组合可以包括：

A.先执行黑名单防护子流程，再执行白名单防护子流程；

B.执行黑名单防护子流程，同时对访问请求的镜像流量执行白名单防护子流程；

C.先判断访问请求的URI是否在已充分学习白名单的URI库，如果是，则对该访问请求执行白名单防护子流程，如果不是，则对该访问请求执行黑名单防护子流程。

在各组合中，还包括步骤102，在对各访问请求执行完黑名单防护子流程后，执行白名单学习子流程，以访问请求中的URI为单位学习白名单。

可以理解，这一方法并不是按照图1中的顺序来执行的，相反，步骤102是穿插在步骤101中执行的。而在步骤101中，黑名单防护子流程和白名单防护子流程则因不同组合而有不同的执行时机配合。

图2示出根据本发明的一个实施例的防护Web攻击的方法流程图。参考图2所示，在步骤200，解析接收到的访问请求，例如http或者https请求。这一解析步骤包括提取访问请求中的URI，请求参数，请求头(header)，请求体(body)等。在步骤201，选择一种组合方式。这一选择可以基于系统预设或者用户自定义设置。在这一选择被固定后，步骤201可以被省略。

如果选择的是组合A，进入步骤202，首先执行黑名单防护子流程。接着进入步骤203，执行白名单防护子流程，继续处理请求。在步骤202执行完黑名单防护子流程后，同时发送日志给白名单学习子流程。在步骤203，执行白名单学习子流程以学习白名单。学习白名单后有2项输出：正常行为基线，用于检测请求是否异常；白名单规则库，用于排除请求的可疑特征。

在本发明的上下文中，请求和攻击特征库匹配，如果匹配上，则认为是存在可疑点。对这些可疑点，进行分析，如果认定正常，则会产生一条规则。用于在执行安全检测的时候，排除可疑。白名单规则库，是这些规则的结合。

在此，由于步骤203白名单学习子流程和步骤204白名单防护子流程均在步骤202之后执行，并非按顺序执行，因此需要在二者间进行同步。步骤203输出的正常行为基线和白名单规则库提供给步骤204。正常行为基线定期更新到步骤204，白名单规则库则随时更新，步骤204处理完正在处理中的对应的域名之后，立即加载新的白名单规则库。

如果选择的是组合B，进入步骤205，首先执行的也是黑名单防护子流程。同时在步骤207，镜像一份流量，转入步骤208，执行白名单防护子流程。需要指出的是，在这一组合下，步骤208白名单防护子流程没有阻断动作，而有报警动作。不使用阻断动作的优点是避免过多的阻断，维持整个防护流程的速度；同时，使用报警动作仍可以让防护流程在今后面对同样的攻击时有效识别，保证安全性。在步骤205执行完黑名单防护子流程后，同时发送日志给白名单学习子流程。在步骤203，执行白名单学习子流程以学习白名单。学习白名单后有2项输出：正常行为基线，用于检测请求是否异常；白名单规则库，用于排除请求的可疑特征。

由于步骤206白名单学习子流程和步骤208白名单防护子流程并非按顺序，因此需要在二者间进行同步。步骤206输出的正常行为基线和白名单规则库提供给步骤208。正常行为基线定期更新到步骤208，白名单规则库则随时更新，步骤208处理完正在处理中的对应的域名之后，立即加载新的白名单规则库。

如果选择的是组合C，进入步骤209，判断请求中的URI是否在已充分学习白名单的URI库中，如果不在，那么进入步骤210，执行黑名单防护子流程。这种情形集中出现在WAF运作的初期。如果在，那么进入步骤212，执行白名单防护子流程。在步骤210执行完黑名单防护子流程后，同时发送日志给白名单学习子流程。在步骤211，执行白名单学习子流程以学习白名单。学习白名单后有3项输出：正常行为基线，用于检测请求是否异常；白名单规则库，用于排除请求的可疑特征；已充分学习白名单的URI库，用于决定请求走黑名单防护还是白名单防护。已充分学习白名单的URI库被提供给步骤209。

由于步骤211白名单学习子流程和步骤212白名单防护子流程并非按顺序，因此需要在二者间进行同步。步骤211输出的正常行为基线和白名单规则库提供给步骤212。正常行为基线定期更新到步骤212，白名单规则库则随时更新，步骤212处理完正在处理中的对应的域名之后，立即加载新的白名单规则库。

下面分别描述各个子流程的具体步骤。

图3示出根据本发明的一个实施例的黑名单防护子流程的流程图。参考图3所示，流程如下：

在步骤301，将解析访问请求(例如http或https请求)得到的各个检测参数和黑名单规则库进行匹配；

在步骤302判断是否匹配上，如果匹配上，则判定为攻击，进入步骤303；否则判定为正常，进入步骤304；

在步骤303，根据配置的处理策略处理该请求。处理策略例如：阻断、报警以及只记攻击日志；

在步骤304，转发请求，然后结束流程。

在步骤305，根据是否阻断进行不同的处理，如果不阻断，则进入步骤306，记录日志或者报警，然后跳到步骤304转发请求；如果阻断，则在步骤307阻断，并结束流程。

在本发明的上下文中，黑名单规则库是通过对攻击特征的分析，提炼出的一套规则集。

图4示出根据本发明的一个实施例的白名单学习子流程的流程图。参考图5所示，这一流程主要包括两个步骤，步骤401是以URI为单位学习白名单；步骤402是URI是否已经充分学习白名单。如前所述，判断URI是否已经充分学习白名单可以仅在部分组合中，例如组合C的白名单学习子流程中选择执行。

以URI为单位学习白名单的基本操作是针对黑名单防护输出的日志，以URI为单位，进行智能分析，产生白名单规则库和正常行为基线。图6示出根据本发明的一个实施例的以URI为单位学习白名单的流程图。参考图6所示，流程包括：

步骤501，提取日志，加载到数据库中；

步骤502，清洗掉不符合HTTP或HTTPS规范的日志，这部分日志不会生成白名单；

步骤503，选定某个URI，分别进行步骤504-505和步骤506-507的处理。

步骤504，对URI的访问者来源(例如IP)、访问次数和访问频率等，进行统计分析，建立一条基线值；

在步骤505，对http或https请求中的各个参数的数据类型，进行统计分析，建立一条基线值；由此得到正常行为基线51；

在步骤506，建立一个可疑特征库，将日志与可疑特征库进行匹配找出日志中的可疑点；

在步骤507，分析可疑点，生成白名单规则；

举例来说，对于每一处可疑点，如果在设定一个时间范围内，访问来源和访问次数都超过一个设定的阈值，那么则消除该可疑点。这样做的依据是，对于Web攻击，黑客在一个短的时间段内，同时使用多个IP，来大量重复尝试同种类型攻击，攻击成本会比较高。

由此得到白名单规则库52。

在步骤508，判断是否所有URI都已经处理完毕，如果是，则结束流程，否则回到步骤503。

在本发明的上下文中，可疑特征库是一些关键字集合，这些关键字通常是敏感操作。非请求基本上会包括这些关键字，正常的请求也可能包括这些关键子。有这些关键字的请求，定位为可疑的。

在步骤506中，是将日志与可疑特征库进行匹配，如果日志中的检查点包含可疑特征库中的关键字，则把这个检查点标记可疑点。

举例来说，首先以四元组的方式记录(URL，检测区域，检测变量，可疑关键字ID)可疑点。检测区域可以包括：请求头，POST参数，GET参数，完整的URL。

接着分析对于每一处可疑点(每一个四元组)。在设定的时间范围内，统计访问来源IP数量和访问次数。对这2个参数都可以设置一个阈值，如果统计结果超过阈值，则消除该可疑点。生成一个五元组(URL，检测区域，检测变量，可疑特征ID，白名单标记)。这个五元组，就是一条白名单规则。

对所有可疑点分析完之后，就生成了一个白名单规则库。

图6示出根据本发明的一个实施例的判断URI是否充分学习白名单的流程图。参考图6所示，流程如下：

首先在步骤601，判断URI的白名单条数是否超过一定的阈值，如果超过，则跳到步骤606，认定已经充分学习白名单；如果没超过，考虑存在这样的场景，就是虽然访问次数很多，但是白名单条数较少；因此可以统计一下，对该URI的日志，分析了多少。通过可疑特征库，对日志进行分类，一类是有可疑点的，一类是无可疑点的。

具体地说，在步骤602，对于有可疑点的日志，判断其数量是否超过阈值，如果数量超过设定的阈值，则进入步骤603，否则进入步骤604；

在步骤603，判断可疑点是否已经消除，如果可疑点均被消除，则跳到步骤606，认定已经充分学习白名单，否则进入步骤604；

考虑存在这样的场景，就是日志没有或者较少的可疑点。因此在步骤604，对于无可疑点的日志，也设定一个阈值，判断无可疑点的日志数量是否超过阈值，如果超过阈值，则跳到步骤606，认定已经充分学习白名单。如果未超过阈值，表明两种日志数都比较少，考虑存在这样的场景，就是对一个URI的访问量本身就较少，因此进入步骤605。

在步骤605，统计一下对该URI的日志的访问时间。例如可以设定一个时间周期的阈值，如果访问时间超过这个阈值，则认定已经充分学习白名单，进入步骤606，否则不认定充分学习白名单，结束流程。

需要留意的是，上述的各个判断步骤的顺序并不做限制，而是可以任意安排。进一步，在本发明的其它实施例中，可以仅使用上述URI的白名单条数、有可疑点的日志数量、无可疑点的日志数量以及URI的日志的访问时间中的一部分而不是参数来判断是否充分学习白名单。

图7示出根据本发明的一个实施例的白名单防护子流程的流程图。参考图7所示，流程包括：

在步骤701，记载正常行为基线、可疑特征库和白名单规则库；

在步骤702，将http或https请求与正常行为基线进行匹配；

在步骤703，判断http或https请求是否偏离该正常行为基线，如果偏离，则在步骤708判定为攻击，如果未偏离，进入步骤704；

在步骤704，将http或https请求与可疑特征库进行匹配；

在步骤705，判断是否存在可疑特征，如果有可疑特征，则在步骤708判定为攻击，如果没有可疑特征，进入步骤706，

在步骤706，将可疑特征和白名单规则库进行匹配；

在步骤707，判断可疑特征是否在白名单规则库中，如果不在白名单规则库中，则在步骤708判定为攻击，否则在步骤713判断为正常；

在步骤708判断为攻击后，在步骤709根据配置的处理策略处理该请求。处理策略例如为：阻断、报警以及只记攻击日志；

在步骤710，根据是否阻断进行不同的处理，如果不阻断，则进入步骤711，记录日志或者报警，然后跳到步骤714；如果阻断，则在步骤712阻断，并结束流程。

在步骤713判断为正常后，在步骤714转发请求，然后结束流程。

这里采用的术语和表述方式只是用于描述，本发明并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示意和描述(或其中部分)的等效特征，应认识到可能存在的各种修改也应包含在权利要求范围内。其他修改、变化和替换也可能存在。相应的，权利要求应视为覆盖所有这些等效物。

同样，需要指出的是，虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (9)

1.一种防护Web攻击的方法，包括以下步骤：

对各访问请求，提供以下防护组合：

C.先判断该访问请求的通用资源标识符(URI)是否在已充分学习白名单的URI库，如果是，则对该访问请求执行白名单防护子流程，如果不是，则对该访问请求执行黑名单防护子流程；其中，已充分学习白名单的URI库，用于该组合C决定该访问请求执行该黑名单防护子流程还是该白名单防护子流程；

其中在组合C中，在对各访问请求执行完黑名单防护子流程后，执行白名单学习子流程，以访问请求中的URI为单位学习白名单；

其中，在该组合C中，该白名单学习子流程向该白名单防护子流程输出如下内容：正常行为基线，用于检测请求是否异常；白名单规则库，用于排除请求的可疑特征；以及已充分学习白名单的URI库；

其中，在该组合C中，该白名单学习子流程是基于以下参数的至少部分判定访问请求中的URI是否已充分学习白名单：该URI对应的白名单条数、可疑点的日志数量、无可疑点的日志数量，访问时间，以建立该已充分学习白名单的URI库。

2.如权利要求1所述的方法，其特征在于，还包括以下步骤：

对各访问请求，还提供以下防护组合中的至少一种：

A.先执行黑名单防护子流程，再执行白名单防护子流程；

B.执行黑名单防护子流程，同时对该访问请求的镜像流量执行白名单防护子流程；

其中在组合A和组合B中，在对各访问请求执行完黑名单防护子流程后，执行白名单学习子流程，以访问请求中的URI为单位学习白名单。

3.如权利要求1或2所述的方法，其特征在于，在各组合中，在执行完该黑名单防护子流程后，发送日志给该白名单学习子流程。

4.如权利要求2所述的方法，其特征在于，在该组合A和组合B中，该白名单学习子流程向该白名单防护子流程输出如下内容：

正常行为基线，用于检测请求是否异常；

白名单规则库，用于排除请求的可疑特征。

5.如权利要求3所述的方法，其特征在于，执行该白名单学习子流程包括如下步骤：

清洗掉不符合http或https规范的日志；

对每个URI的访问者IP、访问次数和访问频率进行统计分析，建立一条基线值；

对http或https请求中的各个参数的数据类型进行统计分析，建立一条基线值；

建立一个可疑特征库，将日志与可疑特征库进行匹配以找出可疑点；

分析该可疑点，生成白名单规则库。

6.如权利要求5所述的方法，其特征在于，对于每一处可疑点，如果在设定的时间范围内，访问来源和访问次数都超过设定的阈值，那么则消除该可疑点。

7.如权利要求1所述的方法，其特征在于，在该组合C中，判断该访问请求中的URI是否已经充分学习了白名单的步骤包括：

a.判断下该URI的白名单条数是否超过一定的阈值，如果超过，则认定已经充分学习；

b.判断有可疑点的日志数量是否超过设定的阈值，并且所有可疑点均被分析过，如果满足这两个条件，则认定为已经学习充分；

c.判断无可疑点的日志是否超过设定的阈值，如果超过，则认定已经充分学习；

d.判断该URI的访问时间是否超过设定的阈值，如果超过，则认定已经充分学习。

8.如权利要求1或2所述的方法，其特征在于，执行该黑名单防护子流程包括：

将该访问请求与黑名单库进行匹配；

如果该访问请求与所述黑名单库匹配上，则判定该访问请求为攻击；否则判定为正常。

9.如权利要求1或4所述的方法，其特征在于，执行该白名单防护子流程包括：

a.检测该次访问请求是否偏离该正常行为基线，如果偏离，则判定为攻击，如果未偏离，进入步骤b；

b.通过一可疑特征库，检测该次访问是否存在可疑点，如果有可疑点，进入步骤c，否则进入步骤d；

c.将该可疑点和该白名单规则库进行匹配，如果在白名单规则库中，则进入步骤d，如果不在白名单规则库中，则判定为攻击；

d.将该次访问请求判定为正常。