CN103428196A

CN103428196A - 一种基于url白名单的web应用入侵检测方法和装置

Info

Publication number: CN103428196A
Application number: CN2012105781554A
Authority: CN
Inventors: 胡星儒; 宋兵; 李柏松
Original assignee: Beijing Antiy Electronic Equipment Co Ltd
Current assignee: Beijing ahtech network Safe Technology Ltd
Priority date: 2012-12-27
Filing date: 2012-12-27
Publication date: 2013-12-04
Anticipated expiration: 2032-12-27
Also published as: CN103428196B

Abstract

本发明公开了一种基于URL白名单的WEB应用入侵检测方法和装置，基于URL白名单的WEB应用入侵检测方法的基本原理是根据WEB网站应用程序模型建立起一个可信的架构；在此可信的架构下利用爬虫技术和WEB应该程序目录结构将URL信息全部提取并形成可信白名单；当有WEB访问程序进行页面访问时，将此行为在白名单中进行匹配，匹配不成功则是一次可疑的恶意访问事件，并记录事件完整信息，用评定方法进行分析，如满足要求，便被判断为高威入侵行为。本发明对未知WEB应用入侵能够第一时间发现、准确定位、并通过评定方法进行深入分析判断是否为高威入侵行为并进行彻底拦截。

Description

一种基于URL白名单的WEB应用入侵检测方法和装置

技术领域

本发明涉及信息安全技术领域，尤其涉及一种基于URL白名单的WEB应用入侵检测方法与装置。

背景技术

随着网络的大众化普及，IT技术在推动产品创新与变革的同时，各种安全问题也非常严峻；促使了信息安全产业站在了IT产业发展的最前沿。而WEB应用安全则是信息安全的一个重要的分支。WEB应用安全目前的安全措施主要是通过部署防火墙、IDS、IPS等主流系统或设备实现。而随着网络攻击技术的发展，防火墙的先天不足对WEB服务的攻击显得无能为力。例如传统的WEB防火墙是以关键字特征技术进行检测，但这种技术存在着当用户正常访问的行为中包含关键字特征时，便会出现严重的误报率；同时在WEB恶意入侵中将关键字进行编码或加密变形时，便又会出现较高的漏报率。而且这些基于特征库的被动防御体系存在着滞后性，往往是先有特征才能检测，不能够进行无特征的检测，所以都无法抵御高威入侵行为。针对IDS、IPS等主流的互联网安全产品也存在同样的问题。因此当前WEB应用高威入侵行为检测正面临着严峻的挑战。

WEB应用面临着越来越多的威胁方式，包括但不限于SQL注入漏洞攻击、跨站漏洞攻击、利操作系统或IIS服务漏洞攻击、后台探测攻击等。这些攻击都是未知的，难以捕获的。例如入侵者通过系统漏洞上传一个后门文件，而针对此系统漏洞没有对应的检测方法，则可视为对应的产品放行了此后门软件，检测效率极低。

一种基于URL白名单的WEB应用入侵检测方法解决了这些问题，使WEB应用入侵检测能够在无特征的情况下实时捕获、分析、拦截、处置；即使进行未知的WEB应用入侵方法构造，也难以逃过基于URL白名单的WEB应用入侵检测；且有较高的检出率、低误报、实现方便等优点。

发明内容

本发明提供了一种基于URL白名单的WEB应用入侵检测方法与相关实现，解决了目前通用传统WEB应用防火墙黑名单规则特征检测、传统网络环境中的IPS/IDS等信息安全产品无法检测或严重的滞后性检测恶意入侵行为的问题。更解决了目前主流解决方案的不足，例如：针对WEB入侵检测的黑名单规则存在严重的滞后性问题。而本发明基于WEB应用程序的可信框架，无需恶意URL特征码，便可定位未知攻击行为；本发明出现误报的概率可以忽略，而主流检测方法会存在大量的误报；主流的检测方法很少能够处理通过未知漏洞进行脚本文件上传问题，而这些新增的上传文件不在本发明的可信白名单库中，因此本发明可以检出所有利用未知或已知漏洞进行的脚本文件操作。特别是在WEB应用入侵检测的实时性、准确性上技术更先进，能够在未知情况下实时发现、定位、分析，最终判定WEB访问行为是否为恶意入侵攻击行为。

基于URL白名单的WEB应用入侵检测方法的基本原理是根据WEB网站应用程序模型建立起一个可信的架构；在此可信的架构下利用爬虫技术和WEB应该程序目录结构将URL信息全部提取并形成可信白名单；当有WEB访问程序进行页面访问时，将此行为在白名单中进行匹配，匹配不成功则是一次可疑的恶意访问事件，并记录事件完整信息；用评定方法进行分析，如满足要求，便被判断为高威入侵行为。

针对本发明的检测方法步骤阐述如下：

步骤1：针对WEB网站建立起可信架构，可信架构原则是WEB网站当前所有内容均是可信的。

步骤2：针对已建立起的可信WEB网站架构进行提取URL操作，主要以爬虫技术进行全网站操作，再以WEB网站目录结构进行对应的验证与补充操作。

步骤3：将提取的URL进行聚类操作，得出通用规则并进行URL通用规则提取。针对那些不能以通用规则提取的URL则进行原始URL存储操作。

步骤4：将提取到的URL通用规则存入白名单，将剩余未按通用规则提取的URL也存入白名单。

步骤5：当用户访问WEB网站时，首先将URL通过匹配方法进行白名单匹配操作。

步骤6：如未匹配则此访问为可疑恶意访问，如匹配成功则是正常访问。

步骤7：记录可疑恶意访问事件，记录包含访问IP、URL、访问时间、统计同IP访问记录数目、统计同URL访问记录数目等。

步骤8：在记录的同时进行评定此可疑恶意访问是否为高威入侵行为，评定方法可以以多维加权等方式进行判定。

步骤9：判断是否满足评定方法要求，如满足则判定为高威入侵行为，如不满足可视为一次用户误操作，则此次访问拦截，但允许此IP可再次访问。

步骤10：如已判定这高威入侵行为，则此次访问拦截，且此IP禁止访问。

本发明达到的有益效果为对未知WEB应用入侵能够第一时间发现、准确定位、并通过评定方法进行深入分析判断是否为高威入侵行为并进行彻底拦截。本发明方法具有通用性、未知检测能力、检测方法易于实现、自动运行、高威入侵行为定位、检测率高、低误报等优点；没有额外的开发及人工开销，极大的方便了WEB应用入侵未知检测与高威入侵定位。可以解决常规信息安全产品通用检测方法的处置策略增加困难及开发周期长的问题。解决了传统的信息安全产品特征提取的滞后性的弊端。解决了黑名单等目前主流检测方法的主要不足之处。而且此发明方法中白名单进行了聚类操作，规避了大型网站需要海量的白名单存储问题，达到了匹配速度快、存储空间少的优点。同时本发明方法无高深的特征提取方法，一般的软件工程师在熟读本发明后，均可自行开发；能够使WEB应用入侵攻击的未知检测更加易用于开发、易于普及、更加加速了大众化安全应用。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于URL白名单的WEB应用入侵检测方法实施流程图；

图2为本发明基于URL白名单的WEB应用入侵检测装置结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明。

本发明首先包括三个主要阶段：WEB网站建立可信架构、白名单建立、匹配操作，另外后续还可以包括两阶段：评定方法、处置策略；这五个部分中每一部分都是后续部分的前提条件。其中白名单还包括URL提取、URL通用规则提取、白名单建立；匹配操作包括匹配方法、记录可疑恶意事件。下面结合附图针对此五大阶段的发明过程与相互关系进行说明。

如图1所示，本发明包括：

S101、WEB网站建立可信架构

建立可信架构是整个发明的起始，也是白名单的重要的数据来源。WEB网站建立可信架构的原则是WEB网站当前所有内容均是可信的。此步骤的可信度由创建WEB网站的管理员来进行保证。

下面创建www.example.com网站为例进行说明，www.example.com网站只为解释本发明而举的简单例子，所以其页面简单规定通过网站能访问只有8个文件，通过目录结构访问为9个文件如下：

Figure 2012105781554100002DEST_PATH_IMAGE001

为表述方便，上述表格中记录的是当前网站可信结构的内容，接下来就是要找出该网站的白名单库。

白名单是本发明的关键所在，也是未知检测的核心。白名单建立包括以下三个步骤：

S102、提取URL

a、爬虫抓取：

可信网站建立后以爬虫技术进行抓取，抓取范围为WEB网站全部页面。其全部页面是指静态和动态的脚本文件，如HTM\PHP 等；不包括服务器自带或用户上传的图片、压缩文件、pdf、文本文件等各种非脚本文件。将所有爬到的URL进行一一记录。

www.example.com网站经爬虫技术抓取后，得到的记录如下：

因页面ID7、8是非脚本文件，所以抓取时忽略，不做记录。而页面ID9不在网站中体现，未抓取到，不做记录。

b、目录结构获取补充：

爬虫只针对网站进行页面文件抓取，会有爬虫抓不到的未关联网站的页面。此部分页面在目录结构中能够体现。针对WEB网站的目录结构进行获取，将获取的路径与爬虫记录对比，针对没有的记录应予以补充记录。在www.example.com网站目录结构进行获取时也和爬虫一样忽略掉非脚本文件；那么再排除爬虫已抓取到的文件，可以得到一条记录即页面ID9，将此条URL记录下来以供后续操作。

S103、URL通用规则提取

将爬虫技术和目录结构技术提取的URL进行汇总，然后进行聚类操作，得出通用规则并进行URL通用规则提取。下面以www.example.com为例进行说明如下：

a、URL汇总：

将爬虫技术抓取的URL与目录结构技术获取的URL进行汇总如下表：

b、聚类操作：

通过聚类可知汇总ID1、汇总ID2、汇总ID3、汇总ID4存在可聚类操作。

c、规则提取：

针对可聚类操作的汇总ID1、汇总ID2、汇总ID3、汇总ID4对应的URL进行规则提取。下面以正则表达式进行规则提取举例，此例子只起说明作用，也可用多种其它方式进行规则提取。以正则表达式中的\d来代表一个数字。规则提取如下：

针对汇总ID5、汇总ID6、汇总ID7不存在可聚类操作，则不用提取规则。

白名单创建：

针对已进行规则提取的URL不进行白名单录入，只录入URL规则。针对那些不能进行聚类操作的URL，则将URL录入到白名单中。

下面是以www.example.com网站为例，创建白名单如下：

将URL通用规则存入白名单，此部分可以省掉很大的白名单空间开销与匹配的时间开销。同时还可以针对已失效的页面进行匹配，降低误报率。

WEB网站管理员可以在服务器上进行白名单的批量增加、删除、修改等功能操作。这样后续对WEB应用网站的修改与维护也可同步到白名单中，不用重新建立新的可信网站等操作。

S104、匹配方法

匹配操作主要将访问URL进行可规则化操作，然后进行白名单匹配，针对不可规则化操作的URL进行原始URL白名单匹配。匹配操作会过滤掉非脚本文件的匹配操作。

下面以www.example.com网站的匹配为例进行举例说明如下：

Figure 2012105781554100002DEST_PATH_IMAGE007

上表是针对www.example.com网站的多次访问记录。因在WEB应用网站中HPPT返回码是可以管理员自己定义错误返回码以及返回页面，如：302跳转等。所以HTTP返回码要根据具体网站而定，本实施例中只是举例说明，其中返回码200代表访问成功、返回码404代表访问失败。

如匹配成功则是正常访问，此访问放行。如事件ID5、事件ID6均匹配成功。

事件ID5：成功匹配白名单记录ID1。返回码404代表访问失败，但其是正常操作，其可以规避www.example.com可能的失效页面被误报操作。

事件ID6：成功匹配白名单记录ID1，访问成功。

S105、记录可疑恶意事件

如匹配失败，则是可疑的恶意访问，进行记录并拦截操作。如事件ID1、事件ID2、事件ID3、事件ID4均匹配失败，为可疑的恶意事件。

事件ID1：匹配失败；是XSS攻击，是可疑恶意事件，返回码404，将其记录。

事件ID2：匹配失败；是SQL注入攻击，是可疑恶意事件，返回码404，将其记录。

事件ID3：匹配失败；是后台探测攻击，是可疑恶意事件，返回码404，将其记录。

事件ID4：匹配失败；是后门攻击，是可疑恶意事件，返回码200，将其记录。

在记录中需要记录客户端访问IP、URL、访问时间、同IP访问记录数目统、同URL访问记录数目统计等操作。

S106、评定方法

评定方法有多种，例如可以以多维加权的方式进行判定。下面针对www.example.com网站的判定条件举例如下，举例中的权值只是本发明的示例作用，具体实施中需实施人员重新划定。

当权值和不小于5时，认为是高威入侵行为，否则认为是用户误操作行为。

最后就是处置策略：

如不满足规定权值可视为一次用户误操作，则此次访问拦截，但允许此IP可再次访问。针对www.example.com网站的例子为例，事件ID1~事件ID6均第一次访问：

Figure 2012105781554100002DEST_PATH_IMAGE009

通过权值可知事件ID3权值为4，小于额定权值5，则视为用户误操作。

S107、高威入侵行为；

如满足规定权值可判定为高威入侵行为，则此次访问拦截，且此IP禁止访问。针对www.example.com网站的例子为例，事件ID1~事件ID6均第一次访问，事件ID1的权值为5、事件ID2的权值为5、事件ID4的权值为7，三次事件均不小于设定的额定权值5，所以判断为高威入侵行为。

相应的，本发明还提供了一种基于URL白名单的WEB应用入侵检测装置，包括：

URL白名单库101，用于存储当前网站的URL规则白名单和URL白名单；所述URL白名单包括URL规则和URL记录；所述URL白名单库基于当然网站的可信结构建立，所述可信架构是指网站所有可信内容；

匹配模块102，用于在所述URL白名单库中匹配用户访问网站的URL并输出匹配结果，如果匹配不成功则认为所述用户访问为可疑恶意访问；

还包括评定模块103和/处置模块104，所述评定模块103用于根据所述匹配结果，对所述用户访问的URL进行权值评定并输出判定结果；所述处置模块104用于根据判定结果进行处置，为高威入侵行为，拦截可疑恶意访问，并禁止所述用户IP访问当前网站，如果判定为用户误操作则允许所述访问。

本说明书中方法的实施例采用并列的方式描述，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。

Claims

1.一种基于URL白名单的WEB应用入侵检测方法，其特征在于，包括：

针对当前WEB网站建立可信架构，所述可信架构是指网站所有可信内容；

基于所述可信架构建立URL白名单库，所述URL白名单包括URL规则和URL记录；

在所述URL白名单库中匹配用户访问网站的URL，如果匹配不成功则认为所述用户访问为可疑恶意访问。

2.如权利要求1所述的方法，其特征在于，所述基于所述可信架构建立URL白名单库包括：

使用爬虫技术抓取和记录当前网站所有页面对应的URL；

根据网站的目录结构获取页面对应的URL，如果不存在已记录的URL中则进行补充记录；

从所述URL中排除非脚本文件的URL；

对所述URL中可聚类的URL提取URL规则，将所述URL规则存入白名单库；

将所述URL中不能聚类的URL直接存入白名单库。

3.如权利要求1所述的方法，其特征在于，所述在所述URL白名单库中匹配用户访问网站的URL包括：对用户访问网站的URL进行规则化处理，然后在所述URL白名单库中进行匹配。

4.如权利要求1所述的方法，其特征在于，所述在所述URL白名单库中匹配用户访问网站的URL包括：对用户访问网站的URL在所述URL白名单库中直接进行匹配。

5.如权利要求3或4所述的方法，其特征在于，对用户访问的非脚本文件对应的URL不进行匹配。

6.如权利要求1所述的方法，其特征在于，还包括，拦截可疑恶意访问。

7.如权利要求1所述的方法，其特征在于，还包括，根据所述匹配结果，对所述用户访问的URL进行权值评定，如果超过阈值则判定为高威入侵行为，拦截可疑恶意访问，并禁止所述用户IP访问当前网站；否则判定为用户误操作，允许所述访问。

8.一种基于URL白名单的WEB应用入侵检测装置，其特征在于，包括：

URL白名单库，用于存储当前网站的URL规则白名单和URL白名单；，所述URL白名单包括URL规则和URL记录；所述URL白名单库基于当然网站的可信结构建立，所述可信架构是指网站所有可信内容；

匹配模块，用于在所述URL白名单库中匹配用户访问网站的URL并输出匹配结果，如果匹配不成功则认为所述用户访问为可疑恶意访问。

9.如权利要求8所述的装置，其特征在于，匹配模块还用于：对用户访问网站的URL进行规则化处理，然后在所述URL白名单库中进行匹配。

10.如权利要求8所述的装置，其特征在于，还包括评定模块和/处置模块，所述评定模块用于根据所述匹配结果，对所述用户访问的URL进行权值评定并输出判定结果；所述处置模块用于根据判定结果进行处置，为高威入侵行为，拦截可疑恶意访问，并禁止所述用户IP访问当前网站，如果判定为用户误操作则允许所述访问。