CN103118035A - 分析网站访问请求参数合法范围的方法及装置 - Google Patents

Abstract

本发明提供一种分析网站访问请求参数合法范围的方法及装置，属于网络安全技术领域。所述方法包括：获取网站的http访问日志文件；从所述日志文件中筛选出合法http请求对应的日志记录，得到合法的日志记录集合；根据所述合法的日志记录集合，提取访问请求参数的合法范围。本发明能够准确、方便地获取请求参数的合法范围，有利于根据获取到的合法范围对非法请求进行准确的识别和拦截。

Description

分析网站访问请求参数合法范围的方法及装置

技术领域

本发明涉及网络安全领域，尤其涉及一种分析网站访问请求参数合法范围的方法及装置。

背景技术

目前网站的安全问题日益严重，网站管理者可以采用很多措施来防止服务器遭受攻击和入侵，其中及时查看网页(Web)服务器的日志记录是最直接、最常用，而且是一种比较有效的方法。通过对Web服务器日志文件的监测，可以寻找可疑的活动迹象，得到黑客入侵手法和相关操作，以及系统的漏洞所在，从而进行防范。

但是，在日志文件中找出攻击Web服务器的蛛丝马迹不是非常简单明了的一件事，因为日志文件中条目繁多，这就需要管理员有丰富的知识和经验，并且有足够的细心和耐心。

类似地，现有的一种识别非法http请求的方案是，根据已知攻击策略(例如跨站攻击，sql注入攻击)，制定对应匹配策略(判断请求中的非法字符以及非法关键字)来拦截非法请求。实现该方案的途径是利用专门的硬件防火墙来加载相应规则进行过滤。

现有技术中，不论是根据日志文件来识别非法请求，还是根据预定的匹配策略来拦截非法请求，都是类似于黑名单过滤的方法，其存在如下缺点：只能识别或拦截已知的特定的攻击类型，不够灵活；不能识别一些不存在于黑名单中的非法请求；成本较高。

而且，现有方案没有充分利用日志文件中所包含的丰富的信息。

发明内容

有鉴于此，本发明的目的是提供一种分析网站访问请求参数合法范围的方法及装置，能够准确、方便地获取请求参数的合法范围，有利于根据获取到的合法范围对非法请求进行准确的识别和拦截。

为实现上述目的，本发明提供技术方案如下：

一种分析网站访问请求参数合法范围的方法，包括：

获取网站的http访问日志文件；

从所述日志文件中筛选出合法http请求对应的日志记录，得到合法的日志记录集合；

根据所述合法的日志记录集合，提取访问请求参数的合法范围。

可选地，所述合法http请求对应的日志记录为：响应状态码为200的http请求对应的日志记录。

可选地，访问请求参数的合法范围为如下中的一个或多个：允许的参数名称；参数的类型；参数值的最大长度；参数值中允许出现的特殊字符。

可选地，所述根据所述合法的日志记录集合，提取访问请求参数的合法范围，具体包括：

从所述日志记录集合中获取各http请求对应的请求方法和请求资源；

对于每一个请求资源，获取对应的参数名称-参数值列表；

根据所述参数名称-参数值列表获取参数的合法范围。

可选地，所述方法还包括：将访问请求参数的合法范围作为xml文件输出。

一种分析网站访问请求参数合法范围的装置，包括：

获取模块，用于获取网站的http访问日志文件；

筛选模块，用于从所述日志文件中筛选出合法http请求对应的日志记录，得到合法的日志记录集合；

分析模块，用于根据所述合法的日志记录集合，提取访问请求参数的合法范围。

可选地，所述合法http请求对应的日志记录为：响应状态码为200的http请求对应的日志记录。

可选地，访问请求参数的合法范围为如下中的一个或多个：

允许的参数名称；参数的类型；参数值的最大长度；参数值中允许出现的特殊字符。

可选地，所述分析模块具体用于：

从所述日志记录集合中获取各http请求对应的请求方法和请求资源；

对于每一个请求资源，获取对应的参数名称-参数值列表；

根据所述参数名称-参数值列表获取参数的合法范围。

可选地，所述装置还包括：输出模块，用于将访问请求参数的合法范围作为xml文件输出。

根据本发明的上述技术方案，不需要人工分析，能够自动从网站访问日志文件中获取http请求参数的合法范围，得到参数有效性规则(类似于白名单过滤)，根据该参数有效性规则就能够实现对非法请求进行准确的识别和拦截。

附图说明

图1是根据本发明一个实施例的分析网站访问请求参数合法范围的方法流程图；

图2是根据本发明一个实施例的识别对网站的非法访问请求的方法流程图；

图3是根据本发明一个实施例的分析网站访问请求参数合法范围的装置结构图；

图4是根据本发明一个实施例的识别对网站的非法访问请求的装置结构图。

具体实施方式

为便于更好的理解本发明，这里首先对网站的访问日志文件进行简单介绍。

IIS是Internet Information Server的缩写，意思是因特网信息服务。IIS的WEB日志就是IIS下网站的运行记录，每次访问者向网站发送一个http请求，不管这个访问是否成功，日志文件都会进行记录。

日志包括下列信息：谁访问了站点，访问者查看了哪些内容以及最后一次查看信息的时间等。由于IIS忠诚的记录下所有访问Web服务的相关记录，因此充分利用日志，就可以进行入侵检测、流量统计分析，解决IIS服务器故障，以及解决页面故障。

IIS6.0的WEB日志文件默认存放位置为％systemroot％\system32\LogFiles，默认每天一个日志。如果不对日志文件进行保护，会很容易被入侵者找到并把日志中的痕迹去掉，因此建议不使用默认的目录，更换一个记录日志的路径，同时设置日志文件访问权限，只允许管理员和SYSTEM(系统)为完全控制的权限。

日志文件的名称格式是：ex+年份的末两位数字+月份+日期，如2002年8月10日的WEB日志文件是ex020810.log。IIS的日志文件都是文本文件，可以使用任何编辑器打开，例如记事本程序，建议使用UltraEdit编辑器进行编辑。

日志格式是固定的ASCII格式，按万维网联盟(World Wide WebConsortium，W3C)标准进行记录。

日志文件开头四行是说明信息，如下：

#Software生成软件

#Version版本

#Date日志发生日期

#Fields字段，显示记录信息的格式，可由IIS自定义。

日志的主体是一条一条的请求信息，请求信息的格式是由字段定义的，每个字段间用空格隔开。

常用字段解释如下：

data发生请求的日期；

time发生请求的时间；

s-sitename满足请求的站点实例编号；

s-ip生成日志项的服务器IP地址；

cs-method请求方法，即客户端试图执行的操作(例如GET或POST方法)；

cs-uri-stem访问的资源，例如Index.htm；

cs-uri-query访问地址的附带参数，如果没有参数则用连字符“-”表示；

s-port客户端连接到的端口号；

cs-username访问服务器的已通过身份验证的用户名称，匿名用户用连字符来表示；

c-ip访问服务器的客户端IP地址；

cs-version客户端协议版本；

cs(User-Agent)客户端使用的浏览器类型；

cs(Referer)引用站点(用户上次访问的站点，此站点提供与当前站点的链接)；

sc-status响应状态码，常见的有200表示成功，403表示没有权限，404表示找不到该页面，500表示程序有错；

sc-substatus子状态代码；

sc-win32-status Windows状态代码。

下面列举说明日志文件的格式(每个日志文件都有如下的头4行)：

#Software：Microsoft Internet Information Services6.0

#Version：1.0

#Date：2008-03-31 08:00:03

#Fields：date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-portcs-username c-ip

cs(User-Agent)sc-status sc-substatus sc-win32-status

2008-03-31 08:02:34 W3SVC72812902 192.168.1.133GET/login.htm-80-192.168.1.127

Mozilla/4.0+(compatible；+MSIE+7.0；+Windows+NT+5.2；+(R1+1.5)；+.NET+CLR+1.1.4322)200 0 0

上面各行分别清楚地记下了远程客户端的：

访问时间2008-03-31 08:02:34

所访问服务器的IP地址192.168.1.133

执行的操作GET/login.htm

访问端口80

客户端IP地址192.168.1.127

浏览器类型Mozilla/4.0+

HTTP响应状态码200

本发明正是根据网站的日志文件来分析网站访问请求参数的合法范围，在得到请求参数的合法范围后，将该合法范围视为参数的有效性规则，根据参数的有效性规则，就可以对非法访问请求进行识别。

以下结合附图对本发明进行详细描述。

图1是根据本发明一个实施例的分析网站访问请求参数合法范围的方法流程图。参照图1，所述方法可以包括如下步骤：

步骤101，获取网站的http访问日志文件；

步骤102，从所述日志文件中筛选出合法http请求对应的日志记录，得到合法的日志记录集合；

日志文件中每个http请求对应一条日志记录，可以将响应状态码为200的日志记录作为合法http请求对应的日志记录。

步骤103，根据所述合法的日志记录集合提取访问请求参数的合法范围。

进一步，在提取到参数的合法范围之后，还可以将参数的合法范围作为xml文件输出。xml格式相对纯文本格式有如下优点：便于数据交换；清晰表明数据之间的关系；逻辑更强，便于程序读取。

其中，参数的合法范围可以为如下中的一个或多个：

允许的参数名称；参数的类型(例如，字符型、数值型等)；参数值的最大长度；参数值中允许出现的特殊字符(在本发明中，将数字和字母视为常规字符，除此之外的视为特殊字符，例如，将下划线、美元符号等都视为特殊字符)。

由于合法的日志记录集合中的各条日志记录对应的是合法http请求，因此，其中的各种参数则为合法参数，根据这些合法参数可以得到访问请求参数的合法范围，具体可以包括如下步骤：

步骤S1，从所述日志记录集合中获取各http请求对应的请求方法和请求资源；

请求方法可以是get，post等。在本发明中，可以将所述日志记录集合中的各请求资源识别为合法的请求资源，其中，所述请求资源可以用URL进行标识。

步骤S2，对于每一个请求资源，获取对应的参数名称-参数值列表；

由于每个请求资源可能对应多条日志记录，因此，该请求资源对应的参数名称可以被识别为合法参数名称(允许的参数名称)。并且，对于该请求资源下的某个参数名称，可能对应多个参数值，于是，对这些参数值就行统计，就能得到所述参数名称-参数值列表。

步骤S3，根据所述参数名称-参数值列表获取参数的合法范围。

其中，针对参数值允许的最大长度，可以选取所述参数名称-参数值列表中存在的参数值的最大长度作为相应参数名称对应的参数值所允许的最大长度。

针对参数值允许的特殊字符，可以针对所有参数名称，将参数值中出现的特殊字符以及频率进行统计，将出现频率高与预设门限的特殊字符认为是对应参数值中可以出现的特殊字符。

假设已经筛选出了如下的合法日志记录集合：

test.com/a.php？userid＝10&product_name＝good&price＝123.4

test.com/a.php？userid＝20&product_name＝1234&price＝100

test.com/a.php？userid＝303&product_name＝a-b&price＝10

test.com/a.php？userid＝40&product_name＝a-c&price＝1

test2.com/a.php？userid＝10&product_name＝_asd&price＝123

则针对参数值允许的最大长度：a.php下的userid出现的最大长度为3(第三条)，product_name出现的最大长度为4。因此最后生成出来的规则为：a.php下userid参数对应的参数值最大长度为3，product_name参数对应的参数值最大长度为4。

针对参数值中允许出的特殊字符：根据上述日志，可以做如下统计，针对product_name参数：

特殊字符次数

-(横线)2

_(下划线)1

假如设置如果出现的特殊字符次数大于等于2次，就认为该特殊字符是可以出现的，则可以认为-(横线)为允许出现的特殊字符。

进一步，还可以生成如下规则：网站的所有product_name中可以出现-(横线)，但不允许出现_(下划线)。

另外，针对参数值允许的最大长度，本发明实施例还提供一种监督学习的方法，即将合法日志记录集合中的一部分日志记录作为训练集，余下部分作为测试集，通过不断调整预测函数的参数，并用测试集验证函数的准确性，从而获得最佳的预测函数。

假设现在有10条针对特定url访问的带参数的记录，可以将前5条作为训练集，后5条作为测试集，学习函数通过前5条记录推测出参数值的最大长度，然后利用后5条作为测试，判断该最大长度是否合理。

针对参数值中允许出现的特殊字符，本发明实施例还提供一种演绎推理的方法，即建立特征库，存储所有已学习网站中字段(参数名称)允许的特殊字符及出现频度(同名字段进行累计)，并认为特征库中某字段出现频度高的特殊字段是该字段普遍具有的属性，那么，特征库中某字段出现频度高的特殊字符为待学习网站同名字段(在该字段允许特殊字符的前提下)允许的特殊字符。

进一步，本发明实施例还提供一种增量式学习方法来获取访问参数的合法范围。增量式学习即：在已有的该网站的规则的基础上，通过该网站的访问日志文件，提取其中的url、请求参数等信息，结合上述的学习思路获取指定url的参数长度以及参数中可能出现的特殊字符，将这些信息记录下来并存入数据库中。

举个简单的例子：

针对www.test.com网站，已经有2条规则，例如www.test.com/a.php允许的参数的个数为2，参数值允许的最大长度为5，现在www.test.com又有新的日志，根据日志结合现有的规则可以补充和完善现有的规则，完善出a.php允许的参数的个数为3，参数值允许的最大长度为10。

上述方法可以用软件实现，也可以用硬件实现。当用软件实现时，该程序可以运行在python环境下，并以mysql为支持，例如，运行在linux系统中。

根据本发明实施例的上述技术方案，不需要人工分析，能够自动从网站访问日志文件中获取http请求参数的合法范围。

进一步，在得到了http请求参数的合法范围之后，就可以将该合法范围作为参数有效性规则，根据该参数有效性规则就能够实现对非法请求进行准确的识别和拦截。

图2是根据本发明一个实施例的识别对网站的非法访问请求的方法流程图。参照图2，所述方法可以包括如下步骤：

步骤201，获取网站的http访问请求参数的合法范围，并将所述合法范围作为参数的有效性规则进行加载(或存储)；

步骤202，截获用户浏览器对网站的http访问请求；

步骤203，将截获到的http访问请求与参数的有效性规则进行匹配，根据匹配结果确定截获到的http访问请求是否合法。

可以对http访问请求进行解析，获取请求的资源、请求的方法以及各种参数，然后，将解析结果与所述有效性规则进行匹配，匹配成功，则确定http访问请求合法，否则，确定http访问请求非法。

步骤203中，匹配过程具体可以包括：

判断请求的资源是否合法，在进行访问请求参数的合法范围分析中，可以得到合法资源列表，通过判断请求的资源是否在合法的资源列表中即可确定请求的资源是否可否；

判断请求类型(get/post)是否合法；

识别参数的类型(数字/字符串)、参数值的长度是否合法。

根据上述方法，针对一个网站的请求，根据对应的参数有效性规则进行识别，如果有效则可以将请求转发到真实网站，否则直接拦截，同时记录本次请求的相关信息，以便之后完善相应的规则。

进一步，还可以将非法的请求的相关信息记录到日志文件中。

作为一种实现方式，本发明实施例的上述识别非法请求的方法可以根据已有的参数有效性规则，并结合ngnix程序来拦截非法请求。根据参数的有效范围来识别合法的请求，相比传统方法更加智能、高效。同时，利用高效的nginx服务器来支持过滤请求，能够大大降低成本。

以下分别给出实现上述获取方法和识别方法的装置。

图3是根据本发明一个实施例的分析网站访问请求参数合法范围的装置结构图。参照图3，所述装置可以包括获取模块31、筛选模块32和分析模块33，其中：

获取模块31用于获取网站的http访问日志文件；

筛选模块32用于从所述日志文件中筛选出合法http请求对应的日志记录，得到合法的日志记录集合；

分析模块33用于根据所述合法的日志记录集合，提取访问请求参数的合法范围。

所述装置的具体工作原理可参见图1所示的方法，这里不再赘述。

图4是根据本发明一个实施例的识别对网站的非法访问请求的装置结构图。参照图4，所述装置可以包括：加载模块41、截获模块42和匹配模块43，其中：

加载模块41用于获取网站的http访问请求参数的合法范围，并将所述合法范围作为参数的有效性规则进行加载；

截获模块42用于截获用户浏览器对网站的http访问请求；

匹配模块43用于将截获到的http访问请求与参数的有效性规则进行匹配，根据匹配结果确定截获到的http访问请求是否合法。

所述装置的具体工作原理可参见图2所示的方法，这里不再赘述。

根据本发明的上述技术方案，不需要人工分析，能够自动从网站访问日志文件中获取http请求参数的合法范围，得到参数有效性规则(类似于白名单过滤)，根据该参数有效性规则就能够实现对非法请求进行准确的识别和拦截。

需要说明的是，在附图的流程图示出的步骤可以在诸如设置有一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。另外，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种分析网站访问请求参数合法范围的方法，其特征在于，包括：

获取网站的http访问日志文件；

从所述日志文件中筛选出合法http请求对应的日志记录，得到合法的日志记录集合；

根据所述合法的日志记录集合，提取访问请求参数的合法范围。

2.如权利要求1所述的方法，其特征在于，所述合法http请求对应的日志记录为：

响应状态码为200的http请求对应的日志记录。

3.如权利要求1所述的方法，其特征在于，访问请求参数的合法范围为如下中的一个或多个：

允许的参数名称；参数的类型；参数值的最大长度；参数值中允许出现的特殊字符。

4.如权利要求1或3所述的方法，其特征在于，所述根据所述合法的日志记录集合，提取访问请求参数的合法范围，具体包括：

从所述日志记录集合中获取各http请求对应的请求方法和请求资源；

对于每一个请求资源，获取对应的参数名称-参数值列表；

根据所述参数名称-参数值列表获取参数的合法范围。

5.如权利要求1所述的方法，其特征在于，还包括：

将访问请求参数的合法范围作为xml文件输出。

6.一种分析网站访问请求参数合法范围的装置，其特征在于，包括：

获取模块，用于获取网站的http访问日志文件；

筛选模块，用于从所述日志文件中筛选出合法http请求对应的日志记录，得到合法的日志记录集合；

分析模块，用于根据所述合法的日志记录集合，提取访问请求参数的合法范围。

7.如权利要求6所述的装置，其特征在于，所述合法http请求对应的日志记录为：

响应状态码为200的http请求对应的日志记录。

8.如权利要求6所述的装置，其特征在于，访问请求参数的合法范围为如下中的一个或多个：

允许的参数名称；参数的类型；参数值的最大长度；参数值中允许出现的特殊字符。

9.如权利要求6或8所述的装置，其特征在于，所述分析模块具体用于：

从所述日志记录集合中获取各http请求对应的请求方法和请求资源；

对于每一个请求资源，获取对应的参数名称-参数值列表；

根据所述参数名称-参数值列表获取参数的合法范围。

10.如权利要求6所述的装置，其特征在于，还包括：

输出模块，用于将访问请求参数的合法范围作为xml文件输出。

Images