CN107612925A - 一种基于访问行为特征的WebShell挖掘方法 - Google Patents

Abstract

本发明公开一种基于访问行为特征的WebShell挖掘方法，包括数据清洗：提取出网站日志中对动态页面的访问记录；过滤掉URI长度大于指定值的访问记录；过滤掉常见扫描器访问的URI的记录；行为特征过滤：过滤掉单个IP对同一网站访问次数超过指定值的记录；过滤掉单个IP访问网站个数超过另一指定值的记录；过滤掉同一URL超过指定IP个数访问的记录；输出结果：按照IP出现的频率从小到大进行排序；规范化日志格式并保存到文件，供人工复查。本发明通过分析攻击者在访问WebShell时的行为特征可以过滤掉绝大多数无意义的访问记录，并按照可疑度进行排序，可有效的减少最终分析结果的数量，并大大提高WebShell的识别精准度，从而减少人工分析成本，极大的方便了人工复查。

Description

一种基于访问行为特征的WebShell挖掘方法

技术领域

本发明涉及网络日志分析技术领域，具体为一种基于访问行为特征的WebShell挖掘方法。

背景技术

WebShell俗称网站后门，是一种以asp、php、jsp等网页文件形式存在的一种命令执行环境。目前传统的日志分析方法是通过收集网络上公开的WebShell并分析其特征，或者添加一些敏感函数建立WebShell特征库，然后在网站的访问日志中匹配这些特征或敏感函数，如果匹配上，则人工再次确认是否为WebShell。但是由于WebShell特征经常变化，特征库并不能完全匹配出所有的WebShell，容易出现遗漏，而且会产生大量误报。

发明型内容

针对上述问题，本发明的目的在于提供可有效的减少最终分析结果的数量，并大大提高WebShell的识别精准度，从而减少人工分析成本的基于访问行为特征的WebShell挖掘方法。技术方案如下：

一种基于访问行为特征的WebShell挖掘方法，包括以下步骤：

步骤一：数据清洗

1）提取出网站日志中对动态页面的访问记录；

2）在上步所得访问记录的基础上，过滤掉URI长度大于指定值的访问记录；

3）在上步所得访问记录的基础上，过滤掉常见扫描器访问的URI的记录；

步骤二：行为特征过滤

1）在步骤一所得访问记录的基础上，过滤掉单个IP对同一网站访问次数超过指定值的记录；

2）在上步所得访问记录的基础上，过滤掉单个IP访问网站个数超过另一指定值的记录；

3）在上步所得访问记录的基础上，过滤掉同一URL超过指定IP个数访问的记录；

步骤三：输出结果

1）将步骤二所得的访问记录，按照IP出现的频率从小到大进行排序；

2）规范化日志格式并保存到文件，供人工复查。

本发明的有益效果是：本发明通过分析攻击者在访问WebShell时的行为特征可以过滤掉绝大多数无意义的访问记录，并按照可疑度进行排序，可有效的减少最终分析结果的数量，并大大提高WebShell的识别精准度，从而减少人工分析成本，极大的方便了人工复查。

附图说明

图1为本发明基于访问行为特征的WebShell挖掘方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细说明。如图1所示，本实施例按照功能分为三个模块，它们之间是严格按照先后顺序执行。具体如下：

模块一： 数据清洗模块

步骤1. 提取出网站日志中对动态页面的访问记录。

动态页面通常以.php/.jsp/.asp等后缀结尾，如：

http://www.scmyzx.com.cn/index.php

http://www.hbhz.net/index.asp

http://www.longwt.bjshy.gov.cn/index.jsp

步骤2. 在步骤1的结果基础上，过滤掉URI长度大于指定值的访问记录。

此步骤过滤掉URI长度太长的记录是因为在实践中发现会有一些URI超长的访问记录并没有实际意义，因此在数据清洗模块将它们去除。

步骤3. 在步骤2的结果基础上，过滤掉常见扫描器访问的URI的记录。

此步骤过滤掉扫描器访问记录是因为扫描器的访问对日志分析是没有意义的；至于如何收集常见扫描器的URI记录，可以通过在反复的测试过程中得到。

模块二：行为特征过滤模块

通过利用黑客在访问WebShell时的一些行为特征来筛选出可疑度最高的访问记录，可以根据访问的行为特征进行过滤。

步骤1. 在模块一得到的结果基础上，过滤掉单个IP对同一网站访问次数超过指定值的记录。

攻击者访问网站有极强的目的性，通常访问的次数不会太多，而正常的用户在访问网站过程中可能会产生大量的访问请求。因此第一个行为特征：同一个IP地址对网站的访问次数有限。故可先将单个IP对同一网站访问次数超过指定值的记录过滤。

步骤2. 在步骤1的结果基础上，过滤掉单个IP访问网站个数超过另一指定值的记录。

普通用户在互联网上的访问通常是网状分布，也就是会访问很多个网站，比如从A网站跳B网站访问，然后又访问了其它网站，这样的正常用户就会有很多个网站的访问记录。而攻击者在访问WebShell时，通常是直接访问网站后门地址，并且不会有太多网站的访问记录，因此第二个访问特征为：同一个IP地址访问网站的个数有限。所以可再将单个IP访问网站个数超过指定值的记录过滤掉。

步骤3. 在步骤2的结果基础上，过滤掉同一URL超过指定IP个数访问的记录。

每个WebShell都有一地址（即URL），当攻击者访问后门地址时，会产生一条访问记录。而攻击者一般很少将自己的后门共享给他人，也就是说知道这个后门地址的人一定非常少，那么正常用户一般是不会访问到的，而只有攻击者才会访问。因此第三个行为特征为：访问同一个后门地址（URL）的IP个数是有限的。所以可将同一URL超过指定IP个数访问的记录过滤掉。

上文提到的指定值并不是一个明确的数值，可以将它理解为本技术方案中的参数。在实际应用中可以不断的调整这些参数来达到最佳的匹配效果。

将上述3个行为特征配合数据清洗等手法，可以准确的筛选出可疑度最高的访问记录，从而减少人工审查的工作量。

模块三：输出模块

步骤1. 在模块二的结果基础上，按照IP出现的频率从小到大进行排序。

此步骤通过IP出现频率进行排序是因为：IP出现的频率越小，则疑似WebShell的可疑度就越高。经过排序后可疑度越高的访问记录就会排在前面，而可疑度越低的访问记录就会排在后面，方便复查人员以最快的速度找出真实的WebShell。

步骤2.规范化日志格式并保存到文件，供人工进行复查。

Claims (1)

1.一种基于访问行为特征的WebShell挖掘方法，其特征在于，包括以下步骤：

步骤一：数据清洗

提取出网站日志中对动态页面的访问记录；

在上步所得访问记录的基础上，过滤掉URI长度大于指定值的访问记录；

在上步所得访问记录的基础上，过滤掉常见扫描器访问的URI的记录；

步骤二：行为特征过滤

在步骤一所得访问记录的基础上，过滤掉单个IP对同一网站访问次数超过指定值的记录；

在上步所得访问记录的基础上，过滤掉单个IP访问网站个数超过另一指定值的记录；

在上步所得访问记录的基础上，过滤掉同一URL超过指定IP个数访问的记录；

步骤三：输出结果

将步骤二所得的访问记录，按照IP出现的频率从小到大进行排序；

规范化日志格式并保存到文件，供人工复查。