CN105933268B - 一种基于全量访问日志分析的网站后门检测方法及装置 - Google Patents

Abstract

本发明涉及一种基于全量访问日志分析的网站后门检测方法及装置，其中，方法包括：获得网站的全量访问日志；对所述全量访问日志进行行为特征分析，将所述全量访问日志中请求的各个参数、消息头以及返回的数据内容与网站后门的行为特征库进行正则匹配，将匹配成功的全量访问日志中对应的后门文件判定为可疑后门文件。将所述可疑后门文件的网站后门行为类型、名称以及对应的全量访问日志发送至日志服务器，并进行告警。适用于检测黑客正在控制直接上传的后门变形文件、加密文件、嵌入到正常文件的后门实施攻击的场景等，弥补了文件hash比对、常用函数比对等网站后门检测方法的不足。

Description

一种基于全量访问日志分析的网站后门检测方法及装置

技术领域

本发明涉及网络安全技术领域，特别涉及一种基于全量访问日志分析的网站后门检测方法及装置。

背景技术

网站后门(也称作网页后门、WEB后门、WEBSHELL)是以asp、php、jsp或者cgi等网页文件形式存在的一种命令执行环境。黑客在入侵了一个网站后，通常会将网站后门文件与网站服务器WEB目录下正常的网页文件混在一起，然后就可以使用浏览器或者专用客户端软件来访问后门，得到一个命令执行环境，以达到控制网站服务器的目的。

申请号为：201310423483.1公开了一种WebShell的检测方法及系统，该技术方案通过以下思路进行检测：收集服务器访问日志、分析并提取具有可疑访问行为的URL；结合WebShell特征库，对具有可疑访问行为的URL进行本地检测和远程检测；根据检测结果，若发现WebShell则上报WebShell路径，同时将识别出的WebShell路径补充到WebShell路径库。该方案的核心内容是日志分析和特征库比对。该方案存在一定的技术缺陷：1)远程检测方法中，获取的服务器访问日志不包含POST参数(攻击payload)，因为如果攻击者通过POST方法来提交payload(比如，控制服务器执行的命令)，则该方案不能发现异常；2)该方案的本地检测方法完全依赖于收集的WebShell特征库，故无法有效地检测出变形或加密的WebShell文件。另外，由于目前WebShell的代码变换、加密技术日益丰富，经过对WebShell文件内容进行调整，就能轻易地绕过MD5特征库或内容特征库比对的检测方法。

申请号为201310691213.9公开了一种本地模拟请求辅助查找WebShell的方法及系统，该技术方案读取web服务器配置文件，获取web服务器相关信息(包括站点个数、路径、域名或者端口号)；依次遍历站点下所有文件，筛选出网页文件，并保存网页文件的路径信息；本地模拟请求，依次访问上述网页文件，获取返回数据；对返回数据进行特征扫描，并根据扫描结果生成检测报告。该方案存在较大缺陷：如果WebShell并不是单一的文件，而是嵌入在其他WEB文件中，通过GET(或POST)参数、HTTP消息头的方式来触发执行WebShell中相关代码，该方法则无法进行检测。

综上，现有技术手段分析的日志经过WEB Server加工，不包含全量访问日志，若网站后门通过其他字段触发，则无法通过现有手段进行检测；此外现有技术并没有提出通过网站后门的行为特征(黑客通过网站后门进行文件操作、执行命令、数据库管理等行为)分析，在检测正在实施攻击的网站后门存在不足。

发明内容

为解决现有技术的问题，本发明提出一种基于全量访问日志分析的网站后门检测方法及装置，该技术方案通过对网站后门行为特征进行提取和分析，适用于检测黑客直接上传的后门变形文件、加密文件、嵌入到正常文件的后门文件等，弥补了文件hash比对、常用函数比对等网站后门检测方法的不足。

为实现上述目的，本发明提供了一种基于全量访问日志分析的网站后门检测方法，包括：

获得网站的全量访问日志；

对所述全量访问日志进行行为特征分析，将所述全量访问日志中请求的各个参数、消息头以及返回的数据内容与网站行为特征库进行正则匹配，将匹配成功的全量访问日志对应的后门文件判定为可疑后门文件。

优选地，还包括：

将所述可疑后门文件的网站后门行为类型、名称以及对应的全量访问日志发送至日志服务器，并进行告警。

优选地，所述获得全量访问日志的步骤：

通过网络流镜像技术将网络设备上的进出流量复制一份到目标镜像端口，实现对访问网站的网络流量进行监控；

将所述镜像端口监控到的网络流量导入至所述镜像服务器；

对所述网络流量进行解析，获得网络流量中HTTP协议的全量请求和返回内容；

将所述HTTP协议请求和返回内容进行存储；

按照规定的生成频率生成日志文件，该日志文件为全量访问日志，区别于WebServer只记录HTTP协议中的部分内容。

优选地，所述行为特征库的建立步骤包括：

将已知的网站后门作为提取对象，对攻击端与网站后门之间的通讯数据内容进行特征提取，获取网站后门攻击时对应地行为特征；

利用所述网站后门攻击时对应地行为特征组合成行为特征库。

优选地，所述全量访问日志包括：HTTP消息头、POST参数内容和WEB Server返回消息头与内容。

优选地，所述行为特征包括：命令执行特征、文件操作特征和数据库操作特征。

优选地，还包括：在行为特征分析之前，对获取的全量访问日志的具体请求进行解码。

对应地，为实现上述目的，本发明还提供了一种基于全量访问日志分析的网站后门检测装置，包括：

全量访问日志获取单元，用于获得网站的全量访问日志；

检测单元，用于对所述全量访问日志进行行为特征分析，将所述全量访问日志中请求的各个参数、消息头以及返回内容与行为特征库进行正则匹配，将匹配成功的全量访问日志对应的后门文件判定为可疑后门文件。

优选地，还包括：

告警单元，用于将所述可疑后门文件的网站后门行为类型、名称以及对应的全量访问日志发送至日志服务器，并进行告警。

优选地，所述全量访问日志获取单元包括：

监控模块，用于通过镜像端口对网络流量进行监控；

导入模块，用于将所述镜像端口监控到的网络流量导入至所述镜像服务器；

解析模块，用于对所述网络流量进行解析，获得HTTP协议请求和返回内容；

存储模块，用于将所述HTTP协议请求和返回内容进行存储；

全量访问日志生成模块，用于按照规定的生成频率生成日志文件，该日志文件为全量访问日志。

优选地，所述全量访问日志获取单元获取的全量访问日志包括：HTTP消息头、POST参数内容和WEB Server返回消息头、内容。

优选地，所述行为特征库的行为特征包括：命令执行特征、文件操作特征和数据库操作特征。

上述技术方案具有如下有益效果：

1、在保障Web Server正常对外服务、无需对Web Server做任何改动的情况下，获取网络的全量访问日志，实现网站后门的检测。弥补了现有技术利用Web Server自身记录的访问日志来分析检测网站后门所存在的不足。

2、将全量访问日志中请求的各个参数、消息头以及日志内容与行为特征库进行正则匹配，该检测技术也同样依赖于行为特征库比对技术。黑客在上传网站后门时通常会对已知网站后门程序进行修改，例如修改title、后门展示内容等将该后门打上标签，对后门文件特征进行修改绕过杀毒软件检测，已知的基于文件内容特征、敏感函数使用、文件MD5检测等手段则无法进行有效检测，而本技术方案仍然能够检测黑客修改文件特征后的网站后门程序。

3、本技术方案在对行为特征分析时，除保存全量访问日志外，会对全量访问日志进行解码工作，将得到的访问日志的密文、明文分别进行行为特征检测，降低了漏报情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提出的一种基于全量访问日志分析的网站后门检测方法流程图；

图2为镜像服务器的部署拓扑图；

图3为网络流量解析结果示意图；

图4为行为特征库的样例示意图；

图5为本发明提出的一种基于全量访问日志分析的网站后门检测装置框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本技术方案的工作原理：为了解决现有基于文件内容和返回数据特征的网站后门检测方法所存在的问题，本技术方案通过镜像互联网访问流量方式获得网站的全量访问日志，无需修改Apache、IIS等WEB Server模块，实现对POST参数内容、HTTP全量消息头等关键信息的记录，不影响WEB Server正常对外提供服务，部署灵活。对常见的网站后门进行行为特征提取形成网站后门行为特征库，将全量访问日志中的具体请求与行为特征库的信息进行正则匹配，匹配到的全量访问日志对应的网站请求判定为可疑网站后门。

基于上述工作原理，本发明提出一种基于全量访问日志分析的网站后门检测方法，如图1所示。包括：

步骤101)：获得网站的全量访问日志；

如图2所示，为镜像服务器的部署拓扑图。网络流量镜像也称作端口镜像，将网络设备的一个或多个端口流量转发到某一个指定端口来实现对网络的监听，通过镜像端口对网络流量进行监控分析。将网络镜像端口流量导入到镜像服务器后，部署数据抓包工具记录网络流量，同时部署流量分析程序，解析网络流量并提取HTTP协议请求和返回内容。如图3所示，为网络流量解析结果示意图。通过日志转储程序将解析到的内容以类似于Apache日志的格式存储在日志服务器上。根据网站访问量大小通过配置文件设置日志文件的生成频率，如每小时或每天生成一个，将网络流量解析获取HTTP请求，返回后实时写入该日志文件。该方法获取的全量访问日志，包含了全部HTTP消息头、POST参数内容(攻击payload通常位于此字段)、Apache、Nginx、IIS等的WEB Server访问日志中HTTP返回消息头、内容等不完全记录的数据。这些全量数据能有效地帮助我们进行网站后门的检测。

步骤102)：对所述全量访问日志进行行为特征分析，将所述全量访问日志中请求的各个参数、消息头以及日志内容与行为特征库进行正则匹配，将匹配成功的全量访问日志对应的后门文件判定为可疑后门文件。

在步骤102中，涉及到行为特征库。行为特征库的建立包括：将已知的网站后门为提取对象，对攻击端与网站后门之间的通讯数据内容进行特征提取，获取网站后门攻击时对应地行为特征；利用所述网站后门攻击时对应地行为特征获得行为特征库。攻击端包括浏览器如IE/Chrome、专用网站后门控制端如chopper。

网站后门行为特征库提取和传统杀毒软件一样，当新出现一种病毒或后门之后，需要对该文件进行人工分析，获取其特征，形成特征库。网站后门行为特征提取无法进行自动化，因为网站后门攻击是被动的，当攻击者操作该后门时，才会有数据传输，通过传输的内容进行行为特征提取，否则是没有任何行为的。

目前流行的网站后门功能大致分为三类：系统命令执行功能(Unix、Windows)、文件操作(文件读写、新建文件、文件删除、文件夹删除、新建文件夹)功能、数据库操作(连接数据库、查询数据库等等)功能。已知网站后门行为特征提取工作的目的是获取网站后门攻击时的行为特征(命令执行特征、文件操作特征、数据库操作特征)，用于后续开展针对全量访问日志行为特征的分析。该工作通过分析常见后门的通讯方式、传输数据内容获取网站后门行为特征。对于同一种网站后门的文件内容变形情况，无需再次提取该变种的行为。

如图4所示，为行为特征库的样例示意图。网站后门行为特征提取以目前已知的网站后门(如常见的一句话后门、C99后门、PHPSPY后门、一句话后门等)为提取对象，对其攻击端(浏览器、专用客户端程序)与服务端(网站后门)之间的通讯数据内容(HTTP payload)进行特征提取，形成行为特征库。即使后门文件内容发生变化(因为黑客常常修改已有网站后门据为己用)，在通讯格式不变的情况下，该分析方法能有效检测出这种后门。网站后门行为特征与网站后门内容特征不同，网站后门行为特征是攻击者通过控制网站后门执行文件操作、数据库操作、命令执行操作等行为时发起的HTTP请求，该HTTP请求通常含有特定的操作特征，传输过程中通常使用URL编码、BASE64编码以及其他常见编码。网站后门内容特征是指网站后门使用了特定的函数(如eval、system、exec)、含有特定的内容(如XX渗透小组、hacked by xxx)以及后门文件MD5。但是网站后门内容特征比对方法的误报率和漏报率十分不理想。对互联网上1400多种后门样本进行了分析，研究发现原始样本仅在100种以内，其余均是该后门样本的演变或修改，因此通过行为特征分析能有效检测所有演变后的后门。

黑客使用浏览器或者专用程序控制网站后门执行操作时，通信数据(即生成的全量访问日志)会进行一层或多层的编码工作。常见的http传输编码有URL编码、Base64编码、Unicode编码、HTML编码、ASCII HEX编码等等。在得到全量访问日志后，在进行行为分析之前，对全量访问日志进行解码，将得到的访问日志的密文、明文分别进行行为特征检测，降低了漏报情况。

对全量访问日志进行实时行为分析，由于网站后门的客户端通过HTTP协议进行控制，控制命令通过HTTP Header、HTTP URL、HTTP payload字段进行传输，因此行为分析的重点会放在这三个地方。

对全量访问日志的各个参数、消息头等内容和解密后的日志内容与初始化模块中读取的行为特征库进行正则匹配，将符合预先建立的行为特征库的全量访问日志对应的后门文件判定为可疑后门文件。

在获得可疑后门文件后，说明得到黑客攻击。将所述可疑后门文件的网站后门行为类型、名称以及对应的全量访问日志发送至日志服务器，并进行告警。行为分析结果告警程序记录了可疑后门文件的访问路径、控制参数等信息，并将该结果通过安全事件、监控平台进行实时告警。例如：通过邮件、短信通知进行告警。

对应地，基于上述工作原理，本发明还提出一种基于全量访问日志分析的网站后门检测装置，如图5所示。

全量访问日志获取单元501，用于获得网站的全量访问日志；

检测单元502，用于对所述全量访问日志进行行为特征分析，将所述全量访问日志中请求的各个参数、消息头以及日志内容与行为特征库进行正则匹配，将匹配成功的全量访问日志对应的文件判定为可疑后门文件。

本虚拟装置在检测出可疑后门文件后，可疑将所述可疑后门文件的网站后门行为类型、名称以及对应的全量访问日志发送至日志服务器，并进行告警。

在本实施例中，本虚拟装置的全量访问日志获取单元包括：

监控模块，用于通过镜像端口对网络流量进行监控；

导入模块，用于将所述镜像端口监控到的网络流量导入至所述镜像服务器；

解析模块，用于对所述网络流量进行解析，获得HTTP协议请求和返回内容；

存储模块，用于将所述HTTP协议请求和返回内容进行存储；

全量访问日志生成模块，用于按照规定的生成频率生成日志文件，该日志文件为全量访问日志。

在本实施例中，本虚拟装置的全量访问日志获取单元获取的全量访问日志包括：HTTP消息头、POST参数内容和WEB Server返回请求、内容。

在本实施例中，本虚拟装置的行为特征库的行为特征包括：命令执行特征、文件操作特征和数据库操作特征。

ASP、PHP、JSP网站后门技术成熟且变种版本多，本技术方案对来自互联网的网站后门随机选取20个样本(ASP、PHP、JSP类型)进行检测，并将检测结果与传统杀毒软件检测结果进行比较，如下表1。

表1

后门语言/检测软件	样本量	本技术方案	Virustotal(54款杀毒)
				PHP后门	20	20	1
ASP后门	20	20	1
				JSP后门	20	20	0

对互联网上常见的后门进行检测，检测源来自http://github.com/tennc/webshell，选取了20个样本作为检测对象，除本专利提供的方案外，同时使用https://www.virustotal.com(简称Virustotal)包含的杀毒软件进行检测比较，比较结果为本专利能全部检测正在黑客正在控制的网站后门，Virustotal中54款杀毒软件仅能检测PHP和ASP语言编写的网站后门的其中一种，无法检测JSP语言编写的网站后门。

本技术方案解决了现有基于文件内容和返回数据特征的网站后门检测方法所存在的问题，为网站后门的检测提供了一种通过攻击行为分析网站可疑后门的方法，能够准确、灵活、及时发现网站可疑后门。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于全量访问日志分析的网站后门检测方法，其特征在于，包括：

获得网站的全量访问日志；

对所述全量访问日志进行行为特征分析，将所述全量访问日志中请求的各个参数、消息头以及返回的数据内容与网站行为特征库进行正则匹配，将匹配成功的全量访问日志对应的后门文件判定为可疑后门文件；

所述获得全量访问日志的步骤：

通过网络流镜像技术将网络设备上的进出流量复制一份到目标镜像端口，实现对访问网站的网络流量进行监控；

将所述镜像端口监控到的网络流量导入至所述镜像服务器；

对所述网络流量进行解析，获得网络流量中HTTP协议的全量请求和返回内容；

将所述HTTP协议请求和返回内容进行存储；

按照规定的生成频率生成日志文件，该日志文件为全量访问日志，区别于Web Server只记录HTTP协议中的部分内容；

所述全量访问日志包括：HTTP消息头、POST参数内容和WEB Server返回消息头与内容。

2.如权利要求1所述的方法，其特征在于，还包括：

将所述可疑后门文件的网站后门行为类型、名称以及对应的全量访问日志发送至日志服务器，并进行告警。

3.如权利要求1或2所述的方法，其特征在于，所述行为特征库的建立步骤包括：

将已知的网站后门作为提取对象，对攻击端与网站后门之间的通讯数据内容进行特征提取，获取网站后门攻击时对应地行为特征；

利用所述网站后门攻击时对应地行为特征组合成行为特征库。

4.如权利要求3所述的方法，其特征在于，所述行为特征包括：命令执行特征、文件操作特征和数据库操作特征。

5.如权利要求1或2所述的方法，其特征在于，还包括：在行为特征分析之前，对获取的全量访问日志的具体请求进行解码。

6.一种基于全量访问日志分析的网站后门检测装置，其特征在于，包括：

全量访问日志获取单元，用于获得网站的全量访问日志；

检测单元，用于对所述全量访问日志进行行为特征分析，将所述全量访问日志中请求的各个参数、消息头以及返回内容与行为特征库进行正则匹配，将匹配成功的全量访问日志对应的后门文件判定为可疑后门文件；

所述全量访问日志获取单元包括：

监控模块，用于通过镜像端口对网络流量进行监控；

导入模块，用于将所述镜像端口监控到的网络流量导入至所述镜像服务器；

解析模块，用于对所述网络流量进行解析，获得HTTP协议请求和返回内容；

存储模块，用于将所述HTTP协议请求和返回内容进行存储；

全量访问日志生成模块，用于按照规定的生成频率生成日志文件，该日志文件为全量访问日志；

所述全量访问日志获取单元获取的全量访问日志包括：HTTP消息头、POST参数内容和WEB Server返回消息头、内容。

7.如权利要求6所述的装置，其特征在于，还包括：

告警单元，用于将所述可疑后门文件的网站后门行为类型、名称以及对应的全量访问日志发送至日志服务器，并进行告警。

8.如权利要求6所述的装置，其特征在于，所述行为特征库的行为特征包括：命令执行特征、文件操作特征和数据库操作特征。