CN104767757B - 基于web业务的多维度安全监测方法和系统 - Google Patents

Abstract

一种基于WEB业务的多维度安全监测方法和系统，从可用性、安全事件和Web漏洞三个维度对网站安全进行全面监测，监测扫描模块通过利用端口探测引擎，对目标网站进行数据探测，然后将扫描信息传送到数据中心。数据中心通过信息的关联分析，对网站安全情况进行有效评估，并分级为高危网站、中危网站、低危网站和安全网站。本发明实现了从多个维度对网站安全的全面监测，同时效率更高，可动态显示监测结果，实现对被扫描网络内各业务节点的安全监测。

Description

基于WEB业务的多维度安全监测方法和系统

技术领域：

本发明涉及网络技术和网络安全领域，特别涉及工控网络环境下业务节点的安全监测，具体是一种基于WEB业务的多维度安全监测方法和系统。

背景技术：

随着Internet的不断发展和普及，互联网已成为人们不可或缺的沟通平台。根据中国互联网络信息中心(CNNIC)2014年7月发布的《第31次中国互联网络发展状况统计报告》显示，截至2014年6月底中国网民数量达到6.32亿，互联网普及率为46.9％。根据国际电信联盟(ITU)2014年5月发布的《2014年信息与通信技术》报告称，到2014年底全球互联网用户数量将达到约30亿，互联网普及率约达40％。作为互联网中数据交换及信息传递的主流平台，网站在优化服务、提升业务效率、进行产品/服务展示和发布信息等方面发挥着重要作用。越来越多的政府部门、企业、公司、学校等机构设立自己的网站。

目前，主流的网站安全监测工具主要分为Web防篡改系统、Web防火墙、Web应用层扫描器等，虽然在一定程度上解决了网站安全态势感知的问题，但存在如下问题：(1)监测速度慢，监测效率低，无法做到实时监测；(2)系统资源利用率低，监测覆盖面小，并发监测效率低，无法适应大规模网站监测需求；(3)监测结果独立，缺乏相互的关联数据分析。

如中国专利申请号201010226471,名称为“一种基于表单特征的Web安全漏洞动态检测方法”，是通过对Web表单进行特征分析，运用领域知识有针对性的为表单域赋予安全漏洞检测值，并与Web服务器进行交互获取服务器响应，根据响应结果自动检测Web应用中潜在的安全漏洞。

该方法虽然可以监测Web应用中潜在的安全漏洞，但是监测方法单一，监测结果缺乏关联数据分析，且监测效率较低。

另有中国专利申请号201010613751，名称为“网络安全事件关联分析系统”，是通过对IT资源及其安全防御设施运行过程中不断产生的各类安全日志和事件进行统一采集，然后对各种不同的采集设备采集的日志进行日志串前导匹配快速动态解析，然后对数据进行关联分析并进行管理和展现。

该方法虽然实现了关联分析，但是监测信息只限于各类安全日志和事件信息，信息获取方式仍然比较单一且缺乏动态性，同时对于存储和探测引擎没有采用分布式架构，效率较低。

综上，现有的WEB业务相关的安全监测方法，多手段单一、效率地缺乏动态性展现。

发明内容：

针对以上问题，本发明提出一种基于WEB业务的多维度安全监测方法和系统，从可用性、安全事件和Web漏洞三个维度对网站安全进行全面监测，对监测数据进行关联分析，同时通过分布式存储系统，大大提高了监测效率和系统稳定性，实现对网站安全的全面、实时、精确监测。

本发明的技术方案如下：

一种基于WEB业务的多维度安全监测系统，其特点在于，包括安全监测模块、数据模块及管理模块；

所述的安全监测模块，利用端口探测引擎，从可用性、安全事件和WEB漏洞三个维度对网站安全进行全面监测，对目标网站进行数据监测，并将监测数据传输给数据模块；

所述的数据模块，对上述三个维度的监测数据进行数据关联分析，并采用SVM(支持向量机)方法对网站安全情况进行评估，并分为高危网站、中危网站、低危网站和安全网站；

所述的管理模块，通过界面控制实现对监测目标的选择、监测数据的管理及任务管理，实现系统的正常运转。

三大模块的具体功能和实现方式如下：

安全监测模块通过利用端口探测引擎，对目标网站进行数据探测，经分布式调度将数据传递到数据中心。

数据中心基于云端动态行为检测技术及智能自动分类识别算法，识别网页挂马事件、暗链、安全漏洞。

监测结果存储在分布式监测结果数据库中，通过数据展示模块对数据进行处理，可以实现数据查询、数据统计和数据导出。

管理员通过管理模块界面对数据进行查看、批量处理。

安全监测模块的子模块包含如下具体功能模块：

1)可用性探测模块，主要通过以下途径来进行监测：

a.域名解析检测，计算域名解析所花费的时间和速度；

b.域名劫持检测，判断域名是否被解析到不正确的IP；

c.域名PING探测，使用PING命令探测网站可用性；

c.域名HTTP探测，使用HTTP协议模拟用户访问，探测网站可用性；

d.GET请求捡测，计算GET请求读取HTTP协议下完整页面所需的时间。

2)站点信息获取模块，用于获取网站标题、开放端口等信息。

3)网页变更检测模块，作为安全事件的辅助检测功能，主要目标是监测目标网站的网页变更情况，以防出现遗漏的网页篡改事件。

4)安全事件及漏洞检测模块，包括网页挂马检测、暗链检测及漏洞检测，其中漏洞检测包括且不限于SQL注入漏洞和XSS攻击漏洞检测。

安全监测系统的暗链检测模块，主要通过接收爬虫传入的URL及HTML信息，经过HTML解析、静态特征检测、黑名单匹配及白名单过滤，来判断目标网页是否有被植入恶意的隐藏链接。具体流程如下：

脚本代码处理，将一些利用js脚本动态输出的HTML，归并到HTML代码中。

查找隐藏标签。

a.查找带有隐藏特征的标签，隐藏特征包括但不限于style属性值；

b.查找width/height小于10的marquee标签；

c.查找带有隐藏特征的脚本，并根据id/class反查标签；

d.查找带有隐藏特征的CSS，并根据id/class反查标签。

根据隐藏标签查找闭合的标签，获取隐藏的区域，并对隐藏区域进行检查。

a.外域链接检查，获取区域内所有链接，并解析出根域名，判断根域名是否与所要检查的站点一致，不一致则判定为外域链接，若该区域存在外域链接则进入下一步检查，否则抛弃；

b.外域链接比例检查，如果外域链接比例超过60％，则判定该区域可疑，进行下一步检测，否则抛弃；

c.区域结构检查，获取区域内所有标签的数目，获取区域内所有超链接数目，若链接数目占所有标签数目的45％以上，则区域被判定为暗链区域，否则为可疑；

d.基于朴素贝叶斯算法特征检查，根据暗链特征库(关键词、链接)进行贝叶斯分类计算，根据分类结果判定所检查网站是否存在暗链。

安全监测系统的SQL注入漏洞检测是基于盲注检测的页面相似度算法，对有漏洞的参数进行检测，通过向爬虫传递的参数插入测试代码，尝试根据页面响应判断注入是否存在或者继续尝试其他的测试代码，具体流程如下：

a.检测开始，检测模块会先对页面请求2次，判断页面是否有动态变化部分。若有动态变化，则会设置基准HTMLHTML(影响后续检测对比算法)。

b.检测参数是否动态可变，尝试输入其他值，查看页面响应判断参数是否可变。若参数不可变则直接退出检测。

c.尝试注入特殊符号使数据库报错，根据后台规则依照报错信息对数据库类型/版本进行识别。若识别成功，则根据数据库版本加载特定payload，可提高检测效率。

d.尝试多种payload进行匹配；。

e.若匹配均不成功，则根据用户配置选择是否使用专家模式进行扫描。匹配成功则开始进行逻辑判断检测。

f.首先进行逻辑为真的请求判断，将响应页面与原页面进行对比，若对比结果不同则直接结束检测。

g.而后进行逻辑为假的请求判断，将响应页面与原页面进行对比，若对比结果相同则直接结束检测。

h.再一次进行逻辑为真的请求判断(增加检测准确度)，将响应页面与原页面进行对比，若对比结果不同则直接结束检测。

i.确认漏洞存在后根据用户配置加载获取数据库信息模块，对漏洞进行验证利用，尝试获取数据库敏感信息。

j.所有请求在遇到网络超时情况下会重复发送至多3次，若仍未结果则直结束检测。

安全监测系统的XSS攻击漏洞检测技术，其基于DOM定位技术将目标网页的HTMLHTML内容进行重建，熏染出一个DOM树形结构，DOM定位即基于这样的树形结构进行，树形结构保证了定位的准确性。XSS检测时的攻击代码选择将更有针对性，且最终的检测结果精度更高。检测流程如下：

a.对于目标URL，根据参数生成随机的定位字符串(字母组合)；

b.发送GET/POST或Headers请求，得到页面资源(HTMLHTML内容)；

c.如果页面请求错误，则重新针对特定参数进行定位；

d.定位随机串在页面资源的DOM结构位置，比如在<script></script>内、在<input>标签属性内等；

e.根据定位到的位置生成特定的攻击代码，提高攻击的准确度，并能减少不相关的攻击请求；

f.根据特定的攻击代码再次生成“XSS攻击载体”；

g.发送GET/POST或Headers请求，得到XSS攻击后的页面资源(HTMLHTML内容)；

h.XSS分析引擎判断是否存在攻击代码，存在则认为有XSS漏洞；

i.如果不存在，则判断是否需要变形攻击代码，再次生成“XSS攻击载体”。

数据模块，数据中心和数据展示模块。其中数据中心包括数据存储和数据分析两大功能。

数据分析主要是先将历史网站数据作为训练数据，进行特征提取，等到训练模型，与经过特征提取后的待检测网站数据一同输入到SVM分类器，获得数据监测结果。数据存储采用分布式数据存储技术，基于MongoDB数据库，支持主从存储、分片存储。

管理模块用于实现用户管理体系。

包括权限管理子系统、日志管理子系统、审计管理子系统，即通过界面控制，实现对监测目标的选择、监测数据的管理及任务管理，实现系统的正常运转。

系统通过提供用户认证和IP白名单绑定的方法，使用户可以正常接入系统。

系统内部实现用户权限管理体系，包括用户角色权限授权和系统模块授权。

超级管理员可以进行系统管理包括用户管理、系统升级、系统设置、任务调度。

审计员可以查看登录日志、操作日志、节点日志。

与现有技术相比，本发明的有益效果是：

(1)通过在系统框架上集成了多个安全监测模块以及引入了具有灵活高效的数据存储分析方法，实现了从可用性、安全事件和Web漏洞三个维度对网站安全的全面监测，同时效率更高，并可动态显示监测结果。

(2)实现工控网络环境下，特别是国家电网这类涉及国计民生的网络各业务节点的安全监测。

附图说明：

图1是本发明基于WEB业务的多维度安全监测系统的结构示意图。

图2是本发明的数据分析流程图。

图3是实测网站安全监测结果图。

具体实施方式：

下面是对本发明的实施例作详细说明，本发明实施例在以本发明技术方案为前提下实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下面的实施例。

下面参照附图，对本发明的具体实施方式作进一步的详细描述。

本发明包括安全监测模块、数据模块、管理模块三大模块，对于其结构组成和业务逻辑，首先由安全监测模块利用端口探测引擎，对目标网站进行数据探测，具体分为可用性监测、安全事件监测和WEB漏洞监测，其中安全事件监测又重点包括挂马检测引擎和暗链检测引擎，检查网站是否被挂马或挂有暗链；WEB漏洞监测重点包括SQL攻击检测引擎和XSS攻击检测引擎，用以监测网站是否存在可能受到SQL攻击和XSS攻击的安全漏洞。所有安全检测引擎将搜集的信息汇总到数据模块目标数据库，经过与历史基准安全数据进行匹配关联分析，将分析结果存入检测结果库，并将检测结果上传到数据展示模块，以供数据查询、数据统计、数据导出。同时管理模块可通过日志管理模块、审计管理模块查看安全监测的详细事件日志及操作人、设备信息等具体操作信息以进行安全审计，并通过任务管理模块自定义监测任务。具体实施案例如下。

图1是按照本发明一种基于WEB业务的多维度安全监测方法与系统的结构框图。包括安全监测模块103、数据模块、管理模块106。其中安全监测模块103又下辖可用性维度探测模块107，站点信息获取模块108，网页变更检测模块109，安全事件及漏洞监测模块110。数据模块下辖数据分析中心104和数据显示模块105，数据分析中心104内有目标数据库111和检测结果数据库112。管理模块106又下权限管理子系统113、日志管理子系统114和审计管理子系统115。

具体运行步骤如下：

(1)安全监测模块103通过从可用性、安全事件和WEB漏洞三个维度对网站安全进行全面监测，对目标网站101进行数据探测。

(2)经分布式调度将数据传递到数据分析中心104进行数据分析。

(3)数据分析中心104首先是将历史网站数据201作为训练数据，进行特征提取202，得到训练模型203。对于被监测网站204即目标网站101，将探测初始数据保存在目标数据库111中，在特征提取后205，将特征值赋予SVM分类器206中，经分类器处理，得到安全监测结果207，即它的安全级别，并将结果保存于结果数据库112中。

(4)经由数据展示模块105进行数据查询、数据统计、数据导出。数据查询功能有两种方式，一是列出所有监测网站的安全状态信息，二是输入目标网站站点信息获得其对应的安全状态信息。数据统计则是根据不同标签如漏洞类型、安全状态评估级别、域名类型等对被监测网站进行统计。数据导出则是将监测结果数据导出为标准格式。数据中心部分负责完成待检测网站的数据存储、分析及处理的整个流程，不需要管理模块进行管理，管理模块只负责管理监测任务、监测日志及监测系统状态维护。

(5)管理模块106对于整个监测过程进行管理审计，包括权限管理子系统113、日志管理子系统114、审计管理子系统115。

(6)权限管理子系统113通过提供用户认证和IP白名单绑定的方法，使用户可以正常接入系统，包括用户角色权限授权和系统模块授权两个部分。

(7)日志管理子系统114记录了登录日志、操作日志、节点日志的详细信息，并可由超级管理员和审计员进行查看。

(8)审计管理子系统115可以记录各用户的登录情况、操作情况、各节点的状态信息等，由审计员进行审计查看，在出现故障时，这些信息可以帮助维护节点的技术人员迅速排查问题所在。

网站监测实测过程及结果如下：

(1)操作系统基于Linux2.6.32定制，通过优化和重新编译系统内核，提高监测所需的并发能力，关闭80％以上的系统服务和模块，只保留相关模块，达到提高监测效率和系统资源利用率的目的，同时可以大幅增强系统的稳定性和安全性。

(2)在内存为4G，CPU为4核，主频>2.2GHz，硬盘为500G的硬件条件下，系统可以实现对100个域名的监测，每天可以对单个网站超过50万条的URL进行安全监测；在内存为8G，CPU为8核，主频>2.2GHz，硬盘为500G的硬件条件下，系统可以实现对300个域名的监测，每天可以对单个网站超过100万条的URL进行安全监测。

(3)2014年9月21日到10月21日一个月时间周期内，本系统对网站进行安全监测得到的结果如附图3所示。其中，监测网站总数为315个，累计检测网站总数为1021519个。系统通过对网站可用性、安全事件、Web漏洞三个维度进行关联分析，得到安全监测结果如下：安全网站数量为161个，占总数的51.11％；低危网站数量为72个，占总数的22.86％；中危网站数量为25个，占总数的7.94％；高危网站数量为57个，占总数的18.10％。

Claims (8)

1.一种基于WEB业务的多维度安全监测系统，其特征在于，包括安全监测模块、数据模块及管理模块；

所述的安全监测模块，利用端口探测引擎，对目标网站进行数据监测，并将监测数据传输给数据模块；

所述的数据模块，对汇总的监测数据进行数据关联分析，并采用SVM方法对网站安全情况进行评估；

所述的管理模块，通过界面控制实现对监测目标的选择、监测数据的管理及任务管理；

所述的安全监测模块包括可用性监测模块、安全事件及漏洞检测模块、网页变更检测模块和站点信息获取模块；

所述的可用性监测模块，用于监测目标网站是否存活、响应时间、域名是否被劫持；

所述的安全事件及漏洞检测模块，包括网页挂马检测、暗链检测及漏洞检测，其中，漏洞检测包括SQL注入漏洞和XSS攻击漏洞检测，用以监测网站是否存在可能受到SQL攻击和XSS攻击的安全漏洞；

所述的网页变更检测模块，用于监测目标网站的网页变化情况；

所述的站点信息获取模块，用于探测网站标题、Web容器、站点地址及文档描述信息。

2.根据权利要求1所述的基于WEB业务的多维度安全监测系统，其特征在于，所述的网页挂马检测由外部特征提取模块、解码模块、源代码抓取模块、内部特征提取模块及综合分析模块构成；

所述的外部特征提取模块提取网站文件中与已有外部特征库中相匹配的外部特征作为是否挂马的评判标准之一；

所述的解码模块对网站文件进行解码处理，通过源代码抓取模块对源代码进一步解析，将解析出来的源代码交由内部特征提取模块进行特征匹配；

基于源代码的特征分析依赖于从已知挂马网页提炼的经验特征库，特征库中包含了历史上对挂马行为模式代码特征、挂马漏洞特征、挂马加密特征、挂马常见可疑代码特征4个分类的特征描述信息；

所述的综合分析模块综合内部和外部匹配结果，对网站命中特征进行加权计算，并根据源代码进行综合分析，从而进一步判定该网站是否存在挂马行为。

3.根据权利要求1所述的基于WEB业务的多维度安全监测系统，其特征在于，所述的站点信息获取模块用于获取网站标题、开放端口信息，其中开放端口及服务采用了NMAP的检测规则；一个任务被添加后，系统会立即获取任务组网站的站点信息，系统设置为每天获取一次站点信息。

4.根据权利要求1所述的基于WEB业务的多维度安全监测系统，其特征在于，所述的数据模块，包括数据中心模块和数据展示模块，其中，数据中心模块首先将历史网站数据作为训练数据，进行特征提取，将训练得到训练模型通过SVM分类器进行分类；对于被监测网站，在特征提取后，将特征值赋予SVM分类器中；分类器中进行比对，得到分类结果，即安全级别；数据展示模块进行数据查询、数据统计和数据导出。

5.根据权利要求1所述的基于WEB业务的多维度安全监测系统，其特征在于，所述的管理模块包括权限管理子系统、日志管理子系统和审计管理子系统；

所述的权限管理子系统，通过提供用户认证和IP白名单绑定的方法，使用户正常接入系统；

所述的日志管理子系统，记录了登录日志、操作日志、节点日志的详细信息，并可由超级管理员和审计员进行查看；

所述的审计管理子系统，记录各用户的登录情况、操作情况、各节点的状态信息等，由审计员进行审计查看，在出现故障时，帮助维护节点的技术人员迅速排查问题所在。

6.根据权利要求1-5任一所述的基于WEB业务的多维度安全监测系统进行多维度安全监测方法，其特征在于，该方法包括如下步骤：

①安全监测模块利用端口探测引擎，对目标网站进行数据监测，并经分布式调度将监测数据传输给数据模块；

②数据模块进行数据存储、数据分析、数据查询、数据统计和数据导出处理；

③管理模块对于监测目标和监测任务进行管理审计，并监测数据。

7.根据权利要求6所述的多维度安全监测方法，其特征在于，所述步骤①中数据监测包括可用性探测、暗链检测、网页挂马检测、SQL注入漏洞检测或XSS攻击漏洞检测；

所述的暗链检测通过接收爬虫传入的URL及HTML信息，经过HTML解析、静态特征检测、黑名单匹配及白名单过滤，来判断目标网页是否有被植入恶意的隐藏链接；

所述的SQL注入漏洞检测是基于盲注检测的页面相似度算法，对有漏洞的参数进行检测，通过向爬虫传递的参数插入测试代码，尝试根据页面响应判断注入是否存在或者继续尝试其他的测试代码；

所述的XSS攻击漏洞检测是基于DOM定位技术将目标网页的HTML内容进行重建，熏染出一个DOM树形结构，DOM定位即基于这样的树形结构进行，树形结构保证了定位的准确性。

8.根据权利要求6所述的多维度安全监测方法，其特征在于，所述的步骤②中数据模块进行数据分析，具体是：

2.1将历史网站数据(201)作为训练数据，进行特征提取(202)，训练得到支持向量机的训练模型(203)；

2.2对被监测网站(204)将监测初始数据保存在目标数据库中，并进行特征提取(205)，将特征值赋予SVM分类器(206)中；

2.3在分类器中将训练模型与初始数据进行比对分析，得到分类结果(207)，即安全评估结果；

2.4数据展示模块(105)依据不同的安全评估等级对目标网站进行分类显示，并将结果保存于结果数据库(112)中。