CN110768977A - 一种安全漏洞信息的抓取方法及系统 - Google Patents

Abstract

本发明公开了一种安全漏洞信息的抓取方法及系统，当通过调用浏览器模拟对网站的访问行为对网站访问成功后，根据预先设置的待抓取漏洞的网站、抓取页面和页面抓取范围，对漏洞信息进行定位，依次抓取页面发布的每一个安全漏洞信息，当确定抓取的安全漏洞信息与漏洞抓取关键词匹配时，基于关键词危害程度，得到每一个安全漏洞信息的漏洞评分和漏洞危害级别，将安全漏洞信息统一格式并存储在内存数据库中。本发明在进行安全漏洞信息抓取之前，通过设置待抓取漏洞的网站、抓取页面和页面抓取范围和漏洞抓取关键词，实现从多个不同的安全漏洞信息发布网站，抓取与企业相关的全部的安全漏洞信息。

Description

一种安全漏洞信息的抓取方法及系统

技术领域

本发明涉及计算机安全技术领域，更具体的说，涉及一种安全漏洞信息的抓取方法及系统。

背景技术

随着网络技术的日益发展，信息安全越来越得到人们的重视。传统的安全漏洞信息由官方或权威结构采集、整理和发布。但是，由于安全漏洞信息通常由多家网站发布，使得安全漏洞消息的来源比较分散，并且，各漏洞发布机构之间缺少沟通，每个发布机构所提供的漏洞基础信息也不一致，同一网站在不同板块发布的安全漏洞信息的展示方法也不同，从而导致企业不能全面的抓取与自身有关的全部的安全漏洞信息。

发明内容

有鉴于此，本发明公开一种安全漏洞信息的抓取方法及系统，以实现在进行安全漏洞信息抓取之前，通过设置待抓取漏洞的网站、抓取页面和页面抓取范围和漏洞抓取关键词，实现从多个不同的安全漏洞信息发布网站，抓取与企业相关的全部的安全漏洞信息。并且，通过将抓取的安全漏洞信息统一成相同的格式，来方便后期对安全漏洞信息的进一步处理。

一种安全漏洞信息的抓取方法，包括：

通过调用浏览器模拟对网站的访问行为；

当对所述网站访问成功后，根据预先设置的待抓取漏洞的网站、抓取页面和页面抓取范围，对漏洞信息进行定位，依次抓取页面发布的每一个安全漏洞信息；

判断每一个所述安全漏洞信息的漏洞内容与预先存储的漏洞抓取关键词是否匹配，其中，所述漏洞抓取关键词包括：行业关键词和网站关键词；所述漏洞抓取关键词分类为：高危关键词、中危关键词和低危关键词；

如果是，则按照预先设置的关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别；

将所述安全漏洞信息按照预设格式要求进行格式统一，并将已格式统一的安全漏洞信息存储在内存数据库中。

可选的，所述预设格式要求包括：漏洞名称、漏洞内容、漏洞作者、漏洞访问链接、漏洞抓取时间、漏洞危害级别、漏洞抓取来源和漏洞评分。

可选的，所述按照预先设置的关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别，具体包括：

每匹配成功一个漏洞抓取关键词，则按照所述关键词危害程度，将的所述安全漏洞信息的危害分数增加与匹配成功的漏洞抓取关键词对应的分数，直至匹配完所有的漏洞抓取关键词，得到所述安全漏洞信息的漏洞评分；

根据所述漏洞评分所处的预先设置的漏洞危害级别的分数区间，得到所述安全漏洞信息的漏洞危害级别。

可选的，所述按照预先设置的关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别，具体包括：

判断文档数据库中是否存储有匹配成功的所述安全漏洞信息，其中，所述文档数据库和所述内存数据库中存储有相同的已格式统一的安全漏洞信息；

当所述文档数据库中存储有匹配成功的所述安全漏洞信息时，按照所述关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别。

可选的，在将已格式统一的安全漏洞信息存储在所述内存数据库中之后，还包括：

判断所述内存数据库中是否存在未预警的安全漏洞信息；

如果是，则根据未预警的安全漏洞信息的漏洞类型和漏洞危害级别匹配的漏洞预警邮件模板；

输出匹配得到的漏洞预警邮件模板。

可选的，在所述输出匹配得到的漏洞预警邮件模板之后，还包括：

判断所述内存数据库中是否存在未发布的安全漏洞信息；

如果是，则根据未发布的安全漏洞信息的漏洞危害级别匹配的漏洞发布邮件模板；

输出匹配得到的漏洞发布邮件模板。

一种安全漏洞信息的抓取系统，包括：

模拟单元，用于通过调用浏览器模拟对网站的访问行为；

抓取单元，用于当对所述网站访问成功后，根据预先设置的待抓取漏洞的网站、抓取页面和页面抓取范围，对漏洞信息进行定位，依次抓取页面发布的每一个安全漏洞信息；

第一判断单元，用于判断每一个所述安全漏洞信息的漏洞内容与预先存储的漏洞抓取关键词是否匹配，其中，所述漏洞抓取关键词包括：行业关键词和网站关键词；所述漏洞抓取关键词分类为：高危关键词、中危关键词和低危关键词；

评分单元，用于在所述第一判断单元判断为是的情况下，按照预先设置的关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别；

格式统一单元，用于将所述安全漏洞信息按照预设格式要求进行格式统一，并将已格式统一的安全漏洞信息存储在内存数据库中。

可选的，所述预设格式要求包括：漏洞名称、漏洞内容、漏洞作者、漏洞访问链接、漏洞抓取时间、漏洞危害级别、漏洞抓取来源和漏洞评分。

可选的，所述评分单元具体用于：

每匹配成功一个漏洞抓取关键词，则按照所述关键词危害程度，将的所述安全漏洞信息的危害分数增加与匹配成功的漏洞抓取关键词对应的分数，直至匹配完所有的漏洞抓取关键词，得到所述安全漏洞信息的漏洞评分；

根据所述漏洞评分所处的预先设置的漏洞危害级别的分数区间，得到所述安全漏洞信息的漏洞危害级别。

可选的，所述评分单元具体用于：

判断文档数据库中是否存储有匹配成功的所述安全漏洞信息，其中，所述文档数据库和所述内存数据库中存储有相同的已格式统一的安全漏洞信息；

当所述文档数据库中存储有匹配成功的所述安全漏洞信息时，按照所述关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别。

可选的，还包括：

第二判断单元，用于在所述格式统一单元将已格式统一的安全漏洞信息存储在所述内存数据库中之后，判断所述内存数据库中是否存在未预警的安全漏洞信息；

第一匹配单元，用于在所述第二判断单元判断为是的情况下，根据未预警的安全漏洞信息的漏洞类型和漏洞危害级别匹配的漏洞预警邮件模板；

第一输出单元，用于输出匹配得到的漏洞预警邮件模板。

可选的，还包括：

第二判断单元，用于在所述第一输出单元输出匹配得到的漏洞预警邮件模板之后，判断所述内存数据库中是否存在未发布的安全漏洞信息；

第二匹配单元，用于在所述第二判断单元判断为是的情况下，根据未发布的安全漏洞信息的漏洞危害级别匹配的漏洞发布邮件模板；

第二输出单元，用于输出匹配得到的漏洞发布邮件模板。

从上述的技术方案可知，本发明公开了一种安全漏洞信息的抓取方法及系统，当通过调用浏览器模拟对网站的访问行为对网站访问成功后，根据预先设置的待抓取漏洞的网站、抓取页面和页面抓取范围，对漏洞信息进行定位，依次抓取页面发布的每一个安全漏洞信息，当确定抓取的安全漏洞信息与漏洞抓取关键词匹配时，基于关键词危害程度，得到每一个安全漏洞信息的漏洞评分和漏洞危害级别，将安全漏洞信息统一格式并存储在内存数据库中。本发明在进行安全漏洞信息抓取之前，通过设置待抓取漏洞的网站、抓取页面和页面抓取范围和漏洞抓取关键词，实现从多个不同的安全漏洞信息发布网站，抓取与企业相关的全部的安全漏洞信息。并且，通过将抓取的安全漏洞信息统一成相同的格式，来方便后期对安全漏洞信息的进一步处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。

图1为本发明实施例公开的一种安全漏洞信息的抓取方法流程图；

图2为本发明实施例公开的一种安全漏洞信息的预警方法流程图；

图3为本发明实施例公开的一种安全漏洞信息的发布方法流程图；

图4为本发明实施例公开的一种安全漏洞信息的抓取系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先，需要说明的是，本发明将网站安全漏洞预警平台按照功能划分成：漏洞抓取引擎、漏洞预警引擎和漏洞发布网站三个模块。其中，漏洞抓取引擎是网站安全漏洞预警平台的核心模块。为保证程序的兼容性，漏洞抓取引擎采用java+selenium的方式开发，漏洞预警引擎和漏洞发布网站的主要开发语言为PHP(超文本预处理器)，前端选用THINKPHP框架，数据库使用Mysql、Memcache和Mongodb，三个模块之间采用松耦合的方式进行连接，三个模块之间通过数据库进行交互。

为实现企业可以全面的抓取与自身有关的全部的安全漏洞信息，本发明实施例公开了一种安全漏洞信息的抓取方法及系统，当通过调用浏览器模拟对网站的访问行为对网站访问成功后，根据预先设置的待抓取漏洞的网站、抓取页面和页面抓取范围，对漏洞信息进行定位，依次抓取页面发布的每一个安全漏洞信息，当确定抓取的安全漏洞信息与漏洞抓取关键词匹配时，基于关键词危害程度，得到每一个安全漏洞信息的漏洞评分和漏洞危害级别，将安全漏洞信息统一格式并存储在内存数据库中。本发明在进行安全漏洞信息抓取之前，通过设置待抓取漏洞的网站、抓取页面和页面抓取范围和漏洞抓取关键词，实现从多个不同的安全漏洞信息发布网站，抓取与企业相关的全部的安全漏洞信息。并且，通过将抓取的安全漏洞信息统一成相同的格式，来方便后期对安全漏洞信息的进一步处理。

参见图1，本发明一实施例公开的一种安全漏洞信息的抓取方法流程图，该方法应用于网站安全漏洞预警平台，包括步骤：

步骤S101、通过调用浏览器模拟对网站的访问行为；

具体的，在实际应用中，可以通过selenium调用Chrome浏览器模拟对网站的访问行为。

步骤S102、当对所述网站访问成功后，根据预先设置的待抓取漏洞的网站、抓取页面和页面抓取范围，对漏洞信息进行定位，依次抓取页面发布的每一个安全漏洞信息；

其中，安全漏洞信息包括：漏洞名称、漏洞内容、漏洞作者、漏洞抓取时间、漏洞抓取来源和漏洞访问链接。

漏洞抓取引擎在进行安全漏洞信息抓取之前，需要设置待抓取漏洞的网站、抓取页面和页面抓取范围。本实施例中待抓取漏洞的网站包括：常见的漏洞发布网站，例如，CNVD(国家信息安全漏洞共享平台)、CNNVD(国家信息安全漏洞库)、补天平台、漏洞盒子等。抓取页面包括：漏洞发布,热点推荐、漏洞信息、安全公告、漏洞列表等网站页面。页面抓取范围，例如漏洞发布页面需要抓取第1-5页，热点推荐页面需要抓取第0-1页，避免已知漏洞的重复抓取。

具体的，在实际应用中，可以使用页面xpath元素对漏洞信息进行定位，依次抓取页面发布的每一个安全漏洞信息。

需要说明的是，安全漏洞信息的漏洞类型包括：行业漏洞、网站漏洞和组件漏洞。

分类依据和标准如下：

行业漏洞：本行业其他公司网站存在的漏洞称为行业漏洞；

网站漏洞：本公司所属各网站存在的漏洞称为网站漏洞；

组件漏洞：网站常用组件存在的漏洞，包括apache，jboss、mysql、oracle，php等常用软件或者中间件漏洞。

步骤S103、判断每一个所述安全漏洞信息的漏洞内容与预先存储的漏洞抓取关键词是否匹配，如果是，则执行步骤S104；

漏洞抓取引擎在进行安全漏洞信息抓取之前，还需要设置漏洞抓取关键词，以确定所抓取的安全漏洞信息是否符合企业要求。

漏洞抓取关键词包括：行业关键词和网站关键词。

根据漏洞抓取关键词与企业的相关性，将漏洞抓取关键词分类为：高危关键词、中危关键词和低危关键词。以民航网站安全漏洞为例，高危关键词包括航信、凯亚、民航、天信达、travelsky、infosky、sohoto等，中危关键词包括航、机场、b2b、b2c、机票、订票、东方等，低危关键词包括apache、jboss、linux、tomcat、struts、oracle、mysql、php等。

需要说明的是，当判断安全漏洞信息的漏洞内容与预先存储的漏洞抓取关键词不匹配时，舍弃不匹配的安全漏洞信息，并返回步骤S102，重新抓取安全漏洞信息。

步骤S104、按照预先设置的关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别；

其中，预设格式要求，也即格式统一的安全漏洞信息包括：漏洞名称、漏洞内容、漏洞作者、漏洞访问链接、漏洞抓取时间、漏洞危害级别、漏洞抓取来源和漏洞评分。

具体的，为确定所抓取的安全信息漏洞的危害等级，本发明中漏洞抓取引擎在进行安全漏洞信息抓取之前，还设置了关键词危害程度。比如，高危关键词危害程度为3分，中危关键词危害程度为2分，低危关键词危害程度为1分。

将安全漏洞信息的漏洞内容与漏洞抓取关键词进行匹配，每匹配成功一个漏洞抓取关键词，则按照预先设置的关键词危害程度，将所述安全漏洞信息的危害分数增加与匹配成功的漏洞抓取关键词对应的分数，直至匹配完所有的漏洞抓取关键词，得到所述安全漏洞信息的漏洞评分。

可以理解，安全漏洞信息命中的漏洞抓取关键词越多，安全漏洞信息的漏洞评分越高，危害程度就越大。在实际应用中，可以根据漏洞评分的不同，将安全漏洞信息划分为不同的漏洞危害级别。比如，当漏洞评分大于等于3分，将漏洞危害级别设置为高危；当漏洞评分大于等于2分小于3分时，漏洞危害级别设置为中危；当漏洞评分大于等于1分小于2分时，漏洞危害级别设置为低危。

因此，根据漏洞评分所处的预先设置的漏洞危害级别的分数区间，得到安全漏洞信息的漏洞危害级别。

步骤S105、将所述安全漏洞信息按照预设格式要求进行格式统一，并将已格式统一的安全漏洞信息存储在内存数据库中。

具体的，在实际应用中，可以将格式化的安全漏洞信息和相对应的漏洞评分以对应关系的形式存储在内存数据库Memcache中。

综上可知，本发明公开了一种安全漏洞信息的抓取方法，当通过调用浏览器模拟对网站的访问行为对网站访问成功后，根据预先设置的待抓取漏洞的网站、抓取页面和页面抓取范围，对漏洞信息进行定位，依次抓取页面发布的每一个安全漏洞信息，当确定抓取的安全漏洞信息与漏洞抓取关键词匹配时，基于关键词危害程度，得到每一个安全漏洞信息的漏洞评分和漏洞危害级别，将安全漏洞信息统一格式并存储在内存数据库中。本发明在进行安全漏洞信息抓取之前，通过设置待抓取漏洞的网站、抓取页面和页面抓取范围和漏洞抓取关键词，实现从多个不同的安全漏洞信息发布网站，抓取与企业相关的全部的安全漏洞信息。并且，通过将抓取的安全漏洞信息统一成相同的格式，来方便后期对安全漏洞信息的进一步处理。

需要说明的是，本申请还可以根据漏洞关键词检测配置补充漏洞评分，根据漏洞评分补全漏洞危害级别，并可以在安全漏洞信息缺失信息时，补全缺失信息。

本申请为避免在内存数据库中存在重复的安全漏洞信息，在步骤S105将已格式统一的安全漏洞信息存储在内存数据库中时，还可以同步保存一份安全漏洞信息至文档数据库中，也即，文档数据库和内存数据库中存储有相同的已格式统一的安全漏洞信息。其中，文档数据库可以为：文档数据库Mongodb中。

在步骤S104之前，还可以包括：

判断在所述文档数据库中是否存储有匹配成功的所述安全漏洞信息；

当所述文档数据库没有存储所述安全漏洞信息时，继续执行步骤S104。

当所述文档数据库中存储所述安全漏洞信息时，舍弃所述安全漏洞信息。

网站安全漏洞预警平台中的漏洞预警引擎的主要功能为：对抓取到的安全漏洞信息按照漏洞严重程度，以邮件方式发布网站安全漏洞预警，预警对象为企业安全运维人员。漏洞预警按照漏洞严重程度分为高危漏洞预警、中危漏洞预警和低危漏洞预警；根据严重程度不同，漏洞预警频率会有所区分，其中高危漏洞要做到实时预警(30分钟以内)，中低危漏洞要做到及时预警(中危漏洞2小时以内，低危漏洞4小时以内)。

为进一步优化上述实施例，在图1所示的实施例抓取到安全漏洞信息之后，还会进一步根据安全漏洞信息的漏洞严重程度确定是否进行漏洞预警。

参见图2，本发明一实施例公开的一种安全漏洞信息的预警方法流程图，本实施例是在执行完图1实施例中的步骤S105之后执行，该预警方法包括步骤：

步骤S201、判断内存数据库中是否存在未预警的安全漏洞信息，如果是，则执行步骤S202；

其中，未预警的安全漏洞信息指的是：未向安全运维人员等发送过预警信息的安全漏洞信息。

当内存数据库中不存在未预警的安全漏洞信息时，则结束安全漏洞信息的预警流程。

步骤S202、根据未预警的安全漏洞信息的漏洞类型和漏洞危害级别匹配的漏洞预警邮件模板；

需要说明的是，根据漏洞危害级别不同，将漏洞预警引擎分成：高危漏洞预警引擎，中危漏洞预警引擎和低危漏洞预警引擎。为降低系统负载，同时保证漏洞预警的及时性，安全漏洞预警平台通过系统定时任务的方式，在系统中设置不同类型漏洞预警引擎启动时间间隔，比如，高危漏洞预警引擎每20分钟启动一次，中危漏洞预警引擎每2小时启动一次，低危漏洞预警引擎每4小时启动一次。

本实施例中，针对不同的漏洞危害级别设置不同的漏洞预警邮件模板，比如，针对不同的漏洞危害级别使用不同的颜色进行显示，高危漏洞级别展示为红色，中危漏洞级别展示为黄色，低危漏洞级别展示为黑色。

其中，漏洞预警邮件模板中的漏洞内容可以统一以表格的形式发送。

漏洞类型包括：行业漏洞、网站漏洞和组件漏洞。

分类依据和标准如下：

行业漏洞：本行业其他公司网站存在的漏洞称为行业漏洞；

网站漏洞：本公司所属各网站存在的漏洞称为网站漏洞；

组件漏洞：网站常用组件存在的漏洞，包括apache，jboss、mysql、oracle，php等常用软件或者中间件漏洞。

步骤S203、输出匹配得到的漏洞预警邮件模板。

在实际应用中，还可以设置漏洞预警邮件接收人员。可以将高危漏洞级别、中危漏洞级别和低危漏洞级别分别对应的漏洞预警邮件设置统一的漏洞预警邮件接收人员，比如安全运维人员，当安全运维人员接收到邮件后，就可以对漏洞预警信息进行过滤和处理，避免漏洞误报。

综上可知，本发明在确定内存数据库中存在未预警的安全漏洞信息时，会根据未预警的安全漏洞信息的漏洞类型和漏洞危害级别匹配的漏洞预警邮件模板，并输出匹配得到的漏洞预警邮件模板。因此，本发明实现了网站安全漏洞预警平台能够针对不同网站的安全漏洞信息进行漏洞危害级别的定级，并向安全运维人员及时发布高中低危安全漏洞预警信息，从而很好的解决了漏洞预警实时性问题。

并且，可以根据漏洞类型和漏洞危害级别，将漏洞预警模板准确的发布给不同的人员，从而提升了漏洞预警的精准性。

网站安全漏洞预警平台中的漏洞发布网站的主要功能是：通过网站展示安全漏洞信息，并对漏洞后继续处理情况进行跟踪。

漏洞发布网站主要指根据漏洞类型和漏洞危害级别，对不同人群(网站开发人员、运维人员)发布安全漏洞信息。

漏洞发布网站同时提供一个漏洞沟通和反馈平台，用来解答漏洞相关问题，监测安全漏洞修复情况。漏洞发布网站展示的安全漏洞预警信息包括漏洞抓取时间、安全漏洞标题、安全漏洞评分、安全漏洞来源等；网站用户分为运维人员和普通访客，其中运维人员可以登录网站，根据漏洞情况发布漏洞，普通访客仅能登录网站查看和评论安全漏洞信息。

本发明中，漏洞发布网站主要包括：用户登录功能、漏洞同步功能、漏洞发布功能和漏洞跟踪功能四个功能。

用户登录功能，用来对用户进行认证，系统运维人员登陆后可以对抓取的安全漏洞信息进行发布；普通用户登录后仅能查看安全漏洞信息，并能在相应的安全漏洞信息下进行评论和交流。

漏洞同步功能，用来将漏洞抓取引擎抓取的安全漏洞信息同步至漏洞发布网站。由于漏洞发布网站采用Mysql作为数据库存储，因此需要从漏洞抓取引擎同步已抓取安全漏洞信息。漏洞同步功能由系统定时触发，为保证同步的及时性，可以每10分钟启动一次。

漏洞发布功能，主要由运维人员使用，主要功能是面向不同人员，发布漏洞预警信息。根据漏洞类型(行业漏洞、组件漏洞和网站漏洞)不同，需要在系统中事先设置邮件接收人员和不同的漏洞预警邮件模板。

因此，上述实施例中，当漏洞预警引擎向安全运维人员发送与未预警的安全漏洞信息的漏洞危害级别匹配的漏洞预警邮件模板后，安全运维人员就可以根据漏洞类型的不同，设置不同的漏洞发布模板和邮件接收人员。

参见图3，本发明一实施例公开的一种安全漏洞信息的发布方法流程图，本实施例是在执行完图2实施例中的步骤S203之后执行，该发布方法包括步骤：

步骤S301、判断内存数据库中是否存在未发布的安全漏洞信息，如果是，则执行步骤S302；

当内存数据库中不存在未发布的安全漏洞信息时，结束安全漏洞信息的发布流程。

步骤S302、根据未发布的安全漏洞信息的漏洞危害级别匹配的漏洞发布邮件模板；

本实施例中，针对不同的漏洞危害级别设置不同的漏洞发布邮件模板，漏洞发布邮件模板中的漏洞内容可以统一的形式发送。

步骤S303、输出匹配得到的漏洞发布邮件模板。

需要特别说明的是，在进行安全漏洞信息发布时，由运维人员登录漏洞发布网站，对安全漏洞信息进行人工筛查，如果是误报的安全漏洞信息，则在漏洞发布网站进行删除。在实际应用中，可以根据漏洞类型(行业漏洞、组件漏洞和网站漏洞)不同，选择对应的漏洞接收人员，以邮件方式发送漏洞。普通用户登录漏洞发布网站，在漏洞下方发布漏洞处理情况，运维人员登录网站，针对漏洞情况进行反馈。

综上可知，本发明在确定内存数据库中存在未发布的安全漏洞信息时，根据未发布的安全漏洞信息的漏洞危害级别匹配的漏洞发布邮件模板，并输出匹配得到的漏洞发布邮件模板。因此，本发明可以通过漏洞发布网站，使得安全漏洞信息的发布更有针对性，而且，还便于漏洞发布后对漏洞进行跟踪，了解漏洞后续处理情况。

与上述方法实施例相对应，本发明还公开了一种安全漏洞信息的抓取系统。

参见图4，本发明一实施例公开的一种安全漏洞信息的抓取系统的结构示意图，该系统应用于网站安全漏洞预警平台，包括：

模拟单元401，用于通过调用浏览器模拟对网站的访问行为；

具体的，在实际应用中，可以通过selenium调用Chrome浏览器模拟对网站的访问行为。

抓取单元402，用于当对所述网站访问成功后，根据预先设置的待抓取漏洞的网站、抓取页面和页面抓取范围，对漏洞信息进行定位，依次抓取页面发布的每一个安全漏洞信息；

其中，安全漏洞信息包括：漏洞名称、漏洞内容、漏洞作者、漏洞抓取时间、漏洞抓取来源和漏洞访问链接。

漏洞抓取引擎在进行安全漏洞信息抓取之前，需要设置待抓取漏洞的网站、抓取页面和页面抓取范围。本实施例中待抓取漏洞的网站包括：常见的漏洞发布网站，例如，CNVD(国家信息安全漏洞共享平台)、CNNVD(国家信息安全漏洞库)、补天平台、漏洞盒子等。抓取页面包括：漏洞发布,热点推荐、漏洞信息、安全公告、漏洞列表等网站页面。页面抓取范围，例如漏洞发布页面需要抓取第1-5页，热点推荐页面需要抓取第0-1页，避免已知漏洞的重复抓取。

具体的，在实际应用中，可以使用页面xpath元素对漏洞信息进行定位，依次抓取页面发布的每一个安全漏洞信息。

需要说明的是，安全漏洞信息的漏洞类型包括：行业漏洞、网站漏洞和组件漏洞。

分类依据和标准如下：

行业漏洞：本行业其他公司网站存在的漏洞称为行业漏洞；

网站漏洞：本公司所属各网站存在的漏洞称为网站漏洞；

组件漏洞：网站常用组件存在的漏洞，包括apache，jboss、mysql、oracle，php等常用软件或者中间件漏洞。

第一判断单元403，用于判断每一个所述安全漏洞信息的漏洞内容与预先存储的漏洞抓取关键词是否匹配；

漏洞抓取引擎在进行安全漏洞信息抓取之前，还需要设置漏洞抓取关键词，以确定所抓取的安全漏洞信息是否符合企业要求。

漏洞抓取关键词包括：行业关键词和网站关键词。

根据漏洞抓取关键词与企业的相关性，将漏洞抓取关键词分类为：高危关键词、中危关键词和低危关键词。以民航网站安全漏洞为例，高危关键词包括航信、凯亚、民航、天信达、travelsky、infosky、sohoto等，中危关键词包括航、机场、b2b、b2c、机票、订票、东方等，低危关键词包括apache、jboss、linux、tomcat、struts、oracle、mysql、php等。

评分单元404，用于在所述第一判断单元判断为是的情况下，按照预先设置的关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别；

其中，预设格式要求，也即格式统一的安全漏洞信息包括：漏洞名称、漏洞内容、漏洞作者、漏洞访问链接、漏洞抓取时间、漏洞危害级别、漏洞抓取来源和漏洞评分。

具体的，为确定所抓取的安全信息漏洞的危害等级，本发明中漏洞抓取引擎在进行安全漏洞信息抓取之前，还设置了关键词危害程度。比如，高危关键词危害程度为3分，中危关键词危害程度为2分，低危关键词危害程度为1分。

将安全漏洞信息的漏洞内容与漏洞抓取关键词进行匹配，每匹配成功一个漏洞抓取关键词，则按照预先设置的关键词危害程度，将所述安全漏洞信息的危害分数增加与匹配成功的漏洞抓取关键词对应的分数，直至匹配完所有的漏洞抓取关键词，得到所述安全漏洞信息的漏洞评分。

可以理解，安全漏洞信息命中的漏洞抓取关键词越多，安全漏洞信息的漏洞评分越高，危害程度就越大。在实际应用中，可以根据漏洞评分的不同，将安全漏洞信息划分为不同的漏洞危害级别。比如，当漏洞评分大于等于3分，将漏洞危害级别设置为高危；当漏洞评分大于等于2分小于3分时，漏洞危害级别设置为中危；当漏洞评分大于等于1分小于2分时，漏洞危害级别设置为低危。

因此，根据漏洞评分所处的预先设置的漏洞危害级别的分数区间，得到安全漏洞信息的漏洞危害级别。

基于上述论述可知，评分单元404具体还用于：每匹配成功一个漏洞抓取关键词，则按照所述关键词危害程度，将的所述安全漏洞信息的危害分数增加与匹配成功的漏洞抓取关键词对应的分数，直至匹配完所有的漏洞抓取关键词，得到所述安全漏洞信息的漏洞评分；

根据所述漏洞评分所处的预先设置的漏洞危害级别的分数区间，得到所述安全漏洞信息的漏洞危害级别。

评分单元404具体还用于：判断文档数据库中是否存储有匹配成功的所述安全漏洞信息，其中，所述文档数据库和所述内存数据库中存储有相同的已格式统一的安全漏洞信息；

当所述文档数据库中存储有匹配成功的所述安全漏洞信息时，按照所述关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别。

格式统一单元405，用于将所述安全漏洞信息按照预设格式要求进行格式统一，并将已格式统一的安全漏洞信息存储在内存数据库中。

具体的，在实际应用中，可以将格式化的安全漏洞信息和相对应的漏洞评分以对应关系的形式存储在内存数据库Memcache中。

综上可知，本发明公开了一种安全漏洞信息的抓取系统，当通过调用浏览器模拟对网站的访问行为对网站访问成功后，根据预先设置的待抓取漏洞的网站、抓取页面和页面抓取范围，对漏洞信息进行定位，依次抓取页面发布的每一个安全漏洞信息，当确定抓取的安全漏洞信息与漏洞抓取关键词匹配时，基于关键词危害程度，得到每一个安全漏洞信息的漏洞评分和漏洞危害级别，将安全漏洞信息统一格式并存储在内存数据库中。本发明在进行安全漏洞信息抓取之前，通过设置待抓取漏洞的网站、抓取页面和页面抓取范围和漏洞抓取关键词，实现从多个不同的安全漏洞信息发布网站，抓取与企业相关的全部的安全漏洞信息。并且，通过将抓取的安全漏洞信息统一成相同的格式，来方便后期对安全漏洞信息的进一步处理。

本申请为避免在内存数据库中存在重复的安全漏洞信息，在将已格式统一的安全漏洞信息存储在内存数据库中时，还可以同步保存一份安全漏洞信息至文档数据库中，也即，文档数据库和内存数据库中存储有相同的已格式统一的安全漏洞信息。其中，文档数据库可以为：文档数据库Mongodb中。

网站安全漏洞预警平台中的漏洞预警引擎的主要功能为：对抓取到的安全漏洞信息按照漏洞严重程度，以邮件方式发布网站安全漏洞预警，预警对象为企业安全运维人员。漏洞预警按照漏洞严重程度分为高危漏洞预警、中危漏洞预警和低危漏洞预警；根据严重程度不同，漏洞预警频率会有所区分，其中高危漏洞要做到实时预警(30分钟以内)，中低危漏洞要做到及时预警(中危漏洞2小时以内，低危漏洞4小时以内)。

为进一步优化上述实施例，在上述所示的实施例抓取到安全漏洞信息之后，还会进一步根据安全漏洞信息的漏洞严重程度确定是否进行漏洞预警。

因此，抓取系统还可以包括：

第二判断单元，用于在所述格式统一单元将已格式统一的安全漏洞信息存储在所述内存数据库中之后，判断所述内存数据库中是否存在未预警的安全漏洞信息；

第一匹配单元，用于在所述第二判断单元判断为是的情况下，根据未预警的安全漏洞信息的漏洞类型和漏洞危害级别匹配的漏洞预警邮件模板；

第一输出单元，用于输出匹配得到的漏洞预警邮件模板。

需要说明的是，根据漏洞危害级别不同，将漏洞预警引擎分成：高危漏洞预警引擎，中危漏洞预警引擎和低危漏洞预警引擎。为降低系统负载，同时保证漏洞预警的及时性，安全漏洞预警平台通过系统定时任务的方式，在系统中设置不同类型漏洞预警引擎启动时间间隔，比如，高危漏洞预警引擎每20分钟启动一次，中危漏洞预警引擎每2小时启动一次，低危漏洞预警引擎每4小时启动一次。

本实施例中，针对不同的漏洞危害级别设置不同的漏洞预警邮件模板，比如，针对不同的漏洞危害级别使用不同的颜色进行显示，高危漏洞级别展示为红色，中危漏洞级别展示为黄色，低危漏洞级别展示为黑色。

其中，漏洞预警邮件模板中的漏洞内容可以统一以表格的形式发送。

漏洞类型包括：行业漏洞、网站漏洞和组件漏洞。

分类依据和标准如下：

行业漏洞：本行业其他公司网站存在的漏洞称为行业漏洞；

网站漏洞：本公司所属各网站存在的漏洞称为网站漏洞；

组件漏洞：网站常用组件存在的漏洞，包括apache，jboss、mysql、oracle，php等常用软件或者中间件漏洞。

在实际应用中，还可以设置漏洞预警邮件接收人员。可以将高危漏洞级别、中危漏洞级别和低危漏洞级别分别对应的漏洞预警邮件设置统一的漏洞预警邮件接收人员，比如安全运维人员，当安全运维人员接收到邮件后，就可以对漏洞预警信息进行过滤和处理，避免漏洞误报。

综上可知，本发明在确定内存数据库中存在未预警的安全漏洞信息时，会根据未预警的安全漏洞信息的漏洞类型和漏洞危害级别匹配的漏洞预警邮件模板，并输出匹配得到的漏洞预警邮件模板。因此，本发明实现了网站安全漏洞预警平台能够针对不同网站的安全漏洞信息进行漏洞危害级别的定级，并向安全运维人员及时发布高中低危安全漏洞预警信息，从而很好的解决了漏洞预警实时性问题。

并且，可以根据漏洞类型和漏洞危害级别，将漏洞预警模板准确的发布给不同的人员，从而提升了漏洞预警的精准性。

网站安全漏洞预警平台中的漏洞发布网站的主要功能是：通过网站展示安全漏洞信息，并对漏洞后继续处理情况进行跟踪。

漏洞发布网站主要指根据漏洞类型和漏洞危害级别，对不同人群(网站开发人员、运维人员)发布安全漏洞信息。

漏洞发布网站同时提供一个漏洞沟通和反馈平台，用来解答漏洞相关问题，监测安全漏洞修复情况。漏洞发布网站展示的安全漏洞预警信息包括漏洞抓取时间、安全漏洞标题、安全漏洞评分、安全漏洞来源等；网站用户分为运维人员和普通访客，其中运维人员可以登录网站，根据漏洞情况发布漏洞，普通访客仅能登录网站查看和评论安全漏洞信息。

本发明中，漏洞发布网站主要包括：用户登录功能、漏洞同步功能、漏洞发布功能和漏洞跟踪功能四个功能。

用户登录功能，用来对用户进行认证，系统运维人员登陆后可以对抓取的安全漏洞信息进行发布；普通用户登录后仅能查看安全漏洞信息，并能在相应的安全漏洞信息下进行评论和交流。

漏洞同步功能，用来将漏洞抓取引擎抓取的安全漏洞信息同步至漏洞发布网站。由于漏洞发布网站采用Mysql作为数据库存储，因此需要从漏洞抓取引擎同步已抓取安全漏洞信息。漏洞同步功能由系统定时触发，为保证同步的及时性，可以每10分钟启动一次。

漏洞发布功能，主要由运维人员使用，主要功能是面向不同人员，发布漏洞预警信息。根据漏洞类型(行业漏洞、组件漏洞和网站漏洞)不同，需要在系统中事先设置邮件接收人员和不同的漏洞预警邮件模板。

因此，上述实施例中，当漏洞预警引擎向安全运维人员发送与未预警的安全漏洞信息的漏洞危害级别匹配的漏洞预警邮件模板后，安全运维人员就可以根据漏洞类型的不同，设置不同的漏洞发布模板和邮件接收人员。

为进一步优化上述实施例，抓取系统还可以包括：

第二判断单元，用于在所述第一输出单元输出匹配得到的漏洞预警邮件模板之后，判断所述内存数据库中是否存在未发布的安全漏洞信息；

第二匹配单元，用于在所述第二判断单元判断为是的情况下，根据未发布的安全漏洞信息的漏洞危害级别匹配的漏洞发布邮件模板；

第二输出单元，用于输出匹配得到的漏洞发布邮件模板。

需要特别说明的是，在进行安全漏洞信息发布时，由运维人员登录漏洞发布网站，对安全漏洞信息进行人工筛查，如果是误报的安全漏洞信息，则在漏洞发布网站进行删除。在实际应用中，可以根据漏洞类型(行业漏洞、组件漏洞和网站漏洞)不同，选择对应的漏洞接收人员，以邮件方式发送漏洞。普通用户登录漏洞发布网站，在漏洞下方发布漏洞处理情况，运维人员登录网站，针对漏洞情况进行反馈。

综上可知，本发明在确定内存数据库中存在未发布的安全漏洞信息时，根据未发布的安全漏洞信息的漏洞危害级别匹配的漏洞发布邮件模板，并输出匹配得到的漏洞发布邮件模板。因此，本发明可以通过漏洞发布网站，使得安全漏洞信息的发布更有针对性，而且，还便于漏洞发布后对漏洞进行跟踪，了解漏洞后续处理情况。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种安全漏洞信息的抓取方法，其特征在于，包括：

通过调用浏览器模拟对网站的访问行为；

当对所述网站访问成功后，根据预先设置的待抓取漏洞的网站、抓取页面和页面抓取范围，对漏洞信息进行定位，依次抓取页面发布的每一个安全漏洞信息；

判断每一个所述安全漏洞信息的漏洞内容与预先存储的漏洞抓取关键词是否匹配，其中，所述漏洞抓取关键词包括：行业关键词和网站关键词；所述漏洞抓取关键词分类为：高危关键词、中危关键词和低危关键词；

如果是，则按照预先设置的关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别；

将所述安全漏洞信息按照预设格式要求进行格式统一，并将已格式统一的安全漏洞信息存储在内存数据库中。

2.根据权利要求1所述的抓取方法，其特征在于，所述预设格式要求包括：漏洞名称、漏洞内容、漏洞作者、漏洞访问链接、漏洞抓取时间、漏洞危害级别、漏洞抓取来源和漏洞评分。

3.根据权利要求1所述的抓取方法，其特征在于，所述按照预先设置的关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别，具体包括：

每匹配成功一个漏洞抓取关键词，则按照所述关键词危害程度，将的所述安全漏洞信息的危害分数增加与匹配成功的漏洞抓取关键词对应的分数，直至匹配完所有的漏洞抓取关键词，得到所述安全漏洞信息的漏洞评分；

根据所述漏洞评分所处的预先设置的漏洞危害级别的分数区间，得到所述安全漏洞信息的漏洞危害级别。

4.根据权利要求1所述的抓取方法，其特征在于，所述按照预先设置的关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别，具体包括：

判断文档数据库中是否存储有匹配成功的所述安全漏洞信息，其中，所述文档数据库和所述内存数据库中存储有相同的已格式统一的安全漏洞信息；

当所述文档数据库中存储有匹配成功的所述安全漏洞信息时，按照所述关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别。

5.根据权利要求1所述的抓取方法，其特征在于，在将已格式统一的安全漏洞信息存储在所述内存数据库中之后，还包括：

判断所述内存数据库中是否存在未预警的安全漏洞信息；

如果是，则根据未预警的安全漏洞信息的漏洞类型和漏洞危害级别匹配的漏洞预警邮件模板；

输出匹配得到的漏洞预警邮件模板。

6.根据权利要求5所述的抓取方法，其特征在于，在所述输出匹配得到的漏洞预警邮件模板之后，还包括：

判断所述内存数据库中是否存在未发布的安全漏洞信息；

如果是，则根据未发布的安全漏洞信息的漏洞危害级别匹配的漏洞发布邮件模板；

输出匹配得到的漏洞发布邮件模板。

7.一种安全漏洞信息的抓取系统，其特征在于，包括：

模拟单元，用于通过调用浏览器模拟对网站的访问行为；

抓取单元，用于当对所述网站访问成功后，根据预先设置的待抓取漏洞的网站、抓取页面和页面抓取范围，对漏洞信息进行定位，依次抓取页面发布的每一个安全漏洞信息；

第一判断单元，用于判断每一个所述安全漏洞信息的漏洞内容与预先存储的漏洞抓取关键词是否匹配，其中，所述漏洞抓取关键词包括：行业关键词和网站关键词；所述漏洞抓取关键词分类为：高危关键词、中危关键词和低危关键词；

评分单元，用于在所述第一判断单元判断为是的情况下，按照预先设置的关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别；

格式统一单元，用于将所述安全漏洞信息按照预设格式要求进行格式统一，并将已格式统一的安全漏洞信息存储在内存数据库中。

8.根据权利要求7所述的抓取系统，其特征在于，所述预设格式要求包括：漏洞名称、漏洞内容、漏洞作者、漏洞访问链接、漏洞抓取时间、漏洞危害级别、漏洞抓取来源和漏洞评分。

9.根据权利要求7所述的抓取系统，其特征在于，所述评分单元具体用于：

每匹配成功一个漏洞抓取关键词，则按照所述关键词危害程度，将所述安全漏洞信息的危害分数增加与匹配成功的漏洞抓取关键词对应的分数，直至匹配完所有的漏洞抓取关键词，得到所述安全漏洞信息的漏洞评分；

根据所述漏洞评分所处的预先设置的漏洞危害级别的分数区间，得到所述安全漏洞信息的漏洞危害级别。

10.根据权利要求7所述的抓取系统，其特征在于，所述评分单元具体用于：

判断文档数据库中是否存储有匹配成功的所述安全漏洞信息，其中，所述文档数据库和所述内存数据库中存储有相同的已格式统一的安全漏洞信息；

当所述文档数据库中存储有匹配成功的所述安全漏洞信息时，按照所述关键词危害程度对每一个所述安全漏洞信息进行评分，得到每一个所述安全漏洞信息的漏洞评分和漏洞危害级别。

11.根据权利要求7所述的抓取系统，其特征在于，还包括：

第二判断单元，用于在所述格式统一单元将已格式统一的安全漏洞信息存储在所述内存数据库中之后，判断所述内存数据库中是否存在未预警的安全漏洞信息；

第一匹配单元，用于在所述第二判断单元判断为是的情况下，根据未预警的安全漏洞信息的漏洞类型和漏洞危害级别匹配的漏洞预警邮件模板；

第一输出单元，用于输出匹配得到的漏洞预警邮件模板。

12.根据权利要求11所述的抓取系统，其特征在于，还包括：

第二判断单元，用于在所述第一输出单元输出匹配得到的漏洞预警邮件模板之后，判断所述内存数据库中是否存在未发布的安全漏洞信息；

第二匹配单元，用于在所述第二判断单元判断为是的情况下，根据未发布的安全漏洞信息的漏洞危害级别匹配的漏洞发布邮件模板；

第二输出单元，用于输出匹配得到的漏洞发布邮件模板。

Images