CN109948911A - 一种计算网络产品信息安全风险的评估方法 - Google Patents

Abstract

本发明公开了一种计算网络产品信息安全风险的评估方法，涉及自然语言处理、网络技术和信息安全领域。针对指定页面信息，利用网络爬虫从网络上抓取产品漏洞数据；从抓取的产品漏洞数据中选择部分数据作为样本数据，进行预处理；对原始的产品漏洞数据全部进行命名实体识别；利用预处理后的样本数据构建小型知识库，并采用距离监督法提取原始的产品漏洞数据中实体与实体之间的关系；根据实体对及实体与实体之间的关系，构建产品漏洞知识图谱；在建立的知识图谱上进行查询和拓展查询，实现产品漏洞的可视化操作以及产品安全风险评估。本发明为产品安全风险评估提供了快速有效的方法，为国家信息化安全提供保障，具有很高的实用性。

Description

一种计算网络产品信息安全风险的评估方法

技术领域

本发明涉及自然语言处理、网络技术和信息安全领域，提出了一种计算网络产品信息安全风险的评估方法。

背景技术

知识图谱技术是人工智能的重要组成部分，其语义处理能力与开放互联能力在智能搜索、智能问答以及个性化推荐等智能服务中产生了应用价值。知识图谱的关键技术包括知识抽取、知识表示、知识融合和知识推理，通过知识抽取技术，可以从结构化数据、半结构化数据或非结构化数据中提取出实体、关系和属性等知识要素；通过知识融合，可消除实体、关系和属性等指标项与事实对象之间的歧义，形成高质量的知识库。知识推理是在已有的知识库基础上进一步挖掘隐含的知识，从而丰富知识库。

在电子商务领域，知识图谱结合推荐算法能够实现更加合适的产品推荐。在生命科学领域，针对药物的发现欧盟设立Open Phacts项目，吸引了很多制药等巨头参加，使用知识图谱的方式加速了药物研制中的分子筛选工作。在信息检索领域，各大公司都有了自己的知识图谱产品，例如百度知心、搜狗知立方，用户的搜索请求不再局限于简单的关键词匹配，搜索将根据用户查询的情境与意图进行推理，实现概念检索。与此同时，用户的搜索结果将具有层次化和结构化等重要特征。知识图谱将庞大的数据融合成机器可以理解的知识，促进了人工智能的发展。

随着网络空间的不断拓展以及“互联网+”概念在社会生活中的深入渗透，越来越多的网络产品涌现出来，用户在享受网络产品、服务带来的便利时，也在承受着其带来的各种信息安全风险。根据美国国家标准与技术局(NIST)管理的国家漏洞数据库(NVD)纪录，2017年有超过1.34万个漏洞，比2016年的漏洞记录数的2倍还多。网络具有良好的开放性与复杂性，因此网络产品遭受的攻击变幻莫测，检测和预测这些动态类型的攻击是一项充满挑战的任务。及时发现产品存在的问题对网络空间安全秩序，保障国家、用户信息财产安全至关重要。现在市场上产品种类众多，并且不断地迭代更新，每个产品都会出现大大小小的漏洞，对于厂商来说，需要根据漏洞来更新产品，同时也要统计产品信息，大量的漏洞信息管理起来比较困难。

此外，防火墙已经逐渐失去原有的效果，产品安全性更加强调在某些方面可能会受到攻击，应重点研究潜在的危险。据调查，目前根据知识图谱对网络产品进行安全质量评估还处于空窗期。

发明内容

本发明针对知识图谱在产品信息安全评估方面还未展开研究，提出了一种计算网络产品信息安全风险的评估方法，对已经存在的数据进行可视化分析，通过挖掘互联网上存在的各种产品漏洞信息，利用自然语言处理的方法构建知识图谱，采用图数据库高效灵活地存储数据，进而提取目标信息进行网络产品安全风险评估，降低数据的复杂度和评估的难度。

具体步骤如下：

步骤一、针对指定页面信息，利用网络爬虫从网络上抓取产品漏洞数据；

指定页面信息包括国家信息安全漏洞共享平台、国家信息安全漏洞库、国家计算机病毒应急处理中心、新闻媒体相关频道以及社区论坛。

漏洞数据具体分类有：Web应用、安全产品、应用程序、操作系统、数据库以及网络设备；各分类对应不同URL，按类收集。

漏洞数据的内容包含：漏洞标题、漏洞内容、公开日期、影响产品、详细介绍和补丁信息。

步骤二、从抓取的产品漏洞数据中选择部分数据作为样本数据，进行预处理；

预处理包括jieba分词和词性标注；使用jieba分词时，建立了相关词典并调用。

步骤三、对抓取的原始产品漏洞数据全部进行命名实体识别；

实体共命名为六类：厂商名称、产品名称、漏洞编号、漏洞时间、漏洞等级和漏洞分数。

针对厂商名称和产品名称，建立厂商词典和产品词典，利用自定义词典准确地识别厂商和产品名称的实体信息。针对剩余的四项漏洞属性值实体，通过编写相应正则表达式或者实现语句抽取各自对应的实体信息。

步骤四、利用预处理后的样本数据构建小型知识库，并采用距离监督法提取原始的产品漏洞数据中实体与实体之间的关系；

距离监督是指：当一对实体存在某种语义关系，那么包含这对实体的所有句子都有可能包含这种关系。

首先，根据样本数据中的实体建立小型知识库：父类定义为“厂商”，子类为“产品”，“产品”的子类是“漏洞”，在“漏洞”子类下添加关于漏洞的属性；共四种关系，包括产品—漏洞编号、产品—漏洞时间、产品—漏洞等级以及产品—漏洞分数。

然后，将知识库映射到爬取的原始产品漏洞数据中，找出全部实体对以及包含实体对的句子，提取句子中的词性特征和短语句法树特征，并将特征转化为词向量，同时结合全部实体对一同输入到分类器中，分类器对每个实体对分别进行关系预测，输出对应的关系类别以及置信度。

步骤五、根据实体对及实体与实体之间的关系，构建产品漏洞知识图谱；

将实体对和实体与实体之间的关系形成三元组形式数据：{实体，关系，实体}或{实体，属性，属性值}，将提取出的实体和实体与实体之间的关系以节点和边的形式存储在Neo4j图数据库中，绘制知识图谱。

图谱中节点表示实体，边表示实体与实体之间的关系；

创建节点时，Neo4j自动为节点设置唯一的ID值，使用CREATE语句创建节点，通过RETURN语句返回；创建关系时，需要指定关系类型。

步骤六、在建立的知识图谱上进行查询和拓展查询，实现产品漏洞的可视化操作以及产品安全风险评估。

查询语言为Cypher；有增、删、改和查的基本操作；能查询所有的节点和关系并可视化；

产品安全风险评估的具体过程为：

针对某待查询产品，输入产品名称后，在知识图谱上查询对应的实体节点以及产品的漏洞节点；

然后，针对该实体节点下的若干漏洞节点中，通过每个漏洞节点的漏洞分数属性统计该漏洞节点的最高漏洞分数；

最后，根据通用漏洞评分系统判断，当产品最高漏洞分数在7-10之间，漏洞等级为高，风险值计算公式如下：

q表示最高风险值；为作为基础的S型曲线函数，x表示漏洞个数；

当产品最高漏洞分数在4-6.9之间，漏洞等级为中，风险值计算公式如下：

当产品最高漏洞分数在0-3.9之间，漏洞等级为低，风险值计算公式如下：

漏洞数量越多，风险越高，风险值逐渐接近所属等级上限但不会超出上限范围，综合分数越高，代表产品越不安全。

本发明的优点在于：

1)、一种计算网络产品信息安全风险的评估方法，本发明相比现有技术，现有技术对网络安全领域的知识图谱研究较少，尤其是在网络产品安全风险评估，本发明具有一定的创新性，通过结合自然语言处理领域，以及网络安全领域，为产品安全风险评估提供了快速有效的方法，具有很高的实用性。

2)、一种计算网络产品信息安全风险的评估方法，对厂商来说，不需要人工提取产品的漏洞信息，即可对产品有一定的风险感知，及时发现新的漏洞，比人工更高效、更准确，有利于厂商更好地管理产品，为国家信息化安全提供保障。对用户来说，选择产品时不用面对杂乱无章的数据，可以从知识图谱中快速找到想要的信息，并且能直观地展示出来。

3)、一种计算网络产品信息安全风险的评估方法，知识图谱以三元组的形式存储数据，支持多种形式的扩展，当出现新的数据时，不需更改原有的知识图谱，采用知识抽取和知识融合技术，直接增加新数据即可，方便快捷。

附图说明

图1为本发明一种计算网络产品信息安全风险的评估方法的原理图；

图2为本发明一种计算网络产品信息安全风险的评估方法的流程图。

图3为本发明采用的小型网络产品漏洞知识库图。

具体实施方式

为了使本发明能够更加清楚地理解其技术原理，下面结合附图具体、详细地阐述本发明实施例。

本发明一种计算网络产品信息安全风险的评估方法，深入研究了网络产品安全知识图谱的构建过程；通过构建网络产品的漏洞知识图谱，结合风险评估方法，实现产品的安全风险评估。首先，从不同来源、不同形式网页中爬取数据，数据结构包括半结构化数据和非结构化数据。然后，从上述数据中提取知识图谱实体，包括厂商、产品、漏洞等相关实体；接着抽取实体及其属性值之间的关系。最后将知识以三元组形式存储到图数据库中，形成知识图谱；直观地展示出实体之间的关系，可以向用户提供准确的搜索结果。其次，本发明研究了网络产品安全风险评估方法，解决了目前计算模型复杂、评价参考因素多、周期过长的缺点。

原理如图1所示，由三部分组成：数据采集，知识抽取与存储，知识检索与安全风险评估，

数据采集利用网络爬虫采集多个指定页面信息并去停用词，为后续的知识抽取与存储提供了数据支撑。

知识抽取与存储用于语义分析，提取建立知识图谱需要的厂商、产品、漏洞实体以及实体间关系，构建知识图谱；包括分析采集的数据并进行数据预处理、实体的命名与识别、实体之间的关系提取和构建知识图谱并存储到Neo4j数据库，为下一步的知识检索与安全风险评估提供了理论支撑：

知识检索与安全风险评估对建立的知识图谱，利用数据库管理进行目标信息查询和索引，同时基于S型曲线函数对产品安全风险计算，得到最终的评估：

如图2所示，具体步骤如下：

步骤一、针对多个指定网络数据源，利用网络爬虫框架从网络上抓取产品漏洞数据；

指定网络数据源包括国家信息安全漏洞共享平台、国家信息安全漏洞库、国家计算机病毒应急处理中心、各类新闻媒体相关频道以及专业社区论坛。

漏洞数据源涵盖许多软硬件产品和服务。具体分类有：Web应用、安全产品、应用程序、操作系统、数据库以及网络设备；各分类对应不同URL，按类收集。

漏洞数据的内容包含：漏洞标题、漏洞内容、公开日期、影响产品、详细介绍和补丁信息，将获取到的数据以文本形式存储下来。

步骤二、从抓取的产品漏洞数据中选择部分数据作为样本数据，进行预处理；

预处理包括jieba分词和词性标注；使用jieba分词时，考虑到之后的实体提取，建立了相关词典并调用，使分词结果更准确。

步骤三、对抓取的原始产品漏洞数据全部进行命名实体识别；

命名实体识别技术旨在提取出实体，在开放域中是从文本中识别出人名、地名、机构名和时间词，在垂直领域中需要识别专有名词。针对网络产品领域和本发明的需求，需要识别出六类实体：厂商名称、产品名称、漏洞编号、漏洞时间、漏洞等级和漏洞分数。

由于厂商和产品名称结构的多样性和不规则性，无法制定统一的规则进行提取，为了提高准确度，从互联网上收集全面的厂商和产品信息，建立厂商词典和产品词典，利用自定义词典准确地进行厂商和产品的实体识别。

建立词典时，依据层级关系收集信息：首先按照产品类别进行信息分类，例如产品类别包括路由器、交换机、服务器、打印机、防火墙、无线摄像头和移动设备等；其次路由器的厂商包括TP-LINK、华为、Tenda腾达、ASUS华硕、D-Link友讯、H3C华三等；最后TP-LINK旗下的路由器产品有450Mbps无线路由器TL-WR886N、300Mbps无线路由器TL-WR842N、AC2600双频千兆无线路由器TL-WDR8620等，按照此流程分别建立厂商词典和产品词典。

针对剩余的四项漏洞属性值实体的识别，具有较明显的规则，格式整齐规范，例如，国家信息安全漏洞共享平台中的漏洞编号格式均为CNVD-xxxx-xxxxx，时间格式为xxxx-xx-xx,x表示数字，CNVD官网中的一条漏洞信息为D-Link DCS-825L拒绝服务漏洞，CNVD-ID为CNVD-2018-26804，公开日期为2018-12-27，根据正则表达式的语法，漏洞编号的正则表达式为CNVD-[0-9]{4}-[0-9]{5}，时间的正则表达式为\d{4}-\d{2}-\d{2}，漏洞分数的正则表达式为[0-9]{1}\.[0-9]{1}。漏洞等级对应的只有一个汉字，直接在代码中用python语句即可实现。通过编写相应正则表达式或者实现语句抽取各自对应的属性实体信息。

步骤四、利用预处理后的样本数据构建小型知识库，并采用距离监督法提取原始的产品漏洞数据中及实体与实体之间的关系；

距离监督是指：当一对实体存在某种语义关系，那么包含这对实体的所有句子都有可能包含这种关系。

提取出实体与实体之间的关系，在特定领域中，对于表达实体对之间的语义关系非常重要。通过观察数据得到产品和漏洞的关系定义，实体包括厂商名称、产品名称、漏洞属性值；实体关系包括漏洞名称、漏洞时间、漏洞等级和漏洞分数；根据关系提取需求首先建立相关领域的小型知识库，负责存储一部分产品和漏洞实体对，基于领域知识库，采用距离监督方法抽取实体属性关系。

具体为：首先，利用样本数据中的实体，根据产品安全域的关系抽取需求建立小型产品漏洞知识库，负责存储一部分产品和漏洞实体对，如图3所示，在知识库中预先定义好属性关系和关系实例，父类定义为“厂商”，子类为“产品”，“产品”的子类是“漏洞”，在“漏洞”子类下添加关于漏洞的属性；共四种关系，包括产品—漏洞编号、产品—漏洞时间、产品—漏洞等级以及产品—漏洞分数。

抽取出“产品”的漏洞属性，包括编号、时间和分数等。例如，华为/eSpace/CNVD-2018-23260、华为/eSpace/2018-11-16、华为/eSpace/中、华为/eSpace/4.0，每种关系选取了200个实例，按照上述格式添加到知识库中。

然后，将知识库映射到爬取的原始产品漏洞数据中，找出全部实体对以及包含实体对的句子，对句子进行特征提取，由于特定领域有独特的句子结构和语法特征，因此提取句子的词性特征和短语句法树特征，并将特征转化为词向量，将词向量和实体对一同输入到分类器中，分类器对每个实体对分别进行关系预测，输出对应的关系类别以及置信度。

步骤五、根据实体对及实体与实体之间的关系，构建产品漏洞知识图谱；

将实体对和实体与实体之间的关系形成三元组形式数据：{实体，关系，实体}或{实体，属性，属性值}，例如厂商-关系-产品、产品-漏洞编号-(CNVD-xxx)。图数据库相对于关系数据库而言，可以更直观地展示实体间的关系、方便存储、查询快、更灵活，使用图数据库的CREATE语句向数据库中添加提取出的实体对和关系，生成网络产品漏洞知识图谱，存储在Neo4j图数据库中。图谱中节点表示实体，边表示实体与实体之间的关系；

知识图谱中的信息包括厂商名称、产品名称、漏洞编号、漏洞时间、漏洞等级、漏洞分数。采用Cypher语句进行知识图谱的绘制，从而实现可视化。Cypher的语句主要包括四种：创建语句(CREATE)、查询语句(MATCH)、限定语句(WHERE)、返回语句(RETURN)。创建节点时，Neo4j自动为节点设置唯一的ID值，使用CREATE语句创建节点，通过RETURN语句返回；创建关系时，需要指定关系类型。

步骤六、在建立的知识图谱上进行查询和拓展查询，实现产品漏洞的可视化操作以及产品安全风险评估。

Neo4j数据库自带查询语言Cypher，类似于SQL数据库中的SQL语言，但是比SQL功能跟强大，可以支持从关系数据库中或CSV文件中批量导入数据，也可以通过接口导入数据。知识图谱检索是从Neo4j数据库中检索节点、关系，Cypher检索语句支持四种检索功能：节点检索、关系检索、复杂检索和Neo4j图数据库可视化。使用Cypher语句可以实现数据的增、删、改、查和统计基本操作，可以查询所有的节点和关系并可视化；

图数据库支持对产品的可视化展示，还提供查询和拓展查询的功能；本实施例中查询的某厂商的某款产品，及其漏洞信息，使用MATCH语句实现。

本发明在知识图谱的基础上，从结构化信息中搜索目的信息，除了实现产品漏洞的可视化功能外，在此功能的基础上，还提供了产品安全风险评估功能；产品安全风险评估的具体过程为：

针对某待查询产品，输入产品名称后，在知识图谱上查询对应的实体节点以及产品的漏洞节点；

使用Cypher语句中的MATCH语句在构建的知识图谱中进行查询，得到产品漏洞个数以及分数。

然后，针对该实体节点下的若干漏洞节点中，通过每个漏洞节点的漏洞分数属性统计该漏洞节点的最高漏洞分数；

最后，根据通用漏洞评分系统(CVSS)判断，当产品最高漏洞分数在7-10之间，漏洞等级为高，风险值计算公式如下：

q表示最高风险值；为作为基础的S型曲线函数，x表示漏洞个数；

例如，当产品存在2个漏洞，漏洞分值分别为7和5时，由于产品最高漏洞风险值等于7，属于高级漏洞区间，所以采用上述公式计算总体风险值，通过计算可得产品整体风险值为9。

当产品最高漏洞分数在4-6.9之间，漏洞等级为中，风险值计算公式如下：

当产品最高漏洞分数在0-3.9之间，漏洞等级为低，风险值计算公式如下：

产品漏洞风险评价需要同时考虑漏洞数量和漏洞等级：当产品存在多个漏洞时，以漏洞等级最高的漏洞为产品漏洞下限，即当存在高级漏洞时，产品漏洞等级为高；不存在高级漏洞，存在中级漏洞时，产品漏洞等级为中；仅存在低级漏洞时，产品漏洞等级为低；同时，应遵循木桶原理，风险值不低于产品漏洞中的最高风险值；同时应满足风险值随着漏洞数量的增加而增大，直到接近所属风险等级上限；风险值的范围应该在0-10之间，且分数越高，风险越高，产品遭受攻击的可能性越大。

当从数据库中提取出产品漏洞数量和风险值后，使用基于S型曲线函数的漏洞风险评估计算方法进行产品安全风险评估，符合产品的实际情况。根据S型曲线函数的性质：在自变量x从0趋近于无穷大时，函数的取值范围从0趋近于1，符合产品漏洞风险值的走向。因此采用基于S型曲线函数的方法来评估产品安全风险，得分越高说明产品风险越大。

Claims (6)

1.一种计算网络产品信息安全风险的评估方法，其特征在于，具体步骤如下：

步骤一、针对指定页面信息，利用网络爬虫从网络上抓取产品漏洞数据；

步骤二、从抓取的产品漏洞数据中选择部分数据作为样本数据，进行预处理；

步骤三、对抓取的原始产品漏洞数据全部进行命名实体识别；

所述的实体共命名为六类：厂商名称、产品名称、漏洞编号、漏洞时间、漏洞等级和漏洞分数；

步骤四、利用预处理后的样本数据构建小型知识库，并采用距离监督法提取原始的产品漏洞数据中实体与实体之间的关系；

首先，根据样本数据中的实体建立小型知识库：父类定义为“厂商”，子类为“产品”，“产品”的子类是“漏洞”，在“漏洞”子类下添加关于漏洞的属性；共四种关系，包括产品—漏洞编号、产品—漏洞时间、产品—漏洞等级以及产品—漏洞分数；

然后，将知识库映射到爬取的原始产品漏洞数据中，找出全部实体对以及包含实体对的句子，提取句子中的词性特征和短语句法树特征，并将特征转化为词向量，同时结合全部实体对一同输入到分类器中，分类器对每个实体对分别进行关系预测，输出对应的关系类别以及置信度；

步骤五、根据实体对及实体与实体之间的关系，构建产品漏洞知识图谱；

将实体对和实体与实体之间的关系形成三元组形式数据：{实体，关系，实体}或{实体，属性，属性值}，将提取出的实体和实体与实体之间的关系以节点和边的形式存储在Neo4j图数据库中，绘制知识图谱；

图谱中节点表示实体，边表示实体与实体之间的关系；

创建节点时，Neo4j自动为节点设置唯一的ID值，使用CREATE语句创建节点，通过RETURN语句返回；创建关系时，需要指定关系类型；

步骤六、在建立的知识图谱上进行查询和拓展查询，实现产品漏洞的可视化操作以及产品安全风险评估；

产品安全风险评估的具体过程为：

针对某待查询产品，输入产品名称后，在知识图谱上查询对应的实体节点以及产品的漏洞节点；

然后，针对该实体节点下的若干漏洞节点中，通过每个漏洞节点的漏洞分数属性统计该漏洞节点的最高漏洞分数；

最后，根据通用漏洞评分系统判断，当产品最高漏洞分数在7-10之间，漏洞等级为高，风险值计算公式如下：

q表示最高风险值；为作为基础的S型曲线函数，x表示漏洞个数；

当产品最高漏洞分数在4-6.9之间，漏洞等级为中，风险值计算公式如下：

当产品最高漏洞分数在0-3.9之间，漏洞等级为低，风险值计算公式如下：

漏洞数量越多，风险越高，风险值逐渐接近所属等级上限但不会超出上限范围，综合分数越高，代表产品越不安全。

2.如权利要求1所述的一种计算网络产品信息安全风险的评估方法，其特征在于，步骤一中所述的指定页面信息包括国家信息安全漏洞共享平台、国家信息安全漏洞库、国家计算机病毒应急处理中心、新闻媒体相关频道以及社区论坛；

漏洞数据具体分类有：Web应用、安全产品、应用程序、操作系统、数据库以及网络设备；各分类对应不同URL，按类收集；

漏洞数据的内容包含：漏洞标题、漏洞内容、公开日期、影响产品、详细介绍和补丁信息。

3.如权利要求1所述的一种计算网络产品信息安全风险的评估方法，其特征在于，步骤二中所述的预处理包括jieba分词和词性标注；使用jieba分词时，建立了相关词典并调用。

4.如权利要求1所述的一种计算网络产品信息安全风险的评估方法，其特征在于，步骤三中针对厂商名称和产品名称，建立厂商词典和产品词典，利用自定义词典准确地识别厂商和产品名称的实体信息；针对剩余的四项漏洞属性值实体，通过编写相应正则表达式或者实现语句抽取各自对应的实体信息。

5.如权利要求1所述的一种计算网络产品信息安全风险的评估方法，其特征在于，步骤四中所述的距离监督加入了词性特征和短语句法树特征，当一对实体存在某种语义关系，那么包含这对实体的所有句子都有可能包含这种关系。

6.如权利要求1所述的一种计算网络产品信息安全风险的评估方法，其特征在于，步骤六中所述的查询语言为Cypher；有增、删、改和查的基本操作；能查询所有的节点和关系并可视化。