CN107872454A - 一种基于大数据技术的超大型互联网平台安全等级保护威胁信息监测与分析系统及方法 - Google Patents

Abstract

本发明公开了一种基于大数据技术的超大型互联网平台安全等级保护威胁信息监测与分析系统及方法，本方案首先通过互联网数据监测进行互联网威胁信息、威胁情报和监测信息的获取与分拣，并形成威胁信息库、威胁情报库和监测信息库；接着，基于导入的等级保护备案数据、调研数据和测评数据，并结合国家的相关等级保护标准进行数据增强和解析，形成超大型互联网平台资产库和等级保护资产库；最后，进行大数据分析，以实现将互联网上的当前威胁信息和威胁情报与保护目标进行精确比对分析。本发明提供的方案此可自动进行超大型互联网平台的基础信息维护、安全信息匹配、信息安全事件监测和分析，且可控性高，安全系数高，并极大地提高了监测和分析效率。

Description

一种基于大数据技术的超大型互联网平台安全等级保护威胁 信息监测与分析系统及方法

技术领域

本发明涉及网络安全监测技术领域，具体涉及网络安全等级保护技术领域。

背景技术

随着网络技术的突飞猛进，网络已经成为人们生活、工作中不可获取的部分。随着网络技术的广泛以及深入的应用，网络安全的问题则越发重要。

网络安全一般是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。

为了保证网络安全，网络安全监测技术应运而生。但是目前现有技术只满足漏洞特征库扫描、威胁情报获取、信息比对、脆弱性展示等功能，且功能较分散无法从威胁信息收集、被检测系统组成、工具的任务下发、等级保护数据、信息匹配和分析形成一个整体监测和分析环境。且超大型互联网平台具有海量设备，仅对威胁和漏洞进行分析，无法有效分析超大型互联网平台所面临的威胁和存在的脆弱性。

发明内容

针对现有超大型互联网平台在网络安全方面所存在的问题，需要一种新的超大型互联网平台网络安全监测技术。

为此，本发明的目的在于提供一种基于大数据技术的超大型互联网平台安全等级保护威胁信息监测与分析系统及方法，对超大型互联网平台的安全参数进行自动检测，实现威胁信息自动监测和分析。

为了达到上述目的，本发明提供的基于大数据技术的超大型互联网平台安全等级保护威胁信息监测与分析系统，包括：

互联网数据监测模块，该模块基于Scrapy框架构建，获取与分拣互联网威胁信息、威胁情报和监测信息，以形成威胁信息库、威胁情报库和监测信息库，供其它模块使用；

等级保护数据分类索引模块：该模块基于ElasticSearch数据库构建，通过导入等级保护备案数据，调研数据和测评数据，并结合国家的相关等级保护标准进行数据增强和解析，形成超大型互联网平台资产库和等级保护资产库；

调度总线模块，该模块提供Restful API接口，支持异步执行，可以任务的方式运行；

安全威胁分析与多维展示模块，该模块分别与调度总线模块、互联网数据监测模块以及等级保护数据分类索引模块数据连接，通过调度总线模块控制互联网数据监测模块以及等级保护数据分类索引模块运行，并调用多种机器学习方法将采集到的海量信息进行关联、分类、聚类和协同过滤分析，并以方式动态呈现安全威胁现状和安全态势，且进行多维展示。

进一步的，所述互联网数据监测模块将海量信息和数据采集回后，进行分拣和二次加工以形成威胁信息库、威胁情报库和监测信息库。

进一步的，所述调度总线模块提供互联网威胁信息采集配置子模块、互联网威胁情报采集配置子模块、监测工具配置子模块、等级保护数据解析调度子模块、等级保护数据分类调度子模块、等级保护数据索引配置子模块、安全威胁分析引擎子模块和多维展示调度引擎子模块，为上层系统提供可配置的数据定义。

进一步的，所述等级保护数据分类索引模块形成超大型互联网平台资产库和等级保护资产库可直接与互联网数据监测模块形成的互联网威胁信息库、威胁情报库和监测信息库进行大数据分析。

进一步的，安全威胁分析与多维展示模块包括安全威胁分析子模块和多维展示子模块，所述安全威胁分析子模块基于R、OpenCPU和Rstudio进行构建，通过调用多种机器学习方法将采集到的海量信息进行关联、分类、聚类和协同过滤分析，并以动态呈现安全威胁现状和安全态势；所述多维展示子模块基于Echarts和Kibana进行构建，对安全威胁分析子模块分析数据提供综合展示，专项展示和全文检索。

为了达到上述目的，本发明提供的基于大数据技术的超大型互联网平台安全等级保护威胁信息监测与分析方法，包括：

通过互联网数据监测进行互联网威胁信息、威胁情报和监测信息的获取与分拣，并形成威胁信息库、威胁情报库和监测信息库；

基于等级保护备案数据、调研数据和测评数据手工，并结合国家的相关等级保护标准进行数据增强和解析，形成超大型互联网平台资产库和等级保护资产库；

将大型互联网平台资产库和等级保护资产库直接与互联网威胁信息库、威胁情报库和监测信息库进行大数据分析，以实现将互联网上的当前威胁信息和威胁情报与保护目标进行精确比对分析，及时展示超大型互联网平台中出现的新漏洞、新隐患和存在的脆弱性。

本发明提供的方案此可自动进行超大型互联网平台的基础信息维护、安全信息匹配、信息安全事件监测和分析，且可控性高，安全系数高，并极大地提高了监测和分析效率。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明实例中超大型互联网平台安全等级保护威胁信息监测与分析系统的框架图；

图2为本发明实例中互联网数据监测流程图；

图3为本发明实例中等级保护信息处理流程图；

图4为本发明实例中等级保护数据分类索引流程图；

图5为本发明实例中总线调度流程图；

图6为本发明实例中安全威胁分析与多维展示流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

本方案通过等级保护数据采集、中文分词、信息匹配、自动任务调度管理、大数据存储和分析进行超大型互联网平台的安全信息监测与分析。

本超大型互联网平台安全等级保护的威胁信息监测与分析方案以资产、拓扑、脆弱性、威胁情报等数据为基础，来实现多层次自适应的安全数据监测和分析。通过网络主动探测和远程识别方法为基础的自动化核查方法，构建超大规模设备(包括海量虚拟化设备和物联网设备)探测与跟踪方案，并进行超大型互联网平台的安全参数自动检测，实现威胁信息自动监测和分析。

首先，基于远程探测与识别技术的自动化检测方案来针对超大型互联网平台的动态海量目标设备脆弱性进行监测，实现对目标系统的基础配置识别，可持续监测。

其次，建立超大型互联网平台的安全基线自动化核查机制，针对已知设备采用基于专家知识、动态过程、模式匹配的动态连续诊断模型对其分类整理，实现动态安全配置采集技术；在此基础上，通过深度学习、数据挖掘等多种机器学习方法对其进行分析处理，可再通过人工参与，形成超大型互联网平台的安全基线核查分析知识并添加到诊断模型中。

最后，通过预制的诊断分析知识，对不同类型的超大型互联网平台的自动化核查的指标范围、频率进行调整，实现超大型互联网平台的安全基线和威胁信息大规模自动化核查技术。

参见图1，其所示为本方案基于上述原理形成的超大型互联网平台安全等级保护威胁信息监测与分析系统的框架图。该系统能够实现对超大型互联网平台的脆弱性和威胁自动发现，自动调用工具(插件)进行分析，可控性高，并极大地提高监测效率，从而提高超大型互联网平台的脆弱性识别率，准确性。

由图可知，该超大型互联网平台安全等级保护威胁信息监测与分析系统100主要由互联网数据监测模块110、等级保护数据分类索引模块120、调度总线模块130以及安全威胁分析与多维展示模块140配合构成。

其中，互联网数据监测模块110，其基于Scrapy框架构建，主要负责互联网威胁信息、威胁情报和监测信息的获取与分拣，通过网络爬虫，定向订阅、人工导入等方式将海量互联网威胁信息、互联网威胁情报和数据采集回后，进行分拣和二次加工形成威胁信息库111、威胁情报库112和监测信息库113，供其它模块使用。

等级保护数据分类索引模块120，其基于ElasticSearch数据库构建，主要通过导入等级保护备案数据、调研数据和测评数据，并结合国家的相关等级保护标准(与数据分类相关的等级保护标准GB/T 22240、GB/T 25058；与数据关联相关的等级保护标准GB/T22239和GB/T 28448)进行数据增强和解析，基于数据分类等级保护标准GB/T 22240和GB/T25058对导入的数据进行数据增强，基于数据关联等级保护标准GB/T 22239和GB/T 28448对导入的数据进行数据解析，由此分别形成超大型互联网平台资产库121和等级保护资产库122。

这里的超大型互联网平台等级保护信息调研数据为等级保护专用调研表，包含以下等级保护相关信息：超大型互联网平台所属单位、信息系统名称、信息系统设备组成(系统中运行的软件、硬件的操作系统版本等)、互联网IP地址等相关信息。

由此形成的超大型互联网平台资产库121和等级保护资产库122为超大型互联网平台的精确信息，可以直接与互联网数据监测模块110中的互联网威胁信息库111、威胁情报库112和监测信息库113进行大数据分析，实现将互联网上的当前威胁信息和威胁情报与保护目标进行精确比对，确定超大型互联网平台所面临的互联网威胁版本、类型，并根据数据中的附加信息进行二次处理，提供多维分析和多维展示。

调度总线模块130，其提供Restful API接口，支持异步执行，可以任务的方式运行。该调度总线模块130提供互联网威胁信息采集配置子模块131、互联网威胁情报采集配置子模块132、监测工具配置子模块133、等级保护数据解析调度子模块134、等级保护数据分类调度子模块135、等级保护数据索引配置子模块136、安全威胁分析引擎子模块137和多维展示调度引擎子模块138，为上层系统提供可配置的数据定义。

具体的，本调度总线模块130通过调度总线将需要执行的互联网威胁信息采集、威胁情报采集、等级保护数据解析调度、监测工具程序、安全威胁分析引擎和多维展示调度引擎等模块配置到工作池中。当需要触发一个模块时，通过调度总线的Restful API接口来调度相应的模块，并将输出结果格式化供相应的模块使用。

安全威胁分析与多维展示模块140，该模块由安全威胁分析子模块141和多维展示子模块142配合组成。其中，安全威胁分析子模块141基于R、OpenCPU和Rstudio进行构建,其与调度总线模块130、互联网数据监测模块110以及等级保护数据分类索引模块120数据连接，通过调度总线模块控制互联网数据监测模块以及等级保护数据分类索引模块运行，可以调用深度学习、数据挖掘等多种机器学习方法将采集到的海量信息进行关联、分类、聚类和协同过滤分析，并以河流图、云图、归并图和攻击地图等方式动态呈现安全威胁现状和安全态势。

而多维展示子模块142则基于Echarts和Kibana进行构建，提供综合展示、专项展示和全文检索。

由此构成的超大型互联网平台安全等级保护威胁信息监测与分析系统100，其在运行时，通过调用调度总线模块130中的互联网威胁信息采集配置子模块131、互联网威胁情报采集配置子模块132以及监测工具配置子模块133，对互联网数据监测模块110进行配置，使得互联网数据监测模块110据此进行互联网威胁信息、威胁情报和监测信息的获取，进行分拣和二次加工形成威胁信息库111、威胁情报库112和监测信息库113。

接着，通过调用调度总线模块130中的等级保护数据索引配置子模块136对等级保护数据分类索引模块120进行配置，再者调用调度总线模块130中的等级保护数据解析调度子模块134和等级保护数据分类调度子模块135对导入的等级保护资料进行数据分析和数据增强，以形成等级保护资产库122和超大型互联网平台资产库121。

接着，安全威胁分析与多维展示模块140中的安全威胁分析子模块141调用调度总线模块130中的安全威胁分析引擎子模块137基于威胁信息库111、威胁情报库112、监测信息库113，与等级保护资产库122和超大型互联网平台资产库121进行大数据分析，实现将互联网上的当前威胁信息和威胁情报与保护目标进行精确比对，确定超大型互联网平台所面临的互联网威胁版本、类型。

最后，由多维展示子模块142调度总线模块130中的多维展示调度引擎子模块138根据安全威胁分析子模块141分析产生的数据中的附加信息进行二次处理，提供综合展示、专项展示以及全文检索的多维展示。

可见，基于本系统通过定时、手动启动，可将需要排查的信息与威胁信息库、监测信息库进行匹配；将超大型互联网平台或设备中的威胁、脆弱性进行分析和多维展示，及时展示超大型互联网平台中出现的新漏洞、新隐患和存在的脆弱性，以便超大型互联网平台的管理部门进行分析、处置和预警或对下一步工作提供依据。

这里的信息匹配处理过程为，通过使用大数据技术将收集的等级保护资料存储在超大型互联网平台资产库和等级保护资产库中，与互联网威胁信息库、互联网威胁情报库和监测信息库中的威胁信息匹配和分析处理，将最符合的威胁信息进行结果记录。

以下具体说明一下本超大型互联网平台安全等级保护威胁信息监测与分析系统的运行过程。

1、互联网数据监测

互联网监测数据通过基础的Hadoop和EleasticSearch处理后无法达到完全排重的效果，本实例在从程序调用处加入排重机制。

威胁信息、威胁情报和监测信息存在威胁和脆弱性唯一标识信息时，采取信息比对方式处理；无唯一标识时，进行全信息字段排重比对，从入口处保证信息的唯一性，减少后期处理时间。

参见图2，本实例进行互联网数据监测的流程如下：

1.由管理员初始化威胁信息库，威胁情报库和监测信息库；

2.维护威胁信息库，威胁情报库和监测信息库，由互联网数据采集器采集互联网威胁信息、威胁情报以及监测信息；

3.对互联网威胁信息、威胁情报以及监测信息进行分类，分词；

4.进行唯一威胁和脆弱性标识比对；

5.对不存在唯一标识时，补充威胁和脆弱性信息；

6.建立威胁和脆弱性唯一标识；

7.据此形成威胁信息库，威胁情报库和监测信息库；

8.威胁和脆弱性描述分词，形成威胁和脆弱性索引库。

2、等级保护数据分类索引

通过等级保护资料自动和手动收集，将标准文档内容转化为数据对象的过程。

提供手工录入数据信息的管理，可以将相对底层的数据录入/导入；进而针对不同的数据类型，结合相应的等级保护国家标准，可编辑输入更详尽的数据属性信息；再进行等级保护数据元拆分，将拆分后的元数据入库作为关键字存储便于后续查询，检索。

如图3所示，超大型互联网平台等级保护信息处理详细分解功能如下：

手工编辑输入数据信息，保存提交到数据库中；

根据选择的信息文档类别不同，需要编辑的数据属性信息有差异；

支持信息解析，文档格式支持含Microsoft Office(word、excel、access)、htm/html、RTF、PDF、XML，压缩文件ZIP/RAR等；

支持单一信息多附件，支持多附件批量上传。

通过资料分类归档模块，将输出的数据元创建关联索引，通过键值对(key-Value)的形式存放，每个键(key)以设备信息中描述的不同类别来建立关联。

参见图4，自动更新索引键值以弥补海量数据时，数据延迟带来的性能问题。通过建立数据元分类索引将威胁信息库、威胁情报库与监测信息库进行关联，建立实时的更新机制不断更新数据元信息。索引依据超大型互联网平台等级保护资产库数据元进行划分共用数据元字典。

3、调度总线

通过调度总线将需要执行的互联网威胁信息采集、威胁情报采集、等级保护数据解析调度、监测工具程序、安全威胁分析引擎和多维展示调度引擎等模块配置到工作池中。当需要触发一个模块时，通过调度总线的Restful API接口来调度相应的模块，并将输出结果格式化供相应的模块使用。

参见图5，本实例进行总线调度的流程如下：

1)调度总线接收到下发的任务，产生调度任务；

2)根据调度任务的任务信息从工作池中调取相应的任务模块；

3)任务模块启动，执行相应的任务逻辑，并对任务模块的运行进行监控；

4)任务模块执行完任务逻辑，将输出结果。

通过调度总线可以根据需要调用相应的模块，并设置调用模块的配置参数，配置调用模块的输入、输出格式及流程管理，这样就可以将监测分析任务与调用的模块进行有机结合。

4、安全威胁分析与多维展示

参见图6，其所示为本实例进行安全威胁分析与多维展示的流程。由图可知，当计划任务执行完毕后会产生结果文件，针对结果文件进行安全威胁分析。

在进行安全威胁分析时，将结果文件与威胁信息库、威胁情报库、监测信息库、超大型互联网平台资产库和等级保护资产库进行大数据分析，可以分析得出超大型互联网平台是否存在漏洞或安全隐患，这个过程就是安全威胁分析所完成的工作。

对安全威胁分析的分析结果由多维展示模块进行分析结果的展示。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.基于大数据技术的超大型互联网平台安全等级保护威胁信息监测与分析系统，其特征在于，包括：

互联网数据监测模块，该模块基于Scrapy框架构建，获取与分拣互联网威胁信息、威胁情报和监测信息，以形成威胁信息库、威胁情报库和监测信息库，供其它模块使用；

等级保护数据分类索引模块：该模块基于ElasticSearch数据库构建，通过导入等级保护备案数据，调研数据和测评数据，并结合国家的相关等级保护标准进行数据增强和解析，形成超大型互联网平台资产库和等级保护资产库；

调度总线模块，该模块提供Restful API接口，支持异步执行，可以任务的方式运行；

安全威胁分析与多维展示模块，该模块分别与调度总线模块、互联网数据监测模块以及等级保护数据分类索引模块数据连接，通过调度总线模块控制互联网数据监测模块以及等级保护数据分类索引模块运行，并调用多种机器学习方法将采集到的海量信息进行关联、分类、聚类和协同过滤分析，并以方式动态呈现安全威胁现状和安全态势，且进行多维展示。

2.根据权利要求1所述的监测与分析系统，其特征在于，所述互联网数据监测模块将海量信息和数据采集回后，进行分拣和二次加工以形成威胁信息库、威胁情报库和监测信息库。

3.根据权利要求1所述的监测与分析系统，其特征在于，所述调度总线模块提供互联网威胁信息采集配置子模块、互联网威胁情报采集配置子模块、监测工具配置子模块、等级保护数据解析调度子模块、等级保护数据分类调度子模块、等级保护数据索引配置子模块、安全威胁分析引擎子模块和多维展示调度引擎子模块，为上层系统提供可配置的数据定义。

4.根据权利要求1所述的监测与分析系统，其特征在于，所述等级保护数据分类索引模块形成超大型互联网平台资产库和等级保护资产库可直接与互联网数据监测模块形成的互联网威胁信息库、威胁情报库和监测信息库进行大数据分析。

5.根据权利要求1所述的监测与分析系统，其特征在于，安全威胁分析与多维展示模块包括安全威胁分析子模块和多维展示子模块，所述安全威胁分析子模块基于R、OpenCPU和Rstudio进行构建，通过调用多种机器学习方法将采集到的海量信息进行关联、分类、聚类和协同过滤分析，并以动态呈现安全威胁现状和安全态势；所述多维展示子模块基于Echarts和Kibana进行构建，对安全威胁分析子模块分析数据提供综合展示，专项展示和全文检索。

6.基于大数据技术的超大型互联网平台安全等级保护威胁信息监测与分析方法，其特征在于，包括：

通过互联网数据监测进行互联网威胁信息、威胁情报和监测信息的获取与分拣，并形成威胁信息库、威胁情报库和监测信息库；

基于导入的等级保护备案数据、调研数据和测评数据，并结合国家的相关等级保护标准进行数据增强和解析，形成超大型互联网平台资产库和等级保护资产库；

将大型互联网平台资产库和等级保护资产库直接与互联网威胁信息库、威胁情报库和监测信息库进行大数据分析，以实现将互联网上的当前威胁信息和威胁情报与保护目标进行精确比对分析，及时展示超大型互联网平台中出现的新漏洞、新隐患和存在的脆弱性。