CN108769048A - 一种安全可视化与态势感知平台系统 - Google Patents

Abstract

本发明涉及一种安全可视化与态势感知平台系统。其包括数据层、分析层和应用与呈现层三个层级，所述数据层实现各类与威胁感知分析相关数据的采集、处理、汇聚、存储、检索能力，并对外提供数据订阅接口，所述分析层通过大数据分析、机器学习、UEBA技术作为支持，通过对数据源的关联、集合分析，从而发现并感知全网已知、未知安全风险和威胁，所述应用与呈现层通过监控大屏、Web门口以及第三方接口方式对外展示分析层分析结果。该平台不但能以海量数据为基础进行事件的挖掘和分析，而且提供必要的网络监控、设备管理和运维流程管理等功能。

Description

一种安全可视化与态势感知平台系统

技术领域

本发明涉及信息安全领域，具体涉及一种安全可视化与态势感知平台系统。

背景技术

随着互联网时代的来临，我国网络安全问题日益突出。网络安全态势评估技术能够从整体上动态反映网络安全状况，并对安全状况的发展趋势进行预测和预警，为增强网络安全性提供可靠的参照性依据。

目前有很多科研机构正在进行网络态势感知工具的研发，并取得了一定的进展。哈尔滨工程大学的王惠强等将多种理论与态势感知相结合，提出了多种态势感知模型。基于简单加权法和灰色理论的网络态势感知模型，利用简单加权法评估网络态势的安全性，并利用灰色理论预测网络安全的发展趋势。基于粗糙集的态势感知算法，将网络攻击行为作为安全要素，利用粗糙集理论处理海量网络安全数据，并且通过具有攻击行为、网络服务和安全态势三个层次的感知模型进行网络态势感知。基于Netfolw的安全态势感知系统，通过NetFlow流数据采集器进行数据采集，并且在此基础上进行数据预处理、事件关联与目标识别、态势评估、威胁评估、响应与预警、态势可视化显示等操作，从而对网络的安全态势进行监控和应急响应。

Sourcefire公司开发的3D System是进行高效的网络安全管理的智能化基础设施。其中的3D Sensor负责监测和收集各种网络信息，并对网络信息进行控制管理的网络态势感知工具。3D Sensor由IPS、RNA、RUA和Netflow Analysis四部分组成。IPS(IntrusionDetection System，入侵检测系统)提供入侵检测和保护，RNA(Real-time NetworkAwareness，实时网络识别)监测和收集网络信息；RUA(Real-time User Awareness，实时用户识别)监测和收集网络用户信息；Netflow Analysis(流量分析)收集并监测网络流量信息。

现有的网络安全态势感知系统存在以下不足：1)缺乏数据关联，现有的网络安全态势感知系统倾向于获取多源数据信息，但缺乏对数据信息之间关联性的分析。2)展现形式单一，目前网络安全评估一般都采用定性的或者等级分类的方式描述网络的安全状态，缺乏更直观的展现形式。

发明内容

本发明提供了一种安全可视化与态势感知平台系统，目的在于：

1.开发建设安全数据中心平台，实现安全数据的集中采集、存储、检索及对外接口，采用多样的、可适配数据源的方式对各类安全设备、系统数据进行采集、清洗、标准化、存储，提供离线、实时、全文检索等多种数据订阅及分析方式；

2.提升安全威胁分析与感知能力，为管理者、安全管理员、安全决策人员提供简单、实用、高效的安全威胁分析平台，内置多种面向业务的安全分析场景和模型，重点发现高级别安全攻击、顽固安全问题，采用大数据、机器学习、用户行为分析等技术提升平台整体安全威胁分析与感知能力；

3.提升平台业务安全可视化能力，充分利用可视化技术特点与优势，在安全分析的关联分析、威胁分析、异常发现、调查取证等各个阶段，以业务为中心并提供良好的交互操作，协助客户看清、看深、看透业务安全本质；

4.提升平台容量与处理性能以及分布式部署能力，从而满足大型企业、众多多分支机构等复杂网络环境与业务场景。

具体方案如下：

一种安全可视化与态势感知平台系统，其包括数据层、分析层和应用与呈现层三个层级，所述数据层实现各类与威胁感知分析相关数据的采集、处理、汇聚、存储、检索能力，并对外提供数据订阅接口，所述分析层通过大数据分析、机器学习、UEBA技术作为支持，通过对数据源的关联、集合分析，从而发现并感知全网已知、未知安全风险和威胁，所述应用与呈现层通过监控大屏、Web门口以及第三方接口方式对外展示分析层分析结果。

所述数据层进一步包括数据采集、数据处理、数据存储和数据管理四个功能模块。

所述分析层进一步包括数据加载、安全检测分析、安全威胁分析、基础分析引擎四个功能模块。

所述数据采集模块以主动采集为主，被动收集为辅，防火墙，IDS设备采用被动采集，其他的数据以主动的方式获取数据，其中主动采集支持采集节点通过Ftp/Sftp、webservice、SNMP、file、JDBC/ODBC等协议主动采集数据，被动采集支持采集节点通过Syslog、Webservice、Flow等协议被动接收数据。

所述数据处理模块对采集到的数据实施清洗/过滤、标准化、关联补齐、添加标签处理，并将标准数据加载到数据存储中，对于被标准化的数据应保存原始日志。

所述数据存储模块和数据管理用于对采集的不同类型的数据进行分类存储，以满足数据分析的要求，支持关系型数据存储、分布式文件存储、全文检索、数据共享、消息总线功能。

所述数据加载模块为各分析场景与数据层的交互提供统一的管理功能，包括统一登录、权限管理、身份认证、数据订阅、请求封装、应答解析功能。

所述安全检测分析模块结合安全设备告警日志和大数据平台的安全检测能力，对网络中的安全攻击进行分析检测，检测结果可作为告警输出，安全分析进一步包括：攻击检测、恶意操作检测、异常流量检测及漏洞四大类网络安全攻击进行分析。

所述安全威胁分析模块以视图方式从攻击态势、脆弱性态势、恶意操作态势、威胁预警、攻击画像和趋势分析与预测方面对安全威胁风险进行安全态势平台呈现。

所述基础分析引擎模块为安全检测分析、安全威胁分析提供分析计算能力，分析引擎包括分析算法、离线计算引擎、实时计算引擎和机器学习引擎。

该平台不但能以海量数据为基础进行事件的挖掘和分析，而且提供必要的网络监控、设备管理和运维流程管理等功能。

附图说明

图1为本发明的平台系统总体技术架构图。

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

如图1所示，是本发明的平台系统总体技术架构图。

安全可视化与态势感知平台从体系架构维度分为数据层、分析层和应用与呈现层共三个层级，并通过统一运维管理进行整体组织管理与维护。以下将对平台各层进行详细介绍和说明：

(1)数据层

数据层是一个具有独立服务能力的安全数据管理中心，实现各类与威胁感知分析相关数据的采集、处理、汇聚、存储、检索能力，并对外提供数据订阅接口。该中心以接口形式向安全威胁分析提供输入数据，同时接口也向其它安全能力开放。

1)数据源

数据层采集的数据源丰富多样，主要包括各类日志数据、流量数据、策略数据、业务数据以及威胁情报数据；其中日志数据有包含了各类服务器、主机等设备日志，各类应用系统、中间件等业务应用日志；流量数据包含全网流量数据、NetFlow数据；策略数据包含安全策略、路由策略、Nat策略数据等；业务数据包含企业4A、身份认证系统、堡垒机等业务相互的数据；情报数据包含共享情报、商业情报、自有情报等。

2)数据采集

采集模块原则上以主动采集为主，被动收集为辅，除了采集对象自身无存储功能，如防火墙，IDS等等设备，可以采用被动采集外，其他的数据优先以主动的方式获取数据。

可支持的数据采集方式如下：

主动采集：支持采集节点通过Ftp/Sftp、webservice、SNMP、file、JDBC/ODBC等协议主动采集数据；

被动采集：支持采集节点通过Syslog、Webservice、Flow等协议被动接收数据。

采集部署：

支持分布式多节点部署；

支持多采集节点存活、健康状态监控，发现节点异常后，及时告警；

支持对采集节点性能监控，保证采集性能与数据量匹配，防止数据丢失。

应用系统采集接口：

支持syslog、WebService、JDBC/ODBC等方式获取4A、安全合规平台、SMP、电子渠道安全设备上的数据；

支持获取4A平台上的用户信息数据；

支持获取安全合规平台上的漏洞信息、基线数据、弱口令结果等数据；

支持获取SMP平台上的主机资产、数据库资产、中间件资产、网络设备资产、安全设备资产资产端口、资产系统、资产业务、资产状态等资产信息；

支持采集与电子渠道系统相关的安全设备的数据。如中间件日志、WEB应用防火墙日志、入侵检测设备日志、网页挂马日志、网页防篡改、防病毒系统日志等。

3)数据处理

数据处理(ETL)对采集到的数据实施清洗/过滤、标准化、关联补齐、添加标签等处理，并将标准数据加载到数据存储中，对于被标准化的数据应保存原始日志。

4)数据汇聚存储

数据汇聚存储用于对采集上来的不同类型的数据进行分类存储，以满足数据分析的要求。支持多种数据格式的存储，提供多种存储方式。支持关系型数据存储、分布式文件存储、全文检索、消息总线等功能。

5)数据层管理

数据层作为整个平台需要完成对全网的安全数据的集中化、标准化、全文检索以及数据共享。在整个运行的过程中，需要支持自身的维护工作，包括采集器管理、数据字典管理以及组件性能监控。

(2)分析层

分析层是整个平台的核心，主要是通过大数据分析、机器学习、UEBA等技术作为支持，通过对数据源的关联、集合分析，从而发现并感知全网已知、未知安全风险和威胁。主要包括数据加载、安全检测分析、安全威胁分析、基础分析引擎四个功能模块。各功能模块功能说明具体如下：

1)数据加载

安全威胁分析各场景的输入数据来自于数据层，同时分析结果也需存储到数据层，数据加载为各分析场景与数据层的交互提供统一的管理功能，主要包括统一登录、权限管理、身份认证、数据订阅、请求封装、应答解析等功能。数据加载模块承担安全分析层和数据层的统一交互。

2)安全检测分析

结合安全设备告警日志和大数据平台的安全检测能力，对网络中的安全攻击进行分析检测，检测结果可作为告警输出。安全分析包括：攻击检测、恶意操作检测、异常流量检测及漏洞四大类网络安全攻击进行分析。针对收集到的外部威胁情报，对与企业相关的威胁情报内容进行分析、汇总。

3)安全态势分析

分析视图从攻击态势、脆弱性态势、恶意操作态势、威胁预警、攻击画像和趋势分析与预测等方面对安全威胁风险进行安全态势平台呈现。

4)基础分析引擎

基础分析引擎为安全检测和安全态势、威胁分析提供分析计算能力，分析引擎包括分析算法、离线计算引擎、实时计算引擎和机器学习引擎等。

(3)应用与展示层

平台应用与展示层属于用户交互层，可通过监控大屏、Web门口以及第三方接口方式对外展示分析层分析结果，即葛洪安全威胁态势情况。

展示内容包含态势总览与安全态势两大部分，其中态势总览可支持图表描述和拓扑模式进行呈现。安全态势主要包含攻击态势、异常流量态势、脆弱性态势、资产安全态势、主机安全态势、安全策略态势，以及一些根据客户自定义开发的多种安全态势信息。

展示形式丰富多样，主要有趋势地图、态势趋势、告警列表、分析预警、威胁分布等方式。并支持用户自定义设置。

(4)统一运维管理

统一运维管理贯彻整个系统三个层次，一方面提供类似系统管理、安全管理、用户权限管理等基础功能，另一方面对外提供偏业务和流程管理相关的辅助功能，如时间管理、工单管理、策略工作流、安全报告等功能。

平台所使用的技术主要包括以下几个方面：

1.大数据存储

平台涉及到各种类型数据源，种类多、存储量大，平台将采用分布式文件存储系统HDFS、分布式的数据库Hbase、分布式文档存储数据库MongoDB提供最基础的大数据存储；分布式批量处理框架MapReduce、实时处理框Spark实现基于分布式存储的分布式计算。

2.分布式计算

其中采用分布式文件存储系统HDFS、分布式的数据库Hbase、分布式文档存储数据库MongoDB提供最基础的大数据存储；分布式批量处理框架MapReduce、实时处理框Spark实现基于分布式存储的分布式计算。

3.机器学习

人机交互式机器学习系统分析内部安全智能，并将其与外部威胁数据相关联，帮助人类在海量的数据中发现威胁数据。然后人类通过标记最相关的威胁向系统提供反馈。随着时间的推移，系统会根据人类输入调整其监测和分析，优化发现真实网络威胁和最小化误报的可能性。

4.UEBA

用户与实体行为分析(UEBA)是一种高级网络威胁检测手段，可以以极高的准确率命中异常事件。平台会从网络设备、系统、应用、数据库和用户处收集数据，利用这些数据，UEBA可以创建一条基线以确定各种不同情况下的正常状态是什么。一旦基准线建立，UEBA解决方案会跟进聚合数据，寻找被认为是非正常的模式。

5.工作流管理引擎

实现与企业的安全运维体系对接，构建基于业务安全策略变更工作流，对变更操作的各个步骤进行监控及影响性分析，并结合合规策略基线提出配置建议。基于风险矩阵的量化安全风险评估系统参照GB/T20984-2007信息安全风险评估规范、ISO 27005:2008信息安全风险管理，以及OWASP威胁建模项目中风险计算模型的要求，设计了一套实用化的风险计算模型，实现了量化的安全风险估算和评估。

6.可视化技术

可视化作为探索、展示和表达数据含义的一种方法，充分利用人的视觉系统特点(视觉是向大脑输入信息最直接、数据带宽最大的方式，每秒可以接收相当于100万字符的信息)，可以让人在更高层面上去观察和理解数据，可以比其它方式让人们更好的利用大量的信息去思考更复杂的问题。可视化在分析复杂数据时必不可少，自然在大数据安全分析中同样发挥了至关重要的作用。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种安全可视化与态势感知平台系统，其包括数据层、分析层和应用与呈现层三个层级，所述数据层实现各类与威胁感知分析相关数据的采集、处理、汇聚、存储、检索能力，并对外提供数据订阅接口，所述分析层通过大数据分析、机器学习、UEBA技术作为支持，通过对数据源的关联、集合分析，从而发现并感知全网已知、未知安全风险和威胁，所述应用与呈现层通过监控大屏、Web门口以及第三方接口方式对外展示分析层分析结果。

2.如权利要求1所述的一种安全可视化与态势感知平台系统，所述数据层进一步包括数据采集、数据处理、数据存储和数据管理四个功能模块。

3.如权利要求1所述的一种安全可视化与态势感知平台系统，所述分析层进一步包括数据加载、安全检测分析、安全威胁分析、基础分析引擎四个功能模块。

4.如权利要求2所述的一种安全可视化与态势感知平台系统，所述数据采集模块以主动采集为主，被动收集为辅，防火墙，IDS设备采用被动采集，其他的数据以主动的方式获取数据，其中主动采集支持采集节点通过Ftp/Sftp、webservice、SNMP、file、JDBC/ODBC等协议主动采集数据，被动采集支持采集节点通过Syslog、Webservice、Flow等协议被动接收数据。

5.如权利要求2所述的一种安全可视化与态势感知平台系统，所述数据处理模块对采集到的数据实施清洗/过滤、标准化、关联补齐、添加标签处理，并将标准数据加载到数据存储中，对于被标准化的数据应保存原始日志。

6.如权利要求2所述的一种安全可视化与态势感知平台系统，所述数据存储模块和数据管理用于对采集的不同类型的数据进行分类存储，以满足数据分析的要求，支持关系型数据存储、分布式文件存储、全文检索、数据共享、消息总线功能。

7.如权利要求3所述的一种安全可视化与态势感知平台系统，所述数据加载模块为各分析场景与数据层的交互提供统一的管理功能，包括统一登录、权限管理、身份认证、数据订阅、请求封装、应答解析功能。

8.如权利要求3所述的一种安全可视化与态势感知平台系统，所述安全检测分析模块结合安全设备告警日志和大数据平台的安全检测能力，对网络中的安全攻击进行分析检测，检测结果可作为告警输出，安全分析进一步包括：攻击检测、恶意操作检测、异常流量检测及漏洞四大类网络安全攻击进行分析。

9.如权利要求3所述的一种安全可视化与态势感知平台系统，所述安全威胁分析模块以视图方式从攻击态势、脆弱性态势、恶意操作态势、威胁预警、攻击画像和趋势分析与预测方面对安全威胁风险进行安全态势平台呈现。

10.如权利要求3所述的一种安全可视化与态势感知平台系统，所述基础分析引擎模块为安全检测分析、安全威胁分析提供分析计算能力，分析引擎包括分析算法、离线计算引擎、实时计算引擎和机器学习引擎。