CN107547228A - 一种基于大数据的安全运维管理平台的实现架构 - Google Patents

Abstract

本发明公开了一种基于大数据的安全运维管理平台的实现架构，包括边缘管理节点、区域管理节点和全局管理节点；所述边缘管理节点负责一个或一个以上企业的安全和运维监控信息的采集和控制，所述区域管理节点负责一个以上边缘管理节点的安全和运维监控信息的采集和控制，所述全局管理节点负责一个以上区域管理节点的安全和运维监控信息的采集和控制、或一个以上边缘管理节点的安全和运维监控信息的采集和控制。采用本发明所提供的方法，能够使得安全事件、配置信息、漏洞信息的采集和处理高效，安全运维管理平台的架构更具有可扩展性和容错。它可以解决目前业界的主流技术存在可扩展性、容错差，基于大数据分析缺乏告警智能控制等问题。

Description

一种基于大数据的安全运维管理平台的实现架构

技术领域

本发明涉及信息安全应用技术领域，尤其涉及到基于大数据安全运维管理平台的实现架构。

背景技术

安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。网络安全、信息安全和服务安全体系是企业安全生产工作重要组成部分。对于企事业单位来说，安全生产是保障网络高效稳定运行的前提条件，也是一切市场经营活动和客户服务的基础。

当前，企业网络中部署了各种不同的业务系统，有效的提高了劳动生产率，降低了运营成本，已经成为企业高效运营的重要支撑和生产环节中不可缺少的一环。一方面，一旦各业务系统出现安全事件或故障，不能及时发现、及时处理、及时恢复，势必直接导致承载在其上所有业务的运行，影响企业的正常运营秩序，涉及到所服务企业用户的系统将直接导致用户投诉，满意度下降，公司形象受到损害，对于企业网络的安全保障就显得格外重要；另一方面，各种网络攻击技术也变得越来越先进，越来越普及化，企业的网络系统面临着随时被攻击的危险，经常遭受不同程度的入侵和破坏，严重干扰了企业网络的正常运行。日益严峻的安全威胁迫使企业不得不加强对网络系统的安全防护，不断追求多层次、立体化的安全防御体系，逐步引入了防病毒、防火墙、IDS、IPS、VPN、4A、UTM、负载均衡、堡垒机、SOC等来保护这些业务系统正常运营。

仅依赖于这些单个产品，不可能有效地保护自己企业的整体网络安全，信息安全作为一个整体，需要把安全过程中的有关各方诸如各层次的安全产品、各级机构、运营网络、客户等纳入一个紧密的安全与运维监控平台中，才能有效地保障企业的网络安全和保护信息投资。因此，基于大数据的安全与运维监控系统产品就应运而生。

借助于大数据安全分析技术，人们能够更好地解决海量安全要素信息的采集、存储的问题，借助基于大数据安全分析技术的机器学习和数据挖掘算法，能够更加智能地洞悉信息与网络安全的态势和网络运行状态，更加主动、弹性地应对新型复杂的威胁、未知多变的安全风险和各种故障。

攻击者的攻击行为隐藏在海量的安全事件中，将这些海量信息汇聚起来就是安全大数据。通过对这些安全大数据进行实时分析和历史分析，建立行为轮廓，并进行行为建模和数据挖掘，就能够帮助安全分析师识别出攻击者及其攻击行为和过程，并提取攻击特征，反馈给安全防御设施进行阻断。

网络的潜在故障隐藏在海量的性能数据、配置信息和告警事件中，将这些海量信息汇聚起来就是运维监控大数据。通过对这些运维监控大数据进行实时分析和预测，就能够帮助运维监控工程师预测出故障即将发生的时间，使得安全运维监控工程师能够在故障发生之前消除故障，没有降低服务质量（QoS）和用户体验，没有造成业务系统瘫痪影响企业的正常运营。

网络安全与运维监控的主要思想是积极防御、积极对抗，这种思想就是尽可能地提前预测到攻击和故障发生的事件，以便为找到对策争取时间，网络攻防与故障在某种程度上就是争取时间的战斗。谁得到的时间越多，谁就越有可能掌握对抗的主动权，而掌握对抗的主动权就意味着更有可能获取对抗的胜利。

在这种思想的指导下，对企业网络的安全与运维监控的核心是——安全事件的采集和处理必须是高效、可扩展、容错和实现闭环控制或智能控制。然而，目前业界的主流技术，存在可扩展性、容错差，基于大数据分析缺乏告警智能控制等问题等，难以满足当前企业安全运维管理平台的实时控制的要求。

发明内容

本发明提供了一种基于大数据的安全运维管理平台的实现架构，以解决现有技术问题存在可扩展性差、缺乏容错等缺陷。

本发明提供了一种基于大数据的安全运维管理平台的实现架构，应用于能够为多个企业用户提供各种安全服务和运维监控服务的安全与运维监控的管理中。

所述安全服务包括配置管理、安全风险评估、威胁检查、漏洞扫描、防病毒、响应控制联动等。

所述运维监控服务包括配置管理、故障管理、性能管理、问题管理、变更管理、响应控制联动等。

所述方法包括以下步骤：

创建边缘管理节点，每一个边缘管理节点服务一个或多个企业的安全与运维监控。

创建区域管理节点，一个区域管理节点可以包含多个边缘管理节点；它可以位于某个边缘管理节点内，也可以独立设置。

创建全局管理节点，一个全局管理节点可以包含多个区域管理节点；全局管理节点可以位于某个区域管理节点内，也可以独立设置。

设置依赖策略，若边缘管理节点的采集设备发生故障，则所述边缘管理节点的安全与运维监控信息采集，可以切换到依赖策略所规定的本节点的另一台采集设备或另一个边缘管理节点的采集设备上。

设置依赖策略，使得远程采集设备能够采集相邻或相近的边缘管理节点的漏洞信息等。

进一步地，所述边缘管理节点负责所辖企业的安全服务和运维监控服务，并将所接收的网络设备的事件信息、漏洞信息、配置信息等，经过预处理、筛选和分析，将相关结果发送给它的区域管理节点，等。

所述区域管理节点负责所辖边缘管理节点的安全服务和运维监控服务，将所接收到的网络设备的事件信息、漏洞信息、配置信息等，经过预处理、筛选和分析，将结果发送给它的全局管理节点，等。

所述全局管理节点负责所辖区域管理节点的安全服务和运维监控服务，将所接收到的网络设备的事件信息、漏洞信息、配置信息等，进行全局分析。

所述依赖策略，包括负载均衡策略、容错策略等。

进一步地，所述网络设备包括防火墙、IDS、IPS、路由器、交换机、服务器、操作系统、应用中间件、数据库等，支持SNMP Trap、syslog、WMI、XML等协议。

所述边缘管理节点包括边缘数据库、若干台采集设备、管理采集设备、远程采集设备和边缘分析服务器。所述边缘数据库负责存储本节点的事件、漏洞、配置信息等；远程采集设备安装了安全与运维监控工具软件，例如漏洞扫描等，负责相邻节点的漏洞信息等采集；采集设备负责接收本节点网络设备通过SNMP Trap、syslog、WMI、XML等协议上报的的事件、漏洞、配置信息等，所述管理采集设备，既是采集设备，又是管理设备；当本节点某台采集设备发生故障时，则所述管理采集设备根据依赖策略负责切换到另一台正常运行的采集设备上；当管理采集设备发生故障时，由它的区域管理节点负责切换到另一个边缘管理节点的采集设备上；所述边缘分析服务器负责预处理、筛选和分析本节点的事件、漏洞、配置信息等。

所述区域管理节点包括包括区域数据库、区域分析服务器。

所述全局管理节点包括包括全局数据库、全局分析服务器。

所述系统包括一个全局管理节点、若干区域管理节点、多个边缘管理节点和依赖策略，或者包括一个全局管理节点、多个边缘管理节点和依赖策略。

附图说明

图1为本发明所述的一种基于大数据的安全运维管理平台的实现架构的示意图；

图2为本发明所述的一种基于大数据的安全运维管理平台的实现架构的数据采集Agent示意图。

图3为本发明所述的一种基于大数据的安全运维管理平台的数据采集和处理的示意图。

具体实施方式

下面是根据附图和实例对本发明的进一步详细说明：

图1为本发明所述的一种基于大数据的安全运维管理平台的实现架构的示意图，它具有如下功能：

（1）采集信息：例如事件、漏洞和配置信息等；

（2）可扩展性；

（4）容错。

所述系统，被设计成一种分布式的架构，由全局管理节点、区域管理节点和边缘管理节点所组成。其中，全局管理节点包含若干个区域管理节点，区域管理节点包含若干边缘管理节点；或全局管理节点包含若干边缘管理节点。

边缘管理节点包含若干采集设备、管理采集设备、边缘数据库、远程采集服务器、边缘分析服务器等。

区域管理节点包含区域数据库、区域分析服务器等，而全局管理节点包含全局数据库、全局分析服务器等。

采集设备负责采集所辖企业的网络设备事件信息、性能信息、漏洞信息和配置信息，并经过预处理后转发给边缘分析服务器。

远程采集设备安装了安全与运维监控工具软件，例如漏洞扫描等，负责相邻节点的漏洞信息等采集等。

管理采集设备负责采集采集设备的CPU、内存、硬盘、存活信息和距离远近等，如果当其中一台采集设备发生故障时，则由它负责选择另一台采集设备代替，选择的原则可以根据采集设备的CPU、内存、硬盘和存活信息等进行选择；如果管理采集设备发生故障，则由所辖区域管理节点根据依赖策略负责切换到另一个边缘管理节点的采集设备上。

所述边缘数据库负责存储所辖采集设备所采集的事件信息、配置信息、漏洞信息等

所述边缘分析服务器对所采集的事件信息、配置信息、漏洞信息等进行威胁检查、风险评估、合规性分析等。

所述采集设备采集诸如位于同一节点的网络设备的日志、格式化日志，并把这些日志发送到本地边缘数据库。在每一个边缘管理节点之内，至少有一个采集设备，在有多个采集设备的情况下，其中一个采集设备兼任管理角色，即它负责管理在同一个边缘管理节点之内的所有采集设备，这里称之为管理采集设备。它周期性地轮询其它所辖的采集设备，并且当某一个采集设备发生故障时，则该设备根据依赖策略选择正常的采集设备代替已故障采集设备采集所在边缘管理节点的安全与运维监控信息。负责管理的采集设备也有备份，这里称之为“管理采集设备”。

所述边缘分析服务器负责本节点的安全分析和运维监控。它分析本节点数据库里的格式化的日志信息、配置信息和漏洞信息等，并产生告警。然后，关联该告警以发现更复杂的入侵（例如，由多个事件所组成）。通过边缘分析服务器，事件数量减少了很多。由本节点分析服务器产生的分析结果被发送到它的区域管理节点，或全局管理节点。

所述区域管理节点负责该区域的安全分析和运维监控。它分析区域数据库里的告警等、关联区域数据库里的告警和合并区域数据库里的告警，以尽可能地产生最优及最准确的输出。它也能够检测出牵涉多个边缘管理节点的更复杂的告警。区域分析服务器周期性地轮询所辖边缘数据库，并且当它们其中的一个边缘分析服务器发生故障而不能正常运行时，则区域分析服务器根据依赖策略选择另一个边缘管理节点或自己代替该边缘分析服务器安全服务和运维监控。区域分析服务器也有备份。

全局管理节点负责该全局的安全分析和运维监控。它分析全局数据库里的告警等、关联全局数据库里的告警和合并全局数据库里的告警，产生基于全局的最优及最准确的输出。它也能够检测出牵涉多个区域管理节点的更复杂的告警。全局分析服务器周期性地轮询所辖区域数据库，并且当它们其中的一个区域分析服务器发生故障而不能正常运行时，则全局分析服务器根据依赖策略或自己代替该区域分析服务器安全服务和运维监控。全局分析服务器也有备份。

设置节点之间的依赖策略，即：边缘管理节点、区域管理节点和全局管理节点的依赖策略，也是采集设备和管理采集设备的依赖策略；若边缘管理节点的所有采集设备发生故障，则所述边缘管理节点的安全与运维监控信息采集可以切换到依赖策略所规定的另一个边缘管理节点、或区域管理节点、或全局管理节点上。

设置依赖策略，使得远程采集设备能够采集相邻或相近的边缘管理节点的漏洞信息等。

图2为本发明所述的一种基于大数据的安全运维管理平台的实现架构的数据采集示意图；采集设备的功能如下：

（1）接收信息

（2）消息格标准化

（3）输出消息到数据库存储

它从被管设备中采集数据。被管设备包括诸如深信服、绿盟、趋势科技等，网络设备（路由器、交换机等）诸如中兴通讯、华为等，服务器诸如浪潮。

采集设备支持syslog，SNMP，SMTP，HTML等传输协议以采集异构数据。它由协议代理（protocol agent）、应用代理（application agent）和调度器（dispatcher）所组成。

协议代理采集各种设备的信息。应用代理负责分析这些信息和存储到数据库中。这两个代理通过调度器实现互联。

协议代理接收通过诸如syslog、SNMP等传输协议发送过来的信息，并使所收集的数据发送给调度器。协议代理的简单性使得它们很容易地实现和维护。

调度器的目的是在确定一个输入信息的类型之后，转发这个消息给相关的应用代理。

图3为本发明所述的一种基于大数据的安全运维管理平台的数据采集和处理的示意图。

安全运维管理平台收集整合来自各种各样网络设备及系统的大量数据，并且从海量数据中提取安全运维管理人员关心的数据,呈现给安全运维管理人员，帮助安全管理人员对这些数据进行关联性分析和优先级分析。

安全运维管理平台具有如下功能：

自定义采集：自定义事件过滤和个性化处理：安全运维管理人员可以设定某些事件的属性，使得它在采集和处理中具有特有的处理手段和响应方式，或者提高该类事件的重要等级，或者直接扔掉以此提高事件采集的聚焦性。

标准化：数据的标准化，将各厂家产品自定义的事件信息标准化成一些特定格式的信息；

聚合：数据的聚合，将各个设备发送的重复信息合成一条，这既包括一个设备来的重复信息，也包括跨设备的重复信息；

关联：数据的关联，安全运维管理人员可以通过对多种信息的关联分析，来准确判断发生了什么事件。关联性分析有三种实现：基于规则的关联、基于统计的关联和基于大数据分析。基于规则的关联是指,预定义一些规则，满足这些规则定义的事件信息都出现了，就认为某种攻击发生了；基于统计的关联是指,定义一些大的安全事件类别，将出现的事件先归类，然后再根据大类出现的事件的安全级别和数量来估计发生的攻击；基于大数据分析，通过采用机器学习及数据挖掘算法等进行深度分析。

资产关联匹配：资产匹配，基于监控资产或者终端的事件匹配，进一步筛选事件数据，以此提高事件的压缩率。

漏洞综合匹配：漏洞事件匹配模型处理，通过事件资产和资产上具有的漏洞来进一步提高事件的压缩率，以此为管理监控人员更加准确的定位事件关注的焦点。

数据重要性过滤：数据的风险化，将来自于各个设备及系统的数据进行链接，构成以资产和服务为核心的风险呈现，例如安全运维管理平台可以告诉您哪个服务是企业的关键性服务，例如生产管理系统是企业运作的关键环节，如果它不能及时有效的运行，会给企业带来极大的负面影响；安全运维管理平台也可以告诉您哪些IT资产对生产管理的关键过呈提供即时的支持，例如定单，而哪些IT资产只支持非关键过程，例如文件备份。最后当出现安全问题时，事件分析功能将指出安全问题产生的源头和发生的位置。例如，它可以告诉您最近发生的100个安全问题中，大部分都是来源于某个IP地址针对某台服务器的攻击，而这台服务器是关键性服务的关键过程的即时支持IT设备。并将这个情况迅速通过预先定义好的方式传递给有关人员。

自定义事件报表呈现：事件统计时，可以对某些目前没有相关统计制定的事件在报表呈现时不作为统计项。不计入统计结果。

以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围；凡是依本发明所作的等效变化与修改，都被视为本发明的专利范围所涵盖。

Claims (7)

1.本发明提供了一种基于大数据的安全运维管理平台的实现架构，包括边缘管理节点、区域管理节点、全局管理节点和依赖策略。

2.如权利要求1所述的一种基于大数据的安全运维管理平台的实现架构，所述边缘管理节点包含网络设备、采集设备、远程采集设备、边缘数据库、边缘分析服务器，并且边缘分析服务器将分析结果发送给它的上一级区域数据库。

3.如权利要求1所述的一种基于大数据的安全运维管理平台的实现架构，所述区域管理节点包括区域数据库、区域分析服务器，并且区域分析服务器将分析结果发送给它的上一级全局数据库。

4.如权利要求1所述的一种基于大数据的安全运维管理平台的实现架构，所述全局管理节点包括全局数据库、全局分析服务器，预测和分析基于全局的安全攻击和告警。

5.如权利要求1所述的一种基于大数据的安全运维管理平台的实现架构，所述依赖策略，当边缘管理节点的采集设备发生故障时，则所述边缘管理节点的安全与运维监控信息采集可以切换到依赖策略所规定的另一台本地采集设备、或另一个边缘管理节点的采集设备上；所述依赖策略，使得远程采集设备能够采集相邻或相近的边缘管理节点的漏洞信息等。

6.如权利要求2所述的一种基于大数据的安全运维管理平台的实现架构，所述网络设备至少包括以下一个或以上：防火墙、IDS、IPS、路由器、交换机、服务器、操作系统、应用中间件、数据库，等。

7.如权利要求2所述的一种基于大数据的安全运维管理平台的实现架构，所述网络设备向边缘管理节点至少提供以下一个或以上的信息：事件信息、配置信息、漏洞信息等。