CN112783714A - 一种基于大数据平台的安全运维一体化监控方法 - Google Patents

Abstract

本发明涉及一种基于大数据平台的安全运维一体化监控方法，将从监测设备采集的数据首先存入消息中间件，然后智能分析引擎将数据取出，根据指定的规则进行实时分析，分析后的结果反馈给通知告警子系统，对于异常事件，进行及时报警，并根据相应预案进行及时处置，避免了现有技术中将数据保存到数据库或磁盘后再进行分析而引起的处理延迟的问题，能缩短事件的发现时间，并及时预警和处置的方法，提高了异常及安全事件的处置效率和及时性。

Description

一种基于大数据平台的安全运维一体化监控方法

技术领域

本发明属于大数据技术在IT运维体系中的实际应用，更具体地，针对传统运维数据，借助大数据平台进行智能化分析，为预警及处置提供依据。

背景技术

随着IT运维体系的不断发展，出现了众多基于开源运维监控框架(如Zabbix、Nagios、Open-falcon等)的运维监控系统，这些运维监控系统架构风格不同、数据采集和存储的方式各异，基本能满足企业和部门对日常IT运维的要求。但是，这些运维监控系统都缺少一种对监测数据进行实时智能分析，及时报警的功能。然而，近几年发展迅猛的大数据技术，不仅提供了海量数据存储的技术，还提供了历史数据离线分析计算和实时数据在线分析的功能。但目前能将大数据技术应用于IT运维系统的技术还不成熟，通常的方式是将大量监测数据存储，然后直接进行设备状态和趋势的展示或者经过一定的离线数据分析后对分析结果进行展示。监测数据经过存储后再进行分析和展示，数据的实时性并没有体现，对于重大异常事件和安全事件不能及时发现和处置，为设备和系统的正常运行留下了较大的隐患。

发明内容

为了解决上述问题，本发明提出了一种基于大数据平台的安全运维一体化监控方法，采用大数据技术实时对在线监测数据进行在线分析，根据分析结果产生预警和处理信息，从而能实时处置监控设备出现的问题，确保设备的安全运行。

本发明的技术方案如下：

一种基于大数据平台的安全运维一体化监控方法，其特征在于包括以下步骤：

步骤1：通过实时数据产生所在设备或系统提供的接口，将实时数据存放到Kafka消息中间件上，根据业务情况的不同采用不同的策略将数据存放到不同的topic和partion中；

步骤2：智能分析引擎从Kafka中获取实时监测数据，规则引擎从规则库中获取规则，事件分析模块根据规则引擎的规则对监测数据进行实时分析；

步骤3：智能分析引荐将分析结果发送到告警子系统，通知告警模块根据告警规则进行及时报警；

步骤4：通知告警模块将告警事件推送到事件处置子系统，事件处置模块根据预案对相关事件进行相关的处置。

本发明的优点在于：

1、本发明使用大数据平台对监控数据进行实时智能分析，缩短事件的发现时间，并及时预警和处置的方法，提高了异常及安全事件的处置效率和及时性。

2、本发明通过对实时数据进行检测分析，避免了将数据保存到数据库或磁盘后再进行分析而引起的处理延迟的问题。

附图说明

图1是本发明的系统处理流程示意图。

具体实施方式

如图1所示，本发明采用的技术方案是将从监测设备采集的数据首先存入消息中间件kafka，然后智能分析引擎将数据取出，根据指定的规则进行实时分析，分析后的结果反馈给通知告警子系统，对于异常事件，进行及时报警，并根据相应预案进行及时处置。具体步骤可以分为以下几步：

步骤1：通过接口调用，将采集的实时数据存入消息中间件Kafka，根据业务的实际情况划分不同的topic和partion。

步骤2：智能分析引擎从kafka中将监测数据取出，同时将检测规则从规则库中取出，并对取出的监测数据进行实时分析。

步骤3：智能分析引擎将分析的结果反馈给通知告警子系统，告警子系统将异常事件进行及时报警。

步骤4：报警事件触发事件处理子系统对相应的事件按照相应的预案进行处置。

Claims (1)

1.一种基于大数据平台的安全运维一体化监控方法，其特征在于包括以下步骤：

步骤1：通过实时数据产生所在设备或系统提供的接口，将实时数据存放到Kafka消息中间件上，根据业务情况的不同采用不同的策略将数据存放到不同的topic和partion中；

步骤2：智能分析引擎从Kafka中获取实时监测数据，规则引擎从规则库中获取规则，事件分析模块根据规则引擎的规则对监测数据进行实时分析；

步骤3：智能分析引荐将分析结果发送到告警子系统，通知告警模块根据告警规则进行及时报警；

步骤4：通知告警模块将告警事件推送到事件处置子系统，事件处置模块根据预案对相关事件进行相关的处置。

Images