CN115567370A - 基于实时事件数据的自动化告警方法、存储介质及系统 - Google Patents

Abstract

本发明涉及事件数据告警技术领域，尤其涉及一种基于实时事件数据的自动化告警方法、计算机可读存储介质及系统。该方法通过事件采集引擎订阅实时流事件源和调度批处理事件源的两个操作来获取数据传输源端数据，获取的数据作为业务原始事件输入到流式数据处理框架中进行处理，流式数据处理框架的复杂事件引擎根据事件规则库中预先配置的事件规则等对订阅得到的实时事件数据进行数据标准化处理，输出标准化事件给告警装置，告警装置根据与管控策略库中预存的策略定义和策略输出对应的告警规则对接收的标准化事件数据进行告警策略处理和告警规则匹配，生成告警消息，并对告警消息进行对应的分发处理，实现实时的事件数据异常自动化告警。

Description

基于实时事件数据的自动化告警方法、存储介质及系统

技术领域

本发明涉及事件数据告警技术领域，尤其涉及一种基于实时事件数据的自动化告警方法、计算机可读存储介质及系统。

背景技术

近年来，中国智能电网市场规模持续扩大，当前智能电网的产业链主要分为发电、变电、输电、变电、配电、用电等六个环节，各个环节都支持实时数据处理，借助电网管理平台中的电力大数据分析技术，可以从电力系统的海量数据中找出潜在规律，为决策人员提供决策支持。电网管理平台的数据管理架构见图1，从采集设备层的厂站终端、专变终端、公变终端、低压集抄终端等采集的数据经通信层上传到主站层，主站层的数据采集服务器集成了大数据主流技术框架，实现各种数据库、文本、外部实时接口多种数据源接入和海量数据的存储处理，数据采集服务器将采集端采集的数据处理后提供给供给端的客户端、应用服务器和数据库服务器等，供给端的应用服务器集成了基于电网业务的算法和分析模型，实现了多种大数据分析设计的开发接口和界面，使得数据在经过供给端的处理后能以图形化的方式提供给外部系统使用。

智能电网对于电力系统各个环节的运行数据及设备状态在线监测数据的需求，使得电网管理平台的海量数据传输和存储问题越来越受到重视。目前，在电网管理平台中，往往是数据应用人员在使用过程中才会发现数据异常，应用人员进行异常反馈后，人为地对数据异常进行验证，再从数据采集端和供给端进行数据传输过程的异常排查。当前对数据传输过程的异常情况人工发现、人工处理的方式，一方面有些未进行异常反馈的数据问题可能一直都没有被处理，容易遗漏数据异常情况，另一方面数据应用人员已经是数据处理的末端，对数据异常的处理具有滞后性。

发明内容

本发明所要解决的技术问题是提供一种基于实时事件数据的自动化告警方法以及存储有被执行时实现该方法的计算机程序的计算机可读存储介质，该基于实时事件数据的自动化告警方法能够对数据传输过程中的数据异常进行及时告警。

为了解决上述技术问题，第一方面，本发明提供了一种基于实时事件数据的自动化告警方法，包括以下步骤：

A. 业务原始事件获取步骤，事件采集引擎分别通过订阅实时流事件源和调度批处理事件源获取数据传输源端数据，将当前获取的全部数据传输源端数据汇聚为业务原始事件；

B. 实时事件数据获取步骤，在流式数据处理框架环境下，实时订阅消费事件采集引擎传输的实时事件数据，通过复杂事件引擎对订阅得到的实时事件数据进行数据标准化处理，将经过所述数据标准化处理得到的数据输出为标准化事件；

C. 策略匹配步骤，包括分别预设有策略条件的多个策略模板，实时订阅所述标准化事件，查找与所述标准化事件匹配的策略条件；

D. 策略执行步骤，根据查找到的策略条件调取策略模板，对业务原始事件所对应的事件源执行所述策略模板的策略动作。

进一步地，在所述步骤A中，所述订阅实时流事件源是指：根据用户对事件源的配置操作，在事件采集引擎中构建用于提取所配置事件源的数据管道，实时提取所述事件源中的电网业务原始事件和通过采集程序采集后生成的基础事件。

进一步地，在所述步骤A中，所述调度批处理事件源是指：根据用户对事件源和调度条件的配置操作，在事件采集引擎中根据所述调度条件调用采集程序来采集数据库中的数据对象。

进一步地，所述数据对象包括数据、资源、应用、工具、租户当中的一种或多种。

进一步地，所述事件源所述事件源包括作业日志、服务器资源日志、存储资源日志、数据库文件、数据质量异常当中的一种或多种。

进一步地，在所述步骤B中，所述数据标准化处理是指：对实时事件数据进行过滤清洗，将过滤清洗后的数据编译为可执行数据结构的标准事件数据。

进一步地，在所述步骤B中，所述流式数据处理框架环境包括用于获取实时事件数据的数据流组件和用于处理实时事件数据的运算组件、复杂事件引擎。

进一步地，所述流式数据处理框架包括Flink，所述运算组件通过预设的FlinkSQL规则构建标准事件数据的事件输出字段名、字段类型和字段说明，从而将获取的实时事件数据转换为标准事件数据。

进一步地，还包括以下步骤：

事件规则构建步骤，构建事件匹配规则和事件输出规则，根据用户的配置操作将所构建的规则链接到流式数据处理框架以实现所述的数据标准化处理；

策略配置步骤，根据用户的输入操作定义与标准化事件对应的告警策略，所述告警策略包括具有预设的告警规则的策略条件和与所述策略条件对应的策略模板，所述策略模板包括策略条件与策略动作的对应关系。

第二方面，还提供了一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器运行时能够实现上述基于实时事件数据的自动化告警方法。

第三方面，还提供了一种自动化告警系统，包括处理器和处理器分别控制的事件源管理器、事件规则管理器、策略管理器、流式数据处理框架和告警装置；所述事件源管理器用于连通数据传输源端数据通道；所述事件规则管理器用于配置事件匹配规则和事件输出规则；所述策略管理器用于配置策略模板的策略条件和策略输出规则；所述流式数据处理框架用于从事件源管理器获取数据传输源端数据，调用事件规则管理器的事件匹配规则对数据传输源端数据进行标准化处理来得到标准化事件，调用事件规则管理器的事件输出规则，将标准化事件的数据按照策略模板的策略动作分发到事件输出规则对应的途径；还包括上述计算机可读存储介质，该计算机可读存储介质上的计算机程序可被处理器执行。

该基于实时事件数据的自动化告警方法，通过事件采集引擎订阅实时流事件源和调度批处理事件源的两个操作来获取数据传输源端数据，然后将当前获取的全部数据传输源端数据汇聚为业务原始事件输入到流式数据处理框架中进行处理，流式数据处理框架的应用程序中预先设置了数据标准化处理程序，通过复杂事件引擎对订阅得到的实时事件数据进行数据标准化处理，能够实现数据的过滤清洗，输出标准化事件，然后通过查找与标准化事件匹配的策略条件调取策略模板并执行相应的策略动作，具体地，复杂事件引擎根据事件规则库中预先配置的事件规则，通过事件预处理、事件解析、事件规则匹配等完成标准化事件数据加工后提交到告警装置，告警装置链接管控策略库，告警装置根据与管控策略库中预存的策略定义和策略输出对应的告警规则对接收的标准化事件数据进行告警策略处理和告警规则匹配，生成告警消息，并对告警消息进行对应的分发处理，实现实时的事件数据异常自动化告警。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1是电网管理平台的数据管理架构图。

图2是本发明提供的数据异常自动化告警系统架构图。

图3是本发明提供的基于实时事件数据的自动化告警方法的流程示意图。

图4是本发明提供的数据异常自动化告警系统中事件采集引擎Kafka的数据流向示意图。

具体实施方式

以下结合具体实施方式对本发明创造作进一步详细说明。

电网管理平台的数据异常自动化告警系统架构如图2所示。系统的事件管理通过事件源管理器功能实现，事件源管理器连通数据传输源端数据通道，从作业日志、服务器资源日志、存储资源日志、数据库文件、数据质量异常等事件源中获取数据传输过程中的数据事件，如数据同步功能的数据量异动事件、通道状态事件、结果表巡检事件。该数据异常自动化告警系统采用事件采集引擎Kafka采集业务原始事件的数据，采集的数据输入到流式数据处理框架Flink中进行事件处理，从而得到标准化事件。事件处理通过数据流组件DataStream、运算组件FlinkSQL、复杂事件引擎ECP实现，复杂事件引擎ECP调用事件规则管理器的事件匹配规则对数据传输源端数据进行标准化处理来得到标准化事件，调用事件规则管理器的事件输出规则，将标准化事件的数据按照策略模板的策略动作分发到事件输出规则对应的途径，实现实时事件数据和策略的匹配。事件规则需要预先构建，构建事件匹配规则和事件输出规则，根据用户的配置操作将所构建的规则链接到流式数据处理框架以实现的数据标准化处理。在事件规则功能组件的支持下，流式数据处理框架Flink通过调用事件规则库配置事件规则，对从事件源管理器获取的数据传输源端数据进行处理，经过事件预处理、事件解析、事件规则匹配等完成标准事件数据加工后输出标准化事件给告警装置。标准化事件进入告警装置处进行告警处理，告警装置链接到预设有策略管理器功能的管控策略库，系统的管控策略通过策略管理器功能实现，策略管理器用于配置策略模板的策略条件和策略输出规则，通过调用管控策略库，自动化告警系统按照告警策略定义事件分发处理规则，对事件进行接收处理、告警策略处理、告警规则匹配。策略需要预先配置，根据用户的输入操作定义与标准化事件对应的告警策略，告警策略包括具有预设的告警规则的策略条件和与策略条件对应的策略模板，策略模板包括策略条件与策略动作的对应关系。

该数据异常自动化告警系统具体通过执行图3的基于实时事件数据的自动化告警方法实现数据异常的自动化告警，具体步骤说明如下。

A. 业务原始事件获取步骤，事件采集引擎分别通过订阅实时流事件源和调度批处理事件源获取数据传输源端数据，将当前获取的全部数据传输源端数据汇聚为业务原始事件。

见图4，该数据异常自动化告警系统监控的数据异常事件来源于两种事件源：实时流事件源和批处理事件源。系统一方面订阅实时流事件源，根据用户对事件源的配置操作，在事件采集引擎中构建用于提取所配置事件源的数据管道，实时提取事件源中的电网业务原始事件和通过采集程序采集后生成的基础事件；另一方面，调度批处理事件源，根据用户对事件源和调度条件的配置操作，如在事件采集引擎中根据调度条件调用采集程序来采集数据库中的数据对象，通过配置SQL和定时调度，定时形成事件源数据，数据对象包括数据库中存储的数据、资源、应用、工具、租户等。

该数据异常自动化告警系统通过订阅实时流事件源和调度批处理事件源这两种方式获取并汇聚与数据异常业务相关的原始事件，事件采集引擎Kafka从业务原始事件中接收原始事件数据，传输到基于Flink框架的事件处理模块。使用Kafka构建数据管道可以将数据的生产者和消费者进行解耦，并且能够保证高可靠以及高性能。

B. 实时事件数据获取步骤，在流式数据处理框架环境下，实时订阅消费事件采集引擎传输的实时事件数据，通过复杂事件引擎对订阅得到的实时事件数据进行数据标准化处理，将经过数据标准化处理得到的数据输出为标准化事件。

流式数据处理框架环境Flink包括用于获取实时事件数据的数据流组件和用于处理实时事件数据的运算组件、复杂事件引擎，运算组件FlinkSQL通过预设的规则构建标准事件数据的事件输出字段名、字段类型和字段说明，从而将获取的实时事件数据转换为标准事件数据，实现对实时事件数据的过滤清洗，并将过滤清洗后的数据编译为可执行数据结构的标准事件数据。

其中，运算组件通过去null值、内容替换、截取、去空格、大小写转换、拼接等功能函数或者自定义SQL对数据进行过滤清洗，通过FlinkSQL规则设置where语句对文本类型、数值类型、日期类型等进行条件匹配，针对文本类型数据如手机号码、身份证号码、邮政编码、邮箱、IP地址等进行要素提取。

C. 策略匹配步骤，包括分别预设有策略条件的多个策略模板，实时订阅标准化事件，查找与标准化事件匹配的策略条件。

该数据异常自动化告警系统通过配置订阅标准事件数据，通过流处理引擎根据不同的策略条件匹配策略模板生成策略信息，执行不同的策略动作。在策略管理器中预先构建了管控策略，通过选择对应事件规则，配置策略条件，选择策略对象及执行动作，进行对应策略告警及工单生成。其中，策略条件可以是选择策略规则中输出的字段，配置该字段对应条件，如大于、小于、等于、包含。

D. 策略执行步骤，根据查找到的策略条件调取策略模板，对业务原始事件所对应的事件源执行策略模板的策略动作。

该基于实时事件数据的自动化告警方法，通过事件采集引擎订阅实时流事件源和调度批处理事件源的两个操作来获取数据传输源端数据，然后将当前获取的全部数据传输源端数据汇聚为业务原始事件输入到流式数据处理框架中进行处理，流式数据处理框架的应用程序中预先设置了数据标准化处理程序，通过复杂事件引擎对订阅得到的实时事件数据进行数据标准化处理，能够实现数据的过滤清洗，输出标准化事件，然后通过查找与标准化事件匹配的策略条件调取策略模板并执行相应的策略动作，具体地，复杂事件引擎根据事件规则库中预先配置的事件规则，通过事件预处理、事件解析、事件规则匹配等完成标准化事件数据加工后提交到告警装置，告警装置链接管控策略库，告警装置根据与管控策略库中预存的策略定义和策略输出对应的告警规则对接收的标准化事件数据进行告警策略处理和告警规则匹配，生成告警消息，并对告警消息进行对应的分发处理，实现实时的事件数据异常自动化告警。

以下通过电网管理平台数据同步事件对基于实时事件数据的自动化告警方法做具体说明。

管理员在电网管理平台的事件规则库中添加数据同步异常的匹配规则和告警策略，对数据量异动事件中的表数据量异动、通道状态事件中的通道异常和结果表巡检事件中的Hive结果表未创建异常进行告警监控。数据异常自动化告警系统通过Flink上基于Stream管道的相关应用从事件采集引擎Kafka获取电网管理平台数据同步中产生的数据。数据进入事件处理流程，运算组件FlinkSQL对数据进行去重等清洗过滤，再通过复杂事件引擎ECP预先处理得到的事件规则，对数据量异动事件调用匹配事件规则进行初步数据筛查，触发120个表数据量异动事件数据；通过解析通道状态事件，触发194通道异常事件数据；通过解析数据同步结果表巡检事件，触发Hive结果表未创建异常事件数据，系统将这些数据编译为可执行数据结构，输出为三类数据关联的标准化事件。标准化事件进入告警处理程序，通过管控策略联动事件，查找出120个表中100个表通过194通道传输，20个Hive结果表构建异常。系统再根据策略条件和事件分组，将194通道异常及影响的100个表异常信息发送给同步通道负责人并构建问题工单，将20个Hive结果表构建异常发送给Hive结果表构建负责人并构建问题工单，将触发120个表数据量异动信息及工单处理信息发送给表应用人员，实现实时的事件数据异常自动化告警和分发处理。

本实施例通过计算机程序来实现上述基于实时事件数据的自动化告警方法，该计算机程序存储在计算机可读存储介质中，供计算机处理器执行从而实现上述基于实时事件数据的自动化告警方法。以上所描述的自动化告警系统实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

最后应说明的是：本发明实施例公开的基于实时事件数据的自动化告警方法所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种基于实时事件数据的自动化告警方法，其特征是，包括以下步骤：

A. 业务原始事件获取步骤，事件采集引擎分别通过订阅实时流事件源和调度批处理事件源获取数据传输源端数据，将当前获取的全部数据传输源端数据汇聚为业务原始事件；

B. 实时事件数据获取步骤，在流式数据处理框架环境下，实时订阅消费事件采集引擎传输的实时事件数据，通过复杂事件引擎对订阅得到的实时事件数据进行数据标准化处理，将经过所述数据标准化处理得到的数据输出为标准化事件；

C. 策略匹配步骤，包括分别预设有策略条件的多个策略模板，实时订阅所述标准化事件，查找与所述标准化事件匹配的策略条件；

D. 策略执行步骤，根据查找到的策略条件调取策略模板，对业务原始事件所对应的事件源执行所述策略模板的策略动作。

2.如权利要求1所述的基于实时事件数据的自动化告警方法，其特征是，在所述步骤A中，所述订阅实时流事件源是指：根据用户对事件源的配置操作，在事件采集引擎中构建用于提取所配置事件源的数据管道，实时提取所述事件源中的电网业务原始事件和通过采集程序采集后生成的基础事件。

3.如权利要求1所述的基于实时事件数据的自动化告警方法，其特征是，在所述步骤A中，所述调度批处理事件源是指：根据用户对事件源和调度条件的配置操作，在事件采集引擎中根据所述调度条件调用采集程序来采集数据库中的数据对象。

4.如权利要求1~3当中任意一项所述的基于实时事件数据的自动化告警方法，其特征是，所述事件源所述事件源包括作业日志、服务器资源日志、存储资源日志、数据库文件、数据质量异常当中的一种或多种。

5.如权利要求1所述的基于实时事件数据的自动化告警方法，其特征是，在所述步骤B中，所述数据标准化处理是指：对实时事件数据进行过滤清洗，将过滤清洗后的数据编译为可执行数据结构的标准事件数据。

6.如权利要求1或5所述的基于实时事件数据的自动化告警方法，其特征是，在所述步骤B中，所述流式数据处理框架环境包括用于获取实时事件数据的数据流组件和用于处理实时事件数据的运算组件、复杂事件引擎。

7.如权利要求6所述的基于实时事件数据的自动化告警方法，其特征是，所述流式数据处理框架是Flink框架，所述运算组件通过预设的FlinkSQL规则构建标准事件数据的事件输出字段名、字段类型和字段说明，从而将获取的实时事件数据转换为标准事件数据。

8.如权利要求1所述的基于实时事件数据的自动化告警方法，其特征是，还包括以下步骤：

事件规则构建步骤，构建事件匹配规则和事件输出规则，根据用户的配置操作将所构建的规则链接到流式数据处理框架以实现所述的数据标准化处理；

策略配置步骤，根据用户的输入操作定义与标准化事件对应的告警策略，所述告警策略包括具有预设的告警规则的策略条件和与所述策略条件对应的策略模板，所述策略模板包括策略条件与策略动作的对应关系。

9.计算机可读存储介质，其存储有计算机程序，其特征是，所述计算机程序被处理器运行时能够实现权利要求1~8中任一项所述的基于实时事件数据的自动化告警方法。

10.自动化告警系统，其特征是，包括处理器和处理器分别控制的事件源管理器、事件规则管理器、策略管理器、流式数据处理框架和告警装置；

所述事件源管理器用于连通数据传输源端数据通道；

所述事件规则管理器用于配置事件匹配规则和事件输出规则；

所述策略管理器用于配置策略模板的策略条件和策略输出规则；

所述流式数据处理框架用于从事件源管理器获取数据传输源端数据，调用事件规则管理器的事件匹配规则对数据传输源端数据进行标准化处理来得到标准化事件，调用事件规则管理器的事件输出规则，将标准化事件的数据按照策略模板的策略动作分发到事件输出规则对应的途径；

还包括如权利要求9所述的计算机可读存储介质，该计算机可读存储介质上的计算机程序可被处理器执行。

Images