CN115567370B - 基于实时事件数据的自动化告警方法、存储介质及系统 - Google Patents
基于实时事件数据的自动化告警方法、存储介质及系统 Download PDFInfo
- Publication number
- CN115567370B CN115567370B CN202211402132.8A CN202211402132A CN115567370B CN 115567370 B CN115567370 B CN 115567370B CN 202211402132 A CN202211402132 A CN 202211402132A CN 115567370 B CN115567370 B CN 115567370B
- Authority
- CN
- China
- Prior art keywords
- event
- data
- strategy
- real
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 75
- 230000005540 biological transmission Effects 0.000 claims abstract description 27
- 230000009471 action Effects 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000011217 control strategy Methods 0.000 abstract description 10
- 238000007726 management method Methods 0.000 description 11
- 230000005856 abnormality Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及事件数据告警技术领域,尤其涉及一种基于实时事件数据的自动化告警方法、计算机可读存储介质及系统。该方法通过事件采集引擎订阅实时流事件源和调度批处理事件源的两个操作来获取数据传输源端数据,获取的数据作为业务原始事件输入到流式数据处理框架中进行处理,流式数据处理框架的复杂事件引擎根据事件规则库中预先配置的事件规则等对订阅得到的实时事件数据进行数据标准化处理,输出标准化事件给告警装置,告警装置根据与管控策略库中预存的策略定义和策略输出对应的告警规则对接收的标准化事件数据进行告警策略处理和告警规则匹配,生成告警消息,并对告警消息进行对应的分发处理,实现实时的事件数据异常自动化告警。
Description
技术领域
本发明涉及事件数据告警技术领域,尤其涉及一种基于实时事件数据的自动化告警方法、计算机可读存储介质及系统。
背景技术
近年来,中国智能电网市场规模持续扩大,当前智能电网的产业链主要分为发电、变电、输电、变电、配电、用电等六个环节,各个环节都支持实时数据处理,借助电网管理平台中的电力大数据分析技术,可以从电力系统的海量数据中找出潜在规律,为决策人员提供决策支持。电网管理平台的数据管理架构见图1,从采集设备层的厂站终端、专变终端、公变终端、低压集抄终端等采集的数据经通信层上传到主站层,主站层的数据采集服务器集成了大数据主流技术框架,实现各种数据库、文本、外部实时接口多种数据源接入和海量数据的存储处理,数据采集服务器将采集端采集的数据处理后提供给供给端的客户端、应用服务器和数据库服务器等,供给端的应用服务器集成了基于电网业务的算法和分析模型,实现了多种大数据分析设计的开发接口和界面,使得数据在经过供给端的处理后能以图形化的方式提供给外部系统使用。
智能电网对于电力系统各个环节的运行数据及设备状态在线监测数据的需求,使得电网管理平台的海量数据传输和存储问题越来越受到重视。目前,在电网管理平台中,往往是数据应用人员在使用过程中才会发现数据异常,应用人员进行异常反馈后,人为地对数据异常进行验证,再从数据采集端和供给端进行数据传输过程的异常排查。当前对数据传输过程的异常情况人工发现、人工处理的方式,一方面有些未进行异常反馈的数据问题可能一直都没有被处理,容易遗漏数据异常情况,另一方面数据应用人员已经是数据处理的末端,对数据异常的处理具有滞后性。
发明内容
本发明所要解决的技术问题是提供一种基于实时事件数据的自动化告警方法以及存储有被执行时实现该方法的计算机程序的计算机可读存储介质,该基于实时事件数据的自动化告警方法能够对数据传输过程中的数据异常进行及时告警。
为了解决上述技术问题,第一方面,本发明提供了一种基于实时事件数据的自动化告警方法,包括以下步骤:
A.业务原始事件获取步骤,事件采集引擎分别通过订阅实时流事件源和调度批处理事件源获取数据传输源端数据,将当前获取的全部数据传输源端数据汇聚为业务原始事件;
B.实时事件数据获取步骤,在流式数据处理框架环境下,实时订阅消费事件采集引擎传输的业务原始事件的实时事件数据,通过复杂事件引擎对订阅得到的实时事件数据进行数据标准化处理,将经过所述数据标准化处理得到的数据输出为标准化事件;
C.策略匹配步骤,包括分别预设有策略条件的多个策略模板,实时订阅所述标准化事件,查找与所述标准化事件匹配的策略条件;
D.策略执行步骤,根据查找到的策略条件调取策略模板,对业务原始事件所对应的事件源执行所述策略模板的策略动作。
进一步地,在所述步骤A中,所述订阅实时流事件源是指:根据用户对事件源的配置操作,在事件采集引擎中构建用于提取所配置事件源的数据管道,实时提取所述事件源中的电网业务原始事件和通过采集程序采集后生成的基础事件。
进一步地,在所述步骤A中,所述调度批处理事件源是指:根据用户对事件源和调度条件的配置操作,在事件采集引擎中根据所述调度条件调用采集程序来采集数据库中的数据对象。
进一步地,所述数据对象包括数据、资源、应用、工具、租户当中的一种或多种。
进一步地,所述事件源所述事件源包括作业日志、服务器资源日志、存储资源日志、数据库文件、数据质量异常当中的一种或多种。
进一步地,在所述步骤B中,所述数据标准化处理是指:对实时事件数据进行过滤清洗,将过滤清洗后的数据编译为可执行数据结构的标准事件数据。
进一步地,在所述步骤B中,所述流式数据处理框架环境包括用于获取实时事件数据的数据流组件和用于处理实时事件数据的运算组件、复杂事件引擎。
进一步地,所述流式数据处理框架包括Flink,所述运算组件通过预设的FlinkSQL规则构建标准事件数据的事件输出字段名、字段类型和字段说明,从而将获取的实时事件数据转换为标准事件数据。
进一步地,还包括以下步骤:
事件规则构建步骤,构建事件匹配规则和事件输出规则,根据用户的配置操作将所构建的规则链接到流式数据处理框架以实现所述的数据标准化处理;
策略配置步骤,根据用户的输入操作定义与标准化事件对应的告警策略,所述告警策略包括具有预设的告警规则的策略条件和与所述策略条件对应的策略模板,所述策略模板包括策略条件与策略动作的对应关系。
第二方面,还提供了一种计算机可读存储介质,其存储有计算机程序,计算机程序被处理器运行时能够实现上述基于实时事件数据的自动化告警方法。
第三方面,还提供了一种自动化告警系统,包括处理器和处理器分别控制的事件源管理器、事件规则管理器、策略管理器、流式数据处理框架和告警装置;所述事件源管理器用于连通数据传输源端数据通道;所述事件规则管理器用于配置事件匹配规则和事件输出规则;所述策略管理器用于配置策略模板的策略条件和策略输出规则;所述流式数据处理框架用于从事件源管理器获取数据传输源端数据,调用事件规则管理器的事件匹配规则对数据传输源端数据进行标准化处理来得到标准化事件,调用事件规则管理器的事件输出规则,将标准化事件的数据按照策略模板的策略动作分发到事件输出规则对应的途径;还包括上述计算机可读存储介质,该计算机可读存储介质上的计算机程序可被处理器执行。
该基于实时事件数据的自动化告警方法,通过事件采集引擎订阅实时流事件源和调度批处理事件源的两个操作来获取数据传输源端数据,然后将当前获取的全部数据传输源端数据汇聚为业务原始事件输入到流式数据处理框架中进行处理,流式数据处理框架的应用程序中预先设置了数据标准化处理程序,通过复杂事件引擎对订阅得到的实时事件数据进行数据标准化处理,能够实现数据的过滤清洗,输出标准化事件,然后通过查找与标准化事件匹配的策略条件调取策略模板并执行相应的策略动作,具体地,复杂事件引擎根据事件规则库中预先配置的事件规则,通过事件预处理、事件解析、事件规则匹配等完成标准化事件数据加工后提交到告警装置,告警装置链接管控策略库,告警装置根据与管控策略库中预存的策略定义和策略输出对应的告警规则对接收的标准化事件数据进行告警策略处理和告警规则匹配,生成告警消息,并对告警消息进行对应的分发处理,实现实时的事件数据异常自动化告警。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是电网管理平台的数据管理架构图。
图2是本发明提供的数据异常自动化告警系统架构图。
图3是本发明提供的基于实时事件数据的自动化告警方法的流程示意图。
图4是本发明提供的数据异常自动化告警系统中事件采集引擎Kafka的数据流向示意图。
具体实施方式
以下结合具体实施方式对本发明创造作进一步详细说明。
电网管理平台的数据异常自动化告警系统架构如图2所示。系统的事件管理通过事件源管理器功能实现,事件源管理器连通数据传输源端数据通道,从作业日志、服务器资源日志、存储资源日志、数据库文件、数据质量异常等事件源中获取数据传输过程中的数据事件,如数据同步功能的数据量异动事件、通道状态事件、结果表巡检事件。该数据异常自动化告警系统采用事件采集引擎Kafka采集业务原始事件的数据,采集的数据输入到流式数据处理框架Flink中进行事件处理,从而得到标准化事件。事件处理通过数据流组件DataStream、运算组件FlinkSQL、复杂事件引擎ECP实现,复杂事件引擎ECP调用事件规则管理器的事件匹配规则对数据传输源端数据进行标准化处理来得到标准化事件,调用事件规则管理器的事件输出规则,将标准化事件的数据按照策略模板的策略动作分发到事件输出规则对应的途径,实现实时事件数据和策略的匹配。事件规则需要预先构建,构建事件匹配规则和事件输出规则,根据用户的配置操作将所构建的规则链接到流式数据处理框架以实现的数据标准化处理。在事件规则功能组件的支持下,流式数据处理框架Flink通过调用事件规则库配置事件规则,对从事件源管理器获取的数据传输源端数据进行处理,经过事件预处理、事件解析、事件规则匹配等完成标准事件数据加工后输出标准化事件给告警装置。标准化事件进入告警装置处进行告警处理,告警装置链接到预设有策略管理器功能的管控策略库,系统的管控策略通过策略管理器功能实现,策略管理器用于配置策略模板的策略条件和策略输出规则,通过调用管控策略库,自动化告警系统按照告警策略定义事件分发处理规则,对事件进行接收处理、告警策略处理、告警规则匹配。策略需要预先配置,根据用户的输入操作定义与标准化事件对应的告警策略,告警策略包括具有预设的告警规则的策略条件和与策略条件对应的策略模板,策略模板包括策略条件与策略动作的对应关系。
该数据异常自动化告警系统具体通过执行图3的基于实时事件数据的自动化告警方法实现数据异常的自动化告警,具体步骤说明如下。
A.业务原始事件获取步骤,事件采集引擎分别通过订阅实时流事件源和调度批处理事件源获取数据传输源端数据,将当前获取的全部数据传输源端数据汇聚为业务原始事件。
见图4,该数据异常自动化告警系统监控的数据异常事件来源于两种事件源:实时流事件源和批处理事件源。系统一方面订阅实时流事件源,根据用户对事件源的配置操作,在事件采集引擎中构建用于提取所配置事件源的数据管道,实时提取事件源中的电网业务原始事件和通过采集程序采集后生成的基础事件;另一方面,调度批处理事件源,根据用户对事件源和调度条件的配置操作,如在事件采集引擎中根据调度条件调用采集程序来采集数据库中的数据对象,通过配置SQL和定时调度,定时形成事件源数据,数据对象包括数据库中存储的数据、资源、应用、工具、租户等。
该数据异常自动化告警系统通过订阅实时流事件源和调度批处理事件源这两种方式获取并汇聚与数据异常业务相关的原始事件,事件采集引擎Kafka从业务原始事件中接收原始事件数据,传输到基于Flink框架的事件处理模块。使用Kafka构建数据管道可以将数据的生产者和消费者进行解耦,并且能够保证高可靠以及高性能。
B.实时事件数据获取步骤,在流式数据处理框架环境下,实时订阅消费事件采集引擎传输的业务原始事件的实时事件数据,通过复杂事件引擎对订阅得到的实时事件数据进行数据标准化处理,将经过数据标准化处理得到的数据输出为标准化事件。
流式数据处理框架环境Flink包括用于获取实时事件数据的数据流组件和用于处理实时事件数据的运算组件、复杂事件引擎,运算组件FlinkSQL通过预设的规则构建标准事件数据的事件输出字段名、字段类型和字段说明,从而将获取的实时事件数据转换为标准事件数据,实现对实时事件数据的过滤清洗,并将过滤清洗后的数据编译为可执行数据结构的标准事件数据。
其中,运算组件通过去null值、内容替换、截取、去空格、大小写转换、拼接等功能函数或者自定义SQL对数据进行过滤清洗,通过FlinkSQL规则设置where语句对文本类型、数值类型、日期类型等进行条件匹配,针对文本类型数据如手机号码、身份证号码、邮政编码、邮箱、IP地址等进行要素提取。
C.策略匹配步骤,包括分别预设有策略条件的多个策略模板,实时订阅标准化事件,查找与标准化事件匹配的策略条件。
该数据异常自动化告警系统通过配置订阅标准事件数据,通过流处理引擎根据不同的策略条件匹配策略模板生成策略信息,执行不同的策略动作。在策略管理器中预先构建了管控策略,通过选择对应事件规则,配置策略条件,选择策略对象及执行动作,进行对应策略告警及工单生成。其中,策略条件可以是选择策略规则中输出的字段,配置该字段对应条件,如大于、小于、等于、包含。
D.策略执行步骤,根据查找到的策略条件调取策略模板,对业务原始事件所对应的事件源执行策略模板的策略动作。
该基于实时事件数据的自动化告警方法,通过事件采集引擎订阅实时流事件源和调度批处理事件源的两个操作来获取数据传输源端数据,然后将当前获取的全部数据传输源端数据汇聚为业务原始事件输入到流式数据处理框架中进行处理,流式数据处理框架的应用程序中预先设置了数据标准化处理程序,通过复杂事件引擎对订阅得到的实时事件数据进行数据标准化处理,能够实现数据的过滤清洗,输出标准化事件,然后通过查找与标准化事件匹配的策略条件调取策略模板并执行相应的策略动作,具体地,复杂事件引擎根据事件规则库中预先配置的事件规则,通过事件预处理、事件解析、事件规则匹配等完成标准化事件数据加工后提交到告警装置,告警装置链接管控策略库,告警装置根据与管控策略库中预存的策略定义和策略输出对应的告警规则对接收的标准化事件数据进行告警策略处理和告警规则匹配,生成告警消息,并对告警消息进行对应的分发处理,实现实时的事件数据异常自动化告警。
以下通过电网管理平台数据同步事件对基于实时事件数据的自动化告警方法做具体说明。
管理员在电网管理平台的事件规则库中添加数据同步异常的匹配规则和告警策略,对数据量异动事件中的表数据量异动、通道状态事件中的通道异常和结果表巡检事件中的Hive结果表未创建异常进行告警监控。数据异常自动化告警系统通过Flink上基于Stream管道的相关应用从事件采集引擎Kafka获取电网管理平台数据同步中产生的数据。数据进入事件处理流程,运算组件FlinkSQL对数据进行去重等清洗过滤,再通过复杂事件引擎ECP预先处理得到的事件规则,对数据量异动事件调用匹配事件规则进行初步数据筛查,触发120个表数据量异动事件数据;通过解析通道状态事件,触发194通道异常事件数据;通过解析数据同步结果表巡检事件,触发Hive结果表未创建异常事件数据,系统将这些数据编译为可执行数据结构,输出为三类数据关联的标准化事件。标准化事件进入告警处理程序,通过管控策略联动事件,查找出120个表中100个表通过194通道传输,20个Hive结果表构建异常。系统再根据策略条件和事件分组,将194通道异常及影响的100个表异常信息发送给同步通道负责人并构建问题工单,将20个Hive结果表构建异常发送给Hive结果表构建负责人并构建问题工单,将触发120个表数据量异动信息及工单处理信息发送给表应用人员,实现实时的事件数据异常自动化告警和分发处理。
本实施例通过计算机程序来实现上述基于实时事件数据的自动化告警方法,该计算机程序存储在计算机可读存储介质中,供计算机处理器执行从而实现上述基于实时事件数据的自动化告警方法。以上所描述的自动化告警系统实施例仅是示意性的,其中作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
最后应说明的是:本发明实施例公开的基于实时事件数据的自动化告警方法所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (10)
1.一种基于实时事件数据的自动化告警方法,其特征是,包括以下步骤:
A. 业务原始事件获取步骤,事件采集引擎分别通过订阅实时流事件源和调度批处理事件源获取数据传输源端数据,将当前获取的全部数据传输源端数据汇聚为业务原始事件,所述业务原始事件具体是数据同步异常事件;
B. 实时事件数据获取步骤,在流式数据处理框架环境下,实时订阅消费事件采集引擎传输的业务原始事件的实时事件数据,通过复杂事件引擎对订阅得到的实时事件数据进行数据标准化处理,将经过所述数据标准化处理得到的数据输出为标准化事件,所述标准化事件包括数据量异动事件中的表数据量异动、通道状态事件中的通道异常和数据同步结果表巡检事件中的Hive结果表未创建异常;
C. 策略匹配步骤,包括分别预设有策略条件的多个策略模板,实时订阅所述标准化事件,查找与所述标准化事件匹配的策略条件,所述策略条件包括在所述表数据量异动的全部表中分别查找通过所述通道异常的通道传输的表和与Hive结果表构建异常关联的表;
D. 策略执行步骤,根据查找到的策略条件调取策略模板,对业务原始事件所对应的事件源执行所述策略模板的策略动作,所述策略动作包括将通道异常所影响的全部表异常信息发送给同步通道负责人,将全部Hive结果表构建异常发送给Hive结果表构建负责人。
2.如权利要求1所述的基于实时事件数据的自动化告警方法,其特征是,在所述步骤A中,所述订阅实时流事件源是指:根据用户对事件源的配置操作,在事件采集引擎中构建用于提取所配置事件源的数据管道,实时提取所述事件源中的电网业务原始事件和通过采集程序采集后生成的基础事件。
3.如权利要求1所述的基于实时事件数据的自动化告警方法,其特征是,在所述步骤A中,所述调度批处理事件源是指:根据用户对事件源和调度条件的配置操作,在事件采集引擎中根据所述调度条件调用采集程序来采集数据库中的数据对象。
4.如权利要求1~3当中任意一项所述的基于实时事件数据的自动化告警方法,其特征是,所述事件源所述事件源包括作业日志、服务器资源日志、存储资源日志、数据库文件、数据质量异常当中的一种或多种。
5.如权利要求1所述的基于实时事件数据的自动化告警方法,其特征是,在所述步骤B中,所述数据标准化处理是指:对实时事件数据进行过滤清洗,将过滤清洗后的数据编译为可执行数据结构的标准事件数据。
6.如权利要求1或5所述的基于实时事件数据的自动化告警方法,其特征是,在所述步骤B中,所述流式数据处理框架环境包括用于获取实时事件数据的数据流组件和用于处理实时事件数据的运算组件、复杂事件引擎。
7.如权利要求6所述的基于实时事件数据的自动化告警方法,其特征是,所述流式数据处理框架是Flink框架,所述运算组件通过预设的FlinkSQL规则构建标准事件数据的事件输出字段名、字段类型和字段说明,从而将获取的实时事件数据转换为标准事件数据。
8.如权利要求1所述的基于实时事件数据的自动化告警方法,其特征是,还包括以下步骤:
事件规则构建步骤,构建事件匹配规则和事件输出规则,根据用户的配置操作将所构建的规则链接到流式数据处理框架以实现所述的数据标准化处理;
策略配置步骤,根据用户的输入操作定义与标准化事件对应的告警策略,所述告警策略包括具有预设的告警规则的策略条件和与所述策略条件对应的策略模板,所述策略模板包括策略条件与策略动作的对应关系。
9.计算机可读存储介质,其存储有计算机程序,其特征是,所述计算机程序被处理器运行时能够实现权利要求1~8中任一项所述的基于实时事件数据的自动化告警方法。
10.自动化告警系统,其特征是,包括处理器和处理器分别控制的事件源管理器、事件规则管理器、策略管理器、流式数据处理框架和告警装置;
所述事件源管理器用于连通数据传输源端数据通道;
所述事件规则管理器用于配置事件匹配规则和事件输出规则;
所述策略管理器用于配置策略模板的策略条件和策略输出规则;
所述流式数据处理框架用于从事件源管理器获取数据传输源端数据,调用事件规则管理器的事件匹配规则对数据传输源端数据进行标准化处理来得到标准化事件,调用事件规则管理器的事件输出规则,将标准化事件的数据按照策略模板的策略动作分发到事件输出规则对应的途径;
还包括如权利要求9所述的计算机可读存储介质,该计算机可读存储介质上的计算机程序可被处理器执行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211402132.8A CN115567370B (zh) | 2022-11-10 | 2022-11-10 | 基于实时事件数据的自动化告警方法、存储介质及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211402132.8A CN115567370B (zh) | 2022-11-10 | 2022-11-10 | 基于实时事件数据的自动化告警方法、存储介质及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115567370A CN115567370A (zh) | 2023-01-03 |
CN115567370B true CN115567370B (zh) | 2023-03-14 |
Family
ID=84770395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211402132.8A Active CN115567370B (zh) | 2022-11-10 | 2022-11-10 | 基于实时事件数据的自动化告警方法、存储介质及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115567370B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115794445B (zh) * | 2023-02-06 | 2023-07-04 | 北方健康医疗大数据科技有限公司 | 一种基于flink和规则表达式的数据处理方法、装置及设备 |
CN116303498B (zh) * | 2023-02-28 | 2023-11-03 | 上海数禾信息科技有限公司 | 流批一体方法、装置、设备和介质 |
CN118068789B (zh) * | 2024-02-22 | 2024-07-26 | 浙江机至数字科技有限公司 | 一种智慧工厂数据采集方法、系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111600898A (zh) * | 2020-05-22 | 2020-08-28 | 国网电力科学研究院有限公司 | 基于规则引擎的安全告警生成方法、装置及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI337715B (en) * | 2006-11-08 | 2011-02-21 | Inst Information Industry | Method and system for complex event processing |
CN106487585A (zh) * | 2016-10-09 | 2017-03-08 | 深圳市思博创科技有限公司 | 设备综合监控系统架构 |
CN110300100A (zh) * | 2019-05-28 | 2019-10-01 | 西安交大捷普网络科技有限公司 | 日志审计的关联分析方法与系统 |
-
2022
- 2022-11-10 CN CN202211402132.8A patent/CN115567370B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111600898A (zh) * | 2020-05-22 | 2020-08-28 | 国网电力科学研究院有限公司 | 基于规则引擎的安全告警生成方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115567370A (zh) | 2023-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115567370B (zh) | 基于实时事件数据的自动化告警方法、存储介质及系统 | |
CN111339071B (zh) | 一种多源异构数据的处理方法及装置 | |
CN109344170B (zh) | 流数据处理方法、系统、电子设备及可读存储介质 | |
CN112395170A (zh) | 智能故障分析方法、装置、设备及存储介质 | |
CN109542733A (zh) | 一种高可靠的实时日志收集及可视化检索方法 | |
CN107508722B (zh) | 一种业务监控方法和装置 | |
CN108985981B (zh) | 数据处理系统及方法 | |
CN105656699B (zh) | 内容分发网络的告警管理方法及系统 | |
CN109684053A (zh) | 大数据的任务调度方法和系统 | |
CN109447485B (zh) | 一种基于规则的实时决策系统及方法 | |
CN110209518A (zh) | 一种多数据源日志数据集中收集存储方法及装置 | |
CN111294217A (zh) | 告警分析方法、装置、系统及存储介质 | |
CN111858251B (zh) | 一种基于大数据计算技术的数据安全审计方法及系统 | |
Ferry et al. | Towards a big data platform for managing machine generated data in the cloud | |
CN110928934A (zh) | 一种用于业务分析的数据处理方法和装置 | |
CN110175272A (zh) | 一种基于特征建模实现工单收敛的控制方法及控制装置 | |
CN110019545A (zh) | 工业数据的处理及分析方法、工业数据的处理装置及数据仓库 | |
CN114338746A (zh) | 一种用于物联网设备数据收集的分析预警方法及系统 | |
CN104199889A (zh) | 基于CEP技术的RTLogic大数据处理系统及方法 | |
CN112631754A (zh) | 数据处理方法、装置、存储介质及电子装置 | |
CN112269902A (zh) | 一种大数据的数据采集方法 | |
CN114090529A (zh) | 一种日志管理方法、装置、系统和存储介质 | |
CN107426017A (zh) | 一种通过采集交换机网络流量进行数据分析的方法 | |
CN110597894A (zh) | 一种组织机构数据实时查询系统 | |
CN116070171A (zh) | 一种孪生数据融合平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Automated alarm method, storage medium, and system based on real-time event data Granted publication date: 20230314 Pledgee: Guangzhou Rural Commercial Bank Co.,Ltd. Huaxia Branch Pledgor: GUANGZHOU XIN'AN DATA Co.,Ltd. Registration number: Y2024980030496 |