CN117971403A - 一种事件处理方法、装置、电子设备及存储介质 - Google Patents
一种事件处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117971403A CN117971403A CN202410148000.XA CN202410148000A CN117971403A CN 117971403 A CN117971403 A CN 117971403A CN 202410148000 A CN202410148000 A CN 202410148000A CN 117971403 A CN117971403 A CN 117971403A
- Authority
- CN
- China
- Prior art keywords
- event
- data
- event information
- calculation
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 144
- 238000004364 calculation method Methods 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002408 directed self-assembly Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Machine Translation (AREA)
Abstract
本发明提供一种事件处理方法、装置、电子设备及存储介质,该方法包括:通过从消费数据源中获取待计算数据,通过待计算数据标识符在事件取数依赖关系以及事件信息缓存中,查找出事件信息;通过语言识别工具解析预先定义好的事件规则,得到计算类,通过计算类对事件信息进行事件规则计算,以得到事件处理结果,过对象数据转换、规则解析、规则计算处理,实现了单因子事件处理产品化,提高了事件规则的计算效率与精确性。
Description
技术领域
本申请涉及大数据领域,具体涉及一种事件处理方法、装置、电子设备及介质。
背景技术
云计算、物联网、移动互联、社交媒体等新兴信息技术和应用模式的快速发展,促使全球数据量急剧增加,推动社会进入大数据时代。事件规则的相关计算处理是大数据计算中的核心。在大数据的工序计算中,事件规则计算的实际情况比较复杂多变,在传统事件规则处理中,系统通过多个任务对不同的事件主题进行监听,然后从依赖的最底层代码进行修改。
当今,在实际计算中,事件规则种类繁多,在底层修改代码的运行方式存在运算效率较低、并且灵活性也不高。
发明内容
鉴于以上所述相关技术的缺点,本申请提供一种事件处理方法、装置、电子设备及介质,以解决事件规则处理运算效率较低、并且灵活性也不高的问题。
本申请提供了一种事件处理方法,所述方法包括:从消费数据源中获取待计算数据,通过所述待计算数据的标识符在事件取数依赖关系缓存中查找出事件标识符;通过所述事件标识符在事件信息缓存中查找出事件信息;通过语言识别工具解析预先定义好的事件规则,得到计算类;根据所述计算类对所述事件信息进行事件规则计算,以得到事件处理结果。
于本申请的一实施例中,从所述消费数据源中提取待计算数据之前,还包括:获取数采点位数据和加工点位数据,所述数采点位数据位于消息中间件,所述加工点位数据位于消息系统;将所述数采点位数据从所述消息中间件整合至消息系统中对应的加工点位数据中,以得到消费数据源,所述消费数据源包括对象原始数据主题、简单点位加工结果主题和复杂点位加工结果。
于本申请的一实施例中,通过所述事件标识符在事件信息缓存中查找出事件信息,包括:基于所述事件标识符在所述事件信息缓存中获取初步事件信息;将所述事件信息缓存中事件信息进行扁平映射,以更新事件信息的映射规则;基于所述事件信息缓存和所述扁平映射后的事件信息,将所述初步事件信息进行过滤,得到事件信息。
于本申请的一实施例中,通过所述计算类对所述事件信息进行事件规则计算,以得到事件处理结果,包括:通过键值分组按照不同的事件标识符将所述事件信息进行分组,得到多个事件信息组;基于事件信息组与存值规则预先定义事件规则;基于语言识别工具解析预先定义的事件规则,得到计算类;根据所述计算类对将对应的事件信息组进行逻辑运算,得到事件处理结果。
于本申请的一实施例中,根据所述计算类对将所述当前事件信息组进行逻辑运算,得到事件处理结果,所述计算类包括第一设定条件和第二设定条件,包括:若所述当前事件信息组内的事件信息满足第一设定条件和第二设定条件,则输出设定参数,以得到事件处理结果,所述事件信息包括事件数据值;其中,第一设定条件包括所述当前事件数据值大于第一阈值且小于第二阈值,所述第二设定条件包括当前事件数据值大于前一次事件数据值,且所述当前事件数据值与所述前一次事件数据值的差值大于第三阈值。
于本申请的一实施例中,根据所述计算类对将所述当前事件信息进行逻辑运算,得到事件处理结果,所述计算类包括第一设定条件和第三设定条件,包括:若所述当前事件信息组内的事件信息满足第一设定条件和第三设定条件,则输出设定参数,以得到事件处理结果,所述事件信息包括事件数据值;其中,第一设定条件包括所述当前事件数据值大于第一阈值且小于第二阈值,所述第三设定条件包括当前事件数据值小于前一次事件数据值。
于本申请的一实施例中,通过所述计算类对所述事件信息进行事件规则计算,以得到事件处理结果,还包括:通过所述事件信息与存值规则预先定义事件规则;基于语言识别工具解析预先定义好的事件规则,得到计算类;根据所述计算类对将当前事件信息进行逻辑运算,得到事件处理结果。
本申请提供了一种事件处理装置,所述装置包括:获取模块,用于从消费数据源中获取待计算数据,通过所述待计算数据的标识符在事件取数依赖关系缓存中查找出事件标识符;查找模块,用于通过所述事件标识符在事件信息缓存中查找出事件信息;解析模块,用于通过语言识别工具解析预先定义好的事件规则,得到计算类;计算模块,用于通过所述计算类对所述事件信息进行事件规则计算,以得到事件处理结果。
有益效果:通过从消费数据源中获取待计算数据,通过待计算数据标识符在事件取数依赖关系以及事件信息缓存中,查找出事件信息;通过语言识别工具解析预先定义好的事件规则,得到计算类,通过计算类对事件信息进行事件规则计算,以得到事件处理结果,过对象数据转换、规则解析、规则计算处理,实现了单因子事件处理产品化,提高了事件规则的计算效率与精确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
图1是本申请的一示例性实施例示出的事件处理方法的流程图;
图2是本申请的一示例性实施例示出的事件规则拼接界面示意图;
图3是本申请的一示例性实施例示出的事件规则定义示意图;
图4是本申请的一示例性实施例示出的事件处理方法的流程图;
图5是本申请的一示例性实施例示出的事件处理的框图;
图6是本申请的一示例性实施例示出的电子设备的一种结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本申请的基本构想,遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
需要说明的是,本申请中,“第一”、“第二”等仅为对相似对象的区分,并非是对相似对象的顺序限定或先后次序限定。所描述的“包括”、“具有”等变形,表示该词语的主语所涵盖的范围除该词语所示出的示例外,并不排他。
可以理解的是,在本申请中记载的各种数字编号、步序编号等标号为描述方便进行的区分,并不用来限制本申请的范围。本申请标号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定。
在下文描述中,探讨了大量细节,以提供对本申请实施例的更透彻的解释,然而,对本领域技术人员来说,可以在没有这些具体细节的情况下实施本申请的实施例是显而易见的,在其他实施例中,以方框图的形式而不是以细节的形式来示出公知的结构和设备,以避免使本申请的实施例难以理解。
本申请的实施例分别提出一种事件处理方法、一种事件处理装置、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品,以下将对这些实施例进行详细描述。
首先需要说明的是,单因子事件处理技术是一种专门针对单一事件或系统故障进行诊断和处理的自动化技术。通过实时监控系统的状态和性能,发现异常或故障,并快速定位和解决问题,以确保系统的稳定性和可用性。单因子事件处理技术的核心是事件处理引擎,负责收集、分析、处理和响应事件。事件可以是系统内部的异常、错误、警告或性能瓶颈,也可以是外部的入侵、攻击、异常流量等。
在基于实时计算的单因子事件处理技术中,事件是指系统中发生的特定情况或状态的变化。这些情况或状态的变化可以基于预定义的规则进行监测和处理。具体来说,事件可以是各种类型的数据变化、触发条件的满足、设备状态的改变等。例如,在金融领域,事件可以是股票价格超过某个阈值、交易量达到一定水平等。在物联网领域,事件可以是传感器数据超过预设的警戒线、设备状态发生故障等。这些事件的发生可以通过实时计算引擎和事件规则进行监测和处理。当事件发生时,系统会根据预定义的规则进行相应的操作,如发送警报、执行特定的业务逻辑、记录事件信息等。通过事件的监测和处理,可以实现实时的数据分析和决策支持。基于事件的处理,系统可以及时发现和响应特定的情况或状态变化,从而帮助企业做出准确的决策和优化业务流程。
请参阅图1,图1是本申请的一示例性实施例示出的一种事件处理方法的流程图。
如图1所示,在一示例性的实施例中,事件处理方法至少包括步骤S110至步骤S140,详细介绍如下:
步骤S110,从消费数据源中获取待计算数据,通过待计算数据的标识符在事件取数依赖关系缓存中查找出事件标识符。作为示例,本实施例中的待计算数据包括但不限于原始数据,待计算数据的标识符为原始数据ID(Identity Document),事件标识符为事件点位ID,通过消费待计算数据“原始数据”,在事件取数依赖关系缓存中,通过消费待计算数据ID“原始数据ID”查找出事件标识符“事件点位ID”,在该实施例中,事件取数依赖关系缓存中存储有待计算数据的标识符与事件标识符的对应关系。
在本申请的一个实施例中,事件取数依赖关系缓存是指存储事件取数依赖关系的缓存系统。主要用于管理事件处理过程中数据之间的依赖关系,以确保数据的一致性和正确性。
在本申请的一个实施例中,一个原始点位可以配置多个事件处理规则,即一个原始点位经过预处理后会转换成多条事件输入数据。
步骤S120,通过事件标识符在事件信息缓存中查找出事件信息。
在本申请的一个实施例中,通过待计算数据的标识符在事件取数依赖关系缓存中查找出事件标识符后,将事件标识符作为键,在事件信息缓存中匹配出相应的事件信息,在该实施例中,事件信息缓存中存储有事件标识符与事件信息的对应关系。
在本申请的一个实施例中,事件信息缓存是指用于存储事件信息的缓存系统。主要用于快速获取事件的相关信息,提高事件处理的效率和响应速度。在该实施例中,事件信息缓存主要存储事件的相关元数据和属性,例如事件的类型、时间戳、来源、数据内容等。通过将事件信息缓存在内存中,可以减少对数据库或其他存储系统的访问次数,提高系统的性能和响应速度。
步骤S130,通过语言识别工具解析预先定义好的事件规则,得到计算类。
在本申请的一个实施例中,语言识别工具包括但不限于基于ANTLR4(ANotherTool for Language Recognition)构建生成的工具。通过ANTLR4定义事件规则的语法规则,并生成语法解析代码,用于解析输入事件数据,并将输入事件数据转化为解析树,将事件规则转化为计算类,并存储在缓存中,这样即使在需要处理大量事件规则或复杂逻辑系统时,能够通过语法识别工具快速构建强大的词法分析器和语法分析器,从而加快开发过程,并提高语言识别的准确性和效率,提高系统处理的时效性与准确性。
在本申请的一个实施例中,ANTLR4用于构建语言识别器的强大工具,可以描述复杂的语法结构,通过定义词法规则和语法规则,自动生成词法分析器和语法分析器,用于解析和分析输入的文本,并且提供了针对多种编程语言的代码生成器,便于开发人员快速创建自定义的语言或DSL。通过规则逻辑语言DSL(Domain-Specific Language)定义、解析事件规则,并通过ANTLR4语言实现。在该实施例中,DSL是一种编程语言,专门用于解决特定领域的问题。在规则引擎中,DSL用于定义和解析规则,以便在特定领域中进行自动化决策或控制流程。通过DSL,便于开发人员可以轻松地定义规则的结构和逻辑,并与业务逻辑集成在一起。ANTLR4(ANother Tool for Language Recognition)用于构建语言识别器的强大工具,可以描述复杂的语法结构,通过定义词法规则和语法规则,自动生成词法分析器和语法分析器,用于解析和分析输入的文本,并且提供了针对多种编程语言的代码生成器,便于开发人员快速创建自定义的语言或DSL。使用ANTLR4的一般步骤包括,定义语法规则:使用ANTLR4的语法规则,按照DSL的形式定义语法规则,语法规则包括词法规则和语法规则。词法规则用于识别和分解输入文本的单词和符号,语法规则用于描述输入文本的语法结构。使用ANTLR4根据定义的语法规则生成词法分析器和语法分析器的源代码。根据需要,在语法规则中添加语义动作,用于在语法分析过程中执行自定义的操作。构建和运行生成的代码:使用生成的词法分析器和语法分析器的代码,将其集成到应用系统中。
步骤S140,根据计算类对事件信息进行事件规则计算,以得到事件处理结果。
在本申请的一个实施例中,事件规则缓存在事件信息缓存中,数据来源缓存在事件取数依赖关系缓存,其他参数配置缓存在事件信息缓存。
在图1所示的技术方案中,通过从消费数据源中获取待计算数据,通过待计算数据标识符在事件取数依赖关系以及事件信息缓存中,查找出事件信息;通过语言识别工具解析预先定义好的事件规则,得到计算类,通过计算类对事件信息进行事件规则计算,以得到事件处理结果,过对象数据转换、规则解析、规则计算处理,实现了单因子事件处理产品化,提高了事件规则的计算效率与精确性。
在本申请的一个实施例中,从消费数据源中提取待计算数据之前,还包括:获取数采点位数据和加工点位数据,数采点位数据位于消息中间件中,加工点位数据位于消息系统;将数采点位数据从消息中间件整合至消息系统中对应的加工点位数据中,以得到消费数据源,消费数据源包括对象原始数据主题、简单点位加工结果主题和复杂点位加工结果。通过从消息中间件到消息系统的数据迁移和加工,并通过消息系统订阅数据供事件规则使用,实现输入数据的统一化,并在事件规则中同时处理对象原始数据、简单点位加工结果和复合点位加工结果,提高了数据处理的效率。
在本申请的一个实施例中,待计算数据为事件规则的输入数据,消息中间件为RocketMQ,消息系统为分布式消息系统Kafka,事件规则的输入数据可以从对象、加工点位中选择,对象的数据位于数采系统的RockeMQ中,加工点位数据位于数据加工的kafka中,首先将所有加工对象用到的数采点位数据从RocketMQ全部转到kafka中作为数据加工对象原始数据并作为消费数据的来源;随后进行对象预处理、点位转换等流程;事件规则因此也可以只从kafka中订阅数据,一个任务即可同时监听三个topic:对象原始数据topic、简单点位加工结果topic、复合点位加工结果topic。通过从RocketMQ到Kafka的数据迁移和加工,并通过Kafka订阅数据供事件规则使用,实现输入数据的统一化,并在事件规则中同时处理对象原始数据、简单点位加工结果和复合点位加工结果,提高了数据处理的效率。
在本申请的一个实施例中,RocketMQ是一款分布式、队列模型的消息中间件,能够保证严格的消息顺序、提供丰富的消息拉取模式、高效的订阅者水平扩展能力、实时的消息订阅机制、支持事务消息、亿级消息堆积能力,RocketMQ提供了类似于其他消息中间件系统的消息发布(Producer)和消息订阅(Consumer)模型。生产者将消息发送到消息队列,而消费者从消息队列订阅并接收消息。RocketMQ支持发布/订阅模式和点对点模式,可以满足不同场景下的消息通信需求。RocketMQ支持基于标签或SQL表达式的消息过滤,可以根据业务需求选择性地订阅消息,广泛应用于各种场景,包括电商、金融、物流、互联网等领域,用于解决异步消息处理、日志收集、实时数据处理等问题。
在本申请的一个实施例中,Kafka可以处理消费者规模的网站中的所有动作流数据,通过Hadoop的并行加载机制来统一线上和离线的消息处理,并提供了实时的消息服务。Kafka的基本概念包括主题(Topics)、分区(Partitions)和生产者(Producers)等。主题是一组消息的抽象归纳,每个主题可以被分为一个或多个分区,每个分区是一个有序的队列。Kafka采用发布/订阅模式,其中生产者将消息发布到一个或多个主题(topics),而消费者从主题中订阅并接收消息。这种模型在分布式系统中提供了可靠的、高效的消息传递机制。Kafka具有高吞吐量、可扩展性、可靠性和容错性等特点,可以与流处理框架(如ApacheStorm、Apache Flink)集成,支持实时数据流的处理和分析。并且Kafka提供了多种编程语言的客户端库,便于开发人员可以使用自己熟悉的编程语言与Kafka进行交互,被广泛应用于大数据处理、实时数据分析、日志收集、事件驱动架构等场景。
在本申请的一个实施例中,通过事件标识符在事件信息缓存中查找出事件信息,包括,基于事件标识符在事件信息缓存中获取初步事件信息;将事件信息缓存中事件信息进行扁平映射,以更新事件信息的映射规则;基于事件信息缓存和扁平映射后的事件信息,将初步事件信息进行过滤,得到事件信息。
在本申请的一个实施例中,扁平映射,是一种特殊的映射操作。主要用于处理数据流中的数据,特别是当数据流中的元素是集合类型时。扁平映射会将数据流中的每个元素拆分成多个元素,然后将这些元素连接成一个新的数据流。具体来说,扁平映射操作会接收一个函数作为参数,该函数会对每个输入元素进行处理,返回一个集合(而不是一个元素),最后将这些集合压平成一个新的集合。扁平映射的主要目的是将数据扁平化,即将多层的嵌套结构转化为一个简单的平面结构。例如,如果有一个包含多个列表的列表,扁平映射可以将其转换为一个单一的列表,其中的元素是原始列表中的所有元素。扁平映射操作并不会改变数据的顺序,并且会尽可能地保留原始数据流中的所有元素。同时,扁平映射也常用于实现一些复杂的聚合操作,例如在处理大数据流时进行去重、过滤等操作。
在本申请的一个实施例中,通过计算类对事件信息进行事件规则计算,以得到事件处理结果,包括:通过键值分组按照不同的事件标识符将事件信息进行分组,得到多个事件信息组;基于事件信息组与存值规则预先定义事件规则;基于语言识别工具解析预先定义的事件规则,得到计算类;根据计算类对将对应的事件信息组进行逻辑运算,得到事件处理结果。事件规则是基于具体业务需求和场景而定义的,可以根据不同的需求进行灵活配置和调整。通过合理定义和管理事件规则,可以实现高效、准确的事件处理,帮助企业实时监测和响应关键情况,从而优化业务流程和决策支持。
在本申请的一个实施例中,键值分组为根据指定的键将数据分组,以便进行聚合或其他操作,事件标识符为事件点位ID,通过键值分组按照不同的事件标识符将事件信息进行分组,即使用keyby算子按照不同的事件点位ID进行group分组。通过消费待计算数据“原始数据”,在事件取数依赖关系缓存中,通过消费待计算数据ID“原始数据ID”查找出事件标识符“事件点位ID”,通过事件标识符“事件点位ID”在事件信息缓存中查找到初步事件信息,通过扁平映射更新事件信息的映射规则,根据事件信息缓存中的数据和更新后的映射规则,获取所需的事件信息,对初步处理后的事件信息,使用keyby算子将事件点位ID作为键,按照不同的事件点位ID进行分组,将具有相同的事件点位ID的事件信息分为一组,便于后续的聚合或者分析。在进行事件规则计算之前,需要进行前值数据缓存。根据事件数据和事件规则,将前值数据存储到缓存中,以便后续的规则计算使用。使用前值数据、事件信息和事件规则进行事件规则计算,得到事件处理结果。
在本申请的一个实施例中,存值规则通常指的是存储和检索之前事件数据的规则或逻辑。这些规则定义了如何将之前的事件数据存储在某个地方(如数据库、文件系统、缓存等),以及如何在需要时检索这些数据,
在本申请的一个实施例中,基于事件信息组与存值规则预先定义事件规则,具体包括,在获取到事件信息后,对事件信息中的事件数据进行筛选、聚合、转换或关联操作,得到事件数据分析结果,基于事件数据的分析结果,定义事件规则,在该实施例中,事件规则包括将当前事件数据值与前一次事件数据值,通过逻辑运算进行比较。在该实施例中,事件规则是基于具体业务需求和场景而定义的,可以根据不同的需求进行灵活配置和调整。通过合理定义和管理事件规则,可以实现高效、准确的事件处理,帮助企业实时监测和响应关键情况,从而优化业务流程和决策支持。
在本申请的一个实施例中,事件规则是在基于实时计算的单因子事件处理技术中定义的用于监测和处理特定事件的规则。描述了触发事件的条件和相应的操作。事件规则通常由以下几个要素组成:规则表达式,规则表达式是事件规则的核心部分,定义了事件发生的条件。规则表达式可以基于数据的特定属性、阈值、时间窗口等来判断事件是否发生。数据来源,事件规则还需要指定数据来源,即从哪个数据源获取数据进行事件监测。数据源可以是实时数据流、数据库、文件等。参数配置,事件规则可能还包括一些参数的配置,用于调整规则的行为。例如,阈值的设定、时间窗口的大小等都可以通过参数进行配置。操作和处理,当事件规则中定义的条件满足时,相应的操作和处理将被触发。这可以包括发送警报通知、执行特定的业务逻辑、记录事件信息等。通过定义合适的事件规则,系统可以实时监测数据流,并根据规则表达式判断事件是否发生。当事件发生时,系统将根据规则中定义的操作和处理进行相应的响应,从而实现实时的事件监测和处理。事件规则是基于具体业务需求和场景而定义的,可以根据不同的需求进行灵活配置和调整。通过合理定义和管理事件规则,可以实现高效、准确的事件处理,帮助企业实时监测和响应关键情况,从而优化业务流程和决策支持。
在本申请的一个实施例中,如图2所示,图2为具体规则拼接界面,如图2所示,规则表达式中的基本规则包括“+”:增加;“-”:减少;“*”:变化;“&”:与;“|”:或,基于以上基本规则在定义事件事规则表达式,请参考图3,图3为定义事件规则示例,该事件规则满足以下逻辑条件的数值进行运算:(当前值大于-100且小于200)且[(当前值大于上一个值)且(当前值大于上一个值至少10)或(当前值小于上一个值)];每个事件检测规则都从实时数据流接收数据并处理,此处的当前值即当前处理的事件信息中事件数据值,上一个值代表缓存的上次处理事件信息中事件数据值。在该实施例中,在输入规则表达式后,通过词法规则识别和分解输入文本的单词和符号,语法规则用于描述输入文本的语法结构。基于不同的事件信息组定义不同的事件规则,可以根据不同的需求进行灵活配置和调整。直接在产品页面对本发明给定的基础算法进行拼接,而不需要对系统底层代码进行修改,更加灵活。通过合理定义和管理事件规则,可以实现高效、准确的事件处理,帮助企业实时监测和响应关键情况,不仅提高了数据处理的灵活性,还能优化业务流程和决策支持。
在本申请的一个实施例中,根据计算类对将当前事件信息组进行逻辑运算,得到事件处理结果,计算类包括第一设定条件和第二设定条件,包括:若当前事件信息组内的事件信息满足第一设定条件和第二设定条件,则输出设定参数,以得到事件处理结果,事件信息包括事件数据值;其中,第一设定条件包括当前事件数据值大于第一阈值且小于第二阈值,第二设定条件包括当前事件数据值大于前一次事件数据值,且当前事件数据值与前一次事件数据值的差值大于第三阈值。基于不同的事件信息组定义不同的事件规则,可以根据不同的需求进行灵活配置和调整。直接在产品页面对本发明给定的基础算法进行拼接,而不需要对系统底层代码进行修改,更加灵活。通过合理定义和管理事件规则,可以实现高效、准确的事件处理,帮助企业实时监测和响应关键情况,不仅提高了数据处理的灵活性,还能优化业务流程和决策支持。
在本申请的一个实施例中,第一阈值为-100,第二阈值为200,第三阈值为10,在该实施例中,第一设定条件为当前事件数据值大于第一阈值“-100”且小于第二阈值“200”,第二设定条件为当前事件数据值大于前一次事件数据值,且当前事件数据值与前一次事件数据值的差值大于第三阈值“10”,在该实施例中,若当前事件信息组内的事件信息的事件数据值满足第一设定条件和第二设定条件,则输出设定参数,以得到事件处理结果。基于不同的事件信息组定义不同的事件规则,可以根据不同的需求进行灵活配置和调整。直接在产品页面对本发明给定的基础算法进行拼接,而不需要对系统底层代码进行修改,更加灵活。通过合理定义和管理事件规则,可以实现高效、准确的事件处理,帮助企业实时监测和响应关键情况,不仅提高了数据处理的灵活性,还能优化业务流程和决策支持。
在本申请的一个实施例中,根据计算类对将当前事件信息进行逻辑运算,得到事件处理结果,计算类包括第一设定条件和第三设定条件,包括:若当前事件信息组内的事件信息满足第一设定条件和第三设定条件,则输出设定参数,以得到事件处理结果,事件信息包括事件数据值;其中,第一设定条件包括当前事件数据值大于第一阈值且小于第二阈值,第三设定条件包括当前事件数据值小于前一次事件数据值。基于不同的事件信息组定义不同的事件规则,可以根据不同的需求进行灵活配置和调整。直接在产品页面对本发明给定的基础算法进行拼接,而不需要对系统底层代码进行修改,更加灵活。通过合理定义和管理事件规则,可以实现高效、准确的事件处理,帮助企业实时监测和响应关键情况,不仅提高了数据处理的灵活性,还能优化业务流程和决策支持。
在本申请的一个实施例中,第一阈值为-100,第二阈值为200,在该实施例中,第一设定条件为当前事件数据值大于第一阈值“-100”且小于第二阈值“200”,第二设定条件为当前事件数据值小于前一次事件数据值,在该实施例中,若当前事件信息组内的事件信息的事件数据值满足第一设定条件和第三设定条件,则输出设定参数,以得到事件处理结果。基于不同的事件信息组定义不同的事件规则,可以根据不同的需求进行灵活配置和调整。直接在产品页面对本发明给定的基础算法进行拼接,而不需要对系统底层代码进行修改,更加灵活。通过合理定义和管理事件规则,可以实现高效、准确的事件处理,帮助企业实时监测和响应关键情况,不仅提高了数据处理的灵活性,还能优化业务流程和决策支持。
在本申请的一个实施例中,通过计算类对事件信息进行事件规则计算,以得到事件处理结果,包括:通过事件信息与存值规则预先定义事件规则;基于语言识别工具解析预先定义好的事件规则,得到计算类;根据计算类对将当前事件信息进行逻辑运算,得到事件处理结果。
在本申请的一个实施例中,请参阅图4,图4为本申请实施例示出的事件处理方法的流程图,具体包括如下步骤:
步骤S410,获取数采点位数据和加工点位数据,数采点位数据位于消息中间件,加工点位数据位于消息系统。
步骤S420,将数采点位数据从消息中间件整合至消息系统中对应的加工点位数据中,以得到消费数据源,消费数据源包括对象原始数据主题、简单点位加工结果主题和复杂点位加工结果。
步骤S430,从消费数据源中获取待计算数据,通过待计算数据的标识符在事件取数依赖关系缓存中查找出事件标识符。
步骤S440,基于事件标识符在事件信息缓存中获取初步事件信息。
步骤S450,将事件信息缓存中事件信息进行扁平映射,以更新事件信息的映射规则。
步骤S460,基于事件信息缓存和扁平映射后的事件信息,将初步事件信息进行过滤,得到事件信息。
步骤S470,通过键值分组按照不同的事件标识符将事件信息进行分组,得到多个事件信息组。
步骤S480,基于事件信息组与存值规则预先定义事件规则,并通过语言识别工具解析预先定义的事件规则,得到计算类。
步骤S490,根据计算类对将当前事件信息进行逻辑运算,得到事件处理结果。
在图4所示的技术方案中,通过从消费数据源中获取待计算数据,通过待计算数据标识符在事件取数依赖关系以及事件信息缓存中,查找出事件信息;通过语言识别工具解析预先定义好的事件规则,得到计算类,通过计算类对事件信息进行事件规则计算,以得到事件处理结果,过对象数据转换、规则解析、规则计算处理,实现了单因子事件处理产品化,提高了事件规则的计算效率与精确性,并且本发明能够在产品页面对本发明给定的基础算法进行拼接,而不需要对系统底层代码进行修改,更加灵活。整个计算过程基于流式引擎,延迟较低,同时具有过滤异常数据的功能,准确性较高。
请参阅图5,图5是本申请的一示例性实施例示出的事件处理装置框图。
如图5所示,该示例性的事件处理装置包括:获取模块510、查找模块520、解析模块530和计算模块540。其中,获取模块510用于从消费数据源中获取待计算数据,查找模块520用于通过待计算数据的标识符在事件取数依赖关系缓存中查找出事件标识符;解析模块530,用于通过语言识别工具解析预先定义好的事件规则,得到计算类;计算模块540,用于通过计算类对事件信息进行事件规则计算,以得到事件处理结果。通过从消费数据源中获取待计算数据,通过待计算数据标识符在事件取数依赖关系以及事件信息缓存中,查找出事件信息;通过语言识别工具解析预先定义好的事件规则,得到计算类,通过计算类对事件信息进行事件规则计算,以得到事件处理结果,过对象数据转换、规则解析、规则计算处理,实现了单因子事件处理产品化,提高了事件规则的计算效率与精确性。
在本发明的一示例性实施例中,获取模块510用于获取数采点位数据和加工点位数据,数采点位数据位于消息中间件,加工点位数据位于消息系统;将数采点位数据从消息中间件整合至消息系统中对应的加工点位数据中,以得到消费数据源,消费数据源包括对象原始数据主题、简单点位加工结果主题和复杂点位加工结果。
在本发明的一示例性实施例中,查找模块520用于基于事件标识符在事件信息缓存中获取初步事件信息;将事件信息缓存中事件信息进行扁平映射,以更新事件信息的映射规则;基于事件信息缓存和扁平映射后的事件信息,将初步事件信息进行过滤,得到事件信息。
在本发明的一示例性实施例中,计算模块540用于通过事件信息与存值规则预先定义事件规则;基于语言识别工具解析预先定义好的事件规则,得到计算类;根据计算类对将当前事件信息进行逻辑运算,得到事件处理结果。
在本发明的一示例性实施例中,计算模块540用于若当前事件信息满足第一设定条件和第二设定条件,则输出设定参数,以得到事件处理结果,事件信息包括事件数据值;其中,第一设定条件包括当前事件数据值大于第一阈值且小于第二阈值,第二设定条件包括当前事件数据值大于前一次事件数据值,且当前事件数据值与前一次事件数据值的差值大于第三阈值。
在本发明的一示例性实施例中,计算模块540用于若当前事件信息满足第一设定条件和第三设定条件,则输出设定参数,以得到事件处理结果,事件信息包括事件数据值;其中,第一设定条件包括当前事件数据值大于第一阈值且小于第二阈值,第三设定条件包括当前事件数据值小于前一次事件数据值。
在本发明的一示例性实施例中,计算模块540用于通过新的事件信息与存值规则修改事件规则,得到修改后的事件规则;基于语言识别工具解析修改后的事件规则,得到新的计算类;根据新的计算类对将新的事件信息进行逻辑运算,得到事件处理结果。
本实施例还提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得电子设备实现上述各个实施例中提供的事件处理方法。
请参阅图6,图6是本申请的一示例性实施例示出的电子设备的一种结构示意图。需要说明的是,图6示出的电子设备600仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600包括处理器601、存储器602和通信总线603;通信总线603用于将处理器601和存储器连接602;处理器601用于执行存储器602中存储的计算机程序,以实现如上述实施例中的一个或多个的方法。
本实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机的处理器执行时,使计算机执行如前所述的事件处理方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的,也可以是单独存在,而未装配入该电子设备中。本实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各个实施例中提供的事件处理方法。
本实施例提供的电子设备,包括处理器、存储器、收发器和通信接口,存储器和通信接口与处理器和收发器连接并完成相互间的通信,存储器用于存储计算机程序,通信接口用于进行通信,处理器和收发器用于运行计算机程序,使电子设备执行如上方法的各个步骤。
在本实施例中,存储器可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本实施例中的计算机可读存储介质,本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM(只读存储器)、RAM(随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。
上述实施例仅示例性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,但凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。
Claims (10)
1.一种事件处理方法,其特征在于,所述方法包括:
从消费数据源中获取待计算数据,通过所述待计算数据的标识符在事件取数依赖关系缓存中查找出事件标识符;
通过所述事件标识符在事件信息缓存中查找出事件信息;
通过语言识别工具解析预先定义好的事件规则,得到计算类;
根据所述计算类对所述事件信息进行事件规则计算,以得到事件处理结果。
2.根据权利要求1所述的事件处理方法,其特征在于,从所述消费数据源中提取待计算数据之前,还包括:
获取数采点位数据和加工点位数据,所述数采点位数据位于消息中间件中,所述加工点位数据位于消息系统中;
将所述数采点位数据从所述消息中间件整合至消息系统中对应的加工点位数据中,以得到消费数据源,所述消费数据源包括对象原始数据主题、简单点位加工结果主题和复杂点位加工结果。
3.根据权利要求1所述的事件处理方法,其特征在于,通过所述事件标识符在事件信息缓存中查找出事件信息,包括:
基于所述事件标识符在所述事件信息缓存中获取初步事件信息;
将所述事件信息缓存中事件信息进行扁平映射,以更新事件信息的映射规则;
基于所述事件信息缓存和所述扁平映射后的事件信息,将所述初步事件信息进行过滤,得到事件信息。
4.根据权利要求3所述的事件处理方法,其特征在于,通过所述计算类对所述事件信息进行事件规则计算,以得到事件处理结果,包括:
通过键值分组按照不同的事件标识符将所述事件信息进行分组,得到多个事件信息组;
基于事件信息组与存值规则预先定义事件规则;
基于语言识别工具解析预先定义的事件规则,得到计算类;
根据所述计算类对将对应的事件信息组进行逻辑运算,得到事件处理结果。
5.根据权利要求3所述的事件处理方法,其特征在于,根据所述计算类对将所述当前事件信息组进行逻辑运算,得到事件处理结果,所述计算类包括第一设定条件和第二设定条件,包括:
若所述当前事件信息组内的事件信息满足第一设定条件和第二设定条件,则输出设定参数,以得到事件处理结果,所述事件信息包括事件数据值;
其中,所述第一设定条件包括所述当前事件数据值大于第一阈值且小于第二阈值,所述第二设定条件包括当前事件数据值大于前一次事件数据值,且所述当前事件数据值与所述前一次事件数据值的差值大于第三阈值。
6.根据权利要求3所述的事件处理方法,其特征在于,根据所述计算类对将所述当前事件信息进行逻辑运算,得到事件处理结果,所述计算类包括第一设定条件和第三设定条件,包括:
若所述当前事件信息组内的事件信息满足第一设定条件和第三设定条件,则输出设定参数,以得到事件处理结果,所述事件信息包括事件数据值;
其中,所述第一设定条件包括所述当前事件数据值大于第一阈值且小于第二阈值,所述第三设定条件包括当前事件数据值小于前一次事件数据值。
7.根据权利要求3所述的事件处理方法,其特征在于,通过所述计算类对所述事件信息进行事件规则计算,以得到事件处理结果,还包括:
通过所述事件信息与存值规则预先定义事件规则;
基于语言识别工具解析预先定义好的事件规则,得到计算类;
根据所述计算类对将当前事件信息进行逻辑运算,得到事件处理结果。
8.一种事件处理装置,其特征在于,所述装置包括:
获取模块,用于从消费数据源中获取待计算数据,通过所述待计算数据的标识符在事件取数依赖关系缓存中查找出事件标识符;
查找模块,用于通过所述事件标识符在事件信息缓存中查找出事件信息;
解析模块,用于通过语言识别工具解析预先定义好的事件规则,得到计算类;
计算模块,用于通过所述计算类对所述事件信息进行事件规则计算,以得到事件处理结果。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如权利要求1至7中任一项所述的事件处理方法。
10.一种计算机可读介质,其特征在于,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行权利要求1至7中任一项所述的事件处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410148000.XA CN117971403A (zh) | 2024-02-01 | 2024-02-01 | 一种事件处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410148000.XA CN117971403A (zh) | 2024-02-01 | 2024-02-01 | 一种事件处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117971403A true CN117971403A (zh) | 2024-05-03 |
Family
ID=90845800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410148000.XA Pending CN117971403A (zh) | 2024-02-01 | 2024-02-01 | 一种事件处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117971403A (zh) |
-
2024
- 2024-02-01 CN CN202410148000.XA patent/CN117971403A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111526060B (zh) | 业务日志的处理方法及系统 | |
CN107577805B (zh) | 一种面向日志大数据分析的业务服务系统 | |
US10922493B1 (en) | Determining a relationship recommendation for a natural language request | |
US10630614B2 (en) | Opaque message parsing | |
US9979608B2 (en) | Context graph generation | |
US11238069B2 (en) | Transforming a data stream into structured data | |
CN111930547A (zh) | 一种故障定位方法、装置及存储介质 | |
US20170031659A1 (en) | Defining Event Subtypes Using Examples | |
US20170279660A1 (en) | Context graph augmentation | |
CN110912757B (zh) | 业务的监控方法和服务器 | |
CN109522341A (zh) | 实现基于sql的流式数据处理引擎的方法、装置、设备 | |
CN113377626B (zh) | 基于服务树的可视化统一报警方法、装置、设备和介质 | |
Ge et al. | Adaptive analytic service for real-time internet of things applications | |
CN114756301B (zh) | 日志处理方法、装置和系统 | |
CN116225848A (zh) | 日志监测方法、装置、设备和介质 | |
CN116955856A (zh) | 信息展示方法、装置、电子设备以及存储介质 | |
CN111198983A (zh) | 一种敏感资讯信息检测方法、装置及存储介质 | |
CN111130882A (zh) | 网络设备的监控系统及方法 | |
Puttonen et al. | Maintaining a dynamic view of semantic web services representing factory automation systems | |
CN117971403A (zh) | 一种事件处理方法、装置、电子设备及存储介质 | |
US20230222099A1 (en) | Policy driven event transformation | |
CN112948341B (zh) | 用于识别异常的网络设备日志的方法和装置 | |
KR20220071173A (ko) | 가상 서버들로부터 대용량 로그 파일들을 프로세싱하는 컴퓨터 시스템 및 방법 | |
CN113064914A (zh) | 数据提取方法及装置 | |
Vargas-Solar et al. | Big continuous data: dealing with velocity by composing event streams |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |