CN112615742A - 用于预警的方法、装置、设备以及存储介质 - Google Patents
用于预警的方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN112615742A CN112615742A CN202011499914.9A CN202011499914A CN112615742A CN 112615742 A CN112615742 A CN 112615742A CN 202011499914 A CN202011499914 A CN 202011499914A CN 112615742 A CN112615742 A CN 112615742A
- Authority
- CN
- China
- Prior art keywords
- streaming
- streaming service
- early warning
- service data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004364 calculation method Methods 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000005096 rolling process Methods 0.000 claims description 7
- 230000008602 contraction Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010835 comparative analysis Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种用于预警的方法、装置、设备以及存储介质,涉及边缘计算技术领域、大数据技术领域、物联网技术领域和云计算技术领域。该方法的一具体实施方式包括:获取流式业务数据的流式业务指标,以及预警规则信息;处理预警规则信息,生成流式计算结果;将流式业务指标与流式计算结果进行比较;响应于流式业务指标不满足流式计算结果,生成与流式业务数据对应的预警信息。本申请解决了吞吐量小、处理时延大、规则简单等问题,提高了边缘计算场景下的实时告警效率。
Description
技术领域
本申请实施例涉及计算机技术领域,具体涉及边缘计算技术领域、大数据技术领域、物联网技术领域和云计算技术领域,尤其涉及一种用于预警的方法、装置、设备以及存储介质。
背景技术
随着边缘计算技术的发展,在边缘计算等场景下,部署在边缘侧的终端设备会采集到大量的设备参数以及自身的运行状态信息,然后通过部署在边缘侧的报警装置,根据预警规则对上报的设备参数以及自身的运行状态信息逐条进行过滤,以实现在上报的设备参数以及自身的运行状态信息中出现异常数据时可以报警。
发明内容
本申请实施例提出了一种用于预警的方法、装置、设备以及存储介质。
第一方面,本申请实施例提出了一种用于预警的方法,包括:获取流式业务数据的流式业务指标,以及预警规则信息;处理预警规则信息,生成流式计算结果;将流式业务指标与流式计算结果进行比较;响应于流式业务指标不满足流式计算结果,生成与流式业务数据对应的预警信息。
第二方面,本申请实施例提出了一种用于预警的装置,包括:获取模块,被配置为获取流式业务数据的流式业务指标,以及预警规则信息;处理模块,被配置为处理预警规则信息,生成流式计算结果;比较模块,被配置为将流式业务指标与流式计算结果进行比较;生成模块,被配置为响应于流式业务指标不满足流式计算结果,生成与流式业务数据对应的预警信息。
第三方面,本申请实施例提出了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面描述的方法。
第四方面,本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行如第一方面描述的方法。
第五方面,本申请实施例提出了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现第一方面描述的方法。
本申请实施例提供的用于预警的方法,首先获取流式业务数据的流式业务指标,以及预警规则信息;之后处理预警规则信息,生成流式计算结果;然后将流式业务指标与流式计算结果进行比较;最后响应于流式业务指标不满足流式计算结果,生成与流式业务数据对应的预警信息。本申请融合了流式计算技术,将预警规则信息转化成流式计算结果,并可以针对与流式业务数据相关的流式业务指标进行实时对比分析,在流式业务指标异常时,可以实时报警,进而解决了吞吐量小、处理时延大等问题,提高了边缘计算场景下的实时告警效率。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是本申请可以应用于其中的示例性系统架构;
图2是根据本申请的用于预警的方法的一个实施例的流程图;
图3是可以实现本申请实施例的用于预警的方法的场景图;
图4是根据本申请的用于预警的装置的一个实施例的结构示意图;
图5是根据本申请的用于预警的装置的另一个实施例的结构示意图
图6是用来实现本申请实施例的用于预警的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于预警的方法或用于预警的装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,计算设备104、网络105和云端服务器106。网络105用以在计算设备104和云端服务器106之间提供通信链路的介质。网络105可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103可以与计算设备104进行通信,以采集流式业务数据。终端设备101、102、103上可以安装有显示屏,按钮等。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏并且支持数据处理的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块,在此不做具体限定。
计算设备104上安装有用于边缘计算的程序。计算设备104可以对预警规则信息进行处理,得到流式计算结果,并将流式计算结果与终端设备101、102、103发来的数据流式业务数据的流式业务指标进行比较,得到比较结果;在比较结果为流式业务指标不满足流式计算结果时,生成预警信息,并发送预警信息至云端服务器106。
云端服务器106可以通过网络105与计算设备104进行数据交互,接收计算设备104发来的预警信息,向用户进行报警。
需要说明的是,本申请的实施例所提供的用于预警的方法可以由计算设备104执行。相应地,用于预警的装置可以设置于计算设备104中。
需要说明的是,云端服务器106和计算设备104可以是硬件,也可以是软件。当云端服务器106和计算设备104为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当云端服务器106和计算设备104为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块,在此不做具体限定。
应该理解,图1中的终端设备、计算设备、网络和云端服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、计算设备、网络和云端服务器。
继续参考图2,其示出了根据本申请的用于预警的方法的一个实施例的流程200。该用于预警的方法包括以下步骤:
步骤201,获取流式业务数据的流式业务指标,以及预警规则信息。
在本实施例中,用于预警的方法的执行主体(例如图1所示的计算设备104)可以获取流式业务数据的流式业务指标,以及预警规则信息。上述流式业务数据可以为部署在边缘侧的终端设备采集的数据。流式业务指标可以为衡量一段时间内流式业务数据的参数,例如流式业务数据的平均值,最大值、均方差等。
在这里,预警规则信息可以用于表征流式业务指标是否异常,在流式业务指标异常时,可以根据该预警规则信息进行预警。该预警规则信息可以包括:监控对象、报警规则、报警类型。
在本实施例中,在获取预警规则信息之前,该用于预警的方法还包括:可以根据用户的需求(例如,报警灵敏度),配置预警规则信息。
上述监控对象可以为终端设备101、102、103中的一个或多个。报警类型可以包括但不限于立即触发报警通知、触发报警一定次数后通知、触发报警一定时间后通知;报警规则可以包括但不限于大于、小于、等于、不等于。
在本实施例中,在获取预警规则信息之前,该用于预警的方法还包括:可以采用轮询策略,例如,按照预设频率或一段时间内的预设次数定期获取终端设备(例如图1中的终端设备101、102、103)采集的流式业务数据的流式业务指标,以保证流式业务数据在时间上的连续性。
在终端设备采集流式业务数据的流式业务指标之后,通过总线传输协议将流式业务数据的流式业务指标至上述执行主体。上述涉及到的传输协议包括但不限于标准消息队列遥测传输(Message Queuing Telemetry Transport,MQTT)协议、标准受限制的应用协议(Constrained Application Protocol,CoAP)。
步骤202,处理预警规则信息,生成流式计算结果。
在本实施例中,上述执行主体可以对预警规则信息进行处理,得到流式计算结果。
在这里,流式计算是指对持续产生的流式业务数据进行实时的处理,相比批处理计算,流式计算的时效性更高。上述流式计算结果可以为对预警规则信息进行流式计算,得到的结果。
相比传统基于简单的规则进行报警的方案,本申请实施例融合了流式计算技术,将用户自定义的预警报警信息转化成流式计算算子,可以针对端侧流式业务数据的流式业务指标进行实时分析,以备后续进行实时预警。
步骤203,将流式业务指标与流式计算结果进行比较。
在本实施例中,上述执行主体可以将流式业务指标与流式计算结果进行比较。例如,上述执行主体可以将流式业务指标与流式计算结果包括的阈值进行比较。
在这里,流式业务指标的数量可以为多个或一个。在流式业务指标为多个时,可以逐一将流式业务指标与流式计算结果进行比较。
步骤204,响应于流式业务指标不满足流式计算结果,生成与流式业务数据对应的预警信息。
在本实施例中,上述执行主体在流式业务指标不满足流式计算结果时,可以生成与流式业务数据对应的预警信息。上述不满足可以包括大于或小于。例如,上述执行主体在流式业务指标大于流式计算结果时,生成与流式业务数据对应的预警信息。
在步骤204之后,该用于预警的方法还可以包括:在流式业务指标不满足流式计算结果时,上述执行主体可以将预警信息发送至云端(例如图1所示的云端服务器106)。
在实施例中,在获取预警规则信息之后(例如,步骤201之后,步骤202之后,与步骤202同时,步骤203之后,与步骤203同时,步骤204之后,或,与步骤204同时),获取预警规则信息中的报警上报目的地;之后,将预警信息发送至报警上报目的地对应的云端。上述报警上报目的地包括但不限于云端服务器(例如图1所示的计算设备106),例如,云端时序数据库(TSDB)、云端关系型数据库管理系统(mysql)、Apache(pache HTTP Server)Kafka、消息队列遥测传输(Message Queuing Telemetry Transport,MQTT)broker。
本申请实施例提供的用于预警的方法,首先获取流式业务数据的流式业务指标,以及预警规则信息;之后处理预警规则信息,生成流式计算结果;然后将流式业务指标与流式计算结果进行比较;最后响应于流式业务指标不满足流式计算结果,生成与流式业务数据对应的预警信息。本申请融合了流式计算技术,将预警规则信息转化成流式计算结果,并可以针对与流式业务数据相关的流式业务指标进行实时对比分析,在流式业务指标异常时,可以实时报警,进而解决了吞吐量小、处理时延大等问题,提高了边缘计算场景下的实时告警效率。
在本实施例的一些可选的实现方式中,流式计算结果为结构化查询语言(Structured Query Language,SQL)语句;以及处理预警规则信息,生成流式计算结果,包括:将预警规则信息,转换成SQL语句。
在本实现方式中,上述执行主体从预警规则信息中查找出所有变量,将除变量外的其他用于构造SQL语句的信息全部加上单引号;将变量以及单引号内除变量外其他用于构造SQL语句的信息和在一起,生成SQL语句;或,上述执行主体可以对预警规则信息进行分词处理以得到多个词片段;依据预先存储的SQL语句,与分词处理得到的多个词片段进行对比,以确定分词处理得到的多个词片段对应的SQL语句,以生成预警规则信息对应的SQL语句。在这里,流式计算结果可以采用SQL语句进行定义,例如SQL92标准。
在本实现方式中,将预警规则信息转换成SQL语句,以实现将流式业务指标与SQL语句逐一进行比较,以得到比较结果,且在比较结果为流式业务指标不满足SQL语句定义的指标阈值时,生成预警信息,以提高边缘计算场景下的告警效率。
在本实施例的一些可选的实现方式中,将流式业务指标与流式计算结果进行比较,包括:将流式业务指标与SQL语句定义的指标阈值进行比较。
在本实现方式中,上述执行主体可以将流式业务指标与SQL语句定义的指标阈值进行比较。上述指标阈值可以由用户根据预警精度进行设置。上述SQL语句定义的指标阈值可以为SQL语句的条件表达式中的数字。该条件表达式可以由数字、算符、数字分组符号(括号)等以能求得数值的有意义排列方法所得的组合。
在本实现方式中,根据流式业务指标与SQL语句定义的指标阈值进行比较,得到比较结果,且在比较结果为流式业务指标不满足SQL语句定义的指标阈值时,生成预警信息,以提高边缘计算场景下的告警效率。
在本实施例的一些可选的实现方式中,该用于预警的方法还包括:获取计算设备的负载数据;将负载数据的值与预设数据阈值进行比较,并根据比较结果扩容和/或缩容计算设备中的实例。
在本实现方式中,统计预设时间段内的负载数据,在预设时间段内的负载数据大于预设数值阈值时,对实例进行缩容;在预设时间内的负载数据小于预设数值阈值时,对实例进行扩容。
在对实例进行扩容或缩容之前,该用于预警的方法还包括:从设备安全使用的角度,设置最大的实例数、最小实例数、最大的实例数对应的阈值,以及最小实例数对应的阈值。
在一个具体的示例中,最小实例数可以为0,以最大程度地降低资源消耗。
在本实现方式中,针对计算设备硬件能力较弱,资源有限等问题,采用资源弹性调度算法对实例优化,以降低计算设备的运行压力。
在本实施例的一些可选的实现方式中,负载数据包括以下至少一项:计算设备的中央处理器(Central Processing Unit,CPU)使用率、计算设备的内存使用率、流式业务数据并发的数量。
在本实现方式中,可以基于CPU使用率、内存使用率、流式业务数据并发的数量实现对流式计算所占用的系统资源进行准确计算,进而可以按需设置对应的实例数。
在本实施例的一些可选的实现方式中,获取流式业务数据的流式业务指标,包括:按照预设时间窗口,获取预设时间段内流式业务数据的流式业务指标。
在本实现方式中,上述执行主体可以获取预设时间内、预设时间窗口的流式业务数据的流式业务指标。
在本实现方式中,按照预设时间窗口,在预设时间段内以实现对流式业务数据的流式业务指标的获取。
在本实施例的一些可选的实现方式中,预设时间窗口包括以下至少一项:滚动窗口(TUMBLINGWINDOW)、滑动窗口(SLIDINGWINDOW)、计算窗口(COUNTWINDOW)。
需要说明的是,预设时间窗口并不仅限于上述三种滚动窗口,只要实现的功能与上述三种窗口的功能相同的窗口均可纳入本实现方式中。
在本实现方式中,可以基于上述三种窗口,以实现对流式业务数据的流式业务指标的获取。
在本实施例的一些可选的实现方式中,流式业务指标包括以下至少一项:在预设时间段内流式业务数据的最大值、在预设时间段内流式业务数据的平均值。
需要说明的是,流式业务指标还可以基于在预设时间段内流式业务数据的方差、均方差等。
在本实现方式中,基于预设时间段内流式业务数据的最大值和/或平均值,实现对流式业务数据的流式业务指标的确定。
为了便于理解,下面提供可以实现本申请实施例的用于预警的方法的应用场景。在图3的应用场景中,终端设备301采集流式业务数据;之后终端设备301将流式业务数据发送至计算设备302,由计算设备302获取预警规则信息和流式业务数据的流式业务指标;之后,计算设备302处理预警规则信息,生成流式计算结果;之后,计算设备302将流式业务指标与流式计算结果进行比较;之后,计算设备302响应于流式业务指标不满足流式计算结果,生成与流式业务数据对应的预警信息;之后,计算设备302将预警信息发送至云端服务器303,以实现在流式业务指标异常时向用户报警。在该应用场景中仅以一个终端设备为示例。
本申请的上述实施例提供的方法获取预警规则信息和流式业务数据的流式业务指标;将流式业务指标与由处理预警规则信息生成的流式计算结果进行比较;在流式业务指标不满足流式计算结果时,生成与流式业务数据对应的预警信息,并将预警信息发送至云端服务器,以实现在流式业务指标异常时向用户报警。
进一步参考图4,作为对上述各图所示方法的实现,本申请提供了一种用于预警的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例的用于预警的装置400可以包括:获取模块401、处理模块402、比较模块403和生成模块404。其中,获取模块401,被配置为获取流式业务数据的流式业务指标,以及预警规则信息;处理模块402,被配置为处理预警规则信息,生成流式计算结果;比较模块403,被配置为将流式业务指标与流式计算结果进行比较;生成模块404,被配置为响应于流式业务指标不满足流式计算结果,生成与流式业务数据对应的预警信息。
在本实施例的一些可选的实现方式中,流式计算结果为结构化查询语言SQL语句;以及处理模块402,进一步被配置为:将预警规则信息,转换成SQL语句。
在本实施例的一些可选的实现方式中,比较模块403,进一步被配置为:将流式业务指标与SQL语句定义的指标阈值进行比较
在本实施例的一些可选的实现方式中,该用于预警的装置还包括:获取模块401,被配置为获取计算设备的负载数据;扩缩容模块(图中未示出),被配置为将负载数据的值与预设数据阈值进行比较,并根据比较结果扩容和/或缩容计算设备中的实例。
在本实施例的一些可选的实现方式中,负载数据包括以下至少一项:计算设备的中央处理器(CPU)使用率、计算设备的内存使用率、流式业务数据并发的数量。
在本实施例的一些可选的实现方式中,获取模块401,进一步配置为:按照预设时间窗口,获取预设时间段内流式业务数据的流式业务指标。
在本实施例的一些可选的实现方式中,预设时间窗口包括以下至少一项:滚动窗口、滑动窗口、计算窗口。
在本实施例的一些可选的实现方式中,流式业务指标包括以下至少一项:在预设时间段内流式业务数据的最大值、在预设时间段内流式业务数据的平均值。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种用于预警的装置的另一个实施例,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于预警的装置可以包括:采集模块501、消息总线模块502、规则配置模块503、规则转化模块504、流式计算引擎模块505、弹性调度模块506、消息报警模块507和云端508。其中,采集模块501,用于获取设备A和设备B采集的流式业务数据;消息总线模块502,为端侧消息总线,对接采集模块501,同时转发流式业务数据到流式计算引擎模块505;规则配置模块503,用于用户配置预警规则信息,选择监控对象、报警规则、报警类型、报警上报目的地;警规则转化模块504,用于将预警规则信息转化成流式计算结果,其中,流式计算结果可以采用但不限于SQL语句进行定义,支持SQL92标准;流式计算引擎模块505,用于将以特定大小的时间窗口为基本单位,统计一段时间内数据的指标数据。时间窗口包括但不限于:滚动窗口(TUMBLINGWINDOW)、滑动窗口(SLIDINGWINDOW)、计数窗口(COUNTWINDOW);弹性调度模块506,用于收集、统计流式计算引擎模块505的CPU使用率、内存使用率、数据并发数量,如果超过/低于设置的阈值时,对流式计算引擎模块505中的实例数进行扩缩容,可以按需弹性调度流式计算引擎程序占用的系统资源,降低边缘侧设备的运行压力;弹性调度模块506,设置流式计算引擎的最大实例数以及最小实例数以及参考指标上下限阈值;消息报警模块507,用于对接规则配置模块503,读取预警规则信息的上下阈值以及报警上报目的地,以及连续接收来自流式计算引擎模块505的流式计算结果,然后将流式业务指标与流式计算结果中的每条规则的阈值进行对比,如果流式业务指标不在指标阈值范围内,及时上报预警信息到云端508。
在本实施例的一些可选的实现方式中,报警类型包括但不限于:触发报警立即通知、触发报警一定次数后通知、触发报警一定时间后通知,报警规则包括但不限于:大于、小于、等于、不等于。
在本实施例的一些可选的实现方式中,消息总线模块502负责将流式业务数据传输至计算设备。流式业务数据传输协议包括但不限于:标准MQTT协议、标准COAP协议。
在本实施例的一些可选的实现方式中,规则转化模块504将预警规则信息转化成流式计算结果。流式计算结果包括但不限于SQL语句定义,支持SQL92标准,并扩展了包括但不限于滚动窗口(TUMBLINGWINDOW)、滑动窗口(SLIDINGWINDOW)、计数窗口(COUNTWINDOW)等流式计算专用关键字。
在本实施例的一些可选的实现方式中,消息报警模块507连续接收来自流式计算引擎模块505的流式计算结果,然后将流式业务指标与流式计算结果中的每条规则的指标阈值进行对比,如果流式业务指标不在指标阈值范围内,及时上报预警信息到云端508。
在本实施例的一些可选的实现方式中,负载数据包括但不限于实例CPU使用率、实例内存使用率、实例并发量。最小实例数支持设置为0,以最大程序降低系统资源消耗。
在本实施例的一些可选的实现方式中,分别启动各个模块,对于启动顺序要保证采集模块501最后启动。
在本实施例的一些可选的实现方式中,采集模块501采用轮询策略,定期采集流式业务数据,保证数据的时间连续性。
在本实施例的一些可选的实现方式中,流式计算引擎模块505,用于以特定大小的时间窗口为基本单位,统计一段时间内流式业务数据的流式业务指标。时间窗口包括,但不限于滚动窗口(TUMBLINGWINDOW)、滑动窗口(SLIDINGWINDOW)、计数窗口(COUNTWINDOW)。
在本实施例的一些可选的实现方式中,消息报警模块507连续接收流式计算引擎模块505输出的流式计算结果,然后将流式业务指标与流式计算结果中的每条规则的指标阈值进行对比,如果流式业务指标不在对应的指标阈值范围内,及时上报预警信息到云端508。
在本实施例的一些可选的实现方式中,弹性调度模块506,用于收集、统计流式计算引擎模块505的CPU使用率、内存使用率、数据并发数量,如果超过/低于设置的阈值时,对流式计算引擎模块505中的实例数进行扩缩容。
根据本申请的实施例,本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本申请的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如用于预警的方法。例如,在一些实施例中,用于预警的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的用于预警的方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法用于预警的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请的技术方案,首先获取流式业务数据的流式业务指标,以及预警规则信息;之后处理预警规则信息,生成流式计算结果;然后将流式业务指标与流式计算结果进行比较;最后响应于流式业务指标不满足流式计算结果,生成与流式业务数据对应的预警信息。本申请融合了流式计算技术,将预警规则信息转化成流式计算结果,并可以针对与流式业务数据相关的流式业务指标进行实时对比分析,在流式业务指标异常时,可以实时报警,进而解决了吞吐量小、处理时延大等问题,提高了边缘计算场景下的实时告警效率。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (19)
1.一种用于预警的方法,应用于计算设备,包括:
获取流式业务数据的流式业务指标,以及预警规则信息;
处理所述预警规则信息,生成流式计算结果;
将所述流式业务指标与所述流式计算结果进行比较;
响应于所述流式业务指标不满足所述流式计算结果,生成与所述流式业务数据对应的预警信息。
2.根据权利要求1所述的方法,其中,所述流式计算结果为结构化查询语言SQL语句;以及
所述处理所述预警规则信息,生成流式计算结果,包括:
将所述预警规则信息,转换成所述SQL语句。
3.根据权利要求2所述的方法,其中,所述将所述流式业务指标与所述流式计算结果进行比较,包括:
将所述流式业务指标与所述SQL语句定义的指标阈值进行比较。
4.根据权利要求1-3任意一项所述的方法,所述方法还包括:
获取所述计算设备的负载数据;
将所述负载数据的值与预设数据阈值进行比较,并根据比较结果扩容和/或缩容所述计算设备中的实例。
5.根据权利要求4所述的方法,其中,所述负载数据包括以下至少一项:所述计算设备的中央处理器使用率、所述计算设备的内存使用率、流式业务数据并发的数量。
6.根据权利要求1-3任意一项所述的方法,其中,所述获取流式业务数据的流式业务指标,包括:
按照预设时间窗口,获取预设时间段内所述流式业务数据的流式业务指标。
7.根据权利要求6所述的方法,其中,所述预设时间窗口包括以下至少一项:滚动窗口、滑动窗口、计算窗口。
8.根据权利要求6所述的方法,其中,所述流式业务指标包括以下至少一项:在所述预设时间段内所述流式业务数据的最大值、在所述预设时间段内所述流式业务数据的平均值。
9.一种用于预警的装置,应用于计算设备,包括:
获取模块,被配置为获取流式业务数据的流式业务指标,以及预警规则信息;
处理模块,被配置为处理所述预警规则信息,生成流式计算结果;
比较模块,被配置为将所述流式业务指标与所述流式计算结果进行比较;
生成模块,被配置为响应于所述流式业务指标不满足所述流式计算结果,生成与所述流式业务数据对应的预警信息。
10.根据权利要求9所述的装置,其中,所述流式计算结果为结构化查询语言SQL语句;以及
所述处理模块,进一步被配置为:将所述预警规则信息,转换成所述SQL语句。
11.根据权利要求10所述的装置,其中,所述比较模块,进一步被配置为:
将所述流式业务指标与所述SQL语句定义的指标阈值进行比较。
12.根据权利要求9-11任意一项所述的装置,所述装置还包括:
所述获取模块,被配置为获取所述计算设备的负载数据;
扩缩容模块,被配置为将所述负载数据的值与预设数据阈值进行比较,并根据比较结果扩容和/或缩容所述计算设备中的实例。
13.根据权利要求12所述的装置,其中,所述负载数据包括以下至少一项:所述计算设备的中央处理器使用率、所述计算设备的内存使用率、流式业务数据并发的数量。
14.根据权利要求9-11任意一项所述的装置,其中,所述获取模块,进一步被配置为:
按照预设时间窗口,获取预设时间段内所述流式业务数据的流式业务指标。
15.根据权利要求14所述的装置,其中,所述预设时间窗口包括以下至少一项:滚动窗口、滑动窗口、计算窗口。
16.根据权利要求14所述的装置,其中,所述流式业务指标包括以下至少一项:在所述预设时间段内所述流式业务数据的最大值、在所述预设时间段内所述流式业务数据的平均值。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011499914.9A CN112615742A (zh) | 2020-12-18 | 2020-12-18 | 用于预警的方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011499914.9A CN112615742A (zh) | 2020-12-18 | 2020-12-18 | 用于预警的方法、装置、设备以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112615742A true CN112615742A (zh) | 2021-04-06 |
Family
ID=75240419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011499914.9A Pending CN112615742A (zh) | 2020-12-18 | 2020-12-18 | 用于预警的方法、装置、设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112615742A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113190423A (zh) * | 2021-04-20 | 2021-07-30 | 北京异乡旅行网络科技有限公司 | 业务数据的监控方法、装置及系统 |
CN113314235A (zh) * | 2021-05-19 | 2021-08-27 | 郑州大学 | 基于实时数据采集的脑卒中预警与主动干预系统 |
CN113344058A (zh) * | 2021-05-31 | 2021-09-03 | 上海蓝色帛缔智能工程有限公司 | 基于云计算的信息融合的预警方法、装置及云服务器 |
CN113392125A (zh) * | 2021-07-05 | 2021-09-14 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法和装置 |
CN113408893A (zh) * | 2021-06-18 | 2021-09-17 | 中国农业银行股份有限公司 | 风险预警方法及装置 |
CN113923132A (zh) * | 2021-09-23 | 2022-01-11 | 深信服科技股份有限公司 | 数据提醒方法、装置、电子设备和存储介质 |
CN114595067A (zh) * | 2022-03-18 | 2022-06-07 | 北京百度网讯科技有限公司 | 工作流节点的执行方法、装置、设备以及存储介质 |
CN114938353A (zh) * | 2022-05-27 | 2022-08-23 | 中国银行股份有限公司 | 基于流式计算的异步通知限流方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104978232A (zh) * | 2014-04-09 | 2015-10-14 | 阿里巴巴集团控股有限公司 | 用于实时流式计算的计算资源扩容、释放方法及其装置 |
CN110460521A (zh) * | 2019-09-19 | 2019-11-15 | 北京中电普华信息技术有限公司 | 一种边缘计算软网关 |
CN111026749A (zh) * | 2019-11-11 | 2020-04-17 | 支付宝(杭州)信息技术有限公司 | 业务告警方法及装置 |
US20200162572A1 (en) * | 2018-11-16 | 2020-05-21 | Sap Se | Dynamic streaming analytics |
CN111740884A (zh) * | 2020-08-25 | 2020-10-02 | 云盾智慧安全科技有限公司 | 一种日志处理方法及电子设备、服务器、存储介质 |
US20200379805A1 (en) * | 2019-05-30 | 2020-12-03 | Microsoft Technology Licensing, Llc | Automated cloud-edge streaming workload distribution and bidirectional migration with lossless, once-only processing |
-
2020
- 2020-12-18 CN CN202011499914.9A patent/CN112615742A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104978232A (zh) * | 2014-04-09 | 2015-10-14 | 阿里巴巴集团控股有限公司 | 用于实时流式计算的计算资源扩容、释放方法及其装置 |
US20200162572A1 (en) * | 2018-11-16 | 2020-05-21 | Sap Se | Dynamic streaming analytics |
US20200379805A1 (en) * | 2019-05-30 | 2020-12-03 | Microsoft Technology Licensing, Llc | Automated cloud-edge streaming workload distribution and bidirectional migration with lossless, once-only processing |
CN110460521A (zh) * | 2019-09-19 | 2019-11-15 | 北京中电普华信息技术有限公司 | 一种边缘计算软网关 |
CN111026749A (zh) * | 2019-11-11 | 2020-04-17 | 支付宝(杭州)信息技术有限公司 | 业务告警方法及装置 |
CN111740884A (zh) * | 2020-08-25 | 2020-10-02 | 云盾智慧安全科技有限公司 | 一种日志处理方法及电子设备、服务器、存储介质 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113190423A (zh) * | 2021-04-20 | 2021-07-30 | 北京异乡旅行网络科技有限公司 | 业务数据的监控方法、装置及系统 |
CN113190423B (zh) * | 2021-04-20 | 2024-02-20 | 北京异乡旅行网络科技有限公司 | 业务数据的监控方法、装置及系统 |
CN113314235A (zh) * | 2021-05-19 | 2021-08-27 | 郑州大学 | 基于实时数据采集的脑卒中预警与主动干预系统 |
CN113344058A (zh) * | 2021-05-31 | 2021-09-03 | 上海蓝色帛缔智能工程有限公司 | 基于云计算的信息融合的预警方法、装置及云服务器 |
CN113408893A (zh) * | 2021-06-18 | 2021-09-17 | 中国农业银行股份有限公司 | 风险预警方法及装置 |
CN113392125A (zh) * | 2021-07-05 | 2021-09-14 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法和装置 |
CN113923132A (zh) * | 2021-09-23 | 2022-01-11 | 深信服科技股份有限公司 | 数据提醒方法、装置、电子设备和存储介质 |
CN114595067A (zh) * | 2022-03-18 | 2022-06-07 | 北京百度网讯科技有限公司 | 工作流节点的执行方法、装置、设备以及存储介质 |
CN114938353A (zh) * | 2022-05-27 | 2022-08-23 | 中国银行股份有限公司 | 基于流式计算的异步通知限流方法及系统 |
CN114938353B (zh) * | 2022-05-27 | 2024-04-16 | 中国银行股份有限公司 | 基于流式计算的异步通知限流方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112615742A (zh) | 用于预警的方法、装置、设备以及存储介质 | |
CN112463543B (zh) | 业务数据的监控方法、规则数据生成方法、装置及系统 | |
CN112199252B (zh) | 一种异常监控方法、装置及电子设备 | |
CN114416685B (zh) | 日志处理方法、系统和存储介质 | |
CN115033463B (zh) | 一种系统异常类型确定方法、装置、设备和存储介质 | |
CN112948223B (zh) | 一种监测运行情况的方法和装置 | |
CN115794578A (zh) | 一种电力系统的数据管理方法、装置、设备及介质 | |
CN113312321A (zh) | 一种业务量的异常监测方法及相关设备 | |
CN116708217A (zh) | 一种数据中心设备监控方法、系统、电子设备及存储介质 | |
CN116668264A (zh) | 一种告警聚类的根因分析方法、装置、设备及存储介质 | |
CN114513334B (zh) | 风险管理方法和风险管理装置 | |
CN114697247B (zh) | 流媒体系统的故障检测方法、装置、设备和存储介质 | |
CN114861909A (zh) | 模型质量监控方法、装置、电子设备以及存储介质 | |
CN114706893A (zh) | 故障检测方法、装置、设备及存储介质 | |
CN114546780A (zh) | 数据监控方法、装置、设备、系统及存储介质 | |
CN114625763A (zh) | 用于数据库的信息分析方法、装置、电子设备和可读介质 | |
CN115145902A (zh) | 数据处理方法,装置,存储介质以及电子设备 | |
CN114879832A (zh) | 用于运算装置的功耗控制方法、装置、芯片、设备及介质 | |
CN113778727B (zh) | 数据处理方法及装置、电子设备和计算机可读存储介质 | |
CN118820014A (zh) | 报警方法、装置及电子设备 | |
CN118277625B (zh) | 一种分布式电磁大数据处理系统及方法 | |
CN113138903B (zh) | 用于跟踪存储系统的性能的方法和设备 | |
US10805150B2 (en) | Regenerative telemetry method for resource reduction | |
CN115204424A (zh) | 云原生系统的智能运维方法、装置、设备及存储介质 | |
CN115357456A (zh) | 耗时展示方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210406 |
|
RJ01 | Rejection of invention patent application after publication |