CN114356735A - 一种数据预警方法、装置、介质及设备 - Google Patents
一种数据预警方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN114356735A CN114356735A CN202111664779.3A CN202111664779A CN114356735A CN 114356735 A CN114356735 A CN 114356735A CN 202111664779 A CN202111664779 A CN 202111664779A CN 114356735 A CN114356735 A CN 114356735A
- Authority
- CN
- China
- Prior art keywords
- early warning
- data
- message
- data stream
- input source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 230000014509 gene expression Effects 0.000 claims description 98
- 230000006870 function Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本公开关于一种数据预警方法、装置、介质及设备，所述方法包括：获取消息列队，所述消息列队包括多个消息主题，每个所述消息主题对应一个输入源，所述消息主题是所述输入源实时上传的数据；在所述消息列队中获取指定的消息主题，得到第一数据流；获取与所述第一数据流对应的预先构建的预警规则；监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息。本说明书提供的数据预警方法可以解决多输入源的问题，实现对多个输入源数据的实时监测，提高多个输入源数据预警的准确性，提高数据预警的应用场景。
Description
技术领域
本公开涉及数据预警技术领域，尤其涉及一种数据预警方法、装置、介质及设备。
背景技术
数据预警即按照用户定义的规则，对终端设备上报的数据进行实时监测，如果发现不符合的规则的数据对用户进行预警。现有数据预警的技术通常只能实现简单的预警规则，比如单一设备的阈值判断。但是随着大数据和物联网的发展，系统中接入设备的种类和数量大幅提高，简单的数据预警规则不能完全满足用户的需求。因此本发明提出了一种基于流计算的海量多源数据预警方法，能够实时监测多输入源数据，同时并且结合流计算引擎支持包括逻辑计算和时间窗口聚合计算在内的复杂规则设计。
发明内容
第一方面，本公开提供一种数据预警方法所述方法包括：
获取消息列队，所述消息列队包括多个消息主题，每个所述消息主题对应一个输入源，所述消息主题是所述输入源实时上传的数据；
在所述消息列队中获取指定的消息主题，得到第一数据流；
获取与所述第一数据流对应的预先构建的预警规则；
监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息。
进一步地，所述预警规则是通过如下方式建立的：
在产品列表中选取目标输入源，所述产品列表中包括与所述消息主题对应的输入源，每个所述输入源包括至少一个设备；
在所述目标输入源中选取指定数量的设备；
根据选取的设备设置各个设备对应的指标统计的时间窗口；
基于所述时间窗口建立各个设备预警规则对应的指标表达式；
在所述产品列表中选取下一个输入源作为所述目标输入源；
重复执行：在所述目标输入源中选取指定数量的设备；根据选取的设备设置各个设备对应的指标统计的时间窗口；基于所述时间窗口建立各个设备预警规则对应的指标表达式，直至所述产品列表中的全部输入源完成指标表达式的创建。
进一步地，所述获取与所述第一数据流对应的预先构建的预警规则，包括：
按照所述第一数据流对应的输入源获取各个输入源中各个设备的指标表达式；
基于各个所述输入源中各个设备的关联关系创建预警指标的逻辑组合表达式，所述预警指标的逻辑组合表达式中包括多个设备的指标表达式；
相应的，所述监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息，包括：
监测所述第一数据流，在所述第一数据流不符合所述逻辑组合表达式时，发出预警消息。
进一步地，所述监测所述第一数据流，在所述第一数据流不符合所述逻辑组合表达式时，发出预警消息之前，所述方法还包括：
验证所述逻辑组合表达式的布尔值是否符合预设要求；
相应的，所述监测所述第一数据流，在所述第一数据流不符合所述逻辑组合表达式时，发出预警消息是在所述逻辑组合表达式的布尔值符合预设要求时执行的。
进一步地，所述预警规则包括多个逻辑组合表达式；所述监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息，包括：
基于预先构建的filter函数、window函数和aggregate函数对所述第一数据流进行提取，得到各个逻辑组合表达式的第二数据流；
基于union函数返回在所述第二数据流中计算的、由表达式指定的所有非Null数值的联合，得到第三数据流；
在各个所述第三数据流不符合对应的所述预警规则时，发出预警消息。
第二方面，本公开提供一种数据预警装置，所述装置包括：
消息列队获取模块，用于获取消息列队，所述消息列队包括多个消息主题，每个所述消息主题对应一个输入源，所述消息主题是所述输入源实时上传的数据；
第一数据流确定模块，用于在所述消息列队中获取指定的消息主题，得到第一数据流；
预警规则获取模块，用于获取与所述第一数据流对应的预先构建的预警规则；
预警模块，用于监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息。
进一步地，所述预警规则是通过如下方式建立的：
在产品列表中选取目标输入源，所述产品列表中包括与所述消息主题对应的输入源，每个所述输入源包括至少一个设备；
在所述目标输入源中选取指定数量的设备；
根据选取的设备设置各个设备对应的指标统计的时间窗口；
基于所述时间窗口建立各个设备预警规则对应的指标表达式；
在所述产品列表中选取下一个输入源作为所述目标输入源；
重复执行：在所述目标输入源中选取指定数量的设备；根据选取的设备设置各个设备对应的指标统计的时间窗口；基于所述时间窗口建立各个设备预警规则对应的指标表达式，直至所述产品列表中的全部输入源完成指标表达式的创建。
进一步地，所述预警规则获取模块，包括：
指标表达式获取单元，用于按照所述第一数据流对应的输入源获取各个输入源中各个设备的指标表达式；
逻辑组合表达式创建单元，用于基于各个所述输入源中各个设备的关联关系创建预警指标的逻辑组合表达式，所述预警指标的逻辑组合表达式中包括多个设备的指标表达式；
相应的，所述预警模块，具体用于监测所述第一数据流，在所述第一数据流不符合所述逻辑组合表达式时，发出预警消息。
第三方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述所述数据预警方法。
第四方面，本公开提供一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如上述所述数据预警方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本说明书实施例提供的一种数据预警方法、装置、介质及设备，通过流计算引擎获取消息列队，所述消息列队包括多个消息主题，每个所述消息主题对应一个输入源，所述消息主题是所述输入源实时上传的数据；在所述消息列队中获取指定的消息主题，得到第一数据流；通过遍历预警规则的指标得到与所述第一数据流对应的预先构建的预警规则；之后可以实时监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息。本说明书提供的数据预警方法可以解决多输入源的问题，实现对多个输入源数据的实时监测，提高多个输入源数据预警的准确性，提高数据预警的应用场景。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种数据预警方法的流程图；
图2是根据一示例性实施例示出的另一种数据预警方法的流程；
图3是根据一示例性实施例示出的一种数据预警装置框图；
图4是根据一示例性实施例示出的一种用于数据预警的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了更好的理解本申请，先对以下术语进行解释说明：
流计算：实时获取来自不同数据源的海量数据，经过实时分析处理，获得有价值的信息。
布尔值是"真"True或"假"False中的一个。动作脚本也会在适当时将值True和False转换为1和0。布尔值经常与动作脚本语句中通过比较控制脚本流的逻辑运算符一起使用。
流计算引擎：比如flink，spark这样的大数据实时计算引擎。
多源输入：指的是多个输入源产品，不是简单的多个终端设备接入，因为一个产品可能有多个接入设备。
时间窗口：即计算窗口期内属性的最大值，最小值，求和，平均值。
图1是本说明书实施例提供的一种数据预警方法的流程图，如图1所示，本说明书实施例提供的一种数据预警方法可以包括：
S102、获取消息列队，所述消息列队包括多个消息主题，每个所述消息主题对应一个输入源，所述消息主题是所述输入源实时上传的数据。
具体的，输入源将实时数据上报到消息队列，一种输入源对应唯一的消息主题；流计算引擎获取监测的输入源列表，通过消息监听器监听输入源列表对应的消息主题队列，实时的获取多输入源的实时数据。
S104、在所述消息列队中获取指定的消息主题，得到第一数据流。
具体的，用户可以在上述消息列队中选取需要检测的一个或多个消息主题，多个消息主体形成第一数据流。可以理解的是，第一数据流中可以包括多个输入源实时上传的数据。
具体的，指定的消息主题可以是用户指定的预警规则对应的输入源上传的数据。在实际应用中，可以遍历预警规则中的指标，得到输入源产品列表，流计算引擎通过创建消息监听器获取输入源实时数据并形成第一数据流。
S106、获取与所述第一数据流对应的预先构建的预警规则；
具体的，第一数据流中可以包括有多个不同的输入源对应的消息主题，每个输入源可以有多个设备。
在一个可选的实施例中，请参阅图2，所述预警规则是通过如下方式建立的：
S202、在产品列表中选取目标输入源，所述产品列表中包括与所述消息主题对应的输入源，每个所述输入源包括至少一个设备；
S204、在所述目标输入源中选取指定数量的设备；
S206、根据选取的设备设置各个设备对应的指标统计的时间窗口；
S208、基于所述时间窗口建立各个设备预警规则对应的指标表达式；
S210、在所述产品列表中选取下一个输入源作为所述目标输入源；
S212、重复执行：在所述目标输入源中选取指定数量的设备；根据选取的设备设置各个设备对应的指标统计的时间窗口；基于所述时间窗口建立各个设备预警规则对应的指标表达式，直至所述产品列表中的全部输入源完成指标表达式的创建。
具体的，时间窗口可以理解为计算窗口期内属性的最大值、最小值、和值和/或平均值等，计算的内容可以是数据流中与对应的设备相对应的数据，该数据可以是消息主题也可以是具体的设备产生的数据。
在对各个设备建立对应的预警规则时，可以依次对输入源的各个设备设置时间窗口，而后构建对应的指标表达式，该指标表达式用于在检测到数据不符合时产生预警。可以理解的是，不同的设备可以具有相同的指标表达式，也可以具有不同的指标表达式。指标表达式中可以有多个指标，不同的指标用于指示不同的计算规则。
具体的，本发明预警规则设计方法包括预警指标设计和预警指标规则设计，分层设计的目的是实现更清晰的架构和预警指标的复用。
用户首先需要定义一个或者多个预警指标，预警指标包括输入源产品，设备列表，时间窗口，产品属性，预警指标表达式；用户从产品列表中选择一个产品，然后在该产品对应的已有的设备中选择部分设备作为设备列表，然后确定计算的时间窗口和产品属性，最后输入预警指标的表达式，表达式操作符包括最大值MAX,最小值MIN，均值AVG,总和SUM四种聚合函数；大于>,小于<,等于＝，大于等于>＝,小于等于<＝五种大小比较运算符；与&&，或||逻辑运算符以及括号()运算符。
需要说明的是，不同的设备可以对应有不同的时间窗口。时间窗口的具体时间可以根据实际需要进行设置，具体的，可以根据数据流的流量进行设置，如数据流的流量较大则对应的时间窗口可以相对较短，同样的，数据流的流量较小则对应的时间窗口可以相对较长。
在一个可选的实施例中，所述获取与所述第一数据流对应的预先构建的预警规则，包括：
按照所述第一数据流对应的输入源获取各个输入源中各个设备的指标表达式；
具体的，每个输入源均可以包括多个设备，每个设备均是能够产生数据，且每个设备均可以有对应的指标表达式，该指标表达式用于监测设备的数据是否预警。
基于各个所述输入源中各个设备的关联关系创建预警指标的逻辑组合表达式，所述预警指标的逻辑组合表达式中包括多个设备的指标表达式。
具体的，不同的设备之间会存在对应的关联关系，该关联关系可以是依赖关系。相应的，可以更加各个设备的依赖关系穿件预警指标的逻辑组合表达式，如用户完成预警指标设计之后需要对预警指标进行组合形成预警指标规则，规则支持与&&，或||逻辑运算符以及括号()运算符。如逻辑组合表达式为MAX>200&&AVG>100，表示的一个时间窗口内的最大值大于200且平均值大于100的流量数据。
S108、监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息。
相应的，所述监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息，包括：
监测所述第一数据流，在所述第一数据流不符合所述逻辑组合表达式时，发出预警消息。
在一个可选的实施例中，所述监测所述第一数据流，在所述第一数据流不符合所述逻辑组合表达式时，发出预警消息之前，所述方法还包括：
验证所述逻辑组合表达式的布尔值是否符合预设要求；
相应的，所述监测所述第一数据流，在所述第一数据流不符合所述逻辑组合表达式时，发出预警消息是在所述逻辑组合表达式的布尔值符合预设要求时执行的。
具体的，创建的逻辑组合表达式中各个指标表达式可能是不能够共同对数据进行预警的，本说明书实施例通过对逻辑组合表达式的各个指标表达式的布尔值进行校验，在逻辑组合表达式符合预设要求时，才执行监测所述第一数据流，在所述第一数据流不符合所述逻辑组合表达式时，发出预警消息。
在一个可选的实施例中，所述预警规则包括多个逻辑组合表达式；所述监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息，包括：
基于预先构建的filter函数、window函数和aggregate函数对所述第一数据流进行提取，得到各个逻辑组合表达式的第二数据流；
基于union函数返回在所述第二数据流中计算的、由表达式指定的所有非Null数值的联合，得到第三数据流；
在各个所述第三数据流不符合对应的所述预警规则时，发出预警消息。
具体的，流计算引擎通过filter函数，window函数和aggregate函数从实时数据流得到各个逻辑组合表达式或指标表达式的第二数据流。
计算指标表达式对应的的属性表达式布尔值：各个指标数据流计算各个预警指标表达式的布尔值。之后将第二数据流联合：计算引擎通过union函数联合各个指标聚合结果得到第三数据流。
指标组合逻辑结果：数据流联合通过map函数实时更新指标的计算结果，如果指标组合逻辑的结果为真，则发送预警消息。
本说明书实施例提供的一种数据预警方法，通过流计算引擎获取消息列队，所述消息列队包括多个消息主题，每个所述消息主题对应一个输入源，所述消息主题是所述输入源实时上传的数据；在所述消息列队中获取指定的消息主题，得到第一数据流；通过遍历预警规则的指标得到与所述第一数据流对应的预先构建的预警规则；之后可以实时监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息。本说明书提供的数据预警方法可以解决多输入源的问题，实现对多个输入源数据的实时监测，提高多个输入源数据预警的准确性，提高数据预警的应用场景。
此外，本文的实施解决用户自定义规则设计问题，规则设计需要支持括号操作符，与或逻辑操作符以及时间窗口聚合计算。通过建立的函数可以对规则进行解析，并生成相应的流计算任务。进一步验证了预警规则是否准确，保证预警的准确性。
再一方面，本公开提供一种数据预警装置，图3是根据一示例性实施例示出的一种数据预警装置框图，参照图3，该装置包括：
消息列队获取模块301，用于获取消息列队，所述消息列队包括多个消息主题，每个所述消息主题对应一个输入源，所述消息主题是所述输入源实时上传的数据；
第一数据流确定模块302，用于在所述消息列队中获取指定的消息主题，得到第一数据流；
预警规则获取模块303，用于获取与所述第一数据流对应的预先构建的预警规则；
预警模块304，用于监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息。
在上述实施例基础上，本说明书一个实施例中，所述预警规则是通过如下方式建立的：
在产品列表中选取目标输入源，所述产品列表中包括与所述消息主题对应的输入源，每个所述输入源包括至少一个设备；
在所述目标输入源中选取指定数量的设备；
根据选取的设备设置各个设备对应的指标统计的时间窗口；
基于所述时间窗口建立各个设备预警规则对应的指标表达式；
在所述产品列表中选取下一个输入源作为所述目标输入源；
重复执行：在所述目标输入源中选取指定数量的设备；根据选取的设备设置各个设备对应的指标统计的时间窗口；基于所述时间窗口建立各个设备预警规则对应的指标表达式，直至所述产品列表中的全部输入源完成指标表达式的创建。
在上述实施例基础上，本说明书一个实施例中，所述预警规则获取模块，包括：
指标表达式获取单元，用于按照所述第一数据流对应的输入源获取各个输入源中各个设备的指标表达式；
逻辑组合表达式创建单元，用于基于各个所述输入源中各个设备的关联关系创建预警指标的逻辑组合表达式，所述预警指标的逻辑组合表达式中包括多个设备的指标表达式；
相应的，所述预警模块，具体用于监测所述第一数据流，在所述第一数据流不符合所述逻辑组合表达式时，发出预警消息。
本说明书实施例提供的一种数据预警装置，通过流计算引擎获取消息列队，所述消息列队包括多个消息主题，每个所述消息主题对应一个输入源，所述消息主题是所述输入源实时上传的数据；在所述消息列队中获取指定的消息主题，得到第一数据流；通过遍历预警规则的指标得到与所述第一数据流对应的预先构建的预警规则；之后可以实时监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息。本说明书提供的数据预警方法可以解决多输入源的问题，实现对多个输入源数据的实时监测，提高多个输入源数据预警的准确性，提高数据预警的应用场景。
此外，本文的实施解决用户自定义规则设计问题，规则设计需要支持括号操作符，与或逻辑操作符以及时间窗口聚合计算。通过建立的函数可以对规则进行解析，并生成相应的流计算任务。进一步验证了预警规则是否准确，保证预警的准确性。
图4是根据一示例性实施例示出的一种用于数据预警的电子设备的框图，该电子设备可以是终端，也可以是监管系统，其内部结构图可以如图4所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据预警的方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的数据预警方法。
在示例性实施例中，还提供了一种计算机可读存储介质，当该计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的数据预警方法。计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的数据预警的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种数据预警方法，其特征在于，所述方法包括：
获取消息列队，所述消息列队包括多个消息主题，每个所述消息主题对应一个输入源，所述消息主题是所述输入源实时上传的数据；
在所述消息列队中获取指定的消息主题，得到第一数据流；
获取与所述第一数据流对应的预先构建的预警规则；
监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息。
2.根据权利要求1所述数据预警方法，其特征在于，所述预警规则是通过如下方式建立的：
在产品列表中选取目标输入源，所述产品列表中包括与所述消息主题对应的输入源，每个所述输入源包括至少一个设备；
在所述目标输入源中选取指定数量的设备；
根据选取的设备设置各个设备对应的指标统计的时间窗口；
基于所述时间窗口建立各个设备预警规则对应的指标表达式；
在所述产品列表中选取下一个输入源作为所述目标输入源；
重复执行：在所述目标输入源中选取指定数量的设备；根据选取的设备设置各个设备对应的指标统计的时间窗口；基于所述时间窗口建立各个设备预警规则对应的指标表达式，直至所述产品列表中的全部输入源完成指标表达式的创建。
3.根据权利要求2所述数据预警方法，其特征在于，所述获取与所述第一数据流对应的预先构建的预警规则，包括：
按照所述第一数据流对应的输入源获取各个输入源中各个设备的指标表达式；
基于各个所述输入源中各个设备的关联关系创建预警指标的逻辑组合表达式，所述预警指标的逻辑组合表达式中包括多个设备的指标表达式；
相应的，所述监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息，包括：
监测所述第一数据流，在所述第一数据流不符合所述逻辑组合表达式时，发出预警消息。
4.根据权利要求3所述数据预警方法，其特征在于，所述监测所述第一数据流，在所述第一数据流不符合所述逻辑组合表达式时，发出预警消息之前，所述方法还包括：
验证所述逻辑组合表达式的布尔值是否符合预设要求；
相应的，所述监测所述第一数据流，在所述第一数据流不符合所述逻辑组合表达式时，发出预警消息是在所述逻辑组合表达式的布尔值符合预设要求时执行的。
5.根据权利要求2所述数据预警方法，其特征在于，所述预警规则包括多个逻辑组合表达式；所述监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息，包括：
基于预先构建的filter函数、window函数和aggregate函数对所述第一数据流进行提取，得到各个逻辑组合表达式的第二数据流；
基于union函数返回在所述第二数据流中计算的、由表达式指定的所有非Null数值的联合，得到第三数据流；
在各个所述第三数据流不符合对应的所述预警规则时，发出预警消息。
6.一种数据预警装置，其特征在于，所述装置包括：
消息列队获取模块，用于获取消息列队，所述消息列队包括多个消息主题，每个所述消息主题对应一个输入源，所述消息主题是所述输入源实时上传的数据；
第一数据流确定模块，用于在所述消息列队中获取指定的消息主题，得到第一数据流；
预警规则获取模块，用于获取与所述第一数据流对应的预先构建的预警规则；
预警模块，用于监测所述第一数据流，在所述第一数据流不符合所述预警规则时，发出预警消息。
7.根据权利要求6所述数据预警装置，其特征在于，所述预警规则是通过如下方式建立的：
在产品列表中选取目标输入源，所述产品列表中包括与所述消息主题对应的输入源，每个所述输入源包括至少一个设备；
在所述目标输入源中选取指定数量的设备；
根据选取的设备设置各个设备对应的指标统计的时间窗口；
基于所述时间窗口建立各个设备预警规则对应的指标表达式；
在所述产品列表中选取下一个输入源作为所述目标输入源；
重复执行：在所述目标输入源中选取指定数量的设备；根据选取的设备设置各个设备对应的指标统计的时间窗口；基于所述时间窗口建立各个设备预警规则对应的指标表达式，直至所述产品列表中的全部输入源完成指标表达式的创建。
8.根据权利要求7所述数据预警装置，其特征在于，所述预警规则获取模块，包括：
指标表达式获取单元，用于按照所述第一数据流对应的输入源获取各个输入源中各个设备的指标表达式；
逻辑组合表达式创建单元，用于基于各个所述输入源中各个设备的关联关系创建预警指标的逻辑组合表达式，所述预警指标的逻辑组合表达式中包括多个设备的指标表达式；
相应的，所述预警模块，具体用于监测所述第一数据流，在所述第一数据流不符合所述逻辑组合表达式时，发出预警消息。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-5中任一项所述数据预警方法。
10.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-5中任一项所述数据预警方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111664779.3A CN114356735A (zh) | 2021-12-31 | 2021-12-31 | 一种数据预警方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111664779.3A CN114356735A (zh) | 2021-12-31 | 2021-12-31 | 一种数据预警方法、装置、介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114356735A true CN114356735A (zh) | 2022-04-15 |
Family
ID=81104717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111664779.3A Pending CN114356735A (zh) | 2021-12-31 | 2021-12-31 | 一种数据预警方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114356735A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116069775A (zh) * | 2023-04-06 | 2023-05-05 | 上海二三四五网络科技有限公司 | 一种数据仓库的数据质量校验系统及校验方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104218676A (zh) * | 2014-09-02 | 2014-12-17 | 广东电网公司茂名供电局 | 电力调度自动化主站的智能告警系统和方法 |
| CN110750562A (zh) * | 2018-07-20 | 2020-02-04 | 武汉烽火众智智慧之星科技有限公司 | 基于Storm的实时数据比对预警方法及系统 |
| CN111210347A (zh) * | 2019-12-23 | 2020-05-29 | 南方科技大学 | 交易风险预警方法、装置、设备及存储介质 |
| CN111367747A (zh) * | 2018-12-25 | 2020-07-03 | 中国移动通信集团浙江有限公司 | 基于时间标注的指标异动检测预警的装置 |
| CN112084224A (zh) * | 2020-09-03 | 2020-12-15 | 北京锐安科技有限公司 | 一种数据管理方法、系统、设备及介质 |
| CN113297183A (zh) * | 2021-07-21 | 2021-08-24 | 国网汇通金财（北京）信息科技有限公司 | 一种时间窗口的告警分析方法及装置 |
| CN113672467A (zh) * | 2021-08-24 | 2021-11-19 | 中国电信股份有限公司 | 运维预警方法及装置、电子设备、存储介质 |
-
2021
- 2021-12-31 CN CN202111664779.3A patent/CN114356735A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104218676A (zh) * | 2014-09-02 | 2014-12-17 | 广东电网公司茂名供电局 | 电力调度自动化主站的智能告警系统和方法 |
| CN110750562A (zh) * | 2018-07-20 | 2020-02-04 | 武汉烽火众智智慧之星科技有限公司 | 基于Storm的实时数据比对预警方法及系统 |
| CN111367747A (zh) * | 2018-12-25 | 2020-07-03 | 中国移动通信集团浙江有限公司 | 基于时间标注的指标异动检测预警的装置 |
| CN111210347A (zh) * | 2019-12-23 | 2020-05-29 | 南方科技大学 | 交易风险预警方法、装置、设备及存储介质 |
| CN112084224A (zh) * | 2020-09-03 | 2020-12-15 | 北京锐安科技有限公司 | 一种数据管理方法、系统、设备及介质 |
| CN113297183A (zh) * | 2021-07-21 | 2021-08-24 | 国网汇通金财（北京）信息科技有限公司 | 一种时间窗口的告警分析方法及装置 |
| CN113672467A (zh) * | 2021-08-24 | 2021-11-19 | 中国电信股份有限公司 | 运维预警方法及装置、电子设备、存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116069775A (zh) * | 2023-04-06 | 2023-05-05 | 上海二三四五网络科技有限公司 | 一种数据仓库的数据质量校验系统及校验方法 |
| CN116069775B (zh) * | 2023-04-06 | 2023-08-22 | 上海二三四五网络科技有限公司 | 一种数据仓库的数据质量校验系统及校验方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021042914A1 (zh) | 测试数据生成方法、装置、计算机设备和存储介质 | |
| CN107451109B (zh) | 报表生成方法及系统 | |
| WO2021174694A1 (zh) | 基于数据中心的运维监控方法、装置、设备及存储介质 | |
| CN107092544B (zh) | 监控方法及装置 | |
| CN110262939B (zh) | 算法模型运行监控方法、装置、计算机设备和存储介质 | |
| WO2022126984A1 (zh) | 缓存数据的检测方法、装置、计算机设备和存储介质 | |
| CN112884092A (zh) | Ai模型生成方法、电子设备及存储介质 | |
| CN110826071A (zh) | 软件漏洞风险预测方法、装置、设备及存储介质 | |
| CN110795485A (zh) | 一种数据库访问方法、装置及设备 | |
| KR102087959B1 (ko) | 통신망의 인공지능 운용 시스템 및 이의 동작 방법 | |
| CN110912874B (zh) | 有效识别机器访问行为的方法及系统 | |
| US9965252B2 (en) | Method and system for generating stateflow models from software requirements | |
| CN112702184A (zh) | 故障预警方法及装置、计算机可存储介质 | |
| CN111581456A (zh) | 一种json字符串对比方法、装置、设备及存储介质 | |
| CN111104214B (zh) | 一种工作流应用方法及装置 | |
| CN114356735A (zh) | 一种数据预警方法、装置、介质及设备 | |
| CN116760682B (zh) | 一种日志采集过滤方法、装置、设备及介质 | |
| CN112732765A (zh) | 一种实验路径的确定方法及装置、电子设备 | |
| CN112948262A (zh) | 一种系统测试方法、装置、计算机设备和存储介质 | |
| CN116991675A (zh) | 一种异常访问监控方法、装置、计算机设备及存储介质 | |
| CN115409345A (zh) | 业务指标计算方法、装置、计算机设备和存储介质 | |
| CN114880142A (zh) | 一种灵活细粒度数据集成处理方法、系统和电子设备 | |
| US20210208998A1 (en) | Function analyzer, function analysis method, and function analysis program | |
| CN111522717B (zh) | 资源巡检方法、系统及计算机可读存储介质 | |
| US9483332B2 (en) | Event processing method in stream processing system and stream processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |