CN112767080A - 一种基于流式计算的告警方法、装置及介质 - Google Patents
一种基于流式计算的告警方法、装置及介质 Download PDFInfo
- Publication number
- CN112767080A CN112767080A CN202110069962.2A CN202110069962A CN112767080A CN 112767080 A CN112767080 A CN 112767080A CN 202110069962 A CN202110069962 A CN 202110069962A CN 112767080 A CN112767080 A CN 112767080A
- Authority
- CN
- China
- Prior art keywords
- data
- key index
- calculation
- calculated
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000001514 detection method Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 15
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0609—Buyer or seller confidence or verification
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种基于流式计算的告警方法、装置及介质，其中方法包括，预先根据用户需求构建基于Flink构架的计算模型，获取待计算数据后，利用计算模型计算与待计算数据对应的关键指标数据，在关键指标数据不符合预设要求的情况下，发送告警信号。由于计算模型是基于Flink构架搭建的，且Flink本身具有高吞吐、低延迟、高可靠以及精准计算等优点，因此基于Flink构架搭建的计算模型其计算速度快、计算结果的可靠性高，从而提高了线上电商告警系统的响应速度和可靠性。此外，本申请提供的一种基于流式计算的告警装置及介质，与上述基于流式计算的告警方法对应，效果同上。
Description
技术领域
本申请涉及电子信息技术领域，特别是涉及一种基于流式计算的告警方法、装置及介质。
背景技术
随着科技的发展和网络的发展，网络已成为人类生活中必不可少的一部分，尤其是近年来快速发展的线上电商，不断丰富着人们的物质生活。但是在线上电商快速发展的同时，店家为了快速获取消费者的信任，会采用刷单行为进行恶意竞争，严重影响了线上电商的买卖环境。
目前，告警系统主要是基于数据流处理构架(Strom)建立Strom模型，利用Strom模型进行告警。由于Strom其本身底层基建依赖多、容错机制不完善、延迟较高、可靠性较差以及计算准确率较低，导致基于Strom建立的告警系统的告警速度慢，以及可靠性低的问题。
因此，如何提高线上电商告警系统的响应速度和可靠性是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种基于流式计算的告警方法，用以提高线上电商告警系统的响应速度和可靠性。本申请的目的是还提供一种基于流式计算的告警装置及介质。
为解决上述技术问题，本申请提供一种基于流式计算的告警方法，包括：
根据用户需求构建基于Flink构架的计算模型；
获取待计算数据；
利用所述计算模型计算与所述待计算数据对应的关键指标数据；
在所述关键指标数据不符合预设要求的情况下，发送告警信号。
优选的，所述获取待计算数据具体为：
获取预设周期内的所述待计算数据；
将所述预设周期内的所述待计算数据聚合为一个目标待计算数据；
优选的，所述利用所述计算模型计算与所述待计算数据对应的关键指标数据具体为：
利用所述计算模型计算与所述目标待计算数据对应的目标关键指标数据；
优选的，所述在所述关键指标数据不符合预设要求的情况下，发送告警信号具体为：
在所述目标关键指标数据不符合所述预设要求的情况下，发送所述告警信号。
优选的，所述获取待计算数据前，还包括：
获取第一样本数据及对应的第一关键指标检测值；
利用所述计算模型计算与所述第一样本数据对应的测试结果数据；
在所述测试结果数据和所述第一关键指标检测值的相似度不大于预设阈值的情况下，更新所述计算模型。
优选的，所述获取待计算数据前，还包括：
获取基于Strom架构的Strom模型、第二样本数据及与所述第二样本数据对应的第二关键指标检测值；
利用所述计算模型计算与所述第二样本数据对应的第一数据；
利用所述Strom模型计算与所述第二样本数据对应的第二数据；
计算所述第一数据与所述第二关键指标检测值之间的第一相似度值；
计算所述第二数据与所述第二关键指标检测值之间的第二相似度值；
在第一相似度值不大于第二相似度值的情况下，更新所述计算模型。
优选的，所述利用所述计算模型计算与所述待计算数据对应的关键指标数据后，还包括：
将所述关键指标数据存入数据库。
优选的，所述用户需求具体包括：与用户需求匹配的业务数据及业务数据对应的数据格式。
优选的，所述关键指标数据具体包括：同比、环比以及群体稳定性指数。
为解决上述技术问题，本申请还提供一种基于流式计算的告警装置，基于如上所述的基于流式计算的告警方法，包括：
构建模块，用于根据用户需求构建基于Flink构架的计算模型；
第一获取模块，用于获取待计算数据；
第一计算模块，用于利用所述计算模型计算与所述待计算数据对应的关键指标数据；
第一发送模块，用于在所述关键指标数据不符合预设要求的情况下，发送告警信号。
为解决上述技术问题，本申请还提供一种基于流式计算的告警装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的基于流式计算的告警方法的步骤。
为解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于流式计算的告警方法的步骤。
本申请所提供的基于流式计算的告警方法，预先根据用户需求构建基于Flink构架的计算模型，获取待计算数据后，利用计算模型计算与待计算数据对应的关键指标数据，在关键指标数据不符合预设要求的情况下，发送告警信号。由于计算模型是基于Flink构架搭建的，且Flink本身具有高吞吐、低延迟、高可靠以及精准计算等优点，因此基于Flink构架搭建的计算模型其计算速度快、计算结果的可靠性高，从而提高了线上电商告警系统的响应速度和可靠性。
此外，本申请提供的一种基于流式计算的告警装置及介质，与上述基于流式计算的告警方法对应，效果同上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于流式计算的告警方法的流程图；
图2为本申请实施例提供的一种测试基于Flink架构搭建的计算模型的流程图；
图3为本申请实施例提供的另一种测试基于Flink架构搭建的计算模型的流程图；
图4为本申请实施例提供的一种基于流式计算的告警装置的结构示意图；
图5为本申请实施例提供的另一种基于流式计算的告警装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种基于流式计算的告警方法，用以提高线上电商告警系统的响应速度和可靠性。本申请的核心是还提供一种基于流式计算的告警装置及介质。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
图1为本申请实施例提供的一种基于流式计算的告警方法的流程图。如图1所示，该方法包括：
S10：根据用户需求构建基于分布式数据流处理架构(Flink)的计算模型。
本申请实施例中，用户需求具体包括与用户需求匹配的业务数据和业务数据对应的数据格式。例如用户需求是对一段时间内商品的评论数进行告警，则业务数据则为单位时间内各商品的评论数，数据格式则可以是商品名称及其对应的评论数量。
S11：获取待计算数据。
S12：利用计算模型计算与待计算数据对应的关键指标数据。
需要说明的是，关键指标数据具体包括待计算数据的同比或环比。进一步的，为了提高计算模型计算结果的全面性和准确性，作为优选的实施例，计算模型计算与待计算数据对应的各关键指标数据，其中关键指数数据包括待计算数据的同比、环比以及群体稳定性指数(Population Stability Index，PSI)等。
S13：判断关键指标数据是否符合预设要求，如果是，则结束，如果否，则进入S14。
其中，预设要求不做限制，在具体实施中，根据用户需求进行设置，即根据用户需求设置当关键指标数据大于阈值时发送告警信号，或者根据用户需求设置当关键指标数据不大于阈值时发送告警信号，或者根据用户需求设置当关键指标数据处于预设区间内时发送告警信号。
S14：发送告警信号。
可以理解的是，在关键指标数据不符合预设要求的情况下，可以通过用户预先设置的告警方式发送告警信号，例如可通过邮件告警、短信告警等方式向工作人员发送邮件、短信等进行告警。
为了降低计算模型的工作量，从而进一步提高线上电商告警系统的响应速度，作为优选的实施例，S11具体为：获取预设周期内的待计算数据，并将预设周期内的待计算数据聚合为一个目标待计算数据。相应的，S12具体为：利用计算模型计算与目标待计算数据对应的目标关键指标数据，S13具体为：判断目标关键指标数据是否符合预设要求。
需要说明的是，预设周期不做限制，在具体实施中，预设周期可选取5分钟或15分钟。
此外，在具体实施中，基于Flink架构搭建的计算模型具体是基于Flink架构和Java、Scala编写的脚本，脚本编写完成后可安装于预先搭建的流计算平台，当流计算平台获取到待计算数据时，将自动分发待计算数据至作业运维(JobManager)并按照脚本计算待计算数据对应的关键指标数据。其中，在搭建流计算平台时，需要根据服务器的硬件配置完成流计算平台的相关配置，流计算平台的相关配置可包括任务管理器(TaskManager)的配置、JobManager的配置以及人物固定资源值(Task slots)等。
本申请实施例所提供的基于流式计算的告警方法，预先根据用户需求构建基于Flink构架的计算模型，获取待计算数据后，利用计算模型计算与待计算数据对应的关键指标数据，在关键指标数据不符合预设要求的情况下，发送告警信号。由于计算模型是基于Flink构架搭建的，且Flink本身具有高吞吐、低延迟、高可靠以及精准计算等优点，因此基于Flink构架搭建的计算模型其计算速度快、计算结果的可靠性高，从而提高了线上电商告警系统的响应速度和可靠性。
图2为本申请实施例提供的一种测试基于Flink架构搭建的计算模型的流程图。如图2所示，在上述实施例的基础上，在S11前，还包括：
S20：获取第一样本数据及对应的第一关键指标检测值。
可以理解的是，第一关键指标检测值是已知的、准确的各关键指标的数据，用于检测计算模型计算的结果数据是否准确。
S21：利用计算模型计算与第一样本数据对应的测试结果数据。
S22：判断测试结果数据和第一关键指标检测值的相似度是否大于预设阈值，如果是，则结束，如果否，则进入S23。
S23：更新计算模型。
本申请实施例所提供的基于流式计算的告警方法，在搭建计算模型后，通过第一样本数据及对应的第一关键指标检测值，检测计算模型计算的结果是否准确，因此能够在计算模型结果不准确时，不断地更新计算模型，不断地完善计算模型，以便于提高计算模型的可靠性，从而提高线上电商告警系统的响应速度和可靠性。
图3为本申请实施例提供的另一种测试基于Flink架构搭建的计算模型的流程图。如图3所示，在上述实施例的基础上，在S11前，还包括：
S30：获取基于Strom架构的Strom模型、第二样本数据及与第二样本数据对应的第二关键指标检测值。
S31：利用计算模型计算与第二样本数据对应的第一数据。
S32：利用Strom模型计算与第二样本数据对应的第二数据。
S33：计算第一数据与第二关键指标检测值之间的第一相似度值。
S34：计算第二数据与第二关键指标检测值之间的第二相似度值。
S35：判断第一相似度值是否大于第二相似度值，如果是，则结束，如果否，则进入S36。
S36：更新计算模型。
需要说明的是，除了判断第一相似度值和第二相似度值之外，还可以通过测量计算模型和Strom模型处理相同待计算数据的速度进而判断计算模型是否需要更新，或者通过测量计算模型和Strom模型在相同时间内处理待计算数据的吞吐量进而判断计算模型是否需要更新。可以理解的是，相较于Strom架构，Flink架构具有高吞吐、低延迟、高可靠的优点，因此通过Flink架构的这些优点可以判断计算模型是否需要更新。
在具体实施中，可基于相同的服务器配置搭建网络结构以便于计算模型和Strom模型进行测试，第二样本数据可通过数据生成器生成商品评论数，其中商品评论数中还包含有自增身份标识号(Identity document，ID)和商品评论数发送的时间(Event Time)。需要说明的是，为了保证测试的稳定性，网络结构具体为一个主服务器两个从服务器的网络结构，以便于在主服务器故障时，从服务器能够继续支持计算模型和基于Strom架构的Strom模型的计算。此外，为了保证第二样本数据充足，排出因第二样本数据的数据量对测试结果的影响，数据生成器可以按照预先设定的发送速度不间断的发送商品评论数。
本申请实施例所提供的基于流式计算的告警方法，在搭建计算模型后，通过第二样本数据、对应的第二关键指标检测值以及基于Strom架构的Strom模型，检测计算模型计算的结果是否符合Flink架构的优点，因此能够在计算模型结果不符合Flink架构的优点时，不断地更新计算模型，不断地完善计算模型，以便于提高计算模型的可靠性，从而提高线上电商告警系统的响应速度和可靠性。
在上述实施例的基础上，S12后，还包括：将关键指标数据存入数据库。
本申请实施例中，数据库可以为关系型数据库管理系统(MySQL)。
可以理解的是，将计算模型计算的关键指标数据存入数据库后，可以将一段时间内计算的关键指标数据在显示界面上展示，以便于工作人员查看这段时间内的关键指标数据，还可以根据这段时间内的关键指标数据进行回溯，以判断计算模型是否需要更新，提高了线上电商告警系统的实用性和用户使用感。
在上述实施例中，对于基于流式计算的告警方法进行了详细描述，本申请还提供基于流式计算的告警装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
图4为本申请实施例提供的一种基于流式计算的告警装置的结构示意图。如图4所示，基于功能模块的角度，该装置包括：
构建模块10，用于根据用户需求构建基于Flink构架的计算模型。
第一获取模块11，用于获取待计算数据。
第一计算模块12，用于利用计算模型计算与待计算数据对应的关键指标数据。
第一发送模块13，用于在关键指标数据不符合预设要求的情况下，发送告警信号。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
作为优选的实施例，还包括：
第二获取模块，用于获取预设周期内的待计算数据。
聚合模块，用于将预设周期内的待计算数据聚合为一个目标待计算数据。
第二计算模块，用于利用计算模型计算与目标待计算数据对应的目标关键指标数据。
第二发送模块，用于在目标关键指标数据不符合预设要求的情况下，发送告警信号。
还包括：
第三获取模块，用于获取第一样本数据及对应的第一关键指标检测值。
第三计算模块，用于利用计算模型计算与第一样本数据对应的测试结果数据。
第一更新模块，用于在测试结果数据和第一关键指标检测值的相似度不大于预设阈值的情况下，更新计算模型。
还包括：
第四获取模块，用于获取基于Strom架构的Strom模型、第二样本数据及与第二样本数据对应的第二关键指标检测值。
第四计算模块，用于利用计算模型计算与第二样本数据对应的第一数据。
第五计算模块，用于利用Strom模型计算与第二样本数据对应的第二数据。
第六计算模块，用于计算第一数据与第二关键指标检测值之间的第一相似度值。
第七计算模块，用于计算第二数据与第二关键指标检测值之间的第二相似度值。
第二更新模块，用于在第一相似度值不大于第二相似度值的情况下，更新计算模型。
还包括：
存储模块，用于将关键指标数据存入数据库。
本申请实施例所提供的基于流式计算的告警装置，预先根据用户需求构建基于Flink构架的计算模型，获取待计算数据后，利用计算模型计算与待计算数据对应的关键指标数据，在关键指标数据不符合预设要求的情况下，发送告警信号。由于计算模型是基于Flink构架搭建的，且Flink本身具有高吞吐、低延迟、高可靠以及精准计算等优点，因此基于Flink构架搭建的计算模型其计算速度快、计算结果的可靠性高，从而提高了线上电商告警系统的响应速度和可靠性。
图5为本申请实施例提供的另一种基于流式计算的告警装置的结构示意图。如图5所示，基于硬件结构的角度，该装置包括：
存储器20，用于存储计算机程序；
处理器21，用于执行计算机程序时实现如上述实施例中基于流式计算的告警方法的步骤。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的基于流式计算的告警方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于基于流式计算的告警方法中涉及的数据等。
在一些实施例中，基于流式计算的告警装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解，图5中示出的结构并不构成对基于流式计算的告警装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的基于流式计算的告警装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：预先根据用户需求构建基于Flink构架的计算模型，获取待计算数据后，利用计算模型计算与待计算数据对应的关键指标数据，在关键指标数据不符合预设要求的情况下，发送告警信号。由于计算模型是基于Flink构架搭建的，且Flink本身具有高吞吐、低延迟、高可靠以及精准计算等优点，因此基于Flink构架搭建的计算模型其计算速度快、计算结果的可靠性高，从而提高了线上电商告警系统的响应速度和可靠性。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的计算机可读存储介质，该介质上存储有计算机程序，计算机程序被处理器执行时，能够实现如下方法：预先根据用户需求构建基于Flink构架的计算模型，获取待计算数据后，利用计算模型计算与待计算数据对应的关键指标数据，在关键指标数据不符合预设要求的情况下，发送告警信号。由于计算模型是基于Flink构架搭建的，且Flink本身具有高吞吐、低延迟、高可靠以及精准计算等优点，因此基于Flink构架搭建的计算模型其计算速度快、计算结果的可靠性高，从而提高了线上电商告警系统的响应速度和可靠性。
以上对本申请所提供的一种基于流式计算的告警方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种基于流式计算的告警方法，其特征在于，包括：
根据用户需求构建基于Flink构架的计算模型；
获取待计算数据；
利用所述计算模型计算与所述待计算数据对应的关键指标数据；
在所述关键指标数据不符合预设要求的情况下，发送告警信号。
2.根据权利要求1所述的基于流式计算的告警方法，其特征在于，所述获取待计算数据具体为：
获取预设周期内的所述待计算数据；
将所述预设周期内的所述待计算数据聚合为一个目标待计算数据；
所述利用所述计算模型计算与所述待计算数据对应的关键指标数据具体为：
利用所述计算模型计算与所述目标待计算数据对应的目标关键指标数据；
所述在所述关键指标数据不符合预设要求的情况下，发送告警信号具体为：
在所述目标关键指标数据不符合所述预设要求的情况下，发送所述告警信号。
3.根据权利要求1或2所述的基于流式计算的告警方法，其特征在于，所述获取待计算数据前，还包括：
获取第一样本数据及对应的第一关键指标检测值；
利用所述计算模型计算与所述第一样本数据对应的测试结果数据；
在所述测试结果数据和所述第一关键指标检测值的相似度不大于预设阈值的情况下，更新所述计算模型。
4.根据权利要求1或2所述的基于流式计算的告警方法，其特征在于，所述获取待计算数据前，还包括：
获取基于Strom架构的Strom模型、第二样本数据及与所述第二样本数据对应的第二关键指标检测值；
利用所述计算模型计算与所述第二样本数据对应的第一数据；
利用所述Strom模型计算与所述第二样本数据对应的第二数据；
计算所述第一数据与所述第二关键指标检测值之间的第一相似度值；
计算所述第二数据与所述第二关键指标检测值之间的第二相似度值；
在第一相似度值不大于第二相似度值的情况下，更新所述计算模型。
5.根据权利要求1所述的基于流式计算的告警方法，其特征在于，所述利用所述计算模型计算与所述待计算数据对应的关键指标数据后，还包括：
将所述关键指标数据存入数据库。
6.根据权利要求1所述的基于流式计算的告警方法，其特征在于，所述用户需求具体包括：与用户需求匹配的业务数据及业务数据对应的数据格式。
7.根据权利要求1所述的基于流式计算的告警方法，其特征在于，所述关键指标数据具体包括：同比、环比以及群体稳定性指数。
8.一种基于流式计算的告警装置，其特征在于，基于如权利要求1至7任意一项所述的基于流式计算的告警方法，包括：
构建模块，用于根据用户需求构建基于Flink构架的计算模型；
第一获取模块，用于获取待计算数据；
第一计算模块，用于利用所述计算模型计算与所述待计算数据对应的关键指标数据；
第一发送模块，用于在所述关键指标数据不符合预设要求的情况下，发送告警信号。
9.一种基于流式计算的告警装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任意一项所述的基于流式计算的告警方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的基于流式计算的告警方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110069962.2A CN112767080A (zh) | 2021-01-19 | 2021-01-19 | 一种基于流式计算的告警方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110069962.2A CN112767080A (zh) | 2021-01-19 | 2021-01-19 | 一种基于流式计算的告警方法、装置及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112767080A true CN112767080A (zh) | 2021-05-07 |
Family
ID=75703185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110069962.2A Pending CN112767080A (zh) | 2021-01-19 | 2021-01-19 | 一种基于流式计算的告警方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767080A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113342608A (zh) * | 2021-06-08 | 2021-09-03 | 中国建设银行股份有限公司 | 流式计算引擎任务的监控方法及装置 |
| CN115460062A (zh) * | 2022-08-04 | 2022-12-09 | 内蒙古蒙商消费金融股份有限公司 | 一种数据监控方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109688188A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技（深圳）有限公司 | 监控告警方法、装置、设备及计算机可读存储介质 |
| CN110309060A (zh) * | 2019-05-24 | 2019-10-08 | 平安科技（深圳）有限公司 | 识别算法更新的检测方法、装置、存储介质及计算机设备 |
| CN111130882A (zh) * | 2019-12-25 | 2020-05-08 | 四川省公安科研中心 | 网络设备的监控系统及方法 |
| CN111859238A (zh) * | 2020-07-27 | 2020-10-30 | 平安科技（深圳）有限公司 | 基于模型的预测数据变化频率的方法、装置和计算机设备 |
-
2021
- 2021-01-19 CN CN202110069962.2A patent/CN112767080A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109688188A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技（深圳）有限公司 | 监控告警方法、装置、设备及计算机可读存储介质 |
| CN110309060A (zh) * | 2019-05-24 | 2019-10-08 | 平安科技（深圳）有限公司 | 识别算法更新的检测方法、装置、存储介质及计算机设备 |
| CN111130882A (zh) * | 2019-12-25 | 2020-05-08 | 四川省公安科研中心 | 网络设备的监控系统及方法 |
| CN111859238A (zh) * | 2020-07-27 | 2020-10-30 | 平安科技（深圳）有限公司 | 基于模型的预测数据变化频率的方法、装置和计算机设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113342608A (zh) * | 2021-06-08 | 2021-09-03 | 中国建设银行股份有限公司 | 流式计算引擎任务的监控方法及装置 |
| CN115460062A (zh) * | 2022-08-04 | 2022-12-09 | 内蒙古蒙商消费金融股份有限公司 | 一种数据监控方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106951925B (zh) | 数据处理方法、装置、服务器及系统 | |
| US10728111B2 (en) | Data module management and interface for pipeline data processing by a data processing system | |
| CN112767080A (zh) | 一种基于流式计算的告警方法、装置及介质 | |
| CN109597746B (zh) | 故障分析方法及装置 | |
| JPWO2018122890A1 (ja) | ログ分析方法、システムおよびプログラム | |
| CN111046082B (zh) | 一种基于语义分析的报表数据源推荐方法与装置 | |
| CN110661665A (zh) | 基于物联网云平台的告警方法、计算机存储介质及设备 | |
| CN111652658A (zh) | 画像融合方法、装置、电子设备及计算机可读存储介质 | |
| CN106301979B (zh) | 检测异常渠道的方法和系统 | |
| CN115357470A (zh) | 信息生成方法、装置、电子设备和计算机可读介质 | |
| CN116164822A (zh) | 基于知识图谱的流量计故障诊断方法、装置、介质 | |
| CN114650167A (zh) | 一种异常检测方法、装置、设备及计算机可读存储介质 | |
| CN109800124A (zh) | Cpu使用率监控方法、装置、电子设备及存储介质 | |
| JP2022553988A (ja) | 構成生成方法、装置、電子デバイス及び記憶媒体 | |
| CN115774707B (zh) | 基于对象属性数据处理方法和装置、电子设备和存储介质 | |
| CN112416700A (zh) | 分析启动的预测性故障和smart日志 | |
| CN115242684B (zh) | 全链路压测方法、装置、计算机设备及存储介质 | |
| KR20210029006A (ko) | 제품 평가 마이닝 방법 및 이를 수행하는 장치 | |
| US20200133826A1 (en) | Testing an online system for service oriented architecture (soa) services | |
| CN114327988B (zh) | 一种可视化网络故障关系确定方法和装置 | |
| CN112583660B (zh) | 一种推荐平台的主域、备域测试对比方法、装置及系统 | |
| CN115223344A (zh) | 表具设备的监控报警方法和装置、电子设备和存储介质 | |
| CN113568769B (zh) | 异常处理方法、装置、服务器及存储介质 | |
| CN109815109B (zh) | 数据模式变更检测方法、装置、设备及可读存储介质 | |
| CN109286667B (zh) | 用户账号管理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210507 |
|
| RJ01 | Rejection of invention patent application after publication |