CN113762906A - 任务周期延迟的告警方法、装置、设备及存储介质 - Google Patents
任务周期延迟的告警方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113762906A CN113762906A CN202010805455.6A CN202010805455A CN113762906A CN 113762906 A CN113762906 A CN 113762906A CN 202010805455 A CN202010805455 A CN 202010805455A CN 113762906 A CN113762906 A CN 113762906A
- Authority
- CN
- China
- Prior art keywords
- task
- time
- stage
- current stage
- target task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000003111 delayed effect Effects 0.000 claims abstract description 48
- 238000013515 script Methods 0.000 claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 230000002159 abnormal effect Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 18
- 238000012423 maintenance Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
Abstract
本发明实施例提供一种任务周期延迟的告警方法、装置、设备及存储介质，通过获取当前执行的目标任务的实时数据，包括任务标识和当前阶段标识；根据任务标识、当前阶段标识、以及预设的时间预测模型获取目标任务的当前阶段的预测结束时间；根据预测结束时间以及预设判断规则确定目标任务的当前阶段是否出现延迟；若出现延迟则发出告警信息。本发明实施例基于预测结束时间以及预设判断规判断目标任务的当前阶段是否出现延迟，不需要对每个任务配置分别检测阈值，预设判断规则也不可需要根据任务脚本和逻辑的调整而调整，降低配置和维护成本，降低检测和判断过程的系统压力，并且可对每个任务的各个阶段进行是否延迟的判断，实现任务的精细化管理。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种任务周期延迟的告警方法、装置、设备及存储介质。
背景技术
目前随着大数据时代的到来，每天伴随着海量的数据计算，计算背后隐藏大量的计算任务，这时保障和提高任务运行稳定性，成为衡量一个平台好坏的重要指标。计算任务本身涉及多种计算引擎、不同的实现技术、不同的业务逻辑，客观上存在一定的独特性，并随时间迭代更新任务本身也在不断变化，所以当任务出现问题和延迟时，由任务负责人介入，从而可以有效解决任务出现的问题和延迟，保证任务运行的稳定性。
现有技术中任务平台在检测任务是否出现延迟时，通常需要针对各个任务检测其任务执行周期，例如提交、等待、开始、执行、结束时间等，需要配置大量检测阈值，才能实现对任务是否出现延迟的检测，进而进行延迟报警。这将导致平台增加大量配置维护成本，也给平台运行造成较大压力；配置检测阈值依赖于主观评估，缺乏有力数据和技术支撑；并且在任务脚本和逻辑调整后，任务运行周期也会随之改变，相关阈值配置也会随之调整，配置成本较高。
发明内容
本发明实施例提供一种任务周期延迟的告警方法、装置、设备及存储介质，用以实现检测任务是否延迟，且不需要针对每个任务分别配置检测阈值，降低配置维护成本。
第一方面，本发明实施例提供一种任务周期延迟的告警方法，包括：
获取当前执行的目标任务的实时数据，其中所述实时数据包括任务标识和当前阶段标识；
根据所述任务标识、所述当前阶段标识、以及预设的时间预测模型，获取所述目标任务的当前阶段的预测结束时间；
根据所述实时数据、所述预测结束时间以及预设判断规则，确定所述目标任务的当前阶段是否出现延迟；
若所述目标任务的当前阶段出现延迟，则发出告警信息。
第二方面，本发明实施例提供一种任务周期延迟的告警装置，包括：
获取模块，用于获取当前执行的目标任务的实时数据，其中所述实时数据包括任务标识和当前阶段标识；
预测模块，用于根据所述任务标识、所述当前阶段标识、以及预设的时间预测模型，获取所述目标任务的当前阶段的预测结束时间；
判断模块，用于根据所述实时数据、所述预测结束时间以及预设判断规则，确定所述目标任务的当前阶段是否出现延迟；
告警模块，用于若所述目标任务的当前阶段出现延迟，则发出告警信息。
第三方面，本发明实施例提供一种计算机设备，包括：
存储器，用于存储计算机执行指令；
处理器，用于运行所述存储器中存储的计算机执行指令以实现如第一方面所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
本发明实施例提供的任务周期延迟的告警方法、装置、设备及存储介质，通过获取当前执行的目标任务的实时数据，其中实时数据包括任务标识和当前阶段标识；根据任务标识、当前阶段标识、以及预设的时间预测模型，获取目标任务的当前阶段的预测结束时间；根据预测结束时间以及预设判断规则，确定目标任务的当前阶段是否出现延迟；若目标任务的当前阶段出现延迟，则发出告警信息。本发明实施例通过时间预测模型预测目标任务当前阶段的结束时间，并基于预测结束时间以及预设判断规则即可判断出目标任务的当前阶段是否出现延迟，不需要对每个任务配置分别检测阈值，预设判断规则也不可需要根据任务脚本和逻辑的调整而调整，降低了配置和维护成本，降低检测和判断过程的系统压力，并且可对每个任务的各个阶段进行是否延迟的判断，实现任务的精细化管理。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本发明一实施例提供的任务周期延迟的告警方法的系统示意图；
图2为本发明一实施例提供的任务周期延迟的告警方法的流程图；
图3为本发明一实施例提供的任务周期延迟的告警方法的流程图；
图4为本发明一实施例提供的任务周期延迟的告警方法的流程图；
图5为本发明一实施例提供的箱型图的示意图；
图6为本发明一实施例提供的任务周期延迟的告警方法的系统架构图；
图7为本发明一实施例提供的任务周期延迟的告警装置的框图；
图8为本发明一实施例提供的计算机设备的框图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
首先对本发明实施例所涉及的名词进行解释：
Hadoop集群：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
Yarn：Apache Hadoop YARN(Yet Another Resource Negotiator，另一种资源协调者)是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
Hive：是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
JOB：是在Hadoop集群上运行的MapReduce任务，是一个并行计算与运行软件框架(Software Framework)。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理，大大减少了软件开发人员的负担。
Apache Eagle：分布式实时Hadoop数据安全方案，Eagle提供高度可扩展的编程API，可以支持将任何类型的数据源集成到Eagle的策略执行引擎中。Eagle提供独立于物理平台而高度抽象的流处理API，目前默认支持Apache Storm，但是也允许扩展到其他任意流处理引擎，比如Flink或者Samza等。
Storm：免费、开源、分布式、跨语言、可伸缩、低延迟、容错实时流计算系统。每个节点每秒处理百万元组。
CEP：复合事件处理(CEP，Complex Event Processing)是一种基于动态环境中事件流的分析技术，事件在这里通常是有意义的状态变化，通过分析事件间的关系，利用过滤、关联、聚合等技术，根据事件间的时序关系和聚合关系制定检测规则，持续地从事件流中查询出符合要求的事件序列，最终分析得到更复杂的复合事件，主要用于网络诈欺识别等防止犯罪，银行等金融行业防止，以及风险规避和营销决策等。
Siddhi：是Apache软件许可证v2.0下的一个轻量级、易于使用的开源复杂事件处理引擎(CEP)。是一个轻量级的，简单的开源的复杂事件流程引擎。它使用类SQL的语言描述事件流任务，可以很好的支撑开发一个可扩展的，可配置的流式任务执行引擎。
现有技术中，任务平台在检测任务是否出现延迟时，通常需要针对各个任务检测其任务执行周期，例如提交、等待、开始、执行、结束时间等，需要配置大量检测阈值，才能实现对任务是否出现延迟的检测，进而进行延迟报警。这将导致平台增加大量配置维护成本，也给平台运行造成较大压力；配置检测阈值依赖于主观评估，缺乏有力数据和技术支撑；并且在任务脚本和逻辑调整后，任务运行周期也会随之改变，相关阈值配置也会随之调整，配置成本较高。
针对上述问题，本发明实施例希望在不需要针对每个任务配置分别检测阈值，而是采用一种更为通用的判断规则来判断任务是否出现延迟。而考虑到在任务平台稳定的前提下，每次运行同一任务时其运行时间周期具有一定的相似性，因此本发明实施例考虑应用时间预测模型发现每个任务的各阶段的历史运行时间周期数据的变动规律，并根据分析结果确定每个任务的各阶段的预测运行时间周期数据，进而作为当前执行的目标任务的当前阶段预测其结束时间，根据预测结束时间以及预设判断规则，确定目标任务的当前阶段是否出现延迟，若出现延迟，则发出告警信息，从而实现不需要对每个任务配置分别检测阈值，预设判断规则也不可需要根据任务脚本和逻辑的调整而调整，降低了配置和维护成本，降低检测和判断过程的系统压力，并且可对每个任务的各个阶段进行是否延迟的判断，实现任务的精细化管理。
在一种可能的实现方式中，本发明实施例提供的任务周期延迟的告警方法可应用于如图1所示的系统中，包括：任务运行服务端101、数据库服务端102、规则引擎服务端103、以及告警设备104，其中任务运行服务端101用于运行任务，并输出当前执行的目标任务的实时数据；数据库服务端102用于存储任务的历史运行信息，还可根据历史运行信息获取备选任务的各阶段的历史运行时间周期数据，并根据时间预测模型分析各任务的各阶段的历史运行时间周期数据的变动规律，并根据分析结果确定各任务的各阶段的预测运行时间周期数据；规则引擎服务端103用于根据目标任务的实时数据、当前阶段的预测结束时间、以及预设判断规则，确定目标任务的当前阶段是否出现延迟，若目标任务的当前阶段出现延迟，则向告警设备104发出告警信息，其中告警设备104不限于显示器、移动终端、扬声器、可穿戴设备等。需要说明的是，上述服务端的划分，仅仅为一种逻辑功能划分，在其他的划分方式中，多个服务端可以任意结合，或者也可以集成到一个服务器上。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例提供的任务周期延迟的告警方法流程图。本实施例提供了一种任务周期延迟的告警方法，其执行主体可以为服务器等计算机设备，该任务周期延迟的告警方法具体步骤如下：
S201、获取当前执行的目标任务的实时数据，其中所述实时数据包括任务标识和当前阶段标识。
在本实施例中，每个任务在执行过程中可将执行周期划分为多个阶段，例如提交、等待、开始、执行、结束等，本实施例中可在当前执行的目标任务的执行过程中，实时获取该目标任务的实时数据，具体可包括其任务标识和当前阶段标识，当然还可包括且不限于任务类型、脚本编码、脚本版本等等。本实施例中的目标任务的实时数据可以每间隔预定时间获取一次，具体的时间间隔可根据实际需求进行设定。
S202、根据所述任务标识、所述当前阶段标识、以及预设的时间预测模型，获取所述目标任务的当前阶段的预测结束时间。
在本实施例中，由于不同任务的执行周期可能各不相同，并且每个任务的不同阶段的时长也可能也各不相同，而时间预测模型则需要针对当前执行的目标任务的当前阶段预测结束时间，因此需要根据任务标识、当前阶段标识确定前执行的目标任务的当前阶段。而时间预测模型对于目标任务的当前阶段的预测结束时间的预测，则是根据该目标任务的历史运行信息来进行预测。
S203、根据所述实时数据、所述预测结束时间以及预设判断规则，确定所述目标任务的当前阶段是否出现延迟。
在本实施例中，预设判断规则可以包括预设阈值，当前阶段的实际结束时间超过了预测结束时间，且超出的时间(也即当前阶段的实际结束时间与预测结束时间之间的时间差)超过预设阈值，则可确定目标任务的当前阶段出现延迟；或者当前阶段仍在执行，但当前时间已超过预设结束时间，且超出的时间(也即当前时刻与预测结束时间之间的时间差)超过预设阈值，则可确定目标任务的当前阶段出现延迟。
本实施例中在获取到目标任务的当前阶段的预测结束时间后，可通过一个通用的预设判断规则，即可实现对目标任务的当前阶段是否出现延迟做出判断，不需要对每个任务配置分别检测阈值，并且不需要根据任务脚本和逻辑的调整而调整，降低了配置和维护的成本，降低检测和判断过程的系统压力。当然预设判断规则可并不限于上述举例。
S204、若所述目标任务的当前阶段出现延迟，则发出告警信息。
在本实施例中，当确定目标任务的当前阶段出现延迟，则说明任务运行存在稳定风险，则可发出告警信息，告警信息可展示在显示屏上，也可通过音频进行播报，或者将告警信息发送给管理人员的终端设备上以提示管理人员，从而由管理人员介入，以对目标任务进行有效的处理，从而确保任务能够继续稳定运行。
本实施例提供的任务周期延迟的告警方法，通过获取当前执行的目标任务的实时数据，其中实时数据包括任务标识和当前阶段标识；根据任务标识、当前阶段标识、以及预设的时间预测模型，获取目标任务的当前阶段的预测结束时间；根据预测结束时间以及预设判断规则，确定目标任务的当前阶段是否出现延迟；若目标任务的当前阶段出现延迟，则发出告警信息。本实施例通过时间预测模型预测目标任务当前阶段的结束时间，并基于预测结束时间以及预设判断规则即可判断出目标任务的当前阶段是否出现延迟，不需要对每个任务配置分别检测阈值，预设判断规则也不可需要根据任务脚本和逻辑的调整而调整，降低了配置和维护成本，降低检测和判断过程的系统压力，并且可对每个任务的各个阶段进行是否延迟的判断，实现任务的精细化管理。
作为上述实施例的进一步改进，如图3所示，S202所述的根据所述任务标识、所述当前阶段标识、以及预设的时间预测模型，获取所述目标任务的当前阶段的预测结束时间，具体可包括：
S301、根据所述任务标识，获取预先通过所述时间预测模型得到的所述目标任务各阶段的预测运行时间周期数据；
S302、根据所述当前阶段标识以及所述各阶段的预测运行时间周期数据，获取目标任务的当前阶段的预测结束时间。
在本实施例中，先采用时间预测模型预先对每一任务各阶段的运行时间周期进行预测，得到每一任务各阶段的预测运行时间周期数据，例如对于任务A可预先预测出其提交、等待、开始、执行、结束等各阶段所需时长或者开始时间节点或者结束时间节点，可以以时间序列的方式进行存储，作为任务A的预测运行时间周期数据。当根据当前执行的目标任务的任务标识确定当前执行的目标任务为于任务A时，则可先获取任务A的预测运行时间周期数据，然后在根据当前阶段标识确定当前阶段是哪个阶段，从而可从预测运行时间周期数据中获取到该阶段所需时长，在结合当前阶段的开始时间即可确定出当前阶段的预测结束时间。当然确定预测结束时间并不限于上述方式，若预测运行时间周期数据为每个阶段开始时间节点或结束时间节点相对于任务开始时间节点的时间间隔，则可结合目标任务的开始时间确定当前阶段的预测结束时间。
可选的，通过所述时间预测模型得到的所述目标任务各阶段的预测运行时间周期数据具体可以为：
获取任一备选任务的历史运行信息，并根据所述历史运行信息获取所述备选任务的各阶段的历史运行时间周期数据；根据所述时间预测模型，分析所述备选任务的各阶段的历史运行时间周期数据的变动规律，并根据分析结果确定所述备选任务的各阶段的预测运行时间周期数据。
在本实施例中，可获取各备选任务的历史运行信息，其中对于任一备选任务，其历史运行信息包括过去预定时间段内的历史运行信息，例如过去一天、过去一周等，在过去预定时间段内该备选任务至少运行一次以上，优选是运行两次以上，当然运行次数越多，得到的预测运行时间周期数据约准确。需要说明的是，时间预测模型适用于做短期预测，即统计时间序列过去的变化模式还未发生根本性变化。在获取到备选任务的历史运行信息后，可从历史运行信息中提取每一次运行该备选任务时的各阶段的历史运行时间周期数据，具体可包括但不限于提交、等待、开始、执行、结束等各阶段所需时长和/或开始时间节点和/或结束时间节点，可选的，可将每一次运行的各阶段的历史运行时间周期数据可以记录为一条时间序列，进而根据每一次运行的各阶段的历史运行时间周期数据，通过时间预测模型，分析该备选任务的各阶段的历史运行时间周期数据的变动规律，进而根据分析结果得到备选任务的各阶段的预测运行时间周期数据，具体的，备选任务的各阶段的预测运行时间周期数据可以为备选任务运行时间轴。
可选的，所述时间预测模型可以为差分整合移动平均自回归模型(Autoregressive Integrated Moving Average model，ARIMA)。其中ARIMA模型是时间序列预测分析方法之一，是从历史数据中学习时间变化规律，并应用这个规律进行预测，如图4所示，其具体可包括对任务历史数据(时间序列)的预处理，包括平稳性校验以及差分运算，计算自相关和偏相关系数，ARIMA模型识别，估计模型中未知参数，模型验证，模型优化，应用模型进行预测等步骤，此处不一一赘述。
进一步的，由于任务通常是固定周期执行的，并且使用的资源量也是在恒定值附近小范围波动，当然也可能出现读取异常数据的情况，导致资源需求量变化较大，进而导致时间序列中出现异常值。为了保证时间序列的平稳性，提高模型拟合过程的准确性，本实施例中可在预处理过程中首先对备选任务的各阶段的历史运行时间周期数据进行异常值的排除，然后对筛除异常值的各阶段的历史运行时间周期数据进行平稳性检测，若确定平稳性不满足预设条件，则对各阶段的历史运行时间周期数据进行差分运算；若确定平稳性满足预设条件，则继续执行后续步骤。其中预设条件可以根据实际需求进行设定。
可选的，在筛除所述备选任务的各阶段的历史运行时间周期数据中的异常值时，具体可获取各阶段的历史运行时间周期数据对应的箱型图；根据所述箱型图筛选出各阶段的历史运行时间周期数据中的异常值，并进行删除。
在本实施例中，异常值的检测方法采用箱型图实现，其中箱形图如图5所示，是把低于箱形图下触须(或Q1-1.5×IQR)或高于箱形图上触须(或Q3+1.5×IQR)的观测值定义为异常值，其中，Q1表示数据的四分之一位对应数值，Q3表示数据的四分之三位对应数值，IQR＝Q3-Q1，数据的四分之三位对应数值与数据的四分之一位对应数值之差。采用箱型图的方法的思想是估计数据集中最小和最大值，偏离最小值和最大值区间的数据为异常值。本实施例中可根据各阶段的历史运行时间周期数据构建时间数据的箱型图，根据箱型图确定历史运行时间周期数据中的异常值，可选的，可对每一阶段对应的时间数据分别构建箱型图，从而确定出每一阶段对应的时间数据中的异常值，保证数据预测的准确性。
在上述任一实施例的基础上，考虑到时间预测模型对目标任务各阶段的预测运行时间周期数据的预测，是基于历史运行信息进行的，需要历史运行信息具有一定的平稳性，而历史运行信息具有一定的平稳性的前提是任务运行过程未发生较大的变化，例如一直采用同一脚本。而当脚本发生变化时，则任务运行过程将发生变化，则此时时间预测模型对目标任务各阶段的预测运行时间周期数据可能无法适用于改变了脚本的目标任务。此时需要重新收集变更脚本后的目标任务的历史运行信息，重新进行上述的根据历史运行信息获取各阶段的历史运行时间周期数据，并通过时间预测模型获取变更脚本后的目标任务的预测运行时间周期数据。
进一步的，本实施例中，S201获取当前执行的目标任务的实时数据时，所述实时数据还可包括所述目标任务的脚本信息；
进一步的，S202所述的根据所述任务标识，获取预先通过所述时间预测模型得到的所述目标任务各阶段的预测运行时间周期数据，具体可包括：
所述根据所述任务标识和所述脚本信息，判断所述目标任务运行的脚本是否发生变化；若所述目标任务运行的脚本未发生变化，则获取预先通过所述时间预测模型得到的所述目标任务各阶段的预测运行时间周期数据。
本实施例中，只有当目标任务运行的脚本未发生变化时，才可直接获取预先通过时间预测模型得到的目标任务各阶段的预测运行时间周期数据。
可选的，当目标任务运行的脚本发生变化，且此时的脚本为历史运行过的脚本，可获取在历史运行该脚本时通过时间预测模型得到的目标任务各阶段的预测运行时间周期数据。需要说明的是，由于任务运行环境可能实时变化，因此当目标任务运行的脚本发生变化，且此时的脚本为历史运行过的脚本时，可判断该脚本历史运行时间距离当前的时间间隔，若时间间隔很小，如小于一天、一周等预设时间间隔时，可认为任务运行环境变化相对较小，仍可应用在历史运行该脚本时通过时间预测模型得到的目标任务各阶段的预测运行时间周期数据；若时间间隔较大、超过预设时间间隔，优选的，重新收集目标任务的运行该脚本的最新的历史运行信息，重新根据时间预测模型获取目标任务的预测运行时间周期数据。
在上述实施例的基础上，本实施例提供了一种任务周期延迟的告警方法，可应用于如图6所示的系统架构，该任务周期延迟的告警方法具体过程如下：
本实施例中的任务JOB运行在Hadoop集群上，通过大数据平台Yarn组件AM和JH可生产JOB实时数据，实时数据包括任务标识和当前阶段标识；还可包括任务类型、脚本编码、脚本版本等；
JOB的历史运行信息存储于Hive上，时间预测模型也运行在Hive上，时间预测模型可根据各JOB的历史运行信息获取各JOB的各阶段的预测运行时间周期数据；本实施例中，对Yarn扩展原生代码，在AM中启动线程监控发送Container(容器)汇报的JOB Counter(计数器)快照信息和JOB结束后最终状态；其中，Counter提供了一个观察JOB运行期的各种细节数据的窗口；
在获取到当前执行的目标JOB的实时数据后，可获取时间预测模型预先对该目标JOB获取的各阶段的预测运行时间周期数据；进而根据当前阶段标识以及目标JOB的各阶段的预测运行时间周期数据，获取当前阶段的预测结束时间，作为JOB预测数据输出；
Yarn输出的目标JOB实时数据、以及Hive输出的JOB预测数据，可分别通过Kafka(一种高吞吐量的分布式发布订阅消息系统)输出给规则引擎；
使用Eagle集成Strom和CEP(Siddhi)组件关联JOB实时和预测数据制定规则引擎，动态配置类SQL语句用于筛选数据。其中开源复杂事件流程引擎CEP(Siddhi)，使用类SQL的语言描述事件流任务，可以很好的支撑开发一个可扩展的，可配置的流式任务执行引擎。传统设计之中，为了支持不同的告警规则类型，需要编写不同的业务逻辑代码，但是使用了Siddhi之后，只需要配置不同的流任务Siddhiql，即可以支持不同的规则任务。本实施例中将目标JOB的实时数据以及当前阶段的预测结束时间输入到规则引擎中，根据预设判断规则，确定目标JOB的当前阶段是否出现延迟，从而确定目标JOB是否存在稳定风险；
当确定目标任务的当前阶段出现延迟，则确定目标JOB存在稳定风险，进而调用第三方API执行干预、预警等操作。
本实施例中，通过改造Yarn中的组件源码，实现JOB状态实时数据的输出，为后续计算提供数据源；利用时间预测模型计算JOB运行时间周期(提交、等待、开始、执行、结束时间)；结合Storm和CEP形成可动态配置化业务事件引擎，随业务改变随时可对规则进行调整。需要寿命的是，本方案的Storm实时计算系统可替换成其他系统，比如Flink、Spark等。
图7为本发明实施例提供的任务周期延迟的告警装置的结构图。本实施例提供的任务周期延迟的告警装置可以执行任务周期延迟的告警方法实施例提供的处理流程，如图7所示，所述任务周期延迟的告警装置700包括获取模块701、预测模块702、判断模块703、以及告警模块704。
获取模块701，用于获取当前执行的目标任务的实时数据，其中所述实时数据包括任务标识和当前阶段标识；
预测模块702，用于根据所述任务标识、所述当前阶段标识、以及预设的时间预测模型，获取所述目标任务的当前阶段的预测结束时间；
判断模块703，用于根据所述实时数据、所述预测结束时间以及预设判断规则，确定所述目标任务的当前阶段是否出现延迟；
告警模块704，用于若所述目标任务的当前阶段出现延迟，则发出告警信息。
在上述任一实施例的基础上，所述预测模块702在根据所述任务标识、所述当前阶段标识、以及预设的时间预测模型，获取所述目标任务的当前阶段的预测结束时间时，用于：
根据所述任务标识，获取预先通过所述时间预测模型得到的所述目标任务各阶段的预测运行时间周期数据；
根据所述当前阶段标识以及所述各阶段的预测运行时间周期数据，获取目标任务的当前阶段的预测结束时间。
在上述任一实施例的基础上，所述实时数据还包括所述目标任务的脚本信息；
所述预测模块702在根据所述任务标识，获取预先通过所述时间预测模型得到的所述目标任务各阶段的预测运行时间周期数据时，用于：
所述根据所述任务标识和所述脚本信息，判断所述目标任务运行的脚本是否发生变化；
若所述目标任务运行的脚本未发生变化，则获取预先通过所述时间预测模型得到的所述目标任务各阶段的预测运行时间周期数据。
在上述任一实施例的基础上，所述预测模块702还用于：
获取任一备选任务的历史运行信息，并根据所述历史运行信息获取所述备选任务的各阶段的历史运行时间周期数据；
根据所述时间预测模型，分析所述备选任务的各阶段的历史运行时间周期数据的变动规律，并根据分析结果确定所述备选任务的各阶段的预测运行时间周期数据。
在上述任一实施例的基础上，所述预测模块702在根据所述时间预测模型，分析所述备选任务的各阶段的历史运行时间周期数据的变动规律前，还用于：
筛除所述备选任务的各阶段的历史运行时间周期数据中的异常值；
对筛除异常值的各阶段的历史运行时间周期数据进行平稳性检测；
若确定平稳性不满足预设条件，则对所述各阶段的历史运行时间周期数据进行差分运算。
在上述任一实施例的基础上，所述预测模块702在筛除所述备选任务的各阶段的历史运行时间周期数据中的异常值时，用于：
获取各阶段的历史运行时间周期数据对应的箱型图；
根据所述箱型图筛选出各阶段的历史运行时间周期数据中的异常值，并进行删除。
在上述任一实施例的基础上，所述时间预测模型为差分整合移动平均自回归模型ARIMA。
在上述任一实施例的基础上，所述判断模块703在根据所述实时数据、所述预测结束时间以及预设判断规则，确定所述目标任务的当前阶段是否出现延迟时，用于：
若所述当前阶段已执行结束，则获取所述当前阶段的实际结束时间与预测结束时间之间的时间差，若该时间差超过预设阈值，则确定所述目标任务的当前阶段出现延迟；或者
若所述当前阶段尚未结束，则获取当前时刻与预测结束时间之间的时间差，若该时间差超过预设阈值，则确定所述目标任务的当前阶段出现延迟。
本发明实施例提供的任务周期延迟的告警装置可以具体用于执行上述图2-4所提供的方法实施例，具体功能此处不再赘述。
本发明实施例提供的任务周期延迟的告警装置，通过获取当前执行的目标任务的实时数据，其中实时数据包括任务标识和当前阶段标识；根据任务标识、当前阶段标识、以及预设的时间预测模型，获取目标任务的当前阶段的预测结束时间；根据预测结束时间以及预设判断规则，确定目标任务的当前阶段是否出现延迟；若目标任务的当前阶段出现延迟，则发出告警信息。本实施例通过时间预测模型预测目标任务当前阶段的结束时间，并基于预测结束时间以及预设判断规则即可判断出目标任务的当前阶段是否出现延迟，不需要对每个任务配置分别检测阈值，预设判断规则也不可需要根据任务脚本和逻辑的调整而调整，降低了配置和维护成本，降低检测和判断过程的系统压力，并且可对每个任务的各个阶段进行是否延迟的判断，实现任务的精细化管理。
图8为本发明实施例提供的计算机设备的结构示意图。本发明实施例提供的计算机设备可以执行洗衣设备的控制方法实施例提供的处理流程，如图8所示，计算机设备80包括存储器81、处理器82、计算机程序；其中，计算机程序存储在存储器81中，并被配置为由处理器82执行以上实施例所述的洗衣设备的控制方法。此外，计算机设备80还可具有通讯接口83，用于接收控制指令。
图8所示实施例的计算机设备可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的洗衣设备的控制方法。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的范围。
Claims (18)
1.一种任务周期延迟的告警方法，其特征在于，包括：
获取当前执行的目标任务的实时数据，其中所述实时数据包括任务标识和当前阶段标识；
根据所述任务标识、所述当前阶段标识、以及预设的时间预测模型，获取所述目标任务的当前阶段的预测结束时间；
根据所述实时数据、所述预测结束时间以及预设判断规则，确定所述目标任务的当前阶段是否出现延迟；
若所述目标任务的当前阶段出现延迟，则发出告警信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述任务标识、所述当前阶段标识、以及预设的时间预测模型，获取所述目标任务的当前阶段的预测结束时间，包括：
根据所述任务标识，获取预先通过所述时间预测模型得到的所述目标任务各阶段的预测运行时间周期数据；
根据所述当前阶段标识以及所述各阶段的预测运行时间周期数据，获取目标任务的当前阶段的预测结束时间。
3.根据权利要求2所述的方法，其特征在于，所述实时数据还包括所述目标任务的脚本信息；
所述根据所述任务标识，获取预先通过所述时间预测模型得到的所述目标任务各阶段的预测运行时间周期数据，包括：
所述根据所述任务标识和所述脚本信息，判断所述目标任务运行的脚本是否发生变化；
若所述目标任务运行的脚本未发生变化，则获取预先通过所述时间预测模型得到的所述目标任务各阶段的预测运行时间周期数据。
4.根据权利要求2所述的方法，其特征在于，还包括：
获取任一备选任务的历史运行信息，并根据所述历史运行信息获取所述备选任务的各阶段的历史运行时间周期数据；
根据所述时间预测模型，分析所述备选任务的各阶段的历史运行时间周期数据的变动规律，并根据分析结果确定所述备选任务的各阶段的预测运行时间周期数据。
5.根据权利要求4所述的方法，其特征在于，所述根据所述时间预测模型，分析所述备选任务的各阶段的历史运行时间周期数据的变动规律前，还包括：
筛除所述备选任务的各阶段的历史运行时间周期数据中的异常值；
对筛除异常值的各阶段的历史运行时间周期数据进行平稳性检测；
若确定平稳性不满足预设条件，则对所述各阶段的历史运行时间周期数据进行差分运算。
6.根据权利要求5所述的方法，其特征在于，所述筛除所述备选任务的各阶段的历史运行时间周期数据中的异常值，包括：
获取各阶段的历史运行时间周期数据对应的箱型图；
根据所述箱型图筛选出各阶段的历史运行时间周期数据中的异常值，并进行删除。
7.根据权利要求4-6中任一项所述的方法，其特征在于，所述时间预测模型为差分整合移动平均自回归模型ARIMA。
8.根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所述实时数据、所述预测结束时间以及预设判断规则，确定所述目标任务的当前阶段是否出现延迟，包括：
若所述当前阶段已执行结束，则获取所述当前阶段的实际结束时间与预测结束时间之间的时间差，若该时间差超过预设阈值，则确定所述目标任务的当前阶段出现延迟；或者
若所述当前阶段尚未结束，则获取当前时刻与预测结束时间之间的时间差，若该时间差超过预设阈值，则确定所述目标任务的当前阶段出现延迟。
9.一种任务周期延迟的告警装置，其特征在于，包括：
获取模块，用于获取当前执行的目标任务的实时数据，其中所述实时数据包括任务标识和当前阶段标识；
预测模块，用于根据所述任务标识、所述当前阶段标识、以及预设的时间预测模型，获取所述目标任务的当前阶段的预测结束时间；
判断模块，用于根据所述实时数据、所述预测结束时间以及预设判断规则，确定所述目标任务的当前阶段是否出现延迟；
告警模块，用于若所述目标任务的当前阶段出现延迟，则发出告警信息。
10.根据权利要求9所述的装置，其特征在于，所述预测模块在根据所述任务标识、所述当前阶段标识、以及预设的时间预测模型，获取所述目标任务的当前阶段的预测结束时间时，用于：
根据所述任务标识，获取预先通过所述时间预测模型得到的所述目标任务各阶段的预测运行时间周期数据；
根据所述当前阶段标识以及所述各阶段的预测运行时间周期数据，获取目标任务的当前阶段的预测结束时间。
11.根据权利要求10所述的装置，其特征在于，所述实时数据还包括所述目标任务的脚本信息；
所述预测模块在根据所述任务标识，获取预先通过所述时间预测模型得到的所述目标任务各阶段的预测运行时间周期数据时，用于：
所述根据所述任务标识和所述脚本信息，判断所述目标任务运行的脚本是否发生变化；
若所述目标任务运行的脚本未发生变化，则获取预先通过所述时间预测模型得到的所述目标任务各阶段的预测运行时间周期数据。
12.根据权利要求10所述的装置，其特征在于，所述预测模块还用于：
获取任一备选任务的历史运行信息，并根据所述历史运行信息获取所述备选任务的各阶段的历史运行时间周期数据；
根据所述时间预测模型，分析所述备选任务的各阶段的历史运行时间周期数据的变动规律，并根据分析结果确定所述备选任务的各阶段的预测运行时间周期数据。
13.根据权利要求12所述的装置，其特征在于，所述预测模块在根据所述时间预测模型，分析所述备选任务的各阶段的历史运行时间周期数据的变动规律前，还用于：
筛除所述备选任务的各阶段的历史运行时间周期数据中的异常值；
对筛除异常值的各阶段的历史运行时间周期数据进行平稳性检测；
若确定平稳性不满足预设条件，则对所述各阶段的历史运行时间周期数据进行差分运算。
14.根据权利要求13所述的装置，其特征在于，所述预测模块在筛除所述备选任务的各阶段的历史运行时间周期数据中的异常值时，用于：
获取各阶段的历史运行时间周期数据对应的箱型图；
根据所述箱型图筛选出各阶段的历史运行时间周期数据中的异常值，并进行删除。
15.根据权利要求12-14中任一项所述的装置，其特征在于，所述时间预测模型为差分整合移动平均自回归模型ARIMA。
16.根据权利要求9-14中任一项所述的装置，其特征在于，所述判断模块在根据所述实时数据、所述预测结束时间以及预设判断规则，确定所述目标任务的当前阶段是否出现延迟时，用于：
若所述当前阶段已执行结束，则获取所述当前阶段的实际结束时间与预测结束时间之间的时间差，若该时间差超过预设阈值，则确定所述目标任务的当前阶段出现延迟；或者
若所述当前阶段尚未结束，则获取当前时刻与预测结束时间之间的时间差，若该时间差超过预设阈值，则确定所述目标任务的当前阶段出现延迟。
17.一种计算机设备，其特征在于，包括：
存储器，用于存储计算机执行指令；
处理器，用于运行所述存储器中存储的计算机执行指令以实现如权利要求1-8中任一项所述的方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010805455.6A CN113762906A (zh) | 2020-08-12 | 2020-08-12 | 任务周期延迟的告警方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010805455.6A CN113762906A (zh) | 2020-08-12 | 2020-08-12 | 任务周期延迟的告警方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113762906A true CN113762906A (zh) | 2021-12-07 |
Family
ID=78785650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010805455.6A Pending CN113762906A (zh) | 2020-08-12 | 2020-08-12 | 任务周期延迟的告警方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762906A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115600992A (zh) * | 2022-11-09 | 2023-01-13 | 江苏海纳宝川智能科技有限公司（Cn） | 一种基于预测算法的项目管理方法 |
| CN116663868A (zh) * | 2023-08-01 | 2023-08-29 | 深圳市特旺电子有限公司 | Pcb线路板组装进度监控系统 |
| CN117370065A (zh) * | 2023-12-01 | 2024-01-09 | 中航信移动科技有限公司 | 一种异常任务确定方法、电子设备及存储介质 |
| CN117592948A (zh) * | 2024-01-18 | 2024-02-23 | 一智科技(成都)有限公司 | 一种施工项目预警方法、系统、装置和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106447242A (zh) * | 2016-11-28 | 2017-02-22 | 国网山东省电力公司济宁供电公司 | 用电业务受理时限管理方法及装置 |
| US20170142033A1 (en) * | 2015-11-13 | 2017-05-18 | Raytheon Company | Tracking data latency and availability for dynamic scheduling |
| CN108073446A (zh) * | 2016-11-10 | 2018-05-25 | 华为技术有限公司 | 超时预判方法及装置 |
| CN109471783A (zh) * | 2017-09-08 | 2019-03-15 | 北京京东尚科信息技术有限公司 | 预测任务运行参数的方法和装置 |
| CN110413486A (zh) * | 2018-04-28 | 2019-11-05 | 北京京东尚科信息技术有限公司 | 监控系统内部调用链路的方法、装置及介质 |
| CN110908777A (zh) * | 2018-09-17 | 2020-03-24 | 北京京东金融科技控股有限公司 | 作业调度方法、装置和系统 |
| CN111010292A (zh) * | 2019-11-26 | 2020-04-14 | 苏宁云计算有限公司 | 一种离线任务延时告警系统、方法及计算机系统 |
| CN111522719A (zh) * | 2020-04-27 | 2020-08-11 | 中国银行股份有限公司 | 大数据任务状态的监控方法及装置 |
-
2020
- 2020-08-12 CN CN202010805455.6A patent/CN113762906A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170142033A1 (en) * | 2015-11-13 | 2017-05-18 | Raytheon Company | Tracking data latency and availability for dynamic scheduling |
| CN108073446A (zh) * | 2016-11-10 | 2018-05-25 | 华为技术有限公司 | 超时预判方法及装置 |
| CN106447242A (zh) * | 2016-11-28 | 2017-02-22 | 国网山东省电力公司济宁供电公司 | 用电业务受理时限管理方法及装置 |
| CN109471783A (zh) * | 2017-09-08 | 2019-03-15 | 北京京东尚科信息技术有限公司 | 预测任务运行参数的方法和装置 |
| CN110413486A (zh) * | 2018-04-28 | 2019-11-05 | 北京京东尚科信息技术有限公司 | 监控系统内部调用链路的方法、装置及介质 |
| CN110908777A (zh) * | 2018-09-17 | 2020-03-24 | 北京京东金融科技控股有限公司 | 作业调度方法、装置和系统 |
| CN111010292A (zh) * | 2019-11-26 | 2020-04-14 | 苏宁云计算有限公司 | 一种离线任务延时告警系统、方法及计算机系统 |
| CN111522719A (zh) * | 2020-04-27 | 2020-08-11 | 中国银行股份有限公司 | 大数据任务状态的监控方法及装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115600992A (zh) * | 2022-11-09 | 2023-01-13 | 江苏海纳宝川智能科技有限公司（Cn） | 一种基于预测算法的项目管理方法 |
| CN116663868A (zh) * | 2023-08-01 | 2023-08-29 | 深圳市特旺电子有限公司 | Pcb线路板组装进度监控系统 |
| CN116663868B (zh) * | 2023-08-01 | 2024-04-19 | 江门市科能电子有限公司 | Pcb线路板组装进度监控系统 |
| CN117370065A (zh) * | 2023-12-01 | 2024-01-09 | 中航信移动科技有限公司 | 一种异常任务确定方法、电子设备及存储介质 |
| CN117370065B (zh) * | 2023-12-01 | 2024-02-02 | 中航信移动科技有限公司 | 一种异常任务确定方法、电子设备及存储介质 |
| CN117592948A (zh) * | 2024-01-18 | 2024-02-23 | 一智科技(成都)有限公司 | 一种施工项目预警方法、系统、装置和存储介质 |
| CN117592948B (zh) * | 2024-01-18 | 2024-04-26 | 一智科技(成都)有限公司 | 一种施工项目预警方法、系统、装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2021201512B2 (en) | Data stream processing language for analyzing instrumented software | |
| US11836533B2 (en) | Automated reconfiguration of real time data stream processing | |
| US10560465B2 (en) | Real time anomaly detection for data streams | |
| CN113762906A (zh) | 任务周期延迟的告警方法、装置、设备及存储介质 | |
| US9846632B2 (en) | Real-time reporting based on instrumentation of software | |
| US9588813B1 (en) | Determining cost of service call | |
| CN110519263B (zh) | 防刷量方法、装置、设备及计算机可读存储介质 | |
| CN115373835A (zh) | Flink集群的任务资源调整方法、装置及电子设备 | |
| CN111582488A (zh) | 一种事件推演方法及装置 | |
| Fittkau et al. | Elastic application-level monitoring for large software landscapes in the cloud | |
| CN114223189A (zh) | 时长统计方法、装置、电子设备和计算机可读介质 | |
| CN113946491A (zh) | 微服务数据处理方法、装置、计算机设备及存储介质 | |
| CN110910241B (zh) | 现金流评估方法、装置、服务器设备及存储介质 | |
| CN117271177A (zh) | 基于链路数据的根因定位方法、装置、电子设备及存储介质 | |
| CN110022343B (zh) | 自适应事件聚合 | |
| CN116225848A (zh) | 日志监测方法、装置、设备和介质 | |
| WO2016100534A1 (en) | Data stream processing language for analyzing instrumented software | |
| US10409704B1 (en) | Systems and methods for resource utilization reporting and analysis | |
| CN114201508A (zh) | 数据处理方法、数据处理装置、电子设备和存储介质 | |
| CN113722141A (zh) | 数据任务的延迟原因确定方法、装置、电子设备及介质 | |
| Killeen et al. | An ahp-based evaluation of real-time stream processing technologies in iot | |
| Boguhn | Benchmarking the scalability of distributed stream processing engines in case of load peaks | |
| CN111737371A (zh) | 可动态预测的数据流量检测分类方法及装置 | |
| CN104883273A (zh) | 虚拟化服务管理平台中业务影响模型的处理方法和系统 | |
| CN115858309B (zh) | 面向分布式系统的数据监控方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |