CN111930589B - 流式任务自动化监控系统及方法 - Google Patents

流式任务自动化监控系统及方法 Download PDF

Info

Publication number
CN111930589B
CN111930589B CN202010628814.5A CN202010628814A CN111930589B CN 111930589 B CN111930589 B CN 111930589B CN 202010628814 A CN202010628814 A CN 202010628814A CN 111930589 B CN111930589 B CN 111930589B
Authority
CN
China
Prior art keywords
task
state
registration
streaming
running
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010628814.5A
Other languages
English (en)
Other versions
CN111930589A (zh
Inventor
史可
戴飞俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Original Assignee
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weiyi Intelligent Manufacturing Technology Co ltd filed Critical Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Priority to CN202010628814.5A priority Critical patent/CN111930589B/zh
Publication of CN111930589A publication Critical patent/CN111930589A/zh
Application granted granted Critical
Publication of CN111930589B publication Critical patent/CN111930589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种流式任务自动化监控系统及方法，包括：注册服务模块：对流式任务进行注册；发现服务模块：监听正常的任务，发现了异常情况时，进行预设的操作处理并在注册中心对应异常任务的状态修改。本发明通过采用单一部署执行和批量部署执行的双重模式，不但可以对单个任务进行注册也可以对现有的流式job进行批量部署注册可以有效的减少运维工程师的工作量和操作复杂度。

Description

流式任务自动化监控系统及方法
技术领域
本发明涉及大数据处理技术领域，具体地，涉及流式任务自动化监控系统及方法。尤其地，涉及MAFJ在工业大数据流任务自动化监控重启中的应用。
背景技术
随着大数据的发展，人们对大数据的处理的工具也越来越丰富，作为目前最受欢迎的流式处理框架flink，自然也是在各个领域中被引用，flink的实时计算能力也是在各种场景中表现优异，在工业大数据领域中，也渐渐被应用起来。然而，目前对技术的应用普遍是对业务的出来和数据的整合，并没有对其本身任务的一种调度系统。
现市场上的flink大数据架构大多数习惯于对处理数据的监控，反而对其本身的状态的监控并不严谨，所以当任务出现异常，解决问题会变得复杂和缓慢，同时，也对实际的业务数据存在一定的影响，如果不能及时解决，则会带来更大的损失。MAFJ系统是为了实现简洁化部署，任务的注册和异常发现服务，以及对异常任务进行报警和重启的功能，实现自动化管理的功能，同时，出现难以解决的异常状况，报警功能也可以找到相关的负责人进行手动解决，保证了最短时间内解决问题，减少其带来的损失。
经对现有技术进行检索，发现如下相关检索结果。
相关检索结果1：
申请号：201911251688.X
名称：一种基于flink的微服务性能实时监控方法
该发明公开一种基于flink的微服务性能实时监控方法，包括以下步骤S1：性能日志埋点；S2：日志采集；S3：聚合计算；S4：结果存储。本发明对微服务架构涉及到的应用服务调用，进行全方位监控，任何一个组件出现问题，就可以通过监控看出出问题的源头在哪。日志埋点时，通过异步单线程进行写入，避免了对应用性能造成影响。在应用层进行一分钟内的监控数据的统计，避免造成了过多的资源浪费。本发明使用flink计算引擎，能够非常实时地计算出结果，使用clickhouse作为数据存储，能支持集群部署，提供稳定性，可靠性，并且不依赖其他组件，更加简单，不易出问题；查询，批量写入性能高；压缩比高，能为企业降低成本。
技术要点比较：
其系统是对日志文件的内容进行实时监控，使用了微服务技术以及clickhouse进行存储，是对业务数据进行监控的系统，而本系统是对flink的任务进行实时的监控，存在心跳机制，可以实时的监控到任务的异常状态，相比较于这种处理业务的系统，MAFJ监控是侧重于其去处理业务数据的任务的维护，主要可以降低风险，实现自动化告警重启，极大的降低的运维成本和系统架构异常而带来的损失。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种流式任务自动化监控系统及方法。
根据本发明提供的一种流式任务自动化监控系统，包括
注册服务模块：对流式任务进行注册；
发现服务模块：监听正常的任务，发现了异常情况时，进行预设的操作处理并在注册中心对应异常任务的状态修改；
告警重启系统：轮询注册中心的非RUNNING状态的任务。
优选地，所述注册服务模块包括两种部署和执行模式：
单个部署执行模式：工程师完成相应的流式任务的开发并按照规定的注册参数将自己的job注册到注册中心；
批量部署执行模式：运维工程师将所有现有的流式任务进行统一管理统一注册。
优选地，所述对流式任务进行注册包括以下步骤：
步骤一：重写注册服务中的一个开放api主程序将相关参数传入到接口中，相关参数包括：任务名称,任务负责人信息以及任务启动命令信息；
步骤二：将重写的api主程序加入批量注册管道，以使服务器或者CDH集群重启能够直接批量注册；
步骤三：将重写的api主程序执行注册。
优选地，所述发现服务模块：
模块S1：定期去查询注册中心中所有的状态显示正常的任务名；
模块S2：将查到的任务名，逐个进行在服务器上此任务是否在资源管理器系统yarn上存在进程的判断，如果不存在进程，表示此任务已经不存在，则将注册中心中此任务的状态修改为失败，如果存在进程，调用模块S3；
模块S2：资源管理器系统yarn上存在相应的进程时，表示有此任务的运行空间，进一步查看这个任务是否是在运行状态，可直接调用flink提供的API接口查看对应任务的实际运行状态；
模块S4：调用接口，可得到一个json格式字符串，解析获得key为state的value值，即为任务的实际状态，如果是RUNNING，表示正常运行，则此任务是正常状态，不作处理，如果是RESTARTING，表示此任务已经结束，此时需要先用命令杀死掉资源管理器系统上的对应进程，再进行注册中心状态的修改，将状态改为失败；
模块S5：如果状态为其他的状态，表示任务目前处于异常状态，但任务仍然在运行，此时需要在注册中心进行状态的修改，将状态改为其他的状态。
根据本发明提供的一种流式任务自动化监控方法，包括
注册服务步骤：对流式任务进行注册；
发现服务步骤：监听正常的任务，发现了异常情况时，进行预设的操作处理并在注册中心对应异常任务的状态修改；
告警重启步骤：轮询注册中心的非RUNNING状态的任务。
优选地，所述注册服务步骤包括两种部署和执行模式：
单个部署执行模式：工程师完成相应的流式任务的开发并按照规定的注册参数将自己的job注册到注册中心；
批量部署执行模式：运维工程师将所有现有的流式任务进行统一管理统一注册。
优选地，所述对流式任务进行注册包括以下步骤：
步骤一：重写注册服务中的一个开放api主程序将相关参数传入到接口中，相关参数包括：任务名称,任务负责人信息以及任务启动命令信息；
步骤二：将重写的api主程序加入批量注册管道，以使服务器或者CDH集群重启能够直接批量注册；
步骤三：将重写的api主程序执行注册。
优选地，所述发现服务步骤：
步骤S1：定期去查询注册中心中所有的状态显示正常的任务名；
步骤S2：将查到的任务名，逐个进行在服务器上此任务是否在资源管理器系统yarn上存在进程的判断，如果不存在进程，表示此任务已经不存在，则将注册中心中此任务的状态修改为失败，如果存在进程，进入步骤S3；
步骤S3：资源管理器系统yarn上存在相应的进程时，表示有此任务的运行空间，进一步查看这个任务是否是在运行状态，可直接调用flink提供的API接口查看对应任务的实际运行状态；
步骤S4：调用接口，可得到一个json格式字符串，解析获得key为state的value值，即为任务的实际状态，如果是RUNNING，表示正常运行，则此任务是正常状态，不作处理，如果是RESTARTING，表示此任务已经结束，此时需要先用命令杀死掉资源管理器系统上的对应进程，再进行注册中心状态的修改，将状态改为失败；
步骤S5：如果状态为其他的状态，表示任务目前处于异常状态，但任务仍然在运行，此时需要在注册中心进行状态的修改，将状态改为其他的状态。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过采用单一部署执行和批量部署执行的双重模式，不但可以对单个任务进行注册也可以对现有的流式job进行批量部署注册可以有效的减少运维工程师的工作量和操作复杂度。
2、本发明通过采用架构分离模块，各个模块之间解耦有效的增加对流式任务的异常检测和预警。
3、本发明通过采用flink框架webui接口返回参数的实时异步解析和对yarn上的session的进程的定时获取从而快速精准的得到流式任务的心跳判断是否存活和决策是否自动重启从而减少因流式job死亡发现缓慢而产生不必要的损失。
4、当前的监控主要在flink的UI界面上查看任务的状态信息及运行状况，然而本发明是可以通过脚本的方式在后台实时的将任务状态更新到数据库中，从而监控到任务的状态，同时对出现异常的任务及时告警和重启。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的Flink job监控告警自动重启流程框架示意图。
图2为本发明提供的发现服务流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种流式任务自动化监控系统，包括
注册服务模块：对流式任务进行注册；
发现服务模块：监听正常的任务，发现了异常情况时，进行预设的操作处理并在注册中心对应异常任务的状态修改；
告警重启系统：轮询注册中心的非RUNNING状态的任务。
具体地，所述注册服务模块包括两种部署和执行模式：
单个部署执行模式：工程师完成相应的流式任务的开发并按照规定的注册参数将自己的job注册到注册中心；
批量部署执行模式：运维工程师将所有现有的流式任务进行统一管理统一注册。
具体地，所述对流式任务进行注册包括以下步骤：
步骤一：重写注册服务中的一个开放api主程序将相关参数传入到接口中，相关参数包括：任务名称,任务负责人信息以及任务启动命令信息；
步骤二：将重写的api主程序加入批量注册管道，以使服务器或者CDH集群重启能够直接批量注册；
步骤三：将重写的api主程序执行注册。
具体地，所述发现服务模块：
模块S1：定期去查询注册中心中所有的状态显示正常的任务名；
模块S2：将查到的任务名，逐个进行在服务器上此任务是否在资源管理器系统yarn上存在进程的判断，如果不存在进程，表示此任务已经不存在，则将注册中心中此任务的状态修改为失败，如果存在进程，调用模块S3；
模块S2：资源管理器系统yarn上存在相应的进程时，表示有此任务的运行空间，进一步查看这个任务是否是在运行状态，可直接调用flink提供的API接口查看对应任务的实际运行状态；
模块S4：调用接口，可得到一个json格式字符串，解析获得key为state的value值，即为任务的实际状态，如果是RUNNING，表示正常运行，则此任务是正常状态，不作处理，如果是RESTARTING，表示此任务已经结束，此时需要先用命令杀死掉资源管理器系统上的对应进程，再进行注册中心状态的修改，将状态改为失败；
模块S5：如果状态为其他的状态，表示任务目前处于异常状态，但任务仍然在运行，此时需要在注册中心进行状态的修改，将状态改为其他的状态。
根据本发明提供的一种流式任务自动化监控方法，包括
注册服务步骤：对流式任务进行注册；
发现服务步骤：监听正常的任务，发现了异常情况时，进行预设的操作处理并在注册中心对应异常任务的状态修改；
告警重启步骤：轮询注册中心的非RUNNING状态的任务。
具体地，所述注册服务步骤包括两种部署和执行模式：
单个部署执行模式：工程师完成相应的流式任务的开发并按照规定的注册参数将自己的job注册到注册中心；
批量部署执行模式：运维工程师将所有现有的流式任务进行统一管理统一注册。
具体地，所述对流式任务进行注册包括以下步骤：
步骤一：重写注册服务中的一个开放api主程序将相关参数传入到接口中，相关参数包括：任务名称,任务负责人信息以及任务启动命令信息；
步骤二：将重写的api主程序加入批量注册管道，以使服务器或者CDH集群重启能够直接批量注册；
步骤三：将重写的api主程序执行注册。
具体地，所述发现服务步骤：
步骤S1：定期去查询注册中心中所有的状态显示正常的任务名；
步骤S2：将查到的任务名，逐个进行在服务器上此任务是否在资源管理器系统yarn上存在进程的判断，如果不存在进程，表示此任务已经不存在，则将注册中心中此任务的状态修改为失败，如果存在进程，进入步骤S3；
步骤S3：资源管理器系统yarn上存在相应的进程时，表示有此任务的运行空间，进一步查看这个任务是否是在运行状态，可直接调用flink提供的API接口查看对应任务的实际运行状态；
步骤S4：调用接口，可得到一个json格式字符串，解析获得key为state的value值，即为任务的实际状态，如果是RUNNING，表示正常运行，则此任务是正常状态，不作处理，如果是RESTARTING，表示此任务已经结束，此时需要先用命令杀死掉资源管理器系统上的对应进程，再进行注册中心状态的修改，将状态改为失败；
步骤S5：如果状态为其他的状态，表示任务目前处于异常状态，但任务仍然在运行，此时需要在注册中心进行状态的修改，将状态改为其他的状态。
下面通过优选例，对本发明进行更为具体地说明。
优选例1：
本发明采用集群架构，对于系统的扩展性、健壮性有着明显优势。工业发展非常快速，智能化信息程度越来越高，使用到的机器设备占比也越来越大，同时会产生大量的数据需要通过大数据的实时技术来做到数据秒级响应，MAFJ则是针对工业级大数据流式任务注册监控重启一体化的智能架构系统，能做到批量注册，单个注册，异常自动发现，异常任务告警，以及异常任务自动重启等。
如图1所示，MAFJ主要通过三个服务模块对flink job的生命周期的注册中心的信息进行注册，监控并实现自动告警重启功能，具体包括注册服务，发现服务以及告警重启服务:
注册服务：
注册服务模块分两种部署和执行的方式，第一则是单个部署执行模式即工程师完成相应的流式job的开发并按照规定的注册参数将自己的job注册到注册中心以用于发现服务和告警重启服务的使用，第二则是批量部署执行模式即运维工程师将所有现有的流式job进行统一管理统一注册。注册服务具体包含以下步骤：
步骤一：工程师重写注册服务中的一个开放api主程序将自己的相关参数比如job名称,job负责人，job启动命令等信息传入到接口中即可
步骤二：将自己重写的api主程序加入批量注册管道以方便服务器或者CDH集群重启可以直接批量注册
步骤三：将重写的api主程序执行注册
发现服务：
如图2所示，监听正常的任务，发现了异常情况时，进行对应的操作处理并在注册中心对应异常任务的状态修改，为告警和重启服务提供发现异常的服务，包含以下步骤：
步骤一：定期去查询注册中心中所有的状态显示正常的任务名
步骤二：将查到的任务名，逐个进行在服务器上此任务是否在yarn(一种通用的资源管理器系统，任务的运行环境由此系统进行调度)上存在进程的判断，如果不存在进程，表示此任务已经不存在，则将注册中心中此任务的状态修改为失败，如果存在进程，进行下一步判断
步骤三：yarn上存在相应的进程时，表示有此任务的运行空间，进一步查看这个任务是否是在运行状态，可直接调用flink提供的API接口查看对应任务的实际运行状态
步骤四：调用接口，可得到一个json格式字符串，解析获得key为state的value值，即为任务的实际状态，如果是RUNNING，表示正常运行，则此任务是正常状态，不作处理，如果是RESTARTING，表示此任务已经dead，此时需要先用命令kill掉yarn的对应进程，再进行注册中心状态的修改，将状态改为失败
步骤五：如果状态为其他的状态，表示任务目前处于异常状态，但任务仍然在运行，此时需要在注册中心进行状态的修改，将状态改为其他的状态。所述其他的状态指正常状态和失败状态意外的状态。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (2)

1.一种流式任务自动化监控系统，其特征在于，包括
注册服务模块：对流式任务进行注册；
发现服务模块：监听正常的任务，发现了异常情况时，进行预设的操作处理并在注册中心对应异常任务的状态修改；
所述发现服务模块：
模块S1：定期去查询注册中心中所有的状态显示正常的任务名；
模块S2：将查到的任务名，逐个进行在服务器上此任务是否在资源管理器系统yarn上存在进程的判断，如果不存在进程，表示此任务已经不存在，则将注册中心中此任务的状态修改为失败，如果存在进程，调用模块S3；
模块S3：资源管理器系统yarn上存在相应的进程时，表示有此任务的运行空间，进一步查看这个任务是否是在运行状态，可直接调用flink提供的API接口查看对应任务的实际运行状态；
模块S4：调用接口，得到一个json格式字符串，解析获得key为state的value值，即为任务的实际状态，如果是RUNNING，表示正常运行，则此任务是正常状态，不作处理，如果是RESTARTING，表示此任务已经结束，此时需要先用命令杀死掉资源管理器系统上的对应进程，再进行注册中心状态的修改，将状态改为失败；
模块S5：如果状态为其他的状态，表示任务目前处于异常状态，但任务仍然在运行，此时需要在注册中心进行状态的修改，将状态改为其他的状态；
通过脚本的方式在后台实时的将任务状态更新到数据库中，从而监控到任务的状态，同时对出现异常的任务及时告警和重启；
所述注册服务模块包括两种部署和执行模式：
单个部署执行模式：工程师完成相应的流式任务的开发并按照规定的注册参数将自己的job注册到注册中心；
批量部署执行模式：运维工程师将所有现有的流式任务进行统一管理统一注册；
所述对流式任务进行注册包括以下步骤：
步骤一：重写注册服务中的一个开放api主程序将相关参数传入到接口中，相关参数包括：任务名称,任务负责人信息以及任务启动命令信息；
步骤二：将重写的api主程序加入批量注册管道，以使服务器或者CDH集群重启能够直接批量注册；
步骤三：将重写的api主程序执行注册。
2.一种流式任务自动化监控方法，其特征在于，包括
注册服务步骤：对流式任务进行注册；
发现服务步骤：监听正常的任务，发现了异常情况时，进行预设的操作处理并在注册中心对应异常任务的状态修改；
所述发现服务步骤：
步骤S1：定期去查询注册中心中所有的状态显示正常的任务名；
步骤S2：将查到的任务名，逐个进行在服务器上此任务是否在资源管理器系统yarn上存在进程的判断，如果不存在进程，表示此任务已经不存在，则将注册中心中此任务的状态修改为失败，如果存在进程，进入步骤S3；
步骤S3：资源管理器系统yarn上存在相应的进程时，表示有此任务的运行空间，进一步查看这个任务是否是在运行状态，可直接调用flink提供的API接口查看对应任务的实际运行状态；
步骤S4：调用接口，得到一个json格式字符串，解析获得key为state的value值，即为任务的实际状态，如果是RUNNING，表示正常运行，则此任务是正常状态，不作处理，如果是RESTARTING，表示此任务已经结束，此时需要先用命令杀死掉资源管理器系统上的对应进程，再进行注册中心状态的修改，将状态改为失败；
步骤S5：如果状态为其他的状态，表示任务目前处于异常状态，但任务仍然在运行，此时需要在注册中心进行状态的修改，将状态改为其他的状态；
通过脚本的方式在后台实时的将任务状态更新到数据库中，从而监控到任务的状态，同时对出现异常的任务及时告警和重启；
所述注册服务步骤包括两种部署和执行模式：
单个部署执行模式：工程师完成相应的流式任务的开发并按照规定的注册参数将自己的job注册到注册中心；
批量部署执行模式：运维工程师将所有现有的流式任务进行统一管理统一注册；
所述对流式任务进行注册包括以下步骤：
步骤一：重写注册服务中的一个开放api主程序将相关参数传入到接口中，相关参数包括：任务名称,任务负责人信息以及任务启动命令信息；
步骤二：将重写的api主程序加入批量注册管道，以使服务器或者CDH集群重启能够直接批量注册；
步骤三：将重写的api主程序执行注册。
CN202010628814.5A 2020-07-02 2020-07-02 流式任务自动化监控系统及方法 Active CN111930589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010628814.5A CN111930589B (zh) 2020-07-02 2020-07-02 流式任务自动化监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010628814.5A CN111930589B (zh) 2020-07-02 2020-07-02 流式任务自动化监控系统及方法

Publications (2)

Publication Number Publication Date
CN111930589A CN111930589A (zh) 2020-11-13
CN111930589B true CN111930589B (zh) 2021-07-27

Family

ID=73317036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010628814.5A Active CN111930589B (zh) 2020-07-02 2020-07-02 流式任务自动化监控系统及方法

Country Status (1)

Country Link
CN (1) CN111930589B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328458B (zh) * 2020-11-27 2023-07-25 杭州安恒信息技术股份有限公司 基于flink数据引擎的数据处理方法、装置
CN112486709A (zh) * 2020-12-17 2021-03-12 中国农业银行股份有限公司 一种基于具象状态传输服务进行作业管理的方法和装置
CN113590420B (zh) * 2021-07-28 2024-04-12 杭州玳数科技有限公司 集群状态监管方法及装置
CN117271102B (zh) * 2023-11-23 2024-03-19 山东省工业技术研究院 一种任务调度系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656782A (zh) * 2018-12-24 2019-04-19 成都四方伟业软件股份有限公司 可视化调度监控方法、装置及服务器
CN110618869A (zh) * 2019-09-19 2019-12-27 北京思维造物信息科技股份有限公司 一种资源管理方法、装置及设备
CN110704518A (zh) * 2019-08-26 2020-01-17 苏宁云计算有限公司 基于Flink引擎的业务数据处理方法及装置
CN111078499A (zh) * 2019-12-09 2020-04-28 江苏艾佳家居用品有限公司 一种基于flink的微服务性能实时监控方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100359481C (zh) * 2003-09-13 2008-01-02 华为技术有限公司 多任务系统的异常监控装置及其方法
US20070282660A1 (en) * 2006-06-01 2007-12-06 Peter Forth Task management systems and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656782A (zh) * 2018-12-24 2019-04-19 成都四方伟业软件股份有限公司 可视化调度监控方法、装置及服务器
CN110704518A (zh) * 2019-08-26 2020-01-17 苏宁云计算有限公司 基于Flink引擎的业务数据处理方法及装置
CN110618869A (zh) * 2019-09-19 2019-12-27 北京思维造物信息科技股份有限公司 一种资源管理方法、装置及设备
CN111078499A (zh) * 2019-12-09 2020-04-28 江苏艾佳家居用品有限公司 一种基于flink的微服务性能实时监控方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
flink on yarn模式下两种提交job方式;我是属车的;《https://www.cnblogs.com/asker009/p/11327533.html》;20190809;1-8 *
Flink集群部署;王知无;《https://www.cnblogs.com/importbigdata/p/10747061.html》;20190421;1-5 *
如何实时监控Flink集群和作业？;zhisheng;《https://cloud.tencent.com/developer/article/1626504》;20200511;1-7 *

Also Published As

Publication number Publication date
CN111930589A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111930589B (zh) 流式任务自动化监控系统及方法
US11659020B2 (en) Method and system for real-time modeling of communication, virtualization and transaction execution related topological aspects of monitored software applications and hardware entities
JP6602435B2 (ja) 連続イベント処理（ｃｅｐ）クエリの並列の実行
US9063788B2 (en) Stream processing with runtime adaptation
US9262258B2 (en) Handling faults in a continuous event processing (CEP) system
EP2659371B1 (en) Predicting, diagnosing, and recovering from application failures based on resource access patterns
CN110908641B (zh) 基于可视化的流计算平台、方法、设备和存储介质
CN111930561B (zh) 流式任务自动化监控告警重启系统及方法
JP2004199330A (ja) 情報処理装置、トレース処理方法、プログラム及び記録媒体
CN110399107B (zh) 日志打印方法、装置、存储介质及设备
CN112000350A (zh) 一种动态规则更新方法、装置及存储介质
CN109901889A (zh) 基于j2ee平台的支撑业务系统运维的全链路监控方法
WO2016178661A1 (en) Determining idle testing periods
Jacques-Silva et al. Building user-defined runtime adaptation routines for stream processing applications
CN111176959B (zh) 跨域的应用服务器的预警方法、系统及存储介质
CN107066366B (zh) 面向物联网的复杂事件处理引擎状态监控与灾难恢复方法
CN110443910B (zh) 无人驾驶装置的状态监控方法、系统、设备和存储介质
CN110837399A (zh) 一种管理流式计算应用程序的方法、装置及计算设备
US8352959B2 (en) Apparatus, system, and method for non-intrusive monitoring of business events
CN113824601A (zh) 一种基于业务日志的电力营销监控系统
CN103885781A (zh) 一种双队列数据采集开发方法
CN114528156A (zh) 异构容灾方案的数据库切换方法、电子设备和介质
CN112988432A (zh) 使用诊断分析大盘定位故障方法、系统及介质
CN116260703A (zh) 分布式消息服务节点cpu性能故障自恢复方法及装置
CN117763041A (zh) 应用于数据汇聚的数据表结构同步方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Streaming Task Automation Monitoring System and Method

Effective date of registration: 20230524

Granted publication date: 20210727

Pledgee: Bank of Hangzhou Limited by Share Ltd. Shanghai branch

Pledgor: Shanghai Weiyi Intelligent Manufacturing Technology Co.,Ltd.

Registration number: Y2023310000207

PE01 Entry into force of the registration of the contract for pledge of patent right