CN116594848B - 一种任务监控方法、装置、设备、终端设备及存储介质 - Google Patents

一种任务监控方法、装置、设备、终端设备及存储介质 Download PDF

Info

Publication number
CN116594848B
CN116594848B CN202310877195.7A CN202310877195A CN116594848B CN 116594848 B CN116594848 B CN 116594848B CN 202310877195 A CN202310877195 A CN 202310877195A CN 116594848 B CN116594848 B CN 116594848B
Authority
CN
China
Prior art keywords
task
data
execution
state
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310877195.7A
Other languages
English (en)
Other versions
CN116594848A (zh
Inventor
陈亦帅
潘宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202310877195.7A priority Critical patent/CN116594848B/zh
Publication of CN116594848A publication Critical patent/CN116594848A/zh
Application granted granted Critical
Publication of CN116594848B publication Critical patent/CN116594848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3017—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is implementing multitasking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/815—Virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/505—Clust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/508—Monitor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种任务监控方法、装置、设备、终端设备及存储介质。该方法包括：根据接收到的第一任务，生成目标容器组；根据所述第一任务的第一任务执行标识，确定所述目标容器组的名称；在所述目标容器组中执行所述第一任务；根据所述第一任务的执行状态，更新数据库中所述第一任务的第一数据并将所述第一任务的第二数据上报给监控系统。本发明的方案，通过接收到的第一任务以及第一任务执行标识创建目标容器组，并通过所述第一任务执行标识对所述目标容器组进行命名，能够根据所述第一任务实时进行集群资源的动态扩容或缩容，提供高弹性、可伸缩的能力，解决了框架和分布式的处理引擎Flink集群资源的调度无法根据不同的任务进行动态调整的问题。

Description

一种任务监控方法、装置、设备、终端设备及存储介质
技术领域
本发明涉及数据传输监控技术领域，特别是指一种任务监控方法、装置、设备、终端设备及存储介质。
背景技术
现有技术中对框架和分布式的处理引擎Flink的配置文件（例如flink-config.yaml）进行配置时，直接把Flink集群的指标推送给Prometheus监控系统，Prometheus获取指标时一次请求往往只能获取一个指标，服务端直接向Prometheus发送指标数据获取请求，把Prometheus作为数据源使用，集数据解析和数据传输功能为一体，当传输任务或者获取的指标过多时，容易在获取展示时产生积压等性能问题。现有的Flink任务的执行状态的监控方法，Flink集群必须预先部署并设定集群配置，长时间不使用仍需占用系统资源，集群资源的调度无法根据不同的任务进行动态调整。
发明内容
本发明的目的是提供一种任务监控方法、装置、设备、终端设备及存储介质，用以解决现有技术中框架和分布式的处理引擎Flink集群资源的调度无法根据不同的任务进行动态调整的问题。
为达到上述目的，本发明的实施例提供一种任务监控方法，应用于第一设备，包括：
根据接收到的第一任务，生成目标容器组；
根据所述第一任务的第一任务执行标识，确定所述目标容器组的名称；
在所述目标容器组中执行所述第一任务；
根据所述第一任务的执行状态，更新数据库中所述第一任务的第一数据并将所述第一任务的第二数据上报给监控系统；
其中，所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
本发明的实施例还提供一种任务监控方法，应用于第二设备，包括：
查询数据库中第一任务的数据包，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；
当所述第一数据指示所述第一执行状态为已执行且所述第一同步状态为未同步的情况下，从监控系统获取所述第一任务的第三数据，所述第三数据指示所述第一任务的第二执行进度；
将所述第三数据更新到第一任务的数据包中。
进一步地，所述数据包还包括：第一任务的第一任务执行标识；
所述方法还包括：
从第三设备获取与所述第一任务执行标识对应的元数据信息；
根据所述元数据信息，确定所述第一任务的第二执行状态；
在所述第一执行状态与所述第二执行状态不同的情况下，将所述数据包中的第一执行状态更新为所述第二执行状态。
进一步地，从第三设备获取与所述第一任务执行标识对应的元数据信息，包括：
根据所述第一任务执行标识，确定运行所述第一任务的第一容器组；
从所述第一容器组中获取所述元数据信息。
进一步地，第一任务的执行状态包括：未执行，已执行，执行中；
根据所述元数据信息，确定所述第一任务的第二执行状态，包括：
在所述元数据信息指示所述第一任务未执行的情况下，确定所述第二执行状态为未执行；
在所述元数据信息指示所述第一任务正在执行，且所述元数据信息中所有条件的状态均为真的情况下，确定所述第二执行状态为执行中；
在所述第三设备不存在所述元数据信息，或者，所述元数据信息指示所述第一任务执行正在执行，且所述元数据信息中条件存在假的状态的情况下，确定所述第二执行状态为已执行。
进一步地，将所述第三数据更新到第一任务的数据包中，包括：
从数据库中获取执行状态为已执行的第一任务执行标识；
若所述第一任务执行标识对应的执行进度的同步状态为未同步，则根据所述第三数据，更新所述第一数据；
其中，更新后的第一数据指示所述第一任务的执行进度同步状态为已同步。
进一步地，所述第二数据还指示以下至少一项：
数据读取指标，用于确定对所述第一任务的所述数据包的查询频次；
数据写入指标，用于计算所述第一任务的执行进度同步状态；
所述第三数据还指示以下至少一项：
所述数据读取指标；
所述数据写入指标。
为达到上述目的，本发明的实施例提供一种任务监控方法，应用于第三设备，包括：
根据第一任务的执行状态，确定所述第一任务的第一任务执行标识；
将所述第一任务以及所述第一任务执行标识发送至第一设备；
根据所述第一任务执行标识在数据库创建所述第一任务的数据包的记录，并初始化所述数据包；
其中，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
进一步地，所述将所述第一任务以及所述第一任务执行标识发送至第一设备，包括：
加载所述第一任务的镜像，将所述第一任务和所述第一任务执行标识发送至所述第一设备。
为达到上述目的，本发明的实施例提供任务监控装置，应用于第一设备，包括：
生成模块，用于根据接收到的第一任务，生成目标容器组；
第一确定模块，用于根据所述第一任务的第一任务执行标识，确定所述目标容器组的名称；
执行模块，用于在所述目标容器组中执行所述第一任务；
第一更新模块，用于根据所述第一任务的执行状态，更新数据库中所述第一任务的第一数据并将所述第一任务的第二数据上报给监控系统；
其中，所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
为达到上述目的，本发明的实施例提供一种任务监控装置，应用于第二设备，包括：
查询模块，用于查询数据库中第一任务的数据包，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；
获取模块，用于当所述第一数据指示所述第一执行状态为已执行且所述第一同步状态为未同步的情况下，从监控系统获取所述第一任务的第三数据，所述第三数据指示所述第一任务的第二执行进度；
第二更新模块，用于将所述第三数据更新到第一任务的数据包中。
为达到上述目的，本发明的实施例提供一种任务监控装置，应用于第三设备，包括：
第二确定模块，用于根据第一任务的执行状态，确定所述第一任务的第一任务执行标识；
发送模块，用于将所述第一任务以及所述第一任务执行标识发送至第一设备；
创建模块，用于根据所述第一任务执行标识在数据库创建所述第一任务的数据包的记录，并初始化所述数据包；
其中，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
为达到上述目的，本发明的实施例提供一种设备，包括处理器；
所述处理器用于根据接收到的第一任务，生成目标容器组；
根据所述第一任务的第一任务执行标识，确定所述目标容器组的名称；
在所述目标容器组中执行所述第一任务；
根据所述第一任务的执行状态，更新数据库中所述第一任务的第一数据并将所述第一任务的第二数据上报给监控系统；
其中，所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
为达到上述目的，本发明的实施例提供一种设备，包括处理器和收发机；
所述收发机用于查询数据库中第一任务的数据包，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；
当所述第一数据指示所述第一执行状态为已执行且所述第一同步状态为未同步的情况下，从监控系统获取所述第一任务的第三数据，所述第三数据指示所述第一任务的第二执行进度；
所述处理器用于将所述第三数据更新到第一任务的数据包中。
为达到上述目的，本发明的实施例提供一种设备，包括处理器和收发机；
所述处理器用于根据第一任务的执行状态，确定所述第一任务的第一任务执行标识；
所述收发机用于将所述第一任务以及所述第一任务执行标识发送至第一设备；
所述处理器还用于根据所述第一任务执行标识在数据库创建所述第一任务的数据包的记录，并初始化所述数据包；
其中，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
为达到上述目的，本发明的实施例提供一种终端设备，包括收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所述程序或指令时实现如上所述的任务监控方法。
为达到上述目的，本发明的实施例提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的任务监控方法中的步骤。
本发明的上述技术方案的有益效果如下：
本发明实施例的任务监控方法，通过接收到的第一任务以及所述第一任务的第一任务执行标识创建目标容器组，并通过所述第一任务执行标识对所述目标容器组进行命名，能够根据所述第一任务实时进行集群资源的动态扩容或缩容，提供高弹性、可伸缩的能力；并将所述第二数据作为指标上报至监控系统，使得监控系统提供直接使用的数据，与指标解析过程相互独立。本发明的方案，解决了现有技术中框架和分布式的处理引擎Flink集群资源的调度无法根据不同的任务进行动态调整的问题。
附图说明
图1为本发明实施例的应用于第一设备的任务监控方法的流程示意图；
图2为本发明实施例的应用于第二设备的任务监控方法的流程示意图；
图3为本发明实施例的应用于第三设备的任务监控方法的流程示意图；
图4为本发明实施例的第一设备、第二设备、第三设备与数据库之间的数据交互示意图；
图5为本发明实施例的应用于第一设备的任务监控装置的结构示意图；
图6为本发明实施例的应用于第二设备的任务监控装置的结构示意图；
图7为本发明实施例的应用于第三设备的任务监控装置的结构示意图；
图8为本发明实施例的设备的结构示意图之一；
图9为本发明实施例的设备的结构示意图之二；
图10为本发明实施例的设备的结构示意图之三；
图11为本发明实施例的终端设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
另外，本文中术语“系统”和“网络”在本文中常可互换使用。
在本申请所提供的实施例中，应理解，“与A 相应的B”表示B 与A 相关联，根据A可以确定B。但还应理解，根据A 确定B 并不意味着仅仅根据A 确定B，还可以根据A 和/或其它信息确定B。
容器组pod是k8s（Kubernetes）的最小单元，一个pod可以封装一个或者多个容器，通常一个pod中有一个pause容器和若干个业务容器。pod里的容器共享存储、网络等。Pod相当于逻辑主机，每个pod都有自己的IP地址，但一个pod内的容器共享相同的IP和端口。
Prometheus监控系统是一个开源的监控系统和报警系统，性能足够支撑上万台规模的集群。在K8s容器管理系统中，通常会搭配Prometheus进行监控，同时也支持多种数据监控采集组件exporter采集数据，还支持推送网关pushgateway进行数据上报。
Flink是一个对有界和无界数据流进行状态计算的分布式处理引擎和框架，主要用来处理流式数据。
如图1所示，本发明实施例的一种任务监控方法，应用于第一设备，包括如下步骤：
步骤101，根据接收到的第一任务，生成目标容器组pod；
步骤102，根据所述第一任务的第一任务执行标识，确定所述目标pod的名称；
步骤103，在所述目标pod中执行所述第一任务；
步骤104，根据所述第一任务的执行状态，更新数据库中所述第一任务的第一数据并将所述第一任务的第二数据上报给监控系统；
其中，所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
可选地，所述监控系统为Prometheus监控系统。
需要说明的是，所述第一设备为具有kubernetes（K8s）容器平台的设备；所述第二设备为具有监控模块的设备；所述第三设备为具有任务提交模块的设备；且所述第一设备、所述第二设备以及所述第三设备分属于不同的设备，或者所述第一设备、所述第二设备以及所述第三设备属于同一设备的不同部分。
可选地，所述根据接收到的第一任务，生成目标pod，包括：
根据所述第一任务的任务配置信息，在目标命名空间（namespace）下生成所述目标pod以及目标任务管理器(Task Manager)。
可选地，根据所述第一任务的第一任务执行标识，确定所述目标pod的名称，包括：
将所述第一任务执行标识作为所述目标pod名称的一部分。
可选地，所述将所述第一任务的第二数据上报给所述监控系统，包括：
通过推送网关pushgateway将第一任务的第二数据上报给所述监控系统。
可选地，在所述目标pod被创建，且所述目标pod的名称确定后，设置所述数据库（第二数据库）中的第二数据为任务执行标识，并初始化所述第二数据的数值，例如：数据读取字节数、数据写入字节数以及执行进度。
本发明一实施例中，所述数据库中的第二数据如下所示：
本发明一实施例中，每个第一任务（Fink传输任务）会有一个任务标识，例如 “fx-A-a ”，所述第一任务可以被多次执行，每次所述第一任务被执行之前，根据所述第一任务的执行次数，确定所述第一任务执行标识，例如设定本次第一任务执行标识为“fx-A-a-01”，第二次第一任务执行标识为“fx-A-a-02”；再在所述第一任务执行标识中添加横线和随机字符作为所述目标pod的名称，例如“fx-A-a-01-fxwufx”。
本发明实施例的任务监控方法，通过接收到的第一任务以及所述第一任务的第一任务执行标识创建目标pod，并通过所述第一任务执行标识对所述目标pod进行命名，能够根据所述第一任务实时进行集群资源的动态扩容或缩容，提供高弹性、可伸缩的能力；并将所述第二数据作为指标上报至Prometheus监控系统，使得Prometheus监控系统提供直接使用的数据，与指标解析过程相互独立。本发明的方案，解决了现有技术中Flink集群资源的调度无法根据不同的任务进行动态调整的问题。
如图2所示，本发明的实施例提供一种任务监控方法，应用于第二设备，包括如下步骤：
步骤201，查询数据库中第一任务的数据包，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；
步骤202，当所述第一数据指示所述第一执行状态为已执行且所述第一同步状态为未同步的情况下，从监控系统获取所述第一任务的第三数据，所述第三数据指示所述第一任务的第二执行进度；
步骤203，将所述第三数据更新到第一任务的数据包中。
所述查询数据库中第一任务的数据包可以理解为：获取所述数据包中的部分或者全部数据。
可选地，所述数据库包括：第一数据库（关系型数据库（relational data base ，RDB））和第二数据库（远程字典服务（Remote Dictionary Server，Redis)）；
所述第一数据库用于存储所述数据包中的第一数据，所述第二数据库用于存储所述数据包中的第二数据。
可选地，所述第一数据库用于存储所述第一数据（更新较为频繁的字段信息），例如，任务的执行状态和执行进度的同步状态。
可选地，所述第二数据库用于存储所述第二数据（更新较为频繁的字段信息），例如，读取字节数、写入字节数以及任务执行的同步进度。
本发明实施例的任务监控方法，将所述数据库对外开放，通过所述第二设备将所述监控系统中的第一任务的指标解析过程与数据库中的更新过程分开独立处理；可以从数据库直接间接的获取所述第一任务的指标数值结果，并且不同更新频率的数据存储位置不同，由不同接口实现数据高频访问和低频访问。
本发明一实施例中，在所述第二设备查询到所述数据库中所述第一执行状态为已执行，且所述第一同步状态为未同步的情况下，通过应用程序编程接口（ApplicationProgramming Interface，API）接口从Prometheus监控系统获取所述第三数据，并将所述第三数据更新到数据包中存储于所述第二数据库的部分，对所述第一任务的执行进度进行更新。
本发明一实施例中，所述第二设备从Prometheus监控系统获取相关数据，并对所述第二数据库进行更新，以使后续只需从数据库中直接获取相关数据。
本发明实施例的任务监控方法，通过查询数据库中的所述第一任务的数据包，能够确定所述第一任务的执行状态和执行进度的同步状态，并在所述第一任务的执行状态为已执行，同步状态为未同步的情况下，从Prometheus 监控系统获取所述第一任务的执行进度，并对所述数据库中所述第一任务的同步状态进行更新。保证了数据库中对所述第一任务的执行进行度的同步状态的准确性，并在所述数据库中所述第一任务的同步状态为已同步后，在查询所述数据库时，能够确定所述第一任务的同步状态为已同步，不需再对Prometheus监控系统中所述第一任务的所述第二数据进行监控，减小了所述第二设备的压力。
可选地，所述数据包还包括：第一任务的第一任务执行标识；
所述方法还包括：
从第三设备获取与所述第一任务执行标识对应的元数据信息；
根据所述元数据信息，确定所述第一任务的第二执行状态；
在所述第一执行状态与所述第二执行状态不同的情况下，将所述数据包中的第一执行状态更新为所述第二执行状态。
可选地，所述从第三设备获取与所述第一任务执行标识对应的元数据信息，包括：
在所述第三设备的命名空间确定与所述第一任务对应的目标pod；
从所述目标pod获取所述元数据信息。
本发明一实施例中，所述从所述目标pod获取所述元数据信息的程序如下：
……..
"status": {
"phase": "Running",
"conditions": [
{
"type": "Initialized",
"status": "True",
"lastProbeTime": null,
"lastTransitionTime": "2021-04-16T07:22:14Z"
},
{
"type": "Ready",
"status": "True",
"lastProbeTime": null,
"lastTransitionTime": "2021-04-16T07:22:18Z"
},
{
"type": "ContainersReady",
"status": "True",
"lastProbeTime": null,
"lastTransitionTime": "2021-04-16T07:22:18Z"
},
{
"type": "PodScheduled",
"status": "True",
"lastProbeTime": null,
"lastTransitionTime": "2021-04-16T07:22:14Z"
}
]
}
…….
可选地，根据所述元数据信息，确定所述第一任务的第二执行状态，包括：
根据所述元数据信息的phase字段，判断所述第一任务的第二执行状态。
可选地，从第三设备获取与所述第一任务执行标识对应的元数据信息，包括：
根据所述第一任务执行标识，确定运行所述第一任务的第一pod；
从所述第一pod中获取所述元数据信息。
可选地，第一任务的执行状态包括：未执行，已执行，执行中；
根据所述元数据信息，确定所述第一任务的第二执行状态，包括：
在所述元数据信息指示所述第一任务未执行的情况下，确定所述第二执行状态为未执行；
在所述元数据信息指示所述第一任务正在执行，且所述元数据信息中所有条件的状态均为真的情况下，确定所述第二执行状态为执行中；
在所述第三设备不存在所述第一pod或所述元数据信息，或者，所述元数据信息指示所述第一任务执行正在执行，且所述元数据信息中条件存在假的状态的情况下，确定所述第二执行状态为已执行。
可选地，所述已执行的执行状态包括：执行成功和执行失败。
本发明一实施例中，若所述第一pod的元数据phase字段指示所述第一任务未执行，则所述第二执行状态为未执行；
若所述第一pod的元数据phase字段为“Running”且phase下的所有条件conditions的状态status都为真true，则所述第二执行状态为执行中；
若所述第一pod的元数据phase字段为“Running”且phase下存在条件conditions的状态status为假false，则所述第二执行状态为已执行（执行失败）；
若所述第三设备中不存在于所述第一任务对应的所述目标pod，或者，所述第一pod中不存在与所述第一任务执行标识对应的元数据信息，则所述第一任务已经执行完毕，所述目标pod或所述元数据信息已释放，所述第二执行状态为已执行（执行成功）。
在所述第一任务的执行状态为已执行的情况下，所述第二数据库中的数据如下所示：
可选地，将所述第三数据更新到第一任务的数据包中，包括：
从数据库中获取执行状态为已执行的第一任务执行标识；
若所述第一任务执行标识对应的执行进度的同步状态为未同步，则根据所述第三数据，更新所述第一数据；
其中，更新后的第一数据指示所述第一任务的执行进度同步状态为已同步。
可选地，所述第二数据还指示以下至少一项：
数据读取指标，用于确定对所述第一任务的所述数据包的查询频次；
数据写入指标，用于计算所述第一任务的执行进度同步状态；
所述第三数据还指示以下至少一项：
所述数据读取指标；
所述数据写入指标。
可选地，所述根据所述第三数据，更新所述第一数据，还可以理解为：
更新后的所述第一数据的执行进度为100%。
本发明一实施例中，从所述第一数据库中获取执行状态为已执行的第一任务执行标识，若所述第一任务执行标识对应的执行进度的同步状态为未同步，则调用Prometheus监控系统暴露的表述性状态传递（Representational State Transfer，Rest）接口“api/v1/query”，附加自己的函数式查询语言(Prometheus Query Language，PromQL)作为请求参数，获取所述第一任务的所述第三数据，并根据所述第三数据对所述第一数据进行更新。
如图3所示，本发明的实施例提供一种任务监控方法，应用于第三设备，包括如下步骤：
步骤301，根据第一任务的执行状态，确定所述第一任务的第一任务执行标识；
步骤302，将所述第一任务以及所述第一任务执行标识发送至第一设备；
步骤303，根据所述第一任务执行标识在数据库创建所述第一任务的数据包的记录，并初始化所述数据包；
其中，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
可选地，每个任务对应一个执行标识。
可选地，所述根据所述第一任务执行标识在数据库创建所述第一任务的数据包的记录，可以理解为：
创建所述数据库中所述数据包的数据列表或者数据字段；
所述初始化所述数据包可以理解为：
对所述数据包的列表或者数据字段进行初始化，将所述数据包的列表或数据字段初始化为空或为0，以使所述数据包指示所述第一任务的执行状态为未提交，执行进度的同步状态为未同步。
初始化后的所述数据包在所述数据库中如下：
本发明一实施例中，在所述第三设备将所述第一任务发送给所述第一设备时，将所述数据库中所述第一数据初始化为未提交。
可选地，所述将所述第一任务以及所述第一任务执行标识发送至第一设备，包括：
加载所述第一任务的镜像，将所述第一任务和所述第一任务执行标识发送至所述第一设备。
可选地，所述加载所述第一任务的镜像，可以理解为：在所述第一任务（Flink传输任务）的插件目录中，集成能够从数据源（Flink Source）获取读取字节数和从目标端（Flink Sink）获取写入字节数的扩展jar包（可以使用FlinkX这样自动带有读取和写入字节数监控指标的开源项目作为传输任务的插件或者自行实现对接推送网关pushgateway的相关指标上报器）而制作成的镜像， 它能够自动实现Flink传输过程中上报指标给推送网关pushgateway从而对接Prometheus监控系统。
需要说明的是，FlinkX是一款基于Flink实现的分布式离线/实时数据同步插件，可实现多种异构数据源高效的数据同步，FlinkX数据同步任务的本质是一个Flink程序，读出写入的数据同步任务会被翻译成流线图StreamGraph在Flink执行，FlinkX开发者只需要关注输入格式InputFormat和输出格式OutputFormat接口实现。FlinkX本身支持了包含MySQL、Oracle、SQLServer、Hive、Hbase等20多种主流数据源的双向采集。
本发明一实施例中，所述第一设备具有K8s容器平台；所述第二设备具有任务监控模块，所述第三设备具有任务提交模块，则所述第一设备、所述第二设备以及所述第三设备之间以及与数据库之间的数据交互如图4所示：
（1）所述第三设备将所述第一任务提交（发送）至所述第一设备之后，在数据库中创建数据包（第一数据和第二数据）的记录，并初始化所述记录；
（2）所述第一设备创建目标pod后，在所述数据库中初始化所述第二数据，并更新所述第一任务的执行状态为执行中；
（3）所述第一设备将所述第一任务的执行进度、数据读取字节数以及数据写入字节数，通过pushgateway上报至监控系统Prometheus；
（4）所述第二设备从数据库查询所述第一任务的第一数据；
（5）在所述第一任务的执行状态为已执行，同步状态为未同步的情况下：
（5a）从Prometheus获取所述第一任务的第三数据；
（5b）从所述第一设备获取所述第一任务对应的元数据信息；
（6）所述第二设备根据所述第三数据或者所述元数据信息对所述数据库进行数据更新。
如图5所示，本发明实施例的一种任务监控装置500，应用于第一设备，包括：
生成模块501，用于根据接收到的第一任务，生成目标pod；
第一确定模块502，用于根据所述第一任务的第一任务执行标识，确定所述目标pod的名称；
执行模块503，用于在所述目标pod中执行所述第一任务；
第一更新模块504，用于根据所述第一任务的执行状态，更新数据库中所述第一任务的第一数据并将所述第一任务的第二数据上报给Prometheus；
其中，所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
如图6所示，本发明实施例的一种任务监控装置600，应用于第二设备，包括：
查询模块601，用于查询数据库中第一任务的数据包，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；
获取模块602，用于当所述第一数据指示所述第一执行状态为已执行且所述第一同步状态为未同步的情况下，从Prometheus获取所述第一任务的第三数据，所述第三数据指示所述第一任务的第二执行进度；
第二更新模块603，用于将所述第三数据更新到第一任务的数据包中。
如图7所示，本发明实施例的一种任务监控装置700，应用于第三设备，包括：
第二确定模块701，用于根据第一任务的执行状态，确定所述第一任务的第一任务执行标识；
发送模块702，用于将所述第一任务以及所述第一任务执行标识发送至第一设备；
创建模块703，用于根据所述第一任务执行标识在数据库创建所述第一任务的数据包的记录，并初始化所述数据包；
其中，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
如图8所示，本发明实施例的一种设备800，包括处理器810，其中，
所述处理器用于根据接收到的第一任务，生成目标pod；
根据所述第一任务的第一任务执行标识，确定所述目标pod的名称；
在所述目标pod中执行所述第一任务；
根据所述第一任务的执行状态，更新数据库中所述第一任务的第一数据并将所述第一任务的第二数据上报给Prometheus；
其中，所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
如图9所示，本发明实施例的一种设备900，包括处理器910和收发机920，其中，
所述收发机用于查询数据库中第一任务的数据包，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；
当所述第一数据指示所述第一执行状态为已执行且所述第一同步状态为未同步的情况下，从Prometheus获取所述第一任务的第三数据，所述第三数据指示所述第一任务的第二执行进度；
所述处理器用于将所述第三数据更新到第一任务的数据包中。
如图10所示，本发明实施例的一种设备1000，包括处理器1010和收发机1020，其中，
所述处理器用于根据第一任务的执行状态，确定所述第一任务的第一任务执行标识；
所述收发机用于将所述第一任务以及所述第一任务执行标识发送至第一设备；
所述处理器还用于根据所述第一任务执行标识在数据库创建所述第一任务的数据包的记录，并初始化所述数据包；
其中，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
本发明另一实施例的一种终端设备，如图11所示，包括收发器1110、处理器1100、存储器1120及存储在所述存储器1120上并可在所述处理器1100上运行的程序或指令；所述处理器1100执行所述程序或指令时实现上述应用于任务监控方法。
所述收发器1110，用于在处理器1100的控制下接收和发送数据。
其中，在图11中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1100代表的一个或多个处理器和存储器1120代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发器1110可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口1130还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器1100负责管理总线架构和通常的处理，存储器1120可以存储处理器1100在执行操作时所使用的数据。
本发明实施例的一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的任务监控方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的终端设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等。
进一步需要说明的是，此说明书中所描述的终端包括但不限于智能手机、平板电脑等，且所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。
本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上（包括在不同存储设备上），并且至少部分地可以仅作为电子信号存在于系统或网络上。
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成（VLSI）电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
上述范例性实施例是参考该些附图来描述的，许多不同的形式和实施例是可行而不偏离本发明精神及教示，因此，本发明不应被建构成为在此所提出范例性实施例的限制。更确切地说，这些范例性实施例被提供以使得本发明会是完善又完整，且会将本发明范围传达给那些熟知此项技术的人士。在该些图式中，组件尺寸及相对尺寸也许基于清晰起见而被夸大。在此所使用的术语只是基于描述特定范例性实施例目的，并无意成为限制用。如在此所使用地，除非该内文清楚地另有所指，否则该单数形式“一”、“一个”和“该”是意欲将该些多个形式也纳入。会进一步了解到该些术语“包含”及/或“包括”在使用于本说明书时，表示所述特征、整数、步骤、操作、构件及/或组件的存在，但不排除一或更多其它特征、整数、步骤、操作、构件、组件及/或其族群的存在或增加。除非另有所示，陈述时，一值范围包含该范围的上下限及其间的任何子范围。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (17)

1.一种任务监控方法，应用于第一设备，其特征在于，包括：
根据接收到的第一任务，生成目标容器组；
根据所述第一任务的第一任务执行标识，确定所述目标容器组的名称；
在所述目标容器组中执行所述第一任务；
根据所述第一任务的执行状态，更新数据库中所述第一任务的第一数据并将所述第一任务的第二数据上报给监控系统；
其中，所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
2.一种任务监控方法，应用于第二设备，其特征在于，包括：
查询数据库中第一任务的数据包，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；
当所述第一数据指示所述第一执行状态为已执行且所述第一同步状态为未同步的情况下，从监控系统获取所述第一任务的第三数据，所述第三数据指示所述第一任务的第二执行进度；
将所述第三数据更新到第一任务的数据包中。
3.根据权利要求2所述的任务监控方法，其特征在于，所述数据包还包括：第一任务的第一任务执行标识；
所述方法还包括：
从第三设备获取与所述第一任务执行标识对应的元数据信息；
根据所述元数据信息，确定所述第一任务的第二执行状态；
在所述第一执行状态与所述第二执行状态不同的情况下，将所述数据包中的第一执行状态更新为所述第二执行状态。
4.根据权利要求3所述的任务监控方法，其特征在于，从第三设备获取与所述第一任务执行标识对应的元数据信息，包括：
根据所述第一任务执行标识，确定运行所述第一任务的第一容器组；
从所述第一容器组中获取所述元数据信息。
5.根据权利要求3所述的任务监控方法，其特征在于，第一任务的执行状态包括：未执行，已执行，执行中；
根据所述元数据信息，确定所述第一任务的第二执行状态，包括：
在所述元数据信息指示所述第一任务未执行的情况下，确定所述第二执行状态为未执行；
在所述元数据信息指示所述第一任务正在执行，且所述元数据信息中所有条件的状态均为真的情况下，确定所述第二执行状态为执行中；
在所述第三设备不存在所述元数据信息，或者，所述元数据信息指示所述第一任务执行正在执行，且所述元数据信息中条件存在假的状态的情况下，确定所述第二执行状态为已执行第三设备。
6.根据权利要求5所述的任务监控方法，其特征在于，将所述第三数据更新到第一任务的数据包中，包括：
从数据库中获取执行状态为已执行的第一任务执行标识；
若所述第一任务执行标识对应的执行进度的同步状态为未同步，则根据所述第三数据，更新所述第一数据；
其中，更新后的第一数据指示所述第一任务的执行进度同步状态为已同步。
7.根据权利要求2所述的任务监控方法，其特征在于，所述第二数据还指示以下至少一项：
数据读取指标，用于确定对所述第一任务的所述数据包的查询频次；
数据写入指标，用于计算所述第一任务的执行进度同步状态；
所述第三数据还指示以下至少一项：
所述数据读取指标；
所述数据写入指标。
8.一种任务监控方法，应用于第三设备，其特征在于，包括：
根据第一任务的执行状态，确定所述第一任务的第一任务执行标识；
将所述第一任务以及所述第一任务执行标识发送至第一设备；
根据所述第一任务执行标识在数据库创建所述第一任务的数据包的记录，并初始化所述数据包；
其中，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；
所述数据库包括第一数据库和第二数据库，且所述第一数据库用于存储所述第一数据，所述第二数据库用于存储所述第二数据。
9.根据权利要求8所述的任务监控方法，其特征在于，所述将所述第一任务以及所述第一任务执行标识发送至第一设备，包括：
加载所述第一任务的镜像，将所述第一任务和所述第一任务执行标识发送至所述第一设备。
10.一种任务监控装置，应用于第一设备，其特征在于，包括：
生成模块，用于根据接收到的第一任务，生成目标容器组；
第一确定模块，用于根据所述第一任务的第一任务执行标识，确定所述目标容器组的名称；
执行模块，用于在所述目标容器组中执行所述第一任务；
第一更新模块，用于根据所述第一任务的执行状态，更新数据库中所述第一任务的第一数据并将所述第一任务的第二数据上报给监控系统；
其中，所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
11.一种任务监控装置，应用于第二设备，其特征在于，包括：
查询模块，用于查询数据库中第一任务的数据包，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；
获取模块，用于当所述第一数据指示所述第一执行状态为已执行且所述第一同步状态为未同步的情况下，从监控系统获取所述第一任务的第三数据，所述第三数据指示所述第一任务的第二执行进度；
第二更新模块，用于将所述第三数据更新到第一任务的数据包中。
12.一种任务监控装置，应用于第三设备，其特征在于，包括：
第二确定模块，用于根据第一任务的执行状态，确定所述第一任务的第一任务执行标识；
发送模块，用于将所述第一任务以及所述第一任务执行标识发送至第一设备；
创建模块，用于根据所述第一任务执行标识在数据库创建所述第一任务的数据包的记录，并初始化所述数据包；
其中，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；
所述数据库包括第一数据库和第二数据库，且所述第一数据库用于存储所述第一数据，所述第二数据库用于存储所述第二数据。
13.一种任务监控设备，其特征在于，包括：处理器；
所述处理器用于根据接收到的第一任务，生成目标容器组；
根据所述第一任务的第一任务执行标识，确定所述目标容器组的名称；
在所述目标容器组中执行所述第一任务；
根据所述第一任务的执行状态，更新数据库中所述第一任务的第一数据并将所述第一任务的第二数据上报给监控系统；
其中，所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度。
14.一种任务监控设备，其特征在于，包括：收发机和处理器；
所述收发机用于查询数据库中第一任务的数据包，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；
当所述第一数据指示所述第一执行状态为已执行且所述第一同步状态为未同步的情况下，从监控系统获取所述第一任务的第三数据，所述第三数据指示所述第一任务的第二执行进度；
所述处理器用于将所述第三数据更新到第一任务的数据包中。
15.一种任务监控设备，其特征在于，包括：收发机和处理器；
所述处理器用于根据第一任务的执行状态，确定所述第一任务的第一任务执行标识；
所述收发机用于将所述第一任务以及所述第一任务执行标识发送至第一设备；
所述处理器还用于根据所述第一任务执行标识在数据库创建所述第一任务的数据包的记录，并初始化所述数据包；
其中，所述数据包包括：第一数据，和/或，第二数据；所述第一数据用于指示所述第一任务的第一执行状态和执行进度的第一同步状态；所述第二数据用于指示所述第一任务的第一执行进度；
所述数据库包括第一数据库和第二数据库，且所述第一数据库用于存储所述第一数据，所述第二数据库用于存储所述第二数据。
16.一种终端设备，包括：收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；其特征在于，所述处理器执行所述程序或指令时实现如权利要求1所述的任务监控方法；或者，所述处理器执行所述程序或指令时实现如权利要求2-7任一项所述的任务监控方法；或者，所述处理器执行所述程序或指令时实现如权利要求8或9所述的任务监控方法。
17.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1所述的任务监控方法中的步骤；或者，所述程序或指令被处理器执行时实现如权利要求2-7任一项所述的任务监控方法中的步骤；或者，所述程序或指令被处理器执行时实现如权利要求8或9所述的任务监控方法中的步骤。
CN202310877195.7A 2023-07-18 2023-07-18 一种任务监控方法、装置、设备、终端设备及存储介质 Active CN116594848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310877195.7A CN116594848B (zh) 2023-07-18 2023-07-18 一种任务监控方法、装置、设备、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310877195.7A CN116594848B (zh) 2023-07-18 2023-07-18 一种任务监控方法、装置、设备、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN116594848A CN116594848A (zh) 2023-08-15
CN116594848B true CN116594848B (zh) 2023-10-10

Family

ID=87599548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310877195.7A Active CN116594848B (zh) 2023-07-18 2023-07-18 一种任务监控方法、装置、设备、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN116594848B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427249A (zh) * 2019-07-26 2019-11-08 重庆紫光华山智安科技有限公司 任务分配方法、pod初始化方法及相关装置
CN112418438A (zh) * 2020-11-24 2021-02-26 国电南瑞科技股份有限公司 基于容器的机器学习流程化训练任务执行方法及系统
CN113592462A (zh) * 2021-08-16 2021-11-02 广域铭岛数字科技有限公司 一种线上交付方法、系统、电子设备及介质
CN115640110A (zh) * 2022-11-07 2023-01-24 北京百度网讯科技有限公司 分布式云计算系统调度方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10069869B2 (en) * 2016-05-17 2018-09-04 Amazon Technologies, Inc. Versatile autoscaling

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427249A (zh) * 2019-07-26 2019-11-08 重庆紫光华山智安科技有限公司 任务分配方法、pod初始化方法及相关装置
CN112418438A (zh) * 2020-11-24 2021-02-26 国电南瑞科技股份有限公司 基于容器的机器学习流程化训练任务执行方法及系统
CN113592462A (zh) * 2021-08-16 2021-11-02 广域铭岛数字科技有限公司 一种线上交付方法、系统、电子设备及介质
CN115640110A (zh) * 2022-11-07 2023-01-24 北京百度网讯科技有限公司 分布式云计算系统调度方法和装置

Also Published As

Publication number Publication date
CN116594848A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
US7970823B2 (en) System for sharing data objects among applications
US7546335B2 (en) System and method for a data protocol layer and the transfer of data objects using the data protocol layer
US9015697B2 (en) On-demand software module deployment
CN111177161B (zh) 数据处理方法、装置、计算设备和存储介质
US9680692B2 (en) Method and system for using a recursive event listener on a node in hierarchical data structure
CN111143382A (zh) 数据处理方法、系统和计算机可读存储介质
CN109857723B (zh) 基于可扩容数据库集群的动态数据迁移方法及相关设备
CN104468274A (zh) 一种集群监控管理方法及系统
CN113204558B (zh) 数据表结构自动更新方法和装置
CN111381820A (zh) 一种基于gui自动生成api的方法及装置
CN114090388A (zh) 信息获取方法、服务器集群、服务器及设备
CN113779452B (zh) 数据处理方法、装置、设备及存储介质
CN116501700B (zh) 一种app格式化文件离线存储方法、装置、设备及存储介质
CN114238459A (zh) 一种异构数据源集成管理方法、装置和系统
CN116594848B (zh) 一种任务监控方法、装置、设备、终端设备及存储介质
CN112035413A (zh) 元数据信息查询方法、装置及存储介质
WO2023045743A1 (zh) 数据库数据自动生成Json数据的方法、可读介质和电子设备
US11645306B2 (en) Database configurations for remote deployments
CN116244383A (zh) 基于bom中台的bom同步处理方法、设备及介质
CN113377816B (zh) 一种分布式数据存取系统
CN112711466B (zh) 悬挂事务巡检方法和装置、电子设备和存储介质
US20220391223A1 (en) Adding expressiveness to plugin extensions using integration with operators
CN113377617A (zh) 一种监控系统
WO2023143061A1 (zh) 一种数据访问方法及其数据访问系统
US20240202207A1 (en) Distributed function data transformation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant