CN117112121A - 分布式任务处理系统、方法、装置及计算机程序产品 - Google Patents

分布式任务处理系统、方法、装置及计算机程序产品 Download PDF

Info

Publication number
CN117112121A
CN117112121A CN202210533690.1A CN202210533690A CN117112121A CN 117112121 A CN117112121 A CN 117112121A CN 202210533690 A CN202210533690 A CN 202210533690A CN 117112121 A CN117112121 A CN 117112121A
Authority
CN
China
Prior art keywords
task
processed
distributed
processing
scheduling system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210533690.1A
Other languages
English (en)
Inventor
呼一辰
陈曦
�田�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Original Assignee
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu com Times Technology Beijing Co Ltd, Baidu USA LLC filed Critical Baidu com Times Technology Beijing Co Ltd
Priority to CN202210533690.1A priority Critical patent/CN117112121A/zh
Publication of CN117112121A publication Critical patent/CN117112121A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开提供了一种分布式任务处理系统、方法、装置、电子设备、存储介质及计算机程序产品，涉及计算机技术领域，可用于分布式任务处理场景下。具体实现方案为：分布式任务处理系统包括分布式任务调度系统、容器编排工具、事件监听模块和中间件，分布式任务调度系统用于基于获取到的任务处理请求创建待处理任务；容器编排工具用于处理分布式任务调度系统创建的待处理任务，并基于事件机制，生成分布式任务调度系统创建的待处理任务对应的事件；监听模块用于监听容器编排工具生成的事件，并通过中间件存储监听到的事件；分布式任务调度系统还用于根据中间件中的事件管理创建的待处理任务。本公开提高了分布式任务处理系统的可行性和通用性。

Description

分布式任务处理系统、方法、装置及计算机程序产品
技术领域
本公开涉及计算机领域，具体涉及分布式任务处理技术，尤其涉及分布式任务处理系统、方法、装置、电子设备、存储介质以及计算机程序产品，可用于分布式任务处理场景下。
背景技术
目前，一般通过分布式任务调度系统处理多任务情况。例如，对于自动把图文转换成视频的智能视频创作平台。对于将单个图文转换成视频的任务，单机就可以完成；但是当用户每天提交成千上万个视频制作请求时，就需要基于一套完整的分布式任务调度系统来处理。对于分布式任务调度系统，现有技术没有给出一个通用的任务调度的解决方案。
发明内容
本公开提供了一种分布式任务处理系统、方法、装置、电子设备、存储介质以及计算机程序产品。
根据第一方面，提供了一种分布式任务处理系统，包括分布式任务调度系统、容器编排工具、事件监听模块和中间件，其中：分布式任务调度系统，用于基于获取到的任务处理请求创建待处理任务；容器编排工具，用于处理分布式任务调度系统创建的待处理任务，并基于事件机制，生成分布式任务调度系统创建的待处理任务对应的事件；监听模块，用于监听容器编排工具生成的事件，并通过中间件存储监听到的事件；分布式任务调度系统，还用于根据中间件中的事件管理创建的待处理任务。
根据第二方面，提供了一种分布式任务处理方法，包括：通过分布式任务调度系统基于获取到的任务处理请求创建待处理任务；通过容器编排工具处理分布式任务调度系统创建的待处理任务，并基于事件机制，生成分布式任务调度系统创建的待处理任务对应的事件；监听容器编排工具生成的事件，并通过中间件存储监听到的事件；通过分布式任务调度系统根据中间件中的事件管理创建的待处理任务。
根据第三方面，提供了一种分布式任务处理装置，包括：创建单元，被配置成通过分布式任务调度系统基于获取到的任务处理请求创建待处理任务；生成单元，被配置成通过容器编排工具处理分布式任务调度系统创建的待处理任务，并基于事件机制，生成分布式任务调度系统创建的待处理任务对应的事件；监听单元，被配置成监听容器编排工具生成的事件，并通过中间件存储监听到的事件；管理单元，被配置成通过分布式任务调度系统根据中间件中的事件管理创建的待处理任务。
根据第四方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第二方面任一实现方式描述的方法。
根据第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第二方面任一实现方式描述的方法。
根据第六方面，提供了一种计算机程序产品，包括：计算机程序，计算机程序在被处理器执行时实现如第二方面任一实现方式描述的方法。
根据本公开的技术，提供了一种分布式任务处理系统，分布式任务处理系统包括容器编排工具、分布式任务调度系统、事件监听模块和中间件，基于容器编排工具处理待处理任务的过程中生成的事件的驱动，分布式任务调度系统在事件监听模块和中间件的配合下实现分布式任务的处理，提供了一种可适用于不同类型的分布式任务的分布式任务处理系统，提高了系统的可行性和通用性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开的分布式任务处理系统的一个实施例的结构示意图；
图2是根据本公开的分布式任务处理系统的又一个实施例的结构示意图；
图3是根据本公开的一个实施例可以应用于其中的示例性系统架构图；
图4是根据本公开的分布式任务处理方法的一个实施例的流程图；
图5是根据本实施例的分布式任务处理方法的应用场景的示意图；
图6是根据本公开的分布式任务处理方法的又一个实施例的流程图；
图7是根据本公开的分布式任务处理方法的一个实施例的流程图；
图8是适于用来实现本公开实施例的计算机系统的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
图1示出了可以应用本公开的分布式任务处理系统的结构示意图100。分布式任务处理系统100包括分布式任务调度系统101、容器编排工具102、事件监听模块103和中间件104。
分布式任务调度系统101，用于基于获取到的任务处理请求创建待处理任务；容器编排工具102，用于处理分布式任务调度系统创建的待处理任务，并基于事件机制，生成分布式任务调度系统创建的待处理任务对应的事件；监听模块103，用于监听容器编排工具生成的事件，并通过中间件104存储监听到的事件；分布式任务调度系统101，还用于根据中间件中的事件管理创建的待处理任务。
其中，任务处理请求可以是请求处理各种类型的任务的处理请求。例如，在自动驾驶领域，任务处理请求可以是表征障碍物识别、交通标示识别的处理请求；在人脸识别领域，任务处理请求可以是表征目标识别、人脸鉴伪的处理请求；在短视频领域，任务处理请求可以是视频制作任务、图文转视频任务。
分布式任务调度系统可以是具有任务调度功能的系统，例如可以是chaconne、Elastic-job、xxl-job等。分布式任务调度系统在获取任务处理请求后，可以解析任务处理请求，确定任务处理请求中的待处理数据、任务参数等信息，从而创建待处理任务。可以理解，任务调度系统可以同时接收多个任务处理请求，从而可以创建多个待处理任务。在一些具体示例中，分布式任务调度系统应用于分布式任务处理场景中。
容器编排工具是提供调度和管理集群的技术，提供用于基于容器应用可扩展性的基本机制。这些工具使用容器服务，并编排他们以决定容器之间如何进行交互。作为示例，容器编排工具可以是Kubernetes、微软AKS(Azure Kubernetes Service，可控Kubernetes服务)、GKE(Google Kubernetes Engine，谷歌Kubernetes引擎)、Amazon EKS(ElasticKubernetes Service，弹性Kubernetes服务)。
以容器编排工具为Kubernetes为例，其具有以下特性：提供完整的企业级容器和集群管理服务；有据可查且可扩展；调整工作负载而无需重新设计应用；降低资源成本；灵活部署和管理；由于容器隔离，增强了可移植性。
任务调度系统创建待处理任务后，可以将待处理任务发送至容器编排工具，以通过容器编排工具中部署的应用处理待处理任务。具体的，容器编排工具处理待处理任务的过程中，各个组件会生成一系列事件以展示容器编排工具集群内处理待处理任务的情况。
在容器编排工具处理待处理任务的过程中，监听模块实时监听容器编排工具生成的事件，并通过中间件存储监听到的事件。作为示例，中间件中设置有消息队列，中间件可以将监听到的事件存储至消息队列中。
进而，分布式任务调度系统可以根据中间件中的事件管理创建的待处理任务。作为示例，通过各待处理任务对应的事件，确定待处理任务的处理情况，是否完成待处理任务等。
本实施例中，分布式任务处理系统包括容器编排工具、分布式任务调度系统、事件监听模块和中间件，基于容器编排工具处理待处理任务的过程中生成的事件的驱动，分布式任务调度系统在事件监听模块和中间件的配合下实现分布式任务的处理，提供了一种可适用于不同类型的分布式任务的分布式任务处理系统，提高了系统的可行性和通用性。
在本实施例的一些可选的实现方式中，分布式任务调度系统101进一步用于：根据表征分布式任务处理系统的任务并行处理能力的任务并行数，确定将获取到的任务处理请求添加至中间件中的任务等待队列还是任务执行队列；响应于确定获取到的任务处理请求被添加至任务执行队列，创建获取到的任务处理请求对应的待处理任务。
任务并行数为分布式任务处理系统并行处理任务处理请求的数量。本实现方式中，可以基于接收到的并行数编辑操作，灵活设置任务并行数。任务执行队列中的任务处理请求表征分布式任务处理系统基于其任务并行处理能力即刻便可处理或正在处理中的处理请求，任务等待队列中的任务处理请求表征需要继续排队等待的处理请求。任务等待队列和任务执行队列可以设置于中间件的数据库中。
作为示例，任务执行队列中的任务处理请求的数量与分布式任务处理系统的任务并行数相同。当任务执行队列中存在空闲存储位置，且任务等待队列中不存在等待处理的任务处理请求时，可以将接收到的任务处理请求加入任务执行队列以指示分布式任务调度系统处理任务处理请求。当任务执行队列已满，不存在空闲存储位置时，将接收到的任务处理请求加入任务等待队列。一般情况下，分布式任务处理系统根据任务处理请求的时间顺序执行。
本实现方式中，基于表征分布式任务处理系统的任务并行处理能力的任务并行数，灵活确定所获取的任务处理请求，提高了分布式任务处理系统处理分布式任务的灵活性。
在本实施例的一些可选的实现方式中，分布式任务调度系统进一步用于：设置与任务并行数相同数量的单任务管理单元；通过任务并行数个单任务管理单元，创建任务执行队列中的任务处理请求对应的待处理任务。
作为示例，每个单任务管理单元对应任务执行队列中的一个任务处理请求，每个单任务管理单元用于创建所分配的任务处理请求对应的待处理任务。具体的，用于创建所分配的任务处理请求对应的待处理任务的功能函数，以类函数的形式在单任务管理单元的类中实现。每个单任务管理单元相当于分布式任务调度系统的一个代理人，创建分配的任务处理请求的待处理任务，并管理对应的待处理任务。
本实现方式中，分布式任务调度系统设置与任务并行数相同数量的单任务管理单元，向单任务管理单元分配任务处理请求；多个单任务管理单元分别处理各自对应的任务管理请求，实现了“系统-单任务管理单元-任务处理请求”的三级处理系统，每一层级只需关注自己层级的处理操作，提高了分布式任务调度系统对于任务处理请求的处理效率。
在本实施例的一些可选的实现方式中，分布式任务调度系统进一步用于：响应于确定任务并行数个单任务管理单元中存在空闲的单任务管理单元，为该单任务管理单元分配任务执行队列中未处理的一个任务处理请求，通过分布式锁锁定该单任务管理单元对应的分配过程；通过该单任务管理单元创建所分配的任务处理请求对应的待处理任务。
当单任务管理单元正在管理基于所分配的任务处理请求而创建的待处理任务时，表明该单任务管理单元处于忙碌状态；否则，单任务管理单元处于空闲状态。
对于处于空闲状态的单任务管理单元，分布式任务调度系统可以为该单任务管理单元分配任务执行队列中未处理的一个任务处理请求，创建待处理任务，并将待处理任务发送至容器编排工具。
在分布式任务处理场景中，为防止同时向容器编排工具发送多个相同的待处理任务，通过中间件中的分布式锁锁定该单任务管理单元对应的分配过程，从而使得每个任务处理请求只分配给一个空闲的单任务处理单元，该单任务处理单元负责处理分配的任务处理请求并将其发送至容器编排工具。
作为示例，每个空闲的单任务处理单元被分配后，空闲的单任务处理单元的数量减一。可以将所有空闲的单任务处理单元都放入同一个数组中，每次有单任务处理单元被分配时，分布式锁就会把这个数组锁起来，以保证只有一个单任务管理单元被分配一个任务处理请求。当一个任务处理请已分配至一个单任务管理单元，解除分布式锁。
本实现方式中，通过分布式锁锁定每个单任务管理单元分配任务处理请求的过程，保证每个任务处理请求只有一个单任务管理单元处理，提高了任务处理的准确度。
在本实施例的一些可选的实现方式中，分布式任务调度系统进一步用于：对于所创建的每个待处理任务，通过该待处理任务对应的单任务管理单元，根据该待处理任务对应的事件，管理该待处理任务。
对于每个待处理任务，该待处理任务对应的单任务管理单元可以根据容器编排工具处理待处理任务而生成的时间监控并记录待处理任务的状态以管理该待处理任务。在监控待处理任务的过程中，把任务的进展信息记录在对应的文件中，在任务完成后对待处理任务在系统的残留资源进行清理。上述监控、记录、清理等功能都以类函数的形式在单任务管理单元的类中实现。
本实现方式，自待处理任务被单任务处理单元创建至待处理任务被处理完成的整个处理过程中，不需要将任务的各种状态汇报给调度系统，单任务处理单元监控管理待处理任务，以对待处理任务进行针对性地监控管理，对于待处理任务的监控管理过程的有序性和准确度。
在本实施例的一些可选的实现方式中，分布式任务调度系统还用于：对于任务并行数个单任务管理单元中的每个单任务管理单元，响应于确定该单任务管理单元对应的待处理任务已完成，释放该单任务管理单元；通过分布式锁锁定该单任务管理单元的释放过程。
当根据容器编排工具处理待处理任务过程中生成的事件，确定待处理任务已完成时，该待处理任务对应的单任务管理单元将被释放，以处理其他的任务处理请求、管理任务处理请求对应的待处理任务。
单任务管理单元被释放时，空闲的单任务管理单元的数量会加一。无论减一还是加一都会影响到当前空闲单任务管理单元的数量计算。所以单任务管理单元的分配过程和释放过程都需要被分布式锁保护起来。也就是在某一个单任务管理单元被释放的时候，分布式锁会阻止其他单任务管理单元被释放，也会阻止空闲状态的单任务管理单元被分配任务处理请求，保证空闲的单任务管理单元的数量计算一直是正确的。
本实施例中，通过分布式锁锁定每个单任务管理单元的释放过程，进一步了保证每个任务处理请求只有一个单任务管理单元处理，提高了任务处理的准确度。
在本实施例的一些可选的实现方式中，分布式任务调度系统进一步用于：确定所获取的多个任务处理请求的优先级；根据优先级和任务并行数，确定将多个任务处理请求添加至中间件中的任务等待队列还是任务执行队列。
任务处理请求的优先级可以根据实际情况具体设置。作为示例，可以根据任务处理请求的类型、发出任务处理请求的用户确定任务处理请求的优先级。
分布式任务处理场景中，分布式任务处理系统一般同时会接收到多个任务处理请求，分布式任务调度系统可以根据多个任务处理请求的优先级，优先处理优先级更高的任务处理请求。按照优先级从高到低的顺序，处理多个任务处理请求。对于多个任务处理请求具有同一优先级的情况，按照时间顺序处理。
本实现方式，根据任务处理请求的优先级，结合任务并行数处理任务处理请求，进一步提高了信息处理过程的灵活性和准确度。
在本实施例的一些可选的实现方式中，待处理任务对应的每个事件包括一个表征事件的执行动作的动作位和多个表征执行状态的状态位。
因为待处理任务的管理完全是基于容器编排工具的事件，所以分布式任务调度系统需要有能力妥善地处理好每一类事件。一般情况下，容器编排工具处理待处理任务的整个过程会产生由三到五个事件组成的事件组，任务调度系统就会根据事件组的信息对待处理任务进行相应的操作，管理待处理任务。
每个事件由一个动作位和三个状态位组成。动作位可能的取值是ADDED、MODIFIED或者DELETED。三个状态位分别代表active、failed和succeeded，每个状态位的取值都是1或者None。因为每次最多只有一个状态位是1，所以三个状态位总共有四种组合结果。结合动作位的三个取值，事件总共有十二种，具体如下：
(1)ADDED,active＝None,failed＝None,succeeded＝None
(2)ADDED,active＝1,failed＝None,succeeded＝None
(3)ADDED,active＝None,failed＝1,succeeded＝None
(4)ADDED,active＝None,failed＝None,succeeded＝1
(5)MODIFIED,active＝None,failed＝None,succeeded＝None
(6)MODIFIED,active＝1,failed＝None,succeeded＝None
(7)MODIFIED,active＝None,failed＝1,succeeded＝None
(8)MODIFIED,active＝None,failed＝None,succeeded＝1
(9)DELETED,active＝None,failed＝None,succeeded＝None
(10)DELETED,active＝1,failed＝None,succeeded＝None
(11)DELETED,active＝None,failed＝1,succeeded＝None
(12)DELETED,active＝None,failed＝None,succeeded＝1
本实现方式中，容器编排工具还用于：对于包括不同的动作位和状态位的每种事件，通过预设划分方式，确定待处理任务的任务状态，其中，任务状态包括未处理状态和处理中状态。
通过分析大量的Kubernetes事件数据，发现事件组的组合方式并不像预期中的那么简单。根据统计，事件组的种类至少有四五十类，但是只有对每一类事件组都能使用合理的处理方式，才能保证分布式任务调度系统稳定地运行。本实现方式中，定义待处理任务只有两类状态，未处理状态与处理中状态。当遇到事件(1)(2)(6)的时候，无论待处理任务当前状态是什么都要把待处理任务转换为处理中状态。当遇到事件(3)(4)(7)(8)(11)(12)的时候，无论待处理任务当前状态是什么都要把任务转换为未处理状态。遇到其他事件的时候，分布式任务调度系统不进行任何操作。应用这样的事件处理逻辑，分布式任务调度系统可以保证稳定运行几个月而不出现异常。
本实现方式中，基于预设划分方式根据待处理任务对应的事件划分待处理任务的状态，提高了分布式任务处理系统的稳定性。
在本实施例的一些可选的实现方式中，上述系统还包括：可视化装置(图中未示出)，用于对处理待处理任务的过程中的关键节点信息进行可视化展示。
可视化装置可以是具有信息显示功能的任意装置。
具体的，可视化装置可以通过可视化装置展示分布式任务管理系统对应的前端网页。前端网页中可以展示存储的待处理任务对应的任务文件的文件结构。每一个待处理任务都有一个独立的文件夹，每个用户对应的所有任务的任务文件夹都会按照日期放在不同的日期文件夹中。系统管理员可以通过前端网页监控当前有多少个待处理任务在运行和多少个任务处理请求在排队等待。运行中的待处理任务会显示在任务执行列表下，排队中的任务处理请求会显示在任务等待列表下。任务执行列表下的任务和任务等待列表下的任务可以通过不同的标识(例如不同颜色的标识)区分。无论任务是在执行还是在排队，系统管理员都可以通过任务列表中的任务进行清理。
本实施例中，基于可视化方式对处理待处理任务的过程中的关键节点信息进行可视化展示，提高了分布式任务处理系统的完备性和展示效果。
继续参考图2，以图文转视频任务为例，示出了分布式任务处理系统的信息流向示意图200，包括：用户终端201、分布式任务调度系统202、Kubernetes 203、事件监听模块204、中间件205和可视化装置206。
1、用户终端将视频制作请求发送至分布式任务调度系统。
2、分布式任务调度系统根据视频制作请求的优先级和任务并行数确定是否将视频制作请求添加至任务执行队列还是任务等待队列。其中，任务执行队列和任务等待队列设置于中间件的数据库中。当添加至任务执行队列时，通过单任务处理单元创建视频制作请求对应的视频制作任务，并将视频制作任务发送至Kubernetes。其中，单任务处理单元分配视频制作请求的过程被分布式所锁定。
3、Kubernetes处理视频制作任务，生成处理过程中的事件。
4、事件监听模块监听Kubernetes生成的事件，并将事件存储至中间件中的消息队列中。
5、分布式任务调度系统中的单任务管理单元根据消息队列中的事件，管理视频制作任务。当视频制作任务完成后，单任务管理单元被释放，其释放过程通过分布式锁锁定。
6、可视化装置展示视频制作任务的处理过程。
图3示出了可以应用本公开的分布式任务处理方法及装置的示例性架构300。
如图3所示，系统架构300可以包括终端设备301、302、303，网络304和服务器305。终端设备301、302、303之间通信连接构成拓扑网络，网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备301、302、303可以是支持网络连接从而进行数据交互和数据处理的硬件设备或软件。当终端设备301、302、303为硬件时，其可以是支持网络连接，信息获取、交互、显示、处理等功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备301、302、303为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器305可以是提供各种服务的服务器，例如，根据终端设备301、302、303发送的任务处理请求，基于分布式任务处理系统处理任务处理请求的后台处理服务器。作为示例，服务器305可以是云端服务器。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
还需要说明的是，本公开的实施例所提供的分布式任务处理方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，分布式任务处理装置包括的各个部分(例如各个单元)可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
应该理解，图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当分布式任务处理方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该系统架构可以仅包括分布式任务处理方法运行于其上的电子设备(例如服务器或终端设备)。
请参考图4，图4为本公开实施例提供的分布式任务处理方法的流程图，其中，流程400包括以下步骤：
步骤401，通过分布式任务调度系统基于获取到的任务处理请求创建待处理任务。
本实施例中，分布式任务处理方法的执行主体(例如，图3中的终端设备或服务器)可以基于有线网络连接方式或无线网络连接方式从远程，或从本地获取任务处理请求，并通过分布式任务调度系统基于获取到的任务处理请求创建待处理任务；在短视频领域，任务处理请求可以是视频制作任务、图文转视频任务。
其中，任务处理请求可以是请求处理各种类型的任务的处理请求。例如，在自动驾驶领域，任务处理请求可以是表征障碍物识别、交通标示识别的处理请求；在人脸识别领域，任务处理请求可以是表征目标识别、人脸鉴伪的处理请求。
分布式任务调度系统可以是具有任务调度功能的系统，例如可以是chaconne、Elastic-job、xxl-job等。任务调度系统在获取任务处理请求后，可以解析任务处理请求，确定任务处理请求中的待处理数据、任务参数等信息，从而创建待处理任务。可以理解，任务调度系统可以同时接收多个任务处理请求，从而可以创建多个待处理任务。在一些具体示例中，任务调度系统应用于分布式任务处理场景中。
步骤402，通过容器编排工具处理分布式任务调度系统创建的待处理任务，并基于事件机制，生成分布式任务调度系统创建的待处理任务对应的事件。
本实施例中，上述执行主体可以通过容器编排工具处理30分布式任务调度系统创建的待处理任务，并基于事件机制，生成分布式任务调度系统创建的待处理任务对应的事件。
容器编排工具是提供调度和管理集群的技术，提供用于基于容器应用可扩展性的基本机制。这些工具使用容器服务，并编排他们以决定容器之间如何进行交互。作为示例，容器编排工具可以是Kubernetes、微软AKS(Azure Kubernetes Service，可控Kubernetes服务)、Google GKE(Google Kubernetes Engine，谷歌Kubernetes引擎)、Amazon EKS(Elastic Kubernetes Service，弹性Kubernetes服务)。
以容器编排工具为Kubernetes为例，其具有以下特性：提供完整的企业级容器和集群管理服务；有据可查且可扩展；调整工作负载而无需重新设计应用；降低资源成本；灵活部署和管理；由于容器隔离，增强了可移植性。
任务调度系统创建待处理任务后，可以将待处理任务发送至容器编排工具，以通过容器编排工具中部署的应用处理待处理任务。具体的，容器编排工具处理待处理任务的过程中，各个组件会生成一系列事件以展示容器编排工具集群内处理待处理任务的情况。
步骤403，监听容器编排工具生成的事件，并通过中间件存储监听到的事件。
本实施例中，上述执行主体可以监听容器编排工具生成的事件，并通过中间件存储监听到的事件。
在容器编排工具处理待处理任务的过程中，监听模块实时监听容器编排工具生成的事件，并通过中间件存储监听到的事件。作为示例，中间件中设置有消息队列，中间件可以将监听到的事件存储至消息队列中。
可以理解，任务处理请求、基于任务处理请求生成的待处理任务、处理待处理任务的过程中生成的事件是一一对应的，上述执行主体可以确定上述对应关系。
步骤404，通过分布式任务调度系统根据中间件中的事件管理创建的待处理任务。
实施例中，上述执行主体可以通过分布式任务调度系统根据中间件中的事件管理创建的待处理任务。
作为示例，通过各待处理任务对应的事件，确定待处理任务的处理情况，是否完成待处理任务等。
继续参见图5，图5是根据本实施例的分布式任务处理方法的应用场景的一个示意图500。在图5的应用场景中，服务器集群501部署了分布式任务处理系统。终端设备502、503分别向服务器501发送任务处理请求。服务器501接收到任务处理请求之后，通过分布式任务处理系统中的分布式任务调度系统5011基于获取到的任务处理请求创建待处理任务；通过容器编排工具5012处理分布式任务调度系统创建的待处理任务，并基于事件机制，生成分布式任务调度系统创建的待处理任务对应的事件；通过事件监听模块5013监听容器编排工具5012生成的事件，并通过中间件5014存储监听到的事件；通过分布式任务调度系统5011根据中间件中的事件管理创建的待处理任务。
本实施例中，分布式任务处理系统包括容器编排工具、分布式任务调度系统、事件监听模块和中间件，基于容器编排工具处理待处理任务的过程中生成的事件的驱动，分布式任务调度系统在事件监听模块和中间件的配合下实现分布式任务的处理，提供了一种可适用于不同类型的分布式任务的分布式任务处理系统，提高了系统的可行性和通用性。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤401：
第一，根据表征分布式任务处理系统的任务并行处理能力的任务并行数，确定将获取到的任务处理请求添加至中间件中的任务等待队列还是任务执行队列；第二，响应于确定获取到的任务处理请求被添加至任务执行队列，创建获取到的任务处理请求对应的待处理任务。
任务并行数为分布式任务处理系统并行处理任务处理请求的数量。本实现方式中，可以基于接收到的并行数编辑操作，灵活设置任务并行数。任务执行队列中的任务处理请求表征分布式任务处理系统基于其任务并行处理能力即刻便可处理或正在处理中的处理请求，任务等待队列中的任务处理请求表征需要继续等待的处理请求。任务等待队列和任务执行队列可以设置于中间件的数据库中。
作为示例，任务执行队列中的任务处理请求的数量与分布式任务处理系统的任务并行数相同。当任务执行队列中存在空闲存储位置，且任务等待队列中不存在等待处理的任务处理请求时，可以将接收到的任务处理请求加入任务执行队列以指示分布式任务调度系统处理任务处理请求。当任务执行队列已满，不存在空闲存储位置时，将接收到的任务处理请求加入任务等待队列。一般情况下，分布式任务处理系统根据任务处理请求的时间顺序执行。
本实现方式中，基于表征分布式任务处理系统的任务并行处理能力的任务并行数，灵活确定所获取的任务处理请求，提高了分布式任务处理系统处理分布式任务的灵活性。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述第二步骤：通过分布式任务调度系统中设置的、与所任务并行数相同数量的单任务管理单元，创建任务执行队列中的任务处理请求对应的待处理任务。
作为示例，每个单任务管理单元对应任务执行队列中的一个任务处理请求，每个单任务管理单元用于创建所分配的任务处理请求对应的待处理任务。具体的，用于创建所分配的任务处理请求对应的待处理任务的功能函数以类函数的形式在单任务管理单元的类中实现。每个单任务管理单元相当于分布式任务调度系统的一个代理人，创建分配的任务处理请求的待处理任务，并管理对应的待处理任务。
本实现方式中，分布式任务调度系统设置与任务并行数相同数量的单任务管理单元，向单任务管理单元分配任务处理请求；多个单任务管理单元分别处理各自对应的任务管理请求，实现了“系统-单任务管理单元-任务处理请求”的三级处理系统，每一层级只需关注自己层级的处理操作，提高了分布式任务调度系统对于任务处理请求的处理效率。
在本实施例的一些可选的实现方式中，上述执行主体可以通过执行如下方式以通过单任务管理单元创建任务处理请求对应的待处理任务：响应于确定任务并行数个单任务管理单元中存在空闲的单任务管理单元，为该单任务管理单元分配任务执行队列中未处理的一个任务处理请求，通过分布式锁锁定该单任务管理单元对应的分配过程；通过该单任务管理单元创建所分配的任务处理请求对应的待处理任务。
当单任务管理单元正在管理基于所分配的任务处理请求而创建的待处理任务时，表明该单任务管理单元处于忙碌状态；否则，单任务管理单元处于空闲状态。
对于处于空闲状态的单任务管理单元，分布式任务调度系统可以为该单任务管理单元分配任务执行队列中未处理的一个任务处理请求，创建待处理任务，并将待处理任务发送至容器编排工具。
在分布式任务处理场景中，为防止同时向容器编排工具发送多个相同的待处理任务，通过中间件中的分布式锁锁定该单任务管理单元对应的分配过程，从而使得每个任务处理请求只分配给一个空闲的单任务处理单元，该单任务处理单元负责处理分配的任务处理请求并将其发送至容器编排工具。
作为示例，每个空闲的单任务处理单元被分配后，空闲的单任务处理单元的数量减一。可以将所有空闲的单任务处理单元都放入同一个数组中，每次有单任务处理单元被分配时，分布式锁就会把这个数组锁起来，分布式锁会阻止其他空闲单任务管理单元被分配待处理任务，也会阻止忙碌状态的单任务管理单元被释放，以保证只有一个单任务管理单元被分配一个任务处理请求。当一个任务处理请已分配至一个单任务管理单元，解除分布式锁。
本实现方式中，通过分布式锁锁定每个单任务管理单元分配任务处理请求的过程，保证每个任务处理请求只有一个单任务管理单元处理，提高了任务处理的准确度。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤404：对于所创建的每个待处理任务，通过该待处理任务对应的单任务管理单元，根据该待处理任务对应的事件，管理该待处理任务。
对于每个待处理任务，该待处理任务对应的单任务管理单元可以根据容器编排工具处理待处理任务而生成的时间监控并记录待处理任务的状态以管理该待处理任务。在监控待处理任务的过程中，把任务的进展信息记录在对应的文件中，在任务完成后对待处理任务在系统的残留资源进行清理。上述监控、记录、清理等功能都以类函数的形式在单任务管理单元的类中实现。
本实现方式，自待处理任务被单任务处理单元创建至待处理任务被处理完成的整个处理过程中，不需要将任务的各种状态汇报给调度系统，单任务处理单元监控管理待处理任务，以对待处理任务进行针对性地监控管理，提高了对于待处理任务的监控管理过程的有序性和准确度。
在本实施例的一些可选的实现方式中，上述执行主体还可以执行如下操作：对于任务并行数个单任务管理单元中的每个单任务管理单元，响应于确定该单任务管理单元对应的待处理任务已完成，释放该单任务管理单元；通过分布式锁锁定该单任务管理单元的释放过程。
当根据容器编排工具处理待处理任务过程中生成的事件，确定待处理任务已完成时，该待处理任务对应的单任务管理单元将被释放，以处理其他的任务处理请求、管理任务处理请求对应的待处理任务。
单任务管理单元被释放时，空闲的单任务管理单元的数量会加一。无论减一还是加一都会影响到当前空闲单任务管理单元的数量计算。所以单任务管理单元的分配过程和释放过程都需要被分布式锁保护起来。也就是在某一个单任务管理单元被释放的时候，分布式锁会阻止其他单任务管理单元被释放，也会阻止空闲状态的单任务管理单元被分配任务处理请求，保证空闲的单任务管理单元的数量计算一直是正确的。
本实施例中，通过分布式锁锁定每个单任务管理单元的释放过程，进一步了保证每个任务处理请求只有一个单任务管理单元处理，提高了任务处理的准确度。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述第一步骤：首先，确定所获取的多个任务处理请求的优先级；然后，根据优先级和任务并行数，确定将多个任务处理请求添加至中间件中的任务等待队列还是任务执行队列。
任务处理请求的优先级可以根据实际情况具体设置。作为示例，可以根据任务处理请求的类型、发出任务处理请求的用户确定任务处理请求的优先级。
分布式任务处理场景中，分布式任务处理系统一般同时会接收到多个任务处理请求，分布式任务调度系统可以根据多个任务处理请求的优先级，优先处理优先级更高的任务处理请求。按照优先级从高到低的顺序，处理多个任务处理请求。对于多个任务处理请求具有同一优先级的情况，按照时间顺序处理。
本实现方式，根据任务处理请求的优先级，结合任务并行数处理任务处理请求，进一步提高了信息处理过程的灵活性和准确度。
在本实施例的一些可选的实现方式中，待处理任务对应的每个事件包括一个表征事件的执行动作的动作位和多个表征执行状态的状态位。因为待处理任务的管理完全是基于容器编排工具的事件，所以分布式任务调度系统需要有能力妥善地处理好每一类事件。一般情况下，容器编排工具处理待处理任务的整个过程会产生由三到五个事件组成的事件组，任务调度系统就会根据事件组的信息对待处理任务进行相应的操作，管理待处理任务。
每个事件由一个动作位和三个状态位组成。动作位可能的取值是ADDED、MODIFIED或者DELETED。三个状态位分别代表active、failed和succeeded，每个状态位的取值都是1或者None。因为每次最多只有一个状态位是1，所以三个状态位总共有四种组合结果。结合动作位的三个取值，事件总共有十二种，具体如下：
(1)ADDED,active＝None,failed＝None,succeeded＝None
(2)ADDED,active＝1,failed＝None,succeeded＝None
(3)ADDED,active＝None,failed＝1,succeeded＝None
(4)ADDED,active＝None,failed＝None,succeeded＝1
(5)MODIFIED,active＝None,failed＝None,succeeded＝None
(6)MODIFIED,active＝1,failed＝None,succeeded＝None
(7)MODIFIED,active＝None,failed＝1,succeeded＝None
(8)MODIFIED,active＝None,failed＝None,succeeded＝1
(9)DELETED,active＝None,failed＝None,succeeded＝None
(10)DELETED,active＝1,failed＝None,succeeded＝None
(11)DELETED,active＝None,failed＝1,succeeded＝None
(12)DELETED,active＝None,failed＝None,succeeded＝1
本实现方式中，上述执行主体还可以执行如下操作：对于包括不同的动作位和状态位的每种事件，通过预设划分方式，使得分布式任务调度系统确定待处理任务的任务状态，其中，任务状态包括未处理状态和处理中状态。
通过分析大量的Kubernetes事件数据，发现事件组的组合方式并不像预期中的那么简单。根据统计，事件组的种类至少有四五十类，但是只有对每一类事件组都能使用合理的处理方式，才能保证分布式任务调度系统稳定地运行。本实现方式中，定义待处理任务只有两类状态，未处理状态与处理中状态。当遇到事件(1)(2)(6)的时候，无论待处理任务当前状态是什么都要把待处理任务转换为处理中状态。当遇到事件(3)(4)(7)(8)(11)(12)的时候，无论待处理任务当前状态是什么都要把待处理任务转换为未处理状态。遇到其他事件的时候，任务调度系统不进行任何操作。应用这样的事件处理逻辑，任务调度系统可以保证稳定运行几个月而不出现异常。
本实现方式中，基于预设划分方式根据待处理任务对应的事件划分待处理任务的状态，提高了分布式任务处理系统的稳定性。
在本实施例的一些可选的实现方式中，上述执行主体还可以执行如下操作：对处理待处理任务的过程中的关键节点信息进行可视化展示。
具体的，可视化装置可以通过可视化装置展示分布式任务管理系统对应的前端网页。前端网页中可以展示存储的待处理任务对应的任务文件的文件结构。每一个待处理任务都有一个独立的文件夹，每个用户对应的所有任务的任务文件夹都会按照日期放在不同的日期文件夹中。系统管理员可以通过前端网页监控当前有多少个待处理任务在运行和多少个任务处理请求在排队等待。运行中的待处理任务会显示在任务执行列表下，排队中的任务处理请求会显示在任务等待列表下。任务执行列表下的任务和任务等待列表下的任务可以通过不同的标识(例如不同颜色的标识)区分。无论任务是在执行还是在排队，系统管理员都可以通过任务列表中的任务进行清理。
本实施例中，基于可视化方式对处理待处理任务的过程中的关键节点信息进行可视化展示，提高了分布式任务处理系统的完备性和展示效果。
继续参考图6，示出了根据本公开的分布式任务处理方法的又一个实施例的示意性流程600，包括以下步骤：
步骤601，根据表征分布式任务处理系统的任务并行处理能力的任务并行数，确定将获取到的任务处理请求添加至中间件中的任务等待队列还是任务执行队列。
步骤602，响应于确定获取到的任务处理请求被添加至任务执行队列，并且确定任务并行数个单任务管理单元中存在空闲的单任务管理单元，为该单任务管理单元分配任务执行队列中未处理的一个任务处理请求，通过分布式锁锁定该单任务管理单元对应的分配过程。
步骤603，通过该单任务管理单元创建所分配的任务处理请求对应的待处理任务。
步骤604，通过容器编排工具处理分布式任务调度系统创建的待处理任务，并基于事件机制，生成分布式任务调度系统创建的待处理任务对应的事件。
步骤605，监听容器编排工具生成的事件，并通过中间件存储监听到的事件。
步骤606，对于所创建的每个待处理任务，通过该待处理任务对应的单任务管理单元，根据该待处理任务对应的事件，管理该待处理任务。
步骤607，对于任务并行数个单任务管理单元中的每个单任务管理单元，响应于确定该单任务管理单元对应的待处理任务已完成，释放该单任务管理单元。
步骤608，通过分布式锁锁定该单任务管理单元的释放过程。
从本实施例中可以看出，与图4对应的实施例相比，本实施例中的分布式任务处理方法的流程600具体说明了单任务管理单元分配任务处理请求的过程、监控待处理任务的过程和释放过程，进一步提高了分布式任务处理的准确度。
继续参考图7，作为对上述各图所示方法的实现，本公开提供了一种分布式任务处理装置的一个实施例，该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，分布式任务处理装置包括：创建单元701，被配置成通过分布式任务调度系统基于获取到的任务处理请求创建待处理任务；生成单元702，被配置成通过容器编排工具处理分布式任务调度系统创建的待处理任务，并基于事件机制，生成分布式任务调度系统创建的待处理任务对应的事件；监听单元703，被配置成监听容器编排工具生成的事件，并通过中间件存储监听到的事件；管理单元704，被配置成通过分布式任务调度系统根据中间件中的事件管理创建的待处理任务。
在本实施例的一些可选的实现方式中，创建单元701，进一步被配置成：根据表征分布式任务处理系统的任务并行处理能力的任务并行数，确定将获取到的任务处理请求添加至中间件中的任务等待队列还是任务执行队列；响应于确定获取到的任务处理请求被添加至任务执行队列，创建获取到的任务处理请求对应的待处理任务。
在本实施例的一些可选的实现方式中，创建单元701，进一步被配置成：通过分布式任务调度系统中设置的、与任务并行数相同数量的单任务管理单元，创建任务执行队列中的任务处理请求对应的待处理任务。
在本实施例的一些可选的实现方式中，创建单元701，进一步被配置成：响应于确定任务并行数个单任务管理单元中存在空闲的单任务管理单元，为该单任务管理单元分配任务执行队列中未处理的一个任务处理请求，通过分布式锁锁定该单任务管理单元对应的分配过程；通过该单任务管理单元创建所分配的任务处理请求对应的待处理任务。
在本实施例的一些可选的实现方式中，管理单元704，进一步被配置成：对于所创建的每个待处理任务，通过该待处理任务对应的单任务管理单元，根据该待处理任务对应的事件，管理该待处理任务。
在本实施例的一些可选的实现方式中，管理单元704，进一步被配置成：对于任务并行数个单任务管理单元中的每个单任务管理单元，响应于确定该单任务管理单元对应的待处理任务已完成，释放该单任务管理单元；通过分布式锁锁定该单任务管理单元的释放过程。
在本实施例的一些可选的实现方式中，创建单元701，进一步被配置成：确定所获取的多个任务处理请求的优先级；根据优先级和任务并行数，确定将多个任务处理请求添加至中间件中的任务等待队列还是任务执行队列。
在本实施例的一些可选的实现方式中，待处理任务对应的每个事件包括一个表征事件的执行动作的动作位和多个表征执行状态的状态位；以及上述装置还包括：划分单元(图中未示出)，被配置成对于包括不同的动作位和状态位的每种事件，通过预设划分方式，使得分布式任务调度系统确定待处理任务的任务状态，其中，任务状态包括未处理状态和处理中状态。
在本实施例的一些可选的实现方式中，上述装置还包括：可视化单元(图中未示出)，被配置成：对处理待处理任务的过程中的关键节点信息进行可视化展示。
本实施例中，提供了一种分布式任务处理装置，基于容器编排工具处理待处理任务的过程中生成的事件的驱动，分布式任务调度系统在事件监听模块和中间件的配合下实现分布式任务的处理，提供了一种可适用于不同类型的分布式任务的分布式任务处理系统，提高了系统的可行性和通用性。
根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任意实施例所描述的分布式任务处理方法。
根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任意实施例所描述的分布式任务处理方法。
本公开实施例提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任意实施例所描述的分布式任务处理方法。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如分布式任务处理方法。例如，在一些实施例中，分布式任务处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的分布式任务处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行分布式任务处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷；也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本公开实施例的技术方案，提供了一种分布式任务处理系统，分布式任务处理系统包括容器编排工具、分布式任务调度系统、事件监听模块和中间件，基于容器编排工具处理待处理任务的过程中生成的事件的驱动，分布式任务调度系统在事件监听模块和中间件的配合下实现分布式任务的处理，提供了一种可适用于不同类型的分布式任务的分布式任务处理系统，提高了系统的可行性和通用性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (22)

1.一种分布式任务处理系统，包括分布式任务调度系统、容器编排工具、事件监听模块和中间件，其中：
所述分布式任务调度系统，用于基于获取到的任务处理请求创建待处理任务；
所述容器编排工具，用于处理所述分布式任务调度系统创建的待处理任务，并基于事件机制，生成所述分布式任务调度系统创建的待处理任务对应的事件；
所述监听模块，用于监听所述容器编排工具生成的事件，并通过所述中间件存储监听到的事件；
所述分布式任务调度系统，还用于根据所述中间件中的事件管理创建的待处理任务。
2.根据权利要求1所述的系统，其中，所述分布式任务调度系统，进一步用于：
根据表征所述分布式任务处理系统的任务并行处理能力的任务并行数，确定将获取到的任务处理请求添加至所述中间件中的任务等待队列还是任务执行队列；响应于确定获取到的任务处理请求被添加至所述任务执行队列，创建获取到的任务处理请求对应的待处理任务。
3.根据权利要求2所述的系统，其中，所述分布式任务调度系统，进一步用于：
设置与所述任务并行数相同数量的单任务管理单元；通过所述任务并行数个单任务管理单元，创建所述任务执行队列中的任务处理请求对应的待处理任务。
4.根据权利要求3所述的系统，其中，所述分布式任务调度系统，进一步用于：
响应于确定所述任务并行数个单任务管理单元中存在空闲的单任务管理单元，为该单任务管理单元分配所述任务执行队列中未处理的一个任务处理请求，通过分布式锁锁定该单任务管理单元对应的分配过程；通过该单任务管理单元创建所分配的任务处理请求对应的待处理任务。
5.根据权利要求3所述的系统，其中，所述分布式任务调度系统，进一步用于：
对于所创建的每个待处理任务，通过该待处理任务对应的单任务管理单元，根据该待处理任务对应的事件，管理该待处理任务。
6.根据权利要求5所述的系统，其中，所述分布式任务调度系统，还用于：
对于所述任务并行数个单任务管理单元中的每个单任务管理单元，响应于确定该单任务管理单元对应的待处理任务已完成，释放该单任务管理单元；通过分布式锁锁定该单任务管理单元的释放过程。
7.根据权利要求2所述的系统，其中，所述分布式任务调度系统，进一步用于：
确定所获取的多个任务处理请求的优先级；根据所述优先级和所述任务并行数，确定将所述多个任务处理请求添加至所述中间件中的任务等待队列还是任务执行队列。
8.根据权利要求1所述的系统，其中，待处理任务对应的每个事件包括一个表征事件的执行动作的动作位和多个表征执行状态的状态位；以及
所述容器编排工具，还用于：
对于包括不同的动作位和状态位的每种事件，通过预设划分方式，确定待处理任务的任务状态，其中，所述任务状态包括未处理状态和处理中状态。
9.根据权利要求1所述的系统，其中，还包括：
可视化装置，用于对处理待处理任务的过程中的关键节点信息进行可视化展示。
10.一种分布式任务处理方法，包括：
通过分布式任务调度系统基于获取到的任务处理请求创建待处理任务；
通过容器编排工具处理所述分布式任务调度系统创建的待处理任务，并基于事件机制，生成所述分布式任务调度系统创建的待处理任务对应的事件；
监听所述容器编排工具生成的事件，并通过中间件存储监听到的事件；
通过所述分布式任务调度系统根据所述中间件中的事件管理创建的待处理任务。
11.根据权利要求10所述的方法，其中，所述通过分布式任务调度系统基于获取到的任务处理请求创建待处理任务，包括：
根据表征分布式任务处理系统的任务并行处理能力的任务并行数，确定将获取到的任务处理请求添加至所述中间件中的任务等待队列还是任务执行队列；
响应于确定获取到的任务处理请求被添加至所述任务执行队列，创建获取到的任务处理请求对应的待处理任务。
12.根据权利要求11所述的方法，其中，所述创建获取到的任务处理请求对应的待处理任务，包括：
通过所述分布式任务调度系统中设置的、与所述任务并行数相同数量的单任务管理单元，创建所述任务执行队列中的任务处理请求对应的待处理任务。
13.根据权利要求12所述的方法，其中，所述通过所述分布式任务调度系统中设置的与所述任务并行数相同数量的单任务管理单元，创建所述任务执行队列中的任务处理请求对应的待处理任务，包括：
响应于确定所述任务并行数个单任务管理单元中存在空闲的单任务管理单元，为该单任务管理单元分配所述任务执行队列中未处理的一个任务处理请求，通过分布式锁锁定该单任务管理单元对应的分配过程；
通过该单任务管理单元创建所分配的任务处理请求对应的待处理任务。
14.根据权利要求12所述的方法，其中，所述通过所述分布式任务调度系统根据所述中间件中的事件管理创建的待处理任务，包括：
对于所创建的每个待处理任务，通过该待处理任务对应的单任务管理单元，根据该待处理任务对应的事件，管理该待处理任务。
15.根据权利要求14所述的方法，其中，还包括：
对于所述任务并行数个单任务管理单元中的每个单任务管理单元，响应于确定该单任务管理单元对应的待处理任务已完成，释放该单任务管理单元；
通过分布式锁锁定该单任务管理单元的释放过程。
16.根据权利要求11所述的方法，其中，所述根据表征分布式任务处理系统的任务并行处理能力的任务并行数，确定将获取到的任务处理请求添加至所述中间件中的任务等待队列还是任务执行队列，包括：
确定所获取的多个任务处理请求的优先级；
根据所述优先级和所述任务并行数，确定将所述多个任务处理请求添加至所述中间件中的任务等待队列还是任务执行队列。
17.根据权利要求10所述的方法，其中，待处理任务对应的每个事件包括一个表征事件的执行动作的动作位和多个表征执行状态的状态位；以及
还包括：
对于包括不同的动作位和状态位的每种事件，通过预设划分方式，使得所述分布式任务调度系统确定待处理任务的任务状态，其中，所述任务状态包括未处理状态和处理中状态。
18.根据权利要求10所述的方法，其中，还包括：
对处理待处理任务的过程中的关键节点信息进行可视化展示。
19.一种分布式任务处理装置，包括：
创建单元，被配置成通过分布式任务调度系统基于获取到的任务处理请求创建待处理任务；
生成单元，被配置成通过容器编排工具处理所述分布式任务调度系统创建的待处理任务，并基于事件机制，生成所述分布式任务调度系统创建的待处理任务对应的事件；
监听单元，被配置成监听所述容器编排工具生成的事件，并通过中间件存储监听到的事件；
管理单元，被配置成通过所述分布式任务调度系统根据所述中间件中的事件管理创建的待处理任务。
20.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求10-18中任一项所述的方法。
21.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求10-18中任一项所述的方法。
22.一种计算机程序产品，包括：计算机程序，所述计算机程序在被处理器执行时实现根据权利要求10-18中任一项所述的方法。
CN202210533690.1A 2022-05-16 2022-05-16 分布式任务处理系统、方法、装置及计算机程序产品 Pending CN117112121A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210533690.1A CN117112121A (zh) 2022-05-16 2022-05-16 分布式任务处理系统、方法、装置及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210533690.1A CN117112121A (zh) 2022-05-16 2022-05-16 分布式任务处理系统、方法、装置及计算机程序产品

Publications (1)

Publication Number Publication Date
CN117112121A true CN117112121A (zh) 2023-11-24

Family

ID=88806109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210533690.1A Pending CN117112121A (zh) 2022-05-16 2022-05-16 分布式任务处理系统、方法、装置及计算机程序产品

Country Status (1)

Country Link
CN (1) CN117112121A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117579700A (zh) * 2024-01-11 2024-02-20 中国人民解放军国防科技大学 基于消息队列的通用型微服务处理方法、系统和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117579700A (zh) * 2024-01-11 2024-02-20 中国人民解放军国防科技大学 基于消息队列的通用型微服务处理方法、系统和设备
CN117579700B (zh) * 2024-01-11 2024-04-02 中国人民解放军国防科技大学 基于消息队列的通用型微服务处理方法、系统和设备

Similar Documents

Publication Publication Date Title
CN108874640B (zh) 一种集群性能的评估方法和装置
CN107729139B (zh) 一种并发获取资源的方法和装置
CN107241281B (zh) 一种数据处理方法及其装置
CN113742031B (zh) 节点状态信息获取方法、装置、电子设备及可读存储介质
EP4113299A2 (en) Task processing method and device, and electronic device
US8903981B2 (en) Method and system for achieving better efficiency in a client grid using node resource usage and tracking
WO2012037760A1 (zh) 提升告警处理效率的方法、服务器及系统
CN113157409A (zh) 基于ai的rpa任务调度方法、装置、电子设备及存储介质
CN113127171A (zh) 用于任务分配系统中的行为配对的技术
CN111045811A (zh) 一种任务分配方法、装置、电子设备及存储介质
CN110673959A (zh) 用于处理任务的系统、方法和装置
TW202131171A (zh) 程式設計平台的使用者代碼運行方法、電子設備和電腦可讀儲存介質
US10122602B1 (en) Distributed system infrastructure testing
CN114489997A (zh) 定时任务调度方法、装置、设备和介质
CN109657005A (zh) 一种分布式集群系统的数据缓存方法、装置及设备
CN117112121A (zh) 分布式任务处理系统、方法、装置及计算机程序产品
CN113658351B (zh) 一种产品生产的方法、装置、电子设备及存储介质
CN111240865A (zh) 一种基于消息队列的弹性伸缩活动优先级管理系统及方法
CA2631255A1 (en) Scalable scheduling of tasks in heterogeneous systems
CN113347238A (zh) 基于区块链的消息分区方法及系统、设备、存储介质
CN109858975A (zh) 多会话类型智能分配方法、系统、设备及存储介质
CN109412970B (zh) 数据流转系统、数据流转方法、电子设备和存储介质
CN116010065A (zh) 分布式任务调度方法、装置以及设备
CN112884382B (zh) 云平台的资源配额管理方法、装置、设备以及存储介质
GB2390776A (en) Method and apparatus for automated network polling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination