CN110673938B - 任务处理方法、系统、服务器及存储介质 - Google Patents
任务处理方法、系统、服务器及存储介质 Download PDFInfo
- Publication number
- CN110673938B CN110673938B CN201910898149.9A CN201910898149A CN110673938B CN 110673938 B CN110673938 B CN 110673938B CN 201910898149 A CN201910898149 A CN 201910898149A CN 110673938 B CN110673938 B CN 110673938B
- Authority
- CN
- China
- Prior art keywords
- task
- execution
- nodes
- node
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
Abstract
本申请公开了一种任务处理方法、系统、服务器及存储介质。任务处理方法包括,调度节点先接收多个初始化节点发送的多个第一任务;然后向多个第一执行节点发送多个第一任务,每个第一执行节点用于接收调度节点的一个第一任务,为一个第一任务创建一个执行容器,并在执行容器中执行第一任务。这样,每个任务在单独的容器中执行,每个容器为一个任务提供相对隔离的执行环境,可以避免多个计算任务依赖不同的第三方库和软件导致开发调试冲突。而且,调度节点可以向任务处理系统中任意的多个执行节点发送多个任务,将多个第一任务发送出去之后,就可以继续处理后续任务。这样可以避免任务处理系统处理多个任务时,多线程收发消息的竞争。
Description
技术领域
本申请涉及任务调度技术领域,尤其涉及了一种任务处理方法、系统、服务器及存储介质。
背景技术
计算任务的调度与执行过程中,容易出现每个计算任务依赖不同的第三方库和软件导致执行环境不同的情况,这样会导致开发调试冲突,不同任务可能依赖同一软件的不同版本导致执行异常。
发明内容
本申请实施例提供一种任务处理方法、系统、服务器及存储介质。
第一方面,本申请实施例提供了一种任务处理方法,用于任务处理系统,所述任务处理系统包括调度节点和多个执行节点,所述任务处理方法包括:
调度节点接收多个初始化节点发送的多个第一任务;
所述调度节点向多个第一执行节点发送所述多个第一任务,所述多个第一执行节点为所述多个执行节点中的任意多个不同的执行节点,每个第一执行节点用于接收所述调度节点的一个第一任务,为一个所述第一任务创建一个执行容器,并在所述执行容器中执行所述第一任务。
在某些实施例中,所述任务处理方法还包括:
调度节点接收多个第二执行节点发送的多个第二任务执行状态信息,所述第二任务执行状态信息包括第二任务标识及第二任务执行状态;
所述调度节点根据每个第二任务执行状态信息的第二任务执行状态,在任务数据库中更新所述第二任务标识对应的第二任务的状态信息。
在某些实施例中,所述调度节点向多个第一执行节点发送所述多个第一任务:
所述调度节点获取所述任务数据库中各个任务的状态信息;
当所述调度节点根据所述任务数据库中各个任务的状态信息,确定存在一个或多个达到执行条件的第一任务时,所述调度节点向一个或多个第一执行节点发送所述一个或多个达到执行条件的第一任务。
在某些实施例中,所述调度节点、所述初始化节点和所述第一执行节点中的任意一个或多个节点为区块链网络中的节点。
本申请还提供一种任务处理系统,所述任务处理系统包括调度节点和多个执行节点;
所述调度节点用于:
接收多个初始化节点发送的多个第一任务;和
向多个第一执行节点发送所述多个第一任务,每个所述第一执行节点为所述多个执行节点中的任意一个节点;
所述第一执行节点用于:
接收调度节点发送的一个第一任务;
为所述第一任务创建一个执行容器,并在所述执行容器中执行所述第一任务。
在某些实施例中,多个第二执行节点用于向调度节点发送多个第二任务执行状态信息,每个所述第二执行节点为所述多个执行节点中的任意一个节点,所述第二任务执行状态信息包括第二任务标识及第二任务执行状态,每个所述第二执行节点为所述多个执行节点中的节点;
所述调度节点用于根据每个第二任务执行状态信息的第二任务执行状态,在任务数据库中更新所述任务标识对应的任务的状态信息。
在某些实施例中,在向多个第一执行节点发送所述多个第一任务方面,所述调度节点具体用于:
当根据所述任务数据库中各个任务的状态信息,确定存在一个或多个达到执行条件的第一任务时,向一个或多个第一执行节点发送所述一个或多个达到执行条件的第一任务。
在某些实施例中,所述第一执行节点用于:
获取第一任务的第一任务执行状态;
当所述第一任务执行状态为完成状态时,删除所述执行容器。
在某些实施例中,所述任务处理系统还包括根节点,所述根节点用于获取用户提供的多个任务配置,并根据所述多个任务配置创建所述多个初始化节点。
在某些实施例中,所述调度节点、所述初始化节点和所述第一执行节点中的任意一个或多个节点为区块链网络中的节点。
第二方面,本申请实施例还提供一种调度节点,包括
任务接收模块,用于接收多个初始化节点发送的多个第一任务;
任务发送模块,用于向多个第一执行节点发送所述多个第一任务,所述多个第一执行节点为所述多个执行节点中的任意多个不同的执行节点,每个第一执行节点用于接收所述调度节点的一个第一任务,为一个所述第一任务创建一个执行容器,并在所述执行容器中执行所述第一任务。
第三方面,本申请还提供一种服务器,包括处理器、存储器,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行上述任一实施例所述的方法中的步骤的指令。
第四方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述任一实施例的方法
本申请的技术方案中,调度节点接收多个初始化节点发送的多个第一任务;调度节点向多个第一执行节点发送多个第一任务,每个第一执行节点用于接收调度节点的一个第一任务,为一个第一任务创建一个执行容器,并在执行容器中执行第一任务。这样,每个任务在单独的容器中执行,每个容器为一个任务提供相对隔离的执行环境,每个任务之间相互不受影响,可以避免多个计算任务依赖不同的第三方库和软件导致开发调试冲突。而且,本申请实施例中,调度节点可以向任务处理系统中任意的多个执行节点发送多个任务,且调度节点将多个第一任务发送出去之后,就可以继续处理后续任务,不需要关心发送给了哪个执行节点,也不需要等到第一任务发送至第一执行节点之后再进行后续任务的调度。这样可以避免任务处理系统处理多个任务时,多线程收发消息的竞争。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的任务处理系统的架构示意图;
图2为本申请实施例的服务器的硬件结构示意图;
图3为本申请实施例的任务处理方法的的流程示意图;
图4为本申请实施例的涉及的有限状态机的模块示意图;
图5为本申请实施例的任务处理方法的的另一流程示意图;
图6为本申请实施例的任务处理系统的另一架构示意图
图7为本申请实施例的任务处理装置的模块示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1为本申请实施例提供的任务处理系统的架构示意图。该任务处理系统包括初始化接口层、任务调度层和任务执行层。
初始化接口层包括多个初始化节点,任务调度层包括一个或多个调度节点,任务执行层包括多个任务执行节点。
其中,该多个初始化节点、该一个或多个调度节点、多个执行节点可为actor模型中的节点。该多个初始化节点、该一个或多个调度节点、多个执行节点之间基于Actor模型的消息传递方式传递消息。也即是说,该任务处理系统中的多个初始化节点、该一个或多个调度节点、多个执行节点之间的消息传递是完全异步的,这样可以避免执行多个任务时,多线程收发消息的竞争。
请参阅图2,图2为本申请实施例提供的服务器的硬件结构示意图。服务器200包括处理器201、存储器202,以及一个或多个程序,一个或多个程序被存储在存储器202中,并且被配置由处理器201执行,程序包括用以下任一实施例的处理方法的步骤的指令。存储器22可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器202可选的还可以是独立于前述处理器201的存储装置。服务器200还可以包括输入输出接口203。输入输出接口203可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。本申请实施例的调度节点可部署在本申请实施例的服务器上。
请参阅图3,图3为本申请实施例提供的任务处理方法的流程示意图,该任务处理方法可通过本申请实施例的任务处理系统实现。任务处理方法包括以下步骤:
S31、多个初始化节点向调度节点发送多个第一任务;
多个第一任务是根据用户提供的多个任务配置得到的。每个初始化节点与一个第一任务对应。多个初始化节点向任务调度层的任意一个或多个调度节点发送第一任务。
S32、调度节点接收多个收初始化节点发送的多第一个任务,并向多个第一执行节点发送所述多个第一任务;
其中,每个第一执行节点为多个执行节点中的任意一个节点。任务调度层的一个或多个调度节点接收多个初始化节点发送的任务,并向任务执行层的任意多个第一执行节点发送所述多个第一任务。例如,调度节点接收了M个第一任务,则调度节点向任务调度层的任意M个第一执行节点发送该M个任务。一个调度节点可调度一个第一任务也可以调度多个第一任务。在如图1所示的示例中,若该实施例中的调度节点为调度节点1,那么任务A和任务B则为第一任务,执行节点1和执行节点2则为第一执行节点。需要注意的是,调度节是向任务调度层中任意的多个执行节点发送多个第一任务,调度节点并不指定接收第一任务的执行节点,也不关系第一任务是否成功发送至第一节点,也更加不关心第一任务发送给了哪个第一节点。这样调度节点向任务执行层发送一个或多个第一任务之后,就可以调度后续任务,不需要等到一个或多个第一任务被任务执行层的执行节点接收。
具体地,调度节点可先获取所述任务数据库中各个任务的状态信息,根据任务数据库中各个第一任务的状态信息,判断多个第一任务中是否存在一个或多个达到执行条件的第一任务;当所述调度节点根据所述任务数据库中各个任务的状态信息,确定存在一个或多个达到执行条件的第一任务时,向一个或多个第一执行节点发送一个或多个达到执行条件的第一任务。
也即是说,调度节点是在确认第一任务达到对应的执行条件之后,再向一个或多个第一执行节点发送达到执行条件的第一任务,以保证各个第一任务按照对应的执行条件有序的执行。
在执行多个任务的过程中,各个任务的执行状态往往会相互影响,例如任务的执行条件往往是与之前执行的任务的执行状态有关的,例如需要根据之前执行的任务获得的数据,那么可根据任务数据库中各个任务的状态信息,判断所示多个第一任务中是否存在一个或多个达到执行条件的第一任务。
S33、每个第一执行节点接收一个第一任务,为接收的第一任务创建一个执行容器,并在该执行容器中执行该第一任务。
执行层的执行节点接收到调度节点发送的任务之后,为接收到的任务创建一个执行容器,以使得接收到的任务可以在该执行容器中运行。一个执行节点只接收一个任务,且只创建一个执行容器,只在该执行容器中执行一个任务。
一个执行容器提供一个独立的、与外部环境隔离的运行环境,这样在一个容器中执行一个任务,在多个计算任务依赖不同的第三方库和软件导致执行环境不同时,也能通过由不同的执行节点在不同的执行容器中执行不同的任务,避免开发调试冲突。而且,当多个任务依赖同一个应用程序的不同版本时,通过由不同的执行节点在不同的执行容器中执行不同的任务,也能避免版本冲突的问题。
本申请的技术方案中,调度节点接收多个初始化节点发送的多个第一任务;调度节点向多个第一执行节点发送多个第一任务,每个第一执行节点用于接收调度节点的一个第一任务,为一个第一任务创建一个执行容器,并在执行容器中执行第一任务。这样,每个任务在单独的容器中执行,每个容器为一个任务提供相对隔离的执行环境,每个任务之间相互不受影响,可以避免多个计算任务依赖不同的第三方库和软件导致开发调试冲突。而且,本申请实施例中,调度节点可以向任务处理系统中任意的多个执行节点发送多个任务,且调度节点将多个第一任务发送出去之后,就可以继续处理后续任务,不需要关心发送给了哪个执行节点,也不需要等到第一任务发送至第一执行节点之后再进行后续任务的调度。这样可以避免任务处理系统处理多个任务时,多线程收发消息的竞争。
进一步地,第一执行节点在执行第一任务时,会获取任务执行状态,当任务执行状态为完成状态时,自行删除执行该第一任务的执行容器。这样可以及时回收该第一执行节点的计算资源,以使得该第一执行节点可以用于执行其他任务。
本本申请中的多个初始化节点、该一个或多个调度节点、多个执行节点均可为actor模型中的节点,多个初始化节点、该一个或多个调度节点、多个执行节点均为actor模型中的节点至今的消息收发是基于actor模型的消息收发机制的。那么,多个初始化节点将多个任务发送至调度节点之后,不会再继续关注发给了哪一个调度节点,也不会关注这多个任务有没有被调度节点执行,即使任务没有被调度节点发送至执行节点,初始化节点也不会继续关注。这样可以减少节点之间的消息收发次数,节省资源。
本申请中一个初始化节点对应一个任务,一个执行节点也只执行一个任务。那么这样可以将每个任务抽象为一个有限状态机,如图4所示,该有限状态机中的每个节点对应任务的一种执行状态,节点之间的连接线标识状态转移关系,其中节点①表示初始化状态,节点②表示调度状态,节点③表示执行状态,转移关系a表示初始化节点将任务发送至调度节点,也表示任务的执行状态由初始化状态转移为调度状态,转移关系b表示调度节点将任务发送至执行节点,也表示任务的执行状态由调度状态转移为任务执行状态,转移关系c表示执行节点将任务的任务执行状态信息发送至调度节点,也表示任务由执行状态转移为调度状态。这样可实现将每种任务状态对应成Actor模型中的一个Actor节点,且一个执行节点只执行一个任务。这样利用Actor模型的消息传递机制就完成任务处理过程中各个节点之间针对每个任务的消息收发过程,每个任务的调度消息完全异步,这样可以避免执行多个任务时,多线程收发消息的竞争。
本申请实施例的任务处理系统中的多个初始化节点、一个或多个调度节、多个执行节点可以部署在同一个服务器上,也可以部署在多个服务器上。也即是说,本申请实施例的任务处理系统中的各个节点的部署是十分灵活地。例如,可以将K个执行节点部署在L个服务器上,K≥L>1,这样可以将多个执行节点分部署在多个服务器上,可以增大各个执行节点的可利用的计算资源,提升各个执行节点的执行任务的执行能力和执行效率。
本申请实施例的技术方案,具体可以用于但不限于依赖于第三方软件的任务调度场景中,由于每个任务都是由单独的节点在独立的执行容器中执行,可以显著地提升任务调度效率。
请参阅图5,基于上述实施例,在进一步的实施例中,任务处理方法还包括步骤:
S34、多个第二执行节点向调度节点发送多个第二任务执行状态信息,第二任务执行状态信息包括第二任务标识及第二任务执行状态;
每个执行节点用于在执行容器中执行一个任务,那么第二执行节点可以直接获得所执行的第二任务的执行状态。这样第二执行节点可以获取所执行的第二任务的第二任务执行状态信息并发送给调度节点。
需要说明的是,每个第二执行节点为多个执行节点中的任意一个节点,那么,多个第一节点和多个第二节点可能完全不同、可能部分相同,也可能全部相同,也可以理解为,多个第一执行节点与多个第二执行节点之间没有关系。也即,一个或多个调度节点可以发送多个第一任务给任务执行层的多个第一节点,但是可以不接收这多个第一节点的第一任务执行状态信息,也可以接收一部分第一任务执行状态信息,也可以接收全部第一任务执行状态信息。例如,如图1所示,调度节点1将两个任务A和B分别发送至执行节点1和执行节点3,但是调度节点1接收了执行节点1和执行节点2反馈的任务A和任务C的任务执行状态信息,C任务虽然之前是由调度节点2发送给执行节点3的,但是在多个调度节点接收任务执行状态信息时,每个调度节点都可以接收任意一个执行节点反馈的任务执行状态信息。在这个示例中,可以将执行节点1和执行节点3执行的任务A和任务B作为第一任务,将执行节点1和执行节点3作为第一执行节点,将执行节点1和执行节点2执行的任务A和任务C作为第二任务,将执行节点1和执行节点2作为第二执行节点,由此可见,第一任务与第二任务可以是相同的,也可以是不同的。需要说明的是,图1中的任务调度关系仅用于举例说明,而不构成对本申请的限制。
S35、调度节点根据每个第二任务执行状态信息的第二任务执行状态,在任务数据库中更新第二任务标识对应的任务的状态信息。
调度节点可根据收到的第二任务执行状态中的第二任务标识,在任务数据库中,更新第二任务标识对应的任务的状态信息为第二任务执行状态。那么,调度节点不需要关心是由哪个执行节点发送的任务状态信息,每个调度节点都可以处理任意一个执行节点反馈的任务状态信息,这样的处理方式可以加快调度速度。
进一步地,调度节点向多个执行节点发送多个任务时,接收这多个任务的执行节点是任意的,也即,调度节点不关心将多个任务分别发送给了哪些执行节点,调度节点只需要将多个任务发送至任务执行层,任务执行层中的任意节点都可以接收这些任务,只需满足一个执行节点只接收一个任务即可,调度节点不需要指定执行节点,不需要获取执行任务的执行节点的信息,也不需要将建立执行容器和所执行的任务的对应关系。这样,相比较于调度节点需要获取执行任务的执行节点的信息或执行容器的信息来监控任务的执行状况的方案,本申请的方案可以减少任务处理过程中的需要传递的消息内容,节省资源,提升任务处理效率。
由此可见,本申请实施例的调度方法中,任务执行层的一个或多个调度节点的优先级都是一样的,每个任务调度节点都可以根据自身的调度能力来进行任务调度。任务执行层的每个执行节点的优先级也是一样的,每个空闲的节点都可以从调度节点接收并执行任务。这样的任务处理方式,可以避免多个任务集中在一个或几个节点而导致资源分配不均。
基于上述实施例,在某些实施例中,如图6所示,任务处理系统还包括根节点,根节点用于获取用户提供的多个任务配置,并根据多个任务配置创建多个初始化节点。其中,每个初始化节点对应一个任务。
根节点根据任务配置创建初始化节点可理解为根据任务配置在任务处理系统中创建一个新的任务进程。具体地,根节点根据用户提供的任务配置,在任务数据库中创建一个任务配置文件和该任务的调度文件,该任务配置文件包括任务的配置信息及任务的执行脚本,调度文件包括该任务的调度信息、与其他任务的调度关联信息等。这样调度节点就可以根据该任务的任务配置文件和调度文件为完成对该任务的调度处理,执行节点则可以根据任务配置文件执行该任务。
任务处理系统中的一个或多个调度节点可以按照预设的时间间隔从初始化接口层获取各个初始化节点对应的任务。这样各个调度节点可以根据自身的调度能力有序地完成任务的调度。
根节点也可以为actor模型中中的一个节点,创建好初始化节点之后,则相当于将在actor模型中形成了一个处于初始化状态的任务,之后该初始化节点就可以实现基于actor模型的消息收发机制将该任务发送至任务执行层的执行节点。
进一步地,在某些实施例中,调度节点、初始化节点和第一执行节点中的任意一个或多个节点为区块链网络中的节点。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
如图7所示,本申请实施例还提供一种调度节点400,用于任务处理系统,任务处理系统包括调度节点和多个执行节点,调度节点400包括:
任务接收模块401,用于接收多个初始化节点发送的多个第一任务;和
任务发送模块402,用于向多个第一执行节点发送所述多个第一任务,所述多个第一执行节点为所述多个执行节点中的任意多个不同的执行节点,每个第一执行节点用于接收所述调度节点的一个第一任务,为一个所述第一任务创建一个执行容器,并在所述执行容器中执行所述第一任务。
本申请实施例的技术方案中,调度节点接收多个初始化节点发送的多个第一任务;调度节点向多个第一执行节点发送多个第一任务,每个第一执行节点用于接收调度节点的一个第一任务,为一个第一任务创建一个执行容器,并在执行容器中执行第一任务。这样,每个任务在单独的容器中执行,每个容器为一个任务提供相对隔离的执行环境,每个任务之间相互不受影响,可以避免多个计算任务依赖不同的第三方库和软件导致开发调试冲突。而且,本申请实施例中,调度节点可以向任务处理系统中任意的多个执行节点发送多个任务,且调度节点将多个第一任务发送出去之后,就可以继续处理后续任务,不需要关心发送给了哪个执行节点,也不需要等到第一任务发送至第一执行节点之后再进行后续任务的调度。这样可以避免任务处理系统处理多个任务时,多线程收发消息的竞争。
在某些实施例中,调度节点还包括:
状态接收模块,用于接收多个第二执行节点发送的多个第二任务执行状态信息,所述第二任务执行状态信息包括第二任务标识及第二任务执行状态;和
状态更新模块,用于根据每个第二任务执行状态信息的第二任务执行状态,在任务数据库中更新所述第二任务标识对应的第二任务的状态信息。
在某些实施例中,任务发送模块包括:
状态获取单元,获取所述任务数据库中各个任务的状态信息;
用于根据所述任务数据库中各个任务的状态信息,判断是否存在一个或多个达到执行条件的第一任务;
执行单元,用于当根据所述任务数据库中各个任务的状态信息,确定存在一个或多个达到执行条件的第一任务时,向一个或多个第一执行节点发送所述一个或多个达到执行条件的第一任务。
在某些实施例中,所述调度节点、所述初始化节点和所述第一执行节点中的任意一个或多个节点为区块链网络中的节点。
需要说明的是,上述实施例中对任务处理方法各步骤的补充说明及技术效果也适用于上述各实施例的任务处理装置,为避免冗余,在此不再赘述。
本申请还提供一种计算机可读存储介质,计算机可读存储介质上存储有任务处理程序,其中任务处理程序被处理器执行时,实现上述任一实施例的任务处理方法的步骤。
其中,任务处理程序被执行时所实现的方法及对应的技术效果可参照本申请任务处理方法的各个实施例,此处不再赘述。
在上述实施例中,可全部或部分地通过软件、硬件、固件、或其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如光盘)、或者半导体介质(例如固态硬盘)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,也可以通过其它的方式实现。例如以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可结合或者可以集成到另一个系统,或一些特征可以忽略或不执行。另一点,所显示或讨论的相互之间的间接耦合或者直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者,也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例的方案的目的。
另外,在本申请各实施例中的各功能单元可集成在一个处理单元中,也可以是各单元单独物理存在,也可两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,或者也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质例如可包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或光盘等各种可存储程序代码的介质。
可以理解的是,凡是被控制或者被配置以用于执行本申请所描述的任务处理方法的产品,如上述任务处理系统、调度节点、服务器,均属于本申请所描述的相关产品的范畴。
Claims (8)
1.一种任务处理方法,用于任务处理系统,其特征在于,所述任务处理系统包括任务调度层和任务执行层,所述任务调度层包括一个或多个调度节点,所述任务执行层包括多个执行节点,所述任务处理方法包括:
所述调度节点接收多个初始化节点发送的多个第一任务,其中,所述多个初始化节点向所述任务调度层中的任意一个或多个调度节点发送所述多个第一任务,每个所述初始化节点与一个所述第一任务对应,所述任务调度层中的每个调度节点与一个或多个所述第一任务对应;
所述调度节点向多个第一执行节点发送所述多个第一任务,所述多个第一执行节点为所述任务执行层中的任意多个不同的执行节点,每个第一执行节点用于接收所述调度节点的一个第一任务,为一个所述第一任务创建一个执行容器,并在所述执行容器中执行所述第一任务;
所述调度节点接收多个第二执行节点发送的多个第二任务执行状态信息,所述第二任务执行状态信息包括第二任务标识及第二任务执行状态,每个所述第二执行节点为所述任务执行层中的任意一个执行节点;
所述调度节点根据每个第二任务执行状态信息的第二任务执行状态,在任务数据库中更新所述第二任务标识对应的第二任务的状态信息;
其中,所述多个初始化节点、所述一个或多个调度节点和所述多个执行节点之间的消息传递是完全异步的。
2.根据权利要求1所述的任务处理方法,其特征在于,所述调度节点向多个第一执行节点发送所述多个第一任务包括:
所述调度节点获取所述任务数据库中各个任务的状态信息;
当所述调度节点根据所述任务数据库中各个任务的状态信息,确定存在一个或多个达到执行条件的第一任务时,所述调度节点向一个或多个第一执行节点发送所述一个或多个达到执行条件的第一任务。
3.根据权利要求1或2所述的任务处理方法,其特征在于,所述调度节点、所述初始化节点和所述第一执行节点中的任意一个或多个节点为区块链网络中的节点。
4.一种任务处理系统,其特征在于,所述任务处理系统包括任务调度层和任务执行层,所述任务调度层包括一个或多个调度节点,所述任务执行层包括多个执行节点;
所述调度节点用于:
接收多个初始化节点发送的多个第一任务,其中,所述多个初始化节点向所述任务调度层中的任意一个或多个调度节点发送所述多个第一任务,每个所述初始化节点与一个所述第一任务对应,所述任务调度层中的每个调度节点与一个或多个所述第一任务对应;和
向多个第一执行节点发送所述多个第一任务,每个所述第一执行节点为所述任务执行层中的任意一个节点;
每个所述第一执行节点用于:
接收调度节点发送的一个第一任务;
为所述第一任务创建一个执行容器,并在所述执行容器中执行所述第一任务;
多个第二执行节点用于向调度节点发送多个第二任务执行状态信息,所述第二任务执行状态信息包括第二任务标识及第二任务执行状态,每个所述第二执行节点为所述多个执行节点中的任意一个节点;
所述调度节点用于根据每个第二任务执行状态信息的第二任务执行状态,在任务数据库中更新所述任务标识对应的任务的状态信息;
其中,所述多个初始化节点、所述一个或多个调度节点和所述多个执行节点之间的消息传递是完全异步的。
5.根据权利要求4所述的任务处理系统,其特征在于,在向多个第一执行节点发送所述多个第一任务方面,所述调度节点具体用于:
获取所述任务数据库中各个任务的状态信息;
当根据所述任务数据库中各个任务的状态信息,确定存在一个或多个达到执行条件的第一任务时,向一个或多个第一执行节点发送所述一个或多个达到执行条件的第一任务。
6.根据权利要求4或5所述的任务处理系统,其特征在于,所述调度节点、所述初始化节点和所述第一执行节点中的任意一个或多个节点为区块链网络中的节点。
7.一种服务器,其特征在于,包括处理器、存储器,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述服务器上部署有调度节点,所述程序包括用于执行如权利要求1-3任一项所述的方法中的步骤的指令。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-3任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910898149.9A CN110673938B (zh) | 2019-09-23 | 2019-09-23 | 任务处理方法、系统、服务器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910898149.9A CN110673938B (zh) | 2019-09-23 | 2019-09-23 | 任务处理方法、系统、服务器及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110673938A CN110673938A (zh) | 2020-01-10 |
CN110673938B true CN110673938B (zh) | 2021-05-28 |
Family
ID=69077503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910898149.9A Active CN110673938B (zh) | 2019-09-23 | 2019-09-23 | 任务处理方法、系统、服务器及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110673938B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111506400A (zh) * | 2020-03-13 | 2020-08-07 | 平安国际智慧城市科技股份有限公司 | 计算资源分配系统、方法、装置和计算机设备 |
CN112416541A (zh) * | 2020-08-13 | 2021-02-26 | 上海哔哩哔哩科技有限公司 | 任务调度的方法和系统 |
CN112291321B (zh) * | 2020-10-22 | 2023-08-08 | 北京梆梆安全科技有限公司 | 业务处理方法、装置及系统 |
CN112612604B (zh) * | 2020-12-14 | 2022-03-22 | 上海哔哩哔哩科技有限公司 | 基于Actor模型的任务调度方法、装置 |
CN113298343B (zh) * | 2021-03-31 | 2023-11-14 | 阿里巴巴新加坡控股有限公司 | 任务生成方法、任务执行方法及装置 |
CN116028188B (zh) * | 2023-01-30 | 2023-12-01 | 合众新能源汽车股份有限公司 | 云端计算任务的调度系统、方法和计算机可读介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106095540A (zh) * | 2016-05-31 | 2016-11-09 | 上海萌果信息科技有限公司 | 一种基于Quartz框架的任务流程处理方法 |
CN106528275A (zh) * | 2015-09-10 | 2017-03-22 | 网易(杭州)网络有限公司 | 数据任务的处理方法及任务调度器 |
CN109117252A (zh) * | 2017-06-26 | 2019-01-01 | 北京京东尚科信息技术有限公司 | 基于容器的任务处理的方法、系统及容器集群管理系统 |
CN109766184A (zh) * | 2018-12-28 | 2019-05-17 | 北京金山云网络技术有限公司 | 分布式任务处理方法、装置、服务器和系统 |
CN109933420A (zh) * | 2019-04-02 | 2019-06-25 | 深圳市网心科技有限公司 | 节点任务调度方法、电子设备及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102455940B (zh) * | 2010-10-29 | 2014-02-12 | 迈普通信技术股份有限公司 | 一种定时器和异步事件的处理方法及系统 |
US9886306B2 (en) * | 2014-11-21 | 2018-02-06 | International Business Machines Corporation | Cross-platform scheduling with long-term fairness and platform-specific optimization |
CN109739634A (zh) * | 2019-01-16 | 2019-05-10 | 中国银联股份有限公司 | 一种原子任务执行方法及装置 |
-
2019
- 2019-09-23 CN CN201910898149.9A patent/CN110673938B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106528275A (zh) * | 2015-09-10 | 2017-03-22 | 网易(杭州)网络有限公司 | 数据任务的处理方法及任务调度器 |
CN106095540A (zh) * | 2016-05-31 | 2016-11-09 | 上海萌果信息科技有限公司 | 一种基于Quartz框架的任务流程处理方法 |
CN109117252A (zh) * | 2017-06-26 | 2019-01-01 | 北京京东尚科信息技术有限公司 | 基于容器的任务处理的方法、系统及容器集群管理系统 |
CN109766184A (zh) * | 2018-12-28 | 2019-05-17 | 北京金山云网络技术有限公司 | 分布式任务处理方法、装置、服务器和系统 |
CN109933420A (zh) * | 2019-04-02 | 2019-06-25 | 深圳市网心科技有限公司 | 节点任务调度方法、电子设备及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110673938A (zh) | 2020-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110673938B (zh) | 任务处理方法、系统、服务器及存储介质 | |
US20180365686A1 (en) | Smart contract lifecycle management | |
CN111291060A (zh) | 一种管理区块链节点的方法、装置及计算机可读介质 | |
CN112291376B (zh) | 区块链系统中的数据处理方法及相关设备 | |
CN111444210A (zh) | 区块链共识节点管理方法、装置、设备以及存储介质 | |
CN110838065A (zh) | 一种交易数据处理方法及装置 | |
EP4216077A1 (en) | Blockchain network-based method and apparatus for data processing, and computer device | |
CN110601896B (zh) | 一种基于区块链节点的数据处理方法以及设备 | |
CN110933163A (zh) | 区块链合约部署方法、装置、设备以及存储介质 | |
CN112291372B (zh) | 区块链的异步落账方法、装置、介质及电子设备 | |
CN111311211A (zh) | 一种基于区块链的数据处理方法以及设备 | |
CN110651256A (zh) | 用于在软件更新期间防止服务中断的系统和方法 | |
WO2021139778A1 (zh) | 系统调度工作流生成方法、系统、设备及计算机可读存储介质 | |
CN110908812A (zh) | 业务数据处理方法、装置、可读存储介质和计算机设备 | |
CN116150260A (zh) | 区块链系统的数据处理方法、装置、介质及电子设备 | |
CN109167819A (zh) | 数据同步系统、方法、装置及存储介质 | |
CN110515741A (zh) | 一种基于本地任务队列的降级处理方法和装置 | |
CN111343212B (zh) | 消息处理方法、装置、设备以及存储介质 | |
CN112181599A (zh) | 模型训练方法、装置及存储介质 | |
CN112926981B (zh) | 用于区块链的交易信息处理方法、装置、介质及电子设备 | |
CN112667393B (zh) | 分布式任务计算调度框架搭建的方法、装置及计算机设备 | |
CN115686813A (zh) | 一种资源调度方法、装置、电子设备和存储介质 | |
CN112418796A (zh) | 子流程节点激活方法、装置、电子设备及存储介质 | |
CN112463616A (zh) | 一种面向Kubernetes容器平台的混沌测试方法和装置 | |
CN112564979A (zh) | 构建任务的执行方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40019591 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |