CN114185673A - 分布式资源调度方法、装置及系统 - Google Patents

Abstract

本公开提供了分布式资源调度方法、装置及系统，涉及人工智能中的自动驾驶技术，可以应用于高精地图，该方法应用于集群中的电子设备，电子设备所归属的集群为在线的集群，该方法包括：获取待处理任务的有向无环图，并确定执行有向无环图所指示的处理流程的资源需求量，若电子设备的当前的可用资源量未达到资源需求量，则从离线设备中调取资源，并至少根据所调取的资源，执行有向无环图所指示的处理流程，实现了在线电子设备与离线设备之间的资源调用，从而实现了提高在线电子设备处理在线任务的效率，且可以实现大规模的任务调度的技术效果。

Description

分布式资源调度方法、装置及系统

技术领域

本公开涉及人工智能(Artificial Intelligence，AI)中的自动驾驶技术，可以应用于高精地图，尤其涉及一种分布式资源调度方法、装置及系统。

背景技术

airflow是一款开源的分布式任务调度框架，该任务调度框架可以部署于设备集群(如Kubernetes(又称K8s)设备集群)，以通过对设备集群中的各设备的资源调度而完成相应的数据处理任务(如完成电子地图制作的任务等)。分布式任务调度框架中包括如下组件：调度器(scheduler)和任务队列(queue)和工作进程(worker)。

在现有技术中，由调度器获取数据处理请求，如生成电子地图的请求，基于数据处理请求中的有向无环图确定用于生成电子地图的各任务，将各任务添加至任务队列中，创建并调用工作进程执行任务队列中的任务，从而生成电子地图。

然而，采用上述方法，完成数据处理请求的效率偏低，且无法处理大规模的任务调度。

发明内容

本公开提供了一种用于分布式资源调度方法、装置及系统。

根据本公开的第一方面，提供了一种分布式资源调度方法，所述方法应用于集群中的电子设备，所述电子设备所归属的集群为在线的集群，所述方法包括：

获取待处理任务的有向无环图，并确定执行所述有向无环图所指示的处理流程的资源需求量；

若所述电子设备的当前的可用资源量未达到所述资源需求量，则从离线设备中调取资源，并至少根据所调取的资源，执行所述有向无环图所指示的处理流程。

根据本公开的第二方面，提供了一种分布式资源调度装置，所述装置应用于集群中的电子设备，所述电子设备所归属的集群为在线的集群，所述装置包括：

获取单元，用于获取待处理任务的有向无环图；

确定单元，用于确定执行所述有向无环图所指示的处理流程的资源需求量；

调取单元，用于若所述电子设备的当前的可用资源量未达到所述资源需求量，则从离线设备中调取资源；

执行单元，用于至少根据所调取的资源，执行所述有向无环图所指示的处理流程。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

根据本公开的第四方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

根据本公开的第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的方法。

根据本公开的第六方面，提供了一种分布式资源调度系统，包括：电子设备和离线设备，所述电子设备为集群中的设备，且所述电子设备所归属的集群为在线的集群，所述电子设备中包括如第二方面所述的装置。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是可以实现本公开实施例的分布式资源调度方法场景图；

图2是根据本公开第一实施例的示意图；

图3是根据本公开第二实施例的示意图；

图4是根据本公开第三实施例的示意图；

图5是根据本公开第四实施例的示意图；

图6是根据本公开第五实施例的示意图；

图7是根据本公开第六实施例的示意图；

图8是用来实现本公开实施例的分布式资源调度方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

示例性的，本实施例的分布式资源调度方法可以适用于如图1所示的应用场景。如图1所示，计算机设备为设备集群中的一个设备，计算机设备部署了分布式任务调度框架(airflow)。

如图1所示，分布式任务调度框架中包括：

调度器，用于从数据库(图中未示出，该数据库可以为计算机设备中的数据库，也可以为其他设备中的数据，本实施例不做限定)中轮询有向无环图(为完成如客户端发起的待处理任务的有向无环图)，生成与有向无环图对应的各任务，并将各任务添加至任务队列。

任务队列，用于存储由调度器传输的各任务。

工作进程，用于执行任务队列中的各任务，如图1中所示的工作进程1和工作进程2。其中，图1中只是以两个工作进程进行示范性的展示，而不能理解为对工作进程的数量的限制。

可以理解的是，本实施例对待处理任务的具体内容不做限定，例如待处理任务用于指示生成电子地图，也可以用于指示训练网络模型等，此处不再一一列举。

例如，若待处理任务用于指示生成电子地图，则有向无环图用于指示生成电子地图的处理流程。相应的，若待处理任务用于指示训练网络模型，则有向无环图用于指示训练网络模型的处理流程。

在相关技术中，是由计算机设备中的工作进程执行各任务，而计算机设备的资源有限，尤其当有多个有向无环图，需要处理的任务较多时，存在效率偏低的技术问题。

为了避免上述技术问题，本公开的发明人经过创造性的劳动，得到了本公开的发明构思：若电子设备(如图1中所述的计算机设备)的当前的可用资源量未达到其处理各任务的资源需求量时，从离线设备中调取资源，以基于调取到的资源执行任务队列中的任务。

基于上述发明构思，本公开提供一种分布式资源调度方法、装置及系统，应用于人工智能中的自动驾驶技术，具体可以应用于高精地图，以达到资源利用率，支持大规模的待处理任务。

图2是根据本公开第一实施例的示意图。本公开实施例的分布式资源调度方法应用于集群中的电子设备，电子设备所归属的集群为在线的集群，如图2所示，该方法包括：

S201：获取待处理任务的有向无环图，并确定执行有向无环图所指示的处理流程的资源需求量。

示例性的，本实施例的执行主体可以为分布式资源调度装置，分布式资源调度装置可以为在线的集群中的电子设备，且该电子设备可以为计算机，也可以为服务器，也可以为处理器，也可以为芯片等，本实施例不做限定。

结合上述分析，有向无环图是是用于指示处理流程的图，即为了完成待处理任务而需要执行的各处理流程。如为了生成电子地图而需要执行的各处理流程。

具体地，有向无环图可以是指根据地图数据生成底图，对底图进行渲染等处理，从而生成电子地图的系列处理流程。

资源需求量是指，完成执行有向无环图所指示的处理流程所需要的资源的量。如需要有多少的资源可以执行生成电子地图的系列处理流程，从而得到电子地图。

S202：若电子设备的当前的可用资源量未达到资源需求量，则从离线设备中调取资源。

可用资源量是指电子设备的总的资源与当前被占用的资源之间的资源差值，即当前剩下的可以被利用的资源的量。

在相关技术中，考虑到在线集群处理任务的及时性和当前性，一般是由工作进程依次执行对任务队列中的任务，直至完成待处理任务，如生成电子地图，因此，不会考虑从其他电子设备调用资源，以避免降低其他电子设备处理待处理任务的资源减少等弊端。

但是，在本实施例中，引入了从离线设备中调取资源的技术特征，既可以避免资源调取时对在线集群中的其他电子设备的影响，又可以实现资源的灵活调用。

S203：至少根据所调取的资源，执行有向无环图所指示的处理流程。

也就是说，在通过S202的资源调取的操作之后，可以仅根据所调取的资源执行有向无环图所指示的处理流程，也可以结合所调取的资源执行有向无环图所指示的处理流程，如结合所调取的资源、以及可用资源执行有向无环图所指示的处理流程。

例如，可以基于工作进程3和进程4(即所调取的资源)执行任务队列中的任务，也可以基于工作进程1和工作进程2(计算机设备中的资源)，以及工作进程3和进程4(即所调取的资源)执行任务队列中的任务。

基于上述分析，本公开实施例提供了一种分布式资源调度方法，该方法应用于集群中的电子设备，电子设备所归属的集群为在线的集群，该方法包括：获取待处理任务的有向无环图，并确定执行有向无环图所指示的处理流程的资源需求量，若电子设备的当前的可用资源量未达到资源需求量，则从离线设备中调取资源，并至少根据所调取的资源，执行有向无环图所指示的处理流程，在本实施例中，引入了：当在线的电子设备的可用资源量欠缺时，从离线设备中调取资源，以至少根据所调取的资源执行有向无环图所指示的处理流程的技术特征，实现了在线电子设备与离线设备之间的资源调用，从而实现了提高在线电子设备处理在线任务的效率，且可以实现大规模的任务调度的技术效果。

图3是根据本公开第二实施例的示意图。本公开实施例的分布式资源调度方法应用于集群中的电子设备，电子设备所归属的集群为在线的集群，如图3所示，该方法包括：

S301：响应于监听到任务处理请求，根据任务处理请求中携带的待处理任务，获取完成待处理任务的处理流程。

其中，关于与上述实施例中相同的技术特征，本公开实施例不再赘述。且基于上述分析可知，本实施例可以应用于电子地图生成的场景，也可以应用于训练网络模型的场景，为了便于读者对本公开实施例的原理理解，本实施例以生成电子地图为例，进行示范性的描述，而其他的场景(如训练网络模型等)因原理上相同，不再一一列举。

在本实施例中，电子设备可以对任务处理请求进行监听，如监听客户端是否有发起待处理任务的请求，如生成电子地图的请求，并在监听到任务处理请求时，获取生成电子地图的处理流程。

在一些实施例中，电子设备设置有接口服务(Api Server)；S301可以包括：根据接口服务监进行监听，若监听到任务处理请求，则采用接口服务，根据任务处理请求中携带的待处理任务，获取完成待处理任务的处理流程，并将完成待处理任务的处理流程转换为电子设备可识别的处理流程，并根据转换后的处理流程生成有向无环图。

示例性的，如图1所示，计算机设备上设置接口服务，由该接口服务对客户端发起的任务处理请求进行监听，在接收到生成电子地图的任务时，获取生成电子地图的处理流程，将该流程转换为计算机设备可识别的处理流程，并根据计算机设备可识别的处理流程生成有向无环图。

值得说明的是，在本实施例中，通过设置接口服务，以基于接口服务生成有向无环图，降低从外获取有向无环图时的接入成本的技术效果。

S302：将完成待处理任务的处理流程转换为电子设备可识别的处理流程，并根据转换后的处理流程生成有向无环图。

例如，电子设备根据电子设备的识别能力，如电子设备可识别的语言，对生成电子地图的处理流程进行转换，以转换为电子设备可识别的语言的处理流程，并生成有向无环图，而该有向无环图可以被电子设备直接有效的识别。

值得说明的是，在相关技术中，一般是由客户端在发起任务处理请求时，在该任务处理请求中携带有向无环图，而在本实施例中，是由电子设备基于其识别能力，生成有向无环图，相对于相关技术，可以降低接入有向无环图时的接入成本，提高生成电子地图的灵活性和多样性的技术效果。

在一些实施例中，接口服务在生成有向无环图之后，可以将有向无环图传输至数据库，该数据库可以为电子设备中的数据库，也可以为其他电子设备中的数据库，本实施例不做限定。

相应的，电子设备可以对数据库进行轮询，如果轮询到有向无环图，则获取该有向无环图，并执行如第一实施例中所述的分布式资源调度方法，以实现资源的调度，生成电子地图。

S303：根据有向无环图所指示的处理流程，生成有向无环图的任务。

S304：将有向无环图的标识标注为有向无环图的任务的标识，并将标注有有向无环图的标识的任务添加至预设任务队列。

其中，有向无环图具有标识。

示例性的，结合图1和上述分析，调度器对数据库进行轮询，若轮询得到有向无环图，则生成有向无环图的任务，如生成电子地图的任务，将有向无环图的标识标注为任务的标识，并将标注有标识的任务添加至任务队列。

需要说明的是，一个电子设备可能需要处理多个待处理任务，如电子设备在前一个或多个待处理任务还未完成时，轮询到新的有向无环图，为了对不同的有向无环图进行区分，可以为每一有向无环图分配标识。

相应的，为了对不同的有向无环图对应的任务进行区分，可以对各任务进行标识，且基于各任务各自对应的有向无环图对各任务进行标注，从而得到每一任务的标识。

在本实施例中，通过基于有向无环图的标识对与该有向无环图对应的任务进行标注，以便对任务队列中的各任务所对应的有向无环图进行区分，从而当后续基于调用的资源执行任务队列中的任务时，提高任务执行的有效性、准确性和可靠性的技术效果。

S305：确定有向无环图的类型属性。类型属性用于指示是否从离线设备调取资源，以执行有向无环图所指示的处理流程。

S306：若类型属性为用于指示不从离线设备调取资源，以执行有向无环图所指示的处理流程，则根据有向无环图确定执行有向无环图所指示的处理流程的资源需求量。

应该理解的是，不同的有向无环图具有不同的类型属性，如电子地图的有向无环图具有类型属性，训练网络模型的有向无环图也具有类型属性，而电子地图的有向无环图的类型属性、与训练网络模型的有向无环图的类型属性可能不同。

类型属性可以为基于有向无环图的类别确定的，用于指示是否从离线设备调取资源的信息，且有向无环图的类别可以是基于有向无环图的大小、所属领域等确定的。

在本实施例中，结合上述分析和图1，调度器可以在轮询到的生成电子地图的有向无环图时，一方面，生成有向无环图的任务，并将生成的任务添加至任务队列(参见上述描述)，另一方面，将有向无环图传输给应用管理单元(APP master，AM)，以便由应用管理单元确定有向无环图的类型属性，并在有向无环图的类型属性为，指示不从离线设备调取资源，确定执行有向无环图所指示的处理流程的资源需求量。

在一些实施例中，应用管理单元也为被创建的工作进程，以由该工作进程确定有向无环图的类型属性。

需要说明的是，一个应用管理单元对应一个有向无环图，为了实现资源的合理利用，在有向无环图对应的待处理任务，如电子地图生成之后，对该应用管理单元的资源进行释放处理。

类型属性可能为用于指示不从离线设备调取资源，而本实施例针对该情况的处理方式为根据有向无环图确定资源需求量，而在另一些实施例中，若类型属性为用于指示不从离线设备调取资源，则可以不从离线设备中调取资源，而资源电子设备的资源，依次执行任务队列中的任务，完成不同的待处理任务。

相应的，在另一些实施例中，类型属性也可能用于指示从离线设备调取资源，则可以从离线设备调取资源，以执行任务队列中的任务。

值得说明的是，在本实施例中，通过基于类型属性确定是否从离线设备中调取资源，以实现资源调取的灵活性，且满足资源调取与应用场景的实际相结合，从而调取资源的有效性和多样性的技术效果。

S307：向离线设备发送资源调取请求。其中，资源调取请求用于向离线设备调取资源，资源调取请求中携带有向无环图的标识。

S308：基于离线设备根据有向无环图的标识提供的资源执行有向无环图的任务，以完成待处理任务。

结合上述分析和图1，应用管理单元向离线电子设备发送资源调取请求，具体可以是向离线设备的资源管理器(RM)发送资源调取请求。

相应的，资源管理器接收到资源调取请求之后，可以创建工作线程，并将有向无环图的标识传输给创建的工作线程，以便创建的工作线程基于有向无环图的标识，执行任务队列中与有向无环图的标识具有相同标识的任务。其中，资源管理器创建的工作线程的数量本实施例不做限定。

值得说明的是，本公开实施例对“资源”不做限定，如对电子设备所调取的资源类型不做限定，在一些实施例中，所调取的资源可以为进程资源，在另一些实施例中，所调取的资源可以为处理器资源，还一些实施例中，所调取的资源可以为网络资源，等等，此处不再一一列举。

示例性的，结合上述分析和图1，应用管理单元可以向资源管理器发送资源调取请求，以从离线设备中调取进程资源。又如，应用管理单元可以向其深度学习平台(PaddleCloud)发送资源调取请求，以从深度学习平台调取处理器(GPU或者CPU)资源。

在本实施例中，电子设备可以对不同的资源进行调取，从而实现资源调取的多样性和灵活性的技术效果。

在本实施例中，通过结合所调取的资源和有向无环图的标识完成任务队列中，与有向无环图对应的任务的执行，可以在实现资源合理利用的同时，实现利用所调取的资源执行任务的准确性和可靠性的技术效果。

图4是根据本公开第三实施例的示意图。本公开实施例的分布式资源调度方法应用于集群中的电子设备，电子设备所归属的集群为在线的集群，如图4所示，该方法包括：

S401：获取待处理任务的有向无环图，并确定执行有向无环图所指示的处理流程的资源需求量。

同理，关于与上述实施例中相同的技术特征，本公开实施例不再赘述。

S402：若电子设备的当前的可用资源量未达到所述资源需求量，则从离线设备中调取资源。

S403：至少根据所调取的资源，执行有向无环图所指示的处理流程。

在一些实施例中，S403可以包括如下两种情况：

情况一：若可用资源量未达到预设资源阈值，则根据所调取的资源，执行有向无环图所指示的处理流程。

情况二：若可用资源量达到资源阈值，则根据所调取的资源、以及可用资源量对应的可用资源，执行有向无环图所指示的处理流程。

其中，资源阈值是基于任务队列中的任务被执行时所需要的资源量确定的。

也就是说，区分不同的场景，针对可用资源量小于资源阈值的场景，由于可用资源量较少，则可以直接基于所调取的资源完成待处理任务，如生成电子地图。针对可用资源量大于或等于资源阈值的场景，由于可用资源量有一定的量，因此，为了提高电子地图的生成效率，则可以基于可用资源量和所调取的资源，共同生成电子地图。

在本实施例中，通过针对不同的场景采取不同的处理方案，可以实现资源的合理利用，提高完成待处理任务的效率的技术效果。

S404：响应于接收到其他电子设备发送的调取资源的请求，创建工作进程。

S405：基于创建的工作进程为其他电子设备提供资源。

也就是说，在一些实施例中，电子设备既可以从离线设备中调取资源，以完成待处理任务，在另一些实施例中，也可以为其他电子设备提供资源，以辅助其他电子设备完成待处理任务，以提高资源调取的灵活性和多样性，实现资源的合理利用的技术效果。

在一些实施例中，其他电子设备发送的调取资源的请求中携带其他电子设备发送的调取资源的请求对应的任务的标识；S404包括：根据其他电子设备发送的调取资源的请求对应的任务的标识，采用创建的工作进程执行其他电子设备发送的调取资源的请求对应的任务，其他电子设备发送的调取资源的请求对应的任务，存储于其他电子设备的任务队列中。

同理，为了实现执行任务的针对性、准确性及可靠性，电子设备可以基于相应的标识，对存储于其他电子设备的任务队列中的任务提高资源，完成执行任务的操作。

图5是根据本公开第四实施例的示意图。本公开实施例的分布式资源调度装置应用于集群中的电子设备，电子设备所归属的集群为在线的集群，如图5所示，装置500包括：

获取单元501，用于获取待处理任务的有向无环图。

确定单元502，用于确定执行有向无环图所指示的处理流程的资源需求量。

调取单元503，用于若电子设备的当前的可用资源量未达到资源需求量，则从离线设备中调取资源。

执行单元504，用于至少根据所调取的资源，执行有向无环图所指示的处理流程。

图6是根据本公开第五实施例的示意图。本公开实施例的分布式资源调度装置应用于集群中的电子设备，电子设备所归属的集群为在线的集群，如图6所示，装置600包括：

获取单元601，用于获取待处理任务的有向无环图。

结合图6可知，在一些实施例中，获取单元601，包括：

获取子单元6011，用于响应于监听到任务处理请求，根据任务处理请求中携带的待处理任务，获取完成待处理任务的处理流程。

在一些实施例中，电子设备设置有接口服务；获取子单元6011，包括：

监听模块，用于根据接口服务监进行监听。

获取模块，用于若监听到任务处理请求，则采用接口服务，根据任务处理请求中携带的待处理任务，获取完成待处理任务的处理流程。

转换模块，用于将完成待处理任务的处理流程转换为电子设备可识别的处理流程。

生成模块，用于根据转换后的处理流程生成有向无环图。

转换子单元6012，用于将完成待处理任务的处理流程转换为电子设备可识别的处理流程。

生成子单元6013，用于根据转换后的处理流程生成有向无环图。

确定单元602，用于确定执行有向无环图所指示的处理流程的资源需求量。

结合图6可知，在一些实施例中，确定单元602，包括：

第一确定子单元6021，用于确定有向无环图的类型属性，类型属性用于指示是否从离线设备调取资源，以执行有向无环图所指示的处理流程。

在一些实施例中，第一确定子单元6021，包括：

创建模块，用于创建工作进程。

确定模块，用于基于工作进程确定有向无环图的类型属性。

释放模块，用于若有向无环图所指示的处理流程被执行完成，释放工作进程。

第二确定子单元6022，用于若类型属性为用于指示不从离线设备调取资源，以执行有向无环图所指示的处理流程，则根据有向无环图确定执行有向无环图所指示的处理流程的资源需求量。

调取子单元6023，用于若类型属性为用于指示从离线设备调取资源，以执行有向无环图所指示的处理流程，则从离线设备中调取资源。

调取单元603，用于若电子设备的当前的可用资源量未达到资源需求量，则从离线设备中调取资源。

在一些实施例中，有向无环图具有标识；调取单元603用于，向离线设备发送资源调取请求，资源调取请求用于向离线设备调取资源，资源调取请求中携带有向无环图的标识，所调取的资源是离线设备根据有向无环图的标识提供的。

执行单元604，用于至少根据所调取的资源，执行有向无环图所指示的处理流程。

在一些实施例中，执行单元604用于，若可用资源量未达到预设资源阈值，则根据所调取的资源，执行有向无环图所指示的处理流程，若可用资源量达到资源阈值，则根据所调取的资源、以及可用资源量对应的可用资源，执行有向无环图所指示的处理流程，其中，资源阈值是基于任务队列中的任务被执行时所需要的资源量确定的。

生成单元605，用于根据有向无环图所指示的处理流程，生成有向无环图的任务。

标注单元606，用于将有向无环图的标识标注为有向无环图的任务的标识。

添加单元607，用于将标注有有向无环图的标识的任务添加至预设任务队列。

其中，待处理任务是至少采用从离线设备所调取的资源，根据有向无环图的标识执行标注有有向无环图的标识的任务完成的。

创建单元608，用于响应于接收到其他电子设备发送的调取资源的请求，创建工作进程。

提供单元609，用于基于创建的工作进程为其他电子设备提供资源。

在一些实施例中，其他电子设备发送的调取资源的请求中携带其他电子设备发送的调取资源的请求对应的任务的标识；提供单元609用于，根据其他电子设备发送的调取资源的请求对应的任务的标识，采用创建的工作进程执行其他电子设备发送的调取资源的请求对应的任务，其中，其他电子设备发送的调取资源的请求对应的任务，存储于其他电子设备的任务队列中。

在一些实施例中，若资源需求量为进程资源需求量，则可用资源量为可用进程资源量；若资源需求量为处理器需求资源量，则可用资源量为可用处理器资源量；若资源需求量为网络资源需求量，则可用资源量为网络资源需求量。

根据本公开实施例的另一个方面，本公开实施例还提供了一种分布式资源调度系统，包括：电子设备和离线设备，电子设备为集群中的设备，且电子设备所归属的集群为在线的集群，电子设备中包括如上任一实施例所述的装置。

示例性的，结合图1所示，分布式资源调度系统可以包括如图1中所示的计算机设备和离线设备，也可以包括如图1中所示的计算机设备和深度学习平台，当然，也可以包括如图1中所示的计算机设备、离线设备、以及深度学习平台。

以分布式资源调度系统可以包括如图1中所示的计算机设备和离线设备为例，进行示范性的说明。其中，计算机设备包括接口服务、调度器、任务队列。基于上述方法实施例可知：

接口服务，用于监听任务处理请求，在监听到任务处理请求时，获取任务处理请求中携带的待处理任务的处理流程，将获取到的处理流程转换为电子设备可识别的处理流程，根据转换后的处理流程生成有向无环图，并将有向无环图添加至数据库(图中未示出)。

调度器，用于轮询数据库，如每间隔预设时间确认数据库是否包括有向无环图，并当数据库中有有向无环图时，获取该有向无环图，将有向无环图拆分为多个任务，并将拆分得到的各任务添加至任务队列中。

其中，有向无环图具有标识，调度器在将有向无环图拆分为多个任务之后，将该有向无环图的标识标注为每一任务的标识，即添加至任务队列中的每一任务都具有标识，且每一任务的标识与该任务对应的有向无环图的标识相同。

调度器还用于，将有向无环图传输至应用管理单元。其中，应用管理单元本质为被创建的工作进程。

任务队列，用于存储由调度器添加至其中的各任务。

应用管理单元，用于根据有向无环图确定是否需要从离线设备中调取资源，如果需要，则向离线设备的资源管理器发送资源调度请求。

其中，一个应用管理单元对应一个有向无环图。

资源管理器，用于根据资源调度请求创建工作进程，如图1中所示的工作进程3和工作进程4。

工作进程3和工作进程4，用于执行任务队列中，与有向无环图的标识具有相同标识的任务。

相应的，工作进程1和工作进程2是根据计算设备的资源创建的，用于执行任务队列中的任务。

图7是根据本公开第六实施例的示意图，如图7所示，本公开中的电子设备700可以包括：处理器701和存储器702。

存储器702，用于存储程序；存储器702，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器702用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器702中。并且上述的计算机程序、计算机指令、数据等可以被处理器701调用。

上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器702中。并且上述的计算机程序、计算机指据等可以被处理器701调用。

处理器701，用于执行存储器702存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。

具体可以参见前面方法实施例中的相关描述。

处理器701和存储器702可以是独立结构，也可以是集成在一起的集成结构。当处理器701和存储器702是独立结构时，存储器702、处理器701可以通过总线703耦合连接。

本实施例的电子设备可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如分布式资源调度方法。例如，在一些实施例中，分布式资源调度方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的分布式资源调度方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行分布式资源调度方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (30)

1.一种分布式资源调度方法，所述方法应用于集群中的电子设备，所述电子设备所归属的集群为在线的集群，所述方法包括：

获取待处理任务的有向无环图，并确定执行所述有向无环图所指示的处理流程的资源需求量；

若所述电子设备的当前的可用资源量未达到所述资源需求量，则从离线设备中调取资源，并至少根据所调取的资源，执行所述有向无环图所指示的处理流程。

2.根据权利要求1所述的方法，其中，确定执行所述有向无环图所指示的处理流程的资源需求量，包括：

确定所述有向无环图的类型属性，所述类型属性用于指示是否从所述离线设备调取资源，以执行所述有向无环图所指示的处理流程；

若所述类型属性为用于指示不从所述离线设备调取资源，以执行所述有向无环图所指示的处理流程，则根据所述有向无环图确定执行所述有向无环图所指示的处理流程的资源需求量。

3.根据权利要求2所述的方法，还包括：

若所述类型属性为用于指示从所述离线设备调取资源，以执行所述有向无环图所指示的处理流程，则从所述离线设备中调取资源。

4.根据权利要求1-3中任一项所述的方法，其中，有向无环图具有标识；从离线设备中调取资源，包括：

向所述离线设备发送资源调取请求，所述资源调取请求用于向所述离线设备调取资源，所述资源调取请求中携带所述有向无环图的标识，所调取的资源是所述离线设备根据所述有向无环图的标识提供的。

5.根据权利要求4所述的方法，还包括：

根据所述有向无环图所指示的处理流程，生成所述有向无环图的任务；

将所述有向无环图的标识标注为所述有向无环图的任务的标识，并将标注有所述有向无环图的标识的任务添加至预设任务队列；

其中，所述待处理任务是至少采用从所述离线设备所调取的资源，根据所述有向无环图的标识执行标注有所述有向无环图的标识的任务完成的。

6.根据权利要求1-5中任一项所述的方法，还包括：

响应于接收到其他电子设备发送的调取资源的请求，创建工作进程，并基于创建的工作进程为所述其他电子设备提供资源。

7.根据权利要求6所述的方法，其中，所述其他电子设备发送的调取资源的请求中携带其他电子设备发送的调取资源的请求对应的任务的标识；基于创建的工作进程为所述其他电子设备提供资源，包括：

根据所述其他电子设备发送的调取资源的请求对应的任务的标识，采用创建的工作进程执行所述其他电子设备发送的调取资源的请求对应的任务，其中，所述其他电子设备发送的调取资源的请求对应的任务，存储于所述其他电子设备的任务队列中。

8.根据权利要求1-7中任一项所述的方法，其中，获取待处理任务的有向无环图，包括：

响应于监听到任务处理请求，根据所述任务处理请求中携带的所述待处理任务，获取完成所述待处理任务的处理流程；

将完成所述待处理任务的处理流程转换为所述电子设备可识别的处理流程，并根据转换后的处理流程生成所述有向无环图。

9.根据权利要求8所述的方法，其中，所述电子设备设置有接口服务；响应于监听到任务处理请求，根据所述任务处理请求中携带的所述待处理任务，获取完成所述待处理任务的处理流程，包括：

根据所述接口服务监进行监听，若监听到所述任务处理请求，则采用所述接口服务，根据所述任务处理请求中携带的所述待处理任务，获取完成所述待处理任务的处理流程，并将完成所述待处理任务的处理流程转换为所述电子设备可识别的处理流程，并根据转换后的处理流程生成所述有向无环图。

10.根据权利要求1-9中任一项所述的方法，其中，至少根据所调取的资源，执行所述有向无环图所指示的处理流程，包括：

若所述可用资源量未达到预设资源阈值，则根据所调取的资源，执行所述有向无环图所指示的处理流程；

若所述可用资源量达到所述资源阈值，则根据所调取的资源、以及所述可用资源量对应的可用资源，执行所述有向无环图所指示的处理流程；

其中，所述资源阈值是基于所述任务队列中的任务被执行时所需要的资源量确定的。

11.根据权利要求2或3所述的方法，其中，确定所述有向无环图的类型属性，包括：

创建工作进程，并基于所述工作进程确定所述有向无环图的类型属性。

12.根据权利要求11所述的方法，还包括：

若所述有向无环图所指示的处理流程被执行完成，释放所述工作进程。

13.根据权利要求1-12中任一项所述的方法，其中，若资源需求量为进程资源需求量，则所述可用资源量为可用进程资源量；若资源需求量为处理器需求资源量，则所述可用资源量为可用处理器资源量；若资源需求量为网络资源需求量，则所述可用资源量为网络资源需求量。

14.一种分布式资源调度装置，所述装置应用于集群中的电子设备，所述电子设备所归属的集群为在线的集群，所述装置包括：

获取单元，用于获取待处理任务的有向无环图；

确定单元，用于确定执行所述有向无环图所指示的处理流程的资源需求量；

调取单元，用于若所述电子设备的当前的可用资源量未达到所述资源需求量，则从离线设备中调取资源；

执行单元，用于至少根据所调取的资源，执行所述有向无环图所指示的处理流程。

15.根据权利要求14所述的装置，其中，所述确定单元，包括：

第一确定子单元，用于确定所述有向无环图的类型属性，所述类型属性用于指示是否从所述离线设备调取资源，以执行所述有向无环图所指示的处理流程；

第二确定子单元，用于若所述类型属性为用于指示不从所述离线设备调取资源，以执行所述有向无环图所指示的处理流程，则根据所述有向无环图确定执行所述有向无环图所指示的处理流程的资源需求量。

16.根据权利要求15所述的装置，还包括：

调取子单元，用于若所述类型属性为用于指示从所述离线设备调取资源，以执行所述有向无环图所指示的处理流程，则从所述离线设备中调取资源。

17.根据权利要求14-16中任一项所述的装置，其中，有向无环图具有标识；所述调取单元用于，向所述离线设备发送资源调取请求，所述资源调取请求用于向所述离线设备调取资源，所述资源调取请求中携带所述有向无环图的标识，所调取的资源是所述离线设备根据所述有向无环图的标识提供的。

18.根据权利要求17所述的装置，还包括：

生成单元，用于根据所述有向无环图所指示的处理流程，生成所述有向无环图的任务；

标注单元，用于将所述有向无环图的标识标注为所述有向无环图的任务的标识；

添加单元，用于将标注有所述有向无环图的标识的任务添加至预设任务队列；

其中，所述待处理任务是至少采用从所述离线设备所调取的资源，根据所述有向无环图的标识执行标注有所述有向无环图的标识的任务完成的。

19.根据权利要求14-18中任一项所述的装置，还包括：

创建单元，用于响应于接收到其他电子设备发送的调取资源的请求，创建工作进程；

提供单元，用于基于创建的工作进程为所述其他电子设备提供资源。

20.根据权利要求19所述的装置，其中，所述其他电子设备发送的调取资源的请求中携带其他电子设备发送的调取资源的请求对应的任务的标识；所述提供单元用于，根据所述其他电子设备发送的调取资源的请求对应的任务的标识，采用创建的工作进程执行所述其他电子设备发送的调取资源的请求对应的任务，其中，所述其他电子设备发送的调取资源的请求对应的任务，存储于所述其他电子设备的任务队列中。

21.根据权利要求14-20中任一项所述的装置，其中，所述获取单元，包括：

获取子单元，用于响应于监听到任务处理请求，根据所述任务处理请求中携带的所述待处理任务，获取完成所述待处理任务的处理流程；

转换子单元，用于将完成所述待处理任务的处理流程转换为所述电子设备可识别的处理流程；

生成子单元，用于根据转换后的处理流程生成所述有向无环图。

22.根据权利要求21所述的装置，其中，所述电子设备设置有接口服务；所述获取子单元，包括：

监听模块，用于根据所述接口服务监进行监听；

获取模块，用于若监听到所述任务处理请求，则采用所述接口服务，根据所述任务处理请求中携带的所述待处理任务，获取完成所述待处理任务的处理流程；

转换模块，用于将完成所述待处理任务的处理流程转换为所述电子设备可识别的处理流程；

生成模块，用于根据转换后的处理流程生成所述有向无环图。

23.根据权利要求14-22中任一项所述的装置，其中，所述执行单元用于，若所述可用资源量未达到预设资源阈值，则根据所调取的资源，执行所述有向无环图所指示的处理流程，若所述可用资源量达到所述资源阈值，则根据所调取的资源、以及所述可用资源量对应的可用资源，执行所述有向无环图所指示的处理流程，其中，所述资源阈值是基于所述任务队列中的任务被执行时所需要的资源量确定的。

24.根据权利要求15或16所述的装置，其中，第一确定子单元，包括：

创建模块，用于创建工作进程；

确定模块，用于基于所述工作进程确定所述有向无环图的类型属性。

25.根据权利要求24所述的装置，还包括：

释放模块，用于若所述有向无环图所指示的处理流程被执行完成，释放所述工作进程。

26.根据权利要求14-25中任一项所述的装置，其中，若资源需求量为进程资源需求量，则所述可用资源量为可用进程资源量；若资源需求量为处理器需求资源量，则所述可用资源量为可用处理器资源量；若资源需求量为网络资源需求量，则所述可用资源量为网络资源需求量。

27.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-13中任一项所述的方法。

28.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-13中任一项所述的方法。

29.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-13中任一项所述方法的步骤。

30.一种分布式资源调度系统，包括：电子设备和离线设备，所述电子设备为集群中的设备，且所述电子设备所归属的集群为在线的集群，所述电子设备中包括如权利要求14-26中任一项所述的装置。

Images