CN115145711A - 一种获取有向无环图任务结果的数据处理系统 - Google Patents

Abstract

本发明提供了一种获取有向无环图任务结果的数据处理系统，通过获取初始任务节点对应的初始潜在等待时间，并将初始时间由小至大进行排序，为任务队列处理器分配初始任务节点，通过更快的执行得到初始任务的结果，从而使原始任务节点能够更快由第二任务状态转换为第一任务状态；还通过指令处理器对任务处理器进行监听并且将得到的中间任务节点结果发送至任务节点调度器，进而获取到目标任务列表，任务节点调度器为非工作状态的任务队列处理器分配目标任务节点，节省了时间资源，提高了任务队列处理器的工作效率。

Description

一种获取有向无环图任务结果的数据处理系统

技术领域

本发明涉及有向无环图技术领域，特别是涉及一种获取有向无环图任务结果的数据处理系统。

背景技术

现有技术中对于有向无环图的分析和处理，一般由很多独立的进程完成，每个进程完成特定的数据处理逻辑，其中的进程称之为数据加工任务；在实际的处理过程中，要考虑节点和节点之间先后的顺序逻辑关系，例如，要处理节点A，首先要完成节点B的处理，因为A依赖于B的结果；由于数据之间存在关联和逻辑关系，对应的数据加工任务之间也有对应的关联和依赖，为保证节点处理的正确结果，要求这些节点任务按照逻辑关系有序、高效的执行。

现有技术中，往往获取到可以进行处理的节点后就不再进行排序，直接对节点进行处理，这样可能会导致优先处理的节点为处理时间长的节点，因此，会导致节点解锁过慢，对任务节点进行处理的处理器空闲，对任务节点进行处理的处理器的效率低；并且现有技术中，往往通过轮询的方式查找空闲的对任务节点进行处理的处理器，也就是预设监听时间阈值，每经过一个监听时间阈值，就对任务节点进行处理的处理器进行监听，因此，会出现没有及时为任务节点进行处理的处理器分配任务的情况，浪费时间资源，但是当将轮巡时间变短时，性能成本大。

发明内容

针对上述技术问题，本发明采用的技术方案为：

一种获取有向无环图任务结果的数据处理系统，包括：数据库、处理器、 任务节点调度器、一个或者多个任务队列处理器、存储有计算机程序的存储器，其中，数据库包括：目标有向无环图对应的原始任务节点列表A={A₁，……，A_j，……，A_m}，A_j=（Aʹ_j，YAʹ_jg），A'_j为第j个原始任务节点ID，YAʹ_jg为Aʹ_j对应的第g个历史执行时间，j的取值为1到m，m为目标有向无环图对应的原始任务节点的数量，g的取值为1到zj，zj为Aʹ_j对应的历史执行时间的数量，当计算机程序被处理器执行时，实现如下步骤：

S100、基于A，获取目标有向无环图对应的初始任务节点列表B⁰={B⁰ ₁，……，B⁰ _x，……B⁰ _p}，B⁰ _x=(Bʹ⁰ _x，YBʹ⁰ _xe)，Bʹ⁰ _x为第x个初始任务节点ID，YBʹ⁰ _xe为Bʹ⁰ _x对应的第e个历史执行时间，x的取值为1到p，p为目标有向无环图对应的初始任务节点的数量，e的取值为1到hx，hx为Bʹ⁰ _x对应的历史执行时间的数量，其中，任一初始任务节点为当A_j对应的任务状态为第一任务状态时的原始任务节点；

S200、基于B⁰，获取B⁰对应的第一等待时长列表T⁰={T⁰ ₁，……，T⁰ _x，……，T⁰ _p}，T⁰ _x为B⁰ _x对应的第一等待时长，T⁰ _x符合如下条件：

；

其中，q⁰为B⁰对应的时间点处于第二任务状态的原始任务节点的数量，q⁰ _x为B⁰ _x对应的全部子节点的数量；

S300、对T⁰进行排序，获取第二等待时长列表Tʹ⁰={Tʹ⁰ ₁，……，Tʹ⁰ _x，……，Tʹ⁰ _p}，Tʹ⁰ _x为第x个第二等待时长，其中，Tʹ⁰ _x＞Tʹ⁰ _x+1；

S400、通过任务节点调度器将前k个Tʹ⁰ _x对应的初始任务节点分配至任务队列处理器中，获取任务队列处理对应的任务执行结果并将得到任务执行结果对应的原始任务节点状态为第三任务状态；

S500、基于任务队列处理对应的任务执行结果，获取目标任务节点集B={B₁，……，B_r，……，B_s}，B_r为第r个时间点对应的目标任务节点列表，r的取值范围为1到s，s为目标有向无环图对应的目标任务节点列表的数量；

S600、当r=s且A中所有原始任务节点任务状态全部处于第三任务状态时，获取目标有向无环图对应的目标任务结果。

本发明至少具有以下有益效果：通过获取初始任务节点对应的初始时间，并且基于初始任务节点对应的初始时间，得到初始任务节点对应的初始潜在等待时间，并将初始潜在等待时间由小至大进行排序，进而采用任务节点调度器为任务队列处理器分配初始任务节点，通过更快的执行得到初始任务的结果，从而使原始任务节点能够更快由第二任务状态转换为第一任务状态，因此，节省了时间资源，提高了工作效率；还通过设置的指令处理器对任务队列处理器进行监听，及时发现在r-1时间点处于非工作状态的任务队列处理器，并且通过指令处理器将任务队列处理器得到的中间任务节点结果传送至调度器，任务节点调度器通过接收到的中间任务节点结果，以获取到第r个目标任务列表，并通过任务节点调度器为非工作状态的任务队列处理器分配目标任务节点，因此，无需对任务队列处理器设置固定时间的检测模块，节省了处理器固有资源，并且采用实时对任务队列管理器进行实时监听的方式，使任务队列处理器连续不间断的执行任务，节省了时间资源，提高了任务队列处理器的工作效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种获取有向无环图任务结果的数据处理系统执行计算机程序的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供一种获取有向无环图任务结果的数据处理系统，所述系统包括：数据库、处理器、 任务节点调度器、一个或者多个任务队列处理器、存储有计算机程序的存储器，其中，所述数据库包括：目标有向无环图对应的原始任务节点列表A={A₁，……，A_j，……，A_m}，A_j=（Aʹ_j，YAʹ_jg），A'_j为第j个原始任务节点ID，YAʹ_jg为Aʹ_j对应的第g个历史执行时间，j的取值为1到m，m为目标有向无环图对应的原始任务节点的数量，g的取值为1到zj，zj为Aʹ_j对应的历史执行时间的数量。

具体地，A_j=（AS_j，ZT_j），AS_j为A_j对应的上层任务节点数量，ZT_j为A_j对应的当前工作状态。

进一步地，通过拓扑排序技术对目标有向无环图进行拆分获取A_j并且在对目标有向无环图进行拆分的同时对A_j进行解析，进而获取A_j对应的AS_j。

进一步地，本领域技术人员知晓，任意一种对目标有向无环图进行拆分与解析的拓扑排序方式均落入本发明的保护范围内，在此不再赘述。

进一步地，本领域技术人员可根据实际需求设置任务队列处理器的数量。

如图1所示，当所述计算机程序被处理器执行时，实现如下步骤：

S100、基于A，获取目标有向无环图对应的初始任务节点列表B⁰={B⁰ ₁，……，B⁰ _x，……B⁰ _p}，B⁰ _x=(Bʹ⁰ _x，YBʹ⁰ _xe)，Bʹ⁰ _x为第x个初始任务节点ID，YBʹ⁰ _xe为Bʹ⁰ _x对应的第e个历史执行时间，x的取值为1到p，p为目标有向无环图对应的初始任务节点的数量，e的取值为1到hx，hx为Bʹ⁰ _x对应的历史执行时间的数量，其中，任一初始任务节点为当A_j对应的任务状态为第一任务状态时的原始任务节点。

具体地，所述第一任务状态为当前任务节点可被执行状态。

S200、基于B⁰，获取B⁰对应的第一等待时长列表T⁰={T⁰ ₁，……，T⁰ _x，……，T⁰ _p}，T⁰ _x为B⁰ _x对应的第一等待时长，T⁰ _x符合如下条件：

；

其中，q⁰为B⁰对应的时间点处于第二任务状态的原始任务节点的数量，q⁰ _x为B⁰ _x对应的全部子节点的数量。

具体地，所述第二任务状态为当前任务节点不可被执行状态，可以理解为处于第二任务节点的原始任务节点对应的上层节点中，存在没有得到结果的原始任务节点。

进一步地，所述第一等待时间为初始任务节点如果被延后执行带来的潜在等待时间。

S300、对T⁰进行排序，获取第二等待时长列表Tʹ⁰={Tʹ⁰ ₁，……，Tʹ⁰ _x，……，Tʹ⁰ _p}，Tʹ⁰ _x为第x个第二等待时长，其中，Tʹ⁰ _x＞Tʹ⁰ _x+1。

S400、通过任务节点调度器将前k个Tʹ⁰ _x对应的初始任务节点分配至任务队列处理器中，获取任务队列处理对应的任务执行结果并将得到任务执行结果对应的原始任务节点状态为第三任务状态。

具体地，所述第三任务状态为当前任务节点已经被执行完成状态。

进一步地，所述任务队列处理器采用http协议进行接入，并基于http协议定义了统一的远程通信接口，使任务队列管理器可以接入任意系统，上述，采用多线程技术使每个工作模块占用的固有资源少，相对于多进程技术，节省了服务器的固有资源，并且使用户可以同时设置对个的任务队列管理器，提高了工作效率。

进一步地，当n=1时，n为任务队列处理器的数量，可以理解为通过任务节点调度器为任务队列管理模块调度用时最短的初始任务节点，通过更快的执行得到初始任务的结果，从而使原始任务节点能够更快由第二任务状态转换为第一任务状态，因此，提高了工作效率。

进一步地，所述任务队列处理器为多线程的任务处理器。

优选地，当n＞1时，可以理解为当前处理器剩余的固有资源的情况下，设置尽可能多的任务队列处理器，并且使用任务节点调度器为任务队列管理器分配初始任务节点，多个任务队列管理器同时执行初始任务节点，从而使原始任务节点能够更快由第二任务状态转换为第一任务状态，因此，提高了工作效率。

上述，S200-S400通过获取初始任务节点对应的初始时间，并且基于初始任务节点对应的初始时间，得到初始任务节点对应的初始潜在等待时间，并将初始潜在等待时间由小至大进行排序，进而采用任务节点调度器为任务队列处理器分配初始任务节点，通过更快的执行得到初始任务的结果，从而使原始任务节点能够更快由第二任务状态转换为第一任务状态，因此，节省了时间资源，提高了工作效率。

S500、基于任务队列处理对应的任务执行结果，获取目标任务节点集B={B₁，……，B_r，……，B_s}，B_r为第r个时间点对应的目标任务节点列表，r的取值范围为1到s，s为目标有向无环图对应的目标任务节点列表的数量。

具体地，所述系统还包括任务指令处理器。

进一步地，所述任务指令处理器为基于钩子函数的指令处理器。

进一步地，本领域技术人员可根据实际需求设置所述钩子函数的类型，钩子函数的类型可包括：进程钩子函数、系统钩子函数和线程钩子函数等，在此不再赘述。

进一步地，在本发明一个实施例中，当n=k时，还包括如下步骤获取B_r：

S5011、通过指令处理器监听任务队列处理器，当B_r-1对应的时间点指令处理器监听到有一个或多个任务队列处理器处于非工作状态时，获取中间任务节点结果S^y _r-1并将S^y _r-1对应的原始任务节点状态更新为第三任务状态，y的取值为1到h，h为中间任务节点结果的数量，其中，中间任务节点结果为任务队列处理器执行B_r-1中目标任务节点得到的结果；

S5012、获取S^y _r-1对应的目标任务队列处理器列表G_r-1=（G¹ _r-1，...，G^y _r-1，...,G^q _r-1），G^y _r-1为第y个目标任务队列处理器，y的取值为1到q，q为目标任务队列处理器的数量，其中，目标任务队列处理器为在B_r-1对应的时间点处于非工作状态的任务队列处理器；

S5013、通过指令处理器将S^y _r-1发送至任务节点调度器；

S5014、任务节点调度器通过接收到的S_r-1，获取B_r=（B_r1，...，B_rd，...，B_rtr），B_rd为B_r对应的第d个目标任务节点，d的取值为1到tr，tr为目标任务节点的数量，其中，所述目标任务节点为B_r对应的时间点处于第一任务状态的原始任务节点；

S5015、基于B_r，通过任务节点调度器将B_rd分配至G^y _r-1对应的目标任务队列处理器。

具体地，通过任务节点调度器将B_re分配至G^y _r-1对应的目标任务队列处理器采用与本发明S200至S400中相同步骤进行分配。

上述，S5011-S5015通过设置的指令处理器对任务队列处理器进行监听，及时发现在r-1时间点处于非工作状态的任务队列处理器，并且通过指令处理器将任务队列处理器得到的中间任务节点结果传送至调度器，任务节点调度器通过接收到的中间任务节点结果，以获取到第r个目标任务列表，并通过任务节点调度器为非工作状态的任务队列处理器分配目标任务节点，因此，无需对任务队列处理器设置固定时间的检测模块，节省了处理器固有资源，并且采用实时对任务队列管理器进行实时监听的方式，使任务队列处理器连续不间断的执行任务，节省了时间资源，提高了任务队列处理器的工作效率。

进一步地，在本发明另一实施例中，还包括如下步骤获取B_r：

S5021、通过指令处理器监听任务队列处理器，当B_r-1对应的时间点指令处理器监听到有一个或多个任务队列处理器处于非工作状态时，获取中间任务节点结果S^y _r-1并将S^y _r-1对应的原始任务节点状态更新为第三任务状态，y的取值为1到h，h为中间任务节点结果的数量，其中，中间任务节点结果为任务队列处理器执行B_r-1中目标任务节点得到的结果；

S5022、获取S^y _r-1对应的目标任务队列处理器列表G_r-1=（G¹ _r-1，...，G^y _r-1，...,G^h _r-1），G^y _r-1为第y个目标任务队列处理器，y的取值为1到q，q为目标任务队列处理器的数量，其中，目标任务队列处理器为在B_r-1对应的时间点处于非工作状态的任务队列处理器；

S5023、通过指令处理器将S^y _r-1发送至任务节点调度器；

S5024、任务节点调度器通过接收到的S_r-1，获取B_r=（B_r1，...，B_rd，...，B_rtr），B_rd为B_r对应的第d个目标任务节点，d的取值为1到tr，tr为目标任务节点的数量，其中，所述目标任务节点为B_r对应的时间点处于第一任务状态的原始任务节点；

S5025、基于B_r，获取B_r对应的第三等待时长列表T^r={T^r ₁，……，T^r _d，……，T^r _tr}，T^r _d为B_rd对应的第三等待时长；

具体地，所述第三等待时长与上述第一等待时长算法相同，在此不再赘述。

S5026、基于T^r，获取第r时间点对应的中间任务节点列表Bʹ_r={Bʹ_r1，……，Bʹ_rc，……，Bʹ_rw}，Bʹ_rc为第c个中间任务节点，c的取值为1到w，w为中间任务节点的数量，所述中间任务节点为Bʹ_rc对应的第三等待时长小于预设等待时长t⁰的目标任务节点。

具体地，本领域技术任意可根据实际需求设置所述t⁰的值，在此不再赘述。

S5027、通过任务节点调度器将Bʹ_rc分配至G^y _r-1对应的目标任务队列处理器；

S5028、当B_r中所有的目标任务节点对应的第三等待时间均大于t⁰时，那么将T^r由小至大进行排序，获取第四等待时间列表Tʹ^r={Tʹ^r ₁，……，Tʹ^r _d，……，Tʹ^r _tr}，Tʹ^r _d为B_rd对应的第四等待时长；

S5029、通过任务节点调度器将前h个Tʹ^r _d对应的初始任务节点分配至G^y _r-1对应的目标任务队列处理器。

上述，S5021-S5029通过通过设置的指令处理器对任务队列处理器进行监听，及时发现在r-1时间点处于非工作状态的任务队列处理器，并且通过指令处理器将任务队列处理器得到的中间任务节点结果传送至调度器，任务节点调度器通过接收到的中间任务节点结果，以获取到第r个目标任务列表，并通过任务节点调度器为处于非工作状态的任务队列处理器分配小于预设等待阈值的目标任务节点，因此，无需对任务队列处理器设置固定时间的检测模块，节省了处理器固有资源，并且采用实时对任务队列管理器进行实时监听的方式，使任务队列处理器连续不间断的执行任务且优先执行用时低的任务节点，可以尽快使任务节点处于第一任务状态，节省了时间资源，提高了任务队列处理器的工作效率。

S600、当r=s且A中所有原始任务节点任务状态全部处于第三任务状态时，获取目标有向无环图对应的目标任务结果。

具体地，所述目标任务结果为目标有向无环图的最终结果，可以理解为目标有向无环图最后执行的任务节点所对应的结果。

本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境）。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和计算机设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (9)

1.一种获取有向无环图任务结果的数据处理系统，其特征在于，所述系统包括：数据库、处理器、 任务节点调度器、一个或者多个任务队列处理器、存储有计算机程序的存储器，其中，所述数据库包括：目标有向无环图对应的原始任务节点列表A={A₁，……，A_j，……，A_m}，A_j=（Aʹ_j，YAʹ_jg），A'_j为第j个原始任务节点ID，YAʹ_jg为Aʹ_j对应的第g个历史执行时间，j的取值为1到m，m为目标有向无环图对应的原始任务节点的数量，g的取值为1到zj，zj为Aʹ_j对应的历史执行时间的数量，当所述计算机程序被处理器执行时，实现如下步骤：

S100、基于A，获取目标有向无环图对应的初始任务节点列表B⁰={B⁰ ₁，……，B⁰ _x，……B⁰ _p}，B⁰ _x=(Bʹ⁰ _x，YBʹ⁰ _xe)，Bʹ⁰ _x为第x个初始任务节点ID，YBʹ⁰ _xe为Bʹ⁰ _x对应的第e个历史执行时间，x的取值为1到p，p为目标有向无环图对应的初始任务节点的数量，e的取值为1到hx，hx为Bʹ⁰ _x对应的历史执行时间的数量，其中，任一初始任务节点为当A_j对应的任务状态为第一任务状态时的原始任务节点；

S200、基于B⁰，获取B⁰对应的第一等待时长列表T⁰={T⁰ ₁，……，T⁰ _x，……，T⁰ _p}，T⁰ _x为B⁰ _x对应的第一等待时长，T⁰ _x符合如下条件：

；

其中，q⁰为B⁰对应的时间点处于第二任务状态的原始任务节点的数量，q⁰ _x为B⁰ _x对应的全部子节点的数量；

S300、对T⁰进行排序，获取第二等待时长列表Tʹ⁰={Tʹ⁰ ₁，……，Tʹ⁰ _x，……，Tʹ⁰ _p}，Tʹ⁰ _x为第x个第二等待时长，其中，Tʹ⁰ _x＞Tʹ⁰ _x+1；

S400、通过任务节点调度器将前k个Tʹ⁰ _x对应的初始任务节点分配至任务队列处理器中，获取任务队列处理对应的任务执行结果并将得到任务执行结果对应的原始任务节点状态为第三任务状态；

S500、获取目标任务节点集B={B₁，……，B_r，……，B_s}，B_r为第r个时间点对应的目标任务节点列表，r的取值范围为1到s，s为目标有向无环图对应的目标任务节点列表的数量；

S600、当r=s且A中所有原始任务节点任务状态全部处于第三任务状态时，获取目标有向无环图对应的目标任务结果。

2.根据权利要求1所述的系统，其特征在于，k=n，n为任务队列处理器的数量。

3.根据权利要求2所述的系统，其特征在于，所述系统还包括任务指令处理器，在S500中，还包括如下步骤获取B_r：

S5011、通过指令处理器监听任务队列处理器，当B_r-1对应的时间点指令处理器监听到有一个或多个任务队列处理器处于非工作状态时，获取中间任务节点结果S^y _r-1并将S^y _r-1对应的原始任务节点状态更新为第三任务状态，y的取值为1到h，h为中间任务节点结果的数量，其中，中间任务节点结果为任务队列处理器执行B_r-1中目标任务节点得到的结果；

S5012、获取S^y _r-1对应的目标任务队列处理器列表G_r-1=（G¹ _r-1，...，G^y _r-1，...,G^q _r-1），G^y _r-1为第y个目标任务队列处理器，y的取值为1到q，q为目标任务队列处理器的数量，其中，目标任务队列处理器为在B_r-1对应的时间点处于非工作状态的任务队列处理器；

S5013、通过指令处理器将S^y _r-1发送至任务节点调度器；

S5014、任务节点调度器通过接收到的S_r-1，获取B_r=（B_r1，...，B_rd，...，B_rtr），B_rd为B_r对应的第d个目标任务节点，d的取值为1到tr，tr为目标任务节点的数量，其中，所述目标任务节点为B_r对应的时间点处于第一任务状态的原始任务节点；

S5015、基于B_r，通过任务节点调度器将B_rd分配至G^y _r-1对应的目标任务队列处理器。

4.根据权利要求1所述的系统，其特征在于，A_j=（AS_j，ZT_j），AS_j为A_j对应的上层任务节点数量，ZT_j为A_j对应的当前工作状态。

5.根据权利要求1所述的系统，其特征在于，

所述第一任务状态为当前任务节点可被执行状态。

6.根据权利要求5所述的系统，其特征在于，

所述第二任务状态为当前任务节点不可被执行状态。

7.根据权利要求6所述的系统，其特征在于，

所述第三任务状态为当前任务节点已经被执行完成状态。

8.根据权利要求3所述的系统，其特征在于，所述任务指令处理器为基于钩子函数的指令处理器。

9.根据权利要求1所述的系统，其特征在于，所述任务队列处理器为多线程的任务处理器。

Images