CN108037991A - 一种支持作业依赖关系的定时作业调度方法及系统 - Google Patents
一种支持作业依赖关系的定时作业调度方法及系统 Download PDFInfo
- Publication number
- CN108037991A CN108037991A CN201711436091.3A CN201711436091A CN108037991A CN 108037991 A CN108037991 A CN 108037991A CN 201711436091 A CN201711436091 A CN 201711436091A CN 108037991 A CN108037991 A CN 108037991A
- Authority
- CN
- China
- Prior art keywords
- task
- directed acyclic
- graph
- scheduler
- acyclic graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000001960 triggered effect Effects 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 125000002015 acyclic group Chemical group 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000000284 resting effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种支持作业依赖关系的定时作业调度方法，包括以下步骤：S1.调度器从存储单元中加载作业相关数据，包括作业信息列表和作业依赖关系；S2.调度器根据作业依赖关系将作业信息列表转化为作业有向无环图；S3.调度器将作业有向无环图作为副本生成任务有向无环图；S4.调度器对任务有向无环图中节点入度为非0的任务进行依赖调度；S5.调度器根据任务触发时间对任务有向无环图中节点入度为0的任务进行定时调度；S6.执行单元执行上述任务后，向调度器反馈相关的执行结果。
Description
技术领域
本发明涉及计算机技术领域，更具体地，涉及一种支持作业依赖关系的定时作业调度方法及系统。
背景技术
近年来，随着互联网、大数据存储、分布式计算的快速发展，计算规模的日益扩大成了很多互联网行业的严峻挑战和宝贵机遇，大数据的涌现更是深深改变了人们的生活和工作方式。利用合理高效的计算模式，摆脱网络中各种计算资源在地域和结构的限制，充分利用计算资源，是互联网企业实际而又迫切的需求。于是，调度器的设计和开发成为国内外大型互联网公司研究实践的热点技术。
现有的离线计算技术主要解决的是定时调度、分布式调度等问题。在实际应用场景中，作业之间往往存在依赖关系，即一个作业的输入需要依赖其他作业的输出，同时作业也需要在指定时间指定机器运行。
因此，需要一种高效、可靠的调度方法，同时实现作业依赖关系调度和作业定时调度。
发明内容
本发明提出了一种能够支持作业依赖关系的定时作业调度方法，解决了作业之间存在依赖关系的问题，也解决了作业在指定时间进行调度执行的问题。该方法可靠性好、效率高、系统实现简单。
为实现以上发明目的，采用的技术方案是：
一种支持作业依赖关系的定时作业调度方法，包括以下步骤：
S1.调度器从存储单元中加载作业相关数据，包括作业信息列表和作业依赖关系；
S2.调度器根据作业依赖关系将作业信息列表转化为作业有向无环图；
S3.调度器将作业有向无环图作为副本生成任务有向无环图；
S4.调度器对任务有向无环图中节点入度为非0的任务进行依赖调度；
S5.调度器根据任务触发时间对任务有向无环图中节点入度为0的任务进行定时调度；
S6.执行单元执行上述任务后，向调度器反馈相关的执行结果。
优选地，所述步骤S2转化为作业有向无环图的具体过程如下：
S11.根据作业依赖关系，将作业列表转化为作业图结构，其中作业图结构中的每个节点代表了对应的作业信息；
S12.判断作业图结构是否存在环，如果存在，则继续执行步骤S13，否则转移到步骤S14；
S13：获取作业图结构中环所在的子连通图，移除该子连通图，使作业图结构是合法的，同时报警提示作业依赖关系异常；
S14：获取合法的作业有向无环图。
优选地，所述步骤S11将作业列表转化为作业图结构的具体过程如下：
S111.构建空的哈希映射数据结构，其中映射的键表示一个作业，映射的值表示依赖作业的集合；
S112.遍历所有的作业，将其添加到哈希映射数据结构中；
S113.遍历所有的作业依赖关系，对任一依赖关系(x:y)，表示作业y在作业x之后调度，将作业y添加到作业x对应的依赖作业集合中，此时哈希映射数据结构表示为作业图结构。
优选地，所述步骤S12中，对作业图结构进行拓扑排序，将排序后的节点数与作业图结构的节点数进行比较来判断作业图结构是否有环，如果排序后的节点数等于作业图结构的节点数，则图结构无环，如果排序后的节点数小于作业图结构的节点数，则图结构有环。
优选地，所述步骤S13获取作业图结构中环所在的子连通图的具体过程如下：
S131.根据作业图结构的拓扑排序获取所有环及其连通的节点；
S132.将环及其连通的节点添加到集合中；
S133.遍历集合中的所有节点，将连通该节点的所有节点添加到集合中，同时也要遍历添加到集合中的新节点，将连通新节点的所有节点添加到集合中；
S134.遍历完所有节点后，获得环所在的子连通图，即集合中所有节点；
S135.移除作业图结构中包含在集合内的所有节点，至此，得到去环后的有向无环图。
优选地，所述步骤S2将作业有向无环图作为副本生成任务有向无环图的具体过程如下：
S21. 对于任一个作业组，获取作业有向无环图中该作业组的第一个执行的作业，在当前系统时间基础上，通过作业的触发时间配置计算得到该作业的执行时间；
S22.遍历作业有向无环图的其他节点，在第一个执行作业的执行时间基础上，通过该作业的触发时间配置计算得到该作业的执行时间；
S23.按照作业有向无环图的数据结构以及对应作业的执行时间克隆出任务有向无环图。
优选地，所述步骤S5进行定时调度的具体过程如下：
S51.获取任务有向无环图中节点入度为0的任务；
S52.按照任务的触发时间对任务进行排序；
S53.比较当前系统时间和任务的触发时间，筛选出当前需要调度执行的任务；
S54.将满足触发时间的任务分配给执行单元，由执行单元来执行任务程序；
S55.调度器分配完任务之后，进入休眠状态，等待下次定时调度。
优选地，所述步骤S6中，执行单元执行完任务后，会向调度器反馈执行结果，调度器根据任务执行结果动态调整依赖调度过程，具体步骤如下：
S61.调度器获取任务执行结果，包括任务基本信息和状态码；
S62.根据任务状态码判断任务是否执行成功，如果执行成功，则转移至步骤S63，如果执行失败，则转移至步骤S64；
S63.将执行成功的任务从任务有向无环图中移除，使得依赖该任务的子任务获得调度的机会，过程结束；
S64.将执行失败的任务所在的任务组从任务有向无环图中移除，报警提示该任务及其任务组执行失败，过程结束。
同时，本发明还提供了一种应用以上方法的系统，其包括存储单元、调度器和执行单元。
与现有技术相比，本发明的有益效果是：
本发明提供的方法将调度过程划分为依赖调度和定时调度，在解决了复杂的应用场景的同时，降低了系统复杂性，使得本发明在技术实现上变得简单。本发明的系统结构清晰，有利于系统维护和功能扩展。
附图说明
图1是本发明的模块示意图。
图2是调度器初始化的流程示意图。
图3举例说明了系统待调度的作业信息列表以及作业的依赖关系。
图4是对图3所示的作业列表进行依赖调度的具体流程图。
图5是调度器定时调度的流程示意图。
图6是任务执行结果反馈的流程示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
图1描述了本发明的功能模块，包括存储单元、调度器和执行单元。存储单元，用于向持久层读写数据，为调度器提供了读取作业相关信息的接口；调度器，对任务进行依赖调度和定时调度，从存储单元获取作业信息，向执行单元分配任务；执行单元，是执行任务的工作节点，接收调度器分配的任务并执行，并向调度器反馈任务执行结果。
本实施例提供的方法的具体流程如下：
S1.调度器从存储单元中加载作业相关数据，包括作业信息列表和作业依赖关系；
S2.调度器根据作业依赖关系将作业信息列表转化为作业有向无环图；
S3.调度器将作业有向无环图作为副本生成任务有向无环图；
S4.调度器对任务有向无环图中节点入度为非0的任务进行依赖调度；
S5.调度器根据任务触发时间对任务有向无环图中节点入度为0的任务进行定时调度；
S6.执行单元执行上述任务后，向调度器反馈相关的执行结果。
在作业有向无环图中，每个节点的入度表示依赖且未执行的作业的数量，其出度表示被依赖的作业的数量。
实施例2
图2描述了调度器的初始化过程，具体流程如下：
S11：调度器从存储单元中加载作业相关数据，包括作业信息列表和作业依赖关系；
S12：根据作业依赖关系，将作业列表转化为作业图结构，其中作业图结构的每个节点代表了对应的作业信息；
S13：判断作业图结构是否存在环，如果存在，则继续执行步骤S14，否则转移到步骤S15；
S14：获取作业图结构中环所在子连通图，移除该子连通图，使作业图结构是合法的，同时系统报警提示作业依赖关系异常；
S15：获取合法的作业有向无环图；
S16：将作业有向无环图作为副本生成任务有向无环图，其中每个任务是对应作业的具体实例，是被调度处理的对象。
进一步，作业依赖关系是多对多的映射关系，合法的作业依赖关系是没有环形依赖的，即作业图结构是一个有向无环图，其数据模型可以通过关系型数据模型的两个字段来表示。步骤S12中根据作业依赖关系生成作业图结构，具体步骤如下：
S121：构建空的哈希映射数据结构，其中映射的键表示一个作业，映射的值表示依赖作业的集合；
S122：遍历所有的作业，将其添加到哈希映射数据结构中。例如当有A、B、C、D四个作业时，生成的哈希映射数据结构为(A:[]; B:[]; C:[]; D:[])。
S123：遍历所有的作业依赖关系，对任一依赖关系(x:y)，表示作业y在作业x之后调度，将作业y添加到作业x对应的依赖作业集合中。例如当依赖关系为(A:B)、(A:C)、(B:D)、(C:D)时，生成的哈希映射数据结构为(A:[B,C]; B:[D]; C:[D]; D:[])。至此，哈希映射数据结构即表示为作业图结构。
进一步，步骤S13中判断作业图结构是否有环，可以对图进行拓扑排序，根据排序后的节点数与作业图结构的节点数大小比较来判断作业图结构是否有环。如果排序后的节点数等于作业图结构的节点数，则作业图结构无环，如果排序后的节点数小于作业图结构的节点数，则作业图结构有环。
进一步，步骤S14中移除环所在的子连通图时，首先要获得作业图结构中包含环的子连通图，然后从作业图结构中移除包含环的子连通图，具体步骤如下：
S141：通过作业图结构的拓扑排序获取所有环及其连通的节点；
S142：将环及其连通的节点添加到集合中；
S143：遍历集合中的所有节点，将连通该节点的所有节点添加到集合中，同时也要遍历添加到集合中的新节点，将连通新节点的所有节点添加到集合中；
S144：遍历完所有节点后，获得环所在的子连通图，即集合中所有节点；
S145：移除作业图结构中包含在集合内的所有节点，至此，得到去环后的有向无环图。
进一步，步骤S16中将作业有向无环图作为副本生成任务有向无环图的具体步骤如下：
S161：对对于任一个作业组，获取作业有向无环图中该作业组的第一个执行的作业，在当前系统时间基础上，通过作业的触发时间配置计算得到该作业的执行时间；
S162：遍历作业有向无环图中的其他节点，在第一个执行作业的执行时间基础上，通过该作业的触发时间配置计算得到该作业的执行时间；
S163：按照作业有向无环图的数据结构以及对应作业的执行时间克隆出任务有向无环图。
进一步，作业的触发时间配置可以是crontab表达式、定时配置、日期配置等。
图3举例说明了系统待调度的作业信息列表和作业之间的依赖关系，图示例子中，共有四个作业，分别是A、B、C、D，其触发时间配置采用crontab表达式。作业A在每天的1:00执行，作业B在每天的2:00执行，作业C在每天的3:00执行，作业D在每天的4:00执行。作业D依赖作业B和作业C，作业B依赖作业A，作业C依赖作业A。
图4是对图3所示的作业列表进行依赖调度的流程示意图，具体流程如下：
S21：调度器在初始化时生成任务有向无环图，进入状态a，此时依赖调度的输出（入度为0的任务）只有a1；
S22：在1:00时，任务a1被调度，当任务组的第一个任务被调度时，将作业有向无环图作为副本生成新的任务组，其中任务a2会在第二天的1:00执行，进入状态b，此时依赖调度的输出有a1、a2；
S23：当任务a1执行成功并反馈给调度器时，调度器将任务a1从任务有向无环图中移除，进入状态c，此时依赖调度的输出有b1、c1和a2；
S24：在2:00时，任务b1被调度，当任务b1执行成功时，调度器会将任务b1从任务有向无环图中移除，进入状态d，此时依赖调度的输出有c1和a2；
S25：同理，当任务c1被调度并执行成功时，调度器移除任务c1，进入状态e，此时依赖调度的输出有d1和a2；
S26：当任务d1调度并执行成功时，任务组被执行完毕，进入状态f，此时依赖调度的输出只有a2，开始新的一轮依赖调度流程。
进一步，步骤S22中将作业有向无环图作为副本生成新的任务组的具体步骤参考S16。
进一步，任务有向无环图的数据结构存在于调度器的内存中，可以通过哈希的数据结构来表示任务有向无环图，其中键为任务节点，值为依赖该任务的子任务节点列表。当需要移除一个任务及其依赖关系时，只需要在哈希集合中移除该节点。
图5描述了对依赖调度的输出任务进行定时调度的具体流程，定时调度过程是不断循环的过程，每次流程之后需要休眠一段时间，避免占用大量CPU资源，具体步骤如下：
S31：获取依赖调度的输出任务，即获取任务有向无环图中节点入度为0的任务；
S32：按照任务的触发时间对待任务进行排序；
S33：比较当前系统时间和任务的触发时间，筛选出当前需要调度执行的任务；
S34：将满足调度时间的任务分配给执行单元，由执行单元来执行任务程序；
S35：调度器分配完任务之后，进入休眠状态，等待下次定时调度。
图6描述了任务执行结果反馈的具体流程，执行单元执行完任务之后，会向调度器反馈执行结果，调度器根据任务执行结果动态调整依赖调度过程，具体步骤如下：
S41：调度器获取任务执行结果，包括任务基本信息和状态码；
S42：根据任务状态码判断任务是否执行成功，如果执行成功，则转移至步骤S43，如果执行失败，则转移至步骤S44；
S43：将执行成功的任务从任务有向无环图中移除，使得依赖该任务的子任务获得调度的机会，过程结束；
S44：将执行失败的任务所在的任务组从任务有向无环图中移除，报警提示该任务及其任务组执行失败，过程结束；
进一步，任务执行失败包括几种情况，(1)调度器给执行单元分配任务失败；(2)任务运行时抛出运行时异常，即进程退出状态码不为0；(3)作业运行时间过长，超过作业配置的运行超时时间。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (9)
1.一种支持作业依赖关系的定时作业调度方法，其特征在于：包括以下步骤：
S1.调度器从存储单元中加载作业相关数据，包括作业信息列表和作业依赖关系；
S2.调度器根据作业依赖关系将作业信息列表转化为作业有向无环图；
S3.调度器将作业有向无环图作为副本生成任务有向无环图；
S4.调度器对任务有向无环图中节点入度为非0的任务进行依赖调度；
S5.调度器根据任务触发时间对任务有向无环图中节点入度为0的任务进行定时调度；
S6.执行单元执行上述任务后，向调度器反馈相关的执行结果。
2.根据权利要求1所述的支持作业依赖关系的定时作业调度方法，其特征在于：所述步骤S2转化为作业有向无环图的具体过程如下：
S11.根据作业依赖关系，将作业列表转化为作业图结构，其中作业图结构中的每个节点代表了对应的作业信息；
S12.判断作业图结构是否存在环，如果存在，则继续执行步骤S13，否则转移到步骤S14；
S13：获取作业图结构中环所在的子连通图，移除该子连通图，使作业图结构是合法的，同时报警提示作业依赖关系异常；
S14：获取合法的作业有向无环图。
3.根据权利要求2所述的支持作业依赖关系的定时作业调度方法，其特征在于：所述步骤S11将作业列表转化为作业图结构的具体过程如下：
S111.构建空的哈希映射数据结构，其中映射的键表示一个作业，映射的值表示依赖作业的集合；
S112.遍历所有的作业，将其添加到哈希映射数据结构中；
S113.遍历所有的作业依赖关系，对任一依赖关系(x:y)，表示作业y在作业x之后调度，将作业y添加到作业x对应的依赖作业集合中，此时哈希映射数据结构表示为作业图结构。
4.根据权利要求2所述的支持作业依赖关系的定时作业调度方法，其特征在于：所述步骤S12中，对作业图结构进行拓扑排序，将排序后的节点数与作业图结构的节点数进行比较来判断作业图结构是否有环，如果排序后的节点数等于作业图结构的节点数，则图结构无环，如果排序后的节点数小于作业图结构的节点数，则图结构有环。
5.根据权利要求2所述的支持作业依赖关系的定时作业调度方法，其特征在于：所述步骤S13获取作业图结构中环所在的子连通图的具体过程如下：
S131.根据作业图结构的拓扑排序获取所有环及其连通的节点；
S132.将环及其连通的节点添加到集合中；
S133.遍历集合中的所有节点，将连通该节点的所有节点添加到集合中，同时也要遍历添加到集合中的新节点，将连通新节点的所有节点添加到集合中；
S134.遍历完所有节点后，获得环所在的子连通图，即集合中所有节点；
S135.移除作业图结构中包含在集合内的所有节点，至此，得到去环后的有向无环图。
6.根据权利要求1所述的支持作业依赖关系的定时作业调度方法，其特征在于：所述步骤S2将作业有向无环图作为副本生成任务有向无环图的具体过程如下：
S21. 对于任一个作业组，获取作业有向无环图中该作业组的第一个执行的作业，在当前系统时间基础上，通过作业的触发时间配置计算得到该作业的执行时间；
S22.遍历作业有向无环图的其他节点，在第一个执行作业的执行时间基础上，通过该作业的触发时间配置计算得到该作业的执行时间；
S23.按照作业有向无环图的数据结构以及对应作业的执行时间克隆出任务有向无环图。
7.根据权利要求1所述的支持作业依赖关系的定时作业调度方法，其特征在于：所述步骤S5进行定时调度的具体过程如下：
S51.获取任务有向无环图中节点入度为0的任务；
S52.按照任务的触发时间对任务进行排序；
S53.比较当前系统时间和任务的触发时间，筛选出当前需要调度执行的任务；
S54.将满足触发时间的任务分配给执行单元，由执行单元来执行任务程序；
S55.调度器分配完任务之后，进入休眠状态，等待下次定时调度。
8.根据权利要求1所述的支持作业依赖关系的定时作业调度方法，其特征在于：所述步骤S6中，执行单元执行完任务后，会向调度器反馈执行结果，调度器根据任务执行结果动态调整依赖调度过程，具体步骤如下：
S61.调度器获取任务执行结果，包括任务基本信息和状态码；
S62.根据任务状态码判断任务是否执行成功，如果执行成功，则转移至步骤S63，如果执行失败，则转移至步骤S64；
S63.将执行成功的任务从任务有向无环图中移除，使得依赖该任务的子任务获得调度的机会，过程结束；
S64.将执行失败的任务所在的任务组从任务有向无环图中移除，报警提示该任务及其任务组执行失败，过程结束。
9.一种根据权利要求1~8任一项所述方法的系统，其特征在于：包括存储单元、调度器和执行单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711436091.3A CN108037991A (zh) | 2017-12-26 | 2017-12-26 | 一种支持作业依赖关系的定时作业调度方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711436091.3A CN108037991A (zh) | 2017-12-26 | 2017-12-26 | 一种支持作业依赖关系的定时作业调度方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108037991A true CN108037991A (zh) | 2018-05-15 |
Family
ID=62101280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711436091.3A Pending CN108037991A (zh) | 2017-12-26 | 2017-12-26 | 一种支持作业依赖关系的定时作业调度方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108037991A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109375996A (zh) * | 2018-09-27 | 2019-02-22 | 安徽省鼎众金融信息咨询服务有限公司 | 一种支持依赖关系管理的任务调度系统 |
| CN109684063A (zh) * | 2018-12-26 | 2019-04-26 | 亚信科技（中国）有限公司 | 一种任务调度方法和装置 |
| CN110109740A (zh) * | 2019-05-08 | 2019-08-09 | 宜人恒业科技发展（北京）有限公司 | 一种Crontab命令的执行方法及装置 |
| CN110134505A (zh) * | 2019-05-15 | 2019-08-16 | 湖南麒麟信安科技有限公司 | 一种集群系统的分布式计算方法、系统及介质 |
| CN111736969A (zh) * | 2020-06-16 | 2020-10-02 | 中国银行股份有限公司 | 分布式作业调度方法及装置 |
| CN111915279A (zh) * | 2020-08-13 | 2020-11-10 | 中国工商银行股份有限公司 | 作业数据流审核方法、装置及系统 |
| CN111930487A (zh) * | 2020-08-28 | 2020-11-13 | 北京百度网讯科技有限公司 | 作业流调度方法、装置、电子设备及存储介质 |
| CN112306471A (zh) * | 2020-10-19 | 2021-02-02 | 北京金山云网络技术有限公司 | 一种任务的调度方法和装置 |
| CN112346842A (zh) * | 2020-11-19 | 2021-02-09 | 广州嘉为科技有限公司 | 一种基于有向无环图的工作流任务调度方法 |
| CN112650573A (zh) * | 2020-12-31 | 2021-04-13 | 中国农业银行股份有限公司 | 一种任务调度方法和装置 |
| CN112835696A (zh) * | 2021-02-08 | 2021-05-25 | 兴业数字金融服务（上海）股份有限公司 | 多租户任务调度方法、系统及介质 |
| CN112948072A (zh) * | 2021-01-28 | 2021-06-11 | 中电健康云科技有限公司 | 一种基于时间与依赖关系的大数据任务调度系统及方法 |
| CN113238533A (zh) * | 2021-05-12 | 2021-08-10 | 广东美房智高机器人有限公司 | 一种移动机器人的作业任务动态调度下发系统及方法 |
| CN113239028A (zh) * | 2021-05-10 | 2021-08-10 | 成都新潮传媒集团有限公司 | 一种数据仓库调度的数据修复方法、装置和可读存储介质 |
| CN113378007A (zh) * | 2020-03-09 | 2021-09-10 | 网易（杭州）网络有限公司 | 数据回溯方法及装置、计算机可读存储介质、电子设备 |
| CN113535367A (zh) * | 2021-09-07 | 2021-10-22 | 北京达佳互联信息技术有限公司 | 任务调度方法及相关装置 |
| CN114676324A (zh) * | 2022-03-28 | 2022-06-28 | 网易（杭州）网络有限公司 | 一种数据处理方法、装置及设备 |
| CN115061796A (zh) * | 2022-06-17 | 2022-09-16 | 特赞（上海）信息科技有限公司 | 子任务之间调用的执行方法、系统及电子设备 |
| CN115904672A (zh) * | 2023-02-23 | 2023-04-04 | 云筑信息科技(成都)有限公司 | 一种用于检测大数据etl任务调度循环依赖的方法 |
| CN116737511A (zh) * | 2023-08-10 | 2023-09-12 | 山景智能(北京)科技有限公司 | 基于图的调度作业监控方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070067201A1 (en) * | 2005-07-15 | 2007-03-22 | Grzegorz Malewicz | Method and system for parallel scheduling of complex dags under uncertainty |
| CN101576980A (zh) * | 2009-06-15 | 2009-11-11 | 用友软件股份有限公司 | 业务项目顺序的设置方法和装置 |
| CN101963921A (zh) * | 2010-09-21 | 2011-02-02 | 卓望数码技术（深圳）有限公司 | 一种作业调度方法和系统 |
| CN104765641A (zh) * | 2014-01-02 | 2015-07-08 | 中国移动通信集团安徽有限公司 | 一种作业调度方法及系统 |
| CN104965754A (zh) * | 2015-03-31 | 2015-10-07 | 腾讯科技（深圳）有限公司 | 任务调度方法及任务调度装置 |
| CN105912387A (zh) * | 2015-08-25 | 2016-08-31 | 乐视网信息技术（北京）股份有限公司 | 数据处理作业调度方法及装置 |
| US20170061054A1 (en) * | 2015-09-01 | 2017-03-02 | International Business Machines Corporation | Automated timing analysis |
| CN106815071A (zh) * | 2017-01-12 | 2017-06-09 | 上海轻维软件有限公司 | 基于有向无环图的大数据作业调度系统 |
-
2017
- 2017-12-26 CN CN201711436091.3A patent/CN108037991A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070067201A1 (en) * | 2005-07-15 | 2007-03-22 | Grzegorz Malewicz | Method and system for parallel scheduling of complex dags under uncertainty |
| CN101576980A (zh) * | 2009-06-15 | 2009-11-11 | 用友软件股份有限公司 | 业务项目顺序的设置方法和装置 |
| CN101963921A (zh) * | 2010-09-21 | 2011-02-02 | 卓望数码技术（深圳）有限公司 | 一种作业调度方法和系统 |
| CN104765641A (zh) * | 2014-01-02 | 2015-07-08 | 中国移动通信集团安徽有限公司 | 一种作业调度方法及系统 |
| CN104965754A (zh) * | 2015-03-31 | 2015-10-07 | 腾讯科技（深圳）有限公司 | 任务调度方法及任务调度装置 |
| CN105912387A (zh) * | 2015-08-25 | 2016-08-31 | 乐视网信息技术（北京）股份有限公司 | 数据处理作业调度方法及装置 |
| US20170061054A1 (en) * | 2015-09-01 | 2017-03-02 | International Business Machines Corporation | Automated timing analysis |
| CN106815071A (zh) * | 2017-01-12 | 2017-06-09 | 上海轻维软件有限公司 | 基于有向无环图的大数据作业调度系统 |
Non-Patent Citations (1)
| Title |
|---|
| 唐铭春: "《传统优化方法求解Job-shop调度问题的特征分析及改进策略研究》", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109375996A (zh) * | 2018-09-27 | 2019-02-22 | 安徽省鼎众金融信息咨询服务有限公司 | 一种支持依赖关系管理的任务调度系统 |
| CN109684063B (zh) * | 2018-12-26 | 2021-03-26 | 亚信科技（中国）有限公司 | 一种任务调度方法和装置 |
| CN109684063A (zh) * | 2018-12-26 | 2019-04-26 | 亚信科技（中国）有限公司 | 一种任务调度方法和装置 |
| CN110109740A (zh) * | 2019-05-08 | 2019-08-09 | 宜人恒业科技发展（北京）有限公司 | 一种Crontab命令的执行方法及装置 |
| CN110134505A (zh) * | 2019-05-15 | 2019-08-16 | 湖南麒麟信安科技有限公司 | 一种集群系统的分布式计算方法、系统及介质 |
| CN113378007A (zh) * | 2020-03-09 | 2021-09-10 | 网易（杭州）网络有限公司 | 数据回溯方法及装置、计算机可读存储介质、电子设备 |
| CN111736969A (zh) * | 2020-06-16 | 2020-10-02 | 中国银行股份有限公司 | 分布式作业调度方法及装置 |
| CN111736969B (zh) * | 2020-06-16 | 2024-04-16 | 中国银行股份有限公司 | 分布式作业调度方法及装置 |
| CN111915279A (zh) * | 2020-08-13 | 2020-11-10 | 中国工商银行股份有限公司 | 作业数据流审核方法、装置及系统 |
| CN111915279B (zh) * | 2020-08-13 | 2024-08-06 | 中国工商银行股份有限公司 | 作业数据流审核方法、装置及系统 |
| CN111930487A (zh) * | 2020-08-28 | 2020-11-13 | 北京百度网讯科技有限公司 | 作业流调度方法、装置、电子设备及存储介质 |
| CN111930487B (zh) * | 2020-08-28 | 2024-05-24 | 北京百度网讯科技有限公司 | 作业流调度方法、装置、电子设备及存储介质 |
| CN112306471A (zh) * | 2020-10-19 | 2021-02-02 | 北京金山云网络技术有限公司 | 一种任务的调度方法和装置 |
| CN112346842A (zh) * | 2020-11-19 | 2021-02-09 | 广州嘉为科技有限公司 | 一种基于有向无环图的工作流任务调度方法 |
| CN112346842B (zh) * | 2020-11-19 | 2024-03-26 | 广州嘉为科技有限公司 | 一种基于有向无环图的工作流任务调度方法 |
| CN112650573A (zh) * | 2020-12-31 | 2021-04-13 | 中国农业银行股份有限公司 | 一种任务调度方法和装置 |
| CN112650573B (zh) * | 2020-12-31 | 2024-04-12 | 中国农业银行股份有限公司 | 一种任务调度方法和装置 |
| CN112948072A (zh) * | 2021-01-28 | 2021-06-11 | 中电健康云科技有限公司 | 一种基于时间与依赖关系的大数据任务调度系统及方法 |
| CN112835696A (zh) * | 2021-02-08 | 2021-05-25 | 兴业数字金融服务（上海）股份有限公司 | 多租户任务调度方法、系统及介质 |
| CN112835696B (zh) * | 2021-02-08 | 2023-12-05 | 兴业数字金融服务（上海）股份有限公司 | 多租户任务调度方法、系统及介质 |
| CN113239028A (zh) * | 2021-05-10 | 2021-08-10 | 成都新潮传媒集团有限公司 | 一种数据仓库调度的数据修复方法、装置和可读存储介质 |
| CN113238533B (zh) * | 2021-05-12 | 2022-05-13 | 广东美房智高机器人有限公司 | 一种移动机器人的作业任务动态调度下发系统及方法 |
| CN113238533A (zh) * | 2021-05-12 | 2021-08-10 | 广东美房智高机器人有限公司 | 一种移动机器人的作业任务动态调度下发系统及方法 |
| CN113535367B (zh) * | 2021-09-07 | 2022-01-25 | 北京达佳互联信息技术有限公司 | 任务调度方法及相关装置 |
| CN113535367A (zh) * | 2021-09-07 | 2021-10-22 | 北京达佳互联信息技术有限公司 | 任务调度方法及相关装置 |
| CN114676324A (zh) * | 2022-03-28 | 2022-06-28 | 网易（杭州）网络有限公司 | 一种数据处理方法、装置及设备 |
| CN115061796A (zh) * | 2022-06-17 | 2022-09-16 | 特赞（上海）信息科技有限公司 | 子任务之间调用的执行方法、系统及电子设备 |
| CN115061796B (zh) * | 2022-06-17 | 2024-09-10 | 特赞（上海）信息科技有限公司 | 子任务之间调用的执行方法、系统及电子设备 |
| CN115904672A (zh) * | 2023-02-23 | 2023-04-04 | 云筑信息科技(成都)有限公司 | 一种用于检测大数据etl任务调度循环依赖的方法 |
| CN116737511A (zh) * | 2023-08-10 | 2023-09-12 | 山景智能(北京)科技有限公司 | 基于图的调度作业监控方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108037991A (zh) | 一种支持作业依赖关系的定时作业调度方法及系统 | |
| CN102663552B (zh) | 一种支持在线自演化的动态工作流引擎 | |
| Zuo et al. | A robust scheduling method based on a multi-objective immune algorithm | |
| Ying et al. | Unrelated parallel machine scheduling with sequence-and machine-dependent setup times and due date constraints | |
| Kim | ROAFTS: A middleware architecture for real-time object-oriented adaptive fault tolerance support | |
| Demeulemeester et al. | Modelling setup times, process batches and transfer batches using activity network logic | |
| Cao et al. | Reliability-Driven End–End–Edge Collaboration for Energy Minimization in Large-Scale Cyber-Physical Systems | |
| Sharma et al. | An agent based dynamic resource scheduling model with FCFS-job grouping strategy in grid computing | |
| Herrera et al. | Porting of scientific applications to grid computing on gridway | |
| La Bella et al. | A fully distributed control scheme for power balancing in distribution networks | |
| CN106899392B (zh) | EtherCAT消息传输过程中对瞬时故障进行容错的方法 | |
| Almeida et al. | Plan-based replication for fault-tolerant multi-agent systems | |
| Cushing et al. | Dynamic handling for cooperating scientific web services | |
| Chauhan | Fault tolerant decentralized scheduling algorithm for P2P grid | |
| Theiss et al. | A Java software agent framework for hard real-time manufacturing control | |
| Monteiro et al. | Task scheduling with makespan minimization for distributed machine learning ensembles | |
| Indhumathi et al. | Service oriented architecture for load balancing with fault tolerant in grid computing | |
| Lee et al. | Multi-agent system based intelligent distributed control system for power plants | |
| Bendjoudi et al. | Fault-tolerant mechanism for hierarchical branch and bound algorithm | |
| Dai et al. | A task-based fault-tolerance mechanism to hierarchical master/worker with divisible tasks | |
| Guo et al. | Modeling and analysis of grid service reliability considering fault recovery | |
| Wang et al. | An approximate optimal solution to GPU workload scheduling | |
| Keshlaf et al. | SSwIoT: Smart Algorithm for IoT Swarm Tasks Allocation | |
| Boonon et al. | An approach to clustering feature model based on adaptive behavior for dynamic software product line | |
| Zhao et al. | A Dynamic Differential Evolution Algorithm for Dynamic Hybrid Flow Shop Scheduling Problem |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180515 |
|
| RJ01 | Rejection of invention patent application after publication |