CN110688211B - 一种分布式作业调度方法 - Google Patents

一种分布式作业调度方法 Download PDF

Info

Publication number
CN110688211B
CN110688211B CN201910902602.9A CN201910902602A CN110688211B CN 110688211 B CN110688211 B CN 110688211B CN 201910902602 A CN201910902602 A CN 201910902602A CN 110688211 B CN110688211 B CN 110688211B
Authority
CN
China
Prior art keywords
job
dependent
execution
java
jobs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910902602.9A
Other languages
English (en)
Other versions
CN110688211A (zh
Inventor
谢延泽
李佳明
周勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN201910902602.9A priority Critical patent/CN110688211B/zh
Publication of CN110688211A publication Critical patent/CN110688211A/zh
Application granted granted Critical
Publication of CN110688211B publication Critical patent/CN110688211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Retry When Errors Occur (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种分布式作业调度方法，属于分布式任务调度框架下的作业编排技术领域，解决现有技术中的依赖作业只能有一个分片，从而造成作业的水平扩容被牺牲的问题。本发明根据应用场景，将每个作业进行分片，得到作业分片；在每个作业中都有一个用于描述其依赖作业的字段，若作业不是起始作业，在字段中配置依赖作业的相关信息，配置后得到所有JAVA依赖作业，所有JAVA依赖作业包括起始作业和配置了字段的JAVA依赖作业；基于作业分片和所有JAVA依赖作业，周期性触发各JAVA依赖作业执行逻辑判断，根据判断结果执行或不执行作业，直到整个流程中所有作业正常完成。本发明用于分布式作业调度。

Description

一种分布式作业调度方法
技术领域
一种分布式作业调度方法，用于分布式作业调度，属于分布式任务调度框架下的作业编排技术领域。
背景技术
现有技术中，把定时任务通过集群的方式进行管理调度，并采用分布式部署，保证系统的高可用，提高了容错。这就是分布式作业调度平台可以实现的。
现有技术中，Saturn 3.3.0已经有自己的依赖作业实现，其实现方案如下：
1） 通过作业对应的worker每秒一次的立即执行检测来判断作业是否执行；
2） 作业类型的选择：作业编排是一个有序无环的流程，所以第一个作业和其他作业是两个作业类型（第一个作业为JAVA/SHELL定时作业，其它作业为JAVA/SHELL依赖作业）；
3） 每次定时作业成功后检测是否有下游作业（即JAVA/SHELL依赖作业），如果有，则通过1）去触发，直至所有依赖作业执行正常完成。
上述所有依赖作业都只能有一个分片，从而造成作业的水平扩容（作业并发）被牺牲掉了。
发明内容
针对上述研究的问题，本发明的目的在于提供一种分布式作业调度方法，解决现有技术中的依赖作业只能有一个分片，从而造成作业的水平扩容被牺牲的问题。
为了达到上述目的，本发明采用如下技术方案：
一种分布式作业调度方法，包括如下步骤：
S1、根据作业依赖应用场景，将每个作业进行分片，得到作业分片；
S2、在每个作业中都有一个用于描述其依赖作业的字段，若作业不是起始作业，在字段中配置依赖作业的相关信息，配置后得到所有JAVA依赖作业，所有JAVA依赖作业包括起始作业和配置了字段的JAVA依赖作业；
S3、基于作业分片和所有JAVA依赖作业，周期性触发各JAVA依赖作业执行逻辑判断，根据判断结果执行或不执行作业，直到整个流程中所有作业正常完成，其中，所述步骤S3的具体步骤为：
S3.1、判断JAVA依赖作业的作业分片是否是起始作业，即判断描述依赖作业的字段中是否配置有相关信息，若是起始作业，转到步骤S3.7，若否，转到步骤S3.2；
S3.2、周期性触发各JAVA依赖作业的各作业分片执行逻辑判断，即针对各JAVA依赖作业的各作业分片，周期性的检查作业分片是否有流程记录，若是，转到步骤S3.3，若否，转到步骤S3.4，流程记录包括起始作业产生的用于标志一个流程的流程ID和作业分片执行记录，作业分片执行记录即为作业分片执行结果；
S3.3、判断作业分片是否已成功执行，若否，返回true，并转到步骤S3.8，若是，返回false；
S3.4、检查作业分片的依赖作业是否都有执行记录，若是，转到步骤S3.5，若否，返回false，即作业分片执行失败，整个流程都停在出错的作业，从web页面查看依赖作业以及日志，排错后清除作业分片的执行记录，再次执行步骤S3.2，其中，执行记录包括起始作业产生的用于标志一个流程的流程ID和作业分片执行记录，作业分片执行记录包括执行成功或者失败的记录、执行过程和执行结果；
S3.5、检查作业分片的依赖作业的作业分片的执行数量是否与该依赖作业的作业分片数量相同，若是，转到步骤S3.6，若否，返回false，即作业分片执行失败，整个流程都停在出错的作业，从web页面查看依赖作业以及日志，排错后清除作业分片的执行记录，再次执行步骤S3.2；
S3.6、检查作业分片的依赖作业的作业分片是否都正常执行完成，若是，返回true，并转到步骤S3.8，若否，返回false，即作业分片执行失败，整个流程都停在出错的作业，从web页面查看依赖作业以及日志，排错后清除作业分片的执行记录，再次执行步骤S3.2；
S3.7、检查是否有作业分片执行记录，若有，判断是否已成功执行，若是成功执行，表示起始作业的作业分片已正常执行完成，返回false，若不是成功执行或没有作业分片执行记录，返回true，并转到步骤S3.8；
S3.8、执行JAVA依赖作业的该作业分片，并对执行后的结果进行处理，若JAVA依赖作业的作业分片是结束作业，正常执行后清除所有JAVA依赖作业的记录，若否，则不作处理。
进一步，所述步骤S1通过web页面配置分片数量以及每个分片的任务来将每个作业拆分成多个作业分片。
进一步，所述步骤S2中的字段是用于描述依赖作业的作业名，即相关信息为作业名;依赖作业即指当前JAVA依赖作业所要依赖的其它JAVA依赖作业。
进一步，所述步骤S2中，在字段中配置依赖作业的相关信息的方式为手工配置。
进一步，所述步骤S3.2中，通过Cron表达式周期性触发作业分片执行判断逻辑，其中，超始作业的执行周期按照当前需要进行设置，包括日切任务，即设置日切为每天的某个时间点，JAVA依赖作业的执行周期设置为1-5秒一次，超始作业的周期要比JAVA依赖作业的周期要长。
进一步，所述步骤S3.8中，执行JAVA依赖作业的该作业分片，并对执行后的结果进行处理的具体步骤为：
S3.8.1、执行器执行当前JAVA依赖作业的该作业分片，若作业分片执行异常，转到步骤S3.8.2，若作业分片执行正常，转到步骤S3.8.3；
S3.8.2、返回失败以及异常信息，异常信息会以http的方式被发送到对应的告警平台，作业分片的执行结果会被记录在Zookeeper和MySQL数据库中，其中，Zookeeper的数据用来判断作业执行与否，数据库的数据是用在控制台页面展示，即图形化方式展示作业执行状态，包括历史执行记录，现在运行状态；
S3.8.3、作业分片的执行结果会被记录在Zookeeper和MySQL数据库中。
本发明同现有技术相比，其有益效果表现在：
一、本发明将一个作业拆分为多个作业分片的性能与单分片的性能差距与两者分片数比值成正比，如果是大批量的数据处理，此时多分片的优势就会非常明显，如：现有作业JobA ，作业处理时间单分片用时T1,作业处理时间多分片用时T2，多分片数量N，T1和T2比值在一定硬件条件下满足T2:T1≈1:N，则两种分片方式在性能上的差异与分片数的大小明显相关；
二、本发明将一个作业拆分为多个作业分片，每个作业分片处理对应的资源，使得效率和性能更佳，若直接通过web页面配置分片数量以及每个分片的任务更加高效，即相对于手动配置更高效；
三、本发明分片的水平扩容通过分片的配置，即分片数量和分片参数（作业分片在程序中体现为一个线程，执行该作业线程的数量等于这个作业的分片数量，同理，分片参数描述了每个作业分片的具体分工）来控制该作业的分片并发数量，从而实现对其运行性能的控制；
四、本发明的JAVA依赖作业执行过程中某一个依赖作业失败了，在人为解决了之后可以无限次数重跑失败作业；
五、本发明将作业类型的判断交由程序判断，即相对于现有的实现方案将第一个作业和后面的依赖作业分为两个类型，在配置时如果两者作业类型没有对应，则会出现错误；然而本方案统一两者为一个作业类型JAVA依赖作业，则避免了配置上出错的风险，因为第一个作业和其他作业的判断过程在程序中，完全避免了作业配置可能导致的不确定因素（如配置的时候作业类型的选择不能对应上就会出现相应的错误）所引起的错误（即指不能正常执行）；
六、本发明是一个有序无环的作业链，当前的JAVA依赖作业的依赖作业都执行完成才能执行其本身，不仅留了所有定时作业的特性、又加上了依赖作业的特性，最终实现了多分片的特性，且降低了配置的复杂度。
附图说明
图1是本发明中的作业分片的执行流程示意图；
图2是本发明中周期性触发作业分片执行逻辑判断的示意图。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
一种分布式作业调度方法，包括如下步骤：
S1、根据作业依赖应用场景，将每个作业进行分片，得到作业分片；将每个作业通过web页面配置分片数量以及每个分片的任务来将每个作业拆分成多个作业分片。
S2、在每个作业中都有一个用于描述其依赖作业的字段，若作业不是起始作业，在字段中配置依赖作业的相关信息，配置后得到所有JAVA依赖作业，所有JAVA依赖作业包括起始作业和配置了字段的JAVA依赖作业；字段是用于描述依赖作业的作业名，即相关信息为作业名;依赖作业即指当前JAVA依赖作业所要依赖的其它JAVA依赖作业。在字段中配置依赖作业的相关信息的方式为手工配置。
S3、基于作业分片和所有JAVA依赖作业，周期性触发各JAVA依赖作业执行逻辑判断，根据判断结果执行或不执行作业，直到整个流程中所有作业正常完成。具体步骤为：
S3.1、判断JAVA依赖作业的作业分片是否是起始作业，即判断描述依赖作业的字段中是否配置有相关信息，若是起始作业，转到步骤S3.7，若否，转到步骤S3.2；
S3.2、周期性触发各JAVA依赖作业的各作业分片执行逻辑判断，即针对各JAVA依赖作业的各作业分片，周期性的检查作业分片是否有流程记录，若是，转到步骤S3.3，若否，转到步骤S3.4，流程记录包括起始作业产生的用于标志一个流程的流程ID和作业分片执行记录，作业分片执行记录即为作业分片执行结果；通过Cron表达式周期性触发作业分片执行判断逻辑，其中，超始作业的执行周期按照当前需要进行设置，包括日切任务，即设置日切为每天的某个时间点，JAVA依赖作业的执行周期设置为1-5秒一次，超始作业的周期要比JAVA依赖作业的周期要长。
S3.3、判断作业分片是否已成功执行，若否，返回true，并转到步骤S3.8，若是，返回false；
S3.4、检查作业分片的依赖作业是否都有执行记录，若是，转到步骤S3.5，若否，返回false，即作业分片执行失败，整个流程都停在出错的作业，从web页面查看依赖作业以及日志，排错后清除作业分片的执行记录，再次执行步骤S3.2，其中，执行记录包括起始作业产生的用于标志一个流程的流程ID和作业分片执行记录，作业分片执行记录包括执行成功或者失败的记录、执行过程和执行结果；
S3.5、检查作业分片的依赖作业的作业分片的执行数量是否与该依赖作业的作业分片数量相同，若是，转到步骤S3.6，若否，返回false，即作业分片执行失败，整个流程都停在出错的作业，从web页面查看依赖作业以及日志，排错后清除作业分片的执行记录，再次执行步骤S3.2；
S3.6、检查作业分片的依赖作业的作业分片是否都正常执行完成，若是，返回true，并转到步骤S3.8，若否，返回false，即作业分片执行失败，整个流程都停在出错的作业，从web页面查看依赖作业以及日志，排错后清除作业分片的执行记录，再次执行步骤S3.2；
S3.7、检查是否有作业分片执行记录，若有，判断是否已成功执行，若是成功执行，表示起始作业的作业分片已正常执行完成，返回false，若不是成功执行或没有作业分片执行记录，返回true，并转到步骤S3.8；
S3.8、执行JAVA依赖作业的该作业分片，并对执行后的结果进行处理，若JAVA依赖作业的作业分片是结束作业，正常执行后清除所有JAVA依赖作业的记录，若否，则不作处理。
执行JAVA依赖作业的该作业分片，并对执行后的结果进行处理的具体步骤为：
S3.8.1、执行器执行当前JAVA依赖作业的该作业分片，若作业分片执行异常，转到步骤S3.8.2，若作业分片执行正常，转到步骤S3.8.3；
S3.8.2、返回失败以及异常信息，异常信息会以http的方式被发送到对应的告警平台，作业分片的执行结果会被记录在Zookeeper和MySQL数据库中，其中，Zookeeper的数据用来判断作业执行与否，数据库的数据是用在控制台页面展示，即图形化方式展示作业执行状态，包括历史执行记录，现在运行状态；
S3.8.3、作业分片的执行结果会被记录在Zookeeper和MySQL数据库中。
实施例
作业配置存在MySQL数据库，作业的运行方式是作业分片，即作业分片存在运行作业的服务器的内存中。
在金融领域的依赖作业应用场景中，配置4个作业A、B1、B2和C，每个作业的分片数量都为2， B1、B2和C配置好相应的依赖作业的作业名，具体如下；
作业A:每天执行一次触发，无依赖作业；
作业B1:每秒执行一次触发,依赖作业A，即两个作业分片都依赖A；作业B2:每秒执行一次触发,依赖作业A，即两个作业分片都依赖A；作业C:每秒执行一次触发,依赖作业B1和B2，即两个作业分片都依赖B1和B2；
所有作业（即JAVA依赖作业A、B1、B2和C）都启用后,除起始作业A外其他作业（即除A外的其它全部作业）都先判断作业分片有没有流程记录，没有，于是检查依赖作业是否有执行记录，此时作业B1、B2的依赖作业A没有执行记录，则返回false，即不执行所检查的作业分片，作业C的依赖作业B1、B2没有执行记录，返回false即不执行，所以现象就是除了作业A其他作业都不会执行作业业务；
对于起始作业A，检查当前作业没有执行记录，则认为可以执行，返回true；
若作业A所有作业分片都执行正常,则下次作业B1和B2被触发判断时，通过B1和B2的作业分片进行逻辑判断，即B1和B2的各作业分片没有流程记录,依赖作业A有执行记录、依赖作业A的所有作业分片的执行数量和分片数量是相同的和所有作业分片都正常完成，返回true,即可执行作业B1和B2的作业分片，同理,作业C在B1、B2的所有作业分片都正常完成后返回true,执行作业C。
以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (6)

1.一种分布式作业调度方法，其特征在于，包括如下步骤：
S1、根据作业依赖应用场景，将每个作业进行分片，得到作业分片；
S2、在每个作业中都有一个用于描述其依赖作业的字段，若作业不是起始作业，在字段中配置依赖作业的相关信息，配置后得到所有JAVA依赖作业，所有JAVA依赖作业包括起始作业和配置了字段的JAVA依赖作业；
S3、基于作业分片和所有JAVA依赖作业，周期性触发各JAVA依赖作业执行逻辑判断，根据判断结果执行或不执行作业，直到整个流程中所有作业正常完成，其中，所述步骤S3的具体步骤为：
S3.1、判断JAVA依赖作业的作业分片是否是起始作业，即判断描述依赖作业的字段中是否配置有相关信息，若是起始作业，转到步骤S3.7，若否，转到步骤S3.2；
S3.2、周期性触发各JAVA依赖作业的各作业分片执行逻辑判断，即针对各JAVA依赖作业的各作业分片，周期性的检查作业分片是否有流程记录，若是，转到步骤S3.3，若否，转到步骤S3.4，流程记录包括起始作业产生的用于标志一个流程的流程ID和作业分片执行记录，作业分片执行记录即为作业分片执行结果；
S3.3、判断作业分片是否已成功执行，若否，返回true，并转到步骤S3.8，若是，返回false；
S3.4、检查作业分片的依赖作业是否都有执行记录，若是，转到步骤S3.5，若否，返回false，即作业分片执行失败，整个流程都停在出错的作业，从web页面查看依赖作业以及日志，排错后清除作业分片的执行记录，再次执行步骤S3.2，其中，执行记录包括起始作业产生的用于标志一个流程的流程ID和作业分片执行记录，作业分片执行记录包括执行成功或者失败的记录、执行过程和执行结果；
S3.5、检查作业分片的依赖作业的作业分片的执行数量是否与该依赖作业的作业分片数量相同，若是，转到步骤S3.6，若否，返回false，即作业分片执行失败，整个流程都停在出错的作业，从web页面查看依赖作业以及日志，排错后清除作业分片的执行记录，再次执行步骤S3.2；
S3.6、检查作业分片的依赖作业的作业分片是否都正常执行完成，若是，返回true，并转到步骤S3.8，若否，返回false，即作业分片执行失败，整个流程都停在出错的作业，从web页面查看依赖作业以及日志，排错后清除作业分片的执行记录，再次执行步骤S3.2；
S3.7、检查是否有作业分片执行记录，若有，判断是否已成功执行，若是成功执行，表示起始作业的作业分片已正常执行完成，返回false，若不是成功执行或没有作业分片执行记录，返回true，并转到步骤S3.8；
S3.8、执行JAVA依赖作业的该作业分片，并对执行后的结果进行处理，若JAVA依赖作业的作业分片是结束作业，正常执行后清除所有JAVA依赖作业的记录，若否，则不作处理。
2.根据权利要求1所述的一种分布式作业调度方法，其特征在于，所述步骤S1通过web页面配置分片数量以及每个分片的任务来将每个作业拆分成多个作业分片。
3.根据权利要求1所述的一种分布式作业调度方法，其特征在于，所述步骤S2中的字段是用于描述依赖作业的作业名，即相关信息为作业名;依赖作业即指当前JAVA依赖作业所要依赖的其它JAVA依赖作业。
4.根据权利要求1所述的一种分布式作业调度方法，其特征在于，所述步骤S2中，在字段中配置依赖作业的相关信息的方式为手工配置。
5.根据权利要求1所述的一种分布式作业调度方法，其特征在于，所述步骤S3.2中，通过Cron表达式周期性触发作业分片执行判断逻辑，其中，超始作业的执行周期按照当前需要进行设置，包括日切任务，即设置日切为每天的某个时间点，JAVA依赖作业的执行周期设置为1-5秒一次，超始作业的周期要比JAVA依赖作业的周期要长。
6.根据权利要求1所述的一种分布式作业调度方法，其特征在于，所述步骤S3.8中，执行JAVA依赖作业的该作业分片，并对执行后的结果进行处理的具体步骤为：
S3.8.1、执行器执行当前JAVA依赖作业的该作业分片，若作业分片执行异常，转到步骤S3.8.2，若作业分片执行正常，转到步骤S3.8.3；
S3.8.2、返回失败以及异常信息，异常信息会以http的方式被发送到对应的告警平台，作业分片的执行结果会被记录在Zookeeper和MySQL数据库中，其中，Zookeeper的数据用来判断作业执行与否，数据库的数据是用在控制台页面展示，即图形化方式展示作业执行状态，包括历史执行记录，现在运行状态；
S3.8.3、作业分片的执行结果会被记录在Zookeeper和MySQL数据库中。
CN201910902602.9A 2019-09-24 2019-09-24 一种分布式作业调度方法 Active CN110688211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910902602.9A CN110688211B (zh) 2019-09-24 2019-09-24 一种分布式作业调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910902602.9A CN110688211B (zh) 2019-09-24 2019-09-24 一种分布式作业调度方法

Publications (2)

Publication Number Publication Date
CN110688211A CN110688211A (zh) 2020-01-14
CN110688211B true CN110688211B (zh) 2023-06-06

Family

ID=69109964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910902602.9A Active CN110688211B (zh) 2019-09-24 2019-09-24 一种分布式作业调度方法

Country Status (1)

Country Link
CN (1) CN110688211B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522646A (zh) * 2020-04-30 2020-08-11 北京江融信科技有限公司 用于批次调度中心与批次应用服务之间的注册方法及系统
CN111581243B (zh) * 2020-04-30 2023-04-18 北京江融信科技有限公司 基于批次数据库的批处理任务执行方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105630588A (zh) * 2014-11-06 2016-06-01 卓望数码技术（深圳）有限公司 一种分布式作业调度方法和系统
CN108491254A (zh) * 2018-02-07 2018-09-04 链家网（北京）科技有限公司 一种数据仓库的调度方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1292346C (zh) * 2003-09-12 2006-12-27 国际商业机器公司 用于在分布式计算体系结构中执行作业的系统和方法
US20140245319A1 (en) * 2013-02-27 2014-08-28 Greenbutton Limited Method for enabling an application to run on a cloud computing system
CN103473121A (zh) * 2013-08-20 2013-12-25 西安电子科技大学 一种基于云计算平台的海量图片并行处理方法
CN106293940A (zh) * 2016-08-08 2017-01-04 浪潮通用软件有限公司 一种金融行业中并行跑批的方法
CN110245108A (zh) * 2019-07-15 2019-09-17 北京一流科技有限公司 执行体创建系统和执行体创建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105630588A (zh) * 2014-11-06 2016-06-01 卓望数码技术（深圳）有限公司 一种分布式作业调度方法和系统
CN108491254A (zh) * 2018-02-07 2018-09-04 链家网（北京）科技有限公司 一种数据仓库的调度方法及装置

Also Published As

Publication number Publication date
CN110688211A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
US10831622B2 (en) Method and apparatus for processing gateway device fault
US6026499A (en) Scheme for restarting processes at distributed checkpoints in client-server computer system
CN113111129B (zh) 数据同步方法、装置、设备及存储介质
CN110895487B (zh) 分布式任务调度系统
CN110688211B (zh) 一种分布式作业调度方法
US20170060671A1 (en) Anomaly recovery method for virtual machine in distributed environment
CN107193539B (zh) 多线程并发处理方法和多线程并发处理系统
CN111125444A (zh) 大数据任务调度管理方法、装置、设备及存储介质
CN110895484A (zh) 任务调度方法及装置
US10924538B2 (en) Systems and methods of monitoring software application processes
CN110895488B (zh) 任务调度方法及装置
WO2013102812A1 (en) A fault tolerant system in a loosely-coupled cluster environment
CN112199178B (zh) 一种基于轻量化容器的云服务动态调度方法及系统
CN111459639B (zh) 一种支持全球多机房部署的分布式任务管理平台及方法
CN110895486B (zh) 分布式任务调度系统
CN110895483A (zh) 任务恢复方法及装置
CN115994044B (zh) 基于监控服务的数据库故障处理方法、装置及分布式集群
CN111970148A (zh) 分布式任务调度方法及系统
US7373542B2 (en) Automatic startup of a cluster system after occurrence of a recoverable error
Ngo et al. Tolerating slowdowns in replicated state machines using copilots
CN110895485A (zh) 任务调度系统
CN113485814A (zh) 批量任务调度方法及装置
CN112596938A (zh) 一种异常监控方法及装置
CN109672573B (zh) 一种配置文件的部署方法、确定方法、服务器及存储介质
CN113553217A (zh) 数据恢复方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant