CN110569113A - 分布式任务的调度方法及系统、计算机可读存储介质 - Google Patents

分布式任务的调度方法及系统、计算机可读存储介质 Download PDF

Info

Publication number
CN110569113A
CN110569113A CN201810577499.0A CN201810577499A CN110569113A CN 110569113 A CN110569113 A CN 110569113A CN 201810577499 A CN201810577499 A CN 201810577499A CN 110569113 A CN110569113 A CN 110569113A
Authority
CN
China
Prior art keywords
distributed
scheduling
tasks
execution
application system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810577499.0A
Other languages
English (en)
Inventor
牟大恩
熊友根
王洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haitong Securities Ltd By Share Ltd
Original Assignee
Haitong Securities Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haitong Securities Ltd By Share Ltd filed Critical Haitong Securities Ltd By Share Ltd
Priority to CN201810577499.0A priority Critical patent/CN110569113A/zh
Publication of CN110569113A publication Critical patent/CN110569113A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种分布式任务的调度方法及系统、计算机可读存储介质，所述分布式任务的调度系统包括：相互连接的调度信息管理模块和调度中心模块，其中：所述调度信息管理模块，适于接收用户输入的分布式任务配置信息，以对分布式任务进行配置和管理；所述调度中心模块，适于接收和解析所述分布式任务配置信息，并定时发送所述分布式任务配置信息对应的执行消息至应用系统。应用上述分布式任务的调度系统，可以降低分布式定时任务的开发成本、运维成本和系统开销。

Description

分布式任务的调度方法及系统、计算机可读存储介质
技术领域
本发明实施例涉及计算机应用技术领域，尤其涉及一种分布式任务的调度方法及系统、计算机可读存储介质。
背景技术
在软件应用系统中，存在分布式的定时任务。分布式的定时任务指将同一套应用代码部署在多个节点服务器上，且完成同一个逻辑的任务不会被各节点同时重复执行。在分布式环境下，当某个节点出现故障时，故障能够自动转移，其他节点自动代替故障节点正常执行定时任务。
在现有的应用系统中，对于分布式的定时任务，各个应用系统需要独立开发任务模块，同时采用分布式锁或者通过控制业务逻辑，避免任务重复执行，以保证业务的正确性。
在现有的实现方案中，通过分布式锁或者通过控制业务逻辑，避免任务重复执行，由于各个节点的定时任务都需要执行，故就会带来开销，影响系统性能，开发成本较高。例如，在定时任务中需要查询数据进行处理，虽然可以通过数据库乐观锁机制保证数据处理的正确性，但由于各个节点同时在执行同样的操作，会加重数据库的开销和负担。此外，当应用系统上线后，如果要修改定时任务执行计划或是暂停定时任务，需要登录部署该系统的所有服务器，先关闭应用系统，然后修改本应用系统定时任务的执行计划，最后再重启应用系统，如果是硬编码的方式，还需要重新编译应用系统，然后再登录服务器重新发布，导致操作和运维都比较复杂，系统开销较大。
故现有的分布式任务的调度方案，开发成本较高，系统开销较大，影响系统性能。
发明内容
本发明实施例解决的技术问题是如何降低分布式定时任务的开发成本和系统开销。
为解决上述技术问题，本发明实施例提供一种分布式任务的调度系统，包括：相互连接的调度信息管理模块和调度中心模块，其中：所述调度信息管理模块，适于接收用户输入的分布式任务配置信息，以对分布式任务进行配置和管理；所述调度中心模块，适于接收和解析所述分布式任务配置信息，并定时发送所述分布式任务配置信息对应的执行消息至应用系统。
可选地，所述调度中心模块包括：多台服务器；所述调度中心模块还包括：分布式锁模块；所述分布式锁模块，适于在同一时刻控制其中一台服务器发送所述分布式任务配置信息对应的执行消息至应用系统。
可选地，所述分布式锁模块，适于采用如下任意一种方法实现：基于ZooKeeper的实现方法、基于数据库的实现方法。
可选地，所述调度中心模块，适于通过Kafka集群，定时发送所述分布式任务配置信息对应的执行消息至应用系统。
可选地，所述应用系统包括：封装Kafka消费者逻辑的客户端；所述应用系统，适于通过统一接口和类函数控制所述客户端执行所述分布式任务。
可选地，所述统一接口包括一个任务统一运行的执行方法；所述应用系统，适于通过以下三个步骤控制所述客户端执行所述分布式任务：在所述执行方法中，实现所述分布式任务的定时逻辑；实例化客户端线程类；调用客户端线程的开始方法启动线程。
可选地，所述客户端为分布式调度SDK；所述分布式调度SDK，适于通过监听所述分布式任务对应的执行消息，触发执行所述分布式任务。
可选地，所述调度信息管理模块，适于通过可视化界面接收用户输入的分布式任务配置信息。
可选地，所述可视化界面包括：配置界面和管理界面，其中：所述配置界面包括：所述应用系统的名称、所述应用系统对应的主题名称、所述分布式任务的执行计划；所述管理界面包括：所述分布式任务的列表、所述分布式任务的执行状态、所述分布式任务的操作选项。
本发明实施例提供一种分布式任务的调度方法，采用上述任一种所述的分布式任务的调度系统，定时调度分布式任务。
本发明实施例提供一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一种所述方法的步骤。
本发明实施例提供一种分布式任务的调度系统，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一种所述方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例提供了一种分布式任务的调度系统，包括：相互连接的调度信息管理模块和调度中心模块，可以将分布式任务从系统中分离，一方面，通过调度信息管理模块进行分布式任务的配置管理，无需部署该系统的所有服务器，也不需要重新发布应用系统，简化了操作和运维系统，可以降低开发成本和系统开销；另一方面，由调度中心模块定时发送分布式任务配置信息对应的执行消息至应用系统，可以减少定时调度对应用系统的影响，减少数据库的开销和负担，从而降低系统开销。故应用上述分布式任务的调度系统，可以降低分布式定时任务的开发成本、运维成本和系统开销。
进一步，通过分布式锁控制同一时刻只有一台服务器发送执行消息至应用系统，可以避免分布式任务重复执行，从而进一步降低系统开销。
附图说明
图1是本发明实施例提供的一种分布式调度系统的结构示意图；
图2是本发明实施例提供的另一种分布式调度系统的结构示意图。
具体实施方式
在现有的实现方案中，通过分布式锁或者通过控制业务逻辑，避免任务重复执行，由于各个节点的定时任务都需要执行，故就会带来开销，影响系统性能，开发成本较高。此外，当应用系统上线后，如果要修改定时任务执行计划或是暂停定时任务，需要登录部署该系统的所有服务器，先关闭应用系统，然后修改本应用系统定时任务的执行计划，最后再重启应用系统，导致操作和运维都比较复杂，系统开销较大。故现有的分布式任务的调度方案，开发成本较高，系统开销较大，影响系统性能。
本发明实施例提供了一种分布式任务的调度系统，包括：相互连接的调度信息管理模块和调度中心模块，可以将分布式任务从系统中分离，一方面，通过调度信息管理模块进行分布式任务的配置管理，无需部署该系统的所有服务器，也不需要重新发布应用系统，简化了操作和运维系统，可以降低开发成本和系统开销；另一方面，由调度中心模块定时发送分布式任务配置信息对应的执行消息至应用系统，可以减少定时调度对应用系统的影响，减少数据库的开销和负担，从而降低系统开销。故应用上述分布式任务的调度系统，可以降低分布式定时任务的开发成本、运维成本和系统开销。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
参见图1，本发明实施例提供了一种分布式任务的调度系统10，包括：相互连接的调度信息管理模块11和调度中心模块12，其中：
所述调度信息管理模块11，适于接收用户输入的分布式任务配置信息，以对分布式任务进行配置和管理。
在具体实施中，当修改分布式定时任务的执行计划、或者暂停分布式定时任务时，需要登录部署应用系统的所有服务器，先关闭该应用系统，然后修改该应用系统分布式定时任务的执行计划，最后再重启该应用系统，导致操作和运维都比较复杂，系统开销较大。故本发明实施例提供了调度信息管理模块11，用户可以通过所述调度信息管理模块11对分布式任务(即分布式定时任务)进行配置和管理。
在具体实施中，为了方便用户(或者客户)配置分布式任务，所述调度管理模块11，适于通过可视化界面接收用户输入的分布式任务配置信息。
在本发明一实施例中，所述可视化界面11包括：配置界面和管理界面，其中：所述配置界面包括：所述应用系统的名称、所述应用系统对应的主题名称、所述分布式任务的执行计划；所述管理界面包括：所述分布式任务的列表、所述分布式任务的执行状态、所述分布式任务的操作选项。
例如，所述配置界面包括：应用系统名称(projectName)，应用系统对应的Kafka主题名称(topic)，应用系统的分布式任务的执行计划(cron)；所述管理界面包括：所有配置的应用系统的分布式任务的列表、分布式任务的执行状态和分布式任务的操作选项，所述操作选项可以包括：添加、修改、删除、启动、暂停、恢复分布式任务等选项。
在具体实施中，所述调度信息管理模块可以包括两张数据库表：执行日志表(t_schedule_log)和执行计划表(t_schedule_plan)，其中所述执行日志表用于记录分布式任务的执行日志，所述执行计划表用于记录各应用系统配置的分布式任务的执行计划。
在具体实施中，可以通过数据库存储所述执行日志表和所述执行计划表，也可以采用文件系统存储所述执行日志表和所述执行计划表，即将执行计划写入到配置文件当中，将执行日志写入到日志文件当中。
在具体实施中，用户可以通过可视化界面配置分布式任务的相关信息，当用户配置分布式任务的相关信息后，所述分布式任务的相关信息将插入至所述任务计划表或任务计划配置文件中，以便后续执行。例如，用户添加、更新、选择分布式任务后，生成分布式任务的相关信息，并更新存储至所述数据库或文件当中。
在具体实施中，可以通过不同的字母表示所述分布式任务的执行状态。例如，当添加一条分布式任务的记录时，记录初始化状态为I，任务暂停时状态为P，任务被删除时状态为D，所述分布式任务每次执行时向所述执行日志表或日志文件中插入详细日志。
所述调度中心模块12，适于接收和解析所述分布式任务配置信息，并定时发送所述分布式任务配置信息对应的执行消息至应用系统。
在具体实施中，所述调度中心模块12可以包括一台服务器，也可以包括多台服务器。当所述调度中心模块12包括多台服务器时，所述调度中心模块12可以支持分布式的服务器部署。
在具体实施中，当所述调度中心模块12包括多台服务器时，为了避免分布式任务被重复执行，需要确保在同一时刻，只有一台服务器发送所述分布式任务配置信息对应的执行消息至应用系统。
在本发明一实施例中，所述调度中心模块包括：多台服务器；所述调度中心模块还包括：分布式锁模块(图1未示出)；所述分布式锁模块，适于在同一时刻控制其中一台服务器发送所述分布式任务配置信息对应的执行消息至应用系统。
通过分布式锁控制同一时刻只有一台服务器发送执行消息至应用系统，可以避免分布式任务重复执行，从而进一步降低系统开销。
在具体实施中，可以基于ZooKeeper的实现方法实现所述分布式锁模块，也可以基于数据库的实现方法实现所述分布式锁模块。
基于ZooKeeper的实现方法相对于基于数据库的实现方法，方法简单，效率较高，在具体实现中可以根据实际需求选择合理的实现方法，此处不再赘述。
在具体实施中，所述调度中心模块12可以采用Spring Quartz实现调度功能，即所述调度中心模块12可以将解析后的分布式任务请求转化为Spring Quartz处理的对象，并通过Spring Quartz定时发送分布式任务配置信息对应的执行消息至应用系统。
在具体实施中，所述调度中心模块12可以为一个Kafka集群的生产者，即所述调度中心模块12，适于通过Kafka集群，定时发送所述分布式任务配置信息对应的执行消息至应用系统。
在具体实施中，所述调度中心模块12的工作流程可以包括：启动通过所述调度信息管理模块11查询所述任务计划，解析用户配置的各应用系统的分布式任务的配置信息，并将配置信息转化为Spring Quartz处理的对象，保存到内存，通过Spring Quartz定时发送所述分布式任务配置信息对应的执行消息至应用系统对应的主题。
在具体实施中，所述应用系统可以直接为Kafka消费者，也可以包括实现封装Kafka消费者逻辑的客户端。
在本发明一实施例中，所述应用系统包括：封装Kafka消费者逻辑的客户端；所述应用系统，适于通过统一接口和类函数控制所述客户端执行所述分布式任务。
例如，所述应用系统的客户端为分布式调度软件开发工具包(SoftwareDevelopment Kit，SDK)，所述分布式调度SDK对外提供一个统一接口(ScheduJobService)，该接口定义一个执行(execute())方法。
例如：所述应用系统的线程类(ScheduleJob)为：String[]kafkaAddress，Stringtopic，String consumerGroup，int threadNum，scheduJobService，其中的参数分别表示：连接Kafka Broker的地址列表，应用系统订阅的主题名称，消费组名称，客户端线程数，客户端实现的接口。
当应用系统需要实现分布式任务时，只需要引入上述SDK客户端，实现统一的ScheduJobService，在ScheduJobService的execute()方法中实现定时任务的执行逻辑，并实例化一个线程类对象(scheduJob)，然后调用该线程的开始(start())方法启动线程即可。
在本发明一实施例中，所述接口包括一个任务统一运行的执行(execute())方法；所述应用系统，适于通过以下三个步骤控制所述客户端执行所述分布式任务：在所述执行方法中，实现所述分布式任务的定时逻辑；实例化客户端线程类；调用客户端线程的开始(start())方法启动线程。
在本发明一实施例中，所述客户端为分布式调度SDK；所述分布式调度SDK，适于通过监听所述分布式任务对应的执行消息，触发执行所述分布式任务。
在具体实施中，所述分布式任务对应的执行消息可以为所述分布式任务对应的主题消息。
在具体实施中，所述分布式任务调度SDK可以采用任意一种或者几种计算机语言开发，例如，C++，Java等，本发明实施例不做限制。
在具体实施中，所述分布式任务调度SDK可以支持一个线程，也可以支持多个线程。
在具体实施中，所述分布式任务调度SDK可以监听其对应的应用系统的定时任务订阅的主题消息，监听消息时触发分布式任务执行。
应用上述分布式任务的调度系统，可以将分布式任务从系统中分离，一方面，通过调度信息管理模块进行分布式任务的配置管理，无需部署该系统的对应所有服务器，也不需要重新发布应用系统，简化了操作和运维系统，可以降低开发和运维成本；另一方面，由调度中心模块定时发送所述分布式任务配置信息对应的执行消息至应用系统，可以减少定时调度对应用系统的影响，减少数据库的开销和负担，从而降低系统开销。故应用上述分布式任务的调度系统，可以降低分布式定时任务的开发、运维成本和系统开销。
为使本领域技术人员更好的理解和实施本发明，本发明实施例还提供了另一种分布式任务的调度系统的示意图，如图2所示。
参见图2，所述分布式任务的调度系统包括：调度信息管理模块(Schedule-Web)21、任务数据存储数据库(DB)22、调度中心模块(Schedule-Server)23、ZooKeeper集群24、Kafka集群25、应用系统1对应的客户端26和应用系统2对应的客户端27，其中：
所述调度信息管理模块21与所述任务数据存储数据库22、所述调度中心模块23连接，所述调度信息管理模块21，适于通过可视化界面接收用户输入的分布式任务配置信息，并存储至所述任务数据存储数据库22或者直接更新至所述调度中心模块23。
在具体实施中，所述用户输入的分布式任务配置信息包括通过参数配置方式添加分布式任务、修改分布式任务的执行计划、显示所有分布式任务列表、暂停分布式任务、删除分布式任务、恢复分布式任务，显示分布式定时的执行结果等。
所述调度中心模块23与所述调度信息管理模块21、所述任务数据存储数据库22、所述ZooKeeper集群24、所述Kafka集群25连接；所述调度中心模块23适于通过所述任务数据存储数据库22或者所述调度信息管理模块21接收所述分布式任务配置信息，并通过Spring Quartz定时将任务调度信息发送至Kafka集群25，应用系统1和应用系统2会监听到所订阅的任务执行信息。
所述ZooKeeper集群24，适于实现分布式锁功能，在同一时刻控制只有一台服务器发送所述分布式任务配置信息对应的执行消息至应用系统的客户端。
在具体实施中，所述调度中心模块可以为多个，每一个对应一台服务器，在同一时刻，只有一个所述调度中心模块的一台服务器发送所述分布式任务配置信息对应的执行消息至应用系统的客户端。
在具体实施中，所述调度中心模块23可以通过注册ZooKeeper，以实现多台服务器的分布式锁功能。
所述Kafka集群25与所述应用系统1对应的客户端26、所述应用系统2对应的客户端27连接，适于通过统一接口和类函数控制所述应用系统1对应的客户端26或者所述应用系统2对应的客户端27执行所述分布式任务。
所述应用系统1对应的客户端26和所述应用系统2对应的客户端27，适于通过监听所述Kafka集群25的主题消息，触发执行分布式任务。
应用上述分布式任务的调度系统，所述分布式任务的执行流程可以包括如下步骤：
步骤1，所述调度信息管理模块21通过可视化界面接收用户输入的分布式任务配置信息，并存储至所述任务数据存储数据库22。
步骤2，所述任务数据存储数据库22加载所述分布式任务配置信息至所述调度中心模块23。
步骤3，所述调度中心模块23注册ZooKeeper，以实现多台服务器的分布式锁功能。
步骤4，所述调度中心模块23定时发送所述分布式任务配置信息对应的执行消息至所述Kafka集群25。
步骤5，所述Kafka集群25通过生产者-消费者实现机制控制所述应用系统1对应的客户端26或者所述应用系统2对应的客户端27执行所述分布式任务。
基于步骤1～步骤5，可以完成所述分布式任务的定时执行。此后，当用户通过可视化界面修改所述分布式任务的配置信息时，还可以包括：
步骤6，所述调度信息管理模块21通过可视化界面接收用户输入的分布式任务配置信息，并更新至所述调度中心模块23。
然后可以再次重复上述步骤3～步骤5，完成更新配置信息后的所述分布式任务的定时执行。
可以理解的是，所述分布式任务的调度系统可以包括：两个应用系统对应的客户端，也可以包括三个应用系统对应的客户端，还可以包括四个及四个以上应用系统对应的客户端，上述实施例并不构成对本发明实施例保护范围的限制。
本发明实施例还提供了一种分布式任务的调度方法，采用上述任一种所述的分布式任务的调度系统，定时调度分布式任务。
本发明实施例提供一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一种所述方法对应的步骤，此处不再赘述。
本发明实施例提供一种分布式任务的调度系统，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一种所述方法对应的步骤，此处不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (12)

1.一种分布式任务的调度系统，其特征在于，包括：相互连接的调度信息管理模块和调度中心模块，其中：
所述调度信息管理模块，适于接收用户输入的分布式任务配置信息，以对分布式任务进行配置和管理；
所述调度中心模块，适于接收和解析所述分布式任务配置信息，并定时发送所述分布式任务配置信息对应的执行消息至应用系统。
2.根据权利要求1所述的分布式任务的调度系统，其特征在于，所述调度中心模块包括：多台服务器；
所述调度中心模块还包括：分布式锁模块；
所述分布式锁模块，适于在同一时刻控制其中一台服务器发送所述分布式任务配置信息对应的执行消息至应用系统。
3.根据权利要求2所述的分布式任务的调度系统，其特征在于，所述分布式锁模块，适于采用如下任意一种方法实现：基于ZooKeeper的实现方法、基于数据库的实现方法。
4.根据权利要求1所述的分布式任务的调度系统，其特征在于，所述调度中心模块，适于通过Kafka集群，定时发送所述分布式任务配置信息对应的执行消息至应用系统。
5.根据权利要求4所述的分布式任务的调度系统，其特征在于，所述应用系统包括：封装Kafka消费者逻辑的客户端；
所述应用系统，适于通过统一接口和类函数控制所述客户端执行所述分布式任务。
6.根据权利要求5所述的分布式任务的调度系统，其特征在于，所述统一接口包括一个任务统一运行的执行方法；
所述应用系统，适于通过以下三个步骤控制所述客户端执行所述分布式任务：
在所述执行方法中，实现所述分布式任务的定时逻辑；
实例化客户端线程类；
调用客户端线程的开始方法启动线程。
7.根据权利要求6所述的分布式任务的调度系统，其特征在于，所述客户端为分布式调度SDK；
所述分布式调度SDK，适于通过监听所述分布式任务对应的执行消息，触发执行所述分布式任务。
8.根据权利要求1所述的分布式任务的调度系统，其特征在于，所述调度信息管理模块，适于通过可视化界面接收用户输入的分布式任务配置信息。
9.根据权利要求8所述的分布式任务的调度系统，其特征在于，所述可视化界面包括：配置界面和管理界面，其中：
所述配置界面包括：所述应用系统的名称、所述应用系统对应的主题名称、所述分布式任务的执行计划；
所述管理界面包括：所述分布式任务的列表、所述分布式任务的执行状态、所述分布式任务的操作选项。
10.一种分布式任务的调度方法，其特征在于，采用如权利要求1至9任一项所述的分布式任务的调度系统，定时调度分布式任务。
11.一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求10所述方法的步骤。
12.一种分布式任务的调度系统，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求10所述方法的步骤。
CN201810577499.0A 2018-06-06 2018-06-06 分布式任务的调度方法及系统、计算机可读存储介质 Pending CN110569113A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810577499.0A CN110569113A (zh) 2018-06-06 2018-06-06 分布式任务的调度方法及系统、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810577499.0A CN110569113A (zh) 2018-06-06 2018-06-06 分布式任务的调度方法及系统、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110569113A true CN110569113A (zh) 2019-12-13

Family

ID=68772040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810577499.0A Pending CN110569113A (zh) 2018-06-06 2018-06-06 分布式任务的调度方法及系统、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110569113A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125738A (zh) * 2019-12-26 2020-05-08 深圳前海环融联易信息科技服务有限公司 防止核心数据丢失的方法、装置、计算机设备及存储介质
CN111459639A (zh) * 2020-04-03 2020-07-28 杭州趣维科技有限公司 一种支持全球多机房部署的分布式任务管理平台及方法
CN113110922A (zh) * 2021-03-08 2021-07-13 北京世纪安图数码科技发展有限责任公司 一种基于Quartz与多线程的不动产登记方法
CN113204436A (zh) * 2020-02-03 2021-08-03 马上消费金融股份有限公司 一种消息处理方法、装置、设备及计算机可读存储介质
CN113553162A (zh) * 2021-08-09 2021-10-26 湖南酷陆网络科技有限公司 一种环卫云平台程序运行定时任务管理系统
CN116991591A (zh) * 2023-09-25 2023-11-03 腾讯科技（深圳）有限公司 一种数据调度方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130117060A1 (en) * 2011-11-08 2013-05-09 Matchware A/S System for Collaboration and Meeting Management
CN106293911A (zh) * 2016-07-29 2017-01-04 乐视控股（北京）有限公司 分布式调度系统、方法
CN106648845A (zh) * 2016-09-23 2017-05-10 努比亚技术有限公司 一种分布式任务调度系统及方法
CN106874094A (zh) * 2017-02-17 2017-06-20 广州爱九游信息技术有限公司 定时任务处理方法、装置及计算设备
CN107688500A (zh) * 2017-07-26 2018-02-13 阿里巴巴集团控股有限公司 一种分布式任务处理方法、装置、系统及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130117060A1 (en) * 2011-11-08 2013-05-09 Matchware A/S System for Collaboration and Meeting Management
CN106293911A (zh) * 2016-07-29 2017-01-04 乐视控股（北京）有限公司 分布式调度系统、方法
CN106648845A (zh) * 2016-09-23 2017-05-10 努比亚技术有限公司 一种分布式任务调度系统及方法
CN106874094A (zh) * 2017-02-17 2017-06-20 广州爱九游信息技术有限公司 定时任务处理方法、装置及计算设备
CN107688500A (zh) * 2017-07-26 2018-02-13 阿里巴巴集团控股有限公司 一种分布式任务处理方法、装置、系统及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨斌冰: "《微信公众号》", 29 August 2017 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125738A (zh) * 2019-12-26 2020-05-08 深圳前海环融联易信息科技服务有限公司 防止核心数据丢失的方法、装置、计算机设备及存储介质
CN113204436A (zh) * 2020-02-03 2021-08-03 马上消费金融股份有限公司 一种消息处理方法、装置、设备及计算机可读存储介质
CN111459639A (zh) * 2020-04-03 2020-07-28 杭州趣维科技有限公司 一种支持全球多机房部署的分布式任务管理平台及方法
CN111459639B (zh) * 2020-04-03 2023-10-20 杭州小影创新科技股份有限公司 一种支持全球多机房部署的分布式任务管理平台及方法
CN113110922A (zh) * 2021-03-08 2021-07-13 北京世纪安图数码科技发展有限责任公司 一种基于Quartz与多线程的不动产登记方法
CN113110922B (zh) * 2021-03-08 2024-04-12 北京世纪安图数码科技发展有限责任公司 一种基于Quartz与多线程的不动产登记方法
CN113553162A (zh) * 2021-08-09 2021-10-26 湖南酷陆网络科技有限公司 一种环卫云平台程序运行定时任务管理系统
CN116991591A (zh) * 2023-09-25 2023-11-03 腾讯科技（深圳）有限公司 一种数据调度方法、装置及存储介质
CN116991591B (zh) * 2023-09-25 2024-01-09 腾讯科技（深圳）有限公司 一种数据调度方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN110569113A (zh) 分布式任务的调度方法及系统、计算机可读存储介质
US7779298B2 (en) Distributed job manager recovery
CN113569987A (zh) 模型训练方法和装置
CN110532074B (zh) 一种多租户模式SaaS服务集群环境的任务调度方法及系统
CN109582466A (zh) 一种定时任务执行方法、分布式服务器集群及电子设备
CN113220431B (zh) 跨云的分布式数据任务调度方法、设备及存储介质
CN106681820B (zh) 基于消息组合的可扩展大数据计算方法
CN102880503A (zh) 数据分析系统及数据分析方法
CN111459763A (zh) 跨kubernetes集群监控系统及方法
US10498817B1 (en) Performance tuning in distributed computing systems
CN102663543A (zh) 一种用于企业数据统一平台的调度系统
CN111190732A (zh) 定时任务处理系统及方法、存储介质和电子设备
CN110611707A (zh) 一种任务调度的方法及装置
CN106354563A (zh) 用于3d重建的分布式计算系统以及3d重建方法
CN113672240A (zh) 一种基于容器的多机房批量自动化部署应用的方法及系统
CN112231073A (zh) 一种分布式任务调度方法及其装置
CN110619014A (zh) 一种基于etl的数据抽取方法
CN114756357B (zh) 一种基于jvm的非阻塞分布式计划任务调度方法
CN114168297A (zh) 一种归集任务调度方法、装置、设备及介质
CN116400987B (zh) 持续集成方法、装置、电子设备及存储介质
Tang et al. Application centric lifecycle framework in cloud
CN113220479A (zh) 一种基于隔离网络的工作流调度方法、装置及电子设备
CN111552494B (zh) 一种容器组的管理方法、设备、系统及介质
CN108776618A (zh) 分布式工作流管理方法及装置
CN114896054A (zh) 一种跨异构计算引擎的大数据任务调度方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213