CN106844018A - 一种任务处理方法、装置及系统 - Google Patents

一种任务处理方法、装置及系统 Download PDF

Info

Publication number
CN106844018A
CN106844018A CN201510885686.1A CN201510885686A CN106844018A CN 106844018 A CN106844018 A CN 106844018A CN 201510885686 A CN201510885686 A CN 201510885686A CN 106844018 A CN106844018 A CN 106844018A
Authority
CN
China
Prior art keywords
task
pending
subtask
server
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510885686.1A
Other languages
English (en)
Inventor
沈安琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cainiao Smart Logistics Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510885686.1A priority Critical patent/CN106844018A/zh
Publication of CN106844018A publication Critical patent/CN106844018A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种任务处理方法、装置及电子设备，一种任务分割方法、装置及电子设备，以及一种任务处理系统，用于分布式任务调度系统。当分布式任务调度系统启动待执行任务之后，所述任务处理方法包括：将待执行任务分配给任务执行服务器集群中的第一任务执行服务器，指示第一任务执行服务器对待执行任务进行任务分割处理；接收第一任务执行服务器回送的、对待执行任务进行分割后生成的至少一个待执行子任务，将至少一个待执行子任务作为任务执行服务器集群需要执行的任务。采用本申请提供的方法，能够避免单台任务执行服务器所处理的任务包括过多待处理对象的问题，从而达到提高任务执行效率和成功率的效果。

Description

一种任务处理方法、装置及系统
技术领域
本申请涉及数据处理技术领域，具体涉及一种任务处理方法、装置及电子设备。本申请同时涉及一种任务分割方法、装置及电子设备，以及一种任务处理系统。
背景技术
仓库管理系统是通过入库业务、出库业务、仓库调拨、库存调拨和虚仓管理等功能，综合批次管理、物料对应、库存盘点、质检管理、虚仓管理和即时库存管理等功能综合运用的管理系统，有效控制并跟踪仓库业务的物流和成本管理全过程，实现完善的企业仓储信息管理。该系统可以独立执行库存操作，与其他系统的单据和凭证等结合使用，可提供更为完整全面的企业业务流程和财务管理信息。
仓库管理系统在接收到上游ERP(Enterprise Resource Planning，企业资源计划)系统下发的订单以后，首先将订单保存到数据库中，然后需要经过的处理环节包括：预处理、波次汇总、单据打印、拣选及出库等环节。其中，预处理环节是指，通过异步方式定时扫描处于初始化状态的订单，批量对处于初始化状态的订单执行预处理任务。订单预处理任务主要包括以下操作：校验订单基础数据、订单拣选类型分类、订单占用库存及订单拆分包裹等大量业务操作。对于一个大型的仓库管理系统，每天处理的订单数目可能在几十万到几百万、甚至千万级别。订单预处理任务作为仓库管理系统订单履行流程中的第一环，如果处理速度跟不上仓库后续流程的作业速度，就会阻塞现场作业。
普通的仓库管理系统采用C/S(客户端/服务器)架构，一般都是单仓库部署，每个仓库的数据和代码都是分开的，一般一台机器只用处理一个仓库的预处理任务。新型的仓库管理系统采用B/S架构，通过分布式技术实现了多个仓库使用一份代码，数据统一存储，这样就会面临多个仓库大量订单的预处理任务落到一台机器上的可能。在系统订单量比较大的时候，如果多个仓库的大量订单预处理任务同时落到一台机器上，会导致这台机器的内存持续飙高、响应时间变慢，最后可能宕机。更进一步地，会对后续环节产生连锁反应，导致服务器集群响应时间升高，影响仓库现场作业效率。
目前，当单台机器上的待预处理订单数量超出该机器的处理能力时，常用的解决方法是：首先对待预处理订单进行排序，然后从排序后的订单中截取前若干条订单开多线程进行处理，或者优化业务。然而，单台机器的处理能力有限，上述处理方式并不能高效率的完成大量订单的预处理任务，而且也不容易通过扩展机器的方式来解决这样的问题。
综上所述，现有技术存在无法避免单台任务执行服务器所处理的任务包括过多待处理对象的问题。
发明内容
本申请提供一种任务处理方法、装置及电子设备，以解决现有技术存在无法避免单台任务执行服务器所处理的任务包括过多待处理对象的问题。本申请另外提供一种任务分割方法、装置及电子设备，以及一种任务处理系统。
本申请提供一种任务处理方法，用于分布式任务调度系统，在启动待执行任务之后，包括：
将所述待执行任务分配给任务执行服务器集群中的第一任务执行服务器，指示所述第一任务执行服务器对所述待执行任务进行任务分割处理；
接收所述第一任务执行服务器回送的、对所述待执行任务进行分割后生成的至少一个待执行子任务，将所述至少一个待执行子任务作为所述任务执行服务器集群需要执行的任务。
可选的，所述待执行任务包括定时任务，所述方法还包括：
当系统时间达到所述定时任务的执行时间时，触发所述定时任务。
可选的，在启动待执行任务之前，还包括：
将所述待执行任务集中到任务调度服务器集群。
可选的，所述分布式任务调度系统是特定应用系统的组成部分；所述将所述待执行任务集中到任务调度服务器集群，采用如下方式：
向所述特定应用系统增加所述待执行任务时，通过分布式任务调度框架提供的任务映射方法，将所述特定应用系统中的所述待执行任务映射到所述任务调度服务器集群。
可选的，在所述获取所述第一任务执行服务器回送的、对所述待执行任务进行分割后生成的至少一个待执行子任务之后，还包括：
存储所述至少一个待执行子任务。
可选的，所述存储所述至少一个待执行子任务，采用如下方式：
将所述至少一个待执行子任务存储到预设的子任务存储队列中。
可选的，还包括：
根据所述任务执行服务器集群中第二任务执行服务器发送的获取子任务请求，向所述任务执行服务器第二任务执行服务器发送所述待执行子任务，由所述第二任务执行服务器执行所述待执行子任务。
可选的，所述任务执行服务器集群中的各个任务执行服务器通过定时轮询方式发送所述获取子任务请求。
可选的，所述待执行任务包括订单预处理任务；所述订单预处理任务包括的待处理对象为订单。
可选的，所述订单预处理任务与特定仓库相对应；所述订单是指所述特定仓库中的订单。
相应的，本申请还提供一种任务处理装置，用于分布式任务调度系统，包括：
分配单元，用于将所述待执行任务分配给任务执行服务器集群中的第一任务执行服务器，指示所述第一任务执行服务器对所述待执行任务进行任务分割处理；
接收单元，用于接收所述第一任务执行服务器回送的、对所述待执行任务进行分割后生成的至少一个待执行子任务，将所述至少一个待执行子任务作为所述任务执行服务器集群需要执行的任务。
可选的，所述待执行任务包括定时任务，所述装置还包括：
触发单元，用于当系统时间达到所述定时任务的执行时间时，触发所述定时任务。
可选的，还包括：
生成任务单元，用于将所述待执行任务集中到任务调度服务器集群。
可选的，还包括：
存储单元，用于存储所述至少一个待执行子任务。
可选的，还包括：
发送单元，用于根据所述任务执行服务器集群中第二任务执行服务器发送的获取子任务请求，向所述任务执行服务器第二任务执行服务器发送所述待执行子任务，由所述第二任务执行服务器执行所述待执行子任务。
相应的，本申请还提供一种电子设备，包括：
显示器；
处理器；以及
存储器，所述存储器被配置成存储任务处理装置，所述任务处理装置被所述处理器执行时，包括如下步骤：将所述待执行任务分配给任务执行服务器集群中的第一任务执行服务器，指示所述第一任务执行服务器对所述待执行任务进行任务分割处理；接收所述第一任务执行服务器回送的、对所述待执行任务进行分割后生成的至少一个待执行子任务，将所述至少一个待执行子任务作为所述任务执行服务器集群需要执行的任务。
此外，本申请还提供一种任务分割方法，用于分布式任务调度系统，包括：
接收任务调度服务器分配的待执行任务；
根据预设的分割规则，将所述待执行任务分割为至少一个待执行子任务；
将所述至少一个待执行子任务回送至所述任务调度服务器。
可选的，所述预设的分割规则包括：所述待执行子任务包括的待处理对象数量小于等于预设的对象量阈值。
可选的，在所述将所述待执行任务分割为至少一个待执行子任务之前，还包括：
根据预设的筛选条件，从所述待执行任务包括的多个待处理对象中选取符合所述筛选条件的待处理对象。
可选的，在所述将所述至少一个待执行子任务回送至所述任务调度服务器之前，还包括：
对所述待执行子任务包括的待处理对象做序列化处理，生成序列化的待处理对象；
相应的，所述将所述至少一个待执行子任务回送至所述任务调度服务器，采用如下方式：
将包括所述序列化的待处理对象的所述至少一个待执行子任务回送至所述任务调度服务器。
可选的，还包括：
获取所述待执行子任务；
执行所述待执行子任务。
可选的，所述获取所述待执行子任务，采用如下方式：
通过定时轮询方式，从所述任务调度服务器所属的任务调度服务器集群中请求获取所述待执行子任务。
可选的，不同的所述待执行子任务包括同一待处理对象；所述执行所述待执行子任务，包括：
对所述待处理对象进行处理时，获取所述待处理对象的同步锁。
可选的，所述待执行任务包括订单预处理任务；所述订单预处理任务包括的待处理对象包括订单。
可选的，所述订单预处理任务与特定仓库相对应；所述订单是指所述特定仓库中的订单。
可选的，在将所述订单预处理任务分割为至少一个子任务之前，还包括：
根据预设的筛选条件，从所述订单预处理任务包括的多个订单中选取符合所述筛选条件的订单；
所述预设的筛选条件包括：所述订单的状态为初始化状态；所述从所述订单预处理任务包括的多个订单中选取符合所述筛选条件的订单，包括：
根据预先存储的任务属性表，获取所述订单预处理任务对应的所述特定仓库；
根据预先存储的所述特定仓库的订单表，获取所述特定仓库包括的订单集合；
根据所述订单的状态属性，从所述订单集合中选取处于所述初始化状态的订单，作为符合所述筛选条件的订单。
相应的，本申请还提供一种任务分割装置，用于分布式任务调度系统，包括：
接收单元，用于接收任务调度服务器分配的待执行任务；
分割单元，用于根据预设的分割规则，将所述待执行任务分割为至少一个待执行子任务；
回送单元，用于将所述至少一个待执行子任务回送至所述任务调度服务器。
可选的，还包括：
筛选单元，用于根据预设的筛选条件，从所述待执行任务包括的多个待处理对象中选取符合所述筛选条件的待处理对象。
可选的，还包括：
序列化单元，用于对所述待执行子任务包括的待处理对象做序列化处理，生成序列化的待处理对象；
相应的，所述将所述至少一个待执行子任务回送至所述任务调度服务器，采用如下方式：
将包括所述序列化的待处理对象的所述至少一个待执行子任务回送至所述任务调度服务器。
可选的，还包括：
获取单元，用于获取所述待执行子任务；
执行单元，用于执行所述待执行子任务。
可选的，不同的所述待执行子任务包括同一待处理对象；所述执行单元还包括：
获取子单元，用于对所述待处理对象进行处理时，获取所述待处理对象的同步锁。
相应的，本申请还提供一种电子设备，包括：
显示器；
处理器；以及
存储器，所述存储器被配置成存储任务分割装置，所述任务分割装置被所述处理器执行时，包括如下步骤：接收任务调度服务器分配的待执行任务；根据预设的分割规则，将所述待执行任务分割为至少一个待执行子任务；将所述至少一个待执行子任务回送至所述任务调度服务器。
此外，本申请还提供一种任务处理系统，包括：任务调度服务器集群和任务执行服务器集群；其中，所述任务调度服务器包括根据上述任一项所述的任务处理装置；所述任务执行服务器包括根据上述任一项所述的任务分割装置。
与现有技术相比，本申请具有以下优点:
本申请提供的任务处理方法、装置及系统，用于分布式任务调度系统，当分布式任务调度系统启动待执行任务之后，通过将所述待执行任务分配给任务执行服务器集群中的第一任务执行服务器，指示所述第一任务执行服务器对所述待执行任务进行任务分割处理；接收所述第一任务执行服务器回送的、对所述待执行任务进行分割后生成的至少一个待执行子任务，将所述至少一个待执行子任务作为所述任务执行服务器集群需要执行的任务，即：在处理待执行任务时首先将其分割为多个子任务，然后由任务执行服务器集群直接处理各个子任务，因而能够避免单台任务执行服务器所处理的任务包括过多待处理对象的问题，从而达到提高任务执行效率和成功率的效果。
附图说明
图1是本申请的任务处理方法实施例的流程图；
图2是本申请的任务处理装置实施例的示意图；
图3是本申请的电子设备实施例的示意图；
图4是本申请的任务分割方法实施例的流程图；
图5是本申请的任务分割方法实施例的具体流程图；
图6是本申请的任务分割装置实施例的示意图；
图7是本申请的任务分割装置实施例的具体示意图；
图8是本申请的又一电子设备实施例的示意图；
图9是本申请的任务处理系统实施例的示意图；
图10是本申请的任务处理系统实施例的具体示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请中，提供了一种任务处理方法、装置及电子设备，一种任务分割方法、装置及电子设备，以及一种任务处理系统。在下面的实施例中逐一进行详细说明。
本申请实施例提供的任务处理方法，其核心的基本思想是：在处理待执行任务时首先将其分割为多个子任务，然后由任务执行服务器集群直接处理各个子任务。由于采用了任务拆分策略，因而能够避免单台任务执行服务器所处理的任务包括过多待处理对象的问题，从而达到提高任务执行效率的效果。
请参考图1，其为本申请的任务处理方法实施例的流程图。所述任务处理方法用于分布式任务调度系统，当分布式任务调度系统启动待执行任务之后，包括如下步骤：
步骤S101：将所述待执行任务分配给任务执行服务器集群中的第一任务执行服务器，指示所述第一任务执行服务器对所述待执行任务进行任务分割处理。
本申请实施例所述的待执行任务是指，对多个待处理对象进行批处理的特定任务，待执行任务对应多个待处理对象。在本实施例中，待执行任务为定时任务，即：在特定时间执行并能在可预期时间内完成的程序或脚本。当系统时间达到定时任务的执行时间时，触发该定时任务，然后执行本申请实施例提供的任务处理方法。定时任务通常包括如下信息：任务名称、执行频率、开始执行时间、结束执行时间等。例如，定时任务为对特定仓库的订单进行订单预处理操作，该任务包括的待处理对象为特定仓库的订单；或者，定时任务为日志下载任务，待处理对象为日志文件等。
需要说明的是，本申请实施例提供的任务处理方法，待执行任务不仅仅局限于定时任务，还可以是实时任务。实时任务同样存在一个任务包括的待处理对象可能过多的问题，为避免实时任务包括的待处理对象过多，也可以采用本申请实施例提供的任务处理方法，将实时任务拆分为多个子任务。上述不同的任务类型，都只是具体实施方式的变更，都不偏离本申请的核心，因此都在本申请的保护范围之内。
本申请实施例提供的任务处理方法用于分布式任务调度系统。分布式任务调度系统涉及三种角色：任务提交方、任务调度方及任务执行方。其中，任务提交方主要负责提交任务和接收任务执行反馈结果；任务调度方负责接收和分配任务；任务执行方负责执行任务，并在执行完后反馈给任务调度方。分布式任务调度系统中的各种角色均可部署多个节点，部署在任务调度方的各个节点组成任务调度服务器集群，部署在任务执行方的各个节点组成任务执行服务器集群。一个集群内的各个节点都是无状态的，通过分布式任务调度系统能够将各个任务分配到不同的任务执行服务器进行处理，实现自动负载均衡，从而达到提高负载量及容错能力的效果。
在本实施例中，采用Zookeeper分布式应用程序协调服务进行各个集群的master节点的选取，如果master节点发生宕机现象，Zookeeper会自动选举出新的master节点。任务调度服务器集群的调度器(即：master节点)实时收集任务及各个任务执行服务器的信息，获取到的任务(事件)会在任务队列中排队，等待与任务调度服务器集群之间具有心跳连接关系的任务执行服务器处理。任务执行服务器集群负责将分配获取的任务分割为多个子任务，然后再执行各个子任务。
本申请实施例提供的任务处理方法，任务调度服务器和任务执行服务器之间存在四种通信连接：1)待执行任务的连接，任务调度服务器通过此连接把任务发送到任务执行服务器进行任务分割；2)待执行子任务的连接，任务调度服务器通过此连接把子任务发送到任务执行服务器进行子任务的执行处理；3)心跳连接，任务调度服务器和任务执行服务器之间保持心跳连接，根据心跳连接的情况判断对方的健康状况；4)消息上报，任务执行服务器把相关任务执行情况汇给任务调度服务器，任务调度服务器接收任务执行服务器上报的任务执行情况，并作处理，必要时生成通告。
本申请实施例提供的任务处理方法的执行者为分布式任务调度系统的任务调度方。各个定时任务被部署在任务调度服务器集群中，当系统时间达到定时任务的触发执行时间时，定时任务被触发执行。通过任务调度方，将定时任务按特定规则(负载均衡，地域原则等)分配到某一台任务执行服务器执行。
在实际应用中，任务的创建者可能并非直接将任务提交给任务调度方，而是在应用系统中创建任务。为了使得任务调度方能够获取任务，在启动待执行任务之前，还包括：将所述待执行任务集中到任务调度服务器集群，以供任务调度方分配任务用。
在本实施例中，分布式任务调度系统是特定应用系统的组成部分，负责特定应用系统中全部任务的分配与调度工作。将所述待执行任务集中到任务调度服务器集群，采用如下方式：向所述特定应用系统增加所述待执行任务时，通过分布式任务调度框架提供的任务映射方法，将所述特定应用系统中的所述待执行任务映射到所述任务调度服务器集群。
分布式任务调度框架能够提供客户端SDK软件包，该软件包提供对定时任务进行增加、修改、删除及查询的功能。开发人员通过对该软件包提供的方法进行封装，并构建任务管理页面，客户端通过任务管理页面能够对定时任务进行管理。在本实施例中，任务的创建者通过特定应用系统提供的任务管理页面构建定时任务，将任务添加到特定应用系统中。从分布式任务调度系统的角度，运行特定应用系统的应用服务器也称为任务执行服务器。
在本实施例中，开发人员在应用服务器本地预先建立一张定时任务表，定时任务的基本信息包括：任务类型、开始执行时间、结束执行时间、执行频率、有效期时间段、创建人等属性。客户端通过任务管理页面向位于应用服务器本地的定时任务表添加定时任务，例如，有关商品订单方面的定时任务可以为：JOB[任务类型＝订单预处理后台任务，仓库ID＝上海仓、开始执行时间＝6:00，结束执行时间＝21:00，执行频率＝20分钟，有效时间段＝(2015-10-10TO2025-10-10)，创建人＝小红]。然后，通过分布式任务调度框架提供的SDK软件包的接口，将应用服务器本地的任务映射为分布式任务调度平台端(任务调度方)的定时任务。在本实施例中，映射到分布式任务调度平台端的任务属性包括：应用程序执行任务的接口名、触发器执行时间和频率等。
要实施本申请提供的任务处理方法，在启动待执行任务之后，任务调度方首先需要为该任务分配一台任务执行服务器，并指示该任务执行服务器对该任务进行任务分割处理。任务调用方会优先分配给比较空闲的任务执行服务器，以达到负载均衡。任务执行服务器接收到待执行任务后，会根据指示将该任务拆分为多个子任务，并将这些子任务返回给任务调度服务器。
步骤S103：接收所述第一任务执行服务器回送的、对所述待执行任务进行分割后生成的至少一个待执行子任务，将所述至少一个待执行子任务作为所述任务执行服务器集群需要执行的任务。
本申请实施例所述的待执行子任务是指，根据预设的分割规则对待执行任务进行拆分后形成的子任务。任务执行服务器生成待执行子任务后，将待执行子任务回流到任务调度服务器。当任务调度服务器接收到任务执行服务器返回的分割后的至少一个待执行子任务之后，将所述至少一个待执行子任务存储在任务调度方的待执行子任务队列中，以供任务执行服务器集群执行处理。
在实际应用中，待执行任务一般都是业务信息很少的定时任务，可以用数据库等各种不同的存储方式实现。待执行任务的核心字段包括：应用系统执行任务的接口名、触发器执行时间和频率等。待执行子任务会包含一定量的业务信息，可以用数据库或hbase等文件存储系统实现。待执行子任务的核心字段包括：应用系统执行任务的接口名、消息内容体、消费次数和是否需要重试等。本申请实施例所述的消息内容体包括待执行子任务的处理对象，例如，在订单预处理任务的子任务的消息内容体中包括该子任务需要处理的订单号。为了能够达到先进先出的处理效果，本申请实施例将待执行子任务存储在预设的子任务存储队列中。
在实际应用中，任务调度服务器获取到待执行子任务之后，还需要根据任务执行服务器发送的获取子任务请求，把一定量的待执行子任务发送到任务执行服务器，通过任务执行服务器对待执行子任务进行执行处理。
任务调度服务器可以通过任务调度服务器和任务执行服务器之间的所述待执行子任务的连接，将所述待执行子任务发送给任务执行服务器，由任务执行服务器执行处理待执行子任务。在本实施例中，各个任务执行服务器通过定时轮询方式发送所述获取子任务请求。
需要说明的是，本申请实施例所述的待执行任务作为一级定时任务主要是通过设置的定时任务触发器触发执行的；而分割后形成的子任务的处理方式主要为：任务执行服务器集群的每台机器在后台启动一个线程定时轮询一定量的子任务到本地消费。待执行任务拆分为多个子任务后，表示待执行任务本次执行完毕，当该任务的下一次触发时间到达时再执行。
在上述的实施例中，提供了一种任务处理方法，与之相对应的，本申请还提供一种任务处理装置。该装置是与上述方法的实施例相对应。
请参看图2，其为本申请的任务处理装置实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本实施例的一种任务处理装置，包括：
分配单元101，用于将所述待执行任务分配给任务执行服务器集群中的第一任务执行服务器，指示所述第一任务执行服务器对所述待执行任务进行任务分割处理；
接收单元103，用于接收所述第一任务执行服务器回送的、对所述待执行任务进行分割后生成的至少一个待执行子任务，将所述至少一个待执行子任务作为所述任务执行服务器集群需要执行的任务。
可选的，所述待执行任务包括定时任务，所述装置还包括：
触发单元，用于当系统时间达到所述定时任务的执行时间时，触发所述定时任务。
可选的，还包括：
生成任务单元，用于将所述待执行任务集中到任务调度服务器集群。
可选的，还包括：
存储单元，用于存储所述至少一个待执行子任务。
可选的，还包括：
发送单元，用于根据所述任务执行服务器集群中第二任务执行服务器发送的获取子任务请求，向所述任务执行服务器第二任务执行服务器发送所述待执行子任务，由所述第二任务执行服务器执行所述待执行子任务。
请参考图3，其为本申请的电子设备实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备，该电子设备包括：显示器301；处理器302；以及存储器303，所述存储器303被配置成存储任务处理装置，所述任务处理装置被所述处理器302执行时，包括如下步骤：将所述待执行任务分配给任务执行服务器集群中的第一任务执行服务器，指示所述第一任务执行服务器对所述待执行任务进行任务分割处理；接收所述第一任务执行服务器回送的、对所述待执行任务进行分割后生成的至少一个待执行子任务，将所述至少一个待执行子任务作为所述任务执行服务器集群需要执行的任务。
与上述的任务处理方法相对应，本申请还提供一种任务分割方法。请参考图4，其为本申请提供的一种任务分割方法的实施例的流程示意图，本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。本申请提供的一种任务分割方法用于分布式任务调度系统，包括如下步骤：
步骤S401：接收任务调度服务器分配的待执行任务。
本申请实施例提供的任务分割方法的执行者为任务执行服务器，所述的待执行任务与上述实施例一所述的待执行任务为同一对象。本申请实施例所述的待执行任务通过任务调度服务器分配获取。任务执行服务器接收到待执行任务之后，就可以进入到步骤S403对该任务进行拆分处理。
步骤S403：根据预设的分割规则，将所述待执行任务分割为至少一个待执行子任务。
本申请实施例所述的预设的分割规则，包括但不限于：所述待执行子任务包括的待处理对象数量小于预设的对象量阈值。在实际应用中，可以根据具体应用需求设置一个或多个分割规则。在本实施例中，应用所述待执行子任务包括的待处理对象数量小于预设的对象量阈值这个分割规则，可以限制拆分后的待执行子任务所包括的待处理对象数量，以避免单台任务执行服务器所处理的任务包括过多待处理对象的问题。
例如，待执行任务为对特定仓库的订单进行订单预处理操作，该任务一次可能查询到该特定仓库处于初始状态的订单有二十万个，此时，可以先把这二十万个订单的订单标识放到内存中，在内存中按订单标识从小到大排序，20个为一个子任务，这样待执行任务就拆分出了一万个子任务，任务执行服务器集群可以直接消费的子任务。
请参考图5，其为本申请提供的一种任务分割方法的实施例的具体流程图。在本实施例中，在步骤S403之前，还包括：
步骤S501：根据预设的筛选条件，从所述待执行任务包括的多个待处理对象中选取符合所述筛选条件的待处理对象。
在实际应用中，待执行任务包括的部分待处理对象可能并不符合实际业务需求。为了提高任务的执行效率，可以预先设置一些对待处理对象的筛选条件，以筛选出符合实际业务需求的待处理对象。
例如，待执行任务为对某个仓库的订单进行订单预处理的定时任务，因此，该任务的待处理对象包括该仓库中的所有订单；然而，订单预处理操作的处理对象应该为处于初始化状态的订单，因此，将预设的筛选条件设置为订单状态为初始化状态，在将订单预处理任务分割为至少一个子任务之前，首先需要从该仓库中筛选出处于初始状态的订单。
在本实施例中，从所述订单预处理任务包括的多个订单中选取符合所述筛选条件的订单，包括以下步骤：1)根据预先存储的任务属性表，获取所述订单预处理任务对应的所述特定仓库；2)根据预先存储的所述特定仓库的订单表，获取所述特定仓库包括的订单集合；3)根据所述订单的状态属性，从所述订单集合中选取处于所述初始化状态的订单，作为符合所述筛选条件的订单。
需要注意的是，在实际应用中，由于一个仓库中的订单量通常较大，因此，为了能够快速获取到该仓库的订单，本申请实施例将不同仓库的订单分别存储在不同的数据文件中。在实际应用中，具体的数据存储规则可以根据实际业务确定。
步骤S405：将所述至少一个待执行子任务回送至所述任务调度服务器。
通过步骤S403，将所述待执行任务分割为至少一个子任务之后，就可以将所述至少一个待执行子任务回流到任务调度方。然后，任务执行服务器集群就可以多个机器一起开启后台线程拉取子任务到本地消费。
本申请实施例提供的任务分割方法，任务调度服务器和任务执行服务器之间采用RPC(Remote Procedure Call Protocol，远程过程调用协议)接口通信方式进行数据交互。因此，在步骤S405之前，还包括：
步骤S503：对所述待执行子任务包括的待处理对象做序列化处理，生成序列化的待处理对象。
RPC在TCP协议(Transmission Control Protocol，传输控制协议)的基础上传输数据，因此，首先需要将待传递数据序列化成字节码，然后再通过TCP协议传递给其它机器。当其它机器需要读取该序列化后的数据时，需要用反序列化的方式解析收到的字节码。在本实施例中，将所述至少一个待执行子任务回送至所述任务调度服务器，采用如下方式：将包括所述序列化的待处理对象的待执行子任务回送至所述任务调度服务器。任务调度服务器接收到至少一个待执行子任务后，将子任务包括的所述序列化的待处理对象作为子任务的一个属性存储在子任务队列中，例如，上述实施例一所述的消息内容体中即存储了序列化的待处理对象。
本申请实施例提供的任务分割方法，还包括：
步骤S505：获取所述待执行子任务。
在本实施例中，任务执行服务器通过预先开启的定时线程池，采用定时轮询方式，从任务调度服务器集群中请求获取一定量的待执行子任务。
步骤S507：执行所述待执行子任务。
本申请实施例提供的任务分割方法，当任务执行服务器获取到待执行子任务之后，将待执行子任务放到本地内存，并在本地内存中另外开启多线程进行消费，逐个处理子任务包括的待处理对象。在本实施例中，获取到的待执行子任务所包括的待处理对象是序列化的待处理对象，因此，在处理待处理对象之前，还需要对序列化的待处理对象进行反序列化的处理。
需要注意的是，在实际应用中，不同的待执行子任务可能包括同一待处理对象；因此，在处理待处理对象时，首先需要获取待处理对象的同步锁，以避免不同子任务同时对同一待处理对象进行处理。
在上述的实施例中，提供了一种任务分割方法，与之相对应的，本申请还提供一种任务分割装置。该装置是与上述方法的实施例相对应。
请参看图6，其为本申请的任务分割装置实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本实施例的一种任务分割装置，用于分布式任务调度系统，包括：
接收单元601，用于接收任务调度服务器分配的待执行任务；
分割单元603，用于根据预设的分割规则，将所述待执行任务分割为至少一个待执行子任务；
回送单元605，用于将所述至少一个待执行子任务回送至所述任务调度服务器。
请参看图7，其为本申请的任务分割装置实施例的具体示意图。可选的，还包括：
筛选单元701，用于根据预设的筛选条件，从所述待执行任务包括的多个待处理对象中选取符合所述筛选条件的待处理对象。
可选的，还包括：
序列化单元703，用于对所述待执行子任务包括的待处理对象做序列化处理，生成序列化的待处理对象；
相应的，所述将所述至少一个待执行子任务回送至所述任务调度服务器，采用如下方式：
将包括所述序列化的待处理对象的所述至少一个待执行子任务回送至所述任务调度服务器。
可选的，还包括：
获取单元705，用于获取并执行所述待执行子任务；
执行单元707，用于执行所述待执行子任务。
可选的，不同的所述待执行子任务包括同一待处理对象；所述执行单元707还包括：
获取子单元，用于对所述待处理对象进行处理时，获取所述待处理对象的同步锁。
请参考图8，其为本申请的又一电子设备实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的又一种电子设备，该电子设备包括：显示器801；处理器802；以及存储器803，所述存储器803被配置成存储任务分割装置，所述任务分割装置被所述处理器802执行时，包括如下步骤：接收任务调度服务器分配的待执行任务；根据预设的分割规则，将所述待执行任务分割为至少一个待执行子任务；将所述至少一个待执行子任务回送至所述任务调度服务器。
本申请实施例还提供了一种任务处理系统，如图9所示，该系统包括任务调度服务器集群901和任务执行服务器集群902；其中，所述任务调度服务器包括上述实施例所述的任务处理装置；所述任务执行服务器包括上述实施例所述的任务分割装置。包括所述任务处理装置的任务调度服务器，能够在启动待执行任务之后，将待执行任务分配给任务执行服务器集群中的某一台任务执行服务器，指示该任务执行服务器对待执行任务进行任务分割处理；相应的，包括所述任务分割装置的任务执行服务器，在接收到任务调度服务器分配的待执行任务后，能够根据预设的分割规则，将待执行任务分割为至少一个待执行子任务，并将至少一个待执行子任务回送至任务调度服务器。任务调度服务器接收到任务执行服务器回流的至少一个待执行子任务后，将待执行子任务存储到待子任务队列中，等待任务执行服务器处理。任务执行服务器将至少一个待执行子任务回送至任务调度服务器后，通过定时轮询方式，从任务调度服务器集群中请求获取待执行子任务，并逐个处理待执行子任务包括的各个待处理对象。
请参考图10，其为本申请的任务处理系统实施例的具体示意图。本实施例的应用场景为仓库管理系统，任务处理系统作为仓库管理系统的组成部分，负责对订单预处理任务进行分发处理，以防止应用服务器负载过高的现象发生。本实施例的任务处理系统实现了一种订单预处理任务的分发策略，把不同仓库的大批量订单预处理任务拆分成很多小的二级任务(即：子任务)分发到任务调度服务器集群(即：DTS服务器集群)，任务调度服务器集群再把子任务平均分配给应用服务器集群(即：任务执行服务器集群)。图10种的DTS是一款实际可用的分布式任务调度产品，为用户提供分布式环境下的任务调度和任务分发功能，DTS服务器集群作为仓库管理系统的二级任务(即：子任务)存储的中心节点。该任务处理系统首先通过页面功能，将各个仓库的订单预处理定时任务维护到DTS集群中，当其中某一个订单预处理定时任务被触发时，对该任务的具体处理流程如下所述：
1)DTS服务端选择应用服务端的某一台机器来执行该任务；
2)被选择的应用服务端机器从相关订单表中筛选出该任务包括的大量订单；
3)应用服务器按照任务分割规则把这批订单拆分为多个小的二级任务(即：子任务)，并把拆分好的二级任务回流到DTS服务端中；
4)DTS服务端实现了一个存储队列，用于保存回流回来的二级任务；
5)针对DTS服务端存储的二级任务，所有应用服务端机器都可以定时轮询消费DTS服务端的二级任务。
通过上述方式对订单预处理任务进行分发处理时，如果预处理任务对应的订单量过多，可以增加任务调度服务器集群的机器数量，以提升任务执行效率。
需要注意的是，由于二级任务的分发依赖于扫描数据表计算出来的数据，因此，不同二级任务的订单列表可能包含相同的订单。为避免同一订单被不同任务并发处理，需要对单个订单的预处理任务做一个同步锁，伪SQL如下：Update order set version＝1 where version＝0；如果该SQL语句的返回结果为1，则表示获取到这条订单预处理的同步锁，返回结果为0，则代表该订单被其它任务占用，本任务将放弃该订单。
本申请提供的任务处理方法、装置及系统，用于分布式任务调度系统，当分布式任务调度系统启动待执行任务之后，通过将所述待执行任务分配给任务执行服务器集群中的第一任务执行服务器，指示所述第一任务执行服务器对所述待执行任务进行任务分割处理；接收所述第一任务执行服务器回送的、对所述待执行任务进行分割后生成的至少一个待执行子任务，将所述至少一个待执行子任务作为所述任务执行服务器集群需要执行的任务，即：在处理待执行任务时首先将其分割为多个子任务，然后由任务执行服务器集群直接处理各个子任务，因而能够避免单台任务执行服务器所处理的任务包括过多待处理对象的问题，从而达到提高任务执行效率和成功率的效果。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (33)

1.一种任务处理方法，用于分布式任务调度系统，其特征在于，在启动待执行任务之后，包括：
将所述待执行任务分配给任务执行服务器集群中的第一任务执行服务器，指示所述第一任务执行服务器对所述待执行任务进行任务分割处理；
接收所述第一任务执行服务器回送的、对所述待执行任务进行分割后生成的至少一个待执行子任务，将所述至少一个待执行子任务作为所述任务执行服务器集群需要执行的任务。
2.根据权利要求1所述的任务处理方法，其特征在于，所述待执行任务包括定时任务，所述方法还包括：
当系统时间达到所述定时任务的执行时间时，触发所述定时任务。
3.根据权利要求1所述的任务处理方法，其特征在于，在启动待执行任务之前，还包括：
将所述待执行任务集中到任务调度服务器集群。
4.根据权利要求3所述的任务处理方法，其特征在于，所述分布式任务调度系统是特定应用系统的组成部分；所述将所述待执行任务集中到任务调度服务器集群，采用如下方式：
向所述特定应用系统增加所述待执行任务时，通过分布式任务调度框架提供的任务映射方法，将所述特定应用系统中的所述待执行任务映射到所述任务调度服务器集群。
5.根据权利要求1所述的任务处理方法，其特征在于，在所述获取所述第一任务执行服务器回送的、对所述待执行任务进行分割后生成的至少一个待执行子任务之后，还包括：
存储所述至少一个待执行子任务。
6.根据权利要求5所述的任务处理方法，其特征在于，所述存储所述至少一个待执行子任务，采用如下方式：
将所述至少一个待执行子任务存储到预设的子任务存储队列中。
7.根据权利要求1所述的任务处理方法，其特征在于，还包括：
根据所述任务执行服务器集群中第二任务执行服务器发送的获取子任务请求，向所述任务执行服务器第二任务执行服务器发送所述待执行子任务，由所述第二任务执行服务器执行所述待执行子任务。
8.根据权利要求7所述的任务处理方法，其特征在于，所述任务执行服务器集群中的各个任务执行服务器通过定时轮询方式发送所述获取子任务请求。
9.根据权利要求1-8任一项所述的任务处理方法，其特征在于，所述待执行任务包括订单预处理任务；所述订单预处理任务包括的待处理对象为订单。
10.根据权利要求9所述的任务处理方法，其特征在于，所述订单预处理任务与特定仓库相对应；所述订单是指所述特定仓库中的订单。
11.一种任务处理装置，用于分布式任务调度系统，其特征在于，包括：
分配单元，用于将所述待执行任务分配给任务执行服务器集群中的第一任务执行服务器，指示所述第一任务执行服务器对所述待执行任务进行任务分割处理；
接收单元，用于接收所述第一任务执行服务器回送的、对所述待执行任务进行分割后生成的至少一个待执行子任务，将所述至少一个待执行子任务作为所述任务执行服务器集群需要执行的任务。
12.根据权利要求11所述的任务处理装置，其特征在于，所述待执行任务包括定时任务，所述装置还包括：
触发单元，用于当系统时间达到所述定时任务的执行时间时，触发所述定时任务。
13.根据权利要求11所述的任务处理装置，其特征在于，还包括：
生成任务单元，用于将所述待执行任务集中到任务调度服务器集群。
14.根据权利要求11所述的任务处理装置，其特征在于，还包括：
存储单元，用于存储所述至少一个待执行子任务。
15.根据权利要求11所述的任务处理装置，其特征在于，还包括：
发送单元，用于根据所述任务执行服务器集群中第二任务执行服务器发送的获取子任务请求，向所述任务执行服务器第二任务执行服务器发送所述待执行子任务，由所述第二任务执行服务器执行所述待执行子任务。
16.一种电子设备，其特征在于，包括：
显示器；
处理器；以及
存储器，所述存储器被配置成存储任务处理装置，所述任务处理装置被所述处理器执行时，包括如下步骤：将所述待执行任务分配给任务执行服务器集群中的第一任务执行服务器，指示所述第一任务执行服务器对所述待执行任务进行任务分割处理；接收所述第一任务执行服务器回送的、对所述待执行任务进行分割后生成的至少一个待执行子任务，将所述至少一个待执行子任务作为所述任务执行服务器集群需要执行的任务。
17.一种任务分割方法，用于分布式任务调度系统，其特征在于，包括：
接收任务调度服务器分配的待执行任务；
根据预设的分割规则，将所述待执行任务分割为至少一个待执行子任务；
将所述至少一个待执行子任务回送至所述任务调度服务器。
18.根据权利要求17所述的任务分割方法，其特征在于，所述预设的分割规则包括：所述待执行子任务包括的待处理对象数量小于等于预设的对象量阈值。
19.根据权利要求17所述的任务分割方法，其特征在于，在所述将所述待执行任务分割为至少一个待执行子任务之前，还包括：
根据预设的筛选条件，从所述待执行任务包括的多个待处理对象中选取符合所述筛选条件的待处理对象。
20.根据权利要求17所述的任务分割方法，其特征在于，在所述将所述至少一个待执行子任务回送至所述任务调度服务器之前，还包括：
对所述待执行子任务包括的待处理对象做序列化处理，生成序列化的待处理对象；
相应的，所述将所述至少一个待执行子任务回送至所述任务调度服务器，采用如下方式：
将包括所述序列化的待处理对象的所述至少一个待执行子任务回送至所述任务调度服务器。
21.根据权利要求17所述的任务分割方法，其特征在于，还包括：
获取所述待执行子任务；
执行所述待执行子任务。
22.根据权利要求21所述的任务分割方法，其特征在于，所述获取所述待执行子任务，采用如下方式：
通过定时轮询方式，从所述任务调度服务器所属的任务调度服务器集群中请求获取所述待执行子任务。
23.根据权利要求21所述的任务分割方法，其特征在于，不同的所述待执行子任务包括同一待处理对象；所述执行所述待执行子任务，包括：
对所述待处理对象进行处理时，获取所述待处理对象的同步锁。
24.根据权利要求17-24任一项所述的任务分割方法，其特征在于，所述待执行任务包括订单预处理任务；所述订单预处理任务包括的待处理对象包括订单。
25.根据权利要求24所述的任务处理方法，其特征在于，所述订单预处理任务与特定仓库相对应；所述订单是指所述特定仓库中的订单。
26.根据权利要求25所述的任务分割方法，其特征在于，在将所述订单预处理任务分割为至少一个子任务之前，还包括：
根据预设的筛选条件，从所述订单预处理任务包括的多个订单中选取符合所述筛选条件的订单；
所述预设的筛选条件包括：所述订单的状态为初始化状态；所述从所述订单预处理任务包括的多个订单中选取符合所述筛选条件的订单，包括：
根据预先存储的任务属性表，获取所述订单预处理任务对应的所述特定仓库；
根据预先存储的所述特定仓库的订单表，获取所述特定仓库包括的订单集合；
根据所述订单的状态属性，从所述订单集合中选取处于所述初始化状态的订单，作为符合所述筛选条件的订单。
27.一种任务分割装置，用于分布式任务调度系统，其特征在于，包括：
接收单元，用于接收任务调度服务器分配的待执行任务；
分割单元，用于根据预设的分割规则，将所述待执行任务分割为至少一个待执行子任务；
回送单元，用于将所述至少一个待执行子任务回送至所述任务调度服务器。
28.根据权利要求27所述的任务分割装置，其特征在于，还包括：
筛选单元，用于根据预设的筛选条件，从所述待执行任务包括的多个待处理对象中选取符合所述筛选条件的待处理对象。
29.根据权利要求27所述的任务分割装置，其特征在于，还包括：
序列化单元，用于对所述待执行子任务包括的待处理对象做序列化处理，生成序列化的待处理对象；
相应的，所述将所述至少一个待执行子任务回送至所述任务调度服务器，采用如下方式：
将包括所述序列化的待处理对象的所述至少一个待执行子任务回送至所述任务调度服务器。
30.根据权利要求27所述的任务分割装置，其特征在于，还包括：
获取单元，用于获取所述待执行子任务；
执行单元，用于执行所述待执行子任务。
31.根据权利要求30所述的任务分割装置，其特征在于，不同的所述待执行子任务包括同一待处理对象；所述执行单元还包括：
获取子单元，用于对所述待处理对象进行处理时，获取所述待处理对象的同步锁。
32.一种电子设备，其特征在于，包括：
显示器；
处理器；以及
存储器，所述存储器被配置成存储任务分割装置，所述任务分割装置被所述处理器执行时，包括如下步骤：接收任务调度服务器分配的待执行任务；根据预设的分割规则，将所述待执行任务分割为至少一个待执行子任务；将所述至少一个待执行子任务回送至所述任务调度服务器。
33.一种任务处理系统，其特征在于，包括：任务调度服务器集群和任务执行服务器集群；其中，所述任务调度服务器包括根据上述权利要求11所述的任务处理装置；所述任务执行服务器包括根据上述权利要求26所述的任务分割装置。
CN201510885686.1A 2015-12-07 2015-12-07 一种任务处理方法、装置及系统 Pending CN106844018A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510885686.1A CN106844018A (zh) 2015-12-07 2015-12-07 一种任务处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510885686.1A CN106844018A (zh) 2015-12-07 2015-12-07 一种任务处理方法、装置及系统

Publications (1)

Publication Number Publication Date
CN106844018A true CN106844018A (zh) 2017-06-13

Family

ID=59150653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510885686.1A Pending CN106844018A (zh) 2015-12-07 2015-12-07 一种任务处理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN106844018A (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107453929A (zh) * 2017-09-22 2017-12-08 中国联合网络通信集团有限公司 集群系统自构建方法、装置及集群系统
CN107450972A (zh) * 2017-07-04 2017-12-08 阿里巴巴集团控股有限公司 一种调度方法、装置以及电子设备
CN107608773A (zh) * 2017-08-24 2018-01-19 阿里巴巴集团控股有限公司 任务并发处理方法、装置及计算设备
CN107608779A (zh) * 2017-10-25 2018-01-19 北京图森未来科技有限公司 一种任务执行方法及装置、嵌入式设备
CN107688500A (zh) * 2017-07-26 2018-02-13 阿里巴巴集团控股有限公司 一种分布式任务处理方法、装置、系统及设备
CN107819855A (zh) * 2017-11-14 2018-03-20 成都路行通信息技术有限公司 一种消息分发方法及装置
CN107910041A (zh) * 2017-11-06 2018-04-13 上海林康医疗信息技术有限公司 一种用于精准提醒慢病患者按时服药的系统和方法
CN108182111A (zh) * 2018-01-23 2018-06-19 百度在线网络技术（北京）有限公司 任务调度系统、方法和装置
CN108287764A (zh) * 2018-01-31 2018-07-17 上海携程商务有限公司 分布式任务调度方法及其系统、存储介质、电子设备
CN108446301A (zh) * 2018-01-26 2018-08-24 阿里巴巴集团控股有限公司 业务文件拆分汇总方法、装置及设备
CN108540568A (zh) * 2018-04-23 2018-09-14 移康智能科技（上海）股份有限公司 计算能力共享方法及智能设备
CN108536530A (zh) * 2018-04-02 2018-09-14 北京中电普华信息技术有限公司 一种多线程任务调度方法及装置
WO2019019381A1 (zh) * 2017-07-25 2019-01-31 平安科技（深圳）有限公司 批量处理保单任务的方法、装置、计算机设备及存储介质
CN109308214A (zh) * 2017-07-27 2019-02-05 北京京东尚科信息技术有限公司 数据任务处理方法和系统
CN109358970A (zh) * 2018-10-18 2019-02-19 郑州云海信息技术有限公司 一种云数据中心任务管理的方法及任务中心
CN109542920A (zh) * 2018-11-23 2019-03-29 泰康保险集团股份有限公司 一种数据传输方法、装置、介质和电子设备
CN109597681A (zh) * 2018-10-22 2019-04-09 平安科技（深圳）有限公司 云端控制方法、装置、计算机设备及存储介质
CN109660633A (zh) * 2019-01-30 2019-04-19 北京云端智度科技有限公司 一种基于分布式调度机制的集群体系
CN109710263A (zh) * 2018-12-18 2019-05-03 北京字节跳动网络技术有限公司 代码的编译方法、装置、存储介质及电子设备
CN110247954A (zh) * 2019-05-15 2019-09-17 南京苏宁软件技术有限公司 一种分布式任务的调度方法及系统
CN110348661A (zh) * 2018-04-08 2019-10-18 北京京东尚科信息技术有限公司 一种用于仓储运输的任务分配方法和装置
CN110413411A (zh) * 2019-07-18 2019-11-05 阿里巴巴集团控股有限公司 资源数据处理系统及数据处理方法
CN110515718A (zh) * 2019-08-30 2019-11-29 深圳前海微众银行股份有限公司 批量任务断点续作方法、装置、设备及介质
CN110519381A (zh) * 2019-08-29 2019-11-29 深圳前海微众银行股份有限公司 分布式任务的处理方法、装置、终端设备及存储介质
CN110532077A (zh) * 2019-08-22 2019-12-03 腾讯科技（深圳）有限公司 任务处理方法、装置及存储介质
CN110780988A (zh) * 2018-07-31 2020-02-11 重庆小雨点小额贷款有限公司 一种任务触发方法、装置及计算机可读存储介质
CN111061762A (zh) * 2019-11-08 2020-04-24 京东数字科技控股有限公司 分布式任务处理方法、相关设备、系统及存储介质
CN112559158A (zh) * 2020-12-29 2021-03-26 中国人民银行清算总中心 微服务定时任务调度方法及装置
CN112700304A (zh) * 2020-12-31 2021-04-23 浙江子不语电子商务有限公司 基于多平台的订单交互管理系统
CN113377863A (zh) * 2020-03-10 2021-09-10 阿里巴巴集团控股有限公司 数据同步方法、装置、电子设备及计算机可读存储介质
CN113778658A (zh) * 2020-09-29 2021-12-10 北京沃东天骏信息技术有限公司 任务分配方法及装置、电子设备、存储介质
US11294732B2 (en) 2019-09-10 2022-04-05 Microsoft Technology Licensing, Llc Self-partitioning distributed computing system
CN115016921A (zh) * 2021-10-22 2022-09-06 荣耀终端有限公司 资源调度方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464884A (zh) * 2008-12-31 2009-06-24 阿里巴巴集团控股有限公司 一种分布式任务系统及应用该系统的数据处理方法
CN101741885A (zh) * 2008-11-19 2010-06-16 珠海市西山居软件有限公司 分布式系统及分布式系统处理任务流的方法
CN104239148A (zh) * 2013-06-06 2014-12-24 腾讯科技（深圳）有限公司 一种分布式任务调度方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741885A (zh) * 2008-11-19 2010-06-16 珠海市西山居软件有限公司 分布式系统及分布式系统处理任务流的方法
CN101464884A (zh) * 2008-12-31 2009-06-24 阿里巴巴集团控股有限公司 一种分布式任务系统及应用该系统的数据处理方法
CN104239148A (zh) * 2013-06-06 2014-12-24 腾讯科技（深圳）有限公司 一种分布式任务调度方法及装置

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107450972B (zh) * 2017-07-04 2020-10-16 创新先进技术有限公司 一种调度方法、装置以及电子设备
CN107450972A (zh) * 2017-07-04 2017-12-08 阿里巴巴集团控股有限公司 一种调度方法、装置以及电子设备
WO2019019381A1 (zh) * 2017-07-25 2019-01-31 平安科技（深圳）有限公司 批量处理保单任务的方法、装置、计算机设备及存储介质
CN107688500A (zh) * 2017-07-26 2018-02-13 阿里巴巴集团控股有限公司 一种分布式任务处理方法、装置、系统及设备
CN109308214A (zh) * 2017-07-27 2019-02-05 北京京东尚科信息技术有限公司 数据任务处理方法和系统
CN107608773A (zh) * 2017-08-24 2018-01-19 阿里巴巴集团控股有限公司 任务并发处理方法、装置及计算设备
CN107453929A (zh) * 2017-09-22 2017-12-08 中国联合网络通信集团有限公司 集群系统自构建方法、装置及集群系统
CN107608779A (zh) * 2017-10-25 2018-01-19 北京图森未来科技有限公司 一种任务执行方法及装置、嵌入式设备
CN107910041A (zh) * 2017-11-06 2018-04-13 上海林康医疗信息技术有限公司 一种用于精准提醒慢病患者按时服药的系统和方法
CN107819855A (zh) * 2017-11-14 2018-03-20 成都路行通信息技术有限公司 一种消息分发方法及装置
CN107819855B (zh) * 2017-11-14 2020-07-28 成都路行通信息技术有限公司 一种消息分发方法及装置
CN108182111B (zh) * 2018-01-23 2022-07-15 百度在线网络技术（北京）有限公司 任务调度系统、方法和装置
CN108182111A (zh) * 2018-01-23 2018-06-19 百度在线网络技术（北京）有限公司 任务调度系统、方法和装置
CN108446301A (zh) * 2018-01-26 2018-08-24 阿里巴巴集团控股有限公司 业务文件拆分汇总方法、装置及设备
CN108446301B (zh) * 2018-01-26 2021-10-29 创新先进技术有限公司 业务文件拆分汇总方法、装置及设备
CN108287764A (zh) * 2018-01-31 2018-07-17 上海携程商务有限公司 分布式任务调度方法及其系统、存储介质、电子设备
CN108536530A (zh) * 2018-04-02 2018-09-14 北京中电普华信息技术有限公司 一种多线程任务调度方法及装置
CN108536530B (zh) * 2018-04-02 2021-10-22 北京中电普华信息技术有限公司 一种多线程任务调度方法及装置
CN110348661A (zh) * 2018-04-08 2019-10-18 北京京东尚科信息技术有限公司 一种用于仓储运输的任务分配方法和装置
CN110348661B (zh) * 2018-04-08 2023-01-31 北京京东尚科信息技术有限公司 一种用于仓储运输的任务分配方法和装置
CN108540568B (zh) * 2018-04-23 2021-06-01 移康智能科技（上海）股份有限公司 计算能力共享方法及智能设备
CN108540568A (zh) * 2018-04-23 2018-09-14 移康智能科技（上海）股份有限公司 计算能力共享方法及智能设备
CN110780988A (zh) * 2018-07-31 2020-02-11 重庆小雨点小额贷款有限公司 一种任务触发方法、装置及计算机可读存储介质
CN110780988B (zh) * 2018-07-31 2022-12-13 重庆小雨点小额贷款有限公司 一种任务触发方法、装置及计算机可读存储介质
CN109358970A (zh) * 2018-10-18 2019-02-19 郑州云海信息技术有限公司 一种云数据中心任务管理的方法及任务中心
CN109597681B (zh) * 2018-10-22 2024-05-07 平安科技（深圳）有限公司 云端控制方法、装置、计算机设备及存储介质
CN109597681A (zh) * 2018-10-22 2019-04-09 平安科技（深圳）有限公司 云端控制方法、装置、计算机设备及存储介质
CN109542920A (zh) * 2018-11-23 2019-03-29 泰康保险集团股份有限公司 一种数据传输方法、装置、介质和电子设备
CN109542920B (zh) * 2018-11-23 2021-11-19 泰康保险集团股份有限公司 一种数据传输方法、装置、介质和电子设备
CN109710263A (zh) * 2018-12-18 2019-05-03 北京字节跳动网络技术有限公司 代码的编译方法、装置、存储介质及电子设备
CN109660633A (zh) * 2019-01-30 2019-04-19 北京云端智度科技有限公司 一种基于分布式调度机制的集群体系
CN110247954A (zh) * 2019-05-15 2019-09-17 南京苏宁软件技术有限公司 一种分布式任务的调度方法及系统
CN110413411A (zh) * 2019-07-18 2019-11-05 阿里巴巴集团控股有限公司 资源数据处理系统及数据处理方法
CN110532077A (zh) * 2019-08-22 2019-12-03 腾讯科技（深圳）有限公司 任务处理方法、装置及存储介质
CN110532077B (zh) * 2019-08-22 2021-12-07 腾讯科技（深圳）有限公司 任务处理方法、装置及存储介质
CN110519381A (zh) * 2019-08-29 2019-11-29 深圳前海微众银行股份有限公司 分布式任务的处理方法、装置、终端设备及存储介质
CN110519381B (zh) * 2019-08-29 2023-08-25 深圳前海微众银行股份有限公司 分布式任务的处理方法、装置、终端设备及存储介质
CN110515718A (zh) * 2019-08-30 2019-11-29 深圳前海微众银行股份有限公司 批量任务断点续作方法、装置、设备及介质
CN110515718B (zh) * 2019-08-30 2023-07-18 深圳前海微众银行股份有限公司 批量任务断点续作方法、装置、设备及介质
US11294732B2 (en) 2019-09-10 2022-04-05 Microsoft Technology Licensing, Llc Self-partitioning distributed computing system
CN111061762A (zh) * 2019-11-08 2020-04-24 京东数字科技控股有限公司 分布式任务处理方法、相关设备、系统及存储介质
CN113377863A (zh) * 2020-03-10 2021-09-10 阿里巴巴集团控股有限公司 数据同步方法、装置、电子设备及计算机可读存储介质
CN113377863B (zh) * 2020-03-10 2022-04-29 阿里巴巴集团控股有限公司 数据同步方法、装置、电子设备及计算机可读存储介质
CN113778658A (zh) * 2020-09-29 2021-12-10 北京沃东天骏信息技术有限公司 任务分配方法及装置、电子设备、存储介质
CN112559158A (zh) * 2020-12-29 2021-03-26 中国人民银行清算总中心 微服务定时任务调度方法及装置
CN112700304A (zh) * 2020-12-31 2021-04-23 浙江子不语电子商务有限公司 基于多平台的订单交互管理系统
CN115016921A (zh) * 2021-10-22 2022-09-06 荣耀终端有限公司 资源调度方法、装置及存储介质
CN115016921B (zh) * 2021-10-22 2023-10-13 荣耀终端有限公司 资源调度方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN106844018A (zh) 一种任务处理方法、装置及系统
US9720731B2 (en) Methods and apparatus for coordinating and selecting protocols for resources acquisition from multiple resource managers
CN109471727A (zh) 一种任务处理方法、装置及系统
US20080092140A1 (en) Systems and methods for executing a computer program in a multi-processor environment
CN106610871A (zh) 一种云操作系统架构
CN103186834A (zh) 业务流程配置方法和装置
CN110162388A (zh) 一种任务调度方法、系统及终端设备
Moens et al. Cost-effective feature placement of customizable multi-tenant applications in the cloud
US10628766B2 (en) Method and system for enabling dynamic capacity planning
Jayasekara et al. Wihidum: Distributed complex event processing
CN110928655A (zh) 一种任务处理方法及装置
CN106874109A (zh) 一种分布式作业分发处理方法及系统
Gundu et al. Real-time cloud-based load balance algorithms and an analysis
Lim et al. A constraint programming-based resource management technique for processing mapreduce jobs with slas on clouds
CN115202847A (zh) 任务的调度方法和装置
Mahato et al. Load balanced transaction scheduling using Honey Bee Optimization considering performability in on‐demand computing system
CN109324898B (zh) 一种业务处理方法及系统
Benali et al. A pareto-based Artificial Bee Colony and product line for optimizing scheduling of VM on cloud computing
CN106598726A (zh) 一种多任务管理系统及其分布式部署方法
CN111913784A (zh) 任务调度方法及装置、网元、存储介质
CN113722141B (zh) 数据任务的延迟原因确定方法、装置、电子设备及介质
Barták et al. Hierarchical task model for resource failure recovery in production scheduling
CN104268702A (zh) 网站工作流中一种基于主动订阅的任务分发机制
Malathi et al. Energy Aware Load Balancing Algorithm for Upgraded Effectiveness in Green Cloud Computing
US20170139982A1 (en) Processing of Data Chunks Using a Database Calculation Engine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180425

Address after: Cayman Islands, Grand Cayman Island capital building, four level 847 box

Applicant after: CAINIAO SMART LOGISTICS HOLDING Ltd.

Address before: Cayman Islands Grand Cayman capital building a four storey No. 847 mailbox

Applicant before: ALIBABA GROUP HOLDING Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613

RJ01 Rejection of invention patent application after publication