CN109144744A - 任务处理系统、方法和装置 - Google Patents

任务处理系统、方法和装置 Download PDF

Info

Publication number
CN109144744A
CN109144744A CN201710512176.9A CN201710512176A CN109144744A CN 109144744 A CN109144744 A CN 109144744A CN 201710512176 A CN201710512176 A CN 201710512176A CN 109144744 A CN109144744 A CN 109144744A
Authority
CN
China
Prior art keywords
task
pending
server
task identification
server cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710512176.9A
Other languages
English (en)
Inventor
王英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710512176.9A priority Critical patent/CN109144744A/zh
Publication of CN109144744A publication Critical patent/CN109144744A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

本申请公开了任务处理系统、方法和装置。该系统的一具体实施方式包括:选取服务器,用于从扫描服务器群组中选取出扫描服务器集群作为目标扫描服务器集群;目标扫描服务器集群,用于扫描数据库服务器中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识生成待执行任务标识集合,其中,数据库服务器用于存储任务信息集合,任务信息包括任务标识和任务执行状态,任务执行状态包括待执行状态和已执行状态;执行服务器集群,用于从目标扫描服务器集群中获取待执行任务标识集合,并执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。该实施方式提供的任务处理系统提高了任务的执行效率。

Description

任务处理系统、方法和装置
技术领域
本申请涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及任务处理系统、方法和装置。
背景技术
随着互联网的飞速发展,各种互联网应用层出不穷。然而,支持互联网应用的系统通常需要执行多种任务。然而,现有的任务处理系统不支持分布式任务执行,通常只使用一台执行服务器执行多种任务,这样就导致任务的执行效率较低。
发明内容
本申请的目的在于提出一种改进的任务处理系统、方法和装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请实施例提供了一种任务处理系统,该系统包括:选取服务器、扫描服务器群组、数据库服务器和执行服务器集群;选取服务器,用于从扫描服务器群组中选取出扫描服务器集群作为目标扫描服务器集群;目标扫描服务器集群,用于扫描数据库服务器中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识生成待执行任务标识集合,其中,数据库服务器用于存储任务信息集合,任务信息包括任务标识和任务执行状态,任务执行状态包括待执行状态和已执行状态;执行服务器集群,用于从目标扫描服务器集群中获取待执行任务标识集合,并执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
在一些实施例中,目标扫描服务器集群还用于:创建消息队列集合,并将待执行任务标识集合存入消息队列集合中;执行服务器集群还用于:从消息队列集合中获取待执行任务标识集合。
在一些实施例中,任务信息还包括任务类型;以及目标扫描服务器集群中的各台目标扫描服务器还用于:分别扫描数据库服务器中的任务信息集合中的各种任务类型所对应的任务信息子集,其中,一台目标扫描服务器扫描一种任务类型所对应的任务信息子集;分别获取各种任务类型所对应的任务信息子集中的任务执行状态为待执行状态的任务信息中的任务标识生成各种任务类型所对应的待执行任务标识集合;分别将各种任务类型所对应的待执行任务标识集合存入消息队列集合中,其中,同一种任务类型所对应的待执行任务标识集合存入同一个消息队列中。
在一些实施例中,任务执行状态还包括锁定状态;以及执行服务器集群中的各台执行服务器还用于:从消息队列集合中选取出消息队列作为目标消息队列,获取目标消息队列中存储的待执行任务标识作为目标待执行任务标识,查询出数据库服务器中的目标待执行任务标识所对应的目标待执行任务信息中的目标待执行任务执行状态,若目标待执行任务执行状态为待执行状态,则向数据库服务器发送第一修改指令,并执行目标待执行任务标识所指示的目标待执行任务;数据库服务器还用于:响应于接收到第一修改指令,将目标待执行任务信息中的目标待执行任务执行状态修改为锁定状态。
在一些实施例中,执行服务器集群中的各台执行服务器还用于:若目标待执行任务执行状态为锁定状态或已执行状态,则放弃执行目标待执行任务标识所指示的目标待执行任务。
在一些实施例中,任务信息还包括前继任务标识;以及执行服务器集群中的各台执行服务器还用于:查询出数据库服务器中的目标待执行任务标识所对应的目标待执行任务信息中的前继任务标识;查询出数据库服务器中的所查询出的前继任务标识所对应前继任务信息中的前继任务执行状态;若所查询出的前继任务执行状态是已执行状态,则执行目标待执行任务标识所指示的目标待执行任务。
在一些实施例中,执行服务器集群中的各台执行服务器还用于:若所查询出的前继任务执行状态是锁定状态或待执行状态,则放弃执行目标待执行任务标识所指示的目标待执行任务。
在一些实施例中,执行服务器集群还用于:对于待执行任务标识集合中的每个待执行任务标识,若该待执行任务标识所指示的待执行任务执行成功,则向数据库服务器发送第二修改指令;数据库服务器还用于:响应于接收到第二修改指令,将该待执行任务标识所对应的待执行任务信息中的待执行任务执行状态修改为已执行状态。
在一些实施例中,任务信息还包括任务执行失败次数;以及执行服务器集群还用于:对于待执行任务标识集合中的每个待执行任务标识,若该待执行任务标识所指示的待执行任务执行失败,则向数据库服务器发送第三修改指令;数据库服务器还用于:响应于接收到第三修改指令,将该待执行任务标识所对应的待执行任务信息中的待执行任务执行失败次数增加预设值。
在一些实施例中,选取服务器还用于:分别对扫描服务器群组中的各个扫描服务器集群进行编号;从扫描服务器群组中选取出编号最小的扫描服务器集群作为目标扫描服务器集群。
第二方面,本申请实施例提供了一种用于执行服务器集群的任务处理方法,该方法包括:从目标扫描服务器集群中获取待执行任务标识集合,其中,目标扫描服务器集群是选取服务器从扫描服务器群组中选取出的扫描服务器集群,待执行任务标识集合是目标扫描服务器集群通过扫描数据库服务器中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识所生成的,任务信息包括任务标识和任务执行状态,任务执行状态包括待执行状态和已执行状态;执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
第三方面,本申请实施例提供了一种用于执行服务器集群的任务处理装置,该装置包括:获取单元,配置用于从目标扫描服务器集群中获取待执行任务标识集合,其中,目标扫描服务器集群是选取服务器从扫描服务器群组中选取出的扫描服务器集群,待执行任务标识集合是目标扫描服务器集群通过扫描数据库服务器中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识所生成的,任务信息包括任务标识和任务执行状态,任务执行状态包括待执行状态和已执行状态;执行单元,配置用于执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
本申请实施例提供的任务处理系统、方法和装置,首先,选取服务器从扫描服务器群组中选取出扫描服务器集群作为目标扫描服务器集群;然后,目标扫描服务器集群扫描数据库服务器中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识生成待执行任务标识集合;最后,执行服务器集群从目标扫描服务器集群中获取待执行任务标识集合,并执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。任务处理系统利用执行服务器集群分布式执行任务,从而提高了任务的执行效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是根据本申请实施例的任务处理系统的示例性系统架构图;
图2是根据本申请的任务处理系统的一个实施例的时序图;
图3是根据本申请的用于执行服务器集群的任务处理方法的一个实施例的流程图;
图4是根据本申请的用于执行服务器集群的任务处理装置的一个实施例的结构示意图;
图5是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了根据本申请实施例的任务处理系统的示例性系统架构100。
如图1所示,系统架构100可以包括选取服务器101、扫描服务器群组102、数据库服务器103、执行服务器集群104和网络105、106、107。其中,扫描服务器群组102可以包括扫描服务器集群1021、1022、1023、1024。扫描服务器集群1021可以包括扫描服务器10211、10212、10213、10214。扫描服务器集群1022可以包括扫描服务器10221、10222、10223、10224。扫描服务器集群1023可以包括扫描服务器10231、10232、10233、10234。扫描服务器集群1024可以包括扫描服务器10241、10242、10243、10244。执行服务器集群104可以包括执行服务器1041、1042、1043、1044。网络105用以在选取服务器101和扫描服务器群组102之间提供通信链路的介质。网络106用以在扫描服务器群组102和数据库服务器103之间提供通信链路的介质。网络107用以在扫描服务器群组102和执行服务器集群104之间提供通信链路的介质。网络105、106、107可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
选取服务器101可以通过网络105与扫描服务器群组102交互,以接收或发送消息等。例如,选取服务器101可以从扫描服务器群组102中选取出扫描服务器集群(例如扫描服务器集群1021)作为目标扫描服务器集群。
目标扫描服务器集群可以通过网络106与数据库服务器103交互,以接收或发送消息等。例如,目标扫描服务器集群可以扫描数据库服务器103中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识生成待执行任务标识集合。
目标扫描服务器集群可以通过网络107与执行服务器集群104交互,以接收或发送消息等。例如,执行服务器集群104可以从目标扫描服务器集群中获取待执行任务标识集合,并执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
需要说明的是,本申请实施例所提供的用于执行服务器集群的任务处理方法一般由执行服务器集群104执行,相应地,用于执行服务器集群的任务处理装置一般设置于执行服务器集群104中。
应该理解,图1中的选取服务器、扫描服务器群组、数据库服务器、执行服务器集群和网络,以及扫描服务器群组中的扫描服务器集群、扫描服务器集群中的扫描服务器、执行服务器集群中的执行服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的选取服务器、扫描服务器群组、数据库服务器、执行服务器集群和网络,以及扫描服务器群组中的扫描服务器集群、扫描服务器集群中的扫描服务器、执行服务器集群中的执行服务器。
继续参考图2,其示出了根据本申请的任务处理系统的一个实施例的时序200。
本实施例中的任务处理系统可以包括选取服务器(例如图1所示的选取服务器101)、扫描服务器群组(例如图1所示的扫描服务器群组102)、数据库服务器(例如图1所示的数据库服务器103)和执行服务器集群(例如图1所示的执行服务器集群104)。其中,选取服务器,用于从扫描服务器群组中选取出扫描服务器集群作为目标扫描服务器集群;目标扫描服务器集群,用于扫描数据库服务器中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识生成待执行任务标识集合,其中,数据库服务器用于存储任务信息集合,任务信息包括任务标识和任务执行状态,任务执行状态包括待执行状态和已执行状态;执行服务器集群,用于从目标扫描服务器集群中获取待执行任务标识集合,并执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
如图2所示,在步骤201中,选取服务器从扫描服务器群组中选取出扫描服务器集群作为目标扫描服务器集群。
在本实施例中,选取服务器(例如图1所示的选取服务器101)可以从扫描服务器群组(例如图1所示的扫描服务器群组102)中选取出目标扫描服务器集群(例如图1所示的扫描服务器集群1021)。实践中,在任务处理系统运行过程中,若目标扫描服务器集群出现故障,选取服务器还可以从扫描服务器群组中的其余的扫描服务器集群中选取出新的目标扫描服务器集群,从而确保任务处理系统能够正常运行。
在本实施例中,选取服务器可以是部署有zookeeper的服务器。zookeeper是一个分布式的、开放源码的分布式应用程序协调服务,通常以集群的形式存在,可以提供选举的接口,用于选举leader(领导者)。扫描服务器群组可以包括至少一个扫描服务器集群。扫描服务器集群可以包括至少一台扫描服务器。
在本实施例的一些可选的实现方式中,选取服务器可以从扫描服务器群组中随机选取出扫描服务器集群作为目标扫描服务器集群。
在本实施例的一些可选的实现方式中,选取服务器可以首先分别对扫描服务器群组中的各个扫描服务器集群进行编号;然后从扫描服务器群组中选取出编号最小的扫描服务器集群作为目标扫描服务器集群。其中,不同的扫描服务器集群的编号不同。作为示例,扫描服务器群组中的各个扫描服务器集群需要预先在选取服务器上注册服务,选取服务器就可以根据扫描服务器群组中的各个扫描服务器集群的注册先后顺序为各个扫描服务器集群进行编号。
在步骤202中,目标扫描服务器集群扫描数据库服务器中的任务信息集合。
在本实施例中,目标扫描服务器集群可以实时地或者周期性(例如每隔10s、20s或1min)地扫描数据库服务器(例如图1所示的数据库服务器103)中的任务信息集合。其中,任务(task)是由计算机来完成的基本工作元,是由控制程序处理的一个或多个指令序列。以电商系统为例,任务可以包括但不限于物品下单任务、物品支付任务、物品出库任务和物品结算任务等等。任务信息可以包括任务标识和任务执行状态。任务标识可以由数字、字母、符号等组成,可以用于唯一标识任务。任务执行状态可以包括待执行状态和已执行状态。数据库服务器可以用于存储任务信息集合,例如,任务信息集合可以存储在数据库服务器中的数据表中。
在步骤203中,目标扫描服务器集群获取任务执行状态为待执行状态的任务信息中的任务标识生成待执行任务标识集合。
在本实施例中,在目标扫描服务器集群扫描任务信息集合的过程中,目标扫描服务器集群可以首先读取任务信息集合中的各个任务信息;然后选取出任务执行状态为待执行状态的任务信息;最后获取所选取出的任务信息中的任务标识以生成待执行任务标识集合。
在步骤204中,执行服务器集群从目标扫描服务器集群中获取待执行任务标识集合。
在本实施例中,执行服务器集群(例如图1所示的执行服务器集群104)可以通过有线连接方式或者无线连接的方式从目标扫描服务器集群中获取待执行任务标识集合。其中,执行服务器集群包括至少一台执行服务器。
在本实施例的一些可选的实现方式中,目标扫描服务器集群可以直接将待执行任务标识集合发送至执行服务器集群中。
在本实施例的一些可选的实现方式中,首先,目标扫描服务器集群可以创建消息队列集合,并将待执行任务标识集合存入消息队列集合中;然后,执行服务器集群可以从消息队列集合中获取待执行任务标识集合。其中,消息队列集合可以包括至少一个消息队列。消息队列是在消息的传输过程中保存消息的容器。消息队列的主要目的是提供路由并保证消息的传递;如果发送消息时接收者不可用,消息队列会保留消息,直到可以成功地传递它。
在本实施例的一些可选的实现方式中,目标扫描服务器可以通过以下步骤将待执行任务标识集合存入消息队列集合中:
首先,目标扫描服务器集群中的各台目标扫描服务器可以分别扫描数据库服务器中的任务信息集合中的各种任务类型所对应的任务信息子集。其中,任务信息还可以包括任务类型。这里,一台目标扫描服务器可以扫描一种任务类型所对应的任务信息子集,根据不同任务类型的任务对时效性的要求,可以为各台目标扫描服务器分别设置不同的扫描频率。具体地,对于时效性要求较高的任务类型所对应的任务信息子集,可以为扫描该任务类型的目标扫描服务器设置较高的扫描频率,例如,每隔10s扫描一次;对于时效性要求较低的任务类型所对应的任务信息子集,可以为扫描该任务类型的目标扫描服务器设置较低的扫描频率,例如,每隔20s扫描一次。
然后,目标扫描服务器集群中的各台目标扫描服务器可以分别获取各种任务类型所对应的任务信息子集中的任务执行状态为待执行状态的任务信息中的任务标识生成各种任务类型所对应的待执行任务标识集合。具体地,在目标扫描服务器集群中的各台目标扫描服务器扫描各种任务类型所对应的任务信息子集的过程中,目标扫描服务器集群中的各台目标扫描服务器可以首先分别读取各种任务类型所对应的任务信息子集中的各个任务信息;然后分别选取出各种任务类型所对应的任务信息子集中的任务执行状态为待执行状态的任务信息;最后分别获取所选取出的各种任务类型所对应的任务信息中的任务标识以生成各种任务类型所对应的待执行任务标识集合。
最后,目标扫描服务器集群中的各台目标扫描服务器可以分别将各种任务类型所对应的待执行任务标识集合存入消息队列集合中。其中,同一种任务类型所对应的待执行任务标识集合存入同一个消息队列中。例如,对于时效性要求较高的任务类型所对应的待执行任务标识集合,可以将一种任务类型所对应的待执行任务标识集合独立存入一个消息队列中;对于时效性要求较低的任务类型所对应的待执行任务标识集合,可以将若干种任务类型所对应的待执行任务标识集合存入同一个消息队列中。例如,也可以将各种任务类型所对应的待执行任务标识集合分别独立存入各个消息队列中。
在步骤205中,执行服务器集群执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
在本实施例中。基于步骤204所获取的待执行任务标识集合,执行服务器集群可以执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
在本实施例的一些可选的实现方式中,执行服务器集群可以通过乐观锁机制执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。其中,利用乐观锁机制执行任务,可以避免同一个任务被两台及以上执行服务器集群执行。对于执行服务器集群中的各台执行服务器,其具体执行步骤如下:
首先,从消息队列集合中选取出消息队列作为目标消息队列。实践中,对于执行服务器集群中的任意两台执行服务器,其选取出的目标消息队列可能完全相同,也可能部分相同,也可以完全不同。
之后,获取目标消息队列中存储的待执行任务标识作为目标待执行任务标识。
然后,查询出数据库服务器中的目标待执行任务标识所对应的目标待执行任务信息中的目标待执行任务执行状态。
最后,若目标待执行任务执行状态为待执行状态,则向数据库服务器发送第一修改指令,并执行目标待执行任务标识所指示的目标待执行任务。此时,若数据库服务器接收到第一修改指令,则数据库服务器可以将目标待执行任务信息中的目标待执行任务执行状态修改为锁定状态。若目标待执行任务执行状态为锁定状态或已执行状态,则放弃执行目标待执行任务标识所指示的目标待执行任务。具体地,若一台执行服务器查询到目标待执行任务执行状态为待执行状态,说明该目标待执行任务尚未被其他执行服务器执行,则该执行服务器可以执行该目标待执行任务;若一台执行服务器查询到目标待执行任务执行状态为锁定状态或已执行状态,说明该目标待执行任务正在或者已经被其他执行服务器执行,则该执行服务器可以放弃执行该目标待执行任务,从而避免了同一个任务被两台及以上执行服务器执行。
在本实施例的一些可选的实现方式中,执行服务器集群可以分布式执行具有关联关系的多个待执行任务。对于执行服务器集群中的各台执行服务器,其具体执行步骤如下:
首先,查询出数据库服务器中的目标待执行任务标识所对应的目标待执行任务信息中的前继任务标识。其中,任务信息还可以包括前继任务标识。前继任务可以是先于该目标待执行任务执行并且输出参数与该目标待执行任务的输入参数相关联的任务。以电商系统为例,对于物品下单任务和物品支付任务来说,物品下单任务是物品支付任务的前继任务,因此,只有物品下单任务执行完成之后,才能执行物品支付任务。
然后,查询出数据库服务器中的所查询出的前继任务标识所对应前继任务信息中的前继任务执行状态。
最后,若所查询出的前继任务执行状态是已执行状态,则执行目标待执行任务标识所指示的目标待执行任务。若所查询出的前继任务执行状态是锁定状态或待执行状态,则放弃执行目标待执行任务标识所指示的目标待执行任务。具体地,若一台执行服务器查询到目标待执行任务的前继任务的执行状态为已执行状态,说明该目标待执行任务的前继任务已经被执行服务器集群执行完成,则该执行服务器可以执行该目标待执行任务;若一台执行服务器查询到目标待执行任务的前继任务的执行状态为锁定状态或待执行状态,说明该目标待执行任务的前继任务正在或者尚未被执行服务器集群执行完成,则该执行服务器可以放弃执行该目标待执行任务,待该目标待执行任务的前继任务被执行完成后再执行该目标待执行任务。
在本实施例的一些可选的实现方式中,在待执行任务标识集合中的每个待执行任务标识被执行之后,任务处理系统中的执行服务器集群和数据库服务器还可以执行以下步骤:
对于待执行任务标识集合中的每个待执行任务标识,若该待执行任务标识所指示的待执行任务执行成功,则执行服务器集群可以向数据库服务器发送第二修改指令。此时,若数据库服务器接收到第二修改指令,则将该待执行任务标识所对应的待执行任务信息中的待执行任务执行状态修改为已执行状态。这样,若目标任务扫描服务器集群再次扫描数据库服务器中的任务信息集合,将不再获取该待执行任务标识。
对于待执行任务标识集合中的每个待执行任务标识,若该待执行任务标识所指示的待执行任务执行失败,则执行服务器集群可以向数据库服务器发送第三修改指令,其中,任务信息还可以包括任务执行失败次数。此时,若数据库服务器接收到第三修改指令,则将该待执行任务标识所对应的待执行任务信息中的待执行任务执行失败次数增加预设值。若待执行任务执行失败次数超过预设阈值,则可以人工参与处理该待执行任务。
本申请实施例提供的任务处理系统,首先,选取服务器从扫描服务器群组中选取出扫描服务器集群作为目标扫描服务器集群;然后,目标扫描服务器集群扫描数据库服务器中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识生成待执行任务标识集合;最后,执行服务器集群从目标扫描服务器集群中获取待执行任务标识集合,并执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。任务处理系统利用执行服务器集群分布式执行任务,从而提高了任务的执行效率。
进一步参考图3,其示出了根据本申请的用于执行服务器集群的任务处理方法的一个实施例的流程300。该用于执行服务器集群的任务处理方法的流程300,包括以下步骤:
步骤301,从目标扫描服务器集群中获取待执行任务标识集合。
在本实施例中,执行服务器集群(例如图1所示的执行服务器集群104)可以通过有线连接方式或者无线连接的方式从目标扫描服务器集群(例如图1所示的扫描服务器集群1021)中获取待执行任务标识集合。其中,目标扫描服务器集群可以是选取服务器(例如图1所示的选取服务器101)从扫描服务器群组(例如图1所示的扫描服务器群组102)中选取出的扫描服务器集群,待执行任务标识集合可以是目标扫描服务器集群通过扫描数据库服务器(例如图1所示的数据库服务器103)中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识所生成的,任务信息可以包括任务标识和任务执行状态,任务执行状态可以包括待执行状态和已执行状态。
步骤302,执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
在本实施例中。基于步骤301所获取的待执行任务标识集合,执行服务器集群可以执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
本申请实施例提供的用于执行服务器集群的任务处理方法,首先,从目标扫描服务器集群中获取待执行任务标识集合;然后,执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。利用执行服务器集群分布式执行任务,从而提高了任务的执行效率。
进一步参考图4,作为对上述图3所示方法的实现,本申请提供了一种用于执行服务器集群的任务处理装置的一个实施例,该装置实施例与图3所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例所示的用于执行服务器集群的任务处理装置400可以包括:获取单元401和执行单元402。其中,获取单元401,配置用于从目标扫描服务器集群中获取待执行任务标识集合,其中,目标扫描服务器集群是选取服务器从扫描服务器群组中选取出的扫描服务器集群,待执行任务标识集合是目标扫描服务器集群通过扫描数据库服务器中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识所生成的,任务信息包括任务标识和任务执行状态,任务执行状态包括待执行状态和已执行状态;执行单元402,配置用于执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
在本实施例中,用于执行服务器集群的任务处理装置400中:获取单元401和执行单元402的具体处理及其所带来的技术效果可分别参考图3对应实施例中的步骤301和步骤302的相关说明,在此不再赘述。
下面参考图5,其示出了适于用来实现本申请实施例的服务器的计算机系统500的结构示意图。图5示出的服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的方法中限定的上述功能。
需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元和执行单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“从目标扫描服务器集群中获取待执行任务标识集合的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的服务器中所包含的;也可以是单独存在,而未装配入该服务器中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该服务器执行时,使得该服务器:从目标扫描服务器集群中获取待执行任务标识集合,其中,目标扫描服务器集群是选取服务器从扫描服务器群组中选取出的扫描服务器集群,待执行任务标识集合是目标扫描服务器集群通过扫描数据库服务器中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识所生成的,任务信息包括任务标识和任务执行状态,任务执行状态包括待执行状态和已执行状态;执行待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种任务处理系统,其特征在于,所述系统包括:选取服务器、扫描服务器群组、数据库服务器和执行服务器集群;
所述选取服务器,用于从所述扫描服务器群组中选取出扫描服务器集群作为目标扫描服务器集群;
所述目标扫描服务器集群,用于扫描所述数据库服务器中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识生成待执行任务标识集合,其中,所述数据库服务器用于存储任务信息集合,任务信息包括任务标识和任务执行状态,所述任务执行状态包括待执行状态和已执行状态;
所述执行服务器集群,用于从所述目标扫描服务器集群中获取所述待执行任务标识集合,并执行所述待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
2.根据权利要求1所述的系统,其特征在于,
所述目标扫描服务器集群还用于:
创建消息队列集合,并将所述待执行任务标识集合存入所述消息队列集合中;
所述执行服务器集群还用于:
从所述消息队列集合中获取所述待执行任务标识集合。
3.根据权利要求2所述的系统,其特征在于,任务信息还包括任务类型;以及
所述目标扫描服务器集群中的各台目标扫描服务器还用于:
分别扫描所述数据库服务器中的任务信息集合中的各种任务类型所对应的任务信息子集,其中,一台目标扫描服务器扫描一种任务类型所对应的任务信息子集;
分别获取各种任务类型所对应的任务信息子集中的任务执行状态为待执行状态的任务信息中的任务标识生成各种任务类型所对应的待执行任务标识集合;
分别将各种任务类型所对应的待执行任务标识集合存入所述消息队列集合中,其中,同一种任务类型所对应的待执行任务标识集合存入同一个消息队列中。
4.根据权利要求2所述的系统,其特征在于,所述任务执行状态还包括锁定状态;以及
所述执行服务器集群中的各台执行服务器还用于:
从所述消息队列集合中选取出消息队列作为目标消息队列,获取所述目标消息队列中存储的待执行任务标识作为目标待执行任务标识,查询出所述数据库服务器中的所述目标待执行任务标识所对应的目标待执行任务信息中的目标待执行任务执行状态,若所述目标待执行任务执行状态为所述待执行状态,则向所述数据库服务器发送第一修改指令,并执行所述目标待执行任务标识所指示的目标待执行任务;
所述数据库服务器还用于:
响应于接收到所述第一修改指令,将所述目标待执行任务信息中的目标待执行任务执行状态修改为所述锁定状态。
5.根据权利要求4所述的系统,其特征在于,所述执行服务器集群中的各台执行服务器还用于:
若所述目标待执行任务执行状态为所述锁定状态或所述已执行状态,则放弃执行所述目标待执行任务标识所指示的目标待执行任务。
6.根据权利要求4所述的系统,其特征在于,任务信息还包括前继任务标识;以及
所述执行服务器集群中的各台执行服务器还用于:
查询出所述数据库服务器中的所述目标待执行任务标识所对应的目标待执行任务信息中的前继任务标识;
查询出所述数据库服务器中的所查询出的前继任务标识所对应前继任务信息中的前继任务执行状态;
若所查询出的前继任务执行状态是所述已执行状态,则执行所述目标待执行任务标识所指示的目标待执行任务。
7.根据权利要求6所述的系统,其特征在于,所述执行服务器集群中的各台执行服务器还用于:
若所查询出的前继任务执行状态是所述锁定状态或所述待执行状态,则放弃执行所述目标待执行任务标识所指示的目标待执行任务。
8.根据权利要求1所述的系统,其特征在于,
所述执行服务器集群还用于:
对于所述待执行任务标识集合中的每个待执行任务标识,若该待执行任务标识所指示的待执行任务执行成功,则向所述数据库服务器发送第二修改指令;
所述数据库服务器还用于:
响应于接收到所述第二修改指令,将该待执行任务标识所对应的待执行任务信息中的待执行任务执行状态修改为已执行状态。
9.根据权利要求8所述的系统,其特征在于,任务信息还包括任务执行失败次数;以及
所述执行服务器集群还用于:
对于所述待执行任务标识集合中的每个待执行任务标识,若该待执行任务标识所指示的待执行任务执行失败,则向所述数据库服务器发送第三修改指令;
所述数据库服务器还用于:
响应于接收到所述第三修改指令,将该待执行任务标识所对应的待执行任务信息中的待执行任务执行失败次数增加预设值。
10.根据权利要求1-9之一所述的系统,其特征在于,所述选取服务器还用于:
分别对所述扫描服务器群组中的各个扫描服务器集群进行编号;
从所述扫描服务器群组中选取出编号最小的扫描服务器集群作为目标扫描服务器集群。
11.一种用于执行服务器集群的任务处理方法,其特征在于,所述方法包括:
从目标扫描服务器集群中获取待执行任务标识集合,其中,所述目标扫描服务器集群是选取服务器从扫描服务器群组中选取出的扫描服务器集群,所述待执行任务标识集合是目标扫描服务器集群通过扫描数据库服务器中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识所生成的,任务信息包括任务标识和任务执行状态,所述任务执行状态包括待执行状态和已执行状态;
执行所述待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
12.一种用于执行服务器集群的任务处理装置,其特征在于,所述装置包括:
获取单元,配置用于从目标扫描服务器集群中获取待执行任务标识集合,其中,所述目标扫描服务器集群是选取服务器从扫描服务器群组中选取出的扫描服务器集群,所述待执行任务标识集合是所述目标扫描服务器集群通过扫描数据库服务器中的任务信息集合,获取任务执行状态为待执行状态的任务信息中的任务标识所生成的,任务信息包括任务标识和任务执行状态,所述任务执行状态包括待执行状态和已执行状态;
执行单元,配置用于执行所述待执行任务标识集合中的各个待执行任务标识所指示的待执行任务。
13.一种服务器,其特征在于,所述服务器包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求11中所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求11中所述的方法。
CN201710512176.9A 2017-06-28 2017-06-28 任务处理系统、方法和装置 Pending CN109144744A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710512176.9A CN109144744A (zh) 2017-06-28 2017-06-28 任务处理系统、方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710512176.9A CN109144744A (zh) 2017-06-28 2017-06-28 任务处理系统、方法和装置

Publications (1)

Publication Number Publication Date
CN109144744A true CN109144744A (zh) 2019-01-04

Family

ID=64803732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710512176.9A Pending CN109144744A (zh) 2017-06-28 2017-06-28 任务处理系统、方法和装置

Country Status (1)

Country Link
CN (1) CN109144744A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976888A (zh) * 2019-03-25 2019-07-05 苏州达家迎信息技术有限公司 一种数据扫描方法、装置、设备和存储介质
CN110109978A (zh) * 2019-05-16 2019-08-09 深圳前海微众银行股份有限公司 基于指标的数据分析方法、装置、服务器及可读存储介质
CN110110306A (zh) * 2019-04-12 2019-08-09 平安医疗健康管理股份有限公司 数据展示方法、装置、终端及计算机可读存储介质
CN111352752A (zh) * 2020-03-06 2020-06-30 普迪飞半导体技术(上海)有限公司 半导体测试数据的处理系统、方法、装置与服务器
CN111767128A (zh) * 2020-06-23 2020-10-13 北京字节跳动网络技术有限公司 执行定时任务的方法以及装置
CN112653625A (zh) * 2019-10-10 2021-04-13 北京京东尚科信息技术有限公司 消息路由的方法和装置
CN112769928A (zh) * 2020-12-31 2021-05-07 上海渠杰信息科技有限公司 一种基于业务场景的信息交互方法及设备
CN112817808A (zh) * 2019-11-18 2021-05-18 赵伟 一种计算机集群维护任务管理方法及系统
CN113448699A (zh) * 2020-12-30 2021-09-28 北京新氧科技有限公司 一种分布式定时任务处理系统、方法及相关装置
CN113806033A (zh) * 2020-12-23 2021-12-17 京东科技控股股份有限公司 用于任务系统的任务执行方法、装置、服务器和介质
CN114185658A (zh) * 2021-12-09 2022-03-15 中国建设银行股份有限公司 一种任务处理方法和装置
CN114691454A (zh) * 2022-03-30 2022-07-01 网银在线(北京)科技有限公司 流程任务处理方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100037226A1 (en) * 2008-08-11 2010-02-11 International Business Machines Corporation Grouping and dispatching scans in cache
US20100257374A1 (en) * 2009-03-30 2010-10-07 The Boeing Company Computer architectures using shared storage
CN102073512A (zh) * 2009-11-23 2011-05-25 阿里巴巴集团控股有限公司 一种java集群应用系统代码装载及升级装置和方法
US20120180070A1 (en) * 2011-01-11 2012-07-12 Ibm Corporation Single point, scalable data synchronization for management of a virtual input/output server cluster
CN103279385A (zh) * 2013-06-01 2013-09-04 北京华胜天成科技股份有限公司 一种云计算环境中集群任务调度方法及系统
CN104468174A (zh) * 2013-09-25 2015-03-25 北京新媒传信科技有限公司 一种集群服务器执行任务的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100037226A1 (en) * 2008-08-11 2010-02-11 International Business Machines Corporation Grouping and dispatching scans in cache
US20100257374A1 (en) * 2009-03-30 2010-10-07 The Boeing Company Computer architectures using shared storage
CN102073512A (zh) * 2009-11-23 2011-05-25 阿里巴巴集团控股有限公司 一种java集群应用系统代码装载及升级装置和方法
US20120180070A1 (en) * 2011-01-11 2012-07-12 Ibm Corporation Single point, scalable data synchronization for management of a virtual input/output server cluster
CN103279385A (zh) * 2013-06-01 2013-09-04 北京华胜天成科技股份有限公司 一种云计算环境中集群任务调度方法及系统
CN104468174A (zh) * 2013-09-25 2015-03-25 北京新媒传信科技有限公司 一种集群服务器执行任务的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
M.S.A. KHAN: "Distributed parallelism using clusters with dynamic behavior", 《PROCEEDINGS. IEEE SOUTHEASTCON, 2005.》 *
孙耀: "分布式文件系统元数据服务的负载均衡框架", 《软件学报》 *
青岛农业大学: "《Linux C程序设计》", 28 February 2017, 西安电子科技大学出版社 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976888B (zh) * 2019-03-25 2021-09-17 苏州达家迎信息技术有限公司 一种数据扫描方法、装置、设备和存储介质
CN109976888A (zh) * 2019-03-25 2019-07-05 苏州达家迎信息技术有限公司 一种数据扫描方法、装置、设备和存储介质
CN110110306A (zh) * 2019-04-12 2019-08-09 平安医疗健康管理股份有限公司 数据展示方法、装置、终端及计算机可读存储介质
CN110109978A (zh) * 2019-05-16 2019-08-09 深圳前海微众银行股份有限公司 基于指标的数据分析方法、装置、服务器及可读存储介质
CN112653625A (zh) * 2019-10-10 2021-04-13 北京京东尚科信息技术有限公司 消息路由的方法和装置
CN112817808B (zh) * 2019-11-18 2024-04-19 赵伟 一种计算机集群维护任务管理方法及系统
CN112817808A (zh) * 2019-11-18 2021-05-18 赵伟 一种计算机集群维护任务管理方法及系统
CN111352752A (zh) * 2020-03-06 2020-06-30 普迪飞半导体技术(上海)有限公司 半导体测试数据的处理系统、方法、装置与服务器
CN111352752B (zh) * 2020-03-06 2021-04-20 普迪飞半导体技术(上海)有限公司 半导体测试数据的处理系统、方法、装置与服务器
CN111767128A (zh) * 2020-06-23 2020-10-13 北京字节跳动网络技术有限公司 执行定时任务的方法以及装置
CN113806033A (zh) * 2020-12-23 2021-12-17 京东科技控股股份有限公司 用于任务系统的任务执行方法、装置、服务器和介质
CN113806033B (zh) * 2020-12-23 2024-05-17 京东科技控股股份有限公司 用于任务系统的任务执行方法、装置、服务器和介质
CN113448699A (zh) * 2020-12-30 2021-09-28 北京新氧科技有限公司 一种分布式定时任务处理系统、方法及相关装置
CN112769928B (zh) * 2020-12-31 2023-04-14 上海渠杰信息科技有限公司 一种基于业务场景的信息交互方法及设备
CN112769928A (zh) * 2020-12-31 2021-05-07 上海渠杰信息科技有限公司 一种基于业务场景的信息交互方法及设备
CN114185658A (zh) * 2021-12-09 2022-03-15 中国建设银行股份有限公司 一种任务处理方法和装置
CN114691454A (zh) * 2022-03-30 2022-07-01 网银在线(北京)科技有限公司 流程任务处理方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN109144744A (zh) 任务处理系统、方法和装置
CN109647719A (zh) 用于分拣货物的方法和装置
CN109472523A (zh) 用于分拣货物的方法和装置
CN110097304A (zh) 信息生成方法和装置
CN107545338A (zh) 业务数据处理方法及业务数据处理系统
CN109697075A (zh) 文件更新方法、系统和装置
EP2994865A1 (en) Mobile picking method
CN107845011B (zh) 用于处理订单的方法和装置
CN109767156A (zh) 派件方法、系统、装置及存储介质
CN110852659A (zh) 物流管理方法和装置
CN108376363A (zh) 一种对账差异处理方法和系统
CN110377416A (zh) 分布式分区任务调度方法和装置
CN107844547A (zh) 基于用户定位信息识别店铺的方法及装置
US20180096286A1 (en) Workflow labor optimization system
CN109005208A (zh) 用于推送信息的方法和装置
CN108933695A (zh) 用于处理信息的方法和装置
CN109766148A (zh) 用于处理接口方法调用的方法和装置
CN113657686A (zh) 订单配送方法和装置、系统、电子设备、计算机可读介质
CN109840725A (zh) 货物拣选方法、装置、电子装置及计算机可读存储介质
CN109829639A (zh) 服务项目监控方法及装置
CN108733527A (zh) 用于测试服务器功能的系统、方法和装置
CN110225082A (zh) 任务处理方法、装置、电子设备和计算机可读介质
CN109635923A (zh) 用于处理数据的方法和装置
CN110472900A (zh) 用于确定物品存储位置的方法和装置
CN109522202A (zh) 一种软件测试的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104