CN111147571A - 分布式任务调度方法、装置、系统、存储介质及电子设备 - Google Patents

分布式任务调度方法、装置、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN111147571A
CN111147571A CN201911344866.3A CN201911344866A CN111147571A CN 111147571 A CN111147571 A CN 111147571A CN 201911344866 A CN201911344866 A CN 201911344866A CN 111147571 A CN111147571 A CN 111147571A
Authority
CN
China
Prior art keywords
task
distributed
provider
distributed lock
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911344866.3A
Other languages
English (en)
Other versions
CN111147571B (zh
Inventor
皮亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JD Digital Technology Holdings Co Ltd
Original Assignee
JD Digital Technology Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JD Digital Technology Holdings Co Ltd filed Critical JD Digital Technology Holdings Co Ltd
Priority to CN201911344866.3A priority Critical patent/CN111147571B/zh
Publication of CN111147571A publication Critical patent/CN111147571A/zh
Application granted granted Critical
Publication of CN111147571B publication Critical patent/CN111147571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2336—Pessimistic concurrency control approaches, e.g. locking or multiple versions without time stamps
    • G06F16/2343—Locking methods, e.g. distributed locking or locking implementation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/133—Protocols for remote procedure calls [RPC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种分布式任务调度方法、装置、系统、存储介质及电子设备，涉及计算机技术领域。该方法包括：任务节点基于配置参数完成任务节点的初始化，基于配置参数生成守护进程，配置参数包括分布式锁提供者、资源池提供者、任务准备接口和任务执行接口；任务节点从分布式锁提供者获得分布式锁；根据任务准备接口获得任务准备方法，将准备的任务发送到资源池提供者的任务池，然后释放分布式锁；任务节点从资源池提供者的任务池获得任务，根据任务执行接口获得任务执行方法，处理任务。该方法接入分布式任务处理系统简单方便，可以简单高效地完成分布式任务调度，在不需要的时候不用接入任务调度系统，提高了使用者的使用体验。

Description

分布式任务调度方法、装置、系统、存储介质及电子设备
技术领域
本公开涉及计算机技术领域，尤其涉及一种分布式任务调度方法及装置、系统、存储介质及电子设备。
背景技术
分布式任务处理系统通常是将不同地点的，或具有不同功能的，或拥有不同数据的多个自主的计算机通过通信网络连接起来，在分布式任务调度系统的统一管理控制下，协调地完成大规模信息处理任务的计算机系统。
现实中的各种业务系统，需要处理各种各样的任务，比如对账、短信、异步监控等。如果只是使用本地任务调度，无法使用分布式任务处理系统的计算资源。采用分布式任务处理系统对各种任务进行处理可以提高任务处理速度。
一个任务的分布式调度处理，通常需要通过任务调度系统对接外围的任务系统进行调度处理，依赖任务调度系统的相关服务，提供对外接口，处理对接规范等。
在实现本发明过程中，发明人发现目前，大部分的分布式任务调度接入方式，都是把任务数据通过分布式任务调度平台接口写入分布式任务调度平台，提供对外的任务处理接口，由分布式任务调度平台统一调度服务完成任务处理。无论大小任务，都需要大费周章完成相关的对接工作，都需要进行任务系统的调度接入，成本较高。分布式任务处理系统的接入过程较为繁琐，投入产出不成正比，也影响用户的使用体验。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种分布式任务调度方法、装置、电子设备和计算机存储介质，至少在一定程度上克服由于相关技术的接入分布式任务处理系统繁琐的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种分布式任务调度方法，包括：
任务节点基于配置参数完成所述任务节点的初始化，其中所述配置参数包括分布式锁提供者(lock provider)、资源池提供者(poolprovider)和任务执行器(TaskExecutor)，所述任务执行器包括任务准备接口和任务执行接口；
所述任务节点从所述分布式锁提供者获得分布式锁；
所述任务节点根据所述任务准备接口获得任务准备(prepare)方法，准备任务的资源，并将任务发送到资源池提供者的任务池；
所述任务节点释放所述分布式锁；
所述任务节点从所述资源池提供者的任务池获得任务；
所述任务节点根据所述任务执行接口获得任务执行(execute)方法，处理获得的任务。
在一个实施例中，所述任务节点基于配置参数完成所述任务节点的初始化包括：
任务节点基于配置参数调用启动API完成所述任务节点的初始化，在初始化过程中执行如下操作
生成代理者守护进程；
基于所述分布式锁提供者生成代理者的分布式锁提供者；
基于所述资源池提供者获得代理者的资源池提供者。
在一个实施例中，所述任务节点从分布式锁提供者获得分布式锁包括：所述任务节点从所述代理者请求获取任务；如果所述任务节点从所述代理者获取的任务为空，则所述任务节点从所述代理者获得所述分布式锁。
在一个实施例中，所述分布式锁提供者和所述资源池提供者基于Redis或Zookeeper提供的基础服务。
在一个实施例中，对于对账任务，该方法还包括：
将对账数据从远程数据库存储到Redis集群中；
所述任务节点从所述Redis集群中读取所述对账数据。
在一个实施例中，该方法还包括：所述任务节点对处理的单个任务设置定时器，如果所述定时器超时，则忽略该处理的单个任务。
在一个实施例中，所述配置参数还包括任务关键字，所述任务节点基于所述任务关键字获得对应的资源池提供者的任务池中的任务。
根据本公开的另一方面，还提供一种分布式任务调度装置，包括：
初始化单元，用于基于配置参数完成所述任务节点的初始化，其中所述配置参数包括分布式锁提供者、资源池提供者和任务执行器，所述任务执行器包括任务准备和任务执行接口；
分布式锁控制单元，用于从所述分布式锁提供者获得分布式锁，并在任务准备完成后，释放所述分布式锁；
任务准备单元，用于在所述分布式锁控制单元获得所述分布式锁期间，根据所述任务准备接口获得任务准备方法，准备任务的资源，并将任务发送到资源池提供者的任务池；
任务执行单元，用于从所述资源池提供者的任务池获得任务；根据所述任务执行接口获得任务执行方法，处理获得的任务。
根据本公开的又一方面，还提供一种分布式任务调度系统，包括：
分布式锁提供者，用于分布式锁的管理，接收获取分布式锁的请求，发送分布式锁；
资源池提供者，用于任务池的管理，接收准备的任务，并存储在任务池；
任务节点，用于基于配置参数完成所述任务节点的初始化，其中所述配置参数包括分布式锁提供者、资源池提供者和任务执行器，所述任务执行器包括任务准备接口和任务执行接口；从所述分布式锁提供者获得分布式锁，根据任务准备接口获得任务准备方法，准备任务的资源，并将任务发送到资源池提供者的任务池，释放所述分布式锁；从所述资源池提供者的任务池获得任务，根据任务执行接口获得任务执行方法，处理获得的任务。
根据本发明的又一方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述分布式任务调度方法。
根据本发明的又一方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的分布式任务调度方法。
本公开的实施例所提供的分布式任务调度方法、装置、电子设备和计算机存储介质，通过简单调用启动接口即可接入分布式任务处理系统，进行任务上传以及任务处理，无需复杂的分布式任务处理系统的接入，实现简单方便，效率高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开一个实施例的分布式任务调度方法的流程图；
图2示出本公开一个实施例的分布式任务调度系统的系统架构图；
图3示出本公开另一个实施例的分布式任务调度方法的流程图；
图4示出本公开一个实施例的一个任务执行器接口的示意图；
图5示出本公开一个实施例的分布式任务调度装置示意图；
图6示出本公开一个实施例的计算机设备的结构框图；和
图7示出本公开一个实施例的计算机存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本公开实施例提供的方案，通过调用启动应用程序接口即可接入分布式任务处理系统，并通过简单方式实现任务准备和任务执行，通过简单的API调用轻松完成高效的分布式任务调度处理。使用者在不需要的时候，不需要进行复杂的任务调度系统接入，提高了使用者的使用体验。为了便于理解，下面首先对本申请涉及到的几个名词进行解释。
BrokerProvider：已经实现的broker提供者，主要完成数据准备，数据获取，分布式锁的处理等工作。
Redis集群：是一个高性能的key-value缓存数据库，读写性能优异，支持数据持久化和多种数据结构。
Zookeeper：Apache ZooKeeper是Apache软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper曾经是Hadoop的一个子项目，但现在是一个独立的顶级项目。
下面，将结合附图及实施例对本示例实施方式中的分布式任务调度方法的各个步骤进行更详细的说明。
分布式任务处理系统预先生成分布式锁提供者(lock provider)、资源池提供者(poolprovider)，用于任务池的维护和管理。分布式锁提供者和资源池提供者在多个任务节点间共享，任务节点在启动时，将分布式锁提供者和资源池提供者作为配置参数传入任务节点的启动API。在一个实施例中，可以基于Redis和Zookeeper提供的基础服务实现分布式锁提供者和资源池提供者。
图1示出本公开实施例中一种分布式任务调度方法的流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行。
如图1所示，步骤101，任务节点(Node)基于配置参数完成任务节点的初始化，其中配置参数包括分布式锁提供者(lock provider)、资源池提供者(poolprovider)和任务执行器(TaskExecutor)，该任务执行器包括任务准备接口和任务执行接口。例如，任务节点基于配置参数调用启动(start)API完成任务节点的初始化。任务节点可以是分布式网络中的任何一个计算设备。任务节点在初始化时可以基于配置参数生成代理者守护进程，或者称为代理者(broker)。
步骤102，任务节点从分布式锁提供者获得分布式锁，任务节点根据任务准备接口获得任务准备(prepare)方法，准备任务的资源，并将任务发送到资源池提供者的任务池，任务节点释放分布式锁。该分布式锁可以是一个全局锁，同一应用的所有节点共享该分布式锁。资源池提供者的任务池可以是一个任务队列，任务节点提交的任务都存储在该任务队列中。
步骤103，任务节点从资源池提供者的任务池获得任务。在一个实施例中，资源池提供者的任务池包括一个任务队列，任务节点按照先入先出的顺序从任务队列中获得任务。在一个实施例中，资源池提供者的任务池包括多个任务队列，任务节点根据不同的任务关键字(Taskkey)从对应的任务队列中存储和获得任务。
步骤104，任务节点根据任务执行接口获得任务执行(execute)方法，通过该任务执行方法处理获得的任务。
上述实施例中，分布式网络中的各个节点通过简单调用启动API即可加入分布式任务处理系统，可以提交自己的任务，处理分布式任务处理系统中的任务，不需要分布式任务调度中心复杂的配置、管理、对接等操作，实现简单方便。代理者提供者(brokerprovider)，如分布式锁提供者、资源池提供者，只需要管理分布式锁资源、任务池等共享资源信息，维护简单方便。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
图2示出本公开实施例中一种分布式任务调度系统的系统架构图。如图2所示，该系统中包括代理者提供者(brokerprovider)22和多个任务节点23。代理者提供者22包括分布式锁提供者221和资源池提供者222。
代理者提供者22，用于分布式锁和任务池的管理，接收获取分布式锁的请求，发送分布式锁；接收准备的任务，并存储在任务池。分布式锁提供者221，用于分布式锁的管理，接收获取分布式锁的请求，发送分布式锁。资源池提供者222，用于任务池的管理，接收准备的任务，并存储在任务池。
系统通过提供一些默认的BrokerProvider以实现代理者对于分布式锁和任务池的操作和管理。例如基于Redis和Zookeeper提供的基本服务实现的分布式锁提供者和资源池提供者，如Redis BrokerProvider 211和Zookeeper BrokerProvider 212，以提供默认的操作支持，对用户透明。
任务节点23，任务节点，用于基于配置参数，例如通过调用启动API，完成任务节点的初始化，其中配置参数包括分布式锁提供者221、资源池提供者222和任务执行器，任务执行器包括任务准备接口和任务执行接口；从分布式锁提供者221获得分布式锁，根据任务准备接口获得任务准备方法，准备任务的资源，并将任务发送到资源池提供者222的任务池，释放分布式锁；从资源池提供者222的任务池获得任务，根据任务执行接口获得任务执行方法，处理获得的任务。
对于任务节点(Node)23，或者称为应用节点，如果希望利用自有应用的分布式计算资源，可以调用启动(start)API完成节点的启动。任务节点23启动时，指定具体的LockProvider和PoolProvider和任务执行器，并提供对应节点服务器(NodeServer)的客户端(Client)，比如Redis或者Zookeeper等。通过此种方式，如果用户的应用连接Redis或者Zookeeper，则可以完成分布式任务调度处理，实现简单方便。
由使用者提供任务执行器(TaskExecutor)接口的实现，接口中包括任务准备(prepare)方法和任务执行(do)方法，如图4所示。其中，任务准备方法用于准备需要处理的任务，任务执行方法用于执行单个任务。在一个实施例中，接收用户实现的任务执行器接口，任务执行器接口中提供有任务准备方法和任务执行方法；将任务执行器接口作为动作接口参数放入任务节点的启动API。
每一个任务节点23在无法获取到任务的时候，会尝试准备任务；任务准备好后，任务节点23会尝试获取新的任务，并执行任务执行方法完成任务的执行。
代理者提供者22，对用于分布式任务调度的一些共享资源进行存储和管理，代理者提供者22可以实现分布式锁的管理，提供lock()和unlock()接口供任务节点调用，从而获得和释放分布式锁的权限；代理者提供者22可以实现任务池的管理。这些共享资源的内部管理，调度框架自行处理，对用户透明。
任务节点23在启动时，启动代理者守护进程，可以通过代理者(broker)与分布式锁提供者221和资源池提供者222进行交互。
Broker负责维护任务队列。任务处理时会采用一定的反馈策略，在一个实施例中，使用超时反馈策略，即处理单个任务超时，直接忽略该任务，下次可重试。任务节点对处理的单个任务设置定时器，如果定时器超时，则忽略该处理的单个任务。
所有的任务节点尝试从代理者中获取任务进行执行，一旦没有任何任务可以获取时，任务节点尝试获取一个全局锁，完成数据的准备工作，把数据放入到代理者中，供所有的任务节点再次获取处理。
图3示出本公开另一个实施例的分布式任务调度方法的流程图。
如图3所示，步骤301，任务节点向代理者(broker)请求获取任务。
步骤302，代理者向任务节点返回任务。例如，代理者可以通过接口taskManager.fetchTaskFromTaskPool(taskConfig.getTaskKey())获得任务池中的任务，其中，taskManager是资源池提供者，taskConfig是配置参数的实例，getTaskKey()返回对应的任务关键字。
步骤303，如果任务节点判断任务为空，则向代理者请求获取完成的任务数。
步骤304，代理者向任务节点返回任务数。
步骤305，如果任务节点判断任务数等于准备的任务或者任务数不存在，则任务节点向代理者请求获取全局锁以准备任务。例如，可以通过taskConfig.getLockProvider()接口请求全局锁。
步骤306，代理者向任务节点返回全局锁。
步骤307，如果任务节点成功获取全局锁，则尝试通过该全局锁锁住任务池，lockProvider.tryLock(taskConfig.getTaskKey())，lockProvider为分布式锁提供者的实例。然后通过任务准备方法准备任务。
步骤308，任务节点将准备的任务通过代理者放入资源池提供者的任务池，例如，调用taskManager.putTasksToPool(taskConfig.getTaskKey(),taskList)，taskManager是资源池提供者的实例，taskConfig是配置参数的实例，getTaskKey()返回对应的任务关键字，taskList是准备好的任务。任务准备完毕后释放全局锁。例如，可以通过调用lockProvider.unlock(taskConfig.getTaskKey())释放该全局锁。
步骤309，如果任务节点确定获取的任务不为空，则调用任务执行接口执行任务。
步骤310，任务完成，任务节点增加完成的任务数。
步骤311，任务节点将任务数放入任务池，并开始计时。
上述实施例中，任务节点通过简单的接口调用即可接入分布式任务处理系统，上传待处理任务，并参与分布式任务处理，简单方便地利用了分布式网络资源，用户轻松无感知的处理分布式任务，实现海量任务的高效分布式调度，通过简单易用的API完成相关的工作。
在一个实施例中，对账业务系统需要处理对账业务。为降低在对账过程中数据库压力问题，分布式任务对账系统使用了redis集群来代替数据库进行对账数据的存储，远程数据预处理模块负责将对账数据从远程数据库存储到redis集群中，任务节点从redis集群中读取对账数据，从而提高处理效率。
图5示出本公开一个实施例的分布式任务调度装置示意图。如图5所示，分布式任务调度装置包括：
初始化单元51，用于基于配置参数，例如通过调用启动API(start)，完成任务节点的初始化，其中配置参数包括分布式锁提供者(lock provider)、资源池提供者(poolprovider)和任务执行器(TaskExecutor)，任务执行器包括任务准备和任务执行接口；
分布式锁控制单元52，用于从分布式锁提供者获得分布式锁，并在任务准备完成后，释放分布式锁；
任务准备单元53，用于在分布式锁控制单元获得分布式锁期间，根据任务准备接口获得任务准备(prepare)方法，准备任务的资源，并将任务发送到资源池提供者的任务池；
任务执行单元54，用于从资源池提供者的任务池获得任务；根据任务执行接口获得任务执行(execute)方法，处理获得的任务。并将执行的结果返回资源池提供者。
本文实施例中的分布式任务调度方法、装置和系统，提出了一种不依赖复杂的任务调度系统的轻量级任务调度系统，用户只需把自己的任务注册，启动即可，轻松使用任务调度，轻松完成分布式资源的有效利用。可通过Redis或者Zookeeper作为Brokerprovider的实现方式，默认支持，对用户完全透明，用户体验好。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的S101，任务节点基于配置参数调用启动应用程序接口完成任务节点的初始化，其中该配置参数包括分布式锁提供者、资源池提供者和任务执行器，该任务执行器包括任务准备接口和任务执行接口；S102，任务节点从分布式锁提供者获得分布式锁，任务节点根据任务准备接口获得任务准备方法，准备任务的资源，并将任务发送到资源池提供者的任务池，任务节点释放分布式锁；S103，任务节点从资源池提供者的任务池获得任务；S104，任务节点根据任务执行接口获得任务执行方法，通过该任务执行方法处理获得的任务。。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备601(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (11)

1.一种分布式任务调度方法，其特征在于，包括：
任务节点基于配置参数完成所述任务节点的初始化，其中所述配置参数包括分布式锁提供者、资源池提供者和任务执行器，所述任务执行器包括任务准备接口和任务执行接口；
所述任务节点从所述分布式锁提供者获得分布式锁；
所述任务节点根据所述任务准备接口获得任务准备方法，准备任务的资源，并将任务发送到资源池提供者的任务池；
所述任务节点释放所述分布式锁；
所述任务节点从所述资源池提供者的任务池获得任务；
所述任务节点根据所述任务执行接口获得任务执行方法，处理获得的任务。
2.根据权利要求1所述的分布式任务调度方法，其特征在于，所述任务节点基于配置参数完成所述任务节点的初始化包括：
任务节点基于配置参数调用启动API完成所述任务节点的初始化，在初始化过程中执行如下操作：
生成代理者守护进程；
基于所述分布式锁提供者生成代理者的分布式锁提供者；
基于所述资源池提供者获得代理者的资源池提供者。
3.根据权利要求2所述的分布式任务调度方法，其特征在于，所述任务节点从分布式锁提供者获得分布式锁包括：
所述任务节点从所述代理者请求获取任务；
如果所述任务节点从所述代理者获取的任务为空，则所述任务节点从所述代理者获得所述分布式锁。
4.根据权利要求3所述的分布式任务调度方法，其特征在于，所述分布式锁提供者和所述资源池提供者基于Redis或Zookeeper提供的基础服务。
5.根据权利要求1所述的分布式任务调度方法，其特征在于，对于对账任务，还包括：
将对账数据从远程数据库存储到Redis集群中；
所述任务节点从所述Redis集群中读取所述对账数据。
6.根据权利要求1所述的分布式任务调度方法，其特征在于，还包括：
所述任务节点对处理的单个任务设置定时器，如果所述定时器超时，则忽略该处理的单个任务。
7.根据权利要求1所述的分布式任务调度方法，其特征在于，所述配置参数还包括任务关键字，所述任务节点基于所述任务关键字获得对应的资源池提供者的任务池中的任务。
8.一种分布式任务调度装置，其特征在于，包括：
初始化单元，用于基于配置参数完成所述任务节点的初始化，其中所述配置参数包括分布式锁提供者、资源池提供者和任务执行器，所述任务执行器包括任务准备和任务执行接口；
分布式锁控制单元，用于从所述分布式锁提供者获得分布式锁，并在任务准备完成后，释放所述分布式锁；
任务准备单元，用于在所述分布式锁控制单元获得所述分布式锁期间，根据所述任务准备接口获得任务准备方法，准备任务的资源，并将任务发送到资源池提供者的任务池；
任务执行单元，用于从所述资源池提供者的任务池获得任务；根据所述任务执行接口获得任务执行方法，处理获得的任务。
9.一种分布式任务调度系统，其特征在于，包括：
分布式锁提供者，用于分布式锁的管理，接收获取分布式锁的请求，发送分布式锁；
资源池提供者，用于任务池的管理，接收准备的任务，并存储在任务池；
任务节点，用于基于配置参数完成所述任务节点的初始化，其中所述配置参数包括分布式锁提供者、资源池提供者和任务执行器，所述任务执行器包括任务准备接口和任务执行接口；从所述分布式锁提供者获得分布式锁，根据任务准备接口获得任务准备方法，准备任务的资源，并将任务发送到资源池提供者的任务池，释放所述分布式锁；从所述资源池提供者的任务池获得任务，根据任务执行接口获得任务执行方法，处理获得的任务。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所述分布式任务调度方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的分布式任务调度方法。
CN201911344866.3A 2019-12-24 2019-12-24 分布式任务调度方法、装置、系统、存储介质及电子设备 Active CN111147571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911344866.3A CN111147571B (zh) 2019-12-24 2019-12-24 分布式任务调度方法、装置、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911344866.3A CN111147571B (zh) 2019-12-24 2019-12-24 分布式任务调度方法、装置、系统、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111147571A true CN111147571A (zh) 2020-05-12
CN111147571B CN111147571B (zh) 2023-04-18

Family

ID=70519588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911344866.3A Active CN111147571B (zh) 2019-12-24 2019-12-24 分布式任务调度方法、装置、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111147571B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380524A (zh) * 2020-11-13 2021-02-19 浪潮电子信息产业股份有限公司 一种基于web平台的接口服务权限管理方法及系统
CN112527489A (zh) * 2020-12-22 2021-03-19 税友软件集团股份有限公司 一种任务调度方法、装置、设备及计算机可读存储介质
CN114757595A (zh) * 2022-06-15 2022-07-15 中邮消费金融有限公司 一种基于自定义调度策略的电话销售任务调度方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141720A (en) * 1997-06-12 2000-10-31 Cabletron Systems, Inc. Method and apparatus for coordination of a shared object in a distributed system
CN103780655A (zh) * 2012-10-24 2014-05-07 阿里巴巴集团控股有限公司 一种消息传递接口任务和资源调度系统及方法
US20180198731A1 (en) * 2017-01-11 2018-07-12 International Business Machines Corporation System, method and computer program product for moveable distributed synchronization objects
CN108287764A (zh) * 2018-01-31 2018-07-17 上海携程商务有限公司 分布式任务调度方法及其系统、存储介质、电子设备
CN109408212A (zh) * 2018-09-28 2019-03-01 平安科技（深圳）有限公司 任务调度组件构造方法、装置及存储介质、服务器
CN109558234A (zh) * 2018-11-30 2019-04-02 中国联合网络通信集团有限公司 一种定时任务调度方法和装置
CN110597630A (zh) * 2019-09-05 2019-12-20 郑州阿帕斯科技有限公司 一种分布式系统中内容资源的处理方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141720A (en) * 1997-06-12 2000-10-31 Cabletron Systems, Inc. Method and apparatus for coordination of a shared object in a distributed system
CN103780655A (zh) * 2012-10-24 2014-05-07 阿里巴巴集团控股有限公司 一种消息传递接口任务和资源调度系统及方法
US20180198731A1 (en) * 2017-01-11 2018-07-12 International Business Machines Corporation System, method and computer program product for moveable distributed synchronization objects
CN108287764A (zh) * 2018-01-31 2018-07-17 上海携程商务有限公司 分布式任务调度方法及其系统、存储介质、电子设备
CN109408212A (zh) * 2018-09-28 2019-03-01 平安科技（深圳）有限公司 任务调度组件构造方法、装置及存储介质、服务器
CN109558234A (zh) * 2018-11-30 2019-04-02 中国联合网络通信集团有限公司 一种定时任务调度方法和装置
CN110597630A (zh) * 2019-09-05 2019-12-20 郑州阿帕斯科技有限公司 一种分布式系统中内容资源的处理方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
向学哲: "群集系统的高可用性实时处理系统研究", 《华中师范大学学报(自然科学版)》 *
王文峰等: "基于Zookeeper综合任务调度平台的设计与应用", 《信息技术》 *
陈冬梅等: "ZooKeeper的开发和应用", 《电脑编程技巧与维护》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380524A (zh) * 2020-11-13 2021-02-19 浪潮电子信息产业股份有限公司 一种基于web平台的接口服务权限管理方法及系统
CN112527489A (zh) * 2020-12-22 2021-03-19 税友软件集团股份有限公司 一种任务调度方法、装置、设备及计算机可读存储介质
CN114757595A (zh) * 2022-06-15 2022-07-15 中邮消费金融有限公司 一种基于自定义调度策略的电话销售任务调度方法及系统

Also Published As

Publication number Publication date
CN111147571B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111147571B (zh) 分布式任务调度方法、装置、系统、存储介质及电子设备
US8589885B2 (en) Debugger launch and attach on compute clusters
US20120072579A1 (en) Monitoring cloud-runtime operations
KR101618476B1 (ko) 휴대용 컴퓨팅 디바이스에서 분산 리소스 관리
CN108062254B (zh) 作业处理方法、装置、存储介质及设备
CN110083455B (zh) 图计算处理方法、装置、介质及电子设备
WO2017041649A1 (zh) 一种应用部署方法及设备
CN109284184A (zh) 一种基于容器化技术的分布式机器学习平台的搭建方法
CN111399897A (zh) 基于kubernetes的应用发布方法以及系统
US11144432B2 (en) Testing and reproduction of concurrency issues
US11245748B1 (en) Proxied nodes in a container orchestration environment for scalable resource allocation
CN111221630A (zh) 业务流程处理方法、装置、设备、可读存储介质及系统
WO2022257247A1 (zh) 数据处理方法、装置及计算机可读存储介质
RU2696299C2 (ru) Управление при инициировании элементарных задач на серверной платформе
CN114296953A (zh) 一种多云异构系统及任务处理方法
CN116954944A (zh) 基于内存网格的分布式数据流处理方法、装置及设备
US20200326942A1 (en) Parameter management between programs
US10587725B2 (en) Enabling a traditional language platform to participate in a Java enterprise computing environment
US8554798B2 (en) Asynchronous state engine with plug-ins for flexible application development
JP2003067199A (ja) アプリケーションプログラム
CN112148935B (zh) 用于多实例的nbmp功能执行的方法和装置
US9762708B2 (en) Management of outbound transactions to an enterprise information system
US7702770B1 (en) Web services enterprise integration with service oriented architecture
KR102357031B1 (ko) 클라우드 컴퓨터 구동 방법 및 장치
US11210129B2 (en) Extended architecture as a service to integrate resource and transaction managers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Digital Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: Jingdong Digital Technology Holding Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant