CN103559082A - 一种基于队列的分布式任务调度方法、装置及系统 - Google Patents

Abstract

本发明涉及数据传输技术领域，尤其涉及一种基于队列的分布式任务调度方法、装置及系统。该方法包括：从数据库中采集待调度的分布式任务的数据；将采集的所述待调度的分布式任务的数据存储到队列中；根据所述队列中所述待调度的分布式任务的数据，分配执行所述待调度的分布式任务的节点，所述节点为分布式节点；通过面向服务架构技术将所述待调度的分布式任务发送到分配的所述节点。该方法结合队列和面向服务架构技术，减少了与数据库的交互次数，增加了任务调度的灵活性，保证了任务调度的准确性。

Description

一种基于队列的分布式任务调度方法、装置及系统

技术领域

本发明涉及数据传输技术领域，尤其涉及一种基于队列的分布式任务调度方法、装置及系统。

背景技术

近年来，随着计算机信息技术日益成熟，互联网所依赖的任务机(服务器)规模也越来越庞大。并且随着用户业务的不断扩展，用户的任务往往需要采用分布式网络存储系统。因此如何对这些跨机器应用的分布式任务进行管理、维护及调度，就成为一个亟待解决的问题。

传统的分布式任务调度方法包括：将任务的数据存储到数据库中；针对所述数据库中所存储的每个任务，根据任务完成时间预测模型，来预测在处理节点集合中的每个处理节点上执行该任务所需的完成时间，并将该任务分配给预测出的完成时间最短的处理节点。

上述的分布式任务调度方法中，任务直接由数据库分配到执行节点，执行节点与数据库交互频繁并且不能保证任务调度的顺序，，从而导致任务调度的准确性较低。

发明内容

本发明的目的是提出一种基于队列方式的分布式任务调度方法、装置及系统，以降低任务的执行节点与数据库的交互次数。为达此目的，本发明采用以下技术方案：

一种基于队列方式的分布式任务调度方法，包括：

从数据库中采集待调度的分布式任务的数据；

将采集的所述待调度的分布式任务的数据存储到队列中；

根据所述队列中所述待调度的分布式任务的数据，分配执行所述待调度的分布式任务的节点，所述节点为分布式节点；

通过面向服务架构技术将所述待调度的分布式任务发送到分配的所述节点。

一种基于队列方式的分布式任务调度装置，所述装置包括：

采集模块，用于从数据库中采集待调度的分布式任务的数据；

缓存模块，用于将采集的所述待调度的分布式任务的数据存储到队列中；

分配模块，用于根据所述队列中所述待调度的分布式任务的数据，分配执行所述待调度的分布式任务的节点，所述节点为分布式节点；

接口模块，用于通过面向服务架构技术将所述待调度的分布式任务发送到分配的所述节点。

一种基于队列方式的分布式任务调度系统，包括数据库服务器、队列服务器、多个节点设备和本发明任意实施例提供的分布式任务调度装置，其中，

所述分布式任务调度装置用于从数据库服务器中采集所述待调度的分布式任务的数据，并将所述待调度的分布式任务的数据存储到所述队列服务器的队列中，还用于从所述队列中获取所述待调度的分布式任务的数据，根据所述待调度的分布式任务的数据，从所述多个节点设备中为所述待调度的分布式任务分配执行节点，并通过面向服务架构技术将所述待调度的分布式任务发送到所述执行节点，所述执行节点为分布式节点。

上述技术方案给出的一种基于队列方式的分布式任务调度方法、装置及系统，通过将数据库中的任务的数据缓存到队列中，并在调度过程中通过访问队列中缓存的任务的数据，减少了访问数据库的次数，增加了任务调度的灵活性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，并不构成对本发明的限定。在附图中：

图1是本发明第一实施例中提供的基于队列方式的分布式任务调度方法的实现流程图。

图2是本发明第二实施例中提供的基于队列方式的分布式任务调度方法的实现流程图。

图3是本发明第二实施例中提供的基于队列方式的分布式任务调度方法的逻辑分支流程图。

图4是本发明第二实施例中提供的基于队列方式的分布式任务调度方法的结构示意图。

图5是本发明第三实施例中提供的基于队列方式的分布式任务调度装置的结构示意图。

图6是本发明第四实施例中提供的基于队列方式的分布式任务调度系统的结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图1是本发明第一实施例中提供的基于队列方式的分布式任务调度方法的实现流程图，该实现流程包括：

步骤101、从数据库中采集待调度的分布式任务的数据。

本步骤中通过与数据库的交互，从后台数据库中读取所述待调度的分布式任务的数据。待调度的分布式任务的数据预置的存储到数据库中，将待调度的分布式任务的数据保存到数据库中，实际上是将该数据转换成二进制流后，将二进制流保存到数据库相应的字段中。数据提交给后台数据库后，此时任务处于等待执行状态，即任务的预约，可以同时将大量的任务下发，等待后台执行。

分布式处理是将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，在控制系统的统一管理控制下，协调地完成信息处理任务。分布式任务调度的关键是必须有一种方法可以知道任务在任何地方所做的所有动作，提交或回滚任务的决定必须产生统一的结果（全部提交或全部回滚）。任务产生来源可以是web和app等产生分布式任务后，通过数据入口录入执行任务所需的相关数据。

步骤102、将采集的所述待调度的分布式任务的数据存储到队列中。

本步骤中将所述待调度的分布式任务的数据缓存到队列中。队列是只允许在一端进行插入，而在另一端进行删除的运算受限的线性表。队列具有下列特性：允许删除的一端称为队头（Front）；允许插入的一端称为队尾（Rear）；当队列中没有元素时称为空队列；队列亦称作先进先出（First In First Out）的线性表，简称为FIFO表。因此，队列的修改是依先进先出的原则进行的。新来的成员总是加入队尾（即不允许"加塞"），每次离开的成员总是队列头上的（不允许中途离队），即当前"最老的"成员离队。

步骤103、根据所述队列中所述待调度的分布式任务的数据，分配执行所述待调度的分布式任务的节点，所述节点为分布式节点。

在本发明实施例中，分布式任务的数据统一地缓存到队列中，通过访问队列为所述被访问的待调度的分布式任务分配节点。与所述分布式任务相一致的，所述节点是分布式节点。

步骤104、通过面向服务架构技术将所述待调度的分布式任务发送到分配的所述节点。

面向服务架构（Service Oriented Architecture，SOA）是一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。

采用SOA能够使业务IT系统变得更加灵活，以适应业务中的改变。通过允许强定义的关系和依然灵活的特定实现，IT系统既可以利用现有系统的功能，又可以准备在以后做一些改变来满足它们之间交互的需要。本发明实施例采用SOA的模型，通过成熟的Web Service接口技术实现网络节点间的数据传递。

该发明提出了一种基于队列方法的分布式任务调度方法。该方法结合队列和面向服务架构技术，减少了与数据库的交互次数，增加了任务调度的灵活性。

在图2中示出了本发明的第二实施例。本实施例中和本发明的第一实施例属于同一构思，在本实施例中未详尽描述的细节内容，可以参考第一实施例。

图2是本发明第二实施例中提供的基于队列方式的分布式任务调度方法的实现流程图。本实施例所示的方法包括：

步骤201、从数据库中采集待调度的分布式任务的数据。

本步骤中通过与数据库的交互，从后台数据库中读取所述待调度的分布式任务的数据，即通过统一的数据出口访问存储在后台数据库的待调度的分布式任务的数据。

步骤202、将采集的所述待调度的分布式任务的数据存储到队列中。

本步骤通过下列具体步骤实现：根据采集的所述待调度的分布式任务的数据，分析所述待调度的分布式任务的标识；若所述待调度的分布式任务的标识中存在一组子标识，根据所述一组子标识将所述待调度的分布式任务分解成一组子任务，并将所述一组子任务存储到队列中；若所述待调度的分布式任务的标识中不存在子标识，将所述待调度的分布式任务存储到队列中。

定时抽取模块在后台根据所述待调度的分布式任务的数据，分析所述待调度的分布式任务的标识。若所述待调度的分布式任务的标识中存在一组子标识，根据所述一组子标识将所述待调度的分布式任务分解成一组子任务，并分析所述一组子任务的执行顺序；根据所述一组子任务的执行顺序，将所述一组子任务存储到队列。一组子任务存在先后依赖关系，在任务分解环节根据所述待调度的分布式任务的标识，进行先后的调度，并且根据所述一组子任务的执行顺序，将所述一组子任务存储到队列，等待线程的执行。若所述待调度的分布式任务的标识中不存在子标识，即所述待调度的分布式任务是单一的任务，将所述待调度的分布式任务整体存储到队列中，等待线程的执行。

步骤203、根据所述队列中所述待调度的分布式任务的数据，分配执行所述待调度的分布式任务的节点，所述节点为分布式节点。

在本步骤中，访问队列，并且根据队列中数据为队列中的待调度的任务分配执行节点。

步骤204、通过面向服务架构技术将所述待调度的分布式任务发送到分配的所述节点。

采用SOA的模型，通过成熟的Web Service接口技术实现网络节点间的数据传递，以将执行任务所需的数据发送到节点。

步骤205、接收所述节点发送的执行所述分布式任务的结果。

若所述待调度的分布式任务是一组子任务的组合，各个子任务所分配的节点接收到被分配的子任务后，根据各个子任务的需求异步执行所述待调度的分布式任务。若所述待调度的分布式任务是单一的任务，分配到该任务的节点执行该任务。

节点执行任务后，若待调度的分布式任务是一组的子任务的组合，将执行各个子任务的节点中计算结果综合起来得到最终的结果，并同步返回计算结果；若待调度的分布式任务是单一的任务，同步返回计算结果。

综上，如图3和图4所示，本发明实施例中基于队列方式的分布式任务调度方法通过以下步骤实现：通过入口将待调度的分布式任务的数据录入并存储到数据库中；定时抽取数据库中的待调度的分布式任务的数据并根据所述待调度的分布式任务的标识将所述待调度的分布式任务分解成一组子任务；将所述一组子任务的数据缓存到队列中；根据所述待调度的分布式任务的数据为所述一组子任务分配节点；采用SOA的方式将所述一组子任务发送给分布式群集内的节点，并且根据任务的优先级执行所述待调度的任务。SOA技术是分布式环境下一种松耦合的实现方式，其好处是可维护性，可扩展性和可移植性。

所述分布式任务的数据除了XML（Extensible Markup Language，可扩展标记语言）数据以外，还有一些其他的元数据，比如任务描述、任务节点描述、任务主体和任务状态。任务的元数据同样地存储于数据库中，只是其与XML数据存储于不同的字段内，但是其与XML数据是一条记录。根据所述元数据为待调度的任务分配节点。XML是一种标志语言，是一种可以展现有关文档结构和数据处理细节的文字编码。当今广泛应用的标志语言是超文本标记语言(HyperText Markup Language,HTML)和XML，它主要应用于网页和网络应用程序中。XML是Web服务和大多数SOA的基础。XML本身不是一种技术，而是标记语言，可以支持开发者为Web信息涉及自己的标记。因此，Web信息便可被XML应用共享。XML是一种标准化的可以在Web上表示结构化信息的文本格式，利用它可以存储复杂结构的数据信息。以SVM(Support Vector Machine，支持向量机)为例，其XML信息如下：

<vNode>

<Uuid>32af40c0-14b5-11e3-a3c0-78e7d158fd70</Uuid>唯一id

<Type>Iso</Type>类型

<Hostname>c2</Hostname>虚拟机名称

<Desc></Desc>描述

<CpuCnt>1</CpuCnt>虚拟机CPU数量

<Mem>1048576</Mem>内存信息

<Vlan>0</Vlan>隶属VLAN

<NicCnt>1</NicCnt>网卡数

<DiskSize>11G</DiskSize>磁盘大小

<VstoreIp>127.0.0.1</VstoreIp>存储IP

<VstorePath>/cluster2/ivcs</VstorePath>存储路径

<OsType>Linux</OsType>虚拟机系统类型

<OsVersion>CentOS</OsVersion>系统版本

<vTemplateRef>NON</vTemplateRef>模版位置

<IsoPath>/usr/local/ivcs-data/vmc/nfsmount/127.0.0.1/CentOS-6.2-x86_64-minimal.iso</IsoPath>base镜像

<NIC>网络信息

<Address>172.30.35.111</Address>

<MAC>52:54:00:98:f0:6f</MAC>

<Netmask>255.255.255.0</Netmask>

<Gateway>172.30.35.254</Gateway>

<DNS/>

</NIC>

<Password>7c4a8d09ca3762af61e59520943dc26494f8941b</Password>加密密码</vNode>。

上述SVM例中Xml文件包含的数据信息有：唯一id、类型、镜像存储位IP和MAC(Media Access Control)地址，或称为MAC位址等信息等。

本实施例中，将任务的数据缓存入队列，通过队列的特性来保证任务的执行顺序，减少非队列方式采用业务逻辑来判断的复杂性，保证了任务调度的准确性。

以下为本发明实施例的装置和系统实施例，本发明方法实施例、装置实施例和系统实施例属于同一构思，在装置实施例和系统实施例中未详尽描述的细节内容，可以参考上述方法实施例。

在图5中示出了本发明的第三实施例。

图5是本发明第三实施例中提供的基于队列方式的分布式任务调度装置的结构示意图。如图5所示，本实施例所述的队列方式的分布式任务调度装置包括：采集模块501，用于从数据库中采集待调度的分布式任务的数据；缓存模块502，用于将采集的所述待调度的分布式任务的数据存储到队列中；分配模块503，用于根据所述队列中所述待调度的分布式任务的数据，分配执行所述待调度的分布式任务的节点，所述节点为分布式节点；接口模块504，用于通过面向服务架构技术将所述待调度的分布式任务发送到分配的所述节点。

所述缓存模块502包括：标识分析模块，用于根据采集的所述待调度的分布式任务的数据，分析所述待调度的分布式任务的标识；子任务缓存模块，若所述待调度的分布式任务的标识中存在一组子标识，用于根据所述一组子标识将所述待调度的分布式任务分解成一组子任务，并将所述一组子任务存储到队列中；任务缓存模块，若所述待调度的分布式任务的标识中不存在子标识，用于将所述待调度的分布式任务存储到队列中。

上述子任务缓存模块包括：任务分解及分析模块，若所述待调度的分布式任务的标识中存在一组子标识，用于根据所述一组子标识将所述待调度的分布式任务分解成一组子任务，并分析所述一组子任务的执行顺序；子任务存储模块，用于根据所述一组子任务的执行顺序，将所述一组子任务存储到队列。

该装置，还包括结果接收模块，用于接收所述节点发送的执行所述分布式任务的结果。

该装置结合队列和面向服务架构技术，将数据取出并分析，通过统一的数据出口，与后台通讯，减少了与数据库的交互次数，增加了任务调度的灵活性，实现该装置中各个模块间的松耦合。另外，将取出的数据按照优先级放入队列，通过队列的特性来保减少非队列方式采用业务逻辑来判断的复杂性，保证了任务的准确性。

图6示出了本发明的第四实施例。

图6是本发明第四实施例中提供的基于队列方式的分布式任务调度系统的结构示意图。如图6所示，本实施例所述的基于队列方式的分布式任务调度系统包括数据库服务器601、队列服务器602、多个节点设备603和本发明任意实施例提供的分布式任务调度装置604，其中，所述分布式任务调度装置用于从数据库服务器中采集所述待调度的分布式任务的数据，并将所述待调度的分布式任务的数据存储到所述队列服务器的队列中，还用于从所述队列中获取所述待调度的分布式任务的数据，根据所述待调度的分布式任务的数据，从所述多个节点设备中为所述待调度的分布式任务分配执行节点，并通过面向服务架构技术将所述待调度的分布式任务发送到所述执行节点，所述执行节点为分布式节点。

上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于队列的分布式任务调度的方法，其特征在于，包括：

从数据库中采集待调度的分布式任务的数据；

将采集的所述待调度的分布式任务的数据存储到队列中；

根据所述队列中所述待调度的分布式任务的数据，分配执行所述待调度的分布式任务的节点，所述节点为分布式节点；

通过面向服务架构技术将所述待调度的分布式任务发送到分配的所述节点。

2.根据权利要求1所述的方法，其特征在于，将采集的所述待调度的分布式任务的数据存储到队列中，包括：

根据采集的所述待调度的分布式任务的数据，分析所述待调度的分布式任务的标识；

若所述待调度的分布式任务的标识中存在一组子标识，根据所述一组子标识将所述待调度的分布式任务分解成一组子任务，并将所述一组子任务存储到队列中；

若所述待调度的分布式任务的标识中不存在子标识，将所述待调度的分布式任务存储到队列中。

3.根据权利要求2所述的方法，其特征在于，若所述待调度的分布式任务的标识中存在一组子标识，根据所述一组子标识将所述待调度的分布式任务分解成一组子任务，并将所述一组子任务存储到队列中，包括：

若所述待调度的分布式任务的标识中存在一组子标识，根据所述一组子标识将所述待调度的分布式任务分解成一组子任务，并分析所述一组子任务的执行顺序；

根据所述一组子任务的执行顺序，将所述一组子任务存储到队列。

4.根据权利要求1所述的方法，其特征在于，所述通过面向服务架构技术将所述待调度的分布式任务发送到分配的所述节点之后，还包括：

接收所述节点发送的执行所述分布式任务的结果。

5.一种基于队列的分布式任务调度的装置，其特征在于，包括：

采集模块，用于从数据库中采集待调度的分布式任务的数据；

缓存模块，用于将采集的所述待调度的分布式任务的数据存储到队列中；

分配模块，用于根据所述队列中所述待调度的分布式任务的数据，分配执行所述待调度的分布式任务的节点，所述节点为分布式节点；

接口模块，用于通过面向服务架构技术将所述待调度的分布式任务发送到分配的所述节点。

6.根据权利要求5所述的装置，其特征在于，所述缓存模块包括：

标识分析模块，用于根据采集的所述待调度的分布式任务的数据，分析所述待调度的分布式任务的标识；

子任务缓存模块，若所述待调度的分布式任务的标识中存在一组子标识，用于根据所述一组子标识将所述待调度的分布式任务分解成一组子任务，并将所述一组子任务存储到队列中；

任务缓存模块，若所述待调度的分布式任务的标识中不存在子标识，用于将所述待调度的分布式任务存储到队列中。

7.根据权利要求6所述的装置，其特征在于，所述子任务缓存模块包括：

任务分解及分析模块，若所述待调度的分布式任务的标识中存在一组子标识，用于根据所述一组子标识将所述待调度的分布式任务分解成一组子任务，并分析所述一组子任务的执行顺序；

子任务存储模块，用于根据所述一组子任务的执行顺序，将所述一组子任务存储到队列。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

结果接收模块，用于接收所述节点发送的执行所述分布式任务的结果。

9.一种基于队列的分布式任务调度的系统，其特征在于，包括数据库服务器、队列服务器、多个节点设备和权利要求5至8任一项所述的分布式任务调度装置，其中，

所述分布式任务调度装置用于从数据库服务器中采集所述待调度的分布式任务的数据，并将所述待调度的分布式任务的数据存储到所述队列服务器的队列中，还用于从所述队列中获取所述待调度的分布式任务的数据，根据所述待调度的分布式任务的数据，从所述多个节点设备中为所述待调度的分布式任务分配执行节点，并通过面向服务架构技术将所述待调度的分布式任务发送到所述执行节点，所述执行节点为分布式节点。

Images