CN102347989A - 基于资源描述符号的数据配送方法及配送系统 - Google Patents

Abstract

本发明公开了一种基于资源描述符号的数据配送方法，包括如下步骤：任务机接收数据管理中心发送的启动指令、及任务机的一个或多个上一级任务机对应的资源描述符号和版本号；任务机根据资源描述符号和对应的版本号从文件存储中心获得对应的数据，并产生更新的数据；任务机在完成任务之后将更新的数据发送至文件存储中心，同时数据管理中心更新任务机对应的资源描述符号的版本号；数据管理中心向任务机的下一级任务机发送启动指令及任务机对应的资源描述符号和更新后的版本号以控制任务机的下一级任务机执行相应的任务。本发明还公开了一种基于资源描述符号的数据配送系统、用于该数据配送系统的任务机和数据管理中心。

Description

基于资源描述符号的数据配送方法及配送系统

技术领域

本发明涉及互联网技术领域，特别涉及一种基于资源描述符号的数据配送方法及配送系统。

背景技术

随着互联网领域的高速发展，互联网所依赖的任务机(服务器)的规模也随之越来越庞大。并且随着应用领域的不断扩展，用户的多个应用往往会在不同的任务机上执行，跨机器之间服务存在着数据级别的依赖关系。具体而言，部分任务机执行任务生成的数据，通常被多个其他任务机所执行的任务所需要。因此，需要对多个任务之间的数据依赖关系进行维护，以及实现多机器间的数据更新、数据识别以及数据配送。

传统的多机器间的数据管理及配送方法是由各个任务自己记录并维护任务之间的数据依赖关系。某个任务机在执行完自身对应的任务后产生更新数据，而这些数据正是该任务机的下一级任务机所执行的任务所需要的。该任务机再将上述数据的地址通知给下一级任务机。下一级任务机根据接收到的地址查询并下载对应的数据。

传统的多机器间的数据管理及配送方法存在以下问题：

(1)各个任务自己记录并维护任务之间的数据依赖关系，缺少统一的集中管理系统。

(2)当任务机发生变动或者数据源头的存放地址存在不确定性时，与该任务机存在依赖关系的其他任务机无法及时掌握这些变动，从而导致不能获得最新的数据地址，从而降低任务机执行任务的效率。

由上可知，传统的多机器间的数据管理及配送方法灵活性差、效率低，并且需要用户对数据管理及配送中的每一个环节都要掌握，导致开发和维护的代价均较高，不适于推广利用。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别是针对任务机发生变动或者数据源头的存放地址存在不确定性给任务机根据存储地址获取对应的数据带来的效率低的缺陷。

为此，本发明的第一个目的在于提供一种基于资源描述符号的数据配送方法，该数据配送方法利用资源描述符号及版本号查找更新数据的地址，提高了任务机查找并下载对应的数据的效率。本发明的第二个目的在于提供一种基于资源描述符号的数据配送系统。本发明的第三个目的在于提供一种任务机。本发明的第四个目的在于提供一种数据管理中心。

为达到上述目的，本发明第一方面的实施例提出一种基于资源描述符号的数据配送方法，包括如下步骤：

任务机接收数据管理中心发送的启动指令、及所述任务机的一个或多个上一级任务机对应的资源描述符号和版本号，其中，每个任务机具有对应的资源描述符号，且每个所述资源描述符号具有版本号；

所述任务机根据所述资源描述符号和对应的版本号从文件存储中心获得对应的数据，并产生更新的数据；

所述任务机在完成任务之后将所述更新的数据发送至所述文件存储中心，同时所述数据管理中心更新所述任务机对应的资源描述符号的版本号；知

所述数据管理中心向所述任务机的下一级任务机发送启动指令及所述任务机对应的资源描述符号和更新后的版本号以控制所述任务机的下一级任务机执行相应的任务。

根据本发明实施例的基于资源描述符号的数据配送方法，可以利用与任务机对应的资源描述符号及版本号查找该任务机完成任务后更新数据的地址，由此更新数据的存储地址与对应的资源描述符号的版本号是一一对应的，具有确定性，并且不需要知道更新的数据在物理存储设备上的具体信息。进而，下一级任务机可以准确且高效的获得更新数据的存储地址，提高了任务机执行任务的效率。

本发明第二方面的实施例提供了一种基于资源描述符号的数据配送系统，包括：多个任务机、与所述多个任务机相连的数据管理中心和文件存储中心，其中，所述多个任务机，其中，每个任务机具有对应的资源描述符号，且每个所述资源描述符号具有版本号，所述多个任务机用于在所述数据管理中心的控制下执行任务；所述数据管理中心，用于控制所述多个任务机中的一个或多个任务机启动以执行相应的任务，并在所述一个或多个任务机完成任务之后更新所述一个或多个任务机对应的资源描述符号的版本号，和向所述一个或多个任务机的下一级任务机发送启动指令及对应的资源描述符号；文件存储中心，用于存储所述一个或多个任务机完成任务之后更新的数据，其中，所述下一级任务机根据所述资源描述符号及版本号从所述文件存储中心获得所述更新的数据。

根据本发明实施例的基于资源描述符号的数据配送系统，可以利用与任务机对应的资源描述符号及版本号查找该任务机完成任务后更新数据的地址，由此更新数据的存储地址与对应的资源描述符号的版本号是一一对应的，具有确定性，并且不需要知道更新的数据在物理存储设备上的具体信息。进而，下一级任务机可以准确且高效的获得更新数据的存储地址，提高了任务机执行任务的效率。

本发明第三方面的实施例提供了一种任务机，其中所述任务机具有唯一的资源描述符号，且每个资源描述符号具有版本号，其中所述任务机包括：接收模块，用于接收来自数据管理中心的启动指令和对应的上一级任务机的资源描述符号及所述资源描述符号的版本号；执行模块，用于根据所述资源描述符号及所述资源描述符号的版本号从文件存储中心获得所述上一级任务机更新的数据，并生成本次任务的更新数据；发送模块，用于将所述本次任务的更新数据发送至所述文件存储中心，同时将所述更新数据的信息发送至数据管理中心以使所述数据管理中心更新所述任务机的资源描述符号的版本号。

根据本发明实施例的任务机，任务机与资源描述符号相对应，任务机完成任务后产生的更新数据的存储地址与对应的资源描述符号的版本号是一一对应。由此任务机在执行任务时，通过调用上一级任务机对应的资源描述符号的版本号即可获得上一级任务机更新的数据的地址，提高了任务机执行任务的效率。并且，利用资源描述符号和版本号查找更新数据的存储地址，准确性更高，不需要知道更新的数据在物理存储设备上的具体信息。

本发明第四方面的实施例提供一种数据管理中心，包括：请求接收模块，用于接收来自用户的任务请求；控制模块，与所述请求接收模块相连，用于根据所述任务请求为所述任务请求对应的任务分配多个任务机，以及控制所述多个任务机中的一个或多个任务机启动以执行相应的任务，其中，每个任务机具有对应的资源描述符号，且每个所述资源描述符号具有版本号；存储模块，用于存储每个任务机的资源描述符号、资源描述符号的版本号和所述每个任务机对应的数据的信息；更新模块，用于更新所述存储模块中的资源描述符号的版本号；指令发送模块，分别与所述控制模块和所述存储模块相连，用于根据所述任务请求向所述一个或多个任务机中部分任务机的下一级任务机发送启动指令和与所述一个或多个任务机对应的资源描述符号及对应的版本号。

根据本发明是实施例的数据管理中心，可以根据用户发出的任务请求对多个任务机进行控制，并对任务机执行完成任务后更新的数据的信息进行维护和更新，从而便于任务机可以准确且高效的获得上一级任务机的更新数据的存储地址。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于资源描述符号的数据配送方法的示意图；

图2为根据本发明实施例的基于资源描述符号的数据配送方法的流程图；

图3为根据本发明的一个实施例的多个任务机的依赖关系示意图；

图4为根据本发明的另一个实施例的多个任务机的依赖关系示意图；

图5为根据本发明的实施例的基于资源描述符号的数据配送系统方法的示意图；

图6为根据本发明的一个实施例的任务机的示意图；

图7为根据本发明的另一个实施例的任务机的示意图；

图8为根据本发明的一个实施例的数据管理中心的示意图；

图9为根据本发明的另一个实施例的数据管理中心的示意图；和

图10为根据本发明的又一个实施例的数据管理中心的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

下面参考图1描述根据本发明实施例的基于资源描述符号的数据配送方法。

如图1所示，本发明实施例提供的基于资源描述符号的数据配送方法，包括如下步骤：

S101：任务机接收数据管理中心发送的启动指令、及任务机的一个或多个上一级任务机对应的资源描述符号和版本号。其中，每个任务机具有对应的资源描述符号KEY，且每个资源描述符号具有版本号version。

在本发明的一个实施例中，数据管理中心首先接收用户的任务请求，并根据任务请求为与任务请求对应的任务分配多个任务机。

具体地，用户向数据管理中心发送任务请求以请求执行与任务请求对应的任务。数据管理中心根据任务请求为任务分配多个任务机，由分配的多个任务机执行用户请求的任务。

多个任务机中的每个任务机具有对应的资源描述符号KEY，其中，资源描述符号KEY与任务机对应。资源描述符号的版本号version与任务机执行任务所对应的数据的信息一一对应。换言之，某个任务机执行任务所需要的数据的信息可以通过对应的资源描述符号的版本号version查找获得。

在本发明的一个实施例中，每个任务机执行任务所对应的数据的信息包括数据的存储地址、数据的大小和数据的服务周期。其中，数据的服务周期是指该数据可以供任务机调用的寿命。

S102：任务机根据资源描述符号和对应的版本号从文件存储中心获得对应的数据，并产生更新的数据。

数据管理中心在为任务分配完多个任务机之后，向上述多个任务机中的一个或多个任务机发送启动指令以及与该一个或对多个任务机对应的资源描述符号KEY和更新后的版本号version。任务机根据接收到的资源描述符号KEY和更新后的版本号version从文件存储中心下载对应的数据以执行对应的任务。任务机在执行完成任务之后，产生更新的数据。

可以理解的是，用户请求的任务可以需要多个任务机作为起始任务机，则数据管理中心需要向多个任务机发送启动指令。例如，数据管理中心为任务分配5个任务机。在开始执行该任务时需要5个任务机中的3个作为起始任务机首先启动，则数据管理中心首先向上述3个任务机发送启动指令以启动该任务。

S103：任务机在完成任务之后将更新的数据发送至文件存储中心，同时数据管理中心更新任务机对应的资源描述符号的版本号。

在步骤102中，任务机执行完毕任务之后，将每个任务机执行完成任务后产生的更新数据发送至文件存储中心，然后获取更新的数据的信息，再将上述数据的信息发送给数据管理中心。数据管理中心根据接收到的上述更新的数据的信息更新任务机的资源描述符号的版本号version。在本发明的一个实施例中，数据管理中心更新版本号是将资源描述符号KEY的当前版本号加1位。例如，如果资源描述符号KEY的当前版本号为1.0，则更新后的版本号为2.0。更新后的版本号与任务机完成任务后更新的数据的信息对应。更新的数据的信息包括数据的地址、数据的大小和数据服务周期。

数据管理中心存储有资源描述符号-版本号-数据信息表格，如表1所示。

表1

从表1中可以看出，一个资源描述符号KEY和一个版本号version可以限定一个任务机执行完一次任务后产生的数据的信息。即，资源描述符号KEY与任务机对应，版本号version与任务机执行任务所对应的数据的信息对应。

由于表1中的数据信息可能长期不被使用，或者超过预设的服务周期的上限值，则数据管理中心需要对符合上述条件的资源描述符号的版本号version进行清理。

在本发明的一个实施例中，数据管理中心可以采用定时清理的方法对资源描述符号的版本号version进行清理。具体地，数据管理中心设置预设清理周期，并按照预设清理周期定时地清理资源描述符号的版本号。例如，数据管理中心定时清理服务周期超过预设的服务周期上限值的版本号以及与该版本号对应的数据信息。

在本发明的另一个实施例中，数据管理中心可以采用定量清理的方法对资源描述符号的版本号version进行清理。具体地，数据管理中心设置预设清理数量，并根据预设清理数量定量地清理资源描述符号的版本号。例如，数据管理中心定量地清理服务周期超过预设的服务周期上限值的版本号以及与该版本号对应的数据信息。

通过采用上述两种清理方式，可以节省数据管理中心的存储空间，提高任务机根据KEY和version查找数据信息的效率。

S104：数据管理中心根据任务请求向任务机的下一级任务机发送启动指令及任务机对应的资源描述符号KEY和更新后的版本号version以控制任务机的下一级任务机执行相应的任务。

数据管理中心在更新完成版本号之后，根据任务请求查找当前任务机的下一级任务机，然后检测当前时间是否到达下一级任务机的启动时间点。其中，每个任务机的启动时间点由预设的配置计划设置。

当数据管理中心检测当前时间到达下一级任务机的启动时间点后，根据用户发送的任务请求向对应的下一级任务机发送启动指令、当前任务机的资源描述符号KEY和更新后的版本号version。

需要说明的是，只有同时满足上一级任务机的数据发生更新和到达下一级任务机的启动时间点两个条件，数据管理中心才向对应的下一级任务机发送启动指令。

下一级任务机根据步骤S104中获得的对应的上一级任务机的资源描述符号KEY和版本号version。需要说明的是，此时下一级任务机作为当前任务机，步骤S104中描述的当前任务机作为对应的上一级任务机。为了清楚说明，下面仍以下一级任务机作为执行主体进行描述。下一级任务机在数据管理中心查找上一级任务机更新的数据的存储地址，即根据上一级任务机的资源描述符号KEY和版本号version查找表1，读取上一级任务机执行完成任务后更新的数据的存储地址。然后利用读取得到的对应数据的存储地址从文件存储中心获取上一级任务机更新的数据以执行本次任务。

在本发明的一个实施例中，数据管理中心可以对自身及多个任务机的工况进行监控。其中，数据管理中心提供友好的用户界面供用户查看任务的当前运行情况和历史运行情况，从而用户可以及时掌握请求的任务的运行情况。通过对多个任务机的监控，数据管理中心对于超过预期时间的调度或者异常的任务执行进行及时的报警。如果任务机从文件存储中心获得更新的数据失败，例如根据上一级任务机的资源描述符号KEY和版本号version在表1中查找不到数据信息，或者任务机与数据管理中心之间出现通讯故障则由任务机向数据管理中心发出报警信号。数据管理中心在收到报警信号后，检查自身设备的工作状况以及检查表1是否正确以便及时排除故障。

下面参考图2对本发明实施例的基于资源描述符号的数据配送方法进行详细描述。

数据管理中心接收用户的任务请求，然后根据该任务请求为与任务请求对应的任务分配多个任务机，并控制多个任务机中的一个或多个任务机启动以执行相应的任务。数据管理中心为任务分配多个任务机，包括根据任务请求创建配送分组，其中，配送分组用于记录多个任务机之间的依赖关系和每个任务机的启动时间点。

在上述一个或多个任务机完成任务之后，上游数据发生更新。数据管理中心根据更新后的上游数据的存储地址，更新与完成任务的一个或多个任务机对应的版本号version，同时更新表1。

同时，数据管理中心利用传输工具将更新后的数据发送至文件存储中心。在本发明的一个示例中，文件存储中心可以为Mola存储平台或Hadoop存储平台。可以理解的是，文件存储中心的类型不限于此，也可以为其他类型的存储平台。

数据管理中心根据用户发出的任务请求查找一个或多个任务机的下一级任务机，并在检测到当前时间到达下一级任务机的到达启动时间点时，向下一级任务机发送启动指令。其中，由数据管理中心的配送系统创建配送分组，从而获得本次任务分配的多个任务机之间的依赖关系和每个任务机的启动时间点。然后由数据管理中心的控制系统向下一级任务机发送启动指令、对应的资源描述符号KEY及更新后的版本号version。下一级任务机在收到启动指令后，根据接收到的资源描述符号KEY及版本号version从数据管理中心的表1中查找对应的数据信息，并根据数据信息中的数据的存储地址利用传输工具从文件存储中心下载对应的数据。

根据本发明实施例的基于资源描述符号的数据配送方法，可以实现对跨多机器间的数据的从产生、识别、存储、版本管理和传输的管理。利用与任务机对应的资源描述符号及版本号查找该任务机完成任务后更新数据的地址，由此更新数据的存储地址与对应的资源描述符号的版本号是一一对应的，具有确定性，并且不需要知道更新的数据在物理存储设备上的具体信息。进而，下一级任务机可以准确且高效的获得更新数据的存储地址，提高了任务机执行任务的效率。此外，本发明实施例提供的基于资源描述符号的数据配送方法还可以实现对大规模机器上的任务产生数据进行集中管理、容量及流量的统计、关系维护、传输情况的监控。从而在较少的人力投入下，无需做改动或调整即能支持1(数据管理中心)对N(多个任务机)方式的数据配送全流程问题。

下面分别参考图3和图4对数据管理中心控制多个任务机执行任务的过程进行描述。

如图3所示，多个任务机包括任务机A、任务机B、任务机C、任务机D和任务机E，其中，任务机A、任务机B、任务机C为起始任务机且为任务机D的上一级任务机，任务机D为任务机E的上一级任务机。数据管理中心向任务机A、任务机B和任务机C发送启动指令以控制上述任务机执行对应的任务。任务机A、任务机B和任务机C在执行完成任务后，将更新的数据分别发送至文件存储中心，获取更新的数据的信息并将更新的数据的信息发送至数据管理中心。其中，更新的数据的信息包括数据的存储地址、数据的大小和数据的服务周期。具体而言，任务机A执行完成任务后，生成更新的数据data1，任务机B执行完成任务后，生成更新的数据data2，任务机C执行完成任务后，生成更新的数据data3。任务机A、任务机B和任务机C分别将data1、data2和data3发送至文件存储中心，并获取data1、data2和data3的信息并将其发送给数据管理中心。数据管理中心在获得上述数据信息后，更新与任务机A、任务机B和任务机C对应的资源描述符号的版本号。此时，在表1中，任务机A、任务机B和任务机C的最新的版本号对应的数据的信息为最近获得的上述数据信息。当数据管理中心检测到任务机A、任务机B和任务机C的下一级任务机D到达启动时间点后，向任务机D发送启动指令以及任务机A、任务机B和任务机C的最新版本号。任务机D根据该最新版本号向数据管理中心查找对应的更新的数据的存储地址，并利用存储地址从文件存储中心中下载对应的数据以完成本次任务。任务机D在完成本次任务后，产生更新的数据data4，任务机D将data4发送至文件存储中心，并获取data4的数据信息，任务机D将data4的数据信息发送至数据管理中心。数据管理中心在获得上述数据信息后，更新与任务机D对应的资源描述符号的版本号。此时，在表1中，任务机D的最新的版本号对应的数据的信息为最近获得的上述数据信息。当数据管理中心检测到任务机D的下一级任务机E到达启动时间点后，向任务机E发送启动指令以及任务机D的最新版本号。任务机E根据任务机D的最新版本号在数据管理中心中查找对应的data4的存储地址，并利用该存储地址从文件存储中心中下载data4以完成本次任务。

如图4所示，多个任务机包括任务机F、任务机G、任务机H、任务机I和任务机J，其中，任务机F、任务机G、任务机H为起始任务机。任务机F和任务机G为任务机I的上一级任务机，任务机H和任务机I为任务机J的上一级任务机。数据管理中心向任务机F、任务机G和任务机H发送启动指令以控制上述任务机执行对应的任务。任务机F、任务机G和任务机H在执行完成任务后，将更新的数据分别发送至文件存储中心，获取更新的数据的信息并将更新的数据的信息发送至数据管理中心。具体而言，任务机F执行完成任务后，生成更新的数据data5，任务机G执行完成任务后，生成更新的数据data6，任务机H执行完成任务后，生成更新的数据data7。任务机F、任务机G和任务机H分别将data5、data6和data7发送至文件存储中心，并获取data5、data6和data7的数据信息并将其发送给数据管理中心。数据管理中心在获得上述数据信息后，更新与任务机F、任务机G和任务机H对应的资源描述符号的版本号。此时，在表1中，任务机F、任务机G和任务机H的最新的版本号对应的数据的信息为最近获得的上述数据信息。当数据管理中心检测到任务机F和任务机G的下一级任务机I到达启动时间点后。向任务机I发送启动指令以及任务机F和任务机G的最新版本号。任务机I根据该最新版本号向数据管理中心查找对应的更新的数据的存储地址，并利用存储地址从文件存储中心下载data5和data6已完成本次任务。任务机I在完成本次任务之后，产生更新的数据data8，任务机I将data8发送至文件存储中心，并获取data8的数据信息，任务机I将data8的数据信息发送至数据管理中心。数据管理中心在获得上述数据信息后，更新与任务机I对应的资源描述符号的版本号。此时，在表1中，任务机I的最新的版本号对应的数据的地址为最近获得的上述存储地址。当数据管理中心检测到任务机H和任务机I的下一级任务机J到达启动时间点后，向任务机J发送启动指令以及任务机H和任务机I的最新版本号。任务机J根据任务机H和任务机I的最新版本号在数据管理中心中查找对应的data7和data8的存储地址，并利用该存储地址从文件存储中心中下载data7和data8以完成本次任务。

下面参考图5描述根据本发明实施例的基于资源描述符号的数据配送系统500。

如图5所示，本发明实施例提供的基于资源描述符号的数据配送系统500包括多个任务机、数据管理中心510和文件存储中心520。其中，数据管理中心510和文件存储中心520分别与多个任务机相连。

数据管理中心510接收来自用户的任务请求，根据该任务请求为任务分配多个任务机，并控制多个任务机执行用户请求的任务。数据管理中心510为任务分配多个任务机，包括根据任务请求创建配送分组，其中，配送分组用于记录多个任务机之间的依赖关系和每个任务机的启动时间点。

多个任务机用于在数据管理中心510的控制下执行任务。其中，每个任务机具有对应的资源描述符号KEY，其中，每个任务机具有对应的资源描述符号KEY，且每个资源描述符号具有版本号version。资源描述符号KEY与任务机对应，资源描述符号的版本号version与任务机执行任务所对应的数据的信息一一对应。换言之，某个任务机执行任务所需要的数据的信息可以通过对应的资源描述符号KEY和版本号version查找获得。其中，每个任务机执行任务所对应的数据的信息包括数据的存储地址、数据的大小和数据的服务周期。其中，数据的服务周期是指该数据可以供任务机调用的寿命。

数据管理中心510可以与多个任务机进行通信，向多个任务机中的一个或多个任务机发送启动指令以及该一个或对多个任务机对应的资源描述符号KEY和资源描述符号的版本号version。

文件存储中心520用于存储一个或多个任务机完成任务之后更新的数据。其中，下一级任务机可以根据资源描述符号KEY及版本号version从文件存储中心520获得对应的上一级任务机更新的数据。在本发明的一个实施例中，文件存储中心520为Mola存储平台或Hadoop存储平台。可以理解的是，文件存储中心520的类型不限于此，也可以为其他类型的存储平台。

多个任务机根据接收到的资源描述符号KEY和资源描述符号的版本号version从数据管理中心510查找对应数据的存储地址，并根据该存储地址从文件存储中心520中下载对应的数据以执行对应的任务。多个任务机完成任务之后，再将产生的更新数据发送到文件存储中心520，同时获取更新的数据的信息。更新的数据的信息包括更新的数据的地址、数据的大小和数据服务周期。多个任务机进一步将更新的数据的信息发送给数据管理中心510。

数据管理中心510中存储有资源描述符号-版本号-数据信息表格，如表1所示。从表1可以看出，一个资源描述符号KEY和一个版本号version可以限定一个任务机执行完一次任务后产生的数据的信息。即，资源描述符号KEY与任务机对应，版本号version与任务机执行任务所对应的数据的信息对应。

表1

数据管理中心510根据接收到的来自多个任务机的更新的数据的信息更新对应的任务机的资源描述符号的版本号。在本发明的一个实施例中，当数据管理中心510接收到更新的数据的信息后，将与发送该数据信息的任务机对应的资源描述符号的版本号加1位，并将接收到的更新的数据的信息与更新后的版本号相关联。

数据管理中心510还用于对资源描述符号的版本号进行清理。由于数据管理中心存储的数据信息可能长期不被使用，或者超过预设的服务周期的上限值，则数据管理中心510需要对应满足上述条件的资源描述符号的版本号进行清理。

在本发明的一个实施例中，数据管理中心510可以采用定时清理的方法对资源描述符号的版本号version进行清理。具体地，数据管理中心510设置预设清理周期，并按照预设清理周期定时地清理资源描述符号的版本号。例如，数据管理中心510定时清理服务周期超过预设的服务周期上限值的版本号以及与该版本号对应的数据信息。

在本发明的另一个实施例中，数据管理中心510可以采用定量清理的方法对资源描述符号的版本号version进行清理。具体地，数据管理中心510设置预设清理数量，并根据预设清理数量定量地清理资源描述符号的版本号。例如，数据管理中心510定量地清理服务周期超过预设的服务周期上限值的版本号以及与该版本号对应的数据信息。

数据管理中心510通过采用上述两种清理方式，可以节省数据管理中心的存储空间，提高任务机根据KEY和version查找数据信息的效率。

数据管理中心510在更新完成版本号之后，根据用户发出的任务请求查找一个或多个任务机中的部分任务机的下一级任务机，并检测当前时间是否到达下一级任务机的启动时间点。其中，每个任务机的启动时间点由预设的配置计划设置。

当数据管理中心510检测当前时间到达下一级任务机的启动时间点后，根据用户发送的任务请求向对应的下一级任务机发送启动指令、一个或多个任务机的资源描述符号KEY和更新后的版本号version。其中，由数据管理中心510的配送系统创建配送分组，从而获得本次任务分配的多个任务机之间的依赖关系和每个任务机的启动时间点。然后由数据管理中心的控制系统向下一级任务机发送启动指令、对应的资源描述符号KEY及版本号version。

需要说明的是，只有同时满足上一级任务机的数据发生更新和到达下一级任务机的启动时间点两个条件，数据管理中心510才向对应的下一级任务机发送启动指令。

下一级任务机接收来自数据管理中心510的一个或多个上一级任务机的资源描述符号KEY和版本号version，并利用上述资源描述符号KEY和版本号version在数据管理中心510中查找上一级任务机更新的数据的存储地址，即根据上一级任务机的资源描述符号KEY和版本号version查找表1，读取上一级任务机执行完成任务后更新的数据的存储地址。下一级任务机利用读取得到的对应数据的存储地址从文件存储中心获取上一级任务机更新的数据以执行本次任务。

在本发明的一个实施例中，数据管理中心510还可以对自身及多个任务机的工况进行监控。其中，数据管理中心510提供友好的用户界面供用户查看任务的当前运行情况和历史运行情况，从而用户可以及时掌握请求的任务的运行情况。通过对多个任务机的监控，数据管理中心510对于超过预期时间的调度或者异常的任务执行进行及时的报警。如果任务机从文件存储中心获得更新的数据失败，例如根据上一级任务机的资源描述符号KEY和版本号version在表1中查找不到数据信息，或者任务机与数据管理中心510之间出现通讯故障则由任务机向数据管理中心发出报警信号。数据管理中心510在收到报警信号后，检查自身设备的工作状况以及检查表1是否正确以便及时排除故障。

根据本发明实施例的基于资源描述符号的数据配送系统，可以实现对跨多机器间的数据的从产生、识别、存储、版本管理和传输的管理。利用与任务机对应的资源描述符号及版本号查找该任务机完成任务后更新数据的地址，由此更新数据的存储地址与对应的资源描述符号的版本号是一一对应的，具有确定性，并且不需要知道更新的数据在物理存储设备上的具体信息。进而，下一级任务机可以准确且高效的获得更新数据的存储地址，提高了任务机执行任务的效率。此外，本发明实施例提供的基于资源描述符号的数据配送方法还可以实现对大规模机器上的任务产生数据进行集中管理、容量及流量的统计、关系维护、传输情况的监控。从而在较少的人力投入下，无需做改动或调整即能支持1(数据管理中心)对N(多个任务机)方式的数据配送全流程问题。

下面参考图6描述根据本发明实施例的任务机600，其中任务机600具有唯一的资源描述符号，且每个资源描述符号具有版本号。资源描述符号与任务机600对应，资源描述符号的版本号与任务机600执行任务所对应的数据的信息对应。在本发明的一个实施例中，任务机600执行任务所对应的数据的信息包括数据的存储地址、数据的大小和数据的服务周期。其中，数据的服务周期是指该数据可以供任务机调用的寿命。

任务机600是由数据管理中心根据用户提交的任务请教进行分配的以完成用户请求的任务。当到达任务机600的启动时间点且数据管理中心检测到任务机600的上一级任务机对应的资源描述符号的版本号发生更新时，向任务机600发送启动指令。其中，每个任务机的启动时间点由预设的配置计划设置。数据管理中心检测到任务机600的上一级任务机对应的资源描述符号的版本号发生更新，表示上一级任务机执行完成任务并产生更新的数据。任务机600在接收到启动指令后，开始执行任务。

如图6所示，本发明实施例提供的任务机600包括接收模块610、执行模块620和发送模块630。

当到达任务机600的启动时间点且任务机600的上一级任务机对应的资源描述符号的版本号发生更新时，接收模块610接收来自数据管理中心的启动指令和与任务机600的上一级任务机对应的资源描述符号KEY和资源描述符号的版本号version。

执行模块620根据接收到的资源描述符号KEY和资源描述符号的版本号version从数据管理中心中查找上一级任务机的更新数据的存储地址，并利用该存储地址从文件存储中心下载上一级任务机的更新的数据以执行对应的任务。当执行模块620执行完毕任务后，产生更新的数据。

发送模块630将更新的数据发送至文件存储中心，然后获取更新的数据的存储地址，并将上述更新的数据的存储地址发送至数据管理中心，从而便于任务机600的下一级任务机在执行任务时查找使用。

如图7所示，在本发明的一个实施例中，本发明实施例的任务机600包括报警模块640，用于在发送模块630检测到执行模块620正在执行任务或者在执行模块620从文件存储中心获得更新的数据失败后，向数据管理中心发送报警信号。举例而言，如果执行模块620从文件存储中心获得更新的数据失败，例如根据上一级任务机的资源描述符号KEY和版本号version在表1中查找不到数据信息，或者任务机600与数据管理中心之间出现通讯故障则由报警模块640向数据管理中心发出报警信号。数据管理中心在收到报警信号后，检查自身设备的工作状况以及检查表1是否正确，从而可以及时排除故障。

根据本发明实施例的任务机，任务机与资源描述符号相对应，任务机完成任务后产生的更新数据的存储地址与对应的资源描述符号的版本号是一一对应。由此任务机在执行任务时，通过调用上一级任务机对应的资源描述符号的版本号即可获得上一级任务机更新的数据的地址，提高了任务机执行任务的效率。并且，利用资源描述符号和版本号查找更新数据的存储地址，准确性更高，不需要知道更新的数据在物理存储设备上的具体信息。此外，本发明实施例提供的任务机还具有报警功能，在从文件存储中心获得更新的数据失败后，可以向数据管理中心发生报警信号，以便于数据管理中心及时检查并排除故障。

本发明的实施例还提出了一种数据管理中心。下面参考图8和图9描述根据本发明实施例的数据管理中心。如图8所示，数据管理中心通常包括数据管理和任务调度两个功能。

数据管理：在接收到由用户提交的任务请求后，检测到外边数据源中的数据发生更新，则相应的更新与产生该数据的任务机对应的资源描述符号的版本号，同时产生该数据的任务机将更新的数据发送至文件存储中心，同时获取更新的数据的信息。

任务调度：当数据管理中心检测到任务机的资源描述符号的版本号发生更新并且该任务机的下一级任务机到达启动时间点时，向该任务机的下一级任务机发送启动指令、该任务机对应的资源描述符号和更新后的版本号，开始配送过程。下一级任务机根据更新后的版本号查收对应的上一级任务机更新的数据的存储地址，并根据该存储地址下载更新的数据以完成配送过程。

如图9所示，本发明实施例的数据管理中心900包括请求接收模块910、控制模块920、存储模块930、指令发送模块940和更新模块950。

请求接收模块910接收来自用户的任务请求。在用户发送的任务请求中，记录了用户请求执行的任务。

控制模块920与请求接收模块910相连，根据请求接收模块910接收到的任务请求为与任务请求对应的任务分配多个任务机，并控制分配的任务机执行用户请求的任务。其中，每个任务机具有对应的资源描述符号KEY，且每个资源描述符号具有版本号version。多个任务机中的每个任务机具有对应的资源描述符号KEY，其中，资源描述符号KEY与任务机一一对应，资源描述符号的版本号version与任务机执行的任务所对应的数据的信息一一对应。换言之，某个任务机执行任务所需要的数据的信息可以通过对应的资源描述符号KEY和版本号version查找获得。

存储模块930用于存储每个任务机的资源描述符号、版本号和每个任务机对应的数据的信息。在本发明的一个实施例中，每个任务机执行任务所对应的数据的信息包括数据的存储地址、数据的大小和数据的服务周期。其中，数据的服务周期是指该数据可以供任务机调用的寿命。

具体地，存储模块930存储有资源描述符号-版本号-数据信息表格，如表1所示。

表1

从表1中可以看出，一个资源描述符号KEY和一个版本号version可以限定一个任务机执行完一次任务后产生的数据的信息。即，资源描述符号KEY与任务机对应，版本号version与任务机执行任务所对应的数据的信息对应。

如图10所示，本发明实施例提供的数据管理中心900还包括清理模块960，用于对资源描述符号的版本号version进行定时或定量的清理。其中，清理模块960与存储模块930相连。

在本发明的一个实施例中，清理模块960可以采用定时清理的方法对资源描述符号的版本号version进行清理。具体地，清理模块960设置预设清理周期，并按照预设清理周期定时地清理资源描述符号的版本号。例如，清理模块960定时清理服务周期超过预设的服务周期上限值的版本号以及与该版本号对应的数据信息。

在本发明的另一个实施例中，清理模块960可以采用定量清理的方法对资源描述符号的版本号version进行清理。具体地，清理模块960设置预设清理数量，并根据预设清理数量定量地清理资源描述符号的版本号。例如，清理模块960定量地清理服务周期超过预设的服务周期上限值的版本号以及与该版本号对应的数据信息。

清理模块960通过采用上述两种清理方式，可以节省存储模块930的存储空间，提高任务机根据KEY和version查找数据信息的效率。

指令发送模块940分别与控制模块920和存储模块930相连，用于向分配的多个任务机中的一个或多个任务机发送启动指令以及与该一个或对多个任务机对应的资源描述符号KEY和对应的资源描述符号的版本号version。一个或多个任务机根据接收到的资源描述符号KEY和对应的资源描述符号的版本号version从文件存储中心下载对应的数据以执行对应的任务。

可以理解的是，用户请求的任务可以需要多个任务机作为起始任务机，则指令发送模块940需要向多个任务机发送启动指令。例如，控制模块920为任务分配5个任务机。在开始执行该任务时需要5个任务机中的3个作为起始任务机首先启动，则指令发送模块940首先向上述3个任务机发送启动指令以启动该任务。

在一个或多个任务机完成任务之后将产生的更新的数据发送至文件存储中心，然后获取更新的数据的信息，再将上述更新的数据的信息发送给存储模块930。然后，更新模块950更新存储模块930中的一个或多个任务机对应的资源描述符号的版本号。在本发明的一个实施例中，更新模块950更新版本号是将资源描述符号KEY的当前版本号加1位。例如，如果资源描述符号KEY的当前版本号为1.0，则更新后的版本号为2.0。更新后的版本号任务机完成任务后更新的数据的信息相对应。更新的数据的信息包括更新的数据的地址、数据的大小和数据服务周期。

指令发送模块940根据任务请求查找一个或多个任务机中部分任务机的下一级任务机。然后由控制模块920检测当前时间是否到达下一级任务机的启动时间点。其中，每个任务机的启动时间点由预设的配置计划设置。

当控制模块920检测到当前时间到达下一级任务机的启动时间点后，根据用户发送的任务请求向对应的下一级任务机发送启动指令和对应的一个或多个上一级任务机的资源描述符号KEY和版本号version。

需要说明的是，只有同时满足上一级任务机的数据发生更新和到达启动时间点两个条件时，控制模块920才向对应的下一级任务机发送启动指令。

下一级任务机根据获得的一个或多个上一级任务机的资源描述符号KEY和版本号version，在存储模块930中查找上一级任务机更新的数据的存储地址，即根据上一级任务机的资源描述符号KEY和版本号version查找存储模块930中的表1，从存储模块930中读取对应的数据的存储地址。然后利用读取得到的对应数据的存储地址从文件存储中心获取上一级任务机更新的数据以执行本次任务。

在本发明的一个实施例中，数据管理中心900还包括监控模块，用于对数据管理中心900中的各个功能模块及多个任务机的工况进行监控。其中，监控模块提供友好的用户界面供用户查看任务的当前运行情况和历史运行情况，从而用户可以及时掌握请求的任务的运行情况。监控模块通过对多个任务机的监控，可以对超过预期时间的调度或者异常的任务执行进行及时的报警。如果任务机从文件存储中心获得更新的数据失败，例如根据上一级任务机的资源描述符号KEY和版本号version在表1中查找不到数据信息，或者任务机与数据管理中心之间出现通讯故障则由任务机向数据管理中心发出报警信号。数据管理中心在收到报警信号后，检查自身设备的工作状况以及检查表1是否正确，从而可以及时排除故障。

根据本发明是实施例的数据管理中心，可以根据用户发出的任务请求对多个任务机进行控制，并对任务机执行完成任务后更新的数据的信息进行维护和更新，从而便于任务机可以准确且高效的获得上一级任务机的更新数据的存储地址。此外，数据管理中心可以对大规模机器上的任务产生数据进行集中管理、容量及流量的统计、关系维护、传输情况的监控，从而在较少的人力投入下，无需做改动或调整即能支持1(数据管理中心)对N(多个任务机)方式的数据配送全流程问题。数据管理中心可以向用户提供友好的界面，以便用户及时掌握多个任务机当前及历史的运行情况。并且，数据管理中心提供的友好的界面，便于用户群中添加下游任务机，操作简便。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (25)

1.一种基于资源描述符号的数据配送方法，其特征在于，包括如下步骤：

任务机接收数据管理中心发送的启动指令、及所述任务机的一个或多个上一级任务机对应的资源描述符号和版本号，其中，每个任务机具有对应的资源描述符号，且每个所述资源描述符号具有版本号；

所述任务机根据所述资源描述符号和对应的版本号从文件存储中心获得对应的数据，并产生更新的数据；

所述任务机在完成任务之后将所述更新的数据发送至所述文件存储中心，同时所述数据管理中心更新所述任务机对应的资源描述符号的版本号；和

所述数据管理中心向所述任务机的下一级任务机发送启动指令及所述任务机对应的资源描述符号和更新后的版本号以控制所述任务机的下一级任务机执行相应的任务。

2.如权利要求1所述的基于资源描述符号的数据配送方法，其特征在于，还包括如下步骤：

所述数据管理中心接收用户的任务请求，并根据所述任务请求为所述任务请求对应的任务分配多个任务机；

所述数据管理中心根据所述任务请求向所述多个任务机中的一个或多个任务机发送启动指令。

3.如权利要求1所述的基于资源描述符号的数据配送方法，其特征在于，所述资源描述符号与任务机对应，所述资源描述符号的版本号与所述任务机执行任务所对应的数据的信息对应。

4.如权利要求3所述的基于资源描述符号的数据配送方法，其特征在于，所述每个任务机执行任务对应的数据的信息包括数据的存储地址、数据的大小和数据的服务周期。

5.如权利要求1所述的基于资源描述符号的数据配送方法，其特征在于，在所述任务机在完成任务之后将更新的数据发送至所述文件存储中心之后，还包括：

将所述更新的数据的信息发送至所述数据管理中心以使所述数据管理中心更新所述任务机对应的资源描述符号的版本号。

6.如权利要求2所述的基于资源描述符号的数据配送方法，其特征在于，当对所述任务机对应的资源描述符号的版本号更新后且检测到所述任务机的下一级任务机到达启动时间点时，所述数据管理中心根据所述任务请求向所述任务机的下一级任务机发送启动指令、和所述任务机对应的资源描述符号和更新后的版本号。

7.如权利要求6所述的基于资源描述符号的数据配送方法，其特征在于，所述下一级任务机根据所述资源描述符号查找所述更新的数据的存储地址，并通过所述更新的数据的存储地址从所述文件存储中心获取所述更新的数据。

8.如权利要求1-7中任一项所述的基于资源描述符号的数据配送方法，其特征在于，还包括：

所述数据管理中心根据预设清理周期对所述资源描述符号的服务周期超过服务周期上限值的版本号进行清理；

或者，所述数据管理中心根据预设清理数量对所述资源描述符号的服务周期超过所述服务周期上限值的版本号进行清理。

9.如权利要求1-8中任一项所述的基于资源描述符号的数据配送方法，其特征在于，还包括：

如果所述任务机从所述文件存储中心获得对应的数据失败，则向所述数据管理中心发出报警信号。

10.一种基于资源描述符号的数据配送系统，其特征在于，包括多个任务机、与所述多个任务机相连的数据管理中心和文件存储中心，其中，

所述多个任务机，其中，每个任务机具有对应的资源描述符号，且每个所述资源描述符号具有版本号，所述多个任务机用于在所述数据管理中心的控制下执行任务；

所述数据管理中心，用于控制所述多个任务机中的一个或多个任务机启动以执行相应的任务，并在所述一个或多个任务机完成任务之后更新所述一个或多个任务机对应的资源描述符号的版本号，和向所述一个或多个任务机的下一级任务机发送启动指令及对应的资源描述符号；

文件存储中心，用于存储所述一个或多个任务机完成任务之后更新的数据，其中，所述下一级任务机根据所述资源描述符号及版本号从所述文件存储中心获得所述更新的数据。

11.如权利要求10所述的基于资源描述符号的数据配送系统，其特征在于，所述数据管理中心还用于接收用户的任务请求，并根据所述任务请求为所述任务请求对应的任务分配多个任务机，以及根据所述任务请求向所述多个任务机中的一个或多个任务机发送启动指令。

12.如权利要求10所述的基于资源描述符号的数据配送系统，其特征在于，所述资源描述符号与任务机对应，所述资源描述符号的版本号与所述任务机执行任务所对应的数据的信息对应。

13.如权利要求10所述的基于资源描述符号的数据配送系统，其特征在于，所述任务机还用于将任务完成之后更新的数据发送至所述文件存储中心，并将所述更新的数据的信息发送至所述数据管理中心，以使所述数据管理中心更新所述任务机对应的资源描述符号的版本号。

14.如权利要求10所述的基于资源描述符号的数据配送系统，其特征在于，所述下一级任务机还用于根据所述资源描述符号查找所述更新的数据的存储地址，并通过所述更新的数据的存储地址从所述文件存储中心获取所述更新的数据。

15.如权利要求1-14中任一项所述的基于资源描述符号的数据配送系统，其特征在于，所述文件存储中心为Mola存储平台或Hadoop存储平台。

16.一种任务机，其特征在于，所述任务机具有唯一的资源描述符号，且每个所述资源描述符号具有版本号，所述任务机包括：

接收模块，用于接收来自数据管理中心的启动指令和对应的上一级任务机的资源描述符号及所述资源描述符号的版本号；

执行模块，用于根据所述资源描述符号及所述资源描述符号的版本号从文件存储中心获得所述上一级任务机更新的数据，并生成本次任务的更新数据；以及

发送模块，用于将所述本次任务的更新数据发送至所述文件存储中心，同时将所述更新数据的信息发送至数据管理中心以使所述数据管理中心更新所述任务机的资源描述符号的版本号。

17.如权利要求16所述的任务机，其特征在于，所述资源描述符号与任务机对应，所述资源描述符号的版本号与所述任务机执行任务所对应的数据的信息对应。

18.如权利要求17所述的任务机，其特征在于，所述任务机执行任务对应的数据的信息包括数据的存储地址、数据的大小和数据的服务周期。

19.如权利要求18所述的任务机，其特征在于，在将所述本次任务的更新数据发送至所述文件存储中心后，所述发送模块还用于将所述本次任务的更新数据的信息发送至所述数据管理中心。

20.如权利要求16-19中任一项所述的任务机，其特征在于，所述执行模块根据所述上一级任务机的资源描述符号查找所述上一级任务机的更新数据的地址以从所述文件存储中心获取所述上一级任务机的更新数据。

21.如权利要求16-20中任一项所述的任务机，其特征在于，还包括报警模块，用于在发送模块检测到所述执行模块正在执行任务或者在所述执行模块从所述文件存储中心获得所述更新的数据失败后，向所述数据管理中心发送报警信号。

22.一种数据管理中心，其特征在于，包括：

请求接收模块，用于接收来自用户的任务请求；

控制模块，与所述请求接收模块相连，用于根据所述任务请求为所述任务请求对应的任务分配多个任务机，以及控制所述多个任务机中的一个或多个任务机启动以执行相应的任务，其中，每个任务机具有对应的资源描述符号，且每个所述资源描述符号具有版本号；

存储模块，用于存储每个任务机的资源描述符号、资源描述符号的版本号和所述每个任务机对应的数据的信息；

更新模块，用于更新所述存储模块中的资源描述符号的版本号；

指令发送模块，分别与所述控制模块和所述存储模块相连，用于根据所述任务请求向所述一个或多个任务机中部分任务机的下一级任务机发送启动指令和与所述一个或多个任务机对应的资源描述符号及对应的版本号。

23.如权利要求21所述的数据管理中心，其特征在于，所述指令发送模块还用于检测所述一个或多个任务机的下一级任务机的启动时间点，当所述一个或多个任务机的部分任务机中的下一级任务机到达所述启动时间点且所述更新模块更新完所述一个或多个任务机对应的资源描述符号的版本号时，所述指令发送模块向所述一个或多个任务机中的部分任务机的下一级任务机发送启动指令和与所述一个或多个任务机对应的资源描述符号及对应的版本号。

24.如权利要求22所述的数据管理中心，其特征在于，还包括清理模块，用于对所述资源描述符号的版本号进行清理。

25.如权利要求24所述的数据管理中心，其特征在于，所述清理模块用于根据预设清理周期或预设清理数量对所述资源描述符号的服务周期超过服务周期上限值的版本号进行清理。

Images