CN103377075A - 管理任务的方法、装置及系统 - Google Patents
管理任务的方法、装置及系统 Download PDFInfo
- Publication number
- CN103377075A CN103377075A CN 201210133062 CN201210133062A CN103377075A CN 103377075 A CN103377075 A CN 103377075A CN 201210133062 CN201210133062 CN 201210133062 CN 201210133062 A CN201210133062 A CN 201210133062A CN 103377075 A CN103377075 A CN 103377075A
- Authority
- CN
- China
- Prior art keywords
- resource information
- task
- task scheduling
- resource
- destination server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明公开了一种管理任务的方法、装置及系统，涉及计算机技术领域，实现了对任务的管理。本发明实施例提供的管理任务的方法，包括：调度器根据所述依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器；目标服务器根据所述当前可执行的任务节点对应的资源信息从分布式存储子系统中获取资源并根据所述资源生成输出文件，将所述输出文件发送给所述分布式存储子系统，并将所述输出文件对应的输出资源信息发送给数据库；当组成所述任务计划的任务节点都执行完成，客户端可以根据所述输出资源信息从所述分布式存储子系统中下载输出文件。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及管理任务的方法、装置及系统。
背景技术
在计算机上通过任务计划实现一系列程序的有序执行，目前，任务计划多是脚本形式，程序员通过编写大量的脚本将所述一系列程序包装起来，使得计算机根据所述包装该一系列程序的脚本有序地执行所述一系列的程序。
随着数据资源、程序资源以及脚本越来越多，手工管理众多的数据资源、程序资源以及脚本必然会导致较高的成本，现亟需一种管理任务的方法。
发明内容
本发明实施例提供一种管理任务的方法、装置及系统，实现了对任务的管理。
为达到上述目的，本发明实施例采用如下技术方案：
一方面，提供管理任务的方法，包括：调度器接收客户端发送的任务计划描述，所述任务计划描述包括任务计划的输入信息、组成所述任务计划的任务节点对应的资源信息以及所述组成所述任务计划的任务节点之间的依赖关系；所述调度器根据所述依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器；所述目标服务器根据所述当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件，所述资源包括程序资源和数据资源；所述目标服务器将所述输出文件发送给所述分布式存储子系统，并将所述输出文件对应的输出资源信息通过所述调度器发送给数据库；当组成所述任务计划的任务节点都执行完成，客户端从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件。
对应于上述方法，还提供一种调度器，包括：
接收单元，用于接收客户端发送的任务计划描述，所述任务计划描述包括任务计划的输入信息、组成所述任务计划的任务节点对应的资源信息以及所述组成所述任务计划的任务节点之间的依赖关系；
调度单元，用于根据所述依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器；
传输单元，用于接收所述目标服务器发送的输出文件对应的输出资源信息，并将所述输出资源信息发送给数据库。
对应于上述方法，还提供一种管理任务的系统，包括分布式存储子系统、数据库、任务执行集群、客户端以及上述的调度器，其中
所述分布式存储子系统存储有数据资源和程序资源；
所述数据库存储有与所述数据资源对应的数据资源信息以及与所述程序资源对应的程序资源信息；
所述任务执行集群包括多个能够执行任务的服务器；所述任务执行集群中被所述调度器选取的目标服务器，用于：
根据所述当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件，将所述输出文件发送给所述分布式存储子系统，并将所述输出文件对应的输出资源信息通过所述调度器发送给数据库，所述资源包括数据资源和程序资源；
所述客户端，用于：
当组成所述任务计划的任务节点都执行完成，从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件。
本发明实施例提供的管理任务的方法、装置及系统，调度器根据依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器，使得目标服务器根据当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件，并且将所述输出文件发送给所述分布式存储子系统，将所述输出文件对应的输出资源信息通过所述调度器发送给数据库。这样，当组成所述任务计划的任务节点都执行完成，客户端从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件，实现了对大量数据资源、程序资源以及任务计划的管理，替代了现有技术的手工管理，提高了管理的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的管理任务的方法流程图一；
图2为本发明实施例一提供的管理任务的方法流程图二；
图3为本发明实施例二提供的管理任务的系统结构示意图；
图4为本发明实施例二提供的管理任务的方法流程图；
图5为本发明实施例二中任务计划图的示意图；
图6为实施例三提供的调度器的结构示意图一；
图7为实施例三提供的调度器的结构示意图二；
图8为实施例三提供的调度器的结构示意图三；
图9为实施例四提供管理任务的系统结构示意图；
图10为图9所示的管理任务的系统中客户端的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定装置结构、技术之类的具体细节，以便透切理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
本发明实施例提供一种管理任务的方法、装置及系统，实现了数据资源、程序资源以及任务计划的管理。
实施例一
如图1所示，本发明实施例提供的一种管理任务的方法，包括：
101、调度器接收客户端发送的任务计划描述。
其中，所述任务计划描述包括任务计划的输入信息、组成所述任务计划的任务节点对应的资源信息以及所述组成所述任务计划的任务节点之间的依赖关系。
在本实施例中，所述任务计划描述，可以是客户端根据原先编写的脚本生成的，也可以是客户端根据从数据库中查询得到的相应的资源信息生成的。
其中，为了便于操作，根据资源信息生成任务计划描述，可以包括：根据所述资源信息生成对应的任务节点图；获取每个任务节点图之间的依赖关系，根据所述任务节点图和每个任务节点图之间的依赖关系生成任务计划图；根据所述任务计划图生成任务描述，所述任务计划描述为所述调度器能够识别的机器语言。
102、所述调度器根据所述依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器。
103、所述目标服务器根据所述当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件；其中，所述资源包括程序资源和数据资源。
104、所述目标服务器将所述输出文件发送给所述分布式存储子系统，并将所述输出文件对应的输出资源信息通过所述调度器发送给数据库。
105、当组成所述任务计划的任务节点都执行完成，客户端从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件。
如图2所示，进一步的，为了增强任务执行的容错性，所述调度器根据所述依赖关系以及预先设置的策略从任务执行集群中选取目标服务器之后，还可以包括：
201、所述调度器实时监测所述目标服务器的工作状态。
202、若所述目标服务器返回失败信息或者在预先设置的时间内未收到所述目标服务器反馈的状态信息，所述调度器根据所述依赖关系以及预先设置的策略从任务执行集群中重新选取目标服务器；
203、重新选取的目标服务器根据所述程序资源和所述数据资源生成输出文件，并将所述输出文件发送给所述分布式存储子系统，将所述输出文件对应的输出资源信息通过所述调度器发送给数据库。
进一步的，为了实现任务计划的复用和分享，在调度器接收客户端发送的任务计划描述之后，还包括：所述调度器将所述任务计划描述以及所述任务计划描述对应的任务资源信息发送给所述数据库。这样使得客户端在下一次需要使用所述任务计划或与所述任务计划相似的任务计划时从所述数据库中查询得到相应的任务计划描述。
本发明实施例提供的管理任务的方法，调度器根据依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器，使得目标服务器根据当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件，并且将所述输出文件发送给所述分布式存储子系统，将所述输出文件对应的输出资源信息通过所述调度器发送给数据库。这样，当组成所述任务计划的任务节点都执行完成，客户端从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件，实现了对大量数据资源、程序资源以及任务计划的管理，替代了现有技术的手工管理，提高了管理的效率。
实施例二
为了使得本领域技术人员更好的理解本发明实施例提供的管理任务的方法，现对该方法进行详细的说明。
如3所示，在本实施例中，所述管理任务方法应用于管理任务系统，所述系统包括分布式存储子系统、任务执行集群、调度器、数据库、web服务器以及至少一个客户端。其中
所述分布式存储子系统中存储有数据资源和程序资源；
所述任务执行集群，包括多个能执行任务的服务器，其中，被所述调度器选取的为目标服务器；
所述数据库存储有与所述数据资源对应的数据资源信息以及与所述程序资源对应的程序资源信息。所述数据资源信息可以包括该数据资源的标识ID、该数据资源在所述分布式子系统中的路径信息以及该数据资源相应的属性描述；所述程序资源信息可以包括该程序资源的标识ID、该程序资源在所述分布式存储子系统中的路径信息以及该程序资源相应的属性描述。
具体的，如图4所示，所述管理任务的方法，可以包括：
401、所述客户端在需要进行任务计划设置的时候，客户端通过web服务器从数据库中查询得到相应的资源信息。
其中，所述资源信息包括设置任务计划需要的程序资源对应的程序资源信息以及设置任务计划需要的输入数据对应的数据资源信息。所述程序资源可以是可执行的文件或者文件集合，所述数据资源可以是程序的输入或者输出。
402、所述客户端根据所述资源信息生成对应的任务节点图。
其中，任务节点是指一个程序执行读取指定的输入，产生指定的输出。所述任务节点图，是指与任务节点对应的可视化的图形，以便于程序员等操作者的方便读取。
403、所述客户端获取每个任务节点之间的依赖关系，根据所述任务节点图和每个任务节点图之间的依赖关系生成任务计划图。
其中，任务计划是多个任务节点的集合，任务节点之间可能存在依赖关系。所述任务计划图，是指与任务计划对应的可视化的图形，以便于程序员等操作者的方便读取、操作。
在本实施例中，所述程序员或者操作者在读取了可视化的任务节点图之后，可以通过界面操作设置任务节点图之间的依赖关系，如图5所示，界面中存在4个任务节点图：节点1、节点2、节点3、节点4，程序员或者操作者可以通过箭头等具有数据流向指示的图形标注每个任务节点之间的依赖关系，如：通过箭头表示节点2依赖于节点1，节点3、4分别依赖与节点2，通过图形的表示方法，将每个节点之间的依赖关系表示清楚，操作方便且不易于出错。
404、所述客户端根据所述任务计划图生成任务描述，并通过web服务器将所述任务计划描述发送给调度器。
其中，所述任务计划描述为所述调度器能够识别的机器语言。所述任务计划描述包括任务计划的输入信息、组成所述任务计划的任务节点对应的资源信息以及所述组成所述任务计划的任务节点之间的依赖关系。
405a、所述调度器根据所述依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器。
其中，所述预先设置的策略有很多种，如选取任务执行集群中每个服务器的负载最小的服务器最为目标服务器，或者，选取执行当前任务节点效率最高的服务器作为目标服务器，此处不一一赘述。
406a、所述目标服务器根据所述当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件。
值得说明的是，当当前可执行的任务节点为最后一个节点的时候，当当前可执行节点执行完毕之后，任务计划也就执行完成了。
407a、所述目标服务器将所述输出文件发送给所述分布式存储子系统，并将所述输出文件对应的输出资源信息通过所述调度器发送给数据库。
其中，所述输出资源信息可以包括输出文件的标识ID、输出文件保存在所述分布式存储子系统中的路径信息以及输出文件的属性描述信息。
409、当组成所述任务计划的任务节点都执行完成，客户端从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件。
进一步的，为了保证任务计划执行过程中的容错性，所述方法，在步骤405a之后，还包括：
406b、所述调度器实时监测所述目标服务器的工作状态。
在本实施例中，所述目标服务器会周期性给所述调度器反馈其状态信息。
407b、若所述目标服务器返回失败信息或者在预先设置的时间内未收到所述目标服务器反馈的状态信息，所述调度器根据所述依赖关系以及预先设置的策略从任务执行集群中重新选取目标服务器。
408b、重新选取的目标服务器根据所述程序资源和所述数据资源生成输出文件，并将所述输出文件发送给所述分布式存储子系统，将所述输出文件对应的输出资源信息通过所述调度器发送给数据库。
进一步的，为了实现任务计划的复用和分享，方便程序员或操作者的二次使用，在所述步骤404之后，还包括：
405b、所述调度器将所述任务计划描述以及所述任务计划描述对应的任务资源信息发送给所述数据库。
通过步骤405b可以使得客户端在下一次需要使用所述任务计划或与所述任务计划相似的任务计划时从所述数据库中查询得到相应的任务计划描述。其中，所述任务资源信息包括所述任务计划的属性描述信息，如任务计划类型、任务计划创建时间、任务计划创建者等。
本发明实施例提供的管理任务的方法，调度器根据依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器，使得目标服务器根据当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件，并且将所述输出文件发送给所述分布式存储子系统，将所述输出文件对应的输出资源信息通过所述调度器发送给数据库。这样，当组成所述任务计划的任务节点都执行完成，客户端从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件，实现了对大量数据资源、程序资源以及任务计划的管理，替代了现有技术的手工管理，提高了管理的效率。
实施例三
如图6所示，本发明实施例提供的一种调度器，包括：
接收单元61，用于接收客户端发送的任务计划描述，所述任务计划描述包括任务计划的输入信息、组成所述任务计划的任务节点对应的资源信息以及所述组成所述任务计划的任务节点之间的依赖关系；其具体实现步骤与图1所示的步骤101相同，此处不再赘述。
调度单元62，用于根据所述依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器；其具体实现步骤与图1所示的步骤102相同，此处不再赘述。
传输单元63，用于接收所述目标服务器发送的输出文件对应的输出资源信息，并将所述输出资源信息发送给数据库。其具体实现步骤与图1所示的步骤104相同，此处不再赘述。
进一步的，如图7所示，所述调度器，还包括：
监测单元71，用于实时监测所述目标服务器的工作状态；其具体实现步骤与图4所示的步骤406b相同，此处不再赘述。
所述调度单元62，还用于若所述监测单元监测到目标服务器返回失败信息或者监测单元在在预先设置的时间内未收到所述目标服务器反馈的状态信息，根据所述依赖关系以及预先设置的策略从任务执行集群中重新选取目标服务器；其具体实现步骤与图4所示的步骤407b相同，此处不再赘述。
所述传输单元63，还用于接收所述重新选择的目标服务器发送的传输文件对应的输出资源信息，并将所述传输资源信息发送给所述数据库。其具体实现步骤与图4所示的步骤408b相同，此处不再赘述。
进一步的，如图8所示，所述调度器，还包括：
发送单元81，用于将所述任务计划描述以及所述任务计划描述对应的任务资源信息发送给所述数据库。其具体实现步骤与图4所示的步骤405b相同，此处不再赘述。
本发明实施例提供的调度器，根据依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器，使得目标服务器根据当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件，并且将所述输出文件发送给所述分布式存储子系统，将所述输出文件对应的输出资源信息通过所述调度器发送给数据库。这样，当组成所述任务计划的任务节点都执行完成，客户端从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件，实现了对大量数据资源、程序资源以及任务计划的管理，替代了现有技术的手工管理，提高了管理的效率。
实施例四
如图9所示，本发明实施例提供的一种管理任务的系统，包括分布式存储子系统91、数据库92、任务执行集群93、客户端94以及实施例三所述的调度器95，其中
所述分布式存储子系统91存储有数据资源和程序资源；
所述数据库92存储有与所述数据资源对应的数据资源信息以及与所述程序资源对应的程序资源信息；
所述任务执行集群93包括多个能够执行任务的服务器；所述任务执行集群93中被所述调度器选取的目标服务器，用于：
根据所述当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件，将所述输出文件发送给所述分布式存储子系统，并将所述输出文件对应的输出资源信息通过所述调度器发送给数据库，所述资源包括数据资源和程序资源；
所述客户端94，用于：
当组成所述任务计划的任务节点都执行完成，从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件。
在本实施例中，如图10所示，所述客户端，包括：
第一生成单元941，用于根据所述资源信息生成对应的任务节点图；其具体实现步骤与图2所示的步骤201相同，此处不再赘述。
第二生成单元942，用于获取每个任务节点图之间的依赖关系，根据所述任务节点图和每个任务节点图之间的依赖关系生成任务计划图；其具体实现步骤与图2所示的步骤202相同，此处不再赘述。
第三生成单元943，用于根据所述任务计划图生成任务描述，所述任务计划描述为所述调度器能够识别的机器语言。其具体实现步骤与图2所示的步骤203相同，此处不再赘述。
本发明实施例提供的管理任务的系统，其中调度器根据依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器，使得目标服务器根据当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件，并且将所述输出文件发送给所述分布式存储子系统，将所述输出文件对应的输出资源信息通过所述调度器发送给数据库。这样，当组成所述任务计划的任务节点都执行完成，客户端从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件，实现了对大量数据资源、程序资源以及任务计划的管理，替代了现有技术的手工管理，提高了管理的效率。
本发明实施例提供的管理任务的方法、装置及系统可以应用在任务计划的执行、管理中。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员可以意识到，结合本文中所公开的实施例中描述的各方法步骤和单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的原理和范围。
Claims (11)
1.一种管理任务的方法，其特征在于，包括：
调度器接收客户端发送的任务计划描述，所述任务计划描述包括任务计划的输入信息、组成所述任务计划的任务节点对应的资源信息以及所述组成所述任务计划的任务节点之间的依赖关系；
所述调度器根据所述依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器；
所述目标服务器根据所述当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件，所述资源包括程序资源和数据资源；
所述目标服务器将所述输出文件发送给所述分布式存储子系统，并将所述输出文件对应的输出资源信息通过所述调度器发送给数据库；
当组成所述任务计划的任务节点都执行完成，客户端从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件。
2.根据权利要求1所述的方法，其特征在于，在所述调度器接收客户端发送的任务计划描述之前，还包括：
客户端从数据库中查询得到相应的资源信息，根据所述资源信息生成任务计划描述，所述相应的资源信息包括任务计划需要有序执行的程序对应的程序资源信息和以及所述程序需要输入的数据对应的数据资源信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述资源信息生成任务计划描述，包括：
根据所述资源信息生成对应的任务节点图；
获取每个任务节点图之间的依赖关系，根据所述任务节点图和每个任务节点图之间的依赖关系生成任务计划图；
根据所述任务计划图生成任务描述，所述任务计划描述为所述调度器能够识别的机器语言。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述调度器根据所述依赖关系以及预先设置的策略从任务执行集群中选取目标服务器之后，还包括：
所述调度器实时监测所述目标服务器的工作状态；
若所述目标服务器返回失败信息或者在预先设置的时间内未收到所述目标服务器反馈的状态信息，所述调度器根据所述依赖关系以及预先设置的策略从任务执行集群中重新选取目标服务器；
重新选取的目标服务器根据所述程序资源和所述数据资源生成输出文件，并将所述输出文件发送给所述分布式存储子系统，将所述输出文件对应的输出资源信息通过所述调度器发送给数据库。
5.根据权利要求1-3任一项所述的方法，其特征在于，在调度器接收客户端发送的任务计划描述之后，还包括：
所述调度器将所述任务计划描述以及所述任务计划描述对应的任务资源信息发送给所述数据库，以使得客户端在下一次需要使用所述任务计划或与所述任务计划相似的任务计划时从所述数据库中查询得到相应的任务计划描述。
6.一种调度器，其特征在于，包括：
接收单元，用于接收客户端发送的任务计划描述，所述任务计划描述包括任务计划的输入信息、组成所述任务计划的任务节点对应的资源信息以及所述组成所述任务计划的任务节点之间的依赖关系；
调度单元，用于根据所述依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器；
传输单元，用于接收所述目标服务器发送的输出文件对应的输出资源信息，并将所述输出资源信息发送给数据库。
7.根据权利要求6所述的调度器，其特征在于，还包括：
监测单元，用于实时监测所述目标服务器的工作状态；
所述调度单元，还用于若所述监测单元监测到目标服务器返回失败信息或者监测单元在在预先设置的时间内未收到所述目标服务器反馈的状态信息，根据所述依赖关系以及预先设置的策略从任务执行集群中重新选取目标服务器；
所述传输单元，还用于接收所述重新选择的目标服务器发送的传输文件对应的输出资源信息，并将所述传输资源信息发送给所述数据库。
8.根据权利要求6或7所述的调度器，其特征在于，还包括：
发送单元，用于将所述任务计划描述以及所述任务计划描述对应的任务资源信息发送给所述数据库。
9.一种管理任务的系统，其特征在于，包括分布式存储子系统、数据库、任务执行集群、客户端以及权利要求6-8任一项所述的调度器，其中
所述分布式存储子系统存储有数据资源和程序资源；
所述数据库存储有与所述数据资源对应的数据资源信息以及与所述程序资源对应的程序资源信息；
所述任务执行集群包括多个能够执行任务的服务器；所述任务执行集群中被所述调度器选取的目标服务器，用于：
根据所述当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件，将所述输出文件发送给所述分布式存储子系统，并将所述输出文件对应的输出资源信息通过所述调度器发送给数据库，所述资源包括数据资源和程序资源；
所述客户端，用于：
当组成所述任务计划的任务节点都执行完成，从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件。
10.根据权利要求9所述的系统，其特征在于，
所述客户端，还用于从数据库中查询得到相应的资源信息，根据所述资源信息生成任务计划描述，所述相应的资源信息包括任务计划需要有序执行的程序对应的程序资源信息和以及所述程序需要输入的数据对应的数据资源信息。
11.根据权利要求10所述的系统，其特征在于，所述客户端，包括：
第一生成单元，用于根据所述资源信息生成对应的任务节点图；
第二生成单元，用于获取每个任务节点图之间的依赖关系，根据所述任务节点图和每个任务节点图之间的依赖关系生成任务计划图；
第三生成单元，用于根据所述任务计划图生成任务描述，所述任务计划描述为所述调度器能够识别的机器语言。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201210133062 CN103377075A (zh) | 2012-04-28 | 2012-04-28 | 管理任务的方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201210133062 CN103377075A (zh) | 2012-04-28 | 2012-04-28 | 管理任务的方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103377075A true CN103377075A (zh) | 2013-10-30 |
Family
ID=49462236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201210133062 Pending CN103377075A (zh) | 2012-04-28 | 2012-04-28 | 管理任务的方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103377075A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104520815A (zh) * | 2014-03-17 | 2015-04-15 | 华为技术有限公司 | 一种任务调度的方法、装置及设备 |
| CN104793994A (zh) * | 2015-04-27 | 2015-07-22 | 中国农业银行股份有限公司 | 批量作业处理方法、装置及系统 |
| CN104965754A (zh) * | 2015-03-31 | 2015-10-07 | 腾讯科技（深圳）有限公司 | 任务调度方法及任务调度装置 |
| CN105279020A (zh) * | 2014-07-03 | 2016-01-27 | 北京联嘉众赢网络技术有限公司 | 一种任务调度方法及系统 |
| CN105573824A (zh) * | 2014-10-10 | 2016-05-11 | 腾讯科技（深圳）有限公司 | 分布式计算系统的监控方法及系统 |
| CN106156198A (zh) * | 2015-04-22 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 基于分布式数据库的任务执行方法及装置 |
| CN106168910A (zh) * | 2015-11-16 | 2016-11-30 | 华扬联众数字技术股份有限公司 | 程序调度和执行的方法、系统以及调度器和执行器 |
| CN107038066A (zh) * | 2017-05-09 | 2017-08-11 | 吉林大学 | 一种基于Web的作业计算系统 |
| WO2017162086A1 (zh) * | 2016-03-25 | 2017-09-28 | 阿里巴巴集团控股有限公司 | 任务调度方法和装置 |
| CN108510081A (zh) * | 2018-03-23 | 2018-09-07 | 北京京东尚科信息技术有限公司 | 机器学习方法和平台 |
| CN108776604A (zh) * | 2018-05-23 | 2018-11-09 | 网易（杭州）网络有限公司 | 目标任务的执行方法及系统 |
| CN108805723A (zh) * | 2018-05-24 | 2018-11-13 | 中国平安人寿保险股份有限公司 | 基于赔付率系统的数据生成方法、设备、存储介质及装置 |
| CN109376137A (zh) * | 2018-12-17 | 2019-02-22 | 中国人民解放军战略支援部队信息工程大学 | 一种文件处理方法及装置 |
| CN111444237A (zh) * | 2020-03-24 | 2020-07-24 | 维沃移动通信有限公司 | 服务器系统、数据传输方法及电子设备 |
| CN111479117A (zh) * | 2020-04-03 | 2020-07-31 | 湖南快乐阳光互动娱乐传媒有限公司 | 直播信源输出方法及装置 |
| CN113434283A (zh) * | 2021-08-26 | 2021-09-24 | 广州三七互娱科技有限公司 | 服务调度方法及装置、服务器、计算机可读存储介质 |
| CN113641469A (zh) * | 2021-07-05 | 2021-11-12 | 广州工程技术职业学院 | 一种组件抽象的分布式系统、实现方法、设备及介质 |
-
2012
- 2012-04-28 CN CN 201210133062 patent/CN103377075A/zh active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10216542B2 (en) | 2014-03-17 | 2019-02-26 | Huawei Technologies Co., Ltd. | Resource comparison based task scheduling method, apparatus, and device |
| CN104520815A (zh) * | 2014-03-17 | 2015-04-15 | 华为技术有限公司 | 一种任务调度的方法、装置及设备 |
| CN105279020A (zh) * | 2014-07-03 | 2016-01-27 | 北京联嘉众赢网络技术有限公司 | 一种任务调度方法及系统 |
| CN105573824A (zh) * | 2014-10-10 | 2016-05-11 | 腾讯科技（深圳）有限公司 | 分布式计算系统的监控方法及系统 |
| CN105573824B (zh) * | 2014-10-10 | 2020-04-03 | 腾讯科技（深圳）有限公司 | 分布式计算系统的监控方法及系统 |
| CN104965754A (zh) * | 2015-03-31 | 2015-10-07 | 腾讯科技（深圳）有限公司 | 任务调度方法及任务调度装置 |
| CN106156198A (zh) * | 2015-04-22 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 基于分布式数据库的任务执行方法及装置 |
| CN106156198B (zh) * | 2015-04-22 | 2019-12-27 | 阿里巴巴集团控股有限公司 | 基于分布式数据库的任务执行方法及装置 |
| CN104793994A (zh) * | 2015-04-27 | 2015-07-22 | 中国农业银行股份有限公司 | 批量作业处理方法、装置及系统 |
| CN106168910B (zh) * | 2015-11-16 | 2019-11-08 | 华扬联众数字技术股份有限公司 | 程序调度和执行的方法、系统以及调度器和执行器 |
| CN106168910A (zh) * | 2015-11-16 | 2016-11-30 | 华扬联众数字技术股份有限公司 | 程序调度和执行的方法、系统以及调度器和执行器 |
| US10922133B2 (en) | 2016-03-25 | 2021-02-16 | Alibaba Group Holding Limited | Method and apparatus for task scheduling |
| WO2017162086A1 (zh) * | 2016-03-25 | 2017-09-28 | 阿里巴巴集团控股有限公司 | 任务调度方法和装置 |
| TWI738721B (zh) * | 2016-03-25 | 2021-09-11 | 香港商阿里巴巴集團服務有限公司 | 任務調度方法和裝置 |
| CN107038066A (zh) * | 2017-05-09 | 2017-08-11 | 吉林大学 | 一种基于Web的作业计算系统 |
| CN108510081A (zh) * | 2018-03-23 | 2018-09-07 | 北京京东尚科信息技术有限公司 | 机器学习方法和平台 |
| CN108776604A (zh) * | 2018-05-23 | 2018-11-09 | 网易（杭州）网络有限公司 | 目标任务的执行方法及系统 |
| CN108805723A (zh) * | 2018-05-24 | 2018-11-13 | 中国平安人寿保险股份有限公司 | 基于赔付率系统的数据生成方法、设备、存储介质及装置 |
| CN109376137A (zh) * | 2018-12-17 | 2019-02-22 | 中国人民解放军战略支援部队信息工程大学 | 一种文件处理方法及装置 |
| CN111444237A (zh) * | 2020-03-24 | 2020-07-24 | 维沃移动通信有限公司 | 服务器系统、数据传输方法及电子设备 |
| CN111479117A (zh) * | 2020-04-03 | 2020-07-31 | 湖南快乐阳光互动娱乐传媒有限公司 | 直播信源输出方法及装置 |
| CN111479117B (zh) * | 2020-04-03 | 2022-01-28 | 湖南快乐阳光互动娱乐传媒有限公司 | 直播信源输出方法及装置 |
| CN113641469A (zh) * | 2021-07-05 | 2021-11-12 | 广州工程技术职业学院 | 一种组件抽象的分布式系统、实现方法、设备及介质 |
| CN113434283A (zh) * | 2021-08-26 | 2021-09-24 | 广州三七互娱科技有限公司 | 服务调度方法及装置、服务器、计算机可读存储介质 |
| CN113434283B (zh) * | 2021-08-26 | 2021-11-26 | 广州三七互娱科技有限公司 | 服务调度方法及装置、服务器、计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103377075A (zh) | 管理任务的方法、装置及系统 | |
| Amoretti et al. | DEUS: a discrete event universal simulator | |
| CN102763086A (zh) | 分布式计算任务处理系统和任务处理方法 | |
| CN105100259A (zh) | 一种分布式定时任务执行方法和系统 | |
| CN104239148A (zh) | 一种分布式任务调度方法及装置 | |
| CN104965748A (zh) | 编译平台、编译方法及装置 | |
| CN104967619A (zh) | 文件推送方法、装置和系统 | |
| CN102279730A (zh) | 一种并行的数据处理方法、装置和并行的数据处理系统 | |
| CN103237037A (zh) | 基于云计算架构的媒体格式转换方法和系统 | |
| CN103377087A (zh) | 一种数据任务处理方法、装置及系统 | |
| CN104461747A (zh) | 一种分布式任务调度系统 | |
| CN104468174A (zh) | 一种集群服务器执行任务的方法和装置 | |
| CN113220431B (zh) | 跨云的分布式数据任务调度方法、设备及存储介质 | |
| CN109254854A (zh) | 异步调用方法、计算机装置及存储介质 | |
| CN102737016B (zh) | 基于并行处理的信息文件生成系统及方法 | |
| Mikida et al. | Towards pdes in a message-driven paradigm: A preliminary case study using charm++ | |
| CN108595480B (zh) | 一种基于云计算的大数据etl工具系统及应用方法 | |
| US9893936B2 (en) | Dynamic management of restful endpoints | |
| Celaya et al. | A task routing approach to large-scale scheduling | |
| CN105897500A (zh) | 图片处理方法及装置 | |
| CN111552494B (zh) | 一种容器组的管理方法、设备、系统及介质 | |
| CN105989151B (zh) | 网页抓取方法及装置 | |
| CN106101710A (zh) | 一种分布式视频转码方法及装置 | |
| Li et al. | A fast big data collection system using MapReduce framework | |
| CN110602253B (zh) | 一种任务调度方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| ASS | Succession or assignment of patent right |
Owner name: SHENZHEN SHIJI LIGHT SPEED INFORMATION TECHNOLOGY Free format text: FORMER OWNER: TENGXUN SCI-TECH (SHENZHEN) CO., LTD. Effective date: 20131024 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 518000 SHENZHEN, GUANGDONG PROVINCE TO: 518057 SHENZHEN, GUANGDONG PROVINCE |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20131024 Address after: A Tencent Building in Shenzhen Nanshan District City, Guangdong streets in Guangdong province science and technology 518057 16 Applicant after: Shenzhen Shiji Guangsu Information Technology Co., Ltd. Address before: 518000 Guangdong city of Shenzhen province Futian District SEG Science Park 2 East Room 403 Applicant before: Tencent Technology (Shenzhen) Co., Ltd. |
|
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20131030 |