CN103257901A - 计算任务的分配方法、云计算平台、终端及系统 - Google Patents

Abstract

本发明公开了一种计算任务的分配方法、云计算平台、终端及系统。方法包括：接收终端发送的待计算任务以及待计算任务的目录名，其中，目录名根据待计算任务的任务标识预生成；在至少一个计算节点中的每个计算节点上创建一个任务目录，并将每个任务目录命名为目录名，其中，每个任务目录下配置有待计算任务的部分子任务；触发待计算任务后，在计算节点上调用所有命名为目录名的任务目录，并执行其下配置的子任务。可见，本发明保证了当待计算任务不同时，终端能够配合云计算平台为每个不同任务分别创建目录名称不相同的目录，避免了任务计算结果的混淆。同时，由于云计算平台能够自动生成任务目录，避免了用户手动创建目录的操作，方便用户操作。

Description

计算任务的分配方法、云计算平台、终端及系统

技术领域

本发明涉及互联网领域，具体涉及一种计算任务的分配方法、云计算平台、终端及系统。

背景技术

目前，云计算集群存在多种搭建模式，如MapReduce云计算集群、Storm云计算集群及基于Torque的云计算集群等。其中，基于Torque的云计算集群是使用Torque作为集群的资源管理器，并由Torque负责任务调度的云计算集群。Torque具有简化作业提交，实现跨多个平台集群分布工作负载等优点。

在基于Torque的云计算平台中，Torque负责接收任务请求，并管理云计算平台中每台机器（每个机器称为一个计算节点）的资源。用户在向该平台提交一个计算任务时，需要设置一台任务提交机器，任务提交机器可以由该平台提供，也可以为安装了云计算平台的客户端。

现有技术中，基于Torque的云计算平台任务计算的方法如下：

步骤1，由用户在任务提交机器上手动创建一个目录作为计算时的工作目录。

步骤2，由用户在云计算平台的每个计算节点上分别手动创建一个目录，其中，该目录与步骤1中创建的目录名称相同，且该目录在每个计算节点上的路径须与步骤1中创建的目录的路径一致。

步骤3，用户在任务提交机器的上述创建的工作目录中向云计算平台提交待计算任务。

步骤4，云计算平台在步骤2中创建的目录下对待计算任务进行计算。在该任务计算结束后，由用户手动删除步骤1和步骤2中每个计算节点上创建的同名目录，以释放资源。

发明人发现，现有技术的方法存在以下不足：

首先，当用户在同一个目录下多次提交任务时，会造成任务冲突，从而导致任务的计算结果不可知，其次，在进行任务计算时，需要用户手动创建目录，给用户的操作带来不便。

发明内容

鉴于上述问题，本发明提供一种计算任务的分配方法、云计算平台、终端及系统，以便克服上述当用户在同一个目录下多次提交任务时，造成任务冲突，导致任务的计算结果不可知的问题或者至少部分地解决上述问题。

依据本发明的一个方面，提供了一种计算任务的分配方法，包括：

接收终端发送的待计算任务以及待计算任务的目录名，其中，目录名根据待计算任务的任务标识预生成；

在至少一个计算节点中的每个计算节点上创建一个任务目录，并将每个任务目录命名为目录名，其中，每个任务目录下配置有待计算任务的部分子任务；

触发待计算任务后，在计算节点上调用所有命名为目录名的任务目录，并执行其下配置的子任务。

可选的，目录名由终端根据待计算任务的任务标识唯一生成。

可选的，在接收终端发送的待计算任务和预生成的目录名之前，还包括：在所有计算节点上分别创建预设名称的目录作为父目录；以及

在至少一个计算节点上分别创建任务目录，包括：分别在至少一个计算节中的每个计算节点的父目录下创建任务目录。

可选的，在至少一个计算节点上调用命名为目录名的任务目录，并执行其下配置的子任务之后，还包括：

将已结束执行操作的计算节点上的、命名为目录名的任务目录删除。

可选的，任务标识至少包括以下中的一项：任务的提交时间、任务所对应的进程号、任务的名称。

可选的，该方法用于对网页日志文件的处理；或者，用于对图片特征的提取处理。

依据本发明的一个方面，提供了第二种计算任务的分配方法，包括：

获取待计算任务和待计算任务的任务标识；

根据任务标识为待计算任务的目录生成目录名；

将待计算任务和目录名发送给云计算平台，由云计算平台调用以目录名命名的至少一个任务目录对待计算任务进行计算，其中，每个任务目录下配置有待计算任务的部分子任务。

可选的，任务标识至少包括以下中的一项：任务的提交时间、任务所对应的进程号、任务的名称。

可选的，该方法用于对网页日志文件的处理；或者，用于对图片特征的提取处理。

依据本发明的一个方面，提供了一种云计算平台，包括：

包括云平台控制器和至少一个计算节点；

云平台控制器包括：

接收模块，配置为接收终端发送的待计算任务以及待计算任务的目录名，其中，目录名根据待计算任务的任务标识预生成；

创建模块，配置为在至少一个计算节点中的每个计算节点上创建一个任务目录，并将每个任务目录命名为目录名，其中，每个任务目录下配置有待计算任务的部分子任务；

执行模块，配置为触发待计算任务后，在计算节点上调用所有命名为目录名的任务目录；以及

至少一个计算节点，其中每个计算节点配置为执行自身配置的子任务。

可选的，创建模块，还配置为在所有计算节点上分别创建预设名称的目录作为父目录；

创建模块，还配置为分别在至少一个计算节中的每个计算节点的父目录下创建任务目录。

可选的，云计算平台还包括：

删除模块，配置为将已结束执行操作的计算节点上的、命名为目录名的任务目录删除。

可选的，接收模块接收的任务标识至少包括以下中的一项：任务的提交时间、任务所对应的进程号、任务的名称。

依据本发明的一个方面，提供了一种终端，包括：

获取模块，配置为获取待计算任务和待计算任务的任务标识；

生成模块，配置为根据任务标识为待计算任务的目录生成目录名；

发送模块，配置为将待计算任务和目录名发送给云计算平台，由云计算平台调用以目录名命名的至少一个任务目录对待计算任务进行计算，其中，每个任务目录下配置有待计算任务的部分子任务。

可选的，获取模块获取的任务标识至少包括以下中的一项：任务的提交时间、任务所对应的进程号、任务的名称。

依据本发明的一个方面，提供了一种计算任务的分配系统，包括上述的云计算平台和上述的终端。

本发明提供了一种计算任务的分配方法、云计算平台、终端及系统。通过本发明，对于每个不同的待计算任务，终端均能够根据待计算任务的任务标识为其生成一个唯一的目录名称，并发送给云计算平台。云计算平台在参与计算待计算任务的计算节点上建立以接收的目录名称命名的任务目录，并在该目录下对待计算任务进行计算。

可见，本发明保证了当待计算任务不同时，终端能够配合云计算平台为每个不同任务分别创建目录名称不相同的目录，这与提交任务的当前目录无关，因此，解决了计算节点创建任务目录的冲突问题，从而也避免了任务计算结果的混淆。同时，由于云计算平台能够自动生成任务目录，避免了用户手动创建目录的操作，方便用户操作。另外，现有技术中，手动创建目录需要为用户开放计算节点磁盘操作权限，这会对平台造成极大安全隐患。而本发明在实现中，无需向用户开放磁盘操作权限，保证了计算节点数据的安全，增强了平台的安全性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的一种计算任务的分配方法流程图;

图2示出了根据本发明一个实施例的另一种计算任务的分配方法流程图；

图3示出了根据本发明另一个实施例的一种计算任务的分配方法流程图；

图4示出了根据本发明一个实施例的一种云计算平台的结构框图；

图5示出了根据本发明一个实施例的另一种云计算平台的结构框图；

图6示出了根据本发明一个实施例的一种终端的结构框图；以及

图7示出了根据本发明一个实施例的一种计算任务的分配系统构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应该被这里阐述的实施例所限制。相反，提供这些实施例是为了能够透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

图1为本发明实施例提供的一种计算任务的分配方法流程图。在该方法中，对任务分配的云计算平台进行了改进，即，修改云计算平台的启动代码来增加其在计算节点上创建任务目录的功能。该方法具体包括步骤S102至S106。

S102，接收终端发送的待计算任务以及待计算任务的目录名。其中，目录名根据待计算任务的任务标识预生成。

S104，在至少一个计算节点中的每个计算节点上创建一个任务目录，并将每个任务目录命名为接收到的目录名。其中，每个任务目录下配置有待计算任务的部分子任务。

在本实施例中，在云计算平台接收到待计算任务及目录名后，选择参与计算的至少一个计算节点，并在至少一个计算节点上创建任务目录，且为每个任务目录分配有待计算任务的部分子任务。

S106，触发待计算任务后，在计算节点上调用所有命名为上述目录名的任务目录，并执行其下配置的子任务。

相应地，本实施还提供了另一种计算任务的分配方法，该方法对任务计算的终端进行了改进，即，在终端中写入任务提交程序。终端通过其任务提交程序来实现该方法。其中，本实施例中的终端可以为云计算平台提供，也可以为安装了云计算平台的客户端。

图2为本发明实施例提供的另一种计算任务的分配方法流程图。该方法具体包括步骤S202至S206。

S202，获取待计算任务和待计算任务的任务标识。

其中，待计算任务由用户提交给终端，并由终端的任务提交程序来接收待计算任务，并获取待计算任务的任务标识。

S204，根据任务标识为待计算任务的目录生成目录名。

S206，将待计算任务和目录名发送给云计算平台，由云计算平台调用以目录名命名的至少一个任务目录对待计算任务进行计算。

其中，每个任务目录下配置有待计算任务的部分子任务。

本发明实施例提供了计算任务的分配方法。根据该方法，对于每个不同的待计算任务，终端均能够根据待计算任务的任务标识为其生成一个唯一的目录名称，并发送给云计算平台。云计算平台在参与计算待计算任务的计算节点上建立以接收的目录名称命名的任务目录，并在该目录下对待计算任务进行计算。

可见，本发明实施例所提供的方法保证了当待计算任务不同时，终端能够配合云计算平台为每个不同任务分别创建目录名称不相同的目录，这与提交任务的当前目录无关，因此，解决了计算节点创建任务目录的冲突问题，从而也避免了任务计算时的混淆。同时，由于云计算平台能够自动生成任务目录，避免了用户手动创建目录的操作，方便用户操作。另外，现有技术中，手动创建目录需要为用户开放计算节点磁盘操作权限，这会对平台造成极大安全隐患。而本发明在实现中，无需向用户开放磁盘操作权限，保证了计算节点数据的安全，增强了平台的安全性。

实施例二

本实施例为上述实施例一的一种具体应用场景，通过本实施例，能够更加清楚、具体地阐述本发明所提供的方法。

通过本发明实施例能够实现云计算平台对待计算任务的分配。需要说明的是本发明适用于多种云计算平台，为了更加清楚地解释本发明所提供的方法，本实施例中以云计算平台为基于Torque的云计算平台为例进行具体说明。

图3为本发明实施例提供的一种计算任务的分配方法流程图。该方法具体包括步骤S302至S312。

S302，终端获取待计算任务和待计算任务的任务标识。

本实施例中，待计算任务的任务标识能够唯一地标识该待计算任务，可选的，其至少包括以下中的一项：任务的提交时间、任务的进程号、任务的名称。将任务标识设置为任务的提交时间、任务的进程号和任务的名称的原因如下：

1）对于同一台终端而言，由于当用户向终端提交待计算任务时，难以在同一时间（当时间精确度达到较高时）提交多个待计算任务。因此，能够确保终端获取的每个待计算任务的提交时间具有唯一性。

对于不同的终端而言，当用户通过不同终端提交待计算任务时，不同终端获取的任务提交时间（当时间精确度达到较高时）相同的概率也较小。因此，也能够确保不同终端获取的待计算任务的提交时间也具有唯一性。

由上可知，无论对于不同终端还是一台终端，终端获取的任务提交时间相同的概率均较小。可见，一般情况下，任务提交时间能够唯一地标识待计算任务。

在本实施例中，终端可以将任务的提交时间精确到毫秒级别，如，待计算任务的提交时间为201302032053001。此时，终端可以直接将201302032053001作为待计算任务的目录名。

2）终端接收用户提交的待计算任务时，必须通过任务提交程序接收待计算任务，而任务提交程序的进程号由终端的系统来分配。此时，待计算任务所对应的进程号为任务提交程序的进程号。

对于同一台终端，系统也会为同时运行的多个任务提交程序分配不同的进程号。对于不同终端，不同的终端系统为其中的任务提交程序分配的进程号相同的概率较小。可见，无论对于一台终端还是不同终端，任务提交程序的进程号相同的概率均较低，从而确保了每个待计算任务所对应的进程号的唯一性。

例如，用户通过正在运行的任务提交程序提交待计算任务时，获取该正在运行的任务提交程序的进程号为9782。此时，当用户通过该任务提交程序向终端提交待计算任务时，待计算任务所对应的进程号为9782。

另外，在目录名称中增加进程号可以在上述任务提交时间的基础上进一步减小生成的目录名相同的概率。例如，结合任务的提交时间为待计算任务生成目录名为task201302032053001-9782。

3）用户在向终端提交待计算任务时，可以为每个待计算任务进行命名。对于一个用户而言，通常会为不同的待计算任务命名为不同的任务名称。对于不同用户而言，为待计算任务命名成相同名称的概率也较小。可见，无论对于同一用户还是不同用户，为待计算任务命名为相同名称的概率极小，即，终端接收的待计算任务名称相同的概率也极小，从而确保了任务名称的唯一性。

例如，终端获取的用户甲的待计算任务名称为task001，获取的用户乙的待计算任务名称为tupian666。因此，终端获取的上述待计算任务的名称均能够唯一地表示一个待计算任务。

另外，在目录名称中增加任务名称可以在任务提交时间或任务所对应的进程号的基础上进一步减小生成的目录名相同的概率。当然，终端也可以同时根据任务名称、任务提交时间和任务所对应的进程号生成目录名。本实施中，包含任务名称的目录名的生成方式同上，在此不再具体举例说明。

终端在获取了待计算任务及其任务标识后，执行步骤S304。在步骤S304中，终端根据任务标识为待计算任务的目录生成一个目录名。

本实施例中，终端为每个待计算任务生成一个唯一地目录名。可选的，本实施例可以将任务的提交时间和任务提交程序的进程号进行组合作为任务目录的目录名称，例如，目录名称为task201302032053001-9782。

本实施例中，终端将任务的提交时间和任务提交程序的进程号进行组合作为目录名称的原因是：虽然终端获取的任务提交时间已达到很高的精确度，但是对于庞大数量的终端而言，其所获取的任务提交时间也不可避免会相同。此时，可以在任务提交时间中添加任务提交程序的进程号，这是由于不同的终端系统为其中的任务提交程序分配相同的进程号的概率较小，所以将任务的提交时间和任务提交程序的进程号进行组合作为目录名更加保证了目录名的唯一性。

终端在生成目录名之后，执行步骤S306。在步骤S306中，终端将待计算任务和与其对应的目录名发送给Torque云计算平台。本实施例中，终端通过任务提交程序将待计算任务和目录名发送给Torque云计算平台。

Torque云计算平台接收到终端发送的数据后，执行步骤S308。在步骤S308中，Torque云计算平台在计算待计算任务所需的计算节点上分别创建一个任务目录，并将每个任务目录命名为接收到的目录名。

需要说明的是，由于Torque云计算平台支持庞大数据量的计算，所以，提交到Torque云计算平台的待计算任务的数据计算量均较为庞大。一般来说，一个计算节点难以完成对待计算任务的计算，而一个待计算任务的计算至少需要一个计算节点的参与，因此，Torque云计算平台接收到终端发送的数据后，首先根据待计算任务选择计算待计算任务所需的多个计算节点。进一步，Torque云计算平台根据选择的多个计算节点为每个计算节点分配子任务，由这些计算节点共同完成对待计算任务的计算。

可选的，为了保证在计算待计算任务所需的计算节点上创建的任务目录的路径相同以及便于管理，在Torque云计算平台搭建时，需要在Torque云计算平台的每个计算节点上都创建一个名称相同的目录，作为所有任务目录的父目录。之后，当Torque云计算平台在每个计算节点上创建任务目录时，均在该父目录下进行创建。例如，父目录的名称为：/home/work/task，则Torque云计算平台均在每个计算节点的父目录/home/work/task下完成任务目录的创建。

Torque云计算平台在计算节点上分别创建任务目录时，还将当前的工作目录设置为所创建的任务目录。

可见，通过步骤S308，Torque云计算平台能够根据任务标识在计算节点上为待计算任务创建任务目录，且在计算节点上创建任务目录与提交待计算任务的当前目录无关。这就使得当用户在终端的任意一个目录下重复提交多个待计算任务时，也能够避免Torque云计算平台在创建任务目录时产生冲突。

在计算节点上创建任务目录之后，Torque云计算平台继续执行步骤S310。在步骤S310中，Torque云计算平台触发待计算任务，之后在计算节点上调用所有命名为接收到的目录名的任务目录。

需要说明的是，本实施例中，在执行待计算任务过程中，Torque云计算平台在对所有与待计算任务相关的文件进行处理时，均以计算节点上创建的任务目录为相对路径将相关文件分配给相应的计算节点。避免了对文件进行处理时的混淆。例如，创建的任务目录名称为task201302032053001-9782，则Torque云计算平台将所有与该待计算任务相关的文件以路径/home/work/task/task201302032053001-9782分配给相应的计算节点。

可选的，在计算节点对子任务执行完毕之后，可以选择释放系统资源，增加系统资源的可利用性。为实现该目的，Torque云计算平台还继续执行步骤S312。在步骤S312中，Torque云计算平台将已结束计算操作的计算节点上的任务目录删除。

需要说明的是，Torque云计算平台删除任务目录的方式有两种，下面分别对该两种方式进行具体介绍。

方式一：对于计算待计算任务所需的计算节点而言，当某个计算节点完成了对其子任务的计算时，Torque云计算平台删除该计算节点上命名为步骤S304生成的目录名的任务目录。

例如，本实施例中，步骤S304所生成的目录名为A，且计算待计算任务所需的计算节点包括节点1、节点2、节点3和节点4。当节点1完成了对其子任务的计算，且其余节点还未完成计算时，Torque云计算平台删除节点1上目录名为A的任务目录。以此类推，直至完成对上述4个节点上目录名为A的任务目录的删除操作。

方式一中，Torque云计算平台对执行完毕的计算节点的进行任务目录的删除操作，有利于实时地对Torque云计算平台的资源进行释放，减少平台的资源占用。

方式二：当对待计算任务执行完成后，Torque云计算平台删除每个计算节点上命名为步骤S304生成的目录名的任务目录。

例如，本实施例中，步骤S304所生成的目录名为A，且计算待计算任务所需的计算节点包括节点1、节点2、节点3和节点4。当该4个节点全部完成了对其子任务的计算时，Torque云计算平台依次删除该4个节点上目录名为A的任务目录。

方式二中，Torque云计算平台一次性地完成对计算节点上任务目录的删除操作，有利地减少了平台的处理次数，从而降低了平台的处理压力。

综上可知，无论采取上述方式一的删除方式还采取方式二的删除方式，Torque云计算平台均能够自动对任务目录进行删除，无需用户进行手动删除，避免了用户的繁琐操作。

本发明实施例提供了一种计算任务的分配方法。根据该方法，对于每个不同的待计算任务，终端均能够根据待计算任务的任务标识为其生成一个唯一的目录名称，并发送给云计算平台。云计算平台在参与计算待计算任务的计算节点上建立以接收的目录名称命名的任务目录，并在该目录下对待计算任务进行计算。

可见，本发明实施例所提供的方法保证了当待计算任务不同时，终端能够配合云计算平台为每个不同任务分别创建目录名称不相同的目录，这与提交待计算任务的当前目录无关，因此，解决了计算节点创建任务目录的冲突问题，从而也避免了任务计算时的混淆。同时，由于云计算平台能够自动生成任务目录，避免了用户手动创建目录的操作，方便用户操作。另外，现有技术中，手动创建目录需要为用户开放计算节点磁盘操作权限，这会对平台造成极大安全隐患。而本发明在实现中，无需向用户开放磁盘操作权限，保证了计算节点数据的安全，增强了平台的安全性。

实施例三

本实施例为上述实施例二的一种具体应用场景，通过本实施例，能够更加清楚、具体地阐述本发明所提供的方法。

本实施例结合云计算平台处理日志文件的具体应用场景对本发明提供的方法为例进行说明。

首先，由用户通过终端向云计算平台提交一个网页日志处理任务，终端接收到该任务时，获取该任务的任务标识，并根据任务标识生成一个目录名称B。在生成目录名称B之后，终端还将该任务与生成目录名称B发送给Torque云计算平台。

可选的，网页日志处理任务可以为获取网页（例如，网页A、B、C）访问人数的任务。

其次，Torque云计算平台在计算该任务所需的计算节点（例如，计算节点A、B、C）上分别创建一个任务目录，将每个任务目录命名为目录名称B。

再次，Torque云计算平台从外部存储器中获取待计算网页（网页A、B、C）的所有日志文件，并为每个计算节点（计算节点A、B、C）分配计算任务，且将网页日志文件发送到对应的计算节点的名为目录名称B的任务目录中。

为了使得计算节点的负载达到均衡，例如，为计算节点A分配的待计算任务可为获取网页A的访问人数，相应地，为计算节点B分配的待计算任务可为获取网页B的访问人数，为计算节点C分配的待计算任务可为获取网页C的访问人数。

之后，分别由每个计算节点在其名为目录名称B的任务目录中对日志文件进行处理，得到该网页的访问人数，并将处理结果发送给Torque云计算平台。

最后，由Torque云计算平台按照用户所指定的存储路径，将网页（网页A、B、C）的处理结果发送至相应的终端，并将计算节点（计算节点A、B、C）上名为目录名称B的任务目录删除。

可见，本实施例实现了通过Torque云计算平台对日志文件进行处理，从而能够达到本发明方法的目的。

需要说明的是，本方法除可以用于云计算平台处理日志文件之外，还可以用于云计算平台处理提取图片特征。其处理方式与云计算平台处理日志文件的方式相同，在此不再做具体介绍。

实施例四

图4为本发明实施例提供的一种云计算平台的结构框图。该云计算平台400包括：云平台控制器410和至少一个计算节点420。

其中，云平台控制器410包括：

接收模块411，配置为接收终端发送的待计算任务以及待计算任务的目录名，其中，目录名根据待计算任务的任务标识预生成；

创建模块412，与上述接收模块411相耦合，配置为在所述至少一个计算节点中的每个计算节点上创建一个任务目录，并将每个任务目录命名为所述目录名，其中，每个任务目录下配置有所述待计算任务的部分子任务；

执行模块413，与上述创建模块412相耦合，配置为触发待计算任务后，在计算节点上调用所有命名为目录名的任务目录。

至少一个计算节点420，其中每个计算节点配置为执行自身配置的子任务。

可选的，创建模块412，还配置为在所有计算节点上分别创建预设名称的目录作为父目录；

创建模块412，还配置为分别在至少一个计算节中的每个计算节点的父目录下创建任务目录。

可选的，图5为本发明实施例提供的另一种云计算平台的结构框图，上述云平台控制器410还包括：

删除模块414，与上述执行模块413相耦合，配置为将已结束执行操作的计算节点上的、命名为目录名的任务目录删除。

可选的，接收模块411接收的任务标识至少包括以下中的一项：任务的提交时间、任务所对应的进程号、任务的名称。

图6为本发明实施例提供的一种终端的结构框图。该终端600包括：

获取模块610，配置为获取待计算任务和待计算任务的任务标识；

生成模块620，与上述获取模块610相耦合，配置为根据任务标识为待计算任务的目录生成目录名；

发送模块630，与上述生成模块620相耦合，配置为将待计算任务和目录名发送给云计算平台，由云计算平台调用以目录名命名的至少一个任务目录对待计算任务进行计算，其中，每个任务目录下配置有待计算任务的部分子任务。

可选的，获取模块610获取的任务标识至少包括以下中的一项：任务的提交时间、任务所对应的进程号、任务的名称。

图7为本发明实施例提供的一种计算任务的分配系统，该系统包括上述云计算平台400和上述终端600。

本发明实施例提供了一种云计算平台、终端及系统。根据本发明实施例，对于每个不同的待计算任务，终端均能够根据待计算任务的任务标识为其生成一个唯一的目录名称，并发送给云计算平台。云计算平台在参与计算待计算任务的计算节点上建立以接收的目录名称命名的任务目录，并在该目录下对待计算任务进行计算。

可见，本发明实施例所提供的云计算平台、终端及系统保证了当待计算任务不同时，终端能够配合云计算平台为每个不同任务分别创建目录名称不相同的目录，这与提交待计算任务的当前目录无关，因此，解决了计算节点创建任务目录的冲突问题，从而也避免了任务计算时的混淆。同时，由于云计算平台能够自动生成任务目录，避免了用户手动创建目录的操作，方便用户操作。另外，现有技术中，手动创建目录需要为用户开放计算节点磁盘操作权限，这会对平台造成极大安全隐患。而本发明在实现中，无需向用户开放磁盘操作权限，保证了计算节点数据的安全，增强了平台的安全性。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的计算任务的分配系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明还公开了A1、一种计算任务的分配方法方法，包括：

接收终端发送的待计算任务以及所述待计算任务的目录名，其中，所述目录名根据所述待计算任务的任务标识预生成；

在至少一个计算节点中的每个计算节点上创建一个任务目录，并将每个任务目录命名为所述目录名，其中，每个任务目录下配置有所述待计算任务的部分子任务；

触发所述待计算任务后，在计算节点上调用所有命名为所述目录名的任务目录，并执行其下配置的子任务。

A2、根据A1所述的方法，所述目录名由所述终端根据所述待计算任务的任务标识唯一生成。

A3、根据A1或A2所述的方法，在所述接收终端发送的待计算任务和预生成的目录名之前，还包括：在所有计算节点上分别创建预设名称的目录作为父目录；以及

所述在至少一个计算节点上分别创建任务目录，包括：分别在至少一个计算节中的每个计算节点的父目录下创建任务目录。

A4、根据A1至A3任一项所述的方法，在所述至少一个计算节点上调用命名为所述目录名的任务目录，并执行其下配置的子任务之后，还包括：

将已结束执行操作的计算节点上的、命名为所述目录名的任务目录删除。

A5、根据A1至A4任一项所述的方法，所述任务标识至少包括以下中的一项：任务的提交时间、任务所对应的进程号、任务的名称。

A6、根据A1至A5任一项所述的方法，所述方法用于对网页日志文件的处理；或者，用于对图片特征的提取处理。

本发明还公开了B7、一种计算任务的分配方法，包括：

获取待计算任务和所述待计算任务的任务标识；

根据所述任务标识为所述待计算任务的目录生成目录名；

将所述待计算任务和所述目录名发送给云计算平台，由所述云计算平台调用以所述目录名命名的至少一个任务目录对所述待计算任务进行计算，其中，每个任务目录下配置有所述待计算任务的部分子任务。

B8、根据B7所述的方法，所述任务标识至少包括以下中的一项：任务的提交时间、任务所对应的进程号、任务的名称。

B9、根据B7或B8所述的方法，所述方法用于对网页日志文件的处理；或者，用于对图片特征的提取处理。

本发明还公开了C10、一种云计算平台，包括云平台控制器和至少一个计算节点；

所述云平台控制器包括：

接收模块，配置为接收终端发送的待计算任务以及所述待计算任务的目录名，其中，所述目录名根据所述待计算任务的任务标识预生成；

创建模块，配置为在所述至少一个计算节点中的每个计算节点上创建一个任务目录，并将每个任务目录命名为所述目录名，其中，每个任务目录下配置有所述待计算任务的部分子任务；

执行模块，配置为触发所述待计算任务后，在计算节点上调用所有命名为所述目录名的任务目录；以及

所述至少一个计算节点，其中每个计算节点配置为执行自身配置的子任务。

C11、根据C10所述的云计算平台，所述创建模块，还配置为在所有计算节点上分别创建预设名称的目录作为父目录；

所述创建模块，还配置为分别在至少一个计算节中的每个计算节点的父目录下创建任务目录。

C12、根据C10或C11所述的云计算平台，所述云平台控制器还包括：

删除模块，配置为将已结束执行操作的计算节点上的、命名为所述目录名的任务目录删除。

C13、根据C10至C12任一项所述的云计算平台，所述接收模块接收的所述任务标识至少包括以下中的一项：任务的提交时间、任务所对应的进程号、任务的名称。

本发明还公开了D14、一种终端，包括：

获取模块，配置为获取待计算任务和所述待计算任务的任务标识；

生成模块，配置为根据所述任务标识为所述待计算任务的目录生成目录名；

发送模块，配置为将所述待计算任务和所述目录名发送给云计算平台，由所述云计算平台调用以所述目录名命名的至少一个任务目录对所述待计算任务进行计算，其中，每个任务目录下配置有所述待计算任务的部分子任务。

D15、根据D14所述的终端，所述获取模块获取的所述任务标识至少包括以下中的一项：任务的提交时间、任务所对应的进程号、任务的名称。

本发明还公开了E16、一种计算任务的分配系统，包括C10至C13任一项所述的云计算平台和D14或D15所述的终端。

Claims (10)

1.一种计算任务的分配方法方法，包括：

接收终端发送的待计算任务以及所述待计算任务的目录名，其中，所述目录名根据所述待计算任务的任务标识预生成；

在至少一个计算节点中的每个计算节点上创建一个任务目录，并将每个任务目录命名为所述目录名，其中，每个任务目录下配置有所述待计算任务的部分子任务；

触发所述待计算任务后，在计算节点上调用所有命名为所述目录名的任务目录，并执行其下配置的子任务。

2.根据权利要求1所述的方法，其特征在于，所述目录名由所述终端根据所述待计算任务的任务标识唯一生成。

3.根据权利要求1或2所述的方法，其特征在于，在所述接收终端发送的待计算任务和预生成的目录名之前，还包括：在所有计算节点上分别创建预设名称的目录作为父目录；以及

所述在至少一个计算节点上分别创建任务目录，包括：分别在至少一个计算节中的每个计算节点的父目录下创建任务目录。

4.一种计算任务的分配方法，包括：

获取待计算任务和所述待计算任务的任务标识；

根据所述任务标识为所述待计算任务的目录生成目录名；

将所述待计算任务和所述目录名发送给云计算平台，由所述云计算平台调用以所述目录名命名的至少一个任务目录对所述待计算任务进行计算，其中，每个任务目录下配置有所述待计算任务的部分子任务。

5.根据权利要求4所述的方法，其特征在于，所述任务标识至少包括以下中的一项：任务的提交时间、任务所对应的进程号、任务的名称。

6.根据权利要求4或5所述的方法，其特征在于，所述方法用于对网页日志文件的处理；或者，用于对图片特征的提取处理。

7.一种云计算平台，包括云平台控制器和至少一个计算节点；

所述云平台控制器包括：

接收模块，配置为接收终端发送的待计算任务以及所述待计算任务的目录名，其中，所述目录名根据所述待计算任务的任务标识预生成；

创建模块，配置为在所述至少一个计算节点中的每个计算节点上创建一个任务目录，并将每个任务目录命名为所述目录名，其中，每个任务目录下配置有所述待计算任务的部分子任务；

执行模块，配置为触发所述待计算任务后，在计算节点上调用所有命名为所述目录名的任务目录；以及

所述至少一个计算节点，其中每个计算节点配置为执行自身配置的子任务。

8.根据权利要求7所述的云计算平台，其特征在于，所述创建模块，还配置为在所有计算节点上分别创建预设名称的目录作为父目录；

所述创建模块，还配置为分别在至少一个计算节中的每个计算节点的父目录下创建任务目录；

所述云平台控制器还包括：

删除模块，配置为将已结束执行操作的计算节点上的、命名为所述目录名的任务目录删除。

9.一种终端，包括：

获取模块，配置为获取待计算任务和所述待计算任务的任务标识；

生成模块，配置为根据所述任务标识为所述待计算任务的目录生成目录名；

发送模块，配置为将所述待计算任务和所述目录名发送给云计算平台，由所述云计算平台调用以所述目录名命名的至少一个任务目录对所述待计算任务进行计算，其中，每个任务目录下配置有所述待计算任务的部分子任务。

10.一种计算任务的分配系统，包括权利要求7至8任一项所述的云计算平台和权利要求9所述的终端。

Images