CN103347055A - 云计算平台中的任务处理系统、设备及方法 - Google Patents

Abstract

本发明公开了云计算平台中的任务处理系统、设备及方法，其中，云计算平台中的任务处理设备包括：文件信息获取器，被配置为从存储任务数据文件的存储节点中获取各任务数据文件的信息，并基于各任务数据文件的信息来确定各任务数据文件的编号；节点信息确定器，被配置为获取任务执行节点的信息；任务执行节点的信息包括任务执行节点的数量以及任务执行节点的编号；以及任务分配器，被配置为根据各任务数据文件的编号和任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理，其中将相邻编号的任务数据文件分配给不同的任务执行节点。通过本发明，可以降低由于某个任务执行节点处理数据量很大而拖慢整个计算任务的概率。

Description

云计算平台中的任务处理系统、设备及方法

技术领域

本发明涉及云计算领域，具体涉及云计算平台中的任务处理技术领域。

背景技术

云计算（Cloud Computing）是一种基于互联网的计算方式，是分布式计算技术的一种。云计算技术的基本原理是利用网络将庞大的计算处理过程自动分拆成若干较小的子过程，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传。云计算系统能够在短时间内处理大量的网络计算，如能够在数秒之内处理数以千万计甚至亿计的信息，使得云计算技术成为除了超级计算机之外的又一种能够在短时间处理大量数据的途径和方式。随着计算机硬件处理能力的提高和虚拟化技术的发展，构建以虚拟化技术为基础的云服务平台，可以有效地扩大硬件的容量，提高资源利用率，简化软件配置过程，进而降低企业运行和维护计算机软硬件的成本。

在云计算平台中，共享的软硬件资源和信息可以按需提供给计算机和其他设备。因平台的计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务，因此，可以将提供资源的网络看作是“云”，“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展。这种特性经常被称为像水电一样使用IT基础设施。在云计算平台的一种功能模型中，还可以依照实现功能的不同将云计算平台划分为若干功能集群，每个功能集群中都包括有若干个用于计算的功能节点。如在一种云计算平台的功能模型中，可以将实现计算任务存储的功能节点划分为一个存储集群，将实现具体的任务计算功能的功能节点划分为一个计算集群，而一个云计算平台，可以包含若干个上述存储集群和若干个计算集群，以及其他必要的功能集群和用户接口。

在上述云计算平台模型中，具体实现一项云计算任务时，先接收和存储任务数据文件，将任务数据文件存储到各可利用的存储集群的存储节点，再将各项任务文件给配给计算集群的计算节点，由计算节点进行计算处理，并于处理后返回结果。由于在云计算平台中进行计算的输入数据的数据量常常比较大，并且往往呈现一定程度的不均匀数据分布，即某些文件数据量非常大，而另外一些文件的数据量则比较小，而传统的任务处理方式常常会造成各计算节点的计算量不均匀，使得处理任务数据文件的节点的计算时间比较长，而平台中得到平台计算结果，往往需要同时利用若干处理节点输出的计算结果，而任务处理不能均匀分布于每个接受计算任务的计算节点，往往会拖慢整个任务的处理速度。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的云计算平台中的任务处理系统和相应的云计算平台中的任务处理设备及方法。

依据本发明的一个方面，提供了一种云计算平台中的任务处理设备，包括：文件信息获取器，被配置为从存储任务数据文件的存储节点中获取各任务数据文件的信息，并基于各任务数据文件的信息来确定各任务数据文件的编号，其中各任务数据文件的编号与任务数据文件产生的先后顺序相关；节点信息确定器，被配置为获取任务执行节点的信息；该任务执行节点的信息包括该任务执行节点的数量以及该任务执行节点的编号；以及任务分配器，被配置为根据各任务数据文件的编号和任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理，其中将相邻编号的任务数据文件分配给不同的任务执行节点，以使得每个任务执行节点上处理相同或基本相同数量的任务数据文件，而且同一任务执行节点上处理的任务数据文件的编号呈等差数列分布或者基本等差数列分布。

根据本发明的另一方面，提供了一种一种云计算平台，包括：存储节点，被配置为存储任务数据文件；任务分配节点，包括根据本发明的云计算平台的任务处理设备；以及任务执行节点，被配置为根据任务处理设备的分配结果，从存储节点下载任务数据文件，并进行处理。

根据本发明的又一个方面，提供了一种云计算平台中的任务处理方法，包括：从存储任务数据文件的存储节点中获取各任务数据文件的信息，并基于各任务数据文件的信息来确定各任务数据文件的编号，其中各任务数据文件的编号与任务数据文件产生的先后顺序相关；获取任务执行节点的信息；所述任务执行节点的信息包括所述任务执行节点的数量以及所述任务执行节点的编号；以及根据各任务数据文件的编号和任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理，其中将相邻编号的任务数据文件分配给不同的任务执行节点，以使得每个任务执行节点上处理相同或基本相同数量的任务数据文件，而且同一任务执行节点上处理的任务数据文件的编号呈等差数列分布或者基本等差数列分布。

根据本发明的云计算平台以及其中的任务处理设备及方法，可以根据各个任务数据文件的编号以及各个任务执行节点的编号、数量等信息，将各个任务数据文件均匀分配到对应的任务执行节点进行处理。具体的，可以将相邻编号的任务数据文件分配给不同的任务执行节点，以使得每个任务执行节点上处理相同或基本相同数量的任务数据文件，而且同一任务执行节点上处理的任务数据文件的编号呈等差数列分布或者基本等差数列分布。这样，从文件数上看，每个任务执行节点下载的数目是平均的；从文件编号分布情况上看，每个任务执行节点都会去每个文件编号区间下载文件，此时如果有某些文件编号区间的数据量特别大，那么这些区间的数据就会平摊到每个任务执行节点。因此，从概率的角度上保证了数据会均匀分配到每个任务执行节点，降低由于某个任务执行节点处理数据量很大而拖慢整个计算任务的概率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的云计算平台的示意图；以及，

图2示出了根据本发明一个实施例的云计算平台中的任务处理方法的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术中由于数据量分布不均（如热门数据区间数据量膨胀）带来的某个或某些任务执行节点运算量过大，从而导致拖慢了整体计算速度的问题，在本发明实施例中提出了一种云计算平台中的任务处理系统，下面就对该系统的具体的实现方式进行详细地介绍。

参见图1，图1示出了根据本发明一个实施例的云计算平台系统，该系统可以包括存储节点101、任务分配节点102，以及任务执行节点103。其中，任务分配节点102包括云计算平台中的任务处理设备104，具体的云计算平台中的任务处理设备104包括文件信息获取器105，节点信息获取器106，以及任务分配器107。在该系统中，可以包含一个或两个以上任务执行节点，任务执行节点103可以是云计算平台中执行具体计算任务的计算机，虚拟机或应用程序等。下面结合具体的任务处理，详细地介绍本系统。

该系统中的存储节点101用于存储任务数据文件，任务数据文件可以是云计算平台的计算任务中使用的包含源数据的文件。在存储节点101中，除了可以存储任务数据文件本身之外，还可以存储任务数据文件的各种相关信息，如任务数据文件的标识信息（例如名称、ID）、任务数据文件的编号、各个任务数据文件在产生时的先后顺序信息等。此外，对于不同的云计算平台，或者不同的运算需求，任务数据文件可以是一次性使用的任务数据文件，也可以是多次循环使用的任务数据文件。例如在一些需要循环计算的环境下，完成一次计算量所输出的数据，同时又是下一次计算的输入，如在应用于天气预测的云计算平台，对一个时段进行预测计算所输出的数据，往往还会被用作对下一个时段进行预测的计算过程中的输入数据的一部分。

需要说明的是，任务数据文件的编号可以用于标识任务数据文件，同时也可以作为任务分配节点102对各任务数据文件进行分配的依据信息之一。任务数据文件的编号的获取可以有多种实现方式。例如，其中一种方式下，由于存储节点101在保存各个任务数据文件时，一般可以根据任务数据文件产生的先后顺序，为各个任务数据文件进行编号，并可以将具体的编号添加到任务数据文件的名称或者ID等标识信息中。例如，先后产生了三个任务数据文件，则这三个任务数据文件的名称可能分别为part-00000、part-00001、part-00002等，因此，可以直接从各个任务数据文件的名称或者ID等标识信息中提取出各个任务数据文件的编号。为了获得最好的分配结果，各相邻的任务数据文件的编号可以为连续整数，其中，所谓相邻的任务数据文件是指在产生的先后顺序上相邻。

与前面提到的存储节点101耦接的是任务分配节点102，任务分配节点102一方面从存储节点101获取各任务数据文件的信息，另一方面从任务执行节点103获取信息，然后确定用于执行本次计算任务的各个执行节点103，进而根据各任务数据文件的编号和执行本次计算任务的任务执行节点103的信息，将任务数据文件均匀分配到对应的任务执行节点103进行处理。

具体而言，任务分配节点102包括任务处理设备104，该任务处理设备104具体包括文件信息获取器105、节点信息获取器106，以及任务分配器107。

首先，文件信息获取器105耦接到存储节点101。文件信息获取器105从存储节点101获取各任务数据文件的信息，并基于各任务数据文件的信息来确定各任务数据文件的编号，其中各任务数据文件的编号与任务数据文件产生的先后顺序相关。在具体实现时，文件信息获取器105从存储节点101获得的任务数据文件的信息有多种情况：

例如，文件信息获取器105可以从存储节点101获得任务数据文件的标识信息（例如名称、ID等）。这种信息主要用于后续在任务处理设备104确定出将某个任务数据文件分配给某个任务执行节点103之后，将该任务数据文件的标识信息发送给该任务对应的任务执行节点103，任务执行节点103就可以根据该标识信息，从存储节点101中请求下载对应的任务数据文件，并进行后续的计算处理。

又例如，文件信息获取器105可以从存储节点101获取到各个任务数据文件的编号，以便作为后续进行任务分配的计算依据。具体在文件信息获取器105获取任务数据文件的编号时，可以有多种实现方式。例如，其中一种方式下，由于存储节点101在保存各个任务数据文件时，一般可以根据任务数据文件产生的先后顺序，为各个任务数据文件进行编号（例如可能是按照先后顺序进行从小到大的编号，或者也可以进行从大到小的编号，等等，任务数据文件的编号一般可以是连续的），并将具体的编号添加到任务数据文件的名称或者ID等标识信息中。例如，先后产生了三个任务数据文件，则这三个任务数据文件的名称可能分别为part-00000、part-00001、part-00002等，因此，可以由文件信息获取器105直接从各个任务数据文件的名称或者ID等标识信息中提取出各个任务数据文件的编号。

当然，在实际应用中，存储节点101可能并没有在任务数据文件的标识信息中体现各个任务数据文件的编号，或者标识信息中体现的编号并不符合本发明实施例中的计算需要，例如，相邻的任务数据文件的编号不能体现从小到大连续编号等规律性，等等。在这种情况下，还可以由文件信息获取器105从存储节点101中获取到各个任务数据文件在产生时的先后顺序信息（存储节点101可能会以其他形式来保存这种顺序关系），然后，由文件信息获取器105按照先后顺序信息，对各个任务数据文件进行连续的编号。

当然，在这种由文件信息获取器105进行编号的情况下，还可以同时保存各个任务数据文件的标识信息与编号之间的对应关系。例如，从存储节点101中获取到了三个任务数据文件，名称分别为partA、partB、partC，其产生的先后顺序为partA->partB->partC，则文件信息获取器105可以将这三个文件编号为0，1，2，并记录partA与0、partB与1、partC与2之间的对应关系。这样，假设最终确定出需要将编号为0的任务数据文件分配到某任务执行节点，则就可以将该编号0对应的名称partA发送给该任务执行节点103，由该任务执行节点103根据该名称向存储节点101请求下载对应的任务数据文件并进行处理。当然，文件信息获取器105也可以将编号与文件标识之间的对应关系发送到存储节点101进行保存，这样，当确定出需要将某编号的任务数据文件分配到某任务执行节点103之后，就可以将该任务数据文件的编号发送给该任务执行节点103，由该任务执行节点103根据该任务数据文件的编号向存储节点101请求下载对应的任务数据文件，存储节点101接收到下载请求之后，可以根据之前保存的文件编号与标识之间的对应关系，确定出请求下载的文件的标识，并向任务执行节点返回该标识对应的任务数据文件。

此外，任务分配节点102中的文件信息获取器105还可以从存储节点101获取任务数据文件，以便于后续直接提供给任务执行节点103，或者通过任务分配器107提供给任务执行节点103。当然，如果任务分配节点102没有从存储节点101获得任务数据文件并提供给任务分配节点103也是可以行的，后续任务执行节点103可以根据任务分配节点102提供的其他信息（如前文提到的任务数据文件的标识信息或编号），直接从存储节点101下载对应的任务数据文件。

文件信息获取器105除了与存储节点101耦接外，还与任务分配器107耦接，在文件信息获取器105在从存储节点101获得前文提到的那些信息后，便将这些信息提供给任务分配器107。

一方面，任务分配节点102通过上面提到的文件信息获取器105从存储节点101获得任务数据文件的信息。另一方面，任务分配节点102通过节点信息确定器106获取与执行节点103相关的信息。具体而言，文件信息获取器105获取的任务执行节点的信息包括任务执行节点103的数量以及任务执行节点的编号，例如可以通过列表等形式维护集群中的任务执行节点的信息，包括集群中存在多少个任务执行节点，以及各个任务执行节点的编号，等等。并且当某任务节点退出集群或者新加入集群时，都可以重新对任务执行节点进行编号，并对列表进行更新，使得文件信息获取器105能够获取到最新的任务执行节点103的信息。当然，在实际应用中，用户可能会从众多任务执行节点中选择出一部分用于处理当前的一批任务数据文件，此时，节点信息确定器106可以根据用户选择的情况，确定出任务执行节点的数量。另外，节点信息确定器106还可以对各个任务执行节点进行编号，其中，假设任务执行节点的数量为N，则各个任务节点的编号可以是从0到N-1的连续整数。再例如，节点信息确定器106可以给任务执行节点103发查询请求，然后通过执行节点103的响应获得任务执行节点的数量、编号等信息，还可以获得各任务执行节点103的当前状态，如是否可用等。

节点信息确定器106将获取到的任务执行节点103的信息也提供给任务分配器107。至此，任务分配器107既从文件信息获取器105获得了任务数据文件的信息（如任务数据文件的编号），又从节点信息确定器106获得了任务节点103的信息，进而就可以根据各任务数据文件的编号和任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理。

任务分配器107具体在分配时，可以将相邻编号的任务数据文件分配给不同的任务执行节点103，这样，可以尽量使得数据量相似的任务数据文件分配到不同的任务执行节点上执行，避免某个任务执行节点103的负荷过大。当然，同时还可以使得各个任务执行节点103上分配的任务数据文件的数量相同或者基本相同，并且同一任务执行节点上处理的任务数据文件的编号呈等差数列分布或者基本等差数列分布。其中，所谓的基本相同是指，不同任务节点上分配的任务数据文件的数量之差不超过一定的阈值（例如不超过1）。所谓的基本等差数列分布是指，就是与等差数列分布类似，如果将分配到同一任务执行节点上的任务数据文件的编号按照升序排列，这样可以组成一个数列，从该数列的第二项起，每一项与它的前一项的差等于同一个常数，则该序列称为等差序列，而对于基本等差序列而言，也就是说，每一项与它的前一项的差可能不是同一个常数，但是各个差值之间的差距小于某阈值（例如不超过1）。通过这种方式，可以使得各个任务执行节点上的负载更为均衡。

在具体进行分配时，可以有多种具体的实现方式。例如，按照编号由小到大的顺序对各个任务数据文件进行排列，同时，按照编号由小到大的顺序对各个任务执行节点进行排列；之后，分别为各个任务数据文件分配对应的任务执行节点，并进行记录。其中，对于当前待分配的任务数据文件，首先根据记录查看其上一个任务数据文件被分配的任务执行节点的编号n，然后将编号为n+1的任务执行节点分配给该任务数据文件。需要说明的是，对于任务执行节点，假设任务执行节点的数量为N，编号为从0到N-1，在进行i+1运算过程中，当n=N-1时，n+1结果回到0。也就是说，假设N=3，则三个任务执行节点的编号分别为0，1，2，此时，如果上一个任务数据文件被分配的任务执行节点的编号为2，则为当前任务数据文件分配的应该是编号为0。

又例如，为了提高实现的效率，还可以在任务分配器107中增设取模运算的结果计算器。取模运算的结果计算器具体以任务执行节点103的数量为模数，对任务数据文件的编号进行取模运算。这样，任务分配器107就可以根据取模运算的结果以及任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点103进行处理，从而达到“将相邻编号的任务数据文件分配给不同的任务执行节点，以使得每个任务执行节点上处理相同或基本相同数量的任务数据文件，而且同一任务执行节点上处理的任务数据文件的编号呈等差数列分布或者基本等差数列分布”的目的。

假设任务数据文件的编号为i，任务执行节点的数量为N，则所谓的取模运算就是分别针对各个任务数据文件计算（i mod N）的结果。在针对某任务数据分配文件计算出取模运算的结果之后，就可以根据该结果以及任务执行节点的编号，进行任务的分配。具体实现时，可以直接将根据取模运算的结果与各个任务执行节点的编号进行匹配，如果某任务数据文件的编号取模运算结果与某任务执行节点的编号相等，则将该任务数据文件分配到该任务执行节点进行处理。也即，若某任务执行节点的编号为C，则该节点负责下载并处理所有模N的结果为C的文件。例如，假设某任务数据文件的编号为4，任务执行节点的数量为3，则进行取模运算之后，得到的运算结果就是4mod3=1，因此，就可以将该编号为4的任务数据文件分配到编号为1的任务执行节点进行处理。当然，在实际应用中，在计算得到取模结果之后，也不限于用该方式进行与任务执行节点103的匹配，例如，还可以在取模结果基础上进行加一等处理之后，再将所得结果与任务执行节点103的编号进行匹配，等等，这里不进行限定。

通过上面的技术方案可见，假设P=M/N（其中，M为任务数据文件的数量，N为任务执行节点的数量），设U为P的向上取整值，D为P向下取整值，则每个任务执行节点下载的文件数为U或D（显然U=D+1）。由上可见，从文件数上看，每个任务执行节点下载的数目是平均的；从文件编号分布情况上看，每个任务执行节点都会去每个文件编号区间下载文件，此时如果有某些文件编号区间的数据量特别大，那么这些区间的数据就会平摊到每个任务执行节点，而不会像现有技术一样只由某几个任务执行节点来计算。因此，本发明实施例从概率的角度上保证了数据会均匀分配到每个任务执行节点，降低由于某个任务执行节点处理数据量很大而拖慢整个计算任务的概率。

为了更好地理解本发明实施例提供的技术方案，下面通过一个具体的例子，对本发明实施例通过取模运算进行任务分配的实现方案进行详细地介绍。

首先，设共有N个任务执行节点（节点从0开始编号，直到N-1），M个任务数据文件（文件从0开始编号，直到M-1）。例如，共有3个任务执行节点，编号从0到2；共有10个任务数据文件，编号从0到9。

在需要进行任务分配时，可以计算任务数据文件编号与任务执行节点数的取模运算结果，在本例中，模3余0的文件编号为0、3、6、9；模3余1的文件编号为1、4、7；模3余2的文件编号为2、5、8。

然后，就可以由每个任务执行节点去下载它所负责的处理的任务数据文件，在本例中，任务执行节点0负责下载编号为0、3、6、9的任务数据文件；任务执行节点1负责下载编号为1、4、7的任务数据文件；任务执行节点2负责下载编号为2、5、8的任务数据文件。

在实际应用中，由于各个任务数据文件一般是根据任务数据文件产生的先后顺序进行编号的，因此往往处于连续区间上的相邻任务数据文件具有一定的关联性，后一个任务数据文件往往是上游任务的计算结果，因此在数据量等方面也会具有一定的相似性。例如，编号分别为1、2、3的任务数据文件可能数据量都比较大，编号分别为5、6、7的任务数据文件都比较小。如果按照编号平均分配方式，编号为1、2、3的任务数据文件都分配给一个任务执行节点，编号为4、5、6的任务数据文件都分配给另一个任务执行节点处理，那么就会造成各执行任务节点的负担不均衡。而采用本发明实施例的分配方案，任务执行节点最多下载的文件数为4，最少下载的文件数为3，从下载数量上是平均的。而从文件编号区间上看，编号连续的文件会被不同的任务执行节点下载，即处在连续区间上的数据会平摊到各个任务执行节点103。因此可以在一定程度上保证各任务执行节点103的负载均衡，从而避免了某个热门区间的数据膨胀带来的单个任务执行节点计算负荷过重的问题。

在任务分配节点102将任务数据文件均匀分配到对应的任务执行节点103后，就会给相应的任务执行节点103发送指令，告知相应的分配结果，即某个执行节点103应该执行哪个或哪些任务。在任务执行节点103接收到任务分配节点102的指令后，开始执行相关的任务处理。具体而言，任务执行节点103耦接到任务分配节点102，根据任务分配节点102的分配结果，从任务分配节点获得下载任务数据文件或从存储节点101下载任务数据文件，并进行处理。

例如，当任务执行节点103接收到任务分配节点102发送的任务数据文件的标识之后，任务执行节点103就可以向存储节点101发送下载请求，并在下载请求中携带任务数据文件的标识信息，存储节点101就可以根据下载请求中的标识信息，向任务执行节点103返回对应的任务数据文件，由任务执行节点103对任务数据文件进行处理。

又例如，如果由任务分配节点102对任务数据文件进行了编号，则任务分配节点102也可以将任务数据文件的编号与标识信息之间的对应关系发送到存储节点101进行保存；之后任务分配节点102在向任务执行节点103分配任务时，就可以将各个任务数据文件的编号发送到任务执行节点103，这样任务执行节点103在向存储节点101发送下载请求时，可以在下载请求中携带任务数据文件的编号，存储节点101就可以根据下载请求中的编号，以及之前保存的编号与文件标识信息之间对应关系，确定出需要返回的任务数据文件的标识信息，并向任务执行节点103返回对应的任务数据文件，由任务执行节点103对任务数据文件进行处理。

需要说明的是，系统中的上述存储节点101、任务分配节点102以及任务执行节点103是从逻辑上进行划分的，而从物理设备上来看，这三个节点可能是3个独立的物理设备，也可能存在重合，例如存储节点101、任务分配节点102以及任务执行节点103中的任意两个或三个，可以由同一计算机物理设备上的不同虚拟机来实现。当然，某个逻辑节点还可能通过多个物理设备实现。

此外，本发明实施例还提供了一种云计算平台的任务处理设备，具体可以是前文系统中描述的任务处理设备104，由于前文已经对该设备进行过详细描述，故在此不再赘述。

与本发明实施例提供的云计算平台中的任务处理设备相对应，本发明实施例还提供了一种云计算平台中的任务处理方法，请参见图2。

云计算平台启动一项计算任务后，首先要将所需的任务数据文件分配给负责具体计算任务的任务执行节点，该方法开始于步骤S201，首先从存储任务数据文件的存储节点中获取各任务数据文件的信息，然后基于各任务数据文件的信息来确定各任务数据文件的编号，其中各任务数据文件的编号与任务数据文件产生的先后顺序相关。对于任务数据文件的编号的获取可以有多种实现方式，例如，由于存储节点在保存各个任务数据文件时，一般根据任务数据文件产生的先后顺序为各个任务数据文件进行编号，因此可以将具体的编号添加到任务数据文件的名称或者ID等标识信息中。本步骤可以通过前文任务分配节点102中的文件信息获取器105执行，相关的技术特征可以参考前文中关于文件信息获取器105在各实施例中的相关描述，此处不再赘述。一方面通过执行步骤S201在从存储节点中获取各任务数据文件的信息，另一方面通过执行步骤S202获取任务执行节点的信息，其中，任务执行节点的信息包括任务执行节点的数量以及任务执行节点的编号。当某任务执行节点退出集群或者新加入集群时，都可以重新对任务执行节点进行编号并更新，从而能够获得最新的任务执行节点103的信息。本步骤可以通过前文任务分配节点102中的节点信息确定器106执行，相关的技术特征可以参考前文中关于文件信息获取器106在各实施例中的相关描述，此处不再赘述

在通过步骤S201获得各任务数据文件的信息，以及通过步骤S202获得任务执行节点的信息后，执行步骤S203。在步骤S203中，根据通过步骤S201获得的各任务数据文件的编号，和通过步骤S202获得的任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理。其中，将相邻编号的任务数据文件分配给不同的任务执行节点，以使得每个任务执行节点上处理相同或基本相同数量的任务数据文件，而且同一任务执行节点上处理的任务数据文件的编号呈等差数列分布或者基本等差数列分布。本步骤可以通过前文任务分配节点102中的任务分配器107执行，相关的技术特征可以参考前文中关于任务分配器107在各实施例中的相关描述，此处不再赘述。

其中，为了提高任务分配的效率，还可以以任务执行节点的数量为模数，对任务数据文件的编号进行取模运算，这样，步骤S203具体在进行任务分配时，就可以根据取模运算的结果计算器的运算结果和任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理。更为具体的，可以根据取模运算的结果与各个任务执行节点的编号进行匹配，如果某任务数据文件的编号取模运算结果与某任务执行节点的编号相等，则将该任务数据文件分配到该任务执行节点进行处理。

为了获得更好的任务分配结果，各任务执行节点的编号可以为从0到N-1的连续整数，其中，N为任务执行节点的数量；另外，各相邻任务数据文件的编号也可以为连续整数。

其中，各任务数据文件的信息可以包括各任务数据文件的标识信息，这种标识信息可以是名称、ID等，其中包含有任务数据文件的编号，其中，这种编号是按照任务数据文件产生的先后顺序进行的连续编号；这样，具体在确定各任务数据文件的编号时，具体可以从存储任务数据文件的存储节点中获取各任务数据文件的标识信息，并从各个任务数据文件的标识信息中提取各个任务数据文件的编号。

另外，各任务数据文件的信息也可以包括各任务数据文件的标识信息以及各任务数据文件产生的先后顺序信息，则具体在确定各任务数据文件的编号时，也可以从各任务数据文件的信息中获取各任务数据文件的标识信息以及各任务数据文件产生的先后顺序信息，按照这种先后顺序信息对各任务数据文件进行连续编号。另外，还可以保存各任务数据文件的标识信息与编号之间的对应关系。

B11、如B8-10中任一个所述的云计算平台中的任务处理方法，其中：各任务执行节点的编号为从0到N-1的连续整数，其中，N为任务执行节点的数量；各任务数据文件的编号为连续整数。B12、如B8-11所述的云计算平台中的任务处理方法，其中各任务数据文件的信息包括各任务数据文件的标识信息，所述任务数据文件的标识信息中包含有任务数据文件的编号，其中，所述任务数据文件的编号为按照任务数据文件产生的先后顺序进行的连续编号；所述从存储任务数据文件的存储节点中获取各任务数据文件的信息，并确定各任务数据文件的编号，包括：从各任务数据文件的信息中获取各任务数据文件的标识信息，并从各个任务数据文件的标识信息中提取各个任务数据文件的编号。B13、如B8-11所述的云计算平台中的任务处理方法，其中各任务数据文件的信息包括各任务数据文件的标识信息以及各任务数据文件产生的先后顺序信息，所述从存储任务数据文件的存储节点中获取各任务数据文件的信息，并确定各任务数据文件的编号，包括：从各任务数据文件的信息中获取各任务数据文件的标识信息以及各任务数据文件产生的先后顺序信息，按照所述先后顺序信息对各任务数据文件进行连续编号。

通过本发明实施例提供的上述系统、设备和方法可以看出，本发明实施例可以根据各个任务数据文件的编号以及各个任务执行节点的编号、数量等信息，将各个任务数据文件均匀分配到对应的任务执行节点进行处理。具体的，可以将相邻编号的任务数据文件分配给不同的任务执行节点，以使得每个任务执行节点上处理相同或基本相同数量的任务数据文件，而且同一任务执行节点上处理的任务数据文件的编号呈等差数列分布或者基本等差数列分布。换而言之，能够将相邻文件数据打散平摊到各个任务执行节点的下载策略，使得从文件数上看，每个任务执行节点下载的数目基本是平均的；从文件编号分布情况上看，每个任务执行节点都会去每个文件编号区间下载文件，此时如果有某些文件编号区间的数据量特别大，那么这些区间的数据就会平摊到每个任务执行节点。因此，从概率的角度上保证了数据会均匀分配到每个任务执行节点，每个任务执行节点的数据量更趋向于均匀分布（同时在实际运用中产生的效果也充分验证了这个结论），在一定程度上不会出现某个任务执行节点耗时很长而拖慢整体速度的情况，进而使得云计算任务的计算效率大大提高，也提高了云计算平台在执行计算时的整体效率。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的云计算平台的任务处理设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本申请可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令（诸如程序模块）的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

Claims (10)

1.一种云计算平台中的任务处理设备，包括：

文件信息获取器，被配置为从存储任务数据文件的存储节点中获取各任务数据文件的信息，并基于各任务数据文件的信息来确定各任务数据文件的编号，其中各任务数据文件的编号与任务数据文件产生的先后顺序相关；

节点信息确定器，被配置为获取任务执行节点的信息；所述任务执行节点的信息包括所述任务执行节点的数量以及所述任务执行节点的编号；以及

任务分配器，被配置为根据各任务数据文件的编号和任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理，其中将相邻编号的任务数据文件分配给不同的任务执行节点，以使得每个任务执行节点上处理相同或基本相同数量的任务数据文件，而且同一任务执行节点上处理的任务数据文件的编号呈等差数列分布或者基本等差数列分布。

2.如权利要求1所述的云计算平台中的任务处理设备，还包括：

取模运算的结果计算器，被配置为以任务执行节点的数量为模数，对任务数据文件的编号进行取模运算；

所述任务分配器被配置为根据所述取模运算的结果计算器的运算结果和任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理。

3.如权利要求2所述的云计算平台中的任务处理设备，所述任务分配器被配置为根据取模运算的结果与各个任务执行节点的编号进行匹配，如果某任务数据文件的编号取模运算结果与某任务执行节点的编号相等，则将该任务数据文件分配到该任务执行节点进行处理。

4.如权利要求1-3中任一个所述的云计算平台中的任务处理设备，其中：

各任务执行节点的编号为从0到N-1的连续整数，其中，N为任务执行节点的数量；

各任务数据文件的编号为连续整数。

5.如权利要求1-4中任一个所述的云计算平台中的任务处理设备，其中各任务数据文件的信息包括各任务数据文件的标识信息，所述任务数据文件的标识信息中包含有任务数据文件的编号，其中，所述任务数据文件的编号为按照任务数据文件产生的先后顺序进行的连续编号；

所述文件信息获取器被配置为从各任务数据文件的信息中获取各任务数据文件的标识信息，并从各个任务数据文件的标识信息中提取各个任务数据文件的编号。

6.如权利要求1-4中任一个所述的云计算平台中的任务处理设备，其中各任务数据文件的信息包括各任务数据文件的标识信息以及各任务数据文件产生的先后顺序信息，所述文件信息获取器被配置为从各任务数据文件的信息中获取各任务数据文件的标识信息以及各任务数据文件产生的先后顺序信息，按照所述先后顺序信息对各任务数据文件进行连续编号。

7.一种云计算平台，包括：

存储节点，被配置为存储任务数据文件；

任务分配节点，包括如权利要求1至6任一项所述的云计算平台的任务处理设备；以及

任务执行节点，被配置为根据任务处理设备的分配结果，从存储节点下载任务数据文件，并进行处理。

8.一种云计算平台中的任务处理方法，包括：

从存储任务数据文件的存储节点中获取各任务数据文件的信息，并基于各任务数据文件的信息来确定各任务数据文件的编号，其中各任务数据文件的编号与任务数据文件产生的先后顺序相关；

获取任务执行节点的信息；所述任务执行节点的信息包括所述任务执行节点的数量以及所述任务执行节点的编号；以及

根据各任务数据文件的编号和任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理，其中将相邻编号的任务数据文件分配给不同的任务执行节点，以使得每个任务执行节点上处理相同或基本相同数量的任务数据文件，而且同一任务执行节点上处理的任务数据文件的编号呈等差数列分布或者基本等差数列分布。

9.如权利要求8所述的云计算平台中的任务处理方法，还包括：

以任务执行节点的数量为模数，对任务数据文件的编号进行取模运算；

所述根据各任务数据文件的编号和任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理，包括：

根据所述取模运算的结果计算器的运算结果和任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理。

10.如权利要求9所述的云计算平台中的任务处理方法，所述根据所述取模运算的结果计算器的运算结果和任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理，包括：

根据取模运算的结果与各个任务执行节点的编号进行匹配，如果某任务数据文件的编号取模运算结果与某任务执行节点的编号相等，则将该任务数据文件分配到该任务执行节点进行处理。

Images