CN107145394A

CN107145394A - 一种针对数据倾斜的均衡负载处理方法及装置

Info

Publication number: CN107145394A
Application number: CN201710296684.8A
Authority: CN
Inventors: 朱晓敏; 陈黄科; 刘桂鹏
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2017-04-28
Filing date: 2017-04-28
Publication date: 2017-09-08
Anticipated expiration: 2037-04-28
Also published as: CN107145394B

Abstract

本发明公开了一种针对数据倾斜的均衡负载处理方法及装置包括：采集某一批次的流式数据并映射为中间结果；生成中间结果的复件，对所述复件进行分析并更新参考表；根据哈希算法与参考表将中间结果分配到多个桶中；从桶中提取中间结果进行规约。本发明能够弱化数据倾斜，降低作业时间，提高系统性能。

Description

一种针对数据倾斜的均衡负载处理方法及装置

技术领域

本发明涉及数据处理技术领域，特别是指一种针对数据倾斜的均衡负载处理方法及装置。

背景技术

近年来，随着互联网的普及，人们不得不面对诸如电子商务、社交网络等许多领域中数据的指数增长。越来越多的企业和学术机构选择Spark来处理基于云的大数据处理问题。Spark是用于大规模数据处理的快速且通用的引擎，它在内存中运行程序的速度比HadoopMapReduce快100倍；在磁盘上运行时则快10倍。由于其出色的性能，Spark已被诸如雅虎、e-Bay、Twitter、亚马逊、阿里巴巴等公司广泛使用。在学术领域，Spark在2015年有超过1000个贡献者，使其成为Apache Software Foundation中最活跃的项目之一，也是最活跃的开源大数据项目之一。

然而，Spark不能有效地处理倾斜数据。对于reduce(规约)任务，分区倾斜将导致节点工作负载不平衡，这意味着一些reducer将接收更多的数据。在这种情况下，任务队列将在这些负载大的reducer上堵塞，这将增加运行作业的完成时间，使系统性能恶化。由于Spark Streaming中的延迟可能叠加，极易导致延迟和堵塞。

针对现有技术中数据倾斜导致作业时间长、系统性能差的问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种针对数据倾斜的均衡负载处理方法及装置，能够弱化数据倾斜影响，降低作业时间，提高系统性能。

基于上述目的，本发明实施例提供了一种针对数据倾斜的均衡负载处理方法，包括：

采集某一批次的流式数据并映射为中间结果；

生成中间结果的复件，对所述复件进行分析并更新参考表；

根据哈希算法与参考表将中间结果分配到多个桶中；

从桶中提取中间结果进行规约。

在一些实施方式中，所述中间结果为由键值对组成的集合，其中，所述中间结果包括多个簇，簇为与某一特定键对应的所有键值对的集合。

在一些实施方式中，对所述复件进行分析并更新参考表，包括：

对所述复件进行等距采样获得样本数据；

对样本数据中的所有键值对进行统计，获得键的统计数；

根据键的统计数与桶数量确定桶平均容量阈值并生成参考表。

在一些实施方式中，根据键的统计数与桶数量确定桶平均容量阈值并生成参考表，包括：

根据键的统计数确定每个桶中的键值对数量；

根据每个桶中的键值对数量与桶数量确定桶平均容量阈值；

根据每个桶中的键值对数量生成参考表。

在一些实施方式中，根据哈希算法与参考表将中间结果分配到多个桶中，包括：确定中间结果中的所有簇的大小并按照由大到小的顺序排列；

依次选取簇并根据被选取簇对应的键与哈希算法确定被选取簇应对应的桶；

根据被选取簇应对应的桶的剩余空间大小、被选取簇的大小与其他桶剩余空间大小更新参考表；

根据参考表将中间结果分配到多个桶中。

在一些实施方式中：

所述桶剩余空间大小为桶平均容量阈值与当前桶内所有簇大小之和的差；

所述根据被选取簇应对应的桶剩余空间大小、被选取簇的大小与其他桶剩余空间大小更新参考表，包括：

当被选取簇应对应的桶剩余空间大小大于被选取簇的大小时，不更新参考表；

当被选取簇应对应的桶剩余空间大小小于被选取簇的大小，但存在其他桶剩余空间大小大于被选取簇的大小时，被选取簇将被从被选取簇应对应的桶分配到其他桶，把迁移记录更新在参考表中；

当被选取簇应对应的桶剩余空间大小小于被选取簇的大小，且不存在其他桶剩余空间大小大于被选取簇的大小时，不更新参考表。

在一些实施方式中，所述根据参考表将中间结果分配到多个桶中，包括：

当被选取簇在参考表中具有迁移记录时，将被选取簇按照迁移记录迁移到被分配到的其他桶中；

当被选取簇在参考表中没有迁移记录时，将被选取簇按照哈希算法迁移到被选取簇应对应的桶中。

在一些实施方式中，根据哈希算法与参考表将中间结果分配到多个桶中之后，计算每个桶的数据倾斜度。

在一些实施方式中，所述计算每个桶的数据倾斜度包括：

根据每个桶中的键值对数量与桶数量确定所有桶中键值对的平均数量；

根据每个桶中的键值对数量与所有桶中键值对的平均数量计算每个桶的数据倾斜度。

基于上述目的，本发明实施例还提供了一种电子设备，包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。

从上面所述可以看出，本发明实施例提供的针对数据倾斜的均衡负载处理方法及装置通过使用采集某一批次的流式数据并映射为中间结果，生成中间结果的复件进行分析并更新参考表，根据哈希算法与参考表将中间结果分配到多个桶中，提取中间结果进行规约的技术手段，弱化了数据倾斜，降低了作业时间，提高了系统性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的针对数据倾斜的均衡负载处理方法的流程示意图；

图2为本发明提供的针对数据倾斜的均衡负载处理方法的Shuffle过程示意图；

图3为本发明提供的针对数据倾斜的均衡负载处理方法的Shuffle数据分配示意图；

图4为本发明提供的针对数据倾斜的均衡负载处理方法的数据框架示意图；

图5为本发明提供的针对数据倾斜的均衡负载处理方法的替换策略示意图；

图6为本发明提供的执行所述针对数据倾斜的均衡负载处理方法的电子设备的一个实施例的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

基于上述目的，本发明实施例的第一个方面，提出了一种能够针对不同用户或不同类型的节点进行针对数据倾斜的均衡负载处理的针对数据倾斜的均衡负载处理方法的第一个实施例。

图1所示出的是本发明提供的针对数据倾斜的均衡负载处理方法的第一个实施例的流程示意图。所述针对数据倾斜的均衡负载处理方法包括：

步骤S101，采集某一批次的流式数据并映射为中间结果；

步骤S103，生成中间结果的复件，对所述复件进行分析并更新参考表；

步骤S105，根据哈希算法与参考表将中间结果分配到多个桶中；

步骤S107，从桶中提取中间结果进行规约。

对所述复件进行等距采样获得样本数据；

对样本数据中的所有键值对进行统计，获得键的统计数；

根据键的统计数确定每个桶中的键值对数量；

根据每个桶中的键值对数量与桶数量确定桶平均容量阈值；

根据每个桶中的键值对数量生成参考表。

在一些实施方式中，所述根据哈希算法与参考表将中间结果分配到多个桶中，包括：

确定中间结果中的所有簇的大小并按照由大到小的顺序排列；

依次选取每一个簇并根据哈希算法确定被选取簇应对应的桶；

根据被选取簇应对应的桶剩余空间大小、被选取簇的大小与其他桶剩余空间大小更新参考表；

根据参考表将中间结果分配到多个桶中。

在一些实施方式中：

在一些实施方式中，所述计算每个桶的数据倾斜度包括：

从上述实施例可以看出，本发明实施例提供的针对数据倾斜的均衡负载处理方法通过使用采集某一批次的流式数据并映射为中间结果，生成中间结果的复件进行分析并更新参考表，根据哈希算法与参考表将中间结果分配到多个桶中，提取中间结果进行规约的技术手段，弱化了数据倾斜，降低了作业时间，提高了系统性能。

基于上述目的，本发明实施例的第二个方面，提出了一种能够针对不同用户或不同类型的用户进行针对数据倾斜的均衡负载处理方法的第二个实施例。

Spark围绕着弹性分布式数据集(RDD)的概念，这是一个可以并行操作的容错元素集合。Spark在包含任何类型的对象的RDD上的操作，像“shuffle”这样的特殊操作只能用于键值对型的RDD。Shuffle十分常见，它是Spark用于重新分发数据的机制，例如通过键来分组或聚合元素。在Spark中，数据通常不会跨分区分布到特定操作所需的位置。在计算期间，单个任务将在单个分区上操作。要组织单个reduce任务的所有数据以执行，Spark需要执行一个all-to-all操作。它必须从所有分区读取以找到所有键的所有值，然后将各分区中对应某键的值汇集在一起以计算每个键的最终结果，这被称为shuffle。为了整理shuffle的数据，Spark生成一组map(映射)任务来组织数据，一组reduce(规约)任务来聚合它。与MapReduce中的shuffle类似，Spark中的shuffle对mapper的输出分区，并将它们发送到不同的reducer。

如图2所示，mapper和reducer分别是map任务和reduce任务的容器。在这个框架中，输出数据被组织为簇，并在mapper和reducer之间传输，簇是所有共享同一个键的键值对的集合，桶是相关reducer收集map任务输出的数组缓冲区。“shuffle write”表示将簇发送到桶的过程。Spark中的标准实现使用哈希法将簇分配到桶中。对于某些种类的数据，默认哈希可能导致这些桶的大小不同。“shuffle fetch”显示reducer从桶中提取数据，并且由相同reducer处理的所有簇构成一个分区。由于分区的大小由相关键值对的数量决定，我们将键的不均匀分布描述为“键倾斜”，我们也可以将其称为“数据倾斜”。键倾斜导致不同的分区大小，这可以被描述为“分区倾斜”，并且它可能导致不同reducer的工作负载之间的巨大差距。由于中间数据键倾斜总是存在，尤其是对于内存计算框架，它已经成为Spark分布式环境中的主要性能瓶颈之一。

图3展示出的是Spark中基于哈希法的簇的默认分配机制。输入数据分配给map任务，map任务处理这些数据，并产生中间输出，通常这些中间输出将被用哈希法分区到相应的桶中。这些中间输出都是键值对，拥有同一个键的键值对集合是簇。由于拥有同一个键的键值对的量是不同的，所以各簇的尺寸不相等。

我们设有m种键，并且桶的数量为n。本发明实施例使用I来表示来自map任务的中间结果：

其中，k表示键，v表示值，K和V分别是键和值的集合：

K＝{k₁,k₂,…,k_m}, (2)

是k_i对应的一个值，中的是拥有同一个k_i的键值对的数目。一个簇可以被公式化为包含某一特定键k_i对应的所有键值对的集合：

放入同一个桶j的键被描述为：

其中，l_j是桶j中的键数目，0≤l_j≤m。

中间结果根据元组的键被分配到各个桶。通过这种方式，属于同一簇的所有元组被放置在同一个桶中。因此，桶是一个或多个簇的“容器”。我们可以将桶j形式化为：

在该模型中，为了量化由桶接收的簇，考虑数据倾斜的影响，一些初始和中间对象与他们的关系可以被形式化如下。

桶j包含的键值对的数量被表示为BS_j：

在此基础上，我们可以计算所有桶的键值元组的平均数量：

其中，元素n_b是桶数目。

为了测量桶的数据倾斜度，我们提出一种指示符DSDoB(桶的数据倾斜度)来量化数据倾斜：

DSDoB的值越小，分区倾斜越弱。本发明实施例把通过哈希法处理数据时计算的DSDoB值当作数据倾斜度。

Spark中的传统分配机制缺乏对内部数据分布的感知。基于对流数据的采样，本文提出了一种改进的计算框架，以预测到达数据的不同键的近似比例，预测结果可以用作负载均衡分区策略的基础。

图4示出了一个关于Spark Streaming的改进架构。Spark Streaming接收实时输入数据流，并将数据分成批次，然后由Spark引擎处理以批量生成最终结果流。与Spark引擎中的其他Partitioner方法相比，我们提出的SP-Partitoner包含两个模块：采样与分析模块和分配模块。

在数据采样与分析模块中，为了获得簇的分配策略，有必要预测中间键的分布。第一步是采样。为了满足简单准确的标准，我们采用等距采样获取样本数据。后到来的中间数据中的所有簇的大体尺寸可以利用样本数据中的键的统计数来预测。后到来的中间数据是经过map阶段的数据的结果。默认第一批数据是第一个样本。为了不影响我们的应用程序的处理过程，样本数据将被复制。

如图4所示，本发明实施例选择第(x-1)批次的数据作为样本。我们复制这个样本得到复件(x-1)来作为分析函数的输入数据。之后，分析函数将计算出样本数据中的键的统计数，以生成均衡分区策略的参考表，参考表将指明如何将簇分配给桶。在本文中，如何分配簇取决于目标桶的阈值。为了尽可能公平地填充目标桶，一旦簇太大而超出桶阈值，那它将被分配给其他桶，除非所有其他的桶不能容纳它。所有分配策略将被存储在参考表中，作为对接下来到来的数据的数据分布的预测，以指导对它们的分配。通过这样，我们可以减轻分区倾斜。

参考表记录两个细节，一个是这些迁移的簇的键，另一个是它们移入其中的桶的地址。这两个细节信息分别被标记为“Key”和“Bucket ID”。

在分配模块中，分配函数是核心。当处理键值对时，其键位于参考表中的键值对将获得相应的桶ID，而其他键值对仍将通过默认哈希法来分区，以降低复杂性。

在分配模块之后，结果可以由其他操作处理，最终结果将按时间顺序输出。如图4所示，第(x-1)批处理的结果是数据(x-1)。考虑到中间键在数据中的分布可能随时间改变，预测将变得不准确。因此，随着每个批次数据到达，数据采样将周期性地进行，其中s是步长，s>0，并且在最新采样之后的第s批数据将被选择为下一样本。图4中的s等于3，因此选择第(x+2)批数据作为下一个样本。

在图4中的采样与分析模块中，复制过程保证了作为样本的那批数据的正常处理不会受到影响，因为所有的分析操作都对复制数据执行。在获得诸如键、这些键对应的簇和这些簇对应的桶ID之类的统计数据之后，直接计算样本的数据倾斜度。我们将每个桶的阈值记录为其可以计算如下：

其中m_sample是簇的数量，是桶的数量。因为包含簇的数量有上限，桶的当前剩余空间被表示为

如图5所示，在开始时，是在计算所有簇的大小之后被计算，然后将所有桶的当前剩余空间初始化为之后，我们按照簇大小对簇集进行降序排序。从最大的簇C_max开始，如果簇应被放入桶x，并且如果则该簇将不被迁移。然而，如果则该簇将被迁移到下一个桶，除非其剩余空间仍然不足，该过程将持续直到所有桶不能在阈值以下容纳该簇。如果所有桶无法容纳该簇，则不会迁移该簇。按降序处理这些簇可以减少这种情况。在这种情况下，我们只是尽可能平均地填充这些桶，很难完全消除分区倾斜，但我们的方法在大多数情况下运行良好，原因是簇大小不总是那么大。通过这个过程，各个桶中来自特定mapper的数据量被调度得大致相等。

如图5所示，在哈希法下，应该把簇1到簇4分配到桶1中，应该把簇4和簇5分配到桶2中，并且应该把簇7到簇9分配到桶m中。很明显，这些桶中数据量不相等。通过替换策略，首先分配较大的簇。当簇8太大而不能被分配到桶m中时，它被移动到桶2中，并且该迁移被记录在参考表中，“Key”为簇8的键且“Bucket ID”为2。接下来，簇3遇到没有桶可以容纳它的问题，所以它被留在桶1中。现在桶1的大小已经达到阈值，簇4必须去其他桶，幸运的是，它足够小，可以被分配到桶m中，因此这个迁移被记录在参考表中，“Key”为簇4的键，“BucketID”为m。

在所有这些键值对被分配之前，将检查其键是否在参考表中。当键在参考表中时，其对应的键值对将被分配到参考表中相关“Bucket ID”指向的桶。如果不在，键值对分配将遵循哈希法。

本发明实施例开发了算法SPP如下。

首先，复制样本数据。

从第2行到第7行的伪代码展示了初始工作。当样本数据的副本被获得时，首先对所有簇的大小进行统计，然后计算桶的平均大小。所有桶的剩余空间被初始化为桶的平均大小。根据Spark Streaming的处理机制，我们可以将一批样本数据的数据量作为每批数据的预测数据量。由于数据批次间隔时间固定，当数据输入速率稳定时，一批数据的数据量也会稳定。

第10行检查簇是否可以被分配到默认桶中，当此簇超大时，算法SPP将检查其他桶是否可以容纳它，如第14行所示。最终，簇将被分配给可以容纳它们的桶或它们的默认桶，在那之后，得到簇的桶的剩余空间将被重新计算，如第12行、第18行和第21行所示。

在最好的情况下，默认桶总是能够容纳簇，因此时间复杂度为O(1)。最糟糕的情况是，簇不能被分配给任何桶，它们必须放在默认桶中。在这种情况下，时间复杂度为O(n)。综上所述，我们的算法SPP的时间复杂度是O(n)，因此，我们的算法的实现并不难，也意味着分析模块将只占很少时间。

本发明实施例专注于如何将map任务的输出数据放置到合适的桶中。对于map任务的输出，Spark中的默认中间数据分派机制不能达到满足倾斜数据的效率。缓解数据倾斜对于提高Spark性能非常重要。在本研究中，我们提出了一个名为SP-Partitioner的新Partitioner。它是分区倾斜问题的实际解决方案，非常适合流计算模式，此外，它在SparkStreaming中表现良好。实验验证可以通过在SP-Partitioner中的数据替换来改进用于map任务的数据容器之间的负载均衡。本发明实施例通过在虚拟机集群中的实验来评估SP-Partitioner的有效性，与两个现有Partitioner：HashPartitioner和RangePartitioner相比，我们的SP-Partitioner能够有效地提高Spark Streaming的处理性能。

基于上述目的，本发明实施例的第三个方面，提出了一种执行所述针对数据倾斜的均衡负载处理方法的电子设备的一个实施例。

所述执行所述针对数据倾斜的均衡负载处理方法的电子设备包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述任意一种方法。

如图6所示，为本发明提供的执行所述实时通话中的语音处理方法的电子设备的一个实施例的硬件结构示意图。以如图6所示的电子设备为例，在该电子设备中包括一个处理器601以及一个存储器602，并还可以包括：输入装置603和输出装置604。

处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述针对数据倾斜的均衡负载处理方法对应的程序指令/模块。处理器601通过运行存储在存储器602中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的针对数据倾斜的均衡负载处理方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据针对数据倾斜的均衡负载处理装置的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至节点。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置603可接收输入的数字或字符信息，以及产生与针对数据倾斜的均衡负载处理装置的用户设置以及功能控制有关的键信号输入。输出装置604可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器602中，当被所述处理器601执行时，执行上述任意方法实施例中的针对数据倾斜的均衡负载处理方法。

所述执行所述针对数据倾斜的均衡负载处理方法的电子设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。所述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

此外，典型地，本公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本公开的保护范围不应限定为某种特定类型的装置、设备。本公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。

此外，根据本公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本公开的方法中限定的上述功能。

此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。

此外，应该明白的是，本文所述的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接RambusRAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能，但是这种实现决定不应被解释为导致脱离本公开的范围。

结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里所述功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或任何其它这种配置。

结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器，使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中，所述存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。

在一个或多个示例性设计中，所述功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外先、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。

公开的示例性实施例，但是应当注公开的示例性实施例，但是应当注意，在不背离权利要求限定的本公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本公开的元素可以以个体形式描述或要求，但是也可以设想多个，除非明确限制为单数。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”(“a”、“an”、“the”)旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims

1.一种针对数据倾斜的均衡负载处理方法，其特征在于，包括：

采集某一批次的流式数据并映射为中间结果；

生成中间结果的复件，对所述复件进行分析并更新参考表；

根据哈希算法与参考表将中间结果分配到多个桶中；

从桶中提取中间结果进行规约。

2.根据权利要求1所述的方法，其特征在于，所述中间结果为由键值对组成的集合，其中，所述中间结果包括多个簇，簇为与某一特定键对应的所有键值对的集合。

3.根据权利要求2所述的方法，其特征在于，对所述复件进行分析并更新参考表，包括：

对所述复件进行等距采样获得样本数据；

对样本数据中的所有键值对进行统计，获得键的统计数；

4.根据权利要求3所述的方法，其特征在于，根据键的统计数与桶数量确定桶平均容量阈值并生成参考表，包括：

根据键的统计数确定每个桶中的键值对数量；

根据每个桶中的键值对数量与桶数量确定桶平均容量阈值；

根据每个桶中的键值对数量生成参考表。

5.根据权利要求2所述的方法，其特征在于，所述根据哈希算法与参考表将中间结果分配到多个桶中，包括：

根据参考表将中间结果分配到多个桶中。

6.根据权利要求5所述的方法，其特征在于：

当被选取簇应对应的桶剩余空间大小小于被选取簇的大小，但存在其他桶剩余空间大小大于被选取簇的大小时，将被选取簇从应对应的桶迁移到其他桶的记录更新到参考表中；

7.根据权利要求5所述的方法，其特征在于，所述根据参考表将中间结果分配到多个桶中，包括：

当被选取簇在参考表中没有迁移记录时，将被选取簇按照哈希算法分配到被选取簇应对应的桶中。

8.根据权利要求1所述的方法，其特征在于，根据哈希算法与参考表将中间结果分配到多个桶中之后，计算每个桶的数据倾斜度。

9.根据权利要求8所述的方法，其特征在于，所述计算每个桶的数据倾斜度，包括：

10.一种电子设备，其特征在于，包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-9中任一项所述的方法。