CN104252338A - 一种数据处理的方法和设备 - Google Patents

一种数据处理的方法和设备 Download PDF

Info

Publication number
CN104252338A
CN104252338A CN201310256673.9A CN201310256673A CN104252338A CN 104252338 A CN104252338 A CN 104252338A CN 201310256673 A CN201310256673 A CN 201310256673A CN 104252338 A CN104252338 A CN 104252338A
Authority
CN
China
Prior art keywords
data
multilayer
shuffle
buffer
partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310256673.9A
Other languages
English (en)
Inventor
崔慧敏
冯晓兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Institute of Computing Technology of CAS
Original Assignee
Huawei Technologies Co Ltd
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd, Institute of Computing Technology of CAS filed Critical Huawei Technologies Co Ltd
Priority to CN201310256673.9A priority Critical patent/CN104252338A/zh
Priority to PCT/CN2014/080172 priority patent/WO2014206233A1/zh
Publication of CN104252338A publication Critical patent/CN104252338A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种数据处理的方法和设备，涉及计算机技术领域，通过调用图形处理器对应功能，减轻中央处理器的数据处理负担，提高了数据处理质量。该方法包括：通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器；由所述第一缓存器中调用所述数据，并进行多层洗牌，所述多层洗牌为根据所述数据的共同特征对所述数据进行分组以及统计整理，其中，所述多层洗牌包括内层洗牌和外层洗牌；将进行多层洗牌的所述数据进行统计存入第二缓存器中；将所述第二缓存器中的所述数据通过合并函数进行合并，并将所述合并后的数据缓存入结果缓存器。本发明的实施例应用于计算机数据处理技术。

Description

一种数据处理的方法和设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据处理的方法和设备。
背景技术
随着互联网产业对于数据的需求量越来越大，计算机科学的发展进入了“大数据时代”，呈现出：数据量大、产生的速度快、数据多样性明显、数据可信度无法保证的四大特征，这些特征导致计算机在面对大量数据进行处理和分析时，必须提高对“大数据”进行高效处理的能力。但是由于计算机体系结构推进到了多核/众核时代，并直接导致了芯片的多元化，使得在集群环境呈现出异构性的特点，其一，节点内部的异构性，即中央处理器CPU(Central Processing Unit)、图形处理器GPU(Graphic Processing Unit)或其他加速部件的异构性；其二，节点间的异构性，即不同处理能力节点的继承。
其中，现有技术中为解决在计算机异构性的基础上实现高效处理数据的方法包括：其一，计算机中GPU上只执行映射Mapper操作，再将Mapper的输出传输至宿主CPU，再由CPU执行分区与洗牌的操作。这里GPU和宿主CPU间数据传输量大，同时分区和洗牌操作在宿主CPU上完成，没有充分利用GPU的执行计算能力。其二，通过提供一个新的编程模型，从而在GPU上用一个函数同时执行映射Mapper和化简Reducer的操作。这里通过使用新的编程模型将MapReduce中的很多内容暴露给用户，导致用户编程压力大。
发明内容
本发明的实施例提供一种数据处理的方法和设备，通过调用图形处理器对应功能，减轻中央处理器的数据处理负担，提高了数据处理质量。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，通过一种数据处理的方法，包括：
通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器；
由所述第一缓存器中调用所述数据，并进行多层洗牌，所述多层洗牌为根据所述数据的共同特征对所述数据进行分组以及统计整理，其中，所述多层洗牌包括内层洗牌和外层洗牌；
将进行多层洗牌的所述数据进行统计存入第二缓存器中；
将所述第二缓存器中的所述数据通过合并函数进行合并，并将所述合并后的数据缓存入结果缓存器。
在第一种可能的实现方式中，结合第一方面具体包括，所述通过多层分区对数据进行分区整理，包括：
将当前分区中的数据按照预设分区策略由当前一个分区分成多个子分区。
在第二种可能的实现方式中，结合第一方面或第一种可能的实现方式具体包括，所述由所述第一缓存器中调用所述数据，并进行多层洗牌，包括：
通过所述内层洗牌将所述数据根据所述数据的共同特征进行分组，将具有所述共同特征的数据分入相同的子分区，所述内层洗牌为将所述数据按照所述数据的共同特征进行分类；
根据所述内层洗牌得到的多个子分区的数据通过所述外层洗牌进行统计整理，所述外层洗牌为根据所述预设的分区策略统计所述内层洗牌后的多个子分区中的数据。
在第三种可能的实现方式中，结合第一方面具体包括，所述通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器之前，还包括：
调用图形处理器中的函数组，并根据所述函数组处理对应的所述数据，所述函数组包括：映射函数Mapper、分区函数Partitioner、洗牌函数Shuffler和合成函数Combiner。
第二方面，提供一种数据处理设备，包括：
分区单元，用于通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器；
洗牌单元，用于由所述第一缓存器中调用所述数据，并进行多层洗牌，，所述多层洗牌为根据所述数据的共同特征对所述数据进行分组以及统计整理，其中，所述多层洗牌包括内层洗牌和外层洗牌；
缓存单元，用于将进行多层洗牌的所述数据进行统计存入第二缓存器中；
合并单元，用于将所述第二缓存器中的所述数据通过合并函数进行合并，并将所述合并后的数据缓存入结果缓存器。
在第一种可能的实现方式中，结合第二方面具体包括，所述分区单元，还用于将当前分区中的数据按照预设的分区策略由当前一个分区分成多个子分区。
在第二种可能的实现方式中，结合第二方面或第一种可能的实现方式具体包括，所述洗牌单元，包括：
内部洗牌子单元，用于通过所述内层洗牌将所述数据根据所述数据的共同特征进行分组，将具有所述共同特征的数据分入相同的子分区，所述内层洗牌为将所述数据按照所述数据的共同特征进行分类；
外部洗牌子单元，用于根据所述内层洗牌得到的多个子分区的数据通过所述外层洗牌进行统计整理，所述外层洗牌为根据所述预设的分区策略统计所述内层洗牌后的多个子分区中的数据。
在第三种可能的实现方式中，结合第二方面具体包括，所述设备还包括：
调用单元，用于在通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器之前，调用图形处理器中的函数组，并根据所述函数组处理对应的所述数据，所述函数组包括：映射函数Mapper、分区函数Partitioner、洗牌函数Shuffler和合成函数Combiner。
本发明实施例提供的数据处理的方法和设备，通过调用图形处理器中的函数组，将当前分区中的一组数据按照该分区策略分成多组数据，并将该多组数据分别分配至多个子分区中，然后通过多层洗牌，将多个子分区中的数据进行统计整理，在多层分区以及多层洗牌的数据处理下体现了图形处理器高效的数据处理能力，从而通过调用图形处理器对应功能，减轻中央处理器的数据处理负担，提高了数据处理质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据处理的方法的流程示意图；
图2为本发明实施例提供的一种数据处理的方法中多层分区的结构示意图；
图3为本发明实施例提供的一种数据处理的方法中多层洗牌的流程示意图；
图4为本发明实施例提供的一种数据处理的方法中对数据进行多层分区及多层洗牌的流程示意图；
图5为本发明实施例提供的一种数据处理设备的结构示意图；
图6为本发明实施例提供的另一种数据处理设备的结构示意图；
图7为本发明实施例提供的又一种数据处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的一种数据处理的方法，以图形处理器GPU(Graphic Processing Unit)为例，通过依次调用图形处理器中的映射函数Mapper、分区函数Partitioner、洗牌函数Shuffler和合成函数Combiner作为内核Kernel处理原CPU中的数据，降低了CPU与GPU之间的数据传输需求，具体实现方式如本发明提供一种数据处理的方法所述，参照图1所示，包括以下流程：
101、图形处理器通过多层分区对数据进行分区整理，并将该分区整理后的数据存入第一缓存器。
这里在图形处理器通过多层分区时对数据进行分区管理，并将该数据存入第一缓存器之前，调用图形处理器中的函数组，并根据该函数组处理对应的所述数据，该函数组包括：映射函数Mapper、分区函数Partitioner、洗牌函数Shuffler和合成函数Combiner。
其中，GPU从系统中获得GPU任务槽，并启动GPU的执行引擎，GPU的任务引擎首先调用用户提供的映射函数Mapper Kernel对执行缓存Working Buffer中的数据进行处理。然后对数据进行分区，此时若用户没有提供自定义的分区Partitioner函数，则自动调用GPU内嵌的多层Partitioner对数据进行分区，否则在用户指定的Partitioner基础上自定义一个子分区sub-partitioner函数对数据进行多层分区，并将分区后的数据存入一个临时的缓存器buffer1中。
具体的，GPU在多层分区时的处理方法如下所述：
在多层分区Partitioner阶段，通过增加GPU中的分区数目，将分区数目由P个扩展为M*P(其中M为扩展因子)，并设置一个自动生成的子分区sub-partitioner函数。在设置子分区sub-partitioner函数时，需要保证：(1)Pi-j是Pi的一个子集，即根据预设的分区扩展策略将原有的一个分区分为多个子分区；(2)Pi-j的排序方法与Pi相同，即分好的子分区中的排序与原有Pi的排序保持一致；(3)对于任意一个Pi-j1中的元素A，以及Pi-j2中的任意一个元素B，子分区的策略需要保证A＜＝B，并且j1＜＝j2。具体的如图2中的多层分区后子分区sub-partitioner结构所示。
102、图形处理器由该第一缓存器中调用数据，并进行多层洗牌。
其中，该多层洗牌为根据该数据的共同特征对该数据进行分组以及统计整理，其中，多层洗牌包括内层洗牌和外层洗牌。
这里根据步骤101中所述，GPU对缓存入缓存器buffer1中已经分区完毕的数据进行洗牌操作，其中，内层的洗牌Shuffler将数据按照子分区sub-partitioner进行洗牌，然后外层的洗牌Shuffler将不同的子分区sub-partitioner中的数据进行合并，并将该数据存入缓存器buffer2中。
具体的，GPU在多层洗牌时的处理方法如下所述：
多层洗牌包括两层，其中内层洗牌时，每个线程warp处理一个子分区，并对其进行洗牌，同时按照特征Key值相同的进行分组；
在外层洗牌时，将子分区按预设的分区策略进行统计合并成分区，由于在子分区时已经按照原有分区的排序进行了分区，因此外层洗牌仅需要进行简单的合并操作，不需要改变数据的顺序，仅将同属于一个分区的子分区合并放入到中间数据中。
参照图3所示：这里图3所示为多层洗牌后由子分区合并入分区的过程，该过程中子分区P1-1、P3-1、P1-2、P2-1、P2-2、P3-2、P1-1和P1-2通过内层洗牌先将特征值相同的分入同一个分区，在通过外层洗牌将多个子分区合并成若干分区。
103、图形处理器将进行多层洗牌的数据进行统计存入第二缓存器中。
104、图形处理器将第二缓存器中的数据通过合并函数进行合并，并将合并后的数据缓存入结果缓存器。
这里GPU通过多次分区操作以及多层洗牌操作并行的自动调用用户提供的合成Combiner函数，并将合成后的数据存入结果缓存器resultbuffer中。
其中，在GPU在处理数据的过程中，在洗牌Shuffler阶段，通过使用多层分区进而采用多层洗牌的方法满足了数据传输充足的并行度以及避免了数据竞争。
具体的，本方案中可以以字母参数为例，如图4所示：
这里如图4所示，以字母参数Wordcount为例，统计每个单词出现的次数，通过分区函数定义初始字母a～d之间的为分区1，e～h之间为分区2，其他的为分区3。这样根据这一分区函数定义，将分区中进行进一步分区，即按照子分区函数继续分区，将初始字母在a～b之间的单词定义为分区1中的子分区1，初始字母在c～d之间的单词定义为分区1中的子分区2，初始字母为e的单词分为分区2中的子分区1，初始字母为f～h的单词为分区2中的子分区2，初始字母为i～n的单词分为分区3中的子分区1，其他的单词为分区3中的子分区2。具体如图4所示，通过统计单词发现，初始字母a～d之间的单词包括：Apple和class；初始字母e～h之间的单词包括：egg和friend；其他的单词包括：mother和pie；其中，在多层分区之前，分区1中，Apple和class在各自的分区中各出现2次；分区2中，egg和friend在各自的分区中出现1次；分区3中，mother和pie在各自的分区中各自出现1次。
在多层分区之后，分区1的子分区1中初始字母在a～b之间的单词为Apple，记作：P1-1；分区1的子分区2中初始字母在c～d之间的单词为class，记作：P1-2；分区2的子分区1中初始字母为e的单词为egg，记作：P2-1；分区2的子分区2中初始字母为f～h的单词为friend，记作：P2-2；分区3的子分区1中初始字母为i～n的单词为mother，记作：P3-1；分区3的子分区2中其他的单词为pie，记作：P3-2。
多层分区根据上述定义的子分区函数将分区分为3个分区(6个子分区)。然后多层洗牌的内层洗牌对每一个子分区进行洗牌，得到每个子分区洗牌后的数据；再经过外层洗牌将不同分区进行统计合并，得到最终的统计结果。具体如图4所示，通过内层洗牌，得到多个多层分区后的子分区中的统计数据，即根据初始字母的分区方式进行统计多层分区后的多个子分区中P1-1，P1-2，P2-1，P2-2，P3-1和P3-2的单词个数，再由外层洗牌，将多个子分区中的数据合并为分区。
本发明实施例提供的数据处理的方法，通过调用图形处理器中的函数组，将当前分区中的一组数据按照该分区策略分成多组数据，并将该多组数据分别分配至多个子分区中，然后通过多层洗牌，将多个子分区中的数据进行统计整理，在多层分区以及多层洗牌的数据处理下体现了图形处理器高效的数据处理能力，从而通过调用图形处理器对应功能，减轻中央处理器的数据处理负担，提高了数据处理质量。
本发明实施例进一步给出实现上述方法实施例中的方法或步骤的装置实施例。
本发明实施例提供一种数据处理设备2，该数据处理设备具体为计算机架构中任一种模块，如图形处理器GPU(Graphic Processing Unit)在计算机架构中这种能够实现数据处理的方法，以可以实现本发明的实施例所提供的上述任一数据处理的方法为准，参照图5所示，包括：
分区单元21，用于通过多层分区对数据进行分区整理，并将该分区整理后的数据存入第一缓存器；
洗牌单元22，用于由第一缓存器中调用所述数据，并进行多层洗牌，该多层洗牌为根据该数据的共同特征对该数据进行分组以及统计整理，其中，多层洗牌包括内层洗牌和外层洗牌；
缓存单元23，用于将进行多层洗牌的数据进行统计存入第二缓存器中；
合并单元24，用于将第二缓存器中的数据通过合并函数进行合并，并将合并后的数据缓存入结果缓存器。
本发明实施例提供的数据处理设备，通过调用图形处理器中的函数组，将当前分区中的一组数据按照该分区策略分成多组数据，并将该多组数据分别分配至多个子分区中，然后通过多层洗牌，将多个子分区中的数据进行统计整理，在多层分区以及多层洗牌的数据处理下体现了图形处理器高效的数据处理能力，从而通过调用图形处理器对应功能，减轻中央处理器的数据处理负担，提高了数据处理质量。
进一步的，分区单元21，分区子单元211，还用于将当前分区中的数据按照预设的分区策略由当前一个分区分成多个子分区将当前分区按照预设分区策略分成多个子分区。
可选的，洗牌单元22，参照图6所示，包括：
内部洗牌子单元221，用于通过内层洗牌将数据根据数据的共同特征进行分组，将具有共同特征的数据分入相同的子分区，该内层洗牌为将数据按照数据的共同特征进行分类；
外部洗牌子单元222，用于根据内层洗牌得到的多个子分区的数据通过外层洗牌进行统计整理，该外层洗牌为根据预设的分区策略统计内层洗牌后的多个子分区中的数据。
可选的，数据处理设备2，参照图7所示，还包括：
调用单元25，用于在通过多层分区对数据进行分区整理，并将分区整理后的数据存入第一缓存器之前，调用图形处理器中的函数组，并根据函数组处理对应的所述数据，该函数组包括：映射函数Mapper、分区函数Partitioner、洗牌函数Shuffler和合成函数Combiner。
本发明实施例提供的数据处理设备，通过调用图形处理器中的函数组，将当前分区中的一组数据按照该分区策略分成多组数据，并将该多组数据分别分配至多个子分区中，然后通过多层洗牌，将多个子分区中的数据进行统计整理，在多层分区以及多层洗牌的数据处理下体现了图形处理器高效的数据处理能力，从而通过调用图形处理器对应功能，减轻中央处理器的数据处理负担，提高了数据处理质量。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种数据处理的方法，其特征在于，包括：
通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器；
由所述第一缓存器中调用所述数据，并进行多层洗牌，所述多层洗牌为根据所述数据的共同特征对所述数据进行分组以及统计整理，其中，所述多层洗牌包括内层洗牌和外层洗牌；
将进行多层洗牌的所述数据进行统计存入第二缓存器中；
将所述第二缓存器中的所述数据通过合并函数进行合并，并将所述合并后的数据缓存入结果缓存器。
2.根据权利要求1所述的方法，其特征在于，所述通过多层分区对数据进行分区整理，包括：
将当前分区中的数据按照预设的分区策略由当前一个分区分成多个子分区。
3.根据权利要求1或2所述的方法，其特征在于，所述由所述第一缓存器中调用所述数据，并进行多层洗牌，包括：
通过所述内层洗牌将所述数据根据所述数据的共同特征进行分组，将具有所述共同特征的数据分入相同的子分区，所述内层洗牌为将所述数据按照所述数据的共同特征进行分类；
根据所述内层洗牌得到的多个子分区的数据通过所述外层洗牌进行统计整理，所述外层洗牌为根据所述预设的分区策略统计所述内层洗牌后的多个子分区中的数据。
4.根据权利要求1所述的方法，其特征在于，所述通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器之前，还包括：
调用图形处理器中的函数组，并根据所述函数组处理对应的所述数据，所述函数组包括：映射函数Mapper、分区函数Partitioner、洗牌函数Shuffler和合成函数Combiner。
5.一种数据处理设备，其特征在于，包括：
分区单元，用于通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器；
洗牌单元，用于由所述第一缓存器中调用所述数据，并进行多层洗牌，所述多层洗牌为根据所述数据的共同特征对所述数据进行分组以及统计整理，其中，所述多层洗牌包括内层洗牌和外层洗牌；
缓存单元，用于将进行多层洗牌的所述数据进行统计存入第二缓存器中；
合并单元，用于将所述第二缓存器中的所述数据通过合并函数进行合并，并将所述合并后的数据缓存入结果缓存器。
6.根据权利要求5所述的设备，其特征在于，
所述分区单元，还用于将当前分区中的数据按照预设的分区策略由当前一个分区分成多个子分区。
7.根据权利要求5或6所述的设备，其特征在于，所述洗牌单元，包括：
内部洗牌子单元，用于通过所述内层洗牌将所述数据根据所述数据的共同特征进行分组，将具有所述共同特征的数据分入相同的子分区，所述内层洗牌为将所述数据按照所述数据的共同特征进行分类；
外部洗牌子单元，用于根据所述内层洗牌得到的多个子分区的数据通过所述外层洗牌进行统计整理，所述外层洗牌为根据所述预设的分区策略统计所述内层洗牌后的多个子分区中的数据。
8.根据权利要求5所述的设备，其特征在于，所述设备还包括：
调用单元，用于在通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器之前，调用图形处理器中的函数组，并根据所述函数组处理对应的所述数据，所述函数组包括：映射函数Mapper、分区函数Partitioner、洗牌函数Shuffler和合成函数Combiner。
CN201310256673.9A 2013-06-25 2013-06-25 一种数据处理的方法和设备 Pending CN104252338A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310256673.9A CN104252338A (zh) 2013-06-25 2013-06-25 一种数据处理的方法和设备
PCT/CN2014/080172 WO2014206233A1 (zh) 2013-06-25 2014-06-18 一种数据处理的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310256673.9A CN104252338A (zh) 2013-06-25 2013-06-25 一种数据处理的方法和设备

Publications (1)

Publication Number Publication Date
CN104252338A true CN104252338A (zh) 2014-12-31

Family

ID=52141038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310256673.9A Pending CN104252338A (zh) 2013-06-25 2013-06-25 一种数据处理的方法和设备

Country Status (2)

Country Link
CN (1) CN104252338A (zh)
WO (1) WO2014206233A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017092660A1 (en) * 2015-12-01 2017-06-08 International Business Machines Corporation Vehicle domain multi-level parallel buffering and context-based streaming data pre-processing system
CN111338977A (zh) * 2018-12-18 2020-06-26 西部数据技术公司 具有数据整形存储器分区的非易失性存储系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541858A (zh) * 2010-12-07 2012-07-04 腾讯科技（深圳）有限公司 基于映射和规约的数据均衡性处理方法、装置及系统
CN102629219A (zh) * 2012-02-27 2012-08-08 北京大学 并行计算框架中的Reduce端自适应负载均衡方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894051A (zh) * 2010-07-29 2010-11-24 中国科学技术大学 基于主辅数据结构的cpu-gpu合作计算方法
CN102156657A (zh) * 2010-08-26 2011-08-17 高瞻 基于多态进程重组协处理矩阵的多个子任务云异步协同处理方法
US8645399B2 (en) * 2012-01-03 2014-02-04 Intelius Inc. Dynamic record blocking
CN102662639A (zh) * 2012-04-10 2012-09-12 南京航空航天大学 一种基于Mapreduce的多GPU协同计算方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541858A (zh) * 2010-12-07 2012-07-04 腾讯科技（深圳）有限公司 基于映射和规约的数据均衡性处理方法、装置及系统
CN102629219A (zh) * 2012-02-27 2012-08-08 北京大学 并行计算框架中的Reduce端自适应负载均衡方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017092660A1 (en) * 2015-12-01 2017-06-08 International Business Machines Corporation Vehicle domain multi-level parallel buffering and context-based streaming data pre-processing system
CN111338977A (zh) * 2018-12-18 2020-06-26 西部数据技术公司 具有数据整形存储器分区的非易失性存储系统
CN111338977B (zh) * 2018-12-18 2023-06-30 西部数据技术公司 具有数据整形存储器分区的非易失性存储系统

Also Published As

Publication number Publication date
WO2014206233A1 (zh) 2014-12-31

Similar Documents

Publication Publication Date Title
CN110619595B (zh) 一种基于多fpga加速器互联的图计算优化方法
US20220051088A1 (en) Artificial intelligence accelerator, artificial intelligence acceleration device, artificial intelligence acceleration chip, and data processing method
WO2017121297A1 (zh) Cnn的处理方法和装置
CN110262901B (zh) 一种数据处理方法及数据处理系统
CN104536937B (zh) 基于cpu‑gpu异构集群的大数据一体机实现方法
US20020065870A1 (en) Method and apparatus for heterogeneous distributed computation
WO2017156968A1 (zh) 神经网络的计算方法、系统及其装置
CN104615488A (zh) 异构多核可重构计算平台上任务调度的方法和装置
CA3024375C (en) Reconfigurable distributed processing
CN102323917B (zh) 一种基于共享内存实现多进程共享gpu的方法
CN105183698A (zh) 一种基于多核dsp的控制处理系统和方法
CN111158790B (zh) 面向云端深度学习推理的fpga虚拟化方法
US20220147804A1 (en) Computation unit, related apparatus, and method
Chen et al. Towards efficient allocation of graph convolutional networks on hybrid computation-in-memory architecture
Mallon et al. Are today's sdn controllers ready for primetime?
CN114281521A (zh) 优化深度学习异构资源通信效率方法、系统、设备及介质
Ahmad et al. LA3: A scalable link-and locality-aware linear algebra-based graph analytics system
CN110502337B (zh) 针对Hadoop MapReduce中混洗阶段的优化系统
CN112686379A (zh) 集成电路装置、电子设备、板卡和计算方法
CN104252338A (zh) 一种数据处理的方法和设备
CN104281636A (zh) 海量报表数据并发分布式处理方法
CN105373492A (zh) 一种面向任务流的基于寄存器文件的快速数据交换结构
CN112732634B (zh) 面向边缘计算的arm-fpga协同局部动态重构处理方法
CN105138289A (zh) 计算组件的存储管理方法和装置
TWI843934B (zh) 用於處理無結構源資料的方法及系統

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20141231

RJ01 Rejection of invention patent application after publication