CN102393851A - 数据区域重叠的边界数据零通信并行计算方法和系统 - Google Patents

Abstract

本发明公开一种数据区域重叠的边界数据零通信并行计算方法，包括：将待处理的母数据分割成多个子块数据，其中每个子块数据冗余存储与之相邻的子块数据中的边界数据；将多个子块数据进行并行处理。还公开一种数据区域重叠的边界数据零通信并行计算系统，包括：数据分割模块，用于将母数据进行冗余切割；并行处理单元，用于并行处理子块数据。以及一种数据区域重叠的边界数据零通信并行计算系统，包括：数据分割模块，用于将母数据进行无冗余切割；数据交换模块，用于将相邻的子块数据的边界数据相互交换并进行冗余存储；并行处理单元，用于并行处理子块数据。上述方法和系统可以节约数据传输时等待的时间，提高并行处理的效率。

Description

数据区域重叠的边界数据零通信并行计算方法和系统

【技术领域】

本发明涉及大量数据处理，尤其是涉及一种数据区域重叠的边界数据零通信并行计算方法和系统。

【背景技术】

在对大量数据处理时，可以将数据分割成多个较小的数据块，分别同时由多个处理单元并行处理，然后将处理后的结果汇总，可以大大提高数据处理效率。

传统的并行处理中，多个相邻数据块之间需要互通有无，由于相邻数据块之间的通信，所需数据尚未到达时，会造成并行进程的等待，降低并行处理的效率。

【发明内容】

基于此，有必要提供一种能够提高并行处理效率的数据并行处理方法。

一种数据区域重叠的边界数据零通信并行计算方法，包括如下步骤：将待处理的母数据分割成多个子块数据，其中每个子块数据冗余存储与之相邻的子块数据中的边界数据；将多个子块数据进行并行处理。

优选地，所述将待处理的母数据分割成多个子块数据的步骤中，对母数据采用冗余切割，使切割后的子块数据包含冗余的边界数据。

优选地，所述将待处理的母数据分割成多个子块数据的步骤具体包括：将母数据进行无冗余切割；相邻的子块数据之间相互获取边界数据并进行冗余存储。

优选地，所示并行处理是并行计算、分布式计算、网络计算、网格计算、云计算或海计算的子步骤。

此外还提供一种数据区域重叠的边界数据零通信并行计算系统。

一种数据区域重叠的边界数据零通信并行计算系统，包括：数据分割模块，用于将母数据进行冗余切割，使每个子块数据冗余存储与之相邻的子块数据中的边界数据；并行处理单元，用于接受调度，并行处理子块数据。

优选地，所述并行处理单元用于进行并行计算、分布式计算、网络计算、网格计算、云计算或海计算。

以及一种数据区域重叠的边界数据零通信并行计算系统，包括：数据分割模块，用于将母数据进行无冗余切割；数据交换模块，用于将相邻的子块数据的边界数据相互交换并进行冗余存储；并行处理单元，用于接受调度，并行处理子块数据。

优选地，所述并行处理单元用于进行并行计算、分布式计算、网络计算、网格计算、云计算或海计算。

上述数据区域重叠的边界数据零通信并行计算方法和系统，由于子块数据冗余存储了并行处理时所需的其他子块数据的边界数据，在并行处理时不需要从其他子块数据获得，因此可以节约数据传输时等待的时间，提高并行处理的效率。

【附图说明】

图1为一实施例的数据区域重叠的边界数据零通信并行计算方法流程图；

图2为传统的数据分割示意图；

图3为图1实施例的数据区域重叠的边界数据零通信并行计算方法的分割示意图；

图4为一实施例的数据区域重叠的边界数据零通信并行计算系统模块图；

图5为另一实施例的数据区域重叠的边界数据零通信并行计算系统模块图。

【具体实施方式】

如图1所示，为一实施例的数据区域重叠的边界数据零通信并行计算方法流程图。该数据区域重叠的边界数据零通信并行计算方法包括如下步骤：

S100：将待处理的母数据分割成多个子块数据。母数据分割成的多个子块数据冗余存储与之相邻的子块数据中的边界数据。其中母数据是数据并行处理中单次处理需要较长处理时间的数据，子块数据是单次处理较为简单因此耗时较短的数据。边界数据是指对于相邻的子块数据来说，并行处理时都需要用到的数据。

母数据切割得到的子块数据，各自被并行处理单元处理所需的时间应该基本相同，以使并行处理后能够以最快的速度得到最终结果，尽量避免并行处理单元的等待。

如图2所示，为传统的数据分割示意图。母数据10被分割成多个子块数据20，其中每个子块数据20都有边界数据30。其中，相邻的子块数据20在并行处理时，需要互相获取边界数据30。

如图3所示，为本实施例的数据区域重叠的边界数据零通信并行计算方法的分割示意图。以相邻的两个子块数据202、204说明冗余存储。传统的分割方式中，子块数据202具有边界数据a，子块数据204具有边界数据b。本实施例中，子块数据202冗余存储边界数据b，子块数据204冗余存储边界数据a。即子块数据202、204均包括边界数据a、b。边界数据a、b在子块数据202、204各自对应并行处理中都要用到。

实现上述冗余存储的方式包括：冗余切割和无冗余切割后的数据交换。

冗余切割是指在数据分割时，将分割的边界拓展预设的宽度，这样就能包含其他子块数据包含的边界数据。数据分割采用诸如文件分割、数据表分割以及数据矩阵分割等方式。

无冗余切割是指按照传统的数据分割方式对母数据进行分割，被分割成的子块数据之间无数据冗余。同样可采用诸如文件分割、数据表分割以及数据矩阵分割等方式。之后各子块数据之间相互传递交换边界数据并整合到自己的边界数据中。其中数据交换可采用消息传递技术、文件传输技术等。

S200：将多个子块数据进行并行处理。并行处理单元各自得到冗余存储的子块数据后，进行并行处理。

上述并行数据处理方法，由于子块数据冗余存储了并行处理时所需的其他子块数据的边界数据，在并行处理时不需要从其他子块数据获得，因此可以节约数据传输时等待的时间，提高并行处理的效率。

如图4所示，为一实施例的并行处理系统。该系统包括数据分割模块100和并行处理单元200。

数据分割模块100将母数据进行冗余切割，使每个子块数据冗余存储与之相邻的子块数据中的边界数据。其中冗余切割是指在数据分割时，将分割的边界拓展预设的宽度。数据分割采用诸如文件分割、数据表分割以及数据矩阵分割等方式。

并行处理单元200接受调度，并行处理子块数据。并行处理单元300是进行并行计算、分布式计算、网络计算、网格计算、云计算或海计算。

如图5所示，为另一实施例的并行处理系统。该系统包括数据分割模块100’、数据交换模块200’以及并行处理单元300。数据分割模块100’将母数据进行无冗余切割，无冗余切割是指按照传统的数据分割方式对母数据进行分割，被分割成的子块数据之间无数据冗余。分割方式可采用诸如文件分割、数据表分割以及数据矩阵分割等方式。

数据交换模块200’将相邻的子块数据的边界数据相互交换并进行冗余存储。各子块数据之间相互传递交换边界数据并整合到自己的边界数据中，其中数据交换可采用消息传递技术、文件传输技术等。

并行处理单元300接受调度，并行处理子块数据。并行处理单元300是进行并行计算、分布式计算、网络计算、网格计算、云计算或海计算。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种数据区域重叠的边界数据零通信并行计算方法，包括如下步骤：

将待处理的母数据分割成多个子块数据，其中每个子块数据冗余存储与之相邻的子块数据中的边界数据；

将多个子块数据进行并行处理。

2.如权利要求1所述的数据区域重叠的边界数据零通信并行计算方法，其特征在于，所述将待处理的母数据分割成多个子块数据的步骤中，对母数据采用冗余切割，使切割后的子块数据包含冗余的边界数据。

3.如权利要求1所述的数据区域重叠的边界数据零通信并行计算方法，其特征在于，所述将待处理的母数据分割成多个子块数据的步骤具体包括：

将母数据进行无冗余切割；

相邻的子块数据之间相互获取边界数据并进行冗余存储。

4.如权利要求1所述的数据区域重叠的边界数据零通信并行计算方法，其特征在于，所示并行处理是并行计算、分布式计算、网络计算、网格计算、云计算或海计算的子步骤。

5.一种数据区域重叠的边界数据零通信并行计算系统，包括：

数据分割模块，用于将母数据进行冗余切割，使每个子块数据冗余存储与之相邻的子块数据中的边界数据；

并行处理单元，用于接受调度，并行处理子块数据。

6.如权利要求5所示的数据区域重叠的边界数据零通信并行计算系统，其特征在于，所述并行处理单元用于进行并行计算、分布式计算、网络计算、网格计算、云计算或海计算。

7.一种数据区域重叠的边界数据零通信并行计算系统，包括：

数据分割模块，用于将母数据进行无冗余切割；

数据交换模块，用于将相邻的子块数据的边界数据相互交换并进行冗余存储；

并行处理单元，用于接受调度，并行处理子块数据。

8.如权利要求7所示的数据区域重叠的边界数据零通信并行计算系统，其特征在于，所述并行处理单元用于进行并行计算、分布式计算、网络计算、网格计算、云计算或海计算。

Images