CN108920097A - 一种基于交织存储的三维数据处理方法 - Google Patents

Abstract

针对现有的FPGA+DDR方案中DDR读写效率不足的问题，本发明提供一种基于交织存储的三维数据处理系统，在保证原有核心处理能力和数据存储能力的同时，有效提高整体处理的实时性。本发明是一种基于交织存储的三维数据处理系统，包括第一维数据处理模块、第二维数据处理模块、第三维数据处理模块和DDR控制器，其中第一维数据处理模块包括一级处理模块和一级输出缓存模块，第二维数据处理模块包括二级输入缓存模块、二级处理模块、二级输出缓存模块，第三维数据处理模块包括三级输入缓存模块、三级处理模块、三级输出缓存模块。

Description

一种基于交织存储的三维数据处理方法

技术领域

本发明属于信号处理技术领域，具体涉及一种基于交织存储的三维数据处理方法。

背景技术

随着雷达、光学、图像等信号处理算法的不断精进拓展，往往会涉及到多维数据的运算，并且所需处理信息的数据量的越来越大，对性能和实时性要求也越来越高。比如，在成像技术的光谱和频域分析中，二维快速傅里叶变换(2D-FFT)是必不可少的计算流程，特别是在合成孔径雷达算法中，往往涉及到较大尺寸图像的处理，此时需要处理的数字信号会变的十分庞大。在MIMO雷达的相关算法中，往往会涉及到三维数据的处理，在数据量上更是多出一个维度，此外其往往要求能达到实时处理。因此对大数据量多维数据的高效处理，成为一项当前急需解决的问题。

目前在实现不同领域实现多维数据处理时，有如下几种方案：

1.DSP或GPU方案，DSP和GPU是一种专门用于信号处理的微处理器，内部集成了专用的硬件乘法器，特殊的指令一级快速的指令周期，使其能够在短时间内完成大部分相对复杂的计算，缩短开发周期。但受限于串行指令流的工作方式，在处理大量复杂运算时，其运算效率、执行速度、实时性等方面还不能很好的满足工程需求。

2.FPGA方案，现场可编程逻辑门阵列(FPGA)由大量的逻辑、计算、存储等单元组成，可以根据需求配置这些基本单元，具有很强的灵活性。由于FPGA内每个逻辑门在每个时钟周期内都可以同时进行某种逻辑计算，因此可以实现并行计算，很大程度上提高运算效率。随着EDA技术和微电子技术的进步，FPGA的工作时钟可以达到百兆级别，使得FPGA在超高速、实时信号处理等方面可以很好的满足需求。但是其内部自带的存储单元往往只有几十兆比特大小，当遇到大数据量数据计算时，没有足够的空间存储数据，依然无法满足需求。

3.普通的FPGA+DDR方案，在使用FPGA作为核心处理器的前提下，增加了DDR作为外部存储器件。DDR作为一种存储外设，容量可以达到吉比特量级，可以有效的弥补空间不足的问题。DDR在存储结构上采用多个Bank(存储库)的方式，每个逻辑Bank即为一个存储阵列，对应每个存储阵列又需要根据行地址和列地址对阵列中的每个存储单元进行寻址。在实际工作时，Bank的地址和行地址是同时发生的，此时这个命令称之为“行有效”或者“行激活”，然后发送列地址和具体的操作命令(读或写)，从而完成一次完整的读或写操作。如果先后寻址的两个单元在行时，不需要再发起一次“行有效”命令。当对多维数据进行操作时，处理完第一维数据，会按照第一维的的顺序将数据存储到DDR中，在进行第二维数据处理时，需要按照第二维的方向读取数据，这里会存在频繁跳地址的问题，即先后寻址的两个单元不在一行内，每次寻址都需要发起两次寻址操作，因此会极大的降低寻址效率，影响处理的实时性。

发明内容

针对现有的FPGA+DDR方案中DDR读写效率不足的问题，本发明提供一种基于交织存储的三维数据处理方法，在保证原有核心处理能力和数据存储能力的同时，有效提供整体处理的实时性。

本发明通过以下技术方案实现：

一种基于交织存储的三维数据处理方法，设输入数据规格为Z×M×N，即Z层M行N列，每层中二维数据的每个元素用a_i，j表示，根据DDR属性对二维数据进行分块，设DDR一个Bank中一行可以存储m×n个数据，则将二维数据按照m×n分块，令第i行第j列对应的分块用R_pC_q表示，则将每层的原始数据分为x×y块，其中x＝M/m，y＝N/n；p＝1….x,q＝1….y；具体数据处理包括以下步骤：

步骤一、输入数据按照第一个维度，即行方向，进入一级处理模块进行数据处理，处理后的结果缓存到一级缓存模块；以此类推，缓存m行数据，即缓存y个数据块；

步骤二、将R₁C₁、R₁C₂、R₁C₃…R₁C_y对应的小块数据依次缓存到DDR第1行、第2行、第3行…第y行中；将R₂C₁、R₂C₂、R₂C₃…R₂C_y对应的小块数据，缓存到DDR的第y+1行、第y+2行、第y+3行…第2y行中，直到第一层数据全部缓存到DDR；以此类推，依次缓存其他层数据到DDR中；

步骤三、二级输入缓存模块按R₁C₁、R₂C₁…R_xC₁的顺序读取DDR中的数据块并缓存；缓存完第一层第一列分块数据后，按a_1，1、a_2，1、a_3，1…a_M，1、a_1，2、a_2，2、a_3，2…a_M，2……a_1，n、a_2，n、a_3，n…a_M，n的顺序输入到二级处理模块；

步骤四、二级处理模块对数据进行处理，并将处理后的数据输出到二级输出缓存模块中，缓存完一列分块数据后，按a_1，1、a_1，2、a_1，3…a_1，n、a_2，1、a_2，2、a_2，3…a_2，n……a_m，1、a_m，2、a_m，3…a_m，n……a_M，1、a_M，2、a_M，3…a_M，n的顺序存到DDR中；以此类推，直至将第1层中第2列、第3列…第y列分块数据缓存到DDR中；

步骤五、重复步骤四，将Z层数据全部缓存到DDR中；

步骤六、依次读取DDR中第一层第一行第一块数据，第二层第一行第一块数据，直至每层第一行第一块数据读取完成，全部缓存到三级输入缓存模块；

步骤七、按照每层的a_1，1、a_1，2…a_1，n…a_2，1、a_2，2、a_2，3…a_2，n……a_m，1、a_m，2、a_m，3…a_m，n顺序读取三级输入缓存模块中缓存的数据，并输入到三级处理模块；

步骤八、三级处理模块将数据处理后发送至三级输出缓存模块；

步骤九、三级输出缓存模块缓存完每层第一个分块数据时，按照第一层第一块数据、第二层第一块数据、第三层第一块数据…、第Z层第一块数据的顺序缓存到DDR中；

步骤十、以此类推，完成每层第二块、每层第三块数据读取和存储，直到所有层的数据存储完成。

本发明的有益效果：

DDR本身可以存储大量数据，但是读写DDR需要尽量保证一行一行读写，如果第一行读一个数，第二行读一个数...这样效率非常低，读写速度严重受影响。本发明采用交织存储的方法，即将原始数据的排列顺序打散，以另外一种顺序输出，解决DDR读写的限制，可以有效的提高读写效率，在处理多维的大数据量数据时有效提高实时性，处理速度更快。

附图说明

图1为基于交织存储的三维数据处理实现方案硬件框图；

图2三维数据排列格式示意图

图3为二维数据分块示意图；

图4为一级处理模块输出结果写入DDR的数据缓存示意图；

图5为从DDR中读取数据送入二级处理模块的数据缓存示意图；

图6为从DDR中读取数据送入三级处理模块的数据缓存示意图。

具体实施方式

下面结合附图对本发明进行进一步描述。

如图1所示，本发明依据基于交织存储的三维数据处理系统实现，该系统包括第一维数据处理模块、第二维数据处理模块、第三维数据处理模块和DDR控制器，其中第一维数据处理模块包括一级处理模块和一级输出缓存模块，第二维数据处理模块包括二级输入缓存模块、二级处理模块、二级输出缓存模块，第三维数据处理模块包括三级输入缓存模块、三级处理模块、三级输出缓存模块；其中：

所述一级处理模块接收输入三维数据，进行第一个维度的数据处理，并将数据处理结果输入一级输出缓存模块进行缓存；

所述一级输出缓存模块将缓存结果输出给DDR控制器；

所述二级输入缓存模块读取DDR控制器中存储的处理结果，然后输出给二级处理模块；

所述二级处理模块对三维数据的第二个维度进行计算，并将计算结果输出给二级输出缓存模块；

所述二级输出缓存模块缓存二级处理模块的输出结果，将其输出给DDR控制器；

所述三级输入缓存模块读取DDR控制器中存储的处理结果，然后输出给三级处理模块；

所述三级处理模块对三维数据的第三个维度进行计算，并将计算结果输出给三级输出缓存模块；

所述三级输出缓存模块缓存三级处理模块的输出结果，输出给DDR控制器。

如图2所示，假设三维数据规格为Z×M×N，即Z层M行N列，每层中二维数据的每个元素用a_i，j表示。

如图3所示，首先根据DDR属性对二维数据进行分块。假设DDR一个Bank中一行可以存储m×n个数据，则将二维数据按照m×n分块，令第i行第j列对应的分块用RiCj表示，则可以将每层的原始数据分为x×y块，其中x＝M/m，y＝N/n。

如图4所示，输入数据按照第一个维度，即行方向，进入一级处理模块进行数据处理，处理后的结果需要缓存到FPGA片内的MEM中。在MEM中的排列顺序如图4(b)所示，当缓存完m行数据以后，即缓存了y个数据块，可以开始读取MEM中的数据，写入DDR。读取FPGA片内MEM时，首先读取R1C1小块的数据，缓存到DDR的一行中。由于一级处理模块输出的数据并不是按小块的顺序存储到MEM中的，因此读取的时候需要跳地址读取，将R1C1小块对应的数据取出。以此类推，读取R1C2、R1C3…R1Cy对应的数据，分别存入DDR，每个分块对应DDR中的一行。读取第一行分块数据的同时，缓存第二行分块数据，按相同的方式写入DDR中，直到整个二维数据阵列全部缓存到DDR中，存储结果如图4(c)所示。处理完一层的数据，按同样的方式处理其他层数据。

如图5所示，处理第二维数据的时，即按列方向处理数据，首先读取DDR中第一列分块数据，如图5(a)所示，按R1C1、R2C1…RxC1的顺序读取各个分块对应的第一维数据处理结果，然后缓存在FPGA片内的MEM中，缓存顺序如图5(b)所示。缓存完第一列分块数据后，开始按二维数组的列方向读取数据，此时需要跳地址读取MEM，如图5(c)所示。此时数据流按照第二个维度的方向输入二级处理模块。读取第一列分块数据的同时，可以缓存第二列分块数据，乒乓操作，以此类推，直到整个二维数据阵列全部读完。每层数据的处理方式相同。

如图5所示，从二级处理模块输出的数据同样按照图5(b)所示的方式缓存，然后写入到FPGA片内的MEM中。当缓存完一列分块数据时，将MEM中的数据按照图5(a)中的排列方式缓存到DDR中。总之，二级处理模块输出数据缓存到DDR的过程，与从DDR中读取数据送进二级处理模块的过程，恰好相反。

三维数据在DDR中的排列规则如图6(a)所示，处理第三维数据时，首先读取第一层中第一行第一块数据，缓存到FPGA片内MEM中，然后读取第二层第一行第一块数据，缓存到MEM中，直到每层第一行第一块数据读取完成，全部缓存到MEM中，如图6(b)所示。此时开始按照第三维方向读取MEM中缓存的数据，即每层的a_1，1数据、每层的a_1，2数据…依次送入三级处理模块，如图6(c)所示。

如图6所示，从三级处理模块输出的数据同样参照图6(b)所示的缓存方式缓存，然后写入FPGA片内的MEM中。当缓存完每层中对应分块数据时，将MEM中的数据按照图6(a)所示方式缓存到DDR中。同样三级处理时，对DDR中数据的读写缓存流程为相反的操作。以此类推，直到三维数据全部读取运算完成。

Claims (2)

1.一种基于交织存储的三维数据处理系统，其特征在于：包括第一维数据处理模块、第二维数据处理模块、第三维数据处理模块和DDR，其中第一维数据处理模块包括一级处理模块和一级输出缓存模块，第二维数据处理模块包括二级输入缓存模块、二级处理模块、二级输出缓存模块，第三维数据处理模块包括三级输入缓存模块、三级处理模块、三级输出缓存模块；其中：

所述一级处理模块接收输入三维数据，进行第一个维度的数据处理，并将数据处理结果输入一级输出缓存模块进行缓存；

所述一级输出缓存模块将缓存结果输出给DDR；

所述二级输入缓存模块读取DDR存储的处理结果，然后输出给二级处理模块；

所述二级处理模块对三维数据的第二个维度进行计算，并将计算结果输出给二级输出缓存模块；

所述二级输出缓存模块缓存二级处理模块的输出结果，将其输出给DDR；

所述三级输入缓存模块读取DDR中存储的处理结果，然后输出给三级处理模块；

所述三级处理模块对三维数据的第三个维度进行计算，并将计算结果输出给三级输出缓存模块；

所述三级输出缓存模块缓存三级处理模块的输出结果，输出给DDR。

2.一种基于交织存储的三维数据处理方法，设输入数据规格为Z×M×N，即Z层M行N列，每层中二维数据的每个元素用a_i,j表示，根据DDR属性对二维数据进行分块，设DDR一个Bank中一行可以存储m×n个数据，则将二维数据按照m×n分块，令第i行第j列对应的分块用R_pC_q表示，则将每层的原始数据分为x×y块，其中x＝M/m，y＝N/n；p＝1….x,q＝1….y；其特征在于，具体数据处理包括以下步骤：

步骤一、输入数据按照第一个维度，即行方向，进入一级处理模块进行数据处理，处理后的结果缓存到一级缓存模块；以此类推，缓存m行数据，即缓存y个数据块；

步骤二、将R₁C₁、R₁C₂、R₁C₃…R₁C_y对应的小块数据依次缓存到DDR第1行、第2行、第3行…第y行中；将R₂C₁、R₂C₂、R₂C₃…R₂C_y对应的小块数据，缓存到DDR的第y+1行、第y+2行、第y+3行…第2y行中，直到第一层数据全部缓存到DDR；以此类推，依次缓存其他层数据到DDR中；

步骤三、二级输入缓存模块按R₁C₁、R₂C₁…R_xC₁的顺序读取DDR中的数据块并缓存；缓存完第一层第一列分块数据后，按a_1,1、a_2,1、a_3,1…a_M,1、a_1,2、a_2,2、a_3,2…a_M,2……a_1,n、a_2,n、a_3,n…a_M,n的顺序输入到二级处理模块,二级处理模块对数据进行处理，并将处理后的数据输出到二级输出缓存模块中；

步骤四、二级输出缓存模块缓存完一列分块数据后，第一块数据按a_1,1、a_2,1、a_3,1…a_1,na_2,1、a_2,2、a_2,3…a_2,n……a_m,1、a_m,2、a_m,3…a_m,n的顺序存到DDR第1行中，第二块数据按同样的顺序缓存到DDR第y+1行中……第x块数据按同样的顺序缓存到DDR第(x-1)y+1行中；第2列的x个分块数据，分别存到DDR的第2行、第y+2行…第(x-1)y+2行中；以此类推，直至将第1层中第3列、第4列…第y列分块数据缓存到DDR中；

步骤五、重复步骤三、四，将Z层数据全部处理后缓存到DDR中；

步骤六、依次读取DDR中第一层第一行第一块数据，第二层第一行第一块数据，直至每层第一行第一块数据读取完成，全部缓存到三级输入缓存模块；

步骤七、按照每层的a_1,1、a_1,2…a_1,n…a_2,1、a_2,2、a_2,3…a_2,n……a_m,1、a_m,2、a_m,3…a_m,n顺序读取三级输入缓存模块中缓存的数据，并输入到三级处理模块；

步骤八、三级处理模块将数据处理后发送至三级输出缓存模块；

步骤九、三级输出缓存模块缓存完每层第一个分块数据时，按照第一层第一块数据、第二层第一块数据、第三层第一块数据…、第Z层第一块数据的顺序缓存到DDR中；

步骤十、以此类推，完成每层第二块、每层第三块数据读取和存储，直到所有层的数据存储完成。