CN111813709B - 一种基于fpga存算一体架构的高速并行存储方法 - Google Patents

Abstract

本发明涉及一种基于FPGA存算一体架构的高速并行存储方法，包括：进行FPGA通道编号处理，包括初始状态的通道编号处理和动态变化的通道编号处理，顺序遍历所有通道，采用通道编号方法按序逐个编号，并把映射表保存在寄存器中；进行存储空间块重组，包括：将多个存储介质划分成大小相同的片，该片是页的整数倍，且与主机通道处理数据块大小一致，进行块的地址映射，将数据地址LBA转换成存储空间重组后的地址；地址映射使用两级地址，一级地址表示所在的存储通道，二级地址则表示特定存储通道连接的存储介质的位置，通过两级地址的组合，进行存储空间的寻址；在动态扩容处理时，将关键状态信息保存在寄存器中，用于后期地址映射。

Description

一种基于FPGA存算一体架构的高速并行存储方法

技术领域

本发明涉及数据存储技术，特别涉及一种基于FPGA存算一体架构的高速并行存储方法。

背景技术

随着物联网的普及与信息采集数据的飞速增长，机载、车载、基站等移动存储设备亟需提高其实时存储能力和数据处理能力。当前存储设备常采用单盘存储或者存储阵列的模式，但是单盘存储由于其自身的限制，无法满足海量数据存储的高带宽、高IOPS的需求；存储阵列则由于其体积、重量与功耗等原因不适用于机载、车载等信息系统环境。且上述两种模式在计算能力上都略显不足，故一种面向移动设备、基于FPGA集存储与计算能力于一体的存算一体设备应运而生。存算一体存储设备具有体积小、重量轻、能耗低的特点。在功能上，存算一体存储设备后端配置多个PCIE标准接口，通过FPGA编程实现软件定义存储，这些PCIE标准接口根据需求可灵活配置，既可以连接专用计算处理模块形成计算通道，也可连接存储芯片形成存储通道以满足上层对存储容量与性能的特殊需求。

存算一体存储设备的存储设计，需要解决的一个重要问题就是动态存储通道的高速存储问题。该问题可分解为两个子问题：1、如何实现多通道的高并发读写，2、如何解决存储通道动态变化引起I/O操作和存储容量前后不一致的冲突。

发明内容

本发明的目的在于提供一种基于FPGA存算一体架构的高速并行存储方法，用于解决上述现有技术的问题。

本发明一种基于FPGA存算一体架构的高速并行存储方法，其中，包括：进行FPGA通道编号处理，包括初始状态的通道编号处理和动态变化的通道编号处理，顺序遍历所有通道，将存储通道总数、存储通道计数器、非存储通道计数器存放在寄存器，采用通道编号方法按序逐个编号，并把映射表保存在寄存器中；进行存储空间块重组，包括：将多个存储介质划分成大小相同的片，该片是页的整数倍，且与主机通道处理数据块大小一致，进行块的地址映射，将数据地址LBA转换成存储空间重组后的地址；地址映射使用两级地址，一级地址表示所在的存储通道，二级地址则表示特定存储通道连接的存储介质的位置，通过两级地址的组合，进行存储空间的寻址；在动态扩容处理时，将关键状态信息保存在寄存器中，用于后期地址映射，包括：初始状态的存储通道数和存储容量、扩容后各状态增加的存储通道数和增加的存储容量；通过地址大小判断所属状态阶段，再利用寄存器存储的状态信息与地址映射方法完成地址映射。

根据本发明的基于FPGA存算一体架构的高速并行存储方法的一实施例，初始状态的通道编号处理包括：假设设备通道共n条，通道序号为[0,1,2,…,n-1]，其中存储通道m条，所在的通道序号从小到大为[i₁，i₂，...，i_m]，0≤i_k＜n，0＜k≤m，通过动态规划的思想，得到通道编号的计算公式：

其中：

nno[i]：通过映射后序号为i的通道的编号，0≤i＜n；

sno：存储通道计数器，初始值为0，每遇到一个存储通道，参与编号计算后，增加1；

ano：非存储通道计数器，初始值为0，每遇到一个非存储通道，参与编号计算后，增加1。

根据本发明的基于FPGA存算一体架构的高速并行存储方法的一实施例，其中，动态变化的通道编号处理包括：当设备动态扩容时，在非存储通道上接入新的存储介质以增加设备的存储空间，对通道重新编号；基于初始编号的假设，新增c条存储通道，1≤c≤n-m，其存储通道编号为[j₁，j₂，...，j_c]，0≤j_k＜n-m，0＜k≤c，第i条通道的初始编号是nno[i]，经过动态扩容后，第i条通道的通道编号nno′[i]的计算公式为：

其中：sno：存储通道计数器，初始值为m，每遇到一个存储通道，参与编号计算后，增加1；ano：非存储通道计数器，初始值为0，每遇到一个非存储通道，参与编号计算后，增加1。

根据本发明的基于FPGA存算一体架构的高速并行存储方法的一实施例，其中，进行存储空间块重组中，定义两级地址，第一级地址为存储通道地址，指的是读写数据所属存储介质，第二级地址则是数据在所属存储介质的绝对地址。

根据本发明的基于FPGA存算一体架构的高速并行存储方法的一实施例，其中，将每个SSD划分大小相同的片，该片的尺寸是SSD页的整数倍，每个存储通道对应的SSD等分成了t个片的场景，其中0xiH表示一级地址为i，0xiL表示二级地址为i。

根据本发明的基于FPGA存算一体架构的高速并行存储方法的一实施例，其中，对于通道数量n＝2^k，一级地址等于传入数据地址A的低k位，地址的低k位等于传入地址对n的取模值；传入地址对通道总数量n求商，将商作为二级地址。

根据本发明的基于FPGA存算一体架构的高速并行存储方法的一实施例，其中，每次存储通道的增加时，进行存储通道编号，连续阶段的存储空间是连续增大的。

根据本发明的基于FPGA存算一体架构的高速并行存储方法的一实施例，其中，读取数据时，先在缓存中查找，命中则直接读取，如果未命中，首先经过传入数据地址A判断，判定该数据所属阶段S，读取[1,2,…,S]阶段对应的存储通道[n1,n2,…，ns]，进行地址映射，地址映射方法为：

其中：

d1：一级地址；

d2：二级地址。

根据本发明的基于FPGA存算一体架构的高速并行存储方法的一实施例，其中，使用PCIe 3.0×8接口连接到PCIe/SRIO链路与主机通信，外接DDR和MRAM存储中间数据。

根据本发明的基于FPGA存算一体架构的高速并行存储方法的一实施例，其中，传入数据地址A对通道总数量n取模，将取模的结果作为通道的编号，取模运算采用HASH方法。

本发明通过通道映射、存储空间块重组、动态扩容三种方法提高了基于FPGA存算一体设备的存储性能。

附图说明

图1所示为基于FPGA存算一体架构的存储设备原理图；

图2所示为通道编号原理示意图；

图3为动态扩容时通道编号原理示意图；

图4表示n条存储通道；

图5为动态扩容的原理图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

图1所示为基于FPGA存算一体架构的存储设备原理图，如图1所示，本发明是基于FPGA存算一体设备进行设计，该设备以FPGA为主体，融合多种存储部件和计算部件，设备使用PCIe 3.0×8接口连接到PCIe/SRIO链路与主机通信，外接DDR和MRAM存储中间数据，通过存算控制模块实现8个PCIe 2.0×2通道接口管理和存储管理，这8个通道既可以连接存储介质(NVMe SSD)，也可以连接PCIe计算加速卡等非存储介质，用户可根据需求灵活配置。

如图1所示，基于FPGA存算一体架构的存储设备有8个PCIe2.0×2通道可连接存储介质或者计算单元，连接了存储介质的通道为存储通道，连接计算单位的通道为计算通道。为了发挥多通道的高并发性与实现存储空间的弹性扩展，利用分块与横向扩展的思想本发明提出基于FPGA存算一体架构的高速并行存储方法，包括通道编号、存储空间块重组、动态扩容设计三部分。

通道编号方法实现8通道中存储通道的初始编号与动态编号，是存储空间块重组与动态扩容方法的基础。其原理包括初始状态的通道编号处理和动态变化的通道编号处理两部分，通道编号采用动态规划的思想，顺序遍历所有通道，将存储通道总数、存储通道计数器、非存储通道计数器存放在寄存器，采用通道编号方法按序逐个编号，并把映射表保存在寄存器中。

将存储通道连续编号，保证地址空间的连续性；扩容存储通道编号的接续，实现扩容后的地址空间的地址映射。

存储空间块重组是将多个存储介质(NVMe SSD)的存储空间重新布局，满足多通道并发处理的需求。其原理是将多个存储介质划分成大小相同的片(Piece)，该Piece是页面(Page)的整数倍，且与主机通道处理数据块大小一致，然后完成块的地址映射，即将数据地址LBA转换成存储空间重组后的地址。地址映射使用了两级地址，一级地址表示所在的存储通道，二级地址则表示特定存储通道连接的存储介质的位置。通过两级地址的组合，就可以完成存储空间的寻址。

动态扩容是解决当设备改变其通道配置时(特指增加存储通道数量时)，地址映射的问题。在动态扩容处理时，出现了配置的状态转换，需要将一些关键状态信息保存在寄存器中，用于后期地址映射，这些信息包括：初始状态的存储通道数和存储容量、扩容后各状态增加的存储通道数和增加的存储容量。动态扩容的原理是先通过地址大小判断所属状态阶段，再利用寄存器存储的状态信息与地址映射方法完成地址映射。保证扩容后数据的一致性。

如图1所示，本发明方法的一具体实施例包括：

对通道编号，包括：

基于FPGA存算一体存储设备拥有8个存储与计算通道，实际应用时，无法保证存储通道是从0号通道开始并顺序连续的，根据方法逻辑这种情况导致后期不能完成通道的动态映射，故本方法需要对所有连接PCIe 2.0×2的存储通道进行初始编号和动态编号，且保证编号后的存储通道是从0开始且连续。

进行初始编号包括：

假设设备通道共n条，通道序号为[0,1,2,…,n-1]，其中存储通道m(0≤m≤n)条，所在的通道序号从小到大为[i₁，i₂，...，i_m]，(0≤i_k＜n，0＜k≤m)。通过动态规划的思想，得到通道编号的计算公式：

其中：

nno[i]：通过映射后序号为i的通道的编号，0≤i＜n。

sno：存储通道计数器，初始值为0，每遇到一个存储通道，参与编号计算后，增加1。

ano：非存储通道计数器，初始值为0，每遇到一个非存储通道，参与编号计算后，增加1。

图2所示为通道编号原理示意图，如图2所示，存储通道从小到大依次为[1,3,4,6]。通过公式计算，映射后得到新的编号序列[4,0,5,1,2,6,3,7]。

进行动态编号包括：

当设备动态扩容时，实际操作是不改变原有存储通道布局，在非存储通道上接入新的存储介质以增加设备的存储空间，此时需要对通道重新编号。

基于初始编号的假设，再假设新增了c(1≤c≤n-m)条存储通道，其存储通道编号为[j₁，j₂，...，j_c](0≤j_k＜n-m，0＜k≤c)，第i条通道的初始编号是nno[i]，那么经过动态扩容后，第i条通道的通道编号nno′[i]的计算公式为：

其中：

sno：存储通道计数器，初始值为m，每遇到一个存储通道，参与编号计算后，增加1。

ano：非存储通道计数器，初始值为0，每遇到一个非存储通道，参与编号计算后，增加1。

图3为动态扩容时通道编号原理示意图，如图3所示，新增存储通道从小到大依次为[2,7]。通过公式计算，映射后得到新的编号序列[6,0,4,1,2,7,3,5]。

存储空间块重组包括：

DM-SSD-SSRA存储空间块重组其本质是一种地址映射方法，主要通过存储介质的空间划分与地址映射来实现存储空间的重组。该方法定义了两级地址，第一级地址为存储通道地址(编号)，指的是读写数据所属存储介质，第二级地址则是数据在所属存储介质的绝对地址，两级地址组合完成对整个存储空间的精确定位。

图4表示n条存储通道，如图4所示，将每个SSD划分大小相同的Piece，为了确保其性能，Piece的大小是SSD页的整数倍。每个存储通道对应的SSD等分成了t个Piece的场景。其中0xiH表示一级地址为i，0xiL表示二级地址为i。

为了保证多通道的并发操作，一级地址必须具有均衡随机性。方法原理为：传入数据地址A对通道总数量n取模，将取模的结果作为通道的编号。取模运算是HASH方法的一种，恰好具有均衡随机性，该方法保证了：数据均匀分布到每一个存储通道；每次操作的通道具有一定的随机性；地址连续Piece能够均衡分布到每一个存储通道。

在实际应用场景中，有一种特殊情况：通道数量n＝2^k，而且这还是一种典型应用场景。针对此种场景，对方法进行改进，保证其具备均衡随机性的同时能降低方法本身的复杂性。其原理是：一级地址等于传入数据地址A的低k位。此时可以证明，地址的低k位恰好等于传入地址对n的取模值。

一级地址保证了数据能均衡随机的存储到不同的存储通道，二级地址则必须保证地址的映射是稳定不冲突的。基于一级地址的方法原理，二级地址的方法为：传入地址对通道总数量n求商，将商作为二级地址。

可以证明，二级地址满足：

同一传入地址每次都映射到同一个Piece；

不同的传入地址将映射到不同的Piece。

通过两级地址映射，传入的数据地址A被映射为0xiH0xjL。

图5为动态扩容的原理图，如图5所示。动态扩容包括：

两级地址的映射与Piece划分，确定了存储空间的组织形式。当增加存储介质时，存储通道的数量也随之增加，此时也意味着整个存储空间增大，需要对存储管理实施动态扩容操作。RAID0之所以不适用于动态扩容的场景，是因为对数据进行了重写，I/O操作涉及整个存储空间。本方法在动态扩容时，不会改变已存储数据，直接在动态扩容前的存储空间块组织后追加空间，动态扩容前后的两块存储空间块组织形成两阶段存储空间块组织。称动态扩容前的存储空间块组织为S1，动态扩容后的存储空间块组织为S2。已知S1存储空间总大小Z1，当数据地址X小于Z1时，数据存取在S1，当数据地址X大于等于Z1时，数据存取在Z2。

每次存储通道的增加(存储扩容)时，需进行存储通道编号，该编号能够保证新增的通道编号是在已有设备基础上连续追加的，保证连续阶段的存储空间是连续增大的。

读取数据时，先在缓存中查找，命中则直接读取，如果未命中，首先经过传入数据地址A判断，判定该数据所属阶段S。然后，读取[1,2,…,S]阶段对应的存储通道[n1,n2^,ns]。最后，进行地址映射。地址映射方法为：

其中：

d1：一级地址。

d2：二级地址。

通过DM-SSD-SSRA方法进行地址映射，保证了多通道的多并发特性。

本发明通过通道映射、存储空间块重组、动态扩容三种方法，完成多存储通道的高速并发存储与存储空间动态管理。

本发明涉及FPGA存储领域，特别涉及FPGA存算一体架构的存储领域。本发明利用分块与横向扩展的思想提出一种动态多通道SSD存储空间重组方法。该方法包括通道编号、存储空间块重组、动态扩容设计三部分。通道编号将所有PCIE通道中存储通道进行编号，并支持存储通道的动态编号，是存储空间块重组与动态扩容方法的基础；存储空间块重组利用两级地址映射与Piece划分，将多个存储介质(NVMe SSD)的存储空间重新布局，从而实现基于FPGA存算一体架构设备的多通道并发处理；动态扩容通过动态地址映射，解决存储通道动态变化时存储空间扩容与地址一致性的问题。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种基于FPGA存算一体架构的高速并行存储方法，其特征在于，包括：

进行FPGA通道编号处理，包括初始状态的通道编号处理和动态变化的通道编号处理，顺序遍历所有通道，将存储通道总数、存储通道计数器、非存储通道计数器存放在寄存器，采用通道编号方法按序逐个编号，并把映射表保存在寄存器中；

进行存储空间块重组，包括：将多个存储介质划分成大小相同的片，该片是页的整数倍，且与主机通道处理数据块大小一致，进行块的地址映射，将数据地址LBA转换成存储空间重组后的地址；地址映射使用两级地址，一级地址表示所在的存储通道，二级地址则表示特定存储通道连接的存储介质的位置，通过两级地址的组合，进行存储空间的寻址；

在动态扩容处理时，将关键状态信息保存在寄存器中，用于后期地址映射，包括：初始状态的存储通道数和存储容量、扩容后各状态增加的存储通道数和增加的存储容量；通过地址大小判断所属状态阶段，再利用寄存器存储的状态信息与地址映射方法完成地址映射；

其中，

初始状态的通道编号处理包括：

假设设备通道共n条，通道序号为[0,1,2,…,n-1]，其中存储通道m条，所在的通道序号从小到大为[i₁，i₂，...，i_m]，0≤i_k＜n，0＜k≤m，通过动态规划的思想，得到通道编号的计算公式：

其中：

nno[i]：通过映射后序号为i的通道的编号，0≤i＜n；

sno：存储通道计数器，初始值为0，每遇到一个存储通道，参与编号计算后，增加1；

ano：非存储通道计数器，初始值为0，每遇到一个非存储通道，参与编号计算后，增加1；

动态变化的通道编号处理包括：

当设备动态扩容时，在非存储通道上接入新的存储介质以增加设备的存储空间，对通道重新编号；

基于初始编号的假设，新增c条存储通道，1≤c≤n-m，其存储通道编号为[j₁，j₂，...，j_c]，0≤j_k＜n-m，0＜k≤c，第i条通道的初始编号是nno[i]，经过动态扩容后，第i条通道的通道编号nno′[i]的计算公式为：

其中：

sno：存储通道计数器，初始值为m，每遇到一个存储通道，参与编号计算后，增加1；

ano：非存储通道计数器，初始值为0，每遇到一个非存储通道，参与编号计算后，增加1。

2.如权利要求1所述的基于FPGA存算一体架构的高速并行存储方法，其特征在于，进行存储空间块重组中，定义两级地址，第一级地址为存储通道地址，指的是读写数据所属存储介质，第二级地址则是数据在所属存储介质的绝对地址。

3.如权利要求2所述的基于FPGA存算一体架构的高速并行存储方法，其特征在于，将每个SSD划分大小相同的片，该片的尺寸是SSD页的整数倍，每个存储通道对应的SSD等分成了t个片的场景，其中0xiH表示一级地址为i，0xiL表示二级地址为i。

4.如权利要求2所述的基于FPGA存算一体架构的高速并行存储方法，其特征在于，对于通道数量n＝2^k，一级地址等于传入数据地址A的低k位，地址的低k位等于传入地址对n的取模值；传入地址对通道总数量n求商，将商作为二级地址。

5.如权利要求2所述的基于FPGA存算一体架构的高速并行存储方法，其特征在于，每次存储通道的增加时，进行存储通道编号，连续阶段的存储空间是连续增大的。

6.如权利要求2所述的基于FPGA存算一体架构的高速并行存储方法，其特征在于，

读取数据时，先在缓存中查找，命中则直接读取，如果未命中，首先经过传入数据地址A判断，判定该数据所属阶段S，读取[1,2,…,S]阶段对应的存储通道[n1,n2,…，ns]，进行地址映射，地址映射方法为：

其中：

d1：一级地址；

d2：二级地址。

7.如权利要求1所述的基于FPGA存算一体架构的高速并行存储方法，其特征在于，使用PCIe 3.0×8接口连接到PCIe/SRIO链路与主机通信，外接DDR和MRAM存储中间数据。

8.如权利要求5所述的基于FPGA存算一体架构的高速并行存储方法，其特征在于，传入数据地址A对通道总数量n取模，将取模的结果作为通道的编号，取模运算采用HASH方法。