CN102012791B - 基于Flash的数据存储PCIE板卡 - Google Patents

Abstract

本发明公开了一种基于Flash的数据存储PCIE板卡。由一块FPGA芯片做主控模块，连接了DDR内存作为缓冲模块，同时连接了Flash芯片作为存储模块，PCIE控制器、DDR控制器、命令解析器、软Cache命中逻辑、X-Card管理模块、ECC校验数据逻辑、Flash块地址映射、仲裁器、Flash控制器都是在FPGA内部实现的，通过将程序下载到FPGA内部完成各自的功能。通信接口采用PCIE接口，数据传输速率高。PCI-E也支持高阶电源管理，支持热插拔，支持数据同步传输，为优先传输数据进行带宽优化。

Description

基于Flash的数据存储PCIE板卡

技术领域

本发明主要涉及计算机存储领域中的存储器，具体的说涉及一种基于Flash的存储装置。

背景技术

随着计算机技术和集成电路工艺的不断发展，越来越多的处理核心正在为计算机性能提供源源不断的动力，但长期以来受到访问瓶颈的困扰。处理器与存储器之间的性能差距不断加大，存储器已经成为限制系统性能的决定因素。同时，随着近年来计算机技术的进步与问题规模的不断扩大，许多应用正在由计算密集型向数据密集型转变，数据密集计算更加需要高带宽的存储系统和I/O系统的支持。因此，必须深入研究满足高带宽、高数据传输率的存储系统体系结构。

另一方面，尽管随着技术的发展，硬盘的容量和转速已经有了很大的提高，500GB容量和1万转速的硬盘也已经出现，但是从整个计算机系统来看，系统的瓶颈还是在硬盘存储系统部分。近年来，闪存(Flash Memory)作为一种新的数据存储介质已经得到广泛应用，经过多次技术变革，闪存存储容量越来越大、数据读写速度越来越快、性价比也越来越高。人们对Flash存储寄予厚望，希望它可以代替硬盘。

在2008年美国消费电子大展上，闪存生产商推出了百G以上的闪存盘，而几乎所有大的PC厂商(包括苹果、戴尔、索尼等)都推出基于此开发的笔记本电脑。随着闪存新技术的不断突破，厂商们不断增加其产品的容量和产品量产的规模，闪存盘与常规硬盘的竞争也越来越激烈。Flash的优势还体现在其能耗只有传统硬盘的1/5～1/6，符合绿色存储的发展趋势。美国斯坦福大学和劳伦斯伯克莱国家实验室(Lawrence Berkeley National Labs)的一项研究表明，全球数据中心的能耗在2000年至2005年间翻了一番，到2010年将再增75％，数据中心包括了大量的服务器和存储设备。从CPU到数据中心，人们对于能耗的关注越来越强，为了降低存储系统的能耗，基于Flash的存储系统是很有前景的方向。而且，Flash设备内部没有机械装置，不会出现机械故障，同时还具有噪音小、体积小、重量轻、非易失性(无需电源保护)、耐高温等优点，有一些存储厂商已经把Flash应用于数据密集型应用中，比如EMC、CURTIS、Qbisys等。全球最大中文网站百度日前已成为全球首个使用闪存(Flash Memory)技术代替硬盘并大规模商用的互联网公司。2008年8月19日，百度每日承载数亿次点击访问的检索及索引存储的运算集群已经全部拆除硬盘，并代之以百度自行定制研发的海量闪存卡，这一改变极大的提高百度的服务能力和检索速度。Flash存储设备突破了传统硬盘的性能瓶颈，它不但可以应用到传统存储系统的应用领域，如银行业、电信业等，还可以在工业控制、交通运输、航天领域、特别在军事上有很大的应用价值。

尽管基于Flash技术的SSD存储器已经在学术界与工业界得到了广泛关注与应用，但Flash介质本身固有的某些物理属性使得目前SSD技术在访问写速率、性能可扩展性、设备寿命等方面受到了严峻挑战。

闪存的存储特性和磁盘有较大的不同。闪存的这些性能要求其相应的存储系统的设计与基于磁盘的存储系统有很大的区别。提高基于闪存的存储系统的性能得到了国内外学者和工业界人士的普遍重视。我们将两者的不同比较如下：

1)“定点更改”不再成立

传统磁盘的写操作是以扇区为单位，可以“定点”写入或更新。但是在闪存中，对某个扇区的写操作，必须在擦除包含该扇区的更大的块——擦除单元之后才能进行。典型的闪存扇区为512字节，而擦除单元有16K字节或128K字节。对一个扇区的读写，可能导致另外31个扇区的擦除。如果实际应用对存储内容的访问恰好是小量且随机的，那么闪存的写性能比普通磁盘的写性能更差。而且，闪存的擦除次数有限，其生命周期约10万次到100万次。

2)无机械延迟

闪存是纯电子设备，不像磁盘需要物理地移动读写磁头。因此闪存不存在耗时的机械延迟，可以方便地随机访问和搜索闪存上的数据，其搜索速度只与数据大小线性相关。

3)不对称的读写速度

表1：磁盘与闪存的读写速度比较

从表1可以看出，传统磁盘的读、写速度基本一致，而闪存的读速度几乎是写速度的两倍。而一般的应用系统或数据服务中，读、写操作的量可能是均衡的，这就限制了闪存的总体性能。

闪存的这些性能要求其相应的存储系统的设计与基于磁盘的存储系统有很大的区别。如何提高基于闪存的存储系统的性能得到了越来越多的关注。而性能的改进就在于存储结构和存储管理的改进与优化。因此，研究如何基于Flash Memory构建大规模高性能的存储系统是非常必要的。

中国专利ZL99117225.6《用于数据处理系统的快闪电子式外存储方法及装置》公开了一种利用闪存(Flash Memory)作为存储介质的外存储装置；以此专利技术生产的半导体移动存储装置，以其体积小，容量大，高速存取，携带方便，性能稳定，不易损坏，无驱动器，即插即用以及其方便性等优点得到了广大用户的认同。同时，此装置也有其明显不足：1)、成本过高：与一个GB级别的容量相当的传统SATA产品相比，SATA SSD价格要高出10倍左右；2)、存储寿命不够长：NAND闪存最多能进行1000次擦写，这大大限制了其使用寿命；3)、数据读写性能相差悬殊：闪存的读速度几乎是写速度的两倍；4)、数据损坏后的不可恢复性：一旦在硬件上发生损坏，如果是传统的磁盘或者磁带的存储方式，通过数据恢复也许还能挽救一部分数据；但如果是闪存芯片发生损坏，要想在碎成几瓣或者被电流击穿的芯片中找回数据那几乎就是不可能的。

现代硬件磁盘通常带有盘上RAM cache，存在以下两种目的。首先，当磁头旋转时，磁盘头下的块可以被预取到cache中，使得后续向该块的请求可以被快速的响应。其次，一旦数据被传输到磁盘cache中，写请求可以被立即返回，这样有助于减少写延迟。与磁盘类似，SSD也可以受益于较大的Cache，特别是SSD高代价的写操作。PCIE板卡中采用的DDR内存属于Disk Cache技术的范畴。

Chen研究发现磁盘16KB的cache对SSD硬盘写性能有巨大影响，取消磁盘Cache后的延迟超过使用磁盘cache时请求延迟的5倍。PCIE板卡的典型内存配置为2GB，除了上述两种用途之外，它设置更大容量Disk Cache还在于它能够存储Flash块的数据映像，让访问更多数据块能够直接命中。在这里，同处理器内部硬件固化的Cache不同，需要研究一种有效的软Cache机制，包括简化的Cache数据组织结构、快捷的Cache命中判断方法，基于延迟写的写缓冲机制，同时还要对各类访问模式下的软Cache执行效果进行性能评估。

发明内容

本发明的目的是避免现有磁盘存储器的不足而设计一种基于Flash的数据存储PCIE板卡。首先，结合Flash技术，提出一种存储服务器体系结构框架Flash-Server，其由多核处理器、DDR存储器、Flash存储板卡、SAS/SATA磁盘及各类网络通信或外设通信接口组成。其体系结构如图1所示。

在图1中，部件X-Card存储板卡就是本专利提出的基于Flash的数据存储PCIE板卡，存储服务器对外界提供数据存储服务，多核处理器负责接收外部数据请求，协调服务器内部各个存储部件的工作，DDR内存提供缓冲数据功能，而PCIE板卡可以提供和普通HDD硬盘、SSD固态盘相同的外存功能，同时还可以将PCIE板卡配置成介于DDR和HDD、SSD之间的一个级别的存储，这时可以理解成DDR主存，PCIE板卡一级辅存，HDD、SSD二级辅存。

目前大多数存储服务器，如IBM TotalStorage系列等通常设置SAS/SATA接口来支持传统磁盘存储设备，设备类型单一，访问速率较低。而Flash-Server另配置了多个基于Flash技术的存储设备，不存在磁盘转速带来的性能瓶颈，并且由于采用了PCIE协议进行数据通信，相对SAS/SATA接口具有更高的通信带宽。另外，Flash-Server的特点还在于可以支持多种工作模式，通过OS命令配置Flash存储设备及SAS/SATA硬盘的RAID工作模式，同时还可以实现SAS/SATA硬盘与Flash存储设备的虚拟化技术，或者将Flash存储设备引入作为内存与SAS/SATA硬盘之间的中间存储层次，等等。

同时，针对当前磁盘设备的缺陷，在Flash-Server结构框架下提出了一种基于Flash技术的PCIE存储板卡结构框架，如图2所示。

本发明的基于Flash的数据存储PCIE板卡的主要部件有：Flash存储芯片阵列，DRAM芯片组，一块现场可编程逻辑门阵列FPGA，板卡是通过PCIE接口和主机进行通信的，Flash控制器，DDR控制器和板卡主控制程序等都是从主机端先下载到FPGA里。其工作流程见图3。

基于Flash的数据存储PCIE板卡，包括主控模块，存储模块和缓冲模块，其中由一块FPGA芯片做主控模块，连接DDR内存作为缓冲模块，同时连接Flash芯片作为存储模块，PCIE控制器、DDR控制器、命令解析器、软Cache命中逻辑、X-Card管理模块、ECC校验数据逻辑、Flash块地址映射、仲裁器、Flash控制器都是在FPGA内部实现的，通过将程序下载到FPGA内部完成各自的功能。

该PCIE板卡的主要特征在于：

1.X-Card管理模块，与其他模块都设有连接通道，通过下载到FPGA内部的总控程序来对整个板卡进行管理，包括：

●在控制模块中，有专门的存储节点管理系统，可在接受到客户端发出的读写信号后，将指令发送到每一块Flash芯片存储单元中，实现并行读写；

●在管理部件的周围设有仲裁部件，主要是由仲裁器来对数据访问冲突进行优先级评判，顺利完成顺序访问，避免造成性能瓶颈。

2.使用节点冗余技术，对存储单元中的错误进行定位，并进行相应的数据迁移，保证数据的连续正确性。

3.使用板卡自诊断技术，进行写次数监控；当达到指定的次数时，发出警告信号，并结合备用的存储单元进行数据迁移、备份。对板卡上个别芯片达到警告次数，则标记为“坏块”，然后减小板卡的容量，而不会导致整个板卡失效。

4.使用了损耗均衡算法，由于Flash芯片可擦写次数的限制，使得所述装置有必要将对整个Flash存储系统的写或擦除请求，尽可能平均地分配到各个Flash存储芯片上，使整个系统中所有的Flash存储芯片同步“衰老”，达到使用寿命的一致性。

5.在接口模块中使用了PCIE接口，与主机的数据交换带宽很高，数据传输的速度很快，能评估和选择能够匹配数据访问的服务器、存储节点以及互联结构通信要求，能够支持节点阵列间并行。

6.使用缓冲区来进行数据缓冲，以减少Flash芯片本身的读写次数，延长其使用寿命。缓冲区主要是使用基于DRAM的高速缓存技术，写操作首先写到DRAM Cache中，只有它出现淘汰时，才将“脏数据块”写回。

7.考虑到DRAM Cache带来的掉电问题，所述装置在板卡上集成有备用电源，防止意外掉电引起的数据丢失。

8.使用了ECC逻辑器件，对数据进行备份。当出现数据错误时，ECC逻辑器件会进行错误定位，并进行相应的数据迁移。另外，备份模块还使用了板卡热插拔技术，以便随时替换损坏板卡。热插拔前，ECC对当前状态进行备份，并告知存储系统上层。

9.使用了管理节点技术，负责整个系统的管理配置工作，处理各个客户端的空间申请、分配，监控板卡的运行状态以及热插拔管理。

设计的PCIE板卡具有以下几个方面的优点：

1.板卡同主机的通信接口采用PCIE接口，它的主要优势就是数据传输速率高，目前最高的16X 2.0版本可达到10GB/s，而且还有相当大的发展潜力。PCI Express也有多种规格，从PCI Express 1X到PCI Express 16X，能满足现在和将来一定时间内出现的低速设备和高速设备的需求。除去提供极高数据传输带宽之外，PCI-E因为采用串行数据包方式传递数据，所以PCI-E接口每个针脚可以获得比传统I/O标准更多的带宽，这样就可以降低PCI-E设备生产成本和体积。另外，PCI-E也支持高阶电源管理，支持热插拔，支持数据同步传输，为优先传输数据进行带宽优化。

2.板卡使用了一块FPGA作为主控芯片，周围连接了提供缓冲数据功能的DDR内存芯片，同时还连接了提供数据存储功能的Flash闪存芯片，其功能类似于固态盘SSD，但是由于其实现完全透明，且可以充分利用FPGA的特性下载验证多种程序和算法的功能和性能，因此可以为进一步挖掘Flash存储的相关特性，设计更好的针对Flash的软件算法提供了一个实验平台。

3.作为板卡上存储数据的Flash芯片阵列，可以通过各种不同的配置，充分挖掘各个芯片之间，芯片内部存在的并行性，通过实验获得一个最优的配置，提供最高的单板性能。

需要在整个PCIE板卡结构框架下，研究多个Flash芯片的访问并行性与访问可靠性问题。

1.多路Flash开发并行性

基于板卡结构，为了协同各个flash存储体来获取足够多的并行操作，从而提高flash存储体访问速率，可以考虑研究如下各项技术。

1)研究多体flash访问调度机制与交叉访问技术，开发flash多体并行与单flash多plane并行这两个层次的并行性。针对flash命令队列中的大量操作命令，需要考虑如何将不同flash命令调度到多个flash存储体上并行执行，同时还要针对单个flash存储体，排列组合多个flash命令以便让多个flash命令尽量重叠执行。

2)研究读写分流技术来提高flash阵列访问效率。类似OS内核的访问分类技术，可以在并行访问单元中采取读写聚合，依据访问类型分离读操作流与写操作流，通过避免两类操作频繁交叉来提高flash访问效率。

下面描述了多路Flash芯片并行性开发的一种策略。

如图6-a所示，设计多个Agent来完成对Flash存储阵列的访问，每个Agent都接受命令分配器(Command dispenser)的命令请求(读，写，擦除，等等)，然后根据其管理的多条Flash存储总线的状态，决定哪些命令可以立即执行，那些命令需要等待。在某条命令执行完毕后，还需要修改相应的状态位。

1)整个Flash阵列由四个Agent代理来控制，每个Agent代理通过一个Flash存储控制器去完成对后端四条Flash存储总线的管理，每条存储总线上连接四块Flash chip。

因此，存在三个方面的并行性。

首先，四个Agent可以并行操作，每个Agent只负责接收Command dispenser分发过来的命令，判断命令的可执行情况，通知Flash存储控制器应该该执行的操作。这样提高了整个Flash存储阵列可提供的带宽。

其次，对于每个Agent代理而言，四条Flash存储总线可以并行操作，每条总线是8位的数据宽度，因此可以提供32位的数据宽度给Agent代理，大大提高了每个Agent的数据带宽。

最后，将每个Agent的四路总线上的四块Flash chip当作一个Super Chip，那么一个Agent相当于有四个Super Chip，这些Super Chip之间也存在并行性，例如对某个Super Chip的读操作和对另一个Super Chip的擦除操作可以同时进行，从而达到提高系统访问效率(降低访问延迟)的目的。

2)各个Super Chip之间的编址如图6-b所示。

按照从上到下，从左到右的顺序编址Flash阵列的16个Super Chip，每个Super Chip对应着图1中的一个Agent的四路存储总线上的四块Flash chip。

而在一个Super Chip内部，四块Flash芯片之间的地址编址如图6-c所示。

按照页来编址，这样编址的特点可以保证每个Agent的四条Flash存储总线可以实现并行操作，增加了存储位宽，提高了并行性。

3)每个Agent内部设置一个四位的寄存器，用来记录其管理的四条Flash存储总线的状态，如图6-d所示。

在图中，寄存器的四位状态位分别是1，0，1，0，这表示bus 0和bus 2正处在busy状态，其上有数据的传输(读或者写的数据)，而bus1和bus 3则处在idle状态，其上没有数据的传输。

当bus 0完成数据的读或者写的时候，需要修改寄存器位状态，即将寄存器的第0位置0，表示该总线已经完成数据传输，状态为idle，可用。

显然，若某条总线状态位是1，那么对该总线的使用请求将不会被立即响应，需要等到前面一次请求的数据传输完成。

系统启动时，每个Agent的状态寄存器都会被初始化为全0，Agent代理每接收到一个command请求，就会查询状态寄存器，确定这个command请求的Flash存储总线是否处于空闲态，如果是，则占有总线进行数据传输，并将相对应的寄存器状态位置1；如果不是，则等待，直到对应的寄存器状态位重新被置0。

2.可靠性问题

研究ECC校验值的存放方式。每个Flash芯片存储数据的ECC校验值存放在什么位置，是每块芯片单独留出空间存储自己的ECC校验值，还是板卡上所有Flash芯片的ECC校验值都统一存储在一块或者几块专用的Flash芯片上。假如采用专用Flash芯片存储ECC校验值，那么这几块芯片寿命必成为瓶颈。

需要在整个板卡结构框架下，设计DDR Cache控制器，并研究各种Cache策略机制，可扩展到如果采取片内DRAM技术(带宽非常高)之后又将采取怎样的Cache策略机制。还要将研究如何充分利用Cache的作用来提高flash访问效率。

1.DDR Cache策略的研究及其结构设计

研究DDR Cache策略及其结构设计来提高Cache命中率，缩短Cache失效时间，降低硬件代价开销等。具体研究内容包括：地址映射机制、简化的Cache数据组织结构、快捷的Cache命中判断方法，基于延迟写的写缓冲机制，同时还要对各类访问模式下的软Cache执行效果进行性能评估。如果替换为DRAM存储器，需要同样研究上述内容。

2.DDR Cache写重定向机制

在板卡控制器中，研究一种DDR Cache写重定向机制来提高flash写操作效率。目前，由于每次写操作均需对目标flash块提前回收，反复的小块写操作会带来大量的数据迁移损耗，传统的SSD硬盘在面向随机小块写时性能损失较大。在这里，可以在PCIE板卡并行访问单元中研究一种后台回收技术，通过实时调度信息来检测空闲flash存储体，然后采取动态迁移方法及时回收存储有效数据的flash块。同样，还可以在文件系统中研究一种写重定向机制，让小块写操作尽量命中在Cache中，提高flash写操作效率。

附图说明

图1是本发明基于的存储服务器Flash-Server体系结构示意图；

图2是本发明的体系结构框图；

图3是本发明的系统工作流程框图；

图4是本发明的电压调整器原理图；

图5是本发明的器件布局图；

图6-a是多个Agent代理管理Flash存储阵列示意图；

图6-b是多个Super Chip的地址空间示意图；

图6-c示单个Super Chip内部各个Flash chip的地址空间示意图；

图6-d是Agent代理通过寄存器状态位管理Flash存储总线示意图。

具体实施方式

在图3中，首先，命令解释模块负责解析主设备端发送来的访问请求，包括访问类型、逻辑地址、数据块大小等，再发送至控制管理单元。控制管理单元属于PCIE板卡核心部件，它先需要根据逻辑地址在局部存储器中查找判断目标块的命中情况，发现命中直接返回数据块内容，否则将逻辑地址发送给地址映射单元，等待物理地址获取之后再将解析后的访问命令封装发送至flash并行访问单元。在这里，地址映射单元不断接收控制管理单元的访存请求，也要判断地址映射页表的最新副本是否位于局部存储器中，如果未命中同样还要通过flash并行访问单元取回目标页表项。flash并行访问单元属于数据访问的执行部件，由于PCIE板卡支持多个访问请求的重叠执行，因此该单元可能连续接收到多条访问命令。flash并行访问单元以公平服务与更高并行度为目标，依据不同的访问优先级、访问类型及访问粒度来指导Flash的命令分发。

图4所示的是板卡上的电压调整器原理图。由于板卡上需要几种工作电压，因此要通过相应的电压调整。

图5显示的是板卡的硬件布局图。其中共有8路Flash芯片组，每路有4块容量为8G*8bit的芯片，如图中的细红框中的就是一路Flash芯片组，粗的红框表示的是4块SRAM芯片组，用来存储地址映射表等信息。

Claims (1)

1.一种基于Flash的数据存储PCIE板卡的Flash芯片并行访问方法，该基于Flash的数据存储PCIE板卡，包括主控模块，存储模块和缓冲模块，其中由一块FPGA芯片做主控模块，连接DDR内存作为缓冲模块，同时连接Flash芯片作为存储模块，PCIE控制器、DDR控制器、命令解析器、软Cache命中逻辑、X-Card管理模块、ECC校验数据逻辑、Flash块地址映射、仲裁器、Flash控制器都是在FPGA内部实现的，通过将程序下载到FPGA内部完成各自的功能，其特征在于，Flash芯片并行访问的具体方法为：

设计多个Agent来完成对Flash存储阵列的访问，每个Agent都接受命令分配器的命令请求，然后根据其管理的多条Flash存储总线的状态，决定哪些命令可以立即执行，那些命令需要等待，在某条命令执行完毕后，还需要修改相应的状态位；

1）整个Flash阵列由四个Agent代理来控制，每个Agent代理通过一个Flash存储控制器去完成对后端四条Flash存储总线的管理，每条存储总线上连接四块Flash chip；

存在三个方面的并行性；

首先，四个Agent可以并行操作，每个Agent只负责接收命令分配器分发过来的命令，判断命令的可执行情况，通知Flash存储控制器应该执行的操作；

其次，对于每个Agent代理而言，四条Flash存储总线可以并行操作，每条总线是8位的数据宽度，提供32位的数据宽度给Agent代理，大大提高每个Agent的数据带宽；

最后，将每个Agent的四路总线上的四块Flash chip当作一个Super Chip，那么一个Agent相当于有四个Super Chip，这些Super Chip之间也存在并行性，对某个Super Chip的读操作和对另一个Super Chip的擦除操作可同时进行，从而达到提高系统访问效率的目的；

2）各个Super Chip之间的编址，方法为：

按照从上到下，从左到右的顺序编址Flash阵列的16个Super Chip，每个Super Chip对应着一个Agent的四路存储总线上的四块Flash chip；

按照页来编址，这样编址的可保证每个Agent的四条Flash存储总线可以实现并行操作，增加了存储位宽，提高了并行性；

3）每个Agent内部设置一个四位的寄存器，用来记录其管理的四条Flash存储总线的状态；

系统启动时，每个Agent的状态寄存器都会被初始化为全0，Agent代理每接收到一个command请求，就会查询状态寄存器，确定这个command请求的Flash存储总线是否处于空闲态，如果是，则占有总线进行数据传输，并将相对应的寄存器状态位置1；如果不是，则等待，直到对应的寄存器状态位重新被置0。

Images