CN109814811B - 一种减小NVMe SSD响应延迟影响高速数据存储设备写入速度的方法 - Google Patents

Abstract

一种减小NVMe SSD响应延迟影响高速数据存储设备写入速度的方法，涉及存储技术领域，为了解决NVMe SSD的响应延迟会极大地影响存储设备的持续写入速度，甚至导致数据丢失的问题。本发明通过主控FPGA模块的Block RAM进行数据缓存，用来暂时储存固有响应延迟以及其他小于1ms的响应延迟期间接收的数据；数据存储模块采用至少2个NVMe SSD实现，通过主控FPGA模块的NVMe主机控制各个NVMe SSD轮流进行写操作，且当前NVMe SSD写入数据达到预设阈值后，向当前NVMe SSD发送关闭命令，触发映射表刷新命令。本发明不仅保证了设备的数据持续写入速度，还能防止数据丢失。

Description

一种减小NVMe SSD响应延迟影响高速数据存储设备写入速度 的方法

技术领域

本发明涉及存储技术领域，具体涉及基于NVMe SSD的高速数据存储设备的性能改进方法。

背景技术

作为高速数据采集系统中重要的一部分，高速数据存储设备在雷达测试等领域应用广泛。高速数据存储设备通常由外部数据命令接口模块、主控FPGA模块以及数据存储模块等构成。为了保证存储设备的存储容量和持续写入速率，现有的高速数据存储设备以大量的Nand Flash构成的Flash阵列作为数据存储模块，通过流水线或者并行的操作方式来保证设备的数据写入带宽。这种设备采用VPX标准机箱结构，体积大、重量重且功耗较高。

NVMe SSD是近几年来快速发展的新型存储器，其连续写入速度高达2GByte/s，且集成度高、功耗低，非常适合搭配FPGA等控制芯片组成便携式高速数据存储设备。但是这种便携式存储设备的速度持续写入速度受NVMe SSD自身特性限制。从NVMe主机(NVMe Host)开始向NVMe SSD发送写命令，到NVMe SSD开始与NVMe主机进行数据传输，这两个先后发生的事件之间有一定的时间差，称为NVMe SSD的响应延迟。这种响应延迟会极大地影响存储设备的持续写入速度，甚至导致数据丢失，造成无法挽回的损失。

发明内容

本发明的目的是为了解决NVMe SSD的响应延迟会极大地影响存储设备的持续写入速度，甚至导致数据丢失的问题，从而提供一种减小NVMe SSD响应延迟影响高速数据存储设备写入速度的方法。

本发明所述的一种减小NVMe SSD响应延迟影响高速数据存储设备写入速度的方法，包括：

通过主控FPGA模块的Block RAM进行数据缓存，用来暂时储存固有响应延迟以及其他小于1ms的响应延迟期间接收的数据；

数据存储模块采用至少2个NVMe SSD实现，通过主控FPGA模块的NVMe主机控制各个NVMe SSD轮流进行写操作，且当前NVMe SSD写入数据量达到预设阈值后，向当前NVMeSSD发送关闭命令，触发映射表刷新命令。

优选的是，NVMe SSD为2个。

优选的是，NVMe主机将写命令拆分为多个写入数据量为2GByte的子命令，并标记正在进行写操作的NVMe SSD为忙，其它NVMe SSD为空闲，当忙NVMe SSD写入数据量到达预设阈值时，切换到一个空闲NVMe SSD执行写命令，NVMe SSD的写入数据量阈值为256Gbyte。

优选的是，NVMe主机控制各个NVMe SSD轮流进行写操作的方法包括以下步骤：

步骤一：打开第1个NVMe SSD，NVMe主机向第1个NVMe SSD发送初始化命令，获取第1个NVMe SSD的状态信息，NVMe主机标记第1个NVMe SSD为忙，第2个NVMe SSD为空闲，等待接收写命令；

步骤二：接收到写命令后，将总的写命令拆分成多个写入数据量为2GByte的子命令；

步骤三：判断当前的忙NVMe SSD写入数据总量是否等于254Gbyte，如果判断结果为是，则打开空闲NVMe SSD并进行初始化，获取该NVMe SSD的状态信息，然后执行步骤四，否则直接执行步骤四；

步骤四：判断当前的忙NVMe SSD写入数据总量是否等于256Gbyte，如果判断结果为是，则清除当前的忙NVMe SSD写入数据总量记录信息并向该NVMe SSD发送关闭命令，并交换当前忙、空闲NVMe SSD的标记，然后执行步骤五，否则直接执行步骤五；

步骤五：当前的忙NVMe SSD执行写入数据量为2GByte的子命令，并记录当前的忙NVMe SSD写入数据总量，当前的子命令完成后，执行步骤六；

步骤六：判断总的写命令是否完成，如果判断结果为是，则关闭忙NVMe SSD，结束写命令，否则返回步骤三。

针对NVMe SSD的固有响应延迟，采用主控FPGA模块内部的Block RAM作为缓存，不需要使用外部缓存如DDR SDRAM等，在保证持续写入速度的同时减小了设备的硬件和固件复杂度，降低了设备功耗，缩短了FPGA固件的开发周期。针对NVMe SSD的额外响应延迟，采用至少2个NVMe SSD轮流进行写操作的方式，避开SSD额外响应延迟对数据存储速度的影响，同时增加了整个设备的存储容量；利用关闭命令触发NVMe SSD的映射表刷新操作，人为控制额外响应延迟事件的发生，为避开SSD存储过程中的额外响应延迟提供了有利条件；本发明解决了NVMe SSD响应延迟过长带来的存储设备持续写入速度降低和缓冲区溢出的问题，保证了设备的数据持续写入速度，降低了设备的硬件复杂度，简化了设备固件的开发流程。

附图说明

图1是具体实施方式一所述的高速数据存储设备的总体结构框图；

图2是具体实施方式三中的NVMe主机控制2个NVMe SSD轮流进行写操作的方法的流程图；

图3是具体实施方式三中的2个NVMe SSD轮流进行写操作的示意图。

具体实施方式

具体实施方式一：结合图1具体说明本实施方式，本实施方式所述的一种减小NVMeSSD响应延迟影响高速数据存储设备写入速度的方法，包括：

通过主控FPGA模块的Block RAM进行数据缓存，用来暂时储存固有响应延迟以及其他小于1ms的响应延迟期间接收的数据；

数据存储模块采用至少两个NVMe SSD实现，通过主控FPGA模块的NVMe主机控制各个NVMe SSD轮流进行写操作；且当前NVMe SSD写入数据量达到预设阈值后，向当前NVMeSSD发送关闭命令，触发映射表刷新命令。

NVMe SSD的响应延迟可以分为两种：固有响应延迟和额外响应延迟。NVMe SSD由Flash存储单元、缓存SDRAM和NVMe控制器(NVMe Controller)构成，其中NVMe控制器控制Flash存储单元的读写时序，处理初始化、读、写等前台命令，控制SSD外部接口的数据传输等，并按照一定的策略执行后台命令，如垃圾回收、映射表刷新和SSD运行日志记录等。

当NVMe控制器接收到NVMe主机发送的写命令时，会首先按照NVMe协议标准进行命令的预处理，再与NVMe主机进行数据传输，从而产生150～250us的固有响应延迟。在等待固有响应延迟期间，存储设备利用缓存暂时保存NVMe SSD的待写入数据。

当NVMe控制器执行后台命令时，前台命令的执行被中断，从而产生最大3ms的额外响应延迟。这种额外响应延迟会导致存储设备的瞬时写速度大幅度降低，限制高速存储设备的持续写持续写入速度；如果设备在等待响应延迟期间接收的待存储数据量超出了设备的数据缓存容量，就会导致数据丢失，带来无法挽回的损失。

结合存储设备1GByte/s的数据持续写入速率需求，可以计算出固有响应延迟期间的最大缓存数据量为250KByte，额外响应延迟期间的最大缓存数据量为3MByte。

对于1ms以内的响应延迟，其对应的缓存数据量不超过1MByte，利用主控FPGA模块内部的Block RAM资源即可满足这一部分的数据缓存需求。而对于最大3ms的额外响应延迟，仅仅用FPGA内部的Block RAM资源实现缓存功能非常困难，现有的做法是主控FPGA模块外接若干DDR SDRAM，以实现大数据量的高速缓存。

在高速存储设备的应用场景中，NVMe SSD写命令的地址是连续的，此时后台映射表刷新命令是造成毫秒级额外响应延迟的唯一原因，其它的后台命令造成的额外响应延迟不超过200us。映射表的作用是建立SSD逻辑地址到物理地址的映射关系。在SSD上电初始化时，映射表从Flash预留空间(Over-Provisioning)中加载到SSD缓存SDRAM；在SSD进行写操作时，SDRAM中的映射表不断更新；当SSD的状态满足一定条件时，NVMe控制器发起映射表刷新命令，将映射表写入Flash预留空间。触发映射表刷新命令的条件有以下几种：

1、新产生的映射关系积累到一定阈值；

2、用户写入的数据量达到一定阈值；

3、写完的Flash块数量达到一定量级；

4、在NVMe SSD接收到关闭(Shutdown)命令后；

经过反复试验发现，970EVO 2TB型号的NVMe SSD持续写入数据量达到500GByte以上时会触发映射表刷新命令，但是该数据量阈值是范围波动的，并不是一个精确的值。根据以上规律，可以利用发送NVMe SSD关闭(Shutdown)命令来触发映射表刷新命令，从而使额外响应延迟发生的时机可控。

基于以上分析，提出了本发明的方法。

基于本实施方式的方法设计的便携式高速数据存储设备的总体结构框图如图1所示，主要结构包括外部数据命令接口模块、主控FPGA模块和数据存储模块。外部接口模块用于接收来自上位机的命令，实现与数据源和上位机之间的数据传输；主控FPGA模块用于数据接收缓存以及作为NVMe SSD主机；数据存储模块为2个NVMe SSD，用来存储数据源产生的高速数据。

具体实施方式二：本实施方式是对具体实施方式一所述的一种减小NVMe SSD响应延迟影响高速数据存储设备写入速度的方法作进一步说明，本实施方式中，NVMe SSD为两个。

采用两块970EVO 2TB型号的NVMe SSD做乒乓操作，避免采用单一NVMe SSD因大于1ms的额外响应延迟引起的写通道阻塞。

高速存储设备在应用过程当中经常写入海量数据，其写命令对应的写入数据总量会非常大，为了方便管理，在主控FPGA模块中将写命令拆分为多个写入数据量为2GByte的子命令。为了方便管理，标记正在进行写操作的NVMe SSD为忙，另一块NVMe SSD为空闲。当忙NVMe SSD写入数据量到达预设阈值时，切换到空闲NVMe SSD执行写命令，这种操作被称为乒乓操作。本发明设定NVMe SSD的写入数据量阈值为256GByte。因为NVMe SSD写入256GByte数据所需的时间远大于额外响应延迟，所以这种乒乓操作可以保证SSD的额外响应延迟不会影响设备的持续写入速度。此外，基于这种切换的思想，可以将两个SSD乒乓切换的工作模式扩展成多个SSD轮流切换的工作模式，以满足更高性能的需求。

具体实施方式三：结合图2和图3具体说明本实施方式，本实施方式是对具体实施方式二所述的一种减小NVMe SSD响应延迟影响高速数据存储设备写入速度的方法作进一步说明，本实施方式中，NVMe主机控制各个NVMe SSD轮流进行写操作的方法包括以下步骤：

步骤一：高速数据存储设备上电开机，释放第1个NVMe SSD的复位信号，打开第1个NVMe SSD，NVMe主机向第1个NVMe SSD发送初始化命令，获取第1个NVMe SSD的状态信息，NVMe主机标记第1个NVMe SSD为忙，第2个NVMe SSD为空闲，等待接收写命令；

步骤二：接收到写命令后，将总的写命令拆分成多个写入数据量为2GByte的子命令；

步骤三：判断当前的忙NVMe SSD写入数据总量是否等于254Gbyte，如果判断结果为是，则打开空闲NVMe SSD并进行初始化，获取该NVMe SSD的状态信息，然后执行步骤四，否则直接执行步骤四；

步骤四：判断当前的忙NVMe SSD写入数据总量是否等于256Gbyte，如果判断结果为是，则清除当前的忙NVMe SSD写入数据总量记录信息并向该NVMe SSD发送关闭(Shutdown)命令，并交换当前忙、空闲NVMe SSD的标记，然后执行步骤五，否则直接执行步骤五；

步骤五：当前的忙NVMe SSD执行写入数据量为2GByte的子命令，并记录当前的忙NVMe SSD写入数据总量，当前的子命令完成后，执行步骤六；

步骤六：判断总的写命令是否完成，如果判断结果为是，则关闭忙NVMe SSD，结束写命令，否则返回步骤三。

具体到便携式高速数据存储设备中，工作流程如图3所示。打开第1个NVMe SSD并标记为忙，当第1个NVMe SSD写入数据总量达到254GByte时，唤醒第2个NVMe SSD并初始化；当第1个NVMe SSD写入数据总量达到256GByte时，标记第1个NVMe SSD为空闲，对其下达关闭(Shutdwon)命令，触发第1个NVMe SSD的映射表刷新操作，同时标记第2个NVMe SSD为忙，继续进行数据存储；当第2个NVMe SSD写入数据总量达到相应阈值时，触发相应的NVMe SSD忙、空闲交换操作，如图3所示。可以看出，两个第1个NVMe SSD之间的乒乓切换过程包括判断乒乓切换触发条件、清空写入数据总量记录信息、发送关闭命令、交换忙闲标记几部分，利用FPGA的并行处理特性，这些操作只占用一个时钟周期，在时钟频率高达200MHz的情况下带来的延迟仅仅有5ns，与NVMe SSD微秒级的响应延迟相比可以忽略，能够保证不对存储设备持续写入速度造成影响。

本实施方式针对NVMe SSD的固有响应延迟，采用FPGA内部的Block RAM资源作为缓存，不需要使用外部缓存如DDR SDRAM等，在保证持续写入速度的同时减小了设备的硬件和固件复杂度，降低了设备功耗，缩短了FPGA固件的开发周期；

针对NVMe SSD的额外响应延迟，采用两块NVMe SSD乒乓操作的方式，避开SSD额外响应延迟对数据存储速度的影响，同时增加了整个设备的存储容量；利用关闭命令触发NVMe SSD的映射表刷新操作，人为控制额外响应延迟事件的发生，为避开SSD存储过程中的额外响应延迟提供了有利条件；固定乒乓操作中两块SSD交换运行的判断条件，方便了两个SSD组成的存储模块的地址管理。

本实施方式以2个NVMe SSD为例进行说明，多个NVMe SSD的情况与2个NVMeSSD类似。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (4)

1.一种减小NVMe SSD响应延迟影响高速数据存储设备写入速度的方法，其特征在于，包括：

通过主控FPGA模块的Block RAM进行数据缓存，用来暂时储存固有响应延迟以及其他小于1ms的响应延迟期间接收的数据；

数据存储模块采用至少2个NVMe SSD实现，通过主控FPGA模块的NVMe主机控制各个NVMe SSD轮流进行写操作，且当前NVMe SSD写入数据量达到预设阈值后，向当前NVMe SSD发送关闭命令，触发映射表刷新命令。

2.根据权利要求1所述的一种减小NVMe SSD响应延迟影响高速数据存储设备写入速度的方法，其特征在于，NVMe SSD为2个。

3.根据权利要求1或2所述的一种减小NVMe SSD响应延迟影响高速数据存储设备写入速度的方法，其特征在于，NVMe主机将写命令拆分为多个写入数据量为2GByte的子命令，并标记正在进行写操作的NVMe SSD为忙，其它NVMe SSD为空闲，当忙NVMe SSD写入数据量到达预设阈值时，切换到一个空闲NVMe SSD执行写命令，NVMe SSD的写入数据量阈值为256Gbyte。

4.根据权利要求2所述的一种减小NVMe SSD响应延迟影响高速数据存储设备写入速度的方法，其特征在于，NVMe主机控制各个NVMe SSD轮流进行写操作的方法包括以下步骤：

步骤一：打开第1个NVMe SSD，NVMe主机向第1个NVMe SSD发送初始化命令，获取第1个NVMe SSD的状态信息，NVMe主机标记第1个NVMe SSD为忙，第2个NVMe SSD为空闲，等待接收写命令；

步骤二：接收到写命令后，将总的写命令拆分成多个写入数据量为2GByte的子命令；

步骤三：判断当前的忙NVMe SSD写入数据总量是否等于254Gbyte，如果判断结果为是，则打开空闲NVMe SSD并进行初始化，获取该NVMe SSD的状态信息，然后执行步骤四，否则直接执行步骤四；

步骤四：判断当前的忙NVMe SSD写入数据总量是否等于256Gbyte，如果判断结果为是，则清除当前的忙NVMe SSD写入数据总量记录信息并向该NVMe SSD发送关闭命令，并交换当前忙、空闲NVMe SSD的标记，然后执行步骤五，否则直接执行步骤五；

步骤五：当前的忙NVMe SSD执行写入数据量为2GByte的子命令，并记录当前的忙NVMeSSD写入数据总量，当前的子命令完成后，执行步骤六；

步骤六：判断总的写命令是否完成，如果判断结果为是，则关闭忙NVMe SSD，结束写命令，否则返回步骤三。

Images