CN113918505A - 一种星上超高速存储系统及方法 - Google Patents

Abstract

一种星上超高速存储系统及方法，涉及存储领域，本发明基于非易失性内存主机控制器接口规范(NVMe协议)，以标准NVMe SSD为存储介质，以ZYNQ UltraScale+多核SOC为控制核心，FPGA侧逻辑实现高速数据采集，ARM侧运行Linux操作系统、实现NVMe协议驱动、硬盘读写控制和文件系统管理，最终实现高速数据的采集、传输、存储、回放等功能，以面对未来卫星数据存储的大容量和高性能需求。本发明具有存储和读出速率高、易于硬件实现、存储管理简单、设计灵活性和普适性好等优点，适用于遥感卫星等嵌入式应用场景。

Description

一种星上超高速存储系统及方法

技术领域

本发明涉及存储技术领域，具体涉及一种星上超高速存储系统及方法。

背景技术

星上存储系统是卫星数据接收、处理、存储的中心，负责卫星有效载荷数据的收发和存储，是卫星完成遥感图像获取任务的重要组成部分。近年来随着航天技术的快速发展，遥感卫星分辨率越来越高，传感和探测设备无论在数量还是精度上都比以前大幅增加，数据量也越来越庞大，这些变化对存储系统的功能和性能也提出了更高的要求。

传统卫星多采用基于NAND Flash存储介质的星载固态存储器，星上数据存储管理模式主要采用基于地址管理的方案，需要研究存储闪存阵列管理技术，通过基于FPGA或ASIC芯片研制前端接口控制器、闪存管理算法、内存管理、闪存通道控制器、负载均衡、坏块管理等模块，存储控制管理的难度大大提高。此外，该存储方案设计高度定制化，使用灵活性不强，缺乏可扩展性和可配置性。这种星上存储系统只能在特定的场合使用，且使用前必须充分考虑存储模块在信息流链路中和前后级的匹配性，这与当前中小卫星对星载存储功能多样性和灵活性的需求很不对称。并且产品的普适性较低，继承性较差，研制成本高，不利于产品化推广。

近年来一些新发射的遥感卫星在大容量星载存储应用方面有一些新的尝试，例如，采用工业级SATA接口的SSD。该方案由于采用标准盘，内部封装了NAND Flash闪存管理所有机制，上位机只需依照SATA协议即可完成对硬盘的写入、回放和删除等操作，可有效解决存储管理困难的问题。但SATA带宽有限，以最高SATA3为例，接口速率为6Gbps，单盘性能往往不能满足卫星高速存储带宽需求，需要多片组成阵列并行读写。这又增加了上位机管理难度，特别是考虑到单盘或多盘故障后，为了保障系统可靠性，需要设计故障预案，管理逻辑进一步复杂。

发明内容

本发明的目的是提供一种星上超高速存储系统及方法，以解决目前现有的星上存储系统存在的上述诸多问题。

本发明为解决技术问题所采用的技术方案如下：

本发明的一种星上超高速存储方法，包括以下步骤：

步骤一、数据采集

在ZYNQ UltraScale+多核SOC中，在FPGA芯片中配置Aurora协议，通过FPGA芯片自身携带的高速GTH接口接收数据源发送的数据，并将所采集的数据缓存于FPGA芯片内部的Block RAM中；

步骤二、数据传输

在ZYNQ UltraScale+多核SOC中，FPGA芯片和ARM处理器通过AXI总线互联；在FPGA芯片中例化AXI模块，在ARM处理器中的Linux操作系统下，实现AXI DMA驱动，采用零拷贝方式，将数据从FPGA芯片内部的Block RAM缓存到ARM Linux内核空间的内核缓冲区，实现DMA高速数据传输；

步骤三、数据迁移

在ARM处理器中通过内存拷贝的方式，将数据从ARM Linux内核空间迁移到用户空间的用户缓冲区，使用户应用程序可对数据内容进行自由访问、编辑和保存；

步骤四、数据写入

在ARM处理器中实现标准Ext4文件系统管理和NVMe协议驱动，完成对支持NVMe协议的硬盘进行创建文件目录、创建文件、写文件、读文件、删除文件、硬盘格式化和S.M.A.R.T.信息查询；当创建文件目录和创建文件后，将用户空间中的数据写入到指定文件中，最终实现数据在NVMe固态硬盘中的存储；

步骤五、流水操作

数据传输、数据迁移和数据写入均需在ARM处理器中执行；若串行依次执行，执行时间为每个过程的执行时间之和，因此采用三级流水设计，将数据传输、数据迁移和数据写入并行化，缩短整体执行时间，提高执行效率；

步骤六、数据回放

在ARM处理器中打开指定文件，实现数据从NVMe固态硬盘中读出，并通过AXI总线传输到FPGA芯片中，已存储数据的读出过程是数据存储的逆过程；

步骤七、系统控制

在ARM处理器中实现CAN总线驱动程序，通过CAN总线接收上位机的控制指令，实现文件目录创建、文件创建、打开、写入、读出、关闭、删除、硬盘格式化、文件信息查询。

进一步的，步骤四中，数据写入操作采用无缓冲IO方式，跳过操作系统的Cache缓存，直接写盘，解决Cache一致性问题，保证写入数据的正确性。

本发明的一种星上超高速存储系统，该存储系统以ZYNQ UltraScale+多核SOC为核心，包括：FPGA芯片核、ARM处理器核、两片DRAM和NVMe固态硬盘；

FPGA芯片内部配置Aurora协议，FPGA芯片自带的高速GTH接口与数据源相连；FPGA芯片与ARM处理器之间通过AXI总线相连；在ARM处理器内部配置嵌入式Linux操作系统、数据管理程序、标准Ext4文件系统管理和NVMe协议驱动；ARM处理器通过CAN总线接收上位机的控制指令；

通过FPGA芯片完成数据采集，在ARM处理器中完成数据传输、数据迁移和数据写入，通过FPGA芯片和ARM处理器共同作用完成数据回放。

进一步的，所述ARM处理器采用4核ARM CortexA73。

本发明的有益效果是：

本发明的目的在于，克服上述技术上的不足，基于非易失性内存主机控制器接口规范(NVMe协议)，以标准NVMe SSD为存储介质，以ZYNQ UltraScale+多核SOC为控制核心，FPGA侧逻辑实现高速数据采集，ARM侧运行Linux操作系统、实现NVMe协议驱动、硬盘读写控制和文件系统管理，最终实现高速数据的采集、传输、存储、回放等功能，以面对未来卫星数据存储的大容量和高性能需求。本发明具有存储和读出速率高、易于硬件实现、存储管理简单、设计灵活性和普适性好等优点，适用于遥感卫星等嵌入式应用场景。

本发明相较于现有技术，具有以下优点：

(1)存储系统多核SOC中FPGA具有接口丰富、数据吞吐量高、时序控制能力强的特点，应用其进行数据的高速采集与数据流控制，系统扩展方便、开发灵活。

(2)存储系统多核SOC中ARM可运行Linux操作系统和Ext4文件系统，具有对文件操作方便、扩展性强的特点，应用其进行对采集的数据执行文件化操作与日常维护，存储操作管理简单、文件格式通用性强、普适性好。

(3)存储系统多核SOC中FPGA和ARM之间，利用AXI总线实现基于零拷贝的数据交互，传输带宽高。

(4)利用多核SOC，单芯片实现数据高速采集、存储和回放，系统集成度高，极大降低了存储系统体积、重量和功耗，且易于硬件实现。

(5)存储系统采用NVMe协议，配置标准NVMe盘，提升了数据读写速率和存储容量，同时还大幅降低了存储成本。

附图说明

图1为本发明的一种星上超高速存储系统的结构框图。

图2为本发明的一种星上超高速存储方法的流程图。

图3为流水操作的流程图。

图4为三级流水设计的示意图。

图5为本发明的一种星上超高速存储方法的应用实例图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

如图1所示，本发明的一种星上超高速存储系统，具体采用ZYNQ UltraScale+多核SOC，主要包括：FPGA芯片、ARM处理器、两片DRAM和NVMe固态硬盘。

FPGA芯片内部配置Aurora协议，Aurora协议可实现数据流的双向传输，使用Aurora协议的数据传输具有超高的传输速率以及很好的数据稳定性。FPGA芯片自带的高速GTH接口与数据源相连，FPGA芯片通过高速GTH接口接收数据源发来的数据，同时在FPGA芯片内部完成数据缓存，所采集的数据缓存于FPGA芯片内部的Block RAM中，完成数据采集。

FPGA芯片与ARM处理器之间通过AXI总线相连；在ARM处理器内部配置嵌入式Linux操作系统、数据管理程序、标准Ext4文件系统管理和NVMe协议驱动。首先在FPGA芯片中例化AXI模块，在ARM处理器中的Linux操作系统下，实现AXI DMA驱动，采用零拷贝方式，将数据从FPGA芯片内部的Block RAM缓存到ARM Linux内核空间的内核缓冲区，实现DMA高速数据传输，从而完成数据传输。

在本实施方式中，ARM处理器采用4核ARM CortexA73。ARM处理器配置相应的DDR控制器，实现其各项功能。在ARM处理器中通过内存拷贝的方式，将数据从ARM Linux内核空间迁移到用户空间的用户缓冲区，使用户应用程序可以对数据内容进行自由访问、编辑和保存等操作，从而完成数据迁移操作。

在ARM处理器中实现标准Ext4文件系统管理和NVMe协议驱动，完成对支持NVMe协议的硬盘进行创建文件目录、创建文件、写文件、读文件、删除文件、硬盘格式化和S.M.A.R.T.信息查询等操作；当创建文件目录和创建文件后，将用户空间中的数据写入到指定文件中，最终实现数据在NVMe固态硬盘(NVMe SSD)中的存储，从而完成数据写入。

上述的数据传输、数据迁移和数据写入，均需要在ARM处理器中执行；若串行依次执行，执行时间为每个过程的执行时间之和，因此，采用三级流水设计将上述的三个过程并行化，可以缩短整体执行时间，极大地提高整个存储方法的执行效率。

在ARM处理器中打开指定文件，实现数据从NVMe固态硬盘中读出，并通过AXI总线传输到FPGA芯片中，完成数据回放操作。

在ARM处理器中实现CAN总线驱动程序，可通过CAN总线接收上位机的控制指令，实现文件目录创建、文件创建、打开、写入、读出、关闭、删除、硬盘格式化、文件信息查询等操作。

本发明的一种星上超高速存储方法，如图2所示，具体包括以下步骤：

步骤一、数据采集

在ZYNQ UltraScale+多核SOC中，在FPGA芯片中配置Aurora协议，通过FPGA芯片自身携带的高速GTH接口接收数据源发送的数据，并将所采集的数据缓存于FPGA芯片内部的Block RAM中。

Aurora协议可以实现数据流的双向传输，使用Aurora协议的数据采集具有超高的传输速率以及较好的数据稳定性等特点。

步骤二、数据传输

在ZYNQ UltraScale+多核SOC中，FPGA芯片和ARM处理器通过AXI总线互联。AXI总线最大性能高达32Gbps，是FPGA芯片和ARM处理器之间数据交互的枢纽。

首先在FPGA芯片中例化AXI模块，在ARM处理器中的Linux操作系统下，实现AXIDMA驱动，采用零拷贝方式，将数据从FPGA芯片内部的Block RAM缓存到ARM Linux内核空间的内核缓冲区，实现DMA高速数据传输。

步骤三、数据迁移

在ARM处理器中通过内存拷贝的方式，将数据从ARM Linux内核空间迁移到用户空间的用户缓冲区，使用户应用程序可以对数据内容进行自由访问、编辑和保存等操作。

步骤四、数据写入

在ARM处理器中实现标准Ext4文件系统管理和NVMe协议驱动，完成对支持NVMe协议的硬盘进行创建文件目录、创建文件、写文件、读文件、删除文件、硬盘格式化和S.M.A.R.T.信息查询等操作；当创建文件目录和创建文件后，将用户空间中的数据写入到指定文件中，最终实现数据在NVMe固态硬盘(NVMe SSD)中的存储。其中，PCIE IP表示PCIE总线驱动软件，可以完成PCIE协议物理层到数据链路层、再到事务层的协议接口信号转换。

步骤五、流水操作

上述的三个过程，即数据传输、数据迁移和数据写入，均需要在ARM处理器中执行。若串行依次执行，如图3所示，执行时间为每个过程的执行时间之和，因此，采用图4所示的三级流水设计(T时刻实现第1包数据传输，T+1时刻并行实现第1包数据迁移和第2包数据传输，T+2时刻并行实现第1包数据写入、第2包数据迁移和第3包数据传输，T+3时刻并行实现第2包数据写入、第3包数据迁移和第4包数据传输……，如此流水执行下去，直至存储任务结束)，将上述的三个过程即数据传输、数据迁移和数据写入并行化，可以缩短整体执行时间，极大地提高整个存储方法的执行效率。

步骤六、数据回放

在ARM处理器中打开指定文件，实现数据从NVMe固态硬盘中读出，并通过AXI总线传输到FPGA芯片中，已存储数据的读出过程是数据存储的逆过程。

步骤七、系统控制

在ARM处理器中实现CAN总线驱动程序，可通过CAN总线接收上位机的控制指令，实现文件目录创建、文件创建、打开、写入、读出、关闭、删除、硬盘格式化、文件信息查询等操作。

具体实施方式一

如图5所示，以遥感卫星图像数据采集及存储为案例对本发明的一种星上超高速存储方法的实施过程进行说明。

步骤一、数据采集

数据源为高分辨率多光谱空间相机，卫星在执行成像任务期间，两个高分辨率多光谱空间相机连续产生海量图像数据，两个高分辨率多光谱空间相机分别通过GTH接口向FPGA芯片传输数据，并将所采集的数据缓存于FPGA芯片内部的Block RAM中。

步骤二、数据传输

在FPGA芯片中例化AXI模块，在ARM处理器中的Linux操作系统下，实现AXI DMA驱动，分配内核空间内存缓冲区，将数据从FPGA芯片内部的Block RAM缓存到ARM Linux内核空间的内核缓冲区，实现DMA高速数据传输。为了提高数据传输效率，采用数据零拷贝方式，以DMA方式完成数据的高速传输。

步骤三、数据迁移

在ARM处理器中分配用户空间内存缓冲区，通过内存拷贝的方式，将数据从ARMLinux内核空间迁移到用户空间的用户缓冲区，此时，用户应用程序即可对数据内容进行自由访问、编辑和保存等操作。

步骤四、数据写入

在ARM处理器中，实现标准Ext4文件系统管理和NVMe协议驱动，可以完成对支持NVMe协议的硬盘进行创建文件目录、创建文件、写文件、读文件、删除文件、硬盘格式化和S.M.A.R.T.信息查询。当创建文件目录和创建文件后，将用户空间内存缓冲区中的数据写入到指定文件中，最终实现数据在NVMe SSD中的存储。为了提高写盘速度，写入操作采用无缓冲IO方式，跳过操作系统的Cache缓存，直接写盘，同时解决Cache一致性问题，保证写入数据的正确性。由于数据存储采用标准Ext4文件系统，整个过程写入的文件格式与上位机端Linux系统下的文件格式兼容，可直接拷贝到上位机上进行查看。

步骤五、流水操作

数据传输、数据迁移和数据写入，均需要在ARM处理器中执行。若串行依次执行，执行时间为每个过程的执行时间之和，因此，采用图4所示的三级流水设计，软件开辟三个处理线程，分别处理数据传输、数据迁移和数据写入过程，通过多线程方式将以上三个过程并行化，缩短整体执行时间，极大提高整个存储系统执行效率。本案例系统，单盘状态下，三个过程串行执行存储写入速率平均为8Gbps左右，采用三级流水设计后，平均存储写入速率优于13Gbps，效率进一步提升60％以上。若采用多盘并行写入方式，亦可进一步提升写入带宽。

步骤六、数据回放

在ARM处理器中打开指定文件，实现数据从NVMe固态硬盘中读出，并通过AXI总线传输到FPGA芯片中，已存储数据的读出过程是数据存储的逆过程。

步骤七、系统控制

在ARM处理器中实现CAN总线驱动程序，可通过CAN总线接收上位机的控制指令，实现文件目录创建、文件创建、打开、写入、读出、关闭、删除、硬盘格式化、文件信息查询等操作。上述过程，均可通过CAN总线接收上位机的控制指令，在上位机的控制下执行。

本发明的上述应用实施例中，空间相机成像期间产生图像的数据率为10Gbps左右，本发明的存储系统所支持最高写入速率优于13Gbps，因此，可以实现空间相机数据的实时采集和实时存储。

卫星上存储系统为嵌入式应用场景，本发明的一种星上超高速存储系统利用多核SOC，单芯片实现数据高速实时采集、存储和回放，系统集成度高，极大降低了存储系统体积、重量和功耗，且易于硬件实现，符合卫星平台资源受限这种应用场景，因此本发明非常适用于卫星遥感图像数据存储应用。同时，本发明也适用于机载、艇载、地面端的文本、音频、视频、仪器设备连续采样等类型数据存储场景。

对于本领域的技术人员来说，在了解了本发明内容和方法后，能够在不背离本发明的原理和范围的情况下，根据本发明的方法进行形式和细节上的各种修正和改变，但是这些基于本发明的修正和改变仍在本发明的权利要求保护范围内。

Claims (4)

1.一种星上超高速存储方法，其特征在于，包括以下步骤：

步骤一、数据采集

在ZYNQ UltraScale+多核SOC中，在FPGA芯片中配置Aurora协议，通过FPGA芯片自身携带的高速GTH接口接收数据源发送的数据，并将所采集的数据缓存于FPGA芯片内部的BlockRAM中；

步骤二、数据传输

在ZYNQ UltraScale+多核SOC中，FPGA芯片和ARM处理器通过AXI总线互联；在FPGA芯片中例化AXI模块，在ARM处理器中的Linux操作系统下，实现AXIDMA驱动，采用零拷贝方式，将数据从FPGA芯片内部的Block RAM缓存到ARM Linux内核空间的内核缓冲区，实现DMA高速数据传输；

步骤三、数据迁移

在ARM处理器中通过内存拷贝的方式，将数据从ARM Linux内核空间迁移到用户空间的用户缓冲区，使用户应用程序可对数据内容进行自由访问、编辑和保存；

步骤四、数据写入

在ARM处理器中实现标准Ext4文件系统管理和NVMe协议驱动，完成对支持NVMe协议的硬盘进行创建文件目录、创建文件、写文件、读文件、删除文件、硬盘格式化和S.M.A.R.T.信息查询；当创建文件目录和创建文件后，将用户空间中的数据写入到指定文件中，最终实现数据在NVMe固态硬盘中的存储；

步骤五、流水操作

数据传输、数据迁移和数据写入均需在ARM处理器中执行；若串行依次执行，执行时间为每个过程的执行时间之和，因此采用三级流水设计，将数据传输、数据迁移和数据写入并行化，缩短整体执行时间，提高执行效率；

步骤六、数据回放

在ARM处理器中打开指定文件，实现数据从NVMe固态硬盘中读出，并通过AXI总线传输到FPGA芯片中，已存储数据的读出过程是数据存储的逆过程；

步骤七、系统控制

在ARM处理器中实现CAN总线驱动程序，通过CAN总线接收上位机的控制指令，实现文件目录创建、文件创建、打开、写入、读出、关闭、删除、硬盘格式化、文件信息查询。

2.根据权利要求1所述的一种星上超高速存储方法，其特征在于，步骤四中，数据写入操作采用无缓冲IO方式，跳过操作系统的Cache缓存，直接写盘，解决Cache一致性问题，保证写入数据的正确性。

3.实现权利要求1所述的一种星上超高速存储方法的一种星上超高速存储系统，其特征在于，该存储系统以ZYNQ UltraScale+多核SOC为核心，包括：FPGA芯片核、ARM处理器核、两片DRAM和NVMe固态硬盘；

FPGA芯片内部配置Aurora协议，FPGA芯片自带的高速GTH接口与数据源相连；FPGA芯片与ARM处理器之间通过AXI总线相连；在ARM处理器内部配置嵌入式Linux操作系统、数据管理程序、标准Ext4文件系统管理和NVMe协议驱动；ARM处理器通过CAN总线接收上位机的控制指令；

通过FPGA芯片完成数据采集，在ARM处理器中完成数据传输、数据迁移和数据写入，通过FPGA芯片和ARM处理器共同作用完成数据回放。

4.根据权利要求3所述的一种星上超高速存储系统，其特征在于，所述ARM处理器采用4核ARM CortexA73。

Images