CN111984199A - 一种并发大容量存储方法及系统 - Google Patents
一种并发大容量存储方法及系统 Download PDFInfo
- Publication number
- CN111984199A CN111984199A CN202010867950.XA CN202010867950A CN111984199A CN 111984199 A CN111984199 A CN 111984199A CN 202010867950 A CN202010867950 A CN 202010867950A CN 111984199 A CN111984199 A CN 111984199A
- Authority
- CN
- China
- Prior art keywords
- analysis module
- fpga
- protocol analysis
- configuration file
- unfc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 39
- 239000002245 particle Substances 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 20
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 239000008188 pellet Substances 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0658—Controller construction arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0688—Non-volatile semiconductor memory arrays
Abstract
本发明涉及存储设备领域，具体提供了一种并发大容量存储方法，使用16组可配置的高速SERDERS作为同系列主机的互连接口，系统主机通过串口可将互连接口设置为SRIO、NVME或PCIE接口，FPGA通过SPI接口下载对应的配置文件；通过SRIO协议解析模块、PCIE协议解析模块和NVME协议解析模块将数据解析出来，并经过并行数据处理模块后，将数据分发给UNFC控制器，通过UNFC控制器控制数据读写至NandFlash颗粒。与现有技术相比，本发明能够解决多接口适应性、大容量和高带宽的存储设备的需求，可以实现灵活的接口配置及大容量并发存储带宽，具有良好的推广价值。
Description
技术领域
本发明涉及存储设备领域，具体提供一种并发大容量存储方法及系统。
背景技术
在现在应用环境中,配备高性能存储部件的设备无处不在,雷达系统、无人机系统、及太空通信卫星都在广泛使用存储设备。随着科技的的持续进步以及功能实现方法的不断革新，如何实现在线数据的高效安全存储，并实现对存储设备的快速使用和管理维护成为数据存储的最大挑战之一。
对于不同的应用环境，对外传输数据的高速接口并不统一，对存储端设备所提供的接口要求也不尽相同，因此需要研制一种可通过软件定义的方式支持多种接口重构的存储设备，各种接口模式可通过软件定义的方式灵活配置，实现高速接口全局动态可重构。通过软件定义使存储设备对外高速接口支持诸如SRIO、PCIe、NVMe等多种协议，真正做到一机多用，满足不同应用场景下对不同接口存储设备的需求，从而做到标准化和统一化。
存储系统作为雷达、无人机等系统的数据记录核心，需要具备很高的吞吐带宽。数据传输带宽的提高势必会有着更高的存储容量需求，长时间连续记录多路数据，累积产生的数据存储量非常庞大。如在相控阵列雷达的目标识别过程中，高宽带以及多通道模式下实时产生海量数据，连续工作1小时所产生的相关数据高达数TB，在如此惊人的数据量下还伴随着较高速度，这就需要存储系统有着更卓越的性能，并且对存储设备的冗余数据去重及数据压缩功能提出较高的要求。另一方面，要求存储设备具备高速传输接口和多通道并行存储功能，实现存储设备与主机高速数据传输，保证数据记录的完整性。
发明内容
本发明是针对上述现有技术的不足，提供一种实用性强的并发大容量存储方法。
本发明进一步的技术任务是提供一种设计合理，安全适用的并发大容量存储系统。
本发明解决其技术问题所采用的技术方案是：
一种并发大容量存储方法，使用16组可配置的高速SERDERS作为同系列主机的互连接口，系统主机通过串口可将互连接口设置为SRIO、NVME或PCIE接口，FPGA通过SPI接口下载对应的配置文件；
通过SRIO协议解析模块、PCIE协议解析模块和NVME协议解析模块将数据解析出来，并经过并行数据处理模块后，将数据分发给UNFC控制器，通过UNFC控制器控制数据读写至NandFlash颗粒。
进一步的，所述FPGA与若干个DDR颗粒相连，用于数据缓存以及存储缓存。
作为优选，系统主机通过自定义的软件连接串口或网口将可动态重构接口的配置命令下发给FPGA，FPGA接收到相关指令后调用PCIE/SRIO/NVMe接口的配置文件，从而将同系统主机的接口进行动态重构。
作为优选，所述并行数据处理模块将数据发送至8个UNFC控制器进行数据处理，通过8个UNFC控制器控制数据读写至与之相连的8个NandFlash颗粒。
进一步的，所述SPI接口包括PCIE接口配置文件、SRIO接口配置文件和NVME接口配置文件，所述PCIE接口配置文件、SRIO接口配置文件和NVME接口配置文件分别与FPGA连接。
一种并发大容量存储系统，系统主机与FPGA连接，所述FPGA与NandFlash颗粒和SPI接口连接；
所述FPGA包中包括SRIO协议解析模块、PCIE协议解析模块、NVME协议解析模块、并行数据处理模块和UNFC控制器，所述SRIO协议解析模块、PCIE协议解析模块和NVME协议解析模块分别与并行数据处理模块连接，所述并行数据处理模块与UNFC控制器连接。
进一步的，所述系统主机与FPGA中SRIO协议解析模块、PCIE协议解析模块和NVME协议解析模块连接，所述NandFlash颗粒与FPGA中UNFC控制器连接。
作为优选，所述UNFC控制器有8个，8个所述UNFC控制器分别对应8个所述NandFlash颗粒。
进一步的，所述FPGA还与若干个DDR4颗粒连接。
进一步的，所述SPI接口包括PCIE接口配置文件、SRIO接口配置文件和NVME接口配置文件，所述PCIE接口配置文件、SRIO接口配置文件和NVME接口配置文件分别与FPGA连接。
本发明的一种并发大容量存储方法及系统和现有技术相比，具有以下突出的有益效果：
本发明能够解决多接口适应性、大容量和高带宽的存储设备的需求，可以实现灵活的接口配置及大容量并发存储带宽。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1是一种并发大容量存储系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
下面给出一个最佳实施例：
如图1所示，本实施例中的一种并发大容量方法，使用16组可配置的高速SERDERS作为同系列主机的互连接口，系统主机通过串口可将互连接口设置为SRIO、NVME或PCIE接口，FPGA通过SPI接口下载对应的配置文件；
通过SRIO协议解析模块、PCIE协议解析模块和NVME协议解析模块将数据解析出来，并经过并行数据处理模块后，将数据分发给UNFC控制器，通过UNFC控制器控制数据读写至NandFlash颗粒。
FPGA还与若干个DDR颗粒相连，用于数据缓存以及存储缓存。
系统主机通过自定义的软件连接串口或网口将可动态重构接口的配置命令下发给FPGA，FPGA接收到相关指令后调用PCIE/SRIO/NVMe接口的配置文件，从而将同系统主机的接口进行动态重构。
并行数据处理模块将数据发送至8个UNFC控制器进行数据处理，通过8个UNFC控制器控制数据读写至与之相连的8个NandFlash颗粒。
SPI接口包括PCIE接口配置文件、SRIO接口配置文件和NVME接口配置文件，所述PCIE接口配置文件、SRIO接口配置文件和NVME接口配置文件分别与FPGA连接。
实现上述方法的系统为：
一种并发大容量存储方法为系统主机与FPGA连接，FPGA与NandFlash颗粒和SPI接口连接。
FPGA包中包括SRIO协议解析模块、PCIE协议解析模块、NVME协议解析模块、并行数据处理模块和UNFC控制器，SRIO协议解析模块、PCIE协议解析模块和NVME协议解析模块分别与并行数据处理模块连接，并行数据处理模块与UNFC控制器连接。
系统主机与FPGA中SRIO协议解析模块、PCIE协议解析模块和NVME协议解析模块连接，所述NandFlash颗粒与FPGA中UNFC控制器连接。
UNFC控制器有8个，8个UNFC控制器分别对应8个所述NandFlash颗粒。
FPGA还与若干个DDR4颗粒连接。
其中，SPI接口包括PCIE接口配置文件、SRIO接口配置文件和NVME接口配置文件，所述PCIE接口配置文件、SRIO接口配置文件和NVME接口配置文件分别与FPGA连接。
上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种并发大容量存储方法及系统权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种并发大容量存储方法，其特征在于，使用16组可配置的高速SERDERS作为同系列主机的互连接口，系统主机通过串口可将互连接口设置为SRIO、NVME或PCIE接口，FPGA通过SPI接口下载对应的配置文件；
通过SRIO协议解析模块、PCIE协议解析模块和NVME协议解析模块将数据解析出来，并经过并行数据处理模块后，将数据分发给UNFC控制器，通过UNFC控制器控制数据读写至NandFlash颗粒。
2.根据权利要求1所述的一种并发大容量存储方法，其特征在于，所述FPGA与若干个DDR颗粒相连，用于数据缓存以及存储缓存。
3.根据权利要求1或2所述的一种并发大容量存储方法，其特征在于，系统主机通过自定义的软件连接串口或网口将可动态重构接口的配置命令下发给FPGA，FPGA接收到相关指令后调用PCIE/SRIO/NVMe接口的配置文件，从而将同系统主机的接口进行动态重构。
4.根据权利要求3所述的一种并发大容量存储方法，其特征在于，所述并行数据处理模块将数据发送至8个UNFC控制器进行数据处理，通过8个UNFC控制器控制数据读写至与之相连的8个NandFlash颗粒。
5.根据权利要求4所述的一种并发大容量存储方法，其特征在于，所述SPI接口包括PCIE接口配置文件、SRIO接口配置文件和NVME接口配置文件，所述PCIE接口配置文件、SRIO接口配置文件和NVME接口配置文件分别与FPGA连接。
6.一种并发大容量存储系统，其特征在于，系统主机与FPGA连接，所述FPGA与NandFlash颗粒和SPI接口连接；
所述FPGA包中包括SRIO协议解析模块、PCIE协议解析模块、NVME协议解析模块、并行数据处理模块和UNFC控制器，所述SRIO协议解析模块、PCIE协议解析模块和NVME协议解析模块分别与并行数据处理模块连接，所述并行数据处理模块与UNFC控制器连接。
7.根据权利要求6所述的一种并发大容量存储系统，其特征在于，所述系统主机与FPGA中SRIO协议解析模块、PCIE协议解析模块和NVME协议解析模块连接，所述NandFlash颗粒与FPGA中UNFC控制器连接。
8.根据权利要求7所述的一种并发大容量存储系统，其特征在于，所述UNFC控制器有8个，8个所述UNFC控制器分别对应8个所述NandFlash颗粒。
9.根据权利要求6所述的一种并发大容量存储系统，其特征在于，所述FPGA还与若干个DDR4颗粒连接。
10.根据权利要求6所述的一种并发大容量存储系统，其特征在于，所述SPI接口包括PCIE接口配置文件、SRIO接口配置文件和NVME接口配置文件，所述PCIE接口配置文件、SRIO接口配置文件和NVME接口配置文件分别与FPGA连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010867950.XA CN111984199A (zh) | 2020-08-26 | 2020-08-26 | 一种并发大容量存储方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010867950.XA CN111984199A (zh) | 2020-08-26 | 2020-08-26 | 一种并发大容量存储方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111984199A true CN111984199A (zh) | 2020-11-24 |
Family
ID=73443409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010867950.XA Pending CN111984199A (zh) | 2020-08-26 | 2020-08-26 | 一种并发大容量存储方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111984199A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113704171A (zh) * | 2021-08-20 | 2021-11-26 | 北京计算机技术及应用研究所 | 一种软件定义的数据存储系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104184617A (zh) * | 2014-08-12 | 2014-12-03 | 福建星网锐捷网络有限公司 | 互联设备预加重配置方法、装置、系统及网络设备 |
| CN107066406A (zh) * | 2017-04-21 | 2017-08-18 | 济南浪潮高新科技投资发展有限公司 | 一种基于fpga的接口兼容的大容量存储系统 |
| CN109408567A (zh) * | 2018-09-11 | 2019-03-01 | 广东布田电子商务有限公司 | 一种大数据处理平台网络架构 |
| US10416887B1 (en) * | 2016-05-18 | 2019-09-17 | Marvell International Ltd. | Hybrid storage device and system |
| CN111274183A (zh) * | 2020-02-21 | 2020-06-12 | 山东超越数控电子股份有限公司 | 多路高速协议接口动态可重构系统及实现方法 |
-
2020
- 2020-08-26 CN CN202010867950.XA patent/CN111984199A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104184617A (zh) * | 2014-08-12 | 2014-12-03 | 福建星网锐捷网络有限公司 | 互联设备预加重配置方法、装置、系统及网络设备 |
| US10416887B1 (en) * | 2016-05-18 | 2019-09-17 | Marvell International Ltd. | Hybrid storage device and system |
| CN107066406A (zh) * | 2017-04-21 | 2017-08-18 | 济南浪潮高新科技投资发展有限公司 | 一种基于fpga的接口兼容的大容量存储系统 |
| CN109408567A (zh) * | 2018-09-11 | 2019-03-01 | 广东布田电子商务有限公司 | 一种大数据处理平台网络架构 |
| CN111274183A (zh) * | 2020-02-21 | 2020-06-12 | 山东超越数控电子股份有限公司 | 多路高速协议接口动态可重构系统及实现方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113704171A (zh) * | 2021-08-20 | 2021-11-26 | 北京计算机技术及应用研究所 | 一种软件定义的数据存储系统 |
| CN113704171B (zh) * | 2021-08-20 | 2023-05-16 | 北京计算机技术及应用研究所 | 一种软件定义的数据存储系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10996896B2 (en) | Solid state drive multi-card adapter with integrated processing | |
| TWI677791B (zh) | 非揮發性快閃記憶體刀鋒及相關聯的多卡模組、以及用於組態及操作模組化非揮發性快閃記憶體刀鋒的方法 | |
| CN101833989A (zh) | 多接口固态硬盘及其处理方法和系统 | |
| US8332593B2 (en) | Memory space management and mapping for memory area network | |
| CN103336745A (zh) | 一种基于ssd缓存的fc hba及其设计方法 | |
| CN113590528A (zh) | 基于hp接口的多通道数据采集存储回放卡、系统及方法 | |
| CN105549916A (zh) | PCIe固态硬盘控制器、基于PCIe的存储系统及其数据读写方法 | |
| CN112562121A (zh) | 一种基于srio协议的存储数据和快速下载方法 | |
| CN114780449B (zh) | 一种基于zynq芯片的数据存储及传输系统 | |
| CN111984199A (zh) | 一种并发大容量存储方法及系统 | |
| US11210245B2 (en) | Data transmission techniques between systems having different communication speeds | |
| CN104035731A (zh) | 一种刀片式服务器的存储头结点 | |
| CN116737624B (zh) | 一种高性能数据存取装置 | |
| CN111475459A (zh) | 一种9u vpx数据存储服务器及数据处理方法 | |
| CN103558995A (zh) | 一种存储控制芯片及磁盘报文传输方法 | |
| CN216014252U (zh) | 基于hp接口的多通道数据采集存储回放卡及系统 | |
| US10628042B2 (en) | Control device for connecting a host to a storage device | |
| CN215769717U (zh) | 复合型数据记录回放装置及系统 | |
| EP2300925A1 (en) | System to connect a serial scsi array controller to a storage area network | |
| JP2020102192A (ja) | 非集中化ストレージ環境 | |
| US10447534B1 (en) | Converged infrastructure | |
| CN111638886B (zh) | 一种基于Fiber Channel的远程存储卸载设备 | |
| CN109254724B (zh) | 可配置多分区的嵌入式虚拟化机载存储系统 | |
| CN112702666A (zh) | 一种多通道光纤数据记录装置 | |
| CN114443538A (zh) | 数据模拟装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201124 |