CN103593315A - 一种基于fpga的直接多块硬盘高速并行读写方法 - Google Patents

一种基于fpga的直接多块硬盘高速并行读写方法 Download PDF

Info

Publication number
CN103593315A
CN103593315A CN201310586432.0A CN201310586432A CN103593315A CN 103593315 A CN103593315 A CN 103593315A CN 201310586432 A CN201310586432 A CN 201310586432A CN 103593315 A CN103593315 A CN 103593315A
Authority
CN
China
Prior art keywords
fpga
hard disk
speed
ddr2
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310586432.0A
Other languages
English (en)
Inventor
张信民
吕卫祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
724th Research Institute of CSIC
Original Assignee
724th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 724th Research Institute of CSIC filed Critical 724th Research Institute of CSIC
Priority to CN201310586432.0A priority Critical patent/CN103593315A/zh
Publication of CN103593315A publication Critical patent/CN103593315A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Optical Recording Or Reproduction (AREA)

Abstract

本发明涉及一种基于FPGA的直接多块硬盘高速并行读写的实现方法。实现过程是：在FPGA中首先实现高性能SATA硬盘控制器，并在此基础上构建硬盘阵列读写控制器，对SATA硬盘进行并行存取，从而实现数据采集的高速海量吞吐功能，用于对高速连续采集数据的实时采集、分析处理和记录。同时，本实现方法还通过使用基于FPGA的高速DDR2缓存控制技术和基于光纤的采集数据流通用接口技术的进行补充，充分保证了采集数据的可靠性和对外接口的通用性，有力的保证了高速实时连续数据采集的工程化实现和使用的便利性。

Description

一种基于FPGA的直接多块硬盘高速并行读写方法
技术领域
采用基于FPGA的直接多块硬盘高速并行读写方法，可以实现数据的海量、高速、实时、采集存取和分析。
背景技术
高精度、海量、实时的数据采集方法一直是技术难题。目前常用的技术有基于计算机（即利用计算机提供的高速总线进行数据的采集处理技术）、基于FPGA和大容量动态内存的高速数据采集处理技术、基于FLASH芯片的高速数据采集处理技术，随着新型设备信号带宽的增大，原有的这些采集处理技术受限于总线传输速度或存储容量的限制很难满足新体制大信号带宽设备测试和算法研究的需求。
发明内容
本发明是以日益发展的高速总线技术和高性能FPGA、高速SATA硬盘硬件为基础，突破采集设备的数据采集和处理性能瓶颈。以SATA硬盘作为大容量存储载体，多块硬盘共同构成阵列进行并行读写来实现高速数据传输和存储；以FPGA实现磁盘阵列控制器来实现硬件对硬盘阵列的直接读写，从而绕过计算机操作系统的开销来实现高效硬盘阵列控制；并通过基于FPGA硬件的DDR2内存的FPGA管理技术和基于光纤的通用接口技术的补充，可以在本发明的基础上迅速构建高速实时大容量数据采集和分析处理设备，从而实现采集数据流的实时高速海量采集和分析处理，为后续信号处理和数据处理的前期算法仿真和后期算法改进提供真实有效的试验数据，满足新体制大宽带设备研发和各种外场试验的需求。
本发明在基于高性能FPGA的硬件平台上，采用VHDL语言编程，实现了基于FPGA的SATA硬盘控制器、基于FPGA的磁盘阵列控制器、基于FPGA的DDR2高速缓存管理控制器和基于FPGA的高速光纤接口通信技术，以上技术通过组合可以构成用于工程实际高速数据采集处理设备的核心控制器。
本发明与现有技术相比，其显著优点为：基于FPGA硬件控制技术可以实现并行实时对数据进行高速实时采集和处理；基于SATA硬盘阵列的存储介质可实现采集数据的海量高速存储；基于DDR2的高速缓存管理可以充分保证采集数据的稳定可靠；高速光纤接口技术可以很方便的实现与被采集设备直接物理对接。本发明硬件集成度高且其工程实现简单。该方法具有实时性好、可靠性高的特点。
下面结合附图对本发明作进一步详细描述。
附图说明
附图1是本发明的逻辑组成框图。
附图2是本发明的基于FPGA的SATA硬盘阵列读写控制器逻辑组成框图。
附图3是本发明的基于FPGA的SATA硬盘阵列采集和回读时数据流分配示意图。
附图4是本发明的基于FPGA的DDR2缓存控制器逻辑组成框图。
附图5是本发明的基于FPGA的光纤接口基本协议简表。
具体实施方式
本发明具体实施步骤为，参见附图1：
①                在FPGA中构建SATA磁盘阵列读写控制，其硬件组成逻辑，如附图2所示，分层实现SATA协议，实现SATA硬盘的管理，同时优化与被采集设备的数据接口，实现基于FPGA自动直接硬盘DMA读写控制，从而被采集设备数据流的实时采集和分析；
②                在FPGA中构建高速高效磁盘阵列控制器，针对被采集设备的实时和连续特点，对磁盘阵列控制器进行流盘速度和存储容量的优化，以满足高速高精度海量存储需求，其读写组成逻辑，如附图3所示（以4硬盘阵列控制器为例），采集时，被采集设备数据流首先通过FIFO转换为128位，送入到数据分配逻辑，数据分配逻辑将128位采集数据流读出，每读出128位，平均分成4个32位，即127-96，95-64，63-32，31-0，同时送给4个硬盘控制器的传输层的采集FIFO中。当数据从四个硬盘中导出时，数据合并逻辑将从传输层回放FIFO中的数据读出，4个32位再按分配的顺序重新组合成128位，然后再送给回放数据流的FIFO中；
③                实现基于FPGA的DDR2的高速缓存控制器，考虑到在采集系统中，由于被采集设备数据流是恒定不变的。如100MSPS/16Bit的A/D其数据流为200MBytes/s恒定不变，而对于硬盘这类的存储设备是基于突发性数据传输的，其数据传输速度是不均匀的，时快时慢。为了让恒定的采集数据流能够不丢失的存入到硬盘中，本发明中采用DDR2高速缓存控制器来实现速度匹配，其逻辑框图如附图4所示，可以将DDR2存储器作为超大容量FIFO的来缓存被采集设备数据流，将DDR2设计成一个FIFO，本发明采用时分复用的方法，即采用状态机的方式将DDR2控制器的地址命令信号在时钟的节拍下进行复用，从而实现一个同步FIFO，完成连续恒定速率的高速数据缓存；
④                实现基于FPGA的对外的光纤接口技术，本发明为了提高光纤中数据利用率，减少无效数据的传送，对协议进行优化和精简，即基本协议如附图5所示，该协议系统资源占用少，简单可靠，通用性高。
该方法在基于FPGA硬件的信号处理平台上可实现采集数据实时处理。整个系统的功能采用VHDL语言编写，最终由单片FPGA完成。VHDL程序采用自顶向下的树型结构形式，系统集成度高。整个系统可实现4~16块硬盘阵列的控制，存储容量达到4~16TB，完成4GBytes DDR2缓存的管理，实现最大1GBytes/s的采集处理速度。
基于FPGA的直接多块硬盘高速并行读写技术及实现方法已经成功应用某型回波实时采集回放系统，该方法能够实现200MHz带宽的宽带信号的采集处理和存储。

Claims (5)

1.一种基于FPGA的直接多块硬盘高速并行读写方法，其特征在于：在FPGA（2）内实现磁盘阵列读写控制器（2-2），并通过Rocket IO GTP（2-1）接口与SATA硬盘（1）进行物理连接，完成FPGA（2）同时4块以上SATA硬盘（1）的读写控制；在FPGA（2）内实现DDR2缓存控制器（2-3），并将其与DDR2（3）进行物理连接，完成FPGA（2）对大容量DDR2缓存控制，进而完成输入的采集数据流的分流控制；将FPGA（2）的Rocket IO GTP（2-1）通过光纤与被采集设备接口物理连接，完成采集数据流到信号采集设备的传输。
2.一种根据权利要求1所述的基于FPGA的直接多块硬盘高速并行读写方法，其特征在于：将FPGA（2）的RocketIO GTP（2-1）与SATA硬盘（1）输入输出端口进行物理连接，使用VHDL对FPGA（2）进行硬件编程控制RocketIO GTP（2-1）同时对4块以上SATA硬盘（1）进行读写，从而在FPGA（2）上实现磁盘阵列读写控制器（2-2）。
3.一种根据权利要求1所述的基于FPGA的直接多块硬盘高速并行读写方法，其特征在于：采集数据流进入FPGA（2）后，先进入FIFO进行缓存和位宽转换；再经过数据分配逻辑平均分成多个并行数据流；每个数据流进入磁盘阵列读写控制器（2-2），进而从FPGA（2）输出写入相对应的一个SATA硬盘（1），最终实现FPGA（2）将采集数据流的写入SATA硬盘（1）阵列中。
4.一种根据权利要求1所述的基于FPGA的直接多块硬盘高速并行读写方法，其特征在于：采用时分复用的方法，即采用状态机的方式将DDR2缓存控制器（2-3）的地址命令信号在时钟的节拍下进行复用，从而实现FPGA（2）对大容量DDR2（3）缓存控制。
5.一种根据权利要求1所述的基于FPGA的直接多块硬盘高速并行读写方法，其特征在于：可实现4~16块硬盘阵列的控制，存储容量达到4~16TB，完成4GBytes DDR2缓存的管理，实现最大1GBytes/s的采集处理速度。
CN201310586432.0A 2013-11-20 2013-11-20 一种基于fpga的直接多块硬盘高速并行读写方法 Pending CN103593315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310586432.0A CN103593315A (zh) 2013-11-20 2013-11-20 一种基于fpga的直接多块硬盘高速并行读写方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310586432.0A CN103593315A (zh) 2013-11-20 2013-11-20 一种基于fpga的直接多块硬盘高速并行读写方法

Publications (1)

Publication Number Publication Date
CN103593315A true CN103593315A (zh) 2014-02-19

Family

ID=50083466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310586432.0A Pending CN103593315A (zh) 2013-11-20 2013-11-20 一种基于fpga的直接多块硬盘高速并行读写方法

Country Status (1)

Country Link
CN (1) CN103593315A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104991737A (zh) * 2015-06-18 2015-10-21 杭州电子科技大学 一种基于存储卡阵列架构的硬盘实现方法
CN107102818A (zh) * 2017-03-16 2017-08-29 山东大学 一种基于sd卡的高速数据存储方法
CN107861898A (zh) * 2017-10-18 2018-03-30 湖北三江航天险峰电子信息有限公司 一种基于OpenVPX架构的高速背板
CN108830097A (zh) * 2018-06-21 2018-11-16 湖南君瀚信息技术有限公司 一种sata桥加密设备
CN110019051A (zh) * 2018-04-18 2019-07-16 上海锐智集数电子有限公司 一种基于通用文件系统的高速数据记录方法
CN110647491A (zh) * 2019-10-31 2020-01-03 上海市特种设备监督检验技术研究院 一种用于管道内检测的分布式数据采集存储系统及方法
CN111858415A (zh) * 2020-07-30 2020-10-30 山东超越数控电子股份有限公司 一种用于数据接收与存储的多通道、多协议硬件加速方法
CN112506823A (zh) * 2020-12-11 2021-03-16 盛立金融软件开发（杭州）有限公司 一种fpga数据读写方法、装置、设备及可读存储介质
CN113076066A (zh) * 2021-04-14 2021-07-06 湖南兴天电子科技有限公司 大容量高速存储设备及其运行方法
CN113098580A (zh) * 2021-02-25 2021-07-09 深圳震有科技股份有限公司 卫星空口报文缓存与限速处理方法、装置、设备及介质
CN113126900A (zh) * 2019-12-30 2021-07-16 美光科技公司 用于存储器子系统的媒体管理的单独核心
WO2024124729A1 (zh) * 2022-12-16 2024-06-20 无锡中微亿芯有限公司 一种通过内置边缘模块实现数据传送的fpga

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2591669Y (zh) * 2002-12-09 2003-12-10 中国科学院光电技术研究所 直写硬盘数据记录系统
US7665058B2 (en) * 2003-12-02 2010-02-16 Lsi Corporation Customizable development and demonstration platform for structured ASICs
CN102880427A (zh) * 2012-08-20 2013-01-16 北京奇作电子有限公司 一种基于fpga的sata主控制器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2591669Y (zh) * 2002-12-09 2003-12-10 中国科学院光电技术研究所 直写硬盘数据记录系统
US7665058B2 (en) * 2003-12-02 2010-02-16 Lsi Corporation Customizable development and demonstration platform for structured ASICs
CN102880427A (zh) * 2012-08-20 2013-01-16 北京奇作电子有限公司 一种基于fpga的sata主控制器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕卫祥: "基于SATA硬盘阵列的高速数据存取技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104991737A (zh) * 2015-06-18 2015-10-21 杭州电子科技大学 一种基于存储卡阵列架构的硬盘实现方法
CN107102818A (zh) * 2017-03-16 2017-08-29 山东大学 一种基于sd卡的高速数据存储方法
CN107861898A (zh) * 2017-10-18 2018-03-30 湖北三江航天险峰电子信息有限公司 一种基于OpenVPX架构的高速背板
CN110019051A (zh) * 2018-04-18 2019-07-16 上海锐智集数电子有限公司 一种基于通用文件系统的高速数据记录方法
CN108830097A (zh) * 2018-06-21 2018-11-16 湖南君瀚信息技术有限公司 一种sata桥加密设备
CN110647491A (zh) * 2019-10-31 2020-01-03 上海市特种设备监督检验技术研究院 一种用于管道内检测的分布式数据采集存储系统及方法
CN113126900A (zh) * 2019-12-30 2021-07-16 美光科技公司 用于存储器子系统的媒体管理的单独核心
US12001330B2 (en) 2019-12-30 2024-06-04 Micron Technology, Inc. Separate cores for media management of a memory sub-system
CN111858415A (zh) * 2020-07-30 2020-10-30 山东超越数控电子股份有限公司 一种用于数据接收与存储的多通道、多协议硬件加速方法
CN111858415B (zh) * 2020-07-30 2024-03-15 超越科技股份有限公司 一种用于数据接收与存储的多通道、多协议硬件加速方法
CN112506823B (zh) * 2020-12-11 2023-09-29 盛立安元科技(杭州)股份有限公司 一种fpga数据读写方法、装置、设备及可读存储介质
CN112506823A (zh) * 2020-12-11 2021-03-16 盛立金融软件开发（杭州）有限公司 一种fpga数据读写方法、装置、设备及可读存储介质
CN113098580B (zh) * 2021-02-25 2022-11-08 深圳震有科技股份有限公司 卫星空口报文缓存与限速处理方法、装置、设备及介质
CN113098580A (zh) * 2021-02-25 2021-07-09 深圳震有科技股份有限公司 卫星空口报文缓存与限速处理方法、装置、设备及介质
CN113076066B (zh) * 2021-04-14 2023-12-08 湖南兴天电子科技股份有限公司 大容量高速存储设备及其运行方法
CN113076066A (zh) * 2021-04-14 2021-07-06 湖南兴天电子科技有限公司 大容量高速存储设备及其运行方法
WO2024124729A1 (zh) * 2022-12-16 2024-06-20 无锡中微亿芯有限公司 一种通过内置边缘模块实现数据传送的fpga

Similar Documents

Publication Publication Date Title
CN103593315A (zh) 一种基于fpga的直接多块硬盘高速并行读写方法
CN206557767U (zh) 一种基于乒乓操作结构控制数据缓存的缓存系统
CN101587499B (zh) 基于nand的多通道信号采集系统
CN105468547A (zh) 一种基于axi总线的便捷可配置帧数据存取控制系统
CN102831090A (zh) 一种用于星载dsp与fpga通讯接口的地址线及其优化方法
CN103402068B (zh) 非压缩式视频播放系统及播放方法
CN202563080U (zh) 一种基于fpga+dsp 实现的高速数据采集装置
CN103336745A (zh) 一种基于ssd缓存的fc hba及其设计方法
CN111258504B (zh) 一种基于sata接口固态硬盘的存储控制系统
CN109408434B (zh) 一种基于fpga的多路高速ad数据采集和存储系统
CN101887401A (zh) 高速数据实时采集存储设备
CN207115383U (zh) 一种基于fpga+emmc存储阵列的存储系统
CN102314400B (zh) 一种分散聚合式dma方法及装置
CN102841871A (zh) 基于高速串行总线的DMA结构的pipeline读写方法
CN104866444B (zh) 一种分布式pos用数据存储计算机系统
CN102841870A (zh) 基于高速串行总线的通用dma结构及预读方法
CN104811643A (zh) 基于sd卡阵列的图像数据高速存储系统
CN104166353A (zh) 一种星用多通道数据采集控制电路及控制方法
CN102520892A (zh) 多功能固态数据存储回放仪
CN203799371U (zh) 一种用于小型无人机的高速图像数据存储器
CN103517085B (zh) 一种基于视频解码设计实现远程服务器管理的方法
CN103246754B (zh) 一种高速数字信号采集、存储系统
CN102902829B (zh) 一种高速海量实时数据采集处理系统
CN101901278B (zh) 一种高速数据采集卡及数据采集方法
CN102789424B (zh) 基于fpga的外扩ddr2的读写方法及基于fpga的外扩ddr2颗粒存储器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140219