CN110321300A - 一种信号处理数据高速记录与回放模块的实现方法 - Google Patents

一种信号处理数据高速记录与回放模块的实现方法 Download PDF

Info

Publication number
CN110321300A
CN110321300A CN201910418889.8A CN201910418889A CN110321300A CN 110321300 A CN110321300 A CN 110321300A CN 201910418889 A CN201910418889 A CN 201910418889A CN 110321300 A CN110321300 A CN 110321300A
Authority
CN
China
Prior art keywords
storage medium
signal processing
module
management
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910418889.8A
Other languages
English (en)
Inventor
薛镭
吴成陆
何菲玲
贺亚龙
漆昭铃
柴俊
杨松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
715th Research Institute of CSIC
Original Assignee
715th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 715th Research Institute of CSIC filed Critical 715th Research Institute of CSIC
Priority to CN201910418889.8A priority Critical patent/CN110321300A/zh
Publication of CN110321300A publication Critical patent/CN110321300A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0842—Multiuser, multiprocessor or multiprocessing cache systems for multiprocessing or multitasking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种信号处理数据高速记录与回放模块的实现方法，该模块采用主从处理架构，分离了指令流与数据流的管理，主处理器用于多个逻辑通道记录与回放功能管理和存储介质的逻辑地址管理，协处理器用于对存储介质的读写控制管理。本发明的有益效果为：本发明使得对存储介质的读/写操作事务从主控CPU上分离出来，转移到协处理器上，不受软件因素的干扰；同时使得缓存资源得到有效利用，简化了指令接口的设计，提高了数据传输的稳定性和可靠性。

Description

一种信号处理数据高速记录与回放模块的实现方法
技术领域
本发明涉及信号处理技术，主要是一种信号处理数据高速记录与回放模块的实现方法。
背景技术
信号处理平台的记录与回放模块能够高速记录前置传感器按照一定采样频率采集的信号处理数据，根据信号处理平台应用处理软件的要求，回放特定时间节点的数据，对于提高信号处理平台综合处理能力有重要的意义。
模块的关键部分在于对存储介质的读/写控制模块设计，使读/写存储介质的操作事务不受操作系统及文件系统等软件因素的影响，从而使数据的传输性能保持在稳定的状态。为了达到上述设计目标，在模块设计上需要处理好以下几个问题：
1.如果存储介质的控制操作由主控CPU上的操作系统和文件系统完成。当数据输入/输出保持在高速率时，由于读/写存储介质的速率受限于操作系统的I/O吞吐率和应用软件的系统开销，造成数据在传输过程中容易丢失或者在读取过程中延时传输，也就是出现数据传输“抖动”现象；
2.当对存储介质的控制操作是主控CPU通过文件系统下发I/O操作命令给操作系统时，存储介质对I/O操作命令的响应受限于文件系统和操作系统，无法按照一定的时序实现精确控制，会出现指令控制“迟滞”现象；
3.与CPU可使用的缓存资源相比，单独设计存储介质读写控制电路的缓存资源有限，无法实时满足高速数据处理要求。
发明内容
本发明的目的在于克服现有技术存在的不足，而提供一种信号处理数据高速记录与回放模块的实现方法。
本发明的目的是通过如下技术方案来完成的。一种信号处理数据高速记录与回放模块的实现方法，该模块采用主从处理架构，分离了指令流与数据流的管理，主处理器用于多个逻辑通道记录与回放功能管理和存储介质的逻辑地址管理，协处理器用于对存储介质的读写控制管理。
主处理器上存储应用软件采用内存数据库sqlite3进行模块信息和逻辑地址管理，主处理器上存储应用软件采用命名协议方式获取信号处理平台内部各处理节点的信息。
采用主处理器本地总线与协处理器进行指令传输，自定义命令寄存器组和状态寄存器组，进行主处理器下发操作命令和读取协处理器反馈状态；主处理器上定制化内核驱动程序完成存储应用软件对上述命令寄存器组和状态寄存器组的读写，主处理器上存储应用软件通过上述内核驱动程序读取存储介质状态。
协处理器逻辑设计采用缓存资源管理的乒乓操作，使模块并行使用缓存资源和存储介质；协处理器集成了对存储介质读写控制电路逻辑，具备单独处理数据读写事务的能力；通过自定义IPMI协议获取信号处理平台中模块的位置信息，从而计算出该模块用于通信的数据。
本发明自定义传输链路数据通信协议，用于数据传输过程中握手和确认，保证数据的正确性和可靠性。主处理器上存储应用软件定时反馈信息给显示控制台服务器，主处理器上存储应用软件接收显示控制台服务器远程发送过来的命令，并实时响应。主控制器上存储应用软件检测模块上各部分故障信息，及时处理。
本发明的有益效果为：本发明使得对存储介质的读/写操作事务从主控CPU上分离出来，转移到协处理器上，不受软件因素的干扰；同时使得缓存资源得到有效利用，简化了指令接口的设计，提高了数据传输的稳定性和可靠性。
该模块作为VPX信号处理机的一部分，存储容量标称值为2000GB，实际可用容量为1800GB。支持2个通道记录与回放全双工模式，单路逻辑通道单工记录速率为6.4Gbps，双工记录与回放速率为4.8Gbps；双路逻辑通道同时单工记录速率为4.8Gbps，同时双工记录与回放速率为1.2Gbps。
支持盘满覆盖工作模式，支持几十KB到几MB大小的不同帧长的信号处理数据传输，满足单帧传输节拍时间控制在2毫秒以内。
支持显控台远程命令响应时间控制在50毫秒以内，支持根据回放时间节点要求高速准确回放数据。该模块已经应用于军民领域多个项目中，完全达到了设计指标，并经过多次检验和实际应用，连续工作12小时以上，取得了良好的效果。
附图说明
图1模块架构设计图。
图2模块启动顺序图。
图3存储模块工作模式图。
图4存储应用软件框架图。
图5地址管理接口图。
图6存储信息接口图。
图7通道0/1记录流程图。
图8通道0/1回放流程图。
具体实施方式
下面将结合附图对本发明做详细的介绍：
本发明提出了一种有效处理上述问题的用于信号处理数据高速记录与回放模块方案设计，解决技术问题所采用的技术方案主要包括以下几点：
1.选取一片低功耗的CPU芯片作为主处理器，负责记录与回放的控制流程，另选一片可编程逻辑阵列电路(FPGA)芯片作为协处理器负责高速的数据传输流程。其中，关键部分是高速读写存储介质的控制电路在可编程逻辑阵列电路芯片上编程实现，使频繁的读/写存储介质操作事务从操作系统及文件系统中分离出来，消除了系统开销等软件因素的影响；
2.将逻辑地址信息文件从铁电芯片(fram)转移到内存中，提高了文件读写的效率；
3.通过命名协议组播方式，获取信号处理平台内部各节点信息；
4.针对缓存资源不足的问题，本方案的主要思想是在可编程逻辑阵列电路芯片外挂DDR芯片。在逻辑设计上对DDR资源管理实现双区域(P/Q区域)乒乓操作。通过简单的综合与布局形成完整的电路逻辑，实现并行处理的数据传输机制，进而提高了控制电路对数据的处理能力；
5.将缓存空间根据数据与指令分类进行分割。首先，物理链路上，数据与指令通过不同的传输总线通信(数据通过RapidIO总线，指令通过Local Bus总线)；其次，内容上，指令与数据各自定义一套传输协议(每一帧数据首部加上64位特征码，指令则是采用32位标识符)进行分类处理；然后，指令与数据在传输控制电路被单独设计成各自的逻辑电路，分别连接各自的缓存。数据与指令从传输、处理、缓存等环节进行分割，从而保证整个模块高效运行。
具体实施步骤如下：
1.如附图1所示，本方案中选取的是飞思卡尔的综合通信QorIQ通信处理器P1系列型号为P1020的芯片作为主控芯片，选取一片Xilinx公司型号为XC7V325T的可编程逻辑阵列电路芯片作为协处理器；DDR控制逻辑实现4路DDR并行写入读出，每片运行在800MHZ，全部DDR可以提供6.4GB/s的带宽。DDR内部为每个物理链路通道分为两部分区域，实现数据读写的乒乓功能。
DDR控制逻辑设计思想如下：数据写入DDR时，数据量写满其中一个区域时，后续数据写入另外一个区域，并产生DDR缓存区域读数据就绪中断，通知主控CPU下发存储介质的逻辑地址；DDR控制逻辑收到逻辑地址时请求存储介质的写入权限，获得权限后将数据从就绪的DDR缓存区域传输到存储介质，实现数据存储；为了确保数据的完整性，同时考虑FIFO和DDR资源，设置数据写入DDR的优先级不低于数据读出DDR的优先级。
使得该模块对存储介质的读/写操作事务从主控CPU上分离出来，转移到协处理器上，不受软件因素的干扰；同时使得缓存资源得到有效利用，简化了指令接口的设计，提高了数据传输的稳定性和可靠性。
2.整个模块启动及运行的控制由主控CPU处理，主控CPU上存储应用软件中设计多线程协同工作，包括逻辑地址管理、IPMI通信传输、命名协议管理(组播传输)、远程控制(记录/回放/校时/复位/停止操作)、串口调试信息输出、sata存储介质状态管理，如图2所示；模块设计中指令流(红色)、数据流(绿色)、组播包(黑色)的传输分别由模块上不同的处理电路控制。其中，指令流由主控CPU采用TCP协议与显控节点单点连接的传输模式；数据流由RapidIO控制电路采用在Srio传输协议之上自定义握手协议的传输模式；组播包由主控CPU采用UDP协议加入组播网络传输UDP组播包的传输模式，如图3所示。这种方式，使之前数据与指令串行处理优化为并行处理，数据传输更为流畅，命令响应时间更短，模块运行中“抖动”现象和“迟滞”现象不再出现。
3.存储应用软件的按照不能的功能需求进行设计，如图4所示。逻辑地址管理由存储应用软件中独立程序控制，传输给状态机程序对数据流进行读取和写入操作如图5所示。存储介质信息由存储应用软件独立程序存取，传输给状态机程序进行存储介质检测，如图6所示。使得该模块将逻辑地址信息文件从传统的铁电(fram)芯片中转移到内存中由软件数据库进行管理，提高了操作效率；并且模块通过命名协议组播的方式获取信号处理平台内部不同节点信息，用于数据传输和命令控制。
4.记录数据流程采用自定义的可靠握手协议，保证数据数据记录过程中不丢数，不出错，如图7所示。回放数据流程采用自定义的可靠握手协议，保证数据数据回放过程中不丢数，不出错，如图8所示。采用了可靠的握手传输协议，使得该模块对存储介质具有容错机制(当存储介质发生故障，该模块也不会将错误的数据写入到存储介质，或者从存储介质中回读错误的数据)，从而极大地提高了该模块的可靠性。
可以理解的是，对本领域技术人员来说，对本发明的技术方案及发明构思加以等同替换或改变都应属于本发明所附的权利要求的保护范围。

Claims (4)

1.一种信号处理数据高速记录与回放模块的实现方法，其特征在于：该模块采用主从处理架构，分离了指令流与数据流的管理，主处理器用于多个逻辑通道记录与回放功能管理和存储介质的逻辑地址管理，协处理器用于对存储介质的读写控制管理。
2.根据权利要求1所述的信号处理数据高速记录与回放模块的实现方法，其特征在于：主处理器上存储应用软件采用内存数据库sqlite3进行模块信息和逻辑地址管理，主处理器上存储应用软件采用命名协议方式获取信号处理平台内部各处理节点的信息。
3.根据权利要求1所述的信号处理数据高速记录与回放模块的实现方法，其特征在于：采用主处理器本地总线与协处理器进行指令传输，自定义命令寄存器组和状态寄存器组，进行主处理器下发操作命令和读取协处理器反馈状态；主处理器上定制化内核驱动程序完成存储应用软件对上述命令寄存器组和状态寄存器组的读写，主处理器上存储应用软件通过上述内核驱动程序读取存储介质状态。
4.根据权利要求1所述的信号处理数据高速记录与回放模块的实现方法，其特征在于：协处理器逻辑设计采用缓存资源管理的乒乓操作，使模块并行使用缓存资源和存储介质；协处理器集成了对存储介质读写控制电路逻辑，具备单独处理数据读写事务的能力；通过自定义IPMI协议获取信号处理平台中模块的位置信息，从而计算出该模块用于通信的数据。
CN201910418889.8A 2019-05-20 2019-05-20 一种信号处理数据高速记录与回放模块的实现方法 Pending CN110321300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910418889.8A CN110321300A (zh) 2019-05-20 2019-05-20 一种信号处理数据高速记录与回放模块的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910418889.8A CN110321300A (zh) 2019-05-20 2019-05-20 一种信号处理数据高速记录与回放模块的实现方法

Publications (1)

Publication Number Publication Date
CN110321300A true CN110321300A (zh) 2019-10-11

Family

ID=68113184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910418889.8A Pending CN110321300A (zh) 2019-05-20 2019-05-20 一种信号处理数据高速记录与回放模块的实现方法

Country Status (1)

Country Link
CN (1) CN110321300A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112562121A (zh) * 2020-12-30 2021-03-26 洛阳伟信电子科技有限公司 一种基于srio协议的存储数据和快速下载方法
CN114661364A (zh) * 2020-12-23 2022-06-24 Oppo广东移动通信有限公司 协处理芯片的启动方法、装置、存储介质及电子装置
WO2024119817A1 (zh) * 2022-12-05 2024-06-13 苏州元脑智能科技有限公司 数据处理系统、方法、设备及非易失性可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1427335A (zh) * 2001-11-08 2003-07-02 松下电器产业株式会社 电路组控制系统
US20040021782A1 (en) * 2002-07-31 2004-02-05 Fuji Photo Film Co., Ltd. Digital camera
US20060165387A1 (en) * 2003-03-06 2006-07-27 Masanori Itoh Data processing device
CN105706071A (zh) * 2013-09-26 2016-06-22 英特尔公司 持久性存储器的块存储孔
CN106326155A (zh) * 2016-08-19 2017-01-11 南京理工大学 一种多总线数据记录与回放装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1427335A (zh) * 2001-11-08 2003-07-02 松下电器产业株式会社 电路组控制系统
US20040021782A1 (en) * 2002-07-31 2004-02-05 Fuji Photo Film Co., Ltd. Digital camera
US20060165387A1 (en) * 2003-03-06 2006-07-27 Masanori Itoh Data processing device
CN105706071A (zh) * 2013-09-26 2016-06-22 英特尔公司 持久性存储器的块存储孔
CN106326155A (zh) * 2016-08-19 2017-01-11 南京理工大学 一种多总线数据记录与回放装置及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114661364A (zh) * 2020-12-23 2022-06-24 Oppo广东移动通信有限公司 协处理芯片的启动方法、装置、存储介质及电子装置
CN112562121A (zh) * 2020-12-30 2021-03-26 洛阳伟信电子科技有限公司 一种基于srio协议的存储数据和快速下载方法
WO2024119817A1 (zh) * 2022-12-05 2024-06-13 苏州元脑智能科技有限公司 数据处理系统、方法、设备及非易失性可读存储介质

Similar Documents

Publication Publication Date Title
CN106612141B (zh) 一种光纤通道协议通用仿真测试卡及其数据交互方法
CN103150275B (zh) 掉电后重建闪存控制器中使用的元数据的方法及闪存装置
KR100840140B1 (ko) 메모리 허브 메모리 모듈들을 사용하여 데이터 전송들을조직화하는 시스템 및 방법
CN110321300A (zh) 一种信号处理数据高速记录与回放模块的实现方法
CN103744790B (zh) 智能可缩放存储切换架构
CN109613491A (zh) 一种基于fpga的高速信号采集存储及回放系统
CN103176746B (zh) 用于数据存储系统中增强的控制器架构的系统和方法
RU2509348C2 (ru) Способ и устройство для обеспечения потоков на основе идентификатора через шину pci express
CN102761466B (zh) 一种ieee 1394 总线数据记录处理系统和方法
CN103034562A (zh) 闪存介质控制器中的元数据处理
CN105573951B (zh) 一种针对数据流传输的ahb总线接口系统
US9509604B1 (en) Method of configuring a system for flow based services for flash storage and associated information structure
CN107911391A (zh) 一种基于fpga的axi协议与spi协议转换的方法
CN111258504B (zh) 一种基于sata接口固态硬盘的存储控制系统
CN103002046B (zh) 多系统数据拷贝的rdma装置
CN105023185B (zh) 一种基于fpga的期货交易盘口数据实时解析系统
CN108427629A (zh) 一种数据压缩的SoC芯片信息追踪装置和性能优化方法
US20120221809A1 (en) Storage apparatus and data processing method of the same
CN115687228B (zh) 一种基于PCIe总线的星载固态存储系统及方法
CN115587058B (zh) 一种数据处理系统、方法、设备及介质
CN108154891A (zh) 一种基于vpx单槽结构的存储模块
CN209624766U (zh) 一种基于fpga的高速信号采集存储及回放系统
CN106603409A (zh) 一种数据处理系统、方法及设备
CN103092781A (zh) 闪存接口的有效利用
CN111475459A (zh) 一种9u vpx数据存储服务器及数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191011

RJ01 Rejection of invention patent application after publication