CN102902829B - 一种高速海量实时数据采集处理系统 - Google Patents

一种高速海量实时数据采集处理系统 Download PDF

Info

Publication number
CN102902829B
CN102902829B CN201110210412.4A CN201110210412A CN102902829B CN 102902829 B CN102902829 B CN 102902829B CN 201110210412 A CN201110210412 A CN 201110210412A CN 102902829 B CN102902829 B CN 102902829B
Authority
CN
China
Prior art keywords
dsp processor
raid card
fpga
data input
phy chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110210412.4A
Other languages
English (en)
Other versions
CN102902829A (zh
Inventor
徐小杰
林锋
Original Assignee
No702 Factory People's Liberation Army Navy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by No702 Factory People's Liberation Army Navy filed Critical No702 Factory People's Liberation Army Navy
Priority to CN201110210412.4A priority Critical patent/CN102902829B/zh
Publication of CN102902829A publication Critical patent/CN102902829A/zh
Application granted granted Critical
Publication of CN102902829B publication Critical patent/CN102902829B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)
  • Logic Circuits (AREA)

Abstract

一种高速海量实时数据采集处理系统，它涉及数据的采集处理装置，它包含RAID卡、FPGA、数据输入单元、DDR2内存、SATA/SAS磁盘组、DSP处理器、PHY芯片和RJ145网络端口，FPGA分别与RAID卡、数据输入单元、DDR2内存、DSP处理器连接，RAID卡与SATA/SAS磁盘组连接，DSP处理器分别与DDR2内存和PHY芯片连接，PHY芯片与RJ145网络端口连接。它数据传输带宽高，实时处理能力强，流盘速度高，存储容量扩展灵活，提供了高速扩展接口，扩展方便，适合推广。

Description

一种高速海量实时数据采集处理系统
技术领域：
本发明涉及数据的采集处理装置，具体涉及一种高速海量实时数据采集处理系统。
背景技术：
高速海量实时数据的采集和处理，一直是一个技术难题，现有的数据采集处理装置数据传输带窄，实时处理能力差，数据流盘能力差，缓存深度低，存储容量不灵活，功能扩展繁琐，体积、功耗大，结构复杂，整体性差，对环境要求高，不适合携带和外场等测试情况下使用，造价昂贵，不适合应用推广。
发明内容：
本发明的目的是提供一种高速海量实时数据采集处理系统，它数据传输带宽，实时处理能力强，流盘速度高，缓存深度高，存储容量扩展灵活，集数据采集、存储和分析处理于一体，同时提供了高速扩展接口，扩展方便，体积小，功耗低，整机集成度高，造价低，适合应用推广。
为了解决背景技术所存在的问题，本发明采取以下技术方案：它包含RAID卡1、FPGA2、数据输入单元3、DDR2内存4、SATA/SAS磁盘组5、DSP处理器6、PHY芯片7和RJ145网络端口8，FPGA2分别与RAID卡1、数据输入单元3、DDR2内存4、DSP处理器6连接，RAID卡1与SATA/SAS磁盘组5连接，DSP处理器6分别与DDR2内存4和PHY芯片7连接，PHY芯片7与RJ145网络端口8连接。
所述的FPGA2包含SRIO-LVDS-GPIO2-1、PCI-Express总线2-2和SRIO2-3，且SRIO-LVDS-GPIO2-1与数据输入单元3连接，PCI-Express总线2-2与RAID卡1连接，SRIO2-3与DSP处理器6连接。
所述的DSP处理器6包含EMAC设备6-1，EMAC设备6-1与PHY芯片7连接。
所述的数据输入单元3为IO方式和高速扩展接口方式，支持96条可编程的IO线，支持布成LVDS差分对的高速扩展接口，同时支持SRIO方式数据传输。
所述的DSP处理器6采用TMS320C6474。
本发明的工作原理为由FPGA对数据输入进行处理，并控制RAID卡实现对SATA/SAS磁盘组的管理，FPGA系统包含2条独立的DDR2内存总线，可以用来扩展缓存；实时数据通过SRIO接口和DSP处理器交互，由DSP处理器做数据处理功能，DSP处理器单元外置SWITCH芯片886e112，可以扩展出两个千兆网端口，用于分析处理结果的上传显示。
本发明具有以下有益效果：它数据传输带宽，实时处理能力强，流盘速度高，缓存深度高，存储容量扩展灵活，集数据采集、存储和分析处理于一体，同时提供了高速扩展接口，扩展方便，体积小，功耗低，整机集成度高，造价低，适合应用推广。
附图说明：
图1为本发明的结构示意图。
具体实施方式：
参照图1，本具体实施方式采取以下技术方案：它包含RAID卡1、FPGA2、数据输入单元3、DDR2内存4、SATA/SAS磁盘组5、DSP处理器6、PHY芯片7和RJ145网络端口8，FPGA2分别与RAID卡1、数据输入单元3、DDR2内存4、DSP处理器6连接，RAID卡1与SATA/SAS磁盘组5连接，DSP处理器6分别与DDR2内存4和PHY芯片7连接，PHY芯片7与RJ145网络端口8连接。
所述的FPGA2包含SRIO-LVDS-GPIO2-1、PCI-Express总线2-2和SRIO2-3，且SRIO-LVDS-GPIO2-1与数据输入单元3连接，PCI-Express总线2-2与RAID卡1连接，SRIO2-3与DSP处理器6连接。
所述的DSP处理器6包含EMAC设备6-1，EMAC设备6-1与PHY芯片7连接。
所述的数据输入单元3为IO方式和高速扩展接口方式，支持96条可编程的IO线，支持布成LVDS差分对的高速扩展接口，同时支持SRIO方式数据传输。
所述的DSP处理器6采用TMS320C6474。
本具体实施方式的工作原理为由FPGA对数据输入进行处理，并控制RAID卡实现对SATA/SAS磁盘组的管理，FPGA系统包含2条独立的DDR2内存总线，可以用来扩展缓存；实时数据通过SRIO接口和DSP处理器交互，由DSP处理器做数据处理功能，DSP处理器单元外置SWITCH芯片886e112，可以扩展出两个千兆网端口，用于分析处理结果的上传显示。
本具体实施方式数据传输带宽高，实时处理能力强，流盘速度高，缓冲深度高，存储容量扩展灵活，集数据采集、存储和分析处理于一体，同时提供了高速扩展接口，扩展方便，体积小，功耗低，整机集成度高，造价低，适合应用推广。

Claims (2)

1.一种高速海量实时数据采集处理系统，其特征在于它包含RAID卡(1)、FPGA(2)、数据输入单元(3)、DDR2内存(4)、SATA/SAS磁盘组(5)、DSP处理器(6)、PHY芯片(7)和RJ145网络端口(8)，FPGA(2)分别与RAID卡(1)、数据输入单元(3)、DDR2内存(4)、DSP处理器(6)连接，RAID卡(1)与SATA/SAS磁盘组(5)连接，DSP处理器(6)分别与DDR2内存(4)和PHY芯片(7)连接，PHY芯片(7)与RJ145网络端口(8)连接；所述的DSP处理器(6)包含EMAC设备(6-1)，EMAC设备(6-1)与PHY芯片(7)连接；所述的FPGA(2)包含SRIO-LVDS-GPIO(2-1)、PCI-Express总线(2-2)和SRIO(2-3)，且SRIO-LVDS-GPIO(2-1)与数据输入单元(3)连接，PCI-Express总线(2-2)与RAID卡(1)连接，SRIO(2-3)与DSP处理器(6)连接；数据输入单元(3)为IO方式和高速扩展接口方式；
由FPGA对数据输入进行处理，并控制RAID卡实现对SATA/SAS磁盘组的管理，FPGA系统包含2条独立的DDR2内存总线，可以用来扩展缓存；实时数据通过SRIO接口和DSP处理器交互，由DSP处理器做数据处理功能。
2.根据权利要求1所述的一种高速海量实时数据采集处理系统，其特征在于所述的DSP处理器(6)采用TMS320C6474处理器。
CN201110210412.4A 2011-07-26 2011-07-26 一种高速海量实时数据采集处理系统 Expired - Fee Related CN102902829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110210412.4A CN102902829B (zh) 2011-07-26 2011-07-26 一种高速海量实时数据采集处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110210412.4A CN102902829B (zh) 2011-07-26 2011-07-26 一种高速海量实时数据采集处理系统

Publications (2)

Publication Number Publication Date
CN102902829A CN102902829A (zh) 2013-01-30
CN102902829B true CN102902829B (zh) 2016-02-17

Family

ID=47575060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110210412.4A Expired - Fee Related CN102902829B (zh) 2011-07-26 2011-07-26 一种高速海量实时数据采集处理系统

Country Status (1)

Country Link
CN (1) CN102902829B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238991A (zh) * 2021-07-12 2021-08-10 湖南博匠信息科技有限公司 一种基于fpga实现硬raid卡功能的方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617301A (zh) * 2013-12-02 2014-03-05 天津光电通信技术有限公司 基于dsp与fpga的多通道数据采集处理设备
CN103986931B (zh) * 2014-04-25 2017-01-25 北京航空航天大学 一种fpga+dsp结构上基于srio总线传输视频数据的实现方法
CN105630400A (zh) * 2014-11-01 2016-06-01 江苏绿扬电子仪器集团有限公司 高速海量数据存储系统
CN106528492A (zh) * 2016-10-27 2017-03-22 济南浪潮高新科技投资发展有限公司 一种基于fpga实现的高速大容量记录板卡
CN109753459A (zh) * 2018-12-07 2019-05-14 天津津航计算技术研究所 一种大容量数据记录器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833424A (zh) * 2010-03-26 2010-09-15 中国科学院光电技术研究所 基于fpga的高速存储与传输装置
CN101887401A (zh) * 2010-06-24 2010-11-17 苏州飞鱼星电子技术有限公司 高速数据实时采集存储设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060696B2 (en) * 2007-04-27 2011-11-15 Siemens Medical Solutions Usa, Inc. Positron emission tomography event stream buffering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833424A (zh) * 2010-03-26 2010-09-15 中国科学院光电技术研究所 基于fpga的高速存储与传输装置
CN101887401A (zh) * 2010-06-24 2010-11-17 苏州飞鱼星电子技术有限公司 高速数据实时采集存储设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《LZW压缩算法在多通道告诉数据采集系统中的实现》;林峰，黄可生，徐小杰等;《船舶工程》;20110715;第33卷;第232-235页 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238991A (zh) * 2021-07-12 2021-08-10 湖南博匠信息科技有限公司 一种基于fpga实现硬raid卡功能的方法
CN113238991B (zh) * 2021-07-12 2021-11-05 湖南博匠信息科技有限公司 一种基于fpga实现硬raid卡功能的方法

Also Published As

Publication number Publication date
CN102902829A (zh) 2013-01-30

Similar Documents

Publication Publication Date Title
CN102902829B (zh) 一种高速海量实时数据采集处理系统
CN109613491B (zh) 一种基于fpga的高速信号采集存储及回放系统
CN101588175B (zh) 一种fpga阵列处理板
CN203480022U (zh) 一种超高速通用雷达信号处理板
CN205193795U (zh) 一种可扩展的多功能接口系统
CN202563080U (zh) 一种基于fpga+dsp 实现的高速数据采集装置
CN101887401A (zh) 高速数据实时采集存储设备
CN201429841Y (zh) 一种fpga阵列处理板
CN204203964U (zh) 一种多路数据存储的便携式地面测试设备
CN104361143A (zh) 一种便携式数据采集卡及其方法
CN103517085A (zh) 一种基于视频解码设计实现远程服务器管理的方法
CN203457232U (zh) 一种基于cpci架构的红外图像采集系统
CN202587005U (zh) 一种多功能通讯接口测试仪
CN205210623U (zh) 基于dsp+arm工业处理器和fpga的模拟数据采集控制器
CN201688851U (zh) 一种双dsp处理器平台导航计算机
CN104182551A (zh) 多采样率多路同步数据采集系统及采集方法
CN204177575U (zh) 一种基于dsp与arm的嵌入式轴承故障检测系统
CN212906280U (zh) 一种基于pcie的高速模拟量采集卡
CN204203965U (zh) 一种用于便携式地面测试设备的数据传输板
CN202939598U (zh) 一种rs485/rs422总线测试板
CN207352610U (zh) 一种基于PCI Express总线架构的FPGA数据处理卡
CN202331457U (zh) 一种数据采集器
CN205015164U (zh) 汽车制动性能检测仪的高速同步信号采集系统
CN202650232U (zh) 一种设有触摸屏的网络采集器
CN203299333U (zh) 基于cpld的变压器局部放电电-声信号同步监测装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Xu Xiaojie

Inventor after: Lin Feng

Inventor before: Lin Feng

Inventor before: Huang Kesheng

Inventor before: Xu Xiaojie

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: LIN FENG HUANG KESHENG XU XIAOJIE TO: XU XIAOJIE LIN FENG

ASS Succession or assignment of patent right

Free format text: FORMER OWNER: SHANGHAI KEXUN INFORMATION TECHNOLOGY CO., LTD.

Effective date: 20141216

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141216

Address after: 200434, 1167 Jiang Tian Road, Shanghai, Zhabei District

Applicant after: No.702 Factory, People's Liberation Army Navy

Address before: 200434, 1167 Jiang Tian Road, Shanghai, Zhabei District

Applicant before: No.702 Factory, People's Liberation Army Navy

Applicant before: Shanghai Kexun Information Technology Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160217

Termination date: 20200726

CF01 Termination of patent right due to non-payment of annual fee