CN101887401A - 高速数据实时采集存储设备 - Google Patents

Abstract

本发明公开了一种高速数据实时采集存储设备，其包括：高速数字数据采集模块(1)和高速数据存储控制模块(2)，高速数字数据采集模块(1)和高速数据存储控制模块(2)通过PCI-E总线连接；高速数字数据采集模块(1)用于接收外部低速和高速数字信号，并将接收到的数字信号进行处理，将处理过后的数据传输到设备内部的设备PCI-E总线，由高速数据存储控制模块(2)将数据存储到磁盘阵列中，完成高速、实时、安全的数据存储。同时也支持数据的回放，用户可以通过本模块对磁盘阵列中的数据进行访问。

Description

高速数据实时采集存储设备

技术领域

本发明涉及一种存储设备，特别涉及一种高速数据实时采集存储设备，属于计算机应用领域。

背景技术

高速数据采集存储系统的关键技术是高速模数转换技术、数据存储与传输技术和抗干扰技术。当大量的高速实时数据经过模数转换后，必须高速存储，多通道高采样率的数据采集系统会产生巨大的数据流。这样就需要高速大容量的存储介质将数据存储起来，然后再读回计算机进行处理。

当前主流的高速数据采集存储系统基本上都是国外公司的产品，其中以美国国家仪器公司(National Instruments)的产品占据市场领先地位。其主流产品方案是基于PC架构的控制主机加上基于PXI/PXIe总线的高速数据采集卡和RAID磁盘阵列卡来实现的，最高产品规格可实现600MB/S的持续数据流盘。

在数据采集领域，越来越多的应用对采样率和分辨率都提出了更高的要求。高速流盘技术一直是测控领域面临的挑战。在当前数据流盘速度受限的情况下，用户不得不采取一些折衷方案，比如下列几种方式：

1、采集的数据先全部存放在采集卡的内存中，停止采集后把数据从采集卡的内存再读入到主机中。由于采集卡上内存大小的限制，这样的方式只能连续采集几秒甚至几毫秒的数据，无法做到持续实时存储。

2、采用NI(美国国家仪器)公司的PXIe采集卡以及工控机，这种方式可以实现较高速度的采集和存储，但是由于采用通用的X86体系结构，在很多情况下无法满足苛刻的环境要求，比如对于温度和振动有较高要求的情况下，这种方式就无法使用。

3、通过FPGA把采集之后的数据直接写入到Flash阵列中，这种方式可以实现较高速度的采集，并且可以满足比较苛刻的环境要求，同时流盘的速度也可以达到接近300MB/S。但是这种方式存在一些比较致命的弱点，主要是Flash的写入控制很难达到较高的性能，同时，这种方式无法实现方便的扩容。

尽管目前的这些产品或者方案存在各种各样的缺陷，但是在市场上可选择的产品中，速度最高也仅能达到600MB/S，用户也别无选择。

当前市场上的数据采集存储的设备架构一般有以下几种：

1.使用PCI/PXI架构

PCI总线是一种并行总线，最高带宽132MB/s，持续带宽110MB/s，所有的设备共享该带宽，存储顺序是数据先传到设备缓存，再经PCI总线传输到控制器，经过I/O总线，到内存RAM，CPU，最后存储到硬盘上，由于各个设备共享带宽，而且数据需要经过CPU处理最后存储到硬盘上，普通的IDE硬盘读写速度也不快，因此，采用该架构数据的存储速度一般不会超过50MB/s。一般的PXI设备工作原理与此类似。

2.使用PCIe/PXIe架构

PCIe总线是一种串行总线，单线传输(x1)可以达到250MB/s，16线(x16)时传输速率可达4GB/s，各设备专用各自总线进行点对点传输，因此传输速率较高，此时的瓶颈主要存在于读写硬盘的速度。一般存储/读取的速度均在100MB/s到400MB之间。

3.使用直接写盘架构

以上两种架构，数据都要经过I/O总线、内存和CPU，在一定程度上该过程限制了存储/读取的速度，而且CPU的多线程性又增加了丢失数据的可能性和系统的不稳定性，所以出现了直接读/写盘结构。数据从设备的缓存中读出后直接写入磁盘，或者从磁盘中读取后直接输出。采用此方案的产品数据流盘速度可达600MB/s。但这种方案仍需要主机对采集卡和磁盘阵列卡进行控制，增加了产品的成本和复杂性，复杂性的增加导致了系统稳定性的下降，同时主机的总线控制器带宽仍然对数据存取速度有一定限制。

发明内容

本发明所要解决的技术问题是提供一种基于嵌入式高性能I/O处理器的方案，从根本上解决了PC架构带来的总线瓶颈问题，产品的集成度更高，更加适合于工业级甚至军用级的应用环境的高速数据实时采集存储设备。

为解决上述的技术问题，本发明的技术方案是：一种高速数据实时采集存储设备，其包括：高速数字数据采集模块和高速数据存储控制模块，高速数字数据采集模块和高速数据存储控制模块通过PCI-E总线连接；

高速数字数据采集模块包括高速数字数据采集模块控制器、数据采集通道和PCI-E总线，高速数字数据采集模块控制器与数据采集通道和PCI-E总线连接，高速数字数据采集模块控制器接收数据采集通道的数字信号，将接收到的数字信号进行处理，并将处理后的数据传输到PCI-E总线；

高速数据存储控制模块包括高速数据存储控制模块控制器、磁盘阵列和PCI-E总线，高速数据存储控制模块控制器与PCI-E总线和磁盘阵列连接，高速数据存储控制模块控制器将高速数字数据采集模块通过PCI-E总线传来的数据存储到磁盘阵列上。

上述数据采集通道为4路独立DMA通道，支持并行采集或回放。

上述数据采集通道的总位宽为128bit，最高数据速率为900MB/s，采用LVDS数据输入。

上述高速数据存储控制模块设置有千兆以太网口和串口。

上述高速数字数据存储模块设置有SAS/SATA接口，并通过SAS/SATA接口连接磁盘阵列。

上述高速数字数据采集模块采用FPGA作为控制器，高速数据存储控制模块采用INTEL IOP81348作为控制器。

本产品实施方案中，抛弃了采用PC端作为控制主机的架构设计，将数据采集和高速存储作为一个集成设备来实现，内部使用PCIe总线连接两个模块，一方面利用了PCIe的高速点对点传输的优势，同时，嵌入式处理器直接控制磁盘阵列实现数据存储，不再使用单独磁盘阵列卡，存储数据时数据流不经过PCIe总线，相当于一种更为优化的直接写盘架构，可以达到更高的存储速度，带宽可达2GB/s。

本发明实现了：

1、真正实现“实时”采集和存储，无须中断客户应用；

2、采用通用的存储介质，扩容方便，可以实现超大容量存储；

3、实现超高速流盘，大于900MB/S的速度远远高于业界现有的指标；

4、一体化设计，降低系统复杂度，增加系统稳定性；

5、满足各种苛刻的环境要求。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明的系统结构图；

图2为本发明高速数字数据采集模块结构图；

图3为本发明高速数据存储控制模块结构图；

图4为本发明的整体框图。

具体实施方式

如图1所示，本发明可分为高速数字数据采集模块1和高速数据存储控制模块2，高速数字数据采集模块1和高速数据存储控制模块2通过PCI-E总线连接。高速数字数据采集模块1和高速数据存储控制模块2采用单板设计，具有较好的抗震性能。

高速数字数据采集模块1采用FPGA作为控制器，高速存储控制模块2采用INTEL IOP81348作为控制器，两个模块之间通过设备内部的PCI-E总线进行通信。

如图2所示，高速数字数据采集模块1包括高速数字数据采集模块控制器、数据采集通道和PCI-E总线，高速数字数据采集模块控制器与数据采集通道和PCI-E总线连接，高速数字数据采集模块控制器接收数据采集通道的数字信号，将接收到的数字信号进行处理，并将处理后的数据传输到PCI-E总线。

高速数字数据采集模块1可以工作于如下两种模式：

1、数据记录模式：两个高速数字通道的数据通过FPGA直接传送到设备内部设备PCI-E总线上，然后再写到后端高速数据存储控制模块的磁盘阵列中。

2、数据回放模式：当进行数据回放时候，存储在存储模块上的数据，控制器将数据按照规定的格式传输至高速数字数据采集模块1，由高速数字数据采集模块1对数据进行回放。

如图3所示，高速数据存储控制模块2包括高速数据存储控制模块控制器、磁盘阵列和PCI-E总线，高速数据存储控制模块控制器与PCI-E总线和磁盘阵列连接，高速数据存储控制模块控制器将高速数字数据采集模块1通过PCI-E总线传来的数据存储到磁盘阵列上。

高速数据存储控制模块2可以将高速数字数据采集模块1传来的数据以高于900MB/S的速度，实时的存储到高速数据存储控制模块2的磁盘阵列上，可以完成高速、实时、安全的数据存储。同时也支持数据的回放，用户可以通过本模块对磁盘阵列中的数据进行访问。

高速数据存储控制模块2是基于INTEL的IOP81348控制器实现的，其可挂接8块SAS/SATA/SSD硬盘。IOP81348带有一个PCI-X控制器和一个PCI-E控制器，PCI-X上扩展一个千兆以太网口用来调试设备和数据回放，PCI-E控制器用来和高速数字数据采集模块1连接。

如图3所示，高速数据存储控制模块2的其他功能：

1)时钟电路：提供系统稳定工作的时钟信号；

2)系统复位电路：提供系统上电需要的复位信号并做系统低电压监控；

3)JTAG：为系统调试提供接口；

4)Flash BOOT：此部分挂接在PBI BUS上，IOP通过PBI访问FLASH；

5)设备PCI-X扩展：一个1000M的以太网控制器连接在PCI-X总线上，交互传输来自以太网的数据；

6)PCI-E总线：IOP81348设置为ROOT COMPLEX可以连接不同的设备，可以连接不同的Target，本设计用于连接高速数字数据采集模块1；

7)UART：接受来自外部的异步串行信号，IOP控制器也可以通过UART发送异步串行信号给其他设备；

8)I2C：IOP控制器做为MASTER来访问连接在I2C总线上的SLAVE，如RTC等；

9)GPIO：控制蜂鸣器、系统运行指示灯、硬盘状态灯；

10)电源模块：为系统提供稳定可靠的电源供应，输入来自ATX电源。

高速数字数据采集模块1可以采集四通道总位宽128bit、最高数据速率900MB/s的高速数字数据；高速数据存储控制模块2提供2个用于连接硬盘的MINISAS接口，一个千兆以太网口用于数据回放，一个串口用于设备调试和主机通信。

本发明的设备包含了多种接口，如图4所示，包括：

1)128-bit高速数据输入通道；

2)八位低速数字数据输入通道；

3)1000M网络接口；

4)RS232接口：用于设备调试和与主机通信接口；

5)存储接口：用于存储介质SATA/SAS/SSD的接口，支持热拔插；

本发明采用四路高速数字数据总位宽128bits，最大传输速率为900MB/S，差分信号输入，并以不低于900MB/s的速度将采集数据实时存储到磁盘阵列中。

在存储的时候对磁盘阵列以自定义格式的方式进行存取(即不采用标准的文件系统)，不同输入通道采集到的数据分别存入磁盘阵列的不同区块中。

本发明设备还可通过设备网口连接至外部设备，可以随时查看磁盘阵列中的数据，对数据进行回放和数据分析。

该设备可广泛运用于雷达、声纳、图像处理、语音识别、通信、瞬态信号测试等领域。一些涉及国防和安全的领域不仅不再依赖和受制于国外产品，甚至还可以提供比国外产品性能更高的产品，从而提高这些领域的产品在国际上的竞争力。

同样，该系统也可以帮助关系到国计民生问题的石油勘探，地震监测等领域提供更加完善和完美的数据记录与分析手段。

上述实施例不以任何方式限制本发明，凡是采用等同替换或等效变换的方式获得的技术方案均落在本发明的保护范围内。

Claims (6)

1.一种高速数据实时采集存储设备，其特征在于包括：高速数字数据采集模块(1)和高速数据存储控制模块(2)，高速数字数据采集模块(1)和高速数据存储控制模块(2)通过PCI-E总线连接；

高速数字数据采集模块(1)包括高速数字数据采集模块控制器、数据采集通道和PCI-E总线，高速数字数据采集模块控制器与数据采集通道和PCI-E总线连接，高速数字数据采集模块控制器接收数据采集通道的数字信号，将接收到的数字信号进行处理，并将处理后的数据传输到PCI-E总线；

高速数据存储控制模块(2)包括高速数据存储控制模块控制器、磁盘阵列和PCI-E总线，高速数据存储控制模块控制器与PCI-E总线和磁盘阵列连接，高速数据存储控制模块控制器将高速数字数据采集模块(1)通过PCI-E总线传来的数据存储到磁盘阵列上。

2.根据权利要求1所述的高速数据实时采集存储设备，其特征在于：所述数据采集通道为4路独立DMA通道。

3.根据权利要求1或2所述的高速数据实时采集存储设备，其特征在于：所述数据采集通道的总位宽为128bit，最高数据速率为900MB/s，采用LVDS数据输入。

4.根据权利要求1所述的高速数据实时采集存储设备，其特征在于：所述高速数据存储控制模块(2)设置有千兆以太网口和串口。

5.根据权利要求1所述的高速数据实时采集存储设备，其特征在于：所述高速数字数据存储模块(2)设置有SAS/SATA接口，并通过SAS/SATA接口连接磁盘阵列。

6.根据权利要求1所述的高速数据实时采集存储设备，其特征在于：所述高速数字数据采集模块(1)采用FPGA作为控制器，高速数据存储控制模块(2)采用INTEL IOP81348作为控制器。

Images