CN114780471A - 一种数据采集存储系统及方法 - Google Patents

Abstract

本发明公开了一种数据采集存储系统及方法，系统包括处理器模块、PCIe桥接模块、数据采集模块和数据存储模块，处理器模块通过PCIe总线连接PCIe桥接模块，PCIe桥接模块通过PCIe总线分别与数据采集模块、数据存储模块连接。方法包括：处理器模块获取上位机的控制指令并解析，若为采集指令，通过PCIe桥接模块发送控制命令给数据采集模块，数据采集模块从外部的数据采集设备获取数据，将数据通过PCIe总线发送给PCIe桥接模块，PCIe桥接模块转发给数据存储模块进行保存；若为回放指令，通过PCIe桥接模块获取数据存储模块中的数据，并上传给上位机。该系统存储容量可扩展性好、存储速率高、可运行标准文件系统。

Description

一种数据采集存储系统及方法

技术领域

本发明属于数据采集存储技术领域，涉及一种数据采集存储系统及方法，更具体的涉及到基于PCIe总线系统的采集存储系统设计，适用于采集各类高速接口、存储方便扩展的高速大容量数据采集存储系统及方法。

背景技术

目前主流的高速大容量数据采集存储系统一般采用ARM/DSP+FPGA架构，如图1所示。随着社会发展和科技进步，对采集总线接口、采集存储速率和容量有了更高的要求，此架构有如下弊端：(1)存储容量可扩展性差：存储由N个硬盘组成，目前市面上一般的SATA硬盘存储容量为2TB。FPGA内部的SATA核实现SATA接口，受限于FPGA内部逻辑资源，SATA核的数量是有限的，一般情况下N最大取值8，这样，存储总容量为16TB且很难再扩展；(2)存储速率受限：存储速率取决于硬盘的数量，除去协议开销和延时，SATA3.0的有效写入速率一般为350MB/s，8块硬盘的写入速率为：350MB/s×8＝2800MB/s。(3)文件系统为非标准文件系统：由于SATA硬盘没有直接挂载到ARM/DSP，而是通过FPGA实现物理映射，这样，在ARM/DSP端运行的是一个类似定制的文件系统，即非标准文件系统。非标准文件系统需要自行开发或移植ARM/DSP厂家给出的源码。一般地，标准的文件系统可移植性好，稳定性高，在数据采集存储领域，应尽可能使用标准的文件系统。(4)采集数据接口可扩展性差：在此架构中，FPGA需实现光纤接口、SRIO接口、PCIe总线、万兆网接口、N个SATA接口和其他高速总线接口协议，FPGA实现了较多的功能，内部的逻辑资源基本接近器件的逻辑资源上限，可扩展性差。

基于现有技术中存在的上述缺陷，需要开发一种新型的、采集接口和存储容量都可扩展的、更稳定可靠的高速大容量数据采集存储系统。

发明内容

本发明要解决的技术问题是克服现有技术的不足，提供一种采集接口和存储容量都可扩展的、更稳定可靠的数据采集存储系统及方法。

为解决上述技术问题，本发明采用以下技术方案：

一种数据采集存储系统，包括处理器模块、PCIe桥接模块、数据采集模块和数据存储模块，所述处理器模块通过PCIe总线连接PCIe桥接模块，所述PCIe桥接模块通过PCIe总线分别与数据采集模块、数据存储模块连接。

作为本发明的进一步改进：所述PCIe桥接模块包括至少2个级联的PCIe Switch单元，所述处理器模块通过PCIe总线连接第一级的PCIe Switch单元，所述数据采集模块和数据存储模块均与PCIe Switch单元一一对应，每一级的PCIe Switch单元分别与对应数据采集模块和数据存储模块通过PCIe总线连接。

作为本发明的进一步改进：所述数据存储模块包括至少2个硬盘，每个硬盘分别通过所述PCIe总线中的4路PCIe3.0通道连接对应的PCIe Switch单元。

作为本发明的进一步改进：所述硬盘为M.2硬盘。

作为本发明的进一步改进：所述数据采集模块包括FPGA单元，所述FPGA单元设有采集接口，所述FPGA单元通过采集接口连接采集设备。

作为本发明的进一步改进：所述采集接口为万兆网接口、光纤接口、SRIO接口中的一种或多种。

作为本发明的进一步改进：所述处理器模块包括ARM处理器或PowerPC处理器。

作为本发明的进一步改进：所述处理器模块设有以太网接口，所述处理器模块通过以太网接口和上位机连接。

作为一个总的发明构思，本发明还提供了一种数据采集存储方法，应用于上述的数据采集存储系统，包括以下步骤：

S1、所述处理器模块获取上位机的控制指令并解析，若为采集指令，通过PCIe桥接模块发送控制命令给数据采集模块，所述数据采集模块从外部的数据采集设备获取数据，将所述数据通过PCIe总线发送给PCIe桥接模块，由所述PCIe桥接模块转发给数据存储模块进行保存；

S2、所述处理器模块获取上位机的控制指令并解析，若为回放指令，通过PCIe桥接模块获取数据存储模块中的数据，并上传给上位机。

作为本发明的进一步改进：步骤S1、之前还包括预先配置的步骤：将所述数据存储模块通过PCIe总线挂载到所述处理器模块，所述处理器模块运行标准文件系统管理数据存储模块。

本发明的创新之处在于：采用标准的、扩展性好的PCIe总线来实现高速大容量的数据存储系统架构。

与现有技术相比，本发明的优点在于：

(1)本发明系统通过PCIe总线直接将数据存储模块挂载到处理器模块，没有通过FPGA物理映射，在处理器端可以运行标准文件系统，直接对数据存储模块进行管理，可靠性和安全性更高。

(2)本发明系统采用PCIe总线设计，由于PCIe具有可扩展性，PCIe桥接模块可进行多倍扩展，与PCIe桥接模块一一对应的数据采集模块和存储模块随之扩展，因此该系统的存储容量和采集接口扩展性好，数据采集存储速率高。

(3)本发明系统的数据采集模块中FPGA单元的接口可扩展性好，相比传统系统架构，本发明系统中的FPGA不需要实现SATA总线协议，释放了高速逻辑资源，释放的资源可用于采集更多路的光纤、SRIO等高速数据。

附图说明

图1为目前主流的数据采集存储系统结构原理示意图。

图2为本发明实施例1的数据采集存储系统结构原理示意图。

图3为本发明实施例2的数据采集存储系统结构原理示意图。

图例说明：1、处理器模块；2、PCIe桥接模块；3、数据采集模块；4、数据存储模块。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

实施例1：

图2示出了本发明数据采集存储系统的一种具体实施例，此架构基于PCIe总线设计，包括处理器模块1、PCIe桥接模块2、数据采集模块3和数据存储模块4，处理器模块1作为PCIe总线根节点，通过PCIe总线连接PCIe桥接模块2，PCIe桥接模块2通过PCIe总线分别与数据采集模块3、数据存储模块4连接，数据采集模块3和数据存储模块4作为PCIe总线端节点。该系统通过PCIe总线直接将数据存储模块4挂载到处理器模块1，没有通过FPGA物理映射，在处理器端可以运行标准文件系统，直接对数据存储模块4进行管理，可靠性和安全性更高。

本实施例中，数据存储模块4包括至少2个硬盘，每个硬盘分别通过PCIe总线中的4路PCIe3.0通道连接对应的PCIe Switch单元。

本实施例中，硬盘为M.2硬盘。当然，在其它实施例中也可以采用其它具有PCIe接口的硬盘。

本实施例中，数据采集模块3包括FPGA单元，FPGA单元设有采集接口，FPGA单元通过采集接口连接采集设备。相比传统系统架构，该系统中的FPGA不需要实现SATA总线协议，释放了高速逻辑资源，FPGA的接口可扩展性好，释放的资源可用于采集更多路的光纤、SRIO等高速数据。

本实施例中，采集接口为万兆网接口、光纤接口、SRIO接口中的一种或多种，或者其他适用的高速总线接口。

本实施例中，处理器模块1包括ARM处理器或PowerPC处理器。

本实施例中，处理器模块1设有以太网接口，处理器模块1通过以太网接口和上位机连接。

本实施例采用标准的、扩展性好的PCIe总线来实现高速大容量数据采集存储系统架构，采用此架构的优点如下：

文件系统为标准文件系统：由于M.2硬盘通过PCIe总线直接挂载到ARM/PowerPC，没有通过FPGA物理映射，这样，在ARM/PowerPC端可以运行标准文件系统，直接对M.2硬盘进行管理，可靠性和安全性更高。

存储容量可扩展性好：一般M.2硬盘容量为2TB/4TB。不同规格PCIe Switch桥片具备不同的PCIe总线数量。一般地，PCIe Switch桥片至少可连接16块M.2硬盘，这样存储容量至少为32/64TB。

存储速率提高：存储速率取决于M.2硬盘的数量，M.2硬盘采用了PCIe3.0×4接口。除去协议开销和延时，M.2的有效写入速率一般为1000MB/s，8块硬盘的写入速率可达：1000MB/s×8＝8000MB/s。

FPGA接口可扩展性好：FPGA不需要实现SATA总线协议，释放了高速逻辑资源，释放的资源可用于采集更多路的光纤、SRIO等高速数据。

本实施例的数据采集存储方法，应用于本实施例的数据采集存储系统，包括以下步骤：

S1、ARM/PowerPC处理器获取上位机的控制指令并解析，若为采集指令，通过PCIeSwitch单元发送控制命令给FPGA单元，FPGA单元从外部的数据采集设备获取数据，将数据通过PCIe总线发送给PCIe Switch单元，由PCIe Switch单元转发给对应的硬盘进行保存；

S2、ARM/PowerPC处理器获取上位机的控制指令并解析，若为回放指令，通过PCIeSwitch单元获取对应硬盘中的数据，并上传给上位机。

步骤S1、之前还包括预先配置的步骤：将硬盘通过PCIe总线挂载到ARM/PowerPC处理器，ARM/PowerPC处理器运行标准文件系统管理硬盘。

本实施例的方法数据存储容量大，存储速率高。

实施例2：

图3示出了本发明数据采集存储系统的一种具体实施例，系统架构与实施例1基本相同，主要区别在于：

本实施例中，PCIe桥接模块2包括至少2个级联的PCIe Switch单元，处理器模块1通过PCIe总线连接第一级的PCIe Switch单元，数据采集模块3和数据存储模块4均与PCIeSwitch单元一一对应，每一级的PCIe Switch单元分别与对应数据采集模块3和数据存储模块4通过PCIe总线连接。由于PCIe具有可扩展性，PCIe桥接模块2可进行多倍扩展，与PCIe桥接模块2一一对应的数据采集模块3和数据存储模块4随之扩展，因此该系统的存储容量和采集接口扩展性好，数据采集存储速率高。可适用于大容量数据的高速采集存储。

虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明的精神实质和技术方案的情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同替换、等效变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种数据采集存储系统，其特征在于，包括处理器模块(1)、PCIe桥接模块(2)、数据采集模块(3)和数据存储模块(4)，所述处理器模块(1)通过PCIe总线连接PCIe桥接模块(2)，所述PCIe桥接模块(2)通过PCIe总线分别与数据采集模块(3)、数据存储模块(4)连接。

2.根据权利要求1所述的数据采集存储系统，其特征在于，所述PCIe桥接模块(2)包括至少2个级联的PCIe Switch单元，所述处理器模块(1)通过PCIe总线连接第一级的PCIeSwitch单元，所述数据采集模块(3)和数据存储模块(4)均与PCIe Switch单元一一对应，每一级的PCIe Switch单元分别与对应数据采集模块(3)和数据存储模块(4)通过PCIe总线连接。

3.根据权利要求1或2所述的数据采集存储系统，其特征在于，所述数据存储模块(4)包括至少2个硬盘，每个硬盘分别通过所述PCIe总线中的4路PCIe3.0通道连接对应的PCIeSwitch单元。

4.根据权利要求3所述的数据采集存储系统，其特征在于，所述硬盘为M.2硬盘。

5.根据权利要求3所述的数据采集存储系统，其特征在于，所述数据采集模块(3)包括FPGA单元，所述FPGA单元设有采集接口，所述FPGA单元通过采集接口连接采集设备。

6.根据权利要求5所述的数据采集存储系统，其特征在于，所述采集接口为万兆网接口、光纤接口、SRIO接口中的一种或多种。

7.根据权利要求3所述的数据采集存储系统，其特征在于，所述处理器模块(1)包括ARM处理器或PowerPC处理器。

8.根据权利要求3所述的数据采集存储系统，其特征在于，所述处理器模块(1)设有以太网接口，所述处理器模块(1)通过以太网接口和上位机连接。

9.一种数据采集存储方法，应用于权利要求1～8任一所述的数据采集存储系统，包括以下步骤：

S1、所述处理器模块(1)获取上位机的控制指令并解析，若为采集指令，通过PCIe桥接模块(2)发送控制命令给数据采集模块(3)，所述数据采集模块(3)从外部的数据采集设备获取数据，将所述数据通过PCIe总线发送给PCIe桥接模块(2)，由所述PCIe桥接模块(2)转发给数据存储模块(4)进行保存；

S2、所述处理器模块(1)获取上位机的控制指令并解析，若为回放指令，通过PCIe桥接模块(2)获取数据存储模块(4)中的数据，并上传给上位机。

10.根据权利要求9所述的数据采集存储方法，其特征在于，步骤S1之前还包括预先配置的步骤：将所述数据存储模块(4)通过PCIe总线挂载到所述处理器模块(1)，所述处理器模块(1)运行标准文件系统管理数据存储模块(4)。

Images