CN104579880A

CN104579880A - 基于pcie的数据传输、处理、分发系统及其方法

Info

Publication number: CN104579880A
Application number: CN201410815578.2A
Authority: CN
Inventors: 田利辉; 胡琼; 任硕; 魏珍; 胡鹏涛; 王楠
Original assignee: Xi'an Hangtian Hengxing Science And Technology Industry (group) Co
Current assignee: Xi'an Hangtian Hengxing Science And Technology Industry (group) Co
Priority date: 2014-12-25
Filing date: 2014-12-25
Publication date: 2015-04-29

Abstract

本发明涉及基于PCIE的数据传输、处理、分发系统及其方法。PCI？Express的双单工连接采用点对点串行连接，对于实时性要求较高的海量数据处理存在一定的问题。本发明涉及系统包括CPU板、PCIE交换板、多个处理板和接口板；CPU板接入PCIE交换板，PCIE交换板上接有多个处理板和接口板；通过CPU板上的10G万兆网络接口模块进行数据输入，CPU板将10G网络收到的数据，经由PCIE交换板分发给各处理板，进行相关处理后再经由PCIE交换板送给接口板，接口板万兆网络输出。本发明具有通用性强、海量数据智能处理、高速一体化等特点，突破海量数据获取、传输与交换、实时处理及海量数据固态存储等技术。

Description

基于PCIE的数据传输、处理、分发系统及其方法

技术领域

本发明属于通信技术领域，具体涉及一种基于PCIE的数据传输、处理、分发系统及其方法。

背景技术

PCI Express，简称PCIE或称PCI-Ex, 是新一代的高速总线接口。早在2001年的春季“英特尔开发者论坛”上，英特尔公司就提出了要用新一代的技术取代PCI总线和多种芯片的内部连接，并称之为第三代I/O总线技术。随后在2001年底，包括Intel、AMD、DELL、IBM在内的20多家业界主导公司开始起草新技术的规范，并在2002年完成，对其正式命名为PCI Express。

PCI Express采用了目前业内流行的点对点串行连接，比起PCI以及更早期的计算机总线的共享并行架构，每个设备都有自己的专用连接，不需要向整个总线请求带宽，而且可以把数据传输率提高到一个很高的频率，达到PCI 所不能提供的高带宽。相对于传统PCI 总线在单一时间周期内只能实现单向传输，PCI Express的双单工连接能提供更高的传输速率和质量，它们之间的差异跟半双工和全双工类似。

尽管PCI Express的双单工连接能提供更高的传输速率和质量，但由于采用的是点对点串行连接，对于实时性要求较高的海量数据处理存在一定的问题。

发明内容

本发明的目的是提供一种基于PCIE的数据传输、处理、分发系统及其方法，突破海量数据获取、传输与交换、实时处理及海量数据固态存储等技术。

本发明所采用的技术方案是：

基于PCIE的数据传输、处理及分发系统，包括CPU板、PCIE交换板、多个处理板和接口板，其特征在于：

CPU板上设置有与前端输入设备进行TCP/UDP连接的10G网络接口模块，支持 2路10G网络输入；

CPU板上插有1块具备2个万兆光纤口的XMC万兆网模块，该模块通过8x PCIE连接到CPU板。

PCIE交换板，输入接CPU板；

PCIE交换板将CPU板输入数据，分发给多个处理板；处理之后的数据经由PCIE交换板，通过接口板输出。

接口板上设置有6路万兆网口，作为设备输出接口；

当处理板将数据处理完成后，通过PCIE交换板的PCIE交换芯片传送给接口板，由接口板的6路万兆网口将数据发出。

基于PCIE的数据传输、处理及分发方法，其特征在于：

包括以下步骤：

（1）输入：

通过CPU板上的10G网络接口模块与前端输入设备进行TCP/UDP连接，支持 2路10G网络输入；

CPU板上插1块XMC万兆网模块，该模块具备2个万兆光纤口，通过8x PCIE连接到CPU板，通过该模块，设备实现2通道万兆网口输入；

输入采用TCP/IP协议的网络传输；

（2）数据传输、交换、处理及分发：

对于CPU板输入的数据，经由PCIE交换板分发给不同的处理板，在处理板上进行处理；

（3）输出：

通过1块万兆网口接口板上的6路万兆网口，作为设备输出接口，当处理板将数据处理完成后，通过PCIE交换板的PCIE交换芯片传送给万兆网口接口板，由万兆网口接口板的6路万兆网口将数据发出。

接口板的6路万兆网口中的2路作为数据输入，另外4路作为数据输出。

数据输出之后增加SAN存储系统进行数据存储。

本发明具有以下优点：

本发明将CPU与FPGA结合使用， CPU板除了带有一块10G万兆网络模块，还支持与PCIE板卡的连接，完成从CPU到FPGA的数据传输。本发明最大可以达到12块处理板同时使用，PCIE交换板可以根据需要智能选用一块或多块处理板进行数据处理，支持对海量数据的智能处理。本发明支持多种数据处理算法，单板处理速度可达到3Gbps，集高速传输、交换、分发于一体；支持多种格式的数据输出，可以支持6路万兆网络输出，也可以选用2路PCIE光纤接口板进行数据输出；海量数据固态存储，可以支持 SAN存储系统。具体具有以下优势：

1、支持数据的多种输入方式：10G以太网2路，光纤接口2路；

2、输出接口： 10G以太网接口6路；光纤接口12路；

3、数据交换带宽：点对点20Gbps，交换容量200Gbps；

4、处理板数据处理能力：单板可以满足3Gbps实时处理；

5、支持各种数据处理算法（如信息安全处理、云判、目标识别等）；

6、自动化任务管理、系统资源动态配置。

附图说明

图1是系统结构图；

图2是数据流程图；

图3是分布式互联拓扑图。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

本发明涉及的一种基于PCIE的数据传输、处理及分发系统，包括CPU板、PCIE交换板、多个处理板和接口板。CPU板接入PCIE交换板，PCIE交换板上接有多个处理板和接口板。

其中：

（1）CPU板上设置有与前端输入设备进行TCP/UDP连接的10G网络接口模块，支持 2路10G网络输入。CPU板上还插有1块具备2个万兆光纤口的XMC万兆网模块，该模块通过8x PCIE连接到CPU板。

（2）接口板为万兆网口接口板，其上包括6路万兆网口。

（3）系统提供了多个处理板，当需要进行海量数据处理，或者数据处理算法比较复杂时，可以根据实际需求，将任务进行自动化分解，将资源进行合理配置，从而提高整体运行速率，并且大大增加数据的吞吐量。

（4）如需要进行数据存储，接口板上还可连接SAN存储系统，实现数据输出之后的存储。

（5）系统除了通过CPU板上2路10G网络模块输入数据之外，还可通过接口板上的6路万兆网口中的2路作为数据输入，另外4路作为数据输出。

上述系统的实现方法，包括以下步骤：

（1）输入：

输入采用TCP/IP协议的网络传输，这样可以保证传输的可靠性、系统互联的通用性和标准化。

（2）数据传输、交换、处理及分发：

对于CPU板输入的数据，经由PCIE交换板分发给不同的处理板，在处理板上进行处理。

（3）输出：

（4）分布式互联拓扑：

A、多种输入、输出：

本系统除了通过CPU板上2路10G网络模块输入数据之外，还可通过接口板的6路万兆网口中的2路作为数据输入，另外4路作为数据输出。

B、并行处理：

系统提供了多个处理板，当需要进行海量数据处理，或者数据处理算法比较复杂时，可以根据实际需求，将任务进行自动化分解，将资源进行合理配置，从而提高整体运行速率，并且大大增加数据的吞吐量。

C、海量数据存储：

如需要进行数据存储，数据输出之后增加SAN存储系统进行数据存储。

本发明的内容不限于本实例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。

Claims

1.基于PCIE的数据传输、处理及分发系统，包括CPU板、PCIE交换板、多个处理板和接口板，其特征在于：

2.根据权利要求1所述的基于PCIE的数据传输、处理及分发系统，其特征在于：

PCIE交换板，输入接CPU板；

3.根据权利要求2所述的基于PCIE的数据传输、处理及分发系统，其特征在于：

接口板上设置有6路万兆网口，作为设备输出接口；

4.基于PCIE的数据传输、处理及分发方法，其特征在于：

包括以下步骤：

（1）输入：

输入采用TCP/IP协议的网络传输；

（2）数据传输、交换、处理及分发：

输出：

5.根据权利要求4所述的基于PCIE的数据传输、处理及分发方法，其特征在于：

6.根据权利要求5所述的基于PCIE的数据传输、处理及分发方法，其特征在于：

数据输出之后增加SAN存储系统进行数据存储。