CN107943726A

CN107943726A - 一种基于PCIe接口的数据传输系统及方法

Info

Publication number: CN107943726A
Application number: CN201711139307.XA
Authority: CN
Inventors: 刘强
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-11-16
Filing date: 2017-11-16
Publication date: 2018-04-20

Abstract

一种基于PCIe接口的数据传输系统及方法，包括数据源、数据终端和处理器，数据源、数据终端分别与数据传输装置的输入存储器的输入接口、输出存储器的输出接口连接，处理器和数据传输装置的PCIe接口连接；数据传输装置包括发送模块、接收模块、命令解析模块、数据读写控制单元和基地址状态寄存器；本发明的系统及方法，首先，采取了数据传输装置，而非处理器作为主动的DMA传输方式，其次，采用了基于命令缓冲机制的DMA传输方式，再次，通过读取缓冲命令，并动态拼接的方式提升DMA传输性能。因此，可在实现数据传输过程的高速、扩展灵活的优点，同时也可较好的降低数据传输对处理器资源的占用，显著提高计算机系统的运行效率。

Description

一种基于PCIe接口的数据传输系统及方法

技术领域

本发明涉及一种服务器数据处理装置，尤其涉及一种基于PCIe接口的数据传输系统及方法。

背景技术

随着信息化和大数据时代的来临，人们对于实时数据的采集和处理需求越来越多元化，需要处理的数据规模呈倍数增长，因此，对数据传输性能提出了更高的要求。

在服务器等计算机系统中，PCIe总线具有带宽高、扩展灵活的优点，因而广泛应用于数据存储、交互和传输领域。对数据的直接存储访问又简称为DMA，该方式能有效降低数据传输对处理器资源的占用，可显著提高系统运行效率，因此，结合两者优势的数据传输类型的研究和应用也在逐步开展。

目前的数据传输方式中，要么以处理器端作为主动端，待处理数据只能被动地等待处理器发起DMA操作，无法有效地利用系统带宽；或者DMA操作只能按照既定顺序访问外部空间，灵活性差。

发明内容

本发明的目的是提供一种基于PCIe接口的数据传输系统及方法，用以解决现有技术中的问题，通过数据传输装置结合命令缓冲机制、动态拼接的调度方式提升DMA传输性能。

本发明的数据传输系统通过以下技术方案予以实现：

一种基于PCIe接口的数据传输系统，包括数据源、数据终端和处理器，其特征在于，所述数据源、数据终端分别与数据传输装置的输入存储器的输入接口、输出存储器的输出接口连接，所述处理器和数据传输装置的PCIe接口连接；所述数据传输装置包括发送模块、接收模块、命令解析模块、数据读写控制单元和基地址状态寄存器；所述PCIe接口的输入端和输出端分别与发送模块的数据输出端、接收模块的数据输入端连接；所述命令解析模块的命令输出端分别连接发送模块、数据读写控制单元的命令输入端，命令解析模块的命令输入端连接接收模块的命令输出端，发送模块的数据输入端、接收模块的数据输出端分别连接输入存储器的输出接口、输出存储器的输入接口，所述数据读写单元的命令输出端分别连接输入存储器、输出存储器控制接口，基地址状态存储器与发送模块、接收模块的基地址接口连接。

本发明中的发送模块用于组织和传输转发事务、非转发事务和完成事务的数据包，接收模块用于支持完成事务、存储器读事务和存储器写事务的数据包；命令解析模块将处理器端发送的DMA读或写命令顺序存储在读命令或写命令缓存FIFO中，命令解析模块分别从FIFO中读取命令，并解析命令后通过发送模块组织事务数据包向处理器端发起DMA存储器访问请求；数据读写控制单元根据命令解析模块的指令读取输入FIFO中数据或将数据写入输出FIFO中；所述基地址状态寄存器用于发送模块或接收模块的读写基地址配置。

如上所述的一种基于PCIe接口的数据传输系统，所述处理器设有用于读或写命令的数据缓冲区，数据缓冲区划分为N部分，处理器对每部分按生长顺序编号，并将对每部分读或写就绪命令按预先设定的规则包装成符合PCIe的操作命令。

如上所述的一种基于PCIe接口的数据传输系统，所述解析模块用于缓存处理器发送的DMA读或写的操作命令。

如上所述的一种基于PCIe接口的数据传输系统，所述N为2的指数。

本发明还提供了一种基于PCIe接口的数据传输方法，包括如上任一所述的数据传输系统，所述方法包括以下步骤：

所述处理器通过数据传输装置准备DMA传输；从所述命令解析模块的命令存储器中读取一个命令；判断命令存储器的状态，当为空状态时，则开始DMA传输；当为使用状态时，若令存储器中仍有待处理命令，则进入下一步；读取下一个命令的地址编号，并判断与当前已读取的命令的地址编号是否相邻，当地址编号相邻，则取出命令并拼接，然后返回上一步；当地址编号不相邻，则不拼接直接进行DMA传输。

如上所述的一种基于PCIe接口的数据传输方法，所述处理器发送的DMA请求命令由地址编号和读写标志构成，地址编号为n字节，读写标志为1字节。

如上所述的一种基于PCIe接口的数据传输方法，其特征在于，所述处理器设有用于读或写命令的数据缓冲区，数据缓冲区划分为N部分，N为n的2倍。

与现有技术相比，本发明的优点是：

本发明的数据传输系统及方法，首先，采取了数据传输装置，而非处理器作为主动的DMA传输方式，其次，采用了基于命令缓冲机制的DMA传输方式，再次，通过读取缓冲命令，并动态拼接的方式提升DMA传输性能。因此，可在实现数据传输过程的高速、扩展灵活的优点，同时也可较好的降低数据传输对处理器资源的占用，显著提高计算机系统的运行效率。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的系统原理图；

图2为图1中所述数据传输装置的内部系统原理图；

图3为本发明所述处理器发送的DMA请求命令示意图；

图4为本发明的流程图。

附图标记：100-数据源，102-处理器，103-数据终端，200-数据传输装置，201-发送模块，202-接收模块，203-命令解析模块，204-数据读写控制单元，205-基地址状态寄存器，206-输入FIFO，207-输出FIFO，208-PCIe接口，300-读写标志，301-地址ID。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面以实施例对技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

如图1、图2所示，本实施例公开的一种基于PCIe的数据传输系统，可以较好的提升数据传输性能。该数据传输系统包括数据源、数据终端和处理器，所述数据源、数据终端分别与数据传输装置的输入存储器的输入接口、输出存储器的输出接口连接，所述处理器和数据传输装置的PCIe接口连接；所述数据传输装置包括发送模块、接收模块、命令解析模块、数据读写控制单元和基地址状态寄存器；所述PCIe接口的输入端和输出端分别与发送模块的数据输出端、接收模块的数据输入端连接；所述命令解析模块的命令输出端分别连接发送模块、数据读写控制单元的命令输入端，命令解析模块的命令输入端连接接收模块的命令输出端，发送模块的数据输入端、接收模块的数据输出端分别连接输入存储器的输出接口、输出存储器的输入接口，所述数据读写单元的命令输出端分别连接输入存储器、输出存储器控制接口，基地址状态存储器与发送模块、接收模块的基地址接口连接。

具体而能言，本实施例的数据传输过程是通过命令缓冲机制和动态拼接调度方式实现，将数据传输装置200作为DMA操作的发起者，对处理器102端的数据缓冲区进行读写操作。而非现有的数据传输方式中，以处理器作为主动的DMA传输。但对于处理器102端数据缓冲区的就绪，需要处理器102端发出就绪命令。发送模块用于组织和传输转发事务、非转发事务和完成事务的数据包，接收模块用于支持完成事务、存储器读事务和存储器写事务的数据包；命令解析模块将处理器端发送的DMA读或写命令顺序存储在读命令或写命令缓存FIFO中，命令解析模块分别从FIFO中读取命令，并解析命令后通过发送模块组织事务数据包向处理器端发起DMA存储器访问请求；所述数据读写控制单元根据命令解析模块的指令读取输入FIFO中数据或将数据写入输出FIFO中；所述基地址状态寄存器用于发送模块或接收模块的读写基地址配置。

数据传输装置200的命令缓冲机制是数据传输装置中设置了读、写操作命令缓存模块，用于存储来自处理器端的读、写操作就绪命令。其中，本机制需要预先在处理器102端，分别申请读或写数据缓冲区，并将其划分为N部分，N为2n，n为大于0的自然数，处理器102对每部分按生长顺序编号(以下简称为ID号)，并将对每部分读或写就绪命令按预先设定的规则包装成符合PCIe的操作命令，数据传输装置200内的数据解析模块203分别缓存这些读或写操作命令。

动态拼接调度方式是在数据传输装置200发起DMA传输时，命令解析模块203从命令存储FIFO中取出一个命令后，若FIFO仍有待处理命令，命令解析模块203将继续判断下一个命令的ID号，若该命令ID号与之前命令的ID号相邻，即意味着两次DMA操作在处理器102端的地址相连，则命令解析模块203将两个命令拼接成一个DMA传输请求，当命令FIFO仍不为空时，这种DMA拼接将继续下去，直到下一个命令ID号与已有的ID号不连续或FIFO为空状态时为止。这种将相邻地址的DMA读操作动态拼接成一次DMA操作的调度方法，减少了多次DMA配置的时间，可大幅提升了PCIe接口的DMA传输效率。

如图2所示，本实施例中的数据传输装置200，包括发送模块201、接受模块202、命令解析模块203、数据读写控制单元204、基地址状态寄存器205、输入FIFO 206，输出FIFO207、PCIe接口208。各模块和接口的功能如下：

(1).发送模块201，用于组织和传输转发事务、非转发事务和完成事务的数据包。发送模块可以产生存储器写请求包、读请求包和带数据的完成包，产生的数据包发送至PCIe事务层接口。

(2).接收模块202，用于支持完成事务、存储器读事务和存储器写事务。接收模块202从PICe事务层接口中接收事务包，并根据事务的种类，作出相应的操作。如接收到处理器102端的Cpld事务，Cpld是PCIe协议中规定的带数据的完成包，接收模块202将其中的数据段解析校验后存入输出FIFO207，等待输出到数据终端103中，当接收到处理器102端的数据传输命令时，根据命令标志位300将其放在命令解析模块203的命令缓存FIFO中。

(3).命令解析模块203，将处理器102端发送的DMA读或写命令顺序存储在读命令或写命令缓存FIFO中，然后命令解析模块203分别从FIFO中读取命令，解析命令后通过发送模块202组织事务包向处理器102端发起DMA存储器访问请求。

(4).数据读写控制单元204，用于根据命令解析模块203的指令调度读取输入FIFO206中数据或将数据写入输出FIFO 207中。

(5).基地址状态寄存器205用于读写基地址配置。

如图3所示，结合命令解析模块203的功能，处理器102端发送的DMA请求命令格式，其中读写标志占1bit，地址ID占nbit，n与处理器102端申请数据缓存划分的N部分相关，N＝2n。

具体而言，以数据传输装置200读操作和写操作的过程进行详细说明。

一、数据传输装置读操作

(1).处理器102端在驱动程序中申请一段数据缓冲区，该缓冲区被分为N个部分，分别对应N路数据，编号0～N-1，地址块大小可根据PCIe协议中规定的范围内自定义，例如为4KB，第i号地址块的起始地址addr_start_i的计算公式为：

addr_start_i＝addr_read_base+i*4000；其中addr_read_base为读操作基地址，i*4000为偏移地址。

(2).处理器102向ID为i的地址块填充好数据后，向数据传输装置200发送携带该地址块的ID号的DMA读命令，表示该部分数据就绪可读取。

(3).数据传输装置200端接收模块收到DMA传输命令后，通过判断读写标志300的值将命令存储到命令解析模块203的命令缓存FIFO中。

(4).数据传输装置200端数据量低于预先设定值后，命令解析模块203从读命令存储FIFO中取出一个命令，读取该命令的ID号，通过前述读地址计算公式得到处理器端对应的起始地址，由发送模块201组织PCIe存储器读请求事务至处理器102端，处理器102收到请求后，会自动将相应地址内的数据打包成Cpld事务发回数据传输装置200，这个过程无需处理器102端CPU的参与。

(5).数据传输装置200的接收模块202收到Cpld事务，解析后将其中的数据顺序存入到输出FIFO 207中，等待写入数据终端103中。当整个DMA读操作完成后，数据传输装置200向处理器102端发送完成中断。

(6).处理器102端收到完成中断后，根据中断信息判断哪块缓冲区地址被读取，并将对应缓冲区更新。回到步骤2中。

二、数据传输装置写操作

(1).与读操作类似，写操作同样需要处理器102端在驱动程序中申请一段缓冲区，缓冲区分为N部分，分别对应N路缓冲区，编号0～N-1，每部分大小可根据PCIe协议中规定的范围内自定义，例如为4KB，第i号地址块的起始地址addr_start_i的计算公式为：

addr_start_i＝addr_write_base+i*4000；其中addr_write_base为写操作基地址，i*4000为偏移地址。

(2).处理器102申请ID为i的地址块空间后，向数据传输装置200发送携带该地址块的ID号的写命令，表示该部分缓冲区就绪可写入数据。数据传输装置200的接收模块202收到处理器102的缓冲区就绪的DMA写命令后，命令解析模块203的根据读写标志300写入命令缓存FIFO中。

(3).数据传输装置200采集到的数据量大于预先设定值后，命令解析模块203从写命令缓存FIFO中取出一个命令，通过上述的写地址计算公式得到处理器102端对应的缓冲区起始地址，由发送模块201组织PCIe存储器写请求事务到处理器102端。处理器102端接收到写存储器请求事务，解析并提取数据写入对应地址缓存空间内。

(4).数据传输装置102完成DMA写操作后，向处理器102端发送一个中断，表示该块数据已更新。处理器102端根据中断信息，取用对应缓冲区的数据。返回到步骤2进行处理。

本发明未详尽描述的技术内容均为公知技术。

Claims

1.一种基于PCIe接口的数据传输系统，包括数据源、数据终端和处理器，其特征在于，所述数据源、数据终端分别与数据传输装置的输入存储器的输入接口、输出存储器的输出接口连接，所述处理器和数据传输装置的PCIe接口连接；所述数据传输装置包括发送模块、接收模块、命令解析模块、数据读写控制单元和基地址状态寄存器；所述PCIe接口的输入端和输出端分别与发送模块的数据输出端、接收模块的数据输入端连接；所述命令解析模块的命令输出端分别连接发送模块、数据读写控制单元的命令输入端，命令解析模块的命令输入端连接接收模块的命令输出端，发送模块的数据输入端、接收模块的数据输出端分别连接输入存储器的输出接口、输出存储器的输入接口，所述数据读写单元的命令输出端分别连接输入存储器、输出存储器控制接口，基地址状态存储器与发送模块、接收模块的基地址接口连接。

2.根据权利要求1所述的一种基于PCIe接口的数据传输系统，其特征在于，所述处理器设有用于读或写命令的数据缓冲区，数据缓冲区划分为N部分，处理器对每部分按生长顺序编号，并将对每部分读或写就绪命令按预先设定的规则包装成符合PCIe的操作命令。

3.根据权利要求2所述的一种基于PCIe接口的数据传输系统，其特征在于，所述解析模块用于缓存处理器发送的DMA读或写的操作命令。

4.根据权利要求2所述的一种基于PCIe接口的数据传输系统，其特征在于，所述N为2的指数。

5.一种基于PCIe接口的数据传输方法，其特征在于，包括如权利1-5任一所述的数据传输系统，所述方法包括以下步骤：

所述处理器通过数据传输装置准备DMA传输；

从所述命令解析模块的命令存储器中读取一个命令；

判断命令存储器的状态，当为空状态时，则开始DMA传输；当为使用状态时，若令存储器中仍有待处理命令，则进入下一步；

读取下一个命令的地址编号，并判断与当前已读取的命令的地址编号是否相邻，当地址编号相邻，则取出命令并拼接，然后返回上一步；当地址编号不相邻，则不拼接直接进行DMA传输。

6.根据权利要求5所述的一种基于PCIe接口的数据传输方法，其特征在于，所述处理器发送的DMA请求命令由地址编号和读写标志构成，地址编号为n字节，读写标志为1字节。

7.根据权利要求6所述的一种基于PCIe接口的数据传输方法，其特征在于，所述处理器设有用于读或写命令的数据缓冲区，数据缓冲区划分为N部分，N为n的2倍。