CN102880573B

CN102880573B - 一种基于Linux系统的串行RapidIo数据传输方法

Info

Publication number: CN102880573B
Application number: CN201210323404.5A
Authority: CN
Inventors: 秦燕婷
Original assignee: Wuhan Research Institute of Posts and Telecommunications Co Ltd
Current assignee: Wuhan Research Institute of Posts and Telecommunications Co Ltd
Priority date: 2012-09-04
Filing date: 2012-09-04
Publication date: 2015-04-29
Anticipated expiration: 2032-09-04
Also published as: CN102880573A

Abstract

一种基于Linux系统的串行RapidIo数据传输方法，利用少量的DMA控制器资源，采用DMA链表模式，并将DMA控制器的寄存器空间映射到FPGA，从而实现FPGA通过写CPU的DMA模式寄存器MRn的[CC]bit，开始DMA链表传输，从而发起rapidio链路的数据传输，整个数据传输过程无论是写DMA寄存器还是DMA搬运数据以及最后的rapidio链路数据传输都不需要CPU参与，极大的提高了CPU效率，并且数据传输严格按照时序要求实现，摆脱利用中断实现时序同时频繁响应中断带来的性能下降的困境；利用uio技术，实现内核空间地址到用户空间地址的映射，使得在用户空间可以直接操作内核空间地址，避免用户空间和内核空间的数据拷贝。并且可以设计DMA链表节点，实现rapidio链路输出窗口的数据传输的灵活控制。

Description

一种基于Linux系统的串行RapidIo数据传输方法

技术领域

本发明涉及无线通信技术领域，尤其是涉及一种基于Linux系统的串行RapidIo数据传输方法。

背景技术

在嵌入式系统中，传统的时序控制均是由外部中断通知CPU，然后CPU完成该时序应实现的工作，一般来说，由于外部中断的抢占性和独占性，决定了如果同一个核上的中断到来的时间非常接近，就会发生丢中断的现象，如果将中断线程化以减少中断处理时间，从而缓解丢中断问题，则会降低系统的实时性。

用户空间与内核空间之间的数据交换，必然会产生上下文切换和数据拷贝的代价，而使用uio技术（用户空间进行IO存取的技术），则是直接将内核空间地址映射到用户空间，使得这段地址范围在用户态和内核态均可操作，避免上下文切换和数据拷贝。Uio接口已经在linux2.6.23中正式合并到内核的代码树中。

rapidio表示高性能嵌入式互连技术，由Rapidio Trade Association在2001年12月开发的一套应用于芯片至芯片或板至板通信的公开的高带宽全双工方案，性能达到Gigabyte/s。在2004年举行的委员会上，国际标准化组织（ISO）和国际电工协会（IEC）一直投票批准Rapidio互连规范成为ISO/IEC DIS18372标准，使得Rapidio成为世界上唯一的嵌入式系统互连技术国际标准。在一个rapidio传输系统中，所有的设备共同拥有34位地址的rapidio空间（Rapidio region），这个空间是个虚拟的空间，当一个输出窗口与一个输入窗口对应的rapidio空间的地址相同时，数据就可以从输出窗口传输到输入窗口，如图4所示，通过申请的输出窗口和输入窗口，将CPU的IO region（IO 空间）通过rapidio传输通道与FPGA的内存（Memory）连接。根据《rapidio互联规范》【ISO/IEC DIS 18372】所述，输出窗口的地址转换单元（ATMU）是本地IO空间与rapidio空间之间的地址转换，同时DMA（直接内存存取）是将数据从内核空间的地址搬运到IO空间的地址，并且这两个过程都是由硬件完成，基本对CPU运行程序不会带来任何负面影响。所以通常基于rapidio协议的数据传输设计都会将DMA和rapidio的输出窗口相结合，通常每个输出窗口申请一个DMA通道，这样如果输出窗口有多个，就会占用过多的DMA资源，从而影响整体设计。如图1所示，现有技术中的rapidio链路数据传输过程为：首先将数据从用户空间拷贝到内核空间的一段地址，然后当接收到FPGA等外部时序设备的中断时，CPU执行中断服务程序开启DMA传输，通过此DMA通道将内核空间的数据搬运到IO空间，最后由输出窗口的ATMU单元，实现rapidio链路的数据传输。

下面描述一个需要同时解决上述三个问题的实际系统。在LTE（长期演进）无线通信基站系统中，数据由用户态协议栈产生并拷贝到内核空间对应的地址，并于下个1ms响应由FPGA产生的2个中断，再分别通过rapidio接口发往FPGA（现场可编程门阵列）或者DSP（数字信号处理器）。当只有管理一个小区的时候，数据拷贝3次，中断响应2次，当管理多个小区时，这些操作也会加倍，此时按照普通设计的系统，性能将不能满足实际需要。

发明内容

本发明提出了一种基于Linux系统的串行RapidIo数据传输方法，其目的是在无线通信基站建设中，满足高速数据传输的要求，有效减少资源占用的同时有效提高系统的性能。

本发明的技术方案为一种基于Linux系统的串行RapidIo数据传输方法，设置支持rapidio接口的CPU和与CPU相连的对端设备，由对端设备产生时序；在初始化后进行数据传输。

初始化过程包括以下子步骤，

步骤1.1，采用DMA基本链表模式，建立DMA 链表，DMA 链表中的节点包括头节点和数据传输节点，每个rapidio输出窗口对应一个DMA链表的数据传输节点；DMA 链表中每个节点的数据结构包括源地址、目的地址、传输长度、下一个节点的地址Next link addr，Next link addr中设一个标志位End of link表示当前节点是否为最后一个节点；

步骤1.2，申请所需的多个rapidio输出窗口，并申请每个rapidio输出窗口相应的内核DMA空间；

步骤1.3，每一个内核DMA空间地址和相应的rapidio输出窗口的IO空间地址分别填入DMA链表中对应数据传输节点的源地址和目的地址，建立rapidio传输通道；

步骤1.4，申请一个rapidio输入窗口，rapidio输入窗口的地址转换单元的源地址包含CPU的DMA寄存器的地址；同时在对端设备中申请一个输出窗口，并且对端设备的输出窗口和rapidio输入窗口有相同的rapidio空间的地址；

步骤1.5，使用uio技术，将DMA链表、为rapidio输出窗口申请的内核DMA空间的所有存储空间都映射到用户空间；

数据传输过程包括以下子步骤，

步骤2.1，写步骤1.5使用uio技术映射到用户空间的存储空间，实现数据装入；

步骤2.2，当数据装入完成后，在用户态清除DMA链表头结点的end of link标志位；

步骤2.3，当对端设备产生的时序到了发起传输数据的时刻后，由对端设备通过步骤1.3建立的rapidio传输通道，写CPU的DMA寄存器，将CPU的DMA寄存器的模式寄存器的[CC]bit置1。

而且，在DMA链表的头节点后面增加一个copy节点和一个clone节点，设置头节点的end of link位为1。

而且，在DMA链表中每一个rapidio输出窗口对应的节点后面增加一个copy节点和一个clone节点，清除上一个节点的源地址和目的地址。

而且，所述对端设备为FPGA或DSP。

该方法能在linux系统中实现完全控制发送时序并且摆脱利用中断实现时序同时频繁响应中断带来的性能下降的困境；实现多个输出窗口复用1个DMA通道完成数据搬运；利用uio技术，实现内核空间地址到用户空间地址的映射，使得在用户空间可以直接操作内核空间地址，避免用户空间和内核空间的数据拷贝。本发明的特点包括：输出窗口控制灵活；控制基本上都在用户态完成，无需上下文切换；外围FPGA通过rapidio输入窗口直接写CPU的DMA寄存器，实现时序控制。本发明对比已有技术有以下创新点：

1、利用DMA链表技术，使Rapidio输出窗口的数目脱离DMA通道资源的束缚。

2、利用rapidio输入窗口使得FPGA可以写CPU的DMA寄存器，达到严格完成数据发送的时序要求，并且不使用中断，解决时序要求和中断损耗的矛盾。

3、利用uio技术，免除从用户空间拷贝数据到内核空间。

4、本设计模型还可以通过修改DMA链表的设计，达到灵活控制rapidio输出窗口是否发送数据的目的。

附图说明

图1 为现有技术中的rapidio链路数据传输的传统方法示意图；

图2为本发明实施例的rapidio链路数据传输方案示意图。

图3为本发明实施例的DMA节点的主要数据结构图。

图4为现有技术中的rapidio的数据传输通道示意图。

图5为本发明实施例建立的DMA节点的链表示意图。

图6 为本发明实施例建立的一种数据传输节点的示意图

具体实施方式

本发明主要针对嵌入式系统如何在linux系统下应用Serial rapid io实现高速传输，提供了一种基于rapidio协议的设计，在无线通信基站建设中，满足高速数据传输的要求，有效减少资源占用的同时有效提高系统的性能。本设计充分利用rapidio资源，并使用uio、DMA 等技术，有效减少数据拷贝、完美达到数据发送时序要求、合理使用系统资源。

以下结合附图和实施例详细说明本发明技术方案，提供了对该实施例的全面理解的详细细节。但是，本领域的技术人员应当了解，无需一些所示细节也可以实施本发明。另外，某些公知结构或功能没有进行详细的说明，以免使本发明的实施例相关说明不清楚。

根据本发明的实施例，提出了一种rapidio链路数据传输的新设计，结合uio技术、DMA链表技术，实现可控的rapidio链路的数据传输。

本发明实施例设置支持rapidio接口的CPU和与CPU相连的对端设备（可以是FPGA、DSP等），并且这个对端设备是时序的主控设备。下面以这个对端设备是FPGA为例，并且时序由FPGA控制。

如图2所示，实施例具体实施过程如下，其中没有特别指出由FPGA执行的都是由CPU执行，具体实施时可采用软件技术实现自动运行：

1. 初始化过程如下：

步骤1.1，采用DMA基本链表模式，建立DMA 链表，DMA 链表中的节点包括头节点和数据传输节点。链表上每个节点的主要数据结构如图3所示，包括源地址、目的地址、传输长度、下一个节点的地址Next link addr，Next link addr中设一个标志位End of link表示当前节点是否为最后一个节点。因为在Linux系统中DMA节点的分配使用了一些锁，很耗时间，所以在本发明中为了节省分配DMA链表节点的时间，采用初始化时静态分配节点，即当初始化分配完成后，完整的链表就生成了，当FPGA发起传输都会从当前的节点开始运行，最后停在end of link标志位为1的节点。

本发明实施例设计的链表：包括头节点（第一个节点）、数据传输节点1…数据传输节点n（n为数据传输节点总数）。

具体实施时，DMA链表上的节点数与rapidio输出窗口的个数有关，本发明设定每个rapidio输出窗口都必须至少对应一个DMA链表的节点（简称DMA节点），因为至少有一个相应的数据传输节点。本步骤建立DMA 链表后，即可对头节点的数据结构的所有信息赋值，包括源地址、目的地址、传输长度、下一个节点的地址Next link addr，end of link标志位的初始值为0。在后面数据传输过程中，数据结构中只有end of link标志位会被修改，其他信息不会改动。

步骤1.2，申请所需的多个rapidio输出窗口，并相应的申请内核DMA空间，图中简称为内核空间。

步骤1.3，将每一个内核DMA空间地址和相应的rapidio输出窗口的IO空间地址分别填入DMA链表中对应数据传输节点的源地址和目的地址，从而建立rapidio传输通道。数据传输节点的其他信息将在数据传输过程中填写，参见后续的步骤2.2。

步骤1.4，申请一个rapidio输入窗口，rapidio输入窗口的ATMU（地址转换单元）的源地址包含CPU的DMA寄存器的地址（DMA regs）；同时在FPGA中申请一个输出窗口，并且这两个窗口有相同的rapidio空间的地址，这样就可以使得FPGA通过它的这个输出窗口来写CPU的DMA寄存器。由于本发明只关注CPU的输出数据传输，所以CPU的rapidio输入窗口的数目和FPGA的输出窗口只设定一个。对于CPU的输出窗口的设定，可以是小于8的任何数（受本实施例所使用的CPU芯片资源所限），CPU端的输出窗口的申请和对端输入窗口的申请与行业常规用法相同。

步骤1.5，使用uio技术，将DMA链表、为rapidio输出窗口申请的内核DMA空间的所有存储空间都映射到用户空间，即从内核空间的一段映射到用户空间的一段。

2. 使用过程：

步骤2.1，写通过UIO映射到用户空间的存储区，实际为内核空间的地址，实现数据装入，代替常规方案中的用户空间到内核空间的数据拷贝。

步骤2.2，当数据装入完成后，在用户态把要发送的数据所在的内核物理地址填入数据传输节点的源地址域；把rapidio输出窗口对应的io地址填入数据传输节点的目的地址域；把需要传输的长度填入数据传输节点的传输长度域，数据传输节点的end of link标志位置总是为0；并置DMA链表头节点的end of link标志位为0。此标志位位于每个节点数据结构的next link addr域的最低位，如图3所示。

步骤2.3，当产生时序的FPGA到了发起传输数据的时刻后，由FPGA通过初始化过程的步骤3建立的rapidio传输通道，写CPU的DMA寄存器，将CPU的DMA寄存器的MRn（模式寄存器）的[CC]bit置1，表示继续传输。例如本发明实施例中CPU使用的是freescale公司的P4080芯片，CPU内部寄存器地址0xfe100100即为DMA的模式寄存器，该寄存器的第30bit位，就是[CC]控制位。

为了实现FPGA每次发起传输只执行一遍链表然后停止在头节点处，本发明进一步扩展了DMA链表结构，实施例在头节点后设计了一个copy节点和一个clone 节点，如图5所示。步骤1.1建立的DMA 链表包括头节点、头节点的copy节点、头节点的clone节点和数据传输节点。头节点、头节点的copy节点以及头节点的clone节点，建立DMA 链表后对三个节点的数据结构的所有信息赋值。在后面数据传输过程中，这三个节点的数据结构只会有end of link标志位会被修改，其余信息没有改动。头节点的Copy节点结构中的几个重要参数分别设置为，源地址=clone节点的地址，目的地址=头节点的地址，传输长度=DMA节点结构的大小（size），end of link=0。头节点的Clone 节点结构中的几个重要参数分别设置为，源地址=与头节点相同，目的地址=与头节点相同，传输长度=与头节点相同，end of link=1。由此可见copy节点的目的就是用clone节点的内容覆盖头节点的内容，而头节点和clone节点内容的区别仅仅在于end of link标志，所以当运行完copy节点时，头节点的end of link标志为1，于是整个链表运行到最后就会停止在头节点处（end of link标志为1的节点）。

此种方法还可以扩展到后面的所有数据传输节点，见图6。初始化时在每一个rapidio输出窗口对应的DMA链表中数据传输节点的后面多申请一个数据传输的copy节点和一个数据传输的clone节点，并给这些节点结构的所有成员赋值。即步骤1.1建立的DMA 链表包括头节点、头节点的copy节点、头节点的clone节点、多个数据传输节点、每个数据传输节点的相应copy节点和clone节点。建立DMA 链表后对头节点、头节点的copy节点、头节点的clone节点、每个数据传输节点的相应copy节点和clone节点的数据结构的所有信息赋值。详情见图6：以数据传输节点1的具体赋值为例，数据传输节点1的相应copy节点记为数据传输copy节点1，数据传输节点1的相应Clone节点记为数据传输Clone节点1。数据传输copy节点1的数据结构中，源地址=clone节点、目的地址=数据传输节点、传输长度=节点结构大小、End of link=0。数据传输Clone节点1的数据结构中，源地址=DMA空间地址、目的地址=DMA空间地址、传输长度=4、End of link=0。Copy节点用于将clone节点结构中的源地址和目的地址等信息覆盖数据传输节点结构中的源地址和目的地址等信息，这样当下一次传输开始之后，由于DMA没有搬运数据到io空间，于是达到了这一次rapidio输出窗口不传输数据的目的；反之，当要传输数据时，再将输出窗口对应的DMA链表节点的源地址和目的地址域填上需要的内核DMA空间地址和io空间地址。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种基于Linux系统的串行RapidIo数据传输方法，其特征在于：设置支持RapidIo接口的CPU和与CPU相连的对端设备，由对端设备产生时序；在初始化后进行数据传输，

初始化过程包括以下子步骤，

步骤1.1，采用DMA基本链表模式，建立DMA链表，DMA链表中的节点包括头节点和数据传输节点，每个RapidIo输出窗口对应一个DMA链表的数据传输节点；DMA链表中每个节点的数据结构包括源地址、目的地址、传输长度、下一个节点的地址Next link addr，Next linkaddr中设一个标志位end of link表示当前节点是否为最后一个节点；

数据传输过程包括以下子步骤，

步骤2.2，当数据装入完成后，在用户态把要发送的数据所在的内核物理地址填入数据传输节点的源地址域；把RapidIo输出窗口对应的io地址填入数据传输节点的目的地址域；把需要传输的长度填入数据传输节点的传输长度域，数据传输节点的end of link标志位置总是为0；并置DMA链表头节点的end of link标志位为0；

2.根据权利要求1所述基于Linux系统的串行RapidIo数据传输方法，其特征在于：在DMA链表的头节点后面增加一个copy节点和一个clone节点，头节点的copy节点结构中，源地址＝clone节点的地址，目的地址＝头节点的地址，传输长度＝DMA节点结构的大小，end of link＝0；头节点的clone节点结构中，源地址与头节点相同，目的地址与头节点相同，传输长度与头节点相同，end of link＝1；通过copy节点用clone节点的内容覆盖头节点的内容，设置头节点的end of link位为1。

3.根据权利要求2所述基于Linux系统的串行RapidIo数据传输方法，其特征在于：在DMA链表中每一个RapidIo输出窗口对应的数据传输节点后面增加一个copy节点和一个clone节点，copy节点的数据结构中，源地址＝clone节点、目的地址＝数据传输节点、传输长度＝节点结构大小、end of link＝0；clone节点的数据结构中，源地址＝DMA空间地址、目的地址＝DMA空间地址、传输长度＝4、end of link＝0；通过copy节点将clone节点结构中的源地址和目的地址、传输长度和end of link覆盖数据传输节点结构中的源地址和目的地址、传输长度和end oflink。

4.根据权利要求1或2或3所述基于Linux系统的串行RapidIo数据传输方法，其特征在于：所述对端设备为FPGA或DSP。