CN107678987A

CN107678987A - 一种dma传输的方法、装置及设备

Info

Publication number: CN107678987A
Application number: CN201710935196.7A
Authority: CN
Inventors: 张德闪
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-10-10
Filing date: 2017-10-10
Publication date: 2018-02-09
Anticipated expiration: 2037-10-10
Also published as: CN107678987B

Abstract

本发明公开了一种DMA传输的方法，包括根据接收的DMA传输请求确定传输数据,锁定所述传输数据对应的物理页面；遍历所述物理页面；判断连续物理页面的数目是否累计至预定数目；若是，填写空闲描述符；若否，则基于已获得的连续物理页面，填写空闲描述符；直到所述物理页面遍历完毕；将所述空闲描述符写入板卡端的描述符空间；将所述传输数据发送至所述板卡端。该方法增加了每次启动DMA传输的数据量，适合多线程DMA传输，极大的提高了传输效率。本发明还公开了一种DMA传输的装置和设备，均具有上述有益效果。

Description

一种DMA传输的方法、装置及设备

技术领域

本发明涉及计算机数据传输领域，特别是涉及一种DMA传输的方法，还涉及一种DMA传输的装置及设备。

背景技术

近年来，随着移动互联网的快速增长，数据体量的急剧膨胀，伴随着对这些数据的计算需求也在迅猛上涨。为应对这种迫切的计算需求，一种有效的解决方法就是采用专用协处理器的异构计算方式来提升处理性能。现有的协处理器主要有现场可编程门阵列(FPGA)，图形处理器(GPU)和集成电路(ASIC)，FPGA由于其独特的架构拥有其他处理器无法比拟的优势，而被重点关注。

FPGA芯片内部通常包含DMA控制器，以DMA的方式进行主机端和板卡端之间的数据传输。请参考图1，图1为DMA传输的原理示意图。假设主机下发一个大小为6个页面的传输请求，由于操作系统都采用虚拟内存管理机制，用户程序分配的6个页面在物理内存空间中很大概率上并不连续，可能由图1所示的3个连续空间(Data0，Data1，Data2)构成，其中Data0，Data1，Data2的大小分别为1个页面，3个页面和2个页面。用户程序把传输请求传递到板卡对应的驱动程序。驱动程序根据传输请求配置DMA传输描述符表，然后通过把配置好的传输描述表传递到板卡端的配置描述符空间中。板卡端的DMA控制器就依次读取板卡描述符空间中的内容，启动DMA传输。等所有描述符都执行完后，板卡发送中断给主机驱动程序，表明本次所有描述符都执行完成。一个描述符主要有主机端地址，板卡端地址和传输的数据大小三部分构成，并且描述符的个数一般是固定的。

在现有技术中，DMA传输采用的策略是一个描述符对应一个页面，一个页面大小通常为4KB，但每次启动DMA传输最多只能传输0.5MB(128×4KB)，即128个页面大小的数据集。当需要传输较大的数据集时，比如1GB，则需要启动2048次DMA，才能完成整个数据集的传输，这非常不适合多线程的用户程序。因为用户程序如果为多线程，一个线程发起数据传输后就转为等待状态等着被调度，每次描述符传输结束后需要等着这个线程被调度唤醒后才能启动下一次描述传输，极大地影响了传输效率。

因此，如何实现多线程DMA传输，提高传输效率，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种DMA传输的方法，该方法能够实现多线程DMA传输，提高传输效率；本发明的另一目的是提供一种DMA传输的装置及设备，均具有上述有益效果。

为解决上述技术问题，本发明提供一种DMA传输的方法，包括：

根据接收的DMA传输请求确定传输数据,锁定所述传输数据对应的物理页面；

遍历所述物理页面；判断连续物理页面的数目是否累计至预定数目；若是，填写空闲描述符；若否，则基于已获得的连续物理页面，填写空闲描述符；直到所述物理页面遍历完毕；

将所述空闲描述符写入板卡端的描述符空间；

将所述传输数据发送至所述板卡端。

优选的，所述锁定所述传输数据对应的物理页面包括：

判断传输数据的数目是否大于预定可传输数据的数目；

当所述传输数据的数目大于所述预定可传输数据的数目时，则锁定所述预定可传输数据对应的物理页面；当所述传输数据的数目不大于所述预定可传输数据的数目时，则锁定所述传输数据对应的物理页面。

优选的，所述将所述传输数据发送至所述板卡端之后还包括：

接收所述板卡端发送的中断信号；

判断所述传输数据是否发送完毕；

若是，则向上层应用返回发送完成信号；

若否，则启动下一次DMA传输，直至将所述传输数据传输完毕，向上层应用返回发送完成信号。

为解决上述技术问题，本发明还提供一种DMA传输的装置，包括：

锁定单元，用于根据接收的DMA传输请求确定传输数据，锁定所述传输数据对应的物理页面；

遍历单元，用于遍历所述物理页面；判断连续物理页面的数目是否累计至预定数目；若是，填写空闲描述符；若否，则基于已获得的连续物理页面，填写空闲描述符；直到所述物理页面遍历完毕；

写入单元，用于将所述空闲描述符写入板卡端的描述符空间；

发送单元，用于将所述传输数据发送至所述板卡端。

优选的，所述锁定单元包括：

判断子单元，用于判断传输数据的数目是否大于预定可传输数据的数目；

锁定子单元，用于当所述传输数据的数目大于所述预定可传输数据的数目时，则锁定所述预定可传输数据对应的物理页面；当所述传输数据的数目不大于所述预定可传输数据的数目时，则锁定所述传输数据对应的物理页面。

优选的，所述发送单元之后还包括：

接收单元，用于接收所述板卡端发送的中断信号；

判断单元，用于判断所述传输数据是否发送完毕；

返回单元，用于若所述传输数据发送完毕，则向上层应用返回发送完成信号；若所述传输数据未发送完毕，则启动下一次DMA传输，直至将所述传输数据传输完毕，向上层应用返回发送完成信号。

为解决上述技术问题，本发明还提供一种DMA传输的设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一种DMA传输的方法的步骤。

本发明所提供的一种DMA传输的方法，包括根据接收的DMA传输请求确定传输数据,锁定所述传输数据对应的物理页面；遍历所述物理页面；判断连续物理页面的数目是否累计至预定数目；若是，填写空闲描述符；若否，则基于已获得的连续物理页面，填写空闲描述符；直到所述物理页面遍历完毕；将所述空闲描述符写入板卡端的描述符空间；将所述传输数据发送至所述板卡端。

可见，本方法通过对每一个空间描述符指定连续的物理页面空间，扩大了每个空间描述符所传递的数据量，进而增加了每次启动DMA的数据传输量，减少的DMA的启动次数，进一步实现了多线程DMA传输，有效的提高了数据的传输效率。

本发明还提供了一种DMA传输的装置及设备，均具有上述有益效果。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为DMA传输的原理示意图；

图2为本发明提供的一种DMA传输的方法的流程示意图；

图3为本发明提供的一种DMA传输的装置的示意图；

图4为本发明提供的一种DMA传输的设备的示意图。

具体实施方式

本发明的核心是提供一种DMA传输的方法，该方法能够实现多线程DMA传输，提高传输效率；本发明的另一核心是提供一种DMA传输的装置及设备，均具有上述有益效果。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图2，图2为本发明提供的一种DMA传输的方法的流程示意图，该方法可以包括：

S101：根据接收的DMA传输请求确定传输数据,锁定传输数据对应的物理页面；

具体的，驱动接收来自上层应用下发的DMA传输请求，根据接收的DMA传输请求确定主机所需传输的数据；其中，DMA传输请求中包括传输数据对应的虚拟地址以及数据量，用以确定主机所需传输的数据。进一步，驱动为了保证传输数据在DMA传输的过程中保持一致性，可以将需要传输的数据对应的物理页面锁定。

S102：遍历物理页面；判断连续物理页面的数目是否累计至预定数目；

S103：若连续物理页面的数目累计至预定数目，则填写空闲描述符；直到物理页面遍历完毕；

S104：若连续物理页面的数目未累计至预定数目，则基于已获得的连续物理页面，填写空闲描述符；直到物理页面遍历完毕；

具体的，对锁定的物理页面进行遍历，先从传输数据的首地址对应的物理页面开始，依次往下遍历，如果下一物理页面与上一物理页面连续，则继续往下遍历，其中，下一物理页面对应的地址为上一物理页面对应的地址加下一物理页面的页面大小；同时，在遍历过程中可以累计物理页面的数目，判断连续的物理页面的数目是否累计至预定数目，当连续的物理页面的数目满足预定数目时，填写一个空闲描述符，继续往下遍历，直至锁住的所有物理页面都被上述空闲描述符填满，即所有被锁住的物理页面遍历完毕。

其中，预定数目是为空间描述符预先设定的数据传递量，例如，可以事先设定每个空闲描述符所传递的物理页面为255个，即当连续的物理页面累计至255个时，在第255个物理页面之后填写一个空闲描述符。进一步，可以将第256个物理页面作为第一个物理页面继续往下遍历。其中，累计物理页面的数目可以通过计数器来实现，每遍历一页物理页面计数器加1，当计数至255个时，计数器自动清零，继续遍历时重新计数。

进一步，若累计的连续物理页面数目未达到预定数目，则基于之前已获得的连续物理页面，填写一个空闲描述符，继续往下遍历，直至所有被锁住的物理页面遍历完毕。例如，物理页面的预定数目为255个，当连续物理页面累计至200个时，可能会出现第201个物理页面与第200个物理页面不连续的情况，则可以在第200个物理页面之后填写一个空闲描述符。进一步，可以将第201个物理页面作为第一个物理页面继续往下遍历，同时，计数器累计至200后，接收到物理页面不连续的信号，计数器自动清零，继续遍历时重新计数。

S105：将空闲描述符写入板卡端的描述符空间；

具体的，主机端与板卡端通过程序接口连接，用于传输空间描述符，在本申请中，采用的是PCIE接口，其中，可以将空间描述符配置成描述符表，再以描述符表的形式将空间描述符写入板卡端配置的描述符空间。其中，一个空闲描述符中主要由主机端地址，板卡端地址以及传输的数据大小三部分构成。

S106：将传输数据发送至板卡端。

具体的，板卡端设置有DMA控制器，DMA控制器依次读取描述符空间中的内容，启动DMA传输，将传输数据通过上述PCIE接口发送至板卡端。

此外，由于每次启动DMA传输时传输的数据容量都是固定的，即每次启动DMA传输时会有对应的预定传输数据容量，因此，在数据传输的过程中，可以将未累计至预定个数的连续物理页面对应的传输数据累计至预定传输数据容量后，再发送至板卡端即可。

本发明所提供的一种DMA传输的方法，通过对每一个空间描述符指定连续的物理页面空间，扩大了每个空间描述符所传递的数据量，进而增加了每次启动DMA的数据传输量，减少的DMA的启动次数，进一步实现了多线程DMA传输，有效的提高了数据的传输效率。

在上述实施例的基础上：

作为一种优选的实施例，锁定传输数据对应的物理页面包括判断传输数据的数目是否大于预定可传输数据的数目；当传输数据的数目大于预定可传输数据的数目时，则锁定预定可传输数据对应的物理页面；当传输数据的数目不大于预定可传输数据的数目时，则锁定传输数据对应的物理页面。

具体的，空闲描述符的个数一般是固定的，例如，Intel的Arria芯片，其内置的空闲描述符的个数为128个，在锁定物理页面时，可能会出现空闲描述符填写完毕，但传输数据未被空闲描述符填满的情况，因此，可以先锁定预定可传输数据对应的物理页面，例如，当一个空闲描述符可以描述255个连续物理页面时，其预定可传输数据对应的物理页面为255*128个。进一步，可以先判断传输数据的数目是否大于预定可传输数据的数目，当传输数据的数目大于预定可传输数据的数目时，即传输数据对应的物理页面超过255*128个时，则锁定预定可传输数据对应的物理页面，也就是说锁定的物理页面为255*128个；当传输数据的数目不大于预定可传输数据的数目时，即传输数据对应的物理页面不超过255*128个，则锁定传输数据对应的物理页面即可。

在上述实施例的基础上：

作为一种优选的实施例，将传输数据发送至板卡端之后还包括接收板卡端发送的中断信号；判断传输数据是否发送完毕；若是，则向上层应用返回发送完成信号；若否，则启动下一次DMA传输，直至将传输数据传输完毕，向上层应用返回发送完成信号。

具体的，当板卡端接收到主机端发送的传输数据后，可以向主机端返回一个中断信号，以便于告知主机端本次DMA传输完毕；进一步，主机端获取中断信号后，可以判断整体的数据是否传输完毕，当传输完毕时，主机端可以向上层应用返回一个发送完成信号，以便于告知上层应用整体数据传输完成；若整体数据未传输完毕，则可以重新启动下一次DMA传输，以保证整体数据全部传输完毕。

请参考图3，图3为本发明提供的一种DMA传输的装置的示意图，该装置包括：

锁定单元1，用于根据接收的DMA传输请求确定传输数据，锁定传输数据对应的物理页面；

遍历单元2，用于遍历物理页面；判断连续物理页面的数目是否累计至预定数目；若是，填写空闲描述符；若否，则基于已获得的连续物理页面，填写空闲描述符；直到物理页面遍历完毕；

写入单元3，用于将空闲描述符写入板卡端的描述符空间；

发送单元4，用于将传输数据发送至板卡端。

作为一种优选实施例，锁定单元1包括：

锁定子单元，用于当传输数据的数目大于预定可传输数据的数目时，则锁定预定可传输数据对应的物理页面；当传输数据的数目不大于预定可传输数据的数目时，则锁定传输数据对应的物理页面。

作为一种优选实施例，发送单元4之后还包括：

接收单元，用于接收板卡端发送的中断信号；

判断单元，用于判断传输数据是否发送完毕；

返回单元，用于若传输数据发送完毕，则向上层应用返回发送完成信号；若传输数据未发送完毕，则启动下一次DMA传输，直至将传输数据传输完毕，向上层应用返回发送完成信号。

对于本发明提供的装置的介绍请参照上述方法实施例，本发明在此不做赘述。

请参考图4，图4为本发明提供的一种DMA传输的示意图，该设备包括：

存储器10，用于存储计算机程序；

处理器20，用于执行计算机程序时实现如下步骤：

根据接收的DMA传输请求确定传输数据,锁定传输数据对应的物理页面；遍历物理页面；判断连续物理页面的数目是否累计至预定数目；若是，填写空闲描述符；若否，则基于已获得的连续物理页面，填写空闲描述符；直到物理页面遍历完毕；将空闲描述符写入板卡端的描述符空间；将传输数据发送至板卡端。

对于本发明提供的设备的介绍请参照上述方法实施例，本发明在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的DMA传输的方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种DMA传输的方法，其特征在于，包括：

将所述空闲描述符写入板卡端的描述符空间；

将所述传输数据发送至所述板卡端。

2.如权利要求1所述的方法，其特征在于，所述锁定所述传输数据对应的物理页面包括：

判断传输数据的数目是否大于预定可传输数据的数目；

3.如权利要求2所述的方法，其特征在于，所述将所述传输数据发送至所述板卡端之后还包括：

接收所述板卡端发送的中断信号；

判断所述传输数据是否发送完毕；

若是，则向上层应用返回发送完成信号；

4.一种DMA传输的装置，其特征在于，包括：

发送单元，用于将所述传输数据发送至所述板卡端。

5.如权利要求4所述的装置，其特征在于，所述锁定单元包括：

6.如权利要求5所述的装置，其特征在于，所述发送单元之后还包括：

接收单元，用于接收所述板卡端发送的中断信号；

判断单元，用于判断所述传输数据是否发送完毕；

7.一种DMA传输的设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述DMA传输方法的步骤。