CN114780451B

CN114780451B - 一种基于dma的数据复制的方法

Info

Publication number: CN114780451B
Application number: CN202210720747.9A
Authority: CN
Inventors: 不公告发明人
Original assignee: Muxi Technology Beijing Co ltd
Current assignee: Muxi Technology Beijing Co ltd
Priority date: 2022-06-24
Filing date: 2022-06-24
Publication date: 2022-08-23
Anticipated expiration: 2042-06-24
Also published as: CN114780451A

Abstract

本发明涉及数据处理技术领域，具体涉及一种基于DMA的数据复制的方法，该方法通过为复制命令中每组读写请求分配相同的关联ID，并以相应的关联ID作为索引将读取的数据和写物理地址分别存入DMA的相应存储单元中，在读请求读取的数据和写请求的写物理地址都返回时，将相应的关联ID加入输出队列；通过在写通道可用时推出输出队列队首的关联ID，以关联ID为索引读取DMA中存储的读数据和写物理地址，输出到写通道，在写响应返回之后完成这一组读写请求的操作，完成复制命令中所有读写操作。该方法解决了必须先读后写导致的延时问题，提高了复制请求的响应速度，同时解决了读写通道存在耦合的问题。

Description

一种基于DMA的数据复制的方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于DMA的数据复制的方法。

背景技术

DMA数据复制传输过程中，一个非常重要的处理流程就是属于复制（COPY）操作的读写虚拟地址翻译。系统中使用虚拟地址而非物理地址，物理地址是真实存在的物理内存地址；虚拟地址是一种逻辑意义上的地址，虚拟地址需要转换为物理地址才能执行访问操作。DMA执行复制操作的过程就涉及到两次将虚拟地址转换为物理地址的过程，分别为读虚拟地址转换为读物理地址以及写虚拟地址转换为写物理地址的过程。

基于DMA的复制操作的一般执行流程为：DMA解析出COPY命令之后，首先分析源起始地址和目的起始地址以及COPY的数据长度，并根据总线传输设置分别计算读虚拟地址和写虚拟地址序列，虚拟读地址和写地址均是按照自然顺序发出的；自然顺序的读请求首先发出，执行地址翻译，地址翻译完成后的物理地址经由总线向源内存（memory）读取数据；数据返回后根据关联ID对应的读请求自然顺序（offset）来计算写请求的虚拟地址（写初始地址+offset），然后将写请求和读回的数据一起发送到地址翻译模块，完成地址翻译之后经由总线发送到目的memory，执行写操作；DMA等待写返回，完成这一笔复制操作。上述一般执行流程的缺点如下：

复制操作的写请求需要在对应的读请求返回之后才能发出，一组读写操作的延时比较长；并且为了防止数据丢失，读通道是否可用必须参考写通道是否可用，若写通道不可用，则读通道不能接收新的数据，读写通道存在耦合，影响性能。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于DMA的数据复制的方法，所采用的技术方案具体如下：

一种基于DMA的数据复制的方法，该方法包括以下步骤：

每个复制命令包括至少一组读写请求，将每组读写请求同时发送给地址翻译模块进行地址翻译，其中，所述每组读写请求互为关联请求，读请求包括读虚拟地址和读关联ID，写请求包括写虚拟地址和写关联ID，所述读关联ID和写关联ID相同；在将所述读虚拟地址翻译为读物理地址之后，根据读物理地址读取相应的数据，以读关联ID为索引将读取的数据存入DMA的数据存储单元；在将所述写虚拟地址翻译为写物理地址之后，以写关联ID为索引将所述写物理地址存入DMA的地址存储单元；在同一组的读数据和写物理地址全部返回时，将相应的关联ID加入输出队列；将输出队列中队首的关联ID推出，以推出的关联ID为索引向DMA内的地址存储单元以及数据存储单元分别读出写物理地址和数据，输出到写通道；等待写响应通道数据返回，完成复制。

本发明具有如下有益效果：

该方法利用关联ID标识读写请求的相关性，并通过关联ID作为索引在DMA的存储单元中存储和读取相应的读数据和写物理地址，并写入相应的写通道，解决了目前读写请求必须先读后写导致的延时问题，提高了复制请求的响应速度，同时解决了读写通道存在耦合的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于DMA的数据复制的方法流程图；

图2为本发明一个实施例所提供的关联ID的使用状态示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于DMA的数据复制的方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明实施例中所公开的方法适用于所有应用DMA技术的处理器，例如CPU和GPU芯片。DMA（Direct Memory Access，直接存储器访问）传输将数据从一个地址空间复制到另一个地址空间，提供在外设和存储器之间或者存储器与存储器之间的高速数据传输。DMA传输方式的优势在于能够直接进行大数据量数据搬移而又不占用处理器资源，既无需处理器直接控制，也没有中断处理的保留现场和恢复现场的过程，用硬件为数据传输开辟了一个专用的通道，与处理器并行处理。由于CPU和GPU的存储结构基本一样，因此本发明实施例以GPU芯片为例来说明本发明的具体方案，GPU (Graphics Processing Unit)，即图形处理器，无论是图像处理还是并行计算，都是以大数据量传输为基础的行为。

下面以AXI总线为例，结合附图具体的说明本发明所提供的一种基于DMA的数据复制的方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于DMA的数据复制的方法流程图，该方法包括以下步骤：

步骤S001，每个复制命令包括至少一组读写请求，将每组读写请求同时发送给地址翻译模块进行地址翻译，其中，所述每组读写请求互为关联请求，读请求包括读虚拟地址和读关联ID，写请求包括写虚拟地址和写关联ID，所述读关联ID和写关联ID相同。

复制命令来自GPU，复制命令通过DMA主动获取的方式读入DMA模块，经过命令解析和调度，开始执行复制操作。GPU系统的数据存储单元为字节，数据复制的最小数据单元也是字节，一个物理地址对应一个字节数据，同理一个虚拟地址也对应一个字节数据。复制操作可以实现以下数据搬移：由system memory到local memory、由system memory到systemmemory、由local memory到system memory、由local memory到local memory。

具体的，解析一个复制命令中的源起始地址和目的起始地址，这两个地址为复制的第一个字节数据的源地址和目的写入地址，复制的所有地址序列在源起始地址和目的起始地址的基础上进行计算，记录复制的数据长度。以源起始地址为第一个读请求的虚拟地址，按照数据总线设置的数据宽度计算对应的地址增量的长度，根据地址增量计算所有读请求的读虚拟地址序列。同理，以目的起始地址为第一个写请求的虚拟地址，根据地址增量计算所有写请求的写虚拟地址序列。

其中，一组读写请求为一一对应的读请求和写请求，例如第一个读请求的读虚拟地址对应第一个写请求的写虚拟地址，也即将第一个读请求返回的数据写入第一个写请求返回的物理地址中；第二个读请求的读虚拟地址对应第二个写请求的写虚拟地址，以此类推。每组中的读请求和写请求互为关联请求。

其中，关联ID用于标识一组内的读请求和写请求之间的相关性。由于总线的读写通道是独立而非耦合的，因此读写操作请求序列的发送并不是同步的，因此通过申请和同步每组读写请求的关联ID，并将读写请求分别发送到总线。其中关联ID的数量可以根据不同的总线宽度来设置不同的数量。

作为一个示例，以PCIE总线为例设置关联ID的数量，PCIE 识别TLP中完成报文ID数量的最大值为256，因此关联ID的数量设置为256。

请参阅图2，其示出了关联ID的使用状态示意图，以AXI总线为例，图2用于展示ID在初始状态、第一次循环和运行中可能出现的状态。在图2中白色状态的方格所对应的ID为可用ID，灰色的已使用ID，在初始状态时，共计有0-255个ID可用；在第一次循环的过程中，由于同一个关联ID下的读写操作为一组，读写通道之间不存在耦合，读写操作可以不同步，也就不存在先后顺序，可以是读操作在前，也可以是写操作在前，还可以是读写操作同时进行，因此可能会出现如图2中所展示的在第一次循环的过程中，读操作已经读取到第5个ID了，写操作此时写到第3个已经进行过读操作的ID，在同一个关联ID对应的读写操作都完成之后，便可以将相应的ID进行释放，因此ID释放指针一定是读写操作都完成并且已经使用的ID；而在运行中时，由于数据在不断的返回，相应的ID在不断的释放，并且读写并不是顺序执行的，因此可用ID的顺序会被打乱。

读写请求操作可以不同步，但是读写请求发出的顺序必须一致，相同序列的读写请求分配相同的关联ID。即使读写请求在时间上并不同步，写领先于读或者读领先于写，或者读写同步，都可保证相同序列的读写请求使用同一个关联ID。关联ID申请完毕后，用关联ID分别作为AXI读地址通道的读关联ID（AXI ARID）、AXI写地址通道的写关联ID（AXIAWID），将读关联ID（AXI ARID）以及读虚拟地址共同发送到地址翻译单元，地址翻译完成后由地址翻译单元以AXI标准信号通道承载，发送到SOC总线上，继而转发到源memory，读出数据。将写关联ID（AXI AWID）以及写虚拟地址共同发送到地址翻译单元进行写虚拟地址的翻译。

由于读写请求在关联ID的关联下可以同时发出，同时进行读数据和写虚拟地址的翻译步骤，在读数据返回时可能写虚拟地址的翻译已经完成，不需要再等待，可以直接进行下一步的写数据的步骤；相较于现有技术中在读数据返回之后再执行写虚拟地址的翻译的步骤，节省了大量的时间，提高了复制操作的效率。

步骤S002，在将所述读虚拟地址翻译为读物理地址之后，根据读物理地址读取相应的数据，以读关联ID为索引将读取的数据存入DMA的数据存储单元；在将所述写虚拟地址翻译为写物理地址之后，以写关联ID为索引将写物理地址存入DMA的地址存储单元。

具体的，将读请求对应的读虚拟地址发送到地址翻译单元进行翻译获取到相应的读物理地址，将AXI读请求发送到SOC总线上，等待读请求结果，读请求的结果通过AXI读数据通道返回到DMA，将读取到的数据以读关联ID为索引存入DMA内的数据存储单元，并设置读数据完成标识为有效，例如设置该读数据完成标识为1。

具体的，将写请求对应的写虚拟地址发送到地址翻译单元翻译写物理地址，将翻译完成的写物理地址经由AXI写通道推送到SOC总线上，获取该写请求的写物理地址，并以写关联ID为索引将写物理地址存入DMA的地址存储单元，并设置写地址翻译完成标识为1，写请求终止向SOC推送的操作。

步骤S003，在同一组的读数据和写物理地址全部返回时，将相应的关联ID加入输出队列。

优选的，为了缩短读写请求的时间，在所述每组读写请求中任意一个请求结果在先返回的同时，触发以关联ID为索引查询关联请求是否返回的操作，其中在先返回请求结果的请求为在先请求；在关联请求返回时，则将在先请求对应的关联ID加入相应的输出队列。

具体的，对于读请求的结果先返回，在读请求的结果返回的同时，触发关联的写请求对应的写地址翻译完成标识的查询操作。查询的过程是以读请求的读关联ID为索引查询写地址翻译完成标识，如果写地址翻译完成标识为1，则表示写物理地址已经准备就绪，可以将读关联ID加入到输出队列中，等待输出。对于写请求的结果先返回，在写地址翻译完成的同时触发读数据完成标识查询，以写关联ID为索引查询读数据完成标识，如果读数据完成标识为1，则表示写数据已经准备就绪，可将写关联ID加入到输出队列中，等待输出。

步骤S004，将输出队列中队首的关联ID推出，以推出的关联ID为索引向DMA内的地址存储单元以及数据存储单元分别读出写物理地址和数据，输出到写通道；等待写响应通道数据返回，完成复制。

输出队列严格按照先入先出的原则，同时参考AXI写地址和写数据通道的状态，以及突发传输（burst）设置数据宽度，将输出队列中队首的关联ID推出，同时以推出的关联ID为索引向DMA内的地址存储单元以及数据存储单元分别读出写物理地址和数据，作为写数据，输出到AXI写通道。其中，AXI写通道包括写地址和写数据通道，写地址和写数据通道的状态均包括可用状态和不可用状态，在可用状态下可推送数据，在不可用状态下不可推送数据。复制操作的一组读写请求完成，需等待AXI写响应通道对应的写请求的返回。由于读请求返回的数据和写请求返回的写地址均存储于DMA中相应的存储单元中，因此写数据时直接从DMA的存储单元中读出相应的数据和地址，如果写通道不可用，也不影响读通道读取数据，读写通道之间不存在耦合。

优选的，等待AXI写响应通道的返回后，以写响应通道中的响应关联ID为索引，释放关联ID，使释放的关联ID变得可用，清除读数据返回有效标识和写物理地址翻译完成标识。其中响应关联ID与读写关联ID相同，用于标识响应结果与相应关联ID对应的读写操作之间的相关性。

一个复制命令至少包括一组读写操作，全部的读写操作完成后，复制命令执行完成，完成复制命令中定义的存储空间的数据搬移。

综上所述，本发明实施例提供了一种基于DMA的数据复制的方法，该方法通过为复制命令中每组读写请求分配相同的关联ID，并以相应的关联ID作为索引将读取的数据和写物理地址分别存入DMA的相应存储单元中，在读请求读取的数据和写请求的写物理地址都返回时，将相应的关联ID加入输出队列；通过在写通道可用时推出输出队列队首的关联ID，在写响应返回之后完成这一组读写请求的操作，完成复制命令中所有读写操作。该方法利用关联ID标识读写请求的相关性，并通过关联ID作为索引在DMA的存储单元中存储和读取相应的数据和地址，并写入相应的写通道，解决了必须先读后写导致的延时问题，提高了复制请求的响应速度，同时解决了读写通道存在耦合的问题。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于DMA的数据复制的方法，其特征在于，该方法包括以下步骤：

每个复制命令包括至少一组读写请求，将每组读写请求同时发送给地址翻译模块进行地址翻译，其中，所述每组读写请求互为关联请求，读请求包括读虚拟地址和读关联ID，写请求包括写虚拟地址和写关联ID，所述读关联ID和写关联ID相同；

在将所述读虚拟地址翻译为读物理地址之后，根据读物理地址读取相应的数据，以读关联ID为索引将读取的数据存入DMA的数据存储单元；在将所述写虚拟地址翻译为写物理地址之后，以写关联ID为索引将所述写物理地址存入DMA的地址存储单元；

在同一组的读数据和写物理地址全部返回时，将相应的关联ID加入输出队列；

将输出队列中队首的关联ID推出，以推出的关联ID为索引向DMA内的地址存储单元以及数据存储单元分别读出写物理地址和数据，输出到写通道；等待写响应通道数据返回，完成复制。

2.根据权利要求1所述的一种基于DMA的数据复制的方法，其特征在于，在所述将输出队列中队首的关联ID推出的步骤之前，还包括：

检测写通道是否可用，在写通道可用时推出输出队列中队首的关联ID；否则，不推出。

3.根据权利要求1所述的一种基于DMA的数据复制的方法，其特征在于，在写响应通道数据返回后，还包括以下步骤：

释放写响应通道响应之后的关联ID，并清除相应关联ID对应的读数据完成标识和写地址翻译完成标识。

4.根据权利要求1所述的一种基于DMA的数据复制的方法，其特征在于，所述同一组的读数据和写物理地址全部返回的检测步骤包括：

在所述每组读写请求中任意一个请求结果在先返回的同时，触发以关联ID为索引查询关联请求是否返回，其中在先返回请求结果的请求为在先请求；

在关联请求返回时，则将在先请求对应的关联ID加入相应的输出队列。

5.根据权利要求4所述的一种基于DMA的数据复制的方法，其特征在于，所述查询关联请求是否返回的步骤包括：

查询关联请求的完成标识是否有效，其中完成标识包括在读请求获取到数据之后设置的读数据完成标识以及在写请求返回写物理地址之后设置的写地址翻译完成标识。

6.根据权利要求1所述的一种基于DMA的数据复制的方法，其特征在于，所述输出队列遵循先入先出原则，将新加入的关联ID放置于输出队列的队尾。

7.根据权利要求1所述的一种基于DMA的数据复制的方法，其特征在于，所述关联ID的数量根据总线宽度设置。

8.根据权利要求1所述的一种基于DMA的数据复制的方法，其特征在于，所述一组读写请求为发出顺序相同的读写请求。

9.根据权利要求1所述的一种基于DMA的数据复制的方法，其特征在于，所述写通道包括写地址通道和写数据通道。

10.根据权利要求1所述的一种基于DMA的数据复制的方法，其特征在于，在将每组读写请求同时发送给地址翻译模块进行地址翻译之前，还包括以下步骤：

解析复制命令中的源起始地址和目的起始地址，以源起始地址为第一个读请求的虚拟地址，按照数据总线设置的数据宽度计算对应的地址增量，根据地址增量计算所有读请求的读虚拟地址序列；以目的起始地址为第一个写请求的虚拟地址，根据地址增量计算所有写请求的写虚拟地址序列。