CN117670649A - 元数据写入及读取方法、图形处理单元 - Google Patents

Abstract

本申请提供了一种元数据写入及读取方法、图形处理单元，元数据写入方法包括：获取写入请求，所述写入请求包括待写入的元数据以及所述元数据的虚拟地址；在页表中获取所述元数据的基地址，所述页表包括元数据的基地址；根据所述元数据的虚拟地址计算偏移量；根据所述元数据的基地址以及所述偏移量确定所述元数据的物理地址，并将所述元数据写入所述元数据的物理地址指示的存储空间。本申请能够在有限存储空间下实现对任意资源的元数据的存储和管理。

Description

元数据写入及读取方法、图形处理单元

技术领域

本申请涉及图形处理技术领域，尤其涉及一种元数据写入及读取方法、图形处理单元。

背景技术

随着游戏渲染的不断复杂化以及分辨率的不断提升，图形处理器（GraphicsProcessing Unit, GPU）的显存带宽的压力变的越来越大，每帧GPU读写好几吉字节(GB)的数据量。为了减少带宽的需求，提升渲染的帧率，GPU逐步引入了资源无损压缩的功能。数据无损压缩后会形成两部分数据：一部分称作压缩数据，一部分称作元数据（metadata）。

传统的元数据索引方式有下面两种，方案A：基于寄存器的元数据管理，每个寄存器负责管理一个资源。对于每一个资源，读写请求都会根据这个资源元数据的基(Base)地址，以及当前请求在当前资源的物理偏移计算出元数据的具体地址。方案A只需要为每一个需要压缩的资源分配一个元数据空间，自由度很高。方案B：基于显存物理空间的大小的线性空间元数据管理方式。这是一类相对优化的元数据管理方式，它的做法是在显存中预留一段区域，这段元数据空间可以覆盖整个物理显存空间的元数据存储需求。

但是，方案A可管理的资源数目很有限，无法适应于现今的桌面游戏，对稀疏资源的支持很差。对于方案B，由于其元数据具体地址仍然是基于每个资源的请求偏移量，当资源是巨大稀疏资源时，导致元数据占用的存储空间也较大，则此类方式无法使用。

发明内容

本申请能够在有限存储空间下实现对任意资源的元数据的存储和管理。

为了达到上述目的，本申请提供了以下技术方案：

第一方面，本申请提供了一种元数据写入方法，元数据写入方法包括：获取写入请求，所述写入请求包括待写入的元数据以及所述元数据的虚拟地址；在页表中获取所述元数据的基地址，所述页表包括元数据的基地址；根据所述元数据的虚拟地址计算偏移量；根据所述元数据的基地址以及所述偏移量确定所述元数据的物理地址，并将所述元数据写入所述元数据的物理地址指示的存储空间。

可选的，所述元数据的基地址是响应于页表分配请求分配的。

可选的，在内存中预设地址范围内为所述元数据分配所述元数据的基地址。

可选的，一级页面目录项PDE包括元数据的基地址的索引，所述页表的页表项PTE包括元数据的基地址。

可选的，所述写入请求还包括压缩数据的虚拟地址，所述元数据写入方法还包括：将所述压缩数据的虚拟地址转换为所述压缩数据的物理地址；将所述压缩数据写入所述物理地址指示的存储空间。

第二方面，本申请还公开一种用于图形处理单元的元数据读取方法，元数据读取方法包括：获取读取请求，所述读取请求包括元数据的虚拟地址；在页表中获取所述元数据的基地址，所述页表包括元数据的基地址；根据所述元数据的虚拟地址计算偏移量；根据所述元数据的基地址以及所述偏移量确定所述元数据的物理地址，并根据所述元数据的物理地址读取所述元数据。

可选的，元数据读取方法还包括：在页表中获取压缩数据的地址；根据所述压缩数据的地址以及所述元数据读取所述压缩数据。

第三方面，本申请还公开一种图形处理单元，图形处理单元包括：运算单元，用于生成读取请求或写请求，所述读取请求或者所述写请求包括元数据的虚拟地址；内存管理单元，用于执行第一方面所述元数据写入方法的步骤，和/或执行第二方面所述的元数据读取方法的步骤。

第四方面，本申请提供了一种终端设备，其特征在于，包括第三方面所述的图形处理单元。

第五方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行第一方面所述元数据写入方法的步骤，和/或执行第二方面所述的元数据读取方法的步骤。

与现有技术相比，本申请技术方案具有以下有益效果：

本申请技术方案中，获取写入请求，所述写入请求包括待写入的元数据以及所述元数据的虚拟地址；在页表中获取所述元数据的基地址，所述页表包括元数据的基地址；根据所述元数据的虚拟地址计算偏移量；根据所述元数据的基地址以及所述偏移量确定所述元数据的物理地址，并将所述元数据写入所述元数据的物理地址指示的存储空间。本申请技术方案中，页表包括元数据的基地址，将元数据的基地址与页表绑定，能够实现对元数据的按页管理，只有在需要时才会分配内存并将元数据写入内存，无需提前为资源的元数据预留较大的空间，提升内存资源利用率；并且本申请能够应用于任意大小的资源的地址管理，灵活性更高。

进一步地，元数据的基地址是响应于页表分配请求分配的。本申请技术方案中，页表中元数据的基地址用于存储元数据，该基地址是在分配页表时分配给元数据的，从而实现了对元数据按需分配内存的物理地址，在资源较大时能够节省存储空间，实现在有限资源的情况下对各种大小的资源的管理。

附图说明

图1是本申请实施例提供的一种元数据写入方法的流程图；

图2是本申请实施例提供的一种图形处理单元的结构示意图；

图3是本申请实施例提供的一种页表的结构示意图；

图4是本申请实施例提供的一种元数据写入方法的应用场景示意图；

图5是本申请实施例提供的一种元数据读取方法的流程图；

图6是本申请实施例提供的一种元数据读取方法的应用场景示意图；

图7是本申请实施例提供的一种图形处理单元的结构示意图。

具体实施方式

如背景技术中所述，方案A可管理的资源数目很有限，无法适应于现今的桌面游戏，对稀疏资源的支持很差。对于方案B，由于其元数据具体地址仍然是基于每个资源的请求偏移量，当资源是巨大稀疏资源时，导致元数据占用的存储空间也较大，则此类方式无法使用。

具体地，在方案B中，需要预先为稀疏资源分配一个较大内存存储空间。而稀疏资源的元数据较大，导致存储资源紧张。

本申请技术方案中，页表包括元数据的基地址，将元数据的基地址与页表绑定，能够实现对元数据的按页管理，只有在需要时才会分配内存并将元数据写入内存，无需提前为资源的元数据预留较大的空间，提升内存资源利用率；并且本申请能够应用于任意大小的资源的地址管理，灵活性更高。

为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。

参见图1，元数据写入方法可以由图形处理单元运行，也即由图形处理单元执行元数据写入方法的各个步骤，以将元数据写入内存。具体地，本发明实施例的元数据写入方法可以由图形处理单元中的内存管理单元(Memory Management Unit, MMU)，或者由MMU与其他单元共同来执行，本申请对此不作限制。

具体地，元数据写入方法具体可以包括以下步骤：

步骤101：获取写入请求，写入请求包括待写入的元数据以及元数据的虚拟地址；

步骤102：在页表中获取元数据的基地址，页表包括元数据的基地址；

步骤103：根据元数据的虚拟地址计算偏移量；

步骤104：根据元数据的基地址以及偏移量确定元数据的物理地址，并将元数据写入元数据的物理地址指示的存储空间。

可以理解的是，在具体实施中，上述方法的各个步骤可以采用软件程序的方式实现，该软件程序运行于芯片或芯片模组内部集成的处理器中。该方法也可以采用软件结合硬件的方式实现，本申请不作限制。

下面结合图形处理单元的具体结构对上述方法进行详细说明。具体请参照图2，图形处理单元包括压缩单元201、内存管理单元202以及内存203。

其中，压缩单元201能够对数据进行压缩，以得到压缩数据以及元数据。具体地，压缩单元201的待压缩数据可以来源于引擎(engine)。

压缩单元201发送写请求至内存管理单元202。写请求中包括待写入的元数据以及元数据的虚拟地址。具体地，元数据的虚拟地址可以由图形处理单元中其他子模块产生，例如图形处理器集群（Graphic Processor Cluster, GPC ），或者外部链接的其他处理器等。

内存管理单元202可以完成元数据的虚拟地址到元数据的物理地址的转换，具体如步骤102至步骤104所示。在地址转换的过程中，需要用到元数据的基地址，该基地址是从页表(page table)中获取的。

具体请参照图3，图3中示出了页表的一种具体结构。页表中包括元数据的基地址。由于页表是按页分配的，因此元数据的基地址表示元数据的页偏移(page offset)为0时的地址。

为了完成元数据的物理地址的转换，还需要确定偏移量。该偏移量可以是基于元数据的虚拟地址计算得到的。那么，根据元数据的基地址以及偏移量确定元数据的物理地址。该物理地址可以指向内存中的存储空间，也可以指向全局缓存中的存储空间。至此，可以完成元数据的写入。

进一步地，压缩单元201发送至内存管理单元202的写请求中还可以包括压缩数据及其虚拟地址。在这种情况下，内存管理单元202可以并行地将元数据以及压缩数据写入内存。具体地，内存管理单元202将压缩数据的虚拟地址转换为压缩数据的物理地址，并将压缩数据写入压缩数据的物理地址指示的存储空间。同时，内存管理单元202执行图1所示步骤102至步骤104，将其元数据写入元数据的物理地址指示的存储空间。

需要说明的是，内存管理单元202通过元数据的虚拟地址计算偏移量的具体过程，以及将压缩数据的虚拟地址转换为物理地址的过程可以参照现有技术，本申请在此不再赘述。

在一个非限制性的实施例中，内存中用于元数据的存储空间有限，可以预先设置预设地址范围，专用于分配元数据的基地址。由于元数据的基地址与页表进行绑定，使得该预设地址范围内的存储空间可以在不同的时间被不同的元数据进行复用，从而实现在有限存储空间下实现对任意资源的元数据的存储和管理

进一步地，元数据的基地址是响应于页表分配请求分配的。也就是说，只有存在元数据的实际存储需求时才会分配元数据的基地址，避免了现有技术中，在待存储资源较大的情况下，预先为其分配一块较大的存储资源所导致的资源浪费，实现了对元数据按需分配内存的物理地址，在资源较大时能够节省存储空间，实现在有限资源的情况下对各种大小的资源的管理。

在一个具体实施例中，一级页面目录项 (page directory entry，PDE)包括元数据的基地址的索引(index)，所述页表的页表项(Page Table Entry，PTE)包括元数据的基地址，每一元数据的基地址的索引指示一个元数据的基地址。也就是说，在元数据的虚拟地址转换为物理地址的过程中，可以通过PDE获得元数据的基地址的索引，然后在对应的PTE中查找该索引指示的基地址。

具体地，为了解析64位虚拟地址，并提供相应的元数据信息，地址一般会被分为多级解析，相对应的页表分为二大类，一类是PDE，一类是PTE。一级PDE增加元数据的基地址索引信息，从而服务于基于块(Block)的大页(Big Page)的管理，例如大小为2MB。对于基于页表的地址，则需要进一步查询PTE。

在一个具体应用场景中，请参照图4，结合图形处理单元的具体结构对上述元数据写入过程进行说明。

具体地，引擎将要写的数据发给压缩单元201。压缩单元201对数据压缩后形成压缩数据和元数据。压缩数据的虚拟地址会经过内存管理单元202转换成物理地址，同时内存管理单元202生成相应的元数据的基地址。压缩数据无需等待，可以直接按照其物理地址写到内存203中。

在收到元数据的基地址和虚拟地址之后，地址生成单元204会生成元数据的物理地址。元数据管理单元205根据所处的GPU的位置，如果处于DRAM存储控制器 （DRAM memorycontroller），则再进行一次地址映射，然后访问元数据的物理地址，否则直接用计算出来的物理地址访问。

元数据管理单元205将元数据写到最终生成的元数据的物理地址指向的存储空间。

相应地，本申请实施例还公开了一种元数据的读取方法，具体流程请参照图5。

本实施例中，元数据读取方法可以由图形处理单元运行，也即由图形处理单元执行元数据写入方法的各个步骤，以从内存中读取元数据。具体地，本发明实施例的元数据读取方法可以由图形处理单元中的内存管理单元，或者由内存管理单元与其他单元共同来执行，本申请对此不作限制。

具体地，元数据读取方法具体可以包括以下步骤：

在步骤501中，获取读取请求，读取请求包括元数据的虚拟地址；

在步骤502中，在页表中获取元数据的基地址，页表包括元数据的基地址；

在步骤503中，根据元数据的虚拟地址计算偏移量；

在步骤504中，根据元数据的基地址以及偏移量确定元数据的物理地址，并根据元数据的物理地址读取元数据。

与元数据的写入过程相类似，本发明实施例在元数据的读取过程中，可以从页表中获取元数据的基地址，然后根据元数据的虚拟地址计算偏移量，从而获得元数据的物理地址，以完成元数据的读取。

进一步地，在读取元数据之后，可以利用元数据的信息来读取压缩数据。具体地，如图3所示，页表中也可以包括压缩数据的数据地址。因此，可以在页表中获取压缩数据的地址，根据压缩数据的地址以及元数据读取所述压缩数据。

在一个具体应用场景中，请参照图6，结合图形处理单元的具体结构对数据的读取过程进程说明。

内存管理单元202收到来自引擎的读请求。内存管理单元202完成压缩数据的虚拟地址的转换，以得到压缩数据的物理地址；内存管理单元202同时获取相应的元数据基地址。地址生成单元204根据元数据的虚拟地址计算出该虚拟地址相对于元数据基地址的偏移。元数据管理单元205根据所处的GPU的位置，如果处于DMC，则再进行一次地址映射，然后访问元数据的最终物理地址，否则直接用计算出来的地址访问。

元数据管理单元205会将获得的元数据返回给读请求单元206，读请求单元206根据压缩数据的物理地址以及元数据的信息，向内存203缓存发出相应的读请求。

当读回的压缩数据返回后到解压缩单元207后，解压缩单元207进行数据展开并返回给引擎。

关于本申请实施例的更多具体实现方式，请参照前述实施例，此处不再赘述。

请参照图7，图7示出了一种图形处理单元70。图形处理单元70包括：

运算单元701，用于生成读取请求或写请求，所述读取请求或者所述写请求包括元数据的虚拟地址；

内存管理单元702，用于执行前述元数据写入方法的步骤，和/或执行前述元数据读取方法的步骤。

本发明实施例中，运算单元701可以包括前述实施例中的压缩单元、引擎等功能模块。

内存管理单元702可以包括前述实施例中的MMU，也可以包括MMU与地址生成单元、元数据管理单元的组合，本申请对此不作限制。

本发明实施例中，页表包括元数据的基地址，将元数据的基地址与页表绑定，能够实现对元数据的按页管理，只有在需要时才会分配内存并将元数据写入内存，无需提前为资源的元数据预留较大的空间，提升内存资源利用率；并且本申请能够应用于任意大小的资源的地址管理，灵活性更高。。

关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的（如果有）部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件（例如芯片、电路模块等）或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的（如果有）部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端设备的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端设备内同一组件（例如，芯片、电路模块等）或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端设备内部集成的处理器，剩余的（如果有）部分模块/单元可以采用电路等硬件方式实现。

本申请实施例还公开了一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序运行时可以执行前述实施例中所示方法的步骤。所述存储介质可以包括只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、磁盘或光盘等。存储介质还可以包括非挥发性存储器（non-volatile）或者非瞬态（non-transitory）存储器等。

本申请实施例还公开了一种终端设备，所述终端设备包括前述的图形处理单元；或者，终端设备包括存储器和处理器，存储器上存储有可在处理器上运行的计算机程序，处理器运行计算机程序时执行前述实施例所示方法的步骤。

本申请实施例中出现的“多个”是指两个或两个以上。

本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的部分步骤。

虽然本申请披露如上，但本申请并非限定于此。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各种更动与修改，因此本申请的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种元数据写入方法，其特征在于，包括：

获取写入请求，所述写入请求包括待写入的元数据以及所述元数据的虚拟地址；

在页表中获取所述元数据的基地址，所述页表包括元数据的基地址；

根据所述元数据的虚拟地址计算偏移量；

根据所述元数据的基地址以及所述偏移量确定所述元数据的物理地址，并将所述元数据写入所述元数据的物理地址指示的存储空间。

2.根据权利要求1所述的元数据写入方法，其特征在于，所述元数据的基地址是响应于页表分配请求分配的。

3.根据权利要求1所述的元数据写入方法，其特征在于，在内存中预设地址范围内为所述元数据分配所述元数据的基地址。

4.根据权利要求1所述的元数据写入方法，其特征在于，一级页面目录项PDE包括元数据的基地址的索引，所述页表的页表项PTE包括元数据的基地址。

5.根据权利要求1所述的元数据写入方法，其特征在于，所述写入请求还包括压缩数据的虚拟地址，所述元数据写入方法还包括：

将所述压缩数据的虚拟地址转换为所述压缩数据的物理地址；

将所述压缩数据写入所述物理地址指示的存储空间。

6.一种用于图形处理单元的元数据读取方法，其特征在于，包括：

获取读取请求，所述读取请求包括元数据的虚拟地址；

在页表中获取所述元数据的基地址，所述页表包括元数据的基地址；

根据所述元数据的虚拟地址计算偏移量；

根据所述元数据的基地址以及所述偏移量确定所述元数据的物理地址，并根据所述元数据的物理地址读取所述元数据。

7.根据权利要求6所述的元数据读取方法，其特征在于，还包括：

在页表中获取压缩数据的地址；

根据所述压缩数据的地址以及所述元数据读取所述压缩数据。

8.一种图形处理单元，其特征在于，包括：

运算单元，用于生成读取请求或写请求，所述读取请求或者所述写请求包括元数据的虚拟地址；

内存管理单元，用于执行权利要求1至5任一项所述元数据写入方法的步骤，和/或执行权利要求6或7所述的元数据读取方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至5任一项所述元数据写入方法的步骤，或执行权利要求6或7所述的元数据读取方法的步骤。

10.一种终端设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行权利要求1至5任一项所述元数据写入方法的步骤，或执行权利要求6或7所述的元数据读取方法的步骤。