CN114461391A - 一种可重映射的gpu主存访问管理方法和系统 - Google Patents

一种可重映射的gpu主存访问管理方法和系统 Download PDF

Info

Publication number
CN114461391A
CN114461391A CN202210071718.4A CN202210071718A CN114461391A CN 114461391 A CN114461391 A CN 114461391A CN 202210071718 A CN202210071718 A CN 202210071718A CN 114461391 A CN114461391 A CN 114461391A
Authority
CN
China
Prior art keywords
gpu
main memory
space
address
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210071718.4A
Other languages
English (en)
Inventor
陈斌彬
付秋
高齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
709th Research Institute of CSIC
Original Assignee
709th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 709th Research Institute of CSIC filed Critical 709th Research Institute of CSIC
Priority to CN202210071718.4A priority Critical patent/CN114461391A/zh
Publication of CN114461391A publication Critical patent/CN114461391A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明涉及计算机技术领域，特别是涉及一种可重映射的GPU主存访问管理方法和系统，包括以下步骤：根据预设的GPU所需主存地址空间的范围，将主存地址空间分为两个池，定义为直通池和映射池；从直通池进行空间分配，根据GPU所需分配主存地址空间的连续性和大小进行分配；分配连续的主存空间和物理地址或非连续的主存空间和物理地址链表给GPU；若从映射池进行空间分配，通过配置ATU映射，分配连续的主存空间和物理地址或非连续的主存空间和物理地址给GPU；通过GMMU页表建立GPU虚拟地址和GPU物理地址及GPU物理地址链表的映射关系；根据所需访问的GPU虚拟地址，GPU通过映射关系进行主存访问。本发明降低了映射复杂度，提升了映射效率及GPU访问主存效率。

Description

一种可重映射的GPU主存访问管理方法和系统
技术领域
本发明涉及计算机技术领域，特别是涉及一种可重映射的GPU(GraphicsProcessing Unit，图形处理器)主存访问管理方法和系统。
背景技术
在采用GPU进行图形渲染时，渲染数据一般存储在GPU的显存中和/或CPU(CentralProcessing Unit，中央处理器)的主存中，在进行渲染过程中，CPU可以将渲染指令发送给GPU，渲染指令中包括数据在显存和主存上的存储地址，GPU根据该存储地址就可以读取相应的存储数据，并对数据进行渲染处理后就可以得到渲染后的图像。一般情况下，GPU使用显存效率更高，访问速度更快。但是，对于一些特殊应用场景，例如显存耗尽，或者需要CPU频繁操作且GPU需要访问的空间，或是一些特殊应用，例如OPENCL(Open ComputingLanguage，开放运算语言)，GPU需要使用到主存，甚至是大量主存。
对于PCIE(Peripheral Component Interconnect Express)独立显卡，一般属于NUMA(Non-Uniform-Memory-Access)显卡，GPU和CPU是异构的，其寻址空间也是相互独立的，GPU访问主存必须经过PCIE的映射。由于PCIE映射资源的限制，以及GPU寻址空间的限制，GPU不可能直接访问所有主存。目前的方案要么将部分主存空间经PCIE直接映射到GPU主存地址空间，让GPU访问部分主存，要么采用IOMMU(Input/Output Memory ManagementUnit，输入/输出内存管理单元)将主存地址映射到GPU主存地址空间。前一种方案访问主存有限制，后一种方案要增加一级映射，影响效率。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种可重映射的GPU主存访问管理方法和系统，旨在突破GPU访问主存的限制，使得GPU访问主存更高效。
为解决上述问题，按照本发明的一个方面，提供了一种可重映射的GPU主存访问管理方法和系统，包括以下步骤：
(1)根据预设的GPU所需主存地址空间的范围，将主存地址空间分为两个池，定义为直通池和映射池；
(2)从直通池进行空间分配，若GPU所需分配主存地址空间为连续的且大小小于或等于预设的最大连续空间阈值，转到步骤(3)，否则转到步骤(4)；
(3)分配连续的主存空间和物理地址给GPU，若成功，转到步骤(9)，否则转到步骤(4)；
(4)分配非连续的主存空间和物理地址链表给GPU，若成功，转到步骤(9)，否则转到步骤(5)；
(5)从映射池进行空间分配，若GPU所需分配主存地址空间为连续的，转到步骤(6)，否则转到步骤(7)；
(6)分配连续的主存空间和物理地址给GPU，若成功，转到步骤(8)，否则分配失败；
(7)分配非连续的主存空间和物理地址给GPU，若成功，转到步骤(8)，否则分配失败；
(8)配置ATU(Address Translation Unit，地址转换单元)进行映射处理；
(9)通过GMMU(GPU Memory Management Unit，图形处理器内存管理单元)页表建立GPU虚拟地址和GPU物理地址及GPU物理地址链表的映射关系。
进一步的，直通池大小为GPU主存地址空间大小，且从0地址开始，剩下的主存空间即为映射池。
进一步的，步骤(2)从直通池进行空间分配中，GPU所需分配主存地址空间以等量线性映射的方式映射到直通池。
进一步的，步骤(2)从直通池进行空间分配中，CPU物理地址和GPU物理地址为线性偏移关系。
进一步的，步骤(8)中通过配置ATU，重建相应GPU物理地址与CPU物理地址的映射关系。
进一步的，步骤(9)中GMMU页表访问的方式为：
(a)GPU读入GPU虚拟地址；
(b)根据GPU虚拟地址，查询GMMU页表计算获得GPU物理地址；
(c)查询GPU物理地址是否在主存地址空间范围中，若是，则GPU通过ATU映射访问对应主存物理地址，否则GPU直接访问显存物理地址。
按照本发明的另一个方面，提供一种可重映射的GPU主存访问管理系统，其特征在于，包括：主存分配器模块、GPU主存地址空间管理模块、ATU映射管理模块和GMMU管理模块；
所述主存分配器模块用于在整个主存空间分配连续或非连续主存，且可以根据池标记控制分配主存的CPU物理地址是在直通池还是映射池，若分配连续空间成功时，该模块可以获得CPU物理地址，若分配非连续空间成功时，该模块可以获得CPU物理地址链表；
所述GPU主存地址空间管理模块用于管理GPU主存地址空间的GPU物理地址的分配和释放；
所述ATU映射管理模块用于维护GPU主存地址空间的GPU物理地址与CPU物理地址映射关系表，当从映射池分配空间时，需要通过ATU映射管理模块重建相应GPU物理地址与CPU物理地址映射关系；
所述GMMU管理模块用于维护GMMU页表，管理GPU虚拟地址与GPU物理地址的映射关系。
总体而言，本发明的技术方案与现有技术相比，用于取得下列有益效果：
本发明提供GPU主存访问管理方法，优先使用直通池分配主存空间，在大部分应用情况下降低了映射复杂度，提升了映射效率及GPU访问主存效率；另外还提供了一套主存访问管理系统，通过GMMU管理模块和ATU映射管理模块灵活的进行重映射，以达到GPU访问整个主存空间的目的。
附图说明
图1为本发明实施例提供的GPU主存访问管理方法流程图；
图2为本发明实施例提供的地址映射关系示意图；
图3为本发明实施例提供的主存分配流程图；
图4为本发明实施例提供的GPU访问主存流程图；
图5为本发明实施例提供的GPU主存访问管理系统模块框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的实施例提供了一种可重映射的GPU主存访问管理方法，所述方法包括如下步骤：
首先根据GPU主存地址空间范围将主存空间分为两个池，定义为直通池和映射池。直通池大小即为GPU主存地址空间大小，且从0地址开始。剩下的主存空间即为映射池。
现在的主流CPU平台均为64位地址空间，GPU主存地址空间范围肯定是小于64位的，比如GPU主存地址空间范围为0x0～0xffffffff共4GB。那么主存空间直通池为0x0～0xffffffff，即为所有32位地址。映射池即为0xffffffff以上的所有地址空间。默认情况下，ATU映射管理模块将GPU主存地址空间等量线性映射到直通池。此时GPU物理地址与CPU物理地址相等，即偏移量为0。
如图2所示，当分配GPU需要访问的主存空间时；
首先判断上层传递的连续标记参数是否为1，若是则进入下一步，若否则进入直通池分配非连续空间流程；
然后，比较分配空间大小与最大连续空间阈值，例如为4MB。若分配空间小于4MB，则进入下一步直通池分配连续空间流程；反之，则进入直通池分配非连续空间流程。
当分配连续主存空间时，优先从直通池分配连续空间；如果分配失败，则从直通池分配非连续空间；若分配失败，则从映射池分配连续空间；若分配失败，则从映射池分配非连续空间，若分配失败，则分配GPU需要访问的主存空间失败。当分配非连续主存空间时，优先从直通池分配非连续空间；若分配失败，则从映射池分配非连续空间，若分配失败，则分配GPU需要访问的主存空间失败。
若主存分配器从直通池分配连续空间成功，则获得已分配连续空间的CPU物理地址，即32位地址，此地址记为c_addr1。已分配连续空间记为S1。随后通过GPU主存地址空间管理模块分配S1的GPU物理地址，记为g_addr1，此时g_addr1＝c_addr1，即偏移量为0。若g_addr1已被占用，即GPU主存地址空间管理模块分配S1的GPU物理地址失败，则返回主存分配器重新从直通池分配连续空间，并释放之前申请的连续空间。若GPU主存地址空间管理模块分配S1的GPU物理地址成功，则下一步通过GMMU管理模块将g_addr1写入GMMU页表，并获得GPU虚拟地址gv_addr1，至此分配主存成功，分配流程结束。
若主存分配器从直通池分配非连续空间成功，则获得已分配非连续空间的CPU物理地址链表，链表包含n个连续空间，此地址链表记为c_addr2[n]。已分配非连续空间记为S2。随后通过GPU主存地址空间管理模块获得S2的GPU物理地址链表，记为g_addr2[n]，此时g_addr2[0]＝c_addr2[0],g_addr2[1]＝c_addr2[1]，…，g_addr2[n-1]＝c_addr2[n-1]。若g_addr2[n]其中至少一个地址空间已被占用，即GPU主存地址空间管理模块分配S2的GPU物理地址链表失败，则返回主存分配器重新从直通池分配连续非空间，并释放之前申请的非连续空间。若GPU主存地址空间管理模块分配S2的GPU物理地址链表成功，则下一步通过GMMU管理模块将g_addr2[n]写入GMMU页表，并获得GPU虚拟地址gv_addr2(连续)，至此分配主存成功，分配流程结束。
若主存分配器从映射池分配连续空间成功，则获得已分配连续空间的CPU物理地址，即64位地址，此地址记为c_addr3。已分配连续空间记为S3。随后通过GPU主存地址空间管理模块获得S3的GPU物理地址，记为g_addr3，此时g_addr3为32位范围内且不与其他GPU物理地址重合。若GPU主存地址空间管理模块分配S3的GPU物理地址失败，则表示GPU主存地址空间已被耗尽，主存分配失败。若GPU主存地址空间管理模块分配S3的GPU物理地址成功，则下一步通过ATU映射管理模块将c_addr3与g_addr3建立映射关系。随后通过GMMU管理模块将g_addr3写入GMMU页表，并获得GPU虚拟地址gv_addr3，至此分配主存成功，分配流程结束。
若主存分配器从映射池分配非连续空间成功，则获得已分配非连续空间的CPU物理地址链表，链表包含n个连续空间，此地址链表记为c_addr4[n]，且这n个地址均为64位地址，已分配非连续空间记为S4。随后通过GPU主存地址空间管理模块获得S4的GPU物理地址，记为g_addr4，此时g_addr4为32位范围内且不与其他GPU物理地址重合。若GPU主存地址空间管理模块分配S4的GPU物理地址失败，则表示GPU主存地址空间已被耗尽，主存分配失败。若GPU主存地址空间管理模块分配S4的GPU物理地址成功，则下一步通过ATU映射管理模块将c_addr4[n]与g_addr4建立映射关系。随后通过GMMU管理模块将g_addr4写入GMMU页表，并获得GPU虚拟地址gv_addr4，至此分配主存成功，分配流程结束。
如图3、4所示GPU访问主存流程为：
首先，GPU读入GPU虚拟地址gv_addr进行访问。
随后，GPU通过虚拟地址gv_addr查询GMMU页表计算GPU物理地址g_addr。
随后，GPU查询g_addr是否在主存地址空间范围，若是，则GPU通过ATU映射访问对应主存物理地址c_addr；若否，则GPU直接访问显存物理地址。
如图5所示，本发明实施例还公开了一种可重映射的GPU主存访问管理系统，其包括如下功能模块：
主存分配器模块，用于在整个主存空间分配连续或非连续主存，且可以根据池标记控制分配主存的CPU物理地址是在直通池还是映射池。若分配连续空间成功时，该模块可以获得CPU物理地址。若分配非连续空间成功时，该模块可以获得CPU物理地址链表。
GPU主存地址空间管理模块，管理GPU主存地址空间的GPU物理地址的分配，释放等。从直通池分配连续空间成功时，该模块分配与CPU物理地址相对应的GPU物理地址，此时GPU物理地址与CPU物理地址为线性偏移关系(实施例中为相等关系，即偏移为0)，若相应GPU物理地址已被占用，则返回主存分配器重新从直通池分配连续空间，并释放之前申请的连续空间；从直通池分配非连续空间成功时，该模块分配与CPU物理地址链表相对应的GPU物理地址链表，此时GPU物理地址链表与CPU物理地址链表为线性偏移关系(实施例中为相等关系，即偏移为0)，若相应GPU物理地址已被占用，则返回主存分配器重新从直通池分配非连续空间，并释放之前申请的非连续空间；从映射池分配连续或非连续空间成功时，该模块从GPU主存地址空闲空间中分配相对应的GPU物理地址，若GPU主存地址空间管理模块分配失败，则表示GPU主存地址空间已被耗尽，主存分配失败。该模块产生的GPU物理地址与主存分配器产生的CPU物理地址通过ATU映射管理模块建立映射关系。
ATU映射管理模块，维护GPU主存地址空间的GPU物理地址与CPU物理地址映射关系表，默认情况下，将GPU主存地址空间以等量线性映射的方式映射到直通池；当从映射池分配空间时，需要通过ATU映射管理模块重建相应GPU物理地址与CPU物理地址映射关系。
GMMU管理模块：维护GMMU页表，管理GPU虚拟地址与GPU物理地址的映射关系。
本实施例提供的一种可重映射的GPU主存访问管理系统的执行方式与上述GPU主存访问管理方法基本相同，故不作详细赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种可重映射的GPU主存访问管理方法，其特征在于，包括以下步骤：
(1)根据预设的GPU所需主存地址空间的范围，将主存地址空间分为两个池，定义为直通池和映射池；
(2)从直通池进行空间分配，若GPU所需分配主存地址空间为连续的且大小小于或等于预设的最大连续空间阈值，转到步骤(3)，否则转到步骤(4)；
(3)分配连续的主存空间和物理地址给GPU，若成功，转到步骤(9)，否则转到步骤(4)；
(4)分配非连续的主存空间和物理地址链表给GPU，若成功，转到步骤(9)，否则转到步骤(5)；
(5)从映射池进行空间分配，若GPU所需分配主存地址空间为连续的，转到步骤(6)，否则转到步骤(7)；
(6)分配连续的主存空间和物理地址给GPU，若成功，转到步骤(8)，否则分配失败；
(7)分配非连续的主存空间和物理地址给GPU，若成功，转到步骤(8)，否则分配失败；
(8)配置ATU进行映射处理；
(9)通过GMMU页表建立GPU虚拟地址和GPU物理地址及GPU物理地址链表的映射关系。
2.如权利要求1所述的GPU主存访问管理方法，其特征在于，所述直通池大小为GPU主存地址空间大小，且从0地址开始，剩下的主存空间即为映射池。
3.如权利要求1所述的GPU主存访问管理方法，其特征在于，所述步骤(2)从直通池进行空间分配中，GPU所需分配主存地址空间以等量线性映射的方式映射到直通池。
4.如权利要求1所述的GPU主存访问管理方法，其特征在于，所述步骤(2)从直通池进行空间分配步骤中，CPU物理地址和GPU物理地址为线性偏移关系。
5.如权利要求1所述的GPU主存访问管理方法，其特征在于，所述步骤(8)中通过配置ATU，重建相应GPU物理地址与CPU物理地址的映射关系。
6.如权利要求1所述的GPU主存访问管理方法，其特征在于，所述步骤(9)中GMMU页表访问的方式为：
(a)GPU读入GPU虚拟地址；
(b)根据GPU虚拟地址，查询GMMU页表计算获得GPU物理地址；
(c)查询GPU物理地址是否在主存地址空间范围中，若是，则GPU通过ATU映射访问对应主存物理地址，否则GPU直接访问显存物理地址。
7.一种可重映射的GPU主存访问管理系统，其特征在于，包括：主存分配器模块、GPU主存地址空间管理模块、ATU映射管理模块和GMMU管理模块；
所述主存分配器模块用于在整个主存空间分配连续或非连续主存，且可以根据池标记控制分配主存的CPU物理地址是在直通池还是映射池，若分配连续空间成功时，该模块可以获得CPU物理地址，若分配非连续空间成功时，该模块可以获得CPU物理地址链表；
所述GPU主存地址空间管理模块用于管理GPU主存地址空间的GPU物理地址的分配和释放；
所述ATU映射管理模块用于维护GPU主存地址空间的GPU物理地址与CPU物理地址映射关系表，当从映射池分配空间时，需要通过ATU映射管理模块重建相应GPU物理地址与CPU物理地址映射关系；
所述GMMU管理模块用于维护GMMU页表，管理GPU虚拟地址与GPU物理地址的映射关系。
CN202210071718.4A 2022-01-21 2022-01-21 一种可重映射的gpu主存访问管理方法和系统 Pending CN114461391A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210071718.4A CN114461391A (zh) 2022-01-21 2022-01-21 一种可重映射的gpu主存访问管理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210071718.4A CN114461391A (zh) 2022-01-21 2022-01-21 一种可重映射的gpu主存访问管理方法和系统

Publications (1)

Publication Number Publication Date
CN114461391A true CN114461391A (zh) 2022-05-10

Family

ID=81409669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210071718.4A Pending CN114461391A (zh) 2022-01-21 2022-01-21 一种可重映射的gpu主存访问管理方法和系统

Country Status (1)

Country Link
CN (1) CN114461391A (zh)

Similar Documents

Publication Publication Date Title
US11893653B2 (en) Unified memory systems and methods
US9547535B1 (en) Method and system for providing shared memory access to graphics processing unit processes
CN113674133B (zh) Gpu集群共享显存系统、方法、装置及设备
US7509391B1 (en) Unified memory management system for multi processor heterogeneous architecture
US6326973B1 (en) Method and system for allocating AGP/GART memory from the local AGP memory controller in a highly parallel system architecture (HPSA)
EP1987434B1 (en) Methods and apparatus for providing independent logical address space and access management
US8250254B2 (en) Offloading input/output (I/O) virtualization operations to a processor
US20230196502A1 (en) Dynamic kernel memory space allocation
US8395631B1 (en) Method and system for sharing memory between multiple graphics processing units in a computer system
US20040107329A1 (en) Memory pool configuration system
CN112465689B (zh) 基于可见显存交换区的gpu不可见显存管理方法及系统
CN113760560A (zh) 一种进程间通信方法以及进程间通信装置
CN118159951A (zh) 一种处理请求的方法、装置及系统
US20140149674A1 (en) Performance and Energy Efficiency While Using Large Pages
US20230376412A1 (en) A far memory allocator for data center stranded memory
CN116681578B (zh) 内存管理方法、图形处理单元、存储介质、终端设备
CN115757260B (zh) 数据交互方法、图形处理器及图形处理系统
EP1067461A1 (en) Unified memory management system for multi process heterogeneous architecture
CN116225693A (zh) 元数据管理方法、装置、计算机设备及存储介质
CN114461391A (zh) 一种可重映射的gpu主存访问管理方法和系统
JP2022541059A (ja) ヘテロジニアスコンピューティングのための統合カーネル仮想アドレス空間
CN107688494B (zh) 一种内存分配方法和装置
US6928492B1 (en) Computer I/O device access method
WO2023030174A1 (zh) 一种资源管理的方法及相应装置
JP2001022640A (ja) メモリ管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination