CN109643291A - 用于在虚拟化执行环境中高效使用图形处理资源的方法和设备 - Google Patents

用于在虚拟化执行环境中高效使用图形处理资源的方法和设备 Download PDF

Info

Publication number
CN109643291A
CN109643291A CN201780053212.8A CN201780053212A CN109643291A CN 109643291 A CN109643291 A CN 109643291A CN 201780053212 A CN201780053212 A CN 201780053212A CN 109643291 A CN109643291 A CN 109643291A
Authority
CN
China
Prior art keywords
gpu
buffer
engine
order
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780053212.8A
Other languages
English (en)
Other versions
CN109643291B (zh
Inventor
S·P·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109643291A publication Critical patent/CN109643291A/zh
Application granted granted Critical
Publication of CN109643291B publication Critical patent/CN109643291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

描述了一种用于高效多GPU虚拟化环境的设备和方法。例如，设备的一个实施例包括：多个图形处理单元(GPU)，用于由虚拟化执行环境内的多个虚拟机(VM)共享；共享存储器，用于在所述虚拟化图形执行环境内执行的所述多个VM与GPU之间共享；所述GPU，用于收集与执行在由所述VM提交的命令缓冲器内的命令相关的性能数据，所述GPU用于将所述性能数据存储在所述共享存储器内；以及GPU调度器和/或驱动器，用于基于所述性能数据将后续命令缓冲器调度到所述GPU。

Description

用于在虚拟化执行环境中高效使用图形处理资源的方法和 设备
发明背景
发明领域
本发明总体上涉及计算机处理器领域。更具体地，本发明涉及用于在虚拟化执行环境中高效使用图形处理资源的方法和设备。
背景技术
在管理程序(Hypervisor)虚拟机服务器环境中使用图形处理单元(GPU)硬件的当前解决方案很少提供或未提供用于高效地使用主机多GPU硬件资源的机制。用于在服务器环境中使用GPU的现有解决方案不允许基于负载平衡算法或客户机渲染模式的抢占GPU硬件上下文切换。它们也不允许管理程序基于服务器管理软件参数来控制抢占算法。问题是现有解决方案不允许管理程序软件基于客户机使用模式或服务器管理软件对向多个主机GPU提交命令缓冲器具有足够的控制。这可能在可用主机GPU域内产生未充分利用的情况。
客户机可能未充分利用主机GPU的一个原因是任何客户机中的渲染软件都不了解主机环境。客户机软件假定其完全“拥有”GPU并且发送到GPU的命令缓冲器反映了客户机软件内缺乏全局或管理程序知识。客户机虚拟机中的渲染软件不了解主机GPU硬件资源，包括：可用GPU数量、存储器的量、执行单元数量、主机GPU引擎上的负载、GPU硬件上的渲染或计算负载、或由于自其他客户机提交的命令缓冲器而导致的服务器渲染活动改变。客户机OS不知道包含显示输出命令、3D渲染命令、视频解码或视频编码、以及像素复制/转换操作的服务器GPU工作负载。只有主机GPU硬件和/或内核模式驱动器具有对来自客户机的工作负载进行负载平衡所需要的信息，并且只有管理程序软件可以正确地将客户机命令缓冲器传递到适当的GPU，以执行如显示输出或视频编码等特定任务。此外，存在导致主机GPU硬件资源未充分利用或过度承诺的不同活动条件。
附图说明
可以结合以下附图根据以下详细说明获得对本发明的更好理解，在附图中：
图1是具有处理器的计算机系统的实施例的框图，所述处理器具有一个或多个处理器核以及图形处理器；
图2是处理器的一个实施例的框图，所述处理器具有一个或多个处理器核、集成存储器控制器、以及集成图形处理器；
图3是图形处理器的一个实施例的框图，所述图形处理器可以是分立式图形处理单元、或者可以是集成有多个处理核的图形处理器；
图4是用于图形处理器的图形处理引擎的实施例的框图；
图5是图形处理器的另一实施例的框图；
图6是包括处理元件阵列的线程执行逻辑的框图；
图7展示了根据实施例的图形处理器执行单元指令格式；
图8是图形处理器的另一实施例的框图，所述图形处理器包括图形流水线、媒体流水线、显示引擎、线程执行逻辑、以及渲染输出流水线；
图9A是框图，展示了根据实施例的图形处理器命令格式；
图9B是框图，展示了根据实施例的图形处理器命令序列；
图10展示了根据实施例的数据处理系统的示例性图形软件架构；
图11展示了根据实施例的可以用于制造集成电路以执行操作的示例性IP核开发系统；
图12展示了根据实施例的可以使用一个或多个IP核来制造的示例性芯片上系统集成电路；
图13展示了可以使用一个或多个IP核来制造的芯片上系统集成电路的示例性图形处理器；
图14展示了可以使用一个或多个IP核来制造的芯片上系统集成电路的附加示例性图形处理器；
图15展示了其上可以实施本发明实施例的虚拟化图形处理系统；
图16展示了所述虚拟化图形处理系统的附加细节，包括用于对工作项进行排队的先入先出缓冲器；
图17展示了包含多个示例性元命令的FIFO缓冲器；
图18展示了一个实施例，其中，视频编码命令被动态地路由到指定GPU；并且
图19展示了一个实施例，其中，GPU显示命令被提交给特定GPU。
具体实施方式
在以下描述中，出于解释的目的，阐述了许多具体的细节以便提供对以下所述的本发明的实施例的透彻理解。然而，对于本领域技术人员而言，可以在不具有这些具体细节中的一些具体细节的情况下实践本发明的实施例将是明显的。在其他实例中，以框图的形式示出了公知的结构和装置以避免模糊本发明的实施例的基本原理。
示例性图形处理器架构和数据类型
系统概述
图1是根据实施例的处理系统100的框图。在各实施例中，系统100包括一个或多个处理器102以及一个或多个图形处理器108，并且可以是单处理器台式系统、多处理器工作站系统或具有大量处理器102或处理器核107的服务器系统。在一个实施例中，系统100是被并入用于在移动装置、手持式装置或嵌入式装置内使用的芯片上系统(SoC)集成电路内的处理平台。
系统100的实施例可以包括基于服务器的游戏平台、游戏控制台，或被并入基于服务器的游戏平台、游戏控制台内，该游戏控制台包括游戏与媒体控制台、移动游戏控制台、手持式游戏控制台、或在线游戏控制台。在一些实施例中，系统100是移动电话、智能电话、平板计算装置或移动互联网装置。数据处理系统100还可以包括可穿戴装置、与可穿戴装置耦合、或者集成在可穿戴装置中，该可穿戴装置诸如智能手表可穿戴装置、智能眼镜装置、增强现实装置、或虚拟现实装置。在一些实施例中，数据处理系统100是电视或机顶盒装置，该电视或机顶盒装置具有一个或多个处理器102以及由一个或多个图形处理器108生成的图形界面。
在一些实施例中，一个或多个处理器102各自包括用于处理指令的一个或多个处理器核107，这些指令在被执行时执行系统和用户软件的操作。在一些实施例中，一个或多个处理器核107中的每个处理器核被配置成用于处理特定的指令集109。在一些实施例中，指令集109可促进复杂指令集计算(CISC)、精简指令集计算(RISC)、或经由超长指令字(VLIW)的计算。多个处理器核107可各自处理不同的指令集109，该指令集109可包括用于促进对其他指令集进行仿真的指令。处理器核107还可包括其他处理装置，诸如，数字信号处理器(DSP)。
在一些实施例中，处理器102包括高速缓存存储器104。取决于架构，处理器102可以具有单个内部高速缓存或多个层级的内部高速缓存。在一些实施例中，在处理器102的各部件之间共享高速缓存存储器。在一些实施例中，处理器102还使用外部高速缓存(例如，第3级(L3)高速缓存或末级高速缓存(LLC))(未示出)，可使用已知的高速缓存一致性技术在处理器核107之间共享外部高速缓存。另外，寄存器堆106被包括在处理器102中，该处理器102可包括用于存储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器、以及指令指针寄存器)。一些寄存器可以是通用寄存器，而其他寄存器可特定于处理器102的设计。
在一些实施例中，处理器102与处理器总线110耦合，以在处理器102与系统100中的其他部件之间传输诸如地址、数据、或控制信号之类的通信信号。在一个实施例中，系统100使用示例性“中枢”系统架构，该示例性“中枢”系统架构包括存储器控制器中枢116和输入输出(I/O)控制器中枢130。存储器控制器中枢116促进存储器装置与系统100的其他部件之间的通信，而I/O控制器中枢(ICH)130提供经由本地I/O总线至I/O装置的连接。在一个实施例中，存储器控制器中枢116的逻辑被集成在处理器内。
存储器装置120可以是动态随机存取存储器(DRAM)装置、静态随机存取存储器(SRAM)装置、闪存装置、相变存储器装置、或具有合适的性能以充当进程存储器的某种其他存储器装置。在一个实施例中，存储器装置120可以作为系统100的系统存储器来进行操作，以存储数据122和指令121，以供在一个或多个处理器102执行应用或进程时使用。存储器控制器中枢116还与任选的外部图形处理器112耦合，该任选的外部图形处理器112可与处理器102中的一个或多个图形处理器108通信以执行图形和媒体操作。
在一些实施例中，ICH 130启用外围装置以经由高速I/O总线连接到存储器装置120和处理器102。I/O外围装置包括但不限于音频控制器146、固件接口128、无线收发机126(例如，Wi-Fi、蓝牙)、数据存储装置124(例如，硬盘驱动器、闪存等)以及用于将传统(legacy)(例如，个人系统2(PS/2))装置耦合至系统的传统I/O控制器。一个或多个通用串行总线(USB)控制器142连接输入装置，这些输入装置诸如键盘和鼠标144的组合。网络控制器134还可与ICH 130耦合。在一些实施例中，高性能网络控制器(未示出)与处理器总线110耦合。将会领会，所示的系统100是示例性的而非限制性的，因为也可使用以不同方式配置的其他类型的数据处理系统。例如，I/O控制器中枢130可被集成在一个或多个处理器102内，或者存储器控制器中枢116和I/O控制器中枢130可被集成到诸如外部图形处理器112之类的分立的外部图形处理器中。
图2是处理器200的实施例的框图，该处理器200具有一个或多个处理器核202A-202N、集成存储器控制器214、以及集成图形处理器208。图2的具有与本文中任何其他附图的元件相同的附图标记(或名称)的那些元件能以与在本文中其他地方描述的方式类似的任何方式进行操作或起作用，但不限于此。处理器200可包括附加核，这些附加核多达且包括由虚线框表示的附加核202N。处理器核202A-202N中的每一个都包括一个或多个内部高速缓存单元204A-204N。在一些实施例中，每个处理器核还可访问一个或多个共享高速缓存单元206。
内部高速缓存单元204A-204N和共享高速缓存单元206表示处理器200内的高速缓存存储器层级结构。高速缓存存储器层级结构可包括每个处理器核内的至少一个层级的指令和数据高速缓存、以及一个或多个层级的共享中级高速缓存，诸如，第2级(L2)、第3级(L3)、第4级(L4)、或其他层级的高速缓存，其中，在外部存储器之前的最高层级的高速缓存被分类为LLC。在一些实施例中，高速缓存一致性逻辑维持各高速缓存单元206与204A-204N之间的一致性。
在一些实施例中，处理器200还可包括一组一个或多个总线控制器单元216和系统代理核210。一个或多个总线控制器单元216管理一组外围总线，诸如，一个或多个外围部件互连总线(例如，PCI、PCI快速)。系统代理核210提供对各处理器部件的管理功能。在一些实施例中，系统代理核210包括一个或多个集成存储器控制器214，以管理对各外部存储器装置(未示出)的访问。
在一些实施例中，处理器核202A-202N中的一个或多个包括对同步多线程的支持。在此类实施例中，系统代理核210包括用于在多线程处理期间对核202A-202N进行协调和操作的部件。系统代理核210可附加地包括功率控制单元(PCU)，该功率控制单元包括用于调节处理器核202A-202N以及图形处理器208的功率状态的逻辑和部件。
在一些实施例中，处理器200附加地包括用于执行图形处理操作的图形处理器208。在一些实施例中，图形处理器208与共享高速缓存单元的集合206以及系统代理核210耦合，该系统代理核210包括一个或多个集成存储器控制器214。在一些实施例中，显示控制器211与图形处理器208耦合，以将图形处理器输出驱动到一个或多个耦合的显示器。在一些实施例中，显示控制器211可以是经由至少一个互连与图形处理器耦合的分开的模块，或者可被集成在图形处理器208或系统代理核210内。
在一些实施例中，基于环的互连单元212用于耦合处理器200的内部部件。然而，可使用替代的互连单元，诸如，点对点互连、切换式互连、或其他技术，包括本领域公知的技术。在一些实施例中，图形处理器208经由I/O链路213与环形互连212耦合。
示例性I/O链路213表示各种各样的I/O互连中的至少一者，包括促进各处理器部件与高性能嵌入式存储器模块218(诸如，eDRAM模块)之间的通信的封装上I/O互连。在一些实施例中，处理器核202A-202N中的每个处理器核以及图形处理器208将嵌入式存储器模块218用作共享末级高速缓存。
在一些实施例中，处理器核202A-202N是执行同一指令集架构的同构核。在另一实施例中，处理器核202A-202N就指令集架构(ISA)而言是异构的，其中，处理器核202A-202N中的一者或多者执行第一指令集，而其他核中的至少一者执行第一指令集的子集或不同的指令集。在一个实施例中，处理器核202A-202N就微架构而言是同质的，其中，具有相对较高功耗的一个或多个核与具有较低功耗的一个或多个功率核耦合。另外，处理器200可被实现在一个或多个芯片上或者被实现为除其他部件之外还具有所图示的部件的SoC集成电路。
图3是图形处理器300的框图，该图形处理器300可以是分立的图形处理单元、或者可以是与多个处理核集成的图形处理器。在一些实施例中，图形处理器经由至图形处理器上的寄存器的存储器映射的I/O接口并且利用被置入处理器存储器中的命令进行通信。在一些实施例中，图形处理器300包括用于访问存储器的存储器接口314。存储器接口314可以是到本地存储器、一个或多个内部高速缓存、一个或多个共享外部高速缓存、和/或到系统存储器的接口。
在一些实施例中，图形处理器300还包括用于将显示输出数据驱动到显示装置320的显示控制器302。显示控制器302包括用于显示器的一个或多个重叠平面以及视频或用户接口元件的多个层的组合的硬件。在一些实施例中，图形处理器300包括视频编解码器引擎306，以将媒体编码、解码或转码为一种或多种媒体编码格式，从一种或多种媒体编码格式编码、解码或转码媒体，或在一种或多种媒体编码格式之间进行对媒体进行编码、解码或转码，这些媒体编码格式包括但不限于：运动图像专家组(MPEG)格式(诸如，MPEG-2)、高级视频译码(AVC)格式(诸如，H.264/MPEG-4AVC)、以及电影&电视工程师协会(SMPTE)421M/VC-1、和联合图像专家组(JPEG)格式(诸如，JPEG、以及运动JPEG(MJPEG)格式)。
在一些实施例中，图形处理器300包括用于执行包括例如位边界块传递的二维(2D)光栅化器操作的块图像传递(BLIT)引擎304。然而，在一个实施例中，使用图形处理引擎(GPE)310的一个或多个部件执行2D图形操作。在一些实施例中，GPE 310是用于执行图形操作的计算引擎，这些图形操作包括三维(3D)图形操作和媒体操作。
在一些实施例中，GPE 310包括用于执行3D操作的3D流水线312，3D操作诸如，使用作用于3D图元形状(例如，矩形、三角形等)的处理功能来渲染三维图像和场景。3D流水线312包括可编程的固定功能元件，这些可编程的固定功能元件执行元件内的各种任务和/或将执行线程生成(spawn)至3D/媒体子系统315。虽然3D流水线312可以用于执行媒体操作，但是GPE 310的实施例还包括专门用于执行诸如视频后处理和图像增强之类的媒体操作的媒体流水线316。
在一些实施例中，媒体流水线316包括固定功能或可编程逻辑单元以便代替、或代表视频编解码器引擎306来执行一种或多种专业的媒体操作，诸如，视频解码加速、视频解交织、以及视频编码加速。在一些实施例中，媒体流水线316附加地包括用于生成供在3D/媒体子系统315上执行的线程的线程生成单元。所生成的线程对3D/媒体子系统315中所包括的一个或多个图形执行单元执行对媒体操作的计算。
在一些实施例中，3D/媒体子系统315包括用于执行由3D流水线312和媒体流水线316生成的线程的逻辑。在一个实施例中，流水线向3D/媒体子系统315发送线程执行请求，该3D/媒体子系统包括用于仲裁并将各请求分派到可用的线程执行资源的线程分派逻辑。执行资源包括用于处理3D和媒体线程的图形执行单元阵列。在一些实施例中，3D/媒体子系统315包括用于线程指令和数据的一个或多个内部高速缓存。在一些实施例中，子系统还包括用于在线程之间共享数据并用于存储输出数据的共享存储器，包括寄存器和可寻址存储器。
图形处理引擎
图4是根据一些实施例的图形处理器的图形处理引擎410的框图。在一个实施例中，图形处理引擎(GPE)410是图3中示出的GPE 310的某个版本。图4的具有与本文中任何其他附图的元件相同的附图标记(或名称)的元件能以类似于本文中其他地方所描述的任何方式进行操作或起作用，但不限于此。例如，图示出图3的3D流水线312和媒体流水线316。媒体流水线316在GPE 410的一些实施例中是可选的，并且可以不显式地被包括在GPE 410内。例如并且在至少一个实施例中，分开的媒体和/或图像处理器耦合至GPE 410。
在一些实施例中，GPE 410与命令流转化器(command streamer)403耦合或包括命令流转化器403，该命令流转化器403将命令流提供给3D流水线312和/或媒体流水线316。在一些实施例中，命令流转化器403与存储器耦合，该存储器可以是系统存储器、或者内部高速缓存存储器和共享高速缓存存储器中的一个或多个。在一些实施例中，命令流转化器403从存储器接收命令，并且将这些命令发送至3D流水线312和/或媒体流水线316。这些命令是从环形缓冲器取出的指示，该环形缓冲器存储用于3D流水线312和媒体流水线316的命令。在一个实施例中，环形缓冲器可以附加地包括存储多批多个命令的批命令缓冲器。用于3D流水线312的命令还可以包括对存储在存储器中的数据的引用，这些数据诸如但不限于用于3D流水线312的顶点和几何数据和/或用于媒体流水线316的图像数据和存储器对象。3D流水线312和媒体流水线316通过以下方式来处理命令和数据：经由相应流水线内的逻辑来执行操作；或将一个或多个执行线程分派到图形核阵列414。
在各实施例中，3D流水线312可以通过处理指令并将执行线程分派到图形核阵列414来执行一个或多个着色器程序，这一个或多个着色器程序诸如顶点着色器、几何着色器、像素着色器、片段着色器、计算着色器或其他着色器程序。图形核阵列414提供统一的执行资源块。图形核阵列414内的多用途执行逻辑(例如，执行单元)包括对各种3D API着色器语言的支持，并且可以执行与多个着色器相关联的多个同时执行线程。
在一些实施例中，图形核阵列414还包括用于执行媒体功能(诸如，视频和/或图像处理)的执行逻辑。在一个实施例中，除了图形处理操作之外，执行单元附加地包括可编程以执行并行的通用计算操作的通用逻辑。通用逻辑可以与图1的(多个)处理器核107或如图2中的核202A-202N内的通用逻辑并行地或相结合地执行处理操作。
由在图形核阵列414上执行的线程生成的输出数据可以将数据输出到统一返回缓冲器(URB)418中的存储器。URB 418可以存储用于多个线程的数据。在一些实施例中，URB418可用于在图形核阵列414上执行的不同线程之间发送数据。在一些实施例中，URB 418可附加地用于图形核阵列上的线程与共享功能逻辑420内的固定功能逻辑之间的同步。
在一些实施例中，图形核阵列414是可缩放的，使得该阵列包括可变数量的图形核，每个图形核具有基于GPE 410的目标功率和性能水平的可变数量的执行单元。在一个实施例中，执行资源是动态可缩放的，使得可以根据需要启用或禁用执行资源。
图形核阵列414与共享功能逻辑420耦合，该共享功能逻辑420包括在图形核阵列中的图形核之间共享的多个资源。共享功能逻辑420内的这些共享功能是向图形核阵列414提供专用补充功能的硬件逻辑单元。在各实施例中，共享功能逻辑420包括但不限于采样器421、数学422和线程间通信(ITC)423逻辑。另外，一些实施例在共享功能逻辑420内实现一个或多个高速缓存425。在对给定的专用功能的需求不足以包括在图形核阵列414内的情况下实现共享功能。相反，该专用功能的单个实例化被实现为共享功能逻辑420中的独立实体，并且在图形核阵列414内的执行资源之间共享。在图形核阵列414之间被共享并且被包括在图形核阵列414内的确切的功能集在实施例之间有所不同。
图5是图形处理器500的另一实施例的框图。图5的具有与本文中的任何其他附图的元件相同的附图标记(或名称)的元件能以与在本文中其他地方描述的方式类似的任何方式进行操作或起作用，但不限于此。
在一些实施例中，图形处理器500包括环形互连502、流水线前端504、媒体引擎537和图形核580A-580N。在一些实施例中，环形互连502将图形处理器耦合至其他处理单元，其他处理单元包括其他图形处理器或者一个或多个通用处理器核。在一些实施例中，图形处理器是集成在多核处理系统内的许多处理器中的一个。
在一些实施例中，图形处理器500经由环形互连502接收多批命令。传入的命令由流水线前端504中的命令流转化器503解释。在一些实施例中，图形处理器500包括用于经由(多个)图形核580A-580N来执行3D几何处理和媒体处理的可缩放执行逻辑。对于3D几何处理命令，命令流转化器503将命令供应至几何流水线536。对于至少一些媒体处理命令，命令流转化器503将命令供应至视频前端534，该视频前端534与媒体引擎537耦合。在一些实施例中，媒体引擎537包括用于视频和图像后处理的视频质量引擎(VQE)530以及用于提供硬件加速的媒体数据编码和解码的多格式编码/解码(MFX)533引擎。在一些实施例中，几何流水线536和媒体引擎537各自生成用于由至少一个图形核580A提供的线程执行资源的执行线程。
在一些实施例中，图形处理器500包括可缩放线程执行资源，这些可缩放线程执行资源以模块化核580A-580N(有时称为核片(core slice))为特征，这些模块化核各自具有多个子核550A-550N、560A-560N(有时称为核子片(core sub-slice))。在一些实施例中，图形处理器500可具有任何数量的图形核580A至580N。在一些实施例中，图形处理器500包括图形核580A，该图形核580A至少具有第一子核550A和第二子核560A。在其他实施例中，图形处理器是具有单个子核(例如，550A)的低功率处理器。在一些实施例中，图形处理器500包括多个图形核580A-580N，每一个图形核都包括第一子核550A-550N的集合以及第二子核560A-560N的集合。第一子核550A-550N的集合中的每个子核至少包括执行单元552A-552N和媒体/纹理采样器554A-554N的第一集合。第二子核560A-560N的集合中的每一个子核至少包括执行单元562A-562N和采样器564A-564N的第二集合。在一些实施例中，每个子核550A-550N、560A-560N共享共享资源570A-570N的集合。在一些实施例中，共享资源包括共享高速缓存存储器和像素操作逻辑。其他共享资源也可被包括在图形处理器的各实施例中。
执行单元
图6图示出线程执行逻辑600，该线程执行逻辑600包括在GPE的一些实施例中采用的处理元件的阵列。图6的具有与本文中任何其他附图的元件相同的附图标记(或名称)的元件能以类似于本文中其他地方所描述的任何方式进行操作或起作用，但不限于此。
在一些实施例中，线程执行逻辑600包括着色器处理器602、线程分派器604、指令高速缓存606、包括多个执行单元608A-608N的可缩放执行单元阵列、采样器610、数据高速缓存612和数据端口614。在一个实施例中，可缩放执行单元阵列可以通过基于工作负荷的计算要求启用或禁用一个或多个执行单元(例如，执行单元608A、608B、608C、608D至608N-1和608N中的任何执行单元)来动态地缩放。在一个实施例中，所包括的部件经由互连结构被互连，该互连结构链接至这些部件中的每个部件。在一些实施例中，线程执行逻辑600包括通过指令高速缓存606、数据端口614、采样器610和执行单元608A-608N中的一者或多者而至存储器的一个或多个连接，该存储器诸如系统存储器或高速缓存存储器。在一些实施例中，每个执行单元(例如，608A)是独立式可编程通用计算单元，该独立式可编程通用计算单元能够执行多个同时的硬件线程，同时并行地为每个线程处理多个数据元素。在各实施例中，执行单元608A-608N的阵列是可缩放的以包括任何数量的单独的执行单元。
在一些实施例中，执行单元608A-608N主要用于执行着色器程序。着色器处理器602可以处理各种着色器程序，并且可以经由线程分派604来分派与着色器程序相关联的执行线程。在一个实施例中，线程分派器包括用于仲裁来自图形和媒体流水线的线程发起请求并在执行单元608A-608N中的一个或多个执行单元上实例化所请求的线程的逻辑。例如，几何流水线(例如，图5的536)可以将顶点着色器、曲面细分(tessellation)着色器或几何着色器分派给线程执行逻辑600(图6)以进行处理。在一些实施例中，线程分派器604还可以处理来自执行的着色器程序的运行时线程生成请求。
在一些实施例中，执行单元608A-608N支持包括对许多标准3D图形着色器指令的原生支持的指令集，使得以最少的转换来执行来自图形库(例如，Direct 3D和OpenGL)的着色器程序。执行单元支持顶点和几何处理(例如，顶点程序、几何程序、顶点着色器)、像素处理(例如，像素着色器、片段着色器)和通用处理(例如，计算和媒体着色器)。执行单元608A-608N中的每个执行单元能够进行多发布单指令多数据(SIMD)执行，并且多线程操作在面对更高等待时间的存储器访问时启用高效的执行环境。每个执行单元内的每个硬件线程具有专用的高带宽寄存器堆和相关联的独立线程状态。执行是对能够进行整数、单精度和双精度浮点运算、SIMD分支能力、逻辑运算、超越运算和其他杂项操作的流水线的每时钟的多发布。在等待来自存储器或共享功能中的一个共享功能的数据时，执行单元608A-608N内的依赖性逻辑使等待线程休眠，直到已返回所请求的数据。当等待线程处于休眠时，硬件资源可致力于处理其他线程。例如，在与顶点着色器操作相关联的延迟期间，执行单元可以执行用于像素着色器、片段着色器或另一类型的着色器程序(包括不同的顶点着色器)的操作。
执行单元608A-608N中的每个执行单元对数据元素阵列进行操作。数据元素的数量是“执行大小”、或指令的通道数量。执行通道是执行数据元素访问、掩码、和指令内的流控制的逻辑单元。通道的数量可与针对特定的图形处理器的物理算术逻辑单元(ALU)或浮点单元(FPU)的数量无关。在一些实施例中，执行单元608A-608N支持整数和浮点数据类型。
执行单元指令集包括SIMD指令。各种数据元素可作为紧缩数据类型存储在寄存器中，并且执行单元将基于元素的数据大小来处理各种元素。例如，当对256位宽的向量进行操作时，该256位的向量被存储在寄存器中，并且执行单元作为四个单独的64位紧缩数据元素(四字(QW)大小的数据元素)、八个单独的32位紧缩数据元素(双字(DW)大小的数据元素)、十六个单独的16位紧缩数据元素(字(W)大小的数据元素)、或三十二个单独的8位数据元素(字节(B)大小的数据元素)对向量进行操作。然而，不同的向量宽度和寄存器大小是可能的。
一个或多个内部指令高速缓存(例如，606)被包括在线程执行逻辑600中，以对用于执行单元的线程指令进行高速缓存。在一些实施例中，一个或多个数据高速缓存(例如，612)被包括，以对在线程执行期间的线程数据进行高速缓存。在一些实施例中，采样器610被包括，从而为3D操作提供纹理采样并且为媒体操作提供媒体采样。在一些实施例中，采样器610包括专业的纹理或媒体采样功能，以在向执行单元提供所采样的数据之前在采样过程中处理纹理或媒体数据。
在执行期间，图形和媒体流水线经由线程生成和分派逻辑向线程执行逻辑600发送线程发起请求。一旦一组几何对象已经被处理并被光栅化成像素数据，着色器处理器602内的像素处理器逻辑(例如，像素着色逻辑、片段着色器逻辑等)就被调用，以进一步计算输出信息并且使得结果被写入到输出表面(例如，颜色缓冲器、深度缓冲器、模板印刷(stencil)缓冲器等)。在一些实施例中，像素着色器或片段着色器计算各顶点属性的值，各顶点属性的这些值将跨光栅化的对象被内插。在一些实施例中，着色器处理器602内的像素处理器逻辑随后执行应用编程接口(API)供应的像素或片段着色器程序。为了执行着色器程序，着色器处理器602经由线程分派器604将线程分派至执行单元(例如，608A)。在一些实施例中，像素着色器602使用采样器610中的纹理采样逻辑来访问存储器中所存储的纹理图中的纹理数据。对纹理数据和输入几何数据的算术运算计算每个几何片段的像素颜色数据，或丢弃一个或多个像素而不进行进一步处理。
在一些实施例中，数据端口614提供存储器访问机制，以供线程执行逻辑600将经处理的数据输出至存储器以便在图形处理器输出流水线上进行处理。在一些实施例中，数据端口614包括或耦合至一个或多个高速缓存存储器(例如，数据高速缓存612)，从而对用于经由数据端口进行的存储器访问的数据进行高速缓存。
图7是图示出根据一些实施例的图形处理器指令格式700的框图。在一个或多个实施例中，图形处理器执行单元支持具有以多种格式的指令的指令集。实线框图示出一般被包括在执行单元指令中的组成部分，而虚线包括任选的或仅被包括在指令子集中的组成部分。在一些实施例中，所描述和图示的指令格式700是宏指令，因为它们是供应至执行单元的指令，这与从一旦指令被处理就进行的指令解码产生的微操作相对照。
在一些实施例中，图形处理器执行单元原生地支持采用128位指令格式710的指令。64位紧凑指令格式730可用于基于所选择的指令、多个指令选项和操作数数量的一些指令。原生的128位指令格式710提供对所有指令选项的访问，而一些选项和操作在64位指令格式730中受限。64位指令格式730中可用的原生指令根据实施例而不同。在一些实施例中，使用索引字段713中的一组索引值将指令部分地压缩。执行单元硬件基于索引值来引用一组压缩表，并使用压缩表输出来重构采用128位指令格式710的原生指令。
针对每种格式，指令操作码712限定执行单元要执行的操作。执行单元跨每个操作数的多个数据元素并行地执行每条指令。例如，响应于添加指令，执行单元跨标识纹理元素或图片元素的每个颜色通道执行同步添加操作。默认地，执行单元跨操作数的所有数据通道执行每条指令。在一些实施例中，指令控制字段714实现对某些执行选项的控制，这些执行选项诸如通道选择(例如，断言)以及数据通道排序(例如，混合)。针对采用128位指令格式710的指令，执行大小字段716限制了将并行地执行的数据通道的数量。在一些实施例中，执行大小字段716不可用于64位紧凑指令格式730。
一些执行单元指令具有多达三个操作数，包括两个源操作数src0 720、src1 722和一个目的地718。在一些实施例中，执行单元支持双目的地指令，其中这些目的地中的一个是隐式的。数据操纵指令可以具有第三源操作数(例如，SRC2 724)，其中，指令操作码712确定源操作数的数量。指令的最后的源操作数可以是利用该指令传递的立即数(例如，硬编码的)值。
在一些实施例中，128位指令格式710包括访问/地址模式字段726，该访问/地址模式字段726指定例如是使用直接寄存器寻址模式还是间接寄存器寻址模式。当使用直接寄存器寻址模式时，由指令中的位直接提供一个或多个操作数的寄存器地址。
在一些实施例中，128位指令格式710包括访问/地址模式字段726，该访问/地址模式字段726指定针对指令的地址模式和/或访问模式。在一个实施例中，访问模式用于限定针对指令的数据访问对齐。一些实施例支持包括16字节对齐访问模式和1字节对齐访问模式的访问模式，其中，访问模式的字节对齐确定指令操作数的访问对齐。例如，当处于第一模式时，指令可将字节对齐的寻址用于源操作数和目的地操作数，并且当处于第二模式时，指令可将16字节对齐的寻址用于所有的源操作数和目的地操作数。
在一个实施例中，访问/地址模式字段726的地址模式部分确定指令要使用直接寻址还是间接寻址。当使用直接寄存器寻址模式时，指令中的位直接提供一个或多个操作数的寄存器地址。当使用间接寄存器寻址模式时，可基于指令中的地址寄存器值和地址立即数字段来计算一个或多个操作数的寄存器地址。
在一些实施例中，基于操作码712的位字段对指令进行分组从而简化操作码解码740。针对8位的操作码，位4、5、和6允许执行单元确定操作码的类型。所示出的确切的操作码分组仅为示例。在一些实施例中，移动和逻辑操作码组742包括数据移动和逻辑指令(例如，移动(mov)、比较(cmp))。在一些实施例中，移动和逻辑组742共享五个最高有效位(MSB)，其中移动(mov)指令采用0000xxxxb的形式，并且逻辑指令采用0001xxxxb的形式。流控制指令组744(例如，调用(call)、跳转(jmp))包括采用0010xxxxb形式(例如，0x20)的指令。混杂指令组746包括指令的混合，包括采用0011xxxxb形式(例如，0x30)的同步指令(例如，等待(wait)、发送(send))。并行数学指令组748包括采用0100xxxxb形式(例如，0x40)的按分量的算术指令(例如，加(add)、乘(mul))。并行数学组748跨数据通道并行地执行算术运算。向量数学组750包括采用0101xxxxb形式(例如，0x50)的算术指令(例如，dp4)。向量数学组对向量操作数执行算术运算，诸如，点积计算。
图形流水线
图8是图形处理器800的另一实施例的框图。图8的具有与本文中任何其他附图中的元件相同的附图标记(或名称)的元件能以与在本文中其他地方描述的方式类似的任何方式进行操作或起作用，但不限于此。
在一些实施例中，图形处理器800包括图形流水线820、媒体流水线830、显示引擎840、线程执行逻辑850、以及渲染输出流水线870。在一些实施例中，图形处理器800是包括一个或多个通用处理核的多核处理系统内的图形处理器。图形处理器通过至一个或多个控制寄存器(未示出)的寄存器写入或者经由通过环形互连802发布至图形处理器800的命令而受控。在一些实施例中，环形互连802将图形处理器800耦合至其他处理部件，其他处理部件诸如其他图形处理器或通用处理器。来自环形互连802的命令由命令流转化器803解译，该命令流转化器803将指令供应至图形流水线820或媒体流水线830的单独部件。
在一些实施例中，命令流转化器803引导顶点获取器805的操作，该顶点获取器805从存储器读取顶点数据并执行由命令流转化器803提供的顶点处理命令。在一些实施例中，顶点获取器805将顶点数据提供给顶点着色器807，该顶点着色器807对每个顶点执行坐标空间变换和照明操作。在一些实施例中，顶点获取器805和顶点着色器807通过经由线程分派器831向执行单元852A、852B分派执行线程来执行顶点处理指令。
在一些实施例中，执行单元852A-852B是具有用于执行图形和媒体操作的指令集的向量处理器阵列。在一些实施例中，执行单元852A、852B具有专用于每个阵列或在多个阵列之间被共享的附加的L1高速缓存851。高速缓存可以被配置为数据高速缓存、指令高速缓存、或被分区以不同分区中包含数据和指令的单个高速缓存。
在一些实施例中，图形流水线820包括用于执行3D对象的硬件加速的曲面细分的曲面细分部件。在一些实施例中，可编程的外壳着色器811配置曲面细分操作。可编程域着色器817提供对曲面细分输出的后端评估。曲面细分器813在外壳着色器811的指示下进行操作，并且包含专用逻辑，该专用逻辑用于基于作为输入被提供至图形流水线820的粗糙的几何模型来生成详细的几何对象的集合。在一些实施例中，如果未使用曲面细分，则可以绕过曲面细分部件(例如，外壳着色器811、曲面细分器813、以及域着色器817)。
在一些实施例中，完整的几何对象可以由几何着色器819经由被分派至所述执行单元852A-852B的一个或多个线程来处理、或者可以直接行进至剪辑器829。在一些实施例中，几何着色器对整个几何对象进行操作，而不是如在图形流水线的先前级中那样对顶点或顶点补片(patch))进行操作。如果禁用曲面细分，则几何着色器819从顶点着色器807接收输入。在一些实施例中，几何着色器819是可由几何着色器程序编程的，以便在曲面细分单元被禁用时执行几何曲面细分。
在光栅化之前，剪辑器829处理顶点数据。剪辑器829可以是固定功能剪辑器或者具有剪辑和几何着色器功能的可编程剪辑器。在一些实施例中，渲染输出流水线870中的光栅化器和深度测试部件873分派像素着色器，以将几何对象转换为它们的每像素表示。在一些实施例中，像素着色器逻辑被包括在线程执行逻辑850中。在一些实施例中，应用可绕过光栅化器和深度测试部件873，并且经由流出单元823访问未光栅化的顶点数据。
图形处理器800具有允许数据和消息在处理器的主要部件之间传递的互连总线、互连结构或某个其他互连机制。在一些实施例中，执行单元852A-852B和(多个)相关联的高速缓存851、纹理和媒体采样器854、以及纹理/采样器高速缓存858经由数据端口856进行互连，以执行存储器访问并且与处理器的渲染输出流水线部件进行通信。在一些实施例中，采样器854、高速缓存851、858以及执行单元852A-852B各自都具有单独的存储器访问路径。
在一些实施例中，渲染输出流水线870包含光栅化器和深度测试部件873，该光栅化器和深度测试部件873将基于顶点的对象转换为相关联的基于像素的表示。在一些实施例中，光栅化器逻辑包括用于执行固定功能三角形和线光栅化的窗口器/掩蔽器单元。相关联的渲染高速缓存878和深度高速缓存879在一些实施例中也是可用的。像素操作部件877对数据执行基于像素的操作，然而在一些实例中，与2D操作(例如，利用混合的位块图像传递)相关联的像素操作由2D引擎841执行，或者在显示时间由显示控制器843使用重叠显示平面来代替。在一些实施例中，共享L3高速缓存875可用于所有的图形部件，从而允许在无需使用主系统存储器的情况下共享数据。
在一些实施例中，图形处理器媒体流水线830包括媒体引擎837和视频前端834。在一些实施例中，视频前端834从命令流转化器803接收流水线命令。在一些实施例中，媒体流水线830包括单独的命令流转化器。在一些实施例中，视频前端834在将命令发送至媒体引擎837之前处理媒体命令。在一些实施例中，媒体引擎837包括用于生成线程以用于经由线程分派器831分派至线程执行逻辑850的线程生成功能。
在一些实施例中，图形处理器800包括显示引擎840。在一些实施例中，显示引擎840在处理器800外部，并且经由环形互连802、或某个其他互连总线或结构与图形处理器耦合。在一些实施例中，显示引擎840包括2D引擎841和显示控制器843。在一些实施例中，显示引擎840包含能够独立于3D流水线而操作的专用逻辑。在一些实施例中，显示控制器843与显示装置(未示出)耦合，该显示装置可以是系统集成的显示装置(如在膝上型计算机中)、或者经由显示装置连接器附接的外部显示装置。
在一些实施例中，图形流水线820和媒体流水线830可被配置成用于基于多个图形和媒体编程接口执行操作，并且并非专用于任何一种应用编程接口(API)。在一些实施例中，图形处理器的驱动器软件将专用于特定图形或媒体库的API调用转换为可由图形处理器处理的命令。在一些实施例中，为开放图形库(OpenGL)、开放计算语言(OpenCL)和/或Vulkan图形和计算API(所有这些来自科纳斯组织(Khronos Group))提供支持。在一些实施例中，还可为来自微软公司的Direct3D库提供支持。在一些实施例中，可支持这些库的组合。还可为开源计算机视觉库(OpenCV)提供支持。如果可做出从未来API的流水线到图形处理器的流水线的映射，则具有兼容的3D流水线的未来API也将受到支持。
图形流水线编程
图9A是图示出根据一些实施例的图形处理器命令格式900的框图。图9B是图示出根据实施例的图形处理器命令序列910的框图。图9A中的实线框图示出一般被包括在图形命令中的组成成分，而虚线包括任选的或者仅被包括在图形命令的子集中的组成部分。图9A的示例性图形处理器命令格式900包括用于标识命令的目标客户端902、命令操作代码(操作码)904、以及用于命令的有关数据906的数据字段。一些命令中还包括子操作码905和命令大小908。
在一些实施例中，客户端902指定处理命令数据的图形装置的客户端单元。在一些实施例中，图形处理器命令解析器检查每个命令的客户端字段，以调整对命令的进一步处理，并将命令数据路由至合适的客户端单元。在一些实施例中，图形处理器客户端单元包括存储器接口单元、渲染单元、2D单元、3D单元、和媒体单元。每个客户端单元具有对命令进行处理的相应的处理流水线。一旦命令被客户端单元接收到，客户端单元就读取操作码904以及子操作码905(如果存在)，从而确定要执行的操作。客户端单元使用数据字段906中的信息来执行命令。针对一些命令，期望显式的命令大小908来指定命令的大小。在一些实施例中，命令解析器基于命令操作码自动地确定命令中的至少一些命令的大小。在一些实施例中，经由双字的倍数使命令对齐。
图9B中的流程图示出了示例性图形处理器命令序列910。在一些实施例中，以图形处理器的实施例为特征的数据处理系统的软件或固件使用所示出的命令序列的版本来启动、执行并终止图形操作集合。仅出于示例性目的示出并描述了样本命令序列，因为实施例并不限于这些特定命令，也不限于此命令序列。而且，所述命令可以作为批量命令以命令序列被发布，以使得图形处理器将以至少部分同时的方式处理命令序列。
在一些实施例中，图形处理器命令序列910可开始于：流水线转储清除命令912，以使得任一活跃的图形流水线完成该流水线的当前未决的命令。在一些实施例中，3D流水线922和媒体流水线924不同时进行操作。执行流水线转储清除，以使得活跃的图形流水线完成任何未决的命令。响应于流水线转储清除，用于图形处理器的命令解析器将暂停命令处理，直到活跃的绘图引擎完成未决的操作并且相关的读高速缓存被无效。任选地，渲染高速缓存中被标记为‘脏’的任何数据可以被转储清除到存储器。在一些实施例中，流水线转储清除命令912可以用于流水线同步或者用在将图形处理器置于低功率状态之前。
在一些实施例中，当命令序列需要图形处理器在流水线之间显式地切换时，使用流水线选择命令913。在一些实施例中，除非上下文是发布用于这两条流水线的命令，否则在发布流水线命令之前，在执行上下文中仅需要一次流水线选择命令913。在一些实施例中，在经由流水线选择命令913的流水线切换之前正好需要流水线转储清除命令912。
在一些实施例中，流水线控制命令914配置用于操作的图形流水线，并且用于对3D流水线922和媒体流水线924进行编程。在一些实施例中，流水线控制命令914配置用于活跃流水线的流水线状态。在一个实施例中，流水线控制命令914用于流水线同步，并且用于在处理批量命令之前清除来自活跃的流水线内的一个或多个高速缓存存储器的数据。
在一些实施例中，用于返回缓冲器状态916的命令用于配置返回缓冲器的集合以供相应的流水线写入数据。一些流水线操作需要分配、选择、或配置一个或多个返回缓冲器，在处理期间，所述操作将中间数据写入到该一个或多个返回缓冲器中。在一些实施例中，图形处理器还使用一个或多个返回缓冲器以存储输出数据并且执行跨线程通信。在一些实施例中，配置返回缓冲器状态916包括选择用于流水线操作集合的返回缓冲器的大小和数量。
命令序列中的剩余命令基于用于操作的活跃的流水线而不同。基于流水线判定920，命令序列被定制用于以3D流水线状态930开始的3D流水线922、或者开始于媒体流水线状态940的媒体流水线924。
用于配置3D流水线状态930的命令包括用于顶点缓冲器状态、顶点元素状态、常量颜色状态、深度缓冲器状态、以及有待在处理3D图元命令之前配置的其他状态变量的3D状态设置命令。这些命令的值至少部分地基于使用中的特定3D API来确定。在一些实施例中，如果将不使用某些流水线元件，则3D流水线状态930命令还能够选择性地禁用或绕过这些特定的流水线元件。
在一些实施例中，3D图元932命令用于提交待由3D流水线处理的3D图元。经由3D图元932命令传递给图形处理器的命令和相关联参数将被转发到图形流水线中的顶点获取功能。顶点获取功能使用3D图元932命令数据来生成顶点数据结构。顶点数据结构被存储在一个或多个返回缓冲器中。在一些实施例中，3D图元932命令用于经由顶点着色器对3D图元执行顶点操作。为了处理顶点着色器，3D流水线922将着色器执行线程分派至图形处理器执行单元。
在一些实施例中，经由执行934命令或事件来触发3D流水线922。在一些实施例中，寄存器写入触发命令执行。在一些实施例中，经由命令序列中的‘前进’(‘go’)或‘踢除’(‘kick’)命令来触发执行。在一个实施例中，使用流水线同步命令来触发命令执行，以对通过图形流水线的命令序列进行转储清除。3D流水线将针对3D图元来执行几何处理。一旦完成操作，则对所得到的几何对象进行光栅化，并且像素引擎对所得到的像素进行着色。对于那些操作，还可以包括用于控制像素着色和像素后端操作的附加命令。
在一些实施例中，当执行媒体操作时，图形处理器命令序列910跟随媒体流水线924路径。一般地，针对媒体流水线924进行编程的具体用途和方式取决于待执行的媒体或计算操作。在媒体解码期间，特定的媒体解码操作可被卸载到媒体流水线。在一些实施例中，还可绕过媒体流水线，并且可使用由一个或多个通用处理核提供的资源来整体地或部分地执行媒体解码。在一个实施例中，媒体流水线还包括用于通用图形处理器单元(GPGPU)操作的元件，其中，图形处理器用于使用计算着色器程序来执行SIMD向量运算，该计算着色器程序与渲染图形图元不是显式地相关的。
在一些实施例中，以与3D流水线922相似的方式对媒体流水线924进行配置。将用于配置媒体流水线状态940的一组命令分派或放置到命令队列中，在媒体对象命令942之前。在一些实施例中，用于媒体流水线状态940的命令包括用于配置媒体流水线元件的数据，这些媒体流水线元件将用于处理媒体对象。这包括用于在媒体流水线内配置视频解码和视频编码逻辑的数据，诸如，编码或解码格式。在一些实施例中，用于媒体流水线状态940的命令还支持将一个或多个指针用于包含批量的状态设置的“间接”状态元件。
在一些实施例中，媒体对象命令942将指针供应至媒体对象以用于由媒体流水线进行处理。媒体对象包括存储器缓冲器，该存储器缓冲器包含待处理的视频数据。在一些实施例中，在发布媒体对象命令942之前，所有的媒体流水线状态必须是有效的。一旦流水线状态被配置并且媒体对象命令942被排队，则经由执行944命令或等效的执行事件(例如，寄存器写入)来触发媒体流水线924。随后可通过由3D流水线922或媒体流水线924提供的操作对来自媒体流水线924的输出进行后处理。在一些实施例中，以与媒体操作类似的方式来配置和执行GPGPU操作。
图形软件架构
图10图示出根据一些实施例的用于数据处理系统1000的示例性图形软件架构。在一些实施例中，软件架构包括3D图形应用1010、操作系统1020、以及至少一个处理器1030。在一些实施例中，处理器1030包括图形处理器1032以及一个或多个通用处理器核1034。图形应用1010和操作系统1020各自在数据处理系统的系统存储器1050中执行。
在一些实施例中，3D图形应用1010包含一个或多个着色器程序，该一个或多个着色器程序包括着色器指令1012。着色器语言指令可以采用高级着色器语言，诸如，高级着色器语言(HLSL)或OpenGL着色器语言(GLSL)。应用还包括可执行指令1014，该可执行指令1014采用适合用于由通用处理器核1034执行的机器语言。应用还包括由顶点数据限定的图形对象1016。
在一些实施例中，操作系统1020是来自微软公司的 操作系统、专用类UNIX操作系统、或使用Linux内核的变体的开源类UNIX操作系统。操作系统1020可以支持图形API 1022，诸如，Direct3D API、OpenGL API或Vulkan API。当Direct3DAPI正在使用时，操作系统1020使用前端着色器编译器1024以将采用HLSL的任何着色器指令1012编译成较低级的着色器语言。编译可以是即时(JIT)编译，或者应用可以执行着色器预编译。在一些实施例中，在对3D图形应用1010进行编译期间，将高级着色器编译成低级着色器。在一些实施例中，以中间形式(诸如，由Vulkan API使用的某个版本的标准便携式中间表示(SPIR))提供着色器指令1012。
在一些实施例中，用户模式图形驱动器1026包含后端着色器编译器1027，该后端着色器编译器1027用于将着色器指令1012转换为硬件专用的表示。当OpenGL API正在使用时，将采用GLSL高级语言的着色器指令1012传递至用户模式图形驱动器1026以用于编译。在一些实施例中，用户模式图形驱动器1026使用操作系统内核模式功能1028来与内核模式图形驱动器1029进行通信。在一些实施例中，内核模式图形驱动器1029与图形处理器1032进行通信以分派命令和指令。
IP核实现
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性代码实现，该机器可读介质表示和/或限定集成电路(诸如，处理器)内的逻辑。例如，机器可读介质可包括表示处理器内的各个逻辑的指令。当由机器读取时，指令可使机器制造用于执行本文中所描述的技术的逻辑。此类表示(称为“IP核”)是集成电路的逻辑的可重复使用单元，这些可重复使用单元可以作为对集成电路的结构进行描述的硬件模型而被存储在有形的机器可读介质上。可将该硬件模型供应给各消费者或制造设施，这些消费者或制造设施将该硬件模型加载在制造集成电路的制造机器上。可制造集成电路，以使得电路执行与本文中所描述的实施例中的任一实施例相关联地描述的操作。
图11是图示出根据实施例的可以用于制造集成电路以执行操作的IP核开发系统1100的框图。IP核开发系统1100可用于生成可以并入到更大的设计中或用于构建整个集成电路(例如，SOC集成电路)的模块化、可重复使用的设计。设计设施1130可以采用高级编程语言(例如，C/C++)来生成对IP核设计的软件仿真1110。软件仿真1110可以用于使用仿真模型1112来设计、测试并验证IP核的行为。仿真模型1112可以包括功能、行为和/或时序仿真。然后可从仿真模型1112创建或合成寄存器传输级(RTL)设计1115。RTL设计1115是对硬件寄存器之间的数字信号的流动进行建模的集成电路(包括使用建模的数字信号执行的相关联的逻辑)的行为的抽象。除了RTL设计1115之外，还可以创建、设计或合成处于逻辑级或晶体管级的较低层级的设计。由此，初始设计和仿真的具体细节可有所不同。
可由设计设施将RTL设计1115或等效方案进一步合成为硬件模型1120，该硬件模型1120可采用硬件描述语言(HDL)或物理设计数据的某种其他表示。可以进一步仿真或测试HDL以验证IP核设计。可使用非易失性存储器1140(例如，硬盘、闪存、或任何非易失性存储介质)来存储IP核设计以用于递送至第3方制造设施1165。替代地，可以通过有线连接1150或无线连接1160来传输(例如，经由互联网)IP核设计。制造设施1165随后可制造至少部分地基于IP核设计的集成电路。所制造的集成电路可以被配置成用于执行根据本文中所描述的至少一个实施例的操作。
示例性芯片上系统集成电路
图12-图14图示出根据本文中所描述的各实施例的可使用一个或多个IP核来制造的示例性集成电路和相关联的图形处理器。除了所图示的之外，还可包括其他逻辑和电路，包括附加的图形处理器/核、外围接口控制器或通用处理器核。
图12是图示出根据实施例的可使用一个或多个IP核来制造的示例性芯片上系统集成电路1200的框图。示例性集成电路1200包括一个或多个应用处理器1205(例如，CPU)、至少一个图形处理器1210，并且可附加地包括图像处理器1215和/或视频处理器1220，其中的任一项都可以是来自相同的或多个不同的设计设施的模块化IP核。集成电路1200包括外围或总线逻辑，该外围或总线逻辑包括USB控制器1225、UART控制器1230、SPI/SDIO控制器1235和I2S/I2C控制器1240。另外，集成电路可以包括显示装置1245，该显示装置1245耦合至高清晰度多媒体接口(HDMI)控制器1250和移动产业处理器接口(MIPI)显示接口1255中的一个或多个。可由闪存子系统1260(包括闪存和闪存控制器)来提供存储。可经由存储器控制器1265来提供存储器接口以访问SDRAM或SRAM存储器装置。另外，一些集成电路附加地包括嵌入式安全引擎1270。
图13是图示出根据实施例的可使用一个或多个IP核来制造的芯片上系统集成电路的示例性图形处理器1310的框图。图形处理器1310可以是图12的图形处理器1210的变体。图形处理器1310包括顶点处理器1305以及一个或多个片段处理器1315A-1315N(例如，1315A、1315B、1315C、1315D至1315N-1和1315N)。图形处理器1310可以经由分开的逻辑执行不同的着色器程序，以使得顶点处理器1305被优化成执行用于顶点着色器程序的操作，而一个或多个片段处理器1315A-1315N执行用于片段或像素着色器程序的片段(例如，像素)着色操作。顶点处理器1305执行3D图形流水线的顶点处理级，并生成图元和顶点数据。(多个)片段处理器1315A-1315N使用由顶点处理器1305生成的图元和顶点数据来产生显示在显示装置上的帧缓冲器。在一个实施例中，(多个)片段处理器1315A-1315N被优化成执行如提供用于OpenGL API中的片段着色器程序，片段处理器1315A-1315N可用于执行与如提供用于Direct 3D API中的像素着色器程序类似的操作。
图形处理器1310附加地包括一个或多个存储器管理单元(MMU)1320A-1320B、(多个)高速缓存1325A-1325B和(多个)电路互连1330A-1330B。一个或多个MMU 1320A-1320B提供用于图形处理器1310的虚拟到物理地址映射，包括用于顶点处理器1305和/或(多个)片段处理器1315A-1315N的虚拟到物理地址映射，除了存储在一个或多个高速缓存1325A-1325B中的顶点或图像/纹理数据之外，顶点处理器1305和/或(多个)片段处理器1315A-1315N还可引用存储在存储器中的顶点或图像/纹理数据。在一个实施例中，一个或多个MMU1320A-1320B可与系统内的其他MMU同步，以使得每个处理器1205-1220可以参与共享或统一虚拟存储器系统，其他MMU包括与图12的一个或多个应用处理器1205、图像处理器1215和/或视频处理器1220相关联的一个或多个MMU。根据实施例，一个或多个电路互连1330A-1330B使得图形处理器1310能够经由SoC的内部总线或经由直接连接与SoC内的其他IP核接口连接。
图14是图示出根据实施例的可使用一个或多个IP核来制造的芯片上系统集成电路的附加示例性图形处理器1410的框图。图形处理器1410可以是图12的图形处理器1210的变体。图形处理器1410包括图13的集成电路1300的一个或多个MMU 1320A-1320B、高速缓存1325A-1325B和电路互连1330A-1330B。
图形处理器1410包括一个或多个着色器核1415A-1415N(例如，1415A、1415B、1415C、1415D、1415E、1415F至1315N-1和1315N)，该一个或多个着色器核1415A-1415N提供统一着色器核架构，在该统一着色器核架构中，单个核或单类型的核可以执行所有类型的可编程着色器代码，包括用于实现顶点着色器、片段着色器和/或计算着色器的着色器程序代码。存在的着色器核的确切数量在各实施例和各实现方式之间可以有所不同。另外，图形处理器1410包括核间任务管理器1405和分块单元(tiling unit)1418，该核间任务管理器1405充当线程分派器以将执行线程分派给一个或多个着色器核1415A-1415N，该分块单元1418用于加速用于基于图块的渲染的分块操作，在用于基于图块的渲染的分块操作中，对场景的渲染操作被细分在图像空间中，从而例如利用场景内的局部空间一致性，或优化内部高速缓存的使用。
用于在虚拟化执行环境中高效使用图形处理资源的方法和设备
在物理主机上运行的虚拟机(VM)可以使用一个或多个图形处理单元(GPU)来进行图形操作。管理程序软件管理VM如何使用GPU。每个VM都运行客户机操作系统，其可以是台式机、笔记本计算机或平板计算机操作系统，如Linux、Microsoft Windows或Android。来自主机物理机的装置可以作为主机内管理软件下的虚拟装置呈现给VM。在VM OS环境内所分配或放置的装置中的一些被内置于母板(例如，键盘、串行端口)中，但是其他装置驻留在外围组件互连(PCI)总线上。使用虚拟PCI(VPCI)抽象层将PCI总线架构呈现给VM OS。
主机PCI总线上的GPU可以被直接分配给一个VM并且仅由此VM使用。这是针对主机GPU的直接装置分配(DDA)。主机GPU可以是多GPU子系统，其能够以与DDA类似的方式将每个单独的GPU分配给VM以供此VM独占使用。对于单根输入/输出虚拟化(SR-IOV)装置，可以使用总线协议对主机GPU进行分区并将其分配给单独的VM。存在物理功能(PF)和虚拟功能(VF)。PF在主机运行时间中被单个实例化，并且每个VF由客户机OS使用。客户机OS查看被分区具有较少资源然后是全部资源的GPU。例如，具有1024个执行单元(EU)的GPU可以被分配给8个客户机，其中每个客户机可以使用128个EU。在这种环境中，固定大小的存储器(类似在离散GPU上的固定大小存储器)通常在使用它的VM之间拆分。另一个示例是具有8GB存储器的GPU，其中GPU中的每一个被分配给8个客户机，然后每个客户机使用1GB存储器。使用SR-IOV规范来暴露所述系统或GPU资源，并由管理程序系统软件来对其进行管理。
现代GPU可以快速地从一个逻辑状态上下文切换到另一个逻辑状态。由于渲染环境的多线程性质，这是现代GPU的要求。GPU使用直接存储器访问(DMA)以从系统存储器或适配器上的专用存储器中获得命令数据。所述命令数据或流包含三种类型：元数据、存储器上下文命令和特定于引擎类型的命令。元数据命令设置寄存器，对功率管理状态进行编程，执行跳转和返回命令或其他特权命令。存储器上下文命令将基本存储器指针设置为整个GPU或仅用于引擎上下文。命令缓冲器中的命令是引擎特定的。这些是发送到3D渲染引擎、视频解码、视频编码、显示引擎、位块传输(BLIT)引擎或其他应用特定引擎的命令。在后接引擎上下文切换的存储器上下文切换之后，任何GPU都可以执行命令缓冲器中的几乎所有命令。这意味着命令缓冲器可以由来自任何VM的任何GPU处理。在现代GPU中启用了乱序渲染，但是对于一些操作，有序渲染非常重要。一个示例是与透明度混合。利用对GPU上下文寄存器的非常少量的写入，可以容易地切换渲染目标存储器和渲染状态。上下文切换确实需要时间并且其转储清除内部GPU高速缓存，但是所花费的时间通常为毫秒级。存储器状态的上下文切换通常是重量级的。然而，上下文的引擎切换通常是轻量级的，因为它花费较少时间并且可以是流水线化的。
应用软件可以使用GPU来进行特定任务，这些任务属于与本发明实施例相关的若干类别。应用或窗口系统界面绘制3D场景、块图像传输(BLIT)像素数据、解码或编码视频流、以及管理到显示器的输出。应用使用应用编程接口(API)来访问GPU资源并渲染到目的地表面。取决于期望结果，用于渲染命令的目的地可以是渲染目标或显示器。3D API的示例是OpenGL和DirectX。软件的分层通过装置驱动器接口(DDI)调用到KMD中。KMD管理GPU硬件的系统资源，并为应用工作负载准备GPU。GPU接受许多不同的资源，包括着色器(特定写入GPU的微代码)、表面数据(纹理、深度/模板和渲染目标)、缓冲器(顶点缓冲器、索引缓冲器、控制点)、为GPU处理器读取/写入数据的控制命令、以及许多其他数据源。
计算机中的系统软件可以以若干方式管理GPU硬件。可以通过系统软件控制GPU功耗。在系统基本输入/输出软件(BIOS)或高级配置和电源接口(ACPI)中实施系统软件。存在PCI寄存器用于控制GPU的功率。当在管理程序环境中使用GPU时，功率管理完全由管理程序控制。客户机对功率管理没有任何控制。可以完全关闭GPU，或者可以使用较少功率关闭部分内部硬件。
在本发明的一个实施例中，一个或多个GPU生成性能数据，包括GPU硬件内所实施的纳秒定时器和引擎计数器。GPU引擎中的每个部分的时序可用于系统软件和应用软件。使用DMA或总线写入命令将GPU内生成的性能数据写入共享存储器。共享存储器通过OS中的页映射可用于应用。在管理程序环境中，共享存储器可用于客户机OS以及主机系统软件。GPU调度器或KMD在将每个命令缓冲器给于GPU之前为所述缓冲器生成报头和报尾。报头和报尾每个GPU和每个VM地写入性能数据。这允许管理程序主机软件每个命令缓冲器地管理每个VM的性能。
在当前DDA和SR-IOV实施方式中，不存在半虚拟化，并且驱动器就像正在本机中运行一样。如果一个客户机未充分利用GPU资源，那么这些资源就会被浪费，并且如果客户机驱动器资源不足，那么客户机必须经常调用复杂的算法来管理有限资源。不存在用于管理多个GPU的负载平衡或任何其他技术。由于每个客户机都与其他客户机隔离，因此不存在功率、性能或甚至尝试高效使用GPU资源的全局管理。DDA、SR-IOV和直接分配都是GPU计算级别或GPU存储器级别的固定分配模型。
在VM服务器环境中，存在利用DDA或SR-IOV无法解决的附加问题。第一个问题是资源负载平衡。第二个问题是当若干VM都生成显示输出命令时的显示输出；很难甚至不可能预测VM何时“拥有”连接到服务器的一个显示器。实际上，服务器上通常不存在显示器，因此决定如何管理来自可能数百个运行图形软件的VM处的显示输出是困难任务。很可能的是，来自所有VM的显示输出都去往不同的远程查看应用。管理程序系统软件可以而且必须决定显示命令的最终TCP/IP地址。不能由被隔离并且不知道它在具有数百个VM的服务器上运行的VM来做出所述决定。
如图15中所示，在一个实施例中，使用虚拟化软件1510(有时称为“管理程序1510”)在VM 1501-1502之间高效地共享主机物理机中的多个GPU 1531-1532。虚拟化软件1510可以控制利用控制所述多个GPU 1531-1532的GPU调度器/多GPU管理器1520(下文中称为“GPU调度器1520”)或服务器/主机内核模式驱动器(KMD)1513通过存储器1550共享GPU资源的方式。在一个实施例中，图形微代码(GuC)可用于实现GPU调度器1520。在一个实施例中，图形微代码或KMD中的负载平衡可用于在多GPU子系统上分发工作负载。控制管理程序1510的软件或主机系统软件可用于确定如何使用多GPU子系统。在一个实施例中，GPU调度器或KMD软件的行为的控制包含在服务器用户模式组件与内核组件之间共享的一个或多个存储器页1551-1552内。
在一个实施例中，管理程序1510从GPU性能数据页1552(由GPU 1531-1532经由存储器接口单元(MIU)1540提供)读取性能数据，并使用此数据来调整控制如本文所述的负载平衡算法的参数。在一个实施例中，可以将用于特定GPU的全部GPU资源分配给特定VM(例如，GPU 1531可以完全分配给VM 1501)。可能不存在固定的GPU资源分配，因为GPU调度器或KMD主机软件根据需要动态地确定GPU资源。在一个实施例中，GPU存储器1550完全由主机软件分配和管理，并且根据需要使用基于主机的存储器管理软件映射到客户机环境中。
在一个实施例中，每个VM 1501-1502生成在简单排队模型中GPU调度器1520或主机KMD 1513所管理的命令缓冲器。随着每个命令缓冲器被发送到特定GPU 1520，如果启用捕获性能数据，则添加包括性能命令的报头信息。还可以通过共享存储器页1551启用每个GPU的功率管理。
在物理机上运行的虚拟化软件1510对虚拟机1501-1502进行抽象化，所述物理机可以包括主机系统存储器1550、多个CPU(未示出)和多个GPU 1531-1531。在一个实施例中，虚拟化软件1510包括存储器管理软件1514、虚拟母板软件(未示出)、虚拟装置软件、虚拟PCI总线软件、管理虚拟机资源的VMX进程1518、以及主机KMD 1513。VMX进程1518包括用于管理所有客户机资源(包括将虚拟GPU(VGPU)暴露给客户机OS)的VMM客户机管理组件1512、以及用于管理虚拟装置(例如，VGPU)的虚拟装置管理组件1511。在一个实施例中，连接到VMX进程1518的每个客户机/VM 1501-1502接收唯一全系统ID。客户机/VM枚举这些装置以寻找VGPU并像本机系统一样加载VGPU驱动器。如所展示的，客户机可以包括应用软件、图形API软件和内核模式驱动器(KMD)。客户机/VM 1501中的内核模式驱动器之一管理VGPU资源和活动。可以对客户机VGPU驱动器进行半虚拟化以与主机VMX进程1518通信。
服务器或主机中的虚拟化软件1510初始化主机GPU驱动器，在一个实施例中，这些主机GPU驱动器在VMX进程1518与主机KMD 1513中的驱动器组件之间被拆分。在一个实施例中，存在对每个主机GPU可以使用的包括主机存储器1550在内的资源的协商。共享存储器1550被分配给KMD或GPU调度器用于管理参数的目的。主机管理程序管理软件1514可以访问此存储器1550。命令外壳或GUI中的管理程序软件与管理程序管理软件1514接口连接，以将值写入共享页，所述共享页包括GPU参数存储器页(GPMP)1551。在所展示的实施例中，管理软件1514的GPU执行调度器1515将值写入GPMP 1551。在一个实施例中，GPU参数用于与KMD和GPU调度器特定运行时间选项(下面更详细地描述)进行通信。
在一个实施例中，包括应用的客户机软件使用诸如DirectX、OpenGL或DXVA等应用编程接口(API)来构建特定于由VMX进程1518暴露给客户机OS的图形命令缓冲器(例如，内置于客户机UMD或客户机KMD中)。这些命令缓冲器通过写入客户机存储器的进程而被提交给主机GPU。写入客户机存储器唤醒在VMX软件栈中或主机KMD 1513中运行的线程，或者可能唤醒主机GPU调度器。唤醒的线程对命令缓冲器进行处理并将其提交给KMD或GPU调度器，以供特定GPU或多个GPU进一步处理。由KMD或GPU调度器提交的命令缓冲器包含采用报头形式的元数据，其可以使得能够将性能数据1552写入由管理程序主机软件(例如，虚拟化软件1510)分配的共享存储器区域。在一个实施例中，GPU调度器1520按照性能数据1552调度由GPU 1531-1532对命令缓冲器的执行。特别地，如图16中所展示的，GPU调度器1520可以分别为每个GPU 1530-1531生成工作项1622-1623的FIFO。然后，每个GPU 1530-1531将分别从其对应的FIFO缓冲器1622-1623中读取命令。存储器接口单元1540向GPU提供对共享系统存储器1550的访问。下面描述与元数据报头和性能数据相关的附加细节。
在一个实施例中，通过将存储器状态或上下文信息写入PCI寄存器(未示出)来初始化GPU。PCI寄存器可以在VMX进程1518中由虚拟PCI(VPCI)模块通过标准OS PCI总线机制暴露给客户机OS。因此，GPU初始化设置GPU存储器状态或上下文。通过写入相同的PCI寄存器并使用特定于GPU硬件的写入协议，可以快速且轻松地更改GPU存储器上下文。在一个实施例中，写入主机KMD 1513以进行此初始设置。一旦设置了基本存储器上下文，GPU硬件就可以访问存储器1550以便按照命令缓冲器中的命令所要求的那样来读取命令缓冲器或读取其他GPU存储器资源并写入GPU存储器资源。
在一个实施例中，GPU命令缓冲器驻留在系统存储器1550中，并且GPU存储器上下文由主机GPU使用以获得对系统存储器的访问。存在各种不同类型的命令。第一种类型涉及存储器和GPU存储器上下文。这通常是指向描述页表的客户机存储器的若干页的客户机物理地址(GPA)。第二种类型的命令涉及在GPU本身中对元数据进行编程，其可以是例如用于将PCI BAR地址空间中的存储器到存储器输入输出(MMIO)寄存器或者一些其他内部寄存器写入GPU的命令。命令缓冲器中的第三种类型的命令是引擎特定的，并且通常涉及对API调用的转换。引擎特定命令的示例是设置纹理处理程序、绘制三角形、对宏代码块进行解码，对图像进行编码、复制像素数据、更新顶点缓冲器或索引缓冲器、设置着色器微代码处理程序、设置混合状态、设置深度/模板状态、设置渲染目标的颜色格式，仅举几例。存在大量取决于引擎类型的执行特定命令。尽管本发明的实施例仅参考预先存在的引擎类型，但是可以存在大量的引擎类型。关键是将命令存储在存储器1550中，并且使用来自GPU存储器状态或GPU存储器上下文的信息来设置和访问此存储器。
主机KMD 1513或GPU调度器1520从每个VMX进程1518或直接从客户机OS接收命令缓冲器。在一个实施例中，利用客户机/VM 1501的唯一ID来标记命令缓冲器。这是虚拟化软件1510和GPU硬件用来确定如何向任何或所有GPU发送命令缓冲器的基本元件。存在两种基本类型的命令缓冲器：具有元数据的命令缓冲器和不具有元数据的命令缓冲器。在后一种情况下，客户机OS可能不知道主机软件要求，因为客户机驱动器并未使用半虚拟化实施方式，或者半虚拟化的版本与主机运行时间不匹配。在这种情况下，主机VMX进程1518可以在关于客户机OS的若干不同动作之间进行选择。它可以拒绝所有命令缓冲器并禁用客户机，或者它可能根本不会将GPU暴露给客户机，在这种情况下，客户机OS将针对台式计算机使用VESA或VGA模式。VMX进程1518还能够针对此客户机/VM使用双动态加速(DDA)。对于受启发的客户机，即半虚拟化的客户机，命令缓冲器包含指示命令缓冲器类型的报头信息。下面将更详细地讨论与客户机命令缓冲器相关联的元数据的细节。
在本发明的一个实施例中，虚拟化软件1510使用一定数量的主机GPU 1531-1532来与客户机共享，并且主机中可能存在不与任何客户机共享的GPU。在一个实施例中，所共享的每个主机GPU被分配有其自己的唯一ID。对于所共享的每个主机GPU，参数页1551中的数据结构用于将GPU状态设置为共享装置。参数页中的条目在虚拟化软件1510、主机KMD1513与物理GPU或GuC 1531-1532之间共享。数据格式和细节可以是GPU特定的。示例性的一组参数数据可以是：{int enableFeatures(启用特征)；int enablePM(启用PM)；intenablePerformance(启用性能)；int enableSchedulingAlgo(启用调度算法)；intenableDebugFeatures(启用调试特征)；uintptr_t baseAddressOfPerformancePage(性能页的基本地址)；uint64offsetlntoPerformancePage(到性能页中的偏移量)；uint64sizeOfPerformanceBuffer(性能缓冲器大小)；)。
特权命令缓冲器被发送到与参数页1551的基本地址共享的每个GPU，并且到所述页中的偏移量特定于此GPU。GPU硬件1531-1532或GPU调度器读取参数并基于这些启用/禁用位来设置GPU行为。在任何时候，VMM软件都可以更新共享存储器页并重新发送与其他命令缓冲器一致的命令，从而动态地改变GPU行为。这些命令使GPU可能转储清除内部高速缓存、读取参数数据并在运行中切换内部执行行为。
在本发明中，VMM软件可以使得每个GPU能够将性能数据写入共享性能数据页。一种实施方式可能为每个从客户机发送到任何GPU的命令缓冲器计算纳秒定时器。所写入的数据格式是GPU特定的，但是启用此特征的到参数页中的偏移量、以及缓冲器大小(页数)是通过针对共享而初始化GPU来设置的。性能数据的一个示例可能是{int唯一ID；uint64开始时间；uint64结束时间；)。在这种情况下，当性能命令被添加到环形缓冲器命令上时，由VMM软件提供唯一ID。当GPU写入逻辑到达结束时，其将在性能缓冲器内回绕。VMM软件可以使用参数数据来控制此行为。
使用包含参数数据1551的主机共享存储器，主机KMD 1513或GPU调度器1520可以将命令缓冲器解码并排队到多GPU环境中的特定GPU。它还可以基于指示每个GPU 1531-1532上的负载的主机GPU性能数据来选择对命令缓冲器进行负载平衡。GPU参数存储器1551可以指示在DDA样式分配策略中每个客户机/VM应存在一个GPU，和/或它可以指示此负载平衡应被启用并且主机KMD 1513或调度器1520将决定如何基于每个命令缓冲器中所包括的元数据来对命令缓冲器进行排队。对于每个GPU 1531-1532，可以存在队列或FIFO 1622-1623(例如，作为环形缓冲器实施)。在操作中，命令缓冲器被提交给GPU并且性能数据被收集(如果启用的话)。在一个实施例中，性能数据包括命令缓冲器的类型以及在此GPU中执行命令的时间差量。每个GPU的队列的大小可用于KMD 1513或GPU调度器1520以及由GPU硬件写入共享性能页1552中的性能数据。此信息用于确定如何在特定GPU队列中对新命令缓冲器进行排队或抢占命令缓冲器。主机KMD 1513或GPU调度器1520可以通过收集和使用各种不同的数据来提交和管理客户机命令缓冲器，这些数据例如包括：指定如何将主机GPU映射到客户机OS的数据；对附接到所提交的命令缓冲器的性能命令的指示；负载平衡技术/算法；命令缓冲器是否被序列化；客户机乱序提示是否被忽略；在没有元数据报头的情况下管理GPU分配给客户机OS；如何将功率管理策略应用于主机中的一个或所有GPU；哪一个GPU获得功率管理策略；主机KMD 1513或GPU调度器1520是否将性能命令附接到所提交的命令缓冲器；哪一个(多个)GPU控制显示输出(例如，显示器应附接到一个或若干个GPU)；哪一个(多个)GPU进行特定任务，诸如视频解码或视频编码；存储器上下文切换时间测量并报告给性能存储器页1552；测量引擎存储器上下文切换时间并报告给性能存储器页1552；以及系统软件可能要求的其他管理任务。
在一个实施例中，来自客户机/VM 1501的每个命令缓冲器被提交给特定GPU FIFO或队列1622-1623。主机KMD 1513或GPU调度器1520可以将元命令前缀(如果启用的话)到客户机/VM工作项。元数据可以包括：写入GPU性能数据命令，使得其各自的GPU将性能数据写入共享性能页；以及跳转和返回命令，使得GPU跳转到写入GPU性能数据命令并返回到正常指令序列。在客户机命令缓冲器之前和/或之后，主机KMD 1513或GPU调度器1520可以使用以下类型的命令：写入性能数据到共享性能存储器1552(与主机系统软件共享)；写入GPU引擎负载数据到共享性能存储器1552(例如，指示GPU引擎上的当前负载)；写入GPU功耗数据到共享性能存储器1552；写入特定客户机和GPU组合的围栏(fence)数据到主机存储器1550；用于在所述GPU取得进展之前阻止围栏值或其他屏障的写入命令；在引擎中切换资源目的地的写入命令(例如，用于视频编码)；在GPU引擎中切换源资源的写入命令(例如，用于视频解码)；以及管理多个GPU上的多个渲染可能需要的其他类型的数据。
在一个实施例中，随着GPU 1531开始在此命令缓冲器上工作(例如，从其FIFO队列1622中读取命令)，它读取FIFO命令的主机物理地址(HPA)并跳转到客户机/VM 1501命令缓冲器以执行来自客户机存储器的命令。在完成客户机提供的缓冲器中的所有命令之后，GPU1530在跳转和返回命令之后立即返回到FIFO存储器地址。在此存储器中的是用于写入GPU性能数据到共享存储器页1552的命令。因此，FIFO命令包括：(1)写入GPU性能数据到共享性能页1552；(2)使用HPA进行跳转和返回；以及(3)写入GPU性能数据到共享性能页1552。写入GPU时间命令可以包括共享存储器性能页1552内的HPA。主机KMD 1512或GuC可以使用性能来收集每命令缓冲器、每VM性能数据并将其反馈到调度器1520中，或者使得虚拟化软件1510能够基于GPU性能来做出决定。例如，如果命令缓冲器花费的时间过长，则可以使用此信息来终止在来自客户机VM的特定GPU上运行的着色器。在这种情况下，虚拟化软件1510可以终止客户机OS或者将终止命令发送到客户机OS。反过来，客户机OS可以为违规应用进行TDR或超时。
本发明的一个实施例使用GPU纳秒定时器来收集性能数据(例如，在执行每个命令或命令块之前和之后对定时器进行采样)。在本实施例中，所有命令缓冲器上的前缀命令包括四字值，用于存储来自GPU硬件的开始纳秒时间和/或结束纳秒时间(例如，包括最终性能数据写入)。这允许虚拟化软件1510或调度器1520确定来自客户机OS的特定命令缓冲器的特定时序。
本发明的一个实施例使用GPU引擎负载度量(即，指示“忙碌”级别)用于GPU性能数据。例如，可以将位向量写入共享存储器区域，其中的每个位指示GPU 1530中的引擎是忙碌(1)还是空闲(0)。在本实施方式中，将命令添加到包括当前位向量的客户机命令缓冲器的开始。主机KMD 1513或GPU调度器1520可以使用此信息来提交来自不同客户机的特定类型的命令缓冲器。例如，如果GPU 1531忙碌于运行视频解码任务并且GPU硬件被设计为允许完全执行重叠，则此GPU的位向量将指示视频解码引擎正忙碌但其他引擎空闲，并且调度器1520因此可以将用于3D渲染或BLIT操作的命令缓冲器提交给同一GPU 1531(例如，使用同一GPU硬件内的不同执行引擎)。
主机KMD 1513或GPU调度器1520能够将来自同一VM 1501的命令缓冲器排队到不同的GPU 1531-1532。起初这似乎是一个问题，因为乱序渲染不是普遍正确的。取决于顺序的渲染的规范示例是利用渲染目标中的目的地像素数据使用混合操作的透明度。在这种情况下，以非常特定的顺序提交命令缓冲器是非常重要的。在一个实施例中，命令缓冲器报头中的客户机元数据包含到主机GPU或GPU调度器的命令。这些是命令调度器1520以特定方式表现的元命令。元命令通知主机KMD 1513或GPU调度器1520对来自VM 1501的所有命令缓冲器进行同步并等待直到所有GPU 1531-1532中的所有渲染完成。元命令可以用于强制执行有序渲染，在这种情况下，主机KMD 1513或GPU调度器1520可以将所有渲染强制到一个GPU1531或在命令中施加屏障，使得多个GPU可以渲染但是其中一个可能阻止直到另一个处于某种屏障。
如果客户机报头指示需要进行同步，则主机KMD 1513或GPU调度器1520可以使用围栏或其他技术来阻止GPU消耗来自此客户机/VM的GPU命令，并且代替地对命令缓冲器处理进行同步。这意味着，主机KMD 1513或GPU调度器1520可以将“写入双字”命令或“写入四字”命令附加到提交给任何GPU的命令缓冲器，所述命令缓冲器然后可以用于对来自特定客户机/VM的渲染进行同步。主机KMD 1513或GPU调度器1520可以例如阻止围栏或者可以向特定GPU发送屏障命令以等待屏障对象。
如果客户机报头指示序列化是必要的，则主机KMD 1513或GPU调度器1520可以强制来自此客户机的所有命令缓冲器到一个GPU。由于客户机正在提交具有附加报头信息的命令缓冲器，因此它可以发送命令缓冲器类型信息。主机KMD 1513或GPU调度器1520在向特定GPU提交命令缓冲器时使用与报头一起提交的不同类型的命令缓冲器。最后一种类型的命令是引擎特定的，这些命令被发送到3D渲染引擎、视频解码、视频编码、显示引擎、BLIT引擎或其他应用特定引擎。
图17展示了在系统存储器1550中管理多个客户机命令缓冲器1730的示例性实施例。在由GPU 1530-1531执行命令之前，从命令缓冲器1730读取命令并将其存储在一个或多个FIFO命令缓冲器1701内。图17中的示例性命令包括两个写入时间数据命令、一个写入忙碌数据命令、一个跳转到缓冲器命令以及一个命令缓冲器HPA命令。响应于这些命令的执行，GPU 1530-1531更新系统存储器中的GPU性能数据页1552，这些GPU性能数据页然后可以被读取并用于后续资源分配决定，如本文所述。
在本发明的一个实施例中，如图18中所展示的，来自所有客户机/VM 1501-1502的所有视频编码命令缓冲器1821被发送到一个GPU 1823。此主机GPU 1823由主机软件有目的地指定用于视频编码。在这种情况下，主机KMD 1513或GPU调度器1520将渲染目标切换到客户机指定的渲染目标作为编码内核的结果。正如性能数据以及跳转和返回命令被前缀到客户机/VM命令缓冲器上，切换目的地渲染目标或写入缓冲器是被前缀到来自客户机的命令缓冲器的命令。通过在命令缓冲器上前缀新报头，主机KMD 1513或GPU调度器1520可以管理所述多个GPU以及客户机渲染状态。
在另一个实施例中，主机软件可以使用编码引擎来对来自客户机的显示输出进行编码，因为客户机命令缓冲器具有报头1818、1814以指示命令缓冲器中的命令类型。由于客户机正在提交具有报头的命令缓冲器(所述报头描述缓冲器中的命令)，因此其可以指定一些命令缓冲器被输出到显示器。对于这种情况，主机软件构建并向主机KMD 1513或GPU调度器1520提交编码命令缓冲器1821，其中来自客户机的显示命令的目的地作为编码GPU 1823的源，潜在地具有专用视频编码引擎1833。编码结果作为编码数据存储在存储器缓冲器1853中。这允许主机软件在来自客户机的活动显示命令中进行调解，并且代替地对最终台式计算机进行编码并且可能将编码缓冲器数据写入网络适配器1830(例如，利用本文所述的虚拟化图形架构来流送到客户机)。这是一种使用本发明的实施例来实施远程渲染的方式。
以类似的方式，在一个实施例中，将来自所有客户机/VM的所有视频解码命令缓冲器发送到一个GPU。此主机GPU由主机软件有目的地指定用于视频解码。由于主机KMD 1513或GPU调度器1520对提交给特定GPU的所有命令缓冲器加以前缀，因此针对这种情况它添加了存储器上下文以将渲染目标存储器上下文切换到命令缓冲器。本实施例允许GPU对存储器中的不同渲染目标或表面进行视频解码。好处是可以将单个GPU添加到服务器中以用于视频解码，并且可以针对这些类型的命令缓冲器优化此GPU或GPU组。这很重要，因为它允许为涉及图形操作的特定任务构建服务器以及允许主机软件确定如何使用GPU硬件。
还可以将所有活动显示命令缓冲器提交给控制显示的单个GPU，如图19所展示的。如在先前实施例中，命令缓冲器报头1918-1919指示命令缓冲器中的命令的类型(例如，在这种情况下，显示命令)。服务器设置可以是主机KMD 1513或GPU调度器1520所使用的主机参数页的一部分。本发明的本实施方式允许主机软件控制到附接到GPU或多个GPU的本地显示器1930的输出。例如，能够将零个、一个或多个显示器1930附接到服务器。主机KMD 1513或GPU调度器1520通过以下方式来确定客户机输出的去向：读取参数存储器1551，并将具有活动显示的所有客户机命令缓冲器发送到适当的GPU 1923以供输出。在所示示例中，显示输出硬件1933渲染每个图像帧以用于显示，将渲染帧存储在专用于显示扫描输出1953的存储器内。本发明的本实施方式允许控制台显示或所有客户机桌面的合并被输出到具有活动显示器的GPU。
与上文所描述的本发明实施例相反，在管理程序虚拟机服务器环境中使用GPU硬件的当前解决方案很少提供或不提供用于高效地使用多个GPU硬件资源的机制。在诸如DDA或SR-IOV等服务器环境中使用GPU的现有解决方案不允许基于负载平衡算法或客户机渲染模式的抢占GPU硬件上下文切换。它们也不允许管理程序基于服务器管理软件来控制抢占算法。问题是现有解决方案不允许管理程序基于客户机使用模式或服务器管理软件对向多个主机GPU提交命令缓冲器具有足够的控制。这可能在可用主机GPU域内产生未充分利用的情况。
本文所述的本发明实施例允许管理程序收集关于GPU资源使用的数据，作为主机和/或客户机命令缓冲器处理的结果。这些实施例利用各种技术来使用此数据以缓解瓶颈以及特定渲染任务以高效地使用主机GPU硬件资源。共享存储器允许管理程序收集GPU性能数据，使得各种技术能够更高效地使用GPU资源，这些GPU资源可以包括计算执行单元、系统存储器或GPU存储器以及特定的功能引擎。此外，这些实施例定义了管理程序如何在主机KMD与来自客户机驱动器的元数据之间使用共享存储器以更高效地使用具有多个GPU的服务器中的主机GPU。利用来自客户机的命令缓冲器元数据以及来自GPU的性能数据，管理程序可以将用于特定渲染操作的客户机命令缓冲器排队到主机GPU，并在GPU利用率上获得的明显改进。管理程序可以基于客户机行为模式跨服务器中的多个GPU使用抢占GPU命令缓冲器提交。根据服务器管理软件，管理程序可以使用不同的抢占算法，诸如先来先服务调度、最短作业优先调度或优先级调度。这里的抢占是指来自客户机的公共缓冲器提交以及基于每命令缓冲器切换主机GPU硬件的使用。
本发明的实施例可以包括以上已经描述的各步骤。这些步骤可以被具体化为机器可执行指令，所述机器可执行指令可以用于使通用或专用处理器执行这些步骤。可替代地，这些步骤可以由包含用于执行这些步骤的硬接线逻辑的特定硬件组件来执行，或者由程序化计算机组件和自定义硬件组件的任意组合来执行。
如本文所述，指令可以指硬件(诸如专用集成电路(ASIC))的特定配置，所述专用集成电路被配置用于执行某些操作或者具有预定功能或存储在被具体化为非暂态计算机可读介质的存储器中的软件指令。因此，可以使用在一个或多个电子装置(例如，端站、网络元件等)上存储并执行的代码和数据来实施附图中示出的技术。这样的电子装置使用计算机机器可读媒体(例如，非暂态计算机机器可读存储媒体(例如，磁盘；光盘；随机存取存储器；只读存储器；闪存装置；相变存储器)以及暂态计算机机器可读通信媒体(例如，电、光、声或其他形式的传播信号—例如载波、红外信号、数字信号等))来(在内部和/或通过网络与其他电子装置)存储和传达代码和数据。此外，这样的电子装置典型地包括耦合到一个或多个其他组件(诸如，一个或多个存储装置(非暂态机器可读存储介质)、用户输入/输出装置(例如键盘、触摸屏和/或显示器)、以及网络连接件)的一组一个或多个处理器。所述一组处理器和其他组件的耦合通常通过一个或多个总线和桥接器(也被称为总线控制器)进行。承载网络业务量的存储装置和信号分别表示一个或多个机器可读存储介质和机器可读通信介质。因此，给定电子装置的存储装置典型地存储用于在所述电子装置的所述一组一个或多个处理器上执行的代码和/或数据。当然，可以使用软件、固件、和/或硬件的不同组合来实施本发明的实施例的一个或多个部分。贯穿本详细说明，出于解释的目的，阐述了大量的具体细节以便提供对本发明的透彻理解。然而，对于本领域的技术人员而言将明显的是，可以在没有这些具体细节中的一些的情况下实践本发明。在某些实例中，未详细描述公知结构和功能以避免模糊本发明的主题。因此，本发明的范围和精神应根据以下权利要求来判定。

Claims (25)

1.一种设备，包括：
多个图形处理单元(GPU)，用于由虚拟化执行环境内的多个虚拟机(VM)共享；
共享存储器，用于在所述虚拟化图形执行环境内执行的所述多个VM与GPU之间共享；
所述多个GPU用于收集与在由所述多个VM提交的命令缓冲器内的命令的执行相关的性能数据，所述多个GPU用于将所述性能数据存储在所述共享存储器内；以及
GPU调度器和/或驱动器，用于基于所述性能数据将后续命令缓冲器调度到所述多个GPU。
2.如权利要求1所述的设备，其中，所述调度器或驱动器用于实施负载平衡功能，以基于所述性能数据跨所述多个GPU和/或所述多个GPU的各个资源执行负载平衡。
3.如权利要求1或2所述的设备，其中，所述性能数据指定所述多个GPU中的一个或多个GPU内的各个资源上的当前负载，并且其中，所述负载平衡功能包括基于各个资源上的当前负载提交命令缓冲器。
4.如权利要求3所述的设备，其中，所述各个资源包括GPU 3D渲染引擎、视频解码引擎、视频编码引擎、显示引擎、BLIT引擎和/或其他应用特定引擎。
5.如权利要求1、2或4所述的设备，其中，所述多个GPU响应于被包括在所述命令缓冲器内的命令而收集所述性能数据。
6.如权利要求5所述的设备，其中，所述命令包括以下各项中的一项或多项：将性能数据写入所述共享存储器；将GPU引擎负载数据写入所述共享存储器；将GPU功耗数据写入所述共享存储器；将用于特定VM和GPU组合的围栏数据写入所述共享存储器；用于阻止围栏值或其他屏障直到GPU取得进展的写入命令；在GPU引擎中切换资源目的地的写入命令；以及在所述GPU引擎中切换源资源的写入命令。
7.如权利要求1或5所述的设备，进一步包括：
用于每个GPU的先入先出缓冲器，用于对来自提交给每个GPU的命令缓冲器的命令进行排队。
8.如权利要求4、6或7所述的设备，其中，位向量将用于被写入所述共享存储器，其中每个位指示每个GPU中的引擎是忙碌还是空闲。
9.如权利要求1、6或8所述的设备，其中，报头用于被添加到所述命令缓冲器中的每个命令缓冲器，以标识命令缓冲器内的命令类型。
10.如权利要求9所述的设备，其中，所述报头能够包括关于序列化是否必要的指示，其中，在检测到所述报头之后，所述GPU调度器或驱动器使得来自那个命令缓冲器的所有命令由一个特定的GPU执行。
11.如权利要求9所述的设备，其中，第一报头用于指示第一命令缓冲器中的命令用于对视频进行编码，所述GPU调度器或驱动器用于响应性地将所述第一命令缓冲器提交给具有当前不忙碌的视频编码引擎的GPU；第二报头用于指示第二命令缓冲器中的命令用于对视频进行解码，所述GPU调度器或驱动器用于响应性地将所述第一命令缓冲器提交给具有当前不忙碌的视频解码引擎的GPU；并且第三报头用于指示第三命令缓冲器中的命令用于对显示输出进行渲染，所述GPU调度器或驱动器用于响应性地将所述第三命令缓冲器提交给具有当前不忙碌的显示引擎的GPU。
12.一种设备，包括：
用于与虚拟化执行环境内的多个虚拟机(VM)共享多个图形处理单元(GPU)的装置；
用于在所述虚拟化图形执行环境内执行的所述多个VM与GPU之间共享存储器的装置；
用于收集与在由所述多个VM提交的命令缓冲器内的命令的执行相关的性能数据的装置，所述多个GPU用于将所述性能数据存储在所述共享存储器内；以及
用于基于所述性能数据将后续命令缓冲器调度到所述多个GPU的装置。
13.如权利要求12所述的设备，进一步包括：
用于实施负载平衡功能以基于所述性能数据跨所述多个GPU和/或所述多个GPU的各个资源执行负载平衡的装置。
14.如权利要求12或13所述的设备，其中，所述性能数据指定所述多个GPU中的一个或多个GPU内的各个资源上的当前负载，并且其中，所述负载平衡功能包括基于各个资源上的当前负载提交命令缓冲器。
15.如权利要求14所述的设备，其中，所述各个资源包括GPU 3D渲染引擎、视频解码引擎、视频编码引擎、显示引擎、BLIT引擎和/或其他应用特定引擎。
16.如权利要求12、13或15所述的设备，其中，所述多个GPU响应于被包括在所述命令缓冲器内的命令收集所述性能数据。
17.如权利要求16所述的设备，其中，所述命令包括以下各项中的一项或多项：将性能数据写入所述共享存储器；将GPU引擎负载数据写入所述共享存储器；将GPU功耗数据写入所述共享存储器；将用于特定VM和GPU组合的围栏数据写入所述共享存储器；用于阻止围栏值或其他屏障直到GPU取得进展的写入命令；在GPU引擎中切换资源目的地的写入命令；以及在所述GPU引擎中切换源资源的写入命令。
18.如权利要求17或16所述的设备，进一步包括：
用于每个GPU的先入先出缓冲器装置，用于对来自提交给每个GPU的命令缓冲器的命令进行排队。
19.如权利要求15、17或18所述的设备，其中，位向量用于被写入所述共享存储器，其中每个位指示每个GPU中的引擎是忙碌还是空闲。
20.如权利要求12、17或19所述的设备，其中，报头用于被添加到所述命令缓冲器中的每个命令缓冲器，以标识命令缓冲器内的命令类型。
21.如权利要求20所述的设备，其中，所述报头能够包括关于序列化是否必要的指示，其中，在检测到所述报头之后，所述GPU调度器或驱动器使得来自那个命令缓冲器的所有命令由一个特定的GPU执行。
22.如权利要求20所述的设备，其中，第一报头用于指示第一命令缓冲器中的命令用于对视频进行编码，所述GPU调度器或驱动器用于响应性地将所述第一命令缓冲器提交给具有当前不忙碌的视频编码引擎的GPU；第二报头用于指示第二命令缓冲器中的命令用于对视频进行解码，所述GPU调度器或驱动器用于响应性地将所述第一命令缓冲器提交给具有当前不忙碌的视频解码引擎的GPU；并且第三报头用于指示第三命令缓冲器中的命令用于对显示输出进行渲染，所述GPU调度器或驱动器用于响应性地将所述第三命令缓冲器提交给具有当前不忙碌的显示引擎的GPU。
23.一种机器可读介质，其上存储有程序代码，所述程序代码在由机器执行时使所述机器执行以下操作：
与虚拟化执行环境内的多个虚拟机(VM)共享多个图形处理单元(GPU)；
在所述虚拟化图形执行环境内执行的所述多个VM与GPU之间共享存储器；
收集与在由所述多个VM提交的命令缓冲器内的命令的执行相关的性能数据，所述多个GPU用于将所述性能数据存储在所述共享存储器内；以及
基于所述性能数据将后续命令缓冲器调度到所述多个GPU。
24.如权利要求23所述的机器可读介质，进一步包括用于使所述机器执行以下操作的程序代码：
实施负载平衡功能，以基于所述性能数据跨所述多个GPU和/或所述多个GPU的各个资源执行负载平衡。
25.如权利要求23或24所述的机器可读介质，其中，所述性能数据指定所述多个GPU中的一个或多个GPU内的各个资源上的当前负载，并且其中，所述负载平衡功能包括基于各个资源上的当前负载提交命令缓冲器。
CN201780053212.8A 2016-09-29 2017-08-21 用于在虚拟化执行环境中高效使用图形处理资源的方法和设备 Active CN109643291B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/280,446 2016-09-29
US15/280,446 US10109099B2 (en) 2016-09-29 2016-09-29 Method and apparatus for efficient use of graphics processing resources in a virtualized execution enviornment
PCT/US2017/047788 WO2018063580A1 (en) 2016-09-29 2017-08-21 Method and apparatus for efficient use of graphics processing resources in a virtualized execution environment

Publications (2)

Publication Number Publication Date
CN109643291A true CN109643291A (zh) 2019-04-16
CN109643291B CN109643291B (zh) 2024-03-08

Family

ID=61685587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780053212.8A Active CN109643291B (zh) 2016-09-29 2017-08-21 用于在虚拟化执行环境中高效使用图形处理资源的方法和设备

Country Status (3)

Country Link
US (1) US10109099B2 (zh)
CN (1) CN109643291B (zh)
WO (1) WO2018063580A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045800A (zh) * 2019-11-14 2020-04-21 武汉纺织大学 一种基于短作业优先的优化gpu性能的方法及系统
CN111045623A (zh) * 2019-11-21 2020-04-21 中国航空工业集团公司西安航空计算技术研究所 一种多gpu拼接环境下图形命令的处理方法
CN111522670A (zh) * 2020-05-09 2020-08-11 中瓴智行(成都)科技有限公司 一种用于Android系统的GPU虚拟化方法、系统及介质
CN112463386A (zh) * 2020-12-08 2021-03-09 内蒙古大学 用于异构云环境下在线游戏应用的虚拟机管理方法及系统
CN114730273A (zh) * 2019-12-02 2022-07-08 阿里巴巴集团控股有限公司 虚拟化设备和方法
CN115391124A (zh) * 2022-10-27 2022-11-25 瀚博半导体(上海)有限公司 一种面向图形芯片功耗测试的方法及装置
CN117176964A (zh) * 2023-11-02 2023-12-05 摩尔线程智能科技(北京)有限责任公司 一种虚拟化视频编解码系统及方法、电子设备和存储介质

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0624582D0 (en) * 2006-12-08 2007-01-17 Visible Computing Ltd USB autorun devices
US10503405B2 (en) * 2015-02-10 2019-12-10 Red Hat Israel, Ltd. Zero copy memory reclaim using copy-on-write
CN108027642B (zh) * 2015-06-24 2021-11-02 英特尔公司 用于隔离输入/输出计算资源的系统和方法
JP6301027B2 (ja) * 2015-11-24 2018-03-28 三菱電機株式会社 組込み装置、通信方法及び通信プログラム
US11042496B1 (en) * 2016-08-17 2021-06-22 Amazon Technologies, Inc. Peer-to-peer PCI topology
US10460513B2 (en) * 2016-09-22 2019-10-29 Advanced Micro Devices, Inc. Combined world-space pipeline shader stages
CN106796535B (zh) * 2016-12-27 2021-03-30 深圳前海达闼云端智能科技有限公司 视频显示方法、装置、电子设备和计算机程序产品
US10593009B1 (en) * 2017-02-22 2020-03-17 Amazon Technologies, Inc. Session coordination for auto-scaled virtualized graphics processing
US10936353B2 (en) * 2017-05-16 2021-03-02 Dell Products L.P. Systems and methods for hypervisor-assisted hardware accelerator offloads in a virtualized information handling system environment
US10372497B1 (en) * 2017-09-05 2019-08-06 Parallels International Gmbh Offloading GPU computations for computers and virtual machines
US10678553B2 (en) 2017-10-10 2020-06-09 Apple Inc. Pro-active GPU hardware bootup
US10565673B2 (en) * 2018-03-15 2020-02-18 Intel Corporation Apparatus and method for virtualized scheduling of multiple duplicate graphics engines
CN108829516B (zh) * 2018-05-31 2021-08-10 安徽四创电子股份有限公司 一种图形处理器资源虚拟化调度方法
CN112673348A (zh) 2018-09-19 2021-04-16 英特尔公司 混合虚拟gpu协同调度
CN112292665A (zh) * 2018-09-27 2021-01-29 英特尔公司 具有后期同步的图形虚拟化的装置和方法
KR102518436B1 (ko) 2018-10-22 2023-04-05 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10748239B1 (en) 2019-03-01 2020-08-18 Qualcomm Incorporated Methods and apparatus for GPU context register management
CN111768330A (zh) * 2019-03-30 2020-10-13 华为技术有限公司 图像处理方法及计算机系统
US10901773B2 (en) 2019-04-11 2021-01-26 Red Hat, Inc. Sharing devices between virtual machines in view of power state information
US20200409732A1 (en) * 2019-06-26 2020-12-31 Ati Technologies Ulc Sharing multimedia physical functions in a virtualized environment on a processing unit
CN110413375A (zh) * 2019-06-28 2019-11-05 苏州浪潮智能科技有限公司 一种虚拟机互斥访问主机设备的方法及装置
CN110688223B (zh) * 2019-09-11 2022-07-29 深圳云天励飞技术有限公司 数据处理方法及相关产品
US11403223B2 (en) * 2019-09-26 2022-08-02 Apple Inc. De-prioritization supporting frame buffer caching
US20210165673A1 (en) * 2019-12-02 2021-06-03 Microsoft Technology Licensing, Llc Enabling shared graphics and compute hardware acceleration in a virtual environment
US11900123B2 (en) * 2019-12-13 2024-02-13 Advanced Micro Devices, Inc. Marker-based processor instruction grouping
US11461137B2 (en) * 2019-12-19 2022-10-04 Advanced Micro Devices, Inc. Distributed user mode processing
US20210311897A1 (en) 2020-04-06 2021-10-07 Samsung Electronics Co., Ltd. Memory with cache-coherent interconnect
US20220027206A1 (en) * 2021-03-17 2022-01-27 Acer Incorporated Resource integration system and resource integration method
CN113064645B (zh) * 2021-03-19 2022-08-02 青岛海信传媒网络技术有限公司 一种开机界面控制方法及显示设备
US20230050061A1 (en) * 2021-08-11 2023-02-16 Apple Inc. Logical Slot to Hardware Slot Mapping for Graphics Processors
CN115269209B (zh) * 2022-09-30 2023-01-10 浙江宇视科技有限公司 一种gpu集群调度方法及服务器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187902A (zh) * 2006-09-22 2008-05-28 英特尔公司 在虚拟机环境中的客户机之间共享信息
US8375368B2 (en) * 2006-06-20 2013-02-12 Google Inc. Systems and methods for profiling an application running on a parallel-processing computer system
US8719464B2 (en) * 2011-11-30 2014-05-06 Advanced Micro Device, Inc. Efficient memory and resource management
US20150371355A1 (en) * 2014-06-19 2015-12-24 Vmware, Inc. Host-Based Heterogeneous Multi-GPU Assignment
US20160180486A1 (en) * 2014-12-18 2016-06-23 Intel Corporation Facilitating dynamic pipelining of workload executions on graphics processing units on computing devices
US20160188491A1 (en) * 2014-12-24 2016-06-30 Intel Corporation Apparatus and method for asynchronous tile-based rendering control

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8631066B2 (en) * 1998-09-10 2014-01-14 Vmware, Inc. Mechanism for providing virtual machines for use by multiple users
US7424601B2 (en) * 2004-07-07 2008-09-09 Yongyong Xu Methods and systems for running multiple operating systems in a single mobile device
US7650603B2 (en) * 2005-07-08 2010-01-19 Microsoft Corporation Resource management for virtualization of graphics adapters
US8117554B1 (en) * 2006-04-25 2012-02-14 Parallels Holdings, Ltd. Seamless integration of non-native widgets and windows with dynamically scalable resolution into native operating system
US8261270B2 (en) * 2006-06-20 2012-09-04 Google Inc. Systems and methods for generating reference results using a parallel-processing computer system
US8443348B2 (en) * 2006-06-20 2013-05-14 Google Inc. Application program interface of a parallel-processing computer system that supports multiple programming languages
BR112012020933A2 (pt) * 2010-02-23 2017-03-07 Astronautics Corp pacote de voo eletrônico de classe 3
US9606936B2 (en) * 2010-12-16 2017-03-28 Advanced Micro Devices, Inc. Generalized control registers
MY184808A (en) 2012-10-08 2021-04-23 Mimos Berhad A system and method for virtual peer to virtual peer networking in a virtualized environment
US9142004B2 (en) 2012-12-20 2015-09-22 Vmware, Inc. Dynamic allocation of physical graphics processing units to virtual machines
US9898794B2 (en) 2014-06-19 2018-02-20 Vmware, Inc. Host-based GPU resource scheduling
US9619349B2 (en) * 2014-10-14 2017-04-11 Brocade Communications Systems, Inc. Biasing active-standby determination
EP3271816A4 (en) 2015-03-18 2018-12-05 Intel Corporation Apparatus and method for software-agnostic multi-gpu processing
US9407944B1 (en) 2015-05-08 2016-08-02 Istreamplanet Co. Resource allocation optimization for cloud-based video processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8375368B2 (en) * 2006-06-20 2013-02-12 Google Inc. Systems and methods for profiling an application running on a parallel-processing computer system
CN101187902A (zh) * 2006-09-22 2008-05-28 英特尔公司 在虚拟机环境中的客户机之间共享信息
CN101872328A (zh) * 2006-09-22 2010-10-27 英特尔公司 在虚拟机环境中的客户机之间共享信息
US8719464B2 (en) * 2011-11-30 2014-05-06 Advanced Micro Device, Inc. Efficient memory and resource management
US20150371355A1 (en) * 2014-06-19 2015-12-24 Vmware, Inc. Host-Based Heterogeneous Multi-GPU Assignment
US20160180486A1 (en) * 2014-12-18 2016-06-23 Intel Corporation Facilitating dynamic pipelining of workload executions on graphics processing units on computing devices
US20160188491A1 (en) * 2014-12-24 2016-06-30 Intel Corporation Apparatus and method for asynchronous tile-based rendering control

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045800A (zh) * 2019-11-14 2020-04-21 武汉纺织大学 一种基于短作业优先的优化gpu性能的方法及系统
CN111045623A (zh) * 2019-11-21 2020-04-21 中国航空工业集团公司西安航空计算技术研究所 一种多gpu拼接环境下图形命令的处理方法
CN111045623B (zh) * 2019-11-21 2023-06-13 中国航空工业集团公司西安航空计算技术研究所 一种多gpu拼接环境下图形命令的处理方法
CN114730273A (zh) * 2019-12-02 2022-07-08 阿里巴巴集团控股有限公司 虚拟化设备和方法
CN111522670A (zh) * 2020-05-09 2020-08-11 中瓴智行(成都)科技有限公司 一种用于Android系统的GPU虚拟化方法、系统及介质
CN112463386A (zh) * 2020-12-08 2021-03-09 内蒙古大学 用于异构云环境下在线游戏应用的虚拟机管理方法及系统
CN112463386B (zh) * 2020-12-08 2022-08-02 内蒙古大学 用于异构云环境下在线游戏应用的虚拟机管理方法及系统
CN115391124A (zh) * 2022-10-27 2022-11-25 瀚博半导体(上海)有限公司 一种面向图形芯片功耗测试的方法及装置
CN115391124B (zh) * 2022-10-27 2023-03-21 瀚博半导体(上海)有限公司 一种面向图形芯片功耗测试的方法及装置
CN117176964A (zh) * 2023-11-02 2023-12-05 摩尔线程智能科技(北京)有限责任公司 一种虚拟化视频编解码系统及方法、电子设备和存储介质
CN117176964B (zh) * 2023-11-02 2024-01-30 摩尔线程智能科技(北京)有限责任公司 一种虚拟化视频编解码系统及方法、电子设备和存储介质

Also Published As

Publication number Publication date
US10109099B2 (en) 2018-10-23
CN109643291B (zh) 2024-03-08
WO2018063580A1 (en) 2018-04-05
US20180089881A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
CN109643291A (zh) 用于在虚拟化执行环境中高效使用图形处理资源的方法和设备
US20220358618A1 (en) Handling pipeline submissions across many compute units
CN109690505A (zh) 用于针对虚拟化输入/输出实施方式的混合层地址映射的设备和方法
US11907756B2 (en) Concurrent workload scheduling with multiple level of dependencies
CN109643277A (zh) 用于中介传递和共享存储器页合并的装置和方法
US11776195B2 (en) Techniques to manage execution of divergent shaders
US11580027B2 (en) Multi-tile memory management mechanism
CN113253979A (zh) 用于云游戏的系统架构
US11948017B2 (en) Thread modification to reduce command conversion latency
US20220129323A1 (en) Dynamic load balancing of compute assets among different compute contexts
WO2020107427A1 (en) Apparatus and method for a virtualized display
US11494867B2 (en) Asynchronous execution mechanism
CN110673946A (zh) 在特权域上高效地将工作负荷从用户模式入队到硬件
BR102020019646A2 (pt) aparelho e método para facilitar o particionamento de memória local e unidade de processamento de gráficos
US10937119B2 (en) Apparatus and method for virtualized scheduling of multiple duplicate graphics engines
US11461954B2 (en) Dynamic constant update mechanism
US20210264559A1 (en) Apparatus and method for efficient localdisplay sharing for a virtualized graphics processor
US10803549B1 (en) Systems and method for avoiding duplicative processing during generation of a procedural texture
CN113032159A (zh) 编译器辅助的寄存器堆写入减少
CN116339739A (zh) 用于在图形处理单元上执行的内核源适配
CN116069459A (zh) 使用可变命令列表的可编程gpu命令缓冲器
CN116071216A (zh) 读取采样器反馈技术
US20220309605A1 (en) Tessellation redistribution for reducing latencies in processors
US10929134B2 (en) Execution unit accelerator
CN114518943A (zh) 多片图形处理单元

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant