CN113608787A - 用于高效使用alu的对分歧的通道的压缩 - Google Patents

Abstract

本文描述了一种加速器设备，其中实现对并行处理器的分歧的通道的压缩以增加ALU的利用效率。一个实施例提供了一种加速器设备，包括：主机接口，与主机接口耦合的结构互连，以及与结构互连耦合的一个或多个硬件分片，一个或多个硬件分片包括被配置为实现对分歧的通道的压缩的并行处理架构。

Description

用于高效使用ALU的对分歧的通道的压缩

交叉引用

本申请要求享有于2020年5月6日提交的印度临时专利申请第202041019062号的优先权，该申请由此通过引用合并于此。

背景技术

在单指令多数据(SIMD)处理引擎中，SIMD通道间的分歧会导致使用ALU时效率低下。分歧的通道在执行期间被掩蔽，并且导致ALU利用率不佳。更宽的SIMD架构对于GPU来说越来越普遍，以减小芯片面积。利用更宽的SIMD架构，分歧以及由此ALU的不佳利用率的可能性变高。

附图说明

因此，可以通过参考实施例获得可以详细地理解本发明的上面引述的特征的方式、上面简要概述的对实施例更具体的描述，实施例中的一些在附图中示出。然而，应该注意到附图仅示出了典型的实施例，因此不应该被认为限制其范围。

图1是根据实施例的处理系统的框图；

图2A-2D示出了由本文描述的实施例提供的计算系统和图形处理器；

图3A-3C示出了由本文描述的实施例提供的附加图形处理器和计算加速器架构的框图；

图4是根据一些实施例的图形处理器的图形处理引擎410的框图；

图5A-5B示出了根据本文描述的实施例的线程执行逻辑，该线程执行逻辑包括在图形处理器核心中采用的处理元件的阵列；

图6示出了根据实施例的附加执行单元；

图7是示出根据一些实施例的图形处理器指令格式的框图；

图8是根据另一实施例的图形处理器的框图；

图9A-9B示出了根据一些实施例的图形处理器命令格式和命令序列；

图10示出了根据一些实施例的用于数据处理系统的示例性图形软件架构；

图11A是示出根据实施例的IP核心开发系统的框图；

图11B示出了根据本文描述的一些实施例的集成电路封装组装件的横截面侧视图；

图11C示出了包括连接至衬底的硬件逻辑小芯片的多个单元的封装组装件；

图11D示出了根据实施例的包括可互换小芯片的封装组装件；

图12是示出根据实施例的可以使用一个或多个IP核心来制造的示例性片上系统集成电路的框图；

图13A-13B是示出根据本文描述的实施例的用于在SoC内使用的示例性图形处理器的框图；

图14是根据实施例的数据处理系统的框图；

图15示出了具有IF和ELSE块的分歧代码的示例；

图16示出了分歧代码的执行；

图17示出了分歧代码的压缩；

图18示出了实现针对分歧代码压缩SIMD通道的硬件；

图19示出了用于针对分歧代码压缩SIMD通道的方法；以及

图20是根据实施例的包括图形处理器的计算设备的框图。

具体实施方式

本文描述的是用于实现对分歧的SIMD通道的压缩以增加ALU利用的效率的设备、系统和方法。

出于解释的目的，阐述了许多具体细节以提供对下面描述的各种实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节中的一些的情况下实践这些实施例。在其他实例中，以框图形式示出了公知的结构和设备，以避免模糊基本原理，并且提供对实施例的更透彻的理解。尽管参考图形处理器描述了以下实施例中的一些，但是本文所描述的技术和教导可以应用于各种类型的电路或半导体器件，包括通用处理设备或图形处理设备。本文对“一个实施例”或“实施例”的引用表示结合实施例或与实施例相关联地描述的特定特征、结构或特性可以包括在这样的实施例中的至少一个中。然而，在说明书中各处出现的短语“在一个实施例中”并不一定都指代同一实施例。

在以下说明书和所附权利要求书中，可以使用术语“耦合”和“连接”以及其派生词。应该理解的是，这些术语并不旨在作为彼此的同义词。“耦合”用于指示可以或可以不彼此直接物理接触或电接触的两个或更多个元件彼此协作或相互作用。“连接”用于指示在彼此耦合的两个或更多个元件之间建立通信。

在下面的描述中，图1至图13A-13B提供了对包含或涉及各种实施例的示例性数据处理系统和图形处理器逻辑的概述。图14-18提供了各种实施例的具体细节。参考图形处理器描述了以下实施例的一些方面，而关于诸如中央处理单元(CPU)之类的通用处理器描述了其他方面。类似的技术和教导可以应用于其他类型的电路或半导体器件，包括但不限于现场可编程门阵列(FPGA)的一个或多个实例或多集成核心处理器、GPU集群。通常，这些教导适用于操纵或处理图像(例如，样本、像素)、顶点数据或几何数据或者执行针对机器学习和高性能计算应用的并行处理操作的任何处理器或机器。

系统总览

图1是根据实施例的处理系统100的框图。系统100可以用于单处理器台式系统、多处理器工作站系统或具有大量处理器102或处理器核心107的服务器系统中。在一个实施例中，系统100是包含于在移动、手持或嵌入设备中使用的片上系统(SoC)集成电路内的处理平台，例如，在具有到局域网或广域网的有线或无线连接的物联网(IoT)设备内。

在一个实施例中，系统100可以包括以下各项、与以下各项耦合或集成在以下各项内：基于服务器的游戏平台；游戏控制台，包括游戏和媒体控制台；移动游戏控制台，手持游戏控制台或在线游戏控制台。在一些实施例中，系统100是具有低内部存储容量的移动电话、智能电话、平板计算设备或诸如膝上型计算机之类的移动互联网连接设备的一部分。处理系统100还可以包括以下各项、与以下各项耦合或集成在以下各项内：可穿戴设备，例如，智能手表可穿戴设备；利用增强现实(AR)或虚拟现实(VR)特征增强以提供视觉、音频或触觉输出来补充现实世界视觉、音频或触觉体验或者以其他方式提供文本、音频、图形、视频、全息图像或视频或者触觉反馈的智能眼镜或服装；其他增强现实(AR)设备；或其他虚拟现实(VR)设备。在一些实施例中，处理系统100包括电视或机顶盒设备或是电视或机顶盒设备的一部分。在一个实施例中，系统100可以包括以下各项、与以下各项耦合或集成在以下各项内：自动驾驶交通工具，例如，公共汽车、拖拉机拖车、汽车、电动机或电动自行车、飞机或滑翔机(或其任何组合)。自动驾驶交通工具可以使用系统100来处理在交通工具周围感测到的环境。

在一些实施例中，一个或多个处理器102各自包括用于处理指令的一个或多个处理器核心107，该指令在被执行时执行针对系统或用户软件的操作。在一些实施例中，一个或多个处理器核心107中的至少一个被配置用于处理特定的指令集109。在一些实施例中，指令集109可以促进复杂指令集计算(CISC)、精简指令集计算(RISC)或经由超长指令字(VLIW)的计算。一个或多个处理器核心107可以处理不同的指令集109，不同的指令集109可以包括用于促进对其他指令集的模拟的指令。处理器核心107还可以包括其他处理设备，例如，数字信号处理器(DSP)。

在一些实施例中，处理器102包括高速缓冲存储器104。取决于架构，处理器102可以具有单个内部高速缓存或多个级别的内部高速缓存。在一些实施例中，高速缓冲存储器在处理器102的各种组件之间共享。在一些实施例中，处理器102还使用外部高速缓存(例如，3级(L3)高速缓存或最后一级高速缓存(LLC))(未示出)，其可以使用已知的高速缓存一致性技术在处理器核心107之间共享。另外，寄存器文件106可以包括在处理器102中，并且寄存器文件106可以包括用于存储不同类型数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器)。一些寄存器可以是通用寄存器，而其他寄存器可以是特定于处理器102的设计的。

在一些实施例中，一个或多个处理器102与一个或多个接口总线110耦合，以在处理器102与系统100中的其他组件之间传输诸如地址信号、数据信号或控制信号之类的通信信号。在一个实施例中，接口总线110可以是处理器总线，例如，直接媒体接口(DMI)总线的版本。然而，处理器总线不限于DMI总线，并且可以包括一个或多个外围组件互连总线(例如，PCI、PCI express)、存储器总线或其他类型的接口总线。在一个实施例中，(多个)处理器102包括集成存储器控制器116和平台控制器中心130。存储器控制器116促进存储器设备与系统100的其他组件之间的通信，而平台控制器中心(PCH)130提供经由本地I/O总线与I/O设备的连接。

存储器设备120可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪速存储器设备、相变存储器设备或具有合适性能以用作进程存储器的某种其他存储器设备。在一个实施例中，存储器设备120可以作为系统100的系统存储器操作，以存储数据122和指令121，以便在一个或多个处理器102执行应用或进程时使用。存储器控制器116还与可选的外部图形处理器118耦合，该外部图形处理器118可以与处理器102中的一个或多个图形处理器108通信以执行图形操作和媒体操作。在一些实施例中，图形、媒体和/或计算操作可以由加速器112辅助，该加速器是可以被配置为执行一组专门的图形、媒体或计算操作的协处理器。例如，在一个实施例中，加速器112是用于优化机器学习或计算操作的矩阵乘法加速器。在一个实施例中，加速器112是光线跟踪加速器，其可以用于与图形处理器108一致地执行光线跟踪操作。在一个实施例中，外部加速器119可以代替加速器112使用或与加速器112一致地使用。

在一些实施例中，显示设备111可以连接到(多个)处理器102。显示设备111可以是内部显示设备(如在移动电子设备或膝上型设备中)或者经由显示接口(例如，显示端口(DisplayPort)等)附接的外部显示设备中的一个或多个。在一个实施例中，显示设备111可以是头戴式显示器(HMD)，例如，用于虚拟现实(VR)应用或增强现实(AR)应用的立体显示设备。

在一些实施例中，平台控制器中心130使得外围设备能够经由高速I/O总线连接到存储器设备120和处理器102。I/O外围设备包括但不限于音频控制器146、网络控制器134、固件接口128、无线收发器126、触摸传感器125、数据存储设备124(例如，非易失性存储器、易失性存储器、硬盘驱动器、闪速存储器、NAND、3D NAND、3D XPoint等)。数据存储设备124可以经由存储接口(例如，SATA)或经由外围总线(例如，外围组件互连总线(例如，PCI、PCIexpress))连接。触摸传感器125可以包括触摸屏传感器、压力传感器或指纹传感器。无线收发器126可以是Wi-Fi收发器、蓝牙收发器或诸如3G、4G、5G或长期演进(LTE)收发器之类的移动网络收发器。固件接口128实现与系统固件的通信，并且可以是例如统一可扩展固件接口(UEFI)。网络控制器134可以实现与有线网络的网络连接。在一些实施例中，高性能网络控制器(未示出)与接口总线110耦合。在一个实施例中，音频控制器146是多通道高清晰度音频控制器。在一个实施例中，系统100包括用于将传统(例如，个人系统2(PS/2))设备与系统耦合的可选的传统I/O控制器140。平台控制器中心130还可以连接到一个或多个通用串行总线(USB)控制器142以连接输入设备，例如，键盘和鼠标143组合、相机144或其他USB输入设备。

将要认识到的是，所示的系统100是示例性的而非限制性的，因为还可以使用被不同配置的其他类型的数据处理系统。例如，存储器控制器116和平台控制器中心130的实例可以集成到分立的外部图形处理器(例如，外部图形处理器118)中。在一个实施例中，平台控制器中心130和/或存储器控制器116可以在一个或多个处理器102的外部。例如，系统100可以包括外部存储器控制器116和平台控制器中心130，其可以被配置作为在与(多个)处理器102通信的系统芯片组内的存储器控制器中心和外围控制器中心。

例如，可以使用其上放置有诸如CPU、存储器和其他组件之类的组件的电路板(“托架(sled)”)，其被设计用于提高热性能。在一些示例中，诸如处理器之类的处理组件位于托架的顶部，而附近存储器(例如，DIMM)位于托架的底部。由于该设计提供了增强的气流，因此这些组件可以以比典型系统更高的频率和功率水平操作，由此提高性能。此外，托架被配置为与机架中的电力和数据通信电缆盲配合，由此增强了它们被快速移除、升级、重新安装和/或替换的能力。类似地，位于托架上的个体组件(例如，处理器、加速器、存储器和数据存储驱动器)被配置为由于它们彼此的间隔增加而易于升级。在说明性实施例中，组件另外包括硬件证明特征以证明其真实性。

数据中心可以利用支持多个其他网络架构(包括以太网和Omni-Path)的单个网络架构(“结构”)。托架可以经由光纤耦合到交换机，与典型的双绞线电缆(例如，类别5、类别5e、类别6等)相比，光纤提供更高的带宽和更低的延迟。由于高带宽、低延迟的互连和网络架构，数据中心在使用中可以将诸如存储器、加速器(例如，GPU、图形加速器、FPGA、ASIC、神经网络和/或人工智能加速器等)以及物理上分解的数据存储驱动器之类的资源池化，并且根据需要将其提供给计算资源(例如，处理器)，从而使得计算资源能够像这些资源在本地一样来访问池化的资源。

电力供应或电源可以向系统100或本文描述的任何组件或系统提供电压和/或电流。在一个示例中，电力供应包括AC到DC(交流到直流)适配器，以插入壁装插座。这样的AC电源可以是可再生能源(例如，太阳能)电源。在一个示例中，电源包括DC电源，例如，外部AC到DC转换器。在一个示例中，电源或电力供应包括无线充电硬件，以经由靠近充电场来充电。在一个示例中，电源可以包括内部电池、交流电源、基于运动的电源、太阳能电源或燃料电池源。

图2A-2D示出了由本文描述的实施例提供的计算系统和图形处理器。图2A-2D中具有与本文任何其他附图的元件相同的附图标记(或名称)的元件可以以与本文别处描述的方式类似的任何方式来操作或起作用，但不限于此。

图2A是具有一个或多个处理器核心202A-202N、集成存储器控制器214和集成图形处理器208的处理器200的实施例的框图。处理器200可以包括附加的核心，该附加的核心多达并且包括由虚线框表示的附加核心202N。处理器核心202A-202N中的每一个包括一个或多个内部高速缓存单元204A-204N。在一些实施例中，每个处理器核心还具有对一个或多个共享高速缓存单元206的访问权。内部高速缓存单元204A-204N和共享高速缓存单元206表示处理器200内的高速缓冲存储器层级。高速缓冲存储器层级可以包括每个处理器核心内的至少一个级别的指令和数据高速缓存以及一个或多个级别的共享中间级别高速缓存，例如，2级(L2)、3级(L3)、4级(L4)或其他级别的高速缓存，其中外部存储器之前的最高级别的高速缓存被分类为LLC。在一些实施例中，高速缓存一致性逻辑维持各种高速缓存单元206和204A-204N之间的一致性。

在一些实施例中，处理器200还可以包括一个或多个总线控制器单元216的集合和系统代理核心210。一个或多个总线控制器单元216管理外围总线的集合(例如，一个或多个PCI或PCI express总线)。系统代理核心210针对各种处理器组件提供管理功能。在一些实施例中，系统代理核心210包括一个或多个集成存储器控制器214以管理对各种外部存储器设备(未示出)的访问。

在一些实施例中，处理器核心202A-202N中的一个或多个包括对同时多线程化的支持。在这样的实施例中，系统代理核心210包括用于在多线程化处理期间协调并操作核心202A-202N的组件。系统代理核心210可以另外地包括功率控制单元(PCU)，其包括用于调节处理器核心202A-202N和图形处理器208的功率状态的逻辑和组件。

在一些实施例中，处理器200另外地包括用于执行图形处理操作的图形处理器208。在一些实施例中，图形处理器208与共享高速缓存单元206的集合以及包括一个或多个集成存储器控制器214的系统代理核心210耦合。在一些实施例中，系统代理核心210还包括显示控制器211，其用于将图形处理器输出驱动到一个或多个耦合的显示器。在一些实施例中，显示控制器211还可以是经由至少一个互连与图形处理器耦合的单独模块，或者显示控制器211可以集成在图形处理器208内。

在一些实施例中，基于环形的互连单元212用于耦合处理器200的内部组件。然而，可以使用替代的互连单元，例如，点对点互连、交换互连或包括本领域公知的技术的其他技术。在一些实施例中，图形处理器208经由I/O链路213与环形互连212耦合。

示例性I/O链路213表示多种I/O互连中的至少一种，包括促进各种处理器组件与高性能嵌入式存储器模块218(例如，eDRAM模块)之间的通信的封装上I/O互连。在一些实施例中，处理器核心202A-202N中的每一个和图形处理器208能够使用嵌入式存储器模块218作为共享的最后一级高速缓存。

在一些实施例中，处理器核心202A-202N是执行相同指令集架构的同构核心。在另一实施例中，处理器核心202A-202N在指令集架构(ISA)方面是异构的，其中处理器核心202A-202N中的一个或多个执行第一指令集，而其他核心中的至少一个执行第一指令集的子集或不同的指令集。在一个实施例中，处理器核心202A-202N在微架构方面是异构的，其中具有相对较高功耗的一个或多个核心与具有较低功耗的一个或多个功率核心耦合。在一个实施例中，处理器核心202A-202N在计算能力方面是异构的。另外地，处理器200可以在一个或多个芯片上实现或者实现为具有所示组件以及其他组件的SoC集成电路。

图2B是根据本文描述的一些实施例的图形处理器核心219的硬件逻辑的框图。图2B中具有与本文任何其他附图的元件相同的附图标记(或名称)的元件可以以与本文别处描述的方式类似的任何方式来操作或起作用，但不限于此。图形处理器核心219(有时称为核心切片)可以是模块化图形处理器内的一个或多个图形核心。图形处理器核心219是一个图形核心切片的示例，并且如本文描述的图形处理器可以基于目标功率和性能包络包括多个图形核心切片。每个图形处理器核心219可以包括与多个子核心221A-221F耦合的固定功能块230，该多个子核心221A-221F也被称为子切片，其包括通用逻辑和固定功能逻辑的模块化块。

在一些实施例中，固定功能块230包括几何/固定功能流水线231，例如，在较低性能和/或较低功率的图形处理器实现方式中，该几何/固定功能流水线231可以由图形处理器核心219中的所有子核心共享。在各种实施例中，几何/固定功能流水线231包括3D固定功能流水线(例如，下面描述的如图3A和图4中的3D流水线312)、视频前端单元、线程产生器和线程分派器以及管理统一返回缓冲器(例如，如下面描述的图4中的统一返回缓冲器418)的统一返回缓冲器管理器。

在一个实施例中，固定功能块230还包括图形SoC接口232、图形微控制器233和媒体流水线234。图形SoC接口232在图形处理器核心219和片上系统集成电路内的其他处理器核心之间提供接口。图形微控制器233是可编程的子处理器，其可配置为管理图形处理器核心219的各种功能，包括线程分派、调度和抢占。媒体流水线234(例如，图3A和图4的媒体流水线316)包括用于促进对包括图像和视频数据的多媒体数据进行解码、编码、预处理和/或后处理的逻辑。媒体流水线234经由对子核心221-221F内的计算或采样逻辑的请求来实现媒体操作。

在一个实施例中，SoC接口232使得图形处理器核心219能够与通用应用处理器核心(例如，CPU)和/或SoC内的其他组件通信，该其他组件包括诸如共享的最后一级高速缓冲存储器、系统RAM和/或嵌入式片上或封装上DRAM之类的存储器层级元件。SoC接口232还可以使得能够与SoC内的固定功能设备(例如，相机成像流水线)通信，并且使得能够使用和/或实现可以在图形处理器核心219和SoC内的CPU之间共享的全局存储器原子。SoC接口232还可以实现对图形处理器核心219的功率管理控制，并且实现在图形核心219的时钟域与SoC内的其他时钟域之间的接口。在一个实施例中，SoC接口232使得能够从命令流送器和全局线程分派器接收命令缓冲器，该命令流送器和全局线程分派器被配置为向图形处理器内的一个或多个图形核心中的每一个图形核心提供命令和指令。当要执行媒体操作时，可以将命令和指令分派给媒体流水线234；或者当要执行图形处理操作时，可以将命令和指令分派给几何和固定功能流水线(例如，几何和固定功能流水线231、几何和固定功能流水线237)。

图形微控制器233可以被配置为执行针对图形处理器核心219的各种调度和管理任务。在一个实施例中，图形微控制器233可以在子核心221A-221F内的执行单元(EU)阵列222A-222F、224A-224F内的各种图形并行引擎上执行图形和/或计算工作负荷调度。在该调度模型中，在包括图形处理器核心219的SoC的CPU核心上执行的主机软件可以提交多个图形处理器门铃之一的工作负荷，这在适当的图形引擎上调用调度操作。调度操作包括确定接下来要运行的工作负荷，将工作负荷提交给命令流送器，抢占在引擎上运行的现有工作负荷，监视工作负荷的进度，以及在工作负荷完成时通知主机软件。在一个实施例中，图形微控制器233还可以促进图形处理器核心219的低功率或空闲状态，从而为图形处理器核心219提供独立于操作系统和/或系统上的图形驱动程序软件而跨低功率状态转换保存和恢复图形处理器核心219内的寄存器的能力。

图形处理器核心219可以具有多于或少于所示的子核心221A-221F，多达N个模块化子核心。对于N个子核心的每个集合，图形处理器核心219还可以包括共享功能逻辑235、共享和/或高速缓冲存储器236、几何/固定功能流水线237以及用于加速各种图形和计算处理操作的附加的固定功能逻辑238。共享功能逻辑235可以包括可以由图形处理器核心219内的N个子核心中的每一个共享的、与图4的共享功能逻辑420相关联的逻辑单元(例如，采样器、数学和/或线程间通信逻辑)。共享和/或高速缓冲存储器236可以是用于图形处理器核心219内的N个子核心221A-221F的集合的最后一级高速缓存，并且还可以用作可由多个子核心访问的共享存储器。可以在固定功能块230内包括几何/固定功能流水线237而不是几何/固定功能流水线231，并且几何/固定功能流水线237可以包括相同或相似的逻辑单元。

在一个实施例中，图形处理器核心219包括附加的固定功能逻辑238，其可以包括供图形处理器核心219使用的各种固定功能加速逻辑。在一个实施例中，附加的固定功能逻辑238包括用于仅位置着色的附加的几何流水线。在仅位置着色中，存在两个几何流水线——在几何/固定功能流水线238、231内的完整几何流水线，以及作为可以包含于附加的固定功能逻辑238内的附加几何流水线的剔除(cull)流水线。在一个实施例中，剔除流水线是完整几何流水线的修减版本。完整流水线和剔除流水线可以执行同一应用的不同实例，每个实例具有单独的上下文。仅位置着色可以隐藏丢弃的三角形的长剔除运行(long cullrun)，从而使着色在一些情况下能够更早完成。例如，在一个实施例中，在附加的固定功能逻辑238内的剔除流水线逻辑可以与主应用并行地执行位置着色器，并且通常比完整流水线更快地生成关键结果，因为剔除流水线仅对顶点的位置属性进行获取和着色，而不执行光栅化并且将像素渲染到帧缓冲器。剔除流水线可以使用生成的关键结果来计算所有三角形的可见性信息，而不考虑这些三角形是否被剔除。完整流水线(在这种情况下，可以称为重放流水线)可以消耗可见性信息来跳过剔除的三角形，以仅着色最终被传递给光栅化阶段的可见三角形。

在一个实施例中，附加的固定功能逻辑238还可以包括机器学习加速逻辑(例如，固定功能矩阵乘法逻辑)，以用于包括针对机器学习训练或推理的优化的实现方式。

在每个图形子核心221A-221F内包括执行资源的集合，其可以用于响应于图形流水线、媒体流水线或着色器程序的请求而执行图形、媒体和计算操作。图形子核心221A-221F包括多个EU阵列222A-222F、224A-224F，线程分派和线程间通信(TD/IC)逻辑223A-223F，3D(例如，纹理)采样器225A-225F，媒体采样器206A-206F，着色器处理器227A-227F和共享本地存储器(SLM)228A-228F。EU阵列222A-222F、224A-224F各自包括多个执行单元，这些执行单元是能够执行服务于图形、媒体或计算操作的浮点和整数/定点逻辑运算的通用图形处理单元，包括图形、媒体或计算着色器程序。TD/IC逻辑223A-223F针对子核心内的执行单元执行本地线程分派和线程控制操作，并且促进在子核心的执行单元上执行的线程之间的通信。3D采样器225A-225F可以将与纹理或其他3D图形相关的数据读取到存储器中。3D采样器可以基于配置的样本状态和与给定纹理相关联的纹理格式不同地读取纹理数据。媒体采样器206A-206F可以基于与媒体数据相关联的类型和格式来执行类似的读取操作。在一个实施例中，每个图形子核心221A-221F可以替代地包括统一的3D和媒体采样器。在子核心221A-221F中的每一个内的执行单元上执行的线程可以利用每个子核心内的共享本地存储器228A-228F，以使在线程组内执行的线程能够使用公共的片上存储器的池来执行。

图2C示出了图形处理单元(GPU)239，其包括被布置成多核心组240A-240N的图形处理资源的专用集合。虽然仅提供了单个多核心组240A的细节，但是应当理解，其他多核心组240B-240N可以配备有相同或相似的图形处理资源的集合。

如所示出的，多核心组240A可以包括图形核心的集合243、张量核心的集合244以及光线跟踪核心的集合245。调度器/分派器241调度并分派图形线程以在各种核心243、244、245上执行。寄存器文件的集合242存储在执行图形线程时由核心243、244、245使用的操作数值。这些寄存器文件可以包括：例如，用于存储整数值的整数寄存器，用于存储浮点值的浮点寄存器，用于存储打包数据元素(整数和/或浮点数据元素)的向量寄存器，以及用于存储张量/矩阵值的分片寄存器。在一个实施例中，分片寄存器实现为组合的向量寄存器的集合。

一个或多个组合的级别1(L1)高速缓存和共享存储器单元247在每个多核心组240A内本地存储图形数据，例如，纹理数据、顶点数据、像素数据、光线数据、边界体积数据等。一个或多个纹理单元247也可以用于执行纹理化操作，例如，纹理映射和采样。由全部多核心组240A-240N或多核心组240A-240N的子集共享的级别2(L2)高速缓存253存储图形数据和/或多个并发图形线程的指令。如所示出的，L2高速缓存253可以跨多个多核心组240A-240N共享。一个或多个存储器控制器248将GPU 239耦合到存储器249，该存储器249可以是系统存储器(例如，DRAM)和/或专用图形存储器(例如，GDDR6存储器)。

输入/输出(I/O)电路250将GPU 239耦合到一个或多个I/O设备252，例如，数字信号处理器(DSP)、网络控制器或用户输入设备。片上互连可以用于将I/O设备252耦合到GPU239和存储器249。I/O电路250的一个或多个I/O存储器管理单元(IOMMU)251将I/O设备252直接耦合到系统存储器249。在一个实施例中，IOMMU 251管理页表的多个集合以将虚拟地址映射到系统存储器249中的物理地址。在该实施例中，I/O设备252、(多个)CPU 246和(多个)GPU 239可以共享相同的虚拟地址空间。

在一种实现方式中，IOMMU 251支持虚拟化。在这种情况下，IOMMU251可以管理用于将访客/图形虚拟地址映射到访客/图形物理地址的页表的第一集合，以及用于将访客/图形物理地址映射到(例如，在系统存储器249内的)系统/主机物理地址的页表的第二集合。可以将页表的第一集合和第二集合中的每一个的基地址存储在控制寄存器中，并且在上下文切换时换出(例如，以便向新的上下文提供对页表的相关集合的访问)。虽然在图2C中未示出，但核心243、244、245和/或多核心组240A-240N中的每一个可以包括转换后备缓冲器(TLB)，以缓存访客虚拟到访客物理转换、访客物理到主机物理转换以及访客虚拟到主机物理转换。

在一个实施例中，CPU 246、GPU 239和I/O设备252被集成在单个半导体芯片和/或芯片封装上。所示的存储器249可以被集成在同一芯片上，或者可以经由片外接口耦合到存储器控制器248。在一个实现方式中，存储器249包括GDDR6存储器，该GDDR6存储器与其他物理系统级存储器共享相同的虚拟地址空间，但是本发明的基本原理不限于该特定实现方式。

在一个实施例中，张量核心244包括被专门设计为执行矩阵运算的多个执行单元，该矩阵运算是用于执行深度学习操作的基本计算操作。例如，同时矩阵乘法运算可以用于神经网络训练和推理。张量核心244可以使用各种操作数精度来执行矩阵处理，包括单精度浮点(例如，32位)、半精度浮点(例如，16位)、整数字(16位)、字节(8位)和半字节(4位)。在一个实施例中，神经网络实现方式提取每个渲染的场景的特征，潜在地从多个帧中组合细节，以构造高质量的最终图像。

在深度学习实现方式中，可以调度并行矩阵乘法工作以在张量核心244上执行。神经网络的训练尤其要求大量矩阵点积运算。为了处理NxNxN矩阵乘法的内积公式，张量核心244可以包括至少N个点积处理元件。在矩阵乘法开始之前，将一个完整的矩阵加载到分片寄存器中，并且针对N个周期在每个周期加载第二矩阵的至少一列。每个周期内有N个点积被处理。

取决于特定实现方式，可以以不同的精度存储矩阵元素，包括16位字、8位字节(例如，INT8)和4位半字节(例如，INT4)。可以针对张量核心244指定不同的精度模式，以确保将最有效的精度用于不同的工作负荷(例如，可以容忍量化到字节和半字节的推理工作负荷)。

在一个实施例中，光线跟踪核心245加速用于实时光线跟踪实现方式和非实时光线跟踪实现方式两者的光线跟踪操作。特别地，光线跟踪核心245包括光线遍历/相交电路，用于使用边界体积层级(BVH)来执行光线遍历，并且识别光线与包围在BVH体积内的基元之间的相交。光线跟踪核心245还可以包括用于执行深度测试和剔除(例如，使用Z缓冲器或类似布置)的电路。在一种实现方式中，光线跟踪核心245与本文描述的图像降噪技术一致地执行遍历和相交操作，这些操作的至少一部分可以在张量核心244上执行。例如，在一个实施例中，张量核心244实现深度学习神经网络以对由光线跟踪核心245生成的帧执行降噪。然而，(多个)CPU 246、图形核心243和/或光线跟踪核心245也可以实现降噪和/或深度学习算法的全部或一部分。

另外，如上面描述的，可以采用分布式降噪方法，其中GPU 239位于通过网络或高速互连耦合到其他计算设备的计算设备中。在该实施例中，互连的计算设备共享神经网络学习/训练数据，以改进整个系统学习针对不同类型的图像帧和/或不同图形应用执行降噪的速度。

在一个实施例中，光线跟踪核心245处理所有BVH遍历和光线-基元相交，从而使图形核心243避免因每条光线数千条指令而过载。在一个实施例中，每个光线跟踪核心245包括用于执行边界框测试(例如，用于遍历操作)的专用电路的第一集合，以及用于执行光线-三角形相交测试(例如，使已被遍历的光线相交)的专用电路的第二集合。因此，在一个实施例中，多核心组240A可以简单地发射光线探针，并且光线跟踪核心245独立地执行光线遍历和相交并将命中数据(例如，命中、无命中、多次命中等)返回给线程上下文。在光线跟踪核心245执行遍历和相交操作时，其他核心243、244被释放以执行其他图形或计算工作。

在一个实施例中，每个光线跟踪核心245包括用于执行BVH测试操作的遍历单元和用于执行光线-基元相交测试的相交单元。相交单元生成“命中”、“无命中”或“多次命中”响应，并且将该响应提供给适当的线程。在遍历和相交操作期间，释放其他核心(例如，图形核心243和张量核心244)的执行资源以执行其他形式的图形工作。

在下面描述的一个特定实施例中，使用混合光栅化/光线跟踪方法，其中，工作分布在图形核心243和光线跟踪核心245之间。

在一个实施例中，光线跟踪核心245(和/或其他核心243、244)包括对光线跟踪指令集(例如，Microsoft的DirectX光线跟踪(DXR)，其包括DispatchRays命令)以及光线生成、最接近命中、任何命中和未命中着色器(其使得能够针对每个对象分配着色器和纹理的唯一集合)的硬件支持。可以由光线跟踪核心245、图形核心243和张量核心244支持的另一光线跟踪平台是Vulkan 1.1.85。然而，请注意，本发明的基本原理不限于任何特定的光线跟踪ISA。

通常，各个核心245、244、243可以支持光线跟踪指令集，该光线跟踪指令集包括用于光线生成、最接近命中、任何命中、光线-基元相交、每基元和层级边界框构造、未命中、访问和异常的指令/功能。更具体地，一个实施例包括执行以下功能的光线跟踪指令：

光线生成——可以针对每个像素、样本或其他用户定义的工作分配来执行光线生成指令。

最接近命中——可以执行最接近命中指令以定位光线与场景内的基元的最接近相交点。

任何命中——任何命中指令标识光线与场景内的基元之间的多个相交，以潜在地标识新的最接近相交点。

相交——相交指令执行光线-基元相交测试并输出结果。

每基元边界框构造——该指令围绕给定基元或基元组构建边界框(例如，在构建新的BVH或其他加速数据结构时)。

未命中——指示光线未命中场景或场景的指定区域内的所有几何形状。

访问——指示光线将遍历的子体积。

异常——包括各种类型的异常处理程序(例如，针对各种错误条件而调用)。

图2D是根据本文描述的实施例的可以被配置为图形处理器和/或计算加速器的通用图形处理单元(GPGPU)270的框图。GPGPU 270可以经由一条或多条系统和/或存储器总线与主机处理器(例如，一个或多个CPU 246)和存储器271、272互连。在一个实施例中，存储器271是可以与一个或多个CPU 246共享的系统存储器，而存储器272是专用于GPGPU 270的设备存储器。在一个实施例中，GPGPU 270内的组件和设备存储器272可以被映射到可由一个或多个CPU 246访问的存储器地址。可以经由存储器控制器268来促进对存储器271和272的访问。在一个实施例中，存储器控制器268包括内部直接存储器访问(DMA)控制器269，或可以包括用于执行否则将由DMA控制器执行的操作的逻辑。

GPGPU 270包括多个高速缓冲存储器，包括L2高速缓存253、L1高速缓存254、指令高速缓存255和共享存储器256(其至少一部分也可以被划分为高速缓冲存储器)。GPGPU270还包括多个计算单元260A-260N。每个计算单元260A-260N包括向量寄存器261、标量寄存器262、向量逻辑单元263和标量逻辑单元264的集合。计算单元260A-260N还可以包括本地共享存储器265和程序计数器266。计算单元260A-260N可以与恒定高速缓存267耦合，该恒定高速缓存267可以用于存储恒定数据，该恒定数据是在GPGPU 270上执行的内核或着色器程序的运行期间不会改变的数据。在一个实施例中，恒定高速缓存267是标量数据高速缓存，并且被缓存的数据可以直接获取到标量寄存器262中。

在操作期间，一个或多个CPU 246可以将命令写入已被映射到可访问地址空间的GPGPU 270中的寄存器或存储器中。命令处理器257可以从寄存器或存储器读取命令，并且确定将如何在GPGPU 270内处理这些命令。然后，可以使用线程分派器258将线程分派给计算单元260A-260N以执行这些命令。每个计算单元260A-260N可以独立于其他计算单元执行线程。另外，每个计算单元260A-260N可以被独立地配置用于条件计算，并且可以有条件地将计算结果输出到存储器。当提交的命令完成时，命令处理器257可以中断一个或多个CPU246。

图3A-3C示出了由本文描述的实施例提供的附加图形处理器和计算加速器架构的框图。图3A-3C中具有与本文任何其他附图的元件相同的附图标记(或名称)的元件可以以与本文别处描述的方式类似的任何方式来操作或起作用，但不限于此。

图3A是图形处理器300的框图，该图形处理器300可以是分立的图形处理单元，或者可以是与多个处理核心或其他半导体设备(例如但不限于存储器设备或网络接口)集成的图形处理器。在一些实施例中，图形处理器经由与图形处理器上的寄存器的存储器映射的I/O接口并且利用放置在处理器存储器中的命令进行通信。在一些实施例中，图形处理器300包括用于对存储器进行访问的存储器接口314。存储器接口314可以是与本地存储器、一个或多个内部高速缓存、一个或多个共享外部高速缓存和/或系统存储器的接口。

在一些实施例中，图形处理器300还包括显示控制器302，其用于将显示输出数据驱动到显示设备318。显示控制器302包括用于显示或组成视频或用户界面元素的多个层的一个或多个覆盖平面的硬件。显示设备318可以是内部或外部显示设备。在一个实施例中，显示设备318是头戴式显示设备，例如，虚拟现实(VR)显示设备或增强现实(AR)显示设备。在一些实施例中，图形处理器300包括视频编解码器引擎306，其用于将媒体编码、解码为一种或多种媒体编码格式，将媒体从一种或多种媒体编码格式进行编码、解码或者将媒体在一种或多种媒体编码格式之间进行转码，该一种或多种媒体编码格式包括但不限于运动图像专家组(MPEG)格式(例如，MPEG-2)、高级视频编码(AVC)格式(例如，H.264/MPEG-4AVC，H.265/HEVC，开放媒体联盟(AOMedia)VP8、VP9以及电影电视工程师协会(SMPTE)421M/VC-1)和联合图像专家组(JPEG)格式(例如，JPEG和运动JPEG(MJPEG)格式)。

在一些实施例中，图形处理器300包括块图像传送(BLIT)引擎304，其用于执行二维(2D)光栅化操作，包括例如位边界块传送。然而，在一个实施例中，使用图形处理引擎(GPE)310的一个或多个组件来执行2D图形操作。在一些实施例中，GPE 310是用于执行图形操作的计算引擎，该图形操作包括三维(3D)图形操作和媒体操作。

在一些实施例中，GPE 310包括用于执行3D操作(例如，使用作用于3D基元形状(例如，矩形、三角形等)的处理功能来渲染三维图像和场景)的3D流水线312。3D流水线312包括可编程功能元件和固定功能元件，其执行元件内的各种任务和/或向3D/媒体子系统315产生执行线程。虽然3D流水线312可以用于执行媒体操作，但是GPE 310的实施例还包括媒体流水线316，该媒体流水线316专门用于执行媒体操作，例如，视频后处理和图像增强。

在一些实施例中，媒体流水线316包括固定功能逻辑单元或可编程逻辑单元，以代替或代表视频编解码器引擎306执行一个或多个专用媒体操作，例如，视频解码加速、视频去交织和视频编码加速。在一些实施例中，媒体流水线316另外地包括线程产生单元以产生用于在3D/媒体子系统315上执行的线程。产生的线程在3D/媒体子系统315中包括的一个或多个图形执行单元上执行针对媒体操作的计算。

在一些实施例中，3D/媒体子系统315包括用于执行由3D流水线312和媒体流水线316产生的线程的逻辑。在一个实施例中，流水线将线程执行请求发送到3D/媒体子系统315，该3D/媒体子系统315包括用于对针对可用线程执行资源的各种请求进行仲裁和分派的线程分派逻辑。执行资源包括用于处理3D线程和媒体线程的图形执行单元的阵列。在一些实施例中，3D/媒体子系统315包括用于线程指令和数据的一个或多个内部高速缓存。在一些实施例中，子系统还包括共享存储器，其包括寄存器和可寻址存储器，以在线程之间共享数据并且存储输出数据。

图3B示出了根据本文描述的实施例的具有分片式架构的图形处理器320。在一个实施例中，图形处理器320包括图形处理引擎集群322，其具有图3A的图形处理引擎310在图形引擎分片310A-310D内的多个实例。每个图形引擎分片310A-310D可以经由分片互连的集合323A-323F互连。每个图形引擎分片310A-310D还可以经由存储器互连325A-325D连接到存储器模块或存储器设备326A-326D。存储器设备326A-326D可以使用任何图形存储器技术。例如，存储器设备326A-326D可以是图形双倍数据速率(GDDR)存储器。在一个实施例中，存储器设备326A-326D是高带宽存储器(HBM)模块，其可以与它们相应的图形引擎分片310A-310D一起在管芯上。在一个实施例中，存储器设备326A-326D是可以被堆叠在它们相应的图形引擎分片310A-310D之上的堆叠式存储器设备。在一个实施例中，每个图形引擎分片310A-310D和相关联的存储器326A-326D驻留在单独的小芯片上，该小芯片被结合到基础管芯或基础衬底，如图11B-11D中进一步详细描述的。

图形处理器320可以被配置有非均匀存储器访问(NUMA)系统，其中存储器设备326A-326D与相关联的图形引擎分片310A-310D耦合。给定的存储器设备可以由除了其直接连接的分片之外的图形引擎分片访问。然而，当访问本地分片时，存储器设备326A-326D的访问延迟可以是最低的。在一个实施例中，启用了高速缓存一致性NUMA(ccNUMA)系统，该系统使用分片互连323A-323F来实现在图形引擎分片310A-310D内的高速缓存控制器之间的通信，以在多于一个高速缓存存储相同的存储器单元时保持一致的存储器映像。

图形处理引擎集群322可以与片上或封装上结构互连324连接。结构互连324可以实现在图形引擎分片310A-310D与诸如视频编解码器306和一个或多个复制引擎304之类的组件之间进行通信。复制引擎304可以用于将数据移出、移进存储器设备326A-326D和在图形处理器320外部的存储器(例如，系统存储器)，以及在上述存储器之间移动数据。结构互连324还可以用于互连图形引擎分片310A-310D。图形处理器320可以可选地包括显示控制器302，以实现与外部显示设备318的连接。图形处理器还可以被配置为图形或计算加速器。在加速器配置中，可以省略显示控制器302和显示设备318。

图形处理器320可以经由主机接口328连接到主机系统。主机接口328可以实现在图形处理器320、系统存储器和/或其他系统组件之间的通信。主机接口328可以是例如PCIexpress总线或另一类型的主机系统接口。

图3C示出了根据本文描述的实施例的计算加速器330。计算加速器330可以包括与图3B的图形处理器320的架构相似性，并且是针对计算加速进行优化的。计算引擎集群332可以包括计算引擎分片的集合340A-340D，其包括针对并行的或基于向量的通用计算操作而优化的执行逻辑。在一些实施例中，计算引擎分片340A-340D不包括固定功能图形处理逻辑，但在一个实施例中，计算引擎分片340A-340D中的一个或多个可以包括用于执行媒体加速的逻辑。计算引擎分片340A-340D可以经由存储器互连325A-325D连接到存储器326A-326D。存储器326A-326D和存储器互连325A-325D可以是与图形处理器320中类似的技术，或者可以是不同的。图形计算引擎分片340A-340D还可以经由分片互连的集合323A-323F互连，并且可以与结构互连324连接和/或通过结构互连324互连。在一个实施例中，计算加速器330包括大的L3高速缓存336，其可以被配置为设备范围的高速缓存。计算加速器330还可以以与图3B的图形处理器320类似的方式经由主机接口328连接到主机处理器和存储器。

图形处理引擎

图4是根据一些实施例的图形处理器的图形处理引擎410的框图。在一个实施例中，图形处理引擎(GPE)410是图3A所示的GPE 310的版本，并且还可以表示图3B的图形引擎分片310A-310D。图4中具有与本文任何其他附图的元件相同的附图标记(或名称)的元件可以以与本文别处描述的方式类似的任何方式来操作或起作用，但不限于此。例如，示出了图3的3D流水线312和媒体流水线316。媒体流水线316在GPE 410的一些实施例中是可选的，并且可以不明确地包括在GPE 410内。例如，在至少一个实施例中，单独的媒体和/或图像处理器与GPE 410耦合。

在一些实施例中，GPE 410与命令流送器403耦合或者包括命令流送器403，该命令流送器403向3D流水线312和/或媒体流水线316提供命令流。在一些实施例中，命令流送器403与存储器耦合，该存储器可以是系统存储器或者是内部高速缓冲存储器和共享高速缓冲存储器中的一个或多个。在一些实施例中，命令流送器403接收来自存储器的命令并且将命令发送到3D流水线312和/或媒体流水线316。该命令是从环形缓冲器获取的指令，该环形缓冲器存储用于3D流水线312和媒体流水线316的命令。在一个实施例中，环形缓冲器可以另外地包括存储多个命令的批的批命令缓冲器。用于3D流水线312的命令还可以包括对存储在存储器中的数据的引用，该数据例如但不限于用于3D流水线312的顶点和几何数据和/或用于媒体流水线316的图像数据和存储器对象。3D流水线312和媒体流水线316通过经由相应流水线内的逻辑执行操作或者通过将一个或多个执行线程分派给图形核心阵列414来处理命令和数据。在一个实施例中，图形核心阵列414包括一个或多个图形核心块(例如，(多个)图形核心415A、(多个)图形核心415B)，每个块包括一个或多个图形核心。每个图形核心包括图形执行资源的集合，其包括用于执行图形和计算操作的通用执行逻辑和图形特定执行逻辑，以及固定功能纹理处理和/或机器学习和人工智能加速逻辑。

在各种实施例中，3D流水线312可以包括固定功能逻辑和可编程逻辑，用于通过处理指令以及将执行线程分派给图形核心阵列414来处理一个或多个着色器程序，例如，顶点着色器、几何着色器、像素着色器、片段着色器、计算着色器或其他着色器程序。图形核心阵列414提供统一的执行资源块以用于处理这些着色器程序。图形核心阵列414的(多个)图形核心415A-415B内的多用途执行逻辑(例如，执行单元)包括对各种3D API着色器语言的支持，并且可以执行与多个着色器相关联的多个同时执行线程。

在一些实施例中，图形核心阵列414包括用于执行媒体功能(例如，视频和/或图像处理)的执行逻辑。在一个实施例中，执行单元包括通用逻辑，该通用逻辑可编程为除了图形处理操作之外还执行并行通用计算操作。该通用逻辑可以与图1的(多个)处理器核心107或如图2A中的核心202A-202N内的通用逻辑并行地或相结合地来执行处理操作。

由在图形核心阵列414上执行的线程生成的输出数据可以将数据输出到统一返回缓冲器(URB)418中的存储器。URB 418可以存储用于多个线程的数据。在一些实施例中，URB418可以用于在图形核心阵列414上执行的不同线程之间发送数据。在一些实施例中，URB418可以另外地用于在图形核心阵列上的线程与共享功能逻辑420内的固定功能逻辑之间进行同步。

在一些实施例中，图形核心阵列414是可扩展的，使得阵列包括可变数量的图形核心，每个图形核心基于GPE 410的目标功率和性能水平具有可变数量的执行单元。在一个实施例中，执行资源是可动态扩展的，使得可以根据需要启用或禁用执行资源。

图形核心阵列414与共享功能逻辑420耦合，该共享功能逻辑420包括在图形核心阵列中的图形核心之间共享的多个资源。共享功能逻辑420内的共享功能是向图形核心阵列414提供专用补充功能的硬件逻辑单元。在各种实施例中，共享功能逻辑420包括但不限于采样器421、数学422和线程间通信(ITC)423逻辑。另外地，一些实施例在共享功能逻辑420内实现一个或多个高速缓存425。

至少在针对给定专用功能的需求对于包括在图形核心阵列414内而言不足的情况下实现共享功能。相反，该专用功能的单个实例化在共享功能逻辑420中实现为独立实体，并且在图形核心阵列414内的执行资源之间共享。在图形核心阵列414之间共享并且包括在图形核心阵列414内的功能的精确集合跨实施例而变化。在一些实施例中，共享功能逻辑420内的由图形核心阵列414广泛使用的特定共享功能可以被包括在图形核心阵列414内的共享功能逻辑416内。在各种实施例中，图形核心阵列414内的共享功能逻辑416可以包括共享功能逻辑420内的一些或所有逻辑。在一个实施例中，共享功能逻辑420内的所有逻辑元件可以在图形核心阵列414的共享功能逻辑416内复制。在一个实施例中，共享功能逻辑420被排除以支持图形核心阵列414内的共享功能逻辑416。

执行单元

图5A-5B示出了根据本文描述的实施例的线程执行逻辑500，该线程执行逻辑500包括在图形处理器核心中采用的处理元件的阵列。图5A-5B中具有与本文任何其他附图的元件相同的附图标记(或名称)的元件可以以与本文别处描述的方式类似的任何方式来操作或起作用，但不限于此。图5A-5B示出了线程执行逻辑500的概述，其可以代表图2B的每个子核心221A-221F示出的硬件逻辑。图5A表示在通用图形处理器内的执行单元，而图5B表示可以在计算加速器内使用的执行单元。

如图5A中示出的，在一些实施例中，线程执行逻辑500包括着色器处理器502、线程分派器504、指令高速缓存506、包括多个执行单元508A-508N的可扩展执行单元阵列、采样器510、共享本地存储器511、数据高速缓存512和数据端口514。在一个实施例中，可扩展执行单元阵列可以通过基于工作负荷的计算要求启用或禁用一个或多个执行单元(例如，执行单元508A、508B、508C、508D到508N-1和508N中的任一个)来动态地扩展。在一个实施例中，所包括的组件经由互连结构互连，该互连结构链接到组件中的每一个。在一些实施例中，线程执行逻辑500包括通过指令高速缓存506、数据端口514、采样器510和执行单元508A-508N中的一个或多个与存储器(例如，系统存储器或高速缓冲存储器)的一个或多个连接。在一些实施例中，每个执行单元(例如，508A)是独立的可编程通用计算单元，其能够执行多个同时硬件线程，同时针对每个线程并行处理多个数据元素。在各种实施例中，执行单元508A-508N的阵列是可扩展的，以包括任何数量的单独的执行单元。

在一些实施例中，执行单元508A-508N主要用于执行着色器程序。着色器处理器502可以经由线程分派器504处理各种着色器程序并且分派与着色器程序相关联的执行线程。在一个实施例中，线程分派器包括用于仲裁来自图形流水线和媒体流水线的线程启动请求并且在执行单元508A-508N中的一个或多个执行单元上对所请求的线程进行实例化的逻辑。例如，几何流水线可以将顶点着色器、曲面细分着色器或几何着色器分派给线程执行逻辑以进行处理。在一些实施例中，线程分派器504还可以处理来自执行中的着色器程序的运行时线程产生请求。

在一些实施例中，执行单元508A-508N支持包括对许多标准3D图形着色器指令的本地支持的指令集，使得来自图形库(例如，Direct 3D和OpenGL)的着色器程序在最小转换的情况下执行。执行单元支持顶点和几何处理(例如，顶点程序、几何程序、顶点着色器)、像素处理(例如，像素着色器、片段着色器)和通用处理(例如，计算着色器和媒体着色器)。执行单元508A-508N中的每一个能够进行多次发布单指令多数据(SIMD)执行，并且多线程化操作在面对较高延迟存储器访问时实现高效的执行环境。每个执行单元内的每个硬件线程具有专用的高带宽寄存器文件和相关联的独立线程状态。执行是每时钟多次发布到流水线的，该流水线能够进行整数、单精度和双精度浮点运算，具有SIMD分支能力，能够进行逻辑运算、超越运算和其他杂项运算。在等待来自共享功能中的一个或存储器的数据时，执行单元508A-508N内的相关性逻辑使得等待线程休眠，直到已经返回所请求的数据。在等待线程处于休眠时，硬件资源可能专用于处理其他线程。例如，在与顶点着色器操作相关联的延迟期间，执行单元可以执行针对像素着色器、片段着色器或其他类型的着色器程序(包括不同的顶点着色器)的操作。通过使用单指令多线程(SIMT)来代替使用SIMD或除了使用SIMD外还使用SIMT，各种实施例可以适用于使用执行。对SIMD核心或操作的引用也可以适用于SIMT或适用于SIMD与SIMT结合。

执行单元508A-508N中的每个执行单元对数据元素的阵列进行操作。数据元素的数量是“执行大小”或者用于指令的通道的数量。执行通道是用于数据元素访问、掩蔽和指令内的流控制的逻辑执行单元。通道的数量可以独立于针对特定图形处理器的物理算术逻辑单元(ALU)或浮点单元(FPU)的数量。在一些实施例中，执行单元508A-508N支持整数和浮点数据类型。

执行单元指令集包括SIMD指令。各种数据元素可以作为打包数据类型存储在寄存器中，并且执行单元将基于元素的数据大小来处理各种元素。例如，当对256位宽向量进行操作时，向量的256位存储在寄存器中，并且执行单元按照四个单独的64位打包数据元素(四字(QW)大小数据元素)、八个单独的32位打包数据元素(双字(DW)大小数据元素)、十六个单独的16位打包数据元素(字(W)大小数据元素)或者三十二个单独的8位数据元素(字节(B)大小数据元素)对向量进行操作。然而，不同的向量宽度和寄存器大小是可能的。

在一个实施例中，一个或多个执行单元可以组合成具有线程控制逻辑(507A-507N)的融合执行单元509A-509N，该线程控制逻辑对于融合EU是公共的。多个EU可以融合成EU组。融合EU组中的每个EU可以被配置为执行单独的SIMD硬件线程。融合EU组中的EU的数量可以根据实施例而变化。另外地，可以针对每个EU执行各种SIMD宽度，包括但不限于SIMD8、SIMD16和SIMD32。每个融合图形执行单元509A-509N包括至少两个执行单元。例如，融合执行单元509A包括第一EU 508A、第二EU 508B和线程控制逻辑507A，该线程控制逻辑507A对于第一EU 508A和第二EU508B是公共的。线程控制逻辑507A控制在融合图形执行单元509A上执行的线程，从而允许融合执行单元509A-509N内的每个EU使用公共的指令指针寄存器来执行。

一个或多个内部指令高速缓存(例如，506)被包括在线程执行逻辑500中，以对用于执行单元的线程指令进行缓存。在一些实施例中，一个或多个数据高速缓存(例如，512)被包括以在线程执行期间对线程数据进行缓存。在执行逻辑500上执行的线程也可以将显式管理的数据存储在共享本地存储器511中。在一些实施例中，采样器510被包括以提供用于3D操作的纹理采样和用于媒体操作的媒体采样。在一些实施例中，采样器510包括专用纹理或媒体采样功能，以在采样过程期间在将采样数据提供给执行单元之前对纹理或媒体数据进行处理。

在执行期间，图形流水线和媒体流水线经由线程产生和分派逻辑将线程启动请求发送到线程执行逻辑500。一旦一组几何对象已经被处理并且光栅化为像素数据，则调用着色器处理器502内的像素处理器逻辑(例如，像素着色器逻辑、片段着色器逻辑等)以进一步计算输出信息并使得结果被写入到输出表面(例如，颜色缓冲器、深度缓冲器、模版(stencil)缓冲器等)。在一些实施例中，像素着色器或片段着色器计算要跨光栅化对象进行插值的各种顶点属性的值。在一些实施例中，着色器处理器502内的像素处理器逻辑然后执行应用编程接口(API)——供应的像素或片段着色器程序。为了执行着色器程序，着色器处理器502经由线程分派器504将线程分派给执行单元(例如，508A)。在一些实施例中，着色器处理器502使用采样器510中的纹理采样逻辑来访问存储在存储器中的纹理图中的纹理数据。对纹理数据和输入几何数据进行的算术运算计算每个几何片段的像素颜色数据，或丢弃一个或多个像素以免进一步处理。

在一些实施例中，数据端口514提供用于线程执行逻辑500的存储器访问机制，以将处理后的数据输出到存储器以便在图形处理器输出流水线上进行进一步处理。在一些实施例中，数据端口514包括或耦合到一个或多个高速缓冲存储器(例如，数据高速缓存512)，以经由数据端口对用于存储器访问的数据进行缓存。

在一个实施例中，执行逻辑500还可以包括可以提供光线跟踪加速功能的光线跟踪器505。光线跟踪器505可以支持包括用于光线生成的指令/功能的光线跟踪指令集。光线跟踪指令集可以与由图2C中的光线跟踪核心245所支持的光线跟踪指令集相似或不同。

图5B示出了根据实施例的执行单元508的示例性内部细节。图形执行单元508可以包括指令获取单元537、通用寄存器文件阵列(GRF)524、架构寄存器文件阵列(ARF)526、线程仲裁器522、发送单元530、分支单元532、SIMD浮点单元(FPU)的集合534，并且在一个实施例中包括专用整数SIMD ALU的集合535。GRF 524和ARF 526包括与可以在图形执行单元508中活动的每个同时硬件线程相关联的通用寄存器文件和架构寄存器文件的集合。在一个实施例中，每个线程架构状态在ARF 526中维护，而在线程执行期间使用的数据存储在GRF524中。每个线程的执行状态(包括针对每个线程的指令指针)可以保持在ARF 526中的线程特定的寄存器中。

在一个实施例中，图形执行单元508具有作为同时多线程化(SMT)和细粒度交织多线程化(IMT)的组合的架构。该架构具有模块化配置，该模块化配置可以基于每个执行单元的同时线程的目标数量和寄存器数量在设计时进行微调，其中跨用于执行多个同时线程的逻辑对执行单元资源进行划分。图形执行单元508可以执行的逻辑线程的数量不限于硬件线程的数量，并且可以将多个逻辑线程分配给每个硬件线程。

在一个实施例中，图形执行单元508可以共同发布多个指令，多个指令可以各自是不同的指令。图形执行单元线程508的线程仲裁器522可以将指令分派给发送单元530、分支单元542或(多个)SIMD FPU 534中的一个以用于执行。每个执行线程可以访问GRF 524内的128个通用寄存器，其中每个寄存器可以存储32个字节，该32个字节可以作为32位数据元素的SIMD 8元素向量来访问。在一个实施例中，每个执行单元线程具有对GRF 524内的4KB的访问权，但是实施例不限于此，并且在其他实施例中可以提供更多或更少的寄存器资源。在一个实施例中，图形执行单元508被划分为可以独立执行计算操作的七个硬件线程，但是每个执行单元的线程数量也可以根据实施例而变化。例如，在一个实施例中，支持最多16个硬件线程。在七个线程可以访问4KB的实施例中，GRF 524可以存储总共28KB。在16个线程可以访问4KB的情况下，GRF 524可以存储总共64KB。灵活的寻址模式可以允许寄存器被一起寻址以高效地构建更宽的寄存器或者表示跨步矩形块数据结构。

在一个实施例中，经由消息传递发送单元530执行的“发送”指令来分派存储器操作、采样器操作和其他较长延迟系统通信。在一个实施例中，将分支指令分派给专用分支单元532以促进SIMD发散和最终收敛。

在一个实施例中，图形执行单元508包括一个或多个SIMD浮点单元(FPU)534以执行浮点运算。在一个实施例中，(多个)FPU 534还支持整数计算。在一个实施例中，(多个)FPU 534可以SIMD执行多达数量M个32位浮点(或整数)运算，或者SIMD执行多达2M个16位整数运算或16位浮点运算。在一个实施例中，(多个)FPU中的至少一个提供扩展的数学能力以支持高吞吐量的超越数学函数和双精度64位浮点。在一些实施例中，还存在8位整数SIMDALU的集合535，并且可以专门地对该集合进行优化以执行与机器学习计算相关联的操作。

在一个实施例中，图形执行单元508的多个实例的阵列可以在图形子核心分组(例如，子切片)中实例化。对于可扩展性，产品架构师可以选择每个子核心分组的执行单元的精确数量。在一个实施例中，执行单元508可以跨多个执行通道执行指令。在另一实施例中，在图形执行单元508上执行的每个线程在不同的通道上执行。

图6示出了根据实施例的附加执行单元600。执行单元600可以是用于例如图3C中的计算引擎分片340A-340D中的计算优化的执行单元，但不限于此。执行单元600的变型也可以在图3B中的图形引擎分片310A-310D中使用。在一个实施例中，执行单元600包括线程控制单元601、线程状态单元602、指令获取/预取单元603和指令解码单元604。执行单元600另外地包括寄存器文件606，该寄存器文件606存储可以被分配给执行单元内的硬件线程的寄存器。执行单元600另外地包括发送单元607和分支单元608。在一个实施例中，发送单元607和分支单元608可以与图5B的图形执行单元508的发送单元530和分支单元532类似地操作。

执行单元600还包括计算单元610，其包括多种不同类型的功能单元。在一个实施例中，计算单元610包括ALU单元611，其包括算术逻辑单元的阵列。ALU单元611可以被配置为执行64位、32位和16位整数和浮点运算以及8位整数运算。整数和浮点运算可以同时执行。计算单元610还可以包括脉动阵列(systolic array)612和数学单元613。脉动阵列612包括可以用于以脉动方式执行向量或其他数据并行运算的、宽为W且深为D的数据处理单元的网络。在一个实施例中，脉动阵列612可以被配置为执行矩阵运算，例如，矩阵点积运算。在一个实施例中，脉动阵列612支持16位浮点运算以及8位和4位整数运算。在一个实施例中，脉动阵列612可以被配置为加速机器学习操作。在这样的实施例中，脉动阵列612可以被配置为支持bfloat 16位浮点格式。在一个实施例中，可以包括数学单元613，以便以相比ALU单元611高效且低功率的方式执行数学运算的特定子集。数学单元613可以包括可以在由其他实施例提供的图形处理引擎的共享功能逻辑中找到的数学逻辑的变型(例如，图4的共享功能逻辑420的数学逻辑422)。在一个实施例中，数学单元613可以被配置为执行32位和64位浮点运算。

线程控制单元601包括用于控制执行单元内线程的执行的逻辑。线程控制单元601可以包括线程仲裁逻辑，以开始、停止和抢占执行单元600内线程的执行。线程状态单元602可以用于存储被分配以在执行单元600上执行的线程的线程状态。在执行单元600内存储线程状态使得当线程变得阻塞或空闲时，能够快速抢占这些线程。指令获取/预取单元603可以从更高级别的执行逻辑的指令高速缓存(例如，如图5A中的指令高速缓存506)获取指令。指令获取/预取单元603还可以基于对当前执行的线程的分析，发出对要加载到指令高速缓存中的指令的预取请求。指令解码单元604可以用于解码要由计算单元执行的指令。在一个实施例中，指令解码单元604可以用作辅助解码器，以将复杂指令解码为组成的微操作。

执行单元600另外包括可以由在执行单元600上执行的硬件线程使用的寄存器文件606。在寄存器文件606中的寄存器可以跨用于执行执行单元600的计算单元610内的多个同时线程的逻辑进行划分。可以由图形执行单元600执行的逻辑线程的数量不限于硬件线程的数量，并且可以将多个逻辑线程分配给每个硬件线程。寄存器文件606的大小可以基于所支持的硬件线程的数量而跨实施例变化。在一个实施例中，寄存器重命名可以用于动态地将寄存器分配给硬件线程。

图7是示出根据一些实施例的图形处理器指令格式700的框图。在一个或多个实施例中，图形处理器执行单元支持具有多种格式的指令的指令集。实线框示出了通常被包括在执行单元指令中的组件，而虚线包括可选的或仅包括在指令的子集中的组件。在一些实施例中，所描述并示出的指令格式700是宏指令，因为指令格式700是供应给执行单元的指令，而不是一旦指令被处理就由指令解码产生的微操作。

在一些实施例中，图形处理器执行单元本地地支持属于128位指令格式710的指令。基于所选定的指令、指令选项和操作数的数量，64位压缩指令格式730可用于某些指令。本地的128位指令格式710提供对所有指令选项的访问权，而在64位格式730中某些选项和操作受到限制。64位格式730中可用的本地指令因实施例而异。在一些实施例中，使用索引字段713中的索引值的集合来部分地压缩指令。执行单元硬件基于索引值引用压缩表的集合，并且使用压缩表输出来重构属于128位指令格式710的本地指令。可以使用指令的其他大小和格式。

对于每种格式，指令操作码712定义执行单元要执行的操作。执行单元跨每个操作数的多个数据元素并行地执行每条指令。例如，响应于相加指令，执行单元跨表示纹理元素或图片元素的每个颜色通道执行同时相加运算。默认情况下，执行单元跨操作数的所有数据通道执行每条指令。在一些实施例中，指令控制字段714实现对某些执行选项(例如，通道选择(例如，预测)和数据通道顺序(例如，混合(swizzle))的控制。对于属于128位指令格式710的指令，执行大小(exec-size)字段716限制将要并行执行的数据通道的数量。在一些实施例中，执行大小字段716不可用于64位压缩指令格式730。

一些执行单元指令具有多达三个操作数，包括两个源操作数src0 720、src1 722和一个目的地718。在一些实施例中，执行单元支持双目的地指令，其中目的地中的一个是隐含的。数据操纵指令可以具有第三个源操作数(例如，SRC2 724)，其中指令操作码712确定源操作数的数量。指令的最后一个源操作数可以是与指令一起传递的立即数(例如，硬编码的)值。

在一些实施例中，128位指令格式710包括访问/寻址模式字段726，该访问/寻址模式字段726指定例如是使用直接寄存器寻址模式还是间接寄存器寻址模式。当使用直接寄存器寻址模式时，一个或多个操作数的寄存器地址由指令中的位直接提供。

在一些实施例中，128位指令格式710包括访问/寻址模式字段726，该访问/寻址模式字段726指定指令的寻址模式和/或访问模式。在一个实施例中，访问模式用于定义指令的数据访问对齐。一些实施例支持包括16字节对齐的访问模式和1字节对齐的访问模式的访问模式，其中访问模式的字节对齐确定指令操作数的访问对齐。例如，当处于第一模式时，指令可以针对源操作数和目的地操作数使用字节对齐的寻址，并且当处于第二模式时，指令可以针对所有源操作数和目的地操作数使用16字节对齐的寻址。

在一个实施例中，访问/寻址模式字段726的寻址模式部分确定指令是要使用直接寻址还是间接寻址。当使用直接寄存器寻址模式时，指令中的位直接提供一个或多个操作数的寄存器地址。当使用间接寄存器寻址模式时，可以基于指令中的地址寄存器值和地址立即数字段来计算一个或多个操作数的寄存器地址。

在一些实施例中，基于操作码712位字段对指令进行分组以简化操作码解码740。对于8位操作码，位4、5和6允许执行单元确定操作码的类型。所示的精确操作码分组仅是示例。在一些实施例中，移动和逻辑操作码分组742包括数据移动和逻辑指令(例如，移动(mov)、比较(cmp))。在一些实施例中，移动和逻辑分组742共享五个最高有效位(MSB)，其中移动(mov)指令是以0000xxxxb的形式，并且逻辑指令是以0001xxxxb的形式。流控制指令分组744(例如，调用、跳转(jmp))包括以0010xxxxb的形式(例如，0x20)的指令。杂项指令分组746包括指令的混合，包括以0011xxxxb的形式(例如，0x30)的同步指令(例如，等待、发送)。并行数学指令分组748包括以0100xxxxb的形式(例如，0x40)的按分量算术指令(例如，相加、相乘(mul))。并行数学分组748跨数据通道并行地执行算术运算。向量数学分组750包括以0101xxxxb的形式(例如，0x50)的算术指令(例如，dp4)。向量数学分组对向量操作数执行诸如点积计算之类的算术。在一个实施例中，所示的操作码解码740可以用于确定将使用执行单元的哪一部分来执行解码的指令。例如，一些指令可以被指定为将由脉动阵列执行的脉动指令。诸如光线跟踪指令(未示出)之类的其他指令可以被路由到在执行逻辑的切片或分区内的光线跟踪核心或光线跟踪逻辑。

图形流水线

图8是图形处理器800的另一实施例的框图。图8中具有与本文任何其他附图的元件相同的附图标记(或名称)的元件可以以与本文别处描述的方式类似的任何方式来操作或起作用，但不限于此。

在一些实施例中，图形处理器800包括几何流水线820、媒体流水线830、显示引擎840、线程执行逻辑850和渲染输出流水线870。在一些实施例中，图形处理器800是在包括一个或多个通用处理核心的多核心处理系统内的图形处理器。图形处理器通过寄存器写入一个或多个控制寄存器(未示出)或通过经由环形互连802发布到图形处理器800的命令来控制。在一些实施例中，环形互连802将图形处理器800与其他处理组件(例如，其他图形处理器或通用处理器)耦合。来自环形互连802的命令由命令流送器803解释，该命令流送器803向几何流水线820或媒体流水线830的单独的组件提供指令。

在一些实施例中，命令流送器803指示顶点获取器805从存储器读取顶点数据并且执行由命令流送器803提供的顶点处理命令的操作。在一些实施例中，顶点获取器805将顶点数据提供给顶点着色器807，该顶点着色器807对每个顶点执行坐标空间变换和光照操作。在一些实施例中，顶点获取器805和顶点着色器807通过经由线程分派器831将执行线程分派给执行单元852A-852B来执行顶点处理指令。

在一些实施例中，执行单元852A-852B是具有用于执行图形和媒体操作的指令集的向量处理器的阵列。在一些实施例中，执行单元852A-852B具有附接的L1高速缓存851，该L1高速缓存851特定于每个阵列或在阵列之间共享。可以将高速缓存配置为数据高速缓存、指令高速缓存或被分区以在不同分区中包含数据和指令的单个高速缓存。

在一些实施例中，几何流水线820包括曲面细分组件以执行对3D对象的硬件加速的曲面细分。在一些实施例中，可编程外壳着色器811对曲面细分操作进行配置。可编程域着色器817提供对曲面细分输出的后端评估。曲面细分器813在外壳着色器811的命令下操作，并且包含专用逻辑以基于作为输入提供给几何流水线820的粗略几何模型来生成详细几何对象的集合。在一些实施例中，如果不使用曲面细分，则可以绕过曲面细分组件(例如，外壳着色器811、曲面细分器813和域着色器817)。

在一些实施例中，完整的几何对象可以通过几何着色器819经由分派给执行单元852A-852B的一个或多个线程来处理，或者完整的几何对象可以直接进行到剪切器829。在一些实施例中，几何着色器对整个几何对象进行操作，而不是如在图形流水线的先前阶段中对顶点或顶点的图像块(patch)进行操作。如果曲面细分被禁用，则几何着色器819接收来自顶点着色器807的输入。在一些实施例中，如果曲面细分单元被禁用，则几何着色器819可以由几何着色器程序编程以执行几何曲面细分。

在光栅化之前，剪切器829处理顶点数据。剪切器829可以是固定功能剪切器或具有剪切和几何着色器功能的可编程剪切器。在一些实施例中，渲染输出流水线870中的光栅化器和深度测试组件873分派像素着色器以将几何对象转换为每像素表示。在一些实施例中，像素着色器逻辑被包括在线程执行逻辑850中。在一些实施例中，应用可以绕过光栅化器和深度测试组件873并且经由流输出单元823访问未光栅化的顶点数据。

图形处理器800具有互连总线、互连结构或者允许在处理器的主要组件之间进行数据和消息传递的某种其他互连机制。在一些实施例中，执行单元852A-852B和相关联的逻辑单元(例如，L1高速缓存851、采样器854、纹理高速缓存858等)经由数据端口856互连，以执行存储器访问并且与处理器的渲染输出流水线组件通信。在一些实施例中，采样器854、高速缓存851、高速缓存858和执行单元852A-852B各自具有单独的存储器访问路径。在一个实施例中，纹理高速缓存858还可以被配置为采样器高速缓存。

在一些实施例中，渲染输出流水线870包含光栅化器和深度测试组件873，该光栅化器和深度测试组件873将基于顶点的对象转换为相关联的基于像素的表示。在一些实施例中，光栅化器逻辑包括用于执行固定功能三角形和线光栅化的加窗器/掩蔽器单元。相关联的渲染高速缓存878和深度高速缓存879在一些实施例中也是可用的。像素操作组件877对数据执行基于像素的操作，但是在一些情况下，与2D操作相关联的像素操作(例如，具有混合的位块图像传送)由2D引擎841执行，或者在显示时由显示控制器843使用覆盖显示平面代替。在一些实施例中，共享L3高速缓存875可用于所有图形组件，从而允许在不使用主系统存储器的情况下共享数据。

在一些实施例中，图形处理器媒体流水线830包括媒体引擎837和视频前端834。在一些实施例中，视频前端834接收来自命令流送器803的流水线命令。在一些实施例中，媒体流水线830包括单独的命令流送器。在一些实施例中，视频前端834在将命令发送到媒体引擎837之前处理媒体命令。在一些实施例中，媒体引擎837包括线程产生功能以产生线程以供经由线程分派器831分派给线程执行逻辑850。

在一些实施例中，图形处理器800包括显示引擎840。在一些实施例中，显示引擎840在处理器800外部，并且经由环形互连802或某种其他互连总线或结构与图形处理器耦合。在一些实施例中，显示引擎840包括2D引擎841和显示控制器843。在一些实施例中，显示引擎840包含能够独立于3D流水线操作的专用逻辑。在一些实施例中，显示控制器843与显示设备(未示出)耦合，该显示设备可以是系统集成显示设备(如在膝上型计算机中)或者经由显示设备连接器附接的外部显示设备。

在一些实施例中，几何流水线820和媒体流水线830可配置为基于多个图形和媒体编程接口执行操作，并且不特定于任何一个应用编程接口(API)。在一些实施例中，用于图形处理器的驱动软件将特定于特定图形或媒体库的API调用转换为可以由图形处理器处理的命令。在一些实施例中，为开放图形库(OpenGL)、开放计算语言(OpenCL)和/或Vulkan图形和计算API(其全部来自Khronos Group)提供支持。在一些实施例中，还可以为来自Microsoft公司的Direct3D库提供支持。在一些实施例中，可以支持这些库的组合。还可以为开源计算机视觉库(OpenCV)提供支持。如果可以进行从具有兼容3D流水线的未来API的流水线到图形处理器的流水线的映射，则还将支持未来API。

图形流水线编程

图9A是示出根据一些实施例的图形处理器命令格式900的框图。图9B是示出根据实施例的图形处理器命令序列910的框图。图9A中的实线框示出了通常被包括在图形命令中的组件，而虚线包括可选的或仅包括在图形命令的子集中的组件。图9A的示例性图形处理器命令格式900包括用于识别客户端902、命令操作代码(操作码)904以及用于命令的数据906的数据字段。在一些命令中还包括子操作码905和命令大小908。

在一些实施例中，客户端902指定图形设备的处理命令数据的客户端单元。在一些实施例中，图形处理器命令解析器检查每个命令的客户端字段以调节对命令的进一步处理并且将命令数据路由到适当的客户端单元。在一些实施例中，图形处理器客户端单元包括存储器接口单元、渲染单元、2D单元、3D单元和媒体单元。每个客户端单元具有处理命令的对应的处理流水线。一旦由客户端单元接收到命令，则客户端单元读取操作码904，并且如果子操作码905存在，则读取子操作码905以确定要执行的操作。客户端单元使用数据字段906中的信息来执行命令。对于一些命令，预期显式命令大小908指定命令的大小。在一些实施例中，命令解析器基于命令操作码自动地确定命令中的至少一些的大小。在一些实施例中，命令经由双字的倍数对齐。可以使用其他命令格式。

图9B中的流程图示出了示例性图形处理器命令序列910。在一些实施例中，以图形处理器的实施例为特征的数据处理系统的软件或固件使用所示的命令序列的版本来建立、执行和终止图形操作的集合。仅出于示例的目的示出并描述了样本命令序列，因为实施例不限于这些特定命令或该命令序列。此外，命令可以作为命令序列中的命令批而发布，使得图形处理器将至少部分地同时处理命令的序列。

在一些实施例中，图形处理器命令序列910可以开始于流水线刷新命令912，以使得任何活动的图形流水线完成流水线的当前未决的命令。在一些实施例中，3D流水线922和媒体流水线924不并发地操作。执行流水线刷新以使得活动的图形流水线完成任何未决的命令。响应于流水线刷新，图形处理器的命令解析器将暂停命令处理，直到活动的绘图引擎完成未决的操作并且相关的读取高速缓存是无效的。可选地，渲染高速缓存中标记为“脏”的任何数据可以被刷新到存储器。在一些实施例中，流水线刷新命令912可以用于流水线同步或者在将图形处理器置于低功率状态之前使用。

在一些实施例中，当命令序列要求图形处理器显式地在流水线之间切换时，使用流水线选择命令913。在一些实施例中，在发布流水线命令之前，除非上下文要发布针对两个流水线的命令，否则在执行上下文内仅要求一次流水线选择命令913。在一些实施例中，紧接在经由流水线选择命令913进行流水线切换之前要求流水线刷新命令912。

在一些实施例中，流水线控制命令914对用于操作的图形流水线进行配置，并且流水线控制命令914用于对3D流水线922和媒体流水线924进行编程。在一些实施例中，流水线控制命令914对活动流水线的流水线状态进行配置。在一个实施例中，流水线控制命令914用于流水线同步，并且在处理命令批之前在活动流水线内从一个或多个高速缓冲存储器清除数据。

在一些实施例中，返回缓冲器状态命令916用于针对相应的流水线配置返回缓冲器的集合以写入数据。某些流水线操作要求分配、选择或配置一个或多个返回缓冲器，在处理期间操作将中间数据写入该一个或多个返回缓冲器中。在一些实施例中，图形处理器还使用一个或多个返回缓冲器来存储输出数据并执行跨线程通信。在一些实施例中，返回缓冲器状态916包括选择要用于流水线操作的集合的返回缓冲器的大小和数量。

命令序列中的其余命令基于用于操作的活动流水线而不同。基于流水线确定920，命令序列被定制用于开始于3D流水线状态930的3D流水线922，或者开始于媒体流水线状态940的媒体流水线924。

用于配置3D流水线状态930的命令包括针对顶点缓冲器状态、顶点元素状态、恒定颜色状态、深度缓冲器状态以及在处理3D基元命令之前要配置的其他状态变量的3D状态设置命令。这些命令的值至少部分地基于使用中的特定3D API来确定。在一些实施例中，如果将不使用某些流水线元素，则3D流水线状态930命令也能够选择性地禁用或绕过这些流水线元素。

在一些实施例中，3D基元932命令用于提交要由3D流水线处理的3D基元。经由3D基元932命令传递到图形处理器的命令和相关联的参数被转发到图形流水线中的顶点获取功能。顶点获取功能使用3D基元932命令数据来生成顶点数据结构。顶点数据结构存储在一个或多个返回缓冲器中。在一些实施例中，3D基元932命令用于经由顶点着色器对3D基元执行顶点操作。为了处理顶点着色器，3D流水线922将着色器执行线程分派给图形处理器执行单元。

在一些实施例中，经由执行934命令或事件来触发3D流水线922。在一些实施例中，寄存器写入触发命令执行。在一些实施例中，经由命令序列中的“go”或“kick”命令触发执行。在一个实施例中，使用流水线同步命令来触发命令执行，以刷新命令序列通过图形流水线。3D流水线将执行针对3D基元的几何处理。一旦操作完成，产生的几何对象就被光栅化，并且像素引擎对产生的像素进行上色。针对这些操作，还可以包括用于控制像素着色和像素后端操作的附加命令。

在一些实施例中，当执行媒体操作时，图形处理器命令序列910遵循媒体流水线924路径。通常，针对媒体流水线924的特定用途和编程方式取决于要执行的媒体操作或计算操作。在媒体解码期间，可以将特定媒体解码操作卸载到媒体流水线。在一些实施例中，还可以绕过媒体流水线，并且可以使用由一个或多个通用处理核心提供的资源来全部或部分地执行媒体解码。在一个实施例中，媒体流水线还包括用于通用图形处理器单元(GPGPU)操作的元件，其中图形处理器用于使用与对图形基元的渲染不显式相关的计算着色器程序来执行SIMD向量操作。

在一些实施例中，媒体流水线924以与3D流水线922类似的方式配置。用于配置媒体流水线状态940的命令的集合在媒体对象命令942之前被分派或放置到命令队列中。在一些实施例中，针对媒体流水线状态940的命令包括用于配置将用于处理媒体对象的媒体流水线元素的数据。这包括用于在媒体流水线内配置视频解码逻辑和视频编码逻辑的数据，例如，编码格式或解码格式。在一些实施例中，针对媒体流水线状态940的命令还支持使用指向包含状态设置的批的“间接”状态元素的一个或多个指针。

在一些实施例中，媒体对象命令942供应指向用于由媒体流水线处理的媒体对象的指针。媒体对象包括存储器缓冲器，该存储器缓冲器包含要被处理的视频数据。在一些实施例中，在发布媒体对象命令942之前，所有媒体流水线状态必须是有效的。一旦流水线状态被配置并且媒体对象命令942被排队，就经由执行命令944或等效执行事件(例如，寄存器写入)触发媒体流水线924。然后，可以通过由3D流水线922或媒体流水线924提供的操作对来自媒体流水线924的输出进行后处理。在一些实施例中，以与媒体操作类似的方式来配置并执行GPGPU操作。

图形软件架构

图10示出了根据一些实施例的用于数据处理系统1000的示例性图形软件架构。在一些实施例中，软件架构包括3D图形应用1010、操作系统1020和至少一个处理器1030。在一些实施例中，处理器1030包括图形处理器1032以及一个或多个通用处理器核心1034。图形应用1010和操作系统1020各自在数据处理系统的系统存储器1050中执行。

在一些实施例中，3D图形应用1010包含一个或多个着色器程序，该一个或多个着色器程序包括着色器指令1012。着色器语言指令可以以诸如Direct3D的高级着色器语言(HLSL)或OpenGL着色器语言(GLSL)等之类的高级着色器语言的形式。该应用还包括以适用于由通用处理器核心1034执行的机器语言的形式的可执行指令1014。该应用还包括由顶点数据定义的图形对象1016。

在一些实施例中，操作系统1020是来自Microsoft公司的

操作系统、使用Linux内核的变体的专有的类似UNIX的操作系统或开源的类似UNIX的操作系统。操作系统1020可以支持图形API 1022，例如，Direct3D API、OpenGL API或Vulkan API。当使用Direct3D API时，操作系统1020使用前端着色器编译器1024将HLSL形式的任何着色器指令1012编译为较低级别的着色器语言。编译可以是即时(JIT)编译，或者应用可以执行着色器预编译。在一些实施例中，在编译3D图形应用1010期间，高级别着色器被编译为低级别着色器。在一些实施例中，着色器指令1012以中间形式提供，例如，Vulkan API使用的标准便携式中间表示(SPIR)的版本。

在一些实施例中，用户模式图形驱动程序1026包含后端着色器编译器1027，以将着色器指令1012转换为硬件特定表示。当使用OpenGL API时，GLSL高级语言形式的着色器指令1012被传递到用户模式图形驱动程序1026以进行编译。在一些实施例中，用户模式图形驱动程序1026使用操作系统内核模式功能1028来与内核模式图形驱动程序1029通信。在一些实施例中，内核模式图形驱动程序1029与图形处理器1032通信以分派命令和指令。

IP核心实现方式

可以通过存储在机器可读介质上的代表性代码来实现至少一个实施例的一个或多个方面，该代表性代码表示和/或定义诸如处理器之类的集成电路内的逻辑。例如，机器可读介质可以包括表示处理器内的各种逻辑的指令。当由机器读取时，指令可以使得机器制造逻辑以执行本文所描述的技术。这种被称为“IP核心”的表示是用于集成电路的逻辑的可重用的单元，其可以存储在有形的机器可读介质上，作为描述集成电路的结构的硬件模型。可以将硬件模型供应给各种客户或制造设施，这些客户或制造设施将硬件模型加载到制造集成电路的制造机器上。可以制造集成电路，使得该电路执行与本文所描述的实施例中的任何一个相关联地描述的操作。

图11A是示出根据实施例的可以用于制造集成电路以执行操作的IP核心开发系统1100的框图。IP核心开发系统1100可以用于生成模块化、可重用的设计，其可以并入更大的设计中或用于构建整个集成电路(例如，SOC集成电路)。设计设施1130可以以高级编程语言(例如，C/C++)生成IP核心设计的软件仿真1110。软件仿真1110可以用于使用仿真模型1112设计、测试并验证IP核心的行为。仿真模型1112可以包括功能、行为和/或定时仿真。然后可以根据仿真模型1112创建或合成寄存器传输级(RTL)设计1115。RTL设计1115是对集成电路的行为的抽象，其对数字信号在硬件寄存器之间的流动进行建模，包括使用经建模的数字信号执行的相关联的逻辑。除了RTL设计1115之外，还可以创建、设计或合成逻辑级别或晶体管级别的较低级别设计。因此，初始设计和仿真的具体细节可以变化。

RTL设计1115或等效物可以由设计设施进一步合成为硬件模型1120，该硬件模型1120可以采用硬件描述语言(HDL)或物理设计数据的某种其他表示。可以进一步仿真或测试HDL以验证IP核心设计。可以存储IP核心设计以使用非易失性存储器1140(例如，硬盘、闪速存储器或任何非易失性存储介质)递送到第三方制造设施1165。可替代地，可以通过有线连接1150或无线连接1160(例如，经由互联网)传输IP核心设计。然后，制造设施1165可以制造至少部分地基于该IP核心设计的集成电路。制造的集成电路可以被配置为执行根据本文所描述的至少一个实施例的操作。

图11B示出了根据本文所描述的一些实施例的集成电路封装组装件1170的横截面侧视图。集成电路封装组装件1170示出了如本文所描述的一个或多个处理器或加速器设备的实现方式。封装组装件1170包括连接到衬底1180的多个硬件逻辑单元1172、1174。逻辑1172、1174可以至少部分地以可配置逻辑或固定功能逻辑硬件实现，并且可以包括本文所描述的(多个)处理器核心、(多个)图形处理器或其他加速器设备中的任一个的一个或多个部分。每个逻辑单元1172、1174可以在半导体管芯内实现，并且经由互连结构1173与衬底1180耦合。互连结构1173可以被配置为在逻辑1172、1174与衬底1180之间路由电信号并且可以包括互连，该互连例如但不限于凸块或支柱。在一些实施例中，互连结构1173可以被配置为路由电信号，例如，与逻辑1172、1174的操作相关联的输入/输出(I/O)信号和/或电源或接地信号。在一些实施例中，衬底1180是基于环氧树脂的层压衬底。在其他实施例中，衬底1180可以包括其他合适类型的衬底。封装组装件1170可以经由封装互连1183连接到其他电子设备。封装互连1183可以与衬底1180的表面耦合以将电信号路由到其他电子设备，例如，母板、其他芯片组或多芯片模块。

在一些实施例中，逻辑单元1172、1174与桥1182电耦合，该桥1182被配置为在逻辑1172、1174之间路由电信号。桥1182可以是提供用于电信号的路由的密集互连结构。桥1182可以包括由玻璃或合适的半导体材料构成的桥衬底。可以在桥衬底上形成电路由特征，以提供逻辑1172、1174之间的芯片到芯片连接。

尽管示出了两个逻辑单元1172、1174和桥1182，但是本文所描述的实施例可以在一个或多个管芯上包括更多或更少的逻辑单元。一个或多个管芯可以通过零个或更多个桥连接，因为当逻辑被包括在单个管芯上时可以排除桥1182。可替代地，多个管芯或逻辑单元可以通过一个或多个桥连接。另外地，多个逻辑单元、管芯和桥可以以其他可能的配置(包括三维配置)连接在一起。

图11C示出了封装组装件1190，该封装组装件1190包括连接到衬底1180(例如，基础管芯)的硬件逻辑小芯片的多个单元。如本文描述的图形处理单元、并行处理器和/或计算加速器可以由单独制造的不同硅小芯片组成。在该上下文中，小芯片是至少部分封装的集成电路，其包括可以与其他小芯片组装成更大封装的不同逻辑单元。可以将具有不同IP核心逻辑的小芯片的不同集合组装到单个设备中。另外，可以使用有源插入器技术将小芯片集成到基础管芯或基础小芯片中。本文描述的概念实现在GPU内的不同形式的IP之间的互连和通信。可以使用不同的工艺技术制造IP核心，并且可以在制造期间组合IP核心，这避免了将多个IP聚集到同一制造工艺的复杂性(尤其是在具有若干种类IP的大型SoC上)。实现多种工艺技术的使用可以改进上市时间，并且提供一种经济高效的方式来创建多个产品SKU。此外，分解的IP更适合独立门控供电，可以对给定工作负荷上未使用的组件断电，从而降低总体功耗。

硬件逻辑小芯片可以包括专用硬件逻辑小芯片1172、逻辑或I/O小芯片1174和/或存储器小芯片1175。硬件逻辑小芯片1172和逻辑或I/O小芯片1174可以至少部分地以可配置逻辑或固定功能逻辑硬件实现，并且可以包括本文描述的(多个)处理器核心、(多个)图形处理器、并行处理器或其他加速器设备中的任何一个的一个或多个部分。存储器小芯片1175可以是DRAM(例如，GDDR、HBM)存储器或高速缓冲(SRAM)存储器。

每个小芯片可以被制造为单独的半导体管芯，并且经由互连结构1173与衬底1180耦合。互连结构1173可以被配置为在各种小芯片和衬底1180内的逻辑之间路由电信号。互连结构1173可以包括例如但不限于凸块或立柱的互连。在一些实施例中，互连结构1173可以被配置为路由电信号，例如，与逻辑、I/O和存储器小芯片的操作相关联的输入/输出(I/O)信号和/或电源或接地信号。

在一些实施例中，衬底1180是基于环氧树脂的层压衬底。在其他实施例中，衬底1180可以包括其他合适类型的衬底。封装组装件1190可以经由封装互连1183连接到其他电设备。封装互连1183可以耦合到衬底1180的表面，以将电信号路由到其他电设备，例如，母板、其他芯片组或多芯片模块。

在一些实施例中，逻辑或I/O小芯片1174和存储器小芯片1175可以经由桥1187电耦合，该桥1187被配置为在逻辑或I/O小芯片1174和存储器小芯片1175之间路由电信号。桥1187可以是密集的互连结构，其可以为电信号提供路由。桥1187可以包括由玻璃或合适的半导体材料组成的桥衬底。可以在桥衬底上形成电路由特征，以在逻辑或I/O小芯片1174和存储器小芯片1175之间提供芯片到芯片连接。桥1187也可以称为硅桥或互连桥。例如，在一些实施例中，桥1187是嵌入式多管芯互连桥(EMIB)。在一些实施例中，桥1187可以简单地是从一个小芯片到另一小芯片的直接连接。

衬底1180可以包括用于I/O 1191、高速缓冲存储器1192和其他硬件逻辑1193的硬件组件。可以将结构1185嵌入到衬底1180中，以在衬底1180内实现各种逻辑小芯片与逻辑1191、1193之间的通信。在一个实施例中，I/O 1191、结构1185、高速缓存、桥和其他硬件逻辑1193可以集成到层叠在衬底1180顶部的基础管芯中。结构1185可以是片上网络互连，或在封装组装件的组件之间交换数据分组的另一种形式的分组交换结构。

在各种实施例中，封装组装件1190可以包括通过结构1185或一个或多个桥1187互连的更少或更多数量的组件和小芯片。在封装组装件1190内的小芯片可以以3D或2.5D布置进行布置。通常，桥结构1187可以用于促进在例如逻辑或I/O小芯片与存储器小芯片之间的点对点互连。结构1185可以用于互连各种逻辑和/或I/O小芯片(例如，小芯片1172、1174、1191、1193)与其他逻辑和/或I/O小芯片。在一个实施例中，在衬底内的高速缓冲存储器1192可以用作封装组装件1190的全局高速缓存、分布式全局高速缓存的一部分，或者用作结构1185的专用高速缓存。

图11D示出了根据实施例的包括可互换小芯片1195的封装组装件1194。可互换小芯片1195可被组装到在一个或多个基础小芯片1196、1198上的标准化的插槽中。基础小芯片1196、1198可以经由桥互连1197耦合，该桥互连可以与本文描述的其他桥互连类似，并且可以是例如EMIB。存储器小芯片也可以经由桥互连来连接到逻辑或I/O小芯片。I/O和逻辑小芯片可以经由互连结构进行通信。基础小芯片可以各自支持以标准化格式的一个或多个插槽以用于逻辑或I/O或存储器/高速缓存中的一个。

在一个实施例中，可以将SRAM和电力传送电路制造为基础小芯片1196、1198中的一个或多个，这些小芯片可以使用相对于堆叠在基础小芯片顶部的可互换小芯片1195不同的工艺技术来制造。例如，可以使用较大的工艺技术来制造基础小芯片1196、1198，而可以使用较小的工艺技术来制造可互换小芯片。可互换小芯片1195中的一个或多个可以是存储器(例如，DRAM)小芯片。可以基于针对使用封装组装件1194的产品的功率和/或性能来为封装组装件1194选择不同的存储器密度。另外，可以基于针对产品的功率和/或性能在组装时选择具有不同数量或类型的功能单元的逻辑小芯片。此外，可以将包含不同类型的IP逻辑核心的小芯片插入可互换小芯片插槽中，从而实现可以混合和匹配不同技术IP块的混合处理器设计。

示例性片上系统集成电路

图12-13B示出了根据本文所描述的各种实施例的可以使用一个或多个IP核心制造的示例性集成电路和相关联的图形处理器。除了所示的内容之外，还可以包括其他逻辑和电路，包括附加的图形处理器/核心、外围接口控制器或通用处理器核心。

图12是示出根据实施例的可以使用一个或多个IP核心制造的示例性片上系统集成电路1200的框图。示例性集成电路1200包括一个或多个应用处理器1205(例如，CPU)、至少一个图形处理器1210，并且可以另外地包括图像处理器1215和/或视频处理器1220，其中任何一个可以是来自相同的或多个不同的设计设施的模块化IP核心。集成电路1200包括外围设备或总线逻辑，包括USB控制器1225、UART控制器1230、SPI/SDIO控制器1235和I²S/I²C控制器1240。另外地，集成电路可以包括显示设备1245，该显示设备1245与高清晰度多媒体接口(HDMI)控制器1250和移动工业处理器接口(MIPI)显示接口1255中的一个或多个耦合。存储装置可以由包括闪速存储器和闪速存储器控制器的闪速存储器子系统1260提供。可以经由存储器控制器1265提供存储器接口以访问SDRAM或SRAM存储器设备。一些集成电路另外地包括嵌入式安全引擎1270。

图13A-13B是示出根据本文所描述的实施例的在SoC内使用的示例性图形处理器的框图。图13A示出了根据实施例的可以使用一个或多个IP核心制造的片上系统集成电路的示例性图形处理器1310。图13B示出了根据实施例的可以使用一个或多个IP核心制造的片上系统集成电路的附加的示例性图形处理器1340。图13A的图形处理器1310是低功率图形处理器核心的示例。图13B的图形处理器1340是更高性能图形处理器核心的示例。图形处理器1310、1340中的每一个可以是图12的图形处理器1210的变体。

如图13A中所示，图形处理器1310包括顶点处理器1305和一个或多个片段处理器1315A-1315N(例如，1315A、1315B、1315C、1315D到1315N-1和1315N)。图形处理器1310可以经由单独的逻辑执行不同的着色器程序，使得顶点处理器1305被优化以执行针对顶点着色器程序的操作，而一个或多个片段处理器1315A-1315N执行针对片段或像素着色器程序的片段(例如，像素)着色操作。顶点处理器1305执行3D图形流水线的顶点处理阶段并且生成基元和顶点数据。(多个)片段处理器1315A-1315N使用由顶点处理器1305生成的基元和顶点数据来产生在显示设备上显示的帧缓冲器。在一个实施例中，(多个)片段处理器1315A-1315N被优化以执行如OpenGL API中提供的片段着色器程序，该片段着色器程序可以用于执行与Direct 3D API中提供的像素着色器程序类似的操作。

图形处理器1310另外地包括一个或多个存储器管理单元(MMU)1320A-1320B、(多个)高速缓存1325A-1325B和(多个)电路互连1330A-1330B。一个或多个MMU 1320A-1320B为图形处理器1310(包括为顶点处理器1305和/或(多个)片段处理器1315A-1315N)提供虚拟到物理地址映射，其除了存储在一个或多个高速缓存1325A-1325B中的顶点或图像/纹理数据之外还可以引用存储在存储器中的顶点或图像/纹理数据。在一个实施例中，一个或多个MMU 1320A-1320B可以与系统内的其他MMU(包括与图12的一个或多个应用处理器1205、图像处理器1215和/或视频处理器1220相关联的一个或多个MMU)同步，使得每个处理器1205-1220可以参与共享或统一的虚拟存储器系统。根据实施例，一个或多个电路互连1330A-1330B使得图形处理器1310能够经由SoC的内部总线或经由直接连接与SoC内的其他IP核心相接合。

如图13B所示，图形处理器1340包括图13A的图形处理器1310的一个或多个MMU1320A-1320B、(多个)高速缓存1325A-1325B和(多个)电路互连1330A-1330B。图形处理器1340包括一个或多个着色器核心1355A-1355N(例如，1355A、1355B、1355C、1355D、1355E、1355F到1355N-1和1355N)，其提供统一的着色器核心架构，其中单核心或类型或核心可以执行所有类型的可编程着色器代码，包括用于实现顶点着色器、片段着色器和/或计算着色器的着色器程序代码。存在的着色器核心的精确数量可以在实施例和实现方式之间变化。另外地，图形处理器1340包括核心间任务管理器1345和图块拼接单元1358，核心间任务管理器1345用作线程分派器以将执行线程分派给一个或多个着色器核心1355A-1355N，图块拼接单元1358用于加速用于基于图块的渲染的图块拼接操作，其中针对场景的渲染操作在图像空间中被细分以例如利用场景内的局部空间一致性或优化内部高速缓存的使用。

用于机器学习工作负荷的张量加速逻辑

图14是根据实施例的数据处理系统1400的框图。数据处理系统1400是具有处理器1402、统一存储器1410和包括机器学习加速逻辑的GPGPU 1420的异构处理系统。处理器1402和GPGPU 1420可以是如本文描述的处理器和GPGPU/并行处理器中的任一个。处理器1402可以执行针对存储在系统存储器1412中的编译器1415的指令。编译器1415在处理器1402上执行以将源代码1414A编译为编译代码1414B。编译代码1414B可以包括可以由处理器1402执行的指令和/或可以由GPGPU 1420执行的指令。在编译期间，编译器1415可以执行用于插入元数据的操作，包括关于在编译代码1414B中存在的数据并行性的级别的提示，和/或关于与要基于编译代码1414B分派的线程相关联的数据位置的提示。编译器1415可以包括执行这种操作所必要的信息，或者可以在运行时库1416的协助下执行这些操作。运行时库1416还可以协助编译器1415对源代码1414A进行编译，并且还可以包括在运行时与编译代码1414B链接以促进编译指令在GPGPU 1420上的执行的指令。

统一存储器1410表示可以由处理器1402和GPGPU 1420访问的统一地址空间。统一存储器可以包括系统存储器1412以及GPGPU存储器1418。GPGPU存储器1418是在GPGPU 1420的地址空间内的存储器，并且可以包括系统存储器1412中的一些或全部。在一个实施例中，GPGPU存储器1418还可以包括由GPGPU 1420排他地专用的任何存储器的至少一部分。在一个实施例中，存储在系统存储器1412中的编译代码1414B可以被映射到GPGPU存储器1418中以供GPGPU 1420访问。

GPGPU 1420包括多个计算块1424A-1424N，其可以包括本文描述的各种处理资源中的一个或多个。处理资源可以是或包括各种不同的计算资源，例如，执行单元、计算单元、流送多处理器、图形多处理器或多核心组。在一个实施例中，GPGPU 1420另外地包括张量(例如，矩阵)加速器1423，其可以包括一个或多个特殊功能计算单元，该特殊功能计算单元被设计为加速矩阵运算(例如，点积等)的子集。张量加速器1423也可以被称为张量加速器或张量核心。在一个实施例中，在张量加速器1423内的逻辑组件可以跨多个计算块1424A-1424N的处理资源分布。

GPGPU 1420还可以包括能够由计算块1424A-1424N和张量加速器1423共享的资源的集合，包括但不限于寄存器1425、功率和性能模块1426以及高速缓存1427的集合。在一个实施例中，寄存器1425包括可直接和间接访问的寄存器，其中可间接访问的寄存器被优化以供张量加速器1423使用。功率和性能模块1426可以被配置为调整功率递送和时钟频率以供计算块1424A-1424N为计算块1424A-1424N内的门控空闲组件供电。在各种实施例中，高速缓存1427可以包括指令高速缓存和/或较低级别的数据高速缓存。

GPGPU 1420可以另外包括L3数据高速缓存1430，其可以用于缓存由张量加速器1423和/或计算块1424A-1424N内的计算元件从统一存储器1410访问的数据。在一个实施例中，L3数据高速缓存1430包括可以由计算块1424A-1424N内的计算元件和张量加速器1423共享的共享本地存储器1432。

在一个实施例中，GPGPU 1420包括指令处理逻辑，例如，获取和解码单元1421以及调度器控制器1422。获取和解码单元1421包括获取单元和解码单元，用于对指令进行获取和解码以由计算块1424A-1424N中的一个或多个或张量加速器1423执行。可以经由调度器控制器1422将指令调度到计算块1424A-1424N或张量加速器内的适当功能单元。在一个实施例中，调度器控制器1422是可配置为执行高级调度操作的ASIC。在一个实施例中，调度器控制器1422是能够执行从固件模块加载的调度器指令的微控制器或每指令低功耗的处理核心。

在一个实施例中，可以将要由计算块1424A-1424N执行的一些功能直接调度到或卸载到张量加速器1423。在各种实施例中，张量加速器1423包括被配置为高效执行矩阵计算操作的处理元件逻辑，该矩阵计算操作例如为3D图形或计算着色器程序使用的乘法和加法运算以及点积运算。在一个实施例中，张量加速器1423可以被配置为加速由机器学习框架使用的操作。在一个实施例中，张量加速器1423是专用集成电路，其被显式地配置为执行并行矩阵乘法和/或加法运算的特定集合。在一个实施例中，张量加速器1423是现场可编程门阵列(FPGA)，其提供可以在工作负荷之间更新的固定功能逻辑。能够由张量加速器1423执行的矩阵运算的集合可以相对于能够由计算块1424A-1424N执行的运算是受限的。然而，张量加速器1423可以相对于计算块1424A-1424N以明显更高的吞吐量执行这些操作。

用于高效使用ALU的对分歧的通道的压缩

数据处理系统1400可以被配置为包括架构，该架构用于解决由于程序代码分歧而在较宽的并行处理架构中可能出现的问题。例如，在较宽的SIMD或SIMT架构中，由于在执行分歧代码时发生的ALU利用率下降，程序代码中的分歧可能降低应用的性能。

在SIMD处理引擎中，多个数据元素被打包为单个线程，以在处理资源内进行处理。使用相同的指令处理多个数据元素，这简化了控制逻辑并节省了面积。当元素分支到不同的执行路径时，断言(predication)机制处理元素之间的分歧。控制流遵循所有执行路径，并且对于给定执行路径有分歧的数据元素通过断言掩码被禁用。在ALU执行期间浪费了那些被掩蔽元素的SIMD通道。例如，在一些架构中，对于禁用的通道仍然会发生处理操作，并且该通道的结果被丢弃。

在SIMT处理引擎中，标量指令使用多个硬件线程同时执行。可以由并行处理器的线程处理器以类似于在SIMD处理器中处理多个数据元素的方式来处理多个硬件线程。因此，在本文中关于SIMD处理器的通道描述了并行处理技术的情况下，这样的技术也可以适于应用于SIMT处理器的线程处理器。

在一个实施例中，图形处理单元包括处理资源的阵列，例如，图5A的执行逻辑500。执行逻辑500可以包括执行单元，例如，图5B的执行单元508或图6的执行单元600。参考图6，执行单元600包括计算单元610。计算单元610包括ALU单元611，该ALU单元611包括算术逻辑单元的阵列。ALU单元611可以被配置为执行64位、32位和16位整数和浮点运算以及8位整数运算。整数和浮点运算可以同时执行。在一个实施例中，在执行单元508的SIMD ALU 535和SIMD FPU 534中实现所描述的功能。在一个实施例中，在图14的张量加速器1423的处理元件内实现所描述的功能。

ALU单元611可以包括多个SIMD硬件线程。硬件线程是可以执行SIMD指令的多个通道的执行流水线。ALU可以并发地执行与可用硬件线程一样多的指令。每个硬件线程都具有SIMD宽度，该宽度是可用的SIMD通道数。可以将ALU配置为支持比由ALU支持的执行线程的物理宽度更宽的逻辑SIMD宽度。例如，在物理SIMD宽度为8且逻辑线程宽度为16的情况下，ALU可以通过在两个SIMD8周期内执行指令来支持SIMD16指令。例如，元素0至7在一个周期内被分派，而元素8至15(0xF)在单独的周期内被分派。

本文描述的技术用于通过在执行分歧代码块时利用与算术逻辑单元(ALU)的物理SIMD宽度相比更高的逻辑SIMD宽度来最佳地使用ALU的SIMD。基于16个元素的分歧状态，动态压缩SIMD通道。仅将活动元素分派给ALU，并且可以针对非活动元素执行击落(shootdown)操作。击落允许绕过非活动通道的执行。当活动元素为8个或更少时，可以仅在一个阶段中分派这些元素，并且可以在整个第二阶段执行击落。因此，可以在单个周期中在SIMD8 ALU上执行具有八个或更多个非活动通道的SIMD16指令。

在IF/ELSE代码分歧的实例中，在IF块或ELSE块之一的计算中保证2倍的最小性能增益。最好情况的场景是IF块和ELSE块的计算都获得2倍增益。对于循环分歧，循环中的SIMD通道可能需要经历不同的迭代次数。当迭代中活动元素的数量小于或等于硬件的物理SIMD宽度时，所提出的机制也适用于循环。性能增益取决于SIMD通道之间的分歧而变化。

图15示出了具有IF块和ELSE块的分歧代码的示例。代码块可以包括检查标志寄存器f1的if指令1510。标志寄存器f1具有值0xCCCC。SIMD16乘法指令1520在if指令1510之后被选通。else指令1530选通在If指令1510为假时执行的SIMD16加法指令1540。endif指令1550结束代码块。假设对于该示例，基于标志寄存器f1，IF块的活动通道1522是元素{0，1，4，5，8，9，C，D}。ELSE块的活动通道1542包括其余元素。

图16示出了分歧代码的执行。IF块的活动通道1522被分派(1621)给SIMD8 ALU(例如，图6的ALU单元611内的ALU)。SIMD8 ALU在两个ALU周期内处理(1622)活动通道1522，其中第一周期(CLK0)处理通道{0，1，4，5}，并且第二周期(CLK1)处理通道{8，9，C，D}。同样，将ELSE块的活动通道1542分派(1641)给SIMD8 ALU 1642。SIMD8ALU也在两个ALU周期内处理(1642)活动通道1542，其中第一周期(CLK0)处理通道{2，3，6，7}，并且第二周期(CLK1)处理通道{A，B，E，F}。即使每次分派中的元素中的四个元素被掩蔽，每个指令块也会在两个周期内被处理。因此，在来自IF块和ELSE块的两种指令中，ALU的一半SIMD通道被浪费。

图17示出了根据本文描述的实施例的分歧代码的压缩。通过基于断言掩码和压缩活动通道动态地对SIMD通道进行混洗(shuffle)，可以最佳地使用SIMD通道。当活动元素的数量等于或小于物理SIMD宽度时，可以在一个阶段中分派这些元素，而另一阶段可以被击落而不发送给ALU。图17的左侧部分示出了来自图15所示的IF块的活动通道1522的执行。执行预处理混洗操作(预混洗)以生成压缩通道的集合1722。对于活动通道1522，以使得元素{0，1，8，9，4，5，C，D}被打包成一个阶段并分派(1721)给流水线ALU管道的方式对元素进行混洗。元素{0，1，4，5}的位置没有变化。元素{8，9，C，D}的位置在混洗期间改变。当八个元素的其余部分被掩蔽时，在这些通道上执行击落(1723)，并且这些通道不会被分派给ALU。可以在一个ALU周期中处理(1722)分派的元素。对输出执行后处理混洗操作(后混洗)，以将元素解包到其原始通道1724。

在图17的右侧部分中示出了用于ELSE块中的指令的活动通道1542的执行。在该示例中，与活动通道1522类似地执行针对活动通道1542的操作。执行预混洗操作以压缩元素{A，B，E，F}。对于元素{2，3，6，7}不执行任何更改。后混洗的元素{A，B，2，3，E，F，6，7}可以被分派(1741)给ALU。对被掩蔽的元素{0，1，4，5，8，9，C，D}执行击落(1743)，并且这些通道不被分派给ALU。可以在一个ALU周期中处理(1742)被分派的元素。对输出执行后混洗操作以将元素解包到其原始通道1744。

与在缺少本文描述的技术的先前架构中的50％利用率相比，在这种情况下，IF块和ELSE块中的两种指令的ALU利用率均为100％。在这种情况下，IF块和ELSE块中的两种计算都存在2倍的性能增益。在将输出写入通用寄存器文件(例如，图5B中的GRF 524)之前，对来自ALU的输出执行后混洗操作。

在一个实施例中，通过将混洗限制在SIMD通道的后半部分来降低混洗的硬件成本。在这样的实施例中，通道的前一半中的元素不移位，而通道的后一半中的元素被混洗到前一半的禁用通道。在计算之后，混洗的通道然后被取消混洗。该技术降低了用于实现混洗的交叉开关逻辑的量和成本，并且可以促进现有硬件逻辑的至少部分重用。

图18示出了用于实现针对分歧代码压缩SIMD通道的硬件系统1800。硬件系统1800的组件可以包含于本文描述的任何ALU、FPU、ALU系统或处理元件中。系统1800包括输入硬件1802、输入交叉开关1804、多通道ALU 1806、输出交叉开关1808和输出硬件1810。输入硬件1802和输出硬件1810可以各自是一个或多个寄存器，或者可以是存储器缓冲器的集合。输入硬件1802在多通道ALU 1806的每个通道上存储待处理的操作数的集合。

在一个实施例中，输入交叉开关1804包括切换逻辑1814，以实现在通道之间对数据元素的混洗。在一个实施例中，切换逻辑1814包括用于将元素{8，9，A，B，C，D，E，F}中的任何一个元素的数据切换到元素{0，1，2，3，4，5，6，7}的通道中的任何一个通道的逻辑。在一个实施例中，切换逻辑1814可以被配置为将任何通道的输入数据切换到任何其他通道。多通道ALU 1806可以根据指示的指令来处理输入数据。然后，包括切换逻辑1818的输出交叉开关1808可以将输出混洗回到输出硬件1810中的适当位置。

在一个实施例中，根据在处理分歧代码时用于禁用非活动通道的断言掩码来执行混洗。例如，在断言掩码指示元素{0，1，2，3，4，5，6，7}中的任何一个非活动的情况下，该元素的通道可以用于处理元素{8，9，A，B，C，D，E，F}中的一个。在一个实施例中，只要元素{0，1，2，3，4，5，6，7}中的任何一个非活动，即使ALU周期的数量不会减少，也可以启用混洗。在一个实施例中，仅在可以绕过整个ALU周期的情况下才执行混洗。在一个实施例中，将通道的上一半中的活动通道按顺序次序压缩到通道的下一半中的活动通道中。然后，可以以相反的顺序次序对压缩的通道执行解压缩。虽然图示为在ALU 1806的外部，但是输入交叉开关1804和输出交叉开关1808可以集成在ALU 1806内或与ALU 1806直接耦合。

所提出的机制还适用于循环内的分歧。线程中的元素可能需要在循环中经历不同次数的迭代。控制流经过所有元素间的最大迭代次数。个体元素在达到其自己的迭代次数后被禁用。当活动元素的数量小于或等于物理SIMD宽度时，可以将它们压缩为一个阶段，而其余禁用的元素可以被击落而不分派给ALU。性能增益基于元素间的分歧而变化。

例如，下面的表1中示出了示例标量程序代码。

表1——具有分歧的可并行化标量循环

0x01	for(i＝0；I<N；i++)
		0x02	{
0x03	if(A[i])
		0x04	{
0x05	C[i]+＝A[i]*B[i]
		0x06	}
0x07	}

可以将上面在行0x05上的操作并行化，以使迭代操作能够并行执行。然而，不会对所有元素执行操作。可以基于行0x03的控制流指令来生成断言掩码，以禁用A[i]的值为零的操作。取决于禁用的元素的数量，可以紧缩非活动元素，并且可以减少用于处理从程序代码生成的SIMD或并行处理器指令的ALU周期或线程处理器的数量。

附加示例在下面的表2中示出。

0x01	FACT＝1
		0x02	while(I>0)
0x03	{
		0x04	FACT*＝I
0x05	I--
		0x06	}

表2的示例代码用于针对SIMD16线程的每个元素找到阶乘。每个元素(通道)的迭代次数基于该元素的值而变化。例如，在element[0]为8、element[l]为16的情况下，第0个通道将经历while循环的8次迭代，而第1个元素经历循环的16次迭代。通过断言掩码禁用迭代9-16element[0]。在这样的场景中，如果禁用的元素的数量小于8，则可以压缩通道，并且可以针对未使用的通道执行击落操作。

虽然本文描述的技术适用于SIMD16逻辑宽度和SIMD8物理宽度，但是这些技术可以扩展到逻辑宽度大于物理宽度的任何其他架构。例如，本文描述的技术可以适用于SIMD8逻辑宽度和SIMD4物理宽度，或者SIMD32逻辑宽度和SIMD16物理宽度。在一些实施例中，本文描述的技术还可以适用于其他并行处理架构，例如，单指令多线程(SIMT)架构。在SIMT实现方式中，每个SIMD通道可以等同于SIMT线程。当在SIMT代码中检测到分歧时，可以压缩分歧线程以减少要求执行以执行工作负荷的周期的数量。在一个实施例中，空闲线程处理器可以被配置为在第一工作负荷的分歧时段期间在第二工作负荷的线程上操作。

图19示出了用于针对分歧代码压缩SIMD通道的方法1900。方法1900可以由图18中的系统1800的硬件逻辑使用。方法1900包括操作(1902)，该操作包括接收具有断言的数据元素的指令。输入可以具有多个数据元素，其中一些数据元素可以经由断言被禁用。如图15所示，当在数据并行处理器上执行的程序代码中发生分支时，一些但不是全部元素可以与一个或多个分支相关联。断言可以用于禁用与活动分支不相关联的元素。随指令一起提供的断言掩码指示哪些元素被启用以及哪些元素被禁用。然后在执行其他分支时可以调整断言掩码。可以执行操作(1902)，以经由用于指令的断言掩码来确定该指令的非活动数据元素的集合。

已经确定了非活动数据元素的集合，然后可以执行操作(1906)以配置输入交叉开关来将活动数据元素压缩到与非活动数据元素相关联的处理通道。输入交叉开关被配置为通过对活动元素的通道分配进行混洗来压缩活动数据元素中的活动数据元素，以创建压缩的处理通道的连续集合。对于被配置为逻辑通道数量大于物理通道数量的ALU，可以将会在稍后的周期中处理的数据元素混洗到将在较早的周期中处理的通道中。然后，ALU可以在压缩的处理通道上执行处理操作(1908)。取决于非活动数据元素的数量以及逻辑通道与物理通道的比率，可以减少被消耗以执行指令的ALU周期的数量。可以使用配置寄存器来启用或禁用压缩。然后执行进一步的操作(1910)以配置输出交叉开关以对处理操作的输出解压缩。

在一些实施例中，仅当通过压缩减少了ALU周期的数量时，才可以执行压缩。在其他实施例中，即使不减少ALU周期的数量，也可以执行压缩。

附加示例性计算设备

图20是根据实施例的包括图形处理器2004的计算设备2000的框图。计算设备2000的版本可以是通信设备或包含于通信设备中，该通信设备例如为机顶盒(例如，基于互联网的有线电视机顶盒等)、基于全球定位系统(GPS)的设备等。计算设备2000还可以是移动计算设备或包含于移动计算设备中，该移动计算设备例如为蜂窝电话、智能电话、个人数字助理(PDA)、平板计算机、膝上型计算机、电子阅读器、智能电视、电视平台、可穿戴设备(例如，眼镜、手表、手镯、智能卡、珠宝、服装等)、媒体播放器等。例如，在一个实施例中，计算设备2000包括采用诸如片上系统(“SoC”或“SOC”)之类的集成电路(“IC”)的移动计算设备，该片上系统将计算设备2000的各种硬件和/或软件组件集成在单个芯片上。计算设备2000可以是诸如图1中的数据处理系统100之类的计算设备。

计算设备2000包括图形处理器2004。图形处理器2004代表本文描述的任何图形处理器。在一个实施例中，图形处理器2004包括高速缓存2014，其可以是单个高速缓存或划分为高速缓冲存储器的多个片段，包括但不限于任何数量的L1、L2、L3或L4高速缓存、渲染高速缓存、深度高速缓存、采样器高速缓存和/或着色器单元高速缓存。在一个实施例中，高速缓存2014可以是与应用处理器2006共享的最后一级高速缓存。

在一个实施例中，图形处理器2004包括实现用于图形处理器的控制和调度逻辑的图形微控制器。该控制和调度逻辑可以是由图形微控制器2015执行的固件。固件可以在引导时由图形驱动程序逻辑2022加载。固件还可以被编程为电可擦除可编程只读存储器或从图形微控制器2015内的闪速存储器设备加载。固件可以启用包括设备管理/驱动程序逻辑2017、2018和调度器2019的GPU OS 2016。GPU OS 2016还可以包括图形存储器管理器2020，该图形存储器管理器2020可以补充或替换图形驱动程序逻辑2022内的图形存储器管理器2021。

图形处理器2004还包括GPGPU引擎2044，该GPGPU引擎2044包括一个或多个图形引擎、图形处理器核心以及本文描述的其他图形执行资源。可以以包括但不限于执行单元、着色器引擎、片段处理器、顶点处理器、流送多处理器、图形处理器集群、或适合于处理图形资源或图像资源或在异构处理器中执行通用计算操作的计算资源的任何集合的形式来呈现这样的图形执行资源。如图11B-11D所示，GPGPU引擎2044的处理资源可以包含于连接到衬底的硬件逻辑的多个分片中。GPGPU引擎2044可以包括GPU分片2045，该分片包括图形处理和执行资源、高速缓存、采样器等。GPU分片2045还可以包括本地易失性存储器，或者可以与一个或多个存储器分片耦合，例如，如图3B-3C所示。

GPGPU引擎2044还可以包括一个或多个特殊分片2046，其包括例如非易失性存储器分片2056，网络处理器分片2057和/或通用计算分片2058。通用计算分片2058还可以包括用于加速矩阵乘法运算的逻辑。非易失性存储器分片2056可以包括非易失性存储器单元和控制器逻辑。非易失性存储器分片2056的控制器逻辑可以由设备管理/驱动程序逻辑2017、2019之一来管理。网络处理器分片2057可以包括耦合到计算设备2000的输入/输出(I/O)源2010内的物理接口的网络处理资源。网络处理器分片2057可以由设备管理/驱动程序逻辑2017、2019中的一个或多个来管理。

如所示的，在一个实施例中，除了图形处理器2004之外，计算设备2000还可以包括任何数量和类型的硬件组件和/或软件组件，包括但不限于应用处理器2006、存储器2008和输入/输出(I/O)源2010。应用处理器2006可以与硬件图形流水线交互(如参考图3A所示)，以共享图形流水线功能。经处理的数据存储在硬件图形流水线的缓冲器中，并且状态信息存储在存储器2008中。结果数据可以传送到显示控制器以经由诸如图3A的显示设备318之类的显示设备输出。显示设备可以是各种类型的，例如，阴极光线管(CRT)、薄膜晶体管(TFT)、液晶显示器(LCD)、有机发光二极管(OLED)阵列等，并且可以被配置为经由图形用户界面向用户显示信息。

应用处理器2006可以包括一个或多个处理器，例如，图1的(多个)处理器102，并且可以是中央处理单元(CPU)，其至少部分地用于执行用于计算设备2000的操作系统(OS)2002。OS 2002可以用作在计算设备2000的硬件和/或物理资源与一个或多个用户之间的接口。OS 2002可以包括用于计算设备2000中的各种硬件设备的驱动程序逻辑。驱动程序逻辑可以包括图形驱动程序逻辑2022，其可以包括图10的用户模式图形驱动程序1026和/或内核模式图形驱动程序1029。图形驱动程序逻辑可以包括图形存储器管理器2021，以管理用于图形处理器2004的虚拟存储器地址空间。

可以预期，在一些实施例中，图形处理器2004可以作为应用处理器2006的一部分存在(例如，物理CPU封装的一部分)，在这种情况下，存储器2008的至少一部分可以由应用处理器2006和图形处理器2004共享，尽管存储器2008的至少一部分可以是图形处理器2004独有的，或者图形处理器2004可以具有单独的存储器存储。存储器2008可以包括缓冲器(例如，帧缓冲器)的预分配区域；然而，本领域普通技术人员应该理解的是，实施例不限于此，并且可以使用较低图形流水线可访问的任何存储器。存储器2008可以包括各种形式的随机存取存储器(RAM)(例如，SDRAM、SRAM等)，其包括利用图形处理器2004来渲染桌面或3D图形场景的应用。存储器控制器中心(例如，图1的存储器控制器116)可以访问存储器2008中的数据并且将数据转发到图形处理器2004以进行图形流水线处理。可以使存储器2008对计算设备2000内的其他组件可用。例如，在软件程序或应用的实现方式中，从计算设备2000的各种I/O源2010接收的任何数据(例如，输入图形数据)可以在这些数据被一个或多个处理器(例如，应用处理器2006)操作之前临时排队到存储器2008中。类似地，软件程序确定应该通过计算系统接口中的一个从计算设备2000发送到外部实体或者存储在内部存储元件中的数据通常在该数据被传输或存储之前临时排队到存储器2008中。

I/O源可以包括诸如触摸屏、触摸板、触摸垫、虚拟或常规键盘、虚拟或常规鼠标、端口、连接器、网络设备等的设备，并且可以经由图1中引用的平台控制器中心130附接。另外地，I/O源2010可以包括一个或多个I/O设备，其被实现用于向计算设备2000(例如，网络适配器)和/或从计算设备2000传输数据；或者，被实现用于计算设备2000内的大规模非易失性存储装置(例如，SSD/HDD)。用户输入设备(包括字母数字和其他键)可以用于将信息和命令选择传送到图形处理器2004。另一种类型的用户输入设备是光标控件，例如，鼠标、轨迹球、触摸屏、触摸板或光标方向键，其用于将方向信息和命令选择传送到GPU并且用于控制显示设备上的光标移动。计算设备2000的相机和麦克风阵列可以用于观察手势、记录音频和视频以及接收和发送视觉和音频命令。

I/O源2010可以包括一个或多个网络接口。网络接口可以包括相关联的网络处理逻辑和/或与网络处理器分片2057耦合。一个或多个网络接口可以提供对LAN、广域网(WAN)、城域网(MAN)、个域网(PAN)、蓝牙、云网络、蜂窝或移动网络(例如，第三代(3G)、第四代(4G)、第五代(5G)等)、内联网、互联网等的访问。(多个)网络接口可以包括例如具有一个或多个天线的无线网络接口。(多个)网络接口还可以包括例如有线网络接口，以经由网络电缆与远程设备通信，网络电缆可以是例如以太网电缆、同轴电缆、光纤电缆、串行电缆或者并行电缆。

(多个)网络接口可以(例如，通过符合IEEE 802.11标准)提供对LAN的访问，和/或无线网络接口可以(例如，通过符合蓝牙标准)提供对个域网的访问。还可以支持其他无线网络接口和/或协议，包括标准的先前版本和后续版本。除了经由无线LAN标准的通信之外或代替经由无线LAN标准的通信，(多个)网络接口可以使用例如时分多址(TDMA)协议、全球移动通信系统(GSM)协议、码分多址(CDMA)协议和/或任何其他类型的无线通信协议来提供无线通信。

应当认识到的是，对于某些实现方式，比上面所描述的示例更少或更多配备的系统可以是优选的。因此，取决于诸如价格约束、性能要求、技术改进或其他情况的许多因素，计算设备2000的配置可以根据实现方式而变化。示例包括(但不限于)移动设备、个人数字助理、移动计算设备、智能电话、蜂窝电话、手机、单向寻呼机、双向寻呼机、消息传递设备、计算机、个人计算机(PC)、台式计算机、膝上型计算机、笔记本计算机、手持计算机、平板计算机、服务器、服务器阵列或服务器群、web服务器、网络服务器、互联网服务器、工作站、微型计算机、主机计算机、超级计算机、网络设备、web设备、分布式计算系统、多处理器系统、基于处理器的系统、消费电子产品、可编程消费电子产品、电视、数字电视、机顶盒、无线接入点、基站、订户站、移动订户中心、无线电网络控制器、路由器、中心、网关、桥、交换机、机器或其组合。

本文描述了并行处理加速器设备，其中实现对分歧的处理器通道的压缩以增加ALU的利用效率。一个实施例提供了一种加速器设备，包括：主机接口；与主机接口耦合的结构互连；以及与结构互连耦合的一个或多个硬件分片，一个或多个硬件分片可以包括被配置为实现对分歧的单指令多数据(SIMD)通道的压缩的SIMD架构，或被配置为压缩在流送多处理器(SM)内向线程处理器的分配的单指令多线程(SIMT)架构。

一个实施例提供一种加速器设备，包括：主机接口；与主机接口耦合的结构互连；以及与结构互连耦合的一个或多个硬件分片，其中，一个或多个硬件分片包括具有多通道并行处理器架构的处理资源以及被配置为压缩分歧的处理器通道的硬件电路。主机接口被配置为将加速器设备通信地耦合到主机计算设备的处理器，并且接收要由加速器设备执行的指令。一个或多个硬件分片可以另外包括：用于将指令解码为经解码的指令的解码电路，该经解码的指令与断言掩码相关联，其中，断言掩码指示分歧的处理器通道的集合，该分歧的处理器通道包括活动通道的集合和非活动通道的集合，并且压缩分歧的处理器通道包括将处理器通道的第二部分中的活动通道映射到处理器通道的第一部分中的非活动通道。硬件电路可以另外包括算术逻辑单元(ALU)，该ALU包括第一数量的逻辑处理器通道和第二数量的物理处理器通道，第一数量是第二数量的倍数，并且当活动逻辑处理器通道比物理处理器通道多时，ALU被配置为在多个时钟周期内处理逻辑处理器通道。

在另一实施例中，被配置为压缩分歧的处理器通道的硬件电路包括：被配置为将数据输入到ALU中的第一硬件电路，其中，第一硬件电路能够被配置为提供与逻辑处理器通道的第二集合相关联的输入作为对逻辑处理器通道的第一集合的输入；以及被配置为提供来自ALU的输出的第二硬件电路。第二硬件电路能够被配置为将来自逻辑处理器通道的第一集合的输出提供给与逻辑处理器通道的第二集合相关联的存储器。第一硬件电路和第二硬件电路是基于断言掩码配置的，并且包括交叉开关切换电路。一个或多个硬件分片被配置为：基于断言掩码将分歧的处理器通道压缩到连续的逻辑处理器通道中；并且在减少数量的时钟周期内处理连续逻辑处理器通道。本文描述的ALU包括整数逻辑和浮点逻辑两者。该ALU可以包含于通用图形处理器的计算单元、计算加速器或张量加速器中。张量加速器可以包括脉动阵列。

一个实施例提供一种方法，包括：接收具有断言的数据元素的指令；经由与该指令相关联的断言掩码，确定用于该指令的非活动数据元素的集合；将活动数据元素压缩到与非活动数据元素相关联的处理通道中，以创建活动处理通道的连续集合，其中，处理通道是多通道ALU的处理通道；在活动处理通道的连续集合上执行处理操作；以及将处理操作的输出解压缩到输出存储器中。在一个实施例中，将活动数据元素压缩到与非活动数据元素相关联的处理通道中包括将活动数据元素顺序地压缩到与非活动数据元素相关联的处理通道中，将处理操作的输出解压缩到输出存储器中包括将处理操作的输出顺序地解压缩到输出存储器中。输出存储器可以是输出寄存器或硬件存储器缓冲器。将活动数据元素压缩到与非活动数据元素相关联的处理通道中可以包括配置交叉开关以将与处理通道的第二集合相关联的活动输入数据元素映射到处理通道的第一集合中的处理通道，该处理通道的第一集合中的处理通道与非活动数据元素相关联。

在另一实施例中，多通道ALU是单指令多数据(SIMD)ALU，该单指令多数据(SIMD)ALU包括第一数量的逻辑SIMD通道和第二数量的物理SIMD通道，第一数量是第二数量的倍数，并且当活动逻辑SIMD通道比物理SIMD通道多时，该ALU在多个时钟周期内处理逻辑SIMD通道。在活动处理通道的连续集合上执行处理操作包括绕过多个逻辑SIMD通道的执行，并且相对于所有通道都是活动的时以减少数量的时钟周期来处理指令。在一个实施例中，多通道ALU是具有十六个逻辑通道和八个物理通道的SIMD16 ALU。

一个实施例提供一种数据处理系统，包括：存储器设备；以及包括一个或多个硬件分片的图形处理器，该硬件分片包括具有多通道并行处理器架构的处理资源，以及被配置为压缩分歧的处理器通道的硬件电路。该硬件电路包括算术逻辑单元(ALU)，该ALU包括第一数量的逻辑处理器通道以及第二数量的物理处理器通道，第一数量是第二数量的倍数，当活动逻辑处理器通道比物理处理器通道多时，ALU被配置为在多个时钟周期内处理逻辑处理器通道。硬件电路被配置为：接收具有断言的数据元素的指令；经由与该指令相关联的断言掩码，确定用于该指令的非活动数据元素的集合；将活动数据元素压缩到与非活动数据元素相关联的处理器通道中，以创建活动处理器通道的连续集合；在活动处理器通道的连续集合上执行处理操作；以及将处理操作的输出解压缩到输出存储器中。

在另一实施例中，输出存储器是输出寄存器或硬件存储器缓冲器。将活动数据元素压缩到与非活动数据元素相关联的处理器通道中包括配置交叉开关以将与处理通道的第二集合相关联的活动输入数据元素映射到处理通道的第一集合中的处理通道，处理通道的第一集合中的处理通道与非活动数据元素相关联。将处理操作的输出解压缩到输出存储器中包括将处理操作的输出顺序地解压缩到输出存储器中。在一个实施例中，逻辑处理器通道的第一数量是十六，物理处理器通道的第二数量是八，并且压缩活动数据元素使得分歧的16元素指令能够在单个周期内执行。

根据前述说明书，本领域技术人员将认识到的是，实施例的宽泛技术可以以各种形式实现。因此，虽然已经结合其特定示例描述了实施例，但是实施例的真实范围不限于此，因为在研究了附图、说明书和所附权利要求书之后，其他修改对于本领域技术人员将变得显而易见。

Claims (22)

1.一种加速器设备，包括：

主机接口，其用于将所述加速器设备通信地耦合到主机计算设备的处理器，并且接收要由所述加速器设备执行的指令；

与所述主机接口耦合的结构互连；以及

与所述结构互连耦合的一个或多个硬件分片，其中，所述一个或多个硬件分片包括具有单指令多数据(SIMD)架构的处理资源以及被配置为压缩分歧的SIMD通道的硬件电路。

2.根据权利要求1所述的加速器设备，所述一个或多个硬件分片另外地包括：

用于将所述指令解码为经解码的指令的解码电路，所述经解码的指令与断言掩码相关联，其中，所述断言掩码指示分歧的SIMD通道的集合，所述分歧的SIMD通道包括活动通道的集合和非活动通道的集合，并且压缩所述分歧的SIMD通道包括将SIMD通道的第二部分中的活动通道映射到SIMD通道的第一部分中的非活动通道。

3.根据权利要求2所述的加速器设备，其中，所述硬件电路包括算术逻辑单元(ALU)，所述ALU包括第一数量的逻辑SIMD通道和第二数量的物理SIMD通道，所述第一数量是所述第二数量的倍数，并且当活动逻辑SIMD通道比物理SIMD通道多时，所述ALU被配置为在多个时钟周期内处理所述逻辑SIMD通道。

4.根据权利要求3所述的加速器设备，其中，被配置为压缩分歧的SIMD通道的所述硬件电路包括：

被配置为将数据输入到所述ALU中的第一硬件电路，所述第一硬件电路能够被配置为提供与逻辑SIMD通道的第二集合相关联的输入作为对逻辑SIMD通道的第一集合的输入；以及

被配置为提供来自所述ALU的输出的第二硬件电路，所述第二硬件电路能够被配置为将来自所述逻辑SIMD通道的第一集合的输出提供给与所述逻辑SIMD通道的第二集合相关联的存储器，其中，所述ALU包括整数和浮点逻辑。

5.根据权利要求4所述的加速器设备，其中，所述第一硬件电路和所述第二硬件电路是基于所述断言掩码来配置的。

6.根据权利要求4所述的加速器设备，其中，所述第一硬件电路和所述第二硬件电路包括交叉开关切换电路。

7.根据权利要求4所述的加速器设备，其中，所述一个或多个硬件分片被配置为：

基于所述断言掩码将所述分歧的SIMD通道压缩到连续的逻辑SIMD通道中；以及

在减少数量的时钟周期内处理所述连续的逻辑SIMD通道。

8.一种方法，包括：

接收具有断言的数据元素的指令；

经由与所述指令相关联的断言掩码，确定用于所述指令的非活动数据元素的集合；

将活动数据元素压缩到与非活动数据元素相关联的处理通道中，以创建活动处理通道的连续集合，其中，所述处理通道是多通道ALU的处理通道；

在所述活动处理通道的连续集合上执行处理操作；以及

将所述处理操作的输出解压缩到输出存储器中。

9.根据权利要求8所述的方法，其中，将活动数据元素压缩到与非活动数据元素相关联的处理通道中包括将活动数据元素顺序地压缩到与非活动数据元素相关联的所述处理通道中，将所述处理操作的输出解压缩到所述输出存储器中包括将所述处理操作的输出顺序地解压缩到所述输出存储器中。

10.根据权利要求9所述的方法，其中，所述输出存储器是输出寄存器。

11.根据权利要求9所述的方法，其中，将活动数据元素压缩到与非活动数据元素相关联的所述处理通道中包括配置交叉开关以将与处理通道的第二集合相关联的活动输入数据元素映射到处理通道的第一集合中的处理通道，所述处理通道的第一集合中的所述处理通道与非活动数据元素相关联。

12.根据权利要求11所述的方法，其中，所述多通道ALU是单指令多数据(SIMD)ALU，所述单指令多数据(SIMD)ALU包括第一数量的逻辑SIMD通道和第二数量的物理SIMD通道，所述第一数量是所述第二数量的倍数，并且当活动逻辑SIMD通道比物理SIMD通道多时，所述ALU在多个时钟周期内处理所述逻辑SIMD通道。

13.根据权利要求12所述的方法，其中，在所述活动处理通道的连续集合上执行所述处理操作包括绕过多个逻辑SIMD通道的执行，并且在减少数量的时钟周期中处理所述指令。

14.根据权利要求13所述的方法，其中，所述多通道ALU是具有十六个逻辑通道和八个物理通道的SIMD16 ALU。

15.一种或多种存储数据的非暂时性机器可读介质，所述数据当被一台或多台机器读取时，使所述一台或多台机器制造一个或多个集成电路来执行根据权利要求8-14中任一项所述的方法的操作。

16.一种数据处理系统，包括：

存储器设备；以及

包括一个或多个硬件分片的图形处理器，所述一个或多个硬件分片包括具有单指令多数据(SIMD)架构的处理资源以及被配置为压缩分歧的SIMD通道的硬件电路，其中，所述硬件电路包括算术逻辑单元(ALU)，所述ALU包括第一数量的逻辑SIMD通道和第二数量的物理SIMD通道，所述第一数量是所述第二数量的倍数，当活动逻辑SIMD通道比物理SIMD通道多时，所述ALU被配置为在多个时钟周期内处理所述逻辑SIMD通道，并且所述硬件电路被配置为：

接收具有断言的数据元素的指令，

经由与所述指令相关联的断言掩码，确定用于所述指令的非活动数据元素的集合，

将活动数据元素压缩到与非活动数据元素相关联的SIMD通道中，以创建活动SIMD通道的连续集合，

在所述活动SIMD通道的连续集合上执行处理操作，以及

将所述处理操作的输出解压缩到输出存储器中。

17.根据权利要求16所述的数据处理系统，其中，所述输出存储器是输出寄存器。

18.根据权利要求16所述的数据处理系统，其中，将活动数据元素压缩到与非活动数据元素相关联的SIMD通道中包括配置交叉开关以将与SIMD通道的第二集合相关联的活动输入数据元素映射到SIMD通道的第一集合中的SIMD通道，所述SIMD通道的第一集合中的所述SIMD通道与非活动数据元素相关联。

19.根据权利要求18所述的数据处理系统，其中，将所述处理操作的输出解压缩到所述输出存储器中包括将所述处理操作的输出顺序地解压缩到所述输出存储器中。

20.根据权利要求19所述的数据处理系统，其中，所述逻辑SIMD通道的第一数量为十六，并且所述物理SIMD通道的第二数量为八。

21.根据权利要求20所述的数据处理系统，其中，在所述活动处理通道的连续集合上执行所述处理操作包括绕过多个逻辑SIMD通道的执行，并且在减少数量的时钟周期中处理所述指令。

22.根据权利要求21所述的数据处理系统，其中，在所述活动SIMD通道的连续集合上执行所述处理操作包括在单个周期中执行所述处理操作。

Images