CN112463216A - 可编程转换硬件 - Google Patents

Abstract

公开了一种用于促进计算机数字格式转换的装置。该装置包括：控制单元，其用于接收指示输入数据要被接收的第一精度数据格式的数据格式信息；以及转换器硬件，其用于接收输入数据，并且基于数据格式信息将第一精度数据格式转换为第二精度数据格式。

Description

可编程转换硬件

版权声明

该专利文档的公开内容的一部分包含受(版权或掩膜作品)保护的材料。(版权或掩模作品)所有者不反对任何人以专利文档或专利公开内容在专利和商标局专利文件或记录中出现的形式传真复制专利文档或专利公开内容，但无论怎样以其他方式保留所有(版权或掩模作品)权利。

技术领域

实施例总体上涉及数据处理，并且更具体地涉及经由通用图形处理单元的数据处理。

背景技术

深度学习算法当前在各种机器学习应用(例如，音频/视频识别、视频摘要等)中实现。各种形式的神经网络(例如，卷积神经网络(CNN)、递归神经网络(RNN)、长短期记忆(LSTM)等)由于其高度并行的性质而被应用以执行这种工作负载。深度学习应用典型地实现低精度数值运算。

然而，低精度数字运算的领域高度分散且迅速演进。为了使用更少的位来实现最新的(SOTA)准确度，研究人员已经提出了各种自定义数据格式，例如，对数、迷你浮点(float8)和通用数字、Type III(或Posit)。其他解决方案涉及使用非对称精度(例如，针对权重、激活和梯度使用不同的精度/数据格式)来提高最终准确度，同时降低大量计算的精度要求。尽管如此，硬件设计人员未能利用这一趋势来受益于这些解决方案带来的计算和带宽优势。

附图说明

为了可以详细地理解本实施例的上面引述的特征的方式，可以通过参考实施例来对上面简要概述的实施例进行更具体的描述，这些实施例中的一些在附图中示出。然而，应当注意，附图仅示出了典型的实施例，并且因此不应被认为是对实施例的范围的限制。

图1是根据实施例的处理系统的框图；

图2A-2D示出了由本文描述的实施例提供的计算系统和图形处理器；

图3A-3C示出了由实施例提供的附加图形处理器和计算加速器架构的框图；

图4是根据一些实施例的图形处理器的图形处理引擎的框图；

图5A-5B示出了根据实施例的线程执行逻辑500，该线程执行逻辑500包括在图形处理器核心中采用的处理元件的阵列；

图6示出了根据实施例的附加执行单元600；

图7是示出根据一些实施例的图形处理器指令格式的框图；

图8是根据另一实施例的图形处理器的框图；

图9A和图9B示出了根据一些实施例的图形处理器命令格式和命令序列；

图10示出了根据一些实施例的用于数据处理系统的示例性图形软件架构；

图11A-11D示出了根据实施例的集成电路封装组装件；

图12是示出根据实施例的示例性片上系统集成电路的框图；

图13A和图13B是示出附加示例性图形处理器的框图；

图14示出了根据实施例的机器学习软件栈；

图15A-15B示出了示例性深度神经网络的层；

图16示出了示例性递归神经网络；

图17示出了深度神经网络的训练和部署；

图18是示出分布式学习的框图；

图19示出了采用加速器的计算设备的一个实施例；

图20示出了加速器的一个实施例；

图21示出了数据格式信息的一个实施例；

图22示出了编程代码的一个实施例；

图23示出了迭代器的一个实施例；

图24是示出执行矩阵乘法运算的一个实施例的流程图；以及

图25示出了在矩阵乘法运算期间的转换流程的另一实施例。

具体实施方式

在实施例中，提供了可编程转换硬件以将以各种精度数据格式接收到的数据转换为被实现为计算一个或多个数学运算的精度数据格式。在下面的描述中，阐述了许多具体细节以提供更透彻的理解。然而，将对本领域的技术人员显而易见的是，可以在没有这些具体细节中的一个或多个的情况下实践本文描述的实施例。在其他实例中，没有描述公知的特征以避免模糊本实施例的细节。

系统概述

图1是根据实施例的处理系统100的框图。系统100可以用于单个处理器台式机系统、多处理器工作站系统或具有大量处理器102或处理器核心107的服务器系统中。在一个实施例中，系统100是结合在片上系统(SoC)集成电路内以在移动、手持或嵌入式设备中(例如，在具有到局域网或广域网的有线或无线连通性的物联网(IoT)设备内)使用的处理平台。

在一个实施例中，系统100可以包括基于服务器的游戏平台、游戏控制台、与基于服务器的游戏平台、游戏控制台耦合或结合在基于服务器的游戏平台、游戏控制台内，该游戏控制台包括游戏和媒体控制台、移动游戏控制台、手持游戏控制台或在线游戏控制台。在一些实施例中，系统100是具有低内部存储容量的移动电话、智能电话、平板计算设备或移动互联网连接设备(例如，膝上型计算机)的一部分。处理系统100还可以包括可穿戴设备(例如，智能手表可穿戴设备；智能眼镜或衣物，其以增强现实(AR)或虚拟现实(VR)特征进行增强以提供视觉、音频或触觉输出来补充现实世界的视觉、音频或触觉体验，或者以其他方式提供文本、音频、图形、视频、全息图像或视频或触觉反馈)、其他增强现实(AR)设备或其他虚拟现实(VR)设备、与可穿戴设备、其他增强现实(AR)设备或其他虚拟现实(VR)设备耦合或结合在可穿戴设备、其他增强现实(AR)设备或其他虚拟现实(VR)设备内。在一些实施例中，处理系统100包括电视或机顶盒设备或作为电视或机顶盒设备的一部分。在一个实施例中，系统100可以包括自动驾驶交通工具(例如，公共汽车、拖拉机拖车、汽车、摩托车或电动车、飞机或滑翔机(或其任何组合))、与自动驾驶交通工具耦合或集成在自动驾驶交通工具内。自动驾驶交通工具可以使用系统100来处理在交通工具周围感测到的环境。

在一些实施例中，一个或多个处理器102各自包括用于处理指令的一个或多个处理器核心107，该指令当被执行时执行针对系统或用户软件的操作。在一些实施例中，一个或多个处理器核心107中的至少一个处理器核心被配置为处理特定的指令集109。在一些实施例中，指令集109可以促进复杂指令集计算(CISC)、精简指令集计算(RISC)或经由超长指令字(VLIW)的计算。一个或多个处理器核心107可以处理不同的指令集109，不同的指令集109可以包括用于促进对其他指令集的仿真的指令。处理器核心107还可以包括其他处理设备，例如，数字信号处理器(DSP)。

在一些实施例中，处理器102包括高速缓冲存储器104。取决于架构，处理器102可以具有单个内部高速缓存或多个级别的内部高速缓存。在一些实施例中，高速缓冲存储器在处理器102的各种组件之间共享。在一些实施例中，处理器102还使用外部高速缓存(例如，3级(L3)高速缓存或最后一级高速缓存(LLC))(未示出)，其可以使用已知的高速缓存一致性技术在处理器核心107之间共享。寄存器文件106可以另外地包括在处理器102中，并且可以包括用于存储不同类型数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器)。一些寄存器可以是通用寄存器，而其他寄存器可以是特定于处理器102的设计。

在一些实施例中，一个或多个处理器102与一个或多个接口总线110耦合，以在处理器102与系统100中的其他组件之间发送诸如地址信号、数据信号或控制信号之类的通信信号。在一个实施例中，接口总线110可以是处理器总线，例如，直接媒体接口(DMI)总线的版本。然而，处理器总线不限于DMI总线，并且可以包括一个或多个外围组件互连总线(例如，PCI、PCI快速)、存储器总线或其他类型的接口总线。在一个实施例中，(多个)处理器102包括集成存储器控制器116和平台控制器中心130。存储器控制器116促进存储器设备与系统100的其他组件之间的通信，而平台控制器中心(PCH)130提供经由本地I/O总线与I/O设备的连接。

存储器设备120可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪速存储器设备、相变存储器设备或具有合适性能以用作过程存储器的一些其他存储器设备。在一个实施例中，存储器设备120可以作为系统100的系统存储器操作，以存储数据122和指令121，以便在一个或多个处理器102执行应用或过程时使用。存储器控制器116还与可选的外部图形处理器118耦合，该外部图形处理器118可以与处理器102中的一个或多个图形处理器108通信以执行图形和媒体操作。在一些实施例中，图形、媒体和/或计算操作可以由加速器112辅助，该加速器112是可以被配置为执行图形、媒体或计算操作的专门集合的协处理器。例如，在一个实施例中，加速器112是用于优化机器学习或计算操作的矩阵乘法加速器。在一个实施例中，加速器112是光线追踪加速器，该光线追踪加速器可以用于与图形处理器108一致地执行光线追踪操作。在一个实施例中，可以使用外部加速器119来替代加速器112或者外部加速器119可以与加速器112一致地使用。

在一些实施例中，显示设备111可以连接到(多个)处理器102。显示设备111可以是内部显示设备(如在移动电子设备或膝上型设备中)或者经由显示接口(例如，显示端口(DisplayPort)等)附接的外部显示设备中的一个或多个。在一个实施例中，显示设备111可以是头戴式显示器(HMD)，例如，用于虚拟现实(VR)应用或增强现实(AR)应用的立体显示设备。

在一些实施例中，平台控制器中心130使得外围设备能够经由高速I/O总线连接到存储器设备120和处理器102。I/O外围设备包括但不限于音频控制器146、网络控制器134、固件接口128、无线收发器126、触摸传感器125、数据存储设备124(例如，非易失性存储器、易失性存储器、硬盘驱动器、闪速存储器、NAND、3D NAND、3D XPoint等)。数据存储设备124可以经由存储接口(例如，SATA)或经由外围总线(例如，外围组件互连总线(例如，PCI、PCI快速))连接。触摸传感器125可以包括触摸屏传感器、压力传感器或指纹传感器。无线收发器126可以是Wi-Fi收发器、蓝牙收发器或诸如3G、4G、5G或长期演进(LTE)收发器之类的移动网络收发器。固件接口128实现与系统固件的通信，并且可以是例如统一可扩展固件接口(UEFI)。网络控制器134可以实现与有线网络的网络连接。在一些实施例中，高性能网络控制器(未示出)与接口总线110耦合。在一个实施例中，音频控制器146是多通道高清晰度音频控制器。在一个实施例中，系统100包括用于将旧有(例如，个人系统2(PS/2))设备耦合到系统的可选的旧有I/O控制器140。平台控制器中心130还可以连接到一个或多个通用串行总线(USB)控制器142以连接输入设备，例如，键盘和鼠标143组合、相机144或其他USB输入设备。

将认识到的是，所示的系统100是示例性的而非限制性的，因为还可以使用被不同配置的其他类型的数据处理系统。例如，存储器控制器116和平台控制器中心130的实例可以集成到分立的外部图形处理器(例如，外部图形处理器118)中。在一个实施例中，平台控制器中心130和/或存储器控制器116可以在一个或多个处理器102的外部。例如，系统100可以包括外部存储器控制器116和平台控制器中心130，其可以被配置作为在与(多个)处理器102通信的系统芯片组内的存储器控制器中心和外围控制器中心。

例如，可以使用其上放置了诸如CPU、存储器和其他组件之类的组件的电路板(“雪橇(sled)”)，这种电路板被设计用于增加的热性能。在一些示例中，诸如处理器之类的处理组件位于雪橇的顶部一侧，而诸如DIMM的之类的接近存储器位于雪橇的底部一侧。由于该设计提供了增强的气流，因此组件可以比在典型的系统中以更高的频率和功率级别操作，由此增加了性能。此外，雪橇被配置为与机架中的功率和数据通信电缆盲目配合，由此增强了其被快速移除、更新、重新安装和/或替换的能力。类似地，位于雪橇上的各个组件(例如，处理器、加速器、存储器和数据存储驱动器)由于其彼此之间增加的间距而被配置为易于更新的。在说明性实施例中，组件另外地包括硬件认证特征以证明其真实性。

数据中心可以利用支持多种其他网络架构(包括以太网和Omni-Path)的单一网络架构(“结构”)。雪橇可以经由光纤耦合到交换机，与典型的双绞线电缆(例如，类别5、类别5e、类别6等)相比，这提供了较高的带宽和较低的时延。由于高带宽低时延的互连和网络架构，数据中心可以在使用中对资源(例如，存储器、加速器(例如，GPU、图形加速器、FPGA、ASIC、神经网络和/或人工智能加速器等)以及物理分解的数据存储驱动器)进行池化，并且基于需要将这些资源提供给计算资源(例如，处理器)，从而使计算资源能够如同它们在本地一样访问经池化的资源。

电力供应或电源可以向系统100或本文描述的任何组件或系统提供电压和/或电流。在一个示例中，电力供应包括AC到DC(交流电流到直流电流)适配器以插入壁式插座中。这样的AC电力可以是可再生能源(例如，太阳能)电源。在一个示例中，电源包括DC电源，例如，外部AC到DC转换器。在一个示例中，电源或电力供应包括无线充电硬件，以经由与充电场的邻近度来充电。在一个示例中，电源可以包括内部电池、交流电流供应、基于运动的电力供应、太阳能电力供应或燃料电池源。

图2A-2D示出了由本文描述的实施例提供的计算系统和图形处理器。图2A-2D中具有与本文任何其他附图中的元件相同的附图标记(或名称)的元件可以以与本文其他地方描述的方式类似的任何方式操作或起作用，但不限于此。

图2A是处理器200的实施例的框图，该处理器200具有一个或多个处理器核心202A-202N、集成的存储器控制器214和集成的图形处理器208。处理器200可以包括附加核心，直到包括由虚线框表示的附加核心202N。处理器核心202A-202N中的每一个包括一个或多个内部高速缓存单元204A-204N。在一些实施例中，每个处理器核心还具有对一个或多个共享高速缓存单元206的访问权。内部高速缓存单元204A-204N和共享高速缓存单元206表示处理器200内的高速缓冲存储器层级。高速缓冲存储器层级可以包括每个处理器核心内的至少一个级别的指令和数据高速缓存以及一个或多个级别的共享中间级别高速缓存(例如，2级(L2)、3级(L3)、4级(L4)或其他级别的高速缓存)，其中外部存储器之前的最高级别的高速缓存被分类为LLC。在一些实施例中，高速缓存一致性逻辑维持各种高速缓存单元206和204A-204N之间的一致性。

在一些实施例中，处理器200还可以包括一个或多个总线控制器单元216的集合和系统代理核心210。一个或多个总线控制器单元216管理外围总线的集合(例如，一个或多个PCI或PCI快速总线)。系统代理核心210为各种处理器组件提供管理功能。在一些实施例中，系统代理核心210包括一个或多个集成存储器控制器214以管理对各种外部存储器设备(未示出)的访问。

在一些实施例中，处理器核心202A-202N中的一个或多个包括对同时多线程的支持。在这样的实施例中，系统代理核心210包括用于在多线程处理期间协调并操作核心202A-202N的组件。系统代理核心210可以另外地包括功率控制单元(PCU)，其包括用于调节处理器核心202A-202N和图形处理器208的功率状态的逻辑和组件。

在一些实施例中，处理器200另外地包括用于执行图形处理操作的图形处理器208。在一些实施例中，图形处理器208与共享高速缓存单元206的集合以及包括一个或多个集成存储器控制器214的系统代理核心210耦合。在一些实施例中，系统代理核心210还包括显示控制器211，其用于将图形处理器输出驱动到一个或多个耦合的显示器。在一些实施例中，显示控制器211还可以是经由至少一个互连与图形处理器耦合的单独模块，或者显示控制器211可以集成在图形处理器208内。

在一些实施例中，基于环形的互连单元212用于耦合处理器200的内部组件。然而，可以使用替代的互连单元，例如，点对点互连、交换互连或包括本领域公知的技术的其他技术。在一些实施例中，图形处理器208经由I/O链路213与环形互连212耦合。

示例性I/O链路213表示多种I/O互连中的至少一种，包括促进各种处理器组件与高性能嵌入式存储器模块218(例如，eDRAM模块)之间的通信的封装上I/O互连。在一些实施例中，处理器核心202A-202N中的每一个和图形处理器208可以使用嵌入式存储器模块218作为共享的最后一级高速缓存。

在一些实施例中，处理器核心202A-202N是执行相同的指令集架构的同构核心。在另一实施例中，处理器核心202A-202N在指令集架构(ISA)方面是异构的，其中处理器核心202A-202N中的一个或多个执行第一指令集，而其他核心中的至少一个执行第一指令集的子集或不同的指令集。在一个实施例中，处理器核心202A-202N在微架构方面是异构的，其中具有相对较高功耗的一个或多个核心与具有较低功耗的一个或多个功率核心耦合。在一个实施例中，处理器核心202A-202N在计算能力方面是异构的。另外地，处理器200可以在一个或多个芯片上实现或者实现为具有所示组件以及其他组件的SoC集成电路。

图2B是根据本文所描述的一些实施例的图形处理器核心219的硬件逻辑的框图。图2B中具有与本文任何其他附图中的元件相同的附图标记(或名称)的元件可以以与本文其他地方描述的方式类似的任何方式操作或起作用，但不限于此。图形处理器核心219(有时称为核心切片)可以是模块化图形处理器内的一个或多个图形核心。图形处理器核心219是一个图形核心切片的示例，并且如本文所描述的图形处理器可以基于目标功率和性能包络包括多个图形核心切片。每个图形处理器核心219可以包括与多个子核心221A-221F(也称为子切片，其包括通用逻辑和固定功能逻辑的模块化块)耦合的固定功能块230。

在一些实施例中，固定功能块230包括几何/固定功能流水线231，其可以由图形处理器核心219中的所有子核心共享，例如，在较低性能和/或较低功率图形处理器实现方式中。在各种实施例中，几何/固定功能流水线231包括3D固定功能流水线(例如，下面描述的图3和图4中的3D流水线312)、视频前端单元、线程产生器和线程分派器，以及管理统一返回缓冲器(例如，如下面描述的图4中的统一返回缓冲器418)的统一返回缓冲器管理器。

在一个实施例中，固定功能块230还包括图形SoC接口232、图形微控制器233和媒体流水线234。图形SoC接口232提供图形处理器核心219与片上系统集成电路内的其他处理器核心之间的接口。图形微控制器233是可编程子处理器，其可配置用于管理图形处理器核心219的各种功能，包括线程分派、调度和抢占。媒体流水线234(例如，图3和图4的媒体流水线316)包括用于促进对多媒体数据(包括图像数据和视频数据)进行解码、编码、预处理和/或后处理的逻辑。媒体流水线234经由对在子核心221-221F内的计算逻辑或采样逻辑的请求来实现媒体操作。

在一个实施例中，SoC接口232使得图形处理器核心219能够与通用应用处理器核心(例如，CPU)和/或SoC内的其他组件(包括存储器层级元件，例如，共享最后一级高速缓冲存储器、系统RAM和/或嵌入式片上或封装上DRAM)通信。SoC接口232还可以实现与SoC内的固定功能设备(例如，相机成像流水线)的通信，并且使得能够使用和/或实现可以在图形处理器核心219与SoC内的CPU之间共享的全局存储器原子。SoC接口232还可以实现针对图形处理器核心219的功率管理控制，并且启用图形核心219的时钟域与SoC内的其他时钟域之间的接口。在一个实施例中，SoC接口232实现对来自命令流送器和全局线程分派器的命令缓冲器的接收，命令流送器和全局线程分派器被配置为向图形处理器内的一个或多个图形核心中的每一个提供命令和指令。当要执行媒体操作时，可以将命令和指令分派给媒体流水线234，或者当要执行图形处理操作时，可以将命令和指令分派给几何和固定功能流水线(例如，几何和固定功能流水线231、几何和固定功能流水线237)。

图形微控制器233可以被配置为执行针对图形处理器核心219的各种调度和管理任务。在一个实施例中，图形微控制器233可以对子核心221A-221F内的执行单元(EU)阵列222A-222F、224A-224F内的各种图形并行引擎执行图形和/或计算工作负载调度。在该调度模型中，在包括图形处理器核心219的SoC的CPU核心上执行的主机软件可以提交多个图形处理器门铃中的一个的工作负载，该图形处理器门铃在适当的图形引擎上调用调度操作。调度操作包括确定下一个要运行的工作负载，将工作负载提交给命令流送器，抢占引擎上运行的现有工作负载，监视工作负载的进程，以及当工作负载完成时通知主机软件。在一个实施例中，图形微控制器233还可以促进图形处理器核心219的低功率或空闲状态，从而独立于操作系统和/或系统上的图形驱动软件而跨低功率状态转换为图形处理器核心219提供保存和恢复图形处理器核心219内的寄存器的能力。

图形处理器核心219可以具有多于或少于所示的子核心221A-221F，最多具有N个模块化子核心。对于N个子核心的每个集合，图形处理器核心219还可以包括共享功能逻辑235、共享和/或高速缓冲存储器236、几何/固定功能流水线237以及用于加速各种图形和计算处理操作的附加的固定功能逻辑238。共享功能逻辑235可以包括与图4的共享功能逻辑420(例如，采样器逻辑、数学逻辑和/或线程间通信逻辑)相关联的逻辑单元，这些逻辑单元可以由图形处理器核心219内的N个子核心中的每一个共享。共享和/或高速缓冲存储器236可以是针对图形处理器核心219内的N个子核心221A-221F的集合的最后一级高速缓存，并且还可以用作可由多个子核心访问的共享存储器。在固定功能块230内可以包括几何/固定功能流水线237而不是几何/固定功能流水线231，并且可以包括相同或类似的逻辑单元。

在一个实施例中，图形处理器核心219包括附加的固定功能逻辑238，该附加的固定功能逻辑238可以包括供图形处理器核心219使用的各种固定功能加速逻辑。在一个实施例中，附加的固定功能逻辑238包括用于仅位置着色的附加几何流水线。在仅位置着色中，存在两种几何流水线：剔除(cull)流水线以及几何/固定功能流水线237、231内的完整几何流水线，该剔除流水线是可以被包括在附加的固定功能逻辑238内的附加的几何流水线。在一个实施例中，剔除流水线是完整几何流水线的经裁减的版本。完整流水线和剔除流水线可以执行相同应用的不同实例，每个实例具有单独的上下文。仅位置着色可以隐藏已丢弃的三角形的长剔除运行，从而使得能够在某些实例中更早地完成着色。例如，在一个实施例中，附加的固定功能逻辑238内的剔除流水线逻辑可以与主应用并行地执行位置着色器，并且通常比完整流水线更快地生成关键结果，因为剔除流水线仅获取顶点的位置属性并对其进行着色，而没有执行光栅化以及将像素渲染到帧缓冲器。剔除流水线可以使用生成的关键结果来计算所有三角形的可见性信息，而不考虑这些三角形是否被剔除。完整流水线(在该实例中可以称为重放流水线)可以消耗可见性信息以跳过经剔除的三角形以仅对最终传递到光栅化阶段的可见三角形进行着色。

在一个实施例中，附加的固定功能逻辑238还可以包括机器学习加速逻辑，例如，固定功能矩阵乘法逻辑，其用于包括针对机器学习训练或推理的优化在内的实现方式。

在每个图形子核心221A-221F内包括执行资源的集合，该执行资源的集合可以用于响应于图形流水线、媒体流水线或着色器程序的请求来执行图形、媒体和计算操作。图形子核心221A-221F包括多个EU阵列222A-222F、224A-224F、线程分派和线程间通信(TD/IC)逻辑223A-223F、3D(例如，纹理)采样器225A-225F、媒体采样器226A-226F、着色器处理器227A-227F以及共享本地存储器(SLM)228A-228F。EU阵列222A-222F、224A-224F各自包括多个执行单元，多个执行单元是能够在图形、媒体或计算操作的服务(包括图形、媒体或计算着色器程序)中执行浮点和整数/定点逻辑操作的通用图形处理单元。TD/IC逻辑223A-223F针对子核心内的执行单元执行本地线程分派和线程控制操作，并且促进在子核心的执行单元上执行的线程之间的通信。3D采样器225A-225F可以将纹理或其他3D图形相关数据读取到存储器中。3D采样器可以基于配置的样本状态以及与给定纹理相关联的纹理格式来不同地读取纹理数据。媒体采样器226A-226F可以基于与媒体数据相关联的类型和格式来执行类似的读取操作。在一个实施例中，每个图形子核心221A-221F可以替代地包括统一3D和媒体采样器。在子核心221A-221F中的每一个内的执行单元上执行的线程可以利用每个子核心内的共享本地存储器228A-228F，以使得在线程组内执行的线程能够使用片上存储器的公共池来执行。

图2C示出了图形处理单元(GPU)239，该GPU 239包括布置在多核心组240A-240N中的图形处理资源的专用集合。虽然仅提供了单个多核心组240A的细节，但是将认识到的是，其他多核心组240B-240N可以配备有相同或相似的图形处理资源的集合。

如所示的，多核心组240A可以包括图形核心的集合243、张量核心的集合244以及光线追踪核心的集合245。调度器/分派器241对用于在各种核心243、244、245上执行的图形线程进行调度和分派。寄存器文件的集合242存储由核心243、244、245在执行图形线程时使用的操作数值。这些寄存器可以包括例如用于存储整数值的整数寄存器、用于存储浮点值的浮点寄存器、用于存储打包数据元素(整数和/或浮点数据元素)的向量寄存器以及用于存储张量/矩阵值的分片寄存器。在一个实施例中，分片寄存器被实现为向量寄存器的组合集合。

一个或多个组合的级别1(L1)高速缓存和共享存储器单元247在每个多核心组240A内本地地存储诸如纹理数据、顶点数据、像素数据、光线数据、包围体积数据等之类的图形数据。一个或多个纹理单元247也可以用于执行纹理操作，例如，纹理映射和采样。由多核心组240A-240N的全部或子集共享的级别2(L2)高速缓存253存储用于多个同时图形线程的图形数据和/或指令。如所示的，L2高速缓存253可以跨多个多核心组240A-240N共享。一个或多个存储器控制器248将GPU 239耦合到存储器249，该存储器249可以是系统存储器(例如，DRAM)和/或专用图形存储器(例如，GDDR6存储器)。

输入/输出(I/O)电路250将GPU 239耦合到一个或多个I/O设备252，例如，数字信号处理器(DSP)、网络控制器或用户输入设备。片上互连可以用于将I/O设备252耦合到GPU239和存储器249。I/O电路250的一个或多个I/O存储器管理单元(IOMMU)251将I/O设备252直接耦合到系统存储器249。在一个实施例中，IOMMU 251管理用于将虚拟地址映射到系统存储器249中的物理地址的页表的多个集合。在该实施例中，I/O设备252、(多个)CPU 246和(多个)GPU 239可以共享相同的虚拟地址空间。

在一种实现方式中，IOMMU 251支持虚拟化。在这种情况下，IOMMU 251可以管理页表的用于将客体/图形虚拟地址映射到客体/图形物理地址的第一集合，以及页表的用于将客体/图形物理地址映射到(例如，在系统存储器249内的)系统/主机物理地址的第二集合。页表的第一集合和第二集合中的每一个的基址可以存储在控制寄存器中并在上下文交换机上交换出去(例如，使得新的上下文被提供有对页表的相关集合的访问)。虽然未在图2C中未示出，但是核心243、244、245和/或多核心组240A-240N中的每一个可以包括转换后备缓冲器(TLB)以缓存客体虚拟到客体物理的转换、客体物理到主机物理的转换以及客体虚拟到主机物理的转换。

在一个实施例中，CPU 246、GPU 239和I/O设备252集成在单个半导体芯片和/或芯片封装上。所示的存储器249可以集成在同一芯片上，或者可以经由片外接口耦合到存储器控制器248。在一种实现方式中，存储器249包括GDDR6存储器，其共享与其他物理系统级别存储器相同的虚拟地址空间，但是本发明的基本原理不限于该特定实现方式。

在一个实施例中，张量核心244包括专门被设计用于执行矩阵运算的多个执行单元，这些矩阵运算是用于执行深度学习操作的基本计算操作。例如，同时矩阵乘法运算可以用于神经网络训练和推理。张量核心244可以使用各种操作数精度来执行矩阵处理，操作数精度包括单精度浮点(例如，32位)、半精度浮点(例如，16位)、整数字(16位)、字节(8位)和半字节(4位)。在一个实施例中，神经网络实现方式提取每个经渲染的场景的特征、潜在地组合来自多个帧的细节，以构建高质量的最终图像。

在深度学习实现方式中，可以调度并行矩阵乘法工作以用于在张量核心244上执行。特别地，对神经网络的训练要求大量矩阵点积运算。为了处理N×N×N矩阵相乘的内积表达式，张量核心244可以包括至少N个点积处理元件。在矩阵乘法开始之前，将一个完整的矩阵加载到分片寄存器中，并且在N个周期中，每个周期加载第二矩阵的至少一列。每个周期，都有N个点积被处理。

取决于特定实现方式，矩阵元素可以以不同的精度存储，包括16位字、8位字节(例如，INT8)和4位半字节(例如，INT4)。可以为张量核心244指定不同的精度模式，以确保针对不同的工作负载(例如，可以容忍量化为字节和半字节的推理工作负载)使用最高效的精度。

在一个实施例中，光线追踪核心245加速用于实时光线追踪实现方式和非实时光线追踪实现方式两者的光线追踪操作。特别地，光线追踪核心245包括光线遍历/交叉电路，以用于使用包围体积层级(BVH)执行光线遍历以及标识光线与在BVH体积内包围的基元之间的交叉。光线追踪核心245还可以包括用于执行深度测试和剔除的(例如，使用Z缓冲器或类似的布置的)电路。在一种实现方式中，光线追踪核心245执行与本文所描述的图像去噪技术一致的遍历和交叉操作，遍历和交叉操作的至少一部分可以在张量核心244上执行。例如，在一个实施例中，张量核心244实现深度学习神经网络以执行对由光线追踪核心245生成的帧的去噪。然而，(多个)CPU 246、图形核心243和/或光线追踪核心245也可以实现去噪和/或深度学习算法的全部或部分。

另外地，如上面所描述的，可以采用去噪的分布式方法，其中GPU 239在通过网络或高速互连与其他计算设备耦合的计算设备中。在该实施例中，互连的计算设备共享神经网络学习/训练数据，以改进整个系统学习针对不同类型的图像帧和/或不同图形应用执行去噪的速度。

在一个实施例中，光线追踪核心245处理所有BVH遍历和光线-基元交叉，从而使得图形核心243不会因每条光线数千个指令而过载。在一个实施例中，每个光线追踪核心245包括用于执行(例如，用于遍历操作的)包围盒测试的专用电路的第一集合以及用于执行光线-三角形交叉测试(例如，已经遍历的交叉光线)的专用电路的第二集合。因此，在一个实施例中，多核心组240A可以简单地发射光线探头，并且光线追踪核心245独立地执行光线遍历和交叉并且将命中数据(例如，命中、未命中、多次命中等)返回到线程上下文。释放其他核心243、244以执行其他图形或计算工作，而光线追踪核心245执行遍历和交叉操作。

在一个实施例中，每个光线追踪核心245包括用于执行BVH测试操作的遍历单元以及执行光线-基元交叉测试的交叉单元。交叉单元生成“命中”、“未命中”或“多次命中”响应，该交叉单元将这些响应提供给适当的线程。在遍历和交叉操作期间，释放其他核心(例如，图形核心243和张量核心244)的执行资源以执行其他形式的图形工作。

在下面描述的一个特定实施例中，使用混合光栅化/光线追踪方法，其中工作分布在图形核心243与光线追踪核心245之间。

在一个实施例中，光线追踪核心245(和/或其他核心243、244)包括对光线追踪指令集(例如，微软的DirectX光线追踪(DXR)，其包括DispatchRays命令，以及光线生成(ray-generation)、最接近命中(closest-hit)、任何命中(any-hit)和未命中着色器(missshaders)，其实现为每个对象指派着色器和纹理的唯一集合)的硬件支持。可以由光线追踪核心245、图形核心243和张量核心244支持的另一光线追踪平台是Vulkan 1.1.85。然而，应注意，本发明的基本原理不限于任何特定的光线追踪ISA。

通常，各种核心245、244、243可以支持光线追踪指令集，该光线追踪指令集包括针对光线生成、最接近命中、任何命中、光线-基元交叉、每基元和分层的包围盒构造、未命中、访问和异常的指令/功能。更具体地，一个实施例包括用于执行以下功能的光线追踪指令：

光线生成-可以针对每个像素、样本或其他用户定义的工作指派执行光线生成指令。

最接近命中-可以执行最接近命中指令以定位光线与基元的最接近的交叉点。

任何命中-任何命中指令标识场景内的光线与基元之间的多个交叉，潜在地标识新的最接近的交叉点。

交叉-交叉指令执行光线-基元交叉测试并输出结果。

每基元包围盒构造-(例如，当构建新的BVH或其他加速度数据结构时)该指令围绕给定基元或基元组构建包围盒。

未命中-指示光线未命中场景内的所有几何体或场景的指定区域。

访问-指示光线将遍历的子体积。

异常-包括各种类型的(例如，针对各种错误条件调用的)异常处理程序。

图2D是根据本文描述的实施例的可以被配置为图形处理器和/或计算加速器的通用图形处理单元(GPGPU)270的框图。GPGPU 270可以经由一个或多个系统和/或存储器总线与主机处理器(例如，一个或多个CPU 246)和存储器271、272互连。在一个实施例中，存储器271是可以与一个或多个CPU 246共享的系统存储器，而存储器272是专用于GPGPU 270的设备存储器。在一个实施例中，GPGPU 270内的组件和设备存储器272可以被映射到一个或多个CPU 246可访问的存储器地址中。可以经由存储器控制器268促进对存储器271和272的访问。在一个实施例中，存储器控制器268包括内部直接存储器访问(DMA)控制器269，或者可以包括用于执行否则由DMA控制器执行的操作的逻辑。

GPGPU 270包括多个高速缓冲存储器，包括L2高速缓存253、L1高速缓存254、指令高速缓存255和共享存储器256，它们的至少一部分也可以被划分为高速缓冲存储器。GPGPU270还包括多个计算单元260A-260N。每个计算单元260A-260N包括向量寄存器的集合261、标量寄存器262、向量逻辑单元263和标量逻辑单元264。计算单元260A-260N还可以包括本地共享存储器265和程序计数器266。计算单元260A-260N可以与恒定高速缓存267耦合，该恒定高速缓存267可以用于存储恒定数据，该恒定数据是在GPGPU 270上执行的内核或着色器程序的运行期间将不会改变的数据。在一个实施例中，恒定高速缓存267是标量数据高速缓存，并且经缓存的数据可以被直接获取到标量寄存器262中。

在操作期间，一个或多个CPU 246可以将命令写入GPGPU 270中的已经被映射到可访问地址空间中的寄存器或存储器中。命令处理器257可以从寄存器或存储器读取命令，并且确定将如何在GPGPU 270内处理这些命令。然后，可以使用线程分派器258将线程分派给计算单元260A-260N以执行这些命令。每个计算单元260A-260N可以独立于其他计算单元执行线程。另外地，每个计算单元260A-260N可以被独立地配置用于条件计算，并且可以将计算结果有条件地输出到存储器。当提交的命令完成时，命令处理器257可以中断一个或多个CPU 246。

图3A-3C示出了由本文描述的实施例提供的附加图形处理器和计算加速器架构的框图。图3A-3C中具有与本文任何其他附图中的元件相同的附图标记(或名称)的元件可以以与本文其他地方描述的方式类似的任何方式操作或起作用，但不限于此。

图3A是图形处理器300的框图，该图形处理器300可以是分立的图形处理单元，或者可以是与多个处理核心或其他半导体器件(例如但不限于存储器设备或网络接口)集成的图形处理器。在一些实施例中，图形处理器经由与图形处理器上的寄存器的存储器映射的I/O接口并且利用放置在处理器存储器中的命令进行通信。在一些实施例中，图形处理器300包括用于访问存储器的存储器接口314。存储器接口314可以是与本地存储器、一个或多个内部高速缓存、一个或多个共享外部高速缓存和/或系统存储器的接口。

在一些实施例中，图形处理器300还包括用于将显示输出数据驱动到显示设备318的显示控制器302。显示控制器302包括用于显示和组成视频或用户界面元素的多个层的一个或多个覆盖平面的硬件。显示设备318可以是内部或外部显示设备。在一个实施例中，显示设备318是头戴式显示设备，例如，虚拟现实(VR)显示设备或增强现实(AR)显示设备。在一些实施例中，图形处理器300包括视频编解码器引擎306，其用于将媒体编码、解码为一种或多种媒体编码格式，将媒体从一种或多种媒体编码格式进行编码、解码或者将媒体在一种或多种媒体编码格式之间进行转码，该一种或多种媒体编码格式包括但不限于运动图像专家组(MPEG)格式(例如，MPEG-2)、高级视频编码(AVC)格式(例如，H.264/MPEG-4AVC、H.265/HEVC)、开放媒体联盟(AOMedia)VP8、VP9以及电影电视工程师协会(SMPTE)421M/VC-1和联合图像专家组(JPEG)格式(例如，JPEG和运动JPEG(MJPEG)格式)。

在一些实施例中，图形处理器300包括块图像传送(BLIT)引擎，其用于执行二维(2D)光栅化器操作，包括例如位边界块传送。然而，在一个实施例中，使用图形处理引擎(GPE)310的一个或多个组件来执行2D图形操作。在一些实施例中，GPE 310是用于执行图形操作的计算引擎，该图形操作包括三维(3D)图形操作和媒体操作。

在一些实施例中，GPE 310包括用于执行3D操作(例如，使用作用于3D基元形状(例如，矩形、三角形等)的处理功能来渲染三维图像和场景)的3D流水线312。3D流水线312包括可编程功能元件和固定功能元件，其执行元件内的各种任务和/或向3D/媒体子系统315产生执行线程。虽然3D流水线312可以用于执行媒体操作，但是GPE 310的实施例还包括媒体流水线316，该媒体流水线316专门用于执行媒体操作，例如，视频后处理和图像增强。

在一些实施例中，媒体流水线316包括固定功能逻辑单元或可编程逻辑单元，以代替或代表视频编解码器引擎306执行一个或多个专用媒体操作，例如，视频解码加速、视频反交错和视频编码加速。在一些实施例中，媒体流水线316另外地包括线程产生单元以产生用于在3D/媒体子系统315上执行的线程。产生的线程在3D/媒体子系统315中包括的一个或多个图形执行单元上执行针对媒体操作的计算。

在一些实施例中，3D/媒体子系统315包括用于执行由3D流水线312和媒体流水线316产生的线程的逻辑。在一个实施例中，流水线将线程执行请求发送到3D/媒体子系统315，该3D/媒体子系统315包括用于对针对可用线程执行资源的各种请求进行仲裁和分派的线程分派逻辑。执行资源包括用于处理3D线程和媒体线程的图形执行单元的阵列。在一些实施例中，3D/媒体子系统315包括用于线程指令和数据的一个或多个内部高速缓存。在一些实施例中，子系统还包括共享存储器，其包括寄存器和可寻址存储器，以在线程之间共享数据并且存储输出数据。

图3B示出了根据本文描述的实施例的具有分片式架构的图形处理器320。在一个实施例中，图形处理器320包括图形处理引擎集群322，该图形处理引擎集群322在图形引擎分片310A-310D内具有图3A的图形处理引擎310的多个实例。每个图形引擎分片310A-310D可以经由分片互连的集合323A-323F互连。每个图形引擎分片310A-310D还可以经由存储器互连325A-325D连接到存储器模块或存储器设备326A-326D。存储器设备326A-326D可以使用任何图形存储器技术。例如，存储器设备326A-326D可以是图形双倍数据速率(GDDR)存储器。在一个实施例中，存储器设备326A-326D是高带宽存储器(HBM)模块，其可以与它们相应的图形引擎分片310A-310D一起在管芯上。在一个实施例中，存储器设备326A-326D是可以被堆叠在它们相应的图形引擎分片310A-310D的顶部的堆叠式存储器设备。在一个实施例中，每个图形引擎分片310A-310D和相关联的存储器326A-326D驻留在单独的小芯片上，这些小芯片结合到基础管芯或基础衬底，如在图11B-11D中进一步详细描述的。

图形处理引擎集群322可以与片上或封装上结构互连324连接。结构互连324可以实现图形引擎分片310A-310D与诸如视频编解码器306和一个或多个副本引擎304之类的组件之间的通信。副本引擎304可以用于将数据移出、移入存储器设备326A-326D和图形处理器320外部的存储器(例如，系统存储器)以及在其之间移动数据。结构互连324也可以用于互连图形引擎分片310A-310D。图形处理器320可以可选地包括显示控制器302，以实现与外部显示设备318的连接。图形处理器也可以被配置为图形或计算加速器。在加速器配置中，可以省略显示控制器302和显示设备318。

图形处理器320可以经由主机接口328连接到主机系统。主机接口328可以实现图形处理器320、系统存储器和/或其他系统组件之间的通信。主机接口328可以是例如PCI快速总线或另一类型的主机系统接口。

图3C示出了根据本文描述的实施例的计算加速器330。计算加速器330可以包括与图3B的图形处理器320的架构相似性，并且针对计算加速进行优化。计算引擎集群332可以包括计算引擎分片的集合340A-340D，该计算引擎分片的集合340A-340D包括针对并行或基于向量的通用计算操作优化的执行逻辑。在一些实施例中，计算引擎分片340A-340D不包括固定功能图形处理逻辑，但是在一个实施例中，计算引擎分片340A-340D中的一个或多个可以包括用于执行媒体加速的逻辑。计算引擎分片340A-340D可以经由存储器互连325A-325D连接到存储器326A-326D。存储器326A-326D和存储器互连325A-325D可以是如图形处理器320中的类似的技术，或者可以是不同的。图形计算引擎分片340A-340D还可以经由分片互连的集合323A-323F互连，并且可以与结构互连324连接和/或由结构互连324互连。在一个实施例中，计算加速器330包括大的L3高速缓存336，该L3高速缓存336可以被配置为设备范围的高速缓存。计算加速器330还可以经由主机接口328以与图3B的图形处理器320类似的方式连接到主机处理器和存储器。

图形处理引擎

图4是根据一些实施例的图形处理器的图形处理引擎410的框图。在一个实施例中，图形处理引擎(GPE)410是图3A中示出的GPE 310的一个版本，并且还可以表示图3B的图形引擎分片310A-310D。图4中具有与本文任何其他附图中的元件相同的附图标记(或名称)的元件可以以与本文其他地方描述的方式类似的任何方式操作或起作用，但不限于此。例如，示出了图3A的3D流水线312和媒体流水线316。媒体流水线316在GPE 410的一些实施例中是可选的，并且可以不明确地包括在GPE 410内。例如，在至少一个实施例中，单独的媒体和/或图像处理器耦合到GPE 410。

在一些实施例中，GPE 410与命令流送器403耦合或者包括命令流送器403，该命令流送器403向3D流水线312和/或媒体流水线316提供命令流。在一些实施例中，命令流送器403与存储器耦合，该存储器可以是系统存储器或者是内部高速缓冲存储器和共享高速缓冲存储器中的一个或多个。在一些实施例中，命令流送器403接收来自存储器的命令并且将命令发送到3D流水线312和/或媒体流水线316。该命令是从环形缓冲器获取的指令，该环形缓冲器存储用于3D流水线312和媒体流水线316的命令。在一个实施例中，环形缓冲器可以另外地包括存储多个命令的批的批命令缓冲器。用于3D流水线312的命令还可以包括对存储在存储器中的数据的引用，例如但不限于用于3D流水线312的顶点和几何数据和/或用于媒体流水线316的图像数据和存储器对象。3D流水线312和媒体流水线316通过经由相应流水线内的逻辑执行操作或者通过将一个或多个执行线程分派给图形核心阵列414来处理命令和数据。在一个实施例中，图形核心阵列414包括一个或多个图形核心块(例如，(多个)图形核心415A、(多个)图形核心415B)，每个块包括一个或多个图形核心。每个图形核心包括图形执行资源的集合，其包括用于执行图形和计算操作的通用执行逻辑和图形特定执行逻辑，以及固定功能纹理处理和/或机器学习和人工智能加速逻辑。

在各种实施例中，3D流水线312可以包括固定功能逻辑和可编程逻辑，以通过处理指令以及将执行线程分派给图形核心阵列414来处理一个或多个着色器程序，例如，顶点着色器程序、几何着色器程序、像素着色器程序、片段着色器程序、计算着色器程序或其他着色器程序。图形核心阵列414提供统一的执行资源块以用于处理这些着色器程序。图形核心阵列414的(多个)图形核心415A-415B内的多用途执行逻辑(例如，执行单元)包括对各种3DAPI着色器语言的支持，并且可以执行与多个着色器相关联的多个同时执行线程。

在一些实施例中，图形核心阵列414还包括用于执行媒体功能(例如，视频和/或图像处理)的执行逻辑。在一个实施例中，除了图形处理操作之外，执行单元还包括可编程以执行并行通用计算操作的通用逻辑。通用逻辑可以并行地或结合图1的(多个)处理器核心107或如图2A中的核心202A-202N内的通用逻辑来执行处理操作。

由在图形核心阵列414上执行的线程生成的输出数据可以将数据输出到统一返回缓冲器(URB)418中的存储器。URB 418可以存储用于多个线程的数据。在一些实施例中，URB418可以用于在图形核心阵列414上执行的不同线程之间发送数据。在一些实施例中，URB418可以另外地用于在图形核心阵列上的线程与共享功能逻辑420内的固定功能逻辑之间进行同步。

在一些实施例中，图形核心阵列414是可扩展的，使得阵列包括可变数量的图形核心，每个图形核心基于GPE 410的目标功率和性能水平具有可变数量的执行单元。在一个实施例中，执行资源是动态可扩展的，使得可以根据需要启用或禁用执行资源。

图形核心阵列414与共享功能逻辑420耦合，该共享功能逻辑420包括在图形核心阵列中的图形核心之间共享的多个资源。共享功能逻辑420内的共享功能是向图形核心阵列414提供专用补充功能的硬件逻辑单元。在各种实施例中，共享功能逻辑420包括但不限于采样器421、数学422和线程间通信(ITC)423逻辑。另外地，一些实施例在共享功能逻辑420内实现一个或多个高速缓存425。

至少在针对给定专用功能的需求对于包括在图形核心阵列414内而言不足的情况下实现共享功能。相反，该专用功能的单个实例化在共享功能逻辑420中实现为独立实体，并且在图形核心阵列414内的执行资源之间共享。在图形核心阵列414之间共享并且包括在图形核心阵列414内的功能的精确集合跨实施例而变化。在一些实施例中，共享功能逻辑420内的由图形核心阵列414广泛使用的特定共享功能可以被包括在图形核心阵列414内的共享功能逻辑416内。在各种实施例中，图形核心阵列414内的共享功能逻辑416可以包括共享功能逻辑420内的一些或所有逻辑。在一个实施例中，共享功能逻辑420内的所有逻辑元件可以在图形核心阵列414的共享功能逻辑416内复制。在一个实施例中，共享功能逻辑420被排除以支持图形核心阵列414内的共享功能逻辑416。

执行单元

图5A-5B示出了根据本文所描述的实施例的包括在图形处理器核心中采用的处理元件的阵列的线程执行逻辑500。图5A-5B中具有与本文任何其他附图中的元件相同的附图标记(或名称)的元件可以以与本文其他地方描述的方式类似的任何方式操作或起作用，但不限于此。图5A-5B示出了线程执行逻辑500的概述，该线程执行逻辑500可以代表利用图2B的每个子核心221A-221F示出的硬件逻辑。图5A表示通用图形处理器内的执行单元，而图5B表示可以在计算加速器内使用的执行单元。

如图5A中示出的，在一些实施例中，线程执行逻辑500包括着色器处理器502、线程分派器504、指令高速缓存506、包括多个执行单元508A-508N的可扩展执行单元阵列、采样器510、共享本地存储器511、数据高速缓存512和数据端口514。在一个实施例中，可扩展执行单元阵列可以通过基于工作负载的计算要求启用或禁用一个或多个执行单元(例如，执行单元508A、508B、508C、508D到508N-1和508N中的任一个)来动态地扩展。在一个实施例中，所包括的组件经由互连结构互连，该互连结构链接到组件中的每一个。在一些实施例中，线程执行逻辑500包括通过指令高速缓存506、数据端口514、采样器510和执行单元508A-508N中的一个或多个与存储器(例如，系统存储器或高速缓冲存储器)的一个或多个连接。在一些实施例中，每个执行单元(例如，508A)是独立的可编程通用计算单元，其能够执行多个同时硬件线程，同时针对每个线程并行处理多个数据元素。在各种实施例中，执行单元508A-508N的阵列是可扩展的以包括任何数量的单独的执行单元。

在一些实施例中，执行单元508A-508N主要用于执行着色器程序。着色器处理器502可以经由线程分派器504处理各种着色器程序并且分派与着色器程序相关联的执行线程。在一个实施例中，线程分派器包括用于仲裁来自图形流水线和媒体流水线的线程启动请求并且在执行单元508A-508N中的一个或多个执行单元上对所请求的线程进行实例化的逻辑。例如，几何流水线可以将顶点着色器、曲面细分着色器或几何着色器分派给线程执行逻辑以进行处理。在一些实施例中，线程分派器504还可以处理来自正在执行的着色器程序的运行时线程产生请求。

在一些实施例中，执行单元508A-508N支持包括对许多标准3D图形着色器指令的本地支持的指令集，使得来自图形库(例如，Direct 3D和OpenGL)的着色器程序在最小转换的情况下执行。执行单元支持顶点和几何处理(例如，顶点程序、几何程序、顶点着色器)、像素处理(例如，像素着色器、片段着色器)和通用处理(例如，计算着色器和媒体着色器)。执行单元508A-508N中的每一个能够进行多次发布单指令多数据(SIMD)执行，并且多线程操作在面对较高时延的存储器访问时实现高效的执行环境。每个执行单元内的每个硬件线程都具有专用的高带宽寄存器文件和相关联的独立线程状态。执行是每时钟多次发布到能够进行整数、单精度和双精度浮点运算、具有SIMD分支能力、能够进行逻辑运算、超越运算和其他杂项运算的流水线的。在等待来自共享功能中的一个或存储器的数据时，执行单元508A-508N内的相关性逻辑使得等待线程休眠，直到已经返回所请求的数据。当等待线程处于休眠时，硬件资源可能专用于处理其他线程。例如，在与顶点着色器操作相关联的延迟期间，执行单元可以执行针对像素着色器、片段着色器或其他类型的着色器程序(包括不同的顶点着色器)的操作。各种实施例可以通过使用单指令多线程(SIMT)作为使用SIMD的替代方案或者除了使用SIMD之外使用SIMT而应用于使用执行。对SIMD核心或操作的参考也可以应用于SIMT或结合SIMT一起应用于SIMD。

在执行单元508A-508N中的每个执行单元对数据元素的阵列进行操作。数据元素的数量是“执行大小”或者用于指令的通道的数量。执行通道是用于数据元素访问、掩蔽和指令内流控制的逻辑执行单元。通道的数量可以独立于针对特定图形处理器的物理算术逻辑单元(ALU)或浮点单元(FPU)的数量。在一些实施例中，执行单元508A-508N支持整数和浮点数据类型。

执行单元指令集包括SIMD指令。各种数据元素可以作为打包数据类型存储在寄存器中，并且执行单元将基于元素的数据大小处理各种元素。例如，当对256位宽向量进行操作时，向量的256位存储在寄存器中，并且执行单元按照四个单独的64位打包数据元素(四字(QW)大小数据元素)、八个单独的32位打包数据元素(双字(DW)大小数据元素)、十六个单独的16位打包数据元素(字(W)大小数据元素)或者三十二个单独的8位数据元素(字节(B)大小数据元素)对向量进行操作。然而，不同的向量宽度和寄存器大小是可能的。

在一个实施例中，一个或多个执行单元可以组合成具有线程控制逻辑(507A-507N)的融合执行单元509A-509N，该线程控制逻辑对于融合EU是公共的。多个EU可以融合成EU组。融合EU组中的每个EU可以被配置为执行单独的SIMD硬件线程。融合EU组中的EU的数量可以根据实施例而变化。另外地，可以针对每个EU执行各种SIMD宽度，包括但不限于SIMD8、SIMD16和SIMD32。每个融合图形执行单元509A-509N包括至少两个执行单元。例如，融合执行单元509A包括第一EU 508A、第二EU 508B和线程控制逻辑507A，该线程控制逻辑507A对于第一EU 508A和第二EU 508B是公共的。线程控制逻辑507A控制在融合图形执行单元509A上执行的线程，从而允许融合执行单元509A-509N内的每个EU使用公共的指令指针寄存器来执行。

一个或多个内部指令高速缓存(例如，506)被包括在线程执行逻辑500中，以对用于执行单元的线程指令进行缓存。在一些实施例中，一个或多个数据高速缓存(例如，512)被包括以在线程执行期间对线程数据进行缓存。在执行逻辑500上执行的线程也可以将显式管理的数据存储在共享本地存储器511中。在一些实施例中，采样器510被包括以提供用于3D操作的纹理采样和用于媒体操作的媒体采样。在一些实施例中，采样器510包括专用纹理或媒体采样功能，以在采样过程期间在将采样数据提供给执行单元之前对纹理或媒体数据进行处理。

在执行期间，图形流水线和媒体流水线经由线程产生和分派逻辑将线程启动请求发送到线程执行逻辑500。一旦一组几何对象已经被处理并且光栅化为像素数据，则调用着色器处理器502内的像素处理器逻辑(例如，像素着色器逻辑、片段着色器逻辑等)以进一步计算输出信息并使得结果被写入到输出表面(例如，颜色缓冲器、深度缓冲器、模板缓冲器等)。在一些实施例中，像素着色器或片段着色器计算要跨光栅化对象插值的各种顶点属性的值。在一些实施例中，着色器处理器502内的像素处理器逻辑然后执行应用编程接口(API)——供应的像素或片段着色器程序。为了执行着色器程序，着色器处理器502经由线程分派器504将线程分派给执行单元(例如，508A)。在一些实施例中，着色器处理器502使用采样器510中的纹理采样逻辑来访问存储在存储器中的纹理图中的纹理数据。对纹理数据和输入几何数据进行的算术运算计算每个几何片段的像素颜色数据，或丢弃一个或多个像素以免进一步处理。

在一些实施例中，数据端口514提供用于线程执行逻辑500的存储器访问机制，以将经处理的数据输出到存储器以便在图形处理器输出流水线上进行进一步处理。在一些实施例中，数据端口514包括一个或多个高速缓冲存储器(例如，数据高速缓存512)或耦合到该一个或多个高速缓冲存储器，以经由数据端口对用于存储器访问的数据进行缓存。

在一个实施例中，执行逻辑500还可以包括可以提供光线追踪加速功能的光线追踪器505。光线追踪器505可以支持包括用于光线生成的指令/功能的光线追踪指令集。光线追踪指令集可以与图2C中的光线追踪核心245所支持的光线追踪指令集类似或不同。

图5B示出了根据实施例的执行单元508的示例性内部细节。图形执行单元508可以包括指令获取单元537、通用寄存器文件阵列(GRF)524、架构寄存器文件阵列(ARF)526、线程仲裁器522、发送单元530、分支单元532、SIMD浮点单元(FPU)的集合534，并且在一个实施例中包括专用整数SIMD ALU的集合535。GRF 524和ARF 526包括通用寄存器文件和架构寄存器文件的集合，该通用寄存器文件和架构寄存器文件的集合与可以在图形执行单元508中活动的每个同时硬件线程相关联。在一个实施例中，每个线程架构状态维持在ARF 526中，而在线程执行期间使用的数据存储在GRF 524中。每个线程的执行状态(包括针对每个线程的指令指针)可以保持在ARF 526中的线程特定的寄存器中。

在一个实施例中，图形执行单元508具有作为同时多线程(SMT)和细粒度交织多线程(IMT)的组合的架构。该架构具有模块化配置，该模块化配置可以基于每个执行单元的同时线程的目标数量和寄存器数量在设计时进行微调，其中跨用于执行多个同时线程的逻辑对执行单元资源进行划分。可以由图形执行单元508执行的逻辑线程的数量不限于硬件线程的数量，并且可以将多个逻辑线程指派给每个硬件线程。

在一个实施例中，图形执行单元508可以共同发布多个指令，多个指令可以各自是不同的指令。图形执行单元线程508的线程仲裁器522可以将指令分派给发送单元530、分支单元532或(多个)SIMD FPU 534中的一个以用于执行。每个执行线程可以访问GRF 524内的128个通用寄存器，其中每个寄存器可以存储32个字节，该32个字节可以作为32位数据元素的SIMD 8元素向量访问。在一个实施例中，每个执行单元线程具有对GRF524内的4千字节的访问权，但是实施例不限于此，并且在其他实施例中可以提供更多或更少的寄存器资源。在一个实施例中，图形执行单元508被划分为七个硬件线程，这些硬件线程可以独立地执行计算操作，但是每个执行单元的线程数量也可以根据实施例而变化。例如，在一个实施例中，支持多达16个硬件线程。在其中七个线程可以访问4千字节的实施例中，GRF 524可以存储总共28千字节。在16个线程可以访问4千字节的情况下，GRF 524可以存储总共64千字节。灵活的寻址模式可以允许寄存器被一起寻址以高效地构建更宽的寄存器或者以表示跨步矩形块数据结构。

在一个实施例中，经由消息传递发送单元530执行的“发送”指令来分派存储器操作、采样器操作和其他较长时延系统通信。在一个实施例中，将分支指令分派给专用分支单元532以促进SIMD发散和最终收敛。

在一个实施例中，图形执行单元508包括一个或多个SIMD浮点单元(FPU)534以执行浮点运算。在一个实施例中，(多个)FPU 534还支持整数计算。在一个实施例中，(多个)FPU 534可以SIMD执行多达数量M个32位浮点(或整数)运算，或者SIMD执行多达2M个16位整数运算或16位浮点运算。在一个实施例中，(多个)FPU中的至少一个提供扩展的数学能力以支持高吞吐量的超越数学函数和双精度64位浮点。在一些实施例中，还存在8位整数SIMDALU的集合535，并且可以专门地对该集合进行优化以执行与机器学习计算相关联的操作。

在一个实施例中，图形执行单元508的多个实例的阵列可以在图形子核心分组(例如，子切片)中实例化。对于可扩展性，产品架构师可以选择每个子核心分组的执行单元的精确数量。在一个实施例中，执行单元508可以跨多个执行通道执行指令。在另一实施例中，在图形执行单元508上执行的每个线程在不同的通道上执行。

图6示出了根据实施例的附加执行单元600。执行单元600可以是例如在如图3C中的计算引擎分片340A-340D中使用的计算优化的执行单元，但不限于此。执行单元600的变型也可以在如图3B中的图形引擎分片310A-310D中使用。在一个实施例中，执行单元600包括线程控制单元601、线程状态单元602、指令获取/预取单元603和指令解码单元604。执行单元600另外地包括寄存器文件606，该寄存器文件606存储可以指派到执行单元内的硬件线程的寄存器。执行单元600另外地包括发送单元607和分支单元608。在一个实施例中，发送单元607和分支单元608可以与图5B的图形执行单元508的发送单元530和分支单元532类似地操作。

执行单元600还包括计算单元610，该计算单元610包括多种不同类型的功能单元。在一个实施例中，计算单元610包括ALU单元611，该ALU单元611包括算术逻辑单元的阵列。ALU单元611可以被配置为执行64位、32位和16位的整数和浮点运算。整数和浮点运算可以同时执行。计算单元610还可以包括脉动阵列612和数学单元613。脉动阵列612包括可以用于以脉动方式执行向量操作或其他数据并行操作的数据处理单元的W宽且D深的网络。在一个实施例中，脉动阵列612可以被配置为执行矩阵运算，例如，矩阵点积运算。在一个实施例中，脉动阵列612支持16位浮点运算以及8位和4位整数运算。在一个实施例中，脉动阵列612可以被配置为加速机器学习操作。在这样的实施例中，脉动阵列612可以被配置为支持bfloat 16位浮点格式。在一个实施例中，可以包括数学单元613从而以比ALU单元611高效且低功率的方式执行数学运算的特定子集。数学单元613可以包括可以在由其他实施例提供的图形处理引擎的共享功能逻辑中找到的数学逻辑的变型(例如，图4的共享功能逻辑420的数学逻辑422)。在一个实施例中，数学单元613可以被配置为执行32位和64位浮点运算。

线程控制单元601包括用于控制执行单元内的线程的执行的逻辑。线程控制单元601可以包括线程仲裁逻辑，以开始、停止和抢占执行单元600内的线程的执行。线程状态单元602可以用于存储针对被指派为在执行单元600上执行的线程的线程状态。当在执行单元600上执行的那些线程变为阻塞或空闲时，存储执行单元600内的线程状态使得能够快速抢占线程。指令获取/预取单元603可以从较高级别的执行逻辑的指令高速缓存(例如，如图5A中的指令高速缓存506)中获取指令。指令获取/预取单元603还可以基于对当前正在执行的线程的分析来发布针对要加载到指令高速缓存中的指令的预取请求。指令解码单元604可以用于解码要由计算单元执行的指令。在一个实施例中，指令解码单元604可以用作用于将复杂的指令解码为组成微操作的辅助解码器。

执行单元600另外地包括可以由在执行单元600上执行的硬件线程使用的寄存器文件606。寄存器文件606中的寄存器可以跨用于执行执行单元600的计算单元610内的多个同时线程的逻辑划分。可以由图形执行单元600执行的逻辑线程的数量不限于硬件线程的数量，并且可以将多个逻辑线程指派给每个硬件线程。寄存器文件606的大小可以基于所支持的硬件线程的数量而跨实施例变化。在一个实施例中，寄存器重命名可以用于动态地将寄存器分配给硬件线程。

图7是示出根据一些实施例的图形处理器指令格式700的框图。在一个或多个实施例中，图形处理器执行单元支持具有多种格式的指令的指令集。实线框示出了通常被包括在执行单元指令中的组件，而虚线包括可选的或仅包括在指令的子集中的组件。在一些实施例中，所描述并示出的指令格式700是宏指令，因为指令格式700是供应给执行单元的指令，而不是一旦指令被处理就由指令解码产生的微操作。

在一些实施例中，图形处理器执行单元本地地支持属于128位指令格式710的指令。基于所选定的指令、指令选项和操作数的数量，64位压缩指令格式730可用于某些指令。本地的128位指令格式710提供对所有指令选项的访问权，而在64位格式730中某些选项和操作受到限制。64位格式730中可用的本地指令因实施例而异。在一些实施例中，使用索引字段713中的索引值的集合来部分地压缩指令。执行单元硬件基于索引值引用压缩表的集合，并且使用压缩表输出来重构属于128位指令格式710的本地指令。可以使用其他大小和格式的指令。

对于每种格式，指令操作码712定义执行单元要执行的操作。执行单元跨每个操作数的多个数据元素并行地执行每个指令。例如，响应于相加指令，执行单元跨表示纹理元素或图片元素的每个颜色通道执行同时相加运算。默认情况下，执行单元跨操作数的所有数据通道执行每条指令。在一些实施例中，指令控制字段714实现对某些执行选项(例如，通道选择(例如，预测)和数据通道顺序(例如，混合))的控制。对于属于128位指令格式710的指令，exec-size字段716限制将要并行执行的数据通道的数量。在一些实施例中，exec-size字段716不可用于64位压缩指令格式730。

一些执行单元指令具有多达三个操作数，包括两个源操作数(src0 720、src1722)和一个目的地718。在一些实施例中，执行单元支持双目的地指令，其中隐含了目的地中的一个。数据操纵指令可以具有第三个源操作数(例如，SRC2 724)，其中指令操作码712确定源操作数的数量。指令的最后一个源操作数可以是与指令一起传递的立即数(例如，硬编码)值。

在一些实施例中，128位指令格式710包括访问/寻址模式字段726，该访问/寻址模式字段726指定例如是使用直接寄存器寻址模式还是间接寄存器寻址模式。当使用直接寄存器寻址模式时，一个或多个操作数的寄存器地址由指令中的位直接提供。

在一些实施例中，128位指令格式710包括访问/寻址模式字段726，该访问/寻址模式字段726指定指令的寻址模式和/或访问模式。在一个实施例中，访问模式用于定义指令的数据访问对齐。一些实施例支持包括16字节对齐的访问模式和1字节对齐的访问模式在内的访问模式，其中访问模式的字节对齐确定指令操作数的访问对齐。例如，当处于第一模式时，指令可以针对源操作数和目的地操作数使用字节对齐的寻址，并且当处于第二模式时，指令可以针对所有源操作数和目的地操作数使用16字节对齐的寻址。

在一个实施例中，访问/寻址模式字段726的寻址模式部分确定指令是要使用直接寻址还是间接寻址。当使用直接寄存器寻址模式时，指令中的位直接提供一个或多个操作数的寄存器地址。当使用间接寄存器寻址模式时，可以基于指令中的地址寄存器值和地址立即数字段来计算一个或多个操作数的寄存器地址。

在一些实施例中，基于操作码712位字段对指令进行分组以简化操作码解码740。对于8位操作码，位4、5和6允许执行单元确定操作码的类型。所示的精确操作码分组仅是示例。在一些实施例中，移动和逻辑操作码分组742包括数据移动和逻辑指令(例如，移动(mov)、比较(cmp))。在一些实施例中，移动和逻辑分组742共享五个最高有效位(MSB)，其中移动(mov)指令是以0000xxxxb的形式，并且逻辑指令是以0001xxxxb的形式。流控制指令分组744(例如，调用、跳转(jmp))包括以0010xxxxb的形式(例如，0x20)的指令。杂项指令分组746包括指令的混合，包括以0011xxxxb的形式(例如，0x30)的同步指令(例如，等待、发送)。并行数学指令分组748包括以0100xxxxb的形式(例如，0x40)的按分量算术指令(例如，相加、相乘(mul))。并行数学分组748跨数据通道并行地执行算术运算。向量数学分组750包括以0101xxxxb的形式(例如，0x50)的算术指令(例如，dp4)。向量数学分组对向量操作数执行诸如点积计算之类的算术。在一个实施例中，所示的操作码解码740可以用于确定执行单元的哪部分将用于执行经解码的指令。例如，一些指令可以被指定为将由脉动阵列执行的脉动指令。诸如光线追踪指令(未示出)之类的其他指令可以被路由到执行逻辑的切片或分区内的光线追踪核心或光线追踪逻辑。

图形流水线

图8是图形处理器800的另一实施例的框图。图8中具有与本文任何其他附图中的元件相同的附图标记(或名称)的元件可以以与本文其他地方描述的方式类似的任何方式操作或起作用，但不限于此。

在一些实施例中，图形处理器800包括几何流水线820、媒体流水线830、显示引擎840、线程执行逻辑850和渲染输出流水线870。在一些实施例中，图形处理器800是在包括一个或多个通用处理核心的多核心处理系统内的图形处理器。图形处理器通过寄存器写入一个或多个控制寄存器(未示出)或通过经由环形互连802发布到图形处理器800的命令来控制。在一些实施例中，环形互连802将图形处理器800耦合到其他处理组件(例如，其他图形处理器或通用处理器)。来自环形互连802的命令由命令流送器803解释，该命令流送器803向几何流水线820或媒体流水线830的单独的组件提供指令。

在一些实施例中，命令流送器803指示顶点获取器805从存储器读取顶点数据并且执行由命令流送器803提供的顶点处理命令的操作。在一些实施例中，顶点获取器805将顶点数据提供给顶点着色器807，该顶点着色器807对每个顶点执行坐标空间变换和光照操作。在一些实施例中，顶点获取器805和顶点着色器807通过经由线程分派器831将执行线程分派给执行单元852A-852B来执行顶点处理指令。

在一些实施例中，执行单元852A-852B是具有用于执行图形和媒体操作的指令集的向量处理器的阵列。在一些实施例中，执行单元852A-852B具有附接的L1高速缓存851，该L1高速缓存851特定于每个阵列或在阵列之间共享。可以将高速缓存配置为数据高速缓存、指令高速缓存或被分区以在不同分区中包含数据和指令的单个高速缓存。

在一些实施例中，几何流水线820包括曲面细分组件以执行对3D对象的硬件加速曲面细分。在一些实施例中，可编程外壳着色器811对曲面细分操作进行配置。可编程域着色器817提供曲面细分输出的后端评估。曲面细分器813在外壳着色器811的方向上操作，并且包含专用逻辑以基于作为对几何流水线820的输入被提供的粗略几何模型来生成详细几何对象的集合。在一些实施例中，如果不使用曲面细分，则可以绕过曲面细分组件(例如，外壳着色器811、曲面细分器813和域着色器817)。

在一些实施例中，完整的几何对象可以通过几何着色器819经由分派给执行单元852A-852B的一个或多个线程来处理，或者完整的几何对象可以直接进行到剪切器829。在一些实施例中，几何着色器对整个几何对象进行操作，而不是如在图形流水线的先前阶段中对顶点或顶点的图像块进行操作。如果禁用曲面细分，则几何着色器819接收来自顶点着色器807的输入。在一些实施例中，几何着色器819可由几何着色器程序编程，以在曲面细分单元被禁用时执行几何曲面细分。

在光栅化之前，剪切器829处理顶点数据。剪切器829可以是固定功能剪切器或具有剪切和几何着色器功能的可编程剪切器。在一些实施例中，渲染输出流水线870中的光栅化器和深度测试组件873分派像素着色器以将几何对象转换为每像素表示。在一些实施例中，像素着色器逻辑被包括在线程执行逻辑850中。在一些实施例中，应用可以绕过光栅化器和深度测试组件873并且经由流输出单元823访问未光栅化的顶点数据。

图形处理器800具有互连总线、互连结构或者允许在处理器的主要组件之间传递数据和消息的某种其他互连机制。在一些实施例中，执行单元852A-852B和相关联的逻辑单元(例如，L1高速缓存851、采样器854、纹理高速缓存858等)经由数据端口856互连，以执行存储器访问并且与处理器的渲染输出流水线组件通信。在一些实施例中，采样器854、高速缓存851、858和执行单元852A-852B各自具有单独的存储器访问路径。在一个实施例中，纹理高速缓存858还可以被配置为采样器高速缓存。

在一些实施例中，渲染输出流水线870包含光栅化器和深度测试组件873，该光栅化器和深度测试组件873将基于顶点的对象转换为相关联的基于像素的表示。在一些实施例中，光栅化器逻辑包括用于执行固定功能三角形和线光栅化的加窗器/掩蔽器单元。相关联的渲染高速缓存878和深度高速缓存879在一些实施例中也是可用的。像素操作组件877对数据执行基于像素的操作，但是在一些情况下，与2D操作相关联的像素操作(例如，具有混合的位块图像传送)由2D引擎841执行，或者在显示时由显示控制器843使用覆盖显示平面代替。在一些实施例中，共享L3高速缓存875可用于所有图形组件，从而允许在不使用主系统存储器的情况下共享数据。

在一些实施例中，图形处理器媒体流水线830包括媒体引擎837和视频前端834。在一些实施例中，视频前端834接收来自命令流送器803的流水线命令。在一些实施例中，媒体流水线830包括单独的命令流送器。在一些实施例中，视频前端834在将命令发送到媒体引擎837之前处理媒体命令。在一些实施例中，媒体引擎837包括线程产生功能以产生线程以供经由线程分派器831分派给线程执行逻辑850。

在一些实施例中，图形处理器800包括显示引擎840。在一些实施例中，显示引擎840在处理器800外部，并且经由环形互连802或某种其他互连总线或结构与图形处理器耦合。在一些实施例中，显示引擎840包括2D引擎841和显示控制器843。在一些实施例中，显示引擎840包含能够独立于3D流水线操作的专用逻辑。在一些实施例中，显示控制器843与显示设备(未示出)耦合，该显示设备可以是系统集成显示设备(如在膝上型计算机中)或者经由显示设备连接器附接的外部显示设备。

在一些实施例中，几何流水线820和媒体流水线830可配置以基于多个图形和媒体编程接口执行操作，并且不特定于任何一个应用编程接口(API)。在一些实施例中，用于图形处理器的驱动软件将特定于特定图形或媒体库的API调用转换为可以由图形处理器处理的命令。在一些实施例中，为开放图形库(OpenGL)、开放计算语言(OpenCL)和/或Vulkan图形和计算API(其全部来自Khronos Group)提供支持。在一些实施例中，还可以为来自微软公司的Direct3D库提供支持。在一些实施例中，可以支持这些库的组合。还可以为开源计算机视觉库(OpenCV)提供支持。如果可以进行从具有兼容3D流水线的未来API的流水线到图形处理器的流水线的映射，则还将支持流水线未来API。

图形流水线编程

图9A是示出根据一些实施例的图形处理器命令格式900的框图。图9B是示出根据实施例的图形处理器命令序列910的框图。图9A中的实线框示出了通常被包括在图形命令中的组件，而虚线包括可选的或仅包括在图形命令的子集中的组件。图9A的示例性图形处理器命令格式900包括用于标识客户端902、命令操作代码(操作码)904以及用于命令的数据906的数据字段。在一些命令中还包括子操作码905和命令大小908。

在一些实施例中，客户端902指定图形设备的处理命令数据的客户端单元。在一些实施例中，图形处理器命令解析器检查每个命令的客户端字段以调节对命令的进一步处理并且将命令数据路由到适当的客户端单元。在一些实施例中，图形处理器客户端单元包括存储器接口单元、渲染单元、2D单元、3D单元和媒体单元。每个客户端单元具有处理命令的对应的处理流水线。一旦由客户端单元接收到命令，则客户端单元读取操作码904，并且如果存在，则读取子操作码905以确定要执行的操作。客户端单元使用数据字段906中的信息来执行命令。对于一些命令，期望显式命令大小908指定命令的大小。在一些实施例中，命令解析器基于命令操作码自动地确定命令中的至少一些的大小。在一些实施例中，命令经由双字的倍数对齐。可以使用其他命令格式。

图9B中的流程图示出了示例性图形处理器命令序列910。在一些实施例中，以图形处理器的实施例为特征的数据处理系统的软件或固件使用所示的命令序列的版本来设置、执行和终止图形操作的集合。仅出于示例的目的示出并描述了样本命令序列，因为实施例不限于这些特定命令或该命令序列。此外，命令可以作为命令序列中的命令批而发布，使得图形处理器将至少部分地同时处理命令的序列。

在一些实施例中，图形处理器命令序列910可以开始于流水线刷新命令912，以使得任何活动的图形流水线完成流水线的当前未决的流水线命令。在一些实施例中，3D流水线922和媒体流水线924不同时地操作。执行流水线刷新以使得活动的图形流水线完成任何未决的命令。响应于流水线刷新，图形处理器的命令解析器将暂停命令处理，直到活动的绘图引擎完成未决的操作并且相关的读取高速缓存是无效的。可选地，渲染高速缓存中标记为“脏”的任何数据可以被刷新到存储器。在一些实施例中，流水线刷新命令912可以用于流水线同步或者在将图形处理器置于低功率状态之前使用。

在一些实施例中，当命令序列要求图形处理器明确地在流水线之间切换时，使用流水线选择命令913。在一些实施例中，在发布流水线命令之前，除非上下文要发布针对两个流水线的命令，否则在执行上下文内仅要求一次流水线选择命令913。在一些实施例中，紧接在经由流水线选择命令913切换流水线之前要求流水线刷新命令912。

在一些实施例中，流水线控制命令914对用于操作的图形流水线进行配置，并且流水线控制命令914用于对3D流水线922和媒体流水线924进行编程。在一些实施例中，流水线控制命令914对活动的流水线的流水线状态进行配置。在一个实施例中，流水线控制命令914用于流水线同步，并且在处理命令批之前在活动的流水线内从一个或多个高速缓冲存储器清除数据。

在一些实施例中，返回缓冲器状态命令916用于针对相应的流水线配置返回缓冲器的集合以写入数据。某些流水线操作要求分配、选择或配置一个或多个返回缓冲器，在处理期间操作将中间数据写入该一个或多个返回缓冲器中。在一些实施例中，图形处理器还使用一个或多个返回缓冲器来存储输出数据并执行跨线程通信。在一些实施例中，返回缓冲器状态916包括选择要用于流水线操作的集合的返回缓冲器的大小和数量。

命令序列中的其余命令基于用于操作的活动的流水线而不同。基于流水线确定920，流水线命令序列被定制用于开始于3D流水线状态930的3D流水线922，或者流水线命令序列被定制用于开始于媒体流水线状态940的媒体流水线924。

用于配置3D流水线状态930的命令包括针对顶点缓冲器状态、顶点元素状态、恒定颜色状态、深度缓冲器状态以及在处理3D基元命令之前要配置的其他状态变量的3D状态设置命令。这些命令的值至少部分地基于使用的特定3D API来确定。在一些实施例中，如果将不使用某些流水线元素，则3D流水线状态930命令也能够选择性地禁用或绕过这些元素。

在一些实施例中，3D基元932命令用于提交要由3D流水线处理的3D基元。经由3D基元932命令传递到图形处理器的命令和相关联的参数被转发到图形流水线中的顶点获取功能。顶点获取功能使用3D基元932命令数据来生成顶点数据结构。顶点数据结构存储在一个或多个返回缓冲器中。在一些实施例中，3D基元932命令用于经由顶点着色器对3D基元执行顶点操作。为了处理顶点着色器，3D流水线922将着色器执行线程分派给图形处理器执行单元。

在一些实施例中，经由执行934命令或事件来触发3D流水线922。在一些实施例中，寄存器写入触发命令执行。在一些实施例中，经由命令序列中的“go”或“kick”命令触发执行。在一个实施例中，使用流水线同步命令来触发命令执行以刷新命令序列通过图形流水线。3D流水线将执行针对3D基元的几何处理。一旦操作完成，生成的几何对象被光栅化，并且像素引擎对生成的像素进行上色。针对这些操作，还可以包括用于控制像素着色和像素后端操作的附加命令。

在一些实施例中，当执行媒体操作时，图形处理器命令序列910遵循媒体流水线924路径。通常，针对媒体流水线924的特定用途和编程方式取决于要执行的媒体操作或计算操作。在媒体解码期间，可以将特定媒体解码操作卸载到媒体流水线。在一些实施例中，还可以绕过媒体流水线，并且可以使用由一个或多个通用处理核心提供的资源来全部或部分地执行媒体解码。在一个实施例中，媒体流水线还包括用于通用图形处理器单元(GPGPU)操作的元件，其中图形处理器用于使用与对图形基元的渲染不明确相关的计算着色器程序来执行SIMD向量操作。

在一些实施例中，媒体流水线924以与3D流水线922类似的方式配置。用于配置媒体流水线状态940的命令的集合在媒体对象命令942之前被分派或放置到命令队列中。在一些实施例中，针对媒体流水线状态940的命令包括用于配置将用于处理媒体对象的媒体流水线元素的数据。这包括用于在媒体流水线内配置视频解码逻辑和视频编码逻辑的数据，例如，编码格式或解码格式。在一些实施例中，针对媒体流水线状态940的命令还支持使用指向包含一批状态设置的“间接”状态元素的一个或多个指针。

在一些实施例中，媒体对象命令942供应指向用于由媒体流水线处理的媒体对象的指针。媒体对象包括存储器缓冲器，该存储器缓冲器包含要被处理的视频数据。在一些实施例中，在发布媒体对象命令942之前，所有媒体流水线状态必须是有效的。一旦流水线状态被配置并且媒体对象命令942被排队，则经由执行命令944或等效执行事件(例如，寄存器写入)触发媒体流水线924。然后，可以通过由3D流水线922或媒体流水线924提供的操作对来自媒体流水线924的输出进行后处理。在一些实施例中，以与媒体操作类似的方式来配置并执行GPGPU操作。

图形软件架构

图10示出了根据一些实施例的用于数据处理系统1000的示例性图形软件架构。在一些实施例中，软件架构包括3D图形应用1010、操作系统1020和至少一个处理器1030。在一些实施例中，处理器1030包括图形处理器1032以及一个或多个通用处理器核心1034。图形应用1010和操作系统1020各自在数据处理系统的系统存储器1050中执行。

在一些实施例中，3D图形应用1010包含一个或多个着色器程序，该一个或多个着色器程序包括着色器指令1012。着色器语言指令可以采用诸如Direct 3D的高级着色器语言(HLSL)、OpenGL着色器语言(GLSL)等等之类的高级着色器语言。该应用还包括采用适用于由通用处理器核心1034执行的机器语言的可执行指令1014。该应用还包括由顶点数据定义的图形对象1016。

在一些实施例中，操作系统1020是来自微软公司的

操作系统、使用Linux内核的变体的专有类UNIX操作系统或开源类UNIX操作系统。操作系统1020可以支持图形API 1022，例如，Direct3D API、OpenGL API或Vulkan API。当使用Direct3DAPI时，操作系统1020使用前端着色器编译器1024以将采用HLSL的任何着色器指令1012编译为较低级别的着色器语言。编译可以是即时(JIT)编译，或者应用可以执行着色器预编译。在一些实施例中，在编译3D图形应用1010期间，高级别着色器被编译为低级别着色器。在一些实施例中，着色器指令1012以中间形式提供，例如，Vulkan API使用的标准便携式中间表示(SPIR)的版本。

在一些实施例中，用户模式图形驱动程序1026包含后端着色器编译器1027，以将着色器指令1012转换为硬件特定表示。当使用OpenGL API时，采用GLSL高级语言的着色器指令1012被传递到用户模式图形驱动程序1026以进行编译。在一些实施例中，用户模式图形驱动程序1026使用操作系统内核模式功能1028来与内核模式图形驱动程序1029通信。在一些实施例中，内核模式图形驱动程序1029与图形处理器1032通信以分派命令和指令。

IP核心实现方式

可以通过存储在机器可读介质上的代表性代码来实现至少一个实施例的一个或多个方面，该代表性代码表示和/或定义诸如处理器之类的集成电路内的逻辑。例如，机器可读介质可以包括表示处理器内的各种逻辑的指令。当由机器读取时，指令可以使得机器制造逻辑以执行本文所描述的技术。这种被称为“IP核心”的表示是用于集成电路的可重用的逻辑单元，其可以存储在有形的机器可读介质上，作为描述集成电路的结构的硬件模型。可以将硬件模型供应给各种客户或制造设施，这些客户或制造设施将硬件模型加载到制造集成电路的制造机器上。可以制造集成电路，使得该电路执行与本文所描述的实施例中的任何一个相关联地描述的操作。

图11A是示出根据实施例的可以用于制造集成电路以执行操作的IP核心开发系统1100的框图。IP核心开发系统1100可以用于生成模块化、可重用的设计，其可以结合到更大的设计中或用于构建整个集成电路(例如，SOC集成电路)。设计设施1130可以采用高级编程语言(例如，C/C++)生成IP核心设计的软件仿真1110。软件仿真1110可以用于使用仿真模型1112设计、测试并验证IP核心的行为。仿真模型1112可以包括功能、行为和/或定时仿真。然后可以根据仿真模型1112创建或合成寄存器传送级别(RTL)设计1115。RTL设计1115是对集成电路(其对数字信号在硬件寄存器之间的流动进行建模，包括使用经建模的数字信号执行的相关联的逻辑)的行为的抽象。除了RTL设计1115之外，还可以创建、设计或合成逻辑级别或晶体管级别的较低级别设计。因此，初始设计和仿真的特定细节可以变化。

RTL设计1115或等效物可以由设计设施进一步合成为硬件模型1120，该硬件模型1120可以采用硬件描述语言(HDL)或物理设计数据的某种其他表示。可以进一步仿真或测试HDL以验证IP核心设计。可以存储IP核心设计以使用非易失性存储器1140(例如，硬盘、闪速存储器或任何非易失性存储介质)递送到第三方制造设施1165。可替代地，可以通过有线连接1150或无线连接1160(例如，经由互联网)发送IP核心设计。然后，制造设施1165可以制造至少部分地基于该IP核心设计的集成电路。制造的集成电路可以被配置为执行根据本文所描述的至少一个实施例的操作。

图11B示出了根据本文所描述的一些实施例的集成电路封装组装件1170的横截面侧视图。集成电路封装组装件1170示出了如本文所描述的一个或多个处理器或加速器设备的实现方式。封装组装件1170包括连接到衬底1180的多个硬件逻辑单元1172、1174。逻辑1172、1174可以至少部分地以可配置逻辑或固定功能逻辑硬件实现，并且可以包括本文所描述的(多个)处理器核心、(多个)图形处理器或其他加速器设备中的任一个中的一个或多个部分。每个逻辑单元1172、1174可以在半导体管芯内实现，并且经由互连结构1173与衬底1180耦合。互连结构1173可以被配置为在逻辑1172、1174与衬底1180之间路由电信号，并且该互连结构1173可以包括互连，例如但不限于凸块或支柱。在一些实施例中，互连结构1173可以被配置为路由电信号，例如，与逻辑1172、1174的操作相关联的输入/输出(I/O)信号和/或电源或接地信号。在一些实施例中，衬底1180是基于环氧树脂的层压衬底。在其他实施例中，衬底1180可以包括其他合适类型的衬底。封装组装件1170可以经由封装互连1183连接到其他电子设备。封装互连1183可以耦合到衬底1180的表面以将电信号路由到其他电子设备，例如，母板、其他芯片组或多芯片模块。

在一些实施例中，逻辑单元1172、1174与桥1182电耦合，该桥1182被配置为在逻辑1172、1174之间路由电信号。桥1182可以是提供用于电信号的路由的密集互连结构。桥1182可以包括由玻璃或合适的半导体材料构成的桥衬底。可以在桥衬底上形成电路由特征，以提供逻辑1172、1174之间的芯片到芯片连接。

尽管示出了两个逻辑单元1172、1174和桥1182，但是本文所描述的实施例可以在一个或多个管芯上包括更多或更少的逻辑单元。一个或多个管芯可以通过零个或更多个桥连接，因为当逻辑被包括在单个管芯上时可以排除桥1182。可替代地，多个管芯或逻辑单元可以通过一个或多个桥连接。另外地，多个逻辑单元、管芯和桥可以以其他可能的配置(包括三维配置)连接在一起。

图11C示出了封装组装件1190，该封装组装件1190包括连接到衬底1180(例如，基础管芯)的硬件逻辑小芯片的多个单元。如本文描述的图形处理单元、并行处理器和/或计算加速器可以由单独制造的各种硅小芯片组成。在该上下文中，小芯片是至少部分封装的集成电路，其包括可以与其他小芯片组装到较大封装的不同逻辑单元中。可以将具有不同IP核心逻辑的各种小芯片的集合组装到单个设备中。另外地，可以使用有源插入器技术将小芯片集成到基础管芯或基础小芯片中。本文描述的概念实现在GPU内的不同形式的IP之间的互连和通信。IP核心可以使用不同的工艺技术进行制造，并在制造期间进行组合，这避免了特别是在具有若干不同特点的IP的大型SoC上将多个IP汇聚到相同制造过程的复杂度。实现使用多种工艺技术可以改进上市时间，并提供经济高效的方式来创建多个产品SKU。另外地，分解的IP更适合独立供电，可以关闭在给定工作负载中未使用的组件的电源，从而降低总体功耗。

硬件逻辑小芯片可以包括专用硬件逻辑小芯片1172、逻辑或I/O小芯片1174和/或存储器小芯片1175。硬件逻辑小芯片1172和逻辑或I/O小芯片1174可以至少部分地以可配置逻辑或固定功能逻辑硬件实现，并且可以包括本文所描述的(多个)处理器核心、(多个)图形处理器、并行处理器或其他加速器设备中的任一个的一个或多个部分。存储器小芯片1175可以是DRAM(例如，GDDR、HBM)存储器或高速缓冲(SRAM)存储器。

每个小芯片可以被制造作为单独的半导体管芯，并且经由互连结构1173与衬底1180耦合。互连结构1173可以被配置为在各个小芯片与衬底1180内的逻辑之间路由电信号。互连结构1173可以包括互连，例如但不限于凸块或支柱。在一些实施例中，互连结构1173可以被配置为路由电信号，例如，与逻辑、I/O和存储器小芯片的操作相关联的输入/输出(I/O)信号和/或电源或接地信号。

在一些实施例中，衬底1180是基于环氧树脂的层压衬底。在其他实施例中，衬底1180可以包括其他合适类型的衬底。封装组装件1190可以经由封装互连1183连接到其他电子设备。封装互连1183可以耦合到衬底1180的表面以将电信号路由到其他电子设备，例如，母板、其他芯片组或多芯片模块。

在一些实施例中，逻辑或I/O小芯片1174和存储器小芯片1175可以经由桥1187电耦合，该桥1187被配置为在逻辑或I/O小芯片1174与存储器小芯片1175之间路由电信号。桥1187可以是提供用于电信号的路由的密集互连结构。桥1187可以包括由玻璃或合适的半导体材料构成的桥衬底。可以在桥衬底上形成电路由特征，以提供逻辑或I/O小芯片1174与存储器小芯片1175之间的芯片到芯片的连接。桥1187还可以称为硅桥或互连桥。例如，在一些实施例中，桥1187是嵌入式多管芯互连桥(EMIB)。在一些实施例中，桥1187可以仅是从一个小芯片到另一小芯片的直接连接。

衬底1180可以包括用于I/O 1191、高速缓冲存储器1192和其他硬件逻辑1193的硬件组件。可以将结构1185嵌入到衬底1180中，以实现各种逻辑小芯片与衬底1180内的逻辑1191、1193之间的通信。在一个实施例中，I/O 1191、结构1185、高速缓存、桥和其他硬件逻辑1193可以集成到层叠在衬底1180顶部的基础管芯中。

在各种实施例中，封装组装件1190可以包括通过结构1185或一个或多个桥1187互连的更少数量或更多数量的组件和小芯片。封装组装件1190内的小芯片可以以3D或2.5D布置进行布置。通常，桥结构1187可以用于促进例如逻辑或I/O小芯片与存储器小芯片之间的点对点互连。结构1185可以用于互连各种逻辑和/或I/O小芯片(例如，小芯片1172、1174、1191、1193)与其他逻辑和/或I/O小芯片。在一个实施例中，衬底内的高速缓冲存储器1192可以用作用于封装组装件1190的全局高速缓存、分布式全局高速缓存的一部分或者用作用于结构1185的专用高速缓存。

图11D示出了根据实施例的包括可互换小芯片1195的封装组装件1194。可互换小芯片1195可以被组装到一个或多个基础小芯片1196、1198上的标准化槽中。基础小芯片1196、1198可以经由桥互连1197耦合，该桥互连1197可以类似于本文描述的其他桥互连，并且可以是例如EMIB。存储器小芯片也可以经由桥互连连接到逻辑或I/O小芯片。I/O和逻辑小芯片可以经由互连结构进行通信。基础小芯片可以各自支持用于逻辑或I/O或存储器/高速缓存中的一个的以标准化格式的一个或多个槽。

在一个实施例中，可以将SRAM和功率递送电路制造到基础小芯片1196、1198中的一个或多个中，基础小芯片1196、1198可以使用相对于堆叠在基础小芯片顶部的可互换小芯片1195的不同的工艺技术来制造。例如，可以使用较大的工艺技术来制造基础小芯片1196、1198，而可以使用较小的工艺技术来制造可互换小芯片。可互换小芯片1195中的一个或多个可以是存储器(例如，DRAM)小芯片。可以基于以使用封装组装件1194的产品为目标的功率和/或性能来针对封装组装件1194选择不同的存储器密度。另外地，可以基于以产品为目标的功率和性能在组装时选择具有不同数量的类型的功能单元的逻辑小芯片。另外地，可以将包含不同类型的IP逻辑核心的小芯片插入可互换小芯片槽中，从而实现可以混合并匹配不同技术IP块的混合处理器设计。

示例性片上系统集成电路

图12-13示出了根据本文所描述的各种实施例的可以使用一个或多个IP核心制造的示例性集成电路和相关联的图形处理器。除了所示的内容之外，还可以包括其他逻辑和电路，包括附加的图形处理器/核心、外围接口控制器或通用处理器核心。

图12是示出根据实施例的可以使用一个或多个IP核心制造的示例性片上系统集成电路1200的框图。示例性集成电路1200包括一个或多个应用处理器1205(例如，CPU)、至少一个图形处理器1210，并且可以另外地包括图像处理器1215和/或视频处理器1220，其中任何一个可以是根据相同的或多个不同的设计设施的模块化IP核心。集成电路1200包括外围设备或总线逻辑，包括USB控制器1225、UART控制器1230、SPI/SDIO控制器1235和I2S/I2C控制器1240。另外地，集成电路可以包括显示设备1245，该显示设备1245与高清晰度多媒体接口(HDMI)控制器1250和移动工业处理器接口(MIPI)显示接口1255中的一个或多个耦合。存储装置可以由包括闪速存储器和闪速存储器控制器的闪速存储器子系统1260提供。可以经由存储器控制器1265提供存储器接口以访问SDRAM或SRAM存储器设备。一些集成电路另外地包括嵌入式安全引擎1270。

图13A-13B是示出根据本文所描述的实施例的在SoC内使用的示例性图形处理器的框图。图13A示出了根据实施例的可以使用一个或多个IP核心制造的片上系统集成电路的示例性图形处理器1310。图13B示出了根据实施例的可以使用一个或多个IP核心制造的片上系统集成电路的附加的示例性图形处理器1340。图13A的图形处理器1310是低功率图形处理器核心的示例。图13B的图形处理器1340是更高性能图形处理器核心的示例。图形处理器1310、1340中的每一个可以是图12的图形处理器1210的变体。

如图13A中示出的，图形处理器1310包括顶点处理器1305和一个或多个片段处理器1315A-1315N(例如，1315A、1315B、1315C、1315D到1315N-1和1315N)。图形处理器1310可以经由单独的逻辑执行不同的着色器程序，使得顶点处理器1305被优化以执行针对顶点着色器程序的操作，而一个或多个片段处理器1315A-1315N执行针对片段或像素着色器程序的片段(例如，像素)着色操作。顶点处理器1305执行3D图形流水线的顶点处理阶段并且生成基元和顶点数据。(多个)片段处理器1315A-1315N使用由顶点处理器1305生成的基元和顶点数据来产生显示在显示设备上的帧缓冲器。在一个实施例中，(多个)片段处理器1315A-1315N被优化以执行如OpenGL API中提供的片段着色器程序，该片段着色器程序可以用于执行与Direct 3D API中提供的像素着色器程序类似的操作。

图形处理器1310另外地包括一个或多个存储器管理单元(MMU)1320A-1320B、(多个)高速缓存1325A-1325B和(多个)电路互连1330A-1330B。一个或多个MMU 1320A-1320B为图形处理器1310(包括为顶点处理器1305和/或(多个)片段处理器1315A-1315N)提供虚拟到物理地址映射，其除了存储在一个或多个高速缓存1325A-1325B中的顶点或图像/纹理数据之外还可以参考存储在存储器中的顶点或图像/纹理数据。在一个实施例中，一个或多个MMU 1320A-1320B可以与系统内的其他MMU(包括与图12的一个或多个应用处理器1205、图像处理器1215和/或视频处理器1220相关联的一个或多个MMU)同步，使得每个处理器1205-1220可以参与共享或统一的虚拟存储器系统。根据实施例，一个或多个电路互连1330A-1330B使得图形处理器1310能够经由SoC的内部总线或经由直接连接与SoC内的其他IP核心相接合。

如图13B所示，图形处理器1340包括图13A的图形处理器1310的一个或多个MMU1320A-1320B、一个或多个高速缓存1325A-1325B和一个或多个电路互连1330A-1330B。图形处理器1340包括一个或多个着色器核心1355A-1355N(例如，1355A、1355B、1355C、1355D、1355E、1355F到1355N-1和1355N)，一个或多个着色器核心1355A-1355N提供统一的着色器核心架构，其中单核心或类型或核心可以执行所有类型的可编程着色器代码，包括用于实现顶点着色器、片段着色器和/或计算着色器的着色器程序代码。存在的着色器核心的精确数量可以在实施例和实现方式之间变化。另外地，图形处理器1340包括核心间任务管理器1345，该核心间任务管理器1345用作线程分派器以将执行线程分派给一个或多个着色器核心1355A-1355N和图块拼接单元1358，图块拼接单元1358用于加速用于基于图块的渲染的图块拼接操作，其中针对场景的渲染操作在图像空间中被细分，以例如利用场景内的本地空间一致性或优化内部高速缓存的使用。

机器学习概述

机器学习算法是可以基于数据的集合进行学习的算法。机器学习算法的实施例可以被设计为对数据集内的高级别抽象进行建模。例如，图像识别算法可以用于确定给定输入属于若干类别中的哪个类别；回归算法可以在给定输入的情况下输出数值；以及模式识别算法可以用于生成转换的文本或执行文本到语音识别和/或语音识别。

机器学习算法的示例性类型是神经网络。存在许多类型的神经网络；一种简单类型的神经网络是前馈网络。前馈网络可以实现为非循环图，其中节点按层布置。典型地，前馈网络拓扑包括由至少一个隐藏层分隔的输入层和输出层。隐藏层将由输入层接收的输入变换为可用于在输出层中生成输出的表示。网络节点经由边缘完全连接到相邻层中的节点，但每层内的节点之间没有边缘。在前馈网络的输入层的节点处接收的数据经由激活函数传播(即，“前馈”)到输出层的节点，该激活函数基于分别与连接多个层的边缘中的每一个相关联的系数(“权重”)来计算网络中每个连续层的节点的状态。取决于由正在执行的算法表示的特定模型，来自神经网络算法的输出可以采用各种形式。

在机器学习算法可以用于对特定问题进行建模之前，使用训练数据集来训练算法。训练神经网络涉及选择网络拓扑、使用表示由网络建模的问题的训练数据的集合以及调整权重直到网络模型对于训练数据集的所有实例表现出最小误差为止。例如，在针对神经网络的有监督学习训练过程期间，由网络响应于表示训练数据集中的实例的输入而产生的输出与针对该实例的“正确的”经标记的输出进行比较，计算表示输出与经标记的输出之间的差异的误差信号，并且调整与连接相关联的权重，以便在误差信号通过网络的多个层向后传播时使得该误差最小化。当根据训练数据集的实例生成的输出中的每一个的误差为最小化的时，网络被认为是“经训练的”。

机器学习算法的准确度可能由用于训练该算法的数据集的质量显著地影响。训练过程可能是计算密集的，并且可能要求在常规的通用处理器上花费显著的时间量。因此，并行处理硬件用于训练许多类型的机器学习算法。这对于优化神经网络的训练特别有用，因为在调整神经网络中的系数时执行的计算使其自然地适用于并行实现方式。具体地，许多机器学习算法和软件应用已经适合于利用通用图形处理设备内的并行处理硬件。

图14是机器学习软件栈1400的概括图。机器学习应用1402可以被配置为使用训练数据集训练神经网络或者使用经训练的深度神经网络来实现机器智能。机器学习应用1402可以包括用于神经网络和/或专用软件的训练和推理功能，该专用软件可以用于在部署之前训练神经网络。机器学习应用1402可以实现任何类型的机器智能，包括但不限于图像识别、绘图和定位、自主导航、语音合成、医学成像或语言转换。

可以经由机器学习框架1404来实现针对机器学习应用1402的硬件加速。机器学习框架1404可以提供机器学习基元库。机器学习基元是通常由机器学习算法执行的基本操作。在没有机器学习框架1404的情况下，将要求机器学习算法的开发者创建并优化与机器学习算法相关联的主计算逻辑，然后在开发新的并行处理器时重新优化计算逻辑。相反，机器学习应用可以被配置为使用由机器学习框架1404提供的基元来执行必要的计算。示例性基元包括张量卷积、激活函数和池化，这些示例性基元是在训练卷积神经网络(CNN)时执行的计算操作。机器学习框架1404还可以提供基元以实现由许多机器学习算法执行的基本线性代数子程序(例如，矩阵和向量运算)。

机器学习框架1404可以处理从机器学习应用1402接收的输入数据，并且生成到计算框架1406的适当输入。计算框架1406可以对提供给GPGPU驱动程序1408的底层指令进行抽象以使得机器学习框架1404能够利用经由GPGPU硬件1410的硬件加速，而不要求机器学习框架1404具有关于GPGPU硬件1410的架构的丰富知识。另外地，计算框架1406可以跨各种类型和各代的GPGPU硬件1410实现针对机器学习框架1404的硬件加速。

机器学习神经网络实现方式

由本文所描述的实施例提供的计算架构可以被配置为执行特别适合于训练和部署用于机器学习的神经网络的类型的并行处理。神经网络可以被概括为具有图形关系的函数的网络。如本领域已知的，存在各种类型的在机器学习中使用的神经网络实现方式。一种示例性类型的神经网络是前馈网络，如先前所描述的。

第二种示例性类型的神经网络是卷积神经网络(CNN)。CNN是专用的前馈神经网络，其用于处理具有已知的网格状拓扑的数据，例如，图像数据。因此，CNN通常用于计算视觉和图像识别应用，但是CNN也可以用于其他类型的模式识别，例如，语音和语言处理。CNN输入层中的节点被组织成“滤波器”的集合(受视网膜中发现的感受域启发的特征检测器)，并且滤波器的每个集合的输出被传播到网络的连续层中的节点。针对CNN的计算包括将卷积数学运算应用于每个滤波器以产生该滤波器的输出。卷积是由两个函数执行的用于产生第三函数的特殊类型的数学运算，该第三函数是两个原始函数中的一个的经修改的版本。在卷积网络术语中，卷积的第一函数可以被称为输入，而第二函数可以被称为卷积内核。输出可以被称为特征图。例如，卷积层的输入可以是定义输入图像的各种颜色分量的数据的多维阵列。卷积内核可以是参数的多维阵列，其中参数通过针对神经网络的训练过程进行适配。

递归神经网络(RNN)是前馈神经网络族，其包括层之间的反馈连接。RNN通过跨神经网络的不同部分共享参数数据来实现对顺序数据的建模。RNN的架构包括周期。周期表示变量的当前值在未来时间对其自身值的影响，因为来自RNN的输出数据的至少一部分被用作反馈以用于处理序列中的后续输入。由于可以组成语言数据的可变性质，该特征使得RNN对于语言处理特别有用。

下面描述的附图呈现示例性前馈网络、CNN网络和RNN网络，以及描述分别用于训练和部署这些类型的网络中的每一种的一般过程。将理解的是，这些描述对于本文所描述的任何特定实施例是示例性的而非限制性的，并且所示的概念通常可以普遍地适用于深度神经网络和机器学习技术。

上面所描述的示例性神经网络可以用于执行深度学习。深度学习是使用深度神经网络的机器学习。深度学习中使用的深度神经网络是由多个隐藏层组成的人工神经网络，而不是仅包括单个隐藏层的浅神经网络。更深的神经网络通常对于训练而言是更计算密集的。然而，网络的附加隐藏层实现相对于浅机器学习技术而言导致减少的输出误差的多步骤模式识别。

在深度学习中使用的深度神经网络典型地包括耦合到后端网络的用于执行特征识别的前端网络，该后端网络表示可以基于提供给模型的特征表示执行运算(例如，对象分类、语音识别等)的数学模型。深度学习使得在不要求针对模型执行手工制作的特征工程的情况下能够执行机器学习。相反，深度神经网络可以基于输入数据内的统计结构或相关性来学习特征。可以将经学习的特征提供给可以将检测到的特征映射到输出的数学模型。由网络使用的数学模型通常专用于要执行的特定任务，并且将使用不同的模型来执行不同的任务。

一旦构造了神经网络，就可以将学习模型应用于网络以训练网络执行特定任务。学习模型描述了如何调整模型内的权重以减少网络的输出误差。误差的反向传播是用于训练神经网络的常用方法。输入向量被呈现给网络以用于处理。使用损失函数将网络的输出与期望的输出进行比较，并且针对输出层中的神经元中的每一个计算误差值。然后误差值向后传播，直到每个神经元具有相关联的误差值为止，该误差值粗略地表示该神经元对原始输出的贡献。然后，网络可以使用诸如随机梯度下降算法之类的算法从这些误差中学习，以更新神经网络的权重。

图15A-15B示出了示例性卷积神经网络。图15A示出了CNN内的各种层。如图15A中示出的，用于对图像处理建模的示例性CNN可以接收描述输入图像的红色、绿色和蓝色(RGB)分量的输入1502。输入1502可以由多个卷积层(例如，第一卷积层1504、第二卷积层1506)处理。来自多个卷积层的输出可以可选地由完全连接层的集合1508处理。完全连接层中的神经元具有与先前层中的所有激活的完全连接，如先前针对前馈网络所描述的。来自完全连接层1508的输出可以用于根据网络生成输出结果。可以使用矩阵乘法而不是卷积来计算完全连接层1508内的激活。并非所有CNN实现方式都使用完全连接层1508。例如，在一些实现方式中，第二卷积层1506可以生成CNN的输出。

卷积层稀疏地连接，这不同于在完全连接层1508中发现的传统的神经网络配置。传统的神经网络层完全连接，使得每个输出单元与每个输入单元相互作用。然而，卷积层稀疏地连接，因为如所示的域的卷积的输出(而不是域中的节点中的每一个的相应的状态值)被输入到后续层的节点。与卷积层相关联的内核执行卷积运算，其输出被发送到下一层。在卷积层内执行的维数减少是使得CNN能够扩展以处理大图像的一个方面。

图15B示出了CNN的卷积层内的示例性计算阶段。可以在卷积层1514的三个阶段中处理对CNN的卷积层的输入1512。这三个阶段可以包括卷积阶段1516、检测器阶段1518和池化阶段1520。然后，卷积层1514可以将数据输出到连续的卷积层。网络的最终卷积层可以生成输出特征图数据或者向完全连接层提供输入，以例如生成针对CNN的输入的分类值。

在卷积阶段1516中并行地执行若干次卷积以产生线性激活的集合。卷积阶段1516可以包括仿射变换，该仿射变换是可以被指定为线性变换加平移的任何变换。仿射变换包括旋转、平移、伸缩以及这些变换的组合。卷积阶段计算连接到输入中的特定区域的函数(例如，神经元)的输出，该特定区域可以被确定为与神经元相关联的本地区域。神经元计算神经元的权重与神经元所连接的本地输入中的区域之间的点积。来自卷积阶段1516的输出定义了由卷积层1514的连续阶段处理的线性激活的集合。

线性激活可以由检测器阶段1518处理。在检测器阶段1518中，每个线性激活由非线性激活函数处理。非线性激活函数增加了整个网络的非线性属性，而不会影响卷积层的感受域。可以使用若干类型的非线性激活函数。一种特殊类型是整流线性单元(ReLU)，其使用被定义为f(x)＝max(0,x)的激活函数，使得激活在零处设定阈值。

池化阶段1520使用池化函数，该池化函数将第二卷积层1506的输出替换为附近输出的概括性统计。池化函数可以用于将平移不变性引入神经网络，使得对输入的小平移不会改变经池化的输出。在输入数据中的特征的存在比特征的精确位置更重要的场景中，对本地平移的不变性可能是有用的。在池化阶段1520期间可以使用各种类型的池化函数，包括最大池化、平均池化和I2范数池化。另外地，一些CNN实现方式不包括池化阶段。相反，这样的实现方式替代并且附加的卷积阶段相对于先前的卷积阶段具有增加的跨步。

然后，来自卷积层1514的输出可以由下一层1522处理。下一层1522可以是附加的卷积层或者是完全连接层1508中的一个。例如，图15A的第一卷积层1504可以输出到第二卷积层1506，而第二卷积层可以输出到完全连接层1508的第一层。

图16示出了示例性递归神经网络。在递归神经网络(RNN)中，网络的先前状态影响网络的当前状态的输出。可以使用各种函数以各种方式构建RNN。对RNN的使用通常围绕使用数学模型以基于输入的先前序列来预测未来。例如，RNN可以用于执行统计语言建模，以在给定单词的先前序列的情况下预测即将到来的单词。所示出的RNN 1600可以被描述为具有接收输入向量的输入层1602、用于实现递归功能的隐藏层1604、用于启用对先前状态的“记忆”的反馈机制1605以及用于输出结果的输出层1606。RNN 1600基于时间步长进行操作。RNN在给定的时间步长处的状态会基于先前的时间步长经由反馈机制1605受到影响。对于给定的时间步长，隐藏层1604的状态由先前状态和在当前时间步长处的输入定义。在第一时间步长处的初始输入(x₁)可以由隐藏层1604处理。第二输入(x₂)可以由隐藏层1604使用在对初始输入(x₁)的处理期间确定的状态信息来处理。给定的状态可以被计算为s_t＝f(Ux_t+Ws_t-1)，其中U和W是参数矩阵。函数f通常是非线性的，例如，双曲正切函数(Tanh)或整流函数f(x)＝max(0,x)的变体。然而，隐藏层1604中使用的特定数学函数可以取决于RNN1600的具体实现细节而变化。

除了所描述的基本CNN和RNN网络之外，可以实现这些网络的变型。一个示例RNN变体是长短期记忆(LSTM)RNN。LSTM RNN能够学习可能对于处理较长的语言序列是必要的长期依赖性。CNN的变体是卷积深度信念网络，其具有类似于CNN的结构并且以类似于深度信念网络的方式进行训练。深度信念网络(DBN)是一种生成神经网络，其由多层任意(随机)变量组成。可以使用贪婪的无监督学习逐层训练DBN。然后，通过确定针对神经网络的权重的最优初始集合，可以使用DBN的经学习的权重来提供预训练神经网络。

图17示出了对深度神经网络的训练和部署。一旦针对任务已经构造了给定的网络，就使用训练数据集1702对神经网络进行训练。已经开发了各种训练框架以实现训练过程的硬件加速。例如，图14的机器学习框架1404可以被配置为训练框架1704。训练框架1704可以挂钩到未经训练的神经网络1706并且使得能够使用本文所描述的并行处理资源对未经训练的神经网络进行训练，以生成经训练的神经网络1708。为了开始训练过程，可以随机地或通过使用深度信念网络进行预训练来选择初始权重。然后，训练周期以有监督方式或无监督的方式执行。

有监督学习是这样的学习方法：其中训练作为中介操作来执行，例如，当训练数据集1702包括与针对输入的期望输出配对的输入时，或者在训练数据集包括具有已知输出的输入并且神经网络的输出被手动分级的情况下。网络对输入进行处理并且将得到的输出与预期或期望的输出的集合进行比较。然后，误差向后传播通过系统。可以调整训练框架1704以调整控制未经训练的神经网络1706的权重。训练框架1704可以提供工具来监视未经训练的神经网络1706朝向适合于基于已知的输入数据生成正确答案的模型收敛得如何。当调整网络的权重以改善由神经网络生成的输出时，训练过程重复发生。训练过程可以继续，直到神经网络达到与经训练的神经网络1708相关联的统计上期望的准确度。然后可以部署经训练的神经网络1708以实现任何数量的机器学习操作，以基于新的数据1712的输入来生成推理结果1714。

无监督学习是这样的学习方法：其中网络尝试使用未经标记的数据对其自身进行训练。因此，对于无监督学习，训练数据集1702将包括没有任何相关联的输出数据的输入数据。未经训练的神经网络1706可以学习未经标记的输入内的分组，并且可以确定单个输入如何与整个数据集相关。无监督训练可以用于生成自组织映射，其是一种能够执行在减少数据的维度中有用的操作的经训练的神经网络1708。无监督训练也可以用于执行异常检测，这允许标识输入数据集中的偏离数据的正常模式的数据点。

还可以采用有监督训练和无监督训练的变型。半监督学习是一种其中训练数据集1702包括相同分布的经标记的数据和未经标记的数据的混合的技术。增量学习是有监督学习的变体，其中输入数据被连续地用于进一步训练模型。增量学习使得经训练的神经网络1708能够适应新的数据1712，而不会忘记在初始训练期间灌注在网络内的知识。

无论是有监督的还是无监督的，针对特定深度神经网络的训练过程对于单个计算节点而言可能是过于计算密集的。可以使用计算节点的分布式网络而不是使用单个计算节点来加速训练过程。

图18是示出分布式学习的框图。分布式学习是一种训练模型，其使用多个分布式计算节点来执行神经网络的有监督训练或无监督训练。分布式计算节点可以各自包括一个或多个主机处理器以及通用处理节点中的一个或多个。如所示的，分布式学习可以执行模型并行性1802、数据并行性1804或模型并行性和数据并行性1804的组合。

在模型并行性1802中，分布式系统中的不同计算节点可以针对单个网络的不同部分执行训练计算。例如，神经网络的每个层可以由分布式系统的不同处理节点训练。模型并行性的益处包括扩展到特别大的模型的能力。对与神经网络的不同层相关联的计算进行分割使得能够对非常大的神经网络进行训练，在该非常大的神经网络中所有层的权重将不适合单个计算节点的存储器。在一些实例中，模型并行性在执行对大型神经网络的无监督训练中可能是特别有用的。

在数据并行性1804中，分布式网络的不同节点具有模型的完整实例，并且每个节点接收数据的不同部分。然后，对来自不同节点的结果进行组合。虽然数据并行性的不同方法是可能的，但是数据并行训练方法都要求组合结果并且在每个节点之间同步模型参数的技术。组合数据的示例性方法包括参数平均和基于更新的数据并行性。参数平均针对训练数据的子集对每个节点进行训练，并且将全局参数(例如，权重、偏差)设置为来自每个节点的参数的平均值。参数平均使用维护参数数据的中央参数服务器。基于更新的数据并行性类似于参数平均，除了不是将来自节点的参数传送到参数服务器，而是传送对模型的更新。另外地，可以以去中心化的方式来执行基于更新的数据并行性，其中更新被压缩并在节点之间传送。

经组合的模型和数据并行性1806可以例如在分布式系统中实现，在该分布式系统中每个计算节点包括多个GPU。每个节点可以具有模型的完整实例，其中每个节点内的单独的GPU用于对模型的不同部分进行训练。

分布式训练相对于对单个机器进行的训练增加了开销。然而，本文所描述的并行处理器和GPGPU可以各自实现各种技术以减少分布式训练的开销，这些技术包括用于实现高带宽GPU到GPU数据传送和经加速的远程数据同步的技术。

示例性机器学习应用

机器学习可以应用于解决各种技术性问题，包括但不限于计算机视觉、自主驾驶和导航、语音识别和语言处理。计算机视觉已经在传统上是针对机器学习应用的最活跃的研究领域中的一个。计算机视觉的应用范围从再现人类视觉能力(例如，识别面部)到创建新的视觉能力的类别。例如，计算机视觉应用可以被配置为根据视频中可见的对象中引起的振动来识别声波。并行处理器加速的机器学习使得计算机视觉应用能够使用比先前可行的训练数据集显著更大的训练数据集进行训练，并且使得能够使用低功率并行处理器部署推理系统。

并行处理器加速的机器学习具有自主驾驶应用，包括车道和道路标志识别、障碍物避免、导航和驾驶控制。加速的机器学习技术可以用于基于定义对特定训练输入的适当响应的数据集来训练驾驶模型。本文所描述的并行处理器可以实现对用于自主驾驶解决方案的越来越复杂的神经网络的快速训练，并且实现在适合于集成到自主车辆中的移动平台中部署低功率推理处理器。

并行处理器加速的深度神经网络已经实现用于自动语音识别(ASR)的机器学习方法。ASR包括对函数的创建，该函数在给定输入声学序列的情况下计算最可能的语言序列。使用深度神经网络的加速的机器学习已经实现对先前用于ASR的隐马尔可夫模型(HMM)和高斯混合模型(GMM)的替换。

并行处理器加速的机器学习也可以用于加速自然语言处理。自动学习过程可以利用统计推理算法来产生对于错误或不熟悉的输入具有鲁棒性的模型。示例性自然语言处理器应用包括人类语言之间的自动机器转换。

用于机器学习的并行处理平台可以分为训练平台和部署平台。训练平台通常高度并行，并且包括用于加速多GPU单节点训练和多节点多GPU训练的优化，而部署的机器学习(例如，推理)平台通常包括适用于在诸如照相机、自主机器人和自主车辆之类的产品中使用的较低功率并行处理器。

图19示出了采用加速器1910的计算设备1900的一个实施例。计算设备1900(例如，智能可穿戴设备、虚拟现实(VR)设备、头戴式显示器(HMD)、移动计算机、物联网(IoT)设备、膝上型计算机、台式计算机、服务器计算机等)可以与图1的数据处理系统100相同，并且因此为了简洁、清晰和易于理解，上面参考图1-18所陈述的细节中的许多细节在下文中不再进一步讨论或重复。如所示的，在一个实施例中，计算设备1900被示为托管加速器1910。

在整个文档中，可以将如“图形域”的术语与“图形处理单元”、“图形处理器”或简单地“GPU”可互换地引用，并且类似地，“CPU域”或“主机域”可以与“计算机处理单元”、“应用处理器”或简单地“CPU”可互换地引用。

计算设备1900可以包括任何数量和类型的通信设备(例如，大型计算系统(例如，服务器计算机、台式计算机等))，并且可以进一步包括机顶盒(例如，基于互联网的有线电视机顶盒等)、基于全球定位系统(GPS)的设备等。计算设备1900可以包括用作通信设备的移动计算设备，例如，包括智能电话的蜂窝电话、个人数字助理(PDA)、平板计算机、膝上型计算机、电子阅读器、智能电视、电视平台、可穿戴设备(例如，眼镜、手表、手镯、智能卡、珠宝、衣物等)、媒体播放器等。例如，在一个实施例中，计算设备1900可以包括采用计算机平台的移动计算设备，该计算机平台托管诸如片上系统(“SoC”或“SOC”)之类的集成电路(“IC”)，将计算设备1900的各种硬件和/或软件组件集成在单个芯片上。

如所示的，在一个实施例中，计算设备1900可以包括任何数量和类型的硬件和/或软件组件(例如(但不限于)GPU 1914、图形驱动器(也称为“GPU驱动器”、“图形驱动器逻辑”、“驱动器逻辑”、用户模式驱动器(UMD)、UMD、用户模式驱动器框架(UMDF)、UMDF或简单地“驱动器”)1916、CPU 1912、存储器1908、网络设备、驱动器等)以及输入/输出(I/O)源1904(例如，触摸屏、触摸面板、触摸板、虚拟或常规键盘、虚拟或常规鼠标、端口、连接器等)。

计算设备1900可以包括用作在计算机设备1900的硬件和/或物理资源与用户之间的接口的操作系统(OS)1906。应设想到的是，CPU 1912可以包括一个或多个处理器(例如，图1的(多个)处理器102)，而GPU 1914可以包括一个或多个图形处理器(或多处理器)。

要注意的是，如“节点”、“计算节点”、“服务器”、“服务器设备”、“云计算机”、“云服务器”、“云服务器计算机”、“机器”、“主机”、“设备”、“计算设备”、“计算机”、“计算系统”等的术语可以在本文档中可互换地使用。还要注意的是，如“应用”、“软件应用”、“程序”、“软件程序”、“封装”、“软件封装”等的术语可以在本文档中可互换地使用。而且，如“工作”、“输入”、“请求”、“消息”的术语可以在本文档中可互换地使用。

应设想到的并且如参考图1-13进一步描述的，如上面描述的图形流水线的一些过程以软件实现，而其余过程以硬件实现。图形流水线可以在图形协处理器设计中实现，其中CPU 1912被设计为与GPU 1914一起工作，该GPU 1914可以被包括在CPU 1912中或与CPU1912共置。在一个实施例中，GPU 1914可以采用任何数量和类型的用于执行与图形渲染相关的常规功能的常规软件和硬件逻辑，以及用于执行任何数量和类型的指令的新颖的软件和硬件逻辑。

如先前所提到的，存储器1908可以包括随机存取存储器(RAM)，该RAM包括具有对象信息的应用数据库。存储器控制器中心(例如，图1的存储器中心105)可以访问RAM中的数据并将其转发到GPU 1914以用于图形流水线处理。RAM可以包括双倍数据速率RAM(DDRRAM)、扩展的数据输出RAM(EDO RAM)等。CPU 1912与硬件图形流水线交互以共享图形流水线功能。

经处理的数据被存储在硬件图形流水线中的缓冲器中，并且状态信息被存储在存储器1908中。然后，所得到的图像被传送到I/O源1904，例如，用于显示图像的显示组件。应设想到的是，显示设备可以是各种类型的，例如，阴极光线管(CRT)、薄膜晶体管(TFT)、液晶显示器(LCD)、有机发光二极管(OLED)阵列等，以向用户显示信息。

存储器1908可以包括缓冲器(例如，帧缓冲器)的预分配区域；然而，本领域普通技术人员应该理解的是，实施例不限于此，并且可以使用可访问较低图形流水线的任何存储器。计算设备1900还可以包括如图1中引用的输入/输出(I/O)控制中心(ICH)107作为一个或多个I/O源1904等。

CPU 1912可以包括一个或多个处理器以执行指令以便执行计算系统实现的任何软件例程。指令经常涉及对数据执行的某种操作。数据和指令两者都可以存储在系统存储器1908和任何相关联的高速缓存中。高速缓存典型地被设计为比系统存储器1908具有较短的时延时间；例如，高速缓存可以集成在与(多个)处理器相同的(多个)硅芯片上和/或以较快的静态RAM(SRAM)单元构造，而系统存储器1908可以以较慢的动态RAM(DRAM)单元构造。与系统存储器1908相比，通过倾向于将更频繁使用的指令和数据存储在高速缓存中，改进了计算设备1900的总体性能效率。应设想到的是，在一些实施例中，GPU 1914可以作为CPU1912的一部分(例如，作为物理CPU封装的一部分)存在，在这种情况下，存储器1908可以由CPU1912和GPU 1914共享或保持分离。

系统存储器1908可以对计算设备1900内的其他组件可用。例如，从到计算设备1900的各种接口(例如，键盘和鼠标、打印机端口、局域网(LAN)端口、调制解调器端口等)接收到的或从计算机设备1900的内部存储元件(例如，硬盘驱动器)取回的任何数据(例如，输入图形数据)通常在软件程序的实现方式中在由一个或多个处理器操作之前临时地排入系统存储器1908中。类似地，软件程序确定应通过计算系统接口中的一个从计算设备1900发送到外部实体或存储到内部存储元件中的数据通常在其被传输或存储之前临时地排入系统存储器1908中。

此外，例如，ICH可以用于确保这样的数据在系统存储器1908与其适当的对应计算系统接口(以及内部存储设备(如果计算系统是这样设计的话))之间恰当地传递，并且可以具有在自身与观察到的I/O源/设备1904之间的双向点对点链路。类似地，平台控制中心(PCH)可以用于管理可能在时间上相对于彼此近似地出现的CPU 1912和GPU 1914、接口和内部存储元件之间的针对系统存储器1908访问的各种竞争请求。

I/O源1904可以包括一个或多个I/O设备，这些I/O设备被实现用于向计算设备1900和/或从计算设备1900传送数据(例如，网络适配器)；或者，这些I/O设备被实现用于计算设备1900内的大规模非易失性存储(例如，硬盘驱动器)。包括字母数字和其他键的用户输入设备可以用于将信息和命令选择通信给GPU 1914。另一类型的用户输入设备是用于将方向信息和命令选择通信给GPU 1914并且控制显示设备上的光标移动的光标控件，例如，鼠标、轨迹球、触摸屏、触摸板或光标方向键。可以采用计算机设备1900的相机和麦克风阵列来观察手势、记录音频和视频，以及接收和发送视觉和音频命令。

计算设备1900还可以包括(多个)网络接口以提供对网络(例如，LAN、广域网(WAN)、城域网(MAN)、个域网(PAN)、蓝牙、云网络、移动网络(例如，第三代(3G)、第四代(4G)等)、内联网、互联网等)的访问。(多个)网络接口可以包括例如具有天线的无线网络接口，该天线可以表示一个或多个天线。(多个)网络接口也可以包括例如有线网络接口，以经由网络电缆与远程设备通信，该网络电缆可以是例如以太网电缆、同轴电缆、光纤电缆、串行电缆或并行电缆。

(多个)网络接口可以例如通过遵循IEEE 802.11b和/或IEEE 802.11g标准来提供对LAN的访问，和/或无线网络接口可以例如通过遵循蓝牙标准来提供对个域网的访问。也可以支持其他无线网络接口和/或协议，包括先前和后续版本的标准。除了或代替经由无线LAN标准的通信，(多个)网络接口可以使用例如时分多址(TDMA)协议、全球移动通信系统(GSM)协议、码分多址(CDMA)协议和/或任何其他类型的无线通信协议来提供无线通信。

(多个)网络接口可以包括一个或多个通信接口，例如，调制解调器、网络接口卡或其他公知的接口设备(例如，用于耦合到以太网的那些接口设备)、令牌环或者出于提供通信链路以例如支持LAN或WAN的目的的其他类型的物理有线或无线附接。以这种方式，计算机系统还可以经由常规的网络基础设施(例如，包括内联网或互联网)耦合到多个外围设备、客户端、控制表面、控制台或服务器。

应当认识到的是，对于某些实现方式，比上面描述的示例更少或更多装备的系统可能是优选的。因此，计算设备1900的配置可以取决于若干因素(例如，价格约束、性能要求、技术改进或其他情况)而在不同实现方式之间变化。电子设备或计算机系统1900的示例可以包括(但不限于)移动设备、个人数字助理、移动计算设备、智能电话、蜂窝电话、手机、单向寻呼机、两向寻呼机、消息传递设备、计算机、个人计算机(PC)、台式计算机、膝上型计算机、笔记本计算机、手持式计算机、平板计算机、服务器、服务器阵列或服务器场、web服务器、网络服务器、互联网服务器、工作站、小型计算机、大型计算机、超级计算机、网络装置、web装置、分布式计算系统、多处理器系统、基于处理器的系统、消费者电子件、可编程消费者电子件、电视、数字电视、机顶盒、无线接入点、基站、订户站、移动订户中心、无线电网络控制器、路由器、中心、网关、桥、交换机、机器或其组合。

实施例可以被实现为以下任何一种或组合：使用母板互连的一个或多个微芯片或集成电路、硬连线逻辑、由存储器设备存储并由微处理器执行的软件、固件、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)。通过示例的方式，术语“逻辑”可以包括软件或硬件和/或软件和硬件的组合。

实施例可以被提供为例如计算机程序产品，该计算机程序产品可以包括其上存储有机器可执行指令的一个或多个机器可读介质，该机器可执行指令在由一个或多个机器(例如，计算机、计算机网络或其他电子设备)执行时可以导致一个或多个机器根据本文描述的实施例执行操作。机器可读介质可以包括但不限于软盘、光盘、CD-ROM(光盘只读存储器)和磁光盘、ROM、RAM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪速存储器或适用于存储机器可执行指令的其他类型的介质/机器可读介质。

此外，可以将实施例下载为计算机程序产品，其中可以经由通信链路(例如，调制解调器和/或网络连接)通过体现在载波或其他传播介质中和/或由载波或其他传播介质调制的一个或多个数据信号的方式将程序从远程计算机(例如，服务器)传送到请求计算机(例如，客户端)。

如上面所讨论的，硬件设计者未能利用非对称精度来提高深度学习数值运算的最终准确度。这典型地是由于要求附加数据路径来构建针对非对称数据类型的本地支持(例如，8b激活、4b权重或2b权重等)以提取目标吞吐量，这增加了对机器学习控制(MLC)的带宽压力。此外，针对所有不同组合(8×4、8×2、8×、16×8、32×2等)优化数据路径是验证密集的，并且要求大量集成电路(IC)以用于布线。

此外，较新的数据格式通常很少有证据表明该数据格式在广泛的深度学习应用中的适用性。这使设计人员难以投资于针对硬件中的这些数据类型建立本地支持。

根据一个实施例，加速器1910包括用于执行机器学习矩阵乘法运算的阵列1913(例如，脉动阵列)。在另一实施例中，加速器1910包括用于与阵列1913一起操作来支持计算机数字格式之间的转换的可编程转换逻辑(或C-Box)1915。在这样的实施例中，C-Box 1915提供从任何类型的精度数据格式(例如，新兴的和非对称的精度数据格式)到由阵列1913或计算数学运算的任何其他类型的计算硬件支持的本地格式的转换。因此，可以针对存储使用(或存储类型)支持定制数据格式，以使应用能够支持各种精度选项的组合。

图20示出了加速器1910的一个实施例。如图20中示出的，C-Box 1915包括控制单元2010和用于执行转换的转换逻辑2012。在一个实施例中，控制单元2010实现对A矩阵、B矩阵和C矩阵的数据格式和精度的独立控制。在配置阶段期间，控制单元2010被编程有数据格式信息。在一个实施例中，数据格式信息指示输入数据要被接收的精度数据格式，并且数学运算的结果要被转换为该精度数据格式。在实施例中，数据格式信息指示要在转换逻辑2012处转换输入和输出矩阵(例如，A、B和C)的数据格式以及精度。在另一实施例中，转换逻辑2012支持接收非对称数据类型作为输入(例如，由于权重和激活可能是不同的数据类型)。

在另一实施例中，可以使用如图21中示出的通用数据结构来表示数据格式信息。如图21中示出的，数据格式信息指定了要被接收并且在转换逻辑2012处转换的精度数据格式的一个或多个属性。例如，属性可以包括格式是否包括符号、位数、指数编码、团体位(例如，针对Posit)等，以及位数是否专用于指数(如果存在位数的话(例如，0位指示整数格式))。基于这些属性，C-Box 1915可以支持包括新数据类型的任何数据类型的转换。

在另一实施例中，控制单元2010提供格式控制接口2001，该格式控制接口2001使程序员能够查询由C-Box 1915支持的A矩阵、B矩阵和C矩阵的输入和输出数据格式以及精度。在这种实施例中，接口2001包括专用的机器专用寄存器(MSR)，格式信息可以被编程到该专用的MSR。因此，数据结构可以用于对MSR进行编程(例如，regime_bit可以由诸如Posit之类的定制格式使用)。在其他实施例中，还可以经由CPU标识(CPUID)来提供配置信息，作为具有相关联的指令的集合的新架构扩展。

根据一个实施例，接口2001可以通过对指令集的扩展而暴露。因此，数据结构包括一个或多个数据转换指令。下面示出了用于支持8位浮点应用的ISA扩展的实施例。

DPAS.CBOX.F8.F8＝用于使用8位浮点格式的点积累积脉动指令的C-Box 1915扩展。

LD.NRE/STO F8,F16；

LD.NRE/STO F8,F32；以及

LD.NRE/STO F8,BF16＝用于将数据从其他已知/现有浮点数据格式(例如，float32、float16和bfloat16)转换为8位浮点的指令。

上面的数据转换指令可以由非GEMM运算(例如，批归一化、simoid和tanh)使用。这些运算符典型地不由脉动阵列支持，并且因此必须在标准ALU路径上执行。在一个实施例中，在将这些运算的输出输入到DNN中的下一GEMM运算符之前，将这些运算的输出转换为8b浮点格式。图22示出了被实现为使用C-Box扩展对接口2001进行编程的编程代码的一个实施例。如图22中示出的，代码包括使用上面定义的DPAS和LD扩展的GEMM和tanh运算符的序列。

根据一个实施例，可以在每个计算(FMA)周期配置数据格式和精度或在每个大型GEMM运算时配置一次数据格式和精度。另外地，在GEMM运算结束时，最终输出也可以转换为较低精度的定制类型。一旦配置了控制单元2010，控制单元2010就可以在计算阶段中操作。在计算阶段期间，在转换逻辑2012处从暂存存储器/寄存器文件以定制位格式(例如，CF8、CF4、CF2、CF1)接收输入矩阵2020和矩阵2030(分别为A和B)，该转换逻辑2012在矩阵乘法计算在阵列1913处被执行之前将输入数据转换为由阵列1913支持的本地格式(例如，16B、32B、64B等)。然后，转换逻辑2012从阵列1913以本地格式接收计算输出，并且对输出数据执行后续转换以生成以定制格式的输出矩阵2040(或矩阵C)。

在一个实施例中，转换逻辑2012包括一个或多个处理器，这些处理器在从控制单元1915接收到的元数据的控制下执行各种数学运算以执行转换。在这样的实施例中，从控制单元2010接收元数据，并且该元数据包括描述传入数据类型和传出数据类型的信息。在另一实施例中，元数据包括迭代计数，该迭代计数(例如，基于哪个本地精度用于计算)指示要重复的计算的次数。在又一实施例中，元数据指示是否将由计算产生的输出转换为期望的低精度格式。例如，GEMM计算的最后的迭代可以转换输出，而中间迭代则使数据保持高精度。在又一实施例中，元数据可以提供关于非对称精度的信息。在这样的实施例中，非对称精度元数据指示针对输入和输出中的每一个的数据类型(例如，有2个输入(矩阵A和矩阵B)以及一个累加器(矩阵C))。

根据一个实施例，控制单元2010包括迭代器2005状态机，以基于输入精度数据格式的精度来指示要在阵列1913(或其他数学计算硬件)处执行的计算操作的迭代的次数。在这样的实施例中，迭代的次数取决于输入精度。图23示出了被实现为执行计算(FMA)的迭代器2005的一个实施例。如图23中示出的，对于输入A矩阵和B矩阵两者，包括8b个元素的16×16输入块被分为两个16×8块。

在一个实施例中，转换逻辑2012包括用于划分16×16矩阵块的拼接器逻辑。在另一实施例中，部分16×8块被放大到16b个元素，并且由脉动阵列1913以2次迭代执行。在另一实施例中，用于部分输入块的偏移地址由迭代器200生成。在这样的实施例中，可以期望将输入块以预定义的布局布置。

图24是示出用于使用C-Box 1915执行矩阵乘法的方法的一个实施例的流程图。在处理框2410处，从存储器以定制格式接收输入数据。在处理框2420处，对数据进行划分。例如，可以将16×16输入数据块分为两个16×8块。在处理框2430处，基于编程到C-Box 1915中的数据格式信息来将数据块转换为由数学计算硬件(例如，阵列1913)支持的本地格式。在处理框2440处，执行矩阵乘法计算。在处理框2450处，将计算的结果(或输出数据)转换回定制格式。在处理框2460处，将输出数据以定制格式保存到存储器。图25示出了转换流程的另一实施例。

上面描述的转换逻辑使得内部位级格式细节(例如，符号、指数和尾数)能够对于程序员是透明的，从而使得更易于快速地添加或改变内部格式。当这些格式最终升级为本地类型时，这也适用，从而为我们提供了上市时间优势。转换逻辑还实现了混合精度数据流，以加速在使用不同数据格式的网络层之间的频繁数据转换(例如，低精度的GEMM，然后是精度较高的非GEMM运算，反之亦然)。此外，转换逻辑加速了使用非对称数据类型的DL训练数据流(例如，GEMM内核)。例如，与激活梯度需要较高的精度和范围相比，权重的精度可能要低得多。附加的带宽提升改进了1×1卷积的效率以及较小/不规则的GEMM运算，这在当今的训练流程中很常见。

前述说明书和附图应被认为是说明性而非限制意义的。本领域技术人员将理解的是，在不脱离如所附权利要求书中阐述的本发明的更宽泛的精神和范围的情况下，可以对本文描述的实施例进行各种修改和改变。

属于示例1的一些实施例包括一种用于促进计算机数字格式转换的装置，包括：控制单元，其用于接收指示输入数据要被接收的第一精度数据格式的数据格式信息；以及转换器硬件，其用于接收输入数据，并且基于数据格式信息将第一精度数据格式转换为第二精度数据格式。

示例2包括示例1的主题，其中，控制单元包括接口，该接口用于接收数据格式信息。

示例3包括示例1和示例2的主题，其中，接口包括机器专用寄存器(MSR)。

示例4包括示例1-3的主题，其中，格式信息包括数据结构，该数据结构包括第一精度数据格式的多个属性。

示例5包括示例1-4的主题，其中，数据结构还包括用于对MSR进行编程的一个或多个数据转换指令。

示例6包括示例1-5的主题，其中，控制单元还包括迭代器状态机，该迭代器状态机用于指示要在数学计算硬件处被执行的数学运算的迭代的次数。

示例7包括示例1-6的主题，其中，转换硬件以第二精度数据格式接收数学运算的输出数据，并且将输出数据转换为第一精度数据格式。

属于示例8的一些实施例包括一种用于促进计算机数字格式转换的方法，包括：在转换硬件处以第一精度数据格式接收输入数据；以及基于被编程到转换硬件中的数据格式信息将输入数据从第一精度数据格式转换为第二精度数据格式，其中，格式信息指示输入数据包括第一精度数据格式。

示例9包括示例8的主题，还包括接收数据格式信息。

示例10包括示例8和示例9的主题，其中，格式信息包括数据结构，该数据结构包括第一精度数据格式的多个属性。

示例11包括示例8-10的主题，其中，数据结构还包括一个或多个数据转换指令。

示例12包括示例8-11的主题，还包括在数学计算硬件处以第二精度数据格式对输入数据执行一个或多个数学运算以生成以第二精度数据格式的输出数据。

示例13包括示例8-12的主题，还包括在数学计算硬件处执行一个或多个数学运算的多次迭代，如由转换硬件所指示的。

示例14包括示例8-13的主题，还包括：在转换硬件处以第二精度数据格式接收输出数据；以及将输出数据转换为第一精度数据格式。

属于示例15的一些实施例包括一种硬件加速器，包括：转换硬件，其包括控制单元和转换硬件，该控制单元用于接收指示输入数据要被接收的第一精度数据格式的数据格式信息，该转换硬件用于接收输入数据，并且基于数据格式信息将第一精度数据格式转换为第二精度数据格式；以及数学计算硬件，其用于以第二精度数据格式对输入数据执行一个或多个数学运算以生成以第二精度数据格式的输出数据。

示例16包括示例15的主题，其中，转换硬件以第二精度数据格式接收一个或多个数学运算的输出数据，并且将输出数据转换为第一精度数据格式。

示例17包括示例15和示例16的主题，其中，控制单元包括接口，该接口用于接收数据格式信息。

示例18包括示例15-17的主题，其中，接口包括机器专用寄存器(MSR)。

示例19包括示例15-18的主题，其中，格式信息包括数据结构，该数据结构包括第一精度数据格式的多个属性以及用于对MSR进行编程的一个或多个数据转换指令。

示例20包括示例15-19的主题，其中，控制单元还包括迭代器状态机，该迭代器状态机用于指示要在数学计算硬件处被执行的数学运算的迭代的次数。

前述说明书和附图应被认为是说明性而非限制意义的。本领域技术人员将理解的是，在不脱离如所附权利要求书中阐述的本发明的更宽泛的精神和范围的情况下，可以对本文描述的实施例进行各种修改和改变。

Claims (20)

1.一种用于促进计算机数字格式转换的装置，包括：

控制单元，其用于接收指示输入数据要被接收的第一精度数据格式的数据格式信息；以及

转换器硬件，其用于接收所述输入数据，并且基于所述数据格式信息将所述第一精度数据格式转换为第二精度数据格式。

2.根据权利要求1所述的装置，其中，所述控制单元包括接口，所述接口用于接收所述数据格式信息。

3.根据权利要求2所述的装置，其中，所述接口包括机器专用寄存器(MSR)。

4.根据权利要求3所述的装置，其中，所述格式信息包括数据结构，所述数据结构包括所述第一精度数据格式的多个属性。

5.根据权利要求4所述的装置，其中，所述数据结构还包括用于对所述MSR进行编程的一个或多个数据转换指令。

6.根据权利要求2所述的装置，其中，所述控制单元还包括迭代器状态机，所述迭代器状态机用于指示要在数学计算硬件处被执行的数学运算的迭代的次数。

7.根据权利要求1所述的装置，其中，所述转换硬件以所述第二精度数据格式接收数学运算的输出数据，并且将所述输出数据转换为所述第一精度数据格式。

8.一种用于促进计算机数字格式转换的方法，包括：

在转换硬件处以第一精度数据格式接收输入数据；以及

基于被编程到所述转换硬件中的数据格式信息将所述输入数据从所述第一精度数据格式转换为第二精度数据格式，其中，所述格式信息指示所述输入数据包括所述第一精度数据格式。

9.根据权利要求8所述的方法，还包括接收所述数据格式信息。

10.根据权利要求9所述的方法，其中，所述格式信息包括数据结构，所述数据结构包括所述第一精度数据格式的多个属性。

11.根据权利要求10所述的方法，其中，所述数据结构还包括一个或多个数据转换指令。

12.根据权利要求8所述的方法，还包括在在数学计算硬件处以所述第二精度数据格式对所述输入数据执行一个或多个数学运算以生成以所述第二精度数据格式的输出数据。

13.根据权利要求12所述的方法，还包括在所述数学计算硬件处执行所述一个或多个数学运算的多次迭代，如由所述转换硬件所指示的。

14.根据权利要求12所述的方法，还包括：

在所述转换硬件处以所述第二精度数据格式接收所述输出数据；以及

将所述输出数据转换为所述第一精度数据格式。

15.一种硬件加速器，包括：

转换硬件，其包括：

控制单元，其用于接收指示输入数据要被接收的第一精度数据格式的数据格式信息；以及

转换硬件，其用于接收所述输入数据，并且基于所述数据格式信息将所述第一精度数据格式转换为第二精度数据格式；以及

数学计算硬件，其用于以所述第二精度数据格式对所述输入数据执行一个或多个数学运算以生成以所述第二精度数据格式的输出数据。

16.根据权利要求15所述的加速器，其中，所述转换硬件以所述第二精度数据格式接收所述一个或多个数学运算的输出数据，并且将所述输出数据转换为所述第一精度数据格式。

17.根据权利要求15所述的加速器，其中，所述控制单元包括接口，所述接口用于接收所述数据格式信息。

18.根据权利要求16所述的加速器，其中，所述接口包括机器专用寄存器(MSR)。

19.根据权利要求18所述的加速器，其中，所述格式信息包括数据结构，所述数据结构包括所述第一精度数据格式的多个属性以及用于对所述MSR进行编程的一个或多个数据转换指令。

20.根据权利要求15所述的加速器，其中，所述控制单元还包括迭代器状态机，所述迭代器状态机用于指示要在所述数学计算硬件处被执行的数学运算的迭代的次数。

Images