CN113450422A - 减少图像中的视觉伪影 - Google Patents

Abstract

本文描述的示例包括图形处理装置，该图形处理装置包括存储器设备和耦合至该存储器设备的显示引擎。显示引擎被配置为在图像的区域上施加抖动并基于伪随机噪声修改存储在存储器中的图像的第一像素，以减少色带印象。在一些示例中，伪随机噪声基于以下各项中的一项或多项：局部亮度估计和一个或多个先前噪声水平。在一些示例中，显示引擎用于基于围绕第一像素的像素区域和第一像素的平均亮度来确定局部亮度估计。在一些示例中，显示引擎被配置为基于施加到相同场景内的先前帧中的与第一像素的位置相同的位置上的像素的噪声来限制伪随机噪声。

Description

减少图像中的视觉伪影

背景技术

数字图像的生成、处理和显示被计算系统和计算机执行的应用广泛执行和采用。例如，智能电话、智能家居、安全系统、自动驾驶载具和计算机游戏应用生成数字图像或采用图像处理。在一些情况下，计算机系统生成并显示二维(2D)或三维(3D)图像。

在生成像素之后并且在显示像素之前，可以在给定设备显示属性或其他条件的情况下应用像素处理技术来改善所显示图像的可观看性或视觉吸引力。对于每个颜色通道(例如，红色、绿色、蓝色)使用八(8)或更少位的显示器，色带(color banding)(也称为多色调分色法(posterization))是一种常见的像素处理技术。色带涉及将颜色的连续渐变转换为具有较少所得颜色的多个区域。但是，色带会引入视觉伪影，这对图像质量产生负面影响。

附图说明

图1是根据实施例的处理系统的框图。

图2A-2D示出了由本文描述的实施例提供的计算系统和图形处理器。

图3A-3C示出了由本文所描述的实施例提供的附加图形处理器和计算加速器架构的框图。

图4是根据一些实施例的图形处理器的图形处理引擎的框图。

图5A-5B示出了根据本文所描述的实施例的线程执行逻辑，其包括在图形处理器核心中采用的处理元件的阵列。

图6示出了根据实施例的附加执行单元。

图7是说明根据一些实施例的图形处理器指令格式的框图。

图8是图形处理器的另一实施例的框图。

图9A是示出根据一些实施例的图形处理器命令格式的框图。

图9B是示出根据实施例的图形处理器命令序列的框图。

图10示出了根据一些实施例的用于数据处理系统的示例性图形软件架构。

图11A是示出根据实施例的可以用于制造集成电路以执行操作的IP核心开发系统的框图。

图11B示出了根据本文所述的一些实施例的集成电路封装组装件的截面侧视图。

图11C示出了封装组装件，该封装组装件包括连接至基板的多个单元的硬件逻辑小芯片。

图11D示出了根据实施例的包括可互换小芯片的封装组装件。

图12、13A和13B示出了根据本文所述的各种实施例的示例性集成电路和相关联的图形处理器，其可以使用一个或多个IP核心来制造。

图14描绘了具有图形处理和显示引擎系统的平台的示例。

图15描绘了可以在显示引擎中使用以处理像素数据的一个或多个帧的示例系统。

图16描绘了移动窗口的示例。

图17描绘了示例过程。

图18-24描绘了在有和没有本文描述的实施例的情况下生成的图像的示例。

具体实施方式

在下面的描述中，出于解释的目的，阐述了许多具体细节，以便提供对下面描述的本发明的实施例的透彻理解。然而，对于本领域的技术人员将显而易见的是，可以在没有这些具体细节中的一些的情况下实践本发明的实施例。在其他实例中，以框图形式示出了公知的结构和设备，以避免使本发明的实施例的基本原理难以理解。

系统总览

图1是根据实施例的处理系统100的框图。系统100可以用在单处理器桌面系统、多处理器工作站系统或具有大量处理器102或处理器核心107的服务器系统中。在一个实施例中，系统100是并入在片上系统(SoC)集成电路内的处理平台，以用于在移动、手持或嵌入式设备中使用，例如在具有到局域网或广域网的有线或无线连接的物联网(IoT)设备内。

在一个实施例中，系统100可以包括以下各项、耦合到以下各项或集成在以下各项内：基于服务器的游戏平台；游戏控制台，包括游戏和媒体控制台；移动游戏控制台、手持游戏控制台、或在线游戏控制台。在一些实施例中，系统100是具有低内部存储容量的移动电话、智能电话、平板计算设备或诸如膝上型电脑之类的移动的互联网连接的设备的一部分。处理系统100还可以包括以下各项、耦合到以下各项或集成在以下各项内：可穿戴设备，例如智能手表可穿戴设备；以增强现实(AR)或虚拟现实(VR)特征增强的智能眼镜或服装，以提供视觉、音频或触觉输出，以补充现实世界视觉、音频或触觉体验，或者以其他方式提供文本、音频、图形、视频、全息图像或视频或触觉反馈；其他增强现实(AR)设备；或其他虚拟现实(VR)设备。在一些实施例中，处理系统100包括电视或机顶盒设备或为电视或机顶盒设备的一部分。在一个实施例中，系统100可以包括以下各项、耦合到以下各项或集成在以下各项内：诸如公共汽车、拖拉机拖车、汽车、电动或电力自行车、飞机或滑翔机(或其任何组合)之类的自动驾驶载具。自动驾驶载具可以使用系统100来处理在载具周围感测到的环境。

在一些实施例中，一个或多个处理器102均包括一个或多个处理器核心107以处理指令，该指令在被执行时执行用于系统或用户软件的操作。在一些实施例中，一个或多个处理器核心107中的至少一个被配置为处理特定指令集109。在一些实施例中，指令集109可以促进复杂指令集计算(CISC)、精简指令集计算(RISC)、或经由超长指令字(VLIW)的计算。一个或多个处理器核心107可以处理不同的指令集109，该指令集109可以包括用于促进对其他指令集的仿真的指令。处理器核心107还可以包括其他处理设备，例如数字信号处理器(DSP)。

在一些实施例中，处理器102包括高速缓冲存储器104。取决于架构，处理器102可以具有单个内部高速缓存或多个级别的内部高速缓存。在一些实施例中，高速缓冲存储器在处理器102的各个组件之间被共享。在一些实施例中，处理器102还使用外部高速缓存(例如，三级(L3)高速缓存或最后一级高速缓存(LLC))(未示出)，它可以使用已知的高速缓存一致性技术在处理器核心107之间被共享。寄存器文件106可以附加地被包括在处理器102中，并且可以包括用于存储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器)。一些寄存器可以是通用寄存器，而其他寄存器可以特定于处理器102的设计。

在一些实施例中，一个或多个处理器102与一个或多个接口总线110耦合，以在处理器102与系统100中的其他组件之间发送通信信号，例如地址、数据或控制信号。在一个实施例中，接口总线110可以是处理器总线，例如直接媒体接口(DMI)总线的版本。然而，处理器总线不限于DMI总线，并且可以包括一个或多个外围组件互连总线(例如，PCI、PCIExpress)、存储器总线或其他类型的接口总线。在一个实施例中，处理器102包括集成存储器控制器116和平台控制器集线器130。存储器控制器116促进存储器设备与系统100的其他组件之间的通信，而平台控制器集线器(PCH)130经由本地I/O总线提供到I/O设备的连接。

存储器设备120可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存设备、相变存储器设备或某个其他具有适当性能而用作过程存储器的存储器设备。在一个实施例中，存储器设备120可以用作系统100的系统存储器，以存储数据122和指令121，以在一个或多个处理器102执行应用或过程时使用。存储器控制器116还与可选的外部图形处理器118耦合，该外部图形处理器118可以与处理器102中的一个或多个图形处理器108通信以执行图形和媒体操作。在一些实施例中，图形、媒体和/或计算操作可以由加速器112辅助，该加速器是可以被配置为执行一组专门的图形、媒体或计算操作的协处理器。例如，在一个实施例中，加速器112是用于优化机器学习或计算操作的矩阵乘法加速器。在一个实施例中，加速器112是光线追踪加速器，其可以用于与图形处理器108一起执行光线追踪操作。在一个实施例中，可以使用外部加速器119代替加速器112或外部加速器119与加速器112一起使用。

在一些实施例中，显示设备111可以连接至处理器102。显示设备111可以是内部显示设备中的一个或多个，如在移动电子设备或膝上型设备或经由显示接口(例如，DisplayPort、嵌入式DisplayPort、MIPI、HDMI等等)附接的外部显示设备中所见的那些。在一个实施例中，显示设备111可以是头戴式显示器(HMD)，例如用于虚拟现实(VR)应用或增强现实(AR)应用中的立体显示设备。

在一些实施例中，平台控制器集线器130使外围设备能够经由高速I/O总线连接到存储器设备120和处理器102。I/O外设包括但不限于音频控制器146、网络控制器134、固件接口128、无线收发器126、触摸传感器125、数据存储设备124(例如，非易失性存储器、易失性存储器、硬盘驱动器、闪存、NAND、3D NAND、3D XPoint等)。数据存储设备124可以经由存储接口(例如，SATA)或经由外围总线(例如，外围组件互连总线(例如，PCI、PCI Express))来连接。触摸传感器125可以包括触摸屏传感器、压力传感器或指纹传感器。无线收发器126可以是Wi-Fi收发器、蓝牙收发器或诸如3G、4G、5G或长期演进(LTE)收发器之类的移动网络收发器。固件接口128实现与系统固件的通信，并且可以是例如统一可扩展固件接口(UEFI)。网络控制器134可以实现到有线网络的网络连接。在一些实施例中，高性能网络控制器(未示出)与接口总线110耦合。在一个实施例中，音频控制器146是多通道高清音频控制器。在一个实施例中，系统100包括可选的传统I/O控制器140，以用于将传统(例如，个人系统2(PS/2))设备耦合到系统。平台控制器集线器130还可以连接到一个或多个通用串行总线(USB)控制器142，该控制器142连接输入设备，例如键盘和鼠标143组合、相机144或其他USB输入设备。

应当理解，所示的系统100是示例性的而不是限制性的，因为还可以使用配置不同的其他类型的数据处理系统。例如，存储器控制器116和平台控制器集线器130的实例可以被集成到分立的外部图形处理器中，例如外部图形处理器118。在一个实施例中，平台控制器集线器130和/或存储器控制器116可以在一个或多个处理器102的外部。例如，系统100可以包括外部存储器控制器116和平台控制器集线器130，该外部存储器控制器116和平台控制器集线器130可以被配置为与处理器102的通信的系统芯片组内的存储器控制器集线器和外围控制器集线器。

例如，可以使用电路板(“托架(sled)”)，其上放置了诸如CPU、存储器和其他组件之类的组件，并且被设计为提高散热性能。在一些示例中，诸如处理器之类的处理组件位于托架的顶侧，而诸如DIMM之类的接近存储器(near memory)位于托架的底侧。由于此设计提供了增强的气流，因此这些组件可以以高于典型系统中的频率和功率水平操作，从而提高了性能。此外，这些托架被配置为与机架中的电源和数据通信电缆盲配合，从而增强了其快速拆卸、升级、重新安装和/或更换的能力。类似地，位于托架上的个体组件(例如，处理器、加速器、存储器和数据存储驱动器)由于它们相互之间的间距增加而被配置为易于升级。在说明性实施例中，组件另外包括硬件证明特征以证明其真实性。

数据中心可以利用支持多种其他网络架构(包括以太网和Omni-Path)的单个网络架构(“结构”)。托架可以经由光纤耦合到交换机，与典型的双绞线电缆(例如，类别5、类别5e、类别6等)相比，光纤提供更高的带宽和更低的延时。由于高带宽、低延时的互连和网络架构，数据中心可以在使用中池化资源，例如存储器、加速器(例如，GPU、图形加速器、FPGA、ASIC、神经网络和/或人工智能加速器，等等)以及物理解聚的数据存储驱动器，并根据需要将其提供给计算资源(例如，处理器)，从而使计算资源能够如同它们是本地的一样访问池化的资源。

供电装置或电源可以向系统100或本文所述的任何组件或系统提供电压和/或电流。在一个示例中，供电装置包括AC到DC(交流到直流)适配器，以插入壁装电源插座中。这样的AC电源可以是可再生能源(例如，太阳能)电源。在一示例中，电源包括DC电源，例如外部AC至DC转换器。在一个示例中，电源或供电装置包括无线充电硬件，以经由与充电场的接近来充电。在一个示例中，电源可以包括内部电池、交流电源、基于运动的电源、太阳能电源或燃料电池源。

图2A-2D示出了本文描述的实施例提供的计算系统和图形处理器。具有与本文任何其他附图的元素相同的附图标记(或名称)的图2A-2D的元素可以以类似于本文其他各处所描述的任何方式来操作或起作用，但不限于此。

图2A是具有一个或多个处理器核心202A-202N、集成存储器控制器214和集成图形处理器208的处理器200的实施例的框图。处理器200可以包括附加核心，直至并包括用虚线框表示的附加核心202N。处理器核心202A-202N中的每一个包括一个或多个内部高速缓存单元204A-204N。在一些实施例中，每个处理器核心还可以访问一个或多个共享高速缓存单元206。内部高速缓存单元204A-204N和共享高速缓存单元206表示处理器200内的高速缓冲存储器层次结构。高速缓冲存储器层次结构可以包括每个处理器核心内的至少一个级别的指令和数据高速缓存，以及一个或多个级别的共享中级高速缓存(例如2级(L2)、3级(L3)、4级(L4)或其他级别的高速缓存)，其中，外部存储器之前的最高级别的高速缓存被归类为LLC。在一些实施例中，高速缓存一致性逻辑维持各种高速缓存单元206和204A-204N之间的一致性。

在一些实施例中，处理器200还可以包括一组一个或多个总线控制器单元216和系统代理核心210。一个或多个总线控制器单元216管理一组外围总线，例如一个或多个PCI或PCI Express总线。系统代理核心210为各种处理器组件提供管理功能。在一些实施例中，系统代理核心210包括一个或多个集成存储器控制器214，以管理对各种外部存储器设备(未示出)的访问。

在一些实施例中，一个或多个处理器核心202A-202N包括对同时多线程的支持。在这样的实施例中，系统代理核心210包括用于在多线程处理期间协调和操作核心202A-202N的组件。系统代理核心210可以另外包括电源控制单元(PCU)，该电源控制单元包括用于调节处理器核心202A-202N和图形处理器208的电源状态的逻辑和组件。

在一些实施例中，处理器200另外包括图形处理器208以执行图形处理操作。在一些实施例中，图形处理器208与一组共享高速缓存单元206和系统代理核心210(包括一个或多个集成存储器控制器214)耦合。在一些实施例中，系统代理核心210还包括显示控制器211，以驱动图形处理器输出到一个或多个耦合的显示器。在一些实施例中，显示控制器211也可以是经由至少一个互连与图形处理器耦合的单独模块，或者可以集成在图形处理器208内。

在一些实施例中，基于环的互连单元212用于耦合处理器200的内部组件。然而，可以使用替代的互连单元，例如点对点互连、切换的互连(switched interconnect)或其他技术，包括本领域公知的技术。在一些实施例中，图形处理器208经由I/O链路213与环形互连212耦合。

示例性I/O链接213代表多种I/O互连中的至少一种，包括促进各种处理器组件与高性能嵌入式存储器模块218之间的通信的封装上I/O互连，例如eDRAM模块。在一些实施例中，处理器核心202A-202N和图形处理器208中的每一个可以使用嵌入式存储器模块218作为共享的最后一级高速缓存。

在一些实施例中，处理器核心202A-202N是执行相同指令集架构的同质核心。在另一实施例中，就指令集架构(ISA)而言，处理器核心202A-202N是异构的，其中，一个或多个处理器核心202A-202N执行第一指令集，而至少一个其他核心执行该第一指令集的子集或其他指令集。在一个实施例中，处理器核心202A-202N就微架构而言是异构的，其中，具有相对较高功耗的一个或多个核心与具有较低功耗的一个或多个功率核心耦合。在一个实施例中，处理器核心202A-202N就计算能力而言是异构的。另外，处理器200可以被实现在一个或多个芯片上，或者被实现为具有所示出的组件(附加于其他组件)的SoC集成电路。

图2B是根据本文所述的一些实施例的图形处理器核心219的硬件逻辑的框图。具有与本文任何其他附图的元素相同的附图标记(或名称)的图2B的元素可以以类似于本文其他各处所描述的任何方式来操作或起作用，但不限于此。图形处理器核心219(有时称为核心切片)可以是模块化图形处理器内的一个或多个图形核心。图形处理器核心219是一个图形核心切片的示例，并且本文所述的图形处理器可以基于目标功率和性能包络线(envelope)而包括多个图形核心切片。每个图形处理器核心219可以包括与多个子核心221A-221F(也称为子切片)耦合的固定功能块230，多个子核心包括通用和固定功能逻辑的模块化块。

在一些实施例中，固定功能块230包括几何/固定功能流水线231，其可以例如在较低性能和/或较低功率的图形处理器实施方式中由图形处理器核心219中的所有子核心共享。在各种实施例中，几何/固定功能流水线231包括3D固定功能流水线(例如，如下所述的图3和图4中的3D流水线312)、视频前端单元、线程产生器和线程分派器、以及统一返回缓冲器管理器，所述统一返回缓冲器管理统一返回缓冲器(例如，图4中的统一返回缓冲器418，如下所述)。

在一个实施例中，固定功能块230还包括图形SoC接口232、图形微控制器233和媒体流水线234。图形SoC接口232在图形处理器核心219和片上系统集成电路内的其他处理器核心之间提供接口。图形微控制器233是可编程子处理器，其可配置为管理图形处理器核心219的各种功能，包括线程分派、调度和抢占。媒体流水线234(例如，图3和图4的媒体流水线316)包括用于促进对包括图像和视频数据的多媒体数据进行解码、编码、预处理和/或后处理的逻辑。媒体流水线234经由到子核心221-221F内的计算或采样逻辑的请求来实现媒体操作。

在一个实施例中，SoC接口232使图形处理器核心219能够与通用应用处理器核心(例如，CPU)和/或SoC内的其他组件通信，包括诸如共享的最后一级高速缓冲存储器之类的存储器层次结构元素、系统RAM和/或嵌入式片上或封装上DRAM。SoC接口232还可以使得能够与SoC内的固定功能设备(例如，相机成像流水线)进行通信，并且使得能够使用和/或实现可以在图形处理器核心219和SoC内的CPU之间共享的全局存储器原子。SoC接口232还可以实现用于图形处理器核心219的电源管理控制，并且实现图形核心219的时钟域与SoC内的其他时钟域之间的接口。在一个实施例中，SoC接口232使得能够从命令流送器和全局线程分派器接收命令缓冲器，该命令流送器和全局线程分派器被配置为向图形处理器内的一个或多个图形核心中的每一个提供命令和指令。当要执行媒体操作时，可以将命令和指令分派给媒体流水线234，或者当要执行图形处理操作时，可以将其分派给几何和固定功能流水线(例如，几何和固定功能流水线231、几何和固定功能流水线237)。

图形微控制器233可以被配置为执行用于图形处理器核心219的各种调度和管理任务。在一个实施例中，图形微控制器233可以在子核心221A-221F内的执行单元(EU)阵列222A-222F、224A-224F内的各种图形并行引擎上执行图形和/或计算工作负载调度。在此调度模型中，在包括图形处理器核心219的SoC的CPU核心上执行的主机软件可以提交多个图形处理器门铃之一的工作负载，这调用适当图形引擎上的调度操作。调度操作包括确定接下来要运行哪个工作负载，将工作负载提交给命令流送器，抢占引擎上正在运行的现有工作负载，监视工作负载的进度，以及在工作负载完成时通知主机软件。在一个实施例中，图形微控制器233还可以促进图形处理器核心219的低功率或空闲状态，从而与系统上的操作系统和/或图形驱动程序软件无关地为图形处理器核心219提供跨低功率状态转换的保存和恢复图形处理器核心219内的寄存器的能力。

图形处理器核心219可以具有大于或小于所示的子核心221A-221F，多达N个模块化子核心。对于每组N个子核心，图形处理器核心219还可以包括共享功能逻辑235、共享和/或高速缓冲存储器236、几何/固定功能流水线237以及用于加速各种图形和计算处理操作的附加固定功能逻辑238。共享功能逻辑235可以包括与图4的共享功能逻辑420相关联的逻辑单元(例如，采样器、数学和/或线程间通信逻辑)，其可以被图形处理器核心219内的每N个子核心共享。共享和/或高速缓冲存储器236可以是图形处理器核心219内的一组N个子核心221A-221F的最后一级高速缓存，并且还可以用作可由多个子核心访问的共享存储器。可以在固定功能块230内包括几何/固定功能流水线237而不是几何/固定功能流水线231，并且几何/固定功能流水线237可以包括相同或相似的逻辑单元。

在一个实施例中，图形处理器核心219包括附加的固定功能逻辑238，其可以包括供图形处理器核心219使用的各种固定功能加速逻辑。在一个实施例中，附加的固定功能逻辑238包括用于在仅位置着色(in position only shading)中使用的附加的几何流水线。在仅位置着色中，存在两个几何流水线，几何/固定功能流水线238、231内的完整几何流水线以及剔除流水线，该剔除流水线是可以被包括在附加固定功能逻辑238中的附加几何流水线。在一个实施例中，剔除流水线是完整几何流水线的修剪版。完整流水线和剔除流水线可以执行相同应用的不同实例，每个实例具有单独的上下文。仅位置着色可以隐藏丢弃的三角形的长时间剔除运行，从而使着色在一些情况下能够更早完成。例如并且在一个实施例中，附加固定功能逻辑238内的剔除流水线逻辑可以与主应用并行地执行位置着色器，并且通常比完整流水线更快地生成临界结果，这是因为剔除流水线仅获取和着色顶点的位置属性，而不执行光栅化和将像素渲染到帧缓冲器。剔除流水线可以使用生成的临界结果来计算所有三角形的可见性信息，而不考虑这些三角形是否被剔除。完整的流水线(在这种情况下，它可以称为重播流水线)可以消费可见性信息，以跳过剔除的三角形，以仅对最终传递到光栅化阶段的可见三角形着色。

在一个实施例中，附加的固定功能逻辑238还可以包括机器学习加速逻辑，例如固定功能矩阵乘法逻辑，以用于包括针对机器学习训练或推理的优化的实施方式。

在每个图形子核心221A-221F内包括一组执行资源，其可以用于响应于图形流水线、媒体流水线或着色器程序的请求来执行图形、媒体和计算操作。图形子核心221A-221F包括多个EU阵列222A-222F、224A-224F、线程分派和线程间通信(TD/IC)逻辑223A-223F、3D(例如，纹理)采样器225A-225F、媒体采样器206A-206F、着色器处理器227A-227F、以及共享本地存储器(SLM)228A-228F。EU阵列222A-222F、224A-224F均包括多个执行单元，它们是能够为图形、媒体或计算操作提供服务而执行浮点和整数/定点逻辑运算的通用图形处理单元，包括图形、媒体或计算着色器程序。TD/IC逻辑223A-223F针对子核心内的执行单元执行本地线程分派和线程控制操作，并促进在子核心的执行单元上执行的线程之间的通信。3D采样器225A-225F可以将与纹理或其他3D图形相关的数据读取到存储器中。3D采样器可以基于配置的采样状态和与给定纹理关联的纹理格式不同地读取纹理数据。媒体采样器206A-206F可以基于与媒体数据相关联的类型和格式来执行类似的读取操作。在一个实施例中，每个图形子核心221A-221F可以可替代地包括统一的3D和媒体采样器。在子核心221A-221F中的每一个内的执行单元上执行的线程可以利用每个子核心内的共享本地存储器228A-228F，以使在线程组内执行的线程能够使用片上存储器的公用池来执行。

图2C图示了图形处理单元(GPU)239，其包括被布置成多核组240A-240N的专用图形处理资源集。尽管仅提供了单个多核组240A的细节，但是应当理解，其他多核组240B-240N可以配备有相同或相似的图形处理资源集。

如图所示，多核组240A可以包括一组图形核心243、一组张量核心244和一组光线追踪核心245。调度器/分派器241调度并分派图形线程以在各个核心243、244、245上执行。一组寄存器文件242存储在执行图形线程时核心243、244、245使用的操作数值。这些可以包括例如用于存储整数值的整数寄存器、用于存储浮点值的浮点寄存器、用于存储打包数据元素(整数和/或浮点数据元素)的向量寄存器、及用于存储张量/矩阵值的分片寄存器(tile register)。在一个实施例中，分片寄存器被实现为向量寄存器的组合集合。

一个或多个组合的级别1(L1)高速缓存和共享存储器单元247在每个多核组240A内本地存储图形数据，例如纹理数据、顶点数据、像素数据、光线数据、边界体积数据等。一个或多个纹理单元247也可以用于执行纹理化操作，例如纹理映射和采样。由多核组240A-240N的全部或子集共享的2级(L2)高速缓存253存储多个并发图形线程的图形数据和/或指令。如图所示，L2高速缓存253可以在多个多核组240A-240N上被共享。一个或多个存储器控制器248将GPU 239耦合到存储器249，该存储器249可以是系统存储器(例如，DRAM)和/或专用图形存储器(例如，GDDR6存储器)。

输入/输出(I/O)电路250将GPU 239耦合到一个或多个I/O设备252，例如数字信号处理器(DSP)、网络控制器或用户输入设备。片上互连可以用于将I/O设备252耦合到GPU239和存储器249。I/O电路250的一个或多个I/O存储器管理单元(IOMMU)251将I/O设备252直接耦合到系统存储器249。在一个实施例中，IOMMU 251管理多组页表以将虚拟地址映射到系统存储器249中的物理地址。在该实施例中，I/O设备252、CPU 246和GPU 239可以共享相同的虚拟地址空间。

在一种实施方式中，IOMMU 251支持虚拟化。在这种情况下，它可以管理第一组页面表以将访客/图形虚拟地址映射到访客/图形物理地址，以及管理第二组页面表以将访客/图形物理地址映射到系统/主机物理地址(例如，在系统存储器249中)。可以将第一和第二组页面表中的每一个的基地址存储在控制寄存器中，并在上下文切换时换出(例如，使得向新的上下文提供对相关组的页面表的访问)。尽管在图2C中未示出，但是核心243、244、245和/或多核组240A-240N中的每一个都可以包括转换后备缓冲器(TLB)，以缓存访客虚拟到访客物理转换、访客物理到主机物理转换和访客虚拟到主机物理转换。

在一个实施例中，CPU 246、GPU 239和I/O设备252被集成在单个半导体芯片和/或芯片封装上。所示的存储器249可以集成在相同芯片上，或者可以经由片外接口耦合到存储器控制器248。在一种实施方式中，存储器249包括GDDR6存储器，该GDDR6存储器与其他物理系统级存储器共享相同的虚拟地址空间，但本发明的基本原理不限于该特定实施方式。

在一个实施例中，张量核心244包括多个被专门设计为执行矩阵运算的执行单元，矩阵运算是用于执行深度学习运算的基本计算运算。例如，同时矩阵乘法运算可以用于神经网络训练和推理。张量核心244可以使用各种操作数精度来执行矩阵处理，包括单精度浮点数(例如，32位)、半精度浮点数(例如，16位)、整数字(16位)、字节(8位)和半字节(4位)。在一个实施例中，神经网络实施方式提取每个渲染的场景的特征，以潜在地从多个帧组合细节，以构造高质量的最终图像。

在深度学习实施方式中，可以调度并行矩阵乘法工作在张量核心244上执行。神经网络的训练尤其需要大量的矩阵点积运算。为了处理N×N×N矩阵乘法的内积公式，张量核心244可以包括至少N个点积处理元件。在矩阵乘法开始之前，将一个完整的矩阵加载到分片寄存器中，并在N个周期内每个周期加载至少一列第二矩阵。每个周期有N个点积被处理。

取决于特定实施方式，可以以不同的精度存储矩阵元素，包括16位字、8位字节(例如，INT8)和4位半字节(例如，INT4)。可以为张量核心244指定不同的精度模式，以确保将最高效的精度用于不同的工作负载(例如，可以将量化容忍到字节和半字节的推理工作负载)。

在一个实施例中，对于实时光线追踪实施方式和非实时光线追踪实施方式二者，光线追踪核心245加速光线追踪操作。特别地，光线追踪核心245包括光线遍历/相交电路(ray traversal/intersection circuitry)，以用于使用边界体积层次结构(BVH)来执行光线遍历并识别光线与包围在BVH体积内的图元之间的相交。光线追踪核心245还可以包括用于执行深度测试和剔除(例如，使用Z缓冲器或类似布置)的电路。在一种实施方式中，光线追踪核心245与本文所述的图像降噪技术一致地执行遍历和相交操作，其至少一部分可以在张量核心244上执行。例如，在一个实施例中，张量核心244实现深度学习神经网络以对由光线追踪核心245生成的帧执行降噪。但是，CPU 246、图形核心243和/或光线追踪核心245也可以实现降噪和/或深度学习算法的全部或部分。

另外，如上所述，可以采用分布式方法来降噪，其中，GPU 239在通过网络或高速互连耦合到其他计算设备的计算设备中。在该实施例中，互连的计算设备共享神经网络学习/训练数据，以提高整个系统学习针对不同类型的图像帧和/或不同图形应用执行降噪的速度。

在一个实施例中，光线追踪核心245处理所有的BVH遍历和光线图元相交，从而避免了图形核心243被每条光线数千条指令所过载。在一个实施例中，每个光线追踪核心245包括用于执行边界框测试(例如，用于遍历操作)的第一组专用电路和用于执行光线-三角形相交测试(例如，已经被遍历的相交光线)的第二组专用电路。因此，在一个实施例中，多核组240A可以简单地发射光线探测器(ray probe)，并且光线追踪核心245独立地执行光线遍历和相交并返回命中数据(例如，命中、无命中、多次命中等)到线程上下文。在光线追踪核心245执行遍历和相交操作的同时，其他核心243、244被释放以执行其他图形或计算工作。

在一个实施例中，每个光线追踪核心245包括用于执行BVH测试操作的遍历单元和执行光线图元相交测试的相交单元。相交单元生成“命中”、“无命中”或“多次命中”响应，相交单元将其提供给相应的线程。在遍历和相交操作期间，释放其他核心(例如，图形核心243和张量核心244)的执行资源以执行其他形式的图形工作。

在下面描述的一个特定实施例中，使用混合光栅化/光线追踪方法，其中，工作分布在图形核心243和光线追踪核心245之间。

在一个实施例中，光线追踪核心245(和/或其他核心243、244)包括对光线追踪指令集的硬件支持，例如微软的DirectX光线追踪(DXR)，其包括DispatchRays命令以及光线生成、最接近命中、任何命中和未命中着色器，其为每个对象指派独特的一组着色器和纹理。可以由光线追踪核心245、图形核心243和张量核心244支持的另一个光线追踪平台是Vulkan1.1.85。然而，请注意，本发明的基本原理不限于任何特定的光线追踪ISA。

通常，各种核心245、244、243可以支持光线追踪指令集，该光线追踪指令集包括用于光线生成、最接近命中、任何命中、光线图元相交、每图元和层级边界框构造、未命中、访问和例外的指令/功能。更具体地，一个实施例包括用于执行以下功能的光线追踪指令：

光线生成–可以为每个像素、样本或其他用户定义的工作指派执行光线生成指令。

最接近命中–可以执行最接近命中指令以定位光线与场景内图元的最接近的交点。

任何命中–任何命中指令标识光线与场景内的图元之间的多个相交，从而潜在地标识新的最接近的交点。

相交–相交指令执行光线图元相交测试并输出结果。

每图元和边界框构造–该指令围绕给定的图元或一组图元构建边界框(例如，在构建新的BVH或其他加速度数据结构时)。

未命中–指示光线未命中场景或场景指定区域内的所有几何形状。

访问–指示光线将穿过的子体积。

异常–包括各种类型的异常处理程序(例如，针对各种错误条件调用的)。

图2D是根据本文描述的实施例的可以被配置为图形处理器和/或计算加速器的通用图形处理单元(GPGPU)270的框图。GPGPU 270可以经由一个或多个系统和/或存储器总线与主机处理器(例如，一个或多个CPU 246)和存储器271、272互连。在一个实施例中，存储器271是可以与一个或多个CPU 246共享的系统存储器，而存储器272是专用于GPGPU 270的设备存储器。在一个实施例中，GPGPU 270内的组件和设备存储器272可以被映射到一个或多个CPU 246可访问的存储器地址中。可以经由存储器控制器268促进对存储器271和272的访问。在一个实施例中，存储器控制器268包括内部直接存储器访问(DMA)控制器269或可以包括用于执行否则将由DMA控制器执行的操作的逻辑。

GPGPU 270包括多个高速缓冲存储器，包括L2高速缓存253、L1高速缓存254、指令高速缓存255和共享存储器256，它们中的至少一部分也可以被划分为高速缓冲存储器。GPGPU 270还包括多个计算单元260A-260N。每个计算单元260A-260N包括一组向量寄存器261、标量寄存器262、向量逻辑单元263和标量逻辑单元264。计算单元260A-260N还可以包括本地共享存储器265和程序计数器266。计算单元260A-260N可以与恒定高速缓存267耦合，恒定高速缓存267可以用于存储恒定数据，该恒定数据是在GPGPU 270上执行的内核或着色器程序的运行期间不会改变的数据。在一个实施例中，恒定高速缓存267是标量数据高速缓存，并且可以将缓存的数据直接提取到标量寄存器262中。

在操作期间，一个或多个CPU 246可以将命令写入已映射到可访问地址空间中的GPGPU 270中的寄存器或存储器中。命令处理器257可以从寄存器或存储器读取命令，并确定将如何在GPGPU 270内处理这些命令。然后可以使用线程分派器258将线程分派给计算单元260A-260N以执行那些命令。每个计算单元260A-260N可以独立于其他计算单元执行线程。另外，每个计算单元260A-260N可以被独立地配置用于条件计算，并且可以将计算结果有条件地输出到存储器。当提交的命令完成时，命令处理器257可以中断一个或多个CPU246。

图3A-3C示出了由本文描述的实施例提供的附加图形处理器和计算加速器架构的框图。具有与本文任何其他附图的元素相同的附图标记(或名称)的图3A-3C的元素可以以类似于本文其他各处所描述的任何方式来操作或起作用，但不限于此。

图3A是图形处理器300的框图，该图形处理器300可以是分立的图形处理单元，或者可以是与多个处理核心或其他半导体器件(例如但不限于存储设备或网络接口)集成在一起的图形处理器。在一些实施例中，图形处理器经由存储器映射的I/O接口与图形处理器上的寄存器以及放置到处理器存储器中的命令进行通信。在一些实施例中，图形处理器300包括用于访问存储器的存储器接口314。存储器接口314可以是到本地存储器、一个或多个内部高速缓存、一个或多个共享的外部高速缓存和/或系统存储器的接口。

在一些实施例中，图形处理器300还包括显示控制器302，以将显示输出数据驱动到显示设备318。显示控制器302包括用于一个或多个覆盖平面的硬件，以用于显示和合成多层视频或用户界面元素。显示设备318可以是内部或外部显示设备。在一个实施例中，显示设备318是头戴式显示设备，例如虚拟现实(VR)显示设备或增强现实(AR)显示设备。在一些实施例中，图形处理器300包括视频编解码器引擎306，以将媒体编码成一种或多种媒体编码格式、从一种或多种媒体编码格式解码、或者在一种或多种媒体编码格式之间进行转码，一种或多种媒体编码格式包括但不限于运动图像专家组(MPEG)格式(例如，MPEG-2)、高级视频编码(AVC)格式(例如，H.264/MPEG-4AVC)、H.265/HEVC、开放媒体联盟(AOMedia)VP8、VP9、以及电影电视工程师协会(SMPTE)421M/VC-1、以及联合图像专家组(JPEG)格式(例如，JPEG以及Motion JPEG(MJPEG)格式)。

在一些实施例中，图形处理器300包括块图像传送(BLIT)引擎304，以执行包括例如位边界块传送的二维(2D)光栅化器操作。然而，在一个实施例中，使用图形处理引擎(GPE)310的一个或多个组件来执行2D图形操作。在一些实施例中，GPE 310是用于执行图形操作的计算引擎，包括三维(3D)图形操作和媒体操作。

在一些实施例中，GPE 310包括用于执行3D操作的3D流水线312，例如使用作用于3D图元形状(例如，矩形、三角形等)的处理功能来渲染三维图像和场景。3D流水线312包括可编程和固定功能元件，其在元件内执行各种任务和/或产生到3D/媒体子系统315的执行线程。尽管3D流水线312可以用于执行媒体操作，但是GPE 310的实施例还包括媒体流水线316，其专门用于执行媒体操作，例如视频后处理和图像增强。

在一些实施例中，媒体流水线316包括固定功能或可编程逻辑单元，以执行一个或多个专门的媒体操作，例如代替或代表视频编解码器引擎306的视频解码加速、视频解交织和视频编码加速。在一些实施例中，媒体流水线316还包括线程产生单元，以产生线程以在3D/媒体子系统315上执行。产生的线程对3D/媒体子系统315中包括的一个或多个图形执行单元执行媒体操作的计算。

在一些实施例中，3D/媒体子系统315包括用于执行由3D流水线312和媒体流水线316产生的线程的逻辑。在一个实施例中，流水线将线程执行请求发送到3D/媒体子系统315，其包括用于仲裁各种请求并将其分派给可用的线程执行资源的线程分派逻辑。执行资源包括图形执行单元的阵列，以用于处理3D和媒体线程。在一些实施例中，3D/媒体子系统315包括一个或多个用于线程指令和数据的内部高速缓存。在一些实施例中，子系统还包括共享存储器，包括寄存器和可寻址存储器，以用于在线程之间共享数据并存储输出数据。

图3B示出了根据本文所述实施例的具有分片是架构的图形处理器320。在一个实施例中，图形处理器320包括图形处理引擎集群322，其在图形引擎分片310A-310D内具有图3A的图形处理引擎310的多个实例。每个图形引擎分片310A-310D可以经由一组分片互连323A-323F而互连。每个图形引擎分片310A-310D还可以经由存储器互连325A-325D连接到存储器模块或存储器设备326A-326D。存储器设备326A-326D可以使用任何图形存储技术。例如，存储器设备326A-326D可以是图形双倍数据速率(GDDR)存储器。在一个实施例中，存储器设备326A-326D是高带宽存储器(HBM)模块，其可以与它们相应的图形引擎分片310A-310D一起在管芯上。在一个实施例中，存储器设备326A-326D是可以被堆叠在它们相应的图形引擎分片310A-310D之上的堆叠的存储器设备。在一个实施例中，每个图形引擎分片310A-310D和相关联的存储器326A-326D驻留在单独的小芯片上，这些小芯片结合到基础管芯或基础衬底，如在图11B-11D中进一步详细描述的。

图形处理引擎群集322可以与片上或封装上结构互连324连接。结构互连324可以使得图形引擎分片310A-310D与诸如视频编解码器306和一个或多个复制引擎304之类的组件之间能够通信。复制引擎304可以用于将数据移出、移入存储器设备326A-326D和图形处理器320外部的存储器(例如，系统存储器)，以及在它们之间移动数据。结构互连324也可以用于互连图形引擎分片310A-310D。图形处理器320可以可选地包括显示控制器302，以实现与外部显示设备318的连接。图形处理器也可以被配置为图形或计算加速器。在加速器配置中，可以省略显示控制器302和显示设备318。

图形处理器320可以经由主机接口328连接到主机系统。主机接口328可以实现图形处理器320、系统存储器和/或其他系统组件之间的通信。主机接口328可以是例如PCIExpress总线或另一类型的主机系统接口。

图3C示出了根据本文描述的实施例的计算加速器330。计算加速器330可以包括与图3B的图形处理器320的架构相似性，并且针对计算加速进行了优化。计算引擎集群332可以包括一组计算引擎分片340A-340D，其包括针对并行或基于向量的通用计算操作优化的执行逻辑。在一些实施例中，计算引擎分片340A-340D不包括固定功能图形处理逻辑，但在一个实施例中，计算引擎分片340A-340D中的一个或多个可以包括用于执行媒体加速的逻辑。计算引擎分片340A-340D可以经由存储器互连325A-325D连接到存储器326A-326D。存储器326A-326D和存储器互连325A-325D可以是与图形处理器320中类似的技术，或者可以是不同的。图形计算引擎分片340A-340D还可以经由一组块互连323A-323F而互连，并且可以与结构互连324连接和/或互连。在一个实施例中，计算加速器330包括大的L3高速缓存336，其可以配置为设备范围的高速缓存。计算加速器330还可以经由主机接口328以与图3B的图形处理器320类似的方式连接到主机处理器和存储器。

图形处理引擎

图4是根据一些实施例的图形处理器的图形处理引擎410的框图。在一个实施例中，图形处理引擎(GPE)410是图3A所示的GPE 310的版本，并且还可以表示图3B的图形引擎分片310A-310D。具有与本文任何其他附图的元素相同的附图标记(或名称)的图4的元素可以以类似于本文其他各处所描述的任何方式来操作或起作用，但不限于此。例如，示出了图3A的3D流水线312和媒体流水线316。媒体流水线316在GPE 410的一些实施例中是可选的，并且可以不显式地包括在GPE 410内。例如并且在至少一个实施例中，单独的媒体和/或图像处理器耦合到GPE 410。

在一些实施例中，GPE 410与命令流送器403耦合或包括命令流送器403，该命令流送器403向3D流水线312和/或媒体流水线316提供命令流。在一些实施例中，命令流送器403与存储器耦合，该存储器可以是系统存储器，或内部高速缓存和共享高速缓存中的一个或多个。在一些实施例中，命令流送器403从存储器接收命令，并将命令发送到3D流水线312和/或媒体流水线316。命令是从环形缓冲器获取的指令，该环形缓冲器存储用于3D流水线312和媒体流水线316的命令。在一个实施例中，环形缓冲器可以另外包括批处理命令缓冲器，其存储多个命令的批次。用于3D流水线312的命令还可以包括对存储在存储器中的数据的引用，例如但不限于用于3D流水线312的顶点和几何数据和/或用于媒体流水线316的图像数据和存储器对象。3D流水线312和媒体流水线316通过经由相应流水线内的逻辑执行操作或通过将一个或多个执行线程分派到图形核心阵列414，来处理命令和数据。在一个实施例中，图形核心阵列414包括一个或多个图形核心块(例如，图形核心415A、图形核心415B)，每个块包括一个或多个图形核心。每个图形核心包括一组图形执行资源，这些资源包括用于执行图形和计算操作的通用和图形特定的执行逻辑，以及固定功能纹理处理和/或机器学习以及人工智能加速逻辑。

在各个实施例中，3D流水线312可以包括固定功能和可编程逻辑，以通过处理指令并向图形核心阵列414分派执行线程来处理诸如阴影着色器、几何着色器、像素着色器、片段着色器、计算着色器或其他着色器程序之类的一个或多个着色器程序。图形核心阵列414提供执行资源的统一块，以用于处理这些着色器程序。图形核心阵列414的图形核心415A-414B内的多用途执行逻辑(例如，执行单元)包括对各种3D API着色器语言的支持，并且可以执行与多个着色器相关联的多个同时执行线程。

在一些实施例中，图形核心阵列414包括用于执行媒体功能(例如，视频和/或图像处理)的执行逻辑。在一个实施例中，执行单元包括可编程以执行并行通用计算操作(附加于图形处理操作)的通用逻辑。通用逻辑可以在图1的处理器核心107或如图2A所示的核心202A-202N内并行或结合通用逻辑执行处理操作。

由在图形核心阵列414上执行的线程生成的输出数据可以将数据输出到统一返回缓冲器(URB)418中的存储器。URB 418可以存储用于多个线程的数据。在一些实施例中，URB418可以用于在图形核心阵列414上执行的不同线程之间发送数据。在一些实施例中，URB418可以另外用于图形核心阵列上的线程与共享功能逻辑420内的固定功能逻辑之间的同步。

在一些实施例中，图形核心阵列414是可缩放的，使得该阵列包括可变数量的图形核心，每个图形核心基于GPE 410的目标功率和性能水平而具有可变数量的执行单元。在一个实施例中，执行资源是动态可缩放的，使得可以根据需要启用或禁用执行资源。

图形核心阵列414与共享功能逻辑420耦合，该共享功能逻辑420包括在图形核心阵列中的图形核心之间共享的多个资源。共享功能逻辑420内的共享功能是向图形核心阵列414提供专门的补充功能的硬件逻辑单元。在各个实施例中，共享功能逻辑420包括但不限于采样器421、数学422和线程间通信(ITC)423逻辑。另外，一些实施例在共享功能逻辑420内实现一个或多个高速缓存425。

至少在对给定专用功能的需求不足以将其包括在图形核心阵列414内的情况下，实现共享功能。相反，将该专用功能的单个实例化实现为共享功能逻辑420中的独立的实体并且在图形核心阵列414内的执行资源之间共享。在图形核心阵列414之间共享并被包括在图形核心阵列414内的精确功能集因实施例而异。在一些实施例中，由图形核心阵列414广泛使用的共享功能逻辑420内的特定共享功能可以被包括在图形核心阵列414内的共享功能逻辑416内。在各个实施例中，图形核心阵列414内的共享功能逻辑416可以包括共享功能逻辑420内的一些或全部逻辑。在一个实施例中，共享功能逻辑420内的所有逻辑元件可以在图形核心阵列414的共享功能逻辑416内被复制。在一个实施例中，共享功能逻辑420被排除在外，从而有利于图形核心阵列414内的共享功能逻辑416。

执行单元

图5A-5B图示了根据本文描述的实施例的线程执行逻辑500，其包括在图形处理器核心中采用的处理元件的阵列。具有与本文任何其他附图的元素相同的附图标记(或名称)的图5A-5B的元素可以以类似于本文其他各处所描述的任何方式来操作或起作用，但不限于此。图5A-5B示出了线程执行逻辑500的概观，其可以表示用图2B的每个子核心221A-221F示出的硬件逻辑。图5A表示通用图形处理器内的执行单元，而图5B表示可以在计算加速器内使用的执行单元。

如图5A所示，在一些实施例中，线程执行逻辑500包括着色器处理器502、线程分派器504、指令高速缓存506、包括多个执行单元508A-508N的可缩放执行单元阵列、采样器510、共享本地存储器511、数据高速缓存512和数据端口514。在一个实施例中，可缩放执行单元阵列可以通过基于工作负载的计算需求启用或禁用一个或多个执行单元(例如，执行单元508A、508B、508C、508D、到508N-1和508N中的任何一个)来动态扩展。在一个实施例中，所包括的组件经由互连结构互连，该互连结构链接到每个组件。在一些实施例中，线程执行逻辑500包括通过指令高速缓存506、数据端口514、采样器510和执行单元508A-508N中的一个或多个与存储器(例如，系统存储器或高速缓冲存储器)的一个或多个连接。在一些实施例中，每个执行单元(例如，508A)是独立的可编程通用计算单元，其能够执行多个同时的硬件线程，同时针对每个线程并行处理多个数据元素。在各个实施例中，执行单元508A-508N的阵列可缩放以包括任何数量的个体执行单元。

在一些实施例中，执行单元508A-508N主要用于执行着色器程序。着色器处理器502可以处理各种着色器程序，并经由线程分派器504来分派与着色器程序相关联的执行线程。在一个实施例中，线程分派器包括逻辑，其用于仲裁来自图形和媒体流水线的线程发起请求并实例化执行单元508A-508N中的一个或多个执行单元上的所请求的线程。例如，几何流水线可以将顶点、细分(tessellation)或几何着色器分派到线程执行逻辑以进行处理。在一些实施例中，线程分派器504还可以处理来自正在执行的着色器程序的运行时线程产生请求。

在一些实施例中，执行单元508A-508N支持指令集，该指令集包括对许多标准3D图形着色器指令的本机支持，使得来自图形库的着色器程序(例如，Direct 3D和OpenGL)以最小的翻译被执行。执行单元支持顶点和几何处理(例如，顶点程序、几何程序、顶点着色器)、像素处理(例如，像素着色器、片段着色器)和通用处理(例如，计算和媒体着色器)。执行单元508A-508N中的每一个都能够进行多发出单指令多数据(SIMD)执行，并且面对较高延时的存储器访问，多线程操作实现高效的执行环境。每个执行单元内的每个硬件线程都有专用的高带宽寄存器文件和相关联的独立线程状态。执行是每个时钟多次发出到流水线，该流水线能够进行整数、单精度和双精度浮点运算、SIMD分支能力、逻辑运算、先验运算和其他杂项运算。在等待来自共享功能之一或存储器的数据时，执行单元508A-508N内的依赖性逻辑使等待线程休眠直到返回了所请求的数据。在等待线程处于休眠状态的同时，硬件资源可以专用于处理其他线程。例如，在与顶点着色器操作相关联的延迟期间，执行单元可以对像素着色器、片段着色器或另一类型的着色器程序(包括不同的顶点着色器)执行操作。各种实施例可以通过使用单指令多线程(SIMT)来代替SIMD的使用或作为SIMD的使用的附加而应用于执行。对SIMD核心或操作的引用也可以应用于SIMT或与SIMT组合应用于SIMD。

执行单元508A-508N中的每个执行单元对数据元素的阵列进行操作。数据元素的数量是“执行大小”或指令的通道数量。执行通道是用于指令内数据元素访问、掩蔽和流控制的执行的逻辑单元。通道的数量可以独立于特定图形处理器的物理算术逻辑单元(ALU)或浮点单元(FPU)的数量。在一些实施例中，执行单元508A-508N支持整数和浮点数据类型。

执行单元指令集包括SIMD指令。可以将各种数据元素作为打包数据类型存储在寄存器中，并且执行单元将基于元素的数据大小来处理各种元素。例如，当对256位宽的向量操作时，该向量的256位被存储在寄存器中，并且执行单元将该向量作为四个单独的54位打包数据元素(四字(QW)大小数据元素)、八个单独的32位打包数据元素(双字(DW)大小数据元素)、十六个单独的16位打包数据元素(字(W)大小数据元素)或32个单独的8位数据元素(字节(B)大小数据元素)对其进行操作。但是，不同的向量宽度和寄存器大小是可能的。

在一个实施例中，可以将一个或多个执行单元组合成融合的执行单元509A-509N，其具有对融合的EU公共的线程控制逻辑(507A-507N)。可以将多个EU融合为EU组。可以将融合的EU组中的每个EU配置为执行单独的SIMD硬件线程。融合的EU组中的EU的数量可以根据实施例而变化。此外，每EU可以执行各种SIMD宽度，包括但不限于SIMD8、SIMD16和SIMD32。每个融合的图形执行单元509A-509N包括至少两个执行单元。例如，融合的执行单元509A包括第一EU 508A、第二EU 508B以及对于第一EU 508A和第二EU 508B公共的线程控制逻辑507A。线程控制逻辑507A控制在融合的图形执行单元509A上执行的线程，从而允许融合的执行单元509A-509N内的每个EU使用公共指令指针寄存器来执行。

线程执行逻辑500中包括一个或多个内部指令高速缓存(例如，506)，以缓存用于执行单元的线程指令。在一些实施例中，包括一个或多个数据高速缓存(例如，512)以在线程执行期间缓存线程数据。在执行逻辑500上执行的线程也可以将显式管理的数据存储在共享本地存储器511中。在一些实施例中，包括采样器510以提供用于3D操作的纹理采样和用于媒体操作的媒体采样。在一些实施例中，采样器510包括专门的纹理或媒体采样功能，以在将采样数据提供给执行单元之前在采样过程期间处理纹理或媒体数据。

在执行期间，图形和媒体流水线经由线程产生和分派逻辑将线程发起请求发送到线程执行逻辑500。一旦一组几何对象已被处理并光栅化成像素数据，则调用着色器处理器502内的像素处理器逻辑(例如，像素着色器逻辑、片段着色器逻辑等)以进一步计算输出信息并使结果被写入到输出表面(例如，颜色缓冲器、深度缓冲器、模板缓冲器等)。在一些实施例中，像素着色器或片段着色器计算将跨光栅化对象插值的各种顶点属性的值。在一些实施例中，着色器处理器502内的像素处理器逻辑然后执行应用编程接口(API)提供的像素或片段着色器程序。为了执行着色器程序，着色器处理器502经由线程分派器504将线程分派给执行单元(例如，508A)。在一些实施例中，着色器处理器502使用采样器510中的纹理采样逻辑来访问存储在存储器中的纹理映射中的纹理数据。对纹理数据和输入几何数据的算术运算为每个几何片段计算像素颜色数据，或丢弃一个或多个像素而不进一步处理。

在一些实施例中，数据端口514提供了用于线程执行逻辑500的存储器访问机制，以将处理后的数据输出到存储器以在图形处理器输出流水线上进行进一步处理。在一些实施例中，数据端口514包括或耦合到一个或多个高速缓冲存储器(例如，数据高速缓存512)，以缓存数据以用于经由数据端口的存储器访问。

在一个实施例中，执行逻辑500还可以包括可以提供光线追踪加速功能的光线追踪器505。光线追踪器505可以支持包括用于光线生成的指令/功能的光线追踪指令集。光线追踪指令集可以与图2C中的光线追踪核心245所支持的光线追踪指令集相似或不同。

图5B示出了根据实施例的执行单元508的示例性内部细节。图形执行单元508可以包括指令获取单元537、通用寄存器文件阵列(GRF)524、架构寄存器文件阵列(ARF)526、线程仲裁器522、发送单元530、分支单元532、一组SIMD浮点单元(FPU)534，以及在一个实施例中，包括一组专用整数SIMD ALU 535。GRF 524和ARF 526包括与可以在图形执行单元508中活动的每个同时硬件线程相关联的架构寄存器文件和一组通用寄存器文件。在一个实施例中，在ARF 526中维护每个线程的架构状态，而在GRF 524中存储在线程执行期间使用的数据。每个线程的执行状态(包括每个线程的指令指针)可以被保存在ARF 526中的线程特定寄存器中。

在一个实施例中，图形执行单元508具有作为同时多线程(SMT)和细粒度交错多线程(IMT)的组合的架构。该架构具有模块化配置，可以在设计时基于同时线程的目标数量和每个执行单元的寄存器数量对该模块化配置进行微调，其中，执行单元资源跨用于执行多个同时线程的逻辑被划分。图形执行单元508可以执行的逻辑线程的数量不限于硬件线程的数量，并且可以将多个逻辑线程指派给每个硬件线程。

在一个实施例中，图形执行单元508可以共同发出多个指令，多个指令均可以是不同的指令。图形执行单元线程508的线程仲裁器522可以将指令分派到发送单元530、分支单元532或SIMD FPU 534之一以进行执行。每个执行线程可以访问GRF 524内的128个通用寄存器，其中，每个寄存器可以存储32个字节，其可以作为32位数据元素的SIMD 8元素向量进行访问。在一个实施例中，每个执行单元线程可以访问GRF 524内的4KB，但实施例不限于此，并且在其他实施例中可以提供更多或更少的寄存器资源。在一个实施例中，图形执行单元508被划分为七个硬件线程，它们可以独立地执行计算操作，但每个执行单元的线程数量也可以根据实施例而变化。例如，在一个实施例中，最多支持16个硬件线程。在七个线程可以访问4KB的实施例中，GRF 524可以存储总共28KB。在16个线程可以访问4KB的情况下，GRF524可以存储总共64KB。灵活的寻址模式可以允许将寄存器被一起寻址，以有效地构建更宽的寄存器或表示跨步矩形块数据结构。

在一个实施例中，经由由消息传递发送单元530执行的“发送”指令来分派存储器操作、采样器操作以及其他更长延时的系统通信。在一个实施例中，将分支指令分派到专用分支单元532以促进SIMD发散和最终收敛。

在一个实施例中，图形执行单元508包括一个或多个SIMD浮点单元(FPU)534以执行浮点操作。在一个实施例中，FPU 534也支持整数计算。在一个实施例中，FPU 534可以SIMD执行多达M个32位浮点(或整数)运算，或者SIMD执行多达2M个16位整数或16位浮点运算。在一个实施例中，FPU中的至少一个提供扩展的数学能力以支持高吞吐量的先验数学函数和双精度54位浮点。在一些实施例中，还存在一组8位整数SIMD ALU535，并且可以被专门优化以执行与机器学习计算相关联的操作。

在一个实施例中，可以在图形子核心分组(例如，子切片)中实例化图形执行单元508的多个实例的阵列。为了可缩放性，产品架构师可以为每个子核心分组选择确切数量的执行单元。在一个实施例中，执行单元508可跨多个执行通道执行指令。在另外的实施例中，在图形执行单元508上执行的每个线程在不同的通道上被执行。

图6示出了根据实施例的附加执行单元600。执行单元600可以是用于例如图3C中的计算引擎分片340A-340D中的计算优化的执行单元，但不限于此。执行单元600的变体也可以用在图形引擎分片310A-310D中，如图3B所示。在一个实施例中，执行单元600包括线程控制单元601、线程状态单元602、指令获取/预取单元603和指令解码单元604。执行单元600还包括寄存器文件606，该寄存器文件606存储可以被指派给执行单元内的硬件线程的寄存器。执行单元600还包括发送单元607和分支单元608。在一个实施例中，发送单元607和分支单元608可以与图5B的图形执行单元508的发送单元530和分支单元532类似地操作。

执行单元600还包括计算单元610，其包括多种不同类型的功能单元。在一个实施例中，计算单元610包括ALU单元611，其包括算术逻辑单元的阵列。ALU单元611可以被配置为执行64位、32位和16位的整数和浮点运算。整数和浮点运算可以同时执行。计算单元610还可以包括脉动阵列612和数学单元613。脉动阵列612包括可用于以脉动方式执行向量或其他数据并行操作的数据处理单元的W宽和D深的网络。在一个实施例中，脉动阵列612可以被配置成执行矩阵运算，例如矩阵点积运算。在一个实施例中，脉动阵列612支持16位浮点运算以及8位和4位整数运算。在一个实施例中，脉动阵列612可以被配置为加速机器学习操作。在这样的实施例中，脉动阵列612可以被配置为支持浮点16位浮点格式。在一个实施例中，可以包括数学单元613，以高效并且与ALU单元611相比较低功率的方式执行数学运算的特定子集。数学单元613可以包括可以在其他实施例提供的图形处理引擎的共享功能逻辑中找到的数学逻辑的变体(例如，图4的共享功能逻辑420的数学逻辑422)。在一个实施例中，数学单元613可以被配置为执行32位和64位浮点运算。

线程控制单元601包括用于控制执行单元内的线程的执行的逻辑。线程控制单元601可以包括线程仲裁逻辑，以开始、停止和抢占单元600内的线程的执行。线程状态单元602可以用于存储被指派给在执行单元600上执行的线程的线程状态。存储执行单元600内的线程状态使得能够当那些线程变得阻塞或空闲时快速抢占线程。指令获取/预取单元603可以从更高级别的执行逻辑的指令高速缓存(例如，如图5A中的指令高速缓存506)获取指令。指令获取/预取单元603还可以基于对当前执行的线程的分析，来发出对要加载到指令高速缓存中的指令的预取请求。指令解码单元604可以用于解码要由计算单元执行的指令。在一个实施例中，指令解码单元604可以用作辅助解码器，以将复杂的指令解码为组分微操作。

执行单元600还包括可以由在执行单元600上执行的硬件线程使用的寄存器文件606。寄存器文件606中的寄存器可以跨用于执行执行单元600的计算单元610内的多个同时线程的逻辑被划分。图形执行单元600可以执行的逻辑线程的数量不限于硬件线程的数量，并且可以将多个逻辑线程指派给每个硬件线程。寄存器文件606的大小可以基于支持的硬件线程的数量而因实施例而异。在一个实施例中，寄存器重命名可以用于动态地将寄存器分配给硬件线程。

图7是示出根据一些实施例的图形处理器指令格式700的框图。在一个或多个实施例中，图形处理器执行单元支持具有多种格式指令的指令集。实线框示出了通常被包括在执行单元指令中的组件，而虚线包括可选的组件或仅被包括在指令的子集中的组件。在一些实施例中，所描述和示出的指令格式700是宏指令，这是因为它们是提供给执行单元的指令，与一旦指令被处理就由指令解码产生的微操作相对。

在一些实施例中，图形处理器执行单元本机地支持128位指令格式710的指令。基于所选择的指令、指令选项和操作数的数量，对于一些指令64位紧凑指令格式730是可用的。本机128位指令格式710提供对所有指令选项的访问，而一些选项和操作则受64位格式730的限制。64位格式730中可用的本机指令因实施例而异。在一些实施例中，使用索引字段713中的一组索引值来部分紧凑指令。执行单元硬件基于索引值来引用一组紧凑表，并使用紧凑表输出来重构128位指令格式710的本机指令。可以使用其他大小和指令格式。

对于每种格式，指令操作码712定义执行单元将要执行的操作。执行单元跨每个操作数的多个数据元素并行执行每个指令。例如，响应于添加指令，执行单元跨表示纹理元素或图片元素的每个颜色通道执行同时添加操作。默认情况下，执行单元跨操作数的所有数据通道执行每个指令。在一些实施例中，指令控制字段714使得能够对某些执行选项进行控制，例如通道选择(例如，预测)和数据通道顺序(例如，拌和(swizzle))。对于128位指令格式710的指令，执行大小字段716限制将并行执行的数据通道的数量。在一些实施例中，执行大小字段716不可用于64位紧凑指令格式730。

一些执行单元指令具有多达三个操作数，包括两个源操作数src0 720、src1 722和一个目的地718。在一些实施例中，执行单元支持双目的地指令，其中目的地之一被暗指。数据操纵指令可以具有第三源操作数(例如，SRC2724)，其中，指令操作码712确定源操作数的数量。指令的最后一个源操作数可以是随指令传递的立即数(例如，硬编码的)。

在一些实施例中，128位指令格式710包括访问/地址模式字段726，其指定例如使用直接寄存器寻址模式还是间接寄存器寻址模式。当使用直接寄存器寻址模式时，一个或多个操作数的寄存器地址直接由指令中的位提供。

在一些实施例中，128位指令格式710包括访问/地址模式字段726，其指定指令的地址模式和/或访问模式。在一个实施例中，访问模式用于为指令定义数据访问对齐。一些实施例支持访问模式，包括16字节对齐的访问模式和1字节对齐的访问模式，其中，访问模式的字节对齐确定指令操作数的访问对齐。例如，当处于第一模式时，指令可以将字节对齐的寻址用于源和目的地操作数，而当处于第二模式时，指令可以将16字节对齐的寻址用于所有源和目的地操作数。

在一个实施例中，访问/地址模式字段726的地址模式部分确定指令将使用直接寻址还是间接寻址。当使用直接寄存器寻址模式时，指令中的位直接提供一个或多个操作数的寄存器地址。当使用间接寄存器寻址模式时，可以基于指令中的地址寄存器值和地址立即数字段来计算一个或多个操作数的寄存器地址。

在一些实施例中，基于操作码712位字段对指令进行分组，以简化操作码解码740。对于8位操作码，位4、5和6允许执行单元确定操作码的类型。所示的精确操作码分组仅是示例。在一些实施例中，移动和逻辑操作码组742包括数据移动和逻辑指令(例如，移动(mov)、比较(cmp))。在一些实施例中，移动和逻辑组742共享五个最高有效位(MSB)，其中，移动(mov)指令的形式为0000xxxxb，而逻辑指令的形式为0001xxxxb。流控制指令组744(例如，调用、跳转(jmp))包括0010xxxxb(例如，0x20)形式的指令。杂项指令组746包括指令的混合，包括形式为0011xxxxb(例如，0x30)的同步指令(例如，等待、发送)。并行数学指令组748包括形式为0100xxxxb(例如，0x40)的逐分量的算术指令(例如，加、乘(mul))。并行数学组748跨数据通道并行执行算术运算。向量数学组750包括形式为0101xxxxb(例如，0x50)的算术指令(例如，dp4)。向量数学组对向量操作数执行算术运算，例如点积计算。在一个实施例中，所示的操作码解码740可以用于确定将使用执行单元的哪一部分来执行解码的指令。例如，一些指令可以被指定为将由脉动阵列执行的脉动指令。诸如光线追踪指令(未示出)之类的其他指令可以被路由到执行逻辑的切片或分区内的光线追踪核心或光线追踪逻辑。

图形流水线

图8是图形处理器800的另一实施例的框图。具有与本文任何其他附图的元素相同的附图标记(或名称)的图8的元素可以以类似于本文其他各处所描述的任何方式来操作或起作用，但不限于此。

在一些实施例中，图形处理器800包括几何流水线820、媒体流水线830、显示引擎840、线程执行逻辑850和渲染输出流水线870。在一些实施例中，图形处理器800是多核处理系统内的图形处理器，多核处理系统包括一个或多个通用处理核心。通过对一个或多个控制寄存器(未示出)的寄存器写操作或通过经由环形互连802发出给图形处理器800的命令来控制图形处理器。在一些实施例中，环形互连802将图形处理器800耦合到其他处理组件，例如其他图形处理器或通用处理器。来自环形互连802的命令由命令流送器803解释，该命令流送器803将指令提供给几何流水线820或媒体流水线830的个体组件。

在一些实施例中，命令流送器803引导顶点获取器805的操作，该顶点获取器805从存储器读取顶点数据并执行由命令流送器803提供的顶点处理命令。在一些实施例中，顶点获取器805将顶点数据提供给顶点着色器807，它对每个顶点执行坐标空间变换和照明操作。在一些实施例中，顶点获取器805和顶点着色器807通过经由线程分派器831将执行线程分派给执行单元852A-852B来执行顶点处理指令。

在一些实施例中，执行单元852A-852B是向量处理器的阵列，其具有用于执行图形和媒体操作的指令集。在一些实施例中，执行单元852A-852B具有特定于每个阵列或在阵列之间共享的附接的L1高速缓存851。可以将高速缓存配置为数据高速缓存、指令高速缓存或单个高速缓存(其被分区为在不同分区中包含数据和指令)。

在一些实施例中，几何流水线820包括细分组件，以执行3D对象的硬件加速的细分。在一些实施例中，可编程的外壳着色器811配置细分操作。可编程域着色器817提供细分输出的后端评估。细分器813在外壳着色器811的方向上操作，并包含特殊用途的逻辑，以用于基于作为几何流水线820的输入提供的粗略几何模型来生成一组详细的几何对象。在一些实施例中，如果未使用细分，则细分组件(例如，外壳着色器811、细分器813和域着色器817)可以被绕过。

在一些实施例中，可以经由被分派给执行单元852A-852B的一个或多个线程来由几何着色器819处理完整的几何对象，或者可以直接进行到修剪器(clipper)829。在一些实施例中，几何着色器对整个几何对象进行操作，而不是对图形流水线的先前阶段中的顶点或顶点补丁进行操作。如果禁用了细分，则几何着色器819从顶点着色器807接收输入。在一些实施例中，如果禁用了细分单元，则几何着色器819可由几何着色器程序编程以执行几何细分。

在光栅化之前，修剪器829处理顶点数据。修剪器829可以是具有修剪和几何着色器功能的固定功能修剪器或可编程修剪器。在一些实施例中，渲染输出流水线870中的光栅化器和深度测试组件873分派像素着色器，以将几何对象转换成每像素表示。在一些实施例中，像素着色器逻辑被包括在线程执行逻辑850中。在一些实施例中，应用可以绕过光栅化器和深度测试组件873，并经由流输出单元823访问未光栅化的顶点数据。

图形处理器800具有允许数据和消息在处理器的主要组件之间传递的互连总线、互连结构或某个其他互连机制。在一些实施例中，执行单元852A-852B和相关联的逻辑单元(例如，L1高速缓存851、采样器854、纹理高速缓存858等)经由数据端口856互连以执行存储器访问并与处理器的渲染输出流水线组件通信。在一些实施例中，采样器854、高速缓存851、858和执行单元852A-852B均具有单独的存储器访问路径。在一个实施例中，纹理高速缓存858也可以被配置为采样器高速缓存。

在一些实施例中，渲染输出流水线870包含光栅化器和深度测试组件873，其将基于顶点的对象转换为相关联的基于像素的表示。在一些实施例中，光栅化器逻辑包括加窗器/掩蔽器单元以执行固定功能的三角形和线光栅化。在一些实施例中，相关联的渲染高速缓存878和深度高速缓存879也是可用的。像素运算组件877对数据执行基于像素的运算，但在一些情况下，与2D运算关联的像素运算(例如，具有混合的位块图像传输)由2D引擎841执行，或使用覆盖显示平面由显示器的控制器843在显示时替代。在一些实施例中，共享的L3高速缓存875可用于所有图形组件，从而允许在不使用主系统存储器的情况下共享数据。

在一些实施例中，图形处理器媒体流水线830包括媒体引擎837和视频前端834。在一些实施例中，视频前端834从命令流送器803接收流水线命令。在一些实施例中，媒体流水线830包括单独的命令流送器。在一些实施例中，视频前端834在将命令发送给媒体引擎837之前处理媒体命令。在一些实施例中，媒体引擎837包括线程产生功能以产生线程以经由线程分派器831分派给线程执行逻辑850。

在一些实施例中，图形处理器800包括显示引擎840。在一些实施例中，显示引擎840在处理器800的外部并且经由环形互连802或某个其他互连总线或结构与图形处理器耦合。在一些实施例中，显示引擎840包括2D引擎841和显示控制器843。在一些实施例中，显示引擎840包含能够独立于3D流水线操作的专用逻辑。在一些实施例中，显示控制器843与显示设备(未示出)耦合，该显示设备可以是如膝上型计算机中的系统集成显示设备，或者是经由显示设备连接器附接的外部显示设备。

在一些实施例中，几何结构流水线820和媒体流水线830可配置为基于多个图形和媒体编程接口来执行操作，并且不特定于任何一个应用编程接口(API)。在一些实施例中，用于图形处理器的驱动程序软件将特定于特定图形或媒体库的API调用转换为可以由图形处理器处理的命令。在一些实施例中，提供对全部来自Khronos集团的开放图形库(OpenGL)、开放计算语言(OpenCL)和/或Vulkan图形和计算API的支持。在一些实施例中，也可以提供对来自微软公司的Direct3D库的支持。在一些实施例中，可以支持这些库的组合。还可以为开源计算机视觉库(OpenCV)提供支持。如果可以从将来的API的流水线到图形处理器的流水线进行映射，则还将支持具有兼容3D流水线的将来的API。

图形流水线编程

图9A是示出根据一些实施例的图形处理器命令格式900的框图。图9B是示出根据实施例的图形处理器命令序列910的框图。图9A中的实线框示出了通常被包括在图形命令中的组件，而虚线包括可选的组件或仅被包括在图形命令的子集中的组件。图9A的示例性图形处理器命令格式900包括用于针对命令标识客户端902的数据字段、命令操作代码(操作码)904和数据906。在一些命令中还包括子操作码905和命令大小908。

在一些实施例中，客户端902指定处理命令数据的图形设备的客户端单元。在一些实施例中，图形处理器命令解析器检查每个命令的客户端字段，以调节该命令的进一步处理并将命令数据路由到适当的客户端单元。在一些实施例中，图形处理器客户端单元包括存储器接口单元、渲染单元、2D单元、3D单元和媒体单元。每个客户端单元都有处理命令的对应处理流水线。一旦客户端单元接收到命令，客户端单元就读取操作码904以及子操作码905(如果存在的话)以确定要执行的操作。客户端单元使用数据字段906中的信息来执行命令。对于一些命令，期望显式的命令大小908来指定命令的大小。在一些实施例中，命令解析器基于命令操作码自动确定至少一些命令的大小。在一些实施例中，命令是经由双字的倍数对齐的。可以使用其他命令格式。

图9B中的流程图示出了示例性图形处理器命令序列910。在一些实施例中，以图形处理器的实施例为特征的数据处理系统的软件或固件使用所示的命令序列的版本来建立、执行并终止一组图形操作。仅出于示例目的示出和描述了样本命令序列，因为实施例不限于这些特定命令或该命令序列。此外，命令可以作为命令序列中的一批命令而发出，使得图形处理器将至少部分地并发地处理命令序列。

在一些实施例中，图形处理器命令序列910可以以流水线刷新命令912开始，以使任何活动的图形流水线完成该流水线的当前挂起的命令。在一些实施例中，3D流水线922和媒体流水线924不同时操作。执行流水线刷新以使活动图形流水线完成任何挂起的命令。响应于流水线刷新，图形处理器的命令解析器将暂停命令处理，直到活动的绘图引擎完成挂起的操作并且相关的读取高速缓存无效为止。可选地，可以将渲染高速缓存中标记为“脏”的所有数据刷新到存储器中。在一些实施例中，流水线刷新命令912可以用于流水线同步或在将图形处理器置于低功率状态之前使用。

在一些实施例中，当命令序列需要图形处理器在流水线之间显式切换时，使用流水线选择命令913。在一些实施例中，在发出流水线命令之前，在执行上下文内仅需要流水线选择命令913一次，除非上下文要为两个流水线发出命令。在一些实施例中，紧接在经由流水线选择命令913的流水线切换之前，需要流水线刷新命令912。

在一些实施例中，流水线控制命令914配置用于操作的图形流水线，并用于对3D流水线922和媒体流水线924进行编程。在一些实施例中，流水线控制命令914为活动流水线配置流水线状态。在一个实施例中，流水线控制命令914用于流水线同步，并在处理一批命令之前从活动流水线内的一个或多个高速缓冲存储器中清除数据。

在一些实施例中，返回缓冲器状态命令916用于为相应的流水线配置一组返回缓冲器以写入数据。一些流水线操作需要分配、选择或配置一个或多个返回缓冲器，在处理期间操作将中间数据写入该返回缓冲器中。在一些实施例中，图形处理器还使用一个或多个返回缓冲器来存储输出数据并执行跨线程通信。在一些实施例中，返回缓冲器状态916包括选择用于一组流水线操作的返回缓冲器的大小和数量。

命令序列中的其余命令基于用于操作的活动流水线而不同。基于流水线确定920，命令序列针对以3D流水线状态930开始的3D流水线922进行定制，或针对以媒体流水线状态940开始的媒体流水线924进行定制。

用于配置3D流水线状态930的命令包括用于3D基本命令处理之前要配置的顶点缓冲器状态、顶点元素状态、恒定颜色状态、深度缓冲器状态和其他状态变量的3D状态设置命令。这些命令的值至少部分地基于使用中的特定3D API来确定。在一些实施例中，如果将不使用某些流水线元素，则3D流水线状态930命令也能够选择性地禁用或绕过那些流水线元素。

在一些实施例中，3D图元932命令用于提交要由3D流水线处理的3D图元。经由3D图元932命令传递到图形处理器的命令和相关联的参数将被转发到图形流水线中的顶点获取功能。顶点获取功能使用3D图元932命令数据来生成顶点数据结构。顶点数据结构被存储在一个或多个返回缓冲器中。在一些实施例中，3D图元932命令用于经由顶点着色器对3D图元执行顶点操作。为了处理顶点着色器，3D流水线922将着色器执行线程分派给图形处理器执行单元。

在一些实施例中，经由执行934命令或事件来触发3D流水线922。在一些实施例中，寄存器写触发了命令执行。在一些实施例中，经由命令序列中的“执行”或“踢”命令来触发执行。在一个实施例中，使用流水线同步命令来触发命令执行以通过图形流水线刷新命令序列。3D流水线将对3D图元执行几何处理。一旦操作完成，就对所得的几何对象进行栅格化，并且像素引擎为所得的像素着色。对于那些操作，还可以包括用于控制像素阴影和像素后端操作的附加命令。

在一些实施例中，当执行媒体操作时，图形处理器命令序列910遵循媒体流水线924路径。通常，用于媒体流水线924的编程的特定用途和方式取决于要执行的媒体或计算操作。在媒体解码期间，可以将特定的媒体解码操作卸载到媒体流水线。在一些实施例中，还可以绕过媒体流水线，并且可以使用一个或多个通用处理核心提供的资源来全部或部分地执行媒体解码。在一个实施例中，媒体流水线还包括用于通用图形处理器单元(GPGPU)操作的元件，其中，图形处理器用于使用与图形图元渲染不显式相关的计算着色器程序来执行SIMD向量操作。

在一些实施例中，以与3D流水线922类似的方式配置媒体流水线924。在媒体对象命令942之前，将用于配置媒体流水线状态940的一组命令分派或放置到命令队列中。在一些实施例中，用于媒体流水线状态940的命令包括用于配置将用于处理媒体对象的媒体流水线元素的数据。这包括用于在媒体流水线内配置视频解码和视频编码逻辑的数据，例如编码或解码格式。在一些实施例中，用于媒体流水线状态940的命令还支持使用指向包含一批状态设置的“间接”状态元素的一个或多个指针。

在一些实施例中，媒体对象命令942提供指向媒体对象的指针以供媒体流水线进行处理。媒体对象包括存储器缓冲器，存储器缓冲器包含要处理的视频数据。在一些实施例中，在发出媒体对象命令942之前，所有媒体流水线状态必须是有效的。一旦配置了流水线状态并且将媒体对象命令942排队，就经由执行命令944或等效的执行事件(例如，寄存器写)来触发媒体流水线924。然后，可以通过3D流水线922或媒体流水线924提供的操作对来自媒体流水线924的输出进行后处理。在一些实施例中，以与媒体操作类似的方式配置和执行GPGPU操作。

图形软件架构

图10示出了根据一些实施例的用于数据处理系统1000的示例性图形软件架构。在一些实施例中，软件架构包括3D图形应用1010、操作系统1020和至少一个处理器1030。在一些实施例中，处理器1030包括图形处理器1032和一个或多个通用处理器核心1034。图形应用1010和操作系统1020均在数据处理系统的系统存储器1050中执行。

在一些实施例中，3D图形应用1010包含一个或多个着色器程序，包括着色器指令1012。着色器语言指令可以是高级着色器语言，例如Direct3D的高级着色器语言(HLSL)、OpenGL Shader Language(GLSL)等等。该应用还包括适合于由通用处理器核心1034执行的机器语言的可执行指令1014。该应用还包括由顶点数据定义的图形对象1016。

在一些实施例中，操作系统1020是来自微软公司的

操作系统、专有的类UNIX操作系统或使用Linux内核的变体的开源的类UNIX操作系统。操作系统1020可以支持图形API1022，例如Direct3D API、OpenGL API或Vulkan API。当使用Direct3D API时，操作系统1020使用前端着色器编译器1024将采用HLSL的任何着色器指令1012编译为较低级的着色器语言。该编译可以是即时(JIT)编译，或者应用可以执行着色器预编译。在一些实施例中，在3D图形应用1010的编译期间将高级着色器编译成低级着色器。在一些实施例中，以中间形式(例如，由Vulkan API使用的标准便携式中间表示(SPIR)的版本)提供着色器指令1012。

在一些实施例中，用户模式图形驱动程序1026包含后端着色器编译器1027，以将着色器指令1012转换成硬件专用表示。当使用OpenGL API时，将采用GLSL高级语言的着色器指令1012传递给用户模式图形驱动程序1026进行编译。在一些实施例中，用户模式图形驱动程序1026使用操作系统内核模式功能1028与内核模式图形驱动程序1029通信。在一些实施例中，内核模式图形驱动程序1029与图形处理器1032通信以分派命令和指令。

IP核心实施方式

至少一个实施例的一个或多个方面可以通过存储在机器可读介质上的代表性代码来实现，该代表性代码表示和/或定义诸如处理器之类的集成电路内的逻辑。例如，机器可读介质可以包括表示处理器内的各种逻辑的指令。当由机器读取时，指令可以使机器制造逻辑以执行本文描述的技术。这样的表示(称为“IP核心”)是集成电路的可重用逻辑单元，其可以作为描述集成电路结构的硬件模型存储在有形的机器可读介质中。可以将硬件模型提供给各种客户或制造设施，其将硬件模型加载到制造集成电路的制造机器上。可以制造集成电路，使得该电路执行结合本文描述的任何实施例描述的操作。

图11A是示出根据实施例的可以用于制造集成电路以执行操作的IP核心开发系统1100的框图。IP核心开发系统1100可以用于生成模块化的可重用的设计，其可以被并入更大的设计中或者用于构造整个集成电路(例如，SOC集成电路)。设计设施1130可以以高级编程语言(例如，C/C++)生成IP核心设计的软件仿真1110。软件仿真1110可以用于使用仿真模型1112来设计、测试和验证IP核心的行为。仿真模型1112可以包括功能、行为和/或时序仿真。然后可以从仿真模型1112创建或合成寄存器传送级别(RTL)设计1115。RTL设计1115是集成电路的行为的抽象，集成电路的行为对硬件寄存器之间的数字信号流建模，包括使用建模的数字信号执行的相关联的逻辑。除了RTL设计1115之外，还可以创建、设计或合成逻辑级或晶体管级的较低级设计。因此，初始设计和仿真的特定细节可以有所不同。

RTL设计1115或等同物可以由设计设施进一步合成为硬件模型1120，其可以采用硬件描述语言(HDL)或物理设计数据的某个其他表示。可以进一步模拟或测试HDL以验证IP核心设计。可以使用非易失性存储器1140(例如，硬盘、闪存或任何非易失性存储介质)来存储IP核心设计，以传递给第三方制造设施1165。可替代地，可以通过有线连接1150或无线连接1160(例如，经由互联网)来发送IP核心设计。然后，制造设施1165可以制造至少部分基于IP核心设计的集成电路。可以将制造的集成电路配置为执行根据本文所述的至少一个实施例的操作。

图11B示出了根据本文所述的一些实施例的集成电路封装组装件1170的截面侧视图。集成电路封装组装件1170示出了如本文所述的一个或多个处理器或加速器设备的实施方式。封装组装件1170包括连接到衬底1180的多个硬件逻辑单元1172、1174。逻辑1172、1174可以至少部分地以可配置逻辑或固定功能逻辑硬件来实现，并且可以包括以下各项中的任何一项的一个或多个部分：处理器核心、图形处理器或本文描述的其他加速器设备。每个逻辑单元1172、1174可以被实现在半导体管芯内并且经由互连结构1173与衬底1180耦合。互连结构1173可以被配置为在逻辑1172、1174和衬底1180之间路由电信号，并且可以包括互连，例如但不限于凸块或立柱。在一些实施例中，互连结构1173可以被配置为路由电信号，例如与逻辑1172、1174的操作相关联的输入/输出(I/O)信号和/或电源或接地信号。在一些实施例中，衬底1180是基于环氧树脂的层压衬底。在其他实施例中，衬底1180可以包括其他合适类型的衬底。封装组装件1170可以经由封装互连1183连接到其他电子设备。封装互连1183可以耦合到衬底1180的表面，以将电信号路由到其他电子设备，例如母板、其他芯片组或多芯片模块。

在一些实施例中，逻辑单元1172、1174与桥1182电耦合，桥1182被配置为在逻辑1172、1174之间路由电信号。桥1182可以是密集的互连结构，其为电信号提供路由。桥1182可以包括由玻璃或合适的半导体材料组成的桥衬底。可以在桥衬底上形成电布线特征，以在逻辑1172、1174之间提供芯片对芯片连接。

尽管示出了两个逻辑单元1172、1174和桥1182，但是本文描述的实施例可以在一个或多个管芯上包括更多或更少的逻辑单元。一个或多个管芯可以通过零个或更多个桥连接，因为当逻辑被包括在单个管芯上时，可以不包括桥1182。可替代地，可以通过一个或多个桥来连接多个管芯或逻辑单元。另外，多个逻辑单元、管芯和桥可以以其他可能的配置(包括三维配置)连接在一起。

图11C示出了封装组装件1190，该封装组装件1190包括连接至衬底1180(例如，基础管芯)的多个硬件逻辑小芯片单元。如本文所述的图形处理单元、并行处理器和/或计算加速器可以由单独制造的各种硅小芯片组成。在此上下文中，小芯片是至少部分封装的集成电路，其包括可以与其他小芯片组装成更大封装的不同逻辑单元。可以将具有不同IP核心逻辑的各种小芯片的集合组装到单个设备中。另外，可以使用有源插入器(interposer)技术将小芯片集成到基础管芯或基础小芯片中。本文描述的构思使得能够在GPU内的不同形式的IP之间进行互连和通信。IP核心可以使用不同的工艺技术进行制造，并在制造期间被组成，这避免了将多个IP(特别是在具有若干风格的IP的大型SoC上)聚集到相同制造工艺的复杂性。实现多种处理技术的使用缩短产品上市时间，并提供成本有效的方式来创建多个产品SKU。此外，解聚的IP更适合独立选通供电，可以将给定工作负载上未使用的组件断电，从而降低总体功耗。

硬件逻辑小芯片可以包括专用硬件逻辑小芯片1172、逻辑或I/O小芯片1174和/或存储器小芯片1175。硬件逻辑小芯片1172和逻辑或I/O小芯片1174可以至少部分地以可配置逻辑或固定功能逻辑硬件来实现，并且可以包括本文所述的处理器核心、图形处理器、并行处理器或其他加速器设备中的任何一个的一个或多个部分。存储器小芯片1175可以是DRAM(例如，GDDR、HBM)存储器或高速缓冲(SRAM)存储器。

每个小芯片可以被制造为单独的半导体管芯并且经由互连结构1173与衬底1180耦合。互连结构1173可以被配置为在衬底1180内的逻辑和各个小芯片之间路由电信号。互连结构1173可以包括例如但不限于凸块或立柱的互连。在一些实施例中，互连结构1173可以被配置为路由电信号，例如与逻辑、I/O和存储器小芯片的操作相关联的输入/输出(I/O)信号和/或电源或接地信号。

在一些实施例中，衬底1180是基于环氧树脂的层压衬底。在其他实施例中，衬底1180可以包括其他合适类型的衬底。封装组装件1190可以经由封装互连1183连接到其他电子设备。封装互连1183可以耦合到衬底1180的表面，以将电信号路由到其他电子设备，例如母板、其他芯片组或多芯片模块。

在一些实施例中，逻辑或I/O小芯片1174和存储器小芯片1175可以经由桥1187电耦合，该桥1187被配置为在逻辑或I/O小芯片1174和存储器小芯片1175之间路由电信号。桥1187可以是为电信号提供路由的密集互连结构。桥1187可以包括由玻璃或合适的半导体材料构成的桥衬底。可以在桥接衬底上形成电布线特征，以在逻辑或I/O小芯片1174和存储器小芯片1175之间提供芯片对芯片连接。桥1187也可以称为硅桥或互连桥。例如，在一些实施例中，桥1187是嵌入式多管芯互连桥(EMIB)。在一些实施例中，桥1187可以简单地是从一个小芯片到另一小芯片的直接连接。

衬底1180可以包括用于I/O 1191、高速缓冲存储器1192和其他硬件逻辑1193的硬件组件。可以将结构1185嵌入在衬底1180中，以实现衬底1180内的逻辑1191、1193与各种逻辑小芯片之间的通信。在一个实施例中，I/O1191、结构1185、高速缓存、桥和其他硬件逻辑1193可以集成到层叠在衬底1180之上的基础管芯中。

在各个实施例中，封装组装件1190可以包括通过结构1185或一个或多个桥1187互连的更少或更多数量的组件和小芯片。封装组装件1190内的小芯片可以3D或2.5D排列来布置。通常，桥接结构1187可以用于促进例如逻辑或I/O小芯片与存储器小芯片之间的点对点互连。结构1185可以用于将各种逻辑和/或I/O小芯片(例如，小芯片1172、1174、1191、1193)与其他逻辑和/或I/O小芯片互连。在一个实施例中，衬底内的高速缓冲存储器1192可以用作封装组装件1190的全局高速缓存、分布式全局高速缓存的一部分、或者用作结构1185的专用高速缓存。

图11D示出了根据实施例的包括可互换小芯片1195的封装组装件1194。可互换小芯片1195可以被组装到一个或多个基础小芯片1196、1198上的标准化插槽中。基础小芯片1196、1198可以经由桥互连1197耦合，该桥互连1197可以类似于本文所述的其他桥互连，并且可以是例如EMIB。存储器小芯片也可以经由桥互连连接到逻辑或I/O小芯片。I/O和逻辑小芯片可以经由互连结构进行通信。每个基础小芯片均可以支持采用标准化格式的一个或多个插槽，以用于逻辑或I/O或存储器/高速缓存之一。

在一个实施例中，可以将SRAM和电源传送电路制造成一个或多个基础小芯片1196、1198，其可以使用与堆叠在基础小芯片之上的可互换小芯片1195不同的工艺技术来制造。例如，可以使用较大的工艺技术来制造基础小芯片1196、1198，而可以使用较小的工艺技术来制造可互换小芯片。一个或多个可互换小芯片1195可以是存储器(例如，DRAM)小芯片。可以基于功率和/或使用封装组装件1194的产品的目标性能来为封装组装件1194选择不同的存储器密度。此外，可以在组装时基于功率和/或产品的目标性能选择具有不同数量的功能单元类型的逻辑小芯片。此外，可以将包含不同类型IP逻辑核心的小芯片插入到可互换小芯片插槽中，从而实现可以混合和匹配不同技术IP块的混合处理器设计。

示例性片上系统集成电路

图12和13A-13B示出了根据本文所述的各种实施例的示例性集成电路和相关联的图形处理器，其可以使用一个或多个IP核心来制造。除了所示内容之外，还可以包括其他逻辑和电路，包括附加的图形处理器/核心、外围接口控制器或通用处理器核心。

图12是示出根据实施例的可以使用一个或多个IP核心制造的示例性的片上系统集成电路1200的框图。示例性集成电路1200包括一个或多个应用处理器1205(例如，CPU)、至少一个图形处理器1210，并且可以另外包括图像处理器1215和/或视频处理器1220，它们中的任何一个可以是来自相同或多个不同设计设施的模块化的IP核心。集成电路1200包括外围或总线逻辑，该外围或总线逻辑包括USB控制器1225、UART控制器1230、SPI/SDIO控制器1235和I²S/I²C控制器1240。另外，集成电路可以包括耦合至高清晰度多媒体接口(HDMI)控制器1250和移动工业处理器接口(MIPI)显示接口1255中的一个或多个的显示设备1245。可以由包括闪存和闪存控制器的闪存子系统1260提供存储。可以经由存储器控制器1265提供存储器接口以用于访问SDRAM或SRAM存储器设备。一些集成电路还包括嵌入式安全引擎1270。

图13A-13B是示出根据本文描述的实施例的在SoC内使用的示例性图形处理器的框图。图13A示出了根据实施例的可以使用一个或多个IP核心来制造的片上系统集成电路的示例性图形处理器1310。图13B示出了根据实施例的可以使用一个或多个IP核心来制造的片上系统集成电路的另外的示例性图形处理器1340。图13A的图形处理器1310是低功率图形处理器核心的示例。图13B的图形处理器1340是更高性能的图形处理器核心的示例。图形处理器1310、1340中的每一个可以是图12的图形处理器1210的变体。

如图13A所示，图形处理器1310包括顶点处理器1305和一个或多个片段处理器1315A-1315N(例如，1315A、1315B、1315C、1315D至1315N-1和1315N)。图形处理器1310可以经由单独的逻辑来执行不同的着色器程序，使得顶点处理器1305被优化为执行针对顶点着色器程序的操作，而一个或多个片段处理器1315A-1315N执行针对片段或像素着色器程序的片段(例如，像素)着色操作。顶点处理器1305执行3D图形流水线的顶点处理阶段，并生成图元和顶点数据。片段处理器1315A-1315N使用由顶点处理器1305生成的图元和顶点数据来产生在显示设备上显示的帧缓冲器。在一个实施例中，片段处理器1315A-1315N被优化以执行如在OpenGL API中所提供的片段着色器程序，其可以被用来执行与在Direct 3D API中所提供的像素着色器程序类似的操作。

图形处理器1310另外包括一个或多个存储器管理单元(MMU)1320A-1320B、高速缓存1325A-1325B和电路互连1330A-1330B。一个或多个MMU 1320A-1320B为图形处理器1310(包括顶点处理器1305和/或片段处理器1315A-1315N)提供虚拟到物理地址映射，除了存储在一个或多个高速缓存1325A-1325B中的顶点或图像/纹理数据之外，图形处理器1310还可以引用存储在存储器中的顶点或图像/纹理数据。在一个实施例中，一个或多个MMU 1320A-1320B可以与系统内的其他MMU同步，包括与图12的一个或多个应用处理器1205、图像处理器1215和/或视频处理器1220相关联的一个或多个MMU，使得每个处理器1205-1220可以参与共享或统一的虚拟存储系统。根据实施例，一个或多个电路互连1330A-1330B使图形处理器1310能够经由SoC的内部总线或经由直接连接而与SoC内的其他IP核心接合。

如图13B所示，图形处理器1340包括图13A的图形处理器1310的一个或多个MMU1320A-1320B、高速缓存1325A-1325B和电路互连1330A-1330B。图形处理器1340包括一个或多个着色器核心1355A-1355N(例如，1455A、1355B、1355C、1355D、1355E、1355F，至1355N-1和1355N)，其提供了统一的着色器核心架构，其中，单个核心或单个类型的核心可以执行所有类型的可编程着色器代码，包括用于实现顶点着色器、片段着色器和/或计算着色器的着色器程序代码。存在的着色器核心的确切数量可以因实施例和实施方式而异。另外，图形处理器1340包括核心间任务管理器1345，其充当线程分派器以将执行线程分派给一个或多个着色器核心1355A-1355N，以及平铺单元(tiling unit)1358以加速用于基于分片的渲染的平铺操作，其中，在图像空间中细分场景的渲染操作，例如以利用场景内的局部空间一致性或优化内部高速缓存的使用。

减少色带伪影

如前所述，在将像素发送到设备显示器之前，可以应用色带将颜色的连续灰度转换为具有较少所得颜色的多个区域，但是色带可能引入视觉伪影，其对图像质量产生负面影响。抖动(dithering)用于减少由于降低像素深度(每种颜色的位数)而引起的色带伪影。空间和时间抖动是用于减少已处理像素中明显色带的已知技术。空间抖动涉及故意将噪声施加到色带上以使量化误差随机化，从而使诸如色带之类的大规模图案在显示的图像中不那么明显。抖动可以用于处理数字音频和视频数据。但是，添加的空间噪声在帧的较暗区域中更可见。

时间抖动涉及在颜色之间引入交替以产生看起来是第三平均颜色的内容。但是，如果使用时间抖动技术，则噪声的时间变化可能是显著且分散注意力的。时间抖动可能导致蚊式噪声伪影，其作为以闪烁点的形式出现的在连续的静止图像的边缘处的振铃或其他忙碌现象是可见的。抖动技术可能向视觉内容引入大量可见噪声，尤其是在帧的较暗区域周围。

因此，涉及对比度增强或具有平滑的辉度/色度梯度的图像的像素处理技术可能引入可见的色带伪影。较低的像素深度(例如，每种颜色8位或更低)是出现色带的另一种常见场景。

各种实施例提供了自适应抖动技术，该自适应抖动技术显著地减少了噪声伪影，同时它实现了减少色带的主要目的。各种实施例估计像素的周围区域的亮度并计算要用于抖动的噪声量。各种实施例还考虑添加的噪声的时间整形以减少跨帧移动的视频或内容的“蚊式噪声”伪影。各种实施例试图减少抖动的输出上的可见噪声，同时减少色带伪影。各种实施例可以用于减少可见的条带伪影(banding artifact)。

图14描绘了具有图形处理和显示引擎系统的平台的示例。主机平台1402可以使用处理器1404和存储器1406。处理器1404可以包括任何类型的中央处理单元(CPU)、核心、图形处理单元(GPU)、现场可编程门阵列(FPGA)或专用集成电路(ASIC)。存储器1406可以是任何类型的易失性或非易失性存储器，包括持久性存储器和字节可寻址存储器。操作系统1410、应用1408或隔离环境1416中的一个或多个可以在主机平台1402上执行。

在一些示例中，操作系统1410可以是

Server、FreeBSD、

或任何其他操作系统中的任何一种。操作系统1410、应用1408和驱动程序1412可以在隔离环境1416内或隔离环境1416外部运行。

例如，应用1408可以是任何类型的应用，包括视频播放器、图片查看器、视频游戏、媒体流送应用(例如，视频或音频)、虚拟现实应用(包括头戴式耳机和声音发射器)、增强现实应用、视频或音频会议应用、图像处理或编辑应用或机器学习(ML)推理模型。可以根据任何编程语言对应用1408进行编程，例如但不限于OpenGL、OpenCL、DirectX、Python、DPC++、TensorFlow、Metal或任何着色器或机器学习语言。在一些示例中，应用可以请求在显示器1440上显示图像。

隔离环境1416可以至少包括虚拟机或容器。虚拟机(VM)可以是运行操作系统和一个或多个应用的软件。VM可以由规范、配置文件、虚拟磁盘文件、非易失性随机存取存储器(NVRAM)设置文件和日志文件定义，并由主机计算平台的物理资源支持。VM可以是模仿专用硬件的软件上安装的OS或应用环境。最终用户在虚拟机上具有与他们与在专用硬件上将具有的体验相同的体验。被称为管理程序的专用软件完全模拟PC客户端或服务器的CPU、存储器、硬盘、网络和其他硬件资源，从而使虚拟机能够共享资源。管理程序可以模拟彼此隔离的多个虚拟硬件平台，从而允许虚拟机在相同基础物理主机上运行

和

Server操作系统。

容器可以是应用、配置和依赖性的软件包，因此应用可以在一个计算环境到另一个计算环境可靠地运行。容器可以共享安装在服务器平台上的操作系统，并作为隔离的进程运行。容器可以是软件包，其包含软件需要运行的所有内容，例如系统工具、库和设置。

驱动程序1412可以为GPU 1420或显示引擎1430或其他设备中的一个或多个提供设备驱动程序。驱动程序1412可以代表一个或多个设备驱动程序的集合。作为GPU 1420的驱动程序，驱动程序1412可将来自应用1408的命令提供到GPU 1420的命令缓冲区中，以供执行单元(EU)1422执行。根据一些实施例，驱动程序1412可以为显示引擎1430提供设备驱动程序并允许OS 1410发现由像素处理引擎1434使用噪声的时间和/或空间调整的能力并有选择地实现这种能力。根据各种实施例，驱动程序1412可以配置像素处理引擎1434以应用配置的噪声强度。例如，配置的噪声强度可以存储在显示配置1414中。图形控制面板可以通过显示器1440显示给用户作为设置控制界面1442，并允许用户通过像素处理引擎1434配置应用于噪声的时间和/或空间调整的噪声强度。在一些场景中，噪声强度可以由显示器1440的参数指定，例如由显示器1440的制造商指定。

基于来自主机平台1402的绘制命令，GPU 1420使用执行单元1422生成一个或多个像素帧，并使用本文所述的图形生成技术来将帧存储到帧缓冲器1432中。注意，在一些示例中，显示引擎1430可以处理预先存在或预先生成的图像或视频(例如，照片或电影)。显示引擎1430可以处理帧缓冲器1432中的帧像素，并将处理后的像素数据提供给显示器1440。帧缓冲器1432可以存储一个或多个帧的像素数据。一个或多个帧可以在当前显示的帧之前或之后。在一些示例中，显示引擎1430可以被实现为固定功能或可编程设备。

根据各种实施例，显示引擎1430可以调用或激活像素处理引擎1434，以将抖动施加于帧的像素并注入伪随机噪声水平。可以基于局部像素区域的亮度和/或一个或多个时间上相邻的帧的特性来选择施加的噪声水平。局部像素区域可以是围绕像素(针对该像素确定是要向其施加伪随机噪声还是要施加的伪随机噪声水平)的像素区域。时间上相邻的帧可以是要对其施加抖动和噪声的帧之前和/或之后的一个或多个帧。另外，来自显示配置1414的可配置噪声水平可以用于调整由像素处理引擎1434施加的噪声水平。在一些示例中，场景的改变可以影响是否考虑在要应用抖动和噪声的帧之前的帧的噪声的亮度水平。本文描述的各种实施例提供了噪声施加技术的附加示例。注意，在一些示例中，可以确定不施加抖动或噪声。可以将处理后的图像帧输出到显示器1440以进行显示。

各种连接可以耦合主机平台1402、GPU 1420、显示引擎1430和显示器1440。例如，互连、总线、结构或网络可以用作连接。例如，可以使用任何连接，例如：以太网(IEEE802.3)、远程直接存储器访问(RDMA)、InfiniBand、互联网广域RDMA协议(iWARP)、传输控制协议(TCP)、用户数据报协议(UDP)、快速UDP互联网连接(QUIC)、融合以太网上的RDMA(RoCE)、外围组件互连Express(PCIe)、Intel QuickPath互连(QPI)、Intel超路径互连(UPI)、Intel片上系统结构(IOSF)、Omnipath、Compute Express Link(CXL)、HyperTransport、高速结构、NVLink、高级微控制器总线架构(AMBA)互连、OpenCAPI、Gen-Z、高速缓存一致性互连(CCIX)、3GPP长期演进(LTE)(4G)、3GPP 5G、DisplayPort、嵌入式DisplayPort、MIPI、HDMI及其后续产品或变体。

图15描绘了可以在显示引擎中使用以处理一个或多个帧的像素数据的示例系统。帧元数据1502可以包括当前帧中像素的最大和最小亮度、电光传递函数(例如，sRGBgamma、SMPTE 2084、HLG)或颜色模型(例如，RGB、HSV、YCbCr)。像素的亮度可以指示以cd/m2为单位的物理亮度。输入帧1504可以包括像素的帧的像素数据。像素数据可以包括使用任何颜色模型(例如，RGB、HSV、HSL、YCbCr等)表示的值。在一些示例中，输入帧1504包括要被处理的像素(例如，关注像素)以及围绕关注像素的窗口中的像素。尽管描述了一次处理一个像素或一次处理一组像素，但是可以并行使用图15的系统的多个实例或副本来一次处理像素帧的所有像素或像素组。

局部亮度估计1506可以估计或确定围绕至少一个关注像素的窗口的平均亮度。窗口的大小和形状可能取决于正被处理的帧的分辨率、像素的物理大小(每英寸像素(PPI))等等而变化。例如，窗口可以是4x4像素、16x16像素、32x32像素、64x64像素、128x128像素或其他像素尺寸。像素矩形、圆形、椭圆形、三角形或任何形状都可以用作窗口。本文描述了围绕关注像素的移动窗口的示例。可以基于计算速度对视觉质量来配置窗口大小。较大的窗口可以提高视觉质量，但会降低计算速度，而较小的窗口可以提高计算速度，但会降低视觉质量。例如，对于第一关注像素，可以使用围绕并包括第一关注像素的第一窗口来确定平均亮度。对于第二关注像素，可以使用围绕并包括第二关注像素的第二窗口来确定第二平均亮度。第一和第二窗口可以包括重叠的像素。本文描述了窗口的各种示例。

随机信号生成器1508可以生成随机或伪随机数，其可以用于结合将噪声引入抖动区域中来修改像素值。可以生成任何伪随机数，并将其添加到像素或alpha混合到像素值中，受到本文所述的可配置噪声强度、局部亮度和时间亮度中的一个或多个的限制。例如，伪随机数的范围可以在0到1之间。

抖动噪声估计器1510可以基于以下各项中的一项或多项来确定要添加到像素(或以其他方式修改像素特性)的噪声量：来自局部亮度估计的平均局部亮度1506、来自随机信号生成器1508的伪随机值、帧元数据1502和可配置的噪声强度1512。抖动噪声估计器1510可以确定逐像素地注入的噪声。然而，在其他示例中，抖动噪声估计器1510可以确定要注入到一组2x2像素或其他尺寸的噪声。

除了诸如局部亮度估计之类的其他因素之外，抖动噪声估计器1510还可以使用可配置噪声强度1512来按比例放大或缩小所施加的噪声。可配置噪声强度1512可以表示允许的噪声水平的最大值或为百分比乘数。例如，可配置噪声强度1512可以表示R、G、B值中的每一个的最大值；HSV颜色方案中V的最大值；或YRCbCr颜色方案中的Y的最大值。在一些示例中，可配置噪声强度1512可以由用户配置，由此在用户界面控件中向用户应用给出选项，噪声强度可以通过由图形处理器或显示器制造商(例如，基于显示器属性)定义的应用来设置。最大噪声强度可以因用例而异。在一些示例中，可配置噪声强度可以是像素最大亮度的1-5％。

在一些示例中，抖动噪声估计器1510可以将伪随机数乘以被表达为像素窗口上的加权平均亮度的局部亮度估计。对于特定像素或像素区域，抖动噪声估计器1510生成随机噪声(示出为“噪声帧”)＝伪随机值*(局部亮度估计/最大像素值)*(可配置噪声强度)。在示例中，如果局部亮度估计＝100，可配置噪声强度＝1％，并且像素颜色值高达255，则对于特定像素，抖动噪声估计器1510可以通过将来自随机信号生成器1508的随机值乘以因数(100/255)*(1％)来确定噪声帧。但是，可以应用随机值的非线性缩放，例如(1％)*f(局部亮度)/255，其中，f()是非线性函数。

抖动噪声估计器1510的一些实施例可以使用机器学习(ML)训练的技术来为不同类型的内容确定噪声强度。ML可以用于检测梯度图案(gradient pattern)，并且仅当场景具有特定种类的梯度图案时才可以添加噪声。作为监督学习的一部分，最初可以用各种类型的梯度图案来训练ML模型。ML还可以用于为特定梯度图案确定最佳噪声水平。例如，具有天空的自然图像可以具有颜色梯度。但是，与合成梯度图像相比，此类图像上的条带伪影将具有较低的程度。ML可以指示显示的是哪种类型的梯度图像，以及多少噪声对于校正或缩放是合适的。

N帧延迟1520可以存储在一个或多个先前帧中针对特定像素施加的噪声。N帧延迟1520可以存储逐帧施加到像素的噪声的历史。N帧延迟1520可以将针对先前的一个或多个帧生成的噪声提供给时间噪声整形1522。场景变化检测1524可以指示在连续的帧之间是否已经发生场景变化。场景变化检测1524可以将时间噪声整形1522配置为在先前帧在不同场景中出现的情况下不考虑施加在先前帧中的噪声水平。例如，绝对差之和(SAD)引擎可以用于检测连续帧之间的场景变化，从而如果大于阈值数量的像素的值变化，则检测到场景变化。如果帧中的大多数或所有对象(例如，像素组)与前一帧相比发生变化，则可能发生场景变化。

在场景内，时间噪声整形1522可以基于与来自一个或多个先前帧的噪声的比较来有选择地修改针对像素或像素区域的确定的噪声水平。例如，时间噪声整形1522可以将像素或像素区域的坐标之间的噪声水平的变化限制为小于极限值或百分比变化。例如，时间噪声整形1522可以调整当前帧的像素的噪声帧水平，使得：

噪声帧水平_{当前帧像素}-噪声帧水平_{前一帧像素}≤极限值，或者(噪声帧水平_{当前帧像素})/|(噪声帧水平_{当前帧像素}-噪声帧水平_{前一帧像素})|≤百分比变化。

时间噪声整形1522可以尝试控制连续帧中的噪声变化以在条带内变化，以试图避免可见的蚊式噪声伪影，例如当视觉内容在帧之间缓慢变化时。

基于来自场景变化检测1524的指示符，可以在场景变化时重新开始时间噪声整形1522，因为当帧之间存在显著变化时(例如，场景变化)，可以不使用基于时间的噪声范围限制。然而，在场景内，时间噪声整形1522可以针对特定像素或像素区域限制噪声变化。

某个内容(例如，高动态范围(HDR)视频)包括有关场景的平均辉度水平的元数据，并且该平均辉度水平可以用于评估与抖动相关地施加的噪声量。例如，元数据可以指示帧的暗度水平，而较暗的帧可以具有进一步减小的权重或不施加抖动。

抖动噪声估计器1510和抖动噪声整形1522可以并行地为帧的一个、多个或所有像素确定噪声水平。时间噪声整形1522可以输出帧的所有像素的抖动噪声水平。例如，时间噪声捕捉(snapping)1522可以输出抖动噪声阵列，该抖动噪声阵列的尺寸与输入帧的尺寸相同。

噪声混合器1530可以将噪声与输入像素混合。在一些示例中，噪声混合器1530可以将噪声添加到像素值，但是受制于最大颜色值。在一些示例中，噪声混合器1530可以将噪声与颜色值进行alpha混合或混合。例如，噪声混合器1530可以将随机噪声值添加到颜色空间的每个颜色值。对于RGB颜色模型，可以将抖动噪声值添加到R、G和B值，但受制于最大值。对于HSV或YCbCr颜色模型，可以添加噪声值。

alpha混合技术可以用来引入噪声。alpha混合的示例如下：像素输出＝alpha值*噪声值+[1-alpha值]*像素值，其中，alpha值＝可配置噪声强度*局部亮度/最大像素值。

噪声混合器1530可以输出像素阵列，该像素阵列是输入帧的尺寸。像素阵列可以被存储到显示引擎处的缓冲器中，或者被提供给显示设备进行显示。因此，各种实施例试图通过考虑场景内的一个或多个时间噪声变化或引入了噪声的像素周围的局部区域的亮度水平，来减小引入抖动图像中的噪声的可见性。

图16描绘了可以用于确定局部区域中的平均亮度的移动窗口的示例。例如，窗口1602可以包括3×3像素，其中，P表示特定位置处的像素。窗口1602围绕并包括关注像素PI1。窗口1604表示另一窗口位置，其包括围绕并包括关注像素PI2的3×3像素。窗口1606表示另一窗口位置，其包括围绕并包括关注像素PI3的3×3像素。可以将窗口1602中的像素的亮度值相加并求平均以确定像素PI1周围的局部亮度。类似地，可以将窗口1604中的像素的亮度值相加并求平均以确定像素PI2周围的局部亮度。类似地，可以将窗口1606中的像素的亮度值相加并求平均以确定像素PI3周围的局部亮度。然而，可以缩放像素的亮度，以使得更接近关注像素的像素的亮度水平与较远离关注像素但在窗口内的像素的亮度水平相比具有较大的权重。可以在确定要施加于像素P1、P2和P3的噪声值时考虑局部亮度。注意，本文的示例提供了3×3像素窗口，但是可以使用任何大小的像素区域。

图17描绘了示例过程。例如，该过程可以由显示引擎执行以选择性地将抖动和噪声施加到图像或视频。在1702处，可以配置可配置噪声强度以供使用。例如，可以基于用户或查看器配置、应用配置、显示面板配置或其他源来设置噪声强度。

在1704处，可以针对围绕并包括像素的区域确定局部亮度估计。例如，任何形状或大小的窗口都可以用来选择围绕并包括关注像素的像素。可以通过对窗口中像素的亮度值求平均或应用窗口中像素的亮度值的加权平均值来确定窗口中像素的亮度。像素的亮度可以是R、G、B的加权平均值，而平均亮度可以是窗口内像素的亮度值的平均值。

在1706处，可以生成伪随机值以表示用于修改像素值的噪声水平。例如，伪随机值可以在0和1之间或是其他水平。

在1708处，可以基于可配置噪声水平和伪随机值，来为像素生成噪声估计。在一些示例中，噪声估计值可以是伪随机值*(局部亮度估计/最大像素值)*(可配置噪声强度)的乘积。在一些示例中，ML可以用于检测梯度图案，并且可以为具有梯度图案内的帧或场景添加噪声。可以训练ML模型来针对特定梯度图案确定最佳噪声水平。例如，示出天空的自然图像上的条带伪影可能与使用合成梯度图像的条带伪影相比具有较低程度的噪声。

在1710处，可以基于场景内的帧间噪声水平来约束所生成的噪声。例如，所生成的噪声水平可以被约束为在与施加于相同场景内的先前帧中的相同像素的噪声水平相比的特定差异内的变化。然而，对于场景变化中的帧，可以不认为先前帧的噪声水平约束了噪声水平。在其他示例中，即使先前帧处于不同场景中，施加至像素的噪声也可以考虑施加至先前帧的噪声。

在1712处，可以基于被约束的噪声水平来修改像素。例如，可以将噪声水平添加到以下各项中的一项或多项的颜色值：像素的颜色、亮度或辉度分量，但受制于那些颜色值的上限。可以使用本文所述的alpha混合技术代替添加。

图18描绘了每种颜色8位的梯度图案图像。图19描绘了具有一定量的像素增强的每种颜色8位的梯度图案图像。色带伪影在图19的图像中是明显的。

图20描绘了每种颜色6位的梯度图案图像的示例。与图18的图像相比，每种颜色较少位是可用的。图像的位深度减小导致可见条带增加。图21描绘了用于每种颜色6位的梯度图案图像，但是其中，以5％的空间噪声施加了静态抖动。静态抖动施加噪声，而不考虑局部亮度。

图22描绘了根据本文描述的实施例的用于每种颜色6位但具有以5％空间噪声的最大值施加自适应抖动的梯度图案图像的示例。图21和图22中的图像几乎等同地抑制了条带伪影。然而，与图21的图像相比，图22的图像展示了较少噪声的输出，尤其是在图像的较暗部分中。

图23示出了用于每种颜色8位的并且用与施加于图18的图像相同的像素增强算法进行处理(但是其中，以5％空间噪声施加了静态抖动)的梯度图案图像的示例。静态抖动施加噪声，而不考虑局部亮度。图24描绘了根据本文所述的实施例的用于每种颜色8位的、用与施加于图18的图像相同的像素增强算法进行处理(但是其中，以5％的空间噪声施加了自适应抖动)的梯度图案图像的示例。与图23的图像相比，图24的图像展示了较少噪声的输出，尤其是在图像的较暗部分中。

因此，本文所述的实施例通过针对像素位置或区域考虑局部亮度和帧间亮度变化来提供减少的条带和较不明显的噪声。

短语“一个示例”或“示例”的出现不一定全都指相同示例或实施例。本文中描述的任何方面可以与本文中描述的任何其他方面或类似方面组合，而不管这些方面是否是相对于相同的附图或元素进行描述的。

可以使用表达“耦合”和“连接”及其派生词来描述一些示例。这些术语不一定是彼此的同义词。例如，使用术语“连接”和/或“耦合”的描述可以指示两个或更多个元素彼此直接物理或电接触。然而，术语“耦合”还可以意指两个或更多元素彼此不直接接触，但是仍然彼此协作或相互作用。

术语“第一”、“第二”等在本文中不表示任何顺序、数量或重要性，而是用于将一个元素与另一个元素区分开。本文中的术语“一个”和“一”不表示数量限制，而是表示存在至少一个所引用的项目。本文中参考信号使用的术语“断言”表示信号的状态，其中，信号是活动的，并且可以通过对信号施加任何逻辑电平(逻辑0或逻辑1)来实现。术语“随后”或“之后”可以指紧接在某个/些其他事件之后或者在某个/些其他事件之后。在流程图中，根据替代实施例，也可以执行其他步骤顺序。此外，取决于特定应用，可以添加或移除附加步骤。可以使用变化的任何组合，并且受益于本公开的本领域普通技术人员将理解其许多变化、修改和替代实施例。

除非另外特别声明，否则诸如短语“X、Y或Z中的至少一个”之类的析取语言(disjunctive language)在上下文内通常被理解为用于表示项目、术语等，可以是X、Y或Z或其任何组合(例如，X、Y和/或Z)。因此，这样的析取语言通常不旨在且不应暗示某些实施例要求X中的至少一个、Y中的至少一个或Z中的至少一个均存在。另外，除非另外明确指出，诸如短语“X、Y和Z中的至少一个”之类的合取语言(conjunctive language)也应理解为表示X、Y、Z或其任何组合，包括“X、Y和/或Z”。

本发明的实施例可以包括上面已经描述的各种步骤。这些步骤可以体现在机器可执行指令中，该机器可执行指令可以用于使通用或专用处理器执行这些步骤。可替代地，这些步骤可以由包含用于执行步骤的硬连线逻辑的特定硬件组件来执行，或者由编程的计算机组件和自定义硬件组件的任何组合来执行。

如本文中所描述，指令可以指代硬件的特定配置，例如被配置为执行某些操作或具有预定功能的专用集成电路(ASIC)或存储在非暂时性计算机可读介质中体现的存储器中的软件指令。因此，可以使用在一个或多个电子设备(例如，终端站、网络元件等)上存储和执行的代码和数据来实现附图中所示出的技术。这样的电子设备使用计算机机器可读介质(例如，非暂时性计算机机器可读存储介质(例如，磁盘、光盘、随机存取存储器、只读存储器、闪存设备、相变存储器)和暂时性计算机机器可读的通信介质(例如，电、光、声或其他形式的传播信号，例如载波、红外信号、数字信号，等等)来存储和传送代码和数据(内部地和/或通过网络与其他电子设备)。

此外，此类电子设备通常包括耦合到一个或多个其他组件的一组一个或多个处理器，例如一个或多个存储设备(非暂时性机器可读存储介质)、用户输入/输出设备(例如，键盘、触摸屏和/或显示器)和网络连接。一组处理器和其他组件的耦合通常通过一个或多个总线和桥(也称为总线控制器)进行。存储设备和承载网络业务的信号分别表示一种或多种机器可读存储介质和机器可读通信介质。因此，给定电子设备的存储设备通常存储用于在该电子设备的一个或多个处理器的集合上执行的代码和/或数据。当然，可以使用软件、固件和/或硬件的不同组合来实现本发明的实施例的一个或多个部分。贯穿本详细描述，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，对本领域技术人员显而易见的是，可以在没有这些具体细节中的一些的情况下实践本发明。在某些情况下，没有详细描述公知的结构和功能，以避免使本发明的主题模糊。因此，本发明的范围和精神应根据所附权利要求书来判断。

示例1包括一种图形处理装置，包括：存储器设备；以及显示引擎，其耦合到所述存储器设备，其中，所述显示引擎被配置为：将抖动施加于存储在所述存储器设备中的图像的区域，并且基于伪随机噪声修改所述图像的第一像素以减少色带印象，其中，所述伪随机噪声基于以下各项中的一项或多项：局部亮度估计和施加到与所述第一像素的位置相同的位置上的像素的一个或多个先前噪声水平。

示例2包括任何示例，其中，所述显示引擎被配置为：基于围绕所述第一像素并且包括所述第一像素的像素区域的平均亮度，来确定所述局部亮度估计。

示例3包括任何示例，其中，所述像素区域包括正方形、圆形、椭圆形、矩形或三角形。

示例4包括任何示例，其中，所述显示引擎被配置为：基于施加到相同场景内的先前帧中的与所述第一像素的位置相同的位置上的像素的噪声，来限制所述伪随机噪声。

示例5包括任何示例，其中，所述显示引擎被配置为：不基于施加到不同场景中紧接的前一帧中的与所述第一像素的位置相同的位置上的像素的噪声，来修改所述伪随机噪声。

示例6包括任何示例，其中，所述显示引擎被配置为：基于可配置噪声水平来修改伪随机噪声。

示例7包括任何示例，其中，所述显示引擎被配置为确定场景的改变，并且其中，所述显示引擎被配置为：基于施加到与相同场景内先前帧中的与所述第一像素的位置相同的位置上的像素的噪声，来限制所述伪随机噪声。

示例8包括任何示例，其中，所述显示引擎被配置为：存储施加到相同场景的至少一个先前帧中的与所述第一像素的位置相同的位置上的像素的噪声值。

示例9包括任何示例，其中，所述显示引擎被配置为：通过将伪随机噪声添加到所述第一像素的像素值，来修改所述第一像素的值。

示例10包括任何示例，其中，所述显示引擎被配置为：通过应用alpha混合来修改所述第一像素的值。

示例11包括任何示例，其中，所述显示引擎用于将修改后的第一像素提供给显示设备。

示例12包括任何示例，并且包括图形处理单元(GPU)，其用于生成一个或多个图像并且将所述一个或多个图像存储到所述存储器设备中。

示例13包括任何示例，并且包括主机平台，其用于执行应用，所述应用用于请求图像生成。

示例14包括任何示例，并且包括显示设备，其用于显示来自所述显示引擎的图像。

示例15包括任何示例，并且一种非暂时性计算机可读介质，包括存储在其上的指令，所述指令如果由处理器执行，则使所述处理器：执行驱动程序，所述驱动程序用于指示显示引擎基于噪声修改第一像素的像素值的能力，其中，所述噪声基于以下各项中的一项或多项：所述第一像素附近并且包括所述第一像素的亮度，施加到不同帧中的与所述第一像素的位置相同的位置上的像素的噪声，可配置噪声水平，或场景的变化。

示例16包括任何示例，其中，所述显示引擎用于：确定所述第一像素附近并且包括所述第一像素的亮度，以及基于以下各项中的一项或多项来修改所述第一像素的像素值：所述第一像素附近并且包括所述第一像素的亮度，施加到不同帧中的与所述像素的位置相同的位置上的像素的噪声，可配置噪声水平，或场景的变化。

示例17包括任何示例，其中，所述显示引擎用于：基于形状为正方形、圆形、三角形或矩形中的任何一个的窗口，来确定所述第一像素附近并且包括所述第一像素的亮度。

示例18包括任何示例，其中，所述显示引擎用于：基于施加到相同场景内的先前帧中的与所述第一像素的位置相同的位置上的像素的噪声，来限制噪声。

示例19包括任何示例，其中，所述显示引擎用于：通过添加所述噪声或应用alpha混合，来修改所述第一像素的值。

示例20包括任何示例，并且包括一种由显示引擎在将图像数据提供给显示设备之前执行的方法，所述方法包括：访问适用于抖动的噪声水平配置；在图像的区域上应用抖动；以及将噪声施加到所述图像的区域中的第一像素，所述噪声基于以下各项中的一项或多项：局部亮度估计，可配置噪声水平，以及施加到与所述第一像素的位置相同的位置上的像素的一个或多个先前噪声水平。

示例21包括任何示例，并且包括：基于围绕所述第一像素并且包括所述第一像素的像素区域的平均亮度，来确定所述局部亮度估计。

示例22包括任何示例，并且包括：基于施加到与所述第一像素的位置相同的位置上的像素的一个或多个先前噪声水平，来限制所述噪声的水平。

示例23包括任何示例，并且包括：不基于施加到不同场景中紧接的前一帧中的与所述第一像素的位置相同的位置上的像素的噪声，来限制噪声的水平。

示例24包括任何示例，并且包括：基于可配置噪声水平来修改所述噪声的水平。

示例25包括任何示例，其中，所述可配置噪声水平由以下中的一项或多项设置：显示器制造商，用户输入，或应用设置。

Claims (25)

1.一种图形处理装置，包括：

存储器设备；以及

显示引擎，其耦合到所述存储器设备，其中，所述显示引擎被配置为：

将抖动施加于存储在所述存储器设备中的图像的区域，并且

基于伪随机噪声修改所述图像的第一像素以减少色带印象，其中，所述伪随机噪声基于以下各项中的一项或多项：局部亮度估计和施加到与所述第一像素的位置相同的位置上的像素的一个或多个先前噪声水平。

2.根据权利要求1所述的图形处理装置，其中，所述显示引擎被配置为：基于围绕所述第一像素并且包括所述第一像素的像素区域的平均亮度，来确定所述局部亮度估计。

3.根据权利要求2所述的图形处理装置，其中，所述像素区域包括正方形、圆形、椭圆形、矩形或三角形。

4.根据权利要求1所述的图形处理装置，其中，所述显示引擎被配置为：基于施加到相同场景内的先前帧中的与所述第一像素的位置相同的位置上的像素的噪声，来限制所述伪随机噪声。

5.根据权利要求1所述的图形处理装置，其中，所述显示引擎被配置为：不基于施加到不同场景中的紧接的前一帧中的与所述第一像素的位置相同的位置上的像素的噪声，来修改所述伪随机噪声。

6.根据权利要求1所述的图形处理装置，其中，所述显示引擎被配置为：基于可配置噪声水平来修改伪随机噪声。

7.根据权利要求1所述的图形处理装置，其中，所述显示引擎被配置为确定场景的改变，并且其中，所述显示引擎被配置为：基于施加到与相同场景内的先前帧中的与所述第一像素的位置相同的位置上的像素的噪声，来限制所述伪随机噪声。

8.根据权利要求1所述的图形处理装置，其中，所述显示引擎被配置为：存储施加到相同场景的至少一个先前帧中的与所述第一像素的位置相同的位置上的像素的噪声值。

9.根据权利要求1所述的图形处理装置，其中，所述显示引擎被配置为：通过将伪随机噪声添加到所述第一像素的像素值，来修改所述第一像素的值。

10.根据权利要求1所述的图形处理装置，其中，所述显示引擎被配置为：通过应用alpha混合来修改所述第一像素的值。

11.根据权利要求1所述的图形处理装置，其中，所述显示引擎用于将修改后的第一像素提供给显示设备。

12.根据权利要求1所述的图形处理装置，包括图形处理单元(GPU)，其用于生成一个或多个图像并且将所述一个或多个图像存储到所述存储器设备中。

13.根据权利要求12所述的图形处理装置，包括主机平台，其用于执行应用，所述应用用于请求图像生成。

14.根据权利要求13所述的图形处理装置，包括显示设备，其用于显示来自所述显示引擎的图像。

15.一种非暂时性计算机可读介质，包括存储在其上的指令，所述指令如果由处理器执行，则使所述处理器：

执行驱动程序，所述驱动程序用于指示显示引擎基于噪声修改第一像素的像素值的能力，其中，所述噪声基于以下各项中的一项或多项：所述第一像素附近并且包括所述第一像素的亮度，施加到不同帧中的与所述第一像素的位置相同的位置上的像素的噪声，可配置噪声水平，或场景的变化。

16.根据权利要求15所述的计算机可读介质，其中，所述显示引擎用于：

确定所述第一像素附近并且包括所述第一像素的亮度，以及

基于以下各项中的一项或多项来修改所述第一像素的像素值：所述第一像素附近并且包括所述第一像素的亮度，施加到不同帧中的与所述像素的位置相同的位置上的像素的噪声，可配置噪声水平，或场景的变化。

17.根据权利要求16所述的计算机可读介质，其中，所述显示引擎用于：

基于形状为正方形、圆形、三角形或矩形中的任何一个的窗口，来确定所述第一像素附近并且包括所述第一像素的亮度。

18.根据权利要求16所述的计算机可读介质，其中，所述显示引擎用于：

基于施加到相同场景内的先前帧中的与所述第一像素的位置相同的位置上的像素的噪声，来限制所述噪声。

19.根据权利要求16所述的计算机可读介质，其中，所述显示引擎用于：

通过添加所述噪声或应用alpha混合，来修改所述第一像素的值。

20.一种由显示引擎在将图像数据提供给显示设备之前执行的方法，所述方法包括：

访问适用于抖动的噪声水平配置；

在图像的区域上施加抖动；以及

将噪声施加到所述图像的区域中的第一像素，所述噪声基于以下各项中的一项或多项：局部亮度估计，可配置噪声水平，以及施加到与所述第一像素的位置相同的位置上的像素的一个或多个先前噪声水平。

21.根据权利要求20所述的方法，包括：

基于围绕所述第一像素并且包括所述第一像素的像素区域的平均亮度，来确定所述局部亮度估计。

22.根据权利要求20所述的方法，包括：

基于施加到与所述第一像素的位置相同的位置上的像素的一个或多个先前噪声水平，来限制所述噪声的水平。

23.根据权利要求20所述的方法，包括：

不基于施加到不同场景中的紧接的前一帧中的与所述第一像素的位置相同的位置上的像素的噪声，来限制所述噪声的水平。

24.根据权利要求20所述的方法，包括：

基于可配置噪声水平来修改所述噪声的水平。

25.根据权利要求24所述的方法，其中，所述可配置噪声水平由以下各项中的一项或多项设置：显示器制造商，用户输入，或应用设置。

Images