CN112085658B - 用于非均匀帧缓冲器栅格化的装置和方法 - Google Patents

用于非均匀帧缓冲器栅格化的装置和方法 Download PDF

Info

Publication number
CN112085658B
CN112085658B CN202010946731.0A CN202010946731A CN112085658B CN 112085658 B CN112085658 B CN 112085658B CN 202010946731 A CN202010946731 A CN 202010946731A CN 112085658 B CN112085658 B CN 112085658B
Authority
CN
China
Prior art keywords
image
block
processor
memory
graphics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010946731.0A
Other languages
English (en)
Other versions
CN112085658A (zh
Inventor
T·G·阿凯奈-莫勒
R·T·托特
B·约翰森
J·N·哈塞尔格林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Priority to CN202010946731.0A priority Critical patent/CN112085658B/zh
Publication of CN112085658A publication Critical patent/CN112085658A/zh
Application granted granted Critical
Publication of CN112085658B publication Critical patent/CN112085658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/403—Edge-driven scaling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4092—Image resolution transcoding, e.g. client/server architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Abstract

描述了一种用于非均匀栅格化器的装置和方法。例如，一种装置的一个实施例包括：图形处理器，用于处理图形数据并且使用所述图形数据来渲染图像；以及非均匀栅格化器，所述非均匀栅格化器在所述图形处理器内，用于确定有待用于图像的不同区域的不同分辨率，所述非均匀栅格化器用于接收有待栅格化的多个多边形并且响应性地根据所述不同的分辨率对所述多边形进行栅格化。

Description

用于非均匀帧缓冲器栅格化的装置和方法
本申请是PCT国际申请号为PCT/US2016/022793、国际申请日为2016年3月17日、进入中国国家阶段的申请号为201680017153.4，题为“用于非均匀帧缓冲器栅格化的装置和方法”的发明专利申请的分案申请。
背景技术
发明领域
本发明总体上涉及计算机处理器领域。更具体地，本发明涉及一种用于非均匀帧缓冲器栅格化的装置和方法。
相关技术的说明
虚拟现实(VR)正在成为沉浸式应用(诸如游戏应用以及各种行业应用)的日益可行的选项。这是因为：诸如Oculus、Samsung和Sony等公司已经生产了较小的并且具有高图像质量、低等待时间以及头部跟踪能力的可负担得起的头戴式显示器。据说这些头戴式显示器将是“终极平台”，其意义在于它们最终将提供与现实难以区分的完全沉浸式虚拟现实体验。
然而，一个问题是需要针对用户的左眼和右眼两者进行渲染，这加倍了图形处理器的负荷。此外，使矩形图像扭曲以便补偿头戴式显示器(HMD)内部的透镜。在图13中所示的示例中对此进行了展示。
每张扭曲图像通常是根据使用常规(“未扭曲”)平面投影技术所渲染的中间图像生成的。图14中的图像中展示了最终的扭曲图像在这种平面图像上将看起来如何。在此图示中，每15×15个像素中仅示出了10×10个，以便更好地使扭曲函数形状可视化并且使中间渲染图像更可见。像素朝向图像的边缘是稀疏的，暗示了在此中间图像中将被渲染的像素比将用于创建最终图像的像素更多。结果，进行了相当大的冗余工作。中间图像的上边缘和下边缘处的有用像素密度为1/18，在右边缘处，其为1/20，并且在右角中，所述像素密度仅为1/38(即每38个渲染像素一个有用像素)。
附图说明
通过以下结合附图的详细描述可以更好地理解本发明，在附图中：
图1是具有处理器的计算机系统的实施例的框图，所述处理器具有一个或多个处理器核多个和图形处理器；
图2是具有一个或多个处理器核、集成存储器控制器、以及集成图形处理器的处理器的一个实施例的框图；
图3是图形处理器的一个实施例的框图，所述图形处理器可以是分立式图形处理单元、或者可以是与多个处理核集成的图形处理器；
图4是用于图形处理器的图形处理引擎的实施例的框图；
图5是图形处理器的另一实施例的框图；
图6是包括处理元件阵列的线程执行逻辑的框图；
图7示出了根据实施例的图形处理器执行单元指令格式；
图8是图形处理器的另一实施例的框图，所述图形处理器包括图形流水线、媒体流水线、显示引擎、线程执行逻辑、以及渲染输出流水线；
图9A是示出根据实施例的图形处理器命令格式的框图；
图9B是示出根据实施例的图形处理器命令序列的框图；
图10示出了根据实施例的用于数据处理系统的示例性图形软件架构；
图11展示了根据实施例的可以用于制造集成电路以执行操作的示例性IP核开发系统；
图12展示了根据实施例的可以使用一个或多个IP核来制造的示例性片上系统集成电路；
图13展示了矩形图像如何扭曲以便补偿头戴式显示器(HMD)内部的透镜；
图14展示了最终扭曲图像在投影到平面图像上时看起来如何；
图15展示了一种根据本发明的一个实施例的渲染引擎；
图16A至图16B展示了在本发明的一个实施例中采用的示例性图块和图块集合；
图17展示了较高分辨率图块朝向图像的中心被定位的图块安排；
图18展示了在本发明的一个实施例中采用的各种不同的图块图案；
图19A至图19C展示了用于将不同分辨率的图块存储到存储器页中的技术；
图20展示了使用非均匀栅格化被栅格化的三种示例性mip-map层级以及使用滤波而映射的图块；以及
图21展示了一种根据本发明的一个实施例的方法。
具体实施方式
在以下描述中，出于解释的目的，阐述了许多具体的细节以便提供对本发明的以下描述的实施例的彻底理解。然而，对于本领域技术人员而言，可以在不具有这些具体细节中一些细节的情况下实践本发明的实施例将是明显的。在其他情况下，以框图的形式示出公知的结构和设备，以避免模糊本发明实施例的基本原理。
示例性图形处理器架构和数据类型
系统概述
图1是根据实施例的处理系统100的框图。在各实施例中，系统100包括一个或多个处理器102以及一个或多个图形处理器108，并且可以是单处理器桌面系统、多处理器工作站系统、或具有大量处理器102或处理器核107的服务器系统。在一个实施例中，系统100是被并入用于移动式、手持式、或嵌入式设备的片上系统(SoC)集成电路内的处理平台。
系统100的实施例可包括或并入基于服务器的游戏平台、游戏控制台，包括游戏与媒体控制台、移动游戏控制台、手持式游戏控制台、或在线游戏控制台。在一些实施例中，系统100是移动设备、智能电话、平板计算设备或移动互联网设备。数据处理系统100还可包括可穿戴设备(诸如智能手表可穿戴设备、智能眼镜设备、增强现实设备、或虚拟现实设备)、与所述可穿戴设备耦合、或者集成在所述可穿戴设备中。在一些实施例中，数据处理系统100是电视或机顶盒设备，所述电视或机顶盒设备具有一个或多个处理器102以及由一个或多个图形处理器108生成的图形界面。
在一些实施例中，所述一个或多个处理器102每个包括用于处理指令的一个或多个处理器核107，所述指令在被执行时执行系统和用户软件的操作。在一些实施例中，所述一个或多个处理器核107中的每个处理器核被配置用于处理特定的指令集109。在一些实施例中，指令集109可以促进复杂指令集计算(CISC)、精简指令集计算(RISC)、或经由超长指令字(VLIW)的计算。多个处理器核107可以各自处理不同的指令集109，所述指令集可以包括用于促进对其他指令集进行仿真的指令。处理器核107还可以包括其他处理设备，如数字信号处理器(DSP)。
在一些实施例中，处理器102包括高速缓存存储器104。取决于架构，处理器102可具有单个内部高速缓存或多级内部高速缓存。在一些实施例中，在处理器102的各部件之间共享所述高速缓存存储器。在一些实施例中，处理器102还使用外部高速缓存(例如，3级(L3)高速缓存或末级高速缓存(LLC))(未示出)，可以使用已知的高速缓存一致性技术在所述处理器核107之中共享所述外部高速缓存。寄存器堆106附加地包括在处理器102中，所述处理器可以包括用于存储不同类型数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器、和指令指针寄存器)。一些寄存器可以是通用寄存器，而其他寄存器可以专用于处理器102的设计。
在一些实施例中，处理器102耦合至处理器总线110，所述处理器总线用于在处理器102与系统100中的其他部件之间传输通信信号，诸如地址、数据或控制信号。在一个实施例中，系统100使用示例性‘中枢’系统架构，包括存储器控制器中枢116和输入输出(I/O)控制器中枢130。存储器控制器中枢116促进存储器设备与系统100的其它部件之间的通信，而I/O控制器中枢(ICH)130经由本地I/O总线提供与I/O设备的连接。在一个实施例中，存储器控制器中枢116的逻辑被集成在所述处理器内。
存储器设备120可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存设备、相变存储器设备、或者具有适当的性能以充当过程存储器的一些其它存储器设备。在一个实施例中，存储器设备120可作为系统100的系统存储器进行操作，以便存储数据122和指令121，以供在所述一个或多个处理器102执行应用或过程时使用。存储控制器中枢116还与可选的外部图形处理器112耦合，所述可选的外部图形处理器可以于处理器102中与所述一个或多个图形处理器108通信，从而执行图形和媒体操作。
在一些实施例中，ICH 130使得外围部件经由高速I/O总线连接至存储器设备120和处理器102。I/O外围部件包括但不限于音频控制器146、固件接口128、无线收发器126(例如，Wi-Fi、蓝牙)、数据存储设备124(例如，硬盘驱动器、闪存等)、以及用于将传统(例如，个人系统2(PS/2))设备耦合至所述系统的传统I/O控制器140。一个或多个通用串行总线(USB)控制器142连接输入设备，比如键盘和鼠标144组合。网络控制器134还可以耦合至ICH130。在一些实施例中，高性能网络控制器(未示出)耦合至处理器总线110。将认识到的是，所示出的系统100是示例性的而非限制性的，因为还可以使用以不同方式配置的其它类型的数据处理系统。例如，I/O控制器中枢130可以集成在所述一个或多个处理器102内，或者存储器控制器中枢116和I/O控制器中枢130可以集成在分立式外部图形处理器(诸如外部图形处理器112)内。
图2是处理器200的实施例的框图，所述处理器具有一个或多个处理器核202A-202N、集成存储器控制器214、以及集成图形处理器208。图2的具有与此处任何其他附图中的元件相同的参考号(或名称)的那些元件可采用与在本文中其他地方描述的方式相类似的任何方式进行操作或起作用，但不限于这些。处理器200可包括多达且包括由虚线框表示的附加核202N的附加核。处理器核202A-202N中的每个处理器核包括一个或多个内部高速缓存单元204A-204N。在一些实施例中，每个处理器核还可以访问一个或多个共享的高速缓存单元206。
内部高速缓存单元204A-204N和共享高速缓存单元206表示处理器200内部的高速缓存存储器层级结构。高速缓存存储器层级结构可以包括每个处理器核内的至少一级指令和数据高速缓存以及一级或多级共享中级高速缓存，诸如2级(L2)、3级(L3)、4级(L4)、或其他级的高速缓存，其中，最高级的高速缓存在外部存储器之前被分类为LLC。在一些实施例中，高速缓存一致性逻辑维持各高速缓存单元206与204A-204N之间的一致性。
在一些实施例中，处理器200还可以包括一组一个或多个总线控制器单元216和系统代理核210。所述一个或多个总线控制器单元216管理一组外围总线，比如一个或多个外围部件互连总线(例如，PCI、PCI快速总线)。系统代理核210提供对各处理器部件的管理功能。在一些实施例中，系统代理核210包括一个或多个集成存储器控制器214用于管理对各外部存储器设备(未示出)的访问。
在一些实施例中，处理器核202A-202N中的一个或多个处理器核包括对同步多线程的支持。在这种实施例中，系统代理核210包括用于在多线程处理过程中协调和操作核202A-202N的部件。系统代理核210可以附加地包括功率控制单元(PCU)，所述功率控制单元包括用于调节处理器核202A-202N的功率状态的逻辑和部件以及图形处理器208。
在一些实施例中，处理器200附加地包括用于执行图形处理操作的图形处理器208。在一些实施例中，图形处理器208耦合至共享高速缓存单元206集以及系统代理核210，所述系统代理核包括所述一个或多个集成存储器控制器214。在一些实施例中，显示控制器211与图形处理器208耦合以便将图形处理器输出驱动到一个或多个耦合的显示器。在一些实施例中，显示控制器211可以是经由至少一个互连与图形处理器耦合的单独模块，或者可以集成在图形处理器208或系统代理核210内。
在一些实施例中，基于环的互连单元212用于耦合处理器200的内部部件。然而，可以使用替代性互连单元，比如点到点互连、切换式互连、或其他技术，包括本领域众所周知的技术。在一些实施例中，图形处理器208经由I/O链路213与环形互连212耦合。
示例性I/O链路213代表多个I/O互连中的多个品种中的至少一种，包括促进各处理器部件与高性能嵌入式存储器模块218(比如eDRAM模块)之间的通信的封装体I/O互连。在一些实施例中，处理器核202-202N中的每个处理器核以及图形处理器208将嵌入式存储器模块218用作共享末级高速缓存。
在一些实施例中，处理器核202A-202N是执行相同指令集架构的均质核。在另一个实施例中，处理器核202A-202N就指令集架构(ISA)而言是同质的，其中，处理器核202A-N中的一个或多个处理器核执行第一指令集，而其他核中的至少一个核执行所述第一指令集的子集或不同的指令集。在一个实施例中，处理器核202A-202N就微架构而言是同质的，其中，具有相对较高功耗的一个或多个核与具有较低功耗的一个或多个功率核耦合。另外，处理器200可以实现在一个或多个芯片上或者被实现为具有除其他部件之外的所展示的部件的SoC集成电路。
图3是图形处理器300的框图，所述图形处理器可以是分立式图形处理单元、或者可以是与多个处理核集成的图形处理器。在一些实施例中，图形处理器经由到图形处理器上的寄存器的映射I/O接口并且利用被放置在处理器存储器中的命令与存储器进行通信。在一些实施例中，图形处理器300包括用于访问存储器的存储器接口314。存储器接口314可以是到本地存储器、一个或多个内部高速缓存、一个或多个共享外部高速缓存、和/或到系统存储器的接口。
在一些实施例中，图形处理器300还包括显示控制器302，所述显示控制器用于将显示输出数据驱动到显示设备320。显示控制器302包括用于显示器的一个或多个重叠平面的硬件以及多层视频或用户接口元件的组成。在一些实施例中，图形处理器300包括用于编码、解码、或者向、从或在一个或多个媒体编码格式之间进行媒体代码转换的视频编解码器引擎306，包括但不限于：运动图像专家组(MPEG)(诸如MPEG-2)、高级视频编码(AVC)格式(诸如H.264/MPEG-4 AVC)、以及电影&电视工程师协会(SMPTE)421 M/VC-1、和联合图像专家组(JPEG)格式(诸如JPEG、以及运动JPEG(MJPEG)格式)。
在一些实施例中，图形处理器300包括块图像转移(BLIT)引擎304以便执行二维(2D)栅格化器操作，包括例如，位边界块转移。然而，在一个实施例中，使用图形处理引擎(GPE)310的一个或多个部件执行2D图形操作。在一些实施例中，图形处理引擎310是用于执行图形操作的计算引擎，所述图形操作包括三维(3D)图形操作和媒体操作。
在一些实施例中，GPE 310包括用于执行3D操作的3D流水线312，比如使用作用于3D图元形状(例如，矩形、三角形等)的处理功能来渲染三维图像和场景。3D流水线312包括可编程且固定的功能元件，所述可编程且固定的功能元件在到3D/媒体子系统315的元件和/或生成的执行线程内执行各种任务。虽然3D流水线312可以用于执行媒体操作，但是GPE310的实施例还包括媒体流水线316，所述媒体流水线具体地用于执行媒体操作，诸如视频后处理和图像增强。
在一些实施例中，媒体流水线316包括固定功能或可编程逻辑单元以便代替、或代表视频编解码器引擎306来执行一种或多种专门的媒体操作，比如视频解码加速、视频解交织、以及视频编码加速。在一些实施例中，媒体流水线316附加地包括线程生成单元以便生成用于在3D/媒体子系统315上执行的线程。所生成的线程对3D/媒体子系统315中所包括的一个或多个图形执行单元执行对媒体操作的计算。
在一些实施例中，3D/媒体子系统315包括用于执行3D流水线312和媒体流水线316生成的线程的逻辑。在一个实施例中，流水线向3D/媒体子系统315发送线程执行请求，所述3D/媒体子系统包括用于仲裁并将各请求分派到可用的线程执行资源的线程分派逻辑。所述执行资源包括用于处理3D线程和媒体线程的图形执行单元阵列。在一些实施例中，3D/媒体子系统315包括用于线程指令和数据的一个或多个内部高速缓存。在一些实施例中，所述子系统还包括共享存储器(包括寄存器和可寻址存储器)以便在线程之间共享数据并用于存储输出数据。
3D/媒体处理
图4是根据一些实施例的图形处理器的图形处理引擎410的框图。在一个实施例中，GPE 410是图3中示出的GPE 310的版本。图4的具有与此处任何其他附图中的元件相同的参考号(或名称)的那些元件可采用与在本文中其他地方描述的方式相类似的任何方式进行操作或起作用，但不限于这些。
在一些实施例中，GPE 410与命令流送器403耦合，所述命令流送器向GPE 3D流水线412和媒体流水线416提供命令流。在一些实施例中，命令流送器403耦合至存储器，所述存储器可以是系统存储器、或内部高速缓存存储器和共享高速缓存存储器中的一个或多个高速缓存存储器。在一些实施例中，命令流送器403从存储器接收命令并将这些命令发送至3D流水线412和/或媒体流水线416。所述命令是从存储用于3D流水线412和媒体流水线416的环形缓冲器获取的指示。在一个实施例中，所述环形缓冲器可附加地包括存储多批多命令的批命令缓冲器。3D流水线412和媒体流水线416通过经由各自流水线内的逻辑执行操作或者通过将一个或多个执行线程分派至执行单元阵列414来处理所述命令。在一些实施例中，执行单元阵列414是可扩展的，从而使得所述阵列包括基于GPE 410的目标功率和性能层级的可变数量的执行单元。
在一些实施例中，采样引擎430与存储器(例如，高速缓存存储器或系统存储器)和执行单元阵列414耦合。在一些实施例中，采样引擎430为执行单元阵列414提供存储器访问机制，所述存储器访问机制允许执行阵列414从存储器读取图形和媒体数据。在一些实施例中，采样引擎430包括用于执行针对媒体的专门图像采样操作的逻辑。
在一些实施例中，采样引擎430中的所述专门媒体采样逻辑包括去噪/解交织模块432、运动估计模块434、以及图像缩放和滤波模块436。在一些实施例中，去噪/解交织模块432包括用于对经解码的视频数据执行去噪或解交织算法中的一项或多项的逻辑。解交织逻辑将交织的视频内容的交替字段组合为单个视频帧。所述去噪逻辑从视频和图像数据减少或去除数据噪声。在一些实施例中，所述去噪和解交织逻辑是运动自适应的并且使用基于在所述视频数据中检测到的运动量的空间或时间滤波。在一些实施例中，去噪/解交织模块432包括专门的运动检测逻辑(例如，在运动估计引擎434内)。
在一些实施例中，运动估计引擎434通过对视频数据执行视频加速功能(比如运动向量估计和预测)来为视频操作提供硬件加速。运动估计引擎确定运动向量，所述运动向量描述了连续视频帧之间的图像数据的变换。在一些实施例中，图形处理器媒体编解码器使用视频运动估计引擎434来对宏块级视频执行操作，对于其利用通用处理器来执行可以另外地是太计算密集型的。在一些实施例中，运动估计引擎434通常可用于图形处理器部件以便辅助视频解码和处理功能，所述视频解码和处理功能对于视频数据内的运动的方向或幅度是敏感或自适应的。
在一些实施例中，图像缩放和滤波模块436执行图像处理操作以便增强所生成的图像和视频的视觉质量。在一些实施例中，缩放和滤波模块436在向执行单元阵列414提供数据之前在采样操作过程中处理图像和视频数据。
在一些实施例中，GPE 410包括数据端口444，所述数据端口提供用于图形子系统访问存储器的附加机制。在一些实施例中，数据端口444针对操作促进存储器访问，所述操作包括渲染目标写入、恒定缓冲器读取、暂时存储器空间读区/写入、和媒体表面访问。在一些实施例中，数据端口444包括用于高速缓存对存储器的访问的高速缓存存储器空间。所述高速缓存存储器可以是单个数据高速缓存或者被分割为用于所述多个子系统的多个高速缓存，所述多个高速缓存经由数据端口访问存储器(例如，渲染缓冲器高速缓存、恒定缓冲器高速缓存等)。在一些实施例中，在执行单元阵列414中的执行单元上执行的线程经由耦合GPE 410的每个子系统的数据分布互连通过交换消息来与数据端口进行通信。
执行单元
图5是图形处理器500的另一实施例的框图。图5的具有与此处任何其他附图中的元件相同的参考号(或名称)的那些元件可采用与在本文中其他地方描述的方式相类似的任何方式进行操作或起作用，但不限于这些。
在一些实施例中，图形处理器500包括环形互连502、流水线前端504、媒体引擎537以及图形核580A-580N。在一些实施例中，环形互连502将图形处理器耦合到其它处理单元，包括其它图形处理器或者一个或多个通用处理器核。在一些实施例中，图形处理器是集成在多核处理系统内的多个处理器之一。
在一些实施例中，图形处理器500经由环形互连502接收多批命令。传入命令由流水线前端504中的命令流送器503来解译。在一些实施例中，图形处理器500包括可缩放执行逻辑，以用于经由(多个)图形核580A-580N执行3D几何处理和媒体处理。对于3D几何处理命令，命令流送器503将命令提供给几何流水线536。针对至少一些媒体处理命令，命令流送器503将所述命令供应至视频前端534，所述视频前端与媒体引擎537耦合。在一些实施例中，媒体引擎537包括用于视频和图像后处理的视频质量引擎(VQE)530以及用于提供硬件加速的媒体数据编码和解码的多格式编码/解码(MFX)533引擎。在一些实施例中，几何流水线536和媒体引擎537各自生成执行线程，所述执行线程用于由至少一个图形核580A提供的线程执行资源。
在一些实施例中，图形处理器500包括可扩展线程执行资源表征模块核580A-580N(有时被称为核分片)，各个可扩展线程执行资源表征模块核具有多个子核550A-550N、560A-560N(有时被称为核子分片)。在一些实施例中，图形处理器500可以具有任意数量的图形核580A至580N。在一些实施例中，图形处理器500包括图形核580A，所述图形核至少具有第一子核550A和第二子核560A。在其他实施例中，图形处理器是具有单个子核(例如，550A)的低功率处理器。在一些实施例中，图形处理器500包括多个图形核580A-580N，每个图形核包括一组第一子核550A-550N以及一组第二子核560A-560N。该组第一子核心550A-550N中的每个子核心至少包括第一组执行单元552A-552N和媒体/纹理采样器554A-554N。在该组第二子核心560A-560N中的每个子核心都至少包括第二组执行单元562A-562N和采样器564A-564N。在一些实施例中，每个子核550A-550N、560A-560N共享一组共享资源570A-570N。在一些实施例中，共享资源包括共享的高速缓存存储器和像素操作逻辑。其他共享资源也可以包括在图形处理器的各实施例中。
图6展示了线程执行逻辑600，所述线程执行逻辑包括在GPE的一些实施例中采用的处理元件阵列。图6的具有与此处任何其他附图中的元件相同的参考号(或名称)的那些元件可采用与在本文中其他地方描述的方式相类似的任何方式进行操作或起作用，但不限于这些。
在一些实施例中，线程执行逻辑600包括像素着色器602、线程分派器604、指令高速缓存606、包括多个执行单元608A-608N的可扩展执行单元阵列、采样器610、数据高速缓存612、以及数据端口614。在一个实施例中，所包括的部件经由互连结构而互连，所述互连结构链接至所述部件中的每个部件。在一些实施例中，线程执行逻辑600包括通过指令高速缓存606、数据端口614、采样器610以及执行单元阵列608A-608N中的一个或多个到存储器(例如，系统存储器或高速缓存存储器)的一个或多个连接。在一些实施例中，每个执行单元(例如，608A)是能够执行多个同步线程并针对每个线程并行地处理多个数据元素的个体向量处理器。在一些实施例中，执行单元阵列608A-608N包括任意数量的单独执行单元。
在一些实施例中，执行单元阵列608A-608N主要用于执行“着色器”程序。在一些实施例中，阵列608A-608N中的执行单元执行指令集(所述指令集包括对许多标准3D图形着色器指令的本机支持)，从而使得以最小的转换执行来自图形库(例如，Direct 3D和OpenGL)的着色器程序。执行单元支持顶点和几何处理(例如，顶点程序、几何程序、顶点着色器)、像素处理(例如，像素着色器、片段着色器)以及通用处理(例如，计算和媒体着色器)。
执行单元阵列608A-608N中的每个执行单元在数据元素阵列上进行操作。数据元素的数量是“执行大小”、或针对指令的通道数量。执行通道是执行数据元素访问、掩盖、和指令内的流控制的逻辑单元。通道的数量可以与针对特定图形处理器的物理算术逻辑单元(ALU)或浮点单元(FPU)的数量无关。在一些实施例中，执行单元608A-608N支持整数和浮点数据类型。
所述执行单元指令集包括多个单指令多数据(SIMD)指令。各个数据元素可以作为打包数据类型存储在寄存器中，并且所述执行单元将基于所述元素的数据大小处理各个元素。例如，当在256位宽的向量上进行操作时，所述256位的向量存储在寄存器中，并且所述执行单元作为四个单独64位压缩数据元素(四倍字长(QW)大小的数据元素)、八个单独32位压缩数据元素(双倍字长(DW)大小的数据元素)、十六个单独16位压缩数据元素(字长(W)大小的数据元素)、或三十二个单独8位数据元素(字节(B)大小的数据元素)在所述向量上进行操作。然而，不同的向量宽度和寄存器大小是可能的。
一个或多个内部指令高速缓存(例如，606)包括在所述线程执行逻辑600中以便高速缓存所述执行单元的线程指令。在一些实施例中，一个或多个数据高速缓存(例如，612)被包括用于高速缓存在线程执行过程中的线程数据。在一些实施例中，采样器610被包括用于为3D操作提供纹理采样并且为媒体操作提供媒体采样。在一些实施例中，采样器610包括专门的纹理或媒体采样功能，以便在向执行单元提供采样数据之前在采样处理过程中处理纹理或媒体数据。
在执行过程中，所述图形和媒体流水线经由线程生成和分派逻辑向线程执行逻辑600发送线程发起请求。在一些实施例中，线程执行逻辑600包括本地线程分派器604，其仲裁来自图形流水线和媒体流水线的线程发起请求，并在一个或多个执行单元608A-608N上实例化所请求的线程。例如，几何流水线(例如，图5的536)分派顶点处理、曲面细分(tessellation)或几何处理线程到线程执行逻辑600(图6)。在一些实施例中，线程分派器604还可处理来自执行着色器程序的运行时间线程生成请求。
一旦一组几何对象已经被处理并被栅格化成像素数据，则像素着色器602被调用以便进一步计算输出信息并且使得结果被写入到输出表面(例如，色彩缓冲器、深度缓冲器、模板缓冲器等)。在一些实施例中，像素着色器602计算各顶点属性的值，所述各顶点属性跨栅格化对象被内插。在一些实施例中，像素着色器602然后执行应用编程接口(API)供应的像素着色器程序。为了执行所述像素着色器程序，像素着色器602经由线程分派器604将线程分派至执行单元(例如，608A)。在一些实施例中，像素着色器602使用采样器610中的纹理采样逻辑来访问存储器中所存储的纹理映射中的纹理数据。对纹理数据和输入几何数据的算术运算计算每个几何碎片的像素颜色数据，或丢弃一个或多个像素而不进行进一步处理。
在一些实施例中，数据端口614提供存储器访问机制，供线程执行逻辑600将经处理的数据输出至存储器以便在图形处理器输出流水线上进行处理。在一些实施例中，数据端口614包括或耦合至一个或多个高速缓存存储器(例如，数据高速缓存612)从而经由数据端口高速缓存数据以供存储器访问。
图7是框图，展示了根据一些实施例的图形处理器指令格式700。在一个或多个实施例中，图形处理器执行单元支持具有多种格式的指令的指令集。实线框展示了通常包括在执行单元指令中的部件，而虚线包括可选的部件或仅包括在指令子集中的部件。在一些实施例中，所描述和展示的指令格式700是宏指令，因为它们是供应至执行单元的指令，这与从指令解码产生的微操作相反(一旦所述指令被处理)。
在一些实施例中，图形处理器执行单元本机地支持采用128位格式710的指令。64位压缩指令格式730可用于基于所选择的指令、指令选项、以及操作数量的一些指令。本机128位格式710提供对所有指令选项的访问，而一些选项和操作限制在64位格式730中。64位格式730中可用的本地指令根据实施例而不同。在一些实施例中，使用索引字段713中的一组索引值将指令部分地压紧。所述执行单元硬件基于索引值来参考一组压缩表，并使用所述压缩表输出来重构采用128位格式710的本地指令。
针对每种格式，指令操作码712限定了所述执行单元要执行的操作。所述执行单元跨每个操作数的所述多个数据元素来并行地执行每条指令。例如，响应于添加指令，所述执行单元跨每个颜色通道执行同步添加操作，所述颜色通道表示纹理元素或图片元素。默认地，所述执行单元跨所述操作数的所有数据通道执行每条指令。在一些实施例中，指令控制字段714使能控制某些执行选项，诸如通道选择(例如，预测)以及数据通道排序(例如，重排)。针对128位的指令710，执行大小字段716限制了将并行执行的数据通道的数量。在一些实施例中，执行大小字段716不可用于64位的压紧指令格式730。
一些执行单元指令具有多达三个操作数，包括两个源操作数src0 722、src1 722和一个目的地718。在一些实施例中，执行单元支持双目的地指令，其中，这些目的地之一是隐式的。数据操控指令可以具有三个源操作数(例如，SRC2 724)，其中，指令操作码712确定源操作数的数量。指令的最后一个源操作数可以是指令所传递的中间值(例如，硬编码值)。
在一些实施例中，128位的指令格式710包括访问/寻址模式信息726，所述访问/寻址模式信息例如限定了是使用直接寄存器寻址模式还是间接寄存器寻址模式。当使用直接寄存器寻址模式时，直接由指令710中的位来提供一个或多个操作数的寄存器地址。
在一些实施例中，128位指令格式710包括访问/地址模式字段726，其指定指令的地址模式和/或访问模式。在一个实施例中，访问模式用于限定指令的数据访问校准。一些实施例支持访问模式，包括16字节校准访问模式和1字节校准访问模式，其中访问模式的字节校准确定了指令操作数的访问校准。例如，当在第一模式下时，指令710可以使用字节对齐寻址以用于源操作数和目的地操作数，并且当在第二模式下时，指令710可以使用16字节对齐寻址以用于所有的源操作数和目的地操作数。
在一个实施例中，访问/地址模式字段726的地址模式部分判定指令是使用直接寻址还是间接寻址。当使用直接寄存器寻址模式时，指令710中的位直接提供一个或多个操作数的寄存器地址。当使用间接寄存器寻址模式时，可以基于指令中的地址寄存器值和地址立即字段来计算一个或多个操作数的寄存器地址。
在一些实施例中，基于操作码712位字段对指令进行分组从而简化操作码解码740。针对8位的操作码，第4、5、和6位允许执行单元确定操作码的类型。所示出的精确操作码分组仅是示例性的。在一些实施例中，移动和逻辑操作码分组742包括数据移动和逻辑指令(例如，移动(mov)、比较(cmp))。在一些实施例中，移动和逻辑组742共享五个最高有效位(MSB)，其中移动(mov)指令采用0000xxxxb的形式，而逻辑指令采用0001xxxxb的形式。流控制指令组744(例如，调用(call)、跳(jmp))包括采用0010xxxxb(例如，0x20)的指令。杂项指令组746包括多个指令的混合，所述指令包括采用01111xxxxb(例如，0x30)形式的同步指令(例如，等待、发送)。并行数学指令组748包括采用0100xxxxb形式(例如，0x40)的部件方面的算术指令(例如，加(add)、减(mul))。并行数学分组748跨数据通道并行地执行算术运算。向量数学分组750包括按照0101xxxxb形式(例如，0x50)的算术指令(例如，dp4)。向量数学分组对向量操作数执行算术运算，比如点积运算。
图形流水线
图8是图形处理器800的另一实施例的框图。图8的具有与此处任何其他附图中的元件相同的参考号(或名称)的那些元件可采用与在本文中其他地方描述的方式相类似的任何方式进行操作或起作用，但不限于这些。
在一些实施例中，图形处理器800包括图形流水线820、媒体流水线830、显示引擎840、线程执行逻辑850、以及渲染输出流水线870。在一些实施例中，图形处理器800是包括一个或多个通用处理核的多核处理系统内的图形处理器。图形处理器受到至一个或多个控制寄存器(未示出)的寄存器写入的控制或者经由环形互连802经由下发至图形处理器800的命令被控制。在一些实施例中，环形互连802将图形处理器800耦合至其他处理部件，比如其他图形处理器或通用处理器。来自环形互连802的命令通过命令流送器803被解译，所述命令流送器将指令供应至图形流水线820或媒体流水线830的单独部件。
在一些实施例中，命令流送器803引导顶点获取器805的操作，其从存储器读取顶点数据并执行命令流送器803所提供的顶点处理命令。在一些实施例中，顶点拾取器805将顶点数据提供给顶点着色器807，所述顶点着色器对每个顶点执行坐标空间转换和照明操作。在一些实施例中，顶点拾取器805和顶点着色器807通过经由线程分派器831向执行单元852A、852B分派执行线程来执行顶点处理指令。
在一些实施例中，执行单元852A、852B是具有用于执行图形和媒体操作的指令集的向量处理器阵列。在一些实施例中，执行单元852A、852B具有附接的L1高速缓存851，其专用于每个阵列或在阵列之间共享。所述高速缓存可以被配置为数据高速缓存、指令高速缓存、或单个高速缓存，所述单个高速缓存被分区为包含不同分区中的数据和指令。
在一些实施例中，图形流水线820包括用于执行3D对象的硬件加速镶嵌的镶嵌部件。在一些实施例中，可编程的外壳着色器811配置镶嵌操作。可编程域着色器817提供对镶嵌输出的后端评估。镶嵌器813在外壳着色器811的方向上进行操作并且包含专用逻辑，所述专用逻辑用于基于粗糙几何模型来生成详细的几何对象集合，所述粗糙几何模型作为输入被提供至图形流水线820。在一些实施例中，如果未使用镶嵌，则可以对镶嵌部件811、813、817进行旁路。
在一些实施例中，完整的几何对象可以由几何着色器819经由被分派至所述执行单元852A、852B的一个或多个线程来处理、或者可以直接行进至剪裁器829。在一些实施例中，几何着色器在整个几何对象(而非顶点或者如图形流水线的先前级中的顶点分片)上进行操作。如果禁用所述镶嵌，则所述几何着色器819从所述顶点着色器807接收输入。在一些实施例中，几何着色器819可由几何着色器程序编程以便在镶嵌单元被禁用时执行几何镶嵌。
在栅格化之前，剪裁器829处理顶点数据。剪裁器829可以是固定功能的剪裁器或者具有剪裁和几何着色器功能的可编程剪裁器。在一些实施例中，渲染输出流水线870中的栅格化器和深度测试部件873分派像素着色器以将几何对象转换成其每像素表示。在一些实施例中，像素着色器逻辑包括在线程执行逻辑850中。在一些实施例中，应用可对栅格化器873进行旁路并且经由流出单元823访问未栅格化的顶点数据。
图形处理器800具有互连总线、互连结构、或某个其他的互连机制，所述互连机制允许数据和消息在所述图形处理器的主要部件之中传递。在一些实施例中，执行单元852A、852B和(多个)相关联的高速缓存851、纹理和媒体采样器854、以及纹理/采样器高速缓存858经由数据端口856进行互连，以便执行存储器访问并且与所述处理器的渲染输出流水线部件进行通信。在一些实施例中，采样器854、高速缓存851、858以及执行单元852A、852B各自具有单独的存储器访问路径。
在一些实施例中，渲染输出流水线870包含光栅化器和深度测试部件873，其将基于顶点的对象转换为相关联的基于像素的表示。在一些实施例中，栅格化逻辑包括用于执行固定功能三角形和线栅格化的窗口器/掩蔽器单元。相关联的渲染高速缓存878和深度高速缓存879在一些实施例中也是可用的。像素操作部件877对所述数据执行基于像素的操作，尽管在一些实例中，与2D操作(例如，利用混合的位块图像转移)相关联的像素操作由所述2D引擎841来执行、或者在显示时间由所述显示控制器843使用重叠显示平面来代替。在一些实施例中，共享的L3高速缓存875可用于所有的图形部件，从而允许在无需使用主系统存储器的情况下共享数据。
在一些实施例中，图形处理器媒体流水线830包括媒体引擎837和视频前端834。在一些实施例中，视频前端834从命令流送器803接收流水线命令。在一些实施例中，媒体流水线830包括单独的命令流送器。在一些实施例中，视频前端834在将所述命令发送至媒体引擎837之前处理媒体命令。在一些实施例中，媒体引擎337包括用于生成线程以用于经由线程分派器831分派至线程执行逻辑850的线程生成功能。
在一些实施例中，图形处理器800包括显示引擎840。在一些实施例中，显示引擎840在处理器800外部并且经由环形互连802、或某个其他互连总线或机构耦合至图形处理器。在一些实施例中，显示引擎840包括2D引擎841和显示控制器843。在一些实施例中，显示引擎840包含能够独立于3D流水线而操作的专用逻辑。在一些实施例中，显示控制器843与显示设备(未示出)耦合，所述显示设备可以是系统集成显示设备(如在膝上型计算机中)、或者经由显示设备连接器附接的外部显示设备。
在一些实施例中，图形流水线820和媒体流水线830可配置成用于基于多个图形和媒体编程接口执行操作并且并非专用于任何一种应用编程接口(API)。在一些实施例中，图形处理器的驱动器软件将专用于特定图形或媒体库的API调度转换成可由图形处理器处理的命令。在一些实施例中，为来自科纳斯(Khronos)集团的开放图形库(OpenGL)和开放计算语言(OpenCL)、来自微软公司的Direct 3D库提供支持、或者可以向OpenGL和D3D两者提供支持。还可以为开源计算机视觉库(OpenCV)提供支持。如果可做出从未来API的流水线到图形处理器的流水线的映射，则具有兼容3D流水线的未来API也将受到支持。
图形流水线编程
图9A是框图，展示了根据一些实施例的图形处理器命令格式900。图9B是框图，展示了根据实施例的图形处理器命令序列910。图9A中的实线框示出了一般包括在图形命令中的组件，而虚线包括任选的或仅包括在所述图形命令的子集中的组件。图9A的示例性图形处理器命令格式900包括用于标识所述命令的目标客户端902、命令操作代码(操作码)904、以及用于所述命令的相关数据906的数据字段。一些命令中还包括子操作码905和命令大小908。
在一些实施例中，客户端902限定了处理命令数据的图形设备的客户端单元。在一些实施例中，图形处理器命令解析器检查每个命令的客户端字段以便调整对命令的进一步处理并将命令数据路由至合适的客户端单元。在一些实施例中，图形处理器客户端单元包括存储器接口单元、渲染单元、2D单元、3D单元、和媒体单元。每个客户端单元具有对命令进行处理的相应处理流水线。一旦命令被客户端单元接收到，客户端单元就读取操作码904以及子操作码905(如果存在的话)从而确定要执行的操作。客户端单元使用数据字段906内的信息来执行命令。针对一些命令，期望明确的命令大小908来限定命令的大小。在一些实施例中，命令解析器基于命令操作码自动地确定命令中的至少一些命令的大小。在一些实施例中，经由双倍字长的倍数对命令进行对齐。
图9B中的流程图示出了示例性图形处理器命令序列910。在一些实施例中，以图形处理器的实施例为特征的数据处理系统的软件或固件使用所示出的命令序列的版本来启动、执行并终止图形操作集合。仅出于示例性目的示出并描述了样本命令序列，如实施例并不限于这些特定命令或者此命令序列。而且，所述命令可以作为一批命令以命令序列被下发，从而使得图形处理器将以至少部分同时的方式处理命令序列。
在一些实施例中，图形处理器命令序列910可以以流水线冲刷(Flush)命令912开始以便使得任一活跃图形流水线完成针对所述流水线的当前未决命令。在一些实施例中，3D流水线922和媒体流水线924不同时进行操作。执行流水线冲刷以使得所述活动图形流水线完成任何未决命令。响应于流水线冲刷，用于图形处理器的命令解析器将停止命令处理直到活跃绘画引擎完成未决操作并且使得相关的读高速缓存失效。可选地，渲染高速缓存中被标记为‘脏’的任何数据可以被冲刷到存储器中。在一些实施例中，流水线冲刷命令912可以用于流水线同步或者用在将图形处理器置于低功率状态之前。
在一些实施例中，当命令序列需要图形处理器在流水线之间明确地切换时，使用流水线选择命令913。在一些实施例中，在下发流水线命令之前在执行情境中仅需要一次流水线选择命令913，除非所述情境要下发针对两条流水线的命令。在一些实施例中，在经由流水线选择命令913的流水线切换之前正好需要流水线冲刷命令912。
在一些实施例中，流水线控制命令914配置用于操作的图形流水线并且用于对3D流水线922和媒体流水线924进行编程。在一些实施例中，流水线控制命令914配置活跃流水线的流水线状态。在一个实施例中，流水线控制命令914用于流水线同步并且用于在处理一批命令之前清除来自活跃流水线内的一个或多个高速缓存存储器中的数据。
在一些实施例中，返回缓冲器状态命令916用于配置返回缓冲器的集合以供相应的流水线写入数据。一些流水线操作需要分配、选择、或配置一个或多个返回缓冲器，在处理过程中所述操作将中间数据写入所述一个或多个返回缓冲器中。在一些实施例中，图形处理器还使用一个或多个返回缓冲器以便存储输出数据并且执行跨线程通信。在一些实施例中，返回缓冲器状态916包括选择返回缓冲器的大小和数量以用于流水线操作集合。
命令序列中的剩余命令基于用于操作的活跃流水线而不同。基于流水线判定920，所述命令序列被定制用于以3D流水线状态930开始的3D流水线922、或者在媒体流水线状态940处开始的媒体流水线924。
针对3D流水线状态930的命令包括针对顶点缓冲器状态、顶点元素状态、恒定色彩状态、深度缓冲器状态、以及在处理3D图元命令之前待配置的其他状态变量的3D状态设置命令。至少部分地基于使用中的特定3D API来确定这些命令的值。在一些实施例中，3D流水线状态930命令还能够选择性地禁用或旁路掉特定流水线元件(如果将不使用那些元件的话)。
在一些实施例中，3D图元932命令用于提交待由3D流水线处理的3D图元。经由3D图元932命令被传递至图形处理器的命令和相关联的参数被转发至图形流水线中的顶点拾取函数中。所述顶点拾取函数使用3D图元932命令数据来生成顶点数据结构。所述顶点数据结构存储在一个或多个返回缓冲器中。在一些实施例中，3D图元932命令用于经由顶点着色器对3D图元执行顶点操作。为了处理顶点着色器，3D流水线922将着色器执行线程分派至图形处理器执行单元。
在一些实施例中，经由执行934命令或事件触发3D流水线922。在一些实施例中，寄存器写入触发命令执行。在一些实施例中，经由命令序列中的‘go’或‘kick’命令来触发执行。在一个实施例中，使用流水线同步命令来触发命令执行以便通过图形流水线冲刷命令序列。3D流水线将针对3D图元来执行几何处理。一旦完成操作，则对所产生的几何对象进行栅格化，并且像素引擎对所产生的像素进行着色。针对那些操作，还可以包括用于控制像素着色和像素后端操作的附加命令。
在一些实施例中，当执行媒体操作时，图形处理器命令序列910跟随在媒体流水线924路径之后。一般地，针对媒体流水线924进行编程的具体用途和方式取决于待执行的媒体或计算操作。在媒体解码过程中，特定的媒体解码操作可以被卸载到所述媒体流水线。在一些实施例中，还可对媒体流水线进行旁路，并且可使用由一个或多个通用处理核提供的资源来整体地或部分地执行媒体解码。在一个实施例中，媒体流水线还包括用于通用图形处理器单元(GPGPU)操作的元件，其中，所述图形处理器用于使用计算着色器程序来执行SIMD向量运算，所述计算着色器程序与渲染图形图元不是明确相关的。
在一些实施例中，以与3D流水线922相似的方式对媒体流水线924进行配置。在媒体对象命令942之前，将一组媒体流水线状态命令940分派或放置到命令队列中。在一些实施例中，媒体流水线状态命令940包括用于配置媒体流水线元件的数据，所述媒体流水线元件将用于处理媒体对象。这包括用于在媒体流水线内配置视频解码和视频编码逻辑的数据，诸如编码或解码格式。在一些实施例中，媒体流水线状态命令940还支持将一个或多个指针用于包含一批状态设置的“间接”状态元件。
在一些实施例中，媒体对象命令942将指针供应至媒体对象以用于由媒体流水线进行处理。媒体对象包括存储器缓冲器，所述存储器缓冲器包含待处理的视频数据。在一些实施例中，在下发媒体对象命令942之前，所有的媒体流水线状态必须是有效的。一旦流水线状态被配置并且媒体对象命令942被排队，则经由执行944命令或等效的执行事件(例如，寄存器写入)来触发媒体流水线924。然后可以通过由3D流水线922或媒体流水线924提供的操作对来自媒体流水线924的输出进行后处理。在一些实施例中，以与媒体操作类似的方式来配置和执行GPGPU操作。
图形软件结构
图10展示了根据一些实施例的数据处理系统1000的示例性图形软件架构。在一些实施例中，软件架构包括3D图形应用1010、操作系统1020、以及至少一个处理器1030。在一些实施例中，处理器1030包括图形处理器1032以及一个或多个通用处理器核1034。图形应用1010和操作系统1020各自在数据处理系统的系统存储器1050中执行。
在一些实施例中，3D图形应用1010包含一个或多个着色器程序，所述一个或多个着色器程序包括着色器指令1012。着色器语言指令可以采用高级着色器语言，诸如高级着色器语言(HLSL)或OpenGL着色器语言(GLSL)。所述应用还包括可执行指令1014，所述可执行指令采用适合用于由所述通用处理器核1034执行的机器语言。所述应用还包括由顶点数据限定的图形对象1016。
在一些实施例中，操作系统1020可以是来自微软公司的 操作系统、专用UNIX式操作系统、或使用Linux内核变体的开源UNIX式操作系统。当在使用Direct 3D API时，操作系统1020使用前端着色器编译器1024以便将采用HLSL的任何着色器指令1012编译成低级着色器语言。所述编译可以是即时(JIT)编译，或者所述应用可执行着色器预编译。在一些实施例中，在对3D图形应用1010进行编译的过程中，将高级着色器编译成低级着色器。
在一些实施例中，用户模式图形驱动器1026包含后端着色器编译器1027，所述后端着色器编译器用于将着色器指令1012变换成硬件专用的表示。当在使用OpenGL API时，将采用GLSL高级语言的着色器指令1012传递至用户模式图形驱动器1026以用于编译。在一些实施例中，用户模式图形驱动器1026使用操作系统内核模式功能1028来与内核模式图形驱动器1029进行通信。在一些实施例中，内核模式图形驱动器1029与图形处理器1032进行通信以便分派命令和指令。
IP核实现方式
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的代表性代码实现，所述机器可读介质表示和/或限定集成电路(诸如处理器)内的逻辑。例如，所述机器可读介质可以包括表示处理器内的各个逻辑的指令。当由机器读取时，所述指令可以使所述机器制造用于执行在此描述的技术的逻辑。这类表示(称为“IP核”)是集成电路的逻辑的可重复使用单元，所述可重复使用单元可以作为对集成电路的结构进行描述的硬件模型而存储在有形、机器可读介质上。可以将硬件模型供应至在制造集成电路的制造机器上加载硬件模型的各消费者或制造设施。可以制造集成电路，从而使得所述电路执行与在此描述的实施例中的任一实施例相关联地描述的操作。
图11是框图，展示了根据实施例的可以用于制造集成电路以执行操作的IP核开发系统1100。IP核开发系统1100可以用于生成可并入到更大的设计中或用于构建整个集成电路(例如，SOC集成电路)的模块化、可重复使用设计。设计设施1130可采用高级编程语言(例如，C/C++)生成对IP核设计的软件仿真1110。软件仿真1110可用于设计、测试并验证IP核的行为。然后可由仿真模型1100来创建或合成寄存器传输级(RTL)设计。RTL设计1115是对硬件寄存器之间的数字信号的流动进行建模的集成电路(包括使用建模的数字信号执行的相关联逻辑)的行为的抽象。除了RTL设计1115之外，还可以创建、设计或合成逻辑电平或晶体管电平处的较低层次设计。由此，初始设计和仿真的具体细节可以发生变化。
可以由设计设施将RTL设计1115或等效方案进一步合成为硬件模型1120，所述硬件模型可以采用硬件描述语言(HDL)或物理设计数据的某种其他表示。可以进一步仿真或测试HDL以验证IP核设计。可使用非易失性存储器1140(例如，硬盘、闪存、或任何非易失性存储介质)来存储IP核设计以用于递送至第3方制造设施1165。可替代地，可以通过有线连接1150或无线连接1160来传输(例如，经由互联网)IP核设计。制造设施1165然后可以制造至少部分地基于IP核设计的集成电路。所制造的集成电路可被配置用于执行根据在此描述的至少一个实施例的操作。
图12是框图，展示了根据实施例的可以使用一个或多个IP核来制造的示例性片上系统集成电路1200。示例性集成电路包括一个或多个应用处理器1205(例如，CPU)、至少一个图形处理器1210，并且可以附加地包括图像处理器1215和/或视频处理器1220，其中的任一项可以是来自相同或多个不同设计设施的模块化IP核。所述集成电路包括外围或总线逻辑，包括USB控制器1225、UART控制器1230、SPI/SDIO控制器1235和I2S/I2C控制器1240。另外，所述集成电路可包括显示设备1245，所述显示设备耦合至高清多媒体接口(HDMI)控制器1250和移动行业处理器接口(MIPI)显示界面1255中的一项或多项。可以由闪存子系统1260(包括闪存和闪存控制器)来提供存储。可以经由存储器控制器1265来提供存储器接口以访问SDRAM或SRAM存储器设备。一些集成电路附加地嵌入式安全引擎1270。
另外，其他逻辑和电路可以包括在集成电路1200的处理器中，包括附加图形处理器/核、外围接口控制器、或通用处理器核。
用于非均匀帧缓冲器栅格化的装置和方法
为了提供更高效的栅格化，本发明的一个实施例包括高效地降低图像在指定区域内的渲染分辨率的硬件。与当前图形处理单元(GPU)(其中，已渲染图像中的所有像素跨所述图像具有相同的预定义像素间隔)相较而言，以下所述的非均匀帧缓冲器栅格化器允许像素间隔在所述图像上发生变化，其方式为使得栅格化极其高效，从而使得需要进行少许修改以便实现期望的结果。通过改变栅格化的像素间隔，着色执行和帧缓冲器访问(深度和颜色)的数量大幅减少。
本发明的基本原理可以被实现用于提升各种不同应用的栅格化效率。如以上所提及的，例如，在当前虚拟现实渲染系统中，像素朝向图像的边缘是稀疏的，这要求有待渲染的像素比将用于创建最终图像的像素更多。因此，当用于虚拟现实渲染时，本发明的实施例可以用于降低朝向中间图像的边缘和角的渲染分辨率。然而，应当注意的是，本发明的基本原理不限于虚拟现实或任何特定的应用。
如在此使用的，“图像像素”(或者仅简称为“像素”)是已渲染图像的像素。“刻度像素”(scaled pixel，SP)是包围一个或多个图像像素的矩形。“比例因子”是刻度像素与图像像素之间的尺寸比率。“图块”是包含固定数量(W×H)的刻度像素的矩形区域。被图块覆盖的图像像素的数量取决于比例因子。
图块可以是存储器页或者任何其他尺寸相关的缓冲器区域。在当前系统中，刻度像素与图像中的像素存在一一对应关系。相较而言，在本发明的一个实施例中，图块可以对应于W×H个图像像素、2W×2H个图像像素或者4W×4H个图像像素，例如分别对应于1×1、2×2或4×4的比例因子。如以下所讨论的，固定功能栅格化器可以被适配用于高效地处理这种非均匀帧缓冲器，并且可以以高质量高效地对最终缓冲器进行滤波。使用这些技术，可能的是朝向边缘对图像像素密度1/(4×4)＝1/16进行栅格化，从而使得渲染这种图块与直接渲染图像像素相比快大约16倍。在一个实施例中，编程器可以确定图像之上的比例因子。
在以下讨论中，出于解释的目的，将做出关于图块大小、比例因子和其他变量的某些假设。然而，应当清楚的是，可以使用其他大小、比例因子等来实现本发明的基本原理。在以上讨论中，假设图块具有4×4个刻度像素(SP)并且可能的比例因子为1×1、2×2和4×4，则意味着图块可以分别对应于4×4图像像素、8×8图像像素、或16×16图像像素。在其他实施例中，还可以使用非对称比例因子，诸如2×4和4×1等。
图15展示了根据本发明的一个实施例的渲染引擎870，所述渲染引擎包括用于存储图形数据的存储器1530(例如，一个帧缓冲器或一组帧缓冲器)以及用于执行如本文中所描述的非均匀栅格化的栅格化器单元1500。渲染引擎870可以在图形处理器架构内实现，诸如以上关于图1至图12所描述的那些。然而，本发明的基本原理不限于任何特定的GPU架构。将在对渲染引擎在不同级别处的操作的详细描述之后来首先提供对渲染引擎870的简要概述。
在一个实施例中，限定待渲染表面的三角形或其他多边形1510由图形处理器的前端生成并且被输入到栅格化器单元1510。非均匀栅格化逻辑1512首先测试每个刻度像素以判定由每个图块限定的正方形、矩形或其他形状是否与正在渲染的三角形重叠。若是，则非均匀栅格化逻辑1512继续这些图块的每样本测试。例如，可以使用以下讨论的非均匀边缘函数。
在一个实施例中，非均匀栅格化器1514以图像的不同部分的不同分辨率进行栅格化(例如，使用不同图块和图块的多个部分的不同比例因子)。非均匀栅格化被执行的特定方式(包括用于限定图块的不同分辨率图案的比例因子)由布局位1513来指定，所述布局位可以基于针对其生成图像的应用的已知特性来预先选择。例如，如以上所提及的，针对虚拟现实应用，朝向每个图像的外围的图块可以以比中间区域中的图块相对较低的分辨率被渲染。还可以基于提供给栅格化器单元1500的反馈信息来动态生成每个图像帧的布局位1513，诸如响应于如下所讨论的跟踪用户的视线。
在一个实施例中，图块存储逻辑1516然后以高效方式将非均匀栅格化的结果存储在存储器1530内。如以下所讨论的，例如，图块存储逻辑1516可以使用mip map层级结构或者“原位”存储方案将图像稀疏地存储在存储器中。
为了进一步展示本发明的不同实施例的操作，将提供各种具体的细节，诸如具体的图块大小和形状、刻度像素的大小和形状以及存储器存储安排。然而，应当注意的是，本发明的基本原理不限于这些具体的实现方式细节。
在图16A中，展示了一组示例性3×2图块1602。每个图块(诸如图块1601(用虚线方形突出显示))包括4×4个图像像素1603以及图块中心1604(用X标记)。典型的层级栅格化器可以进行测试以判定4×4个像素周围的方形是否与正在渲染的三角形重叠。若是，则栅格化器继续每样本测试。为了使此过程更高效，可以在4×4图块1601的中心1604处计算边缘函数的值e(x,y)。然后以两种不同的方式来使用此值。首先，当栅格化器已经确定三角形与图块重叠时，仅对4×4图块的中心处的边缘函数值进行偏移以便计算样本的边缘函数值。例如，边缘函数可以被实现为：
e(x,y)＝a*x+b*y+c，
其中，a、b和c是根据三角形的顶点在三角形设置中计算的常数。样本的边缘函数可以被估算为：
ec+a*xP+b*yP
在此示例中，ec是在图块的中心处估算的边缘函数，并且(xp，yp)是待估计样本的局部坐标(即相对于每个图块的中心的“局部”)。例如，在图16A中所示的图像中，最接近图块中心的四个样本具有坐标：(±0.5，±0.5)。
在一个实施例中，非均匀栅格化器1514针对图块中所使用的每个可能的比例因子选择刻度像素的不同坐标列表(xp，yp)。例如，如图16B中所展示的，针对具有4×4个图像像素1612(即刻度像素与图像像素之间的比例为1:1)的图块，从中心到最接近图块中心的第一样本中的每个第一样本的偏移为(±0.5，±0.5)。针对具有8×8个图像像素(即4×4个刻度像素，每个刻度像素包括2×2个图像像素)的图块1611，从中心到最接近图块中心的第一样本中的每个第一样本的偏移为(±1.0，±1.0)。最后，针对具有16×16个图像像素(即4×4个刻度像素，每个刻度像素包括4×4个图像像素)的图块1610，从中心到接近图块中心的第一样本中的每一个的偏移为(±2.0，±2.0)。因此，为了确保像素之间的适当偏移，非均匀栅格化器1514将基于当前正在栅格化的图块的类型来选择这些偏移。如以上所提及的，在一个实施例中，这通过维持用于生成图块的不同比例因子中的每个比例因子的不同坐标列表(xp，yp)来完成。
此外，在一个实施例中，非均匀栅格化器1514在确定如何仅使用加法而从一个图块中心遍历到相邻图块中心时对这些比例因子进行解析。例如，针对具有4×4个图像像素的图块1612，为了遍历到图块(立即到当前图块的右边)，可执行以下计算：ec＝ec+a*4，其中，a用于竖直遍历。计算ec＝ec+b*4可以用于竖直遍历。在此示例中，因数4是从图块宽度/高度为4个图像像素得出的。针对具有8×8个图像像素的图块1611，这些等式变为ec＝ec+a*8和ec＝ec+b*8(由于宽度/高度为8个图像像素)，并且针对具有16×16个图像像素的图块1610，这些等式变为ec＝ec+a*16和ec＝ec+b*16(由于宽度/高度为16个图像像素)。
在图16B中所示的示例中，每个图块包括4×4个刻度像素，但是图块的大小由所使用的比例因子来指示。例如，图块1612覆盖4×4个图像像素，图块1611覆盖8×8个图像像素，并且图块1610覆盖16×16个图像像素。应当注意的是，出于解释的目的，已经仅选择了图16B中所展示的具体图块大小和形状。本发明的基本原理不限于任何特定的图块大小或配置。在一个实施例中，例如，图块的大小可以被调整以适配在存储器页内，所述存储器页通常为4096个字节。如果像素使用4个字节，则1024个像素可以存储在这种图块中，这使得图块大小为32×32个像素。
图17展示了在图像的中间提供相对较高的分辨率并且朝向图像的边缘提供相对较低的分辨率的示例性安排。如以上所提及的，此安排可以用于虚拟现实实现方式，其中，朝向图像的边缘发生扭曲。虽然所有的图块1610-1612包括4×4个刻度像素，但是可以使用不同数量的图像像素来生成不同的刻度像素。最终的结果是：利用16×16个图像像素来生成最低分辨率图块1610(朝向图像的边缘)，利用8×8个图像像素来生成一组相对较高分辨率图块1611，并且利用4×4个图像像素生成最高分辨率图块1610(即一对一映射)。
非均匀栅格化器1514的一个实施例从最大图块(例如，在图17中利用16×16个图像像素生成的图块1610)的角度来执行其操作，所述最大图块在本文中被称为遍历图块(“TT”)。在一个实施例中，栅格化器常常跟踪TT(例如，16×16个像素)的中心处的边缘函数值，无论使用哪个比例因子。因此，使用ec＝ec+a*16来进行从当前TT遍历到右边的TT，因为TT 1610对应于16×16图像像素。
在一个实施例中，可以由布局位1513基于针对其执行非均匀栅格化的特定应用来选择用于生成图像中的每个TT的布局(例如，朝向某些虚拟现实应用的中心使用较高的分辨率)。通过示例而非限制的方式，图18展示了每TT的一组不同的布局1801-1806。布局1801使用利用16×16个图像像素形成的单个图块(例如，诸如图16B中的图块1610)，布局1602使用利用8×8个图像像素形成的四个图块的集合(例如，诸如图16B中的图块1611)，并且布局1806使用利用4×4个图像像素形成的十六个图块的集合(例如，图16B中的图块1612)。布局1803包括四个4×4像素图块和三个8×8像素图块的组合；布局1804包括八个4×4像素图块和两个8×8像素图块的组合；并且布局1805包括十二个4×4像素图块和一个8×8像素图块的组合。
每个区域之上/之下的数对应于每种这种类型的布局可具有的排列数。例如，在布局1803中，8×8图像像素图块区域(左上)可放置在四个角中的每个角中，从而产生那个布局的四种组合。在此示例中，每TT具有1+1+4+6+4+1＝17个不同的布局。为了减少对所有排列进行编码所需的位数，可以跳过一些排列。例如，在布局1804中，可以跳过两种排列，其中，两个4×4刻度像素图块区域位于相反角中，并且可以仅使用两个4×4刻度像素图块区域位于同一水平位置或者垂直位置上的排列(注意，每个4×4刻度像素图块区域各自具有4×4像素的2×2图块)。这将意味着每TT仅具有15种类型的布局，从而允许使用4位的编码来标识每种类型和排列的TT(即24＝16)。在一个实施例中，可以将第16种组合定义为未使用。然而，为了更多的灵活性，可以选择使用5位来存储此编码。
通过示例而非限制的方式，针对1920×1200的分辨率，具有120×75个TT，这意味着120*75*4/8＝4500个存储字节。每图块具有32×32个刻度像素，其针对1920×1200的分辨率变为15*10*4/8＝75个存储字节并且针对3840×2160的分辨率变为30*17*4/8＝255个字节。
在一个实施例中，非均匀栅格化器1514读取每个TT的布局位1513以便在三角形栅格化期间确定TT布局。取决于布局位，栅格化器1514然后通过遍历到16×16像素图块、8×8像素图块和4×4像素图块的中心来访问这些图块(例如，通过通过使布局的表列值(px，py)相加来计算新的ec值)，并且然后测试所述三角形是否与相应图块重叠；若是，则样本测试继续。
针对图17中所示的示例图像，在使用Oculus Rift Dk1虚拟现实耳机的默认设置进行测试期间，在不使图像质量劣化的情况下使用此技术对大约40％更少的片段进行了栅格化。这还消除了深度测试和着色及其相关联带宽使用、以及颜色缓冲器物理存储器和带宽使用，如下所述。
一旦刻度像素被渲染，则需要将其存储到存储器。简单的解决方案将是将刻度像素的颜色和深度复制到被所述刻度像素覆盖的所有图像像素。然而，这是极其不期望的，因为这将消耗比所必需的物理存储器和存储器带宽更多的物理存储器和存储器带宽，并且由于图像像素深度的非线性本质而使深度优化变得困难。
相反，本发明的一个实施例包括用于将图块高效地存储在存储器1530中的图块存储逻辑1516。以下描述了被称为“原位”存储和“mip”存储的两种存储方案。这两种存储方案均依赖于分配大量虚拟存储器但仅必要量的物理存储器，从而使得虚拟存储器的多个部分未被使用。
在现代计算机上，以页来分配存储器，其中，页通常为4096个字节。图像存储在若干页中，每页存储所述图像的矩形片。在所提出的这两种存储方案中，图块大小被选择为使得一个图块占据一页(例如，32×32个刻度像素，其中，每个刻度像素4个字节(也就是说，4*32*32＝4096))，而非以上示例中的4×4个刻度像素。如果颜色格式为每个刻度像素8个字节，则相反可以使得图块占据两页(64×64个刻度像素)以便将图块保持为正方形，但是这仅对mip存储方案是必需的。
在一个实施例中，原位存储方案如下地进行工作。如由最精细的分辨率(即1×1的比例因子，诸如其中，图16B中的图块1612具有4×4个图像像素)所指示的，对图像存储器进行安排。当存储任何比例的图块时，左上角用于判定将所述图块存储在哪里。因此，将永不再触摸一些页，也不由任何物理存储器进行备份。为了读取此布局，布局位用于确定所存储的成比例因子中的比例因子。如果必要的话，可通过检查哪些页被物理存储器备份并且哪些没有被备份来推断布局位。
图19A至图19C提供了具有不同数量的图像像素(即图像像素与刻度像素的不同比值)的图块可以如何被封装在一组存储器页1-8内的示例。在图19A中，具有最高分辨率的图块(也就是说，1刻度像素＝1图像像素(例如，图16B中的图块1612))被封装在连续的存储器页中。由于每个图块的大小被调整以适配在存储器页内(从图像的左上角开始)，因此第一图块被封装到页1中，第二图块被封装到页2中等。这是纹理将被存储在存储器中的典型方式，其中，对每个图块从左到右从上到下进行编号，其中，每个图块连续地被存储。
图19B现在展示了根据本发明的一个实施例可以被封装在存储器页内的非均匀图块。前两个图块具有最高分辨率-每刻度像素1个图像像素(即与图19A中的所有图块相同的分辨率)-并且存储在如图19A中的存储器页1和2内。然而，在前两个图块之后，下一个图块(B)包括刻度像素，每个刻度像素包括4个图像像素(例如，诸如图16B中的图块1611)。图块B的大小与高分辨率图块的大小相同(因为所有图块包含4×4个刻度像素)但其包含8×8个图像像素的数据。在一个实施例中，图块B存储在图16A中存储第三高分辨率图块的存储器中的位置处-即存储器页3。在将已经存储其他三个高分辨率图块的情况下(存储器页4、7和8)，不分配物理存储器来存储那些位置的内容。
图19C展示了具有两个图块A和B的另一示例，这两个图块均包含8×8个图像像素(即每刻度像素2×2个图像像素)。在此示例中，图块A存储在与图19A中的第一高分辨率图块相同的存储器页(1)中，并且图块B存储在与图19A中的第三高分辨率图块相同的存储器页(3)中。在将已经存储其他六个高分辨率图块的情况下(存储器页2、4和5-8)，不分配物理存储器来存储那些位置的内容。
在一个实施例中，mip存储方案如下地进行工作。mip map层级结构分配在虚拟存储器中。mip map的最精细层级表示比例因子1×1。当存储刻度像素的图块时，比例因子可以判定将图块写入哪个mip层级。这直接生成了稀疏构成的mip映射图像，其中，图像的每个区域仅存在于单个mip层级中。可以使用已经支持mip map层级结构的图形处理器的纹理采样器来容易地访问此表示。
为了避免分辨率的突出可注意到的变化，mip map层级结构可以为两个或更多个mip map层级分配图块。在此实施例中，如以上所述的进行非均匀栅格化，并且执行直到完成。然后可以通过对具有2×2纹素箱式滤波器(或者更复杂的低通滤波器)的现有图块进行采样来创建每个活跃图块之上的更粗糙的层级。扭曲通发生变化，从而使得计算出纹理坐标导数以便将经滤波颜色计算为当前纹理坐标(例如，三线性查找)的两个已填充mip层级之间的混合。图20示出了已经栅格化为使用非均匀栅格化的三个mip层级的示例(这种图块被指示为栅格化的映射图块)。如可见的，使用滤波(在此被称为滤波表面)生成每个映射图块之上的图块。灰色区域是三线性滤波可以用于在扭曲期间进行采样的地方。注意的是，此示例为简单起见示出了1D纹理(线条)但可以容易地延伸至二维纹理。
针对栅格化分辨率发生变化(例如，从2×2比例因子到4×4比例因子)的图块之间的边界，可以在两个图块已经构成的mip map层处执行采样。可替代地，可预先计算mip map层级的细节并且将其存储在单独的纹理中，并且仅在扭曲期间进行查询，而非计算纹理坐标导数。又另一替代方案是跳过创建更粗糙的mip map层级的步骤，并且开发通常使用2×2箱式滤波器来创建粗糙mipmap层级。相反，在扭曲期间，仅存在一个层级，并且可通过对更精细层级的纹素进行求平均并且然后进行混合来计算更粗糙层级的纹素。
在不久的将来，所有的虚拟显示设备将跟踪用户所看的地方。这有时候被称为“视线跟踪”，在反馈来自虚拟现实设备的情况下，可计算将渲染工作聚焦在何处的新分布。例如，使用以上所述的技术，可以跟踪用户视网膜的方向，并且可以针对左眼屏幕和右眼屏幕两者的所有图块来动态地计算新布局位。在一个实施例中，可以计算图块，从而使得每个图像的用户视网膜所指向的区域提供有相对较高的分辨率，而更远离用户视网膜所指向的地方的区域提供有相对较低的分辨率。然后，针对右眼和右眼两者，使用这些新布局位来渲染图像。以上所述的布局位每眼仅占据255位，并且因此不存在每帧需要再次计算的大量信息，并且发送至GPU/图形处理器也不昂贵。
总之，在此描述的本发明的实施例提供以图像的不同部分的不同分辨率进行栅格化以移除不必要的信息并且提高效率。在一个实施例中，通过每个图像的每图块的布局并且潜在地使用图块内的一组不同分辨率图案来限定分辨率。此外，描述了用于将每个图像稀疏地存储在存储器中的技术，包括将所述图像存储到mip map层级结构中。例如，在非均匀栅格化已经完成之后，可以在mip map层级结构中的已填充图块上方创建mip层级，并且然后可以执行三线性查找。最后，可以跟踪用户视网膜的方向，并且可以针对左眼屏幕和右眼屏幕两者的所有图块来动态地计算新布局位，从而使得每个图像的用户视网膜所指向的区域提供有相对较高的分辨率。
图21中展示了根据本发明的一个实施例的方法。所述方法可以在以上所述的系统架构的上下文中实现，但不限于任何特定的系统架构。
在2101处，接收用于有待渲染的下一个图像的三角形或其他多边形，并且在2102处，读取限定每个图像的非均匀布局的布局位。如以上所讨论的，在一个实施例中，可以在每个图像内基于布局位来限定不同的图块图案(参见例如图18及相关联上下文)。
在2103处，确定图块与多边形之间的重叠。例如，可以对每个刻度像素进行测试以判定由每个图块限定的正方形、矩形或其他形状是否与正在渲染的三角形重叠。以上在此阶段描述的技术用于评估边缘函数并且调整(xp，yp)坐标并在图块中心之间遍历。
在2104处，根据布局位来执行非均匀栅格化。如所提及的，可以限定不同的布局位以便调整图像的不同区域中的分辨率。例如，针对虚拟现实实现方式，可以在图像的中间提供相对较高的分辨率，并且可以朝向图像的边缘提供相对较低的分辨率(参见例如图17及相关联上下文)。在跟踪用户视线的实施例中，可以基于用户的当前视线来调整布局位。
一旦非均匀栅格化完成(在2105处)，则将栅格化图像的图块稀疏地存储在存储器中。例如，可以采用原位存储方案，其中，如由最高分辨率指示的对所述存储器进行安排。可替代地，可以采用mip存储方案，其中，mip map层级结构分配在虚拟存储器中，并且不同的图块存储在所述层级结构的不同层级中。
在2106处，执行滤波操作以便减少以不同分辨率渲染的图像的区域之间的尖锐边缘。可以采用各种不同的滤波技术来减少这些尖锐边缘，诸如通过将低通滤波器应用于图像的较高分辨率的部分或者使用三线性滤波操作。
在2107处，做出关于用于下一个图像的栅格化的布局是否存在变化的判定。例如，如以上所提及的，在一个实施例中，可以提供包括一组新的布局位的反馈信息。通过示例而非限制的方式，用户视网膜的焦点可能已经在视线跟踪环境中发生变化，从而使得有待以高分辨率渲染的图像的区域的变化成为必需。不管具体实现方式如何，如果布局存在变化，则在2108处对布局位进行更新。在任一情况下，所述过程以所述序列针对下一个图像在2101处开始重复。
渲染到图像的不同部分的不同分辨率现今可通过针对每个不同的分辨率一次渲染整个场景来进行。针对分辨率中的每个分辨率，仅计算有待以那个分辨率渲染的区域，并且使用模板缓冲器来掩盖剩余区域。最后，可将这些图像合成在一起以便产生具有不同分辨率的单个图像。
完成变分辨率的这种方式具有若干缺点。一个缺点是将场景渲染若干次(每个分辨率一次)，并且因此几何处理(像顶点着色和三角形设置)变得更加昂贵若干倍。另一缺点是栅格化器将栅格化被掩盖的区域，因为模板测试是在流水线之后执行。这将创建流水线气泡，因为可花费许多连续性流水线来栅格化掩盖区域，同时像素处理流水线处于空闲以等待未被掩盖的像素。最后，模板缓冲器自身还消耗大量的带宽(尤其是如果与深度缓冲器耦合的话)。降低分辨率的替代性方式是以不同的角度(像全景)渲染若干图像，因此完全避免了外围处的大间隔。这是干扰许多视觉方面的涉及较多的技术，并且更加难以使用。在此所公开的本发明的实施例均不具有这些缺点。
本发明的实施例可以包括以上已经描述的各步骤。这些步骤可以被具体化为机器可执行指令，所述机器可执行指令可以用于使通用或专用处理器执行这些步骤。可替代地，这些步骤可以由包含用于执行这些步骤的硬接线逻辑的特定硬件部件来执行，或者由程序化计算机部件和自定义硬件部件的任意组合来执行。
如在此描述的，指令可以指硬件(诸如专用集成电路(ASIC))的特定配置，所述专用集成电路被配置用于执行某些操作或者具有预定功能或存储在被具体化为非暂态计算机可读介质的存储器中的软件指令。因此，可使用在一个或多个存储设备(例如，端站、网络元件等)上存储并执行的代码和数据来实现附图中示出的技术。这种电子设备使用计算机机器可读介质来存储和传送(在内部和/或利用网络上的其他电子设备)代码和数据，诸如非暂态计算机机器可读存储介质(例如，磁盘；光盘；随机存取存储器；只读存储器；闪存设备；相变存储器)以及暂态计算机机器可读通信媒体(例如，电、光、声或其他形式的传播信号—例如载波、红外信号、数字信号等)。
此外，这种电子设备通常包括耦合至一个或多个其他部件的一组一个或多个处理器，比如，一个或多个存储设备(非暂态机器可读存储介质)、用户输入/输出设备(例如，键盘、触摸屏、和/或显示器)以及网络连接。所述一组处理器和其他部件的耦合通常通过一个或多个总线和桥接器(也被称为总线控制器)。承载网络通信量的存储设备和信号分别表示一个或多个机器可读存储介质和机器可读通信介质。因此，给定电子设备的存储设备典型地存储用于在那个电子设备的所述组的一个或多个处理器上执行的代码和/或数据。当然，可以使用软件、固件、和/或硬件的不同组合来实现本发明的实施例的一个或多个部分。贯穿本详细描述，出于解释的目的，阐述了大量的具体细节以便提供对本发明的透彻理解。然而，对于本领域技术人员而言将明显的是，可以在没有这些特定细节中的一些的情况下实践本发明。在某些实例中，未详细描述公知结构和功能以避免模糊本发明的主题。从而，本发明的范围和精神应根据以下权利要求来判定。

Claims (23)

1.一种处理器，包括：
中央处理单元CPU，所述CPU包括多个核；
图形处理器，用于渲染图像；
存储器控制器，用于将所述图形处理器和所述CPU耦合到外部存储器设备；以及
共享高速缓存，用于由所述多个核和所述图形处理器共享，
所述图形处理器包括：
块存储器，用于存储与所述图像的一个或多个块相关联的图形数据；
执行模块，耦合到所述块存储器，所述执行模块用于执行着色器以渲染所述图像，所述着色器包括用于对图元的顶点执行坐标空间变换的顶点着色器；
栅格化器，用于根据栅格化映射在所述图像的不同区域中以不同分辨率使所述图元栅格化，所述栅格化映射包括与所述图像的所述不同区域中的所述不同分辨率对应的值；
所述栅格化器用于逐块地使所述图元栅格化，其中，对于各个块，所述栅格化器用于以由所述栅格化映射的值指示的分辨率使与所述块重叠的一个或多个图元栅格化；并且
所述执行模块用于根据所述分辨率执行多个像素着色器以对块的像素着色。
2.如权利要求1所述的处理器，其中，所述栅格化器用于确定图元与块之间的重叠，并且对于给定的块，仅使与所述块重叠的那些图元栅格化。
3.如权利要求1所述的处理器，其中，所述栅格化映射包括指定用于每个块的分辨率的布局位。
4.如权利要求3所述的处理器，其中，所述布局位指定每个块中像素的布置。
5.如权利要求1-4中的任一项所述的处理器，进一步包括以下至少一者：
第一级高速缓存，与所述多个核中的每个核集成；
纹理采样模块，用于访问存储在存储器中的纹理映射，所述纹理采样模块用于对所述图像内的对象执行纹理映射；
耦合到所述栅格化器的深度缓冲器和相关联的深度测试模块；
视频处理器，耦合到所述存储器控制器，所述视频处理器包括用于对视频数据编码和解码的视频编解码器引擎；
闪存子系统，包括耦合到所述存储器控制器的闪存和闪存控制器；以及
显示接口和显示器，所述显示器用于显示由所述执行模块和所述栅格化器渲染的所述图像。
6.如权利要求1-4中的任一项所述的处理器，其中，所述多个核包括异构处理器核，所述异构处理器核包括一个或多个较低功率处理器核的集合以及一个或多个较高功率处理器核的集合。
7.如权利要求1-4中的任一项所述的处理器，其中，所述栅格化映射用于基于指示指向所述图像的第一区域的用户视线的视线跟踪数据而响应性地被更新，所述栅格化器基于经更新的栅格化映射，用于动态地增加所述第一区域中的块中的一个或多个块中的分辨率。
8.如权利要求7所述的处理器，其中，所述视线跟踪数据包括来自眼睛跟踪设备的、指示所述用户视线的方向的数据。
9.一种用于图形处理的方法，包括：
将与图像的一个或多个块相关联的图形数据存储在图形处理器的块存储器中；
执行顶点着色器以对图元的顶点执行坐标空间变换；
根据栅格化映射在所述图像的不同区域中以不同分辨率使所述图元栅格化，所述栅格化映射包括与所述图像的所述不同区域中的所述不同分辨率对应的值，其中，所述图元逐块地被栅格化，其中，对于各个块，与所述块重叠的一个或多个图元以由所述栅格化映射的值指示的分辨率被栅格化；以及
根据所述分辨率执行多个像素着色器以对块的像素着色。
10.如权利要求9所述的方法，进一步包括：
确定图元与块之间的重叠，并且对于给定的块，仅使与所述块重叠的那些图元栅格化。
11.如权利要求9所述的方法，其中，所述栅格化映射包括指定用于每个块的分辨率的布局位。
12.如权利要求11所述的方法，其中，所述布局位指定每个块中像素的布置。
13.如权利要求9-12中的任一项所述的方法，其中，进一步包括以下至少一个步骤：
访问存储在存储器中的纹理映射，并且对所述图像内的对象执行纹理映射；
利用视频处理器对视频数据编码和解码；以及
显示由执行电路和栅格化电路渲染的所述图像。
14.如权利要求9-12中的任一项所述的方法，进一步包括：
基于指示指向所述图像的第一区域的用户视线的视线跟踪数据来响应性地更新所述栅格化映射；以及
基于经更新的栅格化映射动态地增加所述第一区域中的块中的一个或多个块中的分辨率。
15.如权利要求14所述的方法，其中，所述视线跟踪数据包括来自眼睛跟踪设备的、指示所述用户视线的方向的数据。
16.一种机器可读介质，具有存储于其上的程序代码，所述程序代码当由机器执行时，使所述机器执行如权利要求9-15中的任一项所述的方法。
17.一种用于图形处理的设备，包括：
用于将与图像的一个或多个块相关联的图形数据存储在图形处理器的块存储器中的装置；
用于执行顶点着色器以对图元的顶点执行坐标空间变换的装置；
用于根据栅格化映射在所述图像的不同区域中以不同分辨率使所述图元栅格化的装置，所述栅格化映射包括与所述图像的所述不同区域中的所述不同分辨率对应的值，其中，所述图元逐块地被栅格化，其中，对于各个块，与所述块重叠的一个或多个图元以由所述栅格化映射的值指示的分辨率被栅格化；以及
用于根据所述分辨率执行多个像素着色器以对块的像素着色的装置。
18.如权利要求17所述的设备，进一步包括：
用于确定图元与块之间的重叠并且对于给定的块仅使与所述块重叠的那些图元栅格化的装置。
19.如权利要求17所述的设备，其中，所述栅格化映射包括指定用于每个块的分辨率的布局位。
20.如权利要求19所述的设备，其中，所述布局位指定每个块中像素的布置。
21.如权利要求17-20中的任一项所述的设备，进一步包括以下至少一者：
用于访问存储在存储器中的纹理映射并对所述图像内的对象执行纹理映射的装置；
用于利用视频处理器对视频数据编码和解码的装置；以及
用于显示所述图像的装置。
22.如权利要求17-20中的任一项所述的设备，进一步包括：
用于基于指示指向所述图像的第一区域的用户视线的视线跟踪数据来响应性地更新所述栅格化映射的装置；以及
用于基于经更新的栅格化映射动态地增加所述第一区域中的块中的一个或多个块中的分辨率的装置。
23.如权利要求22所述的设备，其中，所述视线跟踪数据包括来自眼睛跟踪设备的、指示所述用户视线的方向的数据。
CN202010946731.0A 2015-04-20 2016-03-17 用于非均匀帧缓冲器栅格化的装置和方法 Active CN112085658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010946731.0A CN112085658B (zh) 2015-04-20 2016-03-17 用于非均匀帧缓冲器栅格化的装置和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14/691,504 2015-04-20
US14/691,504 US9704217B2 (en) 2015-04-20 2015-04-20 Apparatus and method for non-uniform frame buffer rasterization
CN202010946731.0A CN112085658B (zh) 2015-04-20 2016-03-17 用于非均匀帧缓冲器栅格化的装置和方法
PCT/US2016/022793 WO2016171816A1 (en) 2015-04-20 2016-03-17 Apparatus and method for non-uniform frame buffer rasterization
CN201680017153.4A CN107430763B (zh) 2015-04-20 2016-03-17 用于非均匀帧缓冲器栅格化的装置和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680017153.4A Division CN107430763B (zh) 2015-04-20 2016-03-17 用于非均匀帧缓冲器栅格化的装置和方法

Publications (2)

Publication Number Publication Date
CN112085658A CN112085658A (zh) 2020-12-15
CN112085658B true CN112085658B (zh) 2024-01-02

Family

ID=57128892

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202111374368.0A Pending CN114037613A (zh) 2015-04-20 2016-03-17 用于非均匀帧缓冲器栅格化的装置和方法
CN201680017153.4A Active CN107430763B (zh) 2015-04-20 2016-03-17 用于非均匀帧缓冲器栅格化的装置和方法
CN202010946731.0A Active CN112085658B (zh) 2015-04-20 2016-03-17 用于非均匀帧缓冲器栅格化的装置和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202111374368.0A Pending CN114037613A (zh) 2015-04-20 2016-03-17 用于非均匀帧缓冲器栅格化的装置和方法
CN201680017153.4A Active CN107430763B (zh) 2015-04-20 2016-03-17 用于非均匀帧缓冲器栅格化的装置和方法

Country Status (4)

Country Link
US (7) US9704217B2 (zh)
EP (2) EP3825961A1 (zh)
CN (3) CN114037613A (zh)
WO (1) WO2016171816A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11049269B2 (en) 2014-06-27 2021-06-29 Samsung Electronics Co., Ltd. Motion based adaptive rendering
US9830714B2 (en) 2014-06-27 2017-11-28 Samsung Electronics Co., Ltd. Graphics processing with advection to reconstruct missing sample data points
US9704217B2 (en) * 2015-04-20 2017-07-11 Intel Corporation Apparatus and method for non-uniform frame buffer rasterization
US11269403B2 (en) * 2015-05-04 2022-03-08 Disney Enterprises, Inc. Adaptive multi-window configuration based upon gaze tracking
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US10643381B2 (en) 2016-01-12 2020-05-05 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
US10643296B2 (en) * 2016-01-12 2020-05-05 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10368067B2 (en) * 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
US10460513B2 (en) 2016-09-22 2019-10-29 Advanced Micro Devices, Inc. Combined world-space pipeline shader stages
EP3301920A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for coding/decoding omnidirectional video
US10043318B2 (en) * 2016-12-09 2018-08-07 Qualcomm Incorporated Display synchronized image warping
US10235811B2 (en) 2016-12-29 2019-03-19 Intel Corporation Replicating primitives across multiple viewports
US10546365B2 (en) 2017-03-27 2020-01-28 Advanced Micro Devices, Inc. Single pass flexible screen/scale rasterization
US10853918B2 (en) * 2017-06-09 2020-12-01 Sony Interactive Entertainment Inc. Foveal adaptation of temporal anti-aliasing
CN109388448B (zh) * 2017-08-09 2020-08-04 京东方科技集团股份有限公司 图像显示方法、显示系统以及计算机可读存储介质
US20220138901A1 (en) * 2017-08-09 2022-05-05 Beijing Boe Optoelectronics Technology Co., Ltd. Image display method, image processing method, image processing device, display system and computer-readable storage medium
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US10937126B2 (en) * 2018-05-17 2021-03-02 Intel Corporation Tile-based multiple resolution rendering of images
EP3598393B1 (en) * 2018-07-16 2023-11-08 Huawei Technologies Co., Ltd. Rendering using a per-tile msaa level
US10628910B2 (en) 2018-09-24 2020-04-21 Intel Corporation Vertex shader with primitive replication
GB2595872B (en) * 2020-06-09 2023-09-20 Sony Interactive Entertainment Inc Gaze tracking apparatus and systems
US11574380B2 (en) * 2020-10-13 2023-02-07 Qualcomm Incorporated Methods and apparatus for optimizing GPU kernel with SIMO approach for downscaling utilizing GPU cache
WO2023108619A1 (en) * 2021-12-17 2023-06-22 Qualcomm Incorporated Physical subsampled rgb format subpixel tile render system and method
EP4224407A1 (en) * 2022-02-08 2023-08-09 Sony Interactive Entertainment Inc. Image processing system and method

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239625A (en) 1991-03-05 1993-08-24 Rampage Systems, Inc. Apparatus and method to merge images rasterized at different resolutions
US5872572A (en) * 1995-12-08 1999-02-16 International Business Machines Corporation Method and apparatus for generating non-uniform resolution image data
JPH11195132A (ja) * 1997-10-31 1999-07-21 Hewlett Packard Co <Hp> テクスチャマッピング用バッファ、３次元グラフィクス処理装置、３次元グラフィクス処理システム、３次元グラフィクス処理方法および処理プログラムが記憶された記憶媒体
EP1027682B1 (en) 1997-10-31 2003-07-16 Hewlett-Packard Company, A Delaware Corporation Method and apparatus for rapidly rendering an image in response to three-dimensional graphics data in a data rate limited environment
US6781585B2 (en) * 2000-01-11 2004-08-24 Sun Microsystems, Inc. Graphics system having a super-sampled sample buffer and having single sample per pixel support
US6659566B2 (en) * 2000-09-13 2003-12-09 Bombardier Inc. Cargo carrying compartments of an all terrain vehicle
JP2004214983A (ja) * 2002-12-27 2004-07-29 Canon Inc 画像処理方法
US7750914B2 (en) 2004-08-26 2010-07-06 Intel Corporation Subdividing geometry images in graphics hardware
US8300050B2 (en) * 2006-11-28 2012-10-30 Adobe Systems Incorporated Temporary low resolution rendering of 3D objects
US7830381B2 (en) * 2006-12-21 2010-11-09 Sectra Ab Systems for visualizing images using explicit quality prioritization of a feature(s) in multidimensional image data sets, related methods and computer products
JP4966077B2 (ja) * 2007-04-12 2012-07-04 キヤノン株式会社 画像処理装置及びその制御方法
US8339413B2 (en) * 2007-05-17 2012-12-25 Adobe Systems Incorporated Multiplied occluding transparency graphics processing
WO2010062479A1 (en) * 2008-11-02 2010-06-03 David Chaum System and apparatus for eyeglass appliance platform
JP2010193028A (ja) * 2009-02-17 2010-09-02 Seiko Epson Corp 画像処理のための装置、方法、プログラム
CN101505423B (zh) * 2009-02-25 2011-01-05 西安交通大学 一种用于视频图像的非均匀采样方法
US8669990B2 (en) * 2009-12-31 2014-03-11 Intel Corporation Sharing resources between a CPU and GPU
US8291353B2 (en) 2010-09-07 2012-10-16 Synopsys, Inc. Non-linear rasterized contour filters
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US8612781B2 (en) * 2010-12-14 2013-12-17 Advanced Micro Devices, Inc. Method and apparatus for application of power density multipliers optimally in a multicore system
US8988441B2 (en) * 2011-02-10 2015-03-24 Edward A. Hutchins Reconfigurable 3D graphics processor
US8339409B2 (en) * 2011-02-16 2012-12-25 Arm Limited Tile-based graphics system and method of operation of such a system
US9304570B2 (en) * 2011-12-15 2016-04-05 Intel Corporation Method, apparatus, and system for energy efficiency and energy conservation including power and performance workload-based balancing between multiple processing elements
US9436512B2 (en) * 2011-12-22 2016-09-06 Board Of Supervisors Of Louisana State University And Agricultural And Mechanical College Energy efficient job scheduling in heterogeneous chip multiprocessors based on dynamic program behavior using prim model
US9224227B2 (en) * 2012-12-21 2015-12-29 Nvidia Corporation Tile shader for screen space, a method of rendering and a graphics processing unit employing the tile shader
US9448829B2 (en) * 2012-12-28 2016-09-20 Intel Corporation Hetergeneous processor apparatus and method
US9947084B2 (en) * 2013-03-08 2018-04-17 Nvidia Corporation Multiresolution consistent rasterization
US20140267357A1 (en) * 2013-03-15 2014-09-18 Dreamworks Animation Llc Adaptive importance sampling for point-based global illumination
WO2014183287A1 (en) * 2013-05-16 2014-11-20 Advanced Micro Devices, Inc. Memory system with region-specific memory access scheduling
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US9836816B2 (en) * 2014-04-05 2017-12-05 Sony Interactive Entertainment America Llc Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
EP3872767A1 (en) 2014-04-05 2021-09-01 Sony Interactive Entertainment LLC Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US10242493B2 (en) 2014-06-30 2019-03-26 Intel Corporation Method and apparatus for filtered coarse pixel shading
KR102301230B1 (ko) * 2014-12-24 2021-09-10 삼성전자주식회사 가상화된 gpu들에 대한 스케줄링을 수행하는 방법 및 이를 위한 디바이스
US10417832B2 (en) * 2015-03-11 2019-09-17 Facebook Technologies, Llc Display device supporting configurable resolution regions
US20160274365A1 (en) * 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
US9704217B2 (en) * 2015-04-20 2017-07-11 Intel Corporation Apparatus and method for non-uniform frame buffer rasterization

Also Published As

Publication number Publication date
US9704217B2 (en) 2017-07-11
US20190347764A1 (en) 2019-11-14
CN112085658A (zh) 2020-12-15
EP3825961A1 (en) 2021-05-26
US11748843B2 (en) 2023-09-05
US10445859B2 (en) 2019-10-15
US20220335569A1 (en) 2022-10-20
EP3286738A1 (en) 2018-02-28
CN107430763B (zh) 2021-12-21
US20210012457A1 (en) 2021-01-14
CN107430763A (zh) 2017-12-01
EP3286738B1 (en) 2021-10-13
US20210350502A1 (en) 2021-11-11
WO2016171816A1 (en) 2016-10-27
US11574383B2 (en) 2023-02-07
US11263725B2 (en) 2022-03-01
US20160307297A1 (en) 2016-10-20
US11024007B2 (en) 2021-06-01
US20190130527A1 (en) 2019-05-02
CN114037613A (zh) 2022-02-11
US20170372450A1 (en) 2017-12-28
EP3286738A4 (en) 2019-01-23

Similar Documents

Publication Publication Date Title
US11748843B2 (en) Apparatus and method for non-uniform frame buffer rasterization
CN109564695B (zh) 用于高效3d图形流水线的装置和方法
CN110136223B (zh) 使用三角形的属性的加权平均来合并粗像素着色的片段
CN109564700B (zh) 用于取决于纹理的丢弃操作的分级式Z剔除（HiZ）优化
US10249073B2 (en) Distributed frame buffer and API for scalable parallel rendering
CN108369748B (zh) 用于光线追踪架构中的负载平衡的方法和装置
CN107408210B (zh) 基于边缘的覆盖掩码压缩
CN109643463B (zh) 预设图形处理器内的分级式深度逻辑
CN108780579B (zh) 使用压缩数据的每样本msaa渲染
CN109196550B (zh) 用于针对虚拟现实和多视图系统进行交织光栅化和像素着色的架构
CN106575440B (zh) 恒定缓冲器大小多采样抗混叠深度压缩
WO2016126400A1 (en) Method and apparatus for direct and interactive ray tracing of a subdivision surface
CN108780585B (zh) 用于光线追踪架构的采样模式生成的方法和装置
US9990748B2 (en) Corner texel addressing mode
TW201724010A (zh) 對於具有較寬單指令多資料（simd）執行寬度之3d管線增加執行緒酬載的技術
CN108292426B (zh) 基于部分跨度的光栅化
CN109643279B (zh) 使用虚拟到虚拟地址表进行存储器压缩的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant