CN111292236B

CN111292236B - 一种减少中央凹注视渲染中的混叠伪像的方法和计算系统

Info

Publication number: CN111292236B
Application number: CN201911212911.XA
Authority: CN
Inventors: 达安·皮特·尼伊斯; 弗雷德里克·林德
Original assignee: Tobii AB
Current assignee: Tobii AB
Priority date: 2018-12-06
Filing date: 2019-12-02
Publication date: 2023-09-15
Anticipated expiration: 2039-12-02
Also published as: US20200184933A1; EP3664018A1; US10885882B2; CN111292236A; EP3664018B1

Abstract

根据本发明，公开一种用于减少中央凹注视渲染中的混叠伪像的方法。所述方法可包含：访问高分辨率图像以及对应于高分辨率图像的低分辨率图像；以及计算高分辨率图像的像素以及与低分辨率图像相关联的样本之间的差。低分辨率图像的样本对应于高分辨率图像的像素。所述方法可还包含基于确定所述差高于或等于阈值而修改像素以生成高分辨率图像的经修改的像素。修改可进行以使得经修改的像素与样本之间的经更新的差小于原始差。

Description

一种减少中央凹注视渲染中的混叠伪像的方法和计算系统

技术领域

本公开总体涉及使用中央凹注视渲染的方法和计算系统，并且更具体地涉及一种使用交叉分辨率调整而减少中央凹注视渲染中的混叠伪像的方法和计算系统。

背景技术

在显示器上渲染并显示计算机生成的场景在例如游戏、建模和电影等领域中的重要性已提高。渲染是计算开销高的过程，其中整个场景的空间、纹理和照明信息组合以确定所渲染的图像中的每一像素的色彩值。然而，执行渲染的图形处理装置具有有限的处理能力和存储器容量。这些限制使场景的渲染(特别是实时渲染)成为有难度的任务。

为了加速渲染过程，有时使用中央凹注视渲染(foveated rendering，亦称为“注视点渲染”)。中央凹注视渲染使用眼睛追踪器以基于以下认知而减小渲染工作负荷：人的视觉通常集中在接近注视点的屏幕的部分上，而视敏度在周围视域中(即，中央凹所注视的区外的区域)急剧下降。在中央凹注视渲染中，接近用户的注视点的区域(本文中也称为“中央凹注视区”)中的内容按高画质来渲染，而中央凹注视区外(也称为“非中央凹注视区”)的内容按较低画质来渲染。随着用户注视点移动，图像被相应地重新渲染以匹配注视点的新位置。

在一些状况下，可通过对中央凹注视区进行过度采样并对非中央凹注视区进行亚采样而实施中央凹注视渲染。然而，有差异的采样速率导致高频内容的渲染不一致性，从而将自身表现为在扫视期间迅速转变或“急速”进入/退出高亮度的高度分散注意力的效果，这也称为与注视相关的时变混叠伪像(aliasing artifacts)。现有的抗混叠方法不能够减少此类型的混叠伪像，这是因为这些方法侧重于应对一个图像中的空间混叠伪像，而不是应对在连续图像之间发生的时变混叠伪像。

发明内容

在一些实施例中，提供一种用于减少中央凹注视渲染中的混叠伪像的方法。所述方法可包含：访问高分辨率图像以及对应于高分辨率图像的低分辨率图像；以及计算高分辨率图像的像素以及与低分辨率图像相关联的样本之间的差。低分辨率图像的样本对应于高分辨率图像的像素。所述方法可还包含基于确定所述差高于或等于阈值而修改像素以生成高分辨率图像的经修改的像素。修改可进行以使得经修改的像素与样本之间的经更新差小于原始差。

在另一实施例中，提供一种用于减少中央凹注视渲染中的混叠伪像的计算系统。计算系统可包含：非暂时性计算机可读介质，存储图像处理应用程序的程序代码；以及处理装置，通信地耦接(联接)到非暂时性计算机可读介质。处理装置可被配置成执行程序代码并执行包含访问高分辨率图像以及对应于高分辨率图像的低分辨率图像的操作。操作可还包含计算高分辨率图像的像素以及与低分辨率图像相关联的样本之间的差。与低分辨率图像相关联的样本对应于高分辨率图像的像素。操作可还包含当确定所述差高于或等于阈值时修改高分辨率图像的像素以生成高分辨率图像的经修改的像素。经修改的像素与样本之间的差小于之前的差。

在另一实施例中，提供一种非暂时性机器可读介质，所述非暂时性机器可读介质上具有用于减少中央凹注视渲染中的混叠伪像的指令。指令可由一个或多个处理器执行以执行可包含存取高分辨率图像以及对应于高分辨率图像的低分辨率图像的操作。操作可还包含计算高分辨率图像的像素以及与低分辨率图像相关联的样本之间的差。与低分辨率图像相关联的样本对应于高分辨率图像的像素。操作可还包含当确定所述差高于或等于阈值时修改高分辨率图像的像素以生成高分辨率图像的经修改的像素。经修改的像素与样本之间的差小于之前的差。

附图说明

结合附图来描述本发明：

图1是根据本公开的实施例的用于减少中央凹注视渲染中的时变混叠伪像的本发明的一种可能系统的框图。

图2A描绘显示装置的图例，在该显示装置中显示了使用中央凹注视渲染而生成的图像；

图2B是图示根据本公开的实施例的中央凹注视渲染的实例的简图；

图3是图示中央凹注视渲染中的与注视相关的时变混叠伪像的实例的简图；

图4是图示根据本公开的实施例的用于减少中央凹注视渲染中的时变混叠伪像的方法的实例的简图；

图5是根据本公开的实施例的用于减少中央凹注视渲染中的时变混叠伪像的一种实例方法的流程图；以及

图6是能够用于本发明的装置或系统的至少某一部分中或实施本发明的方法的至少某一部分的示范性计算机系统的框图。

在附图中，类似部件和/或特征可具有相同附图标记。此外，相同类型的各种部件可通过在附图标记之后加上在类似部件和/或特征之间进行区分的字母来区分。如果在本说明书中仅使用第一数值附图标记，那么对其描述适用于具有相同的第一数值附图标记的类似部件和/或特征中的任一个而不管其字母后缀为何。

具体实施方式

公开用于减少中央凹注视渲染中的时变混叠伪像的实施例。在一实例中，图形处理装置通过以下方式而实施中央凹注视渲染：针对含有用户在显示装置上的注视点的中央凹注视区而生成高分辨率前景图像，并且针对非中央凹注视区而生成具有较低分辨率的背景图像。背景图像还含有对应于高分辨率图像的区域，其中所述区域在本文中被称为“低分辨率图像”。图形处理装置评估高分辨率图像中的像素，并通过将高分辨率图像中的像素的坐标映射到低分辨率图像而确定低分辨率图像中对应于高分辨率图像中的像素的样本。如果高分辨率图像的像素被映射到低分辨率图像的像素，那么样本可以是低分辨率图像的像素。如果高分辨率图像的像素映射到落入低分辨率图像的像素之间的位置，那么样本可通过内插运算低分辨率图像的像素而生成。图形处理装置还计算像素与样本之间的差，并且将所述差与阈值进行比较。如果差高于阈值，那么修改高分辨率图像中的像素以减小像素与样本之间的差。因此，利用低分辨率图像中的样本来调整高分辨率图像中的像素的值，从而跨越低分辨率与高分辨率保持一致的对比度。

本文所给出的技术通过以下方式来提高图形处理装置的性能：减少中央凹注视渲染中的时变混叠伪像，同时允许图形处理装置通过中央凹注视渲染减少计算资源消耗。换句话说，在没有本文所给出的抗混叠技术的情况下，图形处理装置可能需要提高非中央凹注视区中的所渲染的图像的画质或执行其它计算开销高的操作以便减轻时变混叠伪像。因此，本文所给出的技术减少系统的总体计算资源消耗，包含(但不限于)CPU和/或GPU时间、存储器空间或网络带宽。

下文描述仅提供示范性实施例，并且不希望限制本公开的范围、适用性或配置。相反，示范性实施例的下文描述将向本领域的技术人员提供用于实施一个或多个示范性实施例的充分描述。应理解，可对要素的功能和布置进行各种改变而不偏离随附权利要求书所阐述的本发明的精神和范围。

在下文描述中给出了具体细节以便全面理解实施例。然而，本领域的技术人员应理解，可在不存在这些具体细节的情况下实践实施例。举例来说，本发明中的电路、系统、网络、过程和其它要素可被展示为框图形式的组成部分，以免以不必要的细节使实施例变得晦涩。在其它情形下，可在没有不必要的细节的情况下示出熟知的电路、过程、算法、结构和技术，以便避免使实施例变得晦涩。

并且，应注意各个实施例可被描述为一种过程，所述过程被描绘为流程图、数据流程图、结构图或框图。虽然流程图可将操作描述为依序过程，但许多所述操作可并行地或同时地执行。此外，操作的次序可被重新布置。过程可在其操作完成时终止，但可具有图中未论述或包含的额外步骤。此外，不是任何特别描述的过程中的所有操作都可能在所有实施例中发生。过程可对应于方法、函数、进程、子例程、子程序等。当过程对应于函数时，其终止对应于函数返回到调用函数或主函数。存在于一个所论述的实施例中的任何细节可存在于或可不存在于此实施例的其它版本或本文所论述的其它实施例中。

术语“机器可读介质”包含(但不限于)便携或固定的存储装置、光学存储装置、无线信道以及能够存储、包含或携载指令和/或数据的各种其它介质。代码段或机器可执行指令可代表进程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任何组合。代码段可通过传递和/或接收信息、数据、变元、参数或存储器内容而耦接到另一代码段或硬件电路。信息、变元、参数、数据等可经由包括存储器共享、消息传递、令牌传递、网络传输等任何适当手段来传递、转发或传输。

此外，可至少部分手动地或自动地实施本发明的实施例。可通过使用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合执行或至少辅助手动或自动实施方案。当以软件、固件、中间件或微代码实施时，用于执行必要任务的程序代码或代码段可存储在机器可读介质中。处理器可执行必要的任务。

在本发明的一些实施例中，并且参照图1，提供用于在显示装置110上呈现图形或图像的系统100。系统100可包含眼睛追踪装置120和图形处理装置130。在一些实施例中，系统可还包含计算装置140，其中计算装置140与图形处理装置130通信并控制图形处理装置130。在一些实施例中，图形处理装置130的任何功能可完全或部分由计算装置140执行。仅举例来说，可与个人计算机140一体地设置眼睛追踪装置120，或作为个人计算机140的附加物设置眼睛追踪装置120，其中个人计算机140具有图形处理装置130和中央处理单元(在一些配置中，图形处理装置130和中央处理单元被集成在一起)。

在其它实施例中，可与游戏控制台140或另一装置成一体地设置眼睛追踪装置120，或作为游戏控制台140或另一装置的附加物设置眼睛追踪装置120，其中游戏控制台140或另一装置具有图形处理装置130和中央处理单元。游戏控制台的实例包含由Microsoft^TM、Nintendo^TM或Sony^TM生产并从它们那里购得的游戏控制台。在其它实施例中，可与例如虚拟现实(VR)或增强现实(AR)等可穿戴头戴装置一体地设置眼睛追踪装置120，或作为所述可穿戴耳机的附加物设置眼睛追踪装置120。可穿戴头戴装置的实例包含以商号Oculus Rift^TM、HTC Vive^TM、Sony PlaystationVR^TM和Fove^TM生产并按这些商号购得的可穿戴头戴装置。因此，本发明的实施例可应用到任何数量的可能装置和应用中的图形的呈现，包含视频显示、视频游戏、视频制作和编辑、视频通信、计算机辅助制图和设计等。

眼睛追踪装置120可用于确定用户在显示装置110上的注视点或用户在显示装置110上的注视点的改变中的至少一者。眼睛追踪装置和方法(有时也称为注视检测系统和方法)例如包含由瑞典拓比电子技术公司(Tobii AB)生产并从该公司购得的产品，并且这些产品通过使用红外线照射和图像传感器来操作以检测来自用户的眼睛的反射。此注视检测系统的实例描述在第7,572,008号美国专利中，其中所述美国专利出于全部目的以引用方式并入本文中，如同完全阐述在本文中一样。本发明也可使用其它替代注视检测系统，而不管注视检测系统所依赖的技术为何。眼睛追踪装置120可使用其自身的处理器或另一装置(即，计算装置140)的处理器以解译并处理所接收的数据。当在本文中涉及眼睛追踪装置时，也涉及处理数据的两种可能方法。

在一些实施例中，图形处理装置130将计算机生成的场景(例如，三维(3D)场景)渲染为图像，并将所渲染的图像发送到显示装置110以进行显示。图形处理装置130可至少部分基于如眼睛追踪装置120所确定的用户在显示装置110上的注视点或用户在显示装置110上的注视点的改变而使用中央凹注视渲染。图形处理装置130可还包含图形处理模块150，其中图形处理模块150用于处理所渲染的图像，例如，在中央凹注视渲染中组合高分辨率和低分辨率背景图像或对所渲染的图像执行其它后处理操作。在一些实施例中，图形处理模块150在所渲染的图像被发送到显示装置110之前也执行本文所给出的抗混叠方案。虽然在一些实施例中，将由图形处理装置130控制独立的非包含式或非集成式显示装置，但其它实施例可包含显示装置110或集成有显示装置110。

图形处理装置130实施中央凹注视渲染的方式可取决于实施例而变化。图2A图示中央凹注视渲染的一个实施例，其示出显示装置110、显示装置110上的用户注视点210以及围绕用户注视点210的中央凹注视区220，其中在中央凹注视区220中，图形处理装置130可显示的图像画质高于显示装置110的剩余区域230(也称为“非中央凹注视区230”)。在一个实施例中，图形处理装置130按高采样速率渲染中央凹注视区220的图像，而按低采样速率渲染非中央凹注视区230的图像。因此，非中央凹注视区230的图像可按低分辨率生成，并且中央凹注视区220的图像可按高分辨率生成。以此方式，可高效地利用图形处理装置130的可用资源和/或其它系统资源，而不牺牲所显示的图像的总体视觉画质。

应了解，虽然图2A所图示的中央凹注视区220具有长方形形状，但中央凹注视区220可具有任何规则或不规则形状，例如，圆形、椭圆形、正方形、长方形或多边形等。此外，除了将不同采样速率用于中央凹注视区220和非中央凹注视区230之外，可使这两个区的画质可在其它方面不同，例如，着色、纹理构图、凹凸构图、阴影、反射、帧速率、后处理效果质量、折射质量、三维对象质量等。本文所述的各种实施例例如使用不同的采样速率以实现本文所提议的用于减少时变混叠伪像的方案。可以类似方式利用所述方案以减少由其它类型的质量差异导致的伪像。

图2B图示根据本公开的实施例将不同采样速率用于中央凹注视区220和非中央凹注视区230的中央凹注视渲染的实例。在此实例中，中央凹注视渲染包括按低分辨率生成背景图像208，并生成高分辨率前景图像204(也称为高分辨率图像204)。例如，背景图像208可使用一定采样速率而生成，其中所述采样速率是显示装置未经中央凹注视渲染而生成的图像(本文中称为“完全图像”)的采样速率的一半。因此，背景图像208在水平方向与垂直方向上均具有完全图像的一半的尺寸。高分辨率前景图像204可具有与完全图像相同或类似完全图像的采样速率，但具有小于完全图像或显示装置110的显示区的尺寸。

在一实例中，背景图像208对应于完全图像的全部内容或整个显示区。相比之下，高分辨率前景图像204对应于中央凹注视区220。中央凹注视渲染还包含组合背景图像208和高分辨率前景图像204以生成合成图像206。组合包含取决于注视点210和中央凹注视区220的位置而将高分辨率前景图像204覆盖在背景图像208的顶部上。合成图像206呈现在显示器的图像显示区中。因此，并不是呈现完全图像，而是呈现合成图像206，其中按高分辨率呈现的仅仅是前景图像204，并按低分辨率呈现合成图像的剩余部分。可在组合过程期间执行额外操作，例如，在高分辨率前景图像204的边界附近混合图像内容以使低分辨率与高分辨率之间的过渡变得平滑。

当组合背景图像208与高分辨率图像204时，背景图像208的一部分与高分辨率图像204重叠，并且因此在合成图像206中由高分辨率图像204替换。背景图像208的此部分被称为低分辨率图像，并且其对应于高分辨率图像204。随着用户改变注视点，可生成新的高分辨率图像204，以使得新的中央凹注视区220中的图像内容可按高质量呈现。类似地，如果注视点210的改变伴随有相对于场景的用户位置的改变，那么可能也需要生成新的背景图像208。通常，背景图像208是相对稳定的，并且改变不如高分辨率图像204那样显著。

图3是图示中央凹注视渲染中的与注视相关的时变混叠伪像的实例的简图。图3图示在两个连续时间点T1和T2下的中央凹注视渲染。在时间T1，通过将高分辨率图像204叠加到背景图像208上，覆盖用户的中央凹注视区的高分辨率图像204与背景图像208组合。如上文所论述，背景图像208的一部分与高分辨率图像204重叠，其中所述重叠的部分示出在图3的左上图中并被称为低分辨率图像302。

图3还示出在时间T1的在高分辨率图像204中的白色的像素P1，并示出在低分辨率图像302中的黑色的对应样本P2。样本P2可通过以下方式来确定：将像素P1在高分辨率图像204中的坐标重新映射到低分辨率图像302，并使用低分辨率图像302的相邻像素来内插计算样本P2的值。像素P1和样本P2在其相应图像中位于相同位置处。因此，当组合高分辨率图像204与背景图像208时，像素P2在合成图像206中被替换为像素P1。图3中的左下图示出在时间T1的合成图像206，其中可仅观察到像素P1。

在时间T2，用户注视点210并且因此中央凹注视区向左移动，即，从G1移动到G2。针对此新的注视点G2和中央凹注视区而生成新的高分辨率图像204。在此实例中，注视点改变不涉及用户位置相对于3D场景的改变。因此，背景图像208保持实质上不变。随着注视点210向右移动，样本P2不再处于中央凹注视区内。因此，样本P2在时间T2在合成图像206中被示出在中央凹注视区的左侧。

比较在时间T1和T2的合成图像206，像素304从白色像素P1改变为黑色像素P2。像素值的此突然改变将在所显示的图像中导致时变混叠伪像，如上文所论述的。类似地，如果用户将其注视点从G2移动回到G1，那么像素304将突然从黑色像素改变为白色像素，从而导致类似的时变混叠伪像。

为了缓解此问题，在发送合成图像206以进行显示之前，图形处理装置130可修改高分辨率图像204中的像素P1以减小P1与P2之间的差。时变混叠伪像的原因之一是P1和P2的像素值之间的较大差异。如果像素值P1与P2之间的差小，那么时变混叠伪像不那么显著。因此，通过修改高分辨率图像204中的像素P1的像素值，P1与P2之间的差可减小，并且因此混叠伪像可也减少。

图4是图示根据本公开的实施例的用于减少中央凹注视渲染中的时变混叠伪像的方法的实例的简图。为了简化起见，2乘2的图像块用于表示低分辨率图像302，并且4乘4的图像块用于表示高分辨率图像204。此过于简化的实例是出于说明的目的，并且不应解释为限制性的。

在图4所示的实例中，为了发现低分辨率图像302与高分辨率图像204之间的一一对应关系，图形处理装置130的图形处理模块150可将高分辨率图像204中的给定像素的坐标重新映射到低分辨率图像302中的坐标，并且接着使用低分辨率图像302的相邻像素而估计低分辨率图像302中对应于高分辨率图像204中的给定像素的样本。

如图4所示，高分辨率图像204的像素被表示为H(i,j)。为了发现低分辨率图像302中对应于像素H(i,j)的样本，将高分辨率图像像素的坐标(i,j)变换为低分辨率图像中的坐标(i',j')。如果所变换的坐标(i',j')不匹配低分辨率图像302的现存像素的坐标，那么图形处理模块150可使用接近坐标(i',j')的像素以估计样本的值。例如，所述估计可包括对低分辨率图像302中邻近于坐标(i',j')的像素进行内插计算以生成处于(i',j')的样本，其中所述样本被表示为L(i',j')。所述内插计算可使用任何线性或非线性内插算法来执行。取决于内插算法，邻近像素可以是样本的最近的N乘N近邻或沿着穿过样本的某条直线。

一旦确定了低分辨率图像302的样本L(i',j')，图形处理模块150便可计算H(i,j)与L(i',j')之间的差，并将所述差(例如，绝对差|H(i,j)-L(i',j')|)与阈值进行比较。在一些实施例中，所述差是使用像素H(i,j)和L(i',j')的亮度值来计算的。在那些实施例中，如果高分辨率图像204和低分辨率图像302在色彩空间中被表示，那么在计算所述差时，图形处理模块150将这两个图像转换到亮度空间中。同样，阈值也处于亮度空间中。在其它实施例中，图形处理模块150计算像素H(i,j)与样本L(i',j')之间的差，并且选择色彩空间(例如，RGB色彩空间、YUV色彩空间和/或其它色彩空间)中的阈值。

如果图形处理模块150确定像素H(i,j)与样本L(i',j')之间的差大于或等于阈值，那么可意味着时变混叠伪像可能在此像素的位置处发生。图形处理模块150将因此改变像素H(i,j)以减小H(i,j)与样本L(i',j')之间的差，例如，使所述差小于阈值。例如，可如下修改高分辨率图像204的像素：

H'(i, j) ＝ H(i,j) – α(H(i,j) - L(i',j')) (1)

其中α是用于确定对H(i,j)进行的调整或修改的量的参数，并且其可取0与1之间的值。在一个实施例中，H(i,j)被修改成取L(i',j')的值，即，α＝1。如果图形处理模块150确定H(i,j)与样本L(i',j')之间的差小于阈值，那么图形处理模块150将保持H(i,j)的值不变。

阈值可基于例如显示装置的类型、图形处理装置130和图像的类型等因素而被选择。例如，阈值的值可通过将类似装置用于类似图像内容而进行的实验来被选择。在一个实施例中，阈值可被设定为最大像素改变的6.25％。例如，如果使用8位来表示像素并且按亮度值来计算所述差，那么阈值可被设定为6.25％x 255。

图形处理模块150可将上文所述的方法应用到高分辨率图像204的每一像素，并且生成经修改的高分辨率图像402。图形处理模块150可接着将经修改的高分辨率图像402与背景图像208组合以生成合成图像206，并且将合成图像206传输到显示装置110以进行显示。

应理解，虽然在上文描述中，在已渲染低分辨率图像302与高分辨率图像204之后执行混叠移除方法，但是可在这两个图像的渲染期间执行所述混叠移除方法。在一些实施方案中，并行地渲染低分辨率图像302(或更精确地说含有低分辨率图像302的背景图像208)与高分辨率图像204。在那些实施方案中，图形处理模块150可确定是否已渲染低分辨率图像302和高分辨率图像204中的对应像素，尽管图像的剩余部分尚未被渲染。若如此，则图形处理模块150可应用上文所述的方法以在必要时修改高分辨率图像204的像素。以此方式渲染的高分辨率图像已考量混叠伪像，并且因此可在渲染之后照常与背景图像208组合而生成合成图像206以进行显示。

图5是根据本公开的实施例的用于减少中央凹注视渲染中的时变混叠伪像的一种实例方法500的流程图。一个或多个计算装置(例如，计算装置140或更具体来说图形处理装置130)通过执行适当程序代码(例如，图形处理模块150)而实施图5所描绘的操作。出于说明的目的，参照图中所描绘的某些实例来描述方法500。然而，其它实施方案是可能的。

在框502中，方法500包括接收注视数据，其中注视数据包含关于用户在显示装置110上的注视点210的数据。如上文所论述，注视数据可由眼睛追踪装置120生成，其中眼睛追踪装置120可与计算装置140分开或集成到计算装置140中。在框504中，方法500包括基于注视数据而渲染包含低分辨率图像302的背景图像208以及高分辨率图像204。渲染可由图形处理装置130或通信连接到图形处理装置130的另一计算装置执行。

在框506中，方法500包括比较高分辨率图像204与低分辨率图像302以计算像素-样本差。如上文所论述，为了执行比较，图形处理装置130可需要内插计算低分辨率图像302以生成对应于高分辨率图像204中的像素的样本。图形处理装置130可能还需要将两个像素转换到亮度空间或色彩空间中，在那里计算所述差。

在框508中，方法500包括将所述差与阈值比较。如果图形处理装置130确定所述差高于或等于阈值，那么方法500包括在框510中修改高分辨率图像204中的像素以减小差值。换句话说，高分辨率图像204中的像素被修改成较接近低分辨率图像302中的样本的值。在一个实例中，像素根据方程式(1)而被修改。

在框512中，方法500包括确定高分辨率图像204中是否存在更多要评估的像素。若如此，则图形处理装置130针对下一像素而重复框506到510中的操作。如果没有更多像素要被评估了，那么图形处理装置130在框514中组合经修改的高分辨率图像402和背景图像208以生成合成图像206。在框516中，方法500包括将合成图像206发送到显示装置110以进行显示。如上文所论述，图形处理装置130可在渲染背景图像208和高分辨率图像204的同时执行方法500。在已渲染高分辨率图像204中的像素以及低分辨率图像302的对应部分的情况下，可针对高分辨率图像中的那一像素而执行方法500并且可在需要时修改所述像素。

图6是图示可实施本发明的实施例的示范性计算机系统600的框图。此实例图示计算机系统600，其中计算机系统600例如可整体地、部分地或经过各种修改而用于提供例如上文所论述的眼睛追踪装置120、图形处理装置130、游戏控制台、计算装置140和/或本发明的其它部件的功能。例如，眼睛追踪装置120和相关联的处理器的各种功能可由计算机系统600控制，这些功能仅举例来说包含追踪用户的注视点、确定预期注视点、控制图形处理装置130等。

计算机系统600被示出为包括可经由总线690而电耦接的硬件元件。硬件元件可包含一个或多个中央处理单元610、一个或多个输入装置620(例如，鼠标、键盘等)和一个或多个输出装置630(例如，显示装置、打印机等)。计算机系统600可还包含一个或多个存储装置640。举例来说，存储装置640可以是盘驱动器、光学存储装置、固态存储装置，例如，随机存取存储器(RAM)和/或只读存储器(ROM)，它们可以是可编程的、可闪速更新的，等等。

计算机系统600可另外包含计算机可读存储介质读取器650、通信系统660(例如，调制解调器、网卡(无线或有线)、红外线通信装置、Bluetooth^TM装置、蜂窝式通信装置等)以及工作存储器680，其中工作存储器680可包含如上所述的RAM和ROM装置。在一些实施例中，计算机系统600可还包含处理加速单元670，其中处理加速单元670可包含数字信号处理器、专用处理器等。

计算机可读存储介质读取器650可还连接到计算机可读存储介质，所述计算机可读存储介质一起(并且，视情况结合存储装置640)全面表示用于暂时和/或较永久地容纳计算机可读信息的远程、本地、固定和/或可移除的存储装置加存储介质。通信系统660可允许与网络、系统、计算机和/或上文所述的其它部件交换数据。

计算机系统600可还包括被示出为当前位于工作存储器680内的软件元件，包含操作系统684和/或其它代码688。应了解，计算机系统600的替代实施例可具有相对于上文所述的内容的各种变化。例如，也可使用定制硬件，和/或可将特定元件实施在硬件、软件(包含便携式软件，例如，小程序等)或硬件与软件两者中。此外，也可出现与例如网络输入/输出和数据获取装置等其它计算装置的连接。

计算机系统600的软件可包含用于实施如本文所述的架构的各种要素的功能中的任一个或全部的代码688。例如，存储在例如系统600等计算机系统上和/或由其执行的软件可提供例如上文所论述的眼睛追踪装置120、图形处理装置130、游戏控制台、处理器/计算机和/或本发明的其它部件的功能。上文已更详细地论述可由软件在这些部件中的一些上实施的方法。

已为了清楚起见和便于理解而详细描述本发明。然而，应了解，可在随附权利要求书的范围内实践某些改变和修改。

Claims

1.一种用于减少中央凹注视渲染中的混叠伪像的方法，所述方法包括：

通过处理装置来访问高分辨率图像以及对应于所述高分辨率图像的低分辨率图像；

通过所述处理装置来计算所述高分辨率图像的第一像素以及与所述低分辨率图像相关联的第二样本之间的第一差，所述第二样本对应于所述第一像素；以及

通过所述处理装置来基于确定所述第一差高于或等于阈值而修改所述第一像素，以生成所述高分辨率图像的经修改的像素，其中所述经修改的像素与所述第二样本之间的第二差小于所述第一差。

2.根据权利要求1所述的方法，还包括：

计算所述第一像素的第一亮度值以及所述第二样本的第二亮度值，其中所述第一差包括所述第一亮度值与所述第二亮度值之间的差。

3.根据权利要求2所述的方法，其中修改所述第一像素包括修改所述第一像素的所述第一亮度值。

4.根据权利要求1所述的方法，其中所述第一差包括所述第一像素的第一色彩值与所述第二样本的第二色彩值之间的差。

5.根据权利要求1所述的方法，其中修改所述第一像素包括用所述第二样本替换所述第一像素。

6.根据权利要求1所述的方法，还包括：

基于确定所述第一差低于所述阈值而维持所述第一像素并且不生成所述经修改的像素。

7.根据权利要求1所述的方法，其中与所述低分辨率图像相关联的所述第二样本是通过内插计算所述低分辨率图像的两个或更多个像素而生成的。

8.根据权利要求1所述的方法，其中所述高分辨率图像是针对含有用户在显示装置上的注视点的中央凹注视区而生成的。

9.根据权利要求8所述的方法，还包括：

使含有所述经修改的像素的所述高分辨率图像显示在所述显示装置上。

10.根据权利要求8所述的方法，其中所述低分辨率图像对应于含有所述用户在所述显示装置上的所述注视点的所述中央凹注视区。

11.根据权利要求10所述的方法，其中所述高分辨率图像的所述第一像素以及所述低分辨率图像的所述第二样本对应于所述中央凹注视区中的同一点。

12.根据权利要求10所述的方法，还包括：

通过使所述高分辨率图像呈现在所述显示装置上的所述中央凹注视区中而防止所述低分辨率图像显示在所述显示装置上。

13.一种计算系统，包括：

非暂时性计算机可读介质，其存储用于减少中央凹注视渲染中混叠伪像的图像处理应用程序的程序代码；以及

处理装置，其通信耦接到所述非暂时性计算机可读介质，其中所述处理装置被配置成执行所述程序代码并因此执行以下操作：

访问高分辨率图像以及对应于所述高分辨率图像的低分辨率图像；

计算所述高分辨率图像的第一像素以及与所述低分辨率图像相关联的第二样本之间的第一差，所述第二样本对应于所述第一像素；以及

基于确定所述第一差高于或等于阈值而修改所述第一像素，以生成所述高分辨率图像的经修改的像素，其中所述经修改的像素与所述第二样本之间的第二差小于所述第一差。

14.根据权利要求13所述的计算系统，其中所述操作还包括：

15.根据权利要求13所述的计算系统，其中所述操作还包括：

16.根据权利要求15所述的计算系统，其中修改所述第一像素包括修改所述第一像素的所述第一亮度值。

17.一种非暂时性机器可读介质，所述非暂时性机器可读介质上具有用于减少中央凹注视渲染中的混叠伪像的指令，所述指令可由一个或多个处理器执行以执行以下操作：

18.根据权利要求17所述的非暂时性机器可读介质，其中所述高分辨率图像是针对含有用户在显示装置上的注视点的中央凹注视区而生成的，并且其中所述低分辨率图像对应于含有所述用户在所述显示装置上的所述注视点的所述中央凹注视区。

19.根据权利要求18所述的非暂时性机器可读介质，其中所述高分辨率图像的所述第一像素以及所述低分辨率图像的所述第二样本对应于所述中央凹注视区中的同一点。

20.根据权利要求17所述的非暂时性机器可读介质，其中与所述低分辨率图像相关联的所述第二样本是通过内插计算所述低分辨率图像的两个或更多个像素而生成的。