CN110300990A - 在正绘制的图像中进行抗混叠 - Google Patents

Abstract

一种用于由可头戴式显示设备进行显示而生成的图像的图像处理方法，该方法包括以下步骤：为图像区域定义2×2像素掩模图案，指示2×2像素掩模图案内的一个或多个像素和对应的掩蔽的像素的位置；适配多样本抗混叠(MSAA)方案以在常规网格上以四分之一分辨率进行采样；使用适配的MSAA方案对值进行采样以渲染由2×2像素掩模指示的一个或多个相应像素，以便生成包括一个或多个渲染的像素和对应的缺失像素的图像区域；以及扩张相应像素中的一个或多个以填充图像区域内的一个或多个缺失像素。

Description

在正绘制的图像中进行抗混叠

技术领域

本公开涉及图像处理，例如用于图像显示。

背景技术

作为背景，将讨论示例性可头戴式显示器(head-mountable display，HMD)，但是(如下面进一步描述的)本公开适用于其他类型的显示器。

HMD是可以佩戴在头上或作为头盔的一部分的图像或视频显示设备。一只眼睛或两只眼睛都配有小型电子显示设备。

一些HMD允许将显示的图像叠加在真实世界视野上。这种类型的HMD可以被称为光学透视HMD，并且通常要求显示设备被定位在除了直接在用户眼睛前方之外的某处。然后需要一些偏转所显示图像以便用户可以看到它的方式。这可能通过使用放置在用户眼睛前方的部分反射镜来实现，以便允许用户透过镜子看到但也看到对显示设备的输出的反射。在其内容通过引用并入本文的EP-A-1 731 943和US-A-2010/0157433中公开的另一种布置中，采用全内反射的波导布置被用于传送来自设置到用户头部的一侧的显示设备的显示的图像，使得用户可以看到所显示的图像，但仍然通过波导看到现实世界的视野。再次，在这些类型的布置中的任一种中，创建显示器的虚拟图像(使用已知技术)，使得用户以适当的尺寸和距离看到虚拟图像以允许放松的观看。例如，即使物理显示设备可能较小(例如，10mm×10mm)并且可能距离用户眼睛仅几毫米，虚拟图像也可以被布置成使得可以以与用户相距(例如)20米的距离被用户感知，感知尺寸为5m x 5m。

然而，其他HMD仅允许用户看到所显示的图像，也就是说它们模糊了用户周围的真实世界环境。这种类型的HMD可以与适当的镜头相关联地将实际显示设备安置在用户眼睛的前方，其中该镜头将虚拟的显示图像放置在合适的距离处以供用户以放松的方式聚焦-例如，在与上述光学透视HMD类似的虚拟距离和感知尺寸处。这种类型的设备可以用于观看电影或类似的记录内容，或者用于观看表示用户周围的虚拟空间的所谓的虚拟现实内容。然而，当然可以在这种类型的HMD上显示真实世界的视野，例如通过使用前向相机来生成用于在显示设备上显示的图像。

尽管HMD的最初发展可能是由这些设备的军事和专业应用驱动的，但是HMD正变得越来越受临时用户在例如计算机游戏或家用计算应用中的使用。

发明内容

本公开由权利要求1限定。

在所附权利要求中限定了本公开的其他各个方面和特征。

附图说明

现在将参考附图描述本公开的实施例，其中：

图1示意性地示出了用户佩戴的HMD；

图2是HMD的示意性平面图；

图3示意性地示出了HMD对虚拟图像的形成；

图4示意性地示出了用于HMD的另一种类型的显示器；

图5示意性地示出了一对立体图像；

图6示意性地示出了HMD的用户的视野的改变；

图7a和7b示意性地示出了具有运动感测的HMD；

图8和9示意性地示出了佩戴连接到Play游戏控制台的HMD的用户；

图10A-E示意性地示出了在游戏输出图像的原始输出到被用户感知之间对游戏输出图像应用的一系列失真；

图11示意性地示出了用于高效地生成游戏输出图像的掩模(mask)；

图12A和12B示意性地示出了用于高效地生成游戏输出图像的掩模；

图13示意性地示出了用于掩模的掩模图案；

图14示意性地示出了像素扩张过程；

图15A和B示出了处理的图像中的假象；

图16示意性地示出了对各个掩模图案的相继变化；

图17示出了处理的图像中伪影(artefacts)的减少；

图18A和B示意性地示出了传统的多样本抗混叠(anti-aliasing)样本点和修改的多样本抗混叠样本点之间的差异；

图19A和B示意性地示出了修改的多样本抗混叠方案的像素和样本分辨率之间的差异；

图20示意性地示出了基于修改的多样本抗混叠方案生成输出图像的过程；

图21是对用于由可头戴式显示设备显示而生成的图像的图像处理方法的流程图；和

图22是硬件布置的示意图。

具体实施方式

本公开的实施例可以提供一种使用可操作以向观看者显示图像的显示器的显示方法和装置。在一些实施例中，显示器是可头戴式显示器，并且通过检测可头戴式显示器的位置和/或取向来检测观看者头部的位置和/或取向。可头戴式显示器可以具有要安装到观察者头部上的框架(frame)，该框架限定一个或两个眼睛显示位置，在使用中，所述眼睛显示位置位于观察者的相应眼睛的前面，并且相应的显示元件相对于眼睛显示位置中的每一个安装，显示元件向观看者的那只眼睛提供来自视频信号源的视频信号的视频显示的虚拟图像。在其他示例中，显示器不是可头戴式显示器。在一些实施例中，显示器(无论是否为可头戴式)可以被称为沉浸式显示器，因为在正常使用中它对用户的视场的至少一阈值角度范围(例如，至少40°)进行填充。示例包括多投影仪显示器、环绕(弯曲)显示器等。

现在参考图1，用户10正在用户的头部30上佩戴HMD 20。该HMD包括框架40，在该示例中由后带(strap)和顶带形成，以及显示部分50。

图1的HMD完全模糊了用户的周围环境的视野。用户可以看到的全部是HMD内显示的一对图像。

HMD具有适合用户的左耳和右耳70的相关联的头戴式耳机60。耳机60重放从外部源提供的音频信号，该外部源可以与提供视频信号以供显示给用户眼睛的视频信号源相同。

在操作中，提供视频信号以供HMD显示。这可以由诸如视频游戏机或数据处理装置(诸如个人计算机)的外部视频信号源80提供，在这种情况下，信号可以通过有线或无线连接发送到HMD。合适的无线连接的示例包括蓝牙(R)连接。用于耳机60的音频信号可以由相同的连接承载。类似地，从HMD传递到视频(音频)信号源的任何控制信号可以由相同的连接承载。

因此，图1的布置提供了可头戴式显示系统的示例，其包括要被安装到观察者头部上的框架，该框架限定一个或两个眼睛显示位置和相对于眼睛显示位置中的每一个安装的显示元件，其中所述眼睛显示位置在使用中位于观察者相应眼睛的前面，显示元件向观察者的眼睛提供来自视频信号源的视频信号的视频显示的虚拟图像。

图1仅显示了HMD的一个示例。其他格式也是可能的：例如，HMD可以使用更类似于与传统眼镜相关的框架，即从显示部分向后延伸到用户耳朵的后方顶部、可能在耳朵后面卷曲的基本上水平的腿(leg)。在其他示例中，用户的外部环境的视野实际上可能不完全被模糊；所显示的图像可以被布置成在外部环境上叠加(从用户的角度来看)。下面将参考图4描述这种布置的示例。

在图1的示例中，为用户的每只眼睛提供单独的相应显示。如图2所示提供了如何实现这一点的示意性平面图，其示出了用户眼睛的位置100和用户鼻子的相对位置110。以示意形式，显示部分50包括用于对用户眼睛遮蔽环境光的外部屏蔽120和防止一只眼睛看到用于另一只眼睛的显示的内部屏蔽130。用户的面部、外部屏蔽120和内部屏蔽130的组合形成两个隔室140，每个眼睛一个隔室140。在每个隔室中，提供显示元件150和一个或多个光学元件160。将参考图3描述显示元件和(多个)光学元件协作以向用户提供显示的方式。

参照图3，显示元件150生成显示图像，该显示图像(在该示例中)由光学元件160(示意性地示出为凸透镜但可包括复合透镜或其他元件)折射以便生成在用户看来比显示元件150生成的真实图像更大并且明显更远的虚拟图像170。作为示例，虚拟图像可以具有大于1m的表观图像尺寸(图像对角线)，并且可以布置在距用户眼睛(或者距HMD的框架)大于1m的距离处。一般而言，取决于HMD的目的，期望使虚拟图像处于与用户相距很远。例如，如果HMD用于观看电影等，则期望在这种观看期间用户的眼睛放松，这需要(到虚拟图像的)距离为至少几米。在图3中，实线(诸如线180)用于表示真实光线，而虚线(诸如线190)用于表示虚拟光线。

可替换的布置如图4所示。在期望用户对外部环境的视野不完全被模糊时，可以使用这种安排。但是，它也适用于用户外部视野完全被模糊的HMD。在图4的布置中，显示元件150和光学元件200协作以提供投射到镜子210上的图像，镜子210朝向用户的眼睛位置220偏转图像。用户感知位于用户前方并距用户适当距离的位置230处的虚拟图像。

在用户对外部环境的视野完全被模糊的HMD的情况下，镜子210可以是基本上100％反射镜。因此，图4的布置具有以下优点：显示元件和光学元件可以更靠近用户头部的重心和用户眼睛的侧面定位，这可以产生不太笨重的HMD以供用户佩戴。可替换地，如果HMD被设计成不完全模糊用户对外部环境的视野，则可以将镜子210做成部分地反射，使得用户通过镜子210看到外部环境，其中虚拟图像叠加在真实外部环境上。

在为用户的每只眼睛提供单独的相应显示器的情况下，可以显示立体图像。图5中示出了用于向左眼和右眼显示的一对立体图像的示例。图像呈现相对于彼此的横向位移，其中图像特征的位移取决于捕获图像的相机的(真实的或模拟的)横向分离、相机的角度会聚和每个图像特征与相机位置的(真实的或模拟的)距离。

请注意，图5中的横向位移实际上可能是反过来的，也就是说所绘制的左眼图像实际上可能是右眼图像，而所绘制的右眼图像实际上可能是左眼图像。这是因为一些立体显示器倾向于将对象在右眼图像中向右移动并且在左眼图像中向左移动，以便模拟用户正在通过立体窗口观看更远处的场景的想法。然而，一些HMD使用图5中所示的布置，因为这给用户留下了用户正在通过一副双筒望远镜观看场景的印象。这两种布置之间的选择由系统设计者决定。

在一些情况下，HMD可以简单地用于观看电影等。在这种情况下，当用户转动用户的头部时，例如从一侧到另一侧，显示的图像的表观视点(apparent viewpoint)不需要改变。然而，在其他用途中，诸如与虚拟现实(virtual reality，VR)或增强现实(augmentedreality，AR)系统相关联的那些，用户的视点需要跟踪相对于用户所在的真实或虚拟空间的移动。

通过检测HMD的运动并改变所显示图像的表观视点来执行该跟踪，使得表观视点跟踪运动。

图6示意性地示出了VR或AR系统中用户头部移动的影响。

参考图6，虚拟环境由围绕用户的(虚拟)球壳250表示。由于需要在二维纸质图纸上表示这种布置，所以壳体由与用户相距等于所显示的虚拟图像与用户分开的距离处的圆形的一部分表示。用户最初处于第一位置260并且朝向虚拟环境的一部分270。正是该部分270表示在用户的HMD的显示元件150上显示的图像中。

考虑用户然后将他的头部移动到新位置和/或方向280的情况。为了保持虚拟现实或增强现实显示的正确感觉，虚拟环境的显示部分也移动，使得在移动结束时，HMD显示新部分290。

因此，在这种布置中，虚拟环境内的表观视点随着头部移动而移动。例如，如果头部旋转到右侧，如图6所示，则表观视点也从用户的视点向右移动。如果从所显示的对象(诸如显示的对象300)的方面考虑该情况，则这将高效地在与头部移动相反的方向上移动。因此，如果头部移动是向右，则表观视点向右移动，但是在虚拟环境中静止的对象(诸如显示的对象300)将朝向显示的图像的左边移动并且最终将从显示的图像的左手侧消失，原因很简单，虚拟环境的显示部分已向右移动，而显示的对象300未在虚拟环境中移动。类似的考虑适用于任何运动的上下组件。

图7a和7b示意性地示出了具有运动感测的HMD。这两幅图的格式与图2所示的格式相似。也就是说，这些图是HMD的示意性平面图，其中显示元件150和光学元件160由简单的盒形状表示。为图形的清楚起见，未示出图2的许多特征。两幅图都示出了具有用于检测观察者头部运动的运动检测器的HMD的示例。

在图7a中，前向相机320设置在HMD的前部。这不一定提供用于向用户显示的图像(尽管它可以在增强现实布置中这样做)。相反，其在本实施例中的主要目的是允许运动感测。下面将结合图8描述使用由相机320捕获的图像进行运动感测的技术。在这些布置中，运动检测器包括：安装成与框架一起移动的相机；以及图像比较器，其可操作以比较由相机捕获的连续图像，以检测图像间运动。

图7b使用硬件运动检测器330。这可以安装在HMD内或HMD上的任何位置。合适的硬件运动检测器的示例是压电加速度计或光纤陀螺仪。当然将要理解，硬件运动检测和基于相机的运动检测都可以用在同一设备中，在这种情况下，一个感测布置可以用作在另一感测布置不可用时的备用，或一个感测布置(诸如相机)可以提供用于改变显示的图像的表观视点的数据，而另一个(诸如加速度计)可以提供用于图像稳定的数据。

图8示意性地示出了佩戴连接到作为基础设备的示例(对应于图1的外部视频源80)的Play游戏控制台2000的HMD的用户，基本设备的另一示例是PlayStation游戏控制台。游戏控制台2000连接到市电电源2010并且(可选地)连接到主显示屏(未示出)。充当上面讨论的线缆82、84(并且因此充当电源和信号线缆两者)的线缆将HMD 20链接到游戏控制台2000，并且例如插入到控制台2000上的USB插座2020中。注意，在本实施例中，提供了实现线缆82、84的功能的单个物理线缆。在图8中，还示出了用户握持手持控制器2030，其可以是与游戏控制台2000无线通信以控制(或有助于控制)与当前执行的游戏程序有关的游戏操作的例如 控制器。

HMD 20中的视频显示器被布置为显示由游戏控制台2000生成的图像，并且HMD 20中的耳机60被布置为再现由游戏控制台2000生成的音频信号。注意，如果使用USB型线缆，则这些信号在它们到达HMD 20时将是数字形式，使得HMD 20包括数模转换器(digital toanalogue converter，DAC)以将至少音频信号转换回模拟形式用于重现。

来自安装在HMD 20上的相机2050的图像经由线缆82、84传递回游戏控制台2000。类似地，如果在HMD 20处提供运动或其他传感器，则来自那些传感器的信号可以在HMD 20处至少部分地处理和/或可以在游戏控制台2000处至少部分地处理。

根据USB标准，来自游戏控制台2000的USB连接还向HMD 20提供电力。

图9示意性地示出了类似的布置，其中游戏控制台(通过有线或无线链路)连接到充当基础或中间设备2040的所谓“接线盒(break out box)”，其中HMD 20通过线缆链路82、84连接到所述“接线盒”。接线盒在这方面具有各种功能。一个功能是为与HMD的操作有关的一些用户控制(诸如(例如)功率控制、亮度控制、输入源选择器、音量控制等中的一个或多个)提供靠近用户的位置。另一个功能是为HMD提供本地电源(如果根据所讨论的实施例需要一个)。另一个功能是提供局部线缆锚定点。在最后一个功能中，没有设想将接线盒2040固定到地面或家具上，但不是从游戏控制台2000具有非常长的拖曳线缆，接线盒提供了局部加权点使得将HMD 20链接到接线盒的线缆82、84将倾向于围绕接线盒的位置移动。这可以通过避免使用非常长的拖曳线缆来改善用户的安全性和舒适性。

将理解，本申请中描述的各种技术中的处理的本地化可以在不改变整体效果的情况下改变，假设HMD可以形成一组或一群互连设备(也就是说，互连用于数据或信号传递的目的，但不一定通过物理线缆连接)的一部分。因此，被描述为“在”一个设备(诸如在HMD)发生的处理可以被转移到诸如游戏控制台(基础设备)或接线盒的另一设备。处理任务可以在设备之间共享。可以将要进行处理的源信号分发给另一设备，或者可以根据需要将来自对那些源信号的处理的处理结果发送到另一设备。因此，在此上下文中应理解对在特定设备发生的处理的任何引用。类似地，在两个设备之间的交互基本上对称的情况下，例如在一个设备上的相机或传感器检测到另一设备的信号或特征的情况下，将理解，除非上下文禁止这样，否则这两个设备可以互换而不会有任何功能损失。

现在参考图10，将理解，以高帧速率生成立体图像(即两个图像)的过程在计算上是昂贵的。因此，期望在可能的情况下减少计算开销，并且优选地以不显着影响用户对游戏的感知体验的方式。

减少计算开销的一种方法是减少需要在图像中渲染的像素数量。

在HMD的情况下，将理解，由HMD光学器件投射到用户眼睛上的图像实际上是圆形的；光学器件布置成基本上将显示器面板的最大宽度和高度投射到用户的(圆形)瞳孔上，使得面板的内容占据用户的所有视觉。但是，这意味着(方形)图像的角落没有落入用户的视场内。

因此，对于每个显示的图像，作为在生成渲染的游戏输出10A时的初始步骤，可以应用圆形渲染掩模，其防止渲染图像的角落中的用户不可见的像素。这会删除可在原始图像中渲染的大约25％的像素。

但是，还有进一步提高渲染过程的计算效率的余地。

HMD光学器件还将所谓的枕形失真10D应用于显示在HMD的左显示面板和右显示面板上的图像。显然，如果应用于游戏输出10A，这将导致不希望的效果。因此，为了对此进行补偿，将称为桶形失真10B的逆失真应用于输出游戏图像，导致在HMD的各个面板上显示变形图像10C。

这种桶形失真可以通过图像的周边部分的相对收缩来实现，或者等价地通过图像的中心部分的相对扩展来实施。在任何一种情况下，所应用的变化程度通常是距图像中心的距离的连续函数。该特定函数通常被计算为或凭经验被确定为由HMD光学器件引起的跨图像的变化的程度的倒数，从而补偿光学效应。

图10还在第二行上示出了从相应图像10A、10C和10E的中心概念性地取得的示例性像素。可以看出，在通过图像中心的相对放大来实施桶形失真的情况下，游戏输出的原始像素被放大，使得在当被用户感知时通过光学器件的枕形失真收缩回到接近其原始尺寸之前，潜在地跨HMD面板的多个物理像素显示一个图像像素。然而，显然，这是对HMD面板上的物理像素的低效使用。

因此，如图10中第三行所示，可选地，游戏输出以比HMD面板的原始像素分辨率更高的分辨率生成(例如，以1.4X分辨率，其中分辨率的增加通常被选择为大致对应于由图像中心的桶形失真引起的放大程度)。因此，当图像被桶形失真时，图像中心的像素基本上与HMD面板的物理像素相对应，因此被更清晰和准确地显示。此外，当这些像素通过光学器件的枕形失真向回收缩时，用户感知图像的中心区域具有更高的分辨率。

然而，将理解，虽然图像的中心区域中的桶形失真像素可以与HMD显示面板上的物理像素实现大约1：1的映射，但是在游戏输出图像的外围区域中的具有比面板的物理分辨率更高的分辨率的桶形失真像素被子采样(即，每个物理像素存在多于一个图像像素)，并因此浪费了图像信息和生成该图像信息时的相应的计算工作量。

原则上，对这个问题最高效的解决方案是将游戏输出图像以作为与中心的半径距离的函数的、对应于来自桶形失真的放大程度的不同分辨率渲染；但是，现有的图形硬件无法做到这一点。

因此，可替换的解决方案是以低分辨率渲染整个图像，并以更高的分辨率渲染图像的中心区域，从而节省一些计算开销。但是，出于多种原因，这种解决方案并不理想；首先，存在具有多于一个渲染目标(低分辨率图像和高分辨率图像)的计算管理开销，其次，渲染器必须在某种程度上重叠，以允许两个部分的平滑混合-这是天生低效的，并且第三，它仅仅是由桶形失真提供的放大率的连续变化的粗略近似，并因此可能导致最终感知图像内的图像质量的显着变化。

因此，现在还参考图11，在本发明的实施例中，在生成游戏输出图像期间应用附加的渲染掩蔽，以进一步减少最初渲染的像素的数量。

图11是渲染掩模(为了解释的目的并排显示左右图像)。如前所述，渲染掩模的黑色像素表示将通过模板或深度测试掩蔽的像素，因此用于防止渲染相应的图像像素。该图像的实心黑色外边界对应于先前讨论的用户基本上圆形视野之外的那些像素。此外，图11示出了在用户看到的图像的外围，现在在渲染掩模上使用抖动模式(在该图中，以棋盘图案交替开/关掩模像素)以减少渲染的像素的数量。

将理解，图11示出了最简单的实施例，因为在完全渲染和掩模中没有渲染之间仅存在一个抖动阶段。然而，上述技术不限于此。因此，例如，参考图12A和12B(为清楚起见而提供的12A的放大部分)，可以根据距图像中心的半径的函数来应用渐进抖动模式。因此，在图12A和12B中，在图像的中心附近没有抖动。先于在图像的有效边缘处施加100％的掩模，然后施加25％的抖动，接着是50％的抖动，接着是75％的抖动。

图13示出了25％、50％和75％抖动的典型抖动模式。

现在参照图14，一旦以这种方式已经渲染图像，在抖动区域内具有(越来越)稀疏渲染的像素，则对图像应用低成本的扩张传递，使得来自一个或可选地多个渲染的像素的颜色信息被复制到相邻的掩模像素，从而填充由渲染掩模创建的图像中的间隙。渲染完成后可以应用扩张，作为单独的传递。可替换地，本发明的实施例可以通过按需执行这些读取来节省带宽，而不是通过单独的通道将附近的像素扩张到掩蔽的像素中。这需要更多在很大程度上被着色器中的其他延迟所隐藏的着色器ALU周期，以节省读取和写入纹理的带宽。此外，因为采样来自掩蔽版本，所以它实际上总共采样更少的像素，这在访问模式对缓存更友好时更高效。

图14显示了75％的抖动区域中的扩张结果，引起颜色块是原始渲染像素尺寸的四倍。

因此，这种抖动掩模过程的结果是25％的抖动模式引起有效的四分之三分辨率图像区域，50％的抖动模式引起有效的半分辨率图像区域，并且75％的抖动模式引起有效的四分之一分辨率图像区域。

以这种方式，可以更好地近似在本文前面讨论的期望的分辨率的径向变化，并且还可以获得这种可变分辨率渲染将带来的计算负荷的有益减少，这是由于用根据其他渲染的像素进行扩张(复制)的低得多的计算负荷来替换渲染图像的外围中现在被掩蔽的像素的计算负荷而引起的。对于图12A中所示的图像，除了通过如前所述掩蔽掉图像的角落而获得的25％之外，计算成本节省大约为20％的量级。

此外，将理解的是，虽然上面的示例显示了三个级别的抖动(如果你也将没有抖动计为0％的抖动模式，则为四个)，由于图像的桶形失真而改变分辨率的效果的更连续的近似可以通过使用将桶形失真描述为半径的函数的表达式来设想，以将掩蔽给定像素的概率确定为离图像的中心的半径的函数；从而生成作为半径的函数的统计平滑的掩模分布，从通常在图像的中心(或图像的中心区域)处没有掩模到在外围处的N％掩模，其中N可以例如是50％，75％，90％或100％。显然，如果需要，还可以提供规则以重载(override)由于随机机会而导致尺寸大于某一数量的像素的掩模区域的创建，进一步可选地，这种尺寸也被定义为半径的函数。可选地，该掩模仅需要创建一次。该掩模将对应于桶形失真放大的图像的逐渐变化的分辨率的统计精确表示，表示为图像上的半径的函数。

上述技术实现了通过使用渲染掩模将游戏输出的可变分辨率渲染近似(到图11中的第一级近似，到图12A中的第二级近似，以及到上述概率模型中的第三级近似)的期望效果。

因此，有利地，如前所述，与例如渲染高分辨率图像和低分辨率图像并将它们拼接在一起的替代解决方案相比，硬件在创建对图像质量有可忽略不计或较不突兀的影响的游戏输出图像时具有更低的计算开销。

因此，硬件可以针对相同的帧速率，或者针对图形中的相同复杂度水平增加的帧速率生成更复杂的图形-这对于虚拟现实而言是重要的，因为头部移动和渲染图像之间的任何滞后是用户的沉浸感和舒适感中的重要因素。

然而，由于由抖动模式引起的渲染图像的图案化采样，以及通过扩张对这些样本的有效放大，这可以引起最终图像中的不期望的混叠和阻挡效果，尽管是在用户可能不会注意到它们的图像的周边区域中。

图15A示出了没有抖动和扩张的示例图像，以及图15B示出了已经根据图12A中所示的抖动方案应用抖动和扩张之后的相同图像的放大区域。在图像的放大区域可以清楚地看到混叠和阻挡图案。

期望避免这种效果，同时保持该技术的计算效率。

因此，在本发明的实施例中，适配(adapt)该原理使得在4帧的序列上，每帧取给定像素的样本，同时每帧改变抖动掩模，使得不同的像素贡献于多个样本。以这种方式，在图14中看到的低分辨率“扩张像素”被分配一种颜色，该颜色是在贡献于相应的扩张像素的最后4帧中渲染的潜在的单独像素的混合。

图16示出了用于四帧序列的该过程，其中连续使用25％、50％和75％抖动模式的不同旋转版本。

将理解，在已经使用响应于桶形失真的函数的掩模像素的概率分布的情况下，如前所述，则没有预定的要旋转的抖动模式。然而，可以通过将整个掩模的每个2×2或4×4块旋转180°(在两帧序列的情况下)、或者连续地旋转90°(在四帧序列的情况下)以达到同样的效果，容易地生成等效掩模。

因此，该过程用一些时间分辨率换取空间分辨率。将理解，该方法可以仅在具有抖动掩模的图像区域中实施，或者仅在具有N％阈值抖动(例如，50％抖动以及更多，或者仅75％抖动)的图像区域中实施，如果需要，将常规抗混叠技术应用于图像中的其他地方，使得在图像中没有经历由于例如1：4扩张(1/4分辨率，75％抖动)区域而导致的图像伪影的区域不会导致时间分辨率的损失。

这承认对图像质量的最大影响是掩蔽掉了最大量的源图像。

图17示出了通过将上述时间采样抗混叠方法应用于图像的扩张像素而导致的图像质量差异。可以看出，步进和混叠伪影已经大大减少并且在大多数情况下被消除。

在本发明的实施例中，对于使用每像素模板掩模效率不高，因为GPU在称为“四边形”的2×2像素的块中着色；如果四边形中的任何像素需要着色，那么该四边形内的任何掩蔽的像素都将被着色并被丢弃，从而消除了掩蔽像素的任何性能增益。因此，返回参考图13，渲染掩模因此类似于右侧列中的4×4图案。

然而，期望对掩模进行有效的每像素控制。

MSAA(multi-sample anti-aliasing，多样本抗混叠)的属性可用于实现此目的。

本发明的实施例使用4xMSAA进行着色，但是不是根据用于抗混叠的每正常MSAA使用来以“像素率”着色，而是以“采样率”着色。这意味着像素着色器针对每个像素内采样的所有4个样本被调用，而不是仅运行一次。因此，如果使用4xMSAA并以此采样率渲染，并将每个轴的分辨率降低到一半，则图像中的像素数相同。这通过图19A至19B的过渡示意性地示出。如果另外将MSAA样本位置调整为未旋转的网格图案，而不是默认的旋转网格(参见图18A-旋转和18B-未旋转)，则在MSAA解析之后，图像与没有MSAA适配的图像几乎相同(忽略光栅化过程中的舍入差异)。由于硬件需要其四边形(如上所述)要由图像对齐的网格图案中的样本组成的事实，因此当启用MSAA时，构成像素四边形的样本不再是连续的2×2网格。相反，四边形由来自2×2像素网格中的每个像素的对应样本组成。因此，四边形可以由来自2×2像素网格中的每一个的样本0组成，并且下一个四边形将由来自2×2像素网格中的每一个的样本1组成，等等。

此属性意味着现在掩蔽整个四边形恰好生成像素粒度掩蔽图案(实际上是“样本粒度”，但因为着色处于采样频率，这意味着在这种情况下样本最终是像素)。

然后以与先前描述的方式类似的方式，掩蔽图案在连续帧中旋转，使得适配的MSAA采样过程用于从掩蔽图案中的每个未掩蔽区域的四个样本生成不同的像素。

因此，对于每个帧，MSAA过程根据在图像的该部分中使用的掩蔽图案来渲染像素的稀疏分布，其中像素的位置随每个帧而变化。

然后，对于每个帧，取决于在图像区域中使用的抖动模式，如果适用的话使用上述扩张过程来填充一个、两个或三个缺失像素。

然后，可以使用单独且标准的时间抗混叠技术(可能像滚动平均一样简单)来将抖动图像混合在2、3、4或更多帧上。

该过程总结在图20中。对于1/4分辨率抖动掩模的情况，该图的第一行示出了通过将MSAA目标视为全分辨率而获得的放大掩模。第二行示出了得到的稀疏像素分布，其中在掩蔽图案随每帧而变化时生成不同的像素。具有讽刺意味的是，为了提交专利申请而生成PDF的过程在该图中对所示的稀疏像素进行了抗混叠处理。然而，在实践中，在此阶段不会发生这种抗混叠。然后，第三行示出了在已经扩张这些稀疏像素以填充间隙之后的图像。最后，第四行示出了通过后续时间抗混叠、组合来自(在这种情况下)四帧的贡献而输出的图像。

如前所述，通过将抖动模式改变为距图像中心的距离的函数以减少渲染像素的数量，因此可以改变图像的有效分辨率以接近通过随后应用于输出图像的桶形失真所创建的分辨率的有效变化。

因此，有利地，系统可以跨图像高效地渲染具有变化的有效分辨率的图像。

此外，虽然上面的描述涉及将有效分辨率降低为距图像中心的距离的函数以便补偿桶形失真的抖动模式，但是将理解，原则上可以使用任意抖动模式，这可以以极少的视觉质量代价减少用于渲染的计算开销。因此，例如，抖动模式可以应用于对应于天空或云的图像区域，或者应用于具有小于阈值量的空间变化的场景中的任何纹理(其可以预先或者在初始化阶段期间确定为例如跨纹理的像素值的变化模量的总和，或者基于纹理的2-D傅里叶变换中的非DC峰值的值来确定)。可以预先将这种纹理标记为适合于上述技术。

相反，在例如有意义的对象朝向图像的外围定位的情况下，可能期望重载抖动模式并以更高的有效分辨率渲染该对象，以便输出图像的最佳可能版本。这种情况的一个示例可能是屏幕上有两个角色；当用户留心专注于第一个角色时，第二个角色可能位于他们视觉的外围，但在正在进行的对话中仍然可能具有重要作用。因此，优选地，第二个角色(或者，例如，至少他们的面部)仍然以全分辨率渲染。

因此，在本发明的变型实施例中，具有与预定游戏元素相关联的重要程度阈值的预定游戏元素(诸如角色面部)不受抖动掩模的影响，或者受到减小的和/或最大百分比的抖动掩模的影响。例如，它们可能比周围区域受到低25％的抖动掩模或低50％的抖动掩模。

因此，与图像中的任何默认抖动模式相比，图像的高重要性特征可能没有抖动或具有减少的抖动，并因此具有相对更高的有效分辨率，而图像的低重要性和/或低空间频率特征可能具有抖动或者增加的抖动，并因此具有相对更低的有效分辨率。

现在参考图21，在本发明的概述实施例中，为由可头戴式显示设备显示而生成的图像的图像处理方法包括：

-在第一步骤s110中，为图像区域定义2×2像素掩模图案，指示在2×2像素掩模图案内的一个或多个像素和对应的掩蔽像素的位置，如本文先前所述；

-在第二步骤s120中，适配多样本抗混叠(MSAA)方案以在常规未旋转网格上以四分之一分辨率进行采样，如本文先前所述；

-在第三步骤s130中，使用适配的MSAA方案对值进行采样，以渲染由2×2像素掩模指示的一个或多个相应像素，以便生成包括一个或多个渲染像素和对应缺失像素的图像区域，如本文先前所述；和

-在第四步骤s140中，扩张相应像素中的一个或多个以填充图像区域内的一个或多个缺失像素，如本文前面所述。

在该概述实施例的实例中，在2×2像素掩模中定义的掩蔽像素的数量根据图像区域与图像中心的距离的函数而增加，如本文先前所述。

在这种情况下，可选地，根据图像区域与图像中心的距离的函数来选择包括一个、两个、或三个掩蔽像素的预定义2×2像素掩模，如本文先前所述。

在该概述实施例的实例中，所定义的2×2像素掩模的图案在每个连续帧中改变，如本文先前所述。

在这种情况下，可选地，所定义的2×2像素掩模的图案在每个连续帧中旋转90°，如本文先前所述。

在该概述实施例的实例中，该方法还包括将多个连续帧中的图像区域输入到时间抗混叠滤波器中的步骤；以及使用时间抗混叠滤波器的输出作为输出的生成的图像的图像区域的步骤，如本文先前所述。

在该概述实施例的实例中，该方法还包括检测图像区域是否对应于图像中被指示为重要的特征的步骤，以及从包括绕过如在概述实施例中内所述的方法的步骤的列表中选择的一个步骤，并且可选择地选择具有比将为图像的该区域选择的默认2×2像素掩模更少的掩蔽像素的2×2像素掩模，如本文先前所述。

在该概述实施例的实例中，该方法还包括以下步骤：检测图像区域是否对应于图像中被指示为不重要的特征，以及选择具有比默认2×2像素掩模更多的掩蔽像素的2×2像素掩模，如果有的话，那将是为图像的该区域选择，如本文先前所述。

图21示意性地示出了可用于实施当前技术的示例硬件，并且涉及图8和9中示意性示出的装置特征。HMD设备320通过(多个)线缆82、84连接到可选的接线盒350，其中HMD和接线盒中的每一个包含处理单元(分别为321、351)和存储器单元(分别为322、352)。然后，经由另外的(多个)线缆82、84将接线盒进一步连接到视频源350，例如游戏控制台。视频源还具有其自己的处理器301和存储器单元302。如上所述的图像处理可以由三个处理器(301、321、351)中的任何一个与它们各自的存储器单元一起执行，或者可以分布在它们之间。然而，本技术适合于由处理器301执行，也就是说，该处理在视频源300处执行。另外，可以在没有接线盒350的情况下布置硬件，使得HMD 320可以直接连接到视频源300。

因此，图21提供了可操作以根据上述方法处理用于由可头戴式显示设备显示而生成的图像的图像处理设备的示例。

因此，在本发明的概述实施例中，图像处理装置(诸如视频游戏控制器、接线盒和HMD 300、320、350中的一个)可操作以处理用于由可头戴式显示设备显示而生成的图像。该装置包括掩模处理器(例如，在适当的软件指令下操作的相应设备中的一个或多个的CPU301、321、351)，其适配为对图像区域定义指示2×2像素掩模图案内的一个或多个像素和对应的掩蔽像素的位置的2×2像素掩模图案；混叠处理器(再次，例如，在适当的软件指令下操作的相应设备中的一个或多个的CPU 301、321、351)，其适配为修改多样本抗混叠(MSAA)方案，以便在规则网格上以四分之一分辨率进行采样；混叠处理器可操作以使用修改的MSAA方案对值进行采样以渲染由2×2像素掩模指示的一个或多个相应像素，以便生成包括一个或多个渲染像素和对应的缺失像素的图像区域；以及扩张处理器(再次，例如，在适当的软件指令下操作的相应设备中的一个或多个的CPU 301、321、351)，其适配为扩张相应像素中的一个或多个以填充图像区域内的一个或多个缺失像素。

设想该实施例的各种实例与本文先前描述的方法的概述实施例的实例相对应。

因此，在该实施例的实例中，在2×2像素掩模中定义的掩蔽像素的数量根据图像区域与图像中心的距离的函数而增加。

类似地，在该实施例的实例中，所定义的2×2像素掩模的图案在每个连续帧中改变。

并且再次在该实施例的实例中，装置包括时间抗混叠处理器，并且时间抗混叠滤波器可操作以接收多个连续帧中的图像区域作为输入并输出图像的对应区域用作输出的生成的图像区域。

将理解，上述方法因此可以在如果适用的话适当地通过软件指令或通过包含或替换专用硬件而适配的传统硬件上执行。

因此，对传统等效设备的现有部分的所需适配可以以包括存储在非暂时性机器可读介质(诸如软盘、光盘、硬盘、PROM、RAM、闪存或这些或其他存储介质的任何组合)上或者在硬件中实现为ASIC(专用集成电路)或FPGA(现场可编程门阵列)或适用于在适配传统等效设备中使用的其他可配置电路的处理器可实现指令的计算机程序产品的形式实现。单独地，这种计算机程序可以在网络(诸如以太网、无线网络、因特网或这些或其他网络的任何组合)上经由数据信号发送。

附加

有关本文所述技术的进一步说明。

根据本发明的实施例，发明人在整个渲染图像中掩蔽掉时间上变化的抖动模式中的像素，其中朝向图像外部增加掩蔽密度。随后的渲染通道然后将周围像素扩张到掩蔽掉的区域中以填充间隙，或者可替换地调整采样位置以从有效位置采样。渲染结果在多个帧上累积，以确保所有屏幕像素的贡献-以时间分辨率换取空间分辨率。此外，通过利用4倍多采样抗混叠所采用的交错像素四边形封装，可以解决四次过度绘制(quad-overdraw)性能限制，否则会以2×2像素粒度强制进行该掩蔽-允许以像素粒度进行掩蔽，显着提高了作为结果的质量。

如本文先前所述，在将游戏输出图像获取到用户在HMD头部设备(headset)中体验的视野(由系统施加的桶形失真，以及由光学器件施加的枕形失真)的过程中应用的失真，引起如用户所体验的图像的有效分辨率跨图像而变化。为了利用这一点，可以在图像的中心以更高的分辨率渲染(每个轴中的x1.4)，并且还有机会通过在图像外围以更低分辨率渲染来节省渲染时间。通常，图形硬件本身不支持以空间变化的分辨率进行渲染，因此本文描述的技术对此进行接近。

值得注意的是，本发明的实施例在时间上改变掩蔽图案以允许在四帧的过程中对来自所有屏幕像素的贡献进行平均。这些在时间抗混叠通道中累积，有一些小的改动。这允许在适当的情况下以时间分辨率换取空间分辨率以获得更高质量(更少混叠)的图像。

本发明的实施例利用4x多采样抗混叠(4xMSAA)的交错像素四边形打包行为来实现像素粒度的掩蔽，而不会产生四次过度绘制的成本(这可能限制了该技术的益处)。这适配了MSAA的各种特征以支持这一点，通过使用采样频率着色将输出渲染到与之前相同的渲染目标，并调整采样位置以匹配非MSAA模式。

-MSAA传统上用于通过在三角形边缘那些位置处采集多个样本来对三角形边缘进行抗混叠。然而，通过强制以网格图案而不是通常的旋转四边形来绘制样本，并使用掩蔽图案丢弃样本，可以有效地使用4x多重采样来获得半分辨率渲染目标以根据图案在中心处以全分辨率显示并且在边缘处以越来越低的分辨率显示。

-在本发明的实施例中，MSAA渲染的结果是具有来自缺失样本的黑洞的图像-基本上将多采样的低分辨率图像视为高分辨率图像。对缺失样本的混合作为扩张后过程完成，其中找到相邻的有效样本并用其对洞进行填充。

-MSAA通过每像素光栅化多个样本但仅着色一次并将其用于所有样本(以通过深度测试等)来起作用。这种更高的光栅化率给出了更高的分辨率边缘，但对基元内的着色分辨率没有影响。

-然而，不是如上所述的以“像素率”进行着色，本发明的实施例改为以“采样率”进行着色。这意味着像素着色器针对每个像素内的每个样本运行，而不是仅运行一次。因此，如果使用4xMSAA且以采样率渲染，并将每个轴的分辨率降低到一半，则图像中的像素数量相同。如果另外将MSAA采样位置调整为网格图案，则在MSAA解析之后，图像与没有MSAA适配的图像几乎相同(忽略舍入差异)。

o因此，可以在采样频率下以4xMSAA(调整MSAA采样位置)和1/4分辨率(1/2x 1/2)进行渲染，但仍然可以看到相同数量的样本，但构成四边形的样本在解析的图像中被进一步分开。

-因此，像素四边形现在由不同的“样本”构成(MSAA的像素四边形被构造为使得样本在矩形网格中以简化梯度计算。

-如上所述，在本发明的实施例中，解析的MSAA输出的结果在其中仍然具有洞。使用最接近的(多个)有效像素来复制洞，并然后根据其性质，时间抗混叠累积最后几帧的结果，以确保在4帧的过程中来自每个像素的贡献。

本发明的实施例可以通过按需执行这些读取来节省带宽，而不是通过单独的通道将附近的像素扩张到掩蔽的像素中。这会交换在很大程度上被着色器中的其他延迟所隐藏的一些额外的ALU，以节省读取和写入纹理的带宽。此外，因为采样来自掩蔽版本，所以它实际上总共采样更少的像素，这在访问模式对缓存更友好时更加高效。

该技术还支持具有任意掩蔽图案-不仅仅是一个朝向图像外部变得更密集的图案的设施。因此，例如，可以控制掩蔽图案以确保感兴趣的对象-例如，角色的面部-总是高分辨率，或更低频率的细节-例如烟雾效果-总是更低分辨率。

此外，即使没有上述激励的失真效果，该申请也可以应用于传统的非VR游戏。因此，尽管本文描述的用于生成图像的图像处理方法适合于可头戴式显示设备进行显示，但是将理解，它由可头戴式显示设备显示并不是必要的，因为如本文所述，还有可以有利地采用可变有效分辨率渲染来减少计算开销的其他情况。

Claims (15)

1.一种用于由可头戴式显示设备进行显示而生成的图像的图像处理方法，所述方法包括以下步骤：

为图像区域定义2×2像素掩模图案，指示2×2像素掩模图案内的一个或多个像素和对应的掩蔽的像素的位置；

适配多样本抗混叠(MSAA)方案以在常规网格上以四分之一分辨率进行采样；

使用适配的MSAA方案对值进行采样以渲染由2×2像素掩模指示的一个或多个相应像素，以便生成包括一个或多个渲染的像素和对应的缺失像素的图像区域；以及

扩张相应像素中的一个或多个以填充图像区域内的一个或多个缺失像素。

2.如权利要求1所述的图像处理方法，其中，

在所述2×2像素掩模中定义的掩蔽的像素的数量根据所述图像区域与所述图像中心的距离的函数而增加。

3.如权利要求3所述的图像处理方法，其中，

根据图像区域与图像中心的距离的函数选择包括一个、两个、或三个掩蔽的像素的预定义2×2像素掩模。

4.如前述任一项权利要求所述的图像处理方法，其中，

所定义的2×2像素掩模的图案在每个连续帧中改变。

5.如权利要求4所述的图像处理方法，其中，

所定义的2×2像素掩模的图案在每个连续帧中旋转90°。

6.如前述任一项权利要求所述的图像处理方法，包括以下步骤：

将多个连续帧中的图像区域输入到时间抗混叠滤波器中；以及

使用时间抗混叠滤波器的输出作为输出的生成的图像的图像区域。

7.如前述任一项权利要求所述的图像处理方法，包括以下步骤：

检测图像区域是否对应于图像中被指示为重要的特征；以及

从包含以下各项的列表中选择一个步骤：

i、绕过前述任一权利要求中的方法的步骤；和

ii、选择具有比将为图像的那个区域选择的默认2×2像素掩模更少的掩蔽的像素的2×2像素掩模。

8.如前述任一项权利要求所述的图像处理方法，包括以下步骤：

检测图像区域是否对应于图像中被指示为不重要的特征；以及

选择具有比将为图像的那个区域选择的默认2×2像素掩模更多的掩蔽的像素的2×2像素掩模。

9.计算机软件，当由计算机执行所述计算机软件时，使计算机执行前述权利要求中任一项所述的方法。

10.表示已经通过权利要求1至8中任一项所述的方法处理的图像的图像数据。

11.一种机器可读的非暂时性存储介质，其存储根据权利要求9所述的计算机软件或根据权利要求10所述的图像数据。

12.一种图像处理装置(300、320、350)，其可操作以处理用于由可头戴式显示设备进行显示而生成的图像，所述装置包括：

掩模处理器(301、321、351)，其适配为为图像区域定义2×2像素掩模图案，指示2×2像素掩模图案内的一个或多个像素和对应的掩蔽的像素的位置；

混叠处理器(301、321、351)，其适配为修改多样本抗混叠(MSAA)方案以在常规网格上以四分之一分辨率进行采样；

混叠处理器可操作以使用修改的MSAA方案对值进行采样以渲染由2×2像素掩模指示的一个或多个相应像素，以便生成包括一个或多个渲染的像素和对应的缺失像素的图像区域；

扩张处理器(301、321、351)，其适配为扩张相应像素中的一个或多个以填充图像区域内的一个或多个缺失像素。

13.如权利要求12所述的图像处理装置，其中，在2×2像素掩模中定义的掩蔽的像素的数量根据图像区域与图像中心的距离的函数而增加。

14.如权利要求12或权利要求14所述的图像处理装置，其中，

所定义的2×2像素掩模的图案在每个连续帧中改变。

15.如权利要求12至14中任一项所述的图像处理装置，包括：

时间抗混叠处理器；并且其中，

时间抗混叠滤波器可操作以接收多个连续帧中的图像区域作为输入，并且

时间抗混叠滤波器可操作以输出图像的对应区域以用作输出的生成的图像区域。