CN108780578A - 用于增强现实系统的直接光补偿技术 - Google Patents

Abstract

提供了一种增强现实系统及操作该增强现实系统的方法。允许终端用户可视化来自在周围环境中的三维场景的直接光，根据该终端用户的视点生成虚拟图像数据。确定在所述三维场景中的真实对象与在虚拟图像数据中的虚拟对象之间的空间重叠区域。确定在重叠区域中的真实对象的颜色特征。基于所确定的在重叠区域中的真实对象的颜色特征来降低在重叠区域中的真实对象与虚拟对象之间的感知对比度。在真实对象与虚拟对象之间的感知对比度已经被降低之后，将虚拟图像数据显示为虚拟图像，该虚拟对象与可视化的直接光一起，创建三维增强场景。

Description

用于增强现实系统的直接光补偿技术

相关申请的交叉引用

本申请要求于2016年3月15日提交的序列号为62/308,433，代理案卷号为ML.30036.00，名称为“用于增强现实系统的直接光补偿技术(DIRECT LIGHT COMPENSATIONTECHNIQUE FOR AUGMENTED REALITY SYSTEM)”的美国临时专利申请的优先权。前述专利申请通过引用以其全部内容明确地并入此文。

技术领域

本发明一般涉及一种系统和方法，其被配置为促进用于一个或多个用户的交互式增强现实环境。

背景技术

现代计算和显示技术促进了用于所谓“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现的图像或其部分以看起来真实或者可被感知为真实的方式呈现给用户。虚拟现实(VR)场景通常涉及以对其他实际的现实世界视觉输入不透明的方式呈现数字或虚拟图像信息，而增强现实(AR)场景通常涉及数字或虚拟图像信息的呈现为对用户周围实际世界的可视化的增强。

例如，参考图1，描绘了增强现实场景2，其中AR技术的用户看到的以人6、树木8、背景中的建筑物10和天空12、以及混凝土平台14为特征的真实世界公园状设置4。除了这些项之外，AR技术的用户还感知到他“看到”站在真实世界平台14上的机器人16，以及看起来是大黄蜂的化身的正在飞行的卡通式的化身角色18，尽管这些元素16、18并不存在于真实世界中。事实证明，人类视觉感知系统非常复杂，并且在其他虚拟或真实世界的图像元素中间产生促进虚拟图像元素的舒适、感觉自然、呈现丰富的VR或AR技术是极具挑战的。

VR和AR显示系统可以受益于关于观看者或用户的头部姿态的信息(即，用户头部的取向和/或位置)。

例如，头戴式显示器(或者头盔式显示器，或者智能眼镜)至少宽松地耦接到用户的头部，因此在用户的头部移动时移动。如果显示系统检测到用户的头部运动，正在显示的数据可以被更新以考虑头部姿态的变化。

作为一个示例，如果佩戴头戴式显示器的用户在显示器上观看到三维(3D)对象的虚拟呈现并围绕3D对象出现的区域行走，则可以为每个视点重新渲染该3D对象，这给用户他或她正围绕一个占据真实空间的对象行走的感知。如果头戴式显示器被用于呈现虚拟空间(例如，丰富的虚拟世界)内的多个对象，头部姿态的测量可被用来重新渲染场景，以匹配用户的动态变化的头部位置和取向，并提供更多的在虚拟空间中的沉浸感。

使能AR(即，同时观看真实和虚拟元素)的头戴式显示器可以具有若干不同类型的配置。在通常被称为“视频透视”显示器的一种这样的配置中，相机捕获真实场景的元素，计算系统将虚拟元素叠加到捕获到的真实场景上，并且非透明显示器将该合成图像呈现给眼睛。另一种配置通常被称为“光学透视”显示器，其中用户可以透过显示系统中的透明(或半透明)元件来直接观看来自环境中真实对象的光。通常被称为“结合器”的透明元件，将来自显示器的光叠加在用户对真实世界的视图上。

与本发明最相关的是光学透视AR显示器，该AR显示器允许用户直接观看来自真实世界环境的环境光。通常，可期望的是叠加在真实世界上的虚拟对象是不透明的，使得从用户的角度来看，虚拟对象后面的真实对象或其部分被完全遮蔽，以向用户提供真实世界的体验。然而，因为来自真实世界的光与来自虚拟世界的光结合，与被虚拟世界阻挡相比，当虚拟对象或其部分与真实对象重叠时，虚拟对象或其部分可能看起来是透明的或半透明的。

因此，需要确保在光学透视AR系统中向用户显示的虚拟对象尽可能不透明。

发明内容

根据本发明的第一方面，提供了一种操作增强现实(AR)系统的方法。该方法包括允许终端用户可视化来自在周围环境中的三维场景的直接光，根据该终端用户的视点生成虚拟图像数据，确定在该三维场景中的真实对象和在虚拟图像数据中的虚拟对象之间的空间重叠区域，以及在该重叠区域中的该真实对象的颜色特征。该方法进一步包括基于所确定的在重叠区域中的真实对象的颜色特征，降低在该重叠区域中的真实对象与虚拟对象之间的感知对比度(例如，感知颜色对比度和/或感知颜色强度)。该方法进一步包括在该真实对象和该虚拟对象之间的该感知对比度已经被降低之后，将虚拟图像数据作为虚拟图像显示给该终端用户，该虚拟对象与可视化后的直接光一起，创建三维增强场景。

在一种方法中，降低真实对象与虚拟对象之间的感知对比度包括基于所确定的在重叠区域中的该真实对象的颜色特征来生成干涉数据，以及在该重叠区域之上将该干涉数据作为在该重叠区域之上的干涉图像显示给该终端用户，使得该干涉图像与来自该真实对象的直接光相结合(例如，通过添加颜色)以创建在该重叠区域中的该虚拟对象的背景。在重叠区域中的背景相对于在该重叠区域中的真实对象可具有减小的动态颜色范围。例如，在该重叠区域中的该背景可具有大致均匀的颜色(例如灰色)。

在另一种方法中，降低在真实对象与虚拟对象之间的对比度包括基于所确定的在重叠区域中的该真实对象的颜色特征来修改虚拟图像数据(例如，通过从该虚拟对象中减去颜色)。

又一种方法进一步包括采用相对于用户的头部固定的至少一个相机来捕获真实三维场景的图像数据，并且将所捕获的图像数据扭曲到该用户的视点。在这种情况中，确定在真实对象与虚拟对象之间的重叠区域包括确定在所扭曲的图像数据中的对应的该真实对象与在虚拟图像数据中的该虚拟对象之间的空间重叠，以及确定在该重叠区域中的该真实对象的颜色特征包括确定在该重叠区域中的所扭曲的图像数据中的该对应的真实对象的颜色特征。扭曲的图像数据和虚拟图像数据均包括多个像素，该多个像素中的每一个像素由至少一个值定义，在这种情况下，降低在真实对象与虚拟对象之间的对比度可包括修改在重叠区域中的该虚拟对象与从所扭曲的图像数据中导出的干涉数据中的一者或两者的像素的一个或多个值。像素中的每者可包括定义颜色矢量的三个值(例如，红色值、绿色值和蓝色值)，并且可进一步具有定义该像素的强度的第四值。

根据本发明的另一方面，一种增强现实(AR)系统包括显示系统，该显示系统被配置为允许终端用户可视化来自在周围环境中的三维场景的直接光。在一个实施例中，所述显示系统被配置为被定位在所述终端用户的眼睛前面。该增强现实系统可进一步包括框架结构，该框架结构承载所述显示系统并被配置为由终端用户佩戴。该显示系统可包括投射子系统和部分透明的显示表面，该投射子系统被配置为将虚拟图像投射到该部分透明的显示表面上。在这种情况下，该部分透明的显示表面被配置为定位在终端用户的眼睛和周围环境之间的视点中。

增强现实系统进一步包括控制系统(例如，包括图形处理单元(GPU)的一个控制系统)，该控制系统被配置为根据终端用户的视点生成虚拟图像数据，确定在三维场景中的真实对象与在虚拟图像数据中的虚拟对象之间的空间重叠区域，确定在该重叠区域中的该真实对象的颜色特征，以及基于所确定的在该重叠区域中的该真实对象的颜色特征，降低在该重叠区域中的该真实对象与该虚拟对象之间的感知对比度；例如通过修改在该重叠区域中的真实对象与虚拟对象之间的感知颜色对比度和/或修改在该重叠区域中的真实对象与虚拟对象之间的感知强度对比度。该控制系统进一步被配置为在真实对象与虚拟对象之间的感知对比度已经被降低之后，指示该显示系统将虚拟图像数据作为虚拟图像显示给终端用户，与可视化后的直接光一起，创建三维增强场景。

在一个实施例中，控制系统被配置为通过基于所确定的在重叠区域中的真实对象的颜色特征来生成干涉数据，降低在真实对象与虚拟对象之间的感知对比度，以及将该干涉数据作为在该重叠区域之上的干涉图像显示给终端用户，使得该干涉图像与来自该真实对象的直接光相结合(例如，通过添加颜色)，创建在该重叠区域中的该虚拟对象的背景。在重叠区域中的背景相对于在该重叠区域中的真实对象可具有减小的动态颜色范围。例如，背景可具有大致均匀的颜色(例如，灰色)。

在另一个实施例中，控制系统被配置为通过基于所确定的在重叠区域中的真实对象的颜色特征来修改虚拟图像数据(例如，通过从虚拟对象中减去颜色)，降低在该真实对象与该虚拟对象之间的对比度。

在又一实施例中，增强现实系统进一步包括至少一个相机，该至少一个相机被配置为相对于用户的头部固定，并且进一步被配置为捕获真实三维场景的图像数据，其中该控制系统被配置为将所捕获的图像数据扭曲到用户的视点，在这种情况下，控制系统被配置为通过确定在所捕获的图像数据中的对应的真实对象与在虚拟图像数据中的虚拟对象之间的空间重叠，确定在该真实对象与该虚拟对象之间的重叠区域，并且确定在该重叠区域中的该真实对象的颜色特征包括确定在该重叠区域中的所扭曲的图像数据中的对应的真实对象的颜色特征。

所捕获的图像数据和虚拟图像数据中的每者包括多个像素，该多个像素中的每者由至少一个值定义，在这种情况下，控制系统被配置为可通过修改在重叠区域中的虚拟对象和从所扭曲的图像数据中导出的干涉数据中的一者或两者的像素的一个或多个值，来降低在该真实对像与该虚拟对象之间的对比度。像素中的每个像素可包括定义颜色矢量的三个值(例如，红色值、绿色值和蓝色值)，并且可进一步具有定义该像素的强度的第四值。

在具体实施方式、附图和权利要求中描述了本发明的附加和其它目的、特征和优点。

附图说明

附图示出了本发明各种实施例的设计和效用，在附图中相似元件用相同的附图标记表示。为了更好地理解如何获得本发明的上述和其他优点和目的，将通过参考在附图中示出的本发明的具体实施例来对上面简要描述的本发明进行更具体的描述。应当理解，这些附图仅描绘了本发明的典型实施例，因此不应被认为是对本发明范围的限制，通过使用附图，本发明将用附加的特性和细节来进行描述和解释，在附图中：

图1是可由现有技术增强现实生成设备向终端用户显示的三维增强现实场景的图片；

图2是根据本发明的一个实施例构造的虚拟图像生成系统的框图；

图3是由图2的虚拟图像生成系统生成的示例性帧的平面图；

图4A是可被用于佩戴图2的虚拟图像生成系统的一种技术的视图；

图4B是可被用于佩戴图2的虚拟图像生成系统的另一种技术的视图；

图4C是可被用于佩戴图2的虚拟图像生成系统的又一种技术的视图；

图4D是可被用于佩戴图2的虚拟图像生成系统的再一种技术的视图；

图5是可由图2的增强现实系统向终端用户显示的三维增强现实场景的图片，其中应特别注意真实对象和虚拟对象之间的重叠区域；

图6示出了操作图2的增强现实系统以在真实对象之上显示虚拟对象时增加该虚拟对象的不透明性的一种方法的流程图；

图7示出了操作图2的增强现实系统以在真实对象之上显示虚拟对象时增加该虚拟对象的不透明性的另一种方法的流程图；以及

图8示出了操作图2的增强现实系统以在真实对象之上显示虚拟对象时增加该虚拟对象的不透明性的另一种方法的流程图。

具体实施方式

下面的描述涉及在增强现实系统中使用的显示系统和方法。然而，应当理解，尽管本发明很好地适用于虚拟现实中的应用，但本发明在其最广泛的方面可以不受此限制。

参照图2，现在将描述根据本发明构造的增强现实系统100的一个实施例。增强现实系统100提供在终端用户50的视野中与物理对象混合的虚拟对象的图像。增强现实系统100以及在此教导的各种技术，可以在除增强现实以外的应用中使用。例如，各种技术可被应用于任何投射或显示系统。或者，在此描述的各种技术可被应用于微型(pico)投射仪，微型投射仪可以由终端用户的手臂而不是头部来进行移动。因此，尽管在此经常从增强现实系统方面来描述，但是该教导不应被限制于这种用途的这种系统。

对于增强现实系统100，可期望的是相对于终端用户50的视场中的相应的物理对象在空间定位各种虚拟对象。虚拟对象在本文中也被称为虚拟标签或标签或调用(callout)，可以采取任意各种形式，基本上是能够被表示为图像的任意各种数据、信息、概念或逻辑构造。虚拟对象的非限制性示例可包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象、或物理对象的虚拟视觉表示。

增强现实系统100能够确保或至少增加在真实对象之上显示的虚拟对象的不透明性。增强现实系统100通过以下方式来完成这点：通过在真实对象之上显示附加的干涉图像并且/或者在显示虚拟对象之前修改虚拟图像数据来降低虚拟对象和显示对象在它们重叠的区域中的对比度。

为此，增强现实系统100包括由终端用户50佩戴的框架结构102、由框架结构102承载的显示系统104，使得显示系统104被定位于终端用户50的眼睛52的前面，所述增强现实系统100还包括由框架结构102承载的扬声器106，使得扬声器106被邻近终端用户50的耳道定位(可选地，另一扬声器(未示出)被邻近终端用户50的另一耳道定位，以提供立体/可塑形的声音控制)。显示系统104被设计为向终端用户50的眼睛52呈现基于照片的辐射图案，该图案可以被舒适地感知为具有高水平的图像质量和三维感知的对物理现实的增强，并且能够呈现二维内容。显示系统104以高频呈现提供单个相干场景的感知的帧序列。

在所例示实施例中，显示系统104是“光学透视”显示器，通过该显示器，用户可以经由透明(或半透明)元件直接观看来自真实对象的光。通常被称为“结合器”的透明元件，将来自显示器的光叠加在用户对现实世界的视图上。为此，显示系统104包括投射子系统108和部分透明的显示表面110，该投射子系统108在该显示表面110上投射图像。显示表面110被定位于终端用户50的眼睛52和周围环境之间的终端用户50的视野中，使得来自周围环境的直接光通过显示表面110向终端用户50的眼睛52传输。在所例示实施例中，投射子系统108包括一个或多个光纤112(例如单模光纤)，每个光纤具有接收光的一端112a和向部分透明的显示表面110提供光的另一端112b，因此与来自周围环境的直接光相组合，并且从显示表面110向用户50的眼睛52传输。投射子系统108还可包括一个或多个光源114，该一个或多个光源114产生光(例如，以定义的图案发射不同颜色的光)，并且将光联通地耦合到一个或多个光纤112的另一端112a。一个或多个光源114可采取多种形式中的任意一种，例如，一组RGB激光器(例如，能够输出红光、绿光和蓝光的激光二极管)根据在像素信息或像素数据的相应帧中指定的限定像素图案，可操作地相应地产生红色、绿色和蓝色相干准直光。激光提供高颜色饱和度，并且具有高能效。

显示系统104可进一步包括扫描设备116，该扫描设备116响应于控制信号以预定图案扫描一个或多个光纤112。例如，参照图3，根据一个例示的实施例，像素信息或像素数据的帧118指定像素信息或像素数据以呈现图像，例如一个或多个虚拟对象的图像。采用分成水平行或线122a-122n的单元120a-120m示意性示出了帧118。帧118中的每个单元120可指定用于单元120对应的相应像素的多个颜色中的每者的值和/或强度。例如，对于每个像素，帧118可为红色124a指定一个或多个值，为绿色124b指定一个或多个值，并且为蓝色124c指定一个或多个值。值124可被指定为用于每个颜色的二进制表示，例如，用于每个颜色的相应的4位数字。附加地，帧118的每个单元120可包括4位数字的形式的值124d，该值124d指定强度。序列号为61/801,219(代理案卷号为ML-30006-US)的美国临时专利申请对显示系统104的示例进行了更详细的解释，该申请通过引用明确地并入本文。

回过头来参考图2，增强现实系统100进一步包括一个或多个传感器(未示出)，该一个或多个传感器被安装到框架结构102上以用于检测终端用户50的头部54的位置和运动，和/或终端用户50的眼睛位置和眼睛间距。这样的一个或多个传感器可包括图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电设备和/或陀螺仪。

例如，在一个实施例中，增强现实系统100包括头戴式换能器系统126，该头戴式换能器系统126包括一个或多个惯性换能器，以捕获指示终端用户50的头部54的运动的惯性测量。因此，换能器系统126可被用于感测、测量、或收集关于终端用户50的头部运动的信息。例如，换能器系统126可被用于检测终端用户50的头部54的测量运动、测量速度、测量加速度和/或测量位置。

重要的是，增强现实系统100进一步包括一个或多个前向相机128，该一个或多个前向相机128相对于终端用户50的头部54固定。在一个优选实施例中，相机128被安装到框架结构102。前向相机128可被用于捕获关于终端用户50所处环境的信息。前向相机128可被用于捕获指示终端用户50的与该环境和该环境中的具体对象相对的距离和取向的信息。当头部佩戴时，前向相机128特别适合于捕获指示终端用户50的头部54与终端用户50所处的环境和该环境中的特定对象相对的距离和取向的信息。前向相机128可以，例如被用于检测头部运动、速度和/或加速度。前向相机128例如可被用于，例如至少部分地基于终端用户50的头部54的取向，来检测或推断终端用户50的注意力中心。可以在任何方向(例如，与终端用户50的参考帧相对的上/下、左、右)检测取向。更重要的是，前向相机128捕获周围环境中三维场景的图像数据，如将在下文中进一步讨论的，该图像数据可被用于根据终端用户50的角度确定真实对象和虚拟对象之间的重叠，并且被用于分析在该重叠区域中真实对象的颜色特征，以促进降低真实对象和虚拟对象之间的对比度。

增强现实系统100进一步包括受动者(patient)取向检测模块130。受动者取向模块130检测终端用户50的头部54的瞬时位置，并基于从一个或多个传感器接收的位置数据来预测终端用户50的头部54的位置。在一个实施例中，受动者取向模块130基于预测的终端用户50的对焦偏移来预测头部54的位置。例如，受动者取向模块130可至少基于对终端用户50的注意的输入指示来选择虚拟对象，并且确定虚拟对象在终端用户50的视野中的相对于终端用户50的参考帧的出现位置。作为另一个示例，受动者取向模块130可采用估计的速度和/或估计的速度变化或估计的加速度来预测终端用户50的头部54的位置。作为又一示例，受动者取向模块130可采用终端用户50的历史属性来预测终端用户50的头部54的位置。在序列号为61/801,219(代理案卷号为ML-30006-US)的美国专利申请中阐述了对预测终端用户50的头部位置的详细描述，该专利申先前已通过引用并入此文。

增强现实系统100进一步包括控制系统，该控制系统可采取任意多种形式。控制系统包括多个控制器，例如一个或多个微型控制器、微型处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)，该控制系统还包括其它集成电路控制器，例如专用集成电路(ASIC)、可编程门阵列(PGA)(例如现场PGA(FPGA))和/或可编程逻辑控制器(PLU)。

在所例示实施例中，增强现实系统100的控制系统包括中央处理单元(CPU)132、图形处理单元(GPU)134和一个或多个帧缓冲器136。CPU 132控制整体操作，而GPU 134根据在远程数据储存库150中存储的三维数据进行渲染(即，将三维场景转换成二维图像)，并将这些帧存储在一个或多个帧缓冲器136中。尽管未示出，但是一个或多个附加集成电路可控制向多个帧缓冲器136读入帧和/或从一个或多个帧缓冲器136中读出帧，并控制显示系统104的扫描设备的操作。例如，在过度渲染帧的情况下，向一个或多个帧缓冲器146读入和/或从多个帧缓冲器136的读出可采用动态寻址。增强现实系统100进一步包括只读存储器(ROM)138和随机存取存储器(RAM)140。增强现实系统100进一步包括三维数据库142，GPU 134可以从该三维数据库142访问一个或多个场景的三维数据以渲染帧。

如下面将进一步详细描述的，基于从一个或多个前向相机128接收到的数据，CPU132确定在由该GPU 132渲染的虚拟对象与真实对象之间的重叠区域，分析在这些重叠区域中的真实对象的颜色特征，并且在向终端用户50显示虚拟对象之前，基于所分析的颜色特征来降低这些重叠区域中的虚拟对象与真实对象之间的对比度。

增强现实系统100的各种处理部件可物理地包含在分布式系统中。例如，如图4A至图4D所示，增强现实系统100包括本地处理和数据模块144，该本地处理和数据模块144诸如通过有线引线连接或无线连接146，操作性地耦接到显示系统104和多个传感器。本地处理和数据模块144可以以诸如固定地附接到框架结构102(图4A)，固定地附接到头盔或帽子56(图4B)，嵌入耳机中，可拆卸地附接到终端用户50的躯干58(图4C)，或者以腰带耦接式配置可拆卸地附接到终端用户50的髋部60(图4D)的各种配置安装。增强现实系统100进一步包括远程处理模块148和远程数据储存库150，该远程处理模块148和该远程数据储存库150诸如通过有线引线连接150或无线连接152，操作性地耦接到本地处理和数据模块144，使得这些远程模块148、150操作性地彼此耦接，并可用作本地处理和数据模块144的资源。

本地处理和数据模块144可包括节能处理器或控制器，以及数字存储器，诸如闪存，可利用该节能处理器或控制器和该数字存储器这两者来辅助处理、缓存，并且将来自多个传感器所捕获的数据和/或使用远程处理模块148和/或远程数据储存库150获取和/或处理的数据进行存储，可能用于在这样的处理或检索之后向显示系统104传送。远程处理模块148可包括一个或多个相对强大的处理器或控制器，该一个或多个的相对强大处理器或控制器被配置为分析并且处理数据和/或图像信息。远程数据储存库150可包括相对大规模的数字数据存储设施，该相对大规模的数字数据存储设施可通过互联网或“云”资源配置中的其他网络配置获得。在一个实施例中，在本地处理和数据模块144中存储全部数据并执行全部计算，允许来自任何远程模块的完全自主的使用。

上述各种部件之间的耦接146、152、154可包括用于提供有线通信或光通信的一个或多个有线接口或端口，或者用于提供无线通信的一个或多个无线接口或端口，例如经由RF、微波和红外。在一些实施方式中，全部通信可以是有线的，而在其他实施方式中，全部通信可以是无线的。在再进一步的实施中，有线和无线通信的选择可不同于图4A至图4D所示的选择。因此，有线或无线通信的特定选择不应被认为是限制性的。

在所例示实施例中，受动者取向模块130被包含在本地处理和数据模块144中，而CPU 132和GPU 134被包含在远程处理模块148中，尽管在替代实施例中，CPU 132、GPU 124或其部分可被包含在本地处理和数据模块144中。3D数据库142可以与远程数据储存库150相关联。

对于本发明来说重要的是，增强现实系统100补偿来自现实世界的直接光，在真实世界之上，虚拟对象被叠加在显示表面110上。特别地，参照图5，注意到在显示器中的第一重叠区域200a与机器人16的部分右腿和部分建筑物10重合，并且显示器中的第二重叠区域200b与机器人16的部分左臂和部分天空12重合。优选的是，机器人16的右腿部分和左臂部分是不透明的，使得终端用户50不能看到在这些机器人雕像部分后面的部分建筑物10和部分天空12。

值得注意的是，重叠区域200a和200b在显示器中的位置主要取决于终端用户50的观看视角和虚拟对象的任意运动，在这种情况下，虚拟对象是机器人16。例如，如果终端用户50向左移动他或她的头部54，重叠区域200a和200b将在显示器中向右偏移；如果终端用户50向右移动他或她的头部54，重叠区域200a和200b将在显示器中向左偏移；如果机器人16向左移动，重叠区域200a和200b将在显示器中向左偏移；或者如果机器人16向右移动，重叠区域200a和200b将在显示器中向右偏移。

如上简要讨论的，增强现实系统100通过降低在重叠区域中的真实对象与虚拟对象之间的感知对比度(例如，颜色对比度和/或强度对比度)来补偿来自真实世界的直接光。例如，增强现实系统100可降低在第一重叠区域200a中的机器人16的右腿与建筑物10之间的感知对比度，并且可降低在第二重叠区域200b中的机器人16的左臂与天空12之间的感知对比度。增强现实系统100可以以各种方式中的任何一种方式降低在重叠区域中的真实对象与虚拟对象之间的感知对比度。

例如，参考图6，在一种方法300中，增强现实系统100通过在重叠区域中的真实对象之上显示与虚拟图像分离的干涉图像来降低在重叠区域中的真实对象与虚拟对象之间的感知对比度。特别地，增强现实系统100允许终端用户50可视化来自周围环境中的三维场景的直接光，例如，图1所示的真实世界公园状的设置4(步骤302)。在所例示的实施例中，这简单地通过允许来自周围环境的直接光通过显示表面110透射到用户50的眼睛54来实现。然后，CPU 132指示前向相机128捕获三维场景4的图像数据(步骤304)。值得注意的是，前向相机128通常会偏离终端用户50的焦点。例如，前向相机128可被固定在用户头部54的侧面附近。因此，CPU 132将捕获到的图像数据扭曲到用户50的视点(步骤306)。在所例示的实施例中，对捕获到的图像数据执行二维视差扭曲技术。

然后，CPU 132指示GPU 134根据终端用户50的视点生成虚拟图像数据，并且在该实施例中，根据三维虚拟场景渲染二维虚拟图像数据(步骤308)。在一个实施例中，虚拟图像数据可基于预测头部位置来生成，以便最小化任何延迟问题，例如，通过以序列号为62/308,418，名称为“用于低延迟渲染的宽基线立体(Wide Baseline Stereo for Low-Latency Render)”的美国专利申请(代理案卷号为ML-30032-US)中所描述的方式渲染和扭曲虚拟图像数据，该申请通过引用明确地并入此文。

然后，CPU 132确定在捕获到的图像数据中的真实对象(以获得三维场景4中的真实对象)与在虚拟图像数据中的虚拟对象之间的空间重叠区域(步骤310)，例如，重叠区域200a和200b，且真实对象是建筑物10和天空12，虚拟对象是机器人16的右腿和左臂。值得注意的是，因为虚拟图像数据和捕获到的图像数据(扭曲后)二者都在同一坐标系(即，从终端用户50的同一的视点来看)中配准，CPU 132可以简单地通过比较真实对象的像素与虚拟对象的像素的位置，并且识别与真实对象像素和虚拟对象的像素共有的位置，来确定重叠区域。

然后，CPU 132确定在重叠区域中所捕获的图像数据中的真实对象的颜色特征，以便确定在重叠区域中由终端用户50感知到的对应的真实对象的颜色特征(步骤312)。在一个实施例中，捕获到的图像数据和虚拟图像数据包括多个像素，每个像素都由至少一个值来定义。例如，如图3所示的那些，捕获到的图像数据和虚拟图像数据可以被形成为像素数据的帧。例如，每个像素可包括用于红色、绿色和蓝色中的每者的4位数字，并且可进一步包括用于强度的4位数字。在这种情况下，CPU 132通过确定在重叠区域中的每个像素的颜色值和/或强度值，来确定所捕获的图像数据中的对应的真实对象的颜色特征。

然而，CPU 132基于所确定的重叠区域中相应的真实对象的颜色特征，降低在重叠区域中的真实对象与虚拟对象之间的感知对比度(例如，感知颜色对比度和/或感知颜色强度)。特别地，CPU 132基于所确定的在重叠区域中的真实对象的颜色特征来生成干涉数据(步骤314)，并指示显示系统104将干涉数据作为在重叠区域之上的干涉图像显示给终端用户50，使得干涉图像与来自真实对象的直接光相结合，以创建在重叠区域中的虚拟对象的背景(步骤316)。

在一个实施例中，在重叠区域中的背景相对于在重叠区域中的真实对象具有减小的动态颜色范围；例如，在重叠区域中，背景可具有大致均匀的颜色，诸如灰色。例如，假设在重叠区域200a中的真实对象的颜色以及在这种情况下的建筑物10的颜色在像素之间从褐色变化到绿色，使得在重叠区域200a中，建筑物10具有相对高的动态颜色范围。CPU 132可通过在逐像素的基础上向建筑物10添加颜色，来减小在重叠区域200a中的感知动态颜色范围，使得建筑物10在重叠区域200a中具有均匀的灰色。例如，如果要求背景中的像素中的每者具有定义均匀浅灰色色调的颜色矢量，并且在重叠区域200a中的建筑物10的第一像素具有定义黄色色调的颜色矢量，并且在重叠区域200a中的建筑物10的第二像素具有定义绿色色调的颜色矢量，CPU 132可为背景选择浅灰色色调，该灰色色调具有值均大于用于背景的建筑物10的像素的颜色矢量的相应值的颜色矢量，并且该CPU 132生成向建筑物10的像素添加颜色的干涉数据，使得背景是所选择的浅灰色色调。

例如，如果建筑物10的第一像素具有颜色矢量[167,100,67](即，用于红色、绿色和蓝色的4位二进制值分别等于167、100、67)，建筑物10的第二像素具有颜色矢量[39,122,62](即，用于红色、绿色和蓝色的4位二进制值分别等于39、122、62)，并且所选择的用于背景的颜色矢量是[168,168,168](即，用于红色、绿色和蓝色中的每个的4位二进制值等于128)，CPU 132可生成具有颜色矢量[1,68,101]的第一干涉像素和具有颜色矢量[129,46,106]的第二干涉像素，当该第一干涉像素和该第二干涉像素被添加到建筑物10的相应的第一像素和第二像素时，将等于[168,168,168]。因此，当干涉图像显示在重叠区域200a和200b之上时，干涉图像的第一像素和第二像素将与建筑物10的对应的第一像素和第二像素相结合，以便为虚拟对象(即机器人6的右腿)的对应的第一像素和第二像素创建浅灰色背景颜色。值得注意的是，尽管为了简洁和说明的目的，相对于重叠区域200a仅示出和描述了两个像素，但在任何特定重叠区域中的像素数量通常将远远超过两个，因此，需要生成的干涉像素的数量将同样远远超过两个。

CPU 132还可向在重叠区域中的真实对象添加强度，以匹配在重叠区域中的虚拟对象的强度。例如，如果建筑物12的第一像素具有强度值128，并且机器人16的右腿的对应像素值具有强度值168，CPU 132可生成具有强度值40的第一干涉像素，当该强度值40与建筑物12的第一像素的强度值相结合时，创建背景像素值168。

最后，在真实对象与虚拟对象之间的感知对比度已经被降低之后，CPU 132指示显示系统104将虚拟图像数据作为显示图像显示给终端用户50，该虚拟图像与可视化后的直接光一起，创建三维增强场景(步骤318)。例如，如果在重叠区域200a中的建筑物10的感知颜色是均匀的灰色(在使用干涉图像进行补偿之后)，当在重叠区域200a中机器人16的右腿显示在建筑物10之上时，该机器人16的右腿可推定为不透明的。值得注意的是，虚拟图像可与干涉图像同时显示，在这种情况下，不同的光纤112可以被分别用于显示虚拟图像和干涉图像；或者可以在显示干涉图像之后很快显示虚拟图像，在这种情况下，同一光纤112可用于在间隔足够近的时间顺序地一起显示虚像图像和干涉图像，使得终端用户50同时感知虚拟图像和干涉图像。

作为另一个示例，并且参照图7，在一种方法400中，增强现实系统100可替代地通过修改在重叠区域中的虚拟对象来降低在重叠区域中的真实对象与虚拟对象之间的感知对比度。

特别是，以上面根据步骤402-412描述的相同方式，增强现实系统100允许终端用户50可视化来自周围环境中的三维场景的直接光，例如，图1所示的真实世界公园状的设置4(步骤402)，该增强现实系统100指示前向相机128捕获三维场景4的图像数据(步骤404)，将捕获到的图像数据扭曲到用户50的视点(步骤406)，指示GPU 134根据终端用户50的视点生成虚拟图像数据(步骤408)，确定在所捕获的图像数据中的真实对象(以获得在三维场景4中的真实对象)与在虚拟图像数据中的虚拟对象之间的空间重叠区域(步骤410)，并且确定在重叠区域中所捕获的图像数据中的真实对象的颜色特征(以确定在重叠区域中对应的真实对象的颜色特征)(步骤412)。

与图6所示的技术类似，基于所确定的在重叠区域中的相应的真实对象的颜色特征，然后CPU 132降低在重叠区域中的真实对象与虚拟对象之间的感知对比度(例如，感知颜色对比度和/或感知颜色强度)。然而，在这种情况下，CPU 132基于所确定的在重叠区域中的真实对象的颜色特征来修改虚拟图像数据，而不是生成干涉数据(步骤414)。

在一个实施例中，CPU 132修改虚拟图像数据，使得从重叠区域中的感知真实对象中除去所有颜色。在这种情况下，可从原始虚拟图像数据中减去颜色，所减去的颜色被用于使在重叠区域中的真实对象变黑。为此，可从在重叠区域中的虚拟对象的对应像素的颜色矢量中减去在重叠区域中的真实对象的像素的颜色矢量，以获得用于虚拟对象的修改后的虚拟图像数据的像素的颜色矢量。换句话说，将修改后的虚拟对象的像素与真实对象的对应像素相结合，将产生原始虚拟对象。

例如，假设在重叠区域200中的建筑物10的第一像素具有颜色矢量[167,100,67](即，用于红色、绿色和蓝色的4位二进制值分别等于167、100、67)，建筑物10的第二像素具有颜色矢量[39,122,62](即，用于红色、绿色和蓝色的4位二进制值分别等于39、122、62)，机器人16的右腿的对应的第一像素具有颜色矢量[185,123,80](即，红色、绿色和蓝色的4位二进制值分别等于185、123、80)，并且机器人16的右腿的对应的第二像素具有颜色矢量[65,140,80](即，用于红色、绿色和蓝色的4位二进制值分别等于65、140、80)，CPU 132可修改机器人16的右腿的第一像素和第二像素以具有颜色矢量[18,23,13]和[26,18,18]。因此，将修改后的虚拟对象的第一像素和第二像素的颜色矢量与真实对象的对应的第一像素和第二像素的颜色矢量相结合，产生原始虚拟对象的第一像素和第二像素的颜色矢量。也就是说，对于第一像素，[18,23,13]+[167,100,67]＝[185,123,80]，对于第二像素，[26,18,18]+[39,122,62]＝[65,140,80]。

最后，以与图5所示技术相同的方式，在真实对象与虚拟对象之间的感知对比度已经降低之后，CPU 132指示显示系统104将虚拟图像数据作为虚拟图像显示给终端用户50，该虚拟图像与可视化后的直接光一起，创建三维增强场景(步骤416)。

作为又一个例子，参照图8，在一种方法500中，增强现实系统100可替代地通过在重叠区域中的真实对象之上显示干涉图像以及修改在重叠区域中的虚拟对象，来降低在重叠区域中的真实对象与虚拟对象之间的感知对比度。

具体地，以上面根据步骤302-312描述的相同方式，增强现实系统100允许终端用户50可视化来自周围环境中的三维场景的直接光，例如，图1所示的真实世界公园状的设置4(步骤502)，该增强现实系统100指示前向相机128捕获三维场景4的图像数据(步骤504)，将所捕获的图像数据扭曲到用户50的视点(步骤506)，指示GPU 134根据终端用户50的视点生成虚拟图像数据(步骤508)，确定在所捕获的图像数据中的真实对象(以获得在三维场景4中的真实对象)和在虚拟图像数据中的虚拟对象之间的空间重叠区域(步骤510)，并且确定所捕获的在重叠区域中的图像数据中的真实对象的颜色特征(以确定在重叠区域中对应的真实对象的颜色特征)(步骤512)。

与图6和图7所示的技术类似，基于所确定的在重叠区域中的相应的真实对象的颜色特征，然后CPU 132降低在重叠区域中的真实对象与虚拟对象之间的感知对比度(例如，感知颜色对比度和/或感知颜色强度)。然而，在这种情况下，CPU 132将为第一组重叠区域或其部分生成干涉数据(步骤512)，并将修改用于不同的第二组重叠区域或其部分的虚拟图像数据(步骤514)。例如，对于在真实对象之上显示干涉图像将潜在地降低真实对象与虚拟对象之间的对比度(即，向真实对象添加颜色将降低感知对比度)的重叠区域的那些部分，CPU 132将生成干涉数据，并且对于在真实对象之上显示干涉图像不会潜在地降低真实对象与虚拟对象之间的对比度(即，向真实对象添加颜色将增加感知的对比度)的重叠区域的那些部分，CPU 132将修改虚拟图像数据，而不是生成干涉数据。

例如，假设建筑物10的第一像素具有颜色矢量[167,100,67](即，用于红色、绿色和蓝色的4位二进制值分别是167、100、67)，建筑物10的第二像素具有颜色矢量[185,125,139](即，用于红色、绿色和蓝色的4位二进制值分别是185、125、139)，机器人16的右腿的对应第一像素具有颜色矢量[185,123,80](即，用于红色、绿色和蓝色的4位二进制值分别为185、123、80)，机器人16的右腿的相应第二像素具颜色矢量[39,122,62]的(即，用于红色、绿色和蓝色的4位二进制值分别是39、122、62)，并且所选择的用于背景的颜色矢量是[168,168,168](即，用于红色、绿色和蓝色中的每个的4位二进制值是128)。

CPU 132可确定的是，可以将颜色添加到建筑物10的第一像素以获得所选择的背景。也就是说，用于建筑物10的第一像素的颜色矢量中的所有值都低于所选背景颜色矢量的值。因此，CPU 132可生成具有[1,68,101]的颜色矢量的第一干涉像素，当该第一干涉像素被添加到建筑物10的第一像素时，将等于[168,168,168]。相反，CPU 132可确定的是，不能将颜色添加到建筑物10的第二像素以获得所选择的背景。也就是说，用于第二像素的颜色矢量中至少一个值不低于所选背景颜色矢量的一个或多个对应值。因此，CPU 132可修改机器人16右腿的第二像素以具有[26,18,18]的颜色矢量，而不生成干涉数据。因此，将修改后的虚拟对象的第二像素的颜色矢量与真实对象的对应第二像素的颜色矢量相结合，产生原始虚拟对象的第二像素的颜色矢量。也就是说，对于第二像素，[26,18,18]+[39,122,62]＝[65,140,80]。

最后，以与图6所示技术相同的方式，CPU 132指示显示系统104在第一组重叠区域或其部分之上将干涉数据作为干涉图像显示给终端用户50，使得干涉图像与来自真实对象的直接光相结合，以为在第一组重叠区域或其部分中的虚拟对象创建背景(步骤518)，并且在真实对象与虚拟对象之间的感知对比度已经降低之后，指示显示系统104将虚拟图像数据作为虚拟图像显示给终端用户50，该虚拟图像与可视化后的直接光一起，创建三维增强场景(步骤520)。值得注意的是，未修改的虚拟图像数据将在第一组重叠区域或其部分(即，显示干涉图像的部分)之上显示，并且修改后的虚拟图像数据将在第二组重叠区域或其部分(即，不显示干涉图像的部分)之上显示。

在前述说明书中，已经参照本发明的具体实施例对本发明进行了描述。然而，显而易见的是，在不脱离本发明更广泛的精神和范围的情况下，可以对本发明进行各种修改和改变。例如，参考过程动作的特定顺序来描述上述过程流程。然而，在不影响本发明的范围或操作的情况下，可以改变多个所描述的过程动作的次序。因此，说明书和附图被认为是说明性的而非限制性的。

Claims (34)

1.一种操作增强现实(AR)系统的方法，所述方法包括：

允许终端用户可视化来自在周围环境中的三维场景的直射光；

根据所述终端用户的视点生成虚拟图像数据；

确定在所述三维场景中的真实对象与在所述虚拟图像数据中的虚拟对象之间的空间重叠区域；

确定在所述重叠区域中的所述真实对象的颜色特征；

基于所确定的在所述重叠区域中的所述真实对象的颜色特征，降低在所述重叠区域中的所述真实对象与所述虚拟对象之间的感知对比度；以及

在所述真实对象与所述虚拟对象之间的所述感知对比度已经被降低之后，将所述虚拟图像数据作为虚拟图像显示给所述终端用户，所述虚拟图像与可视化后的直接光一起创建三维增强场景。

2.根据权利要求1所述的方法，其中，降低在所述真实对象与所述虚拟对象之间的所述感知对比度包括：修改在所述重叠区域中的所述真实对象与所述虚拟对象之间的感知颜色对比度。

3.根据权利要求2所述的方法，其中，降低在所述真实对象与所述虚拟对象之间的所述感知对比度进一步包括：修改在所述重叠区域中的所述真实对象与所述虚拟对象之间的感知强度对比度。

4.根据权利要求1所述的方法，其中，降低所述真实对象与所述虚拟对象之间的所述感知对比度包括：

基于所确定的在所述重叠区域中的所述真实对象的颜色特征，生成干涉数据；以及

将所述干涉数据作为在所述重叠区域之上的干涉图像显示给所述终端用户，使得所述干涉图像与来自所述真实对象的所述直接光相结合，以创建在所述重叠区域中的所述虚拟对象的背景。

5.根据权利要求4所述的方法，其中，在所述重叠区域中的所述背景相对于在所述重叠区域中的所述真实对象具有减小的动态颜色范围。

6.根据权利要求5所述的方法，其中，在所述重叠区域中所述背景具有大致均匀的颜色。

7.根据权利要求6所述的方法，其中，所述大致均匀的颜色是灰色。

8.根据权利要求4所述的方法，其中，所述干涉图像向在所述重叠区域中的所述真实对象添加颜色。

9.根据权利要求1所述的方法，其中，降低在所述真实对象与所述虚拟对象之间的对比度包括：基于所确定的在所述重叠区域中的所述真实对象的颜色特征来修改所述虚拟图像数据。

10.根据权利要求9所述的方法，其中，修改所述虚拟图像数据包括：从在所述重叠区域中的所述虚拟对象中减去颜色。

11.根据权利要求1所述的方法，进一步包括：

用相对于用户的头部固定的至少一个相机来捕获真实三维场景的图像数据；

将所捕获的图像数据扭曲到所述用户的视点；

其中，确定在所述真实对象与所述虚拟对象之间的所述重叠区域包括：确定在所捕获的图像数据中的对应的真实对象与在所述虚拟图像数据中的所述虚拟对象之间的空间重叠，以及确定在所述重叠区域中的所述真实对象的所述颜色特征包括：确定在所述重叠区域中的所捕获的图像数据中的所述对应的真实对象的颜色特征。

12.根据权利要求11所述的方法，其中，所捕获的图像数据和所述虚拟图像数据均包括多个像素，所述多个像素中的每个像素由至少一个值来定义，并且其中，降低所述真实对象与所述虚拟对象之间的对比度包括：修改在所述重叠区域中的所述虚拟对象和从所捕获的图像数据导出的干涉数据中的一者或两者的像素的所述至少一个值。

13.根据权利要求12所述的方法，其中，所述像素中的每个像素具有定义颜色矢量的三个值。

14.根据权利要求13所述的方法，其中，所述颜色矢量包括红色值、绿色值和蓝色值。

15.根据权利要求13所述的方法，其中，所述像素中的每个像素具有定义所述像素的强度的第四值。

16.一种增强现实(AR)系统，包括：

显示系统，被配置为允许终端用户可视化来自在周围环境中的三维场景的直接光；

控制系统，被配置为：根据所述终端用户的视点生成虚拟图像数据，确定在所述三维场景中的真实对象与在所述虚拟图像数据中的虚拟对象之间的空间重叠区域，确定在所述重叠区域中的所述真实对象的颜色特征，基于所确定的在所述重叠区域中的所述真实对象的颜色特征来降低在所述重叠区域中的所述真实对象与所述虚拟对象之间的感知对比度，以及在所述真实对象与所述虚拟对象之间的所述感知对比度已经被降低之后，指示所述显示系统将所述虚拟图像数据作为虚拟图像显示给所述终端用户，所述虚拟图像与可视化的直接光一起，创建三维增强场景。

17.根据权利要求16所述的增强现实系统，其中，所述控制系统被配置为：降低在所述真实对象与所述虚拟对象之间的所述感知对比度包括修改在所述重叠区域中的所述真实对象与所述虚拟对象之间的感知颜色对比度。

18.根据权利要求17所述的增强现实系统，其中，所述控制系统被配置为通过进一步修改在所述重叠区域中的所述真实对象与所述虚拟对象之间的感知强度对比度，降低在所述真实对象与所述虚拟对象之间的所述感知对比度。

19.根据权利要求16所述的增强现实系统，其中，所述控制系统被配置为通过以下方式降低所述真实对象与所述虚拟对象之间的所述感知对比度：

基于所确定的在所述重叠区域中的所述真实对象的颜色特征，生成干涉数据；以及

指示所述显示系统在所述重叠区域之上将所述干涉数据作为干涉图像显示给所述终端用户，使得所述干涉图像与来自所述真实对象的所述直接光相结合，以创建在所述重叠区域中的所述虚拟对象的背景。

20.根据权利要求19所述的增强现实系统，其中，在所述重叠区域中的所述背景相对于在所述重叠区域中的所述真实对象具有减小的动态颜色范围。

21.根据权利要求20所述的增强现实系统，其中，在所述重叠区域中的所述背景具有大致均匀的颜色。

22.根据权利要求21所述的增强现实系统，其中，所述大致均匀的颜色是灰色。

23.根据权利要求19所述的增强现实系统，其中，所述干涉图像向在所述重叠区域中的所述真实对象添加颜色。

24.根据权利要求16所述的增强现实系统，其中，所述控制系统被配置为通过基于所确定的在所述重叠区域中的所述真实对象的颜色特征修改所述虚拟图像数据，降低在所述真实对象与所述虚拟对象之间的对比度。

25.根据权利要求24所述的增强现实系统，其中，修改所述虚拟图像数据包括：从在所述重叠区域中的所述虚拟对象中减去颜色。

26.根据权利要求16所述的增强现实系统，进一步包括：至少一个相机，被配置为相对于用户的头部被固定，并且进一步被配置为捕获真实三维场景的图像数据，其中，所述控制系统被配置为将所捕获的图像数据扭曲到所述用户的视点，并且其中，所述控制系统被配置为通过确定在所捕获的图像数据中的对应的真实对象与在所述虚拟图像数据中的所述虚拟对象之间的空间重叠，确定在所述真实对象与所述虚拟对象之间的所述重叠区域，并且确定在所述重叠区域中的所述真实对象的所述颜色特征包括确定在所述重叠区域中的所捕获的图像数据中的所述对应的真实对象的颜色特征。

27.根据权利要求26所述的增强现实系统，其中，所述捕获的图像数据和所述虚拟图像数据均包括多个像素，所述多个像素中的每个像素由至少一个值定义，并且其中，所述控制系统被配置为通过修改在所述重叠区域中的所述虚拟对象与从所捕获的图像数据导出的干涉数据中的一者或两者的像素的所述至少一个值，降低所述真实对象与所述虚拟对象之间的所述对比度。

28.根据权利要求27所述的增强现实系统，其中，所述像素中的每个像素具有定义颜色矢量的三个值。

29.根据权利要求28所述的增强现实系统，其中，所述颜色矢量包括红色值、绿色值和蓝色值。

30.根据权利要求28所述的增强现实系统，其中，所述像素中的每个像素具有定义所述像素的强度的第四值。

31.根据权利要求16所述的虚拟图像生成系统，其中，所述显示系统被配置为位于所述终端用户的眼睛的前面。

32.根据权利要求16所述的虚拟图像生成系统，其中，所述显示系统包括投射子系统和部分透明的显示表面，所述投射子系统被配置为将所述虚拟图像投射到所述部分透明的显示表面上，并且所述部分透明的显示表面被配置为位于所述终端用户的眼睛与所述周围环境之间的视场中。

33.根据权利要求16所述的虚拟图像生成系统，进一步包括框架结构，被配置为由所述终端用户佩戴，所述框架结构承载所述显示系统。

34.根据权利要求16所述的虚拟图像生成系统，其中，所述控制系统包括图形控制系统单元(GPU)。