CN112584127A - 基于注视的曝光 - Google Patents

Abstract

本发明涉及基于注视的曝光。公开了一种用于混合现实系统的处理流水线和方法，所述处理流水线和方法基于注视针对场景中的感兴趣区域利用选择性自动曝光，并且基于所述场景的环境照明信息来补偿所述场景的所述其余部分的曝光。图像可生成以用于显示，其为用户提供经曝光补偿的、中央凹高动态范围(HDR)体验。

Description

基于注视的曝光

优先权信息

本专利申请要求2019年9月27日提交的名称为“GAZE-BASED EXPOSURE”的美国临时专利申请序列号62/907,417的优先权的权益，该美国临时专利申请的内容以引用的方式全文并入本文。

技术领域

本公开涉及基于注视的曝光。

背景技术

虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与现实世界图像或现实世界视图相结合，以增强或添加内容到用户的世界视图。因此，可利用VR的模拟环境和/或MR的混合环境为多个应用提供交互式用户体验，诸如将虚拟内容添加到观看者的环境的实时视图的应用、与虚拟训练环境进行交互的应用、游戏应用、远程控制无人机或其他机械系统的应用、观看数字媒体内容的应用、与因特网交互的应用等。

眼睛跟踪器是用于估计眼睛位置和眼睛运动的装置。眼睛跟踪系统已被用于视觉系统的研究、心理学、心理语言学、营销且用作用于人机交互的输入装置。在后一种应用中，通常考虑人的注视点与台式监视器的交叉点。

发明内容

描述了用于混合或增强现实(MR)应用中的基于注视的曝光的方法和装置的各种实施方案。描述了用于MR系统的处理流水线和方法的实施方案，该处理流水线和方法基于注视针对场景中的感兴趣区域利用选择性自动曝光，并且基于场景的环境照明信息来补偿场景的其余部分的曝光。实施方案可生成用于向用户显示的图像，该图像提供经曝光补偿的中央凹高动态范围(HDR)体验。

在实施方案中，启用HMD场景相机系统的自动曝光，但不向最终用户产生看起来自动曝光的图像。曝光被移动到地面实况曝光(场景)，但是所有细节都保留在图像中—如果以设备参考方式处理可能已经丢失的细节，从而将编码限制到0-1.0范围。该附加余量通过流水线被保留，并且通过在输出端处应用的色调映射中的突出压缩而被显示。相机外的图像基于用户的注视而自动曝光—当用户观看明亮的物体(例如，桌灯)时生成较暗的图像，并且当用户观看黑暗区域(例如，灯置于其上的桌子下方)时变得较亮。相机曝光窗口小于场景的相机曝光窗口，并且在场景范围内四处移动。补偿相机图像以基于场景曝光来缩放其RGB值。这利用了通过曝光堆叠来合并多次曝光的HDR摄影技术，不同的是仅捕获对于用户的注视方向最佳的一次曝光(与HDR照片中的多次曝光相反)。由于中央凹，最终用户意识不到周边中的伪影，其中曝光可能不是最佳的，并且图像质量可能较低。

附图说明

图1示出了根据一些实施方案的混合或增强现实(MR)系统中的示例性头戴式设备(HMD)。

图2示出了根据一些实施方案的用于生成用于在MR系统中显示的经曝光补偿的中央凹图像的示例性处理流水线。

图3是根据一些实施方案的用于生成用于在MR系统中显示的经曝光补偿的中央凹图像的方法的流程图。

图4A至图4E以图形方式示出了根据一些实施方案的生成用于在MR系统中显示的经曝光补偿的中央凹图像。

图5是根据一些实施方案的示出了可包括如在图1至图4E中示出的部件和实现如在图1至图4E中示出的方法的示例性MR系统的框图。

本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。

“包括”，该术语是开放式的。如在权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元…的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。

“被配置为”，各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112的第六段。此外，“被配置为”可包括由软件或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。

“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。

“基于”或“取决于”，如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。

“或”，在权利要求书中使用时，术语“或”被用作包含性的或，而不是排他性的或。例如，短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。

具体实施方式

描述了用于混合或增强现实(MR)应用中的基于注视的曝光的方法和装置的各种实施方案。视频透视MR系统可包括诸如头戴式耳机、头盔、护目镜或眼镜的设备(本文中称为头戴式设备(HMD))，该设备包括用于在用户的眼睛前面显示包括左图像和右图像的帧以因此将三维(3D)虚拟视图提供给用户的显示器(例如，左显示器和右显示器)。MR系统还可包括控制器。控制器可在HMD中实现，或者替代地可至少部分地由经由有线或无线接口通信地耦接到HMD的外部设备(例如，计算系统)来实现。控制器可包括各种类型的处理器、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/译码器(编码译码器)和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。控制器可渲染可至少部分地基于从HMD上的可见光摄像机(称为场景相机)和其他传感器(例如，深度传感器)获得的输入来包括虚拟内容的帧(每个帧包括左图像和右图像)，并且可将帧提供给HMD的显示系统以用于显示。MR系统还可包括眼睛跟踪系统(其也可被称为注视跟踪系统)。可由控制器分析由眼睛跟踪系统捕获的图像以检测用户的眼睛的特征(例如，通孔)、位置和运动，和/或检测关于眼睛的其他信息，诸如瞳孔扩张。可从眼睛跟踪图像估计显示器上的注视点。

描述了用于MR系统的处理流水线和方法的实施方案，该处理流水线和方法基于注视针对场景中的感兴趣区域利用选择性自动曝光，并且基于场景的环境照明信息来补偿场景的其余部分的曝光。实施方案可生成用于向用户显示的图像，该图像提供经曝光补偿的中央凹高动态范围(HDR)体验。

在实施方案中，启用HMD场景相机系统的自动曝光，但不向最终用户产生看起来自动曝光的图像。曝光被移动到地面实况曝光(场景)，但是所有细节都保留在图像中—如果以设备参考方式处理可能已经丢失的细节，从而将编码限制到0-1.0范围。该附加余量通过流水线被保留，并且通过在输出端处应用的色调映射中的突出压缩而被显示。相机外的图像基于用户的注视而自动曝光—当用户观看明亮的物体(例如，桌灯)时生成较暗的图像，并且当用户观看黑暗区域(例如，灯置于其上的桌子下方)时变得较亮。相机曝光窗口小于场景的相机曝光窗口，并且在场景范围内四处移动。补偿相机图像以基于场景曝光来缩放其RGB值。这利用了通过曝光堆叠来合并多次曝光的HDR摄影技术，不同的是仅捕获对于用户的注视方向最佳的一次曝光(与HDR照片中的多次曝光相反)。由于中央凹，最终用户意识不到周边中的伪影，其中曝光可能不是最佳的，并且图像质量可能较低。

下面广泛描述了在MR系统中提供基于注视的曝光的方法和装置的实施方案。关于所述方法和装置的更多细节参考图1至图5有所描述。

·例如，实施方案可以在MR系统中实现，MR系统包括配备有用于视频透视的场景相机的头戴式显示器(HMD)、眼睛或注视跟踪系统，以及用于环境光检测的方法，诸如一个或多个环境光传感器。

·从较小感兴趣区域收集图像统计(点测光)。ROI(感兴趣区域)在来自相机的完整图像上的位置基于由眼睛跟踪系统确定的用户的注视方向。

·基于通过积分时间和增益的组合的计量结果自动曝光相机图像，以便获取ROI内的适当曝光的图像(具有最少量的噪声)。

·绝对场景曝光由一个或多个环境光传感器测量。

·将曝光补偿应用于来自相机的图像以将其缩放到适当的场景曝光(曝光补偿＝场景曝光-相机曝光)。以足够的精度执行曝光补偿，以使图像不失真。一些相机RGB值可最终超过1.0—这是HDR余量。

·然后可添加任选的合成步骤，其中例如使用附加α共混物(Aa+B(1-a))来混合共享相同场景曝光的虚拟内容(例如，渲染的资产或外部采集的图像)。

·最后，将图像从其HDR线性编码向下色调映射到注视跟踪显示设备的动态范围。色调映射算法可包括突出压缩的形式，以便显示出由相机或渲染产生的任何突出细节，直到达到显示器的精度和动态范围的限制。

虽然通常相对于视频透视混合或增强现实(MR)系统来描述实施方案，但是本文所述的方法和装置的实施方案也可应用于虚拟现实(VR)应用中。

物理环境

物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

计算机生成的现实

相反，计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实

虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

混合现实

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

硬件

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

图1示出了根据一些实施方案的混合或增强现实(MR)系统中的示例视频透视头戴式设备(HMD)。需注意，如图1所示的HMD 100以举例的方式给出，并且不旨在为限制性的。在各种实施方案中，HMD 100的形状、大小和其他特征可不同，并且HMD 100的部件的位置、数量、类型和其他特征可变化。HMD 100可包括但不限于安装在可佩戴外壳或框架中的显示器110和两个光学透镜(目镜)120。如图1所示，HMD 100可被定位在用户190的头部上，使得显示器110和目镜120被设置在用户的眼睛192的前面。用户通过目镜120朝显示器110看。HMD100还可包括收集关于用户的环境的信息(视频、深度信息、照明信息等)和关于用户的信息的传感器(例如，眼睛或注视跟踪传感器)。传感器可包括但不限于捕获用户眼睛192的视图的一个或多个眼睛跟踪相机140(例如，红外(IR)相机)、捕获用户前面的视场中的真实世界环境的图像的一个或多个场景(可见光)相机150(例如，RGB摄像机)，以及捕获环境的照明信息的一个或多个环境光传感器154。

MR系统的控制器160可在HMD 100中实现，或者替代地可至少部分地由经由有线或无线接口通信地耦接到HMD 100的外部设备(例如，计算系统)来实现。控制器160可包括各种类型的处理器、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/译码器(编码译码器)和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。控制器160可以至少部分地基于从传感器140、150和154获得的输入来渲染包括虚拟内容的帧(每个帧包括左图像和右图像)，并且可以将帧提供给显示器110。图5进一步示出了根据一些实施方案的HMD和MR系统的部件。

在一些实施方案中，用于MR系统的眼睛跟踪系统可包括但不限于一个或多个眼睛跟踪相机140和IR光源130。IR光源130(例如，IR LED)可被定位在HMD 100中(例如，在目镜120周围或在HMD 100中的其他地方)，以用IR光照射用户的眼睛192。至少一个眼睛跟踪相机140(例如，IR相机，例如400×400像素数相机或600×600像素数相机，其在850nm或940nm下或者在一些其他IR波长下操作，并且以每秒60帧-120帧(FPS)的速率捕获帧)位于用户190的面部的每一侧。在各种实施方案中，眼睛跟踪相机140可定位在用户190的面部的每一侧上的HMD 100中，以提供眼睛192的直接视图、眼睛192的通过目镜120的视图、或眼睛192的经由从热镜或其他反射部件反射的视图。需注意，眼睛跟踪相机140的位置和角度以举例的方式给出，并且不旨在为限制性的。虽然图1示出了位于用户190的面部的每一侧上的单个眼睛跟踪相机140，但是在一些实施方案中，在用户190的面部的每一侧上可存在两个或更多个眼睛跟踪相机140。

由一个或多个光源130发射的IR光的一部分从用户190的眼睛反射，并且由眼睛跟踪相机140捕获以使用户的眼睛192成像。可由控制器160分析由眼睛跟踪相机140捕获的图像以检测用户的眼睛192的特征(例如，通孔)、位置和运动，和/或检测关于眼睛192的其他信息，诸如瞳孔扩张。例如，可根据眼睛跟踪来估计显示器110上的注视点；估计的注视点可用于使得HMD 100的一个或多个场景相机150基于对应于注视点的感兴趣区域(ROI)来曝光场景的图像。如本文参考图2至图4E所示，由眼睛跟踪系统收集的信息然后可由控制器160用以与由一个或多个环境光传感器154收集的信息结合来生成经曝光补偿的中央凹图像以用于显示。又如，估计的注视点可实现与显示器110上显示的内容的基于注视的交互。作为另一示例，在一些实施方案中，可基于如由眼睛跟踪系统确定的用户的瞳孔扩张来调节所显示的图像的亮度。

如图1所示的HMD 100的实施方案可例如用于增强或混合(AR)应用，以将增强或混合现实视图提供给用户190。HMD 100可包括例如位于HMD 100的外部表面上的一个或多个传感器，该一个或多个传感器收集关于用户190的外部环境的信息(视频、深度信息、照明信息等)；传感器可将所收集的信息提供给MR系统的控制器160。传感器可包括一个或多个可见光相机150(例如，RGB摄像机)，该一个或多个可见光相机捕获用户的环境的视频，该视频可用于向用户190提供其真实环境的虚拟视图。在一些实施方案中，由可见光相机150捕获的真实环境的视频流可由HMD 100的控制器160处理，以渲染包括覆在真实环境的视图上的虚拟内容的增强或混合现实帧，并且所渲染的帧可被提供给显示器110。如本文参考图2至图4E所示，由眼睛跟踪相机140收集的信息可由控制器160用以与由一个或多个环境光传感器154收集的信息结合来生成经曝光补偿的中央凹图像以用于显示。

图2示出了根据一些实施方案的用于MR系统的示例性处理流水线。MR系统可包括但不限于一个或多个场景相机250、注视跟踪240系统、环境光传感器254和显示器210。MR系统可包括实现图像信号处理器(ISP)260、渲染流水线270和显示流水线280的一个或多个处理器。注视跟踪240可基于所确定的用户注视点来生成感兴趣区域(ROI)统计。ROI统计被提供给传感器增益252，使得相机250捕获图像，该图像基于通过积分时间和增益的组合的计量结果对场景中从注视点确定的感兴趣区域进行自动曝光，以便获取ROI内的适当曝光的图像(具有最少量的噪声)。绝对场景曝光256由环境光传感器254测量。在266处计算曝光补偿(曝光补偿＝场景曝光-相机曝光)。曝光补偿被传递到渲染流水线270和显示流水线280。

在显示流水线280中，曝光补偿282被应用于来自相机250的图像(在ISP 262处理之后而没有色调映射)，以将图像缩放到适当的场景曝光。以足够的精度执行曝光补偿282，以使图像不失真。一些相机RGB值可最终超过1.0—这是HDR余量。在通过曝光补偿282输出的图像中，场景中的感兴趣区域保持为由相机自动曝光，而感兴趣区域之外的图像的其余部分被补偿为根据环境光信息确定的曝光(称为场景曝光)。

在渲染流水线270中，虚拟内容271可被渲染到要与相机250捕获的图像在显示流水线280中混合的图像中。应用曝光补偿272，使得所渲染的虚拟内容具有与显示流水线280中的曝光补偿图像相同的场景曝光。

在显示流水线280中，例如使用附加α共混物(Aa+B(1-a))将所渲染的虚拟内容混合284到曝光补偿图像中。

最后，图像从其HDR线性编码向下被色调映射288到显示器210的动态范围。色调映射算法可包括突出压缩的形式，以便显示出由相机250或渲染流水线270产生的任何突出细节，直到达到显示器210的精度和动态范围的限制。

图3是根据一些实施方案的用于生成用于在MR系统中显示的经曝光补偿的中央凹图像的方法的流程图。元素302至308例如可由图2所示的ISP 260执行。元素310和312可例如由如图2所示的渲染流水线270来执行。元素320至324可例如由如图2所示的显示流水线280来执行。

如302处所指示，例如从注视跟踪系统获得注视信息。如304处所指示，图像可由场景相机捕获，该场景相机具有针对根据注视跟踪信息确定的感兴趣区域的自动曝光设置。与302和304并行地，可例如通过一个或多个环境光传感器来获取图像中捕获的场景的环境照明信息。如308处所指示，曝光补偿可根据相机的自动曝光信息和环境照明信息来计算。例如：

曝光补偿＝场景曝光–相机曝光。

在显示流水线中，在320处，以足够的精度执行曝光补偿以使图像不失真。一些相机RGB值可最终超过1.0—这是HDR余量。在通过曝光补偿320输出的图像中，场景中的感兴趣区域保持为由相机自动曝光，而感兴趣区域之外的图像的其余部分被补偿为根据环境光信息确定的曝光(称为场景曝光)。

在渲染流水线中，虚拟内容可被渲染到要与相机所捕获的图像混合的图像中。如310处所指示，应用曝光补偿，使得所渲染的虚拟内容具有与显示流水线中的曝光补偿图像相同的场景曝光。如312处所指示，渲染包括要混合到相机图像中的虚拟内容的图像。

如显示流水线中的322处所指示，例如使用附加α共混物(Aa+B(1-a))将所渲染的虚拟内容混合到曝光补偿图像中。如324处所指示，图像从其HDR线性编码向下被色调映射到显示器的动态范围。色调映射算法可包括突出压缩的形式，以便显示出由相机或渲染流水线产生的任何突出细节，直到达到显示器的精度和动态范围的限制。如330处所指示，显示混合图像。

从元素324返回到元素302和306的箭头指示该方法可以是只要用户正在使用MR系统就可以继续的连续过程。

图4A至图4E以图形方式示出了根据一些实施方案的生成用于在MR系统中显示的经曝光补偿的中央凹图像。图4A示出了包括深灰色背景和两个纹理框(一个白框和一个灰框)的简单场景。如果人观看白框，则他们将不会看到灰框上的纹理细节，但将知道灰框在那里。如果他们观看灰框，则他们将看到灰框上的纹理细节，但将不会看到白框的纹理细节。这示出人类视觉系统不具有视敏度以看到由注视点确定的中央凹区域之外的细节。

场景的图像可由相机捕获。图4B示出了以相机的默认自动曝光捕获的场景的图像。这使得白框和灰框在曝光基于整个场景的平均值时暴露于两者之间的某个位置。如果光很强，则观看者可能不会看到白框上的纹理细节，因为其被剪辑。同样，观看者可能不会看到灰框上的纹理细节，因为其处于噪声中。

图4C和图4D示出了在没有场景曝光补偿的情况下基于注视来曝光图像。如果基于注视进行曝光，如果观看者观看灰框，则他们看到灰框中的纹理细节，如图4C所示。如果观看者观看白框，则他们看到白框中的纹理细节，如图4D所示。然而，如果在没有场景曝光补偿的情况下基于注视来曝光图像，则当观看者观看灰框时，整个场景变得更亮，如图4C所示。当用户观看白框时，整个场景变得更暗，如图4D所示。

图4E示出了使用本文所述的基于注视的曝光方法捕获的图像。实施方案基于注视来曝光图像，使得可详细查看感兴趣区域，但对场景的其余部分应用曝光补偿，使得场景曝光保持恒定。当观看者在两个框之间扫视时，相机正在对用户正在观看的内容进行曝光，但观看者看到的图像基于场景的环境照明而被曝光补偿。图4E中的虚线圆示出了由相机基于由眼睛跟踪系统确定的注视点而曝光的中央凹区域。根据场景的环境光信息对中央凹区域之外的图像进行曝光补偿。混合虚拟内容可包括在根据场景的环境光信息进行曝光补偿的场景中。

图5是根据一些实施方案的示出了可包括如在图1至图4E中示出的部件和实现如在图1至图4E中示出的方法的示例性MR系统的框图。在一些实施方案中，MR系统可包括HMD2000，诸如头戴式耳机、头盔、护目镜或眼镜。HMD 2000可实施各种类型的显示技术中的任一者。例如，HMD 2000可包括显示系统，该显示系统在由用户通过目镜2220A和目镜2220B观看的屏幕或显示器2022A和显示器2022B上显示包括左图像和右图像的帧。显示系统可例如是DLP(数字光处理)、LCD(液晶显示器)或LCoS(硅基液晶)技术显示系统。为了在3D虚拟视图中创建三维(3D)效果，两个图像中不同深度或距离处的对象可作为距离的三角测量的函数向左或向右偏移，其中较近的对象比更远的对象偏移得更多。需注意，在一些实施方案中，可使用其他类型的显示系统。

在一些实施方案中，HMD 2000可包括控制器2030，控制器2030被配置为实现MR系统的功能，并且生成提供给显示器2022A和2022B的帧(每个帧包括左图像和右图像)。在一些实施方案中，HMD 2000也可包括存储器2032，存储器2032被配置为存储由控制器2030可执行的MR系统的软件(代码2034)，以及当在控制器2030上执行时可由MR系统使用的数据2038。在一些实施方案中，HMD 2000也可包括一个或多个接口(例如，蓝牙技术接口、USB接口等)，一个或多个接口(例如，蓝牙技术接口、USB接口等)被配置为经由有线或无线连接与外部装置2100通信。在一些实施方案中，针对控制器2030描述的功能中的至少一部分可由外部装置2100实现。外部装置2100可为或可包括任何类型的计算系统或计算装置，诸如台式计算机、笔记本或膝上型计算机、平板或平板装置，智能电话、手持式计算装置、游戏控制器、游戏系统等等。

在各种实施方案中，控制器2030可为包括一个处理器的单处理器系统、或包括若干个处理器(例如，两个、四个、八个或另一合适数量)的多处理器系统。控制器2030可包括被配置为实现任何合适的指令集架构的中央处理单元(CPU)，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，控制器2030可包括实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的ISA，但不是必需的。控制器2030可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器2030可包括实现微码技术的电路。控制器2030可包括各自被配置为执行指令的一个或多个处理核心。控制器2030可包括一个或多个级别的高速缓存，该高速缓存可采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器2030可包括至少一个图形处理单元(GPU)，该至少一个图形处理单元(GPU)可包括任何合适的图形处理电路。通常，GPU可被配置为将待显示对象渲染到帧缓冲区中(例如，包括整个帧的像素数据的帧缓冲区)。GPU可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中，控制器2030可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(ISP)、编码器/译码器等。

存储器2032可包括任何类型的存储器，诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。在一些实施方案中，一个或多个存储器设备可以耦合到电路板上以形成存储器模块，诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地，设备可以与实现系统的集成电路在芯片堆叠构造、封装堆叠构造或者多芯片模块构造中安装。

在一些实施方案中，HMD 2000可包括一个或多个传感器2050，一个或多个传感器2050收集关于用户的环境的信息(视频、深度信息、照明信息等)。传感器2050可将信息提供给MR系统的控制器2030。在一些实施方案中，传感器2050可包括但不限于可见光相机(例如，摄像机)和环境光传感器。

HMD 2000可被定位在用户的头部上，使得显示器2022A和显示器2022B以及目镜2220A和目镜2220B被设置在用户的眼睛2292A和眼睛2292B的前面，例如如图1所示。IR光源2230A和IR光源2230B(例如，IR LED)可被定位在HMD 2000中(例如，在目镜2220A和目镜2220B周围或在HMD 2000中的其他地方)，以用IR光照射用户的眼睛2292A和眼睛2292B。眼睛跟踪相机2240A和眼睛跟踪相机2240B(例如，IR相机，例如在850nm或940nm或一些其他IR波长下操作并且以每秒60帧-120帧(FPS)的速率捕获帧的400×400像素数相机或600×600像素数相机)位于用户面部的每一侧。在各种实施方案中，眼睛跟踪相机2240可定位在HMD2000中，以提供眼睛2292的直接视图、眼睛2292的通过目镜2220的视图、或眼睛2292的经由从热镜或其他反射部件反射的视图。需注意，眼睛跟踪相机2240A和眼睛跟踪相机2240B的位置和角度以举例的方式给出，并且不旨在为限制性的。在一些实施方案中，可存在位于用户的面部的每个侧面上的单个眼睛跟踪相机2240。在一些实施方案中，在用户的面部的每一侧上可存在两个或更多个眼睛跟踪相机2240。例如，在一些实施方案中，广角相机2240和较窄角度相机2240可用于用户的面部的每个侧面上。由光源2230A和光源2230B发射的IR光的一部分从用户的眼睛2292A和眼睛2292B反射，接收在相应的眼睛跟踪相机2240A和眼睛跟踪相机2240B处，并且由眼睛跟踪相机2240A和眼睛跟踪相机2240B捕获以使用户的眼睛2292A和眼睛2292B成像。由相机2240A和相机2240B捕获的眼睛跟踪信息可被提供给控制器2030。控制器2030可分析眼睛跟踪信息(例如，用户的眼睛2292A和眼睛2292B的图像)以确定眼睛2292A和眼睛2292B的眼睛位置和运动和/或其他特征。在一些实施方案中，为了准确地确定用户的眼睛2292A和眼睛2292B相对于眼睛跟踪相机2240A和眼睛跟踪相机2240B的位置，控制器2030可使用由眼睛跟踪相机2240A和眼睛跟踪相机2240B捕获的图像来执行3D重建，以生成用户的眼睛2292A和眼睛2292B的3D模型。眼睛2292A和眼睛2292B的3D模型指示眼睛2292A和眼睛2292B相对于眼睛跟踪相机2240A和眼睛跟踪相机2240的3D位置，这允许由控制器执行的眼睛跟踪算法准确地跟踪眼睛运动。

由控制器2030获得和分析的眼睛跟踪信息可由控制器用于实行各种VR或AR系统功能。例如，可从由眼睛跟踪相机2240A和眼睛跟踪相机2240B捕获的图像估计显示器2022A和显示器2022B上的注视点；估计的注视点可用于使得HMD 2000的一个或多个场景相机基于对应于注视点的感兴趣区域(ROI)来曝光场景的图像。如本文参考图2至图4E所述，眼睛跟踪信息然后可由控制器2030用于结合场景的环境照明信息(例如，由一个或多个环境光传感器收集)来生成经曝光补偿的中央凹图像以用于显示。又如，估计的注视点可实现与显示器2022A和2022B上显示的虚拟内容的基于注视的交互。作为另一示例，在一些实施方案中，可基于如由眼睛跟踪系统确定的用户的瞳孔扩张来调节所显示的图像的亮度。

在一些实施方案中，HMD 2000可被配置为渲染和显示帧以至少部分地根据传感器2050输入为用户提供增强或混合现实(MR)视图。MR视图可包括渲染用户的环境，包括基于由一个或多个摄像机捕获的视频来渲染用户的环境中的真实对象，一个或多个摄像机捕获用户的环境的高质量、高分辨率视频用于显示。MR视图也可包括虚拟内容(例如，虚拟对象、真实对象的虚拟标签、用户的化身等)，该虚拟内容由MR系统生成并与用户的真实环境的所显示视图合成。

如图5中所示的HMD 2000的实施方案也可用于虚拟现实(VR)应用中以将VR视图提供给用户。在这些实施方案中，HMD 2000的控制器2030可渲染或获得包括虚拟内容的虚拟现实(VR)帧，并且所渲染的帧可被显示以向用户提供虚拟现实(与混合现实相对)体验。在这些系统中，VR帧的渲染可基于根据眼睛跟踪系统确定的注视点而受到影响。

本领域的技术人员还将认识到，虽然各种项目被示出为在被使用期间被存储在存储器中或存储装置上，但是为了存储器管理和数据完整性的目的，这些项目或其部分可在存储器和其他存储设备之间进行传输。另选地，在其他实施方案中，这些软件部件中的一些或全部软件部件可在另一设备上的存储器中执行，并且经由计算机间通信来与例示设备2000进行通信。系统部件或数据结构中的一些或全部也可(例如作为指令或结构化数据)被存储在计算机可访问介质或便携式制品上以由合适的驱动器读取，其多种示例在上文中被描述。在一些实施方案中，存储在与设备2000分开的计算机可访问介质上的指令可经由传输介质或信号(诸如经由通信介质诸如网络和/或无线链路而传送的电信号、电磁信号或数字信号)传输到设备2000。各种实施方案还可包括在一个或多个计算机可读介质上接收、发送或存储根据以上描述所实现的指令和/或数据。一般来讲，计算机可读介质可包括非暂态计算机可读存储介质或存储器介质，诸如磁介质或光学介质，例如盘或DVD/CD-ROM、易失性或非易失性介质，诸如RAM(例如SDRAM、DDR、RDRAM、SRAM等)、ROM等。在一些实施方案中，计算机可读介质可包括传输介质或信号，诸如经由通信介质诸如网络和/或无线链路而传送的电信号、电磁信号、或数字信号。

在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

Claims (20)

1.一种系统，包括：

头戴式设备(HMD)，所述HMD包括：

相机，所述相机被配置为捕获场景的图像；

注视跟踪系统；以及

环境光传感器；

控制器，所述控制器包括一个或多个处理器，所述一个或多个处理器被配置为：

基于从所述注视跟踪系统获得的注视跟踪信息来确定所述场景中的感兴趣区域；

使得所述相机捕获所述场景的根据所述感兴趣区域自动曝光的图像；

基于相机曝光和根据从所述环境光传感器获得的所述场景的环境照明信息确定的场景曝光来确定曝光补偿；以及

将所述曝光补偿应用于所述感兴趣区域之外的所述图像以生成曝光补偿图像，其中所述感兴趣区域在所述相机曝光下曝光，并且所述感兴趣区域之外的所述图像在所述场景曝光下曝光。

2.根据权利要求1所述的系统，其中所述曝光补偿通过从所述场景曝光减去所述相机曝光来确定。

3.根据权利要求1所述的系统，其中所述控制器被进一步配置为将色调映射技术应用于所述曝光补偿图像，以将所述图像从HDR线性编码色调映射到显示屏的动态范围。

4.根据权利要求3所述的系统，其中所述色调映射技术包括突出显示压缩以揭示所述曝光补偿图像中的突出显示的细节。

5.根据权利要求1所述的系统，其中所述控制器被进一步配置为：

渲染包含虚拟内容的图像，其中为了渲染包含虚拟内容的所述图像，所述控制器被配置为将所述曝光补偿应用于所述虚拟内容，使得包含虚拟内容的所述图像在所述场景曝光下曝光；

将包含虚拟内容的所述图像混合到所述曝光补偿图像中以生成混合图像；以及

将色调映射技术应用于所述混合图像以将所述混合图像从HDR线性编码色调映射到显示屏的动态范围；以及

使所述混合图像显示在所述显示屏上。

6.根据权利要求1所述的系统，其中所述HMD还包括至少一个显示屏，所述至少一个显示屏被配置为显示包含混合到所述曝光补偿图像中的虚拟内容的帧以供用户观看。

7.根据权利要求6所述的系统，其中所述HMD还包括位于所述至少一个显示屏和所述用户的眼睛之间的左光学透镜和右光学透镜。

8.根据权利要求1所述的系统，其中所述眼睛跟踪系统包括：

至少一个眼睛跟踪相机；以及

一个或多个光源，所述一个或多个光源被配置为朝向所述用户的眼睛发射光，其中所述至少一个眼睛跟踪相机捕获从所述用户的眼睛反射的所述光的一部分。

9.根据权利要求1所述的系统，其中所述控制器为所述HMD的部件。

10.一种方法，包括：

由一个或多个处理器执行：

基于注视跟踪信息来确定场景中的感兴趣区域；

使相机以根据所述感兴趣区域确定的自动曝光设置来捕获所述场景的图像；以及

对所捕获的图像应用曝光补偿以生成曝光补偿图像，其中所述感兴趣区域在所述相机曝光下曝光，并且所述感兴趣区域之外的所述图像在场景曝光下曝光。

11.根据权利要求10所述的方法，还包括根据所述场景的环境照明信息确定所述场景曝光。

12.根据权利要求10所述的方法，还包括通过从所述场景曝光减去所述相机曝光来确定所述曝光补偿。

13.根据权利要求10所述的方法，还包括将色调映射应用于所述曝光补偿图像，以将所述图像从HDR线性编码色调映射到显示屏的动态范围。

14.根据权利要求13所述的方法，其中将色调映射应用于所述曝光补偿图像包括应用突出显示压缩以揭示所述曝光补偿图像中的突出显示的细节。

15.根据权利要求10所述的方法，还包括：

渲染包含虚拟内容的图像，其中渲染包含虚拟内容的所述图像包括将所述曝光补偿应用于所述虚拟内容，使得包含虚拟内容的所述图像在所述场景曝光下曝光；

将包含虚拟内容的所述图像混合到所述曝光补偿图像中以生成混合图像；

将色调映射技术应用于所述混合图像以将所述混合图像从HDR线性编码色调映射到显示屏的动态范围；以及

使所述混合图像显示在所述显示屏上。

16.根据权利要求15所述的方法，其中将色调映射应用于所述混合图像包括应用突出显示压缩以揭示所述曝光补偿图像中和所混合的虚拟内容中的突出显示的细节。

17.根据权利要求10所述的方法，其中所述一个或多个处理器和所述相机是头戴式设备(HMD)的部件，其中所述HMD还包括至少一个显示屏，所述方法还包括使包含混合到所述曝光补偿图像中的虚拟内容的帧由所述至少一个显示屏显示以供用户观看。

18.根据权利要求17所述的方法，其中所述HMD还包括位于所述至少一个显示屏和所述用户的眼睛之间的左光学透镜和右光学透镜。

19.根据权利要求10所述的方法，其中所述一个或多个处理器和所述相机是头戴式设备(HMD)的部件，所述方法还包括从所述HMD的眼睛跟踪系统获得所述注视跟踪信息。

20.一种或多种非暂态计算机可读存储介质，其存储程序指令，所述程序指令当在一个或多个处理器上或跨一个或多个处理器执行时使得所述一个或多个处理器：

基于从注视跟踪系统获得的注视跟踪信息来确定场景中的感兴趣区域；

使得相机捕获所述场景的根据所述感兴趣区域自动曝光的图像；

基于相机曝光和根据从环境光传感器获得的所述场景的环境照明信息确定的场景曝光来确定曝光补偿；以及

将所述曝光补偿应用于所述感兴趣区域之外的所述图像以生成曝光补偿图像，其中所述感兴趣区域在所述相机曝光下曝光，并且所述感兴趣区域之外的所述图像在所述场景曝光下曝光。

Images