CN116762032A - 用于增强现实设备和虚拟现实设备的反向透视眼镜 - Google Patents

Abstract

一种用于向旁观者提供头戴式设备显示器的用户的反向透视视图的设备包括目镜，该目镜包括光学表面，该光学表面被配置为在该光学表面的第一侧向用户提供图像。该设备还包括：第一摄像头，该第一摄像头被配置为收集从第一视场中的光学表面反射的用户的面部的一部分的图像；显示器，该显示器与该光学表面相邻，并且被配置为向前投影用户的面部的图像；以及屏幕，该屏幕被配置为从该显示器接收光并向旁观者提供用户的面部的图像。

Description

用于增强现实设备和虚拟现实设备的反向透视眼镜

技术领域

本公开涉及包括反向透视特征(reverse pass-through feature)的增强现实(AR)设备和虚拟现实(VR)设备，该反向透视特征向前方的旁观者提供用户面部特征的真实视图。更具体地，本公开为AR/VR头戴式设备(headset)用户的旁观者提供了自动立体外部显示器。

背景技术

相关技术

在AR和VR设备领域中，一些设备包括外向显示器，所述外向显示器为旁观者提供如下图像的视图：这些图像正被显示给该设备的用户。虽然这些配置有助于旁观者更好地理解AR或VR设备的用户的体验，但是这使旁观者对用户的心理状态或用户的关注焦点一无所知，例如，在用户正试图使用透视模式与旁观者交谈并且没有以其他方式参与虚拟现实环境的情况下。此外，对于具有外向显示器的这种设备，外向显示器通常是传统的二维显示器，缺乏用户面部或头部的至少一部分的完整图像的真实视图例如以描绘用户面部或头部在设备内的准确深度和距离。

发明内容

根据本公开的第一方面，提供了一种设备，该设备包括：近眼显示器，该近眼显示器被配置为向用户提供图像；眼睛成像系统，该眼睛成像系统被配置为收集该用户的面部的图像；以及光场显示器，该光场显示器被配置为向旁观者提供该用户的面部的三维重建的自动立体图像，其中，该自动立体图像从该光场显示器的视场内的多个视点描绘了该用户的面部的立体校正视图。

在一些实施例中，该光场显示器可以包括像素阵列和多透镜阵列，其中，该像素阵列被配置为向该多透镜阵列提供该用户的面部的分割视图，该分割视图包括在选定视点处的该光场显示器的该视场的多个部分。

在一些实施例中，该眼睛成像系统可以包括两个摄像头以收集该用户的面部的双眼视图。

在一些实施例中，该设备还可以包括一个或多个处理器和存储有指令的存储器，这些指令在由该一个或多个处理器执行时，从该用户的面部的图像生成该用户的面部的三维表示。

在一些实施例中，该近眼显示器可以向该用户提供环境的、包括该旁观者在内的三维表示。

在一些实施例中，该眼睛成像系统可以包括红外摄像头，该红外摄像头以反射模式从双色镜接收来自该用户的该图像，该双色镜与该光场显示器相邻。

在一些实施例中，该光场显示器可以包括微透镜阵列，该微透镜阵列具有多个微透镜，该多个微透镜布置成具有预选间距的二维图案，以避免针对该旁观者的两个视点的立体校正视图之间的串扰。

在一些实施例中，该光场显示器还可以包括与该微透镜阵列相邻的沉浸式挡件(immersed stop)，该沉浸式挡件包括多个孔，使得每个孔与该微透镜阵列中的每个微透镜的中心对准。

在一些实施例中，该光场显示器可以包括被分成多个有源部分的像素阵列，其中，该像素阵列中的每个有源部分具有与该多透镜阵列中的折射元件的直径相应的尺寸。

在一些实施例中，该设备还可以包括一个或多个处理器和存储有指令的存储器，这些指令在由一个或多个处理器执行时，使得该光场显示器将该像素阵列分割成多个有源部分，每个有源部分被配置为提供该光场显示器的视场的、在该旁观者的选定视点处部分。

根据本公开的另一个方面，提供了一种计算机实现的方法，该方法包括：接收来自用户面部的一部分的、具有一个或多个视场的多个二维图像；以第一分辨率设置从该多个二维图像中提取多个图像特征；基于该多个图像特征，为该用户面部的一部分渲染三维重建，其中，该用户面部的该部分对于旁观者不可见；以及向该旁观者提供该用户面部的该三维重建的自动立体图像。

在一些实施例中，该计算机实现的方法还可以包括：沿着扫描线匹配该多个图像特征，以便以该第一分辨率设置构建匹配代价(cost volume)，并提供粗略的视差估计；以及以第二分辨率设置恢复一个或多个图像特征，该一个或多个特征图包括小细节(smalldetail)和薄结构(thin structure)，该第二分辨率设置高于该第一分辨率设置。

在一些实施例中，该计算机实现的方法可以包括：基于该多个图像特征，生成该用户面部的该部分的纹理图和该用户面部的该部分的深度图，其中，该纹理图包括该多个图像特征的颜色细节，并且该深度图包括该多个图像特征的深度位置。

在一些实施例中，提供该用户面部的该三维重建的自动立体图像可以包括：向光场显示器的一部分提供该用户面部的视场的、在该旁观者的选定视点处的部分。

在一些实施例中，该计算机实现的方法还可以包括：跟踪一个或多个旁观者，以识别视角并对光场显示器进行修改，以优化该一个或多个旁观者中的每一个旁观者的视场。

在一些实施例中，该多个二维图像中的至少一个二维图像为用户环境的正向图像，并且渲染该用户面部的该部分的三维表示包括：根据在该用户环境的该正向图像中识别的照明源来照亮重建模型。

根据本公开的另一个方面，提供了一种计算机实现的方法，该方法用于训练模型以向虚拟现实头戴式设备中的自动立体显示器提供用户的一部分的视图，该方法包括：收集来自多个用户的面部的多个地面真实图像；使用存储的、校准的立体图像对，对该多个地面真实图像校正；使用三维面部模型生成该多个用户的面部的多个合成视图，其中，该多个用户的面部的该多个合成视图与该虚拟现实头戴式设备中的面部成像摄像头的几何形状匹配，并且该三维面部模型是使用该多个地面真实图像来进行纹理映射的；以及基于该多个用户的面部的该多个地面真实图像与该多个合成视图之间的差异，训练该三维面部模型。

在一些实施例中，收集来自该多个用户的面部的该多个地面真实图像可以包括：从彩色显示器收集来自该用户的面部的一部分的彩色图像和红外图像。

在一些实施例中，生成该多个用户的面部的该多个合成视图可以包括：为该多个地面真实图像中的每个地面真实图像生成纹理图和深度图，其中，该纹理图包括颜色、透明度和反射率，并且该深度图包括该多个地面真实图像中的每个像素的虚拟深度位置。

在一些实施例中，训练该三维面部模型可以包括：基于该用户的面部的该多个地面真实图像与该多个合成视图之间的损失值，调整该三维面部模型的系数。

应当理解的是，本文中描述为适合于结合到本公开一个或多个方面或实施例中的任何特征旨在在本公开的任何方面和所有方面和实施例中通用。根据本公开的说明书、权利要求和附图，本领域技术人员可以理解本公开的其它方面。前文的一般描述和下文的具体实施方式仅是示例性和说明性的，而不是对权利要求的限制。

附图说明

图1A示出了根据一些实施例的包括自动立体外部显示器的AR或VR设备。

图1B示出了根据一些实施例的由前方的旁观者观看到的、AR或VR设备的用户。

图2示出了根据一些实施例的AR或VR设备的目镜(eyepiece)的详细视图，该目镜被配置为向前方的旁观者提供用户面部的反向透视视图。

图3A至图3D示出了根据一些实施例的微透镜阵列的不同方面和不同部件，该微透镜阵列用于向前方的旁观者提供AR或VR设备用户的反向透视视图。

图4示出了根据一些实施例的通过光场显示器向前方的旁观者提供AR或VR设备用户的广角、高分辨率视图的光线跟踪视图。

图5A至图5D示出了根据一些实施例的微透镜阵列的分辨率特性的不同方面，该微透镜阵列用于提供AR或VR设备用户的广角、高分辨率视图。

图6示出了根据一些实施例的AR或VR设备用户的面部的一部分的3D再现。

图7示出了根据一些实施例的用于VR/AR头戴式设备用户的面部的一部分的3D再现的模型架构的框图。

图8A至图8D示出了根据一些实施例的一种这样的方法中的元件和步骤：该方法用于训练模型以向虚拟现实头戴式设备中的自动立体显示器提供用户面部的一部分的视图。

图9示出了根据一些实施例的用于提供VR/AR头戴式设备用户的面部的自动立体视图的方法的流程图。

图10示出了从用户面部的一部分的多个二维(two-dimensional，2D)图像渲染该用户面部的一部分的三维(3D)视图的方法的流程图。

图11示出了根据一些实施例的用于训练模型以从用户面部的一部分的多个二维(2D)图像渲染该用户面部的一部分的三维(3D)视图的方法的流程图。

图12示出了根据一些实施例的计算机系统，该计算机系统被配置为执行使用AR设备或VR设备的方法中的至少一些方法。

在附图中，除非另有明确说明，否则相似的元件根据它们的描述以相似的方式标记。

概述

在第一实施例中，一种设备包括近眼显示器和眼睛成像系统，该近眼显示器被配置为向用户提供图像，该眼睛成像系统被配置为收集用户面部的图像。该设备还包括光场显示器，该光场显示器被配置为向旁观者提供该用户面部的三维重建的自动立体图像，其中，该自动立体图像从该光场显示器的视场内的多个视点描绘了用户面部的立体校正视图。

在第二实施例中，一种计算机实现的方法包括：接收用户面部的一部分的多个二维图像，该多个二维图像具有一个或多个视场；以第一分辨率设置从该多个二维图像中提取多个图像特征。该计算机实现的方法还包括：基于该多个图像特征，为该用户面部的一部分渲染三维重建，其中，用户面部的该部分对于旁观者而言被遮挡；以及向该旁观者提供该用户面部的三维重建的自动立体图像。

在第三实施例中，一种计算机实现的方法用于训练模型，以向虚拟现实头戴式设备中的自动立体显示器提供用户面部的一部分的视图。该计算机实现的方法包括：收集来自多个用户的面部的多个地面真实图像，以及使用存储的、校准的立体图像对，对该多个地面真实图像进行校正。该计算机实现的方法还包括：使用三维面部模型生成该多个用户的面部的多个合成视图，其中，该多个用户的面部的多个合成视图与该虚拟现实头戴式设备中的面部成像摄像头的几何形状相匹配，并且该三维面部模型是用该多个地面真实图像来进行纹理映射的，该计算机实现的方法还包括：基于该多个用户的面部的多个地面真实图像与多个合成视图之间的差异来训练该三维面部模型。

在又一实施例中，一种系统包括用于存储指令的第一装置和用于执行这些指令以执行一种方法的第二装置，该方法包括：收集来自多个用户的面部的多个地面真实图像，以及使用存储的、校准的立体图像对，对该多个地面真实图像进行校正。该方法还包括：使用三维面部模型生成该多个用户的面部的多个合成视图，其中，该多个用户的面部的多个合成视图与该虚拟现实头戴式设备中的面部成像摄像头的几何形状相匹配，并且该三维面部模型是用该多个地面真实图像来进行纹理映射的。该方法还包括：基于该多个用户的面部的多个地面真实图像与多个合成视图之间的差异来训练该三维面部模型。

具体实施方式

在以下描述中，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，对于本领域的技术人员显而易见的是，可以在没有这些具体细节中的一些细节的情况下实施本发明的实施例。在其他情况下，未详细示出公知的结构和技术，以免混淆本公开。

在AR和VR设备领域及这些设备的使用中，用户和环境之间存在分离，即使这对用户和附近的其他人没有危险，但是也可能会对用户周围的人造成困扰。在某些情况下，用户可能希望与一个或多个旁观者进行对话或获得一个或多个旁观者的关注。目前的AR设备和VR设备缺乏供旁观者参与及核实用户关注焦点的能力。

显示器应用试图将广角视场或三维显示器与深焦距匹配，通常，上述显示器应用需要在显示器的空间分辨率上妥协。一种方法是减小显示器中像素的尺寸以提高分辨率；然而，在当前最先进的技术中，像素尺寸正在达到可见光和近红外光的衍射极限，这限制了最终能够达到的分辨率。在AR设备和VR设备的情况下，空间分辨率与角度分辨率之间的这种折衷不是很严格，因为与这些设备所涉及的形状要素和角度尺寸相关的范围有限。

AR/VR设备的一个理想特征是具有较小的形状要素。因此，需要更薄的器件。为了实现这一点，具有较短工作距离的多透镜阵列(multi-lenslet array，MLA)光场显示器通过使用全息扁平透镜的便利设计，在分辨率损失有限的情况下，提供了VR头戴式设备的薄横截面。

AR/VR设备的另一个理想特征是提供高分辨率。尽管这限制了焦深，但是这种限制(其在用于采集复杂场景的光学系统中很常见)对于本文所公开的外部显示器来说不那么严格，这是因为景深(depth of field)受到外部显示器与用户面部之间的相对位置的限制，而该相对位置变化很小。

本文公开的实施例提高了使用VR头戴式设备进行各种应用的面对面交互的质量，其中，一位或多位佩戴着VR头戴式设备的人与一位或多位未佩戴VR头戴式设备的人交互。本文论述的实施例消除了VR用户与旁观者或其他VR用户之间的分歧，并消除了VR与AR之间的差距：透视式(see-through)AR与VR系统的更精细和更高沉浸能力的共存优势。因此，本文所公开的实施例提供了令人信服且更自然的VR体验。

更一般地，本文所公开的实施例提供了一种AR/VR头戴式设备，对于旁观者来说，该AR/VR头戴式设备看起来像一副标准的透视式眼镜，使得AR/VR的用户能够更好地融入周围环境。这在AR/VR的用户与其他人或旁观者互动的场景中非常有用。

图1A示出了根据一些实施例的包括自动立体外部显示器110A的头戴式设备10A。头戴式设备10A可以是被配置为固定在用户的头部的AR设备或VR设备。头戴式设备10A包括两个目镜100A，两个目镜100A由带15机械地耦接，并且具有柔性安装件以将电子部件20保持在用户头部的后面。柔性连接器5可以将目镜100A与电子部件20电耦接。两个目镜100A中的每个目镜包括眼睛成像系统115-1和115-2(以下统称为“眼睛成像系统115”)，这些眼睛成像系统被配置为收集从选定视场(FOV)中的光学表面反射的、用户面部的一部分的图像。眼睛成像系统115可以包括双眼摄像头，这些摄像头以不同FOV收集用户眼睛的两个图像，以便生成用户面部的至少一部分的三维、立体视图。眼睛成像系统115可以向电子部件提供关于瞳孔位置和运动的信息。目镜100A还可以包括与光学表面邻近的外部显示器110A(例如，光场显示器)，该外部显示器被配置为从用户向前投射用户面部的自动立体图像。

在一些实施例中，电子部件20可以包括存储器电路112和处理器电路122，该存储电路存储有指令，该处理器电路执行这些指令，以从眼睛成像系统115接收用户面部的该部分的图像，并向外部显示器110A提供用户面部的自动立体图像。此外，电子部件20也可以接收来自一个或多个眼睛摄像头的用户面部的该部分的图像，并应用图像分析来评估用户对外景或虚拟现实显示器的一个方面的注视、聚散度(vergence)和聚焦。在一些实施例中，电子部件20包括通信模块118，该通信模块被配置为与网络通信。通信模块118可以包括射频软件和硬件，以将存储器112和处理器122与外部网络或另一个设备进行无线通信。因此，通信模块118可以包括无线电天线、收发器和传感器，并且还包括数字处理电路，该数字处理电路用于根据诸如Wi-Fi、蓝牙、近场接触(near field contact，NFC)等多种无线协议中的任何一种无线协议进行信号处理。此外，通信模块118还可以与其他输入工具以及与头戴式设备10A协作的附件(例如，手柄、操纵杆、鼠标、无线指针等)进行通信。

在一些实施例中，各目镜100A可以包括一个或多个外部摄像头125-1和125-2(下文中统称为“外部摄像头125”)，以为用户采集场景的前视图。在一些实施例中，外部摄像头125可以基于注视、聚散度以及用户视图的其他特征(这些其他特征可以从双眼摄像头提供的用户面部的该部分的图像中提取)，来聚焦或指向(例如，由处理器122)前视图中用户可能特别感兴趣的各方面。

图1B示出了根据一些实施例的由前方的旁观者观看的头戴式设备10B。在一些实施例中，头戴式设备10B可以是处于“浮潜式”配置的AR设备或VR设备。下文中，头戴式设备10A和10B将统称为“头戴式设备10”。在一些实施例中，护目镜(visor)100B可以包括单个前视的显示器(forward display)110B，该显示器向旁观者102提供用户101的视图。显示器110B包括用户101的面部的一部分，该部分具有两只眼睛、鼻子的一部分、眉毛和用户101的其他面部特征。此外，用户面部的自动立体图像111可以包括诸如用户眼睛的准确和实时位置等细节，以指示用户101的注视方向和聚散度或关注焦点。这可以向旁观者102指示用户是否正在关注已经说过的某件事，或者可能引起用户注意的一些其他环境干扰或感官输入。

在一些实施例中，自动立体图像111提供了用户面部的3D渲染。因此，旁观者102完整观看用户面部甚至用户头部，其角度随着旁观者102改变视角而改变。在一些实施例中，向外投影的显示器110B可以包括除了用户面部的一部分的图像之外的图像特征。例如，在一些实施例中，该向外投影的显示器可以在图像中包括叠加到用户面部的图像的虚拟元素(例如，用户实际正在观看的虚拟图像的反射或眩光，或者环境中的真实光源的反射或眩光)。

图2示出了根据一些实施例的AR或VR设备的目镜200的详细视图，该目镜被配置为向前方的旁观者提供用户面部的反向透视视图(参见目镜100A和浮潜式的护目镜100B)。目镜200包括光学表面220，该光学表面被配置为向光学表面220的第一侧(左侧)的用户提供图像。在一些实施例中，给用户的该图像可以由前向摄像头225提供，并且光学表面220可以包括耦接到前向摄像头225的显示器。在一些实施例中，光学表面220中的该图像可以是由处理器执行存储在存储器(例如，对于VR设备为存储器112和处理器122)中的指令而提供的虚拟图像。在一些实施例(例如对于AR设备)中，给用户的该图像可以至少部分地包括从目镜200的前侧经由透明光学部件(例如，透镜、波导和棱镜等)传输的图像。

在一些实施例中，目镜200还包括第一眼睛摄像头215A和第二眼睛摄像头215B(以下统称为“眼睛摄像头215”)，第一眼睛摄像头215A和第二眼睛摄像头215B被配置为以两个不同的FOV收集用户面部(例如，用户眼睛)的第一图像和第二图像。在一些实施例中，眼睛摄像头215可以是红外摄像头，这些红外摄像头以反射模式从热反射镜组件205收集用户面部的图像。照明环211可以向将要被眼睛摄像头215成像的、用户面部的部分提供照明。因此，光学表面220可以被配置为在由眼睛摄像头215操作的光波长(例如，红外域)下是反射性的，并且对于向用户提供图像的光(例如，可见光域，包括红色(R)像素、蓝色(B)像素和绿色(G)像素)是透射性的。前向显示器210B将用户面部的自动立体图像投射到旁观者(投射到该图的右端)。

图3A至图3D示出了根据一些实施例的微透镜阵列300的不同方面和不同部件，该微透镜阵列用作屏幕以向前方的旁观者提供AR或VR设备中的用户的反向透视视图。在一些实施例中，微透镜阵列300从像素阵列320接收光，并将用户面部的图像提供给旁观者。在一些实施例中，用户面部的图像为取决于旁观者视角的、用户面部的3D再现的立体图。

图3A是微透镜阵列300的详细视图，并且图3A包括以具有间距305的二维图案302布置的多个微透镜301-1、301-2和301-3(在下文中统称为“微透镜301”)。在一些实施例中，孔掩模(aperture mask)315可以邻近微透镜阵列设置，使得每个孔与每个微透镜301对准，以避免从旁观者的视点来看不同视角间发生串扰。

仅出于说明性目的，图案302为间距305小于一毫米(例如，500μm)的多个微透镜301的六边形点阵。微透镜阵列300可以包括第一表面和第二表面310，该第一表面和第二表面包括形成微透镜301的凹陷部，该第一表面和第二表面310由透射性衬底307(例如，N-BK7玻璃和塑料等)分隔开。在一些实施例中，透射性衬底307可以具有约200μm的厚度。

图3B是根据一些实施例的用于反向透视头戴式设备的光场显示器350的详细视图。光场显示器350包括与微透镜阵列(例如，微透镜阵列300)邻近的像素阵列320，出于说明的目的，仅示出了该微透镜阵列中的一个微透镜301。像素阵列320包括多个像素321，该多个像素产生指向微透镜301的光束323。在一些实施例中，像素阵列320与微透镜301之间的距离303可以近似等于微透镜301的焦距，因此根据起始的像素321的具体位置，可以在不同方向上对出射光束325进行准直。因此，根据旁观者的位置，像素阵列320中的不同像素321可以提供用户面部的3D表示的不同视角。

图3C是微透镜阵列300的平面图，其示出了蜂窝图案。

图3D示出了具有孔掩模315的微透镜阵列300，该孔掩模邻近微透镜阵列300设置，使得孔掩模315上的各开口位于微透镜阵列300的中心。在一些实施例中，孔掩模315可以包括铬，在500μm的六边形装填间距上具有大约400μm的孔(如图所示)。孔掩模315可以在微透镜阵列300的任一侧或在两侧与第一表面或第二表面310对齐。

图4示出了根据一些实施例的光场显示器450的光线跟踪视图，以向旁观者提供AR/VR设备的用户的面部的反向透视图像。根据一些实施例，光场显示器450包括微透镜阵列400，该微透镜阵列用于向前方的观看者提供AR设备或VR设备的用户的面部的广角、高分辨率视图。如本文所公开的，微透镜阵列400包括以二维图案布置的多个微透镜401。像素阵列420可以包括提供光线423的多个像素421，光线423透过微透镜阵列400传播以生成AR设备或VR设备的用户的面部的至少一部分的3D再现。微透镜阵列400可以包括孔掩模415。孔掩模415在微透镜阵列400的各微透镜的每个微透镜的边缘附近提供阻挡元件。对于旁观者来说，相对于形成用户面部的前视图的光线425A，这些阻挡元件减少了光线425B和425C的量。对于位于屏幕前面并观看用户面部(根据图4，该面部向下)的3D再现的旁观者来说，这减少了串扰和重影效应。

图5A至图5C示出了根据一些实施例的微透镜阵列中的分辨率特性500A、500B和500C(以下统称为“分辨率特性500”)的不同方面，以提供AR或VR设备的用户的面部的广角、高分辨率视图。分辨率特性500的横坐标521(X轴)表示用户的面部(例如，用户的眼睛)与微透镜阵列之间的像距(以毫米(mm)为单位)。分辨率特性500的纵坐标522(Y轴)是以频率值给出的包括光显示器和屏幕的光学系统的分辨率，上述频率值例如为显示器上每毫米的特征周期数(周期数/mm)，该分辨率是由位于距离佩戴AR设备或VR设备的用户约一米处的旁观者所观看到的。

图5A示出了包括截止值的分辨率特性500A，该截止值为旁观者可以从显示器中辨别出的最高频率。曲线501-1A和501-2A(以下统称为“曲线501A”)与两种不同的头戴式设备模型(分别称为模型1和模型2)相关联。具体分辨率取决于像距和屏幕的其他参数，该参数例如为，微透镜阵列的间距(例如，间距305)。通常，用户的眼睛与屏幕之间的距离越大，分辨率截止将单调地下降(沿着横坐标521向右)。这可以通过曲线501-2A的截止值510-2A(约0.1个周期/mm)与曲线501-1A的截止值510-1A(约0.25个周期/mm)之间的差异来说明。实际上，曲线501-2A的头戴式设备模型的像距(用户的面部与显示器之间的距离接近10cm)比曲线501-1A的头戴式设备模型的像距(用户眼睛与显示器之间的距离约为5cm)更大。此外，相对于较小间距(模型1，间距为200μm)，对于具有较宽间距(模型2，间距为500μm)的微透镜阵列来说，分辨率截止将减小。

图5B示出了分辨率特性500B，该分辨率特性包括光场显示模型(模型3)的曲线501B，该光场显示模型在点510B处提供了大约0.3个周期/mm的空间频率，大约5cm的像距。

图5C示出了包括曲线501-1C、501-2C、501-3C和501-4C(以下统称为“曲线501C”)的分辨率特性500C。分辨率特性500C的横坐标521C(X轴)表示头戴式设备深度(例如，其和用户的眼睛/面部与光场显示器之间的距离类似)，纵坐标522C(Y轴)表示光场显示器中的像素阵列的像素间距(以微米(μm)为单位)。多条曲线501C中的每一条曲线表示每个光场显示模型的截止分辨率(每毫米(mm)的周期数(周期数/mm))。将点510B与具有高密度像素封装(间距小于10μm)的光场显示模型(模型4)的点510C进行比较，在点510C处获得了更好的分辨率，并且点510C的近距离头戴式设备深度约为25mm(例如，约1英寸或更小)。

图5D示出了对于每个光场显示模型随旁观者而定的、佩戴着头戴式设备的用户的图像510-1D和510-2D。利用光场显示器的模型3获得图像510-1D，并且利用光场显示器的模型4获得图像510-2D(分别参照点510B和点510C)。模型4的分辨率性能当然优于模型3的分辨率性能，这表明，考虑到与本公开一致的模型设计方面的其他权衡，存在广泛的可能性来适应期望的分辨率。

图6示出了根据一些实施例的AR或VR设备的用户的面部的一部分的3D再现621A和621B(以下统称为“3D再现621”)。在一些实施例中，3D再现621由对用户面部的至少一部分(例如，眼睛)的多个2D图像611进行操作的模型650提供，并且这些2D图像由AR或VR设备中的眼睛成像系统(参照成像系统115和眼睛摄像头215)提供。模型650可以包括线性算法和/或非线性算法，例如，神经网络(neural network，NN)、卷积神经网络(convolutionalneural network，CNN)、机器学习(machine learning，ML)模型和人工智能(artificialintelligence，AI)模型。模型650包括存储在存储器电路中并由处理器电路执行的指令。该存储器电路和该处理器电路(例如，电子部件20中的存储器112和处理器122)可以存放在AR或VR设备的背面。因此，从眼睛成像系统接收多个2D图像611以创建、更新和改进模型650。该多个2D图像包括至少两个不同的FOV，例如，该两个不同的FOV来自眼睛成像系统中的两个不同立体眼睛摄像头中的每一个眼睛摄像头，并且模型650可以确定哪个图像来自于哪个摄像头，以形成3D再现621。然后，模型650使用2D图像输入、以及两个眼睛摄像头的FOV之间的差异的详细知识(例如，摄像头方向向量)，来提供AR或VR设备的用户的面部的至少一部分的3D再现621。

图7示出了根据一些实施例的模型架构700的框图，该模型架构用于VR/AR头戴式设备的用户的面部的一部分的3D再现。模型架构700被分成两个路径750A和750B(在下文中，统称为“路径750”)，每个路径用于用户的面部的不同摄像头视角。然后在模型755中通过共享权重来组合两个路径750。模型架构700可以包括如下的若干阶段。

阶段702：使用暹罗网络(Siamese network)以较低分辨率(例如，使用红外摄像头)提取多个图像特征(例如，2D)。在一些实施例中，阶段702包括：对于一组输入图像711(例如，训练图像或采样图像)，在几个神经网络层上对特征集合进行下采样712。

阶段704：通过在图像中沿扫描线匹配该多个特征，以较低分辨率构建匹配代价，以提供粗略的视差估计。

阶段706：分层细化结果，以恢复小细节和薄结构。

图8A至图8D示出了根据一些实施例的一种这样的方法中的元件和步骤：所述方法用于训练模型，以向虚拟现实头戴式设备中的自动立体显示器提供用户面部的一部分的视图。使用来自多个用户的多个训练图像811对目镜800进行训练。为每个用户创建的3D模型821包括纹理图和深度图，以恢复图像特征833-1B、833-2B和833C(以下统称为“纹理和深度图833”)的精细细节。当生成3D模型821时，将用户面部的三维重建的自动立体图像提供给光场显示器中的像素阵列。该光场显示器被分成多个有源像素部分，每个部分提供3D模型821的视场的、在旁观者的选定视角下的部分。

图8A示出了根据一些实施例的用于将多个训练图像811收集到目镜800的设置850。训练图像811可以由显示器提供，并且当目镜装配在头戴式设备中时，训练图像811被投影到屏幕812上，该屏幕设置在与热反射镜相同的位置。一个或多个红外摄像头815以反射模式收集训练图像811，一个或多个RGB摄像头825以传输模式收集训练图像。设置850具有对于所有训练图像811是固定的图像向量801-1、红外摄像头向量801-2和RGB摄像头向量801-3(以下统称为“定位向量801”)。算法模型使用定位向量801来准确地评估与3D模型821相关联的尺寸、距离和视角。

图8B示出了根据一些实施例的纹理图像833-1B和深度图像833-2B。可以使用RGB摄像头825从采集的训练图像的中获得纹理图像833-1B，可以使用IR摄像头815从采集的训练图像中获得深度图像833-2B。

图8C示出了根据一些实施例的使用IR摄像头815收集的深度图像833C。

图8D示出了根据一些实施例的关于目镜800形成的3D模型821。

图9示出了根据一些实施例的用于提供VR/AR头戴式设备的用户的面部的自动立体视图的方法900的流程图。方法900中的多个步骤可以至少部分地由处理器执行存储于存储器中的指令而执行，其中，该处理器和该存储器为本文所公开的头戴式设备中的电子部件的一部分(例如，存储器112、处理器122、电子部件20和头戴式设备10)。在另一些实施例中，与方法900一致的方法的多个步骤中的至少一个或多个步骤可以由处理器执行存储于存储器中的指令而执行，其中，该处理器和该存储器中的至少一者远程位于云服务器中，并且该头戴式设备经由耦接到网络的通信模块(参照通信模块118)通信地耦接到该云服务器。在一些实施例中，方法900可以使用如在本文中所公开的机器学习或人工智能算法中的包括神经网络结构的模型(例如，模型650、模型架构700)来执行。在一些实施例中，与本公开一致的方法可以包括方法900的至少一个或多个步骤，这些步骤以不同的顺序、同时、准同时或在时间上重叠地执行。

步骤902包括：接收来自用户面部的一部分的、具有一个或多个视场的多个二维图像。

步骤904包括：以第一分辨率设置从该多个二维图像中提取多个图像特征。在一些实施例中，步骤904包括：沿着扫描线匹配该多个图像特征，以第一分辨率设置构建匹配代价，并提供粗略的视差估计。在一些实施例中，步骤904包括：以第二分辨率设置恢复一个或多个图像特征，该一个或多个图像特征包括小细节和薄结构，该第二分辨率设置高于第一分辨率设置。在一些实施例中，步骤904包括：基于该多个图像特征，生成用户面部的该部分的纹理图和用户面部的该部分的深度图，其中，该纹理图包括该多个图像特征的颜色细节，该深度图包括该多个图像特征的深度位置。

步骤906包括：基于该多个图像特征为用户面部的一部分渲染三维重建，其中，用户面部的该部分对于旁观者而言被遮挡。

步骤908包括：向旁观者提供用户面部的该三维重建的自动立体图像。在一些实施例中，步骤908包括：向光场显示器的一部分提供用户面部的视场的、在旁观者的选定视点处的部分。在一些实施例中，步骤908还包括：跟踪一个或多个旁观者以识别视角并修改光场显示器，以优化该一个或多个旁观者中的每一个旁观者的视场。

图10示出了方法1000的流程图，该方法用于从用户面部的一部分的多个二维(2D)图像渲染用户面部的一部分的三维(three-dimensional，3D)视图。方法1000中的步骤可以至少部分地由处理器执行存储于存储器中的指令而执行，其中，该处理器和该存储器为本文公开的头戴式设备中的电子部件的一部分(例如，存储器112、处理器122、电子部件20和头戴式设备10)。在另一些实施例中，与方法1000一致的方法中的至少一个或多个步骤可以由处理器执行存储于存储器中的指令而执行，其中，该处理器和该存储器中的至少一者远程位于云服务器中，并且该头戴式设备经由耦接到网络的通信模块(参照通信模块118)通信地耦接到云服务器。在一些实施例中，方法1000可以使用如本文公开的机器学习或人工智能算法中的包括神经网络结构的模型(例如，模型650、模型架构700)来执行。在一些实施例中，与本公开一致的方法可以包括方法1000的至少一个或多个步骤，这些步骤以不同的顺序、同时、准同时或在时间上重叠地执行。

步骤1002包括：接收具有至少两个或更多个视场的多个2D图像。

步骤1004包括：以第一分辨率设置从该多个2D图像提取多个图像特征。

步骤1006包括：沿着扫描线匹配该多个图像特征，以第一分辨率设置构建匹配代价，并提供粗略的视差估计。

步骤1008包括：以第二分辨率设置恢复一个或多个图像特征，该一个或多个图像特征包括小细节和薄结构，该第二分辨率设置高于该第一分辨率设置。

图11示出了根据一些实施例的方法1100的流程图，该方法用于训练模型以从用户面部的一部分的多个二维(2D)图像渲染用户面部的一部分的三维(3D)视图。方法1100中的步骤可以至少部分地由处理器执行存储在存储器中的指令而执行，其中，该处理器和该存储器为本文公开的头戴式设备中的电子部件的一部分(例如，存储器112、处理器122、电子部件20和头戴式设备10)。在另一些实施例中，与方法1100一致的方法中的至少一个或多个步骤可以由处理器执行存储于存储器中的指令而执行，其中，该处理器和该存储器中的至少一者远程位于云服务器中，并且该头戴式设备经由耦接到网络的通信模块(参见通信模块118)通信地耦接到云服务器。在一些实施例中，方法1100可以使用如本文公开的机器学习或人工智能算法中的包括神经网络结构的模型(例如，模型650、模型结构700)来执行。在一些实施例中，与本公开一致的方法可以包括方法1100的至少一个或多个步骤，这些步骤以不同的顺序、同时、准同时或在时间上重叠地执行。

步骤1102包括：收集来自多个用户的面部的多个地面真实图像。在一些实施例中，步骤1102包括：从彩色显示器收集来自用户面部的一部分的彩色图像和红外图像。

步骤1104包括：使用存储的、校准的立体图像对，对该多个地面真实图像进行校正。

步骤1106包括：用三维面部模型生成该多个用户的面部的多个合成视图，其中，该多个用户的面部的该多个合成视图与虚拟现实头戴式设备中的面部成像摄像头的几何形状相匹配，并且该三维面部模型是使用该多个地面真实图像来进行纹理映射的。在一些实施例中，步骤1106包括：为该多个地面真实图像中的每个地面真实图像生成纹理图和深度图，其中，该纹理图包括颜色、透明度和反射率，该深度图包括该多个地面真实图像中的每个像素的虚拟深度位置。

步骤1108包括：基于该多个用户的面部的该多个地面真实图像与该多个合成视图之间的差异，来训练该三维面部模型。在一些实施例中，步骤1108包括：基于该多个用户的面部的该多个地面真实图像与该多个合成视图之间的损失值，来调整该三维面部模型的系数。

硬件概述

图12为示出了示例性计算机系统1200的框图，使用该计算机系统可以实现头戴式设备10和方法900、1000和1100。在某些方面，计算机系统1200可以使用硬件、或软件和硬件的组合来实现，或者在专用服务器中实现、或者集成到另一实体、或者分布在多个实体中。计算机系统1200可以包括台式计算机、膝上型计算机、平板电脑、平板手机、智能手机、功能手机或服务器计算机等。服务器计算机可以远程位于数据中心中，也可以存储在本地。

计算机系统1200包括总线1208或用于传送信息的其他通信机制，以及与总线1208耦接的、用于处理信息的处理器1202(例如，处理器122)。作为示例，计算机系统1200可以使用一个或多个处理器1202来实现。处理器1202可以是通用微处理器、微控制器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specificintegrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑器件(programmable logic device，PLD)、控制器、状态机、门控逻辑、离散硬件部件或可以执行信息计算或对信息进行其他处理的任何其他合适的实体。

除了硬件之外，计算机系统1200还可以包括为所述计算机程序创建执行环境的代码，该代码例如为，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一者或多者的组合的代码，上述代码存储在所包括的存储器1204(例如，存储器112)中，存储器1204例如为，随机存取存储器(RAM)、闪存、只读存储器(ROM)、可编程只读存储器(programmable read-only memory，PROM)、可擦除PROM(Erasable PROM，EPROM)、寄存器、硬盘、可移动磁盘、只读光盘驱动器(CD-ROM)、数字化视频光盘(DVD)，或与总线1208耦接以用于存储信息和存储待由处理器1202执行的指令的任何其他合适的存储设备。处理器1202和存储器1204可以由专用逻辑电路补充或合并到该专用逻辑电路中。

所述指令可以存储在存储器1204中，并可以在一个或多个计算机程序产品中实现，例如，在计算机可读介质上编码的计算机程序指令的一个或多个模块，该一个或多个模块用于由计算机系统1200执行或控制计算机系统1200的操作，并且根据本领域技术人员已知的任何方法，包括但不限于，计算机语言(例如，面向数据的语言(例如，SQL、dBase))、系统语言(例如，C语言、Objective-C语言、C++语言、汇编语言)、结构语言(例如，Java、.NET)和应用语言(例如，PHP、Ruby、Perl、Python)。指令也可以用计算机语言实现，这些计算机语言例如为，数组语言、面向方面的语言、汇编语言、创作语言、命令行接口语言、编译语言、并发式语言、花括号语言、数据流语言、数据结构化语言、声明性语言、深奥语言、扩展语言、第四代语言、函数式语言、交互模式语言、解释语言、迭代语言、基于列表的语言、小语言、基于逻辑的语言、机器语言、宏语言、元编程语言、多范例语言、数值分析、基于非英语的语言、面向对象的基于类的语言、面向对象的基于原型的语言、越界规则语言、过程语言、反射语言、基于规则的语言、脚本语言、基于栈的语言、同步语言、语法处理语言、可视化语言、wirth语言和基于xml的语言。存储器1204还可以用于在执行将由处理器1202执行的指令期间存储临时变量或其他中间信息。

本文讨论的计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)、存储在专用于所讨论的程序的单个文件中，或存储在多个协作文件中(例如、存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一台计算机或多台计算机上执行，该多台计算机位于一个站点或分布在多个站点并通过通信网络互连。本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行，以通过对输入数据进行操作并产生输出来执行功能。

计算机系统1200还包括与总线1208耦接的数据存储设备1206(例如，磁盘或光盘)以用于存储信息和指令。计算机系统1200可以经由输入/输出模块1210耦接到各种设备。输入/输出模块1210可以是任何输入/输出模块。示例性输入/输出模块1210包括数据端口(例如，USB端口)。输入/输出模块1210被配置为连接到通信模块1212。示例性通信模块1212包括网络接口卡，例如，以太网卡和调制解调器。在某些方面，输入/输出模块1210被配置为连接到多个设备，该多个设备例如为，输入设备1214和/或输出设备1216。示例性输入设备1214包括键盘和定点设备，该定点设备例如为，鼠标或轨迹球，消费者可以通过键盘和定点设备向计算机系统1200提供输入。其他类型的输入设备1214也可用于提供与消费者的交互，该其它设备例如为，触觉输入设备、视觉输入设备、音频输入设备或脑-计算机接口设备。例如，提供给消费者的反馈可以是任何形式的感觉反馈，该感觉反馈例如为，视觉反馈、听觉反馈或触觉反馈；并且来自消费者的输入可以以任何形式被接收，该输入包括声音输入、语音输入、触觉输入或脑电波输入。示例性输出设备1216包括用于向消费者显示信息的显示设备，例如，液晶(liquid crystal display，LCD)显示器。

根据本公开的一个方面，响应于处理器1202执行包含在存储器1204中的一个或多个指令的一个或多个序列，可以至少部分地使用计算机系统1200来实现头戴式设备10。这样的指令可以从另一机器可读介质(例如，数据存储设备1206)读取到存储器1204中。主存储器1204中包含的指令的序列的执行使得处理器1202执行本文描述的过程步骤。还可以采用多处理布置中的一个或多个处理器来执行存储器1204中包含的指令序列。在可替换方面中，可以使用硬连线电路来代替软件指令或与软件指令组合，以实现本公开的各个方面。因此，本公开的各方面不限于硬件电路和软件的任何特定组合。

本说明书中描述的主题的各个方面可以在计算系统中实现，该计算系统包括后端部件(例如，数据服务器)、或者包括中间件部件(例如，应用服务器)、或者包括前端部件(例如，具有图形消费者界面或网络浏览器的客户端计算机，消费者可以通过该图形消费者界面或网络浏览器与本说明书中所述的主题的实现进行交互)、或者包括一个或多个这样的后端、中间件或前端部件的任何组合。该系统的这些部件可以通过任何形式或媒介的数字数据通信(例如，通信网络)互连。该通信网络可以包括例如局域网、广域网、互联网种的任何一者或多者。此外，该通信网络可以包括但不限于，例如以下网络拓扑中的任何一者或多者：总线网络、星形网络、环形网络、网状网络、星形总线网、树形或分层网络等。通信模块可以例如是调制解调器或以太网卡。

计算机系统1200可以包括客户端和服务器。客户端和服务器通常彼此远离并且典型地通过通信网络进行交互。客户端和服务器的关系是由于在相应的计算机上运行的并且彼此具有客户端-服务器关系的计算机程序而产生。计算机系统1200可以是例如但不限于台式计算机、膝上型计算机或平板计算机。计算机系统1200还可以嵌入到另一设备中，该另一设备例如但不限于，移动电话、PDA、移动音频播放器、全球定位系统(GPS)接收器、视频游戏机和/或电视机顶盒。

本文使用的术语“机器可读存储介质”或“计算机可读介质”指的是参与向处理器1202提供指令以供执行的任何介质或媒介。这种介质可以采用多种形式，这些形式包括但不限于，非易失性介质、易失性介质和传输介质。非易失性介质包括例如，诸如数据存储设备1206等光盘或磁盘。易失性介质包括动态存储器，例如，存储器1204。包括形成总线1208的电线的传输介质包括同轴电缆、铜线和光纤。机器可读介质的常见形式包括例如，软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸磁带、任何其他带有孔图案的物理存储介质、RAM、PROM、EPROM、FLASH EPROM、任何其他存储芯片或盒、或计算机可以从中读取的任何其他介质。机器可读存储介质可以是机器可读存储设备、机器可读存储衬底、存储设备、影响机器可读传播信号的物质的组合物、或它们中的一者或多者的组合。

为了说明硬件和软件的互换性，诸如各种说明性块、模块、部件、方法、操作、指令和算法之类的项已经根据它们的功能进行概括地描述。这些功能是作为硬件、软件还是硬件和软件的组合来实现取决于对整个系统施加的特定应用程序和设计约束。本领域技术人员可以针对每个特定应用程序以不同方式实现所描述的功能。

如本文使用，在一系列项目之前的短语“至少一个”，以及用于分开任何项目的术语“和”或“或”在整体上修饰列表，而不是列表的每个成员(即每个列表)。短语“至少一个”不要求选择至少一个项目；相反，该短语允许这样的含义：包括项目中任何一个的至少一个、和/或项目的任何组合的至少一个、和/或项目中每一个的至少一个。举例来说，短语“A、B和C中的至少一个”或“A、B或C中的至少一个”是指仅A、仅B或仅C；A、B和C的任意组合；和/或A、B和C中每一个的至少一个。

“示例”一词在本文用于表示“用作示例、实例或说明”。本文中描述为“示例”的任何实施例或设计不一定被解释为优先于或优于其它实施例或设计。诸如方面、该方面、另一方面、一些方面、一个或多个方面、实施方式、该实施方式、另一实施方式、一些实施方式、一个或多个实施方式、实施例、该实施例、另一实施例、一些实施例、一个或多个实施例、配置、该配置、另一配置、一些配置、一个或多个配置、主题技术、公开、本公开、及其其他变型等短语，是为了方便起见，而不暗示与这类一个或多个短语相关的公开对于主题技术是必不可少的、或者该公开适用于主题技术的所有配置。与这类一个或多个短语相关的公开可适用于所有配置、或一个或多个配置。与这类一个或多个短语相关的公开可以提供一个或多个示例。诸如方面或一些方面的短语可指一个或多个方面，反之亦然，且这类似地适用于其他前述短语。

除非特别说明，对单数形式的元素的引用并不旨在表示“一个且只有一个”，而是“一个或多个”。术语“一些”指的是一个或多个。带下划线和/或斜体的标题和副标题仅为了方便而使用，并不限制主题技术，并且不涉及对主题技术的描述的解释。相关术语(例如，第一和第二等)可以用于将一个实体或动作与另一个实体或动作区分开，而不必要求或暗示在这样的实体或动作之间的任何实际的这样的关系或顺序。在本公开中描述的、本领域普通技术人员已知或以后将知道的各种配置的元件的所有结构和功能等价物在本文明确地包含在内。此外，无论在以上描述中是否明确引用了这种公开，本文中所公开的任何内容都不旨在奉献给公众。不得根据《美国法典》35U.S.C.§112、第六段的条款来解释任何权利要求要素，除非该要素明确地使用短语“装置用于(means for)”来叙述，或者在方法权利要求的情况下，该要素是使用短语“步骤用于(step for)”来叙述。

虽然本说明书包含许多细节，但这些细节不应被解释为对所描述内容的范围的限制，而应被解释为对主题的特定实施方式的描述。本说明书中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实现或在任何合适的子组合中实现。此外，尽管特征可以在上文被描述为在某些组合中起作用，并且甚至在最初被如此描述，但是在某些情况下来自所描述的组合的一个或多个特征也可以从该组合中去除，并且所描述的组合可以指向子组合或子组合的变体。

本说明书的主题已经按照特定方面进行了描述，但是其他方面也可以实现，并且包含在权利要求书的范围内。例如，虽然在附图中以特定顺序描述操作，但这不应被理解为要求以所示的特定顺序或按顺序次序执行这些操作，或要求执行所有所示的操作以获得期望的结果。权利要求书中叙述的动作可以以不同的顺序执行，并仍然达到期望的结果。作为一个示例，附图中描述的工艺不一定需要所示的特定顺序或顺序次序来实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。而且，上述方面中各个系统部件的分离不应理解为在所有方面中都需要这样的分离，应当理解，所描述的程序部件和系统通常可以集成在单个软件产品中或封装到多个软件产品中。

在此将发明名称、背景技术、附图说明、摘要和附图合并到本公开中，并作为本公开的说明性示例进行提供，而不是作为限制性描述。提交时有一个理解，即它们不会被用来限制权利要求书的范围或意义。此外，在具体实施方式中，可以看出，为了使本公开流畅，说明书提供了说明性示例，并且各种特征在各种实施方式中分组在一起。这种公开方法不应被解释为反映了所叙述的主题需要比每个权利要求中明确记载的特征更多的特征的意图。相反，如权利要求书所反映的，本发明的主题在于少于单个公开的配置或操作的所有特征。在此将权利要求书合并到具体实施方式中，每个权利要求作为单独描述的主题独立存在。

权利要求并不旨在局限于本文所述的方面，而是要赋予与语言权利要求一致的全部范围，并涵盖所有法律上的等价物。尽管如此，没有一项权利要求旨在涵盖未能满足适用专利法要求的主题，其也不应以这种方式进行解释。

Claims (15)

1.一种设备，所述设备包括：

近眼显示器，所述近眼显示器被配置为向用户提供图像；

眼睛成像系统，所述眼睛成像系统被配置为收集所述用户的面部的图像；以及

光场显示器，所述光场显示器被配置为向旁观者提供所述用户的面部的三维重建的自动立体图像，其中，所述自动立体图像从所述光场显示器的视场内的多个视点描绘了所述用户的面部的立体校正视图。

2.根据权利要求1所述的设备，其中，所述光场显示器包括像素阵列和多透镜阵列，其中，所述像素阵列被配置为向所述多透镜阵列提供所述用户的面部的分割视图，所述分割视图包括在选定视点处的、所述光场显示器的所述视场的多个部分。

3.根据权利要求1或2所述的设备，还包括一个或多个处理器和存储有指令的存储器，所述指令在由所述一个或多个处理器执行时，从所述用户的面部的所述图像生成所述用户的面部的三维表示。

4.根据权利要求1、2或3所述的设备，其中，所述眼睛成像系统包括两个摄像头以收集所述用户的面部的双眼视图；和/或优选地，其中，所述近眼显示器向所述用户提供环境的、包括所述旁观者在内的三维表示。

5.根据前述权利要求中任一项所述的设备，其中，所述眼睛成像系统包括红外摄像头，所述红外摄像头以反射模式从双色镜接收来自所述用户的所述图像，所述双色镜与所述光场显示器相邻。

6.根据前述权利要求中任一项所述的设备，其中，光场显示器包括微透镜阵列，所述微透镜阵列具有多个微透镜，所述多个微透镜布置成具有预选间距的二维图案，以避免针对所述旁观者的两个视点的立体校正视图之间的串扰；和/或优选地，其中，所述光场显示器还包括与微透镜阵列相邻的沉浸式挡件，所述沉浸式挡件包括多个孔，使得每个孔与所述微透镜阵列中的每个微透镜的中心对准。

7.根据前述权利要求中任一项所述的设备，其中，所述光场显示器包括被分成多个有源部分的像素阵列，其中，所述像素阵列中的每个有源部分具有与多透镜阵列中的折射元件的直径相对应的尺寸。

8.根据前述权利要求中任一项所述的设备，还包括一个或多个处理器和存储有指令的存储器，所述指令在由所述一个或多个处理器执行时，使得所述光场显示器将像素阵列分割成多个有源部分，每个有源部分被配置为提供所述光场显示器的视场的、在所述旁观者的选定视点处的部分。

9.一种计算机实现的方法，所述方法包括：

接收来自用户面部的一部分的、具有一个或多个视场的多个二维图像；

以第一分辨率设置从所述多个二维图像中提取多个图像特征；

基于所述多个图像特征，为所述用户面部的一部分渲染三维重建，其中，所述用户面部的所述部分对于旁观者而言被遮挡；以及

向所述旁观者提供所述用户面部的所述三维重建的自动立体图像。

10.根据权利要求9所述的计算机实现的方法，还包括：

沿着扫描线匹配所述多个图像特征，以便以所述第一分辨率设置构建所述匹配代价，并提供粗略的视差估计；以及

以第二分辨率设置恢复一个或多个图像特征，所述一个或多个图像特征包括小细节和薄结构，所述第二分辨率设置高于所述第一分辨率设置；和/或优选地，所述方法还包括：基于所述多个图像特征，生成所述用户面部的所述部分的纹理图和所述用户面部的所述部分的深度图，其中，所述纹理图包括所述多个图像特征的颜色细节，并且所述深度图包括所述多个图像特征的深度位置。

11.根据权利要求9或10所述的计算机实现的方法，其中，提供所述用户面部的所述三维重建的自动立体图像包括：向光场显示器的一部分提供所述用户面部的视场的、在所述旁观者的选定视点处的部分。

12.根据权利要求9、10或11所述的计算机实现的方法，还包括：跟踪一个或多个旁观者，以识别视角并对光场显示器进行修改，以优化所述一个或多个旁观者中的每一个旁观者的视场。

13.根据权利要求9至12中任一项所述的计算机实现的方法，其中，所述多个二维图像中的至少一个二维图像为用户环境的正向图像，并且渲染所述用户面部的所述部分的三维表示包括：根据在所述用户环境的所述正向图像中识别的照明源来照亮重建模型。

14.一种计算机实现的方法，所述方法用于训练模型以向虚拟现实头戴式设备中的自动立体显示器提供用户的一部分的视图，所述方法包括：

收集来自多个用户的面部的多个地面真实图像；

使用存储的、校准的立体图像对，对所述多个地面真实图像进行校正；

使用三维面部模型生成所述多个用户的面部的多个合成视图，其中，所述多个用户的面部的所述多个合成视图与所述虚拟现实头戴式设备中的面部成像摄像头的几何形状匹配，并且所述三维面部模型是使用所述多个地面真实图像来进行纹理映射的；以及

基于所述多个用户的面部的所述多个地面真实图像与所述多个合成视图之间的差异，训练所述三维面部模型。

15.根据权利要求14所述的计算机实现的方法，其中，收集来自所述多个用户的面部的多个地面真实图像包括：从彩色显示器收集来自用户面部的一部分的彩色图像和红外图像；和/或优选地，其中，生成所述多个用户的面部的多个合成视图包括：为所述多个地面真实图像中的每个地面真实图像生成纹理图和深度图，其中，所述纹理图包括颜色、透明度和反射率，并且所述深度图包括所述多个地面真实图像中的每个像素的虚拟深度位置；和/或优选地，其中，训练所述三维面部模型包括：基于所述多个用户的面部的所述多个地面真实图像与所述多个合成视图之间的损失值，调整所述三维面部模型的系数。