CN112106066A - 根据眼睛跟踪相机的面部表情 - Google Patents

Abstract

公开了用于由诸如增强现实设备的头戴式显示器(HMD)来合成面部的图像的系统和方法。HMD可以能够采用面向内成像系统观察面部的仅一部分，例如眼周区域。在此描述的系统和方法可以至少部分地基于被成像的面部的部分的构造来生成未被成像的面部的部分的构造的映射。HMD可以接收面部的部分的图像，并使用该映射来确定未观察到的面部的部分的构造。HMD可以组合观察到的部分和未观察到的部分，以合成全面部图像。

Description

根据眼睛跟踪相机的面部表情

相关申请的交叉引用

本申请要求于2018年3月16日提交的题为“根据眼睛跟踪相机的面部表情(FACIALEXPRESSIONS FROM EYE-TRACKING CAMERAS)”的美国专利申请第62/644,005号的优先权权益，其全部内容通过引用合并于此。

技术领域

本公开涉及虚拟现实以及增强现实成像和可视化系统，并且更具体地涉及使用可穿戴设备可观察到的面部区域(例如，眼睛跟踪相机所成像的眼周区域)的图像来确定可穿戴设备未观察到的面部区域的特征(例如，嘴部和眉毛)。

背景技术

现代计算和显示技术已经促进了用于所谓的“虚拟现实”或“增强现实”或“混合现实”体验的系统的开发，其中，数字再现的图像或其部分以它们似乎是真实的或可能被感知为真实的方式呈现给用户。虚拟现实“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其它实际真实世界视觉输入没有透明度；增强现实“AR”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围的实际世界可视化的增强。混合现实“MR”是一种类型的AR，其中物理和虚拟对象可以共存并实时交互。在此解决的许多挑战都适用于VR、AR或MR环境，并且为简单起见，将在AR的上下文中描述。

参考图1，描绘了增强现实场景1000，其中AR技术的用户看到以人、树、背景中的建筑物以及混凝土平台1120为特征的真实世界公园般的设置1100。除了这些项目之外，AR技术的用户还感知她“看到”了站在真实世界平台1120上的机器人雕像1110和似乎是大黄蜂的拟人化的飞行中的卡通头像角色1130，尽管这些元素确实在真实世界中不存在。事实证明，人类的视觉感知系统非常复杂，并且产生促进虚拟图像元素在其它虚拟或真实世界图像元素之间的舒适自然感觉丰富的呈现的VR或AR技术具有挑战性。在此公开的系统和方法解决了与VR和AR(和MR)技术有关的各种挑战。

发明内容

公开了用于由诸如增强现实设备的头戴式显示器(HMD)来合成面部的图像的系统和方法。HMD可以能够采用面向内成像系统观察面部的仅一部分，例如眼周区域。在此描述的系统和方法可以至少部分地基于被成像的面部的一部分的构造来生成未被成像的面部的一部分的构造的映射。HMD可以接收面部的一部分的图像，并使用该映射来确定未观察到的面部的一部分的构造。HMD可以组合观察到的部分和未观察到的部分，以合成全面部图像。

本说明书中描述的主题的一种或多种实现方式的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，其它特征、方面和优点将变得显而易见。该发明内容或以下详细描述均不旨在限定或限制本发明主题的范围。

附图说明

图1描绘了具有某些虚拟现实对象以及人观看的某些实际现实对象的增强现实场景的图示。

图2示意性地示出可穿戴显示系统的示例。

图3示意性地示出用于使用多个深度平面来模拟三维图像的方法的方面。

图4示意性地示出用于向用户输出图像信息的波导堆叠的示例。

图5示出可以由波导输出的示例出射光束。

图6是示出光学系统的示意图，该光学系统包括波导装置、用于将光光学耦合到波导装置或将光从波导装置光学耦合的光学耦合器子系统，以及用于生成多焦点体积显示、图像或光场的控制子系统。

图7是AR系统的示例的框图。

图8是关于所识别的对象来渲染虚拟内容的方法的示例的过程流程图。

图9是AR系统的另一示例的框图。

图10A是用于与虚拟用户界面进行交互的方法的示例的过程流程图。

图10B示出示例远程呈现会话。

图11示出可以获取用户面部的图像的示例可穿戴显示系统。

图12A-12B示出眼睛的眼周区域以及各种眼和眼周特征的示例图像。

图13示出用于从各种传感器输入来推断面部表情并将该表情应用于头像的示例系统。

图14A和图14B分别示出松散配合和紧密配合的可穿戴显示系统的示例。

图15是用于确定可穿戴显示系统的配合水平的示例方法的过程流程图。

图16A-16C示出采用紧密配合的可穿戴设备观察到的眼周区域特征的变化。

图17是用于对于紧密配合的可穿戴设备的眉毛运动检测的示例方法的过程流程图。

图18A和图18B示出采用松散配合的可穿戴设备观察到的眼周区域特征的变化。

图18C示出眼周区域中的特征的光流的示例。

图19是用于对于松散配合的可穿戴设备的眉毛运动检测的示例方法的过程流程图。

图20A-20D示出由于下面部事件(例如，微笑)而观察到的眼周区域特征的变化。

图21是用于根据眼周图像的变化来推断下面部事件的示例方法的过程流程图。

图22是用于可穿戴设备的个性化以在用户面部特征和头像面部特征之间更好地相关的示例方法的过程流程图。

图23是用于根据用户的眼周图像来确定用户的面部模型的系统的框图。

图24示出根据用户的眼周图像合成全面部模型并基于全面部模型对头像进行动画或将全面部模型传达给另一用户的示例过程。

图25示出根据用户的眼周图像合成全面部模型并基于全面部模型对头像进行动画或将全面部模型传达给另一用户的另一示例过程。

贯穿整个附图，参考标记可以被重复使用以指示参考元件之间的对应关系。提供附图是为了说明在此描述的示例实施例，并不旨在限制本公开的范围。

具体实施方式

概述

在增强或虚拟现实环境中，可穿戴设备(诸如头戴式显示器)可以在三维(3D)空间中呈现虚拟图像。虚拟图像可以包括用户的3D虚拟头像。可以使用用户面部的图像来生成3D虚拟头像。对于社交VR/AR/MR应用，实时准确地提取用户的面部表情可能非常重要。通过使体验更具交互性、活力以及因此的现实感，用户面部表情的准确表示可以驱动用户之间电信会话的保真度存在(例如，聊天会话或社交存在应用)。不准确的头像面部表情表示(包括缺乏面部表情)不仅无法传达用户的上下文或情绪，而且会感到枯燥或甚至诡异。与不正确渲染的头像进行交互的用户可能体验到不安的感觉，这通常被称为“恐怖谷”并代表了人类对在其外观或运动上几乎但并非完全是人类的头像的情绪响应下降。

因此，社交存在应用可以受益于参与者的头像的逼真的且自然的动画。在传统的面部运动捕获中，通常采用一个或多个专用相机来跟踪全面部。然而，当用户正佩戴可穿戴设备时，可穿戴设备可能会遮住面部的一部分(例如，围绕眼睛的眼周区域)。例如，如果使用外部相机或面向外成像系统获得用户的图像，则可能不对眼周区域的运动(例如，眼睛或皮肤的运动)成像。作为另一示例，如果使用面向内眼睛相机(例如，眼睛跟踪(ET)相机)获得图像，则该ET相机可能不对下面部区域成像。结果，当用户正佩戴可穿戴设备时，可能难以更新用户面部的三维(3D)头像以包括用户的全面部表情(诸如当用户咧着嘴笑时)。尽管一些现有技术将声音(例如音素)与面部构造(例如视位)相关联，以在用户讲话时辅助头像动画，但此类技术在传达用户的面部表情方面用途有限，而在用户保持沉默时则无用。例如，基于声音的头像生成系统无法完全传达用户对惊喜或微笑的无声表情。因此，对于如何准确地推断一个或多个ET相机不直接可见的社交表现力的关键要素(诸如眉毛抬起和嘴部动作)存在挑战。然而，此类社交表情可能有利于在VR/AR/MR环境中的各种人类交互中显示。

在此所述的系统和方法的实施例涉及通过使用可以通过面向内(例如ET)相机观察到的面部区域的图像来推断面部的不可观察区域的外观来至少解决该挑战。即使ET相机可能无法直接观察眉毛或下面部，所观察到的ET相机图像也可以能够识别出肌肉收缩或特征变化，该肌肉收缩或特征变化生成眉毛或下面部的运动(例如嘴唇或嘴部或眼周区域以下的面部区域)。例如，由ET相机观察到的眼周区域(例如，围绕眼球的区域)的图像可以包括一些上眼周区域(例如，瞳孔上方的眼周区域的一部分)，其可以示出与眉毛抬起和眼睛形状变化有关的肌肉收缩和特征变化。此类肌肉收缩和特征变化提供了检测面部表情的相应变化的潜力。

观察到的ET图像的下眼周区域(例如，瞳孔下方的眼周区域的一部分)可以提供检测下面部构造(例如，形状或结构)的潜力。例如，可以根据下眼周区域的抬起推断出微笑。因此，可穿戴设备可以根据眼周区域的各种观察到的特征来推断未观察到的区域的构造。在一些实施例中，本系统可以生成此类特征表情关联或推断的映射。可以单独或组合使用各种可观察到的特征输入来生成映射，诸如皮肤的伸展和压缩，面部特征的位置变化(例如运动)和形状(例如皱纹、细纹、瑕疵、斑点)，此类特征的光流(例如在一段时间内它们的运动或轨迹)，或根据用户眼周区域的图像提取的其它可观察到的肌肉、眉毛、雀斑、皱纹或其它特征的变化。映射可以是表情推断模型的一部分。映射可以是通用的，或可以针对特定用户进行个性化设置。例如，AR设备可以配备有代表大量用户样本的通用映射，并且然后映射可以基于对特定用户拍摄的图像的分析针对AR设备的特定用户进行个性化设置。该模型可以将以下作为输入：观察到的特征(例如，原始的或已处理的)、面部模型中的面部参数、从用户的面部提取的特征、针对用户的面部生成的未观察到的区域图像、通用模板特征等，并将未观察到的面部或整个面部模型的推断图像(例如，通过组合观察到的和推断出的面部构造)作为输出来生成。

可以将观察到的图像与推断出的图像组合以生成全面部图像。通过利用光流和机器学习(例如人工智能、神经网络等)的原理，该系统可以实时准确地分类眉毛状态和面部特征的强烈变化，诸如咧着嘴笑或张口。全面部图像可用于在增强、混合或虚拟现实体验中动态更新用户的虚拟头像。用于面部的的可变形线性模型(DLM)(或其它形状或纹理模型)或神经网络可用于确定、训练或应用映射。与其它方法不同，所公开的系统和方法在用户保持沉默时也可以工作。

3D显示器的示例

为了使三维(3D)显示器产生真实的深度感，且更具体地，产生表面深度的模拟感，希望显示器视野中的每个点都生成与其虚拟深度相对应的适应性响应。如果对显示点的适应性响应不符合该点的虚拟深度(如由会聚和立体视的双目深度提示确定)，则人眼可能会遇到适应冲突，从而导致成像不稳定，有害的眼睛疲劳，头痛，以及在缺乏适应信息的情况下，几乎完全没有表面深度。

VR和AR体验可以由具有显示器的显示系统提供，在该显示器中，与多个深度平面相对应的图像被提供给观看者。图像对于每个深度平面可能是不同的(例如，提供场景或对象的稍有不同的表示)，并且可能会被观看者的眼睛分别聚焦，从而有助于基于眼睛所需的适应向用户提供深度提示，为位于不同深度平面上的场景和/或基于观察不同深度平面上的不同图像特征失焦而聚焦不同图像特征。如本文其他地方所讨论的，这样的深度提示提供了对深度的可信感知。

图2示出可穿戴显示系统100(该系统)的示例。显示系统100包括显示器62以及支持显示器62的功能的各种机械和电子模块和系统。显示器62可以耦合到框架64，该框架64可由显示系统用户、佩戴者或观看者60佩戴并且被配置为将显示器62放置在用户60的眼睛前面。显示系统100可以包括佩戴在佩戴者的头部上的头戴式显示器(HMD)。增强现实显示器(ARD)可以包括可穿戴显示系统100。在一些实施例中，音频扬声器66耦合到框架64并位于用户耳道附近(在一些实施例中，未示出的另一个扬声器被放置在用户的另一耳道附近，以提供立体声/可塑形的声音控制)。显示系统100可以包括面向外成像系统，该面向外成像系统观察佩戴者周围环境中的世界(例如，参见图4中所示的成像系统502)。显示系统100还可以包括可以跟踪佩戴者的眼睛运动的面向内成像系统(例如，参见图4中所示的成像系统500)。面向内成像系统可以跟踪一只眼睛的运动或两只眼睛的运动。显示器62可以诸如通过有线引线或无线连接可操作地耦合68到本地数据处理模块71，该本地数据处理模块71可以以各种配置安装，诸如固定地附接到框架64，固定地附接到用户所戴的头盔或帽子，嵌入耳机中，或以其它方式可移除地附接到用户60(例如，以背包式配置，以皮带耦合式配置)。在一些实施例中，一个或多个眼电(EOG)传感器70可以耦合到框架64以向可穿戴设备提供在人眼的前部和后部之间存在的角膜视网膜静息电位的测量(其提供关于眼睛运动的信息)。一个或多个EOG传感器70可以被放置在框架64的鼻件附近、之上或沿其放置。在一些实施例中，可以提供用于其它类型的电生理测量(诸如视网膜电图或视觉诱发电位)的传感器，以补充可穿戴设备。在一些实施例中，一个或多个麦克风69可以耦合到框架64并且定位在用户的嘴部附近。一个或多个麦克风69可以捕获用户的语音或环境声音。未在图中示出的另一个麦克风可以定位于所示的麦克风69的另一侧，以提供立体声/可塑形的环境声音检测。如本领域的技术人员可以理解的，来自一个或多个麦克风69的输入可以提供音频输入以及噪声消除。

本地处理和数据模块71可以包括硬件处理器以及数字存储器(例如，非易失性存储器(例如，闪存))，两者均可以用于协助处理、缓存和存储数据。数据可以包括：a)从传感器(其可以例如可操作地耦合到框架64或以其他方式附接到用户60)捕获的数据，例如图像捕获设备(例如，相机)、麦克风69、惯性测量单元(IMU)、加速度计、指南针、全球定位系统(GPS)单元、无线电设备和/或陀螺仪；和/或b)使用远程处理模块72或远程数据存储库74获取和/或处理的数据，可能在这样的处理或检索之后传递给显示器62。本地处理和数据模块71可以通过通信链路76和/或78(例如，经由有线或无线通信链路)可操作地耦合到远程处理模块72和/或远程数据存储库74，使得这些远程模块可用作本地处理和数据模块71的资源。此外，远程处理模块72和远程数据存储库74可以可操作地彼此耦合。

在一些实施例中，远程处理模块72可以包括被配置为分析和处理数据和/或图像信息的一个或多个硬件处理器。在一些实施例中，远程数据存储库74可以是数字数据存储设施，其可以通过互联网或“云”资源配置中的其他网络配置来使用。在一些实施例中，所有数据被存储并且所有计算在本地处理和数据模块中执行，从而允许来自远程模块的完全自主的使用。

人的视觉系统是复杂的，并且提供对深度的真实感是具有挑战性的。不受理论的限制，据信，由于组合了聚散(vergence)和适应，对象的观看者可以将对象感知为三维。两只眼睛相对于彼此的聚散移动(例如，瞳孔相向或远离彼此的转动运动以收敛眼睛的视线以固定在对象上)与眼睛晶状体的聚焦(或“适应”)紧密相关联。在正常情况下，在称为“适应－聚散反射”(accommodation-vergence reflex)的关系下，改变眼睛晶状体的焦点或适应眼睛以将焦点从一个对象变化为不同距离的另一对象，将自动导致在相同距离上的聚散的匹配变化。同样，在正常情况下，聚散的改变将触发适应的匹配变化。在适应和聚散之间提供更好匹配的显示系统可以形成更逼真或舒适的三维图像模拟。

图3示出了用于使用多个深度平面来模拟三维图像的方法的各方面。参考图3，眼睛302和304适应在z轴上距眼睛302和304各种距离处的对象，使得这些对象聚焦。眼睛302和304采取特定的适应状态，以沿z轴以不同距离进入聚焦对象。因此，可以说特定的适应状态与深度平面306中的特定一个深度平面相关联，并具有相关的焦距，使得当眼睛对于那个深度平面处于适应状态时，特定深度平面中的对象或对象的一部分处于聚焦状态。在一些实施例中，可以通过为眼睛302和304中的每一个眼睛提供图像的不同表示，并且还通过提供与每个深度平面相对应的图像的不同表示，来模拟三维图像。尽管为了图示清楚而被示出为分离的，但是将理解，例如，随着沿z轴的距离增加，眼睛302和304的视野可以重叠。另外，虽然为了便于说明而显示为平面的，但是应当理解，深度平面的轮廓可以在物理空间中弯曲，使得深度平面中的所有特征在特定的适应状态下都被眼睛聚焦。不受理论的限制，据信人眼通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面相对应的图像的不同表示，可以实现感知深度的高度可信的模拟。

波导堆叠组件

图4示出了用于向用户输出图像信息的波导堆叠的示例。显示系统100包括波导的堆叠或堆叠的波导组件178，其可以被用于使用多个波导182、184、186、188、190向眼睛/大脑提供三维感知。在一些实施例中，显示系统100可以对应于图2的系统100，图4示意性地更详细地示出了该系统100的一些部分。例如，在一些实施例中，波导组件178可以集成到图2的显示器62中。

继续参考图4，波导组件178还可包括波导之间的多个特征198、196、194、192。在一些实施例中，特征198、196、194、192可以是透镜。波导182、184、186、188、190和/或多个透镜198、196、194、192可被配置为以各种级别的波前曲率或光线发散将图像信息发送到眼睛。每个波导级别可以与特定的深度平面相关联，并且可被配置为输出与该深度平面相对应的图像信息。图像注入设备200、202、204、206、208可被用于将图像信息注入波导182、184、186、188、190，每个波导可被配置为将入射光分布在每个相应的波导上，以向眼睛304输出。光离开图像注入设备200、202、204、206、208的输出表面，并且被注入到波导182、184、186、188、190的对应输入边缘中。在一些实施例中，可以将单个光束(例如，准直光束)注入每个波导中，以输出克隆的准直光束的整个视野，该准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)指向眼睛304。

在一些实施例中，图像注入设备200、202、204、206、208是分立的显示器，其各自产生图像信息以分别注入到对应的波导182、184、186、188、190中。在一些其他实施例中，图像注入设备200、202、204、206、208是单个多路复用显示器的输出端，其可以例如经由一个或多个光导管(例如，光纤电缆)将图像信息输送到图像注入设备200、202、204、206、208中的每一个。

控制器210控制堆叠的波导组件178和图像注入设备200、202、204、206、208的操作。在一些实施例中，控制器210包括编程(例如，非暂时性计算机可读介质中的指令)，该编程调制定时和向波导182、184、186、188、190提供图像信息。在一些实施例中，控制器可以是单个集成设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器210可以是处理模块71或72(在图2中示出)的一部分。

波导182、184、186、188、190可被配置为通过全内反射(TIR)在每个相应波导内传播光。波导182、184、186、188、190每个可以是平面的或具有另一种形状(例如，弯曲的)，并且可以具有主要的顶部和底部表面以及在那些主要的顶部和底部表面之间延伸的边缘。在所示的配置中，波导182、184、186、188、190可各自包括光提取光学元件282、284、286、288、290，光提取光学元件282、284、286、288、290被配置为通过使光重定向、在各个波导内传播从而从波导中提取光以将图像信息输出到眼睛304。提取的光也可以称为出耦合光，并且光提取光学元件也可以称为出耦合光学元件。提取的光束由波导在波导中传播的光撞击光重定向元件的位置处输出。光提取光学元件282、284、286、288、290可以例如是反射和/或衍射光学特征。虽然为了便于描述和绘图清楚起见，示出了设置在波导182、184、186、188、190的底部主表面上，但是在一些实施例中，光提取光学元件282、284、286、288、290可以设置在顶部主表面和/或底部主表面上，和/或可以直接设置在波导182、184、186、188、190的体积中。在一些实施例中，光提取光学元件282、284、286、288、290可以形成在材料层中，该材料层附接到透明基板上以形成波导182、184、186、188、190。在一些其他实施例中，波导182、184、186、188、190可以是单片材料，并且光提取光学元件282、284、286、288、290可以形成在该片材料的表面上和/或内部中。

继续参考图4，如本文所述，每个波导182、184、186、188、190被配置为输出光以形成与特定深度平面相对应的图像。例如，最靠近眼睛的波导182可被配置为将注入到这种波导182中的准直光传送到眼睛304。准直光可以表示光学无限远焦平面。下一个上行(up)波导184可被配置为在准直光到达眼睛304之前发出通过第一透镜192(例如，负透镜)的准直光。第一透镜192可被配置为产生轻微的凸波前曲率，从而眼睛/大脑将来自该下一上行波导184的光解释为来自第一焦平面，该第一焦平面从光学无限远处向内更靠近朝向眼睛304。类似地，第三上行波导186在到达眼睛304之前将其输出光通过第一透镜192和第二透镜194。第一透镜192和第二透镜194的组合光功率可被配置为产生另一增量的波前曲率，使得眼睛/大脑将来自第三波导186的光解释为来自第二焦平面，该第二焦平面比来自下一个上行波导184的光从光学无穷远向内更靠近人。

其他波导层(例如，波导188、190)和透镜(例如，透镜196、198)被类似地配置，堆叠中的最高波导190通过其与眼睛之间的所有透镜发送其输出，用于表示最靠近人的焦平面的聚合(aggregate)焦度。在观看/解释来自堆叠波导组件178的另一侧上的世界144的光时，为了补偿透镜堆叠198、196、194、192，可以在堆叠的顶部设置补偿透镜层180，以补偿下面的透镜堆叠198、196、194、192的聚合焦度。这样的配置提供与可用的波导/透镜对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面都可以是静态的(例如，不是动态的或电激励的)。在一些替代实施例中，其中一个或两者在使用电激励特征时可以是动态的。

显示系统100可以包括对世界144的一部分进行成像的面向外成像系统502(例如，数码相机)。世界144的该部分可以被称为视野(FOV)，并且成像系统502有时被称为FOV相机。观看者可用于观看或成像的整个区域可以被称为能视域(FOR)。在一些HMD实现方式中，FOR可包括围绕HMD佩戴者的基本上所有立体角，因为佩戴者可以移动其头部和眼睛以观看围绕佩戴者(在前方、在后方、在上方、在下方、或在佩戴者的侧面)的对象。从面向外成像系统502获得的图像可以用于跟踪佩戴者做出的手势(例如，手手部或手指手势)，检测佩戴者前面的世界144中的对象等等。

显示系统100可以包括用户输入设备504，通过该用户输入设备504，用户可以向控制器210输入命令以与系统100进行交互。例如，用户输入设备504可以包括触控板、触摸屏、操纵杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向垫(D-pad)、棒、触觉设备、图腾(例如，作为虚拟用户输入设备)等等。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按下或滑动以向系统100提供输入(例如，向系统100提供的用户界面提供用户输入)。用户输入设备504可以在系统100的使用期间被用户的手部握持。用户输入设备504可以与显示系统100有线或无线通信。

继续参考图4，光提取光学元件282、284、286、288、290可以被配置为既将光重定向到其各自的波导之外，又对于与波导相关联的特定深度平面以适当的发散或准直量输出该光。结果，具有不同相关联的深度平面的波导可以具有光提取光学元件的不同配置，该光提取光学元件根据相关联的深度平面以不同的发散量输出光。在一些实施例中，如本文所讨论的，光提取光学元件282、284、286、288、290可以是体积或表面特征，其可被配置为以特定角度输出光。例如，光提取光学元件282、284、286、288、290可以是体积全息图、表面全息图和/或衍射光栅。在2015年6月25日公开的美国专利公开No.2015/0178939中描述了诸如衍射光栅的光提取光学元件，其通过引用全部并入在此。在一些实施例中，特征198、196、194、192可以不是透镜。而是，它们可以简单地是间隔物(例如，覆盖层和/或用于形成气隙的结构)。

在一些实施例中，光提取光学元件282、284、286、288、290是形成衍射图案或衍射光学元件(在本文中也称为“DOE”)的衍射特征。优选地，DOE具有相对较低的衍射效率，使得通过与DOE的每次交互，光束的仅一部分光朝着眼睛304偏转，而其余部分则通过全内反射继续移动通过波导。携带图像信息的光因此被分成多个相关的出射光束，该出射光束在多个位置处离开波导，并且该结果对于在波导内反弹的该特定准直光束是朝向眼睛304的相当均匀图案的出射发射。

在一些实施例中，一个或多个DOE可以在它们主动衍射的“开启”状态和它们不明显衍射的“关闭”状态之间切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中，微滴(microdrop)在主体介质(host medium)中包含衍射图案，并且微滴的折射率可以切换为与主体材料的折射率基本匹配(在这种情况下，该图案不会明显衍射入射光)，或者可以将微滴切换到与主体介质的折射率不匹配的折射率(在这种情况下，该图案会主动衍射入射光)。

在一些实施例中，深度平面和/或景深的数量和分布可以基于观看者的眼睛的瞳孔大小和/或取向而动态地变化。在一些实施例中，显示系统100还包括面向内成像系统(例如，数码相机)500，该面向内成像系统观察佩戴者的运动，诸如眼睛运动和面部运动。面向内成像系统500(例如，数码相机)可以用于捕获眼睛304的图像以确定眼睛304的瞳孔的大小和/或取向。面向内成像系统500可用于获得图像以用于确定佩戴者60正在观看的方向(例如，眼睛姿势)或用于佩戴者的生物识别(例如，经由虹膜识别)。在一些实施例中，面向内成像系统500可以附接到框架64(如图2中所示)并且可以与处理模块71和/或72电连通，该处理模块71和/或72可以处理来自相机500的图像信息以确定例如用户60的眼睛的瞳孔直径和/或取向。在一些实施例中，至少一个相机500可以用于对每只眼睛成像，以分别独立地确定每只眼睛的瞳孔大小和/或眼睛姿势，从而允许将图像信息呈现给每只眼睛以动态地适应该眼睛。在一些其它实施例中，确定仅单只眼睛304的瞳孔直径和/或取向(例如，每对眼睛仅使用一个相机500)，并且针对该眼睛确定的眼睛特征假定为对于观看者60的另一只眼睛是相似的。从面向内成像系统500获得的图像可以用于获得用于代替被HMD遮挡的佩戴者面部的区域的图像，该图像可以被使用以使得在远程呈现会话期间第一呼叫者可以看到第二呼叫者的未被遮挡的面部。显示系统100还可以使用诸如IMU、加速度计、陀螺仪等的传感器来确定头部姿势(例如，头部位置或头部取向)。可以单独或与凝视方向结合使用头部姿势以选择和移动虚拟对象。在一些实施例中，至少一个红外发光二极管(IR LED)508可以用于传输对于非辅助人眼304不可见但是可被诸如面向内成像系统500的设备部件检测到的光。更具体地，IR LED 508可以用于瞳孔闪烁检测、眼睛跟踪或面部特征的光流的测量，这在IR光中显得更加增强(在后面的部分中进一步描述)。

从面向内成像系统500获得的图像可以向可穿戴显示系统100提供包括眼周区域的图像(例如，在此有时称为眼周图像)。术语眼周区域以其通常的含义使用，并且眼周区域可以包括眼睛和眼睛周围的面部区域，包括例如眼睑、睫毛、眉毛和眼睛周围的皮肤。眼周图像和眼周区域的示例在图12A、12B、16B、18A-18C和20A-20D中示出。然后可以分析并提取眼周图像的面部特征，包括肌肉、眉毛、雀斑、皱纹的伸展和压缩、位置的变化(例如，运动)、形状、光流或其他可观察到的变化，或其它特征。如全文所讨论的，这些面部特征可以提供用于推断用户的面部表情的基础。

景深可能与观看者的瞳孔大小成反比变化。结果，随着观看者眼睛的瞳孔大小减小，景深增加，使得由于该平面的位置超出眼睛的焦深而无法辨认的平面可能变得可辨认，并且随着瞳孔大小的减小和景深的相应增加表现为更聚焦。同样，随着瞳孔大小减小，可以减少用于向观看者呈现不同图像的间隔开的深度平面的数量。例如，在处于一个瞳孔大小下，不将眼睛的适应性从一个深度平面调整到另一个深度平面，则观看者可能无法清楚地感知第一深度平面和第二深度平面两者的细节。但是，这两个深度平面可以在不改变适应性的情况下，对于处于另一瞳孔大小的用户同时充分地聚焦。

在一些实施例中，显示系统可以基于对瞳孔大小和/或取向的确定，或者基于接收到指示特定瞳孔大小和/或取向的电信号，来改变接收图像信息的波导的数量。例如，如果用户的眼睛不能区分与两个波导相关联的两个深度平面，则控制器210可以被配置或编程为停止向这些波导之一提供图像信息。有利地，这可以减少系统上的处理负担，从而增加系统的响应性。在波导的DOE可在开启和关闭状态之间切换的实施例中，当波导确实接收到图像信息时，DOE可被切换为关闭状态。

在一些实施例中，可能希望使出射光束满足直径小于观看者眼睛的直径的条件。但是，鉴于观看者瞳孔大小的可变性，满足此条件可能是具有挑战性的。在一些实施例中，通过响应于观看者的瞳孔大小的确定而改变出射光束的大小，在宽范围的瞳孔大小上满足该条件。例如，随着瞳孔大小的减小，出射光束的大小也可以减小。在一些实施例中，可以使用可变孔径来改变出射光束的大小。

图5示出由波导输出的出射光束的示例。示出了一个波导，但是应当理解，波导组件178中的其他波导可以类似地起作用，其中，波导组件178包括多个波导。光400在波导182的输入边缘382处注入到波导182中，并通过TIR在波导182内传播。在光400入射在DOE 282上的点处，光的一部分作为出射光束402离开波导。出射光束402被示为基本平行，但是取决于与波导182相关联的深度平面，它们也可以被重定向以一定角度传播到眼睛304(例如，形成发散的出射光束)。将理解，基本平行的出射光束可以指示具有光提取光学元件的波导，该光提取光学元件将光出耦合以形成看起来被设置在距眼睛304很远的距离(例如，光学无限远)的深度平面上的图像。其他波导或其他光提取光学元件组可以输出更发散的出射光束图案，这将需要眼睛304适应更近的距离以将其聚焦在视网膜上，并且将被大脑解释为光来自比光学无穷远更接近眼睛304的距离。

图6示出了光学显示系统100的另一示例，该光学显示系统100包括波导装置、将光光学耦合到波导装置或从波导装置光学耦合光的光耦合器子系统以及控制子系统。光学系统100可以用于生成多焦点的体积、图像或光场。光学系统可以包括一个或多个主平面波导1(在图6中仅示出了一个)和与至少一些主波导1中的每个相关联的一个或多个DOE 2。平面波导1可以类似于参考图4讨论的波导182、184、186、188、190。光学系统可以采用分布波导装置，以沿第一轴(在图6中为垂直或Y轴)中继光，并沿第一轴(例如，Y轴)扩展光的有效出射光瞳。分布波导装置可以例如包括分布平面波导3和与分布平面波导3相关联的至少一个DOE 4(由双点划线示出)。分布平面波导3在至少一些方面可以与主平面波导1相似或相同，但具有与其不同的取向。同样，至少一个DOE 4在至少一些方面可以与DOE 2相似或相同。例如，分布平面波导3和/或DOE 4可以分别由与主平面波导1和/或DOE 2相同的材料构成。可将图4或6所示的光学显示系统100的实施例集成到图2所示的可穿戴显示系统100中。

中继的和出射光瞳扩展的光从分布波导装置光学耦接到一个或多个主平面波导1中。主平面波导1沿优选正交于第一轴的第二轴(例如，图6中的水平或X轴)中继光。注意，第二轴可以是相对于第一轴的非正交轴。主平面波导1沿该第二轴(例如，X轴)扩展光的有效出射光瞳。例如，分布平面波导3可沿垂直或Y轴中继和扩展光，并将该光传递到沿水平或X轴中继和扩展光的主平面波导1。

光学系统可以包括一个或多个彩色光源(例如，红色(R)、绿色(G)和蓝色(B)激光、或来自发光二极管(LED)的彩色光)11，其可以光学耦接到单模光纤9的近端中。光纤9的远端可通过压电材料的中空管8穿过或接收。远端从管8突出为自由固定的柔性悬臂7。压电管8可以与四个象限电极(未示出)相关联。电极可以例如镀在管8的外侧、外表面或外周或直径上。芯电极(未示出)也位于管8的芯、中心、内周或内径中。

驱动电子设备12，例如经由导线10电耦接，驱动相对的电极对，以独立地在两个轴上弯曲压电管8。光纤7的突出的远端顶端具有机械谐振模式。谐振的频率可以取决于光纤7的直径、长度和材料特性。通过在光纤悬臂7的第一机械谐振模式附近使压电管8振动，使光纤悬臂7振动并且可以扫过大的偏转。

通过激发两个轴上的谐振，光纤悬臂7的顶端在遍及二维(2D)扫描的区域中双轴扫描。通过与光纤悬臂7的扫描同步地调制一个或多个光源11的强度，从光纤悬臂7出射的光可以形成图像。美国专利公开No.2014/0003762中提供了这样的设置的描述，其通过引用全部并入在此。

光耦接器子系统的组件6准直从扫描光纤悬臂7射出的光。准直的光被光学表面5(例如，反射表面、反射镜、二向色反射镜或棱镜)反射到包含至少一个衍射光学元件(DOE)4的窄分布平面波导3中。准直光通过全内反射沿分布平面波导3垂直地传播(相对于图6的视图)，并且在这样做时与DOE 4重复相交。DOE 4优选地具有低衍射效率。这导致一部分光(例如，10％)在与DOE 4相交的每个点处朝着较大的主平面波导1的边缘衍射，并且一部分光继续在其原始轨迹上通过TIR向下沿分布平面波导3的长度移动。

在与DOE 4相交的每个点处，附加的光朝着主波导1的入口衍射。通过将入射光分成多个出耦合组，光的出射光瞳由DOE 4在分布平面波导3中垂直扩展。从分布平面波导3中耦合出来的垂直扩展的光进入主平面波导1的边缘。分布平面波导3有时被称为正交光瞳扩展器(OPE)。

进入主波导1的光经由TIR沿主波导1水平传播(相对于图6的视图)。当光经由TIR沿着主波导10的长度的至少一部分水平传播时，光与DOE 2在多个点处相交。DOE 2可以有利地被设计或构造为具有作为线性衍射图案和径向对称衍射图案之和的相位轮廓(phaseprofile)，以产生光的偏转和聚焦。DOE 2可以有利地具有低衍射效率(例如，10％)，使得与DOE 2的每个相交仅光束的一部分光朝向视图的眼睛偏转，而其余的光继续经由TIR传播通过波导1。

在传播光与DOE 2之间的每个相交点处，一部分光朝着主波导1的相邻面衍射，从而使光逸出TIR，并从主波导1的面射出。在一些实施例中，DOE 2的径向对称衍射图案另外向衍射光赋予聚焦水平，既使单个光束的光波前成形(例如，赋予曲率)以及以与设计的聚焦水平相匹配的角度将光束转向。

因此，这些不同的路径可以通过多个DOE 2以不同的角度、聚焦水平和/或在出射光瞳处产生不同的填充图案来使光从主平面波导1耦合出。平面波导1有时被称为出射光瞳扩展器(EPE)。出射光瞳处的不同填充图案可有利地用于创建具有多个深度平面的光场显示。波导组件中的每一层或堆叠中的一组层(例如3层)可用于产生相应的颜色(例如，红色、蓝色、绿色)。因此，例如，可以采用第一组的三个相邻层来分别在第一焦深处产生红光、蓝光和绿光。可以采用第二组的三个相邻层来分别在第二焦深处产生红光、蓝光和绿光。可以采用多组来生成具有各种焦深的完整3D或4D彩色图像光场。

AR系统的其它部件

在许多实现方式中，AR系统除了可穿戴显示系统100之外还可以包括其它部件。AR设备可以例如包括一个或多个触觉设备或部件。触觉设备或部件可操作以向用户提供触感。例如，当触摸虚拟内容(例如，虚拟对象、虚拟工具、其他虚拟构造物)时，触觉设备或部件可以提供压力和/或纹理的触感。触感可以复制虚拟对象所表示的物理对象的感觉，或者可以复制虚拟内容所表示的想象的对象或角色(例如，龙)的感觉。在一些实施方式中，用户可以穿戴触觉设备或部件(例如，用户可穿戴的手套)。在一些实施方式中，触觉设备或部件可以由用户持有。

例如，AR系统可以包括用户可操纵的一个或多个物理对象，以允许输入或与AR系统交互。这些物理对象在本文中可以称为图腾。一些图腾可以采取无生命对象的形式，例如，一块金属或塑料、墙壁、桌子表面。可替代地，一些图腾可以采取动画对象的形式，例如用户的手部。如在此所述，图腾实际上可能没有任何物理输入结构(例如，按键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以简单地提供物理表面，并且AR系统可以渲染用户接口，以便对用户看起来在图腾的一个或多个表面上。例如，AR系统可以使计算机键盘和触控板的图像渲染为看起来驻留在图腾的一个或多个表面上。例如，AR系统可以使虚拟计算机键盘和虚拟触控板渲染为看起来在用作图腾的薄铝矩形板的表面上。矩形板本身可能没有任何物理按键、触控板或传感器。但是，AR系统可以将用户操作或交互或者触摸矩形板检测为通过虚拟键盘和/或虚拟触控板进行的选择或输入。AR系统还可以包括用户输入设备504。用户输入设备可以包括轨迹板、触摸板、触发器、操纵杆、轨迹球、翘板开关、鼠标、键盘、多角度自由控制器、或其它物理输入设备。用户输入设备可以与图腾、身体姿态和眼睛姿态结合使用，以与AR系统和其他用户进行交互。用户输入设备504可以与控制器210进行有线或无线通信。

在美国专利公开No.2015/0016777中描述了本公开的与AR设备、HMD和显示系统一起使用的触觉设备和图腾的示例，其全部内容通过引用并入本文。

示例AR系统、环境和界面

AR系统可以采用各种与映射有关的技术，以便在渲染的光场中实现高景深。在绘制虚拟世界时，了解现实世界中的所有特征和点以相对于现实世界准确地描绘虚拟对象是有利的。为此，可以通过包括传达有关现实世界各个点和特征的信息的新图片，将AR系统的用户所捕获的视野图像添加到世界地图中。AR系统可以收集一组特征(例如2D点)和地图点(例如3D点)，并且还可以能够找到新特征和地图点以渲染世界地图的更精确版本。可以将第一用户的世界地图(例如，通过诸如云网络之类的网络)传达给第二用户，以便第二用户可以体验第一用户周围的世界。

图7是AR环境3000的示例的框图。AR环境3000被配置为从一个或多个AR系统接收输入(例如，来自用户的可穿戴系统的视觉输入2202，来自房间相机2204的输入，来自各种传感器的感测输入2206，手势，图腾，眼睛跟踪，来自用户输入设备504的用户输入等)。AR系统可以包括一个或多个用户可穿戴系统(例如，可穿戴显示系统100)和/或固定房间系统(例如，房间相机等)。可穿戴AR系统不仅可以提供来自FOV相机的图像，还可以配备各种传感器(例如，加速度计、陀螺仪、温度传感器、运动传感器、深度传感器、GPS传感器等)以确定用户环境的位置和各种其它属性。该信息可以进一步补充有来自房间中固定相机的信息，这些相机可以从不同的角度提供图像和/或各种提示。相机获取的图像数据可以减少到一组地图点。

一个或多个对象识别器2208可以浏览所接收的数据(例如，点的集合)并且借助于地图数据库2210来识别和/或地图点、标记图像、将语义信息附加到对象。地图数据库可以包括随时间推移收集的各种点及其对应的对象。各种设备和地图数据库可以通过网络(例如，LAN、WAN等)彼此连接以访问云。

基于该信息和地图数据库中的点的集合，对象识别器2208a至2208n可以识别对象，并用语义信息对其进行补充以赋予对象生命。例如，如果对象识别器将一组点识别为门，则系统可以附加一些语义信息(例如，门具有铰链并且绕铰链具有90度的运动)。如果对象识别器将一组点识别为镜子，则系统可以附加语义信息，即，该镜子具有可以反射房间中对象的图像的反射表面。随着时间的推移，地图数据库会随着系统(其可以驻留在本地或可以通过无线网络访问)从世界收集更多数据而增长。一旦对象被识别，信息就可以被传输到一个或多个用户可穿戴系统2220a、2220b。例如，AR环境3000可以将关于在加利福尼亚州发生的场景的信息传输给纽约的一个或多个用户。基于从FOV相机接收的数据和其它输入，对象识别器和其它软件部件会映射从各种图像收集的点，识别对象等，使得可以将场景准确地“传递”给可能在世界的另一部分的第二用户。环境3000还可以将拓扑图用于定位目的。

可以使用多种计算机视觉技术来执行对象识别。例如，可穿戴系统可以分析由面向外成像系统502(图4中所示)获取的图像以执行场景重建、事件检测、视频跟踪、对象识别(例如，人或文档)、对象姿势估计、面部识别(例如，来自环境中的人或文档上的图像)、学习、索引、运动估计、或图像分析(例如，识别文档内的标记，诸如照片、签名、标识信息、旅行信息等)等等。

可以采用面向内成像系统500(图4中所示)、5060(图11中所示)、或5060a(图14A、14B中所示)来执行对象识别，其可用于检测和跟踪眼睛运动、来自眼睛的闪烁(例如IR LED508、508a、508b的反射)，识别眼周特征(例如眉毛5120a、皱纹5160a-d、眼睛5110a上的闪烁5170a-d、雀斑5180a、眼睛5110a的上角5190a-c，如图18A、18B中所示)，计算面部特征的光流(例如，图18C)等等。

可以使用一种或多种计算机视觉算法来执行这些对象识别任务。计算机视觉算法的非限制性示例包括：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向FAST和旋转BRIEF(ORB)、二进制鲁棒不变可扩展关按键点(BRISK)、快速视网膜关键点(FREAK)、Viola-Jones算法、Eigenfaces方法、Lucas-Kanade算法、Horn-Schunk算法、均值平移(Mean-shift)算法、视觉同时定位和地图构建(vSLAM)技术、顺序贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、光束法平差(bundle adjustment)、自适应阈值(和其他阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(例如，支持矢量机、k最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)、或其他有监督/无监督模型等)，等等。

可以附加地或替代地通过各种机器学习算法来执行对象识别。训练后，机器学习算法可以由HMD存储。机器学习算法的一些示例可以包括：有监督或无监督的机器学习算法、包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习矢量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k-均值聚类)、关联规则学习算法(例如，先验算法)、人工神经网络算法(例如，感知器)、深度学习算法(例如，深度玻尔兹曼机、或深度神经网络)、降维算法(例如，主要成分分析)、整体算法(例如，堆叠泛化)和/或其他机器学习算法。在一些实施例中，可以为各个数据集定制各个模型。例如，可穿戴设备可以生成或存储基本模型。基本模型可以用作起点以生成特定于数据类型(例如，远程出现会话中的特定用户)、数据集(例如，用户在远程出现会话中获得的附加图像的集合)、有条件情况或其他变化的附加模型。在一些实施例中，可穿戴HMD可被配置为利用多种技术来生成用于分析聚合数据的模型。其他技术可以包括使用预定义的阈值或数据值。

图8是渲染与识别的对象相关的虚拟内容的示例方法3100的过程流程图。方法3100描述了可以如何向AR系统(例如可穿戴显示系统)的用户呈现虚拟场景。用户可以在地理位置上远离场景。例如，用户可能在纽约，但可能想要观看当前在加利福尼亚发生的场景，或者可能想与居住在加利福尼亚的朋友一起散步。在框2302，AR系统可以从用户和其他用户接收关于该用户的环境的输入。这可以通过各种输入设备以及地图数据库中已经拥有的知识来实现。用户的FOV相机、传感器、GPS、眼睛跟踪等将信息传达给系统(框2302)。然后，系统可以基于该信息来确定稀疏点(框2304)。稀疏点可用于确定姿势数据(例如，头部姿势、眼睛姿势、手势)，该姿势数据可用于显示和理解用户周围环境中的各种对象的取向和位置。对象识别器2208a、2208n可使用地图数据库2210浏览这些收集的点并识别一个或多个对象(框2306)。然后，该信息可以被传送到用户的个人AR系统(框2308)，并且期望的虚拟场景可以被相应地显示给用户框2310)。例如，期望的虚拟场景(例如，加州的用户)可以与纽约的用户的各种对象和其它环境的相关地显示在适当的方位、位置等。

图9是AR系统3200的另一示例的框图。在该示例中，系统3200包括地图，该地图可以包括包含用于世界的地图数据的地图数据库2210。在一个实施例中，它可以部分地驻留在用户可穿戴部件上，并且可以部分地驻留在由有线或无线网络可访问的联网存储位置(例如，在云系统中)。姿势过程可以在可穿戴计算架构(例如，处理模块71或控制器210)上执行，并利用来自地图的数据来确定可穿戴计算硬件或用户的位置和取向。当用户体验系统并在世界范围内操作时，可以根据飞行中收集的数据计算姿势数据。数据可以包括图像、来自传感器(诸如惯性测量设备，其通常包括加速度计和陀螺仪部件)的数据、以及与真实或虚拟环境中的对象有关的表面信息。

稀疏点表示可以是同时定位和地图构建(SLAM或V-SLAM，是指其中输入仅是图像/视觉的配置)过程的输出。该系统可被配置为不仅查找各个组件在世界中的位置，而且还了解世界由什么组成。姿势是实现许多目标的构建块，包括填充地图和使用地图中的数据。

在一个实施例中，稀疏点位置本身可能并不完全足够，并且可能需要更多信息来产生多焦点虚拟或增强现实体验(也可以称为混合现实)。通常涉及深度图信息的密集表示可以被用来至少部分地填充该空隙。可以根据称为立体声(Stereo)的过程来计算这样的信息，其中，使用诸如三角测量或飞行时间感测(time-of-flight sensing)之类的技术来确定深度信息。图像信息和有源(active)图案(例如，使用有源投影仪创建的红外图案)可以用作立体声过程的输入。大量的深度地图信息可以融合在一起，并且其中一些可以用表面表示来概括。例如，数学上可定义的表面是对其他处理设备(例如，游戏引擎)是有效(例如，相对于大的点云而言)和可消化的输入。因此，立体声过程(例如，深度图)的输出可以在融合(Fusion)过程中被组合。姿势也可以是该融合过程的输入，并且融合的输出成为填充该地图过程的输入。例如，子表面可以在地形图绘制中相互连接，以形成更大的表面，并且该地图成为点和表面的大型混合体。

为了解决混合现实过程中的各个方面，可以利用各种输入。例如，在图9所示的实施例中，可以输入游戏参数来确定系统的用户正在玩怪物战斗游戏，其中在各个位置处有一个或多个怪物、怪物在各种条件下死亡或逃跑(例如，如果用户射击了怪物)、在各个位置处有墙壁或其他对象、等等。该地图可以包括关于此类对象彼此相对的位置的信息，作为混合现实的另一个有价值的输入。从地图到混合现实过程的输入可以称为“世界地图”。相对于世界的姿势也成为输入，并且在几乎任何交互系统中都扮演着关键角色。

来自用户的控制或输入是系统3200的另一输入。如本文所述，用户输入可以包括视觉输入、手势、图腾、音频输入、感官输入等。例如，为了四处移动或玩游戏，用户可能需要指示系统关于他或她想做什么。除了在空间中移动自己之外，还可以使用各种形式的用户控件。在一个实施例中，图腾、用户输入设备、或诸如枪之类的对象可以被用户握持并由系统跟踪。该系统优选地将被配置为知道用户正在握持该物品并且了解用户与该物品进行了哪种交互(例如，如果图腾或对象是枪支，则该系统可被配置为理解位置和取向、以及用户是否在点击触发器或可以配备有传感器(诸如IMU)的其它感测按钮或元件，这可能有助于确定正在发生什么，即使这种活动不在任何相机的视野内)。

手势跟踪或识别也可以提供输入信息。系统3200可被配置为跟踪和解释用于按钮按压、用于指示向左或向右、停止、抓握、握持等的手势。例如，在一种配置中，用户可能想要在非游戏环境中翻阅电子邮件或日历，或与其他人或玩家进行“拳头碰撞”。系统可被配置为利用最小量的手势，该最小量的手势可以是动态的或可以不是动态的。例如，手势可以是简单的静态手势，例如，张开手以示停止、大拇指向上以示可以、大拇指向下以示不可以；或手向右、向左或向上/向下翻转以示方向性命令。

眼睛跟踪是另一输入(例如，跟踪用户正观看的位置以控制显示技术在特定深度或范围进行渲染)。在一个实施例中，可以使用三角测量法确定眼睛的聚散，然后使用针对该特定人开发的聚散/适应性模型来确定适应性。

关于相机系统，图9中所示的示例系统3200可以包括三对相机：布置在用户面部的侧面的相对较宽的视野或无源SLAM相机对；取向为用户前方的另一对相机，其用于处理立体成像过程并且还捕获在用户面部前方跟踪的手势和图腾/对象。该系统可以包括朝向用户的眼睛取向的面向内成像系统(例如，参见图4中所示的成像系统500)，以便对眼睛矢量和其它信息进行三角测量。该系统还可包括一个或多个纹理光投影仪(诸如红外(IR)投影仪508)以将纹理注入场景。

图10A是用于与虚拟用户界面交互的方法4100的示例的过程流程图。在框4102，AR系统可以标识特定的UI。UI的类型可以由用户预先确定。系统可以基于用户输入(例如，手势、视觉数据、音频数据、感觉数据、直接命令等)来标识需要填充特定的UI。在框4104，AR系统可以生成用于虚拟UI的数据。例如，可以生成与UI的界限、总体结构、形状等相关联的数据。另外，AR系统可以确定用户的物理位置的地图坐标，从而AR系统可以显示与用户的物理位置相关的UI。例如，如果UI是以身体为中心的，则AR系统可以确定用户的身体姿势、头部姿势或眼睛姿势的坐标，从而可以在用户周围显示环形UI，或者可以在墙上或在用户面前显示平面UI。如果UI以手为中心，则可以确定用户的手的地图坐标。这些地图点可以通过以下数据得出，通过FOV相机、感测输入所接收的数据或任何其它类型的收集数据。

在框4106处，AR系统可以将数据从云发送到用户的可穿戴设备。或者可以将数据从本地数据库发送到显示部件。在框4108处，基于所发送的数据向用户显示UI。例如，光场显示器可以将虚拟UI投射到用户的一只或两只眼睛中。一旦已经创建了虚拟UI，则在框4110处，AR系统可以简单地等待来自用户的命令以在虚拟UI上生成更多虚拟内容。例如，UI可以是用户的身体周围的以身体为中心的环或用户前面或周围的平板。然后，AR系统可以等待命令(手势、头部或眼睛的运动、来自用户输入设备的输入等)，并且如果识别出该命令(框4112)，则可以将与该命令相关联的虚拟内容显示给用户(框4114)。虚拟内容可以包括表示AR系统的佩戴者的外观的头像。头像的面部表情可以被渲染以反映佩戴者的实际面部运动。一些AR系统可以基于对佩戴者面部的眼周区域的图像(例如，由面向内的眼睛跟踪相机拍摄)的分析，利用此处描述的技术来对佩戴者的下面部的面部表情(例如，未由AR系统的面向内的眼睛跟踪相机成像)进行动画处理。

图10B描绘了其中各个可穿戴系统的两个用户正在进行远程呈现会话的示例。此图中示出了两个用户(在此示例中分别名为爱丽丝(Alice)912和鲍勃(Bob)914)。两个用户正在穿戴他们各自的可穿戴设备902和904，其可包括参考图2或图11描述的HMD(例如，系统100的显示器62)，用于在远程呈现会话中表示其他用户的虚拟化身。两个用户可以使用可穿戴设备进行远程呈现会话。注意，图10B中将两个用户分开的垂直线旨在说明当爱丽丝912和鲍勃914通过远程呈现进行通信时(例如，爱丽丝可能在她位于亚特兰大的办公室内，而鲍勃在波士顿户外，)，爱丽丝和鲍勃可以(但不必)位于两个不同的位置。

可穿戴设备902和904可以彼此通信或者与其他用户设备和计算机系统通信。例如，爱丽丝的可穿戴设备902可以例如经由网络与鲍勃的可穿戴设备904通信。可穿戴设备902和904可以跟踪用户的环境和环境中的移动(例如，经由相应的面向外部的成像系统502、或一个或多个位置传感器)和语音(例如，经由相应的音频传感器69)。可穿戴设备902和904还可以基于面向内部的成像系统500获取的数据来跟踪用户的眼睛移动或凝视。在某些情况下，可穿戴设备还可以捕获或跟踪用户的面部表情或其他身体移动(例如，手臂或腿部移动)，其中用户靠近反射表面并且面向外部的成像系统502可以获得用户的反射图像，以观察用户的面部表情或其他身体移动(例如，在将参考图22描述的个性化会话期间)。

可穿戴设备可以使用获取的第一用户和环境的信息来对虚拟化身进行动画处理，该虚拟化身将由第二用户的可穿戴设备渲染，以在第二用户的环境中创建第一用户的有形存在感。例如，可穿戴设备902和904、远程处理模块72可以单独或组合地处理爱丽丝的图像或移动以由鲍勃的可穿戴设备904呈现，或者可以处理鲍勃的图像或移动以由爱丽丝的可穿戴设备902呈现。如在此进一步描述的，头像的下面部区域可以被渲染以反映爱丽丝或鲍勃的实际面部运动。例如，面向内成像系统500可以获取眼周区域(眼睛周围)的图像，并且可以根据对眼周图像的分析来确定下面部区域(例如，包括嘴唇和嘴部)的表情。因此，可以生成爱丽丝或鲍勃的全面部图像并将其用于渲染相应的头像，使得在远程呈现会话期间，爱丽丝和鲍勃的面部表情彼此看起来逼真现实。

尽管示例仅涉及两个用户，但是本文描述的技术不应限于两个用户。使用可穿戴设备(或其他远程呈现设备)的多个用户(例如，两个、三个、四个、五个，六个或更多)可以参加远程呈现会话。在远程呈现会话期间，特定用户的可穿戴设备可以向该特定用户呈现其他用户的化身。此外，尽管该图中的示例将用户示出为站在环境中，但是并不要求用户站立。在远程呈现会话期间，任何用户都可以站立、坐着、跪着、躺下、步行或奔跑、或者处于任何姿态或移动。除了本文示例中所述，用户还可以处于物理环境中。在进行远程呈现会话时，用户可以处于单独的环境中，或者可以处于相同的环境中。并非要求所有用户都在远程呈现会话中穿戴各自的HMD。例如，爱丽丝912可以使用其他图像获取和显示设备(例如，网络相机(webcam)和计算机屏幕)，而鲍勃914穿戴可穿戴设备904。

在美国专利公开号2017/0206691中描述了与远程呈现系统有关以及利用镜子获得AR设备的佩戴者的图像的附加细节(例如，参见下面参考图22的个性化描述)，其全部内容通过引用合并于此。

在美国专利公开号2015/0016777中描述了AR系统、UI和用户体验(UX)的附加示例，其全部内容通过引用合并于此。

可穿戴设备的示例

图11示出可以获取佩戴者的面部特征的图像的示例可穿戴设备。可穿戴设备可以是被配置为显示AR、VR和/或MR内容的头戴式设备(HMD)。所获取的图像可以包括静止图像、来自视频的单个帧、或视频。

图11中的可穿戴设备5050可以是参考图2描述的显示系统100的实施例。可穿戴设备5050可以包括成像系统5060，该成像系统5060可以被配置为对用户60的面部进行成像。成像系统5060可以是图4中所示的面向内成像系统500的实施例。例如，成像系统5060可以包括传感器，诸如眼睛相机(眼睛相机5060a和眼睛相机5060b)，其被配置为在用户60佩戴可穿戴设备5050时对用户眼睛5010的眼周区域成像。

每个眼睛相机可以具有视野(FOV)。例如，用于眼睛相机5060a的FOV可以包括区域5020a和区域5030。用于眼睛相机5060b的FOV可以包括区域5020b和区域5030。眼睛相机5060a的FOV和眼睛相机5060b的FOV可以在区域5030处重叠。眼睛相机可以是ET相机(眼睛跟踪相机)。

如图11中所示，成像系统5060指向用户60的头部。眼睛相机5060a可以被配置为对眼睛5010a成像，而眼睛相机5060b可以被配置为对眼睛5010b成像。在该图中，眼睛相机5060a的光轴5040a平行于眼睛相机5060b的光轴5040b。

在一些实现方式中，可以旋转一个或两个眼睛相机，使得两个眼睛相机的光轴不再平行。例如，两个眼睛相机可能会略微指向彼此。该实现方式可能是有利的，因为它可以创建交叉眼睛的配置，该配置可以增加两个相机之间的FOV重叠，并允许两个眼睛相机以更近的距离对面部成像。

尽管图11中描述的示例示出了两个眼睛相机，但是可穿戴设备5050不需要具有两个眼睛相机。在一些实施例中，成像系统5060可以包括对用户面部的眼周区域成像的一个眼睛相机。一个眼睛相机可以被配置为对一只眼睛或两只眼睛成像。在其它实施例中，可穿戴设备5050可以包括多于两个的眼睛相机，其中一个或多个眼睛相机可以具有重叠的FOV。

在一些实施例中，可穿戴设备5050还可包括一个或多个麦克风69(如果是音频输入的立体声/整形，则至少两个麦克风)，一个或多个IR LED 508a和508b，或一个或多个光反射传感器67a和67b。光反射传感器可耦合到框架64并在框架64的弯曲内侧朝向用户定位。光反射传感器可以观察从皮肤反射的光量并检测接收到的光强度的变化。当光反射传感器用已知量的所提供的光(例如，来自IR LED 508a和508b)来测量面部区域中的光强度时，光强度的变化可以指示距光反射传感器的距离的变化。换句话说，光反射传感器测量值可用于确定从HMD中的固定部件(例如，ET相机)到皮肤的距离。距离的变化继而可以指示与面部表情的变化有关的面部特征的变化。如下一节所述，面向内成像系统500(如图2中所示)捕获眼周区域的图像。

在一些实施例中，可穿戴设备5050包括一个或多个眼电(EOG)传感器70，该眼电传感器70耦合到鼻梁附近的框架，以向可穿戴设备提供存在于人眼的前面和后面之间的角膜视网膜静息电位的测量值(其提供关于眼睛运动的信息)。EOG传感器可提供眼睛周围的肌肉的电生理学测量，并且这些测量可用于确定眼睛附近皮肤的运动。

眼周区域的示例

眼周区域可包括眼睛和眼睛周围的区域。图12A示出一只眼睛的眼周区域的示例图像。在该示例中，眼周区域5100a可以包括眼睛5110a(例如眼窝)和眼睛5110a周围的区域5111a。眼周区域5110a可包括例如眉毛5120a、鼻子5130a、脸颊5140a和前额5150a的一部分。然而，眼周区域可以排除嘴部或鼻子远离眼睛的部分。眼周区域5100a中存在系统可能关注的各种特征，包括肌肉(未示出)、眉毛5120a、皱纹5160a-d、眼睛5110a上的闪烁5170a-d、雀斑5180a、眼睛5110a的上角5190a-c或其它特征。这些特征可以被提取(例如，经由对象识别器2208a-2208n)并且被处理以单独地或与其它特征组合地指示面部表情的变化。在一些实现方式中，眼周区域可以由关键点、点云、矢量、矩阵或其它类型的数学表示来表示。

参考图12A和图12B，上眼周区域通常指眼周区域5100a的瞳孔上方包括上眼睑、眉毛5120a和上斑点5190a-c的部分，而下眼周区域通常指眼周区域5100a的瞳孔下方包括下眼睑的部分。

由眼睛相机捕获的眼周区域的部分可以取决于眼睛相机的FOV或可穿戴设备5050的框架64距佩戴者60的面部之间的距离。对于紧密配合的设备，眼睛相机更接近面部，并且相机的FOV可能比更松散配合的设备的FOV小，其中框架64更远离佩戴者60的面部。在一些实现方式中，眼睛相机可能不具有较大的FOV来捕获整个眼周区域。如图12B所示，取决于FOV的范围，图12A中所示的一些上述特征可能不可见。例如，当通过ET相机5060a观察到较窄的眼周区域5100a时，这可能是由于可穿戴设备在用户上的更紧密配合(与图12A所示的更松散配合相比)或更紧密定位的ET相机的结果，先前可用的一些特征可能已被排除。从紧密配合中此类排除的特征可能是前额5150a、眉毛5120a、眉毛皱纹5160c、前额皱纹5160d、鼻子5130的一部分等。根据某些实施例，选择ET相机的FOV，使得眼睛相机对眼睛5110a及其周围环境(例如眼周区域)成像。可穿戴显示系统100可以基于观察到的区域和可见特征来灵活地调节观察到的眼周区域的范围。如在此所述，眼睛和周围环境的构造一起可以提供所观察的用户的面部表情变化的重要指示。

眼周区域和面部表情变化的关联示例

在面部识别、合成和渲染的上下文中，可以使用诸如三角形网格、参数表面、线性空间表示或其它数学表示的3D建模技术来表示人类面部。作为一个示例，可以使用可变形线性模型(DLM)来构建3D模型。DLM可以采用矢量列表对面部的变形状态进行编码。变形矢量可以与中性的面部、鼻子变大、嘴部变窄、或面部更加女性化等相关联。变形矢量还可以与面部表情从微笑、皱眉或愁眉引起的变化相关联。给定面部特征变化的强度(诸如大声笑或轻轻微笑)，可以通过相对于中性面部网格的强度值来衡量(scale)变形矢量。例如，如果该人大声笑出来，则强度值可能更大，因为该人可能具有更多的面部运动，并且因此相对于中性面部具有更大的变形。另一方面，如果人轻轻地微笑，则强度值可能更小，因为面部运动可能不多。尽管可以使用DLM模型，但是本公开不限于DLM模型，并且在其它实施例中，可以使用主动形状模型(ASM)、主动外观模型(AAM)、形变模型(M)、或任何其它二维(2D)或3D形状或纹理模型。

面部模型的一部分可以描述用户下面部的特征，诸如下颌形状、下颌运动等。当用户与一个或多个人或AR环境中的各种内容进行交互时，面部模型中下面部的构造可能改变。例如，当用户专心于交互时，用户的嘴唇通常会伸展。当用户遇到意外情况时，其嘴部可能会张开，表示惊讶。当用户对接收到的信息表示怀疑时，用户的嘴唇可能会绷紧(例如，变得撅起)。下面部构造可以取决于表情或表现力而在程度上变化。例如，内容或满意的用户可以显示笑容，而兴奋的用户可以张开嘴显示露齿笑。

这些自然表情或反应通常用整个面部表达，并且此类下面部构造可能与面部的其它部分的变化相关联。面部的一个此类其它部分是眼周区域。例如，以张紧的下面部构造的嘴唇表现的意图聚焦也可能以眯眼睛表现。遇到意外情况可用嘴部和眼睛张开表现。因此，眼周区域可通过观察和检测脸颊肌肉的变化来提供区分满意与兴奋的有价值的提示(例如，来自满足的露齿笑可能不会伸展那些肌肉，而在兴奋时会伸展那些肌肉)。例如，怀疑的态度可能与眉毛的中心向下移动并向中心移动相关联，这与形成皱眉一样。然而，可以基于以下事实来区分怀疑的态度和皱眉，即怀疑的态度可以通过使一个眉毛调整比另一个眉毛调整示出更大的位置位移来表现，而皱眉则不然。作为另一个示例，可以通过包括露齿笑的下面部构造来表现的满意也可以通过眼角的下部稍微向上移动来表现，而兴奋可以通过眼角的下部更大程度地向上移动来表现。在一些情况下，面部表情可以通过变化程度来区分。例如，可以基于与大笑相关联的更大的肌肉和眼睛形状变化来将大笑与简单的露齿笑区分开。

如参考图12A和图12B所描述的，眼周区域包括各种特征，包括眉毛、雀斑和皱纹。肌肉和肌肉流动可以自我观察，或另外通过诸如雀斑和皱纹的特征的运动来观察。关于图2和图11描述的各种传感器可以获得与此类眼周特征有关的信息，但是对象识别器可以分析传感器数据并提取此类眼周特征的信息，并且向成像系统500提供眼周区域的变化与下面部构造之间的准确关联。特征和观察传感器的列表不应被认为是限制性的，而是可以视需要扩展以增加此类关联的准确性和精确度。

如在此所述，尽管当用户佩戴HMD时HMD可能无法通过直接测量来获得用户面部表情的所有更新(例如，因为面向内ET相机通常无法对下面部(例如眼周区域下方的区域)成像)，但是HMD可以使用面向内成像系统500来观察用户的眼周特征并推断其它区域中的变化。如参考图22和图24进一步描述的，HMD可以使用机器学习派生模型来将观察到的眼周特征与用于下面部的参数进行映射。这些上面部和下面部参数以及从眼周图像得出的参数一起可以用于合成用户的全面部图像。

示例系统概述

图13示出示例系统1300的概述，该示例系统1300被配置为根据各种传感器输入来推断头像的面部表情。该系统可以将眼周区域的各种特征变化与下面部构造的变化相关联。通过由可穿戴设备5050中包括的各种传感器部件进行的各种观察和检测，可穿戴显示系统100实时地感知用户的各个方面。例如，左眼睛相机5060b和右眼睛相机5060a可以分别观察用户面部的眼周区域5100a-b。示例系统1300旨在是说明性的，而不是限制在此描述的面部表情推断技术的范围。

可穿戴设备5050将从区域提取的眼周特征提供给头像行为检测引擎1310，该头像行为检测引擎1310可以执行时间或表情一致性检查。时间一致性检查的示例可以包括将先前的帧(例如，来自相机的图像帧)和提取/处理的特征的时间历史与实时提取的特征进行比较，以确定是否存在朝向或远离用户识别的表情的一致变化。表情一致性的示例可以包括根据用户的轮廓、面部模型、上下文和/或内容，提取的特征是否与用户的已知特征一致。因此，头像行为检测引擎1310可以提供对行为测量的保真度的鲁棒且实时的保证。头像行为检测引擎1310可以由诸如在本地处理和数据模块71或远程处理模块72和远程数据存储库74中的硬件处理器和非暂态存储器实现。

引擎1310还可以采用从其它传感器提供的输入(诸如，头部姿势1302(采用IMU检测)、手势1304、图腾1306)和/或包括麦克风69和EOG传感器70的其它传感器提供的输入，来执行附加行为检查。在一些实施例中，一个或多个麦克风69可以拾取用户的语音并确定用户正在与另一方通信。在一个实例中，头像行为检测引擎1310可以确定语音输入是咆哮并且观察到眼睛的眯眼睛与咆哮一致。在另一实例中，引擎1310可以确定语音输入是大笑，并且因此与眼睛的眯眼睛不一致。当发现此类不一致时，引擎1310可以通过采用各种方案和结构来解决不一致，该方案和结构将一种行为构造优先于另一种行为构造以提供一致性。

一旦头像行为检测引擎1310确定了适当的头像行为，头像面部表情引擎1320可以通过合成具有下面部构造的眼周特征以用于完整表情来生成用户头像的可视化(或者，在仅面部参数被传递到另一方的显示设备的情况下，生成视觉面部参数)。头像表情引擎1320可以例如通过确保信号的充分平移和过渡到混合形状(允许单个网格变形以实现许多预定义的形状以及这些形状之间的任何数量的组合，诸如对中性的面部模型进行形变以准确反映检测到的面部表情)来确保可视化的保真度。头像面部表情引擎1320可以由诸如在本地处理和数据模块71或远程处理模块72和远程数据存储库74中的硬件处理器和非暂态存储器实现。

确定HMD的配合的示例：眼周区域的范围

图14A-14B示出分别松散地或紧密地配合在佩戴者上的HMD(例如，可穿戴设备5050)的示例。图14A示出松散配合设备1400的示例。框架64和显示器62被定位成使得ET相机5060a具有眼周区域5100a的较宽的FOV(由虚线1460a示出)。一个或多个IR LED 508a和508b被定位成使得它们面向内朝向眼周区域。通常，当HMD松散配合时，眉毛运动不显著移动(例如，抬起或降低)HMD。相应地，ET相机5060a“看到”对于松散配合设备的较宽范围的眼周区域(例如，具有较宽的FOV)，并且可以观察到眼睑。

相反，图14B示出紧密配合设备1450的示例。框架64和显示器62被定位成使得ET相机5060a具有眼周区域5100a的较窄的FOV(由虚线1460b示出)。通常，当HMD紧密配合时，眉毛抬起将HMD抬起，而眉毛降低将HMD移回其初始中立位置。ET相机5060a“看到”了较窄范围的眼周区域(例如，与松散配合相比，FOV较小)，并且更多地聚焦在眼睛上，而在眼睛周围只有很小的区域，可能排除了眉毛。

如从图14A和图14B可以看出，紧密配合设备的显示器62比松散配合设备的显示器更靠近用户的面部。可以通过各种方式来确定设备配合是松散还是紧密。例如，设备上的IMU可以检测HMD是否与眉毛的上下运动平行地上下移动，这指示紧密配合。如果未检测到此类设备运动(当眉毛移动时)，则HMD可以确定其配合是否松散。作为另一示例，可以通过眼睛跟踪相机5060a的FOV的大小的测量来确定HMD是具有紧密配合还是松散配合。例如，对于松散配合FOV可以包括眼睛和眼睑，但是对于紧密配合FOV可以包括眼睛但周围区域很少。在各种实施例中，紧密配合的显示器在距佩戴者的面部0.5cm至1.5cm的范围内(例如，在显示器的内表面与眼球的前部之间)，并且松散配合的显示器在距佩戴者的面部1.5cm至5cm的范围内(例如，在显示器的内表面和眼球前面之间)。如在此所述，可以例如采用光反射传感器或眼睛跟踪相机测量IR LED的反射率来测量设备与面部之间的距离。

HMD的配合水平，无论是松散的还是紧密的，都可以由系统在初始配置或运行时确定。图15示出用于确定HMD的配合水平的示例方法1500的示例过程流程图。方法1500可以由诸如在本地处理和数据模块71或远程处理模块72和远程数据存储库74中的硬件处理器和非暂态存储器来实现。

框1502是方法1500的开始。在框1504处，系统初始化一个或多个眼睛跟踪相机5060a-b。在框1506处，如果存在用户特定数据并且可以识别用户，则系统取得对于特定用户的校准数据。在框1508处，ET相机5060a获得用户的眼睛的眼周区域的一个或多个图像。

在框1510处，系统提取瞳孔闪烁信息。瞳孔闪烁(图12A-12B中5170a-d所示)是光源(例如，诸如引向眼睛的IR LED 508、508a、508b的IR光源)的角膜反射，其可以提供有关用户凝视方向的信息。在一些实施例中，采用瞳孔闪烁的凝视跟踪可以提供关于凝视的边界的信息(例如，眼睛运动的范围)，其有助于确定配合水平。换句话说，在凝视的边界被限制在较小区域的情况下，它可以指示紧密配合，而在凝视的边界被限制在较大的区域的情况下，它可以指示松散配合。在一些情况下，凝视与HMD的所产生的运动(例如，抬起或降低)之间的关联可以指示配合水平。例如，具有小的或不具有HMD运动的全凝视运动可指示松散配合，而具有可测量的相应HMD运动量(例如，多于约1mm、2mm、或更多)的全凝视运动可指示紧密配合水平。在一些实施例中，瞳孔闪烁自身的位置可以有助于以如下方式确定配合，即，将闪烁的位置与用于紧密或松散配合的闪烁的预期位置进行比较。

在一些实施例中，一个或多个眼电(EOG)传感器70(例如，图2或图11中所示)可以补充或代替ET相机5060a-b的基于闪烁的眼睛运动跟踪并提供眼睛运动信息。EOG传感器可测量人眼前后之间存在的角膜视网膜静息电位，这提供眼睛运动的准确信息。

在框1512处，基于上述观察，确定配合水平。在框1514处，如果在框1512中确定的配合为松散配合，则系统执行与松散配合上眼周区域事件检测有关的框1518过程(例如，参考图18A-18B和19进一步描述)。如果确定的配合是紧密配合，则系统改为进行到框1516以执行与紧密配合上眼周区域事件检测有关的过程(例如，参考图16A-16C和17进一步描述)。在框1520处，系统执行下面部事件检测(例如，参考图19进一步描述)。

在框1522处，系统合成上眼周区域事件和下面部事件以生成用于面部的至少一部分的面部表情。在一些实现方式中，该方法计算面部分类系统(诸如面部动作编码系统(FACS))的动作单位(AU)。例如，FACS通过将面部表情分解为孤立的肌肉收缩或松弛来基于人类面部的外观对可观察到的面部表情进行分类。FACS的每个孤立的肌肉收缩或松弛都与称为动作单位(AU)的数字表示相关联。头像行为检测引擎1310或头像表情引擎1320可以使用FACS AU来生成用于渲染头像的面部图像。在一些情况下，FACS AU可以用于生成用于渲染或形变面部图像的混合形状。

然后，方法1500在框1508处返回以获得新的眼周图像(如果有的话)。紧密配合的上眼周区域事件检测1506和松散配合的上眼周区域事件检测1508在以下部分中进一步描述。

紧密配合眼周区域运动检测的示例

图16A-16C示出在紧密配合设备中上眼周区域运动的示例观察。诸如此类的观察可用于确定眉毛的运动。紧密配合设备通常定位成更靠近用户的面部(如图14B中所示)，并提供较窄的FOV(如图12B中所示)。通常，当眉毛抬起时，整个紧密配合设备向上移动，从而导致由ET相机5060a-b获得的整个相机图像发生位移。相反，当降低眉毛时，整个设备向下移动。整个相机图像的位移反映在眼睛的位置和从眼睛观察到的瞳孔闪烁中。图16A示出与参考线1602相比的眼睛1604和1606的此类位移。参考线1602可以被定义为当眼睛处于松弛位置并向前看时在左和右瞳孔中心之间。

在一些实施例中，每只眼睛的位置可以由相应的垂直眼睛中心(VEC)表示。图16B示出具有瞳孔闪烁5190a-d的瞳孔的示例图像(右图像是突出显示瞳孔闪烁的反图像)。可以采用各种方法来定义和确定VEC。例如，提取观察到的眼睛的角点并连接角点可以识别VEC。另一种方法可以是与瞳孔闪烁对5170a和5170c以及5170b和5170d形成交叉线，并且识别线交叉的点，其可以用作VEC。也可以使用其它方法，并且取决于结果的准确性和精确度，可以单独或组合使用这些方法。

图16C是示出作为时间的函数的VEC的确定的示例的图。在X轴上是帧计数(或时间)，并且在Y轴上是VEC值1610。在一些实施例中，可以在ET相机5060a的坐标(例如，像素)中计算VEC值。该曲线图从左至右描绘了VEC从中立位置上升，达到峰值，下降并返回中立位置。该系统可以识别出与VEC超过阈值1608期间的时间相对应的眉毛抬起事件。在图16C中所示的示例中，在帧(或时间)1612和帧(或时间)1614之间抬起眉毛。可以设置阈值1608，使得较小的运动或噪声不触发系统来推断眉毛抬起。例如，阈值可以设定为任何合适的数字，例如总VEC运动的50％(例如，在图16C中，总VEC运动为约200像素，并且阈值为中立位置上方约100像素(约175像素))。一些系统可能更愿意在检测潜在的误报较多的方面出错，并且因此可能会选择介于0％和50％之间的阈值。其它系统可能更愿意在误报较少的方面出错，并且因此可以选择高于50％的阈值。如所描述的，可穿戴显示系统100可以执行时间一致性检查以去除任何误报的眉毛抬起。例如，仅当VEC超过阈值1608大于阈值帧数(或阈值时间段)时，才可以识别眉毛抬起，这可以有利地减少由于噪声或非常小的面部波动而引起的误报。在一些情况下，可以在眨眼期间测量VEC运动，使得可能不需要对于眨眼的内插或其它校正措施。

图17是用于检测紧密配合设备的上眼周区域事件(例如，眉毛抬起事件)的示例方法的过程流程图。框1702是过程1700的开始。在框1704处，ET相机5060a获得眼睛的眼周区域(左或右)的一个或多个图像。在框1706处，系统从获得的眼周图像提取眼角。在框1708处，系统可以例如通过将提取的眼角与线连接来开始VEC的计算。

在框1710处，将VEC与阈值进行比较以确定是否检测到眉毛抬起事件。该阈值可以在用户穿上设备时计算，或可以在系统检测到设备调节或去除时进行调节。如果VEC小于(或等于)阈值(指示眉毛尚未抬起)，则系统可返回至框1704以读取后续的眼周图像。如果VEC大于阈值，则系统进行到框1712。

在框1712处，系统估计眉毛抬起高度。例如，参考图16C，眉毛抬起高度可以是曲线1610的峰值与中立VEC位置之间的VEC值之差。该系统可以确定眉毛抬起的持续时间，诸如点1614和点1612之间的时间差。在一些实施例中，最大眉毛抬起高度被测量并存储以解决各个用户的差异。眉毛抬起高度可以在强度上采用在阈值之上(或在中立位置之上)到最大值的从0％至100％范围的百分比值来估计。

在一些实施例中，系统可以在眉毛抬起高度达到与眉毛抬起事件相关联的VEC值的顶点之前估计眉毛抬起高度。例如，系统可以确定VEC值的变化与例如先前的眉毛抬起曲线的前50％相匹配，并在整个眉毛抬起事件的时段之前返回对眉毛抬起高度的估计。可以在VEC值返回到中立之前或之后估计眉毛抬起高度。因此，该系统的实施例可以确定眉毛抬起事件，而无需在整个眉毛抬起事件中测量VEC。可以采用其它抬起高度估计方法。

在框1714处，系统可执行各种附加处理以增强估计的眉毛抬起事件的一致性或保真度。例如，系统可以内插任何丢失值(例如，在眨眼事件期间)，这可以在允许丢失帧的一些最大数量(诸如3)的情况下实现。在一些实施例中，该系统可以进行时间一致性检查，该时间一致性检查期望连续上升直到顶点，并且然后连续下降。另外，诸如通过在事件超过阈值时间(例如，如果抬起眉毛超过2秒、5秒等)时终止眉毛事件，系统可以解决不合理的异常值。一旦框1714完成，则该框可在返回到框1704以进行事件检测过程的另一次迭代之前输出与发生眉毛抬起(例如，关于是否发生眉毛抬起的布尔值)事件或抬起的强度有关的信息。所示的过程流程可以对于左眼和右眼并行运行，提供对每只眼睛的眉毛抬起事件的独立检测(因为可以独立抬起眉毛)。

松散配合的上眼周区域运动检测的示例

如上所述，对于松散配合设备(如图14A中所示，其定位为距离用户更远)，设备本身通常在眉毛抬起事件期间不移动。参考图16A-17描述的技术可能不允许可靠或准确地检测到对于松散配合设备的眉毛抬起。

图18A和图18B示意性地示出在松散配合设备中上眼周区域运动的检测的示例。通常，皮肤和设备之间的距离会随着肌肉伸展和压缩而变化。图18A示出具有中立眉毛位置的眼周区域。图18A示出在上眼周区域的内部、中间和外部部分中的三个斑点5190a-5190c以提供对抬起眉毛事件的检测的示例。在其它实施例中，可以使用更多或更少的斑点，并且斑点可以位于其它位置。例如，可以使用沿着眼角的上方部分更靠近瞳孔的五个斑点。参考图20A-20D描述斑点的附加示例。

由于眼睛跟踪系统500的外部且固定照明(例如，IR LED 508a、508b)，从相关联的斑点反射的光的平均强度可以是用于从ET相机5060a到皮肤的距离的良好指示符。每个斑点可包括像素矩阵(例如，5×5像素)，并具有表示从斑点反射的光强度的相关值(例如，0至255，0代表黑色，并且255代表白色)。可以由系统计算像素矩阵的平均强度值(例如，对于5×5矩阵的25个像素的平均值(加权的或其它方式))。该系统可以跟踪像素斑点随时间推移的平均强度，并且根据斑点的运动(例如，光流)来跟踪，该系统可以确定眉毛抬起事件以及眉毛的哪些部分正在抬起(例如，根据内部、中间和外部斑点的光流)。

图18B示出具有抬起眉毛位置的眼周区域的示例。在此，与来自图18A中所示的眉毛位置的斑点强度相比，抬起眉毛位置使三个斑点返回不同的斑点强度。

另外，系统可以将眉毛的向上(或向下)运动捕获为光流。图18C示出光流5191a-5191c的示例，其中，斑点分别从开始位置5190a、5190b、5190c(以虚线示出)移动到结束位置5190a′、5190b′、5190c′(以实线示出)。通过在该运动期间测量(例如，采用眼睛跟踪相机)斑点的反射率，系统可以确定这些斑点中每一个斑点的光流5192a、5192b、5192c的路径(和方向)，并且从而确定在眉毛抬起或降低事件期间佩戴者的皮肤运动的发生或程度。在各种实施例中，系统可以确定光流的完整路径或沿流路径的一系列点(例如，可能仅是开始位置和结束位置)。该系统可以确定沿着任何路径5192a-5192c的光流的速度或流速(速度和方向)。

尽管图18C示出了在上眼周区域中的光流的示例，但是这不是限制性的。可以针对观察到的眼周区域5100a的包括下眼周区域的任何部分检测光流。图18C示出与三个斑点相关联的光流，然而，用于检测光流的下面的面部特征也可以是肌肉特征或面部特征(例如，斑点5190c'中所示的皱纹)。在一些实施例中，还可以检测光流以用于不可见特征的运动，诸如与采用红外传感器检测到的热相关联的运动。另外，对于松散配合或紧密配合设备，可以检测光流。

在一些实施例中，眼周区域的其它特征可以提供用于事件检测的附加提示。例如，系统可以使用对象识别器来提取眼角周围的皱纹、瑕疵等的位置或光流(例如，经由Gabor滤波)，并分析皱纹、瑕疵等位置的变化是否指示事件发生。

图19是用于检测上眼周区域事件的过程1900的示例的过程流程图。框1902是过程1900的开始。在框1904处，ET相机5060a获得眼睛的眼周区域(左或右)的一个或多个图像。在框1906处，系统从获得的眼周图像中提取眼角和/或眼睛形状。

在框1908处，系统从如参考图18A-18C所述的图像提取关于斑点5190a-5190c的信息。在框1910处，系统根据斑点的运动来估计上眼周区域的光流(参见例如图18C)。在框1912处，系统估计斑点的光度测定的强度。如所描述的，强度可以是斑点中像素的平均强度。在存在受限照明的情况下，诸如在佩戴时HMD为其提供面向内的IR LED 508a、508b，强度可以很好地衡量从ET相机5060a到皮肤的距离。

在框1914处，系统可以将斑点的估计强度与阈值强度进行比较。结合图21A-21D进一步描述与阈值强度的比较和强度值的估计。如果强度小于(或等于)阈值强度，则由于一些原因尚未检测到斑点，并且系统返回到框1904以读取后续图像。在框1916处，如果强度大于阈值强度，则系统可以在进行到框1918之前执行附加过程。这些过程可以包括内插丢失值以解决眨眼事件(例如，最多允许眨眼3帧，其中可能丢失或未获取数据)，或针对连续的眉头运动进行时间一致性检查。例如，对于眉头的一致的向上运动，系统可以检查斑点在一个方向中是否存在基本上连续的运动，直到到达顶点，然后基本上连续的运动回到中立位置。

如果在框1916处确认了运动的时间一致性，则在框1918处，系统映射光流的方向(例如，向上或向下)，并确定眉毛抬起事件的发生或强度。例如，眉毛抬起的强度可以反映出眉毛的一部分移动了多远。如参考图17所述，眉毛抬起高度可以在强度上采用在阈值之上(或在中立位置之上)到最大值的从0％至100％范围的百分比值来估计。系统可以利用横跨眉毛的整个长度所设置的(例如，如图18A-18C中所示)多个斑点(例如，3个或更多个)，以采用粒度来确定对于眼睛的多个部分(例如对于内部、中间以及外部的眉头部分)的眉毛抬起的量或强度。

在框1918处生成的映射可以包括对于下面部的相应面部参数的概率估计。下面部可以包括在眼周图像中示出的眼周区域下方的区域。下面部可能包括鼻子、嘴唇、脸颊和下颌区域。例如，可穿戴设备可以单独或组合地基于时间一致性检查(框1916)或根据来自其它传感器的输入(诸如音频输入、生理数据(诸如瞳孔扩张状态、心律等)、EOG数据等)，选择最可能的面部参数。例如，来自麦克风的音频输入可以指示用户在大笑，并且可以将音频输入与来自眼周成像的估计组合以提供更可能的下面部表示。

在一些实施例中，眼周区域的其它特征可以提供用于事件检测的附加提示。例如，系统可以使用对象识别器来提取眼角周围的皱纹、瑕疵等的位置或光流(例如，经由Gabor滤波)，并分析皱纹、瑕疵等位置的变化是否指示事件发生。

系统可以输出或存储描述眉毛抬起事件的特性的事件矩阵。例如，事件矩阵可以包括n×3矩阵(其中n是斑点的数量)，其中第一列识别斑点的编号(从1到n)，第二列包括用于斑点的发生指示符(例如布尔值，诸如0或N(o)表示没有抬起，而1或Y(es)表示抬起)，并且第三列包括用于该斑点的抬起强度。

下面部事件检测的示例

如上所述，皮肤到HMD的距离随着肌肉收缩而改变。肌肉流动方向对于检测面部表情提供了重要提示。

图20A-20D示出示例眼周图像，其示出右眼在(图20A、20B)之前和微笑时(图20C、20D)的肌肉收缩。图20A和图20C示出眼睛相机图像，并且图20B和图20D示出阈值眼睛相机图像。图像示出靠近眼睛下方部分的斑点2302a、2302b。斑点沿着眼睛的弧线不对称地定位。之前(图20A、20B)的图像与微笑时(图20C、20D)的图像的光度测量比较示出斑点反射率的变化，这在阈值图像(图20B、20D)之间的差异中尤为明显。

在一些实施例中，光反射传感器(在图11所示，67a、67b)可以补充或替换由眼睛跟踪相机5060a、5060b进行的强度测量。光反射传感器通常是廉价的，并且善于检测光强度以用于确定接近度。光反射传感器可以对眼睛跟踪相机的基于斑点的强度检测提供附加交叉检查，或者完全替换基于斑点的强度检测。

图21是用于采用眼周图像的变化来推断下面部事件的示例方法2100的过程流程图。框2102-2116通常类似于参考图19描述的方法1900的相应框1902-1916，并且在此将不进一步描述。

在框2118处，系统执行交叉眼睛检查。通常，对于下面部构造，期望根据每只眼睛的眼周区域的分析所生成的输出彼此一致。例如，通常从报告了眼周区域抬起的左眼和右眼二者中而不仅仅是抬起其相关联的眼周区域的一只眼睛中检测到微笑。当每个眼周区域分析报告不同的下面部构造时，可以采用各种方法来解决差异。例如，当差异较小时，可以将左眼和右眼的结果平均以提供平均的下面部构造。另外地或可替代地，系统可以将较高的优先级分配给较强的读数(基于斑点的强度或一些其它度量)。在一些情况下，系统可以拒绝两个确定并且返回框2104以读取附加的眼睛图像。

在框2120处，系统通过利用映射表或面部构造的模型来将光流的方向和斑点的强度映射至下面部事件。参考图23描述训练个性化模型的示例。该模型还可以包括基于机器学习的预训练模型，该机器学习被应用于来自一群个体的宽范围的面部构造。在一些情况下，映射表基于对面部运动进行分类的FACS AU。在一些实现方式中，系统可以使用从面部表情(例如，FACS AU组)到对应情绪(例如，快乐、悲伤等)的映射。系统因此可以基于眼周图像的分析来确定佩戴者可能正在经历的情绪。

可以采用由其它传感器收集的用户数据来检查由框2120提供的下面部构造，以减少误报。例如，如上所述，系统可以经由Gabor滤波来提取眼角周围的皱纹(或其它面部特征)，并检查皱纹(或其它面部特征)是否已经显示出与强度变化一致的变化。该系统可以分析从一个或多个麦克风69获得的音频观察的过去的持续时间(诸如最后30秒)，以确定佩戴者的基准情绪并且使用该音频数据来修改或更新映射结果。例如，当音频数据通知了愉快的情绪时，系统可以调整所得的面部表情以反映愉快的情绪。可替代地，当音频数据通知很多喊叫时，系统可以调整所得的面部表情以反映紧张的面部特征。此外，该系统可以利用音素到视位素分析，以提供关于下面部的可能构造的附加信息(例如，如在2017年9月27日提交的题为“由可穿戴设备捕获面部模型(Face Model Capture by a Wearable Device)”的美国专利申请号15/717,223中所述，其通过引用整体并入本文，或于2017年11月9日提交的题为“全面部模型的眼周和音频合成(Periocular and Audio Synthesis of a Full FaceModel)”的美国专利申请号15/808,516，其通过引用整体并入本文)。例如，可以将来自框2120的结果与音素-视位素分析的结果相结合(例如，平均)，以确定用户的下面部的更真实的表示。另外，可以采用智能加权，诸如在不存在音频数据时赋予其它传感器更多的权重。

面部特征相关性的个性化和保真度提高的示例

图22是用于可穿戴设备的个性化的示例方法2200的过程流程图。个性化方法2200被结构化为考虑到个体用户的差异，并进行针对用户的定义调整，使得该设备可以在用户的面部眼周面部特征与推断的下面部运动之间提供更好的相关性。该个性化方法2200可以为用户提供更真实的头像面部特征。例如，该方法可以允许系统在实际检测到的可见面部事件与由参考图19和图21中的框1918和2120描述的映射所提供的面部事件的近似之间进行个性化调整。在一些实施例中，个性化调整可以包括对于映射所提取的特征(诸如斑点强度、光流等)的权重的调整。

在框2202处，过程2200开始，并且用户佩戴设备并站在镜子前面，使得镜子将用户的图像反射回设备。面向外相机502应被定位成使得从镜像中捕获用户的未被遮挡的嘴部和前额的至少一些部分(设备遮挡用户的眼睛区域)。如将进一步描述的，在该方法期间，将要求用户执行一系列面部姿势或表达一系列情感，面向外相机将捕获这些姿势，并且该方法将分析图像并生成可以在方法1900和2100中使用的个性化映射和参数。

在框2204处，该设备经由提示来指示要模仿的表情，该提示包括可见(例如，通过显示器62)或音频(通过扬声器66)的提示。提议的表情可以由单词或图像或两者的组合组成。在框2206处，系统对由相机检测到的图像进行面部检测，并且对象识别器可以确定用户是否正在执行所请求的表情。例如，系统可以将与请求的表情相关联的面部特征与用户实际表情的相应特征进行比较，以确定它们是否匹配。在框2208处，如果表情检测算法检测到不匹配，则系统返回到框2204，并指示用户模仿相同或不同的表情。可替代地，如果算法检测到匹配，则系统进行到框2210。

在框2210处，系统从面向外相机502读取图像。该图像是用户的镜像，并且一些实施例可以水平地对图像进行转换以获得用户的真实图像。在框2212处，系统运行面部检测算法以提取针对头部形状、嘴部形状的关键特征或未被HMD遮挡的任何其它面部特征(例如，一些眼睛或鼻子特征可能被HMD的一些版本遮挡)。在框2214处，使用从框2212提取的特征，系统确定用户的头部形状。在框2316处，系统使用确定的头部形状来调整头像的视觉外观以反映用户测量的头部形状。例如，系统可以将锁确定的头部形状与头像数据库中的头部形状进行比较，并选择最匹配的头部形状(或在附近的头部形状之间进行内插)。

在框2218处，系统从图像的未被遮挡的面部区域(例如，前额区域)提取其它面部特征，诸如皱纹或雀斑。将图像的皱纹或雀斑与用户的中性图像和用户的动态图像(例如，模仿请求的非中性表情)进行比较，以确定哪些特征是用户的中性面部固有的(例如，由年龄引起的)，以及哪些特征是由面部表情的执行所引起的面部运动所导致的。

在框2220处，使用从其它框(例如框2212)中提取的特征，系统从图像确定下面部构造(例如，嘴部形状)，并从参考图15、17、19和21描述的方法中确定下面部构造。在框2222处，系统计算针对用户的个人调整，以说明实际检测到的下面部构造(来自镜像)与使用在此描述的技术对下面部构造的估计(例如，方法2100的输出)之间的任何差异。系统可以重新调整针对用户的权重，以更好地说明提取的特征(诸如斑点强度、光流等)到实际检测到的可见事件的映射。

在框2224处，系统基于从模仿的表情的所收集的帧中获得的最小值和最大值(例如，最小和最大强度变化、眼睛位置、或眉毛抬起高度)来调整用户的检测阈值。在一些实施例中，可穿戴设备可以定期地或根据计划来获得和分析用户的图像，以进一步为用户校准该设备(例如，通过框2204处开始的向用户显示请求以启动校准)。在用户与设备交互时，可能会进行定期或计划的校准，而用户不会注意到由于校准而可能造成的中断(例如，校准代理可能在后台运行)。对用户的校准配置文件的此类持续在线校准可以确保用户随时间推移的最优灵敏度。

在一些实施例中，该过程可以重复多次以获得更高的准确性和/或精确度。此外，如果用户改变他或她的面部外观(例如，如果用户要留胡须)，则可以重复方法2200以重新进行个性化设置。

采用眼周区域的图像推断面部表情的示例

图23是示出面部表情确定系统2300的示例的框图。面部表情确定系统2300可以由在此所述的可穿戴设备(例如可穿戴系统100、5050)来实现。例如，本地处理和数据模块71或远程处理模块72可以使用存储在本地或远程数据存储库74(图2中所示)中的数据来执行处理。眼周图像可以由面向内成像系统500拍摄。

如在此所述，系统2300使用由眼睛跟踪相机获得的眼周图像2302来生成未被眼睛跟踪相机成像的面部区域(例如，下面部(例如，嘴部、嘴唇等))的表示。可以生成眼周特征到下面部或整个面部的面部表情2320的映射。可以通过合成眉毛事件2314和下面部事件2316来生成映射2320。系统2300可以基于可穿戴设备在佩戴者的面部上的配合是紧密还是松散来确定眉毛事件和下面部事件。对于紧密配合，可以分析VEC变化2304(例如，图17)，而对于松散配合，可以使用强度变化2306(例如，图19)。系统2300可以单独地或组合地利用从眼周图像2302获得的所测量的肌肉收缩或肌肉流动2308、皱纹或雀斑的光流2310、或眼睛形状2312的变化。还可以通过眼周区域参数(例如，可变形线性模型(DLM)中的面部空间参数、FACS动作单位等)来描述(或编码)眼周区域的各种特征。眉毛事件检测2314和下面部事件检测2316(例如，参见图21)可以被组合以生成从眼周图像到(例如，下面部或整个面部的)面部表情的映射。映射2320可用于在由获得眼周图像2302的眼睛跟踪相机未成像的区域中确定面部下部分的面部表情。

系统2300可以使用各种机器学习算法，例如，以生成映射2320或面部表情2325。可以用于生成和更新模型的机器学习算法的一些示例可以包括监督的或非监督的机器学习算法，包括回归算法(诸如例如普通最小二乘回归)、基于实例的算法(诸如例如学习矢量量化)、决策树算法(诸如例如分类和回归树)、贝叶斯算法(诸如例如Naive Bayes)、聚类算法(诸如例如k均值聚类)、关联规则学习算法(诸如例如a-priori算法)、人工神经网络算法(诸如例如感知机(Perceptron))、深度学习算法(诸如例如深度波尔茨曼机、或深度神经网络)、降维算法(诸如例如主成分分析)、集成算法(诸如例如堆栈泛化)、和/或其它机器学习算法。在一些实施例中，可以为各个数据集定制各个模型。例如，可穿戴设备可以生成基本模型。基本模型可以用作开始点以生成针对以下的附加模型：数据类型(例如，特定用户)、数据集(例如，所获得的一组附加图像)、条件情况(例如，游戏期间的配合可能与互联网浏览期间的配合不同)或其它变化。在一些实施例中，可穿戴设备可以被配置为利用多种技术来生成用于分析聚合数据的模型。其它技术可以包括使用预定义的阈值或数据值。随着时间推移，可穿戴设备可以继续更新机器学习得出的映射2320。

系统2300可以包括被配置为实现如参考图22所述的面部映射的个性化的个性化引擎2323。如所描述的，面向外成像系统可以获取用户的下面部2318的图像(例如，当用户位于镜子前面时)并且使用这些图像来调节系统以更好地反映用户的个性并增加情感表现力的保真度。个性化可以在获取HMD时执行，或在用户使用HMD期间定期执行。

合成全面部图像并采用全面部图像对头像进行动画处理的示例

图24是用于从面部的眼周区域的图像中生成全面部参数的示例方法2400的流程图。方法2400可以由可穿戴设备100、5050执行。在框2402处，该方法初始化设备的佩戴者的眼睛的眼周区域的眼睛跟踪。在一些方法中，可以跟踪佩戴者的双眼。在框2404处，该方法访问眼周区域的图像。在框2406处，确定设备在佩戴者的面部上的配合水平。例如，配合水平可以包括例如分别参考图14A和14B所述的松散配合或紧密配合。

在决策框2408处，该方法确定配合是否松散，并且如果是，则移动到框2412，在框2412中，参考图19描述的方法1900可以用于基于反射光强度的水平(通常在IR中)测量眼周特征。如果确定该配合不松散，则该方法移动到框2414，在框2414中，参考图17描述的方法1700可用于测量设备在用户面部上的运动(例如，向上或向下)。如所描述的，该设备的此类运动可用于推断眉毛的运动。

在框2416处，在框2412或框2414处进行的眼周测量用于生成眼周面部参数，该眼周面部参数表示佩戴者执行表情时佩戴者的眼周区域的运动。例如，眼周面部参数可以表示眉毛运动(例如，抬起或降低)、眼角的运动、眼睛周围的皮肤或眼睑的运动等等。面部参数(针对眼周、下部或整个面部)可以单独或组合地包括：FACS动作单位(AUs)、可变形线性模型(DLM)参数、主动形状模型(ASM)参数、主动外观模型(AAM)参数、可形变模型(M)参数，或者任何其它二维(2D)或3D形状或纹理模型的参数。

在框2418处，该方法生成下面部参数，该下面部参数对应于面部未被眼睛跟踪相机成像的下方区域。下面部参数可以包括DLM参数、FACS动作单位等。在框2420处，将眼周面部参数和下面部参数组合以生成用于佩戴者全面部的面部参数。全面部参数可以包括DLM参数、FACS动作单位或全3D面部模型(例如，下面部和眼周区域)。该设备可以使用全面部参数来对表示佩戴者的头像进行动画处理，使得该头像在由真实世界中的佩戴者执行的虚拟世界中执行全面部表情。在远程呈现环境中，可以将全面部参数传送到第二用户的可穿戴设备，该可穿戴设备在远程呈现会话期间使用面部参数向第二用户显示第一用户的动画(例如，参见图10B)。可以实时地执行方法2400，使得头像渲染以减少的或最小的延时来实时发生。

图25是用于从佩戴者的眼周区域的图像中生成HMD的佩戴者的面部模型的另一方法2500的流程图。方法2500可以由可穿戴系统100、5050执行。在框2502处，该方法访问HMD的佩戴者的眼周区域的图像。在一些情况下，HMD的眼睛跟踪相机用于捕获眼周图像。在一些实现方式中，分析眼周图像以确定HMD在佩戴者的面部上的配合水平(例如，如参考图14A、14B和24所描述的)。在框2504处，分析眼周图像并且从图像提取眼周面部参数。在框2506处，生成与由眼周面部参数(框2504)表示的表情相对应的下面部参数。可以在框2508处组合眼周面部参数和下面部参数以生成全面部模型(例如，DLM模型、FACS AU等)。

在框2510处，HMD可以使用全面部模型来基于HMD的佩戴者在真实世界中执行的面部表情来对头像的外观进行动画处理。另外地或可替代地，在框2512处，佩戴者的HMD可以例如在远程呈现会话期间将全面部参数传达给另一用户的HMD，并且另一用户的HMD可以渲染表示佩戴者的头像。

附加方面

1.一种可穿戴系统，包括：面向内成像系统，其被配置为对所述可穿戴系统的佩戴者的眼周区域成像；硬件处理器，其被编程为：经由所述面向内成像系统获取所述佩戴者的所述眼周区域的眼周图像；至少部分地基于所述眼周图像，生成对所述佩戴者的至少所述眼周区域的眼周构造进行编码的眼周面部参数；至少部分地基于所述眼周面部参数，生成所述佩戴者的下面部的下面部参数，其中当由所述佩戴者佩戴所述面向内成像系统时，所述下面部未被所述面向内成像系统观察到；组合所述眼周面部参数和所述下面部参数，以生成与所述佩戴者的三维(3D)面部模型相关联的全面部参数；以及存储所述全面部参数，以供渲染引擎生成所述佩戴者的所述面部的3D动画。

2.根据方面1所述的可穿戴系统，其中，所述3D面部模型包括可变形的线性模型，并且其中，所述眼周面部参数和所述下面部参数描述所述佩戴者的所述面部的变形。

3.根据方面1或方面2所述的可穿戴系统，其中，眼周面部参数或所述下面部参数包括面部动作编码系统的动作单位。

4.根据方面1-3中任一项所述的可穿戴系统，其中，在不使用表示由所述佩戴者发出的声音的音频数据的情况下，生成所述3D面部模型。

5.根据方面1-4中任一项所述的可穿戴系统，其中，所述面向内成像系统包括眼睛跟踪相机和红外(IR)光源。

6.根据方面1-5中任一项所述的可穿戴系统，其中，为了生成所述眼周面部参数，所述硬件处理器被编程为：分析从所述眼周区域的斑点反射的光的强度；或分析所述眼周区域的斑点的光流；或确定所述可穿戴系统相对于所述佩戴者的眼睛位置的向上或向下运动。

7.根据方面1-6中任一项所述的可穿戴系统，其中，所述硬件处理器进一步被编程为：确定所述可穿戴系统在所述佩戴者上的配合水平，其中，所述配合水平包括松散配合或紧密配合；响应于松散配合的确定，至少部分地基于所述眼周区域中的斑点的强度测量或光流，生成所述眼周面部参数；或者响应于紧密配合的确定，至少部分地基于所述可穿戴系统相对于所述佩戴者的所述面部的运动，生成所述眼周面部参数，所述运动响应于所述佩戴者的面部表情。

8.根据方面7所述的可穿戴系统，其中，为了至少部分地基于所述可穿戴系统相对于佩所述戴者的所述面部的运动，生成所述眼周面部参数，所述硬件处理器被编程为从由所述面向内成像系统获得的图像中计算眼睛的位置的时间序列。

9.根据方面8所述的可穿戴系统，其中，所述硬件处理器被编程为基于在所述时间序列期间经过阈值位置的所述眼睛的所述位置，识别眉毛运动事件。

10.根据方面1-9中任一项所述的可穿戴系统，其中，为了至少部分地基于所述眼周区域中的斑点的强度测量或光流，生成所述眼周面部参数，所述硬件处理器被编程为分析三个或多个斑点的强度或光流。

11.根据方面10所述的可穿戴系统，其中，所述三个或多个斑点被设置在所述佩戴者的眉毛附近的内部、中间和外部部分。

12.根据方面1-11中任一项所述的可穿戴系统，还包括被配置为测量眼睛附近的肌肉运动的眼电(EOG)传感器，并且其中，所述硬件处理器进一步被编程为至少部分地基于EOG测量来生成所述眼周面部参数。

13.根据方面1-12中任一项所述的可穿戴系统，其中，所述硬件处理器被编程为对所述眼周面部参数执行时间一致性检查。

14.根据方面13所述的可穿戴系统，其中，为了执行所述时间一致性检查，所述硬件处理器被编程为确定从眼周图像提取的眼周特征的时间历史是否与所述佩戴者的面部表情一致。

15.根据方面1-14中任一项所述的可穿戴系统，其中：所述下面部参数包括根据左眼周区域的分析生成的第一下面部参数和根据右眼周区域的分析生成的第二下面部参数，并且所述硬件处理器被编程为针对所述第一下面部参数和所述第二下面部参数之间的一致性执行交叉眼睛检查。

16.根据方面1-15中任一项所述的可穿戴系统，其中，所述硬件处理器进一步被编程为确定与所述佩戴者的实际面部表情相关联的个性化参数。

17.根据方面16所述的可穿戴系统，其中，所述硬件处理器被编程为：将指令传送给所述佩戴者以执行第一面部表情；捕获执行所述第一面部表情的所述佩戴者的图像；分析所述图像以确定或更新以下一项或多项：与所述佩戴者对应的头像的面部的视觉外观；所述头像的头部形状；执行中性表情的所述佩戴者的面部特征；可穿戴系统用于生成所述眼周面部参数、所述下面部参数或所述3D模型的检测阈值；或面部构造的映射表。

18.根据方面1-17中任一项所述的可穿戴系统，其中，所述硬件处理器被编程为经由无线网络将所述全面部模型或所述3D面部模型传送给第二可穿戴系统。

19.一种方法，其包括：在头戴式显示器(HMD)的控制下执行以下操作，其中所述头戴式显示器包括与非暂态存储器通信的硬件处理器和被配置为对用户的眼周区域成像的面向内成像系统：访问由所述面向内成像系统获取的眼周图像；至少部分地基于所述图像，确定针对所述用户的至少所述眼周区域的眼周构造的眼周面部参数；至少部分地基于所述眼周面部参数，计算针对所述用户的面部的下方区域的下面部参数，所述下方区域未被所述面向内成像系统成像；以及组合所述眼周面部参数和所述下面部参数，以生成针对所述用户的所述面部的全面部参数。

20.根据方面19所述的方法，还包括：确定所述HMD在所述用户的所述面部上的配合水平，所述配合水平包括松散配合或紧密配合；响应于确定所述配合水平是松散配合：分析从所述用户的所述眼周区域中的皮肤的斑点中反射的光的强度；以及根据所述光的强度的分析确定所述用户的眉毛运动；或响应于确定所述配合水平是紧密配合：分析眼周图像以确定所述HMD相对于所述用户的眼睛位置的运动；根据所述眼周图像的分析确定所述用户的眉毛运动。

21.根据方面19或方面20所述的方法，还包括对所述眼周面部参数执行时间一致性检查。

22.根据方面19-21中任一项所述的方法，所述下面部参数包括根据左眼周区域的分析生成的第一下面部参数和根据右眼周区域的分析生成的第二下面部参数，所述方法还包括针对所述第一下面部参数和所述第二下面部参数之间的一致性进行交叉眼睛检查。

23.根据方面19-22中任一项所述的方法，还包括：访问执行一系列面部表情的所述用户的图像；分析所述图像以确定用户特定的面部特征；利用所述用户特定的面部特征来确定所述眼周面部参数、所述下面部参数、或所述全面部参数。

24.根据方面23所述的方法，其中，访问执行一系列面部表情的所述用户的图像包括：在所述用户在镜子前面执行所述一系列面部表情的同时，采用所述HMD的面向外成像系统获取所述图像。

25.一种可穿戴显示系统，包括：面向内成像系统，其被配置为捕获所述可穿戴显示器的佩戴者的眼周区域的图像；非暂态存储器，其被配置为存储所述眼周区域的所述图像；以及与所述非暂态存储器通信的硬件处理器，所述硬件处理器被编程为：访问所述佩戴者的所述眼周区域的所述图像；至少部分地基于所述图像，生成对所述佩戴者的眼周特征进行编码的眼周区域参数；至少部分地基于所述眼周区域参数，生成下面部参数；以及至少部分地基于所述下面部参数和所述眼周区域参数，生成所述佩戴者的全面部的表示。

26.根据方面25所述的系统，其中，所述眼周特征包括：在所述眼周区域中的眼周肌肉、皱纹、瑕疵、或斑点、眼睑、或眉毛的伸展和压缩。

27.根据方面25或方面26所述的系统，其中，所述眼周区域参数包括：眼周特征的光流、或对眉毛的抬起或降低的测量。

28.根据方面27所述的系统，其中，所述眼周区域参数包括：垂直眼睛中心(VEC)位置。

29.根据方面25-28中任一项所述的系统，其中，所述面向内成像系统包括：红外发光二极管(IR LED)或者被配置为检测所述眼周区域的光强度的光反射传感器。

30.根据方面25-29中任一项所述的系统，其中，所述硬件处理器被编程为：测量所述眼周区域中的斑点的光强度；以及将所述斑点的所述光强度与阈值进行比较，以确定在所述斑点下面的所述眼周区域距所述面向内成像系统的距离。

31.根据方面25-30中任一项所述的系统，其中，基于眉毛位置，交叉检查下面部构造的全面部一致性。

32.根据方面25-31中任一项所述的系统，还包括音频传感器，其中，针对从所述音频传感器记录的音素，检查下面部构造的一致性。

33.根据方面25-32中任一项所述的系统，其中，基于眼睛位置确定所述HMD在所述佩戴者上的配合水平。

34.根据方面33所述的系统，其中，所述眼睛位置是根据瞳孔闪烁跟踪来确定的。

35.根据方面25-34中任一项所述的系统，还包括眼电(EOG)传感器，其中，所述系统被配置为根据EOG传感器的读数来确定眼睛位置。

36.根据方面25-35中任一项所述的系统，其中，所述系统被配置为获得所述佩戴者特定的校准数据。

37.根据方面36所述的系统，其中，所述系统被配置为获得所述佩戴者的面部的未被所述面向内成像系统成像的区域的图像，并且其中，所述校准数据包括头部形状或嘴部形状。

38.根据方面25-37中任一项所述的系统，其中，所述系统被配置为：针对从先前捕获的眼周区域图像中生成的过去的全面部参数，临时检查所述全面部的所述表示。

39.一种方法，包括：在头戴式显示器(HMD)的控制下执行以下操作，其中所述头戴式显示器包括被配置为对所述HMD的佩戴者的眼周区域成像的面向内成像系统和硬件处理器：经由所述面向内成像系统获取所述佩戴者的所述眼周区域的眼周图像；至少部分地基于所述眼周图像，生成对所述佩戴者的至少所述眼周区域的眼周构造进行编码的眼周面部参数；至少部分地基于所述眼周面部参数，生成所述佩戴者的下面部的下面部参数，其中，当由所述佩戴者佩戴所述面向内成像系统时，所述下面部未被所述面向内成像系统观察到；组合所述眼周面部参数和所述下面部参数，以生成与所述佩戴者的三维(3D)面部模型相关联的全面部参数；以及存储所述全面部参数，以供渲染引擎生成所述佩戴者的所述面部的3D动画。

40.一种可穿戴的显示系统，包括：面向内成像系统，其被配置为对用户的眼周区域成像；非暂态存储器，其被配置为存储所述用户的所述眼周区域的图像；与非暂态存储器通信的硬件处理器，所述硬件处理器被编程为：访问由所述面向内成像系统获取的眼周图像；至少部分地基于所述图像，确定针对所述用户的至少所述眼周区域的眼周构造的眼周面部参数；至少部分地基于所述眼周面部参数，计算针对所述用户的面部的下方区域的下面部参数，所述下方区域未被所述面向内成像系统成像；以及组合所述眼周面部参数和所述下面部参数，以生成针对所述用户的所述面部的全面部参数。

41.一种方法，包括：在可穿戴显示系统的控制下执行以下操作，所述可穿戴显示系统包括：被配置为捕获所述可穿戴显示器的佩戴者的眼周区域的图像的面向内成像系统，被配置为存储所述眼周区域的所述图像的非暂态存储器；以及与非暂态存储器通信的硬件处理器：访问所述佩戴者的所述眼周区域的所述图像；至少部分地基于所述图像，生成对所述佩戴者的眼周特征进行编码的眼周区域参数；至少部分地基于所述眼周区域参数生成下面部参数；以及至少部分地基于所述下面部参数和所述眼周区域参数，生成所述佩戴者的全面部的表示。

42.一种可穿戴系统，包括：面向内成像系统，其被配置为对所述可穿戴系统的佩戴者的眼周区域成像；以及硬件处理器，其被编程为：访问经由所述面向内成像系统获得的所述佩戴者的所述眼周区域的眼周图像；确定所述可穿戴系统在所述佩戴者上的配合水平，其中，所述配合水平包括松散配合或紧密配合；响应于松散配合的确定，生成对所述佩戴者的至少所述眼周区域的眼周构造进行编码的眼周面部参数，所述眼周面部参数至少部分地基于所述眼周区域中的斑点的强度测量或光流来生成；或者响应于紧密配合的确定，至少部分地基于所述可穿戴系统相对于所述佩戴者的面部的移动来生成所述眼周面部参数，所述移动是响应于所述佩戴者的面部表情；至少部分地基于所述眼周面部参数，生成所述佩戴者的下面部的下面部参数，其中，当由所述佩戴者佩戴所述面向内成像系统时，所述下面部未被所述面向内成像系统观察到；以及组合所述眼周面部参数和所述下面部参数，以生成与所述佩戴者的三维(3D)面部模型相关联的全面部参数。

43.一种方法，包括：在头戴式显示系统的控制下执行以下操作，其中所述头戴式显示系统包括被配置为对所述可穿戴系统的佩戴者的眼周区域成像的面向内成像系统和硬件处理器；访问经由所述面向内成像系统获得的所述佩戴者的所述眼周区域的眼周图像；确定所述可穿戴系统在所述佩戴者上的配合水平，其中，所述配合水平包括松散配合或紧密配合；响应于松散配合的确定，生成对所述佩戴者的至少所述眼周区域的眼周构造进行编码的眼周面部参数，所述眼周面部参数至少部分地基于所述眼周区域中的斑点的强度测量或光流来生成；或者响应于紧密配合的确定，至少部分地基于所述可穿戴系统相对于所述佩戴者的面部的移动来生成所述眼周面部参数，所述移动是响应于所述佩戴者的面部表情；至少部分地基于所述眼周面部参数，生成所述佩戴者的下面部的下面部参数，其中，当由所述佩戴者佩戴所述面向内成像系统时，所述下面部未被所述面向内成像系统观察到；以及组合所述眼周面部参数和所述下面部参数，以生成与所述佩戴者的三维(3D)面部模型相关联的全面部参数。

尽管在此描述的各种示例和实施例利用眼周区域的图像来生成全面部图像，但这仅用于说明而不是限制。一些此类实施例可以利用眼周图像并且可以在生成全面部图像时不使用其它传感器数据(例如，音频数据)(当用户不讲话时可能是有利的)。一些实施例可以另外利用其它传感器输入来辅助生成全面部图像，从而利用多模式方法来生成全面部图像。例如，从麦克风69获得的音频数据可以用于将面部构造与音频数据中的声音相关联，并且面部构造可以与眼周图像一起使用以生成全面部图像。

其它考虑

本文描述和/或附图中描绘的每个过程、方法和算法可以体现在由一个或多个被配置为执行专门的和特定的计算机指令的物理计算系统、硬件计算机处理器、专用电路和/或电子硬件中以及全部或部分地由其自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如服务器)或专用计算机、专用电路等。代码模块可被编译并链接到可执行程序中、安装在动态链接库中，或者可以用解释性编程语言来编写。在一些实现中，特定的操作和方法可以由特定于给定功能的电路执行。

此外，本公开的功能的某些实现在数学上、计算上或技术上都足够复杂，以致于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，例如由于所涉及计算的量或复杂性，或为了实质上实时地提供结果(例如，对于虚拟角色的实时动画处理)。例如，动画或视频可以包括许多帧，每个帧具有数百万个像素，并且需要专门编程的计算机硬件来处理视频数据，以在商业上合理的时间量内提供所需的图像处理任务或应用。

代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，例如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储设备、它们和/或类似存储器的组合等。方法和模块(或数据)也可以作为生成的数据信号(例如作为载波或其他模拟或数字传播信号的一部分)在包括基于无线的和基于有线/电缆的介质的各种计算机可读传输介质上进行发送，并且可以采用多种形式(例如作为单个或多路复用模拟信号的一部分，或作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以永久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质进行传递。

本文描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应被理解为潜在地表示代码模块、代码段或代码部分，其包括用于在流程中实现特定功能(例如逻辑或算术)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能可以组合、重新布置、添加到本文提供的说明性示例、从本文提供的说明性示例中删除、修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的一些或全部功能。本文描述的方法和过程也不限于任何特定的顺序，并且与之相关的框、步骤或状态可以以适当的其他顺序(例如串行、并行或以某些其他方式)来执行。可以将任务或事件添加到所公开的示例实施例中或从中删除。此外，本文描述的实现中的各种系统组件的分离是出于说明的目的，并且不应被理解为在所有实现中都需要这种分离。应当理解，所描述的程序组件、方法和系统通常可以被集成在一起在单个计算机产品中或包装到多个计算机产品中。许多实现变型是可能的。

可以在网络(或分布式)计算环境中实现过程、方法和系统。网络环境包括企业范围的计算机网络、企业内网、局域网(LAN)、广域网(WAN)、个人区域网(PAN)、云计算网络、众包计算网络、互联网和万维网。该网络可以是有线或无线网络或任何其他类型的通信网络。

本公开的系统和方法各自具有若干创新方面，其中，没有一个对本文公开的期望属性负有单独责任或要求。上述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合旨在落入本公开的范围内。对本公开中描述的实现的各种修改对于本领域技术人员而言是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文中定义的一般原理可以应用于其他实现。因此，权利要求书无意限于本文中所示的实现，而是应被赋予与本文中所揭示的本发明、原理及新颖特征一致的最广范围。

在本说明书中在单独的实现的上下文中描述的某些特征也可以在单个实现中组合实现。相反，在单个实现的上下文中描述的各种特征也可以分别在多个实现中或以任何合适的子组合来实现。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此宣称，但是在某些情况下可以从组合中切除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变体。对于每个实施例，没有单个特征或一组特征是必要的或必不可少的。

这里使用的条件语言，尤其例如“能够”、“会”、“可能”、“可以”、“例如”等，除非另有明确说明，否则在所使用的上下文中理解为通常意在传达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或没有作者输入或提示的情况下决定这些特征、元素和/或步骤是否在任何特定实施例中被包括或将被执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，以开放式方式包含地使用，并且不排除附加要素、特征、动作、操作等。而且，术语“或”以其包含的含义使用(而不是以其排他的含义使用)，因此例如在用于连接元素列表时，术语“或”表示列表中的一个、一些或全部元素。另外，在本申请和所附权利要求书中使用的“一”、“一个”和“该”应被解释为表示“一个或多个”或“至少一个”，除非另有说明。

如本文所使用的，指代项目列表中的“至少一个”的短语是指那些项目的任何组合，包括单个成员。例如，“A、B或C中的至少一个”旨在涵盖：A、B、C、A和B、A和C、B和C以及A、B和C。除非另外特别说明，否则诸如短语“X、Y和Z中的至少一个”之类的词语应与上下文一起理解，该上下文通常用于传达项目、术语等可以是X、Y或Z中的至少一个。因此，这种联合语言通常不旨在暗示某些实施例要求X中的至少一个、Y中的至少一个和Z中的至少一个存在。

类似地，尽管可以以特定顺序在附图中描绘操作，但是要认识到，不需要以所示的特定顺序或相继顺序来执行这样的操作，或者不需要执行所有示出的操作来实现理想的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作可以结合在示意性示出的示例方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他实现中，操作可以重新布置或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，在上述实现中的各种系统组件的分离不应被理解为在所有实现中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品中或打包到多个软件产品中。另外，其他实现在所附权利要求的范围内。在某些情况下，可以以不同的顺序执行权利要求中记载的动作，并且仍然实现期望的结果。

Claims (21)

1.一种可穿戴显示系统，包括：

面向内成像系统，其被配置为捕获所述可穿戴显示器的佩戴者的眼周区域的图像；

非暂态存储器，其被配置为存储所述眼周区域的所述图像；以及

与所述非暂态存储器通信的硬件处理器，所述硬件处理器被编程为：

访问所述佩戴者的所述眼周区域的所述图像；

至少部分地基于所述图像，生成对所述佩戴者的眼周特征进行编码的眼周区域参数；

至少部分地基于所述眼周区域参数，生成下面部参数；以及

至少部分地基于所述下面部参数和所述眼周区域参数，生成所述佩戴者的全面部的表示。

2.根据权利要求1所述的系统，其中，所述眼周特征包括：在所述眼周区域中的眼周肌肉、皱纹、瑕疵、或斑点、眼睑、或眉毛的伸展和压缩。

3.根据权利要求1所述的系统，其中，所述眼周区域参数包括：眼周特征的光流、或对眉毛的抬起或降低的测量。

4.根据权利要求3所述的系统，其中，所述眼周区域参数包括：垂直眼睛中心(VEC)位置。

5.根据权利要求1所述的系统，其中，所述面向内成像系统包括：红外发光二极管(IRLED)或者被配置为检测所述眼周区域的光强度的光反射传感器。

6.根据权利要求1所述的系统，其中，所述硬件处理器被编程为：

测量所述眼周区域中的斑点的光强度；以及

将所述斑点的所述光强度与阈值进行比较，以确定在所述斑点下面的所述眼周区域距所述面向内成像系统的距离。

7.根据权利要求1所述的系统，其中，基于眉毛位置，交叉检查下面部构造的全面部一致性。

8.根据权利要求1所述的系统，还包括音频传感器，其中，针对从所述音频传感器记录的音素，检查下面部构造的一致性。

9.根据权利要求1所述的系统，其中，基于眼睛位置确定所述HMD在所述佩戴者上的配合水平。

10.根据权利要求9所述的系统，其中，所述眼睛位置是根据瞳孔闪烁跟踪来确定的。

11.根据权利要求1所述的系统，还包括眼电(EOG)传感器，其中，所述系统被配置为根据EOG传感器的读数来确定眼睛位置。

12.根据权利要求1所述的系统，其中，所述系统被配置为获得所述佩戴者特定的校准数据。

13.根据权利要求12所述的系统，其中，所述系统被配置为获得所述佩戴者的面部的未被所述面向内成像系统成像的区域的图像，并且其中，所述校准数据包括头部形状或嘴部形状。

14.根据权利要求1所述的系统，其中，所述系统被配置为：针对从先前捕获的眼周区域图像中生成的过去的全面部参数，临时检查所述全面部的所述表示。

15.一种方法，包括：

在可穿戴显示系统的控制下执行以下操作，其中所述可穿戴显示系统包括被配置为捕获所述可穿戴显示的佩戴者的眼周区域的图像的面向内成像系统、被配置为存储所述眼周区域的所述图像的非暂态存储器、以及与所述非暂态存储器通信的硬件处理器：

访问所述佩戴者的所述眼周区域的所述图像；

至少部分地基于所述图像，生成对所述佩戴者的眼周特征进行编码的眼周区域参数；

至少部分地基于所述眼周区域参数，生成下面部参数；以及

至少部分地基于所述下面部参数和所述眼周区域参数，生成所述佩戴者的全面部的表示。

16.一种方法，包括：

在头戴式显示器(HMD)的控制下执行以下操作，其中所述头戴式显示器包括被配置为对所述HMD的佩戴者的眼周区域成像的面向内成像系统和硬件处理器：

经由所述面向内成像系统获取所述佩戴者的所述眼周区域的眼周图像；

至少部分地基于所述眼周图像，生成对所述佩戴者的至少所述眼周区域的眼周构造进行编码的眼周面部参数；

至少部分地基于所述眼周面部参数，生成所述佩戴者的下面部的下面部参数，其中，当由所述佩戴者佩戴所述面向内成像系统时，所述下面部未被所述面向内成像系统观察到；

组合所述眼周面部参数和所述下面部参数，以生成与所述佩戴者的三维(3D)面部模型相关联的全面部参数；以及

存储所述全面部参数，以供渲染引擎生成所述佩戴者的所述面部的3D动画。

17.一种可穿戴系统，包括：

面向内成像系统，其被配置为对所述可穿戴系统的佩戴者的眼周区域成像；

硬件处理器，其被编程为：

经由所述面向内成像系统获取所述佩戴者的所述眼周区域的眼周图像；

至少部分地基于所述眼周图像，生成对所述佩戴者的至少所述眼周区域的眼周构造进行编码的眼周面部参数；

至少部分地基于所述眼周面部参数，生成所述佩戴者的下面部的下面部参数，其中，当由所述佩戴者佩戴所述面向内成像系统时，所述下面部未被所述面向内成像系统观察到；

组合所述眼周面部参数和所述下面部参数，以生成与所述佩戴者的三维(3D)面部模型相关联的全面部参数；以及

存储所述全面部参数，以供渲染引擎生成所述佩戴者的所述面部的3D动画。

18.一种可穿戴显示系统，包括：

面向内成像系统，其被配置为对用户的眼周区域成像；

非暂态存储器，其被配置为存储所述用户的所述眼周区域的图像；

与非暂态存储器通信的硬件处理器，所述硬件处理器被编程为：

访问由所述面向内成像系统获取的眼周图像；

至少部分地基于所述图像，确定针对所述用户的至少所述眼周区域的眼周构造的眼周面部参数；

至少部分地基于所述眼周面部参数，计算针对所述用户的面部的下方区域的下面部参数，所述下方区域未被所述面向内成像系统成像；以及

组合所述眼周面部参数和所述下面部参数，以生成针对所述用户的所述面部的全面部参数。

19.一种方法，包括：

在头戴式显示器(HMD)的控制下执行以下操作，其中所述头戴式显示器包括与非暂态存储器通信的硬件处理器和被配置为对用户的眼周区域成像的面向内成像系统：

访问由所述面向内成像系统获取的眼周图像；

至少部分地基于所述图像，确定针对所述用户的至少所述眼周区域的眼周构造的眼周面部参数；

至少部分地基于所述眼周面部参数，计算针对所述用户的面部的下方区域的下面部参数，所述下方区域未被所述面向内成像系统成像；以及

组合所述眼周面部参数和所述下面部参数，以生成针对所述用户的所述面部的全面部参数。

20.一种可穿戴系统，包括：

面向内成像系统，其被配置为对所述可穿戴系统的佩戴者的眼周区域成像；以及

硬件处理器，其被编程为：

访问经由所述面向内成像系统获得的所述佩戴者的所述眼周区域的眼周图像；

确定所述可穿戴系统在所述佩戴者上的配合水平，其中，所述配合水平包括松散配合或紧密配合；

响应于松散配合的确定，生成对所述佩戴者的至少所述眼周区域的眼周构造进行编码的眼周面部参数，所述眼周面部参数至少部分地基于所述眼周区域中的斑点的强度测量或光流来生成；或者

响应于紧密配合的确定，至少部分地基于所述可穿戴系统相对于所述佩戴者的面部的移动来生成所述眼周面部参数，所述移动是响应于所述佩戴者的面部表情；

至少部分地基于所述眼周面部参数，生成所述佩戴者的下面部的下面部参数，其中，当由所述佩戴者佩戴所述面向内成像系统时，所述下面部未被所述面向内成像系统观察到；以及

组合所述眼周面部参数和所述下面部参数，以生成与所述佩戴者的三维(3D)面部模型相关联的全面部参数。

21.一种方法，包括：

在头戴式显示系统的控制下执行以下操作，其中所述头戴式显示系统包括被配置为对所述可穿戴系统的佩戴者的眼周区域成像的面向内成像系统和硬件处理器；

访问经由所述面向内成像系统获得的所述佩戴者的所述眼周区域的眼周图像；

确定所述可穿戴系统在所述佩戴者上的配合水平，其中，所述配合水平包括松散配合或紧密配合；

响应于松散配合的确定，生成对所述佩戴者的至少所述眼周区域的眼周构造进行编码的眼周面部参数，所述眼周面部参数至少部分地基于所述眼周区域中的斑点的强度测量或光流来生成；或者

响应于紧密配合的确定，至少部分地基于所述可穿戴系统相对于所述佩戴者的面部的移动来生成所述眼周面部参数，所述移动是响应于所述佩戴者的面部表情；

至少部分地基于所述眼周面部参数，生成所述佩戴者的下面部的下面部参数，其中，当由所述佩戴者佩戴所述面向内成像系统时，所述下面部未被所述面向内成像系统观察到；以及

组合所述眼周面部参数和所述下面部参数，以生成与所述佩戴者的三维(3D)面部模型相关联的全面部参数。

Images