CN109564620B

CN109564620B - 增强现实身份验证

Info

Publication number: CN109564620B
Application number: CN201780047039.0A
Authority: CN
Inventors: A·克勒
Original assignee: Magic Leap Inc
Current assignee: Magic Leap Inc
Priority date: 2016-06-03
Filing date: 2017-06-01
Publication date: 2023-06-27
Anticipated expiration: 2037-06-01
Also published as: IL299710A; JP2023103441A; EP3465597A1; EP4350647A3; KR102258047B1; WO2017210419A1; US10534954B2; IL263219A; KR20240036149A; KR20210062747A; CN109564620A; JP2019523929A; KR20190015349A; KR20230047216A; JP7041194B2; AU2022209261A1; EP3465597A4; JP2020144944A; JP2022066540A; KR102648194B1

Abstract

增强现实装置(ARD)可以呈现虚拟内容，其可以提供用户的物理环境的增强体验。例如，ARD可以检测ARD的FOV中的人与物理对象(例如，由人通过的文件)之间的联系或检测文件之间的联系。该联系可用于身份验证或文件验证。

Description

增强现实身份验证

相关申请的交叉引用

本申请要求依据35 U.S.C.§119(e)的2016年6月3日提交的姓名为“增强现实身份验证(AUGMENTED REALITY IDENTITY VERIFICATION)”的美国临时申请No.62/345,438的优先权，其公开内容通过引用整体并入本文。

技术领域

本公开涉及虚拟现实和增强现实成像以及可视化系统，更特别地，涉及增强现实环境中的各种认证技术。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的开发，其中数字再现图像或其部分以它们看起来或可能被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及呈现数字或虚拟图像信息而对其他实际的真实世界视觉输入不透明；增强现实或“AR”场景通常涉及呈现数字或虚拟图像信息，作为对用户周围的真实世界的可视化的增强；混合现实或“MR”涉及将真实世界和虚拟世界融合，以产生物理和虚拟对象共存并实时交互的新环境。事实证明，人类视觉感知系统非常复杂，并且产生有助于连同其它虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现的AR技术是具有挑战性的。本文公开的系统和方法解决了与AR和VR技术相关的各种挑战。

发明内容

公开了用于检测用户环境中的对象/人之间的联系(linkage)或认证(authenticate)对象/人的增强现实系统的各种实施例。

在一个实施例中，公开了一种用于检测AR环境中的联系的增强现实(AR)系统。增强现实系统包括：面向外的成像系统，其被配置为对AR系统的环境成像；AR显示器，其被配置为以三维(3D)视图将虚拟内容呈现给AR系统的用户；以及硬件处理器。硬件处理器被编程为：利用面向外的成像系统获得环境的图像；检测图像中的第一面部和第二面部，其中第一面部是环境中的人的面部，以及其中第二面部是身份证明文件(identification)上的面部；基于与第一面部相关联的第一面部特征来识别第一面部；基于第二个面部特征识别第二个面部；分析第一面部特征和第二面部特征以检测人与身份证明文件之间的联系；以及指示AR显示器呈现虚拟注释(annotation)，该虚拟注释指示第一面部特征和第二面部特征的分析的结果。

在另一实施例中，公开了一种用于检测增强现实环境中的联系的方法。该方法可以在包括面向外的成像成像系统和硬件处理器的增强现实装置的控制下执行，该增强现实装置被配置为向增强现实装置的佩戴者显示虚拟内容。该方法可以包括：获得环境的图像；检测图像中的人、第一文件和第二文件；至少部分地基于对第一文件的图像的分析来提取第一个人信息；访问与第二文件相关联的第二个人信息；至少部分地基于对人的图像的分析来提取人的第三个人信息，其中第一个人信息、第二个人信息和第三个人信息属于同一类别；确定第一个人信息、第二个人信息和第三个人信息之间匹配的可能性；以及响应于确定匹配的可能性超过阈值条件，显示第一文件、第二文件和人之间的联系。

此说明书所述主题的一个或多个实施方式的细节在下面的附图和描述中阐述。从描述、附图和权利要求中，其他特征、方面以及优势将变得显而易见。本发明内容和之后的具体实施方式都不旨在限定或限制本发明主题的范围。

附图说明

图1描绘了具有由人观看到的某些虚拟现实对象和某些物理对象的混合现实场景的图示。

图2示意性地示出了可穿戴显示系统的示例。

图3示意性地示出了使用多个深度平面模拟三维图像的方法的方面。

图4示意性地示出了用于将图像信息输出给用户的波导堆叠的示例。

图5示出了可以由波导输出的示例性出射光束。

图6是示出了光学系统的示意图，该光学系统包括波导装置、用于将光光学耦合到波导装置或光学耦合来自波导装置的光的光学耦合器子系统、以及用于产生多焦点体积显示、图像或光场的控制子系统。

图7是可穿戴系统的示例的框图。

图8是呈现(render)与识别的对象有关的虚拟内容的方法的示例的过程流程图。

图9是可穿戴系统的另一示例的框图。

图10是用于确定到可穿戴系统的用户输入的方法的示例的过程流程图。

图11是用于与虚拟用户界面交互的方法的示例的过程流程图。

图12A示出了通过分析人与文件(document)之间的联系来进行身份(identity)验证的示例。

图12B示出了通过分析两个文件之间的联系来进行身份验证的示例。

图13是用于确定人与由人提供(present)的身份证明文件之间的匹配的示例过程的流程图。

图14是用于确定两个文件之间的匹配的示例过程的流程图。

图15是用于确定人与多个文件之间的匹配的示例过程的流程图。

在整个附图中，可以重复使用附图标记来指示所引用的元件之间的对应关系。提供附图是为了说明本文描述的示例实施例，而不是为了限制本公开的范围。另外，本公开中的附图是出于说明目的而未按比例绘制。

具体实施方式

概述

增强现实装置(ARD)可以呈现虚拟内容，该虚拟内容可以增强用户与用户的物理环境的视觉或交互体验。除了通过ARD看到的物理内容之外，用户还可以感知虚拟内容。

例如，在机场安全检查点，旅行者通常将他或她的身份证明文件(例如，驾驶执照或护照)提供给可能佩戴ARD的检查员。驾驶执照可能包括辨识(identify)信息，例如旅行者的姓名、照片、年龄、身高等。旅行者还可以提供票，该票可以包括诸如旅行者的姓名、目的地、承运人等的旅行信息。检查员可以通过ARD查看旅行者(以及旅行者环境中的其他人)和旅行者的文件。ARD可以对旅行者和旅行者的文件进行成像，并检测旅行者的文件与旅行者(或环境中的其他人，例如旅行伙伴)之间的联系。

例如，ARD可以对旅行者的护照进行成像以检测旅行者的照片并将其与ARD上的面向外的相机获得的旅行者的图像进行比较，以确定护照照片是否是旅行者的照片。ARD可以对旅行者的票进行成像，并确定票上的名字并将其与旅行者护照上的名字进行比较。ARD可以提供视觉聚焦指示符(visual focus indicator)，其显示关于在文件之间或文件与旅行者之间发现的联系的信息。例如，ARD可以在护照照片周围和旅行者周围显示边界，并且显示虚拟图形，该虚拟图形示出旅行者与照片中示出的人之间匹配的可能性(例如，旅行者的面部特征与护照上的照片匹配)。检查员可以使用ARD显示的虚拟信息来使旅行者通过安检(如果照片和旅行者之间的联系匹配度高)或采取进一步行动(如果联系匹配度低)。

ARD可以附加地或可选地通过验证关于票上的信息与身份证明文件上的信息(例如，姓名或地址)匹配来确定旅行者是与由票发布(issue)的人相同的人。

有利地，ARD可以改善重复任务(例如，对大量个体重复身份验证任务)中劣化的视觉分析和判断的问题，并且如果身份验证要由人工检查员进行(而不是由ARD进行的程序化图像比较)，则提高身份验证的准确性。然而，使用ARD用于身份验证还可能提供对于装置独特的挑战，因为ARD可能没有配备人类认知来例如通过辨识面部和比较面部特征而识别和比较人类特征。此外，ARD可能不知道在身份验证过程期间要查找什么，因为ARD可能无法辨识需要验证的人或文件。为了解决这些挑战，ARD可以使用其成像系统来获得文件和提供文件的人的图像。ARD可以辨识关于文件的信息(例如，文件发布的人的面部的图像)并辨识此人的相关特征(例如，面部或其他身体特征)。ARD可以将来自文件的信息与人的特征进行比较并计算置信水平。当置信水平高于阈值时，ARD可以确定提供文件的人确实是文件描述的人。ARD还可以提取文件的其他辨识信息(例如，年龄、身高、性别)，并将提取的信息与从人估计的对应特征进行比较。ARD可以呈现向ARD的佩戴者提供显示匹配(或不匹配)的注释。例如，可以突出显示驾驶执照上的图像并将其链接(link)到此人的面部以显示匹配或不匹配。参考图12A-15进一步描述与提供ARD的身份验证有关的另外的细节。

作为对用户环境中的物理对象提供增强用户体验的另一示例，ARD可以辨识用户环境中的物理对象的联系。继续前一段中的示例，旅行者可以向检查员提供多个文件。例如，航空公司乘客可以提供驾驶执照(或护照)以及机票。ARD可以通过获得文件的图像来分析这样的多个文件的联系。ARD可以将从一个文件提取的信息与从另一个文件提取的信息进行比较，以确定两个文件中的信息是否一致。例如，ARD可以从驾驶执照中提取姓名，并将其与从机票中提取的姓名进行比较，以确定机票和驾驶执照是否可能被发布给同一个人。如上所述，ARD可以辨识来自驾驶执照的图像到到人的图像的面部匹配，以确定人、驾驶执照和机票彼此相关联。在一些实施例中，ARD可以从文件中的一者(例如，条形码)提取信息并从另一数据源检索附加信息。ARD可以将检索到的信息与从文件的图像中提取的信息进行比较。如果两个文件之间的信息不一致，则ARD可能会确定其中一个或两个文件是伪造的。在一些实施例中，当两个文件之间的信息看起来不一致时，ARD可以进行附加分析或要求ARD的用户人工验证信息。另一方面，如果ARD确定两个文件中的信息一致，则ARD可以发现任一文件有效或两个文件都有效。此外，通过将从文件提取的辨识信息与从人的图像中提取的辨识信息进行匹配，ARD可以确定该人是否可能被发布一个或两个文件。

尽管参考ARD描述了示例，但是本公开中的系统和方法不需要由ARD实现。例如，用于身份和文件验证的系统和方法可以是机器人系统、安全系统(例如，在交通枢纽)或其他计算系统(诸如自动旅行登记机器)的一部分。此外，本文描述的一个或多个特征和过程不需要由ARD本身执行。例如，从图像提取信息的过程可以由另一计算装置(例如，远程服务器)执行。

此外，本文描述的装置和技术不限于旅行中心的安全性的示例性背景，而是可以应用于期望从文件提取信息、在文件或人之间进行比较、辨识装置的环境中的人、提高安全性等的任何背景下。例如，游乐园或娱乐场所的票接收者可以使用本文描述的技术和装置的实施例来准许(或拒绝准许)进入公园或场所的顾客。类似地，安全设施(例如，私人实验室或仓库、办公楼、监狱等)的警卫或警官可以使用ARD对人和身份证明文件进行成像。在其他应用中，通过ARD查看多个文件的人(例如，查看发票、收据和帐户分类帐的会计师)可以使用ARD的能力来辨识或突出可能存在于正在查看的文件上的信息(例如，会计师的ARD可以突出包括特定人的姓名或费用的文件，以便会计师可以更容易地将收据与发票核对(reconcile)等)，以加快任务。

可穿戴系统的3D显示的示例

可穿戴系统(本文也称为增强现实(AR)系统)可以被配置为向用户呈现2D或3D虚拟图像。图像可以是静止图像、视频的帧或视频以及其组合等。可穿戴系统可以包括可穿戴装置，该可穿戴装置可以单独或组合地呈现VR、AR或MR环境以用于用户交互。可穿戴装置可以是可互换地用作AR装置(ARD)的头戴式装置(HMD)。此外，为了本公开的目的，术语“AR”可与术语“MR”交换地使用。

图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景的示例。在图1中，描绘了MR场景100，其中MR技术的用户看到以人、树木、背景中的建筑物和混凝土平台120为特征的真实世界公园状设置110。除了这些项目之外，MR技术的用户同样感知到他“看到”站在真实世界平台120上的机器人雕像130，以及飞过的卡通式化身角色140，该化身角色140看起来是大黄蜂的化身，即使这些元素在真实世界中不存在。

为了使3D显示产生真实的深度感，更具体地，产生模拟的表面深度感，可能期望显示器视场中的每个点产生与其虚拟深度对应的适应(accommodative)响应。如果对显示点的适应响应未与该点的虚拟深度对应，如通过会聚和立体视觉的双目深度提示所确定的，则人眼可能经历适应冲突，导致不稳定的成像、有害的眼睛疲劳、头痛，以及在缺乏适应信息的情况下，几乎完全缺少表面深度。

VR、AR和MR体验可以由具有显示器的显示系统提供，在显示器中，与多个深度平面对应的图像被提供给观看者。对于每个深度平面，图像可以是不同的(例如，提供场景或对象的略微不同的呈现)，并且该图像可以由观看者的眼睛单独聚焦，从而有助于基于需要被聚焦到位于不同深度平面上的场景的不同图像特征的眼睛的适应或基于观察离焦的不同深度平面上的不同图像特征，为用户提供深度提示。如本文其他地方所讨论的，这种深度提示提供了可靠的深度感知。

图2示出了可穿戴系统200的示例。显示系统200包括显示器62、以及支持该显示器220的功能的各种机械和电子模块和系统。显示器220可以与框架230耦接，该框架可以由用户、佩戴者或观看者210佩戴。可以将显示器220定位在用户210的眼睛前方。显示器220可以向用户呈现AR/VR/MR内容。显示器220可以包括佩戴在用户的头部上的头戴式显示器。在一些实施例中，扬声器240被耦接到框架230并且位于用户的耳道附近(在一些实施例中，另一扬声器(未示出)位于用户的另一耳道附近以提供立体声/可塑形声音控制)。显示器220可以包括音频传感器232(例如，麦克风)，用于检测来自环境的音频流，其中语音识别要在该环境上执行。

可穿戴系统200可以包括观察用户周围的环境中的世界的面向外的成像系统464(如图4所示)。可穿戴系统200还可以包括能够跟踪用户的眼睛运动的面向内的成像系统462(如图4所示)。面向内的成像系统可以跟踪一只眼睛的运动或两只眼睛的运动。面向内的成像系统462可以附到框架230并且可以与处理模块260或270电通信，处理模块260或270可以处理由面向内的成像系统获取的图像信息以确定例如眼睛的瞳孔直径或取向、用户210的眼睛运动或眼睛姿态。

作为示例，可穿戴系统200可以使用面向外的成像系统464或面向内的成像系统462来获取用户姿态的图像。图像可以是静止图像、视频的帧或视频以及其组合等。

显示器220可以可操作地(诸如通过有线引线或无线连接)被耦接250到本地数据处理和模块260，本地数据处理和模块260可以以各种配置安装，诸如被固定地附到框架230上、被固定地附到由用户佩戴的头盔或帽子上、被嵌入头戴耳机内、或者其它的可拆卸地附到用户210(例如，以背包式配置、以带耦接式配置)。

本地处理和数据模块260可以包括硬件处理器以及诸如非易失性存储器(例如，闪速存储器)的数字存储器，这两者都可用于辅助处理、高速缓存和存储数据。该数据可以包括：a)从传感器(其例如可以可操作地耦接到框架230或者其它的可操作地附到用户210)捕捉的数据，所述传感器例如为图像捕捉装置(例如，面向内的成像系统或面向外的成像系统中的相机)、音频传感器232(例如，麦克风)、惯性测量单元(IMU)、加速度计、罗盘、全球定位系统(GPS)单元、无线电设备或陀螺仪；或b)使用远程处理模块270或远程数据储存库280获取和/或处理的数据，这些数据可以在这样的处理或检索之后被传送到显示器220。本地处理和数据模块260可以诸如经由有线或无线通信链路可操作地通过通信链路262或264耦接到远程处理模块270或远程数据储存库280，使得这些远程模块可用作本地处理和数据模块260的资源。此外，远程处理模块280和远程数据储存库280可以可操作地彼此耦接。

在一些实施例中，远程处理模块270可以包括一个或多个处理器，这些硬件处理器被配置为分析和处理数据或图像信息。在一些实施例中，远程数据储存库280可以包括数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置而可用。在一些实施例中，在本地处理和数据模块中存储所有数据并且执行所有计算，从而允许从远程模块完全自主的使用。

人类视觉系统是复杂的并且提供对深度的真实感知是具有挑战性的。不受理论的限制，据信对象的观看者可能由于聚散和适应的组合而将对象感知为三维的。两只眼睛相对于彼此的聚散运动(即，瞳孔向着彼此或远离彼此以会聚眼睛的视线来注视对象的转动动作)与眼睛的晶状体的聚焦(或“适应”)紧密相关。在正常情况下，改变眼睛的晶状体的聚焦或者使眼睛适应以将聚焦从一个对象改变到位于不同距离处的另一对象，将会在被称为“适应-聚散度反射(accommodation-vergence reflex)”的关系下自动导致到相同距离的聚散度的匹配变化。同样，在正常情况下，聚散度的变化将引发适应的匹配变化。提供适应与聚散度之间的更好匹配的显示系统可以形成更逼真和更舒适的三维图像模拟。

图3示出了示出了使用多个深度平面模拟三维图像的方法的方面。参考图3，在z轴上距眼睛302和304的不同距离处的对象由眼睛302和304适应，以使得那些对象对焦(infocus)。眼睛302和304呈现特定的适应状态，以使沿着z轴的不同距离处的对象进入焦点。因此，可以说特定的适应状态与深度平面306中的特定一个深度平面相关联，该特定深度平面具有相关联的焦距，以使得当眼睛处于该深度平面的适应状态时，特定深度平面中的对象或对象的部分对焦。在一些实施例中，可以通过为眼睛302和304中的每一者提供图像的不同呈现来模拟三维图像，并且还可以通过提供与深度平面中每一个深度平面对应的图像的不同呈现来模拟三维图像。尽管为了清楚说明而示出为分离的，但应理解的是，例如，随着沿着z轴的距离增加，眼睛302和304的视场可以重叠。另外，虽然为了便于说明而示出为平坦的，但应理解的是，深度平面的外形可以在物理空间中是弯曲的，使得深度平面中的所有特征在特定的适应状态下与眼睛对焦。不受理论的限制，据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现，可以实现高度可信的感知深度模拟。

波导堆叠组件

图4示出了示出了用于向用户输出图像信息的波导堆叠的示例。可穿戴系统400包括可以用于采用多个波导432b、434b、436b、438b、4400b向眼睛/大脑提供三维感知的波导堆叠或堆叠波导组件480。在一些实施例中，可穿戴系统400可对应于图2的可穿戴系统200，其中图4更详细地示意性地示出了该可穿戴系统200的一些部分。例如，在一些实施例中，波导组件480可以集成到图2的显示器220。

继续参考图4，波导组件480可以还包括位于波导之间的多个特征458、456、454、452。在一些实施例中，特征458、456、454、452可以是透镜。在其他实施例中，特征458、456、454、452可以不是透镜。然而，它们可以简单地是隔离物(例如，用于形成气隙的覆层或结构)。

波导432b、434b、436b、438b、440b或多个透镜458、456、454、452可以被配置为以各种级别的波前曲率或光线发散向眼睛发送图像信息。每个波导级别可以与特定的深度平面相关联，并且可以被配置为输出与该深度平面对应的图像信息。图像注入装置420、422、424、426、428可以用于将图像信息注入到波导440b、438b、436b、434b、432b中，其中的每个波导可以被配置为分配入射光穿过每个相应的波导，用于向眼睛410输出。光离开图像注入装置420、422、424、426、428的输出表面并被注入到波导440b、438b、436b、434b、432b的相应输入边缘。在一些实施例中，可以将单个光束(例如，准直光束)注入到每个波导中，以便以与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛410定向的克隆准直光束的整个视场。

在一些实施例中，图像注入装置420、422、424、426、428是分立的显示器，每个显示器产生用于分别注入到相应波导440b、438b、436b、434b、432b中的图像信息。在一些其它实施例中，图像注入装置420、422、424、426、428是单个复用显示器的输出端，其可以例如经由一个或多个光导管(诸如，光纤线缆)向图像注入装置420、422、424、426、428中的每一个图像注入装置用管输送图像信息。

控制器460控制堆叠波导组件480和图像注入装置420、422、424、426、428的操作。在一些实施例中，控制器460包括编程(例如，非暂时性计算机可读介质中的指令)，该编程调整图像信息到波导440b、438b、436b、434b、432b的定时和提供。在一些实施例中，控制器460可以是单个整体装置，或者是通过有线或无线通信通道连接的分布式系统。在一些实施例中，控制器460可以是处理模块260或270(在图2中示出)的部分。

波导440b、438b、436b、434b、432b可以被配置为通过全内反射(TIR)在每个相应的波导内传播光。波导440b、438b、436b、434b、432b可以各自是平面的或具有其它形状(例如，曲面的)，其具有顶部主表面和底部主表面以及在这些顶部主表面与底部主表面之间延伸的边缘。在所示的配置中，波导440b、438b、436b、434b、432b可以各自包括光提取学元件440a、438a、436a、434a、432a，这些耦出光学元件被配置为通过将每一个相应波导内传播的光重定向到波导外而将光提取到波导外，以向眼睛410输出图像信息。所提取的光也可以被称为耦出光，并且光提取光学元件也可以被称为耦出光学元件。所提取的光束在波导中传播的光照射到光重定向元件。光提取光学元件(440a、438a、436a、434a、432a)可以例如为反射或衍射光学特征。虽然为了便于描述和清晰绘图起见而将其图示为设置在波导440b、438b、436b、434b、432b的底部主表面处，但是在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以设置在顶部和/或底部主表面处，和/或可以直接设置在波导440b、438b、436b、434b、432b的体积中。在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以形成在被附接到透明基板的材料层中以形成波导440b、438b、436b、434b、432b。在一些其它实施例中，波导440b、438b、436b、434b、432b可以是单片材料，并且光提取光学元件440a、438a、436a、434a、432a可以形成在该片材料的表面上或该片材料的内部中。

继续参考图4，如本文所讨论的，每个波导440b、438b、436b、434b、432b被配置为输出光以形成与特定深度平面对应的图像。例如，最接近眼睛的波导432b可以被配置为将如注入到这种波导432b中的准直光传送到眼睛410。准直光可以代表光学无限远焦平面。下一个上行波导434b可以被配置为将穿过第一透镜452(例如，负透镜)的准直光在其可以到达眼睛410之前发送出。第一透镜452可以被配置为产生轻微凸面的波前曲率，使得眼睛/大脑将来自下一个上行波导434b的光解释为来自第一焦平面，该第一焦平面从光学无限远处更靠近向内朝向眼睛410。类似地，第三上行波导436b使其输出光在到达眼睛410之前穿过第一透镜452和第二透镜454；第一和第二透镜452和454的组合光焦度(optical power)可被配置为产生另一增量的波前曲率，以使得眼睛/大脑将来自第三波导436b的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自下一个上行波导434b的光更靠近向内朝向人。

其它波导层(例如，波导438b、440b)和透镜(例如，透镜456、458)被类似地配置，其中堆叠中的最高波导440b通过它与眼睛之间的所有透镜发送其输出，用于代表最靠近人的焦平面的聚合焦度(aggregate focal power)。当在堆叠波导组件480的另一侧上观看/解释来自世界470的光时，为了补偿透镜458、456、454、452的堆叠，补偿透镜层430可以设置在堆叠的顶部处以补偿下面的透镜堆叠458、456、454、452的聚合焦度。这种配置提供了与可用波导/透镜配对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面可以是静态的(例如，不是动态的或电活性的)。在一些替代实施例中，两者之一或两者都可以是使用电活性特征而动态的。

继续参考图4，光提取光学元件440a、438a、436a、434a、432a可以被配置为将光重定向到它们相应的波导之外并且针对与该波导相关联的特定深度平面输出具有适当的发散量或准直量的该光。结果，具有不同相关联深度平面的波导可具有不同的光提取光学元件的配置，这些耦出光学元件依赖于相关联的深度平面而输出具有不同发散量的光。在一些实施例中，如本文所讨论的，光提取光学元件440a、438a、436a、434a、432a可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件440a、438a、436a、434a、432a可以是体积全息图、表面全息图和/或衍射光栅。诸如衍射光栅光提取光学元件在2015年6月25日公开的美国专利公开No.2015/0178939中有所描述，该专利公开的全部内容通过引用合并于此。

在一些实施例中，光提取光学元件440a、438a、436a、434a、432a是形成衍射图案的衍射特征，或者说“衍射光学元件”(在此也称为“DOE”)。优选地，DOE具有相对低的衍射效率，以使得光束的仅一部分光通过DOE的每一个交点而偏转向眼睛410，而其余部分经由全内反射而继续移动通过波导。携带图像信息的光可以因此被分成多个相关的出射光束，这些出射光束在多个位置处离开波导，并且结果对于在波导内反弹的该特定准直光束是朝向眼睛304的相当均匀图案的出射发射。

在一些实施例中，一个或多个DOE可以在它们活跃地衍射的“开”状态与它们不显著衍射的“关”状态之间可切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以被切换为基本上匹配主体材料的折射率(在这种情况下，图案不会明显地衍射入射光)，或者微滴可以被切换为与主体介质的折射率不匹配的折射率(在这种情况下，该图案活跃地衍射入射光)。

在一些实施例中，深度平面或景深的数量和分布可以基于观看者的眼睛的瞳孔尺寸或取向动态地改变。景深可以与观看者的瞳孔尺寸成反比地改变。结果，随着观看者眼睛的瞳孔的尺寸减小，景深增加使得一个平面不可辨别，因为该平面的位置超出眼睛的焦深，随着瞳孔尺寸的减少和相应的景深增加，该平面可能变得可辨别并且看起来更加对焦。同样地，用于向观看者呈现不同图像的间隔开的深度平面的数量可以随着瞳孔尺寸的减小而减小。例如，在不调节眼睛离开一个深度平面并到另一个深度平面的适应的情况下，观看者可能无法以一个瞳孔尺寸清楚地感知第一深度平面和第二深度平面的细节。然而，这两个深度平面可以在不改变适应的情况下以另一瞳孔尺寸同时充分地对焦于用户。

在一些实施例中，显示系统可以基于瞳孔尺寸或取向的确定或者在接收到指示特定瞳孔尺寸或取向的电信号之后，改变接收图像信息的波导的数量。例如，如果用户的眼睛不能区分与两个波导相关联的两个深度平面，则控制器460(其可以是本地处理和数据模块260的实施例)可以被配置或编程为停止向这些波导中的一个提供图像信息。有利地，这可以减少系统上的处理负担，从而增加系统的响应性。在用于波导的DOE可在接通和断开状态之间切换的实施例中，当波导确实接收图像信息时，DOE可以切换到断开状态。

在一些实施例中，可以期望使出射光束满足直径小于观看者眼睛直径的条件。然而，考虑到观看者瞳孔尺寸的变化，满足这种条件可能是具有挑战性的。在一些实施例中，通过响应于观看者瞳孔的尺寸的确定而改变出射光束的尺寸，在宽范围的瞳孔尺寸上满足该条件。例如，随着瞳孔尺寸减小，出射光束的尺寸也可能减小。在一些实施例中，可以使用可变孔径来改变出射光束尺寸。

可穿戴系统400可包括对世界470的一部分成像的面向外的成像系统464(例如，数码相机)。世界470的该部分可被称为世界相机的视场(FOV)，并且成像系统464有时被称为FOV相机。可供观看者观看或成像的整个区域可被称为注视场(field of regard)(FOR)。FOR可以包括围绕可穿戴系统400的立体角的4π球面度(steradian)，因为佩戴者可以移动他的身体、头部或眼睛以基本上感知空间中的任何方向。在其他背景下，佩戴者的运动可能更加狭窄，因此佩戴者的FOR可以对着较小的立体角。从面向外的成像系统464获得的图像可用于跟踪用户做出的手势(例如，手或手指手势)、检测用户前方的世界470中的对象等等。

可穿戴系统400还可包括面向内的成像系统466(例如，数码相机)，其观察用户的运动，诸如眼睛运动和面部运动。面向内的成像系统466可用于捕捉眼睛410的图像以确定眼睛410的瞳孔的尺寸和/或取向。面向内的成像系统466可用于获得用于确定用户正在看的方向的图像(例如，眼睛姿态)或用于用户的生物辨识的图像(例如，经由虹膜辨识)。在一些实施例中，每只眼睛可以利用至少一个相机，以分别单独地确定每只眼睛的瞳孔尺寸和眼睛姿态，从而允许向每只眼睛呈现图像信息以动态地为该眼睛设计。在一些其他实施例中，仅确定单个眼睛410的瞳孔直径或取向(例如，每对眼睛仅使用单个相机)并且假设用户的双眼是类似的。可以分析由面向内的成像系统466获得的图像以确定用户的眼睛姿态或情绪，这可以被可穿戴系统400使用来决定应该向用户呈现哪个音频或视觉内容。可穿戴系统400还可以使用诸如IMU、加速度计、陀螺仪等的传感器来确定头部姿态(例如，头部位置或头部取向)。

可穿戴系统400可以包括用户输入装置466，用户可以通过该用户输入装置466向控制器460输入命令以与系统400交互。例如，用户输入装置466可以包括轨迹垫(trackpad)、触摸屏、操纵杆、多自由度(DOF)控制器、电容感应装置、游戏控制器、键盘、鼠标、方向垫(D-pad)、棒(wand)、触觉装置、图腾(totem)(例如，用作虚拟用户输入装置)等等。多DOF控制器可以感测控制器的一些或全部可能的平移(例如，左/右、前/后或上/下)或旋转(例如，偏航(yaw)、俯仰(pitch)或滚转(roll))中的用户输入。支持平移运动的多DOF控制器可以被称为3DOF，而支持平移和旋转的多DOF控制器可以被称为6DOF。在一些情况下，用户可以使用手指(例如，拇指)在触控敏感输入装置上按压或滑动以向可穿戴系统400提供输入(例如，向可穿戴系统400提供的用户界面提供用户输入)。在使用可穿戴系统400期间，用户输入装置466可以由用户的手握持。用户输入装置466可以与可穿戴系统400进行有线或无线通信。

图5示出了由波导输出的出射光束的示例。示出了一个波导，但是应该理解，波导组件480中的其它波导可以类似地起作用，其中波导组件480包括多个波导。光520在波导432b的输入边缘432c处被注入到波导432b中，并且通过TIR在波导432b内传播。在光5200照射在DOE 432a上的点处，一部分光如出射光束510离开波导。出射光束510被示出为基本上平行，但是依赖于与波导432b相关联的深度平面，出射光束510也可以以一角度(例如，形成发散的出射光束)被重定向以传播到眼睛410。应该理解，基本上平行的出射光束可以指示具有光提取光学元件的波导，所述耦出光学元件将光耦出以形成看起来被设置在距眼睛410较大距离(例如，光学无穷远)处的深度平面上的图像。其它波导或者其它光提取光学元件组可以输出更加发散的出射光束图案，这将需要眼睛410适应更近距离以将其聚焦在视网膜上并且将被大脑解释为来自比光学无穷远更接近眼睛410的距离的光。

图6是示出光学系统的示意图，该光学系统包括波导装置、将光光学耦合到波导装置或光学耦合来自波导装置的光的光学耦合器子系统以及控制子系统，用于产生多焦点体积显示、图像或光场。光学系统可以包括波导装置、将光光学耦合到波导装置或光学耦合来自波导装置的光的光学耦合器子系统以及控制子系统。光学系统可用于产生多焦点体积、图像或光场。光学系统可以包括一个或多个主平面波导632a(图6中仅示出一个)和与至少一些主波导632a中的每一个相关联的一个或多个DOE 632b。平面波导632b可以类似于参考图4讨论的波导432b、434b、436b、438b、440b。光学系统可采用分布波导装置，以沿第一轴(图6的视图中的垂直或Y轴)中继(relay)光并沿第一轴(例如，Y轴)扩展光的有效出射光瞳。分布波导装置可以例如包括分布平面波导622b和与分布平面波导622b相关联的至少一个DOE 622a(由双点划线示出)。分布平面波导3在至少一些方面可以与主平面波导1相似或相同，具有与其不同的取向。同样地，所述至少一个DOE 622a在至少一些方面可以与DOE632a相似或相同。例如，分布平面波导622b或DOE 622a可以分别由与主平面波导632b或DOE632a相同的材料构成。图6所示的光学显示系统600的实施例可以集成到图2所示的可穿戴系统200中。

中继和出射光瞳扩展光可以被从分布波导装置光学耦合到一个或多个主平面波导632b中。主平面波导632b可以沿第二轴中继光，该第二轴优选地与第一轴正交，(例如，考虑图6的水平或X轴)。值得注意的是，第二轴可以是与第一轴的非正交轴。主平面波导632b沿着第二轴(例如，X轴)扩展光的有效出射光瞳。例如，分布平面波导622b可以沿垂直或Y轴中继和扩展光，并将该光传递到可以沿水平或X轴中继和扩展光的主平面波导632b。

光学系统可以包括一个或多个彩色光源(例如，红色、绿色和蓝色激光)610，其可以光学耦合到单模光纤640的近端。光纤640的远端可以通过压电材料的中空管642穿过或接收。远端作为固定的自由柔性悬臂644从管642突出。压电管642可以与四个象限电极(未示出)相关联。例如，电极可以镀在管642的外部、外表面或外周或直径上。芯电极(未示出)也可以位于管642的芯、中心、内周或内径中。

例如经由导线660电耦合的驱动电子器件650驱动相对的电极对以独立地在两个轴上弯曲压电管642。光纤644的突出远端尖端具有机械共振模式。共振频率可以取决于光纤644的直径、长度和材料特性。通过在光纤悬臂644的第一机械共振模式附近振动压电管642，可以使光纤悬臂644振动，并且可以扫过(sweep)大的偏转(deflection)。

通过在两个轴上刺激共振，在面积填充二维(2D)扫描中双轴扫描光纤悬臂644的尖端。通过与光纤悬臂644的扫描同步地调制光源610的强度，从光纤悬臂644出射的光可以形成图像。在美国专利公开No.2014/0003762中提供了对这种设置的描述，该公开的全部内容通过引用合并于此。

光耦合器子系统的部件可以使从扫描光纤悬臂644射出的光准直。准直光可以被镜面648反射到包含至少一个衍射光学元件(DOE)622a的窄分布平面波导622b中。准直光可以通过TIR沿着分布平面波导622b垂直地(相对于图6的视图)传播，由此与DOE 622a重复交叉。DOE 622a优选地具有低衍射效率。这导致光的部分(例如，10％)在与DOE 622a的每个交叉点处朝向较大的主平面波导632b的边缘衍射，并且光的部分经由TIR继续在其原始轨迹上向下行进分布平面波导622b的长度。

在与DOE 622a的每个交叉点处，附加光可以朝向主波导632b的入口衍射。通过将入射光分成多个耦出(outcouple)组，光的出射光瞳可以在分布平面波导622b中被DOE622a垂直扩展。这种从分布平面波导622b耦出的垂直扩展的光可以进入主平面波导632b的边缘。

进入主波导632b的光可以经由TIR沿着主波导632b水平传播(相对于图6的视图)。由于光在多个点处与DOE 632a相交，它经由TIR沿着主波导632b的至少部分长度水平传播。DOE 632a可以有利地被设计或被配置为具有相位轮廓，该相位轮廓是线性衍射图案和径向对称衍射图案的总和，以产生光的偏转和聚焦。DOE 632a可以有利地具有低衍射效率(例如，10％)，使得在DOE 632a的每个交叉点处光束的仅部分光朝向视图的眼睛偏转，而其余的光继续经由TIR传播通过主波导632b。

在传播光和DOE 632a之间的每个交叉点处，部分光朝向允许光从TIR逸出的主波导632b的相邻面衍射，并从主波导632b的面出射。在一些实施例中，DOE 632a的径向对称衍射图案另外赋予衍射光的聚焦水平，使单个光束的光波前成形(例如，赋予曲率)以及以与设计的聚焦水平相匹配的角度操纵光束。

因此，这些不同的路径可以使光通过多个DOE 632a从主平面波导632b耦出，所述多个DOE 632a具有不同的角度、聚焦水平或在出射光瞳处产生不同的填充图案。出射光瞳处的不同填充图案可以有利地用于创建具有多个深度平面的光场显示。波导组件中的每个层或堆叠中的一组层(例如，3层)可用于产生相应的颜色(例如，红色、蓝色、绿色)。由此，例如，可以采用第一组三个相邻层在第一焦深处分别产生红色、蓝色和绿色光。可以采用第二组三个相邻层在第二焦深处分别产生红色、蓝色和绿色光。可以采用多个组来生成具有各种焦深的全3D或4D彩色图像光场。

可穿戴系统的其他组件

在许多实施方式中，可穿戴系统可以包括除上述可穿戴系统的组件之外或作为其替代的其他组件。可穿戴系统可以例如包括一个或多个触觉装置或组件。触觉装置或组件可用于向用户提供触感。例如，当触摸虚拟内容(例如，虚拟对象、虚拟工具、其他虚拟构造)时，触觉装置或组件可以提供压力或纹理的触感。触感可以复制虚拟对象所代表的物理对象的感觉或者可以复制虚拟内容所代表的想象的对象或角色(例如，龙)的感觉。在一些实施方式中，用户可以佩戴触觉装置或组件(例如，用户可穿戴的手套)。在一些实施方式中，触觉装置或组件可以由用户持有。

可穿戴系统可以例如包括一个或多个物理对象，这些物理对象可由用户操纵以允许与可穿戴系统的输入或交互。这些物理对象在此可以称为图腾。一些图腾可以采用无生命对象的形式，诸如例如，一件金属或塑料、墙壁、桌子的表面。在某些实施方式中，图腾实际上可能不具有任何物理输入结构(例如，键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以仅提供物理表面，并且可穿戴系统可以呈现用户界面，以使用户看起来在图腾的一个或多个表面上。例如，可穿戴系统可以使计算机键盘和触控板的图像呈现为看起来位于图腾的一个或多个表面上。例如，可穿戴系统可以使虚拟计算机键盘和虚拟触控板呈现为看起来在用作图腾的矩形薄铝板的表面上。该矩形板本身没有任何物理键或触控板或传感器。然而，由于经由虚拟键盘和/或虚拟触控板进行选择或输入，因此可穿戴系统可以借助该矩形板检测到用户操纵或交互或触摸。用户输入装置466(图4中所示)可以是图腾的实施例，其可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆或虚拟开关、鼠标、键盘、多自由度控制器或其他物理输入装置。用户可以单独或与姿态组合使用图腾来与可穿戴系统或其他用户交互。

在美国专利公开No.2015/0016777中描述了可与本公开的可穿戴装置、HMD和显示系统一起使用的触觉装置和图腾的示例，其全部内容通过引用并入此文。

示例可穿戴系统、环境和界面

可穿戴系统可以采用各种映射相关技术，以便在呈现的光场中实现高景深。在映射出虚拟世界时，了解真实世界中的所有特征和点以准确地描绘与真实世界相关的虚拟对象是有利的。为此，通过包括传送关于真实世界的各种点和特征的信息的新图片，可以将从可穿戴系统的用户捕捉的FOV图像添加到世界模型。例如，可穿戴系统可以收集映射点的组(诸如2D点或3D点)并找到新的映射点以呈现世界模型的更准确的版本。可以将第一用户的世界模型(例如，通过诸如云网络的网络)传送给第二用户，使得第二用户可以体验第一用户周围的世界。

图7是MR环境700的示例的框图。MR环境700可以被配置为接收来自一个或多个用户可穿戴系统(例如，可穿戴系统200或显示系统220)或固定室内系统(例如，室内相机等)的输入(例如，来自用户的可穿戴系统的视觉输入702、诸如室内相机的固定输入704、来自各种传感器的感觉输入706、手势(gesture)、图腾、眼睛跟踪、来自用户输入装置466的用户输入等)。可穿戴系统可以使用各种传感器(例如，加速度计、陀螺仪、温度传感器、运动传感器、深度传感器、GPS传感器、面向内的成像系统、面向外的成像系统等)来确定用户的环境的位置和各种其他属性。该信息可以进一步被补充有来自室内中的固定相机的信息，其可以从不同的视点提供图像或各种提示。由相机(诸如室内相机和/或面向外的成像系统的相机)获取的图像数据可以被减少(reduce)为映射点的组。

一个或多个对象识别器708可以爬行通过所接收的数据(例如，点的集合)并且在映射数据库710的帮助下识别或映射点、标记图像、将语义信息附到对象。映射数据库710可以包括随时间收集的各种点及其对应的对象。各种装置和映射数据库可以通过网络(例如，LAN、WAN等)彼此连接以访问云。

基于该信息和映射数据库中的点的集合，对象识别器708a至708n可以识别环境中的对象。例如，对象识别器可以识别面部、人、窗、墙、用户输入装置、电视、文件(例如，本文安全性示例中描述的旅行票、驾驶执照、护照)、用户环境中的其他对象等。一个或多个对象识别器可以专用于具有某些特性的对象。例如，对象识别器708a可以用于识别面部，而另一个对象识别器可以用于识别文件。

可以使用各种计算机视觉技术来执行对象识别。例如，可穿戴系统可以分析由面向外的成像系统464(图4中所示)获取的图像以执行场景重建、事件检测、视频跟踪、对象识别(例如，人或文件)、对象姿态估计、面部识别(例如，来自环境中的人或文件上的图像)、学习、索引、运动估计或图像分析(例如，辨识文件内的记号(indicia)，诸如照片、签名、身份证明信息、旅行信息等)等等。可以使用一个或多个计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括：标度(scale)不变特征变换(SIFT)、加速稳健(robust)特征(SURF)、定向(orient)FAST和旋转(rotate)BRIEF(ORB)、二进制稳健不变可缩放关键点(BRISK)、快速视网膜关键点(FREAK)、Viola-Jones算法、Eigenfaces方法、Lucas-Kanade算法、Horn-Schunk算法、Mean-shift算法、视觉同步定位和映射(vSLAM)技术、序贯(sequential)贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、束调整、自适应阈值(和其他阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(诸如，支持向量机、k-最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)、或其他有监督/无监督模型等)等等。

附加地或可选地，对象识别可以通过各种机器学习算法来执行。一旦经过训练，机器学习算法就可以由HMD存储。机器学习算法的一些示例可以包括监督或非监督机器学习算法，其包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习矢量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k均值聚类)、关联规则学习算法(例如，先验(a-priori)算法)、人工神经网络算法(例如，感知器)、深度学习算法(例如，深度玻尔兹曼机或深度神经网络)、维数减少算法(例如，主成分分析)、集成算法(例如，层叠泛化)和/或其他机器学习算法。在一些实施例中，可以针对各个数据组定制各个模型。例如，可穿戴装置可以产生或存储基础模型。基本模型可以用作起点以产生特定于数据类型(例如，遥现会话中的特定用户)、数据组(例如，遥现会话中的用户的获得的附加图像的组)、条件情况或其他变体的附加模型。在一些实施例中，可穿戴HMD可以被配置为利用多种技术来产生用于分析聚合数据的模型。其他技术可包括使用预限定的阈值或数据值。

基于该信息和映射数据库中的点的集合，对象识别器708a至708n可以识别对象并用语义信息补充对象以赋予对象生命。例如，如果对象识别器将点的组识别为门，则系统可以附加一些语义信息(例如，门具有铰链并且具有围绕铰链的90度运动)。如果对象识别器将点的组识别为镜子，则系统可以附加该镜子具有可以反射室内对象的图像的反射表面的语义信息。随着时间的推移，映射数据库随着系统(可以驻留在本地或可以通过无线网络访问)累积来自世界的更多数据而增长。一旦识别出对象，就可以将信息发送到一个或多个可穿戴系统。例如，MR环境700可以包括关于在加利福尼亚发生的场景的信息。环境700可以被发送到纽约的一个或多个用户。基于从FOV相机和其他输入接收的数据，对象识别器和其他软件组件可以映射从各种图像收集的点、识别对象等，使得场景可以被准确地“传递”给可能位于世界的不同地方的第二用户。环境700也可以使用拓扑图来用于本地化的目的。

图8是呈现与识别的对象相关的虚拟内容的方法800的示例的过程流程图。方法800描述了如何将虚拟场景呈现给可穿戴系统的用户。用户可能在地理上远离场景。例如，用户可能位于纽约，但可能想要查看当前正在加利福尼亚进行的场景或者可能想要与居住在加利福尼亚的朋友一起散步。

在框810处，可穿戴系统可以从用户和其他用户接收关于用户的环境的输入。这可以通过各种输入装置和映射数据库中已经拥有的知识来实现。在框810处，用户的FOV相机、传感器、GPS、眼睛跟踪等将信息传送给系统。在框820处，系统可以基于该信息确定稀疏点。稀疏点可以用于确定姿态数据(例如，头部姿态、眼睛姿态、身体姿态或手姿势)，以可用于显示和理解用户周围环境中各种对象的取向和位置。在框830处，对象识别器708a-708n可以爬行通过这些收集的点并使用映射数据库识别一个或多个对象。然后，在框840处，可以将该信息传送给用户的个人可穿戴系统，以及在框850处，可以相应地将期望的虚拟场景显示给用户。例如，可以相对于各种对象和纽约的用户的其他周围环境以适当的取向、位置等显示期望的虚拟场景(例如，CA中的用户)。

图9是可穿戴系统的另一示例的框图。在该示例中，可穿戴系统900包括映射，该映射可以包括关于世界的映射数据。该映射可以部分地本地驻留在可穿戴系统上，并且可以部分地驻留在可由有线或无线网络访问的网络存储位置(例如，在云系统中)。姿态过程910可以在可穿戴计算架构(例如，处理模块260或控制器460)上执行，并利用来自映射的数据以确定可穿戴计算硬件或用户的位置和取向。可以从用户正在体验系统并在世界中操作时即时收集的数据中计算姿态数据。数据可以包括图像、来自传感器(诸如惯性测量单元，其通常包括加速度计和陀螺仪组件)的数据和与真实或虚拟环境中的对象相关的表面信息。

稀疏点表示可以是同时定位和映射(例如，SLAM或vSLAM，指的是其中输入仅是图像/视觉的配置)过程的输出。该系统可以被配置为不仅可以找出世界上各种组件的位置，而且还可以找出世界由什么组成。姿态可以是实现许多目标的构建块，包括填充(populate)映射和使用映射中的数据。

在一个实施例中，稀疏点位置本身可能不完全足够，并且可能需要进一步的信息来产生多焦点AR、VR或MR体验。通常表示为深度映射信息的密集表示可以用于至少部分地填充该间隙。可以从称为立体940的过程计算这样的信息，其中使用诸如三角测量或飞行时间感测的技术来确定深度信息。图像信息和活动(active)图案(pattern)(诸如使用活动投影仪创建的红外图案)可以用作立体过程940的输入。可以将大量深度映射信息融合在一起，并且可以用表面表示来概括其中的一些。例如，数学上可限定的表面可以是有效的(例如，相对于大点云)并且可以是对诸如游戏引擎的其他处理装置的可消化的输入。因此，立体过程的输出(例如，深度映射)940可以在融合过程930中组合。姿态950也可以是该融合过程930的输入，并且融合930的输出成为填充映射过程920的输入。子表面可以彼此连接，诸如在地形映射中，以形成更大的表面，并且映射变成点和表面的大混合。

为了解决(resolve)混合现实过程960中的各个方面，可以使用各种输入。例如，在图9所示的实施例中，游戏参数可以是输入以确定系统的用户正在与各个位置处的一个或多个怪物、在各种条件下死亡或逃跑(诸如如果用户射击怪物)的怪物、墙壁或者在不同位置处的其他对象等玩怪物战斗游戏。世界映射可以包括关于这些对象相对于彼此的位置的信息，以作为混合现实的另一个有价值的输入。相对于世界的姿态也成为输入，并且几乎对任何交互系统起着关键作用。

来自用户的控制或输入是到可穿戴系统900的另一输入。如本文所述，用户输入可包括视觉输入、手势、图腾、音频输入、感官输入等。为了在周围移动或玩游戏，例如，用户可能需要向可穿戴系统900指示关于他或她想要做什么。除了在空间中移动自己之外，还可以使用各种形式的用户控制。在一个实施例中，图腾(例如，用户输入装置)或诸如玩具枪的对象可由用户握持并由系统跟踪。该系统优选地将被配置为知道用户正在握持物品并且理解用户与物品进行何种交互(例如，如果图腾或对象是枪，则系统可以被配置为理解位置和取向以及用户是否正在点击触发器或其他可能配备有例如IMU的传感器的感测按钮或元件，这可能有助于确定正在发生的事情，即使此类活动不在任何相机的视场之内)。

手姿势跟踪或识别也可以提供输入信息。可穿戴系统900可以被配置为跟踪和解释用于按钮按压、用于向左或向右作出手势、停止、抓取、握持等的手姿势。例如，在一种配置中，用户可能想要在非游戏环境中翻阅电子邮件或日历或者与其他人或玩家做“拳头碰撞”。可穿戴系统900可以被配置为利用最小量的手姿势，其可以是动态的，也可以不是动态的。例如，手姿势可以是简单的静态姿势，例如，用于停止的张开手、用于表示好(ok)的拇指向上、用于表示不好的拇指向下、或者用于方向命令的用手向右或向左或向上/向下翻转。

眼睛跟踪是另一输入(例如，跟踪用户正在看的位置以控制显示技术以在特定深度或范围呈现)。在一个实施例中，可以使用三角测量来确定眼睛的聚散，然后使用为该特定人物开发的聚散/适应模型，可以确定适应。眼睛跟踪可以由眼睛相机执行以确定眼睛注视(例如，一只或两只眼睛的方向或取向)。其他技术可用于眼睛跟踪，诸如例如通过放置在眼睛附近的电极测量电位(例如，电眼图)。

语音识别可以是另一输入，其可以单独使用或与其他输入(例如，图腾跟踪、眼睛跟踪、手势跟踪等)组合使用。系统900可以包括从环境接收音频流的音频传感器232(例如，麦克风)。可以处理所接收的音频流(例如，通过处理模块260、270或中央服务器1650)以(从其他语音或背景音频)识别用户的语音，以从音频流中提取命令、参数等。例如，系统900可以从音频流中辨识出已说出短语“示出你的身份证明”、辨识出该短语是由系统900的佩戴者说的(例如，安全检查员而不是检查员的环境中的另一个人)、以及从短语和情境的背景(例如，安全检查点)中提取其中存在要被执行的可执行命令(例如，对佩戴者的FOV中的某些事物的计算机视觉分析)以及该命令要在什么对象(“你的身份证明”)上执行。系统900可以结合说话者识别技术以确定谁在说话(例如，语音是否来自ARD的佩戴者或者来自另一个人或语音(例如，由环境中的扬声器发送的被记录的语音))，以及可以结合语音识别技术以确定所说的内容。语音识别技术可以包括频率估计、隐马尔可夫模型、高斯混合模型、模式匹配算法、神经网络、矩阵表示、矢量量化，说话者分类(diarisation)、决策树和动态时间规整(DTW)技术。语音识别技术还可以包括反说话者(anti-speaker)技术，诸如群组模型和世界模型。频谱特征可用于表示说话者特性。

关于相机系统，图9中所示的示例性可穿戴系统900包括三对相机：相对宽的FOV或被动SLAM相机对，其布置在用户的脸部的侧面；定向在用户的前方的不同的相机对以处理立体成像过程940并且还用于捕捉在用户面部的前方的手姿势和图腾/对象跟踪。FOV相机和用于立体过程940的相机对可以是面向外的成像系统464(如图4所示)的一部分。可穿戴系统900可包括定向朝向用户的眼睛的眼睛跟踪相机(其可以是图4中所示的面向内的成像系统462的一部分)，以便对眼睛向量和其他信息进行三角测量。可穿戴系统900还可以包括一个或多个纹理光投影仪(诸如红外(IR)投影仪)以将纹理注入场景中。

图10是用于确定到可穿戴系统的用户输入的方法1000的示例的过程流程图。在该示例中，用户可以与图腾交互。用户可能具有多个图腾。例如，用户可能已经指定了用于社交媒体应用的一个图腾以及用于玩游戏的另一个图腾等。在框1010处，可穿戴系统可以检测图腾的运动。可以通过面向外的成像系统识别图腾的运动，或者可以通过传感器(例如，触觉手套、图像传感器、手跟踪装置、眼睛跟踪相机、头部姿态传感器等)来检测图腾的运动。

在框1020处，至少部分地基于检测到的手势、眼睛姿态、头部姿态或通过图腾的输入，可穿戴系统检测图腾(或用户的眼睛或头部或手势)相对于参考帧的位置、取向或运动。参考帧(reference frame)可以是映射点的组，可穿戴系统基于该映射点的组将图腾(或用户)的运动转换为动作或命令。在框1030处，映射用户与图腾的交互。基于用户交互相对于参考帧1020的映射，系统在框1040处确定用户输入。

例如，用户可以来回移动图腾或物理对象以表示翻起虚拟页面并移动到下一页面或从一个用户界面(UI)显示屏幕移动到另一UI屏幕。作为另一示例，用户可移动他们的头部或眼睛以查看用户的FOR中的不同真实或虚拟对象。如果用户对特定真实或虚拟对象的注视长于阈值时间，则可以选择该真实或虚拟对象作为用户输入。在一些实施方式中，可以跟踪用户眼睛的聚散度，并且可以使用适应/聚散模型来确定用户眼睛的适应状态，这提供关于用户正在聚焦的深度平面上的信息。在一些实施方式中，可穿戴系统可以使用射线投射技术来确定哪个真实或虚拟对象沿着用户的头部姿态或眼睛姿态的方向。在各种实施方式中，射线投射技术可以包括投射具有显著小的横向宽度的薄的、笔形射线或投射具有显著大的横向宽度的射线(例如，锥体或平截头体(frustum))。

用户界面可以由显示系统投影，如本文所述(诸如图2中的显示器220)。它还可以使用各种其他技术显示，诸如一个或多个投影仪。投影仪可以将图像投影到诸如帆布或球状物的物理对象上。可以使用对于系统为外部的或对于系统的一部分为外部的一个或多个相机(诸如例如使用面向内的成像系统462或面向外的成像系统464)来跟踪与用户界面的交互。

图11是用于与虚拟用户界面交互的方法1100的示例的过程流程图。方法1100可以由本文描述的可穿戴系统执行。可穿戴系统可以使用方法1100的实施例来检测可穿戴系统的FOV中的人或文件。

在框1110处，可穿戴系统可辨识特定UI。UI的类型可以由用户预先确定。可穿戴系统可以基于用户输入(例如，手势、视觉数据、音频数据、感觉数据、直接命令等)辨识需要被填充的特定UI。该UI可以专用于安全场景，在该场景中，系统的佩戴者正在观察向佩戴者提供文件的用户(例如，在旅行检查点处)。在框1120处，可穿戴系统可以产生用于虚拟UI的数据。例如，可以产生与限制、一般结构、UI的形状等相关联的数据。另外，可穿戴系统可以确定用户的物理位置的映射坐标，使得可穿戴系统可以显示与用户的物理位置相关的UI。例如，如果UI是以身体为中心的，则可穿戴系统可以确定用户的身体立姿(stance)、头部姿态或眼睛姿态的坐标，使得可以在用户周围显示环形UI或者可以在墙壁上或在用户前方显示平面UI。在本文描述的安全性背景中，UI可以被显示为好像UI围绕正在向系统的佩戴者提供文件的旅行者，使得佩戴者可以在查看旅行者和旅行者的文件的同时容易地观看UI。如果UI是以手中心的，则可以确定用户的手的映射坐标。这些映射点可以通过借助FOV相机接收的数据、感觉输入或任何其他类型的收集的数据而被导出。

在框1130处，可穿戴系统可以从云向显示器发送数据或者数据可以被从本地数据库发送到显示组件。在框1140处，基于发送的数据向用户显示UI。例如，光场显示器可以将虚拟UI投影到用户眼睛中的一个或两个中。一旦创建了虚拟UI，在框1150处，可穿戴系统可以简单地等待来自用户的命令以在虚拟UI上产生更多虚拟内容。例如，UI可以是围绕用户身体或者用户环境中的人(例如，旅行者)的身体的以身体为中心的环。然后，可穿戴系统可等待命令(手势、头部或眼睛运动、语音命令、来自用户输入装置的输入等)，并且如果被识别出(框1160)，则与该命令相关联的虚拟内容可以被显示给用户(框1170)。

可穿戴系统、UI和用户体验(UX)的附加示例在公开号为No.2015/0016777的美国专利公开中描述，其通过引用整体并入本文。

基于人的图像的身份认证

如参考图4所述，ARD可以使用面向外的成像系统464来对佩戴者周围的环境成像。图像可以包括静止图像、来自视频的单独帧或视频。ARD可以分析图像以辨别对象(例如，文件)和人、对象内的元素(例如，护照上的照片、旅行者身体的图像中的面部等)之间的联系。

图12A示出了通过分析人的特征和文件中的信息来进行身份验证的示例。在图12A中，人5030持有驾驶执照(DRIVER’S LICENSE)5150a。人5030可以站在ARD的前方，例如该ARD可以由检查点的安全检查员佩戴。ARD可以捕捉图像1200a，其包括人5030的身体的一部分和驾驶执照5150a。ARD可以从图像1200a提取人的生物信息，并使用提取的生物信息确定人的身份。

作为示例，ARD可以使用面部识别技术来确定人5030的身份。ARD可以分析图像1200a并定位出现在图像中的面部。如图12A所示，ARD可以使用各种面部检测技术检测人5030的面部5020和驾驶执照5150a上的面部5120a，各种面部检测技术诸如为基于小波的级联算法(例如，基于哈尔(Haar)小波的增强(boosted)级联算法)、深度神经网络(DNN)(例如，训练用于辨识面部的三元组(triplet)嵌入网络)等。

一旦检测到面部，ARD就可以通过计算面部的特征向量来表征面部。该特征向量可以是面部的数字表示。例如，ARD可以基于检测到的面部的面部特征(诸如，眼睛的角、眉毛、嘴、鼻尖等)来计算特征向量。可以使用各种算法(例如，面部界标(landmark)检测、模板匹配、DNN三元组网络、其他嵌入式网络或其组合等)来表征面部。

图像1200a内的两个面部的特征向量可用于比较两个面部之间的相似性和不相似性。例如，ARD可以计算相应特征向量空间中的两个特征向量之间的距离(例如欧几里德距离)。当距离超过阈值时，ARD可以确定两个面部是显著不相似的。另一方面，当距离低于阈值时，ARD可以确定两个面部是相似的。

在一些实施例中，不同的权重可以与不同的面部特征相关联。例如，ARD可以基于面部特征的位置将权重分配给特征向量的分量。结果，可以结合与各个面部特征相关联的权重来确定两个面部的相似性和不相似性。

在一些情况下，环境的图像可以包括多个面部。例如，在机场安全检查点，由ARD获取的图像可以包括站在ARD前方的人以及周围的其他人。ARD可以使用过滤器来辨识一个或多个相关面部。作为示例，ARD可以基于面部相对于ARD的位置的距离或大小来确定相关面部。ARD可以确定图像中最近或最大的面部是相关面部，因为最接近ARD的人可能是被验证的人。

作为另一示例，ARD可以辨识文件上的面部(在环境中的多个面部中)，并使用本文描述的技术将文件上的面部与环境中的人匹配。ARD可以通过跟踪与面部(物理面部和文件上的面部)相关联的关键点来区分文件上的面部与人的物理面部。ARD可以使用任何关键点算法(例如施-托马西(Shi-Tomasi)角检测算法)来实现该过程。在某些实施方式中，面部检测、面部识别和关键点跟踪可以由如在图7中所描述的一个或多个对象识别器708执行。

ARD可以跟踪所提取的关键点的运动以确定面部是物体面部还是文件上的面部的图像。例如，ARD可以使用由面向外的成像系统464获取的图像的连续帧来跟踪所提取的关键点的运动。当ARD检测到特征的更多运动时，ARD可以将面部标记为物理面部。这是因为物理面部的特征通常比文件上的面部的特征具有更多的运动。例如，一个人每隔几秒就会眨他的或她的眼睛，而文件上显示的眼睛不会眨眼。附加地或可选地，当可以通过单个平面单应性(single planar homography)(例如，相同平面表面的两个或更多个图像之间的计算机视觉关系)描述面部的运动时，ARD可以将面部标记为文件上的图像。这是因为文件上的面部图像通常与文件一起移动，而人的面部通常不与环境(或环境中的对象/其他人)一起移动。

除了面部识别之外或作为其替代，ARD可以使用其他生物特征(诸如身高、头发颜色、眼睛颜色、虹膜代码、声纹等)来辨识人。例如，ARD可以基于由面向外的成像系统464获取的1200a图像来确定人5030的头发颜色。ARD还可以基于由面向外的成像系统464获取的图像估计人5030的个人信息，例如年龄、性别、身高。例如，ARD可以能够基于人的图像以及人5030的位置和ARD的位置之间的距离来计算人5030的身高。ARD还可以基于他的面部特征(例如，皱纹)来估计人的年龄。ARD可以使用DNN或其他类似算法来实现此目的。作为又一个示例，ARD可以单独使用个人的声纹或者与面部识别(或其他生物特征)结合使用以确定人的身份。ARD可以在人说话时获取人的语音数据并应用图9中描述的语音识别算法以辨识人的声音中的特征(例如，音高、方言、重音等)。ARD可以进一步在数据库中查找所辨识的特征，以确定是否存在与所辨识的特征匹配的一个或多个人。

ARD可以使用从图像1200a获取的信息来获得图像1200a中不可用的附加信息。例如，ARD可以使用人5030的眼睛的图像来计算人5030的虹膜代码。ARD可以在数据库中查找人5030的虹膜代码并获得人5030的姓名。另外或可选地，ARD可以使用人的身高、头发颜色、眼睛颜色、面部特征通过引用数据库来获得额外的个人信息(例如姓名、地址、职业等)。例如，ARD可以使用人的身高、头发颜色和眼睛颜色来执行数据库查询并接收具有所查询的身高、头发颜色和眼睛颜色的匹配特征的人的列表。

基于文件的图像的文件认证

如图12A所示，驾驶执照5150a可包括各种个人信息。该信息可以是明确的(当具有信息的文件被用人类可见光谱或HVS内的光照射时，人可直接感知)。HVS通常具有约400nm至约750nm的波长范围。关于驾驶执照5150a的明确的信息可包括驾驶执照号码(DL#)、有效期限(EXP)5140a、姓名(NAME)5110a、性别(SEX)、头发颜色(HAIR)、身高(HT)和面部图像5120a。例如，ARD可以从驾驶执照的图像5150a中提取有效期限5140a，并将有效期限5140a与今天的日期进行比较。如果有效期限5140a在今天的日期之前，则ARD可以确定该文件不再有效。

文件还可以包括隐藏信息(当被用人类可见光谱内的光照射文件时，不能由人直接感知)。隐藏信息可以在标签中被编码或者可以包含对另一数据源(诸如可以用于查询数据库以检索与文件相关联的附加信息的辨识符)的引用。例如，如图12B所示，文件(例如，机票(AERLINE TICKET)5470)可以包括光学标签，例如快速响应(QR)代码5470或条形码。尽管QR码5470可由人眼直接感知，但QR码中编码的信息不能被人直接破译。ARD可以包括能够从文件中提取这种隐藏信息的光学传感器。例如，ARD可以扫描QR码并与另一数据源(例如航空公司的预订系统)通信以获得在QR码中被编码的信息。标签还可以包括生物标签，例如虹膜代码、指纹等。例如，护照可以包括人的虹膜代码。ARD可以获得包括虹膜代码的护照的图像。ARD可以使用虹膜代码查找数据库以获得该人的其他生物信息(例如，出生日期、姓名等)。

在一些情况下，隐藏信息可能仅在HVS之外的某些光学条件下可感知，例如紫外(UV)光或红外(IR)光。ARD可以包括能够发射在人类可见光谱之外(例如，UV光或IR光)的光的光学传感器。例如，为了保护人的隐私，护照中的虹膜代码只能在UV光下看到。ARD可以通过发射UV光获得虹膜代码并在UV条件下获得文件的图像。然后，ARD可以使用在UV条件下获得的图像来提取虹膜代码。在其他情况下，出于安全原因，身份证明文件可以包括该人的照片的两个副本：可见光(在HVS内)可见的第一副本和仅在用HVS之外的光照射时可见的第二副本(例如，在UV或IR照射下)。这样的双重副本可以提高安全性，因为一个人可能能够修改视觉上可见的副本，但可能无法对仅在UV或IR照射下可见的副本进行相同的更改。因此，ARD可以用非HVS光照射文件并获得非HVS可见副本的图像、获得HVS可见副本的图像、获得实际人的图像并使用所有三个图像进行比较(例如，使用面部识别技术)。

除光学标签或生物标签之外或作为其替代，文件还可具有电磁标签，例如RFID标签。电磁标签可以发出可以由ARD检测到的信号。例如，ARD可以被配置为能够检测具有特定频率的信号。在一些实施方式中，ARD可将信号发射到对象且接收信号的反馈。例如，ARD可以发送信号以用脉冲碰撞(ping)机票5470(如图13所示)上的标签。

ARD可以基于文件中的信息(明确的或隐藏的)来确定文件的真实性。ARD可以通过与另一数据源通信并查找从该数据源中的文件的图像获取的信息来执行这种验证。例如，在文件显示个人的街道地址的情况下，ARD可以在数据库中查找街道地址并确定该街道地址是否存在。如果ARD确定该街道地址不存在，则ARD可以向佩戴者标记文件可能被伪造。另一方面，如果存在该街道地址，则ARD可以确定该街道地址可能具有更高的可能性作为该人的真实地址。在另一示例中，文件可包括人的指纹的图像。ARD可以使用面向外的成像系统464来获得包括指纹图像的文件的图像，并从数据库中检索与此指纹相关联的个人信息(诸如人的姓名、地址、生日等)。ARD可以将从数据库检索的个人信息与出现在文件上的信息进行比较。如果这两条信息不匹配(例如，检索到的信息具有与文件上出现的信息不同的姓名)，则ARD可以将文件标记为伪造的。另一方面，如果这两条信息匹配，则ARD可以将文件标记为真实的。

ARD还可以仅使用文件中的信息来验证文件。例如，ARD可以从与文件相关联的标签接收信号。如果信号处于特定频带中，则ARD可以确定文件是真实的。在另一示例中，ARD可以主动地向ARD周围的对象发送查询信号。如果ARD可以成功跟与文件相关联的标签用脉冲碰撞，则ARD可以确定该文件是真实的。另一方面，如果文件的图像与ARD接收的信号之间存在不匹配，则ARD可以确定文件是伪造的。例如，文件的图像可以包括RFID的图像，但是ARD可能未从RFID接收任何信息。结果，ARD可以确定文件是伪造的。

尽管这里描述的示例涉及文件的认证(authentication)，但是这些示例不是限制性的。本文描述的技术还可用于验证任何对象。例如，ARD可以获得包裹的地址的图像，并通过分析发送者或接收者的地址来确定包裹是否危险。

人与文件之间的联系

如图12A所示，ARD可以验证站在佩戴者前方的人是否是驾驶执照上显示的同一人。ARD可以通过使用各种因素(factor)辨识人5030和驾驶执照5150a之间的匹配来执行这种验证。这些因素可以基于从图像1200a提取的信息。例如，一个因素可以是人5030的面部5020与驾驶执照5150a上所示的面部5120a之间的相似程度。ARD可以使用本文描述的面部识别技术来辨识面部并计算面部特征之间的距离。该距离可用于表示两个面部的相似性或不相似性。例如，当两个面部在两只眼睛之间具有相似的距离并且具有从鼻子到嘴的相似距离时，ARD可以确定两个面部可能是相同的。然而，当某些面部特征之间的距离在两个面部之间变化时，ARD可以确定这两个面部不太可能是相同的。也可以使用比较面部的其他技术。例如，ARD可以确定这两个面部是否属于同一模板。

在一些实施例中，ARD可以将面部识别限制为包括出现在纸上的至少一个面部。这是在ARD的佩戴者仅对根据文件验证人的身份感兴趣时，为了避免比较两个人的面部特征。本文描述的用于区分文件上的面部与人的面部的任何技术可用于此目的。

作为另一示例，用于验证人与文件之间的联系的因素可包括匹配头发颜色。ARD可以从图像1200a获得人5030的头发颜色。ARD可以将该信息与驾驶执照5150上描述的头发颜色进行比较。在驾驶执照5150a的5130a部分中，John Doe的头发颜色(HAIR)是棕色(BRN)。如果ARD确定人5030的头发颜色也是棕色，则ARD可以确定对于头发(fair)颜色存在匹配。

因素还可以基于从除ARD获取的图像(例如，图像1200a和图像1200b)之外的数据源获得的信息。ARD可以使用从图像1200a提取的信息以从另一数据源获得与人或文件相关联的更多信息。例如，ARD可以产生关于人5030的虹膜代码并在数据库中查找虹膜代码以获得人5030的姓名。ARD可以将在数据库中找到的姓名与出现在驾驶执照5150a上的姓名5110a进行比较。如果ARD确定这两个姓名匹配，则ARD可以确定人5030确实是John Doe。

ARD可以在进行比较时处理人的面部图像或驾驶执照上的面部图像。例如，人5030可以佩戴眼镜，而驾驶执照上的照片5254a没有眼镜。ARD可以将一副眼镜(如人5030所佩戴的眼镜那样)添加到照片5254a或“去除”人5030佩戴的这副眼镜并使用处理过的图像检测匹配。ARD还可以处理所获取的图像(例如，图像5200a或图像5200b)的其他部分，例如在搜索匹配时改变人5030所穿的衣服。

在某些实施例中，ARD可以计算置信(confidence)分数以确定该人是否与文件所描述的相同。可以使用人与文件之间的一个或多个因素的匹配(或不匹配)来计算置信分数。例如，ARD可以基于匹配头发颜色、面部图片和性别来计算置信分数。如果ARD确定所有三个特征匹配，则ARD可以以99％置信确定该人是文件所示的人。

ARD可以为不同因素分配不同的权重。例如，ARD可以将大(heavy)权重分配给匹配虹膜代码，同时将小(light)权重分配给匹配头发颜色，因为难以伪造人的虹膜代码。因此，当ARD检测到人的虹膜代码与文件中的虹膜代码匹配时，即使该人的头发颜色可能与同一文件中的描述不匹配，ARD也可以标记该人是文件中描述的人。

置信分数的另一示例如图12B所示。在图12B中，ARD可以计算人的面部5020与驾驶执照5150b上的人的图像5120之间的相似度。然而，面部5020具有与图像5120b中的面部不同的特征。例如，图像5120b具有不同的眉毛。图像5120b中的眼睛也比面部5020中的眼睛更小并且间隔更大。使用面部识别算法和计算置信分数的方法，ARD可以确定人5030的面部5020仅有48％的可能性与驾驶执照上的面部5120b匹配。

除了使用置信分数来验证人的身份之外，置信分数还可用于验证文件的有效性或验证跨多个文件的联系。例如，ARD可以将文件上的信息与存储在数据库中的信息进行比较。ARD可以基于找到多少匹配来计算置信分数。如果置信分数低于特定阈值，则ARD可确定文件无效。另一方面，如果置信分数大于或等于阈值，则ARD可以确定文件是有效的。

多文件之间的联系

图12B示出了由ARD获取的图像1200b。在图像1200b中，个人5030持有驾驶执照5150b和机票5450。ARD可以比较这两个文件中的信息并确定驾驶执照或机票的有效性。例如，如果ARD确定驾驶执照上的信息与机票上的信息不匹配，则ARD可以将驾驶执照或机票或两者确定为无效。

ARD可以使用图像1200b中的明确的信息来验证两个文件的有效性。例如，ARD可以将驾驶执照5150b上显示的姓名5110b与机票5450上显示的姓名5410进行比较。因为这两个姓名都是John Doe，所以ARD可以标记存在匹配(MATCH)。

ARD可以通过引用另一数据源来验证两个文件的有效性。在图12B中，ARD可以通过扫描QR码5470来检索乘客的姓名、出生日期和性别。ARD可以将这些信息与驾驶执照上显示的信息进行比较，并确定机票和驾驶执照是否属于同一个人。

尽管本文描述的示例是参考比较两个文件，但是应该注意，这些技术也可以应用于比较多个文件或验证多个人的身份。例如，ARD可以使用本文描述的面部识别技术比较一组人看起来有多相似。

注释的示例

当验证个人(诸如John Doe)或文件(诸如驾驶执照5150a)时，ARD可以向ARD获取的图像(例如，图像1200a和1200b)提供注释。注释可以在人、文件、人的特征或特定信息(例如有效期限)附近。

注释可以包括视觉聚焦指示符(indicator)。视觉聚焦指示符可以是光晕、颜色、突出显示、动画或其他听觉、触觉或视觉效果或其组合等，这可以帮助ARD的佩戴者更容易地注意到人或文件的某些特征。例如，ARD可以在John Doe的面部5020周围提供框5252(图12A和12B中所示)。ARD还可以在驾驶执照上的面部图像的周围提供框(例如，图12A中的框5254a和图12B中的框5254b)。该框可以指示使用面部识别技术辨识的面部区域。另外，ARD可以以虚线突出显示驾驶执照5150a的有效期限5140a，如图12A所示。类似地，ARD可以突出显示图12B中的驾驶执照5150b的有效期限5140b。

作为视觉聚焦指示符的补充或替代，ARD可以使用文本进行注释。例如，如图12A所示，一旦ARD确定该人的姓名是John Doe，ARD就可以在他的头顶上显示“John Doe”5010。在其他实施方式中，ARD可以在别处显示姓名“John Doe”，例如在人面部的右侧。除了姓名，ARD还可以在该人附近显示其他信息。例如，ARD可以在他的头顶显示John Doe的职业。在另一示例中，在图12B中，在验证驾驶执照之后，ARD可以在驾驶执照5150b之上显示单词“有效(VALID)”5330a。同样在图12B中，ARD可以确定航班的离开5460时间已经过去。结果，ARD可以将单词“警告”连接到离开时间5460以向ARD的佩戴者突出显示该条信息。

ARD可以使用注释来指示匹配。例如，在图12A中，如果ARD确定John Doe的面部5020与其驾驶执照5150a上显示的图片匹配，则ARD可以向ARD的佩戴者显示单词“MATCH”5256。ARD还可以在John Doe的面部5020之上显示框5252以及在驾驶执照5150a上的他的图片之上显示另一个框5254a，其中框5252和框5254a可以具有相同的颜色。ARD还可以在两个匹配特征(例如，John Doe的面部5020和驾驶执照5150a上的面部5120a的图像)之间画线以指示检测到匹配。

在一些实施例中，如图12B所示，ARD可以一起显示用于匹配的单词“MATCH”5310和置信分数5320。在一些实施方式中，当置信分数5320低于阈值时，ARD可以显示单词“MISMATCH”而不是“MATCH”。

除了自动检测匹配之外，ARD还可以允许佩戴者越过(override)ARD的判断。例如，当ARD显示匹配的可能性低或显示不匹配时，ARD可允许佩戴者切换手动检查，其可以越过由ARD提供的结果。

将人与文件匹配的示例过程

图13是用于确定人与人提供的身份证明文件之间的匹配的示例过程的流程图。过程1300可以由本文描述的AR系统(例如，可穿戴系统200)执行，然而，过程1300也可以由诸如机器人、旅行登记亭(kiosk)或安全系统的其他计算系统执行。

在框1310处，AR系统可以获得环境的图像。如本文所述，图像可以是静止图像、来自视频的单独帧或视频。AR系统可以从面向外的成像系统464(图4中所示)、室内相机或另一计算装置的相机(诸如与个人计算机相关联的摄像头)获得图像。

多个面部可以存在于环境的图像中。系统可以使用例如基于小波的级联算法或DNN的面部识别技术来定位这些面部。在环境的图像中的所有面部中，一些面部可以是文件上的面部图像，而其他面部可以是环境中不同人的物理面部。

在框1320处，AR系统可使用一个或多个过滤器来检测图像中的多个面部中的第一面部。例如，如参考图12A所述，过滤器中的一者可以是面部与获取图像的AR系统之间的距离。系统可以确定第一面部可能是与装置具有最近距离的面部。在另一示例中，AR系统可以被配置为仅检测特定距离内的面部。第一面部可以是身份正由系统验证的人的物理面部。

在框1330处，AR系统可以使用与用于检测第一面部的技术类似的技术来检测图像中的所有面部中的至少第二面部。例如，系统可以确定第二面部可以是距AR系统、第一面部等的一定距离内的面部。

在一些实施方式中，第二面部可以是例如驾驶执照的文件上的面部。AR系统可以通过在文件内搜索来检测第二面部。AR系统可以通过跟踪关键点的移动来区分文件中的面部与物理面部。例如，AR系统可以提取所辨识的面部的关键点。AR系统可以跟踪连续视频帧之间的关键点的运动。如果可以通过单个平面单应性来描述面部的运动，则AR系统可以确定面部是身份证明文件上的面部图像。

在框1340处，AR系统可以识别第一面部的面部特征并使用该面部特征来表征第一面部。AR系统可以使用界标检测、模板匹配，DNN三元组网络或其他类似技术来表征面部。在框1350处，AR系统可以使用相同的技术来辨识第二面部的面部特征并且表征第二面部。

在框1360处，AR系统可以比较第一面部和第二面部的面部特征。AR系统可以计算关于第一面部的矢量和关于第二面部的另一矢量，并计算两个矢量之间的距离。如果两个矢量之间的距离低于阈值，则AR系统可以确定两个面部彼此匹配。另一方面，如果距离大于或等于阈值，则AR系统可以确定两个面部不相似。

除了匹配面部特征之外，AR系统还可以使用其他因素来确定该人是否是与身份证明文件所描述的人相同的人。例如，AR系统可以从图像确定人的头发颜色和眼睛颜色。AR系统还可以从身份证明文件中提取头发颜色和眼睛颜色信息。如果从图像确定的信息与从身份证明文件提取的信息匹配，则AR系统可以标记该人可能与身份证明文件描述的人匹配。另一方面，如果从图像确定的信息与从身份证明文件中提取的信息不完全匹配，则AR系统可能显示较低的匹配可能性。

匹配多个文件的示例过程

图14是用于确定两个文件之间的匹配的示例过程的流程图。过程1400可以由本文描述的AR系统执行，但是过程1400也可以由诸如机器人、旅行登记亭或安全系统的其他计算系统执行。

在框1410处，AR系统可以获得环境的图像。AR系统可以使用与参考方框1310描述的类似技术来获得图像。

多个文件可以存在于环境的图像中。例如，在安全检查点，由AR系统捕捉的图像可以包括由不同客户持有的机票和身份证明文件以及环境中的传单或其他文件。AR系统可以使用关键点识别技术(例如通过找到文件的四个角)来检测这些文件中的一个或多个。

在框1420处，AR系统可以检测图像中的多个文件中的第一文件和第二文件。AR系统可以使用一个或多个过滤器来辨识第一和第二文件。例如，AR系统可以被配置为检测出现在特定距离内的文件。作为另一示例，AR系统可以被配置为仅识别某些类型的文件，例如身份证明文件或机票，并排除其他文件，例如传单或信息通知。

AR系统还可以基于两个文件中的内容来辨识第一和第二文件。例如，AR系统可以基于诸如出现在文件上的姓名的共享信息来识别第一和第二文件。在一些实施例中，AR系统可以基于另一文件中的信息在环境中查找文件。例如，AR系统可以辨识驾驶执照上的姓名，并使用该姓名来查找具有相同姓名的机票。

在框1430处，AR系统可以从文件的图像中提取文件中的第一信息。例如，AR系统可以使用文本识别并从身份证明文件的图像中提取身份证明文件的有效期限。

在框1440处，AR系统可以获得与文件相关联的第二信息。例如，AR系统可以辨识文件上的光学标签，并使用AR系统的传感器扫描该光学标签。AR系统可以基于该光学标签引用另一数据源，并且可以获得在文件中不能直接感知到的附加信息。在一些实施方式中，第一信息和第二信息可以在相同的类别中。例如，在第一信息是文件的有效期限的情况下，AR系统可以扫描光学标签并从另一数据源检索文件的有效期限。除了有效期限之外，信息类别还可以包括例如生日、有效期限、离开时间、头发颜色、眼睛颜色、虹膜代码等。

在框1450处，AR系统可以确定第一信息是否与第二信息一致。例如，如图12B所示，AR系统可以确定驾驶执照上的姓名是否与机票上的姓名匹配。如本文所述，匹配不需要100％匹配。例如，即使驾驶执照具有乘客的完整中间名，而机票仅具有乘客中间名的起首(initial)，AR系统也可以检测到匹配。

如果第一信息与第二信息匹配，则在框1460处，AR系统可以确定第一文件或第二文件(或两者)是有效的。AR系统可以通过提供视觉聚焦指示符(诸如文件周围的光晕)来标记第一文件和/或第二文件。AR系统还可以提供虚拟注释，例如图12A中所示的单词“MATCH”。

另一方面，如果第一信息与第二信息不一致，则在框1470处，AR系统可以提供第一信息和第二信息不匹配的指示。例如，AR系统可以提供例如突出显示的视觉聚焦指示符，以显示第一信息和第二信息之间的不一致。在一些实施例中，AR系统可以基于第一信息和第二信息之间的不匹配来确定文件中的至少一者是无效的。

在一些实施方式中，AR系统可以比较文件中的多条信息并基于该比较来计算置信分数。AR系统可以通过将置信分数与阈值分数进行比较来将文件标记为有效(或无效)。

使用多个文件认证人的示例过程

图15是用于确定人与多个文件之间的匹配的示例过程的流程图。过程1500可以由本文描述的AR系统(例如，可穿戴系统200)执行，然而，过程1500也可以由诸如机器人、旅行登记亭或安全系统的其他计算系统执行。

在框1510处，AR系统可以获得环境的图像。AR系统可以使用面向外的成像系统464(图4中所示)来获得图像。AR系统可以检测图像中的第一文件、第二文件和人。例如，由AR系统捕捉的图像可以包括持有第一文件和第二文件的人。

在框1520处，AR系统可以分析环境的图像并从第一文件中提取信息。提取的信息可以包括人的生物信息。

在框1532处，AR系统可以从第二文件中提取信息。提取的信息可以包括生物信息。AR系统可以通过分析第二文件的图像来提取这样的信息。AR系统还可以直接从第二文件中提取信息。例如，AR系统可以将人类可见光谱(例如UV光)之外的光发射到第二文件上，并且辨识当用人类可见光谱内的光照射时不可感知到的信息。作为另一示例，AR系统可扫描第二文件的光学标签并使用该光学标签中的信息来从另一数据源获得附加信息。

在一些实施方式中，从第一文件提取的信息可以与从第二文件提取的信息属于相同的类别。例如，AR系统可以辨识第一文件中的人的姓名并辨识第二文件中的另一姓名。在框1542处，AR系统可以确定信息和第二信息是否彼此匹配，例如第一文件上的姓名是否与第二文件上的姓名匹配。

在框1552处，AR系统可以基于第一和第二文件中的信息的一致性来确定第一文件和第二文件之间的联系。例如，如果第一文件和第二文件显示相同的姓名，则更有可能在第一和第二文件之间存在联系。AR系统可以使用第一和第二文件中的多种类别的信息来确定联系。例如，除了比较姓名之外，AR系统还可以比较两个文件的居住地址。如果AR系统确定两个文件具有相同的姓名但是具有不同的地址，则AR系统可以确定两个文件之间存在联系的可能性低。在一些实施例中，AR系统可以引用另一数据源以进一步确定联系。例如，AR系统可以在人口统计数据库中查找地址。如果两个地址都链接到人的姓名，则AR系统可以增加两个文件之间存在联系的可能性。

如本文所述，在一些实施例中，如果AR系统确定第一文件和第二文件中的信息不一致，则AR系统可以标记不一致。例如，AR系统确定驾驶执照上的姓名与人提供的机票上的姓名不匹配，AR系统可以显示单词“MISMATCH”或突出显示第一和/或第二文件中的姓名。

除了框1532、1542和1552之外或作为其替代，AR系统可以执行框1534、1544和1554以检测联系。在框1534处，AR系统可以从环境的图像中提取人的生物信息。例如，AR系统可以辨识人的面部并分析该人的面部特征。

在框1544处，AR系统可以确定人的生物信息是否与来自文件的生物信息匹配。如参考图12A和12B所述，AR系统可以确定人的面部特征是否与身份证明文件上的图像的面部特征匹配。

在框1554处，AR系统可以基于一条或多条信息的匹配来检测文件与人之间的联系。如参考图12A和12B所述，AR系统可以确定人的面部和文件中的面部之间的面部特征的相似性和不相似性。AR系统还可以使用其他因素，例如文件中头发颜色的描述是否与人的头发颜色匹配、文件上的虹膜代码是否与通过扫描人产生的虹膜代码匹配等等，以确定是否人更可能与文件所描述的人相同。AR系统可以基于一个或多个因素来计算置信分数。AR系统可以基于置信分数是否超过阈值来确定是否存在联系。

可选地，在框1560处，AR系统可以分析第一文件、第二文件和人中的信息以确定它们之间是否存在联系。例如，如参考图12B所述，AR系统可以分析人的面部特征并使用该面部特征在另一数据源中查找人的姓名。AR系统可以将该姓名与第一和第二文件中的姓名进行比较，并确定所有三个姓名是否一致。如果姓名一致，则AR系统可以在第一文件、第二文件和人之间创建联系。否则，AR系统可以显示它们之间的联系的可能性或者示出没有联系。

在另一示例中，在身份证明文件和人之间可能存在联系，但是与其他文件可能没有联系。例如，当一个人持有自己的驾驶执照但使用其他人的机票时，可能会发生这种情况。在这种情况下，即使在人和驾驶执照之间存在联系，AR系统也可以被配置为不在两个文件之间创建联系。在某些实施例中，框1552和1554可以是可选的。例如，AR系统可以直接执行框1560而不执行框1552和1554。

在一些实施方式中，AR系统可以搜索周围环境并辨识可能具有联系的文件。例如，当AR系统获得一个人持有驾驶执照和机票而另一个人持有不同驾驶执照的图像时，AR系统可以确定两个驾驶执照之间没有联系，因为它们属于不同的人。AR系统可以搜索另一个文件(例如机票)并确定另一个文件和驾驶执照具有联系，因为例如两个文件上出现相同人的姓名。

尽管本文描述的示例可以检测人与文件之间的联系(例如，匹配/不匹配)，但是在某些实施方式中，AR系统也可以检测两个人之间的联系。例如，AR系统可以检测与环境中的两个不同个体相对应的两个面部、比较两个面部的面部特征并确定个体看起来相似(例如，因为它们是双胞胎或兄弟姐妹)或看起来不同(例如，因为他们是无关的陌生人)。

附加实施例

在第1方面，一种用于将人与由人提供的文件进行匹配的方法，该方法包括：在包括计算机硬件的增强现实(AR)系统的控制下，包括被配置为对环境进行成像的面向外的相机的AR系统使用面向外的相机获得环境的图像；检测图像中的第一面部，其中第一面部与环境中的人相关联；检测图像中的第二面部，其中第二面部被包括在与人相关联的身份证明文件中；辨识与第一面部相关联的第一面部特征；辨识与第二面部相关联的第二面部特征；以及至少部分地基于第一面部特征和第二面部特征的比较来确定人与身份证明文件之间的匹配。

在第2方面，根据方面1所述方法，其中检测第一面部或检测第二面部包括使用以下中的至少一个来定位图像中的第一面部或第二面部：基于小波的增强级联算法或深度神经网络算法。

在第3方面，根据方面1-2中任一方面所述的方法，其中图像包括多个面部，并且其中检测第一面部或检测第二面部包括应用过滤器以辨识相关面部。

在第4方面，根据方面1-3中任一方面所述的方法，其中检测第二面部包括：分析第二面部的运动；以及响应于由单个平面单应性描述第二面部的运动的确定，而检测第二面部。

在第5方面，根据方面1-4中任一方面所述的方法，其中辨识第一面部特征或辨识第二面部特征包括分别至少部分地基于第一面部特征计算与第一面部相关联的第一特征向量或者至少部分地基于第二面部特征计算与第二面部相关联的第二特征向量。

在第6方面，根据方面5所述的方法，还包括至少部分地基于相应的第一面部特征的位置将第一权重分配给第一面部特征，或者至少部分地基于相应的第二面部特征的位置将第二权重分配给第二面部特征。

在第7方面，根据方面5-6中任一方面所述的方法，其中使用以下中的一个或多个来实现计算第一特征向量或计算第二特征向量：面部界标检测算法、深度神经网络算法或模板匹配算法。

在第8方面，根据方面5-7中任一方面所述的方法，其中确定匹配包括：计算第一特征向量和第二特征向量之间的距离；将该距离与阈值进行比较；以及当该距离超过阈值时确认匹配。

在第9方面，根据方面8的所述方法，其中该距离是欧几里德距离。

在第10方面，根据方面1-9中任一方面所述的方法，其中身份证明文件包括当用人类可见光谱(HVS)内的光照射身份证明文件时不能直接感知到的隐藏信息。

在第11方面，根据方面1-10中任一方面所述的方法，其中隐藏信息被编码在包括以下中的一个或多个的标签中：快速响应代码、条形码或虹膜代码。

在第12方面，根据方面11所述的方法，其中标签包括对另一数据源的引用。

在第13方面，根据方面1-12中任一方面所述的方法，还包括：至少部分地基于对环境的图像的分析来获得人的第一生物信息；以及从身份证明文件中获得第二生物信息。

在第14方面，根据方面13所述的方法，其中获得第二生物信息包括以下中的一个或多个：扫描身份证明文件上的标签以检索被编码在标签中的隐藏信息；使用由身份证明文件提供的引用从其他数据源检索生物信息；或者用紫外光照射身份证明文件以揭示(reveal)身份证明文件中的隐藏信息，其中当用HVS内的光照射时隐藏信息是不可见的。

在第15方面，根据方面13-14中任一方面所述的方法，其中确定匹配还包括将第一生物信息与第二生物信息进行比较以确定第一生物信息是否与第二生物信息一致。

在第16方面，根据方面13-15中任一方面所述的方法，其中第一生物信息或第二生物信息包括以下中的一个或多个：指纹、虹膜代码、身高、性别、头发颜色、眼睛颜色或重量。

在第17方面，根据方面1-16中任一方面所述的方法，其中所述身份证明文件包括以下中的至少一个：驾驶执照、护照或州身份证明卡。

在第18方面，一种用于使用增强现实(AR)系统验证人的身份的方法，该方法包括：在包括计算机硬件的AR系统的控制下，包括被配置为对环境进行成像的面向外的相机和被配置为发射人类可见光谱(HVS)之外的光的光学传感器的AR系统使用面向外的相机获得环境的图像；至少部分地基于对环境的图像的分析来辨识与人相关联的第一生物信息；辨识由人提供的文件中的第二生物信息；以及确定第一生物信息与第二生物信息之间的匹配。

在第19方面，根据方面18所述的方法，其中由光学传感器发射的光包括紫外光。

在第20方面，根据方面18-19中任一方面所述的方法，其中第一生物信息或第二生物信息包括以下中的一个或多个：面部、指纹、虹膜代码、身高、性别、头发颜色、眼睛颜色或重量。

在第21方面，根据方面18-20中任一方面所述的方法，其中辨识第一生物信息和辨识第二生物信息包括：检测图像中的第一面部，其中第一面部包括第一面部特征并且与人相关联；检测图像中的第二面部，其中第二面部包括第二面部特征并且被包括在由人提供的文件中。

在第22方面，根据方面21所述的方法，其中检测第一面部或检测第二面部包括使用以下中的至少一个来定位图像中的第一面部或第二面部：基于小波的增强级联算法或深度神经网络算法。

在第23方面，根据方面21-22中任一方面所述的方法，其中确定匹配包括：分别至少部分地基于第一面部特征计算第一面部的第一特征向量或至少部分地基于第二面部特征计算第二面部的第二特征向量；计算第一特征向量与第二特征向量之间的距离；将该距离与阈值进行比较；以及当距离超过阈值时确认匹配。

在第24方面，根据方面21-23中任一方面所述的方法，还包括至少部分地基于相应的第一面部特征的位置将第一权重分配给第一面部特征，或者至少部分地基于相应的第二面部特征的位置将第二权重分配给第二面部特征。

在第25方面，根据方面23-24中任一方面所述的方法，其中距离是欧几里德距离。

在第26方面，根据方面23-25中任一方面所述的方法，其中使用以下中的一个或多个来实现计算第一特征向量或计算第二特征向量：面部界标检测算法、深度神经网络算法或模板匹配算法。

在第27方面，根据方面18-19任一方面所述的方法，其中辨识第二信息包括：通过光学传感器将光发射到文件上，其中该光在HVS之外；以及在光学传感器发射的光下辨识信息，其中当用HVS内的光照射时，第二信息不是直接可见的。

在第28方面，根据方面18-19任一方面所述的方法，其中辨识第二信息包括：辨识文件中的标签，其中标签包含被编码的生物信息；以及至少部分地基于标签的分析来检索被解码的生物信息。

在第29方面，根据方面28所述的方法，其中检索被解码的生物信息包括从除环境的图像之外的数据源检索生物信息。

在第30方面，根据方面29所述的方法，其中文件包括身份证明文件。

在第31方面，一种包括面向外的相机和计算机硬件的增强现实(AR)系统，该AR系统被配置为执行根据方面1-17中的任一方面所述的方法。

在第32方面中，一种增强现实(AR)系统包括被配置为对环境成像的面向外的相机、被配置为发出人类可见光谱之外的光的光学传感器以及计算机硬件，该AR系统是被配置为执行根据方面18-30中的任何一方面所述的方法。

在第33方面，一种用于使用增强现实(AR)系统确定两个文件之间的联系的方法，该方法包括：在包括计算机硬件的AR系统(该AR系统包括被配置为对环境成像的面向外的相机和被配置为发射在人类可见光谱(HVS)之外的光的光学传感器)的控制下，获得环境的图像；检测图像中的第一文件和第二文件；至少部分地基于对图像的分析从第一文件中提取第一信息；从第二文件中提取第二信息，其中第一信息和第二信息属于同一类别；确定第一信息和第二信息之间的匹配；以及响应于第一信息和第二信息之间存在匹配，确定第一文件和第二文件之间的联系。

在第34方面，根据方面33所述的方法，其中由光学传感器发射的光包括紫外光。

在第35方面，根据方面33-34中任一方面所述的方法，其中第一信息和第二信息包括姓名、地址、有效期限、人的图片、指纹、虹膜代码、身高、性别、头发颜色、眼睛颜色或重量。

在第36方面，根据方面33-35中任一方面所述的方法，其中当用HVS内的光照射时，第二信息是不可见的。

在第37方面，根据方面36所述的方法，其中提取第二信息包括：通过光学传感器将光发射到第二文件上，其中至少一部分光在HVS之外；以及在由光学传感器发出的光下识别第二信息，其中在正常光学条件下，第二信息对人不是直接可见的。

在第38方面中，根据方面33-36中任一方面所述的方法，其中提取第二信息包括：辨识第二文件中的标签，其中标签包含对另一数据源的引用；以及与其他数据源通信以检索第二信息。

在第39方面，根据方面38所述的方法，其中标签包括以下中的一个或多个：快速响应代码或条形码。

在第40方面，根据方面33-39中任一方面所述的方法，其中确定匹配包括：比较第一信息和第二信息；至少部分地基于第一信息和第二信息之间的相似性或不相似性来计算置信分数；以及当置信分数超过阈值时检测匹配。

在第41方面，根据方面33-40中任一方面所述的方法，还包括：至少部分地基于所确定的匹配，将第一文件或第二文件中的至少一个标记为有效。

在第42方面，根据方面33-41中任一方面所述的方法，还包括：响应于确定第一信息和第二信息之间不存在匹配，提供第一信息和第二信息不匹配的指示，其中该指示包括聚焦指示符。

在第43方面，根据方面33-42中任一方面所述的方法，其中检测第一文件和第二文件包括：至少部分地基于过滤器辨识第一文件和第二文件。

在第44方面，一种使用增强现实(AR)系统确定人与多个文件之间的联系的方法，该方法包括：在包括计算机硬件的AR系统(AR系统包括被配置为对环境成像的面向外的相机和被配置为发射在人的可见光谱外的光的光学传感器)的控制下，获得环境的图像；检测图像中的人、第一文件和第二文件；至少部分地基于对第一文件的图像的分析来提取第一个人信息；从第二文件中提取第二个人信息；至少部分地基于对人的图像的分析来提取人的第三个人信息，其中第一个人信息、第二个人信息和第三个人信息属于同一类别；确定第一个人信息、第二个人信息和第三个人信息之间的匹配；以及响应于确定第一个人信息、第二信息和第三个人信息之间存在匹配，确定第一文件、第二文件和人之间的联系。

在第45方面，根据方面44所述的方法，其中由光学传感器发射的光包括紫外光。

在第46方面，根据方面44-45中任一方面所述的方法，其中第一个人信息、第二人信息或第三个人信息包括姓名、地址、有效期限、人的图片、指纹、虹膜代码、身高、性别、头发颜色、眼睛颜色或重量。

在第47方面，根据方面44所述的方法，其中提取第一个人信息和提取第三个人信息包括：检测图像中的第一面部，其中第一面部被包括在第一文件中；检测图像中的第二面部，其中第二面部与环境中的人相关联；辨识与第一面部相关联的第一面部特征；以及辨识与第二面部相关联的第二面部特征。

在第48方面，根据方面47所述的方法，其中检测第一面部或检测第二面部包括使用以下中的至少一个在图像中定位第一面部或第二面部：基于小波的增强级联算法或深度神经网络算法。

在第49方面，根据方面47-48中任一方面所述的方法，其中检测第一面部包括：分析第一面部的运动；以及响应于由单个平面单应性描述第二部面的运动的确定，而检测第一面部。

在第50方面，根据方面47-49中任一方面所述的方法，其中辨识第一面部特征或辨识第二面部特征包括分别至少部分地基于第一面部特征计算与第一面部相关联的第一特征向量或者至少部分地基于第二面部特征计算与第二面部相关联的第二特征向量。

在第51方面，根据方面50所述的方法，还包括至少部分地基于相应的第一面部特征的位置将第一权重分配给第一面部特征，或者至少部分地基于相应的第二面部特征的位置将第二权重分配给第二面部特征。

在第52方面，根据方面50-51中任一方面所述的方法，其中使用以下中的一个或多个来实现计算第一特征向量或计算第二特征向量：面部界标检测算法、深度神经网络算法或模板匹配算法。

在第53方面，根据方面47-52中任一方面所述的方法，其中确定匹配包括：计算第一特征向量和第二特征向量之间的距离；将该距离与阈值进行比较；以及当距离超过阈值时确认匹配。

在第54方面，根据方面53所述的方法，其中该距离是欧几里德距离。

在第55方面，根据方面44-54中任一方面所述的方法，其中当用HVS内的光照射时，第二个人信息是不可见的。

在第56方面，根据方面55所述的方法，其中提取第二个人信息包括：通过光学传感器将光发射到第二文件上，其中光的至少一部分在HVS之外；以及在光学传感器发射的光下辨别第二个人信息，其中在正常光学条件下，第二个人信息对人不是直接可见的。

在第57方面，根据方面44-55中任一方面所述的方法，其中提取第二个人信息包括：辨识第二文件中的标签，其中该标签包含对另一数据源的引用；以及与其他数据源通信以检索第二个人信息。

在第58方面，根据方面57所述的方法，其中标签包括以下中的一个或多个：快速响应代码或条形码。

在第59方面，根据方面44-58中任一方面所述的方法，其中确定匹配包括：比较第一个人信息和第二个人信息；至少部分地基于第一个人信息和第二个人信息之间的相似性或不相似性来计算置信分数；以及当置信分数超过阈值时检测匹配。

在第60方面，根据方面44-59中任一方面所述的方法，还包括：至少部分地基于检测到的匹配，将第一文件或第二文件中的至少一个标记为有效。

在第61方面，根据方面44-60中任一方面所述的方法，还包括：响应于确定在以下中的至少两个中不存在匹配：第一个人信息、第二个人信息和第三个人信息，提供示出该匹配不存在的指示。

在第62方面，根据方面61所述的方法，还包括：在环境中搜索包括与第一个人信息、第二个人信息或第三个人信息中的至少一个匹配的信息的第四文件。

在第63方面，根据方面44-62中任一方面所述的方法，其中第一文件或第二文件包括：身份证明文件或机票。

在第64方面，根据方面44-63中任一方面所述的方法，其中检测图像中的人、第一文件和第二文件包括：至少部分地基于过滤器辨识人、第一文件或第二文件。

在第65方面中，一种包括计算机硬件的增强现实(AR)系统，该AR系统包括被配置为对环境成像的面向外的相机和被配置为发射人类可见光谱之外的光的光学传感器，该AR系统被配置为执行方面33-64中的任何一方面所述的方法。

在第66方面中，一种用于检测AR环境中的联系的增强现实(AR)系统，该增强现实系统包括：面向外的成像系统，其被配置为对AR系统的环境成像；AR显示器，其被配置为以三维(3D)视图将虚拟内容呈现给AR系统的用户；以及硬件处理器，其被编程为：利用面向外的成像系统获得环境的图像；检测图像中的第一面部和第二面部，其中第一面部是环境中的人的面部，以及其中第二面部是身份证明文件上的面部；基于与第一面部相关联的第一面部特征来识别第一面部；基于第二面部特征识别第二面部；分析第一面部特征和第二面部特征以检测人与身份证件之间的联系；以及指示AR显示器呈现虚拟注释，该虚拟注释指示第一面部特征和第二面部特征的分析的结果。

在第67方面，根据方面66所述的AR系统，其中为了检测第一面部和第二面部，硬件处理器被编程为在图像上应用以下算法中的至少一个：基于小波的增强级联算法或深度神经网络算法。

在第68方面，根据方面66-67中任一方面所述的AR系统，其中硬件处理器还被编程为：通过分析第二面部的运动来检测第二面部是身份证明文件上的面部；以及确定该运动是否由单个平面单应性描述。

在第69方面，根据方面66-68中任一方面所述的AR系统，其中为了识别第一面部或第二面部，硬件处理器被编程为：通过应用以下中的至少一个来分别至少部分地基于第一面部特征计算与第一面部相关联的第一特征向量或者至少部分地基于第二面部特征来计算与第二面部相关联的第二特征向量：面部界标检测算法、深度神经网络算法或模板匹配算法。

在第70方面，根据方面69所述的AR系统，其中为了检测人与身份证明文件之间的联系，硬件处理器被编程为：计算第一特征向量与第二特征向量之间的距离；将距离与阈值进行比较；以及响应于确定距离超过阈值来检测联系。

在第71方面，根据方面70所述的AR系统，其中距离是欧几里德距离。

在第72方面，根据方面66-71中任一方面所述的AR系统，其中身份证明文件具有包括以下中的一个或多个的标签：快速响应代码、条形码或虹膜代码。

在第73方面，根据方面72所述的AR系统，其中硬件处理器还被编程为：从环境的图像中辨识标签；以及使用标签访问外部数据源以检索人的生物信息。

在第74方面，根据方面66-73中任一方面所述的AR系统，其中AR系统还包括被配置为照射人类可见光谱(HVS)之外的光的光学传感器，以及硬件处理器还被编程为：指示光学传感器向身份证明文件照射光，以揭示身份证明文件中的隐藏信息；分析身份证明文件的图像，其中该图像为用光照射身份证明文件时获取图像；以及从图像中提取生物信息，其中提取的生物信息用于检测人与身份证明文件之间的联系。

在第75方面，根据方面66-74中任一方面所述的AR系统，其中硬件处理器被编程为计算第一面部特征和第二面部特征之间匹配的可能性。

在第76方面，根据方面66-75中任一方面所述的AR系统，其中注释包括链接人和身份证明文件的视觉聚焦指示符。

在第77方面，一种用于检测增强现实环境中的联系的方法，该方法包括：在包括面向外的成像成像系统和硬件处理器的增强现实装置(该增强现实装置被配置为向增强现实装置的佩戴者显示虚拟内容)的控制下，获得环境的图像；检测图像中的人、第一文件和第二文件；至少部分地基于对第一文件的图像的分析来提取第一个人信息；访问与第二文件相关联的第二个人信息；至少部分地基于对人的图像的分析来提取人的第三个人信息，其中第一个人信息、第二个人信息和第三个人信息属于同一类别；确定第一个人信息、第二个人信息和第三个人信息之间匹配的可能性；以及响应于确定匹配的可能性超过阈值条件，显示第一文件、第二文件和人之间的联系。

在第78方面，根据方面77所述的方法，其中获得环境的图像包括访问由增强现实装置的面向外的成像系统获取的图像。

在第79方面，根据方面77-78中任一方面所述的方法，其中提取第一个人信息和第三个人信息包括：检测图像中的第一面部，其中第一面部被包括在第一文件中；检测图像中的第二面部，其中第二面部与环境中的人相关联；辨识与第一面部相关联的第一面部特征和与第二面部相关联的第二面部特征；以及分别基于第一面部特征和第二面部特征识别第一面部和第二面部。

在第80方面，根据方面79所述的方法，其中检测第一面部或检测第二面部包括应用：基于小波的增强级联算法或深度神经网络算法。

在第81方面，根据方面79-80中任一方面所述的方法，其中识别第一面部以及识别第二面部包括：通过应用面部界标检测算法、深度神经网络算法或模板匹配算法中的至少一个，分别至少部分地基于第一面部特征计算与第一面部相关联的第一特征向量；以及至少部分地基于第二面部特征计算与第二面部相关联的第二特征向量。

在第82方面，根据方面77-81中任一方面所述的方法，其中访问第二个人信息包括：当光照射到第二文件上时获取第二文件的图像，其中光的至少一部分在人类可见光谱之外；以及基于所获取的第二文件的图像辨识第二个人信息，其中在正常光学条件下，第二个人信息对于人不是直接可见的。

在第83方面，根据方面77-82中任一方面所述的方法，其中访问第二个人信息包括：从环境的图像中辨识标签；以及使用该标签访问存储多个人的个人信息的数据源，以检索人的生物信息。

在第84方面，根据方面77-83中任一方面所述的方法，其中确定匹配的可能性包括：比较第一个人信息和第二个人信息；至少部分地基于第一个人信息和第二个人信息之间的相似性或不相似性来计算置信分数。

在第85方面中，根据方面84所述的方法，还包括：响应于确定置信分数超过阈值，显示指示第一文件或第二文件中的至少一个有效的虚拟注释。

其他考虑因素

本文描述的和/或附图描绘的过程、方法以及算法中的每一者可体现在以下项中并通过以下项被全部或部分自动化：代码模块，其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行；和/或电子硬件，其被配置为执行具体和特定计算机指令。例如，计算系统能包括用具体计算机指令或专用计算机编程的通用计算机(例如服务器)、专用电路等。代码模块可被编译并链接到可执行程序中，安装在动态链接库中，或可用解释性编程语言编写。在一些实施方式中，特定操作和方法可由特定于给定功能的电路来执行。

此外，本公开的功能的特定实施方式在数学上、计算上或技术上都足够复杂，以至于为了执行所述功能(例如由于所涉及的计算量或复杂性)或为了基本实时地提供结果，专用硬件或者一个或多个物理计算设备(利用适当的专有可执行指令)可以是必需的。例如，视频可包括多个帧，每帧具有数百万个像素，为了处理视频数据以在商业合理的时间量内提供期望的图像处理任务或应用，专用编程计算机硬件是必需的。

代码模块或任何类型的数据可被存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。方法和模块(或数据)也可在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的介质和基于有线/电缆的介质，且可采取多种形式(例如，作为单一或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可持久地或以其他方式存储在任何类型的非暂时性实体计算机存储器中，或可经由计算机可读传输介质进行传送。

本文所描述和/或附图所描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，它们包括在过程中实现具体功能(例如逻辑功能或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能能够根据本文提供的说明性示例进行组合、重新排列、添加、删除、修改或其他改变。在一些实施例中，额外或不同的计算系统或代码模块可执行本文所述的一些或全部功能。本文所述方法和过程也不限于任何具体的顺序，且与其相关的框、步骤或状态能以适当的其他顺序来执行，例如以串行、并行或某种其他方式。可向所公开的示例实施例添加或从中移除任务或事件。此外，本文所述的实施方式中的分离各种系统组件是出于说明的目的，且不应被理解为在所有实施方式中都需要这样的分离。应该理解，所描述的程序组件、方法以及系统一般能一起集成在单个计算机产品中或封装到多个计算机产品中。许多实施方式变体是可行的。

过程、方法以及系统可在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、因特网以及万维网。网络可以是有线或无线网络或者任何其他类型的通信网络。

本公开的系统和方法各自具有若干创新性方面，这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公开的范围内。对此公开所述的实施方式的各种修改对于本领域技术人员而言可以是显而易见的，且在不脱离此公开的精神或范围的情况下，可将本文中限定的一般原理应用于其他实施方式。因此，权利要求不旨在限于本文所示的实施方式，而是应被赋予与本文所公开的此公开、原理和新颖特征一致的最宽范围。

在单独实施方式的上下文中在此说明书所述的某些特征也能在单个实施方式中组合实现。相反，在单个实施方式的上下文中所述的各种特征也能在多个实施方式中单独地或以任何合适的子组合实现。此外，尽管上文可将特征描述为以某些组合执行，甚至最初这样要求保护，但在一些情况下，来自所要求保护的组合的一个或多个特征能被从该组合中删除，且所要求保护的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。

本文中使用的条件语，诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤，另有具体说明或在上下文中另有理解除外。因此，这样的条件语一般不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，且以开放式的方式包含性地使用，且不排除额外的元素、特征、动作、操作等。此外，术语“或”以其包含性含义(而不是其专有性含义)使用，因此，当被用于例如连接元素列表时，术语“或”意味着列表中的一个、一些或全部元素。另外，本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”，另有具体说明除外。

如本文所使用的，涉及项目列表的“至少一个”的短语指这些项目的任何组合，包括单个成员。作为示例，“A、B或C中的至少一个”旨在覆盖：A、B、C、A和B、A和C、B和C以及A、B和C。诸如短语“X、Y以及Z中的至少一个”的连接语(除非另有声明)以通常使用的上下文来理解，以表达项目、术语等可以是X、Y或Z中的至少一个。因此，这样的连接语一般并不旨在暗示某些实施例要求X中的至少一个、Y中的至少一个以及Z中的至少一个中的每个都存在。

类似地，虽然操作在附图中可以以特定顺序描绘，但应认识到，这样的操作不需要以所述特定顺序或以相继顺序执行，或执行所有例示的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作能并入示意性地示出的示例方法和过程中。例如，能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外，在其他实施方式中，操作可被重新排列或重新排序。在某些情况下，多任务和并行处理可具有优势。此外，上述实施方式描述的各种系统组件的分离不应被理解为在所有实施方式中都需要这种分离，且应该理解，所述程序组件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外，其他实施方式处于以下权利要求的范围内。在一些情况下，权利要求中列举的动作能以不同的顺序执行，且仍实现期望的结果。

Claims

1.一种用于检测AR环境中的联系的增强现实(AR)系统，所述增强现实系统包括：

面向外的成像系统，其被配置为对所述AR系统的环境成像；

AR显示器，其被配置为以三维(3D)视图将虚拟内容呈现给所述AR系统的用户；以及

硬件处理器，其被编程为：

利用所述面向外的成像系统获得所述环境的图像；

检测所述图像中的第一面部和第二面部；

将所述图像中的所述第一面部辨识为表示所述环境中人的面部，并且将所述图像中的所述第二面部辨识为表示所述环境中的身份证明文件上的面部的照片，其中，在由所述面向外的成像系统捕捉的所述环境的同一图像中辨识到所述第一面部和所述第二面部；

基于与所述第一面部相关联的第一面部特征来识别所述第一面部；

基于与所述第二面部相关联的第二面部特征来识别所述第二面部；

分析所述第一面部特征和所述第二面部特征以检测所述人与所述身份证明文件之间的联系；以及

指示所述AR显示器呈现虚拟注释，所述虚拟注释指示所述第一面部特征和所述第二面部特征的所述分析的结果。

2.根据权利要求1所述的AR系统，其中为了检测所述第一面部和所述第二面部，所述硬件处理器被编程为对所述图像应用基于小波的增强级联算法或深度神经网络算法中的至少一个。

3.根据权利要求1所述的AR系统，其中所述硬件处理器还被编程为：

通过分析所述第二面部的运动，检测所述第二面部是所述身份证明文件上的所述面部；以及

确定所述运动是否由单个平面单应性描述。

4.根据权利要求1所述的AR系统，其中为了识别所述第一面部或所述第二面部，所述硬件处理器被编程为：

通过应用面部界标检测算法、深度神经网络算法或模板匹配算法中的至少一个，分别至少部分地基于所述第一面部特征计算与所述第一面部相关联的第一特征向量或者至少部分地基于所述第二面部特征计算与所述第二面部相关联的第二特征向量。

5.根据权利要求4所述的AR系统，其中为了检测所述人和所述身份证明文件之间的所述联系，所述硬件处理器被编程为：

计算所述第一特征向量和所述第二特征向量之间的距离；

将所述距离与阈值进行比较；以及

响应于确定所述距离超过所述阈值来检测所述联系。

6.根据权利要求5所述的AR系统，其中所述距离是欧几里德距离。

7.根据权利要求1所述的AR系统，其中所述身份证明文件具有包括快速响应代码、条形码或虹膜代码中的一个或多个的标签。

8.根据权利要求7所述的AR系统，其中，所述硬件处理器还被编程为：

从所述环境的所述图像中辨识所述标签；以及

使用所述标签访问外部数据源以检索所述人的生物信息。

9.根据权利要求1所述的AR系统，其中所述AR系统还包括光学传感器，所述光学传感器被配置为照射人类可见光谱(HVS)之外的光，并且所述硬件处理器还被编程为：

指示所述光学传感器向所述身份证明文件照射所述光，以揭示所述身份证明文件中的隐藏信息；

分析所述身份证明文件的图像，其中所述图像为当用所述光照射所述身份证明文件时获取的图像；以及

从所述图像中提取生物信息，其中所述提取的生物信息用于检测所述人与所述身份证明文件之间的所述联系。

10.根据权利要求1所述的AR系统，其中所述硬件处理器被编程为计算所述第一面部特征与所述第二面部特征之间的匹配的可能性。

11.根据权利要求1所述的AR系统，其中所述注释包括链接所述人和所述身份证明文件的视觉聚焦指示符。

12.一种用于检测增强现实环境中的联系的方法，所述方法包括：

在包括面向外的成像系统和硬件处理器的增强现实装置的控制下，所述增强现实装置被配置为向所述增强现实装置的佩戴者显示虚拟内容：

通过所述面向外的成像系统来获得所述环境的图像；

在由所述面向外的成像系统所获得的同一图像中检测到人、第一文件和第二文件；

至少部分地基于对所述第一文件的所述图像的分析来提取第一个人信息；

从所述第二文件提取第二个人信息；

至少部分地基于对所述人的所述图像的分析来提取所述人的第三个人信息，其中所述第一个人信息、所述第二个人信息和所述第三个人信息属于同一类别；

确定所述第一个人信息、所述第二个人信息和所述第三个人信息中的两者或更多者之间匹配的可能性；以及

响应于确定所述匹配的可能性超过阈值条件，显示所述第一文件、所述第二文件和所述人中的所述两者或所述更多者之间的联系。

13.根据权利要求12所述的方法，其中获得所述环境的所述图像包括访问由所述增强现实装置的所述面向外的成像系统获取的所述图像。

14.根据权利要求12所述的方法，其中提取所述第一个人信息和所述第三个人信息包括：

检测所述图像中的第一面部，其中所述第一面部被包括在所述第一文件中；

检测所述图像中的第二面部，其中所述第二面部与所述环境中的所述人相关联；

辨识与所述第一面部相关联的第一面部特征和与所述第二面部相关联的第二面部特征；以及

分别基于所述第一面部特征和所述第二面部特征识别所述第一面部和所述第二面部。

15.根据权利要求14所述的方法，其中检测所述第一面部或检测所述第二面部包括应用：基于小波的增强级联算法或深度神经网络算法。

16.根据权利要求14所述的方法，其中识别所述第一面部和识别所述第二面部包括：

通过应用面部界标检测算法、深度神经网络算法或模板匹配算法中的至少一个，至少部分地基于所述第一面部特征计算与所述第一面部相关联的第一特征向量；以及

至少部分地基于所述第二面部特征计算与所述第二面部相关联的第二特征向量。

17.根据权利要求12所述的方法，其中访问所述第二个人信息包括：

当光照射到所述第二文件上时获取所述第二文件的图像，以及其中所述光的至少一部分在人类可见光谱之外；以及

基于获取的所述第二文件的所述图像辨识所述第二个人信息，其中在正常光学条件下，所述第二个人信息对于人不是直接可见的。

18.根据权利要求12所述的方法，其中访问所述第二个人信息包括：

从所述环境的所述图像中识别标签；以及

使用所述标签访问存储多个人的个人信息的数据源以检索所述人的生物信息。

19.根据权利要求12所述的方法，其中确定匹配的可能性包括：

比较所述第一个人信息和所述第二个人信息；

至少部分地基于所述第一个人信息和所述第二个人信息之间的相似性或不相似性来计算置信分数。

20.根据权利要求19所述的方法，还包括：响应于确定所述置信分数超过阈值，显示虚拟注释，所述虚拟注释指示所述第一文件或所述第二文件中的至少一个是有效的。