CN106937531A - 用于产生虚拟和增强现实的方法和系统 - Google Patents

用于产生虚拟和增强现实的方法和系统 Download PDF

Info

Publication number
CN106937531A
CN106937531A CN201580043458.8A CN201580043458A CN106937531A CN 106937531 A CN106937531 A CN 106937531A CN 201580043458 A CN201580043458 A CN 201580043458A CN 106937531 A CN106937531 A CN 106937531A
Authority
CN
China
Prior art keywords
user
virtual
user interface
visual
physical object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580043458.8A
Other languages
English (en)
Other versions
CN106937531B (zh
Inventor
G·R·布拉德斯基
S·A·米勒
R·阿伯维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202011106449.8A priority Critical patent/CN112651288B/zh
Priority to CN202211020246.6A priority patent/CN115359567A/zh
Publication of CN106937531A publication Critical patent/CN106937531A/zh
Application granted granted Critical
Publication of CN106937531B publication Critical patent/CN106937531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/26—Optical coupling means
    • G02B6/27—Optical coupling means with polarisation selective and adjusting means
    • G02B6/2706—Optical coupling means with polarisation selective and adjusting means as bulk elements, i.e. free space arrangements external to a light guide, e.g. polarising beam splitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了用于向用户呈现虚拟现实和增强现实体验的配置。系统可包括捕捉一或多个图像的图像捕捉装置，一或多个图像对应于头戴式增强现实装置的用户的视场，以及处理器，其通信地耦合到图像捕捉装置以从所述图像集合中提取一组映射点，以从所提取的该组映射点中识别一组稀疏点和一组密集点，以及对该组映射点执行归一化。

Description

用于产生虚拟和增强现实的方法和系统
技术领域
背景技术
现代计算和显示技术已经促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现的图像或其部分以它们似乎是或者可被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现而不对其它现实真实世界视觉输入透明；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为在用户周围的现实世界的可视化的增强。例如，增强现实场景可允许AR技术的用户可看到被叠加在现实世界对象上或在现实世界对象之中的一或多个虚拟对象(例如，以背景中的人、树木、建筑物为特征的现实世界公园状环境，等等)。
人类视觉感知系统是非常复杂的，并且产生促进虚拟图像元素在其它虚拟或真实世界图像元素中的舒适的、自然感觉的、丰富的呈现的VR或AR技术是具有挑战性的。传统的立体可佩戴式眼镜通常具有两个显示器，其被配置为显示具有稍微不同的元素呈现的图像，使得人类视觉系统感知到三维透视。已经发现此类配置对于许多用户是不舒服的，这是由于可被克服以在三维中感知图像的聚散度(vergence)和适应性之间的不匹配。实际上，一些用户不能忍受立体配置。
尽管几种光学配置(例如，头戴式眼镜)是可用的(例如，Occulus等等)，但是这些配置中没有一个最适合于以对用户将是舒适的并且最有用的方式呈现丰富的双眼、三维增强现实体验，部分是因为现有系统无法解决人类感知系统的一些基本方面，包括视网膜的光感受器及其与大脑的互操作以向用户产生可视化的感知。
人眼是非常复杂的器官，并且通常包括角膜、虹膜、晶状体、黄斑、视网膜和到大脑的视神经通路。黄斑是视网膜的中心，其用于看到适度的细节。在黄斑的中心为视网膜的一部分，其被称为“中央凹”，其用于观察场景的最细微的细节，并且比视网膜的任何其它的部分包含更多的光感受器(每视觉度大约120个视锥)。
人类视觉系统不是无源传感器类型的系统；它主动扫描环境。以某种程度类似于使用平板扫描器捕捉图像或使用手指从纸张上读取盲文的方式，眼睛的光感受器响应于刺激的变化而激发，而不是恒定地响应恒定状态的刺激。因此，需要运动来向大脑呈现光感受器信息。
事实上，使用已经用于使眼睛肌肉麻痹的物质(例如眼镜蛇毒)的实验已经表明，如果眼睛睁得大大的，用毒液引起麻痹的眼睛观看静态场景，人类受试者就会失明。换句话说，没有刺激的变化，光感受器不向大脑提供输入并且经历失明。据信，这是已经观察到的正常人的眼睛在左右移动(也称为“微跳视”(microsaccade))中来回移动或抖动的至少一个原因。
如上所述，视网膜的中央凹包含最大密度的光感受器。虽然人们通常认为人类在整个视场中具有高分辨率可视化能力，但实际上，人类只有几乎不变地机械扫描的小的高分辨率中心，以及通过中央凹最近捕捉的高分辨率信息的持久记忆。以某种程度类似的方式，眼睛的焦距控制机构(例如，以下面的方式可操作地耦合到晶状体的睫状肌，其中，睫状肌松弛引起张紧的睫状连接纤维，使晶状体变平以用于更远的焦距；睫状肌收缩引起松驰的睫状连接纤维，其允许晶状体呈现更圆的几何形状以用于更近的焦距)以大约1/4至1/2屈光度前后抖动，以在目标焦距的近侧和远侧循环诱发少量的“屈光模糊”。这被大脑的适应控制电路用作循环负反馈，其帮助不断地校正方向并保持被注视对象的视网膜图像近似对焦。
大脑的可视化中心还从两只眼睛及其部件相对于彼此的运动获得有价值的感知信息。两只眼睛相对于彼此的聚散运动(例如，瞳孔朝向彼此或远离彼此滚动运动以使眼睛的视线会聚以固定在对象上)与眼睛的晶状体的聚焦(或“适应”)紧密相关。在正常情况下，在被称为“适应-聚散反射”的关系下，改变眼睛的晶状体的焦距或调节眼睛以聚焦不同距离处的对象将自动引起聚散度到相同距离的匹配变化。同样，在正常条件下，聚散度的变化将触发适应性的匹配变化。已知违背这种反射(如大多数常规立体AR或VR配置的情况)会在用户中产生眼疲劳、头痛或其它形式的不适。
容纳眼睛的头部的运动也对对象的可视化具有关键的影响。人类倾向于移动他们的头部以对他们周围的世界可视化，并且通常相对于感兴趣的对象处于重新定位和重定向头部的相当恒定的状态。此外，当他们的眼睛注视需要移动以偏离中心超过约20度以聚焦于特定对象时，大多数人喜欢移动他们的头部(例如，人们通常不喜欢“从眼角”看东西)。人类还通常相对于声音扫描或移动他们的头部，以改善音频信号捕捉并利用耳朵相对于头部的几何形状。人类视觉系统从所谓的“头部运动视差”获得强大的深度提示，其与作为头部运动和眼睛聚散距离的函数的不同距离处的对象的相对运动相关。换句话说，如果人将他的头从一侧移动到另一侧并保持固定在对象上，则远离该对象的物项将沿与头部相同的方向移动，并且该对象前面的物项将与头部运动相反地移动。这些可为对象相对于人在环境中空间位置非常显著的提示。当然，头部运动也被用来环顾对象。
此外，头部和眼睛运动与“前庭眼反射”协调，其在头部旋转期间相对于视网膜稳定图像信息，从而保持对象图像信息大致位于视网膜的中心。响应于头部旋转，眼睛在相反方向上反射地和成比例地旋转，以保持稳定固定在对象上。作为这种补偿关系的结果，许多人能够在来回摇晃头部的同时读书。有趣的是，如果书以相同的速度来回摇动而头部大致静止，则通常不是这样――人不太可能能够阅读移动的书。前庭眼反射为头部和眼睛运动协调中的一种，并且通常不被发展用于手运动。这种范例对于AR系统可能是重要的，因为用户的头部运动可与眼睛运动相对直接地关联，并且理想的系统优选地将准备好与该关系一起工作。
实际上，给定这些各种关系，当放置数字内容(例如，3-D内容，诸如被呈现以增强房间的真实世界视图的虚拟枝形吊灯对象；或2-D内容，诸如被呈现以增强房间的真实世界视图的平面/平坦虚拟油画对象)时，可以进行设计选择以控制对象的行为。例如，2-D油画对象可以头部为中心，在此情况下，对象随着用户的头部一起移动(例如，如在方法中)。在另一示例中，对象可为以世界为中心的，在此情况下，它可被呈现为好像它是真实世界坐标系的一部分，使得用户可移动他的头部或眼睛，而不移动对象相对于现实世界的位置。
因此，当将虚拟内容放置到用AR系统呈现的增强现实世界中时，做出关于该对象是否应该被呈现为以世界为中心、以身体为中心、以头部为中心或以眼睛为中心的选择。在以头部为中心的方法中，虚拟对象驻留在真实世界中的位置，使得用户可围绕它移动他的身体、头部、眼睛而不改变其相对于围绕它的真实世界对象(诸如真实世界墙壁)的位置。在以身体为中心的方法中，虚拟元素可相对于用户的躯干是固定的，使得用户可以移动他的头部或眼睛而不移动对象，但是对象被从属于躯干运动。在以头部为中心的方法中，所显示的对象(和/或显示本身)可与头部运动一起移动，如上面参考所描述的)。在以眼睛为中心的方法中，如在如下所述的“中央凹显示”配置中，内容根据眼睛位置而回转。
在以世界为中心的配置中，可能期望具有诸如精确的头部姿势测量、围绕用户的真实世界对象和几何形状的精确表示和/或测量、作为头部姿势的函数在增强现实显示中的低延迟动态呈现和通常低延迟显示的输入。
上面列出的美国专利申请提出了与典型人的视觉配置一起工作以解决虚拟现实和增强现实应用中的各种挑战的系统和技术。这些虚拟现实和/或AR系统的设计呈现了许多挑战，包括系统在递送虚拟内容时的速度、虚拟内容的质量、用户的适眼距(eyerelief)、系统的大小和可移植性以及其它系统和光学挑战。
本文所述的系统和技术被配置为与典型人的视觉配置一起工作以解决这些挑战。
发明内容
本发明的实施例涉及用于促进一或多个用户的虚拟现实和/或增强现实交互的装置、系统和方法。在一个方面，公开了用于显示虚拟内容的系统。
在一个方面，一种增强现实显示系统包括捕捉一或多个图像的图像捕捉装置，所述一或多个图像对应于头戴式增强现实装置的用户的视场，以及处理器，其通信地耦合到图像捕捉装置以从所述图像集合中提取一组映射点，以从所提取的该组映射点中识别一组稀疏点和一组密集点，以及对该组映射点执行归一化。在一或多个实施例中，处理器可分别为稀疏点集合和密集点集合生成稀疏点和密集点描述符。
在一或多个实施例中，稀疏点描述符和密集点描述符被存储为映射数据。在一或多个实施例中，稀疏点集合对应于一或多个图像的区别特征。在一或多个实施例中，区别特征选自由角、圆、三角形和文本组成的组。
在一或多个实施例中，密集点集合对应于视场内的3D点。在一或多个实施例中，密集点集合另外包括颜色值。在一或多个实施例中，归一化包括缩放归一化。在一或多个实施例中，归一化包括至共同原点的坐标归一化。在一或多个实施例中，归一化利用机器学习。在一或多个实施例中，稀疏点和密集点描述符对应于稀疏和密集点集合中的相应稀疏点和密集点。在一或多个实施例中，稀疏点和密集点描述符包括与缩放、纹理、取向和补片数据中的至少一种有关的信息。
在另一方面，一种生成映射数据的方法包括：识别与一或多个图像相关联的一组映射点；从所识别的映射点确定稀疏点集合和密集点集合；以及执行相应的稀疏点和密集点集合的归一化。
在一或多个实施例中，该方法另外包括针对稀疏点和密集点的相应集合生成稀疏点和密集点描述符，以及组合稀疏点描述符和密集点描述符以存储为映射数据。
在一或多个实施例中，稀疏点集合对应于区别特征。在一或多个实施例中，区别特征选自由角、圆、三角形和文本组成的组。在一或多个实施例中，密集点集合对应于视场内的3D点。在一或多个实施例中，密集点集合还包括颜色值。
在一或多个实施例中，归一化包括缩放归一化。在一或多个实施例中，归一化包括至共同原点的坐标归一化。在一或多个实施例中，使用机器学习来实现归一化。在一或多个实施例中，稀疏点和密集点描述符对应于相应稀疏点和密集点集合中的每个稀疏点和密集点。在一或多个实施例中，每个稀疏点和密集点描述符包括关于从由缩放、取向、补片数据和纹理组成的组中选择的相应稀疏和密集点的信息。
在另一方面，一种增强现实显示系统包括捕捉一或多个图像的图像捕捉装置，所述一或多个图像对应于用户的视场，其中，该图像捕捉由用户产生的至少一个姿势，以及通信地耦合到图像捕捉装置的处理器，该处理器被配置为识别与姿势相关联的点的集合，并且将该点的集合与预定姿势的数据库进行比较，并且至少部分地基于该比较来识别姿势，以及至少部分地基于所识别的姿势来确定用户输入。
在一或多个实施例中，处理器基于比较生成用于所识别的点的集合的得分值。在一或多个实施例中，处理器在得分超过阈值时识别姿势。在一或多个实施例中，增强现实显示系统包括用于存储预定姿势集合的数据库。在一或多个实施例中，系统另外包括用于访问预定姿势的数据库的联网存储器。
在一或多个实施例中，姿势为手势。在一或多个实施例中，姿势为手指姿势。在一或多个实施例中，姿势为手指间交互。在一或多个实施例中，姿势从包括手指间交互、指向、敲击和摩擦的组中选择。
在一或多个实施例中，增强现实显示系统另外包括空间光调制器，空间光调制器通信地耦合到处理器，其中，处理器以使得一或多个虚拟对象至少部分地基于所确定的用户输入被显示给用户的方式控制空间光调制器。在一或多个实施例中，一或多个虚拟对象包括虚拟用户界面。
在另一方面，用于确定用户输入的方法，包括：捕捉用户的视场的图像，图像包括由用户产生的姿势，分析所捕捉的图像以识别与姿势相关联的点的集合，将识别的点的集合和与预定姿势的数据库相关联的点的集合进行比较，并且基于所识别的姿势确定用户输入。
在一或多个实施例中，该方法另外包括基于该比较生成所识别的点的集合的得分值。在一或多个实施例中，该方法另外包括当得分值超出阈值时识别姿势。在一或多个实施例中，该方法另外包括将预定姿势存储在数据库中。在一或多个实施例中，该方法另外包括访问联网存储器以访问预定姿势的数据库。
在一或多个实施例中，姿势为手势。在一或多个实施例中，姿势为手指姿势。在一或多个实施例中，姿势为手指间交互。在一或多个实施例中，姿势从包括手指间交互、指向、敲击和摩擦的组中选择。
在一或多个实施例中，该方法另外包括至少部分基于所确定的用户输入向用户显示一或多个虚拟对象。在一或多个实施例中，一或多个虚拟对象包括虚拟用户界面。
在另一方面，一种增强现实显示系统包括捕捉一或多个图像的图像捕捉装置，以及通信地耦合到图像捕捉装置的处理器，其分析所捕捉的图像以识别由用户产生的一或多个姿势，其中，一或多个姿势的识别包括利用具有多个级的级联机制。
在一或多个实施例中，级联机制包括多个节点，每个节点对应于多个级中的级。在一或多个实施例中，级联机制包括一系列许可分析节点。在一或多个实施例中，级联机制的多个级中的较早级被配置为与级联机制的多个级中的较后级相比消耗较少的处理能力。
在一或多个实施例中，基于在级联机制的较早级对所捕捉的图像的分析去除非姿势。在一或多个实施例中，多个级中的较后级被配置为至少部分基于所捕捉的图像来确定更复杂的姿势。
在一或多个实施例中，对所捕捉的图像的分析包括确定所捕捉的图像中各种形状的轮廓的锐度是否足够锐利以构成姿势。在一或多个实施例中，级联机制的较后级用于区分不同的姿势。在一或多个实施例中，处理器还被配置为至少部分基于分析来生成得分。在一或多个实施例中，如果所生成的得分低于最小阈值，则处理器从考虑中移除候选图像。在一或多个实施例中，如果所生成的得分高于最小阈值，则处理器前进到级联机制的较后级。
在另一方面，一种方法包括：捕捉对应于用户的视场的一或多个图像，以及分析所捕捉的一或多个图像以识别由用户产生的一或多个手势，其中，分析包括利用具有多个级的级联机制。
在一或多个实施例中，级联机制包括多个节点，每个节点对应于多个级中的级。在一或多个实施例中，级联机制包括一系列许可分析节点。在一或多个实施例中，级联机制的多个级中的较早级被配置为与级联机构的多个级中的较后级相比消耗较少的处理能力。
在一或多个实施例中，基于在级联机制的较早级对所捕捉的图像的分析去除非姿势。在一或多个实施例中，多个级中的较后级被配置为至少部分基于所捕捉的图像来确定更复杂的姿势。
在一或多个实施例中，对所捕捉的图像的分析包括确定所捕捉的图像中各种形状的轮廓的锐度是否足够锐利以构成姿势。在一或多个实施例中，级联机制的较后级用于区分不同的姿势。
在一或多个实施例中，该方法另外包括至少部分基于该分析生成得分。在一或多个实施例中，该方法另外包括：如果所生成的得分低于最小阈值，则从考虑中移除候选图像。在一或多个实施例中，该方法另外包括：如果所生成的得分高于最小阈值，则前进到级联机制的较后级。
在另一方面，一种增强现实系统包括捕捉用户的各个视场的多个图像的图像捕捉装置，以及通信地耦合到图像捕捉装置的处理器，其分析多个图像并且从所捕捉的多个图像生成多个姿势候选，并且生成与所述多个姿势候选对应的分析值，其中，至少部分基于该分析值来识别姿势。
在一或多个实施例中，处理器还被配置为至少部分基于相应的分析值对姿势候选进行排序。在一或多个实施例中，处理器还被配置为消除具有低于最小阈值的分析值的姿势候选。在一或多个实施例中，处理器还被配置为如果分析值高于最小阈值，则将姿势候选推进到下一处理级。
在另一方面，一种方法包括：捕捉用户的各个视场的多个图像，分析多个图像以生成多个姿势候选，并且生成与多个姿势候选相对应的分析值，其中，姿势至少部分基于分析值来识别。
在一或多个实施例中，该方法还包括至少部分基于相应分析值对姿势候选进行排序。在一或多个实施例中，该方法另外包括消除具有低于最小阈值的分析值的姿势候选。在一或多个实施例中，该方法另外包括：如果分析值高于最小阈值，则将姿势候选推进到下一处理级。
在又一方面，一种增强现实显示系统包括捕捉用户的视场的图像的图像捕捉装置，以及被配置为生成对应于所捕捉的图像的深度地图并且分析所捕捉图像的深度地图以识别姿势的处理器。
在一或多个实施例中，处理器还被配置为利用分类器机制来识别对应于所生成的深度地图的点的手的一部分。在一或多个实施例中，处理器还被配置为基于手的一部分的识别来对所述深度地图进行骨架化(skeletonize)。
在一或多个实施例中，处理器至少部分地基于骨架化的深度地图将图像分类为姿势。在一或多个实施例中，至少部分通过执行深度分割过程来生成深度。
在一或多个实施例中，深度分割包括线搜索。在一或多个实施例中，处理器对深度地图执行级联分析以将图像分类为姿势。在一或多个实施例中，处理器对深度地图执行深度增强。在一或多个实施例中，处理器对深度地图执行表面归一化。
在一或多个实施例中，处理器对深度地图执行取向归一化。在一或多个实施例中，处理器对深度地图执行背景减法。在一或多个实施例中，处理器对深度地图执行深度比较。在一或多个实施例中，处理器至少部分地基于骨架化深度地图和先前信息将图像分类为姿势。在一或多个实施例中，分类器机制为决策林。
在另一方面，一种用于对姿势进行分类的方法包括：捕捉用户的视场的图像；对捕捉图像执行深度分割以生成深度地图；以及至少部分基于所生成的深度地图来识别姿势。
在一或多个实施例中，该方法另外包括使用分类器机制来分析深度地图，以识别与深度地图中的点相对应的手的一部分。在一或多个实施例中，该方法另外包括基于手的一部分的识别来对深度地图骨架化。在一或多个实施例中，该方法另外包括基于骨架化深度地图将图像分类为姿势。
在一或多个实施例中，深度分割包括线搜索。在一或多个实施例中，该方法另外包括对深度地图执行级联分析以将图像分类为姿势。在一或多个实施例中，该方法另外包括对深度地图执行深度增强。
在一或多个实施例中，该方法另外包括对深度地图执行表面归一化。在一或多个实施例中，该方法另外包括对深度地图执行取向归一化。在一或多个实施例中，该方法另外包括对深度地图执行背景减法。
在一或多个实施例中，该方法另外包括对深度地图执行深度比较。在一或多个实施例中，该方法另外包括基于骨架化深度地图和先验信息将图像分类为姿势。在一或多个实施例中，分类器机制为决策林。
在另一方面，一种增强现实显示系统包括：捕捉用户的视场的一组图像的图像捕捉装置，该组图像捕捉用户相对于预定义物理对象的运动；以及通信耦合到图像捕捉装置的处理器，其分析相对于预定义物理对象的运动，以及至少部分基于所分析的运动来确定用户输入。
在一或多个实施例中，处理器识别预定义的物理对象。在一或多个实施例中，至少部分基于预定义物理对象的捕捉图像和预定义物理对象的数据库之间的图像比较来识别预定义物理对象。在一或多个实施例中，所分析的用户相对于预定义物理对象的移动被用于生成图案。在一或多个实施例中，将所生成的图案与预定义图案的数据库进行比较。在一或多个实施例中，处理器基于比较生成用于所识别的图案的得分值。
在一或多个实施例中，处理器在得分值超出阈值时确定用户输入。在一或多个实施例中，图像捕捉装置可视地跟踪相对于预定义物理对象的运动以生成视频记录。在一或多个实施例中，分析视频记录以确定用户输入。
在一或多个实施例中，增强现实显示系统另外包括用于访问预定义图案的数据库的联网存储器。在一或多个实施例中，预定义物理对象选自视场中的现有结构、有源标记图腾、无源标记图腾、摄像机/传感器集成对象和图腾控制器对象。
在一或多个实施例中，相对于预定义物理对象的运动从包括预定义物理对象相对于参考系的位置、取向和移动的组中选择。在一或多个实施例中，预定义物理对象包括用户手的第一只手，并且其中，相对于第一只手的运动包括用用户的第二只手对第一只手的操控。
在一或多个实施例中，预定义物理对象具有软硬度表面，并且其中，相对于预定义物理对象的运动包括用户压下软硬度表面。在一或多个实施例中，处理器为用户呈现与预定义物理对象相关联的虚拟界面元素，该虚拟界面元素由用户通过显示装置观看。
在一或多个实施例中，当被用户观看时，相对于预定义物理对象显示虚拟界面元素，使得至少部分基于关于预定义物理对象的修改来修改虚拟界面元素。在一或多个实施例中，预定义物理对象包括电子输入装置，并且其中，基于所识别的预定义物理对象的运动和来自电子输入装置的输入来确定用户输入。
在一或多个实施例中，处理器被配置为控制耦合到用户的眼睛的显示装置，使得至少部分基于所确定的用户输入来修改向用户显示的虚拟内容。
在另一方面，一种用于确定用户输入的方法包括：捕捉用户的视场的一或多个图像，该图像至少包括预定义的物理对象，分析图像以检测用户相对于预定义物理对象的运动，并且至少部分基于相对于所预定义物理对象的运动的分析来确定用户输入。
在一或多个实施例中，该方法另外包括识别预定义的物理对象。在一或多个实施例中，至少部分基于预定义物理对象的捕捉图像和预定义物理对象的数据库之间的图像比较来识别预定义物理对象。在一或多个实施例中，用户相对于预定义物理对象的运动被用于生成图案。
在一或多个实施例中，该方法另外包括将所生成的图案与预定图案的数据库进行比较。在一或多个实施例中，该方法另外包括基于该比较生成所识别的图案的得分值。在一或多个实施例中，该方法另外包括当得分值超过阈值时确定用户输入。
在一或多个实施例中，该方法另外包括视觉地跟踪与预定义物理对象相关的运动以生成视频记录。在一或多个实施例中，分析视频记录以确定用户输入。在一或多个实施例中，该方法还包括通过联网存储器访问预定图案的数据库。在一或多个实施例中，预定义物理对象选自视场中的现有结构、有源标记图腾、无源标记图腾、摄像机/传感器集成对象和图腾控制器对象。
在一或多个实施例中，相对于预定义物理对象的运动从包括预定义物理对象相对于参考系的位置、取向和移动的组中选择。在一或多个实施例中，预定义物理对象包括用户手的第一只手，并且其中，相对于第一只手的运动包括用用户的第二只手对第一只手的操控。
在一或多个实施例中，预定义物理对象具有软硬度表面，并且其中，相对于预定义物理对象的运动包括用户压下软硬度表面。在一或多个实施例中，该方法另外包括为用户呈现与预定义物理对象相关联的虚拟界面元素。
在一或多个实施例中，当被用户观看时，相对于预定义物理对象显示虚拟界面元素，使得至少部分基于关于预定义物理对象的修改来修改虚拟界面元素。在一或多个实施例中，预定义物理对象包括电子输入装置，并且其中，基于所识别的预定义物理对象的运动和来自电子输入装置的输入来确定用户输入。在一或多个实施例中，该方法另外包括至少部分基于所确定的用户输入来修改向用户显示的虚拟内容的至少一个特性。
在另一方面，一种增强现实显示系统包括物理地耦合到用户的眼睛的显示器，其显示与一或多个物理对象相关的一组虚拟内容，以及通信地耦合到显示器和图像捕捉装置的处理器，其基于用户输入识别经由显示器向用户显示的虚拟用户界面，获得用户相对于世界的位置，以及确定一组显示虚拟用户界面的坐标点，并且控制该显示以使得所识别的虚拟用户界面被显示给用户。
在一或多个实施例中，至少部分基于所识别的姿势来确定用户输入。在一或多个实施例中，至少部分基于语音命令来确定用户输入。在一或多个实施例中，至少部分基于与预定义物理对象的交互来确定用户输入。
在一或多个实施例中，增强现实显示系统另外包括用户界面库，并且其中，从用户界面库检索所识别的用户界面。在一或多个实施例中，所识别的虚拟用户界面与参考系相关联。在一或多个实施例中，参考系为以身体为中心的参考系。
在一或多个实施例中，参考系为以头部为中心的参考系。在一或多个实施例中，参考系为以手为中心的参考系。在一或多个实施例中，参考系为以世界为中心的参考系。在一或多个实施例中，处理器执行与所识别的虚拟用户界面相关联的参考系和所获得的用户相对于世界的位置之间的变换，以确定虚拟用户界面的坐标点集合。
在一或多个实施例中，基于用户的GPS位置确定用户在世界中的位置。在一或多个实施例中，基于与用户相关联的一组映射点来确定用户在世界中的位置。在一或多个实施例中，当用户移动时，虚拟用户界面看起来是静止的。
在一或多个实施例中，虚拟用户界面相对于用户的移动而移动。在一或多个实施例中，处理器确定与所识别的虚拟用户界面相关联的参考系、确定参考系相对于世界参考系的位置、将所确定的位置设置为原点并确定相对于原点的坐标点集合。
在另一方面，一种用于生成虚拟用户界面的方法包括：基于用户输入来识别要向用户显示的虚拟用户界面；获得与用户相关联的位置；至少部分基于所获得的位置来确定在其处显示所识别的虚拟用户界面的一组坐标点；并且在所确定的坐标点处向用户显示虚拟用户界面。
在一或多个实施例中，至少部分基于所识别的姿势来确定用户输入。在一或多个实施例中，至少部分基于语音命令来确定用户输入。在一或多个实施例中，至少部分基于与预定义物理对象的交互来确定用户输入。
在一或多个实施例中，该方法另外包括从用户界面库检索所识别的用户虚拟用户界面。在一或多个实施例中，所识别的虚拟用户界面与参考系相关联。在一或多个实施例中，参考系为以身体为中心的参考系。
在一或多个实施例中，参考系为以头部为中心的参考系。在一或多个实施例中，参考系为以手为中心的参考系。在一或多个实施例中，参考系为以世界为中心的参考系。
在一或多个实施例中，该方法另外包括在与所识别的虚拟用户界面相关联的参考系和所获得的用户相对于世界的位置之间执行变换，以确定虚拟用户界面的坐标点集合。在一或多个实施例中，基于用户的GPS位置确定用户在世界中的位置。
在一或多个实施例中，基于与用户相关联的一组映射点来确定用户在世界中的位置。在一或多个实施例中，当用户移动时，虚拟用户界面看起来是静止的。在一或多个实施例中，虚拟用户界面相对于用户的移动而移动。
在一或多个实施例中，该方法另外包括确定与所识别的虚拟用户界面相关联的参考系、确定参考系相对于世界参考系的位置、将所确定的位置设置为原点并确定相对于原点的坐标点集合。
在一或多个实施例中，该方法另外包括从联网存储器检索映射点集合。在一或多个实施例中，用户输入包括待显示虚拟用户界面在空间中的位置。在一或多个实施例中，在空间中的位置与在用户位置处的物理实体相关联。在一或多个实施例中，用户输入包括包含指示墙的投掷输入的姿势。在一或多个实施例中，用户输入包括表示结束生成虚拟用户界面的指令的姿势。
在另一方面，用于生成虚拟用户界面的方法，包括：检测预定义物理对象的操控；基于所检测到的操控识别产生虚拟用户界面的命令；从虚拟世界模型确定与预定义物理对象的位置相关联的映射点集合，以及在所确定的与图腾的位置相关联的映射点处实时呈现虚拟用户界面，使得当被用户观看时，虚拟用户界面看起来在预定义物理对象的位置处是静止的。
在一或多个实施例中，预定义物理对象的操控包括用户的手在预定义物理对象的表面上的扩张捏合姿势。在一或多个实施例中，当被用户观看时，虚拟用户界面看起来覆盖预定义物理对象的表面的一部分，该部分对应于在形成扩张捏合姿势期间用户的手的位置。在一或多个实施例中，预定义物理对象是用户的手。
在一或多个实施例中，预定义物理对象的操控包括从包括用户打开手、用户显示手的打开手掌以及用户举起手的组中选择的动作。在一或多个实施例中，在被用户观看时，虚拟用户界面看起来覆盖手的表面的一部分。
在一或多个实施例中，虚拟用户界面包括可由手的手指或拇指选择的多个第一级菜单项。在一或多个实施例中，该方法另外包括检测手的进一步操控、基于所检测到的进一步操控识别产生第二虚拟用户界面的命令，并且在所确定的与预定义物理对象的位置相关联的映射点处实时呈现第二虚拟用户界面，使得当由用户观看时，虚拟用户界面看起来在预定义物理对象的位置处是静止的。
在一或多个实施例中，该方法另外包括手的进一步操控，包括展开手的手指。在一个或多个实施例中，第二虚拟用户界面包括可由手的手指或拇指选择的多个第二级菜单项，其中，第二级低于第一级。
在一或多个实施例中，图腾的进一步操控包括用来自用户的第二只手的手指在手掌中进行环绕运动。在一或多个实施例中，第二虚拟用户界面包括以弧形布置的多个菜单项，菜单项可滚动并且可由第二只手的手指选择。
在另一方面，一种增强现实显示系统包括图像捕捉装置，其捕捉用户的视场的一或多个图像，其中，至少一个图像捕捉预定义物理对象的操控，显示装置，其向用户显示一或多个虚拟对象，包括可传递世界模型的数据库，可传递世界模型包括与世界的物理对象相关联的一组映射点，以及处理器，其通信耦合到图像捕捉装置，以基于一或多个图像识别产生虚拟用户界面的命令，至少部分基于可传递世界模型来确定与预定义物理对象相对应的映射点，并且使得虚拟用户界面在所确定的与预定义物理对象相对应的映射点处生成，使得虚拟用户界面看起来在预定义物理对象的位置处是静止的。
在一或多个实施例中，预定义物理对象的操控包括用户的手在预定义物理对象的表面上的扩张捏合姿势。在一或多个实施例中，当被用户观看时，虚拟用户界面看起来覆盖预定义物理对象的表面的一部分，该部分对应于在形成扩张捏合姿势期间用户的手的位置。在一或多个实施例中，预定义物理对象是用户的手。
在一或多个实施例中，预定义物理对象的操控包括从包括用户打开手、用户显示手的打开手掌以及用户举起手的组中选择的动作。在一或多个实施例中，在被用户观看时，虚拟用户界面看起来覆盖手的表面的一部分。
在一或多个实施例中，虚拟用户界面包括可由手的手指或拇指选择的多个第一级菜单项。在一或多个实施例中，预定义物理对象为手，并且其中，处理器检测手的进一步操控并识别产生第二虚拟用户界面的命令，并且以使得第二虚拟用户界面被显示在所确定的映射点处来控制显示。
在一或多个实施例中，手的进一步操控包括展开手的手指。在一个或多个实施例中，第二虚拟用户界面包括可由手的手指或拇指选择的多个第二级菜单项，其中，第二级低于第一级。在一或多个实施例中，图腾的进一步操控包括用来自用户的第二只手的手指在手掌中进行环绕动作。
在一或多个实施例中，第二虚拟用户界面包括以弧形布置的多个菜单项，菜单项可滚动并且可由第二只手的手指选择。
在另一方面，一种用于更新虚拟世界的方法包括：从第一用户的第一装置接收第一输入，第一输入对应于第一用户的物理环境；基于所接收到的第一输入更新虚拟世界模型，虚拟世界模型对应于第一用户的物理环境，将对应于虚拟世界模型的第一部分的第一更新信息发送给第二用户，其中，第一更新信息被配置为指示第一更新信息的任何部分是否需要向第二用户显示。
在一或多个实施例中，虚拟世界模型驻留在联网存储器上。在一或多个实施例中，第一用户和第二用户位于相应的不同位置。在一或多个实施例中，第一用户的第一装置选自由FOV摄像机、其它摄像机、传感器、眼睛跟踪第一装置和音频第一装置组成的组。
在一或多个实施例中，该方法另外包括将对应于虚拟世界模型的第一部分的第一更新信息发送给第一用户，其中，第一更新信息被配置为指示第一更新信息的任何部分是否需要显示给第一用户。在一或多个实施例中，该方法另外包括将对应于虚拟世界模型的第一部分的第一更新信息发送给多个其他用户，其中，第一更新信息被配置为指示第一更新信息的任何部分是否需要显示给所述多个其他用户中的每个用户。
在一或多个实施例中，该方法另外包括从多个其他用户中的相应第一装置接收多个输入，多个输入对应于第一用户的物理环境；基于所接收到的多个输入更新虚拟世界模型，并且向第二用户发送与虚拟世界模型的相应附加部分相对应的附加更新信息，其中，附加更新信息被配置为指示是否需要向第二用户显示附加更新信息的任何部分。
在一或多个实施例中，该方法另外包括将对应于虚拟世界模型的部分的附加更新信息发送给第一用户，其中，附加更新信息被配置为指示附加更新信息的任何部分是否需要显示给第一用户。
在一或多个实施例中，该方法另外包括将对应于虚拟世界模型的相应附加部分的附加更新信息发送给多个其他用户，其中，附加更新信息被配置为指示附加更新信息的任何部分是否需要显示给多个其他用户中的每个用户。
在一或多个实施例中，该方法另外包括从第二用户的第二装置接收第二输入，第二输入对应于第二用户的物理环境；基于所接收到的第二输入更新虚拟世界模型，虚拟世界模型对应于第一用户的物理环境，并将对应于虚拟世界模型的第二部分的第二更新信息发送给第一用户，其中，第二更新信息被配置为指示第二更新信息的任何部分是否需要显示给第一用户。在一或多个实施例中，第二更新信息对应于虚拟世界模型的第二部分中的第二用户的化身的运动。
在另一方面，一种方法包括：将光图案投影到空间上；用摄像机检测光图案的第一和第二部分以产生对应于该图案的第一和第二部分的第一和第二数据点，并且执行三角测量分析以至少部分基于第一和第二数据点来确定光图案的第一和第二部分的位置。
在一或多个实施例中，该方法另外包括针对图案的多个部分重复所述投影、检测和三角测量步骤，以获取空间的附加纹理数据。在一或多个实施例中，其中，将光投射到空间上包括使用基于光纤的投影仪将光投射到空间上。
在一或多个实施例中，该方法另外包括在光被投射到空间上之前用光学元件修改光以形成光线束。在一或多个实施例中，光图案对应于结构化光，并且其中，光图案是动态的。在一或多个实施例中，光图案对应于图案化的光，并且其中，光图案包括多个点。
在一或多个实施例中，光图案对应于纹理化的光，并且其中，光图案是不规则的。在一或多个实施例中，光图案的第一和第二部分为光图案的相应像素。
在另一方面，一种增强现实显示系统包括用于在空间中投射光图案的投光器，耦合到增强现实显示系统的镜框的摄像机，其捕捉用户的视场的图像，其中，摄像机捕捉对应于投射光图案的第一和第二部分，以及通信耦合到摄像机的处理器，其用于至少部分基于从摄像机接收到的数据来检测对应于图案的第一和第二部分的第一和第二数据点并且执行三角测量分析以至少部分基于第一和第二数据点来确定光图案的第一和第二部分的位置。
在一或多个实施例中，处理器针对图案的多个部分重复所述投影、检测和三角测量步骤，以获取空间的附加纹理数据。在一或多个实施例中，投光器包括基于光纤的投影仪。在一或多个实施例中，用光学元件修改投射光，以在光被投射到空间上之前形成光线束。
在一或多个实施例中，光图案对应于结构化光，并且其中，光图案是动态的。在一或多个实施例中，光图案对应于图案化的光，并且其中，光图案包括多个点。在一或多个实施例中，光图案对应于纹理化的光，并且其中，光图案是不规则的。在一或多个实施例中，光图案的第一和第二部分为光图案的相应像素。
在另一方面，一种增强现实系统包括具有被配置为被操控使得所述操控被增强现实系统检测为用户输入的表面的预定义物理对象，其中，预定义物理对象包括被配置为当用户经由触摸与预定义物理对象交互时向用户提供触觉感知的材料。
在一或多个实施例中，预定义物理对象被配置为模拟用户输入装置。在一或多个实施例中，用户输入装置选自由计算机键盘、计算机鼠标、计算机触控板和手持式控制器组成的组。
在一或多个实施例中，系统另外包括用于向用户显示一或多个虚拟对象的显示装置，以及以使得虚拟用户界面被显示在预定义物理对象的表面上的方式控制显示装置的处理器。
在一或多个实施例中，预定义物理对象具有球形形状。在一或多个实施例中，系统被配置为显示虚拟用户界面，使得虚拟用户界面看起来从预定义物理对象发出。在一或多个实施例中，预定义物理对象具有纹理化外表面。
在一或多个实施例中，预定义物理对象包括用户输入元素。在一或多个实施例中，用户输入元件从包括键、按钮和滚轮的组中选择。在一或多个实施例中，用户输入元件不是可操作地耦合到电子器件。在一或多个实施例中，系统另外包括被配置成检测用户对图腾的操控的摄像机。
在一或多个实施例中，预定义物理对象包括凹陷、空腔或突起。在一或多个实施例中，操控选自由轻扫、摇动、旋转、滚动、敲击、双敲、短敲和长敲组成的手指运动组。
在一或多个实施例中，操控选自由交互的数量、交互的类型和交互的持续时间组成的手指运动特性的组。在一或多个实施例中，操控从包括距离、方向、速度和加速度组成的手指特性的组中选择。
在又一方面，一种用于生成虚拟房间的方法包括：识别要向用户显示的虚拟房间；获得与虚拟房间相关联的第一组映射点，第一组映射点对应于在用户的位置的第一物理房间；将虚拟房间系留到第一组映射点；并且向用户显示虚拟房间，使得在被用户观看时，虚拟房间看起来在第一组映射点的集合处是静止的。
在一或多个实施例中，该方法另外包括基于用户输入来识别虚拟房间。在一或多个实施例中，用户输入选自由姿势、视觉数据、音频数据、感觉数据、直接命令、语音命令、眼睛跟踪以及物理按钮的选择所组成的组。
在一或多个实施例中，虚拟房间由用户预先确定。在一或多个实施例中，该方法另外包括从联网存储器检索第一组映射点。在一或多个实施例中，该方法另外包括：获得与虚拟房间相关联的第二组映射点，第二组映射点对应于用户从第一物理房间运动之后在用户位置处的第二物理房间；将虚拟房间连接到第二组映射点；并且向用户显示虚拟房间，使得当被用户观看时，虚拟房间看起来在第二组映射点处是静止的。
在一或多个实施例中，虚拟房间还包括第一和第二虚拟对象，该方法另外包括当虚拟房间被系留到第二虚拟对象时，保持对应于第一组映射点的第一虚拟对象和第二虚拟对象之间的相对空间位置。在一或多个实施例中，该方法另外包括向用户显示虚拟房间，使得在被用户观看时，虚拟房间看起来相对于第一物理房间的一部分是静止的。在一或多个实施例中，虚拟房间另外包括可选择的虚拟装饰。
在另一方面，一种用于产生零售体验的方法包括：识别用户在零售机构中的位置；检索对应于零售机构的数据；基于所检索的数据生成与零售机构有关的虚拟内容；在用户的视场中产生虚拟用户界面；并且在用户参与在零售机构中的零售活动时，在虚拟用户界面上显示虚拟内容。
在一或多个实施例中，所检索到的数据包括对应于零售机构的一组映射点，并且其中，当被用户观看时，虚拟用户界面看起来在该组映射点处是静止的。在一或多个实施例中，使用射频识别转发器和通信来识别用户的位置。在一或多个实施例中，虚拟内容选自由虚拟角色、虚拟优惠券、基于用户位置的游戏、促销商品列表、营养信息、与商品相关的元数据、名人外观、交叉销售广告、来自用户已知的人的信息和电子书组成的组。
在一或多个实施例中，该方法另外包括检索对应于用户的用户数据，以及基于所检索到的数据和所检索的用户数据生成虚拟内容。在一或多个实施例中，虚拟内容选自由虚拟杂货列表、虚拟优惠券书、虚拟食谱书、用户家中的各种配料的列表以及虚拟食谱构建器组成的组。在一或多个实施例中，该方法另外包括：接收用户输入；基于用户输入生成附加虚拟内容；并且当用户参与零售机构中的零售活动时，在虚拟用户界面上显示附加虚拟内容。
在一或多个实施例中，用户输入选自由姿势、视觉数据、音频数据、感觉数据、直接命令、语音命令、眼睛跟踪以及物理按钮的选择所组成的组。在一或多个实施例中，虚拟内容选自由移动总成本、智能虚拟杂货列表、接近用户位置的商品的指示符以及虚拟支付系统组成的组。在一或多个实施例中，该方法另外包括将所生成的虚拟内容发送到用户装置以供显示。
在另一方面，一种方法包括：检索与患者的病史有关的患者数据；至少部分基于所检索到的患者数据生成虚拟内容；检索对应于第一用户的第一位置的第一组映射点；至少部分基于所检索到的该组映射点在第一用户的视场中产生第一虚拟用户界面；并且在第一虚拟用户界面上显示虚拟内容，使得在被第一用户观看时，第一虚拟用户界面看起来被固定在第一组映射点处。
在一或多个实施例中，虚拟内容选自由手术目标的三维图像、患者识别信息、医学图像、重要的患者标志信息和医疗图表组成的组。在一或多个实施例中，从联网的存储器检索患者数据。
在一或多个实施例中，该方法另外包括：生成被配置为促进第一用户和第二用户之间的通信的第二虚拟用户界面，其中，第二用户位于与第一用户的第一位置不同的第二位置。在一或多个实施例中，第二虚拟用户界面为第二用户的视觉表示。在一或多个实施例中，第二用户选自由咨询外科医生、患者、与患者相关的一方和医学生组成的组。在一或多个实施例中，该方法另外包括：在第一虚拟用户界面上向第二用户显示虚拟内容，使得在被第二用户观看时，第一虚拟用户界面看起来被固定在该组映射点处。
在一或多个实施例中，在外科手术期间，虚拟内容被显示给第一用户，并且该方法另外包括：接收用户输入；基于用户输入生成附加虚拟内容；并且在第一用户正在执行外科手术期间，在第一虚拟用户界面上显示附加虚拟内容。
在一或多个实施例中，用户输入选自由姿势、视觉数据、音频数据、感觉数据、直接命令、语音命令、眼睛跟踪以及物理按钮的选择所组成的组。在一或多个实施例中，用户输入包括第一用户的视场的图像，该方法另外包括：在第一虚拟用户界面上向第二用户显示附加虚拟内容，使得当由第二用户观看时，第一虚拟用户界面看起来被固定在该组映射点处。
在一或多个实施例中，一种用于促进医疗康复的方法包括：接收与医疗康复相关的用户输入；基于所接收到的用户输入向云服务器发送与医疗康复相关的请求；基于请求从连接到云服务器的知识库接收与医疗康复有关的数据；并且基于所接收到的数据向第一用户显示与医疗康复有关的虚拟内容。
在一或多个实施例中，用户输入选自由视觉、音频和感觉输入组成的组。在一或多个实施例中，该方法另外包括在将请求发送到云服务器之前确定用户输入是否有效。在一或多个实施例中，数据从连接到云服务器的多个知识库接收。
在一或多个实施例中，所述请求指示云服务器从知识库检索数据。在一或多个实施例中，虚拟内容包括令人放松的环境。在一或多个实施例中，该方法另外包括：从第二用户接收附加数据；并且基于所接收到的附加数据向第一用户显示附加虚拟内容。
在一或多个实施例中，第一和第二用户位于不同的物理位置。在一或多个实施例中，附加虚拟内容为第二用户的视觉表示。在一或多个实施例中，该方法另外包括：从第一用户接收第一用户数据；并且从第二用户接收第二用户数据；基于所接收到的第一和第二用户数据修改虚拟内容；并且将所修改的虚拟内容向第一和第二用户显示。
在一或多个实施例中，第一用户参与用于医疗康复的体育活动，并且其中，虚拟内容涉及身体活动。在一或多个实施例中，虚拟内容选自由关于身体活动的信息、第一用户的表现统计、对应于身体活动的虚拟体验和虚拟化身组成的组。在一或多个实施例中，数据从联网存储器检索。
在另一方面，一种用于增强任务绩效的方法包括：检索与待由用户执行的任务相关的任务数据；基于任务数据生成虚拟内容；在用户的视场中产生虚拟用户界面；检索与用户的位置相对应的一组映射点；并且在用户正在执行任务时，在虚拟用户界面上显示虚拟内容，使得在被用户观看时，虚拟用户界面看起来被固定在一组映射点。
在一或多个实施例中，虚拟内容为具有虚拟映射图案的游戏，并且其中，游戏被配置为改善用户执行任务的绩效。在一或多个实施例中，游戏对于跟随虚拟映射图案奖励点数。在一或多个实施例中，对于在预定量的时间内到达虚拟映射图案中的点，游戏将点数倍增。
在一或多个实施例中，对于从虚拟映射图案中偏离，所述游戏扣除点数。在一或多个实施例中，对于移动邻近物理对象，所述游戏扣除点数。在一或多个实施例中，任务选自由操作园林机械、取回仓库物品、堆叠零售货架和分类邮件组成的组。在一或多个实施例中，从联网存储器检索任务数据。
在一或多个实施例中，该方法另外包括：接收用户输入；基于用户输入生成附加虚拟内容；并且在用户正在执行任务时，在虚拟用户界面上显示附加虚拟内容。在一或多个实施例中，用户输入包括与任务的执行有关的用户动作。
在又一方面，一种增强现实显示系统包括：显示装置，其可配置为向用户的眼睛显示一或多个虚拟图像；通信耦合到显示装置的处理器，其被配置为向显示装置提供一或多个虚拟图像，处理器包括预测器机构，其预测性地校正与虚拟图像的显示有关的定时不一致性。
在一或多个实施例中，定时不一致性涉及由一或多个传感器进行的一或多个传感器测量，一或多个传感器通信耦合到处理器。在一或多个实施例中，定时不一致性涉及处理输入数据时的处理延迟。
在一或多个实施例中，预测器机构利用滤波器来校正定时不一致性的影响。在一或多个实施例中，滤波器考虑一或多个传感器测量的相对速度，传感器测量由通信耦合到处理器的一或多个传感器进行。在一或多个实施例中，预测器机构采用卡尔曼预测器。
在一或多个实施例中，在显示处理阶段期间利用卡尔曼预测器。在一或多个实施例中，处理器对与一或多个虚拟图像相关联的数据执行补偿性改变以补偿定时不一致性。在一或多个实施例中，补偿改变包括执行与虚拟图像相关联的数据的移位。
在一或多个实施例中，补偿变化包括平滑与虚拟图像相关联的一或多个视觉假象。在一或多个实施例中，补偿变化包括校正一或多个传感器的传感器测量的负面影响，一或多个传感器通信耦合到处理器。
在另一方面，一种用于校正增强现实显示系统中的延迟的方法，包括：在向用户显示虚拟图像的至少一个阶段中确定一或多个定时不一致性；利用预测器机制来预测性地校正定时不一致性；并且至少部分基于预测器机制来补偿与虚拟图像的数据相关的至少一个特性。
在一或多个实施例中，定时不一致性涉及由一或多个传感器进行的一或多个传感器测量，所述一或多个传感器通信耦合到处理器。在一或多个实施例中，定时不一致性涉及处理输入数据时的处理延迟。
在一或多个实施例中，预测器机制利用滤波器来校正定时不一致性的影响。在一或多个实施例中，滤波器考虑一或多个传感器测量的相对速度，传感器测量由通信耦合到处理器的一或多个传感器进行。
在一或多个实施例中，预测器机构采用卡尔曼预测器。在一或多个实施例中，在显示处理阶段期间利用卡尔曼预测器。在一或多个实施例中，补偿包括执行与虚拟图像相关联的数据的移位。在一或多个实施例中，补偿包括平滑与虚拟图像相关联的一或多个视觉假象。在一或多个实施例中，补偿包括校正一或多个传感器的传感器测量的负面影响，所述一或多个传感器通信耦合到处理器。
在另一方面，一种校正增强现实系统的方法包括：向用户显示虚拟图像，其中，虚拟图像被配置为以已知焦距显示，并且其中，虚拟图像包括像素点；确定像素点被显示给用户的位置，其中，像素的位置至少部分基于用户眼睛的瞳孔的位置来计算，并且将虚拟图像的像素点与空间中的已知点对准。
在一或多个实施例中，针对多个像素点重复这些步骤。在一或多个实施例中，至少部分基于在空间中的已知点的位置来计算被显示给用户的像素点的位置。在一或多个实施例中，瞳孔的位置、像素点的位置和在空间中的位置已知点落在相同的线上。
在一或多个实施例中，基于用户输入来修改向用户显示像素点的位置。在一或多个实施例中，该方法另外包括产生游戏界面，使得向用户呈现多个像素点。在一或多个实施例中，游戏界面包括通过用户的眼睛运动发射激光。
在一或多个实施例中，至少部分基于从一或多个世界摄像机接收的数据来确定已知点的位置。在一或多个实施例中，针对用户的另一只眼睛重复这些步骤。在一或多个实施例中，至少部分基于瞳孔的位置和已知点的位置的函数来确定像素点的位置。在一或多个实施例中，所述函数包括二次函数。
在另一方面，一种增强现实显示系统包括：用于向用户显示虚拟图像的显示装置，其中，虚拟图像被配置为以已知焦距显示，并且其中，虚拟图像包括像素点；以及通信耦合到显示装置的处理器，其被配置为确定向用户显示像素点的位置，并且至少部分基于用户眼睛的瞳孔的位置来计算像素点的位置，以及将虚拟图像的像素点与空间中的已知点对准。
在一或多个实施例中，针对多个像素点重复这些步骤。在一或多个实施例中，至少部分基于在空间中的已知点的位置来计算被显示给用户的像素点的位置。在一或多个实施例中，瞳孔的位置、像素点的位置和在空间中的位置已知点落在相同的线上。在一或多个实施例中，基于用户输入来修改向用户显示像素点的位置。
在一或多个实施例中，系统另外包括被配置为向用户呈现多个像素点的游戏界面。在一或多个实施例中，游戏界面包括通过用户的眼睛运动发射激光。在一或多个实施例中，至少部分基于从一或多个世界摄像机接收的数据来确定已知点的位置。
在一或多个实施例中，针对用户的另一只眼睛重复这些步骤。在一或多个实施例中，至少部分基于瞳孔的位置和已知点的位置的函数来确定像素点的位置。在一或多个实施例中，所述函数包括二次函数。
在另一方面，一种显示虚拟界面的方法包括：基于用户输入识别待显示给用户的用户界面；相对于至少一个物理对象显示化身用户界面，其中，化身用户界面呈现至少一个虚拟用户界面元素；并且至少部分基于用户和化身用户界面之间的交互来选择至少一个虚拟用户界面元素。
在一或多个实施例中，用户输入包括姿势。在一或多个实施例中，该方法另外包括确定姿势相对于用户的增强现实显示系统的位置，其中，在所确定的位置处显示虚拟用户界面。在一或多个实施例中，化身为预选的化身。在一或多个实施例中，化身类似于用户。
在一或多个实施例中，化身被显示为好像看起来站立在物理对象上。在一或多个实施例中，至少一个虚拟元素包括应用。在一或多个实施例中，方法另外包括：至少部分基于另一用户输入来选择至少一个虚拟元素，其中，至少一个虚拟元素包括用户的联系人；并且相对于化身虚拟用户界面和物理对象，显示表示用户的联系人的另一化身，其中，通过化身虚拟用户界面和表示用户的联系人的另一化身之间的虚拟交互来动画化该用户与该用户的联系人之间的交互。
在一或多个实施例中，所述交互包括在用户的增强现实系统和与用户的联系人相对应的计算系统之间传输数据。在一或多个实施例中，用户输入包括语音命令。
在另一方面，一种显示虚拟界面的方法包括：基于用户输入，识别待向用户显示的用户界面；并且显示相对于至少一个物理对象的浮动用户界面，该浮动用户界面包括一或多个更可选择的虚拟界面元素，其中，浮动用户界面看起来已从接收到用户输入的位置挤出。
在一或多个实施例中，用户输入包括用户手指的姿势。在一或多个实施例中，用户手指的姿势包括用户的一只手的手指触摸用户的另一只手的另一手指。在一或多个实施例中，该方法另外包括确定用户的一只手的手指与用户的另一只手的另一手指触摸的位置，其中，浮动虚拟用户界面源自所确定的位置。
在一或多个实施例中，浮动用户界面包括一组三维块，其中，该组三维块中的三维块表示至少一个可选择的虚拟用户界面元素。在一或多个实施例中，至少部分基于世界参考系来产生浮动虚拟用户界面。
在一或多个实施例中，至少一个可选择的虚拟用户界面元素被填充为三维块的堆叠，并且其中，三维块的堆叠至少部分基于另一用户输入而旋转。在一或多个实施例中，该方法另外包括：至少部分基于从用户接收的另一用户输入选择至少一个可选择虚拟界面元素中的虚拟用户界面元素，其中，所述虚拟界面元素与至少一个其它子虚拟界面元素相关联，并且在所选择的虚拟界面元素下显示至少一个其它子虚拟界面元素。
在一或多个实施例中，该方法另外包括：至少部分基于从用户接收到的另一用户输入选择至少一个可选择虚拟界面元素中的虚拟用户界面元素；并且在虚拟框中显示与所选择的虚拟界面元素相关联的内容，虚拟框包括在用户的视场中显示的内容。
在一或多个实施例中，该方法另外包括：识别指示虚拟框应被关闭的第二用户输入；至少部分基于第二用户输入以类似于纸张的折皱的方式对虚拟框进行动画化；并且终止与所选择的虚拟界面元素相关联的内容。在一或多个实施例中，第二用户输入包括姿势，该姿势类似于折皱一张纸。
在另一方面，一种显示虚拟用户界面的方法包括：基于用户输入识别待显示给用户的用户界面；并且显示相对于至少一个物理对象的浮动用户界面，该浮动用户界面包括一或多个可选择的虚拟界面元素，其中，浮动用户界面看起来停留在所述至少一个物理对象上，并且其中，所述至少一个物理对象围绕至少一个物理对象的纵向轴线的旋转致使附加的可选择虚拟界面元素被显示，其中，所述附加的可选择虚拟界面元素看起来停留在至少一个物理对象的另一侧上。
在一或多个实施例中，至少一个物理对象包括用户的手臂。在一或多个实施例中，用户输入包括姿势。在一或多个实施例中，姿势包括用户的手在用户的手臂上的杯状动作，所述可选择的虚拟界面元素看起来被显示在用户的手臂上。
在一或多个实施例中，该方法另外包括确定用户的手在用户的手臂上的杯状动作的位置，其中，浮动用户界面源自所确定的位置。在一或多个实施例中，该方法另外包括至少部分基于另一用户输入来终止浮动虚拟用户界面的呈现。
在一或多个实施例中，所述另一用户输入包括姿势，其中，姿势包括用户的双手跨物理对象的拖动运动。在一或多个实施例中，至少部分基于以手为中心的参考系来产生浮动虚拟用户界面。在一或多个实施例中，该方法另外包括：至少部分基于从用户接收的另一用户输入选择至少一个可选择虚拟界面元素中的虚拟用户界面元素；并且显示与所选择的虚拟界面元素相关联的内容，其中，内容相对于浮动虚拟界面进行显示。
在一或多个实施例中，所显示的内容对应于以手为中心的参考系。在一或多个实施例中，该方法另外包括：至少部分基于从用户接收的输入，将所显示的内容从以手为中心的参考系移动到以世界为中心的参考系，使得在浮动虚拟用户界面移动时，所显示的内容保持静止。
在另一方面，一种产生虚拟用户界面的方法包括：基于用户输入识别待显示给用户的用户界面；并且相对于至少一个物理对象显示源自触摸至少一个物理对象的位置的虚拟用户界面，其中，虚拟用户界面看起来在触摸至少一个物理对象的位置长出；并且其中，虚拟用户界面包括看起来被附加到虚拟用户界面的至少一个可选择的虚拟用户界面元素。
在一或多个实施例中，至少一个物理对象包括水平表面。在一或多个实施例中，用户输入包括姿势。在一或多个实施例中，姿势包括延伸手指在预定义的时间段内触摸至少一个物理对象。在一或多个实施例中，该方法另外包括确定用户的手指对至少一个物理对象的触摸的位置，其中，虚拟用户界面源自所确定的位置。
在一或多个实施例中，该方法另外包括至少部分基于另一用户输入来终止浮动虚拟用户界面的呈现。在一或多个实施例中，其它用户输入包括姿势，其中，姿势包括用户的手跨再现虚拟用户界面的切割动作。在一或多个实施例中，至少部分基于以世界为中心的参考系来产生虚拟用户界面，使得虚拟用户界面相对于用户的任何移动保持静止。
在一或多个实施例中，该方法另外包括：至少部分基于从用户接收的另一用户输入来选择至少一个可选择虚拟界面元素中的虚拟用户界面元素；并且在至少一个物理对象的另一位置生成第二虚拟用户界面，第二虚拟用户界面包括附加的可选择虚拟界面元素。在一或多个实施例中，虚拟用户界面类似于从触摸至少一个物理对象的位置发芽的树。
在另一方面，一种显示虚拟用户界面的方法包括：基于用户输入，识别待向用户显示的用户界面；并且绘制虚拟用户界面以镜像用户的手指的动作，使得虚拟用户界面镜像手指的运动，并且在绘制虚拟用户界面的区域内显示一或多个可选择用户界面元素。在一或多个实施例中，手指姿势包括在预定义的时间段内用用户的手的至少一个手指的指向姿势。
在一或多个实施例中，该方法另外包括确定指向手势的位置，其中，虚拟用户界面源自所确定的位置。在一或多个实施例中，该方法另外包括检测用户不再绘制虚拟用户界面，其中，虚拟用户界面元素至少部分基于检测来显示。在一或多个实施例中，虚拟用户界面的绘制镜像用户手指跨空间的拖动运动。在一或多个实施例中，该方法另外包括至少部分基于另一用户输入来终止浮动虚拟用户界面的呈现。
在一或多个实施例中，其它用户输入包括姿势，并且其中，该姿势包括终止用户手指的连续拖动动作。在一或多个实施例中，至少部分基于以世界为中心的参考系来产生虚拟用户界面，使得虚拟用户界面相对于用户的任何移动保持静止。
在一或多个实施例中，该方法另外包括：至少部分基于从用户接收到的另一用户输入选择至少一个可选择虚拟界面元素中的虚拟用户界面元素；并且相对于虚拟用户界面生成与所选虚拟界面元素相关联的内容。在一或多个实施例中，虚拟用户界面的形状类似于由用户的手指绘制的形状。
在另一方面，一种产生虚拟用户界面的方法包括：基于用户的手势识别待向用户显示的用户界面；并且响应于该手势，在手势的方向上在物理对象的垂直侧上显示具有至少一个可选择的虚拟界面元素的虚拟用户界面，使得虚拟用户界面看起来在物理对象的垂直侧上。
在一或多个实施例中，该方法另外包括响应于手势显示一组类似于颜料斑点的虚拟内容，其中，虚拟内容起源于由手势表示的点。在一或多个实施例中，手势包括在物理对象的垂直侧的方向上伸出的扩展手指。在一或多个实施例中，该方法另外包括；确定在物理对象的垂直侧的方向上伸出的扩展手指的位置，其中，在所确定的位置处显示类似于颜料斑点的一组虚拟内容。
在一或多个实施例中，该方法另外包括：在物理对象的垂直侧上显示虚拟斑点，其中，虚拟斑点的至少一个特征至少部分基于所确定的在物理对象的方向上伸出的扩展手指的位置在物理对象的垂直侧上显示。在一或多个实施例中，物理对象包括墙壁。
在一或多个实施例中，至少部分基于以世界为中心的参考系来产生虚拟用户界面，使得虚拟用户界面相对于用户的任何移动保持静止。在一或多个实施例中，该方法另外包括：至少部分基于从用户接收到的另一用户输入来选择至少一个可选择虚拟界面元素中的虚拟用户界面元素；并且在物理对象的另一位置生成与所选的用户界面元素相关联的内容。
在一或多个实施例中，该方法另外包括以简化形式存储与所选择的用户界面元素相关联的内容，其中，简化形式包括虚拟带，其中，虚拟带在用户的手的周围显示。在一或多个实施例中，至少部分基于以手为中心的参考系来产生虚拟带，使得虚拟带至少部分基于手的运动而运动。
在一或多个实施例中，该方法另外包括至少部分基于用户的另一姿势以完整形式显示内容。在一或多个实施例中，另一姿势包括在其上显示虚拟带的手的拖动运动。
在另一方面，一种产生虚拟用户界面的方法包括：基于用户的手势识别待向用户显示的用户界面；并且响应于该手势，显示虚拟用户界面，虚拟用户界面类似于具有至少一个可选择虚拟界面元素的水平细绳，使得至少一个可选择虚拟界面元素至少部分基于用户的另一手势来移动以显示另外的可选择虚拟界面元素。
在一或多个实施例中，所述手势包括用户的第一只手的第一手指与第二只手的第二手指的触摸动作。在一或多个实施例中，所述手势另外包括第一手指和第二手指的拉开运动，使得第一手指从第二手指拉开。在一或多个实施例中，虚拟细绳镜像第一和第二手指的运动的长度，其中，虚拟细绳的长度至少部分基于第一和第二手指的运动。
在一或多个实施例中，该方法另外包括确定第一和第二手指的触摸动作的位置，其中，虚拟细绳源自所确定的位置。在一或多个实施例中，另一手势包括用户的手的转动动作，其中，转动动作使得至少一个可选择的虚拟界面元素在转动动作的方向上移动。
在一或多个实施例中，至少部分基于以世界为中心的参考系来产生虚拟用户界面，使得虚拟用户界面相对于用户的任何移动保持静止。在一或多个实施例中，该方法另外包括：至少部分基于用户的另一手势来选择至少一个可选择的虚拟界面元素中的虚拟用户界面元素；并且在物理对象的另一位置，生成与所选择的用户界面元素相关联的内容。在一或多个实施例中，另一手势包括用户的一只手的向前运动。
在另一方面，一种产生虚拟用户界面的方法包括：基于用户的手势识别待向用户显示的用户界面；并且响应于该手势，显示虚拟用户界面，虚拟用户界面包括一组垂直细绳，每个垂直细绳与至少一个可选择的虚拟界面元素相关联。
在一或多个实施例中，手势包括用户的第一只手在预定时间段内的开放手势。在一或多个实施例中，该方法另外包括：至少部分基于另一手势来选择至少一个可选择虚拟界面元素，其中，另一手势包括该组虚拟细绳的至少一个细绳通过用户的两个手指的拉动运动。
在一或多个实施例中，该方法另外包括：至少部分基于手势，将与第一虚拟细绳相关联的第一虚拟元素相关联的数据发送到与第二虚拟细绳相关联的第二虚拟元素。在一或多个实施例中，另一手势包括与第一虚拟细绳相关联的第一虚拟元素和与第二虚拟细绳相关联的第二虚拟元素的挤压运动，挤压运动由用户的手指执行。
在一或多个实施例中，虚拟界面相对于至少一个物理对象来显示。在一或多个实施例中，至少一个物理对象包括墙壁。
在一或多个实施例中，该方法另外包括确定手势的位置，其中，虚拟细绳源自所确定的位置。
在一或多个实施例中，至少部分基于以世界为中心的参考系来产生虚拟用户界面，使得虚拟用户界面相对于用户的任何移动保持静止。在一或多个实施例中，该方法另外包括：至少部分基于用户的另一手势来选择至少一个可选择的虚拟界面元素中的虚拟用户界面元素；并且在物理对象的另一位置，生成与所选择的用户界面元素相关联的虚拟内容。
在另一方面，产生虚拟用户界面的方法包括：基于用户的手势识别待向用户显示的用户界面；并且响应于该手势，显示虚拟用户界面，虚拟用户界面包括一组垂直细绳，每个垂直细绳与至少一个可选择的虚拟界面元素相关联。在一或多个实施例中，手势包括用户的第一只手在预定时间段内的开放手势。
在一或多个实施例中，该方法另外包括：至少部分基于另一手势来选择至少一个可选择虚拟界面元素，其中，另一手势包括该组虚拟细绳的至少一个细绳通过用户的两个手指的拉动动作。在一或多个实施例中，该方法另外包括：至少部分基于手势，将与第一虚拟细绳相关联的第一虚拟元素相关联的数据发送到与第二虚拟细绳相关联的第二虚拟元素。
在一或多个实施例中，另一手势包括与第一虚拟细绳相关联的第一虚拟元素和与第二虚拟细绳相关联的第二虚拟元素的挤压动作，挤压动作由用户的手指执行。在一或多个实施例中，虚拟界面相对于至少一个物理对象来显示。在一或多个实施例中，至少一个物理对象包括墙壁。
在一或多个实施例中，该方法另外包括确定手势的位置，其中，虚拟细绳源自所确定的位置。在一或多个实施例中，至少部分基于以世界为中心的参考系来产生虚拟用户界面，使得虚拟用户界面相对于用户的任何移动保持静止。
在一或多个实施例中，该方法另外包括：至少部分基于用户的另一手势来选择至少一个可选择的虚拟界面元素中的虚拟用户界面元素；并且在物理对象的另一位置，生成与所选择的用户界面元素相关联的虚拟内容。
在另一方面，一种产生虚拟用户界面的方法包括：基于用户的手势识别待向用户显示的用户界面；并且响应于该手势，显示虚拟用户界面，虚拟用户界面类似于虚拟蜘蛛网，其中，用户拉动虚拟蛛网的虚拟细丝以将所述虚拟界面移动得更靠近用户。
在一或多个实施例中，手势包括用户的手的闭合拳头的拉动动作。在一或多个实施例中，虚拟蜘蛛网的虚拟细丝包括至少一个可选择的虚拟元素。在一或多个实施例中，该方法另外包括至少部分基于另一手势来选择至少一个可选择虚拟界面元素，其中，另一手势包括虚拟细丝中的至少一个朝向用户的拉动动作。
在一或多个实施例中，该方法另外包括：至少部分基于手势，将与第一虚拟细丝相关联的第一虚拟元素相关联的数据发送到与第二虚拟细丝相关联的第二虚拟元素。在一或多个实施例中，另一手势包括与第一虚拟细丝相关联的第一虚拟元素和与第二虚拟细丝相关联的第二虚拟元素的挤压动作，挤压动作由用户的手指执行。
在一或多个实施例中，虚拟界面相对于至少一个物理对象来显示。在一或多个实施例中，至少一个物理对象包括墙壁。在一或多个实施例中，该方法另外包括确定手势的位置，其中，虚拟蛛网源自所确定的位置。
在一或多个实施例中，至少部分基于以世界为中心的参考系来产生虚拟用户界面，使得虚拟用户界面相对于用户的任何移动保持静止。在一或多个实施例中，该方法另外包括：至少部分基于用户的另一手势来选择至少一个可选择的虚拟界面元素中的虚拟用户界面元素；并且在物理对象的另一位置，生成与所选择的用户界面元素相关联的虚拟内容。
本发明的另外和其它目标、特征和优点在具体实施方式、附图和权利要求中描述。
附图说明
附图示出本发明的各种实施例的设计和实用性。应注意，附图不是按比例绘制的，并且在所有附图中，类似的结构或功能的元件由相同的附图标记表示。为了更好理解如何获得本发明的各种实施例的上述和其它优点和目的，将通过参考其特定实施例来呈现上面简要描述的在附图中示出的本发明的更详细的描述。应理解，这些附图仅描绘了本发明的典型实施例，因此不应被认为是对其范围的限制，本发明将通过使用附图以附加的特征和细节来描述和解释，其中：
图1示出根据说明性实施例的与一或多个服务器交互的增强现实(AR)系统的系统架构。
图2示出根据一个说明性实施例的用作与一或多个服务器交互的AR装置的蜂窝电话的详细视图。
图3示出根据一个说明性实施例的安装在用户头部上的示例AR装置的平面图。
图4A-D示出可穿戴式AR装置的各种内部处理部件的一或多个实施例。
图5A-5H示出通过透射分束器基板将聚焦光透射到用户的实施例。
图6A和6B示出将透镜元件与图5A-5H的透射分束器基板耦合的实施例。
图7A和7B示出使用一或多个波导来向用户透射光的实施例。
图8A-8Q示出衍射光学元件(DOE)的实施例。
图9A和9B示出根据一个说明性实施例的从投光器产生的波前。
图10示出根据一个说明性实施例的与光学元件耦合的多个透射分束器基板的堆叠配置的实施例。
图11A-11C示出根据说明性实施例的被投射到用户瞳孔中的一组子束(beamlet)。
图12A和12B示出根据说明性实施例的微型投影仪阵列的配置。
图13A-13M示出根据说明性实施例的耦合微型投影仪和光学元件的实施例。
图14A-14F示出根据说明性实施例的与光学元件耦合的空间光调制器的实施例。
图15A-15C示出根据说明性实施例的楔形波导与多个光源一起使用。
图16A-160示出根据说明性实施例将光学元件耦合到光纤的实施例。
图17示出根据一个说明性实施例的陷波滤波器。
图18示出根据一个说明性实施例的光纤扫描显示器的螺旋图案。
图19A-19N示出根据说明性实施例向用户呈现暗视场时的遮挡效果。
图20A-20O示出根据说明性实施例的各种波导组件的实施例。
图21A-21N示出根据说明性实施例的耦合到其它光学元件的DOE的各种配置。
图22A-22Y示出根据说明性实施例的自由形式光学元件的各种配置。
图23示出简化的单独AR装置的部件的俯视图。
图24示出单独AR系统的光学器件的示例实施例。
图25示出根据一个实施例的单独AR系统的系统架构。
图26示出根据一个实施例的基于房间的传感器系统。
图27示出增强现实系统的通信架构以及许多用户的增强现实系统与云的交互。
图28示出根据一个实施例的可传递世界模型的简化视图。
图29示出根据一个实施例的使用可传递世界模型进行呈现的示例方法。
图30示出根据一个实施例的用于识别对象的过程的高级流程图。
图31示出根据一个实施例的由对象识别器采用以识别可传递世界中的对象的环形缓冲器方法。
图32示出根据一个实施例的示例拓扑图。
图33示出根据一个实施例的使用拓扑图的定位过程的高级流程图。
图34示出根据一个实施例的作为各种关键帧之间的连接的几何地图。
图35示出根据一个实施例的在几何地图的顶部层叠的拓扑图的示例实施例。
图36示出根据一个实施例的用于执行波传播束调节的过程的高级流程图。
图37示出根据一个实施例的通过虚拟关键帧看到的从映射点到关键帧的映射点和呈现线。
图38示出根据一个实施例的用于基于呈现而不是搜索来寻找映射点的过程的高级流程图。
图39示出根据一个实施例的基于光映射来呈现虚拟对象的过程的高级流程图。
图40示出根据一个实施例的用于产生光映射的过程的高级流程图。
图41描绘根据一个实施例的以用户为中心的光映射。
图42描绘根据一个实施例的以对象为中心的光映射。
图43示出根据一个实施例的用于变换光映射的过程的高级流程图。
图44示出根据一个实施例的自主导航定义或对象的库。
图45示出根据一个实施例的各种自主导航对象的交互。
图46示出根据一个实施例的自主导航定义或对象的堆栈。
图47A-47B示出根据一个实施例的使用自主导航定义来识别情绪状态。
图48示出根据一个实施例的用于定义自主导航定义或对象的相关阈值图。
图49示出根据一个实施例的可传递世界模型的系统视图。
图50示出根据一个实施例的显示虚拟场景的示例方法。
图51示出根据一个说明性实施例的AR系统的各种模块的平面图。
图52示出根据一个说明性实施例的当在增强现实模式下操作AR装置时被用户观看到的对象的示例。
图53示出根据一个说明性实施例的当在虚拟模式下操作AR装置时被用户观看到的对象的示例。
图54示出根据一个说明性实施例的当AR装置在混合虚拟界面模式中操作时被用户观看到的对象的示例。
图55示出根据一个实施例的位于不同地理位置的两个用户通过他们各自的用户装置与另一用户和公共虚拟世界交互的实施例。
图56示出根据一个实施例的扩展图55的实施例以包括使用触觉装置的实施例。
图57A-57B示出根据一或多个实施例的混杂模式接口的示例。
图58示出根据一个实施例的当与AR系统接口时的用户视图的示例图。
图59示出根据一个实施例的用户视图的示例图，其示出当用户以增强现实模式与系统交互时由物理对象触发的虚拟对象。
图60示出增强和虚拟现实集成配置的一个实施例，其中，在增强现实体验中的一个用户可视化另一用户在虚拟现实体验中的存在。
图61示出基于时间和/或意外事件的增强现实体验配置的一个实施例。
图62示出适合于虚拟和/或增强现实体验的用户显示配置的一个实施例。
图63示出本地和基于云的计算协调的一个实施例。
图64示出根据一个说明性实施例的配准(registration)配置的各个方面。
图65示出根据一个实施例的与AR系统交互的示例场景。
图66示出根据另一实施例的图65的示例场景的另一透视图。
图67示出根据另一实施例的图65的示例场景的又一透视图。
图68示出根据一个实施例的示例场景的俯视图。
图69示出根据一个实施例的图65-68的示例场景的游戏视图。
图70示出根据一个实施例的图65-68的示例场景的俯视图。
图71示出根据一个实施例的包括多个用户的增强现实场景。
图72A-72B示出根据一个实施例的使用作为AR装置的智能电话或平板计算机。
图73示出根据一个实施例的使用定位在AR系统的用户之间进行通信的示例方法。
图74A-74B示出根据一个实施例的与AR系统交互的示例办公室场景。
图75示出根据一个实施例的与房屋中的AR系统交互的示例场景。
图76示出根据一个实施例的与房子中的AR系统交互的另一示例场景。
图77示出根据一个实施例的与房子中的AR系统交互的另一示例场景。
图78A-78B示出根据一个实施例的与房子中的AR系统交互的又一示例场景。
图79A-79E示出根据一个实施例的与房子中的AR系统交互的另一示例场景。
图80A-80C示出根据一个实施例与虚拟室中的AR系统交互的另一示例场景。
图81示出根据一个实施例的另一示例用户交互场景。
图82示出根据一个实施例的另一示例用户交互场景。
图83A-83B示出根据一或多个实施例的又一示例用户交互场景。
图84A-84C示出根据一或多个实施例的在虚拟空间中与AR系统交互的用户。
图85A-85C示出各种用户界面实施例。
图86A-86C示出根据一或多个实施例的产生用户界面的其它实施例。
图87A-87C示出根据一或多个实施例的产生和移动用户界面的其它实施例。
图88A-88C示出根据一或多个实施例的在用户的手上产生的用户界面。
图89A-89J示出根据一或多个实施例的使用AR系统的示例用户购物体验。
图90示出根据一或多个实施例的使用AR系统的示例图书馆体验。
图91A-91F示出根据一或多个实施例的使用AR系统的示例保健体验。
图92示出根据一或多个实施例的使用AR系统的示例劳动体验。
图93A-93L示出根据一或多个实施例的使用AR系统的示例工作空间体验。
图94示出根据一或多个实施例的使用AR系统的另一示例工作空间体验。
图95A-95E示出根据一或多个实施例的另一AR体验。
图96A-96D示出根据一或多个实施例的又一AR体验。
图97A-97H示出根据一或多个实施例的AR系统的游戏体验。
图98A-98D示出根据一或多个实施例的使用AR系统的网络购物体验。
图99示出根据一或多个实施例的游戏平台中的各种游戏的框图。
图100示出根据一实施例的与增强现实系统通信的各种用户输入。
图101示出根据一个实施例的跟踪用户眼睛的运动的LED灯和二极管。
图102示出根据一个实施例的浦肯野图像。
图103示出根据一个实施例的可用于与增强现实系统通信的各种手势。
图104示出根据一个实施例的示例图腾。
图105A-105C示出根据一或多个实施例的其它示例图腾。
图106A-106C示出可用于与增强现实系统通信的其它图腾。
图107A-107D示出根据一或多个实施例的其它示例图腾。
图108A-108C示出根据一或多个实施例的环和手镯图腾的示例实施例。
图109A-109C示出根据一或多个实施例的更多示例图腾。
图110A-110B示出根据一或多个实施例的魅力图腾和钥匙链图腾。
图111示出根据一实施例的通过图腾确定用户输入的过程的高级流程图。
图112示出根据一个实施例的用于产生声波前的过程的高级流程图。
图113为根据一个实施例的用于产生声波前的部件的框图。
图114为根据一个实施例的确定稀疏和密集点的示例方法。
图115为根据一个实施例的投射纹理光的框图。
图116为根据一个实施例的数据处理的示例框图。
图117为根据一个实施例的用于注视跟踪的眼睛的示意图。
图118示出根据一个实施例的用于注视跟踪的眼睛和一或多个摄像机的另一透视图。
图119示出根据一个实施例的用于注视跟踪的眼睛和一或多个摄像机的又一透视图。
图120示出根据一个实施例的用于注视跟踪的眼睛和一或多个摄像机的又一透视图。
图121示出根据一个实施例的用于注视跟踪的平移矩阵视图。
图122示出根据一个实施例的注视跟踪的示例方法。
图123A-123D示出根据一个实施例的使用化身的一系列示例性用户界面流程。
图124A-124M示出根据一个实施例的使用挤压的一系列示例用户界面流程。
图125A-125M示出根据一个实施例的使用长手套的一系列示例用户界面流程。
图126A-126L示出根据一个实施例的使用生长的一系列示例用户界面流程。
图127A-127E示出根据一个实施例的使用画笔的一系列示例用户界面流程。
图128A-128P示出根据一个实施例的使用手指刷的一系列示例用户界面流程。
图129A-129M示出根据一个实施例的使用枢轴的一系列示例用户界面流程。
图130A-130I示出根据一个实施例的使用细绳的一系列示例用户界面流程。
图131A-131I示出根据一个实施例的使用蜘蛛网的一系列示例用户界面流程。
图132为虚拟对象与一或多个物理对象相关的各种机制的平面图。
图133为根据一或多个实施例的各种类型的AR呈现的平面图。
图134示出根据一或多个实施例的AR系统中的各种类型的用户输入。
图135A-135J示出根据一或多个实施例的关于在AR系统中使用姿势的各种实施例。
图136示出根据一或多个实施例的AR系统的校正机构的各种部件的平面图。
图137示出根据一或多个实施例的在用户面部上的AR装置的视图，该AR装置具有眼睛跟踪摄像头。
图138示出根据一或多个实施例的AR系统的眼睛识别图像。
图139示出根据一或多个实施例的利用AR系统拍摄的视网膜图像。
图140为根据一个说明性实施例的生成虚拟用户界面的示例方法的过程流程图。
图141为根据一个说明性实施例的基于坐标系生成虚拟用户界面的示例方法的另一个过程流程图。
图142为根据一个说明性实施例的构建定制用户界面的示例方法的过程流程图。
图143为根据一个说明性实施例的从可传递世界模型检索信息并与AR系统的其他用户交互的示例方法的过程流程图。
图144为根据一个说明性实施例的基于所接收的输入从基于云中的知识检索信息的示例方法的过程流程图。
图145为根据一个说明性实施例的校正AR系统的示例方法的处理流程图。
具体实施方式
现将参考附图详细描述各种实施例，附图作为本发明的说明性示例来提供，以使本领域技术人员能够实施本发明。值得注意的是，下面的附图和示例并不旨在限制本发明的范围。在本发明的某些元件可使用已知部件(或方法或过程)部分或完全实现的情况下，将仅描述对于理解本发明所必需的此类已知部件(或方法或过程)的那些部分，并将省略此类已知组件(或方法或过程)的其它部分的详细描述，以免模糊本发明。此外，各种实施例涵盖本文通过说明提及的部件的当前和将来已知的等效物。
在前述说明书中，本发明已参考其特定实施例进行了描述。但是，在没有偏离本发明的广义实质和范围的情况下，显然可对其做出各种更改和改变。例如，参考过程动作的特定顺序描述了上述过程流程。然而，可改变许多所描述的过程动作的顺序，而不影响本发明的范围或操作。因此，说明书和附图应被视为说明性的，而不是限制性的。
所公开的为用于生成虚拟和/或增强现实的方法和系统。为了提供现实和愉快的虚拟现实(VR)或增强现实(AR)体验，可以以尊重人眼的生理和限制的方式将虚拟内容策略性地传递到用户的眼睛。以下公开将提供可被集成到AR系统中的此类光学系统的各种实施例。虽然本文的大多数公开将在AR系统的语境文中论述，但应理解，相同的技术也可被用于VR系统，并且以下实施例不应被解读为限制。
以下公开将提供关于各种类型的系统的细节，其中，AR用户可通过实时产生包括关于真实世界的物理对象的全面信息的映射来彼此交互。有利地，映射可被查询，以便与已知真实对象相关地投影虚拟图像。以下公开将提供各种方法来理解关于真实世界的信息，并使用该信息来提供更真实和愉快的AR体验。另外，本公开将提供可实现诸如本文所述的AR系统的各种用户场景和应用。
系统概述
在一或多个实施例中，AR系统10包括计算网络5，其包括通过一或多个高带宽接口15连接的一或多个计算机服务器11。计算网络中的服务器11可以或可以不共址。一或多个服务器11中的每个包括用于执行程序指令的一或多个处理器。服务器也可包括用于存储程序指令和在程序指令的指导下由服务器11执行的过程所使用和/或生成的数据的存储器。
计算网络5通过一或多个数据网络连接13在服务器11之间以及服务器与一或多个用户装置12之间传送数据。此类数据网络的示例包括但不限于任何和所有类型的公共和专用数据网络，包括移动的和有线的，包括例如通常被称为互联网的许多此类网络的互连。附图并不旨在暗示特定的介质、拓扑或协议。
用户装置被配置为与计算网络5或任何服务器11直接通信。另选地，用户装置12通过专门编程的本地网关14与远程服务器11并且可选地与其它本地用户装置进行通信，以用于处理数据和/或在网络5与一或多个本地用户装置12之间传送数据。
如图所示，网关14被实现为单独的硬件部件，其包括用于执行软件指令的处理器和用于存储软件指令和数据的存储器。网关自身具有到数据网络的有线和/或无线连接，以用于与构成计算网络5的服务器11通信。另选地，网关14可以与用户佩戴或携带的用户装置12集成。例如，网关14可被实现为在被包含在用户装置12中的处理器上安装和运行的可下载软件应用。在一个实施例中，网关14提供经由数据网络13对计算网络5的一或多个用户接入。
服务器11中的每个包括例如用于存储数据和软件程序的工作存储器和存储设备、用于执行程序指令的微处理器、图形处理器和用于呈现和生成图形、图像、视频、音频和多媒体文件的其它专用处理器。计算网络5也可包括用于存储由服务器11访问、使用或产生的数据的装置。
在服务器上并且可选地在用户装置12和网关14上运行的软件程序用于生成用户使用用户装置12交互的数字世界(这里也称为虚拟世界)。数字世界(或映射)(如下面将进一步详细描述的)由描述和/或定义虚拟的、不存在的实体、环境和条件的数据和过程表示，其可以通过用户装置12被呈现给用户以由用户体验和与之交互。例如，当在用户正在观看或体验的场景中被实例化时将看起来实际存在的一些类型的对象、实体或物项可包括对其外观、其行为、如何允许用户与其交互以及其它特性的描述。
用于产生虚拟世界(包括虚拟对象)的环境的数据可包括例如大气数据、地形数据、天气数据、温度数据、位置数据和用于定义和/或描述虚拟环境的其它数据。另外，定义支配虚拟世界的操作的各种条件的数据可包括例如物理定律、时间、空间关系和其它数据，其可被用于定义和/或产生支配虚拟世界(包括虚拟对象)的操作的各种条件。
除非上下文另有说明，否则数字世界的实体、对象、条件、特性、行为或其它特征将在本文中一般地称为对象(例如，数字对象、虚拟对象、呈现的物理对象等)。对象可为任何类型的有生命或无生命的对象，包括但不限于建筑物、植物、交通工具、人、动物、生物、机器、数据、视频、文本、图片和其它用户。对象也可在数字世界中定义，以用于存储关于实际存在于物理世界中的物项、行为或条件的信息。描述或定义实体、对象或物项或存储其当前状态的数据在本文中通常被称为对象数据。该数据由服务器11处理，或者根据实施方案由网关14或用户装置12处理以实例化对象的实例并且以适当的方式呈现该对象以供用户通过用户装置体验。
开发和/或策划数字世界的程序员产生或定义对象及其实例化的条件。然而，数字世界可以允许其它人产生或修改对象。一旦对象被实例化，对象的状态可被允许由经历数字世界的一或多个用户改变、控制或操控。
例如，在一个实施例中，数字世界的开发、生产和管理通常由一或多个系统管理程序员提供。在一些实施例中，这可包括在数字世界中的故事线、主题和事件的开发、设计和/或执行，以及通过各种形式的事件和媒体，诸如例如电影、数字、网络、移动、增强现实和现场娱乐，来分发叙事。系统管理程序员也可处理数字世界和与其相关联的用户社区的技术管理、节制和策划，以及通常由网络管理人员执行的其它任务。
用户使用某种类型的本地计算装置与一或多个数字世界交互，该本地计算装置通常被称为用户装置12。此类用户装置的示例包括但不限于智能电话、平板装置、头戴式显示器(HMD)、游戏控制台或能够传送数据并向用户提供界面或显示的任何其他装置以及此类装置的组合。在一些实施例中，用户装置12可包括本地外围装置或输入/输出部件，诸如例如键盘、鼠标、操纵杆、游戏控制器、触觉接口装置、运动捕捉控制器、光学跟踪装置、音频设备、语音设备、投影仪系统、3D显示器和/或全息3D接触透镜，或与其通信。
图2中示出用于与系统10交互的用户装置12的示例。在图2所示的示例实施例中，用户21可通过智能电话22与一或多个数字世界交互。网关由存储在智能手机22上并在智能手机22上运行的软件应用23实现。在该特定示例中，数据网络13包括将用户装置(例如，智能电话22)连接到计算机网络5的无线移动网络。
在优选实施例的一个实施方案中，系统10能够同时支持大量的用户(例如，数百万用户)，每个用户使用某种类型的用户装置12与相同的数字世界或多个数字世界交互。
用户装置向用户提供用于实现用户与由服务器11生成的数字世界(包括呈现给用户的其他用户和对象(真实或虚拟))之间的视觉、听觉和/或物理交互的界面。界面向用户提供可以被观看、听到或以其它方式感测的呈现场景，以及与场景实时交互的能力。用户与所呈现的场景交互的方式可由用户装置的能力指定。例如，如果用户装置是智能电话，则用户交互可由用户接触触摸屏来实现。在另一示例中，如果用户装置为计算机或游戏控制台，则可使用键盘或游戏控制器来实现用户交互。用户装置可包括实现用户交互的附加部件，诸如传感器，其中，由传感器检测到的对象和信息(包括姿势)可被提供，作为表示用户使用用户装置与虚拟世界交互的输入。
所呈现的场景可以以各种形式呈现，诸如例如二维或三维视觉显示(包括投影)、声音以及触觉或动觉反馈。所呈现的场景可由用户以包括例如增强现实、虚拟现实及其组合的一或多个模式进行交互。所呈现的场景的格式以及接口模式可由以下各项中的一或多个来指定：用户装置、数据处理能力、用户装置连接性、网络容量和系统工作负载。通过计算网络5、服务器11、网关部件14(可选地)和用户装置12能够实现大量用户与数字世界同时交互以及数据交换的实时性质。
在一个示例中，计算网络5包括具有通过高速连接(例如，高带宽接口15)连接的单核和/或多核服务器(例如，服务器11)的大规模计算系统。计算网络5可形成云或网格网络。每个服务器包括存储器，或者与用于存储软件的计算机可读存储器耦合，该软件用于实现数据以产生、设计、改变或处理数字世界的对象。这些对象及其实例化可为动态的、进入和退出存在、随着时间改变以及响应于其它条件而改变。对象的动态能力的示例在本文中通常关于各种实施例进行论述。在一些实施例中，与系统10交互的每个用户也可被表示为在一或多个数字世界内的对象和/或对象的集合。
计算网络5内的服务器11也存储每个数字世界的计算状态数据。计算状态数据(在本文中，也被称为状态数据)可为对象数据的组件，并且通常定义在给定时刻的对象的实例的状态。因此，计算状态数据可随时间改变，并且可能受一或多个用户和/或维护系统10的程序员的动作影响。当用户影响计算状态数据(或包括数字世界的其它数据)时，用户直接改变或以其它方式操控数字世界。如果数字世界与其它用户共享或交互，则用户的动作可能影响与数字世界交互的其他用户的体验。因此，在一些实施例中，由用户做出的对数字世界的改变将由与系统10交互的其他用户体验。
在一个实施例中，存储在计算网络5内的一或多个服务器11中的数据高速并且低延迟地发送或部署到一或多个用户装置12和/或网关部件14。在一个实施例中，由服务器共享的对象数据可为完整的或可为压缩的，并且包含用于在用户侧重建完整对象数据的指令，所述完整对象数据由用户的本地计算装置(例如，网关14和/或用户装置12)呈现并可视化。在一些实施例中，运行在计算网络5的服务器11上的软件可适应性调整其生成的数据(或作为用户特定装置和带宽的函数由计算网络5交换的任何其它数据)并将该数据发送给特定用户装置12，用于数字世界内的对象。
例如，当用户通过用户装置12与数字世界或映射交互时，服务器11可识别用户正在使用的特定类型的装置、装置的连接性和/或用户装置和服务器之间的可用带宽，并适当地调整和平衡被递送到该装置的数据以优化用户交互。这一点的示例可包括将所发送的数据的大小减小到低分辨率质量，使得数据可在具有低分辨率显示器的特定用户装置上显示。在优选实施例中，计算网络5和/或网关部件14以足以呈现以15帧/秒或更高速率并且以高清晰度质量或更高分辨率工作的界面的速率向用户装置12传送数据。
网关14为一或多个用户提供至计算网络5的本地连接。在一些实施例中，其可由在用户装置12或另一本地装置(例如图2所示的本地装置)上运行的可下载软件应用来实现。在其它实施例中，其可通过与用户装置12通信但不与用户装置12结合或吸引的硬件部件(具有存储在部件上的适当的软件/固件，该部件具有处理器)来实现，或者其与用户装置12结合。网关14经由数据网络13与计算网络5通信，并且在计算网络5和一或多个本地用户装置12之间提供数据交换。如下面更详细论述的，网关组件14可包括软件、固件、存储器和处理电路，并且能够处理在网络5和一或多个本地用户装置12之间所传送的数据。
在一些实施例中，网关部件14监测和调节在用户装置12和计算机网络5之间所交换的数据的速率，以允许特定用户装置12的最优数据处理能力。例如，在一些实施例中，网关14缓冲并下载数字世界的静态和动态方面，甚至是超出通过与用户装置连接的接口被呈现给用户的视场之外的方面。在这样的实施例中，静态对象(结构化数据、软件实现的方法或两者)的实例可被存储在存储器中(本地网关部件14、用户装置12或两者)，并且相对于本地用户的当前位置被引用，所述当前位置如由计算网络5和/或用户装置12提供的数据所指示的。
可包括例如智能软件代理和由其他用户和/或本地用户控制的对象的动态对象的实例被存储在高速存储器缓冲器中。表示被呈现给用户的场景内的二维或三维对象的动态对象可例如被分解成组件形状，诸如在移动但不变化的静态形状，以及在变化的动态形状。正在改变的动态对象的部分可以由来自服务器11的、通过计算网络5的、由网关部件14管理的实时的线程化的高优先级数据流更新。
作为优先化的线程化数据流的一个示例，可以给予在用户眼睛的60度视场内的数据比更外围的数据更高的优先级。另一示例包括优先考虑用户的视场内的相对于背景中的静态对象的动态角色和/或对象。
除了管理计算网络5和用户装置12之间的数据连接之外，网关部件14可存储和/或处理可被呈现给用户装置12的数据。例如，在一些实施例中，网关部件14可从计算网络5接收描述例如待呈现以供用户观看的图形对象的压缩数据，并且执行高级呈现技术以减轻从计算网络5被发送至用户装置12的数据负荷。在网关14为单独的装置的另一示例中，网关14可存储和/或处理对象的本地实例的数据，而不是将数据传送至计算网络5以进行处理。
现在参考图3，虚拟世界可由一或多个用户以可取决于用户装置的能力的各种形式进行体验。在一些实施例中，用户装置12可包括例如智能电话、平板装置、头戴式显示器(HMD)、游戏控制台或可穿戴装置。通常，用户装置将包括用于执行存储在装置上的存储器中的程序代码并且与显示器和通信接口耦合的处理器。
在图3中示出用户装置的示例实施例，其中，用户装置包括移动的可穿戴装置，即头戴式显示系统30。根据本公开的实施例，头戴式显示系统30包括用户界面37、用户感测系统34、环境感测系统36和处理器38。虽然处理器38在图3中被示为与头戴式系统30分离的隔离部件，但是在替代实施例中，处理器38可与头戴式系统30的一或多个部件集成，或者可被集成到其它系统10部件，诸如例如在图1和图2中示出的网关14。
用户装置30向用户呈现用于与数字世界交互和体验数字世界的界面37。这种交互可涉及用户和数字世界、与系统10交互的一或多个其他用户以及数字世界内的对象。界面37通常向用户提供图像和/或音频感测输入(在一些实施例中，物理感测输入)。因此，界面37可包括扬声器(未示出)和显示部件33，其在一些实施例中能够实现体现人类视觉系统的更自然特性的立体3D观看和/或3D观看。
在一些实施例中，显示部件33可包括透明界面(诸如透明OLED)，当处于“关闭”设置时，其使得能够以很少到没有光学失真或计算覆盖(computing overlay)对用户周围的物理环境进行光学正确观察。如下面更详细论述的，界面37可包括允许各种视觉/界面性能和功能的附加设置。
在一些实施例中，用户感测系统34可包括一或多个传感器31，其可操作以检测与佩戴系统30的个体用户相关的某些特征、特性或信息。例如，在一些实施例中，传感器31可包括能够检测用户的实时光学特性/测量的摄像机或光学检测/扫描电路。
用户的实时光学特性/测量可例如为以下中的一或多个：瞳孔收缩/扩张、每个瞳孔的角度测量/定位、球状度、眼睛形状(眼睛形状随时间变化)和其它解剖数据。该数据可提供或被用于计算可由头戴式系统30和/或界面系统10使用以优化用户的观看体验的信息(例如，用户的视觉焦点)。例如，在一个实施例中，传感器31可各自测量用户每只眼睛的瞳孔收缩率。该数据可被发送到处理器38(或网关部件14或服务器11)，其中，该数据被用于确定例如用户对界面显示器33的亮度设置的反应。
例如，如果用户的反应指示显示器33的亮度水平太高，则可根据用户的反应来调整界面37，例如调暗显示器33。用户感测系统34可包括除了上面论述的或在图3中所示的那些之外的其它部件。例如，在一些实施例中，用户感测系统34可包括用于从用户接收语音输入的麦克风。用户感测系统34也可包括一或多个红外摄像机传感器、一或多个可见光谱摄像机传感器、结构化光发射器和/或传感器、红外光发射器、相干光发射器和/或传感器、陀螺仪、加速度计、磁力计、接近传感器、GPS传感器、超声波发射器和检测器和触觉界面。
环境感测系统36包括用于从用户周围的物理环境获得数据的一或多个传感器32。由传感器检测到的对象或信息可作为用户装置的输入来提供。在一些实施例中，该输入可表示用户与虚拟世界的交互。例如，观看桌子上的虚拟键盘的用户可用手指作手势，就好像在虚拟键盘上打字一样。手指移动的运动可由传感器32捕捉并且作为输入被提供给用户装置或系统，其中，输入可被用于改变虚拟世界或产生新的虚拟对象。
例如，手指的运动可被识别(例如，使用处理器的软件程序等)为打字，并且所识别的打字姿势可与虚拟键盘上的虚拟键的已知位置组合。然后，系统可呈现向用户(或与系统交互的其他用户)显示的虚拟监视器，其中，虚拟监视器显示用户键入的文本。
传感器32可包括例如大体面向外部的摄像机或用于例如通过连续和/或间歇投影的红外结构光来解释场景信息的扫描器。环境感测系统(36)可被用于通过检测和配准(register)本地环境(包括静态对象、动态对象、人、姿势和各种照明、大气和声学条件)来映射用户周围的物理环境的一或多个元素。因此，在一些实施例中，环境感测系统(36)可包括被嵌入在本地计算系统(例如，网关部件14或处理器38)中并且可操作以数字地重建由传感器32检测到的一或多个对象或信息的基于图像的3D重建软件。
在一个示例实施例中，环境感测系统36提供以下的一或多个：运动捕捉数据(包括姿势识别)、深度感测、面部识别、对象识别、唯一对象特征识别、语音/音频识别和处理、声音源定位、降噪、红外或类似激光投影以及单色和/或彩色CMOS传感器(或其它类似的传感器)、视场传感器和各种其它光学增强传感器。
应理解，环境感测系统36可包括除了上面论述的或图3中所示的那些之外的其它部件。例如，在一些实施例中，环境感测系统36可包括用于从本地环境接收音频的麦克风。用户感测系统36也可包括一或多个红外摄像机传感器、一或多个可见光谱摄像机传感器、结构光发射器和/或传感器、红外光发射器、相干光发射器和/或传感器、陀螺仪、加速度计、磁力计、接近传感器、GPS传感器、超声波发射器和检测器和触觉接口。
如上所述，在一些实施例中，处理器38可与头戴式系统30的其它部件集成、与界面系统10的其它部件集成或者可为如图3所示的隔离装置(可佩戴的或与用户分离的)。处理器38可通过物理的有线连接或通过无线连接(诸如例如移动网络连接(包括蜂窝电话和数据网络)、Wi-Fi或蓝牙)被连接到头戴式系统30的各种部件和/或接口系统10的部件。
在一或多个实施例中，处理器38可包括存储器模块、集成和/或附加的图形处理单元、无线和/或有线互联网连接和编解码器和/或能够将来自源(例如，计算网络5、用户感测系统34、环境感测系统36或网关部件14)的数据转换成图像和音频数据的固件，其中，图像/视频和音频可经由界面37呈现给用户。
在一或多个实施例中，处理器38处理头戴式系统30的各种部件的数据处理以及头戴式系统30和网关部件14(及在一些实施例中的计算网络5)之间的数据交换。例如，处理器38可被用于缓冲和处理在用户和计算网络5之间的数据流传输，从而实现平滑、连续和高保真的用户体验。
在一些实施例中，处理器38可以用足以实现320×240分辨率的8帧/秒至在高分辨率(1280×720)的24帧/秒，或更大，诸如60-120帧/秒和4k分辨率和更高(10k+分辨率和50,000帧/秒)之间的任何地方的速率处理数据。另外，处理器38可存储和/或处理可被呈现给用户的数据，而不是从计算网络5实时地流传输。
例如，在一些实施例中，处理器38可从计算网络5接收压缩数据，并且执行高级呈现技术(诸如照明或阴影处理)以减轻从计算网络5传送至用户装置12的数据负荷。在另一示例中，处理器38可存储和/或处理本地对象数据，而不是将数据发送至网关部件14或至计算网络5。
在一些实施例中，头戴式系统30可包括允许各种视觉/界面性能和功能的各种设置或模式。这些模式可由用户手动选择，或者由头戴式系统30的部件或网关部件14自动选择。如上所述，头戴式系统30的一个示例模式包括“关闭”模式，其中，界面37基本上不提供数字或虚拟内容。在关闭模式下，显示部件33可为透明的，由此使得能够以很少到没有光学失真或计算覆盖来光学正确地观看用户周围的物理环境。
在一个示例实施例中，头戴式系统30包括“增强”模式，其中，界面37提供增强现实界面。在增强模式中，界面显示器33可为基本上透明的，从而允许用户观看本地的物理环境。同时，由计算网络5、处理器38和/或网关部件14提供的虚拟对象数据与物理、本地环境组合地呈现在显示器33上。以下节段将描述可用于虚拟和增强现实目的的示例头戴式用户系统的各种实施例。
用户系统
参考图4A-4D，该图示出一些通用的部件选项。在图4A-4D的论述之后的详细描述的部分中，提出了用于解决为人类VR和/或AR提供高质量、舒适感知的显示系统的目的的各种系统、子系统和部件。
如图4A所示，头戴式增强现实系统(“AR系统”)的用户60被描绘为佩戴耦合到位于用户眼睛前面的显示系统62的镜框64结构。扬声器66在所描绘的配置中被耦合到镜框64，并且定位在用户60的耳道附近(在一个实施例中，另一个扬声器(未示出)被定位在用户的另一耳道附近以提供立体的/可塑形(shapeable)的声音控制)。显示器62诸如通过有线引线或无线连接可操作地耦合68到本地处理和数据模块70，本地处理和数据模块70可以被安装在各种配置中，诸如固定地附接到镜框64、如图4B的实施例中所示固定地附接到头盔或帽子80、嵌入在耳机中、在如图4C的实施例中所示的配置中以可拆卸的方式附接到用户60的躯干82、在如图4D的实施例中所示的皮带连接型配置中以可拆卸的方式附接到用户60的髋部84。
本地处理和数据模块70可包括功率高效的处理器或控制器以及诸如闪存的数字存储器，二者都可用于帮助处理、高速缓存和存储(a)从传感器捕捉到的数据，传感器可被操作地耦合到镜框64，诸如图像捕捉装置(诸如摄像机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电装置和/或陀螺仪；和/或(b)使用远程处理模块72和/或远程数据仓库74获取和/或处理的数据，可能该数据在这样的处理或检索之后被传递到显示器62。
本地处理和数据模块70可诸如经由有线或无线通信链路(76、78)可操作地耦合到远程处理模块72和远程数据仓库74，使得这些远程模块(72、74)可操作地彼此耦合并且作为资源可用于本地处理和数据模块70。处理模块70可控制AR系统的光学系统和其它系统，并且执行一或多个计算任务，包括从存储器或一或多个数据库(例如，基于云的服务器)检索数据以便向用户提供虚拟内容。
在一个实施例中，远程处理模块72可包括被配置为分析和处理数据和/或图像信息的一或多个相对强大的处理器或控制器。在一个实施例中，远程数据仓库74可包括相对大规模的数字数据存储设施，其可通过互联网或“云”资源配置中的其它网络配置来获得。在一个实施例中，在本地处理和数据模块中存储所有数据并且执行所有计算，从而允许相对于任何远程模块的完全自主使用。
光学实施例
应理解，可以有通过头戴式用户装置的光学元件向用户的眼睛呈现3D虚拟内容的许多方法。以下示例实施例可与其它方法组合使用，并且不应以限制性的含义阅读。以下示例实施例表示可与头戴式用户装置(30)集成以允许用户以舒适和适应性友好的方式观看虚拟内容的一些示例光学系统。
参考图5A至图22Y，该图呈现了各种显示器构造，其被设计为向人眼呈现可以被舒适地感知为对物理现实的增强、具有高水平的图像质量和三维感知以及能够呈现二维内容的基于光子的辐射图案。
参考图5A，在简化示例中，具有45度反射表面102的透射分束器基板104将可从透镜(未示出)输出的入射辐射106通过眼睛58的瞳孔45引导到视网膜54。此系统的视场受分束器104的几何形状限制。为了利用最少的硬件来适应舒适观看，在一个实施例中，可以通过聚集各种不同的反射和/或衍射表面的输出/反射来产生更大的视场。这可通过使用例如帧顺序配置来实现，其中，眼睛58被呈现有提供单个连贯(coherent)场景的感知的高频率的帧序列。
作为经由不同反射器以时间顺序方式呈现不同图像数据的替代或补充，反射器可通过其它手段(诸如偏振选择性或波长选择性)来分离内容。除了能够中继二维图像之外，反射器还可中继与真实物理对象的真实三维观看相关联的三维波前。
参考图5B，该图示出包括多个角度110的多个反射器的基板108，其中，为了说明的目的，每个反射器以所描绘的构造主动地反射。反射器可包括可切换元件以便于时间选择性。在一个实施例中，可利用帧顺序输入信息106有意地且按顺序激活反射表面，其中，每个反射表面呈现窄视场子图像，该窄视场子图像与由其它反射表面所呈现的其它窄视场子图像一起平铺以形成复合宽视场图像。
例如，参考图5C、5D和5E，表面110(例如，在基板108的中间)被“接通”到反射状态，使得其反射进入的图像信息106在较大视场的中间呈现相对窄的视场子图像，而其它潜在的反射表面处于透射状态中。
参考图5C，来自窄视场子图像的右侧的输入图像信息106(如输入光束106相对于输入界面112处的基板108的角度以及它们离开基板108的所得角度所示)从反射表面110朝向眼睛58反射。图5D示出为活动的相同反射器110，其中，图像信息来自窄视场子图像的中间，如输入界面112处的输入信息106的角度以及其离开基板108时的角度所示。
图5E示出相同的活动反射器110，其中，图像信息来自视场的左侧，如输入界面112处的输入信息106的角度以及在基板108的表面处的所得出射角所示。图5F示出底部反射器110为活动的构造，其中，图像信息106从整个视场的最右侧进入。例如，图5C、5D和5E可以示出表示帧顺序平铺图像的中心的一个帧，以及图5F可以示出表示该平铺图像的最右边的第二帧。
在一个实施例中，承载图像信息106的光可在进入输入界面112处的基板108之后直接照射反射表面110，而不首先从基板108的表面反射。在一个实施例中，承载图像信息106的光可在进入输入界面112之后且在照射反射表面110之前从基板108的一或多个表面反射。例如，基板108可用作平面波导，其通过全内反射传播承载图像信息106的光。光也可从部分反射涂层、波长选择性涂层、角度选择性涂层和/或偏振选择性涂层从基板108的一或多个表面反射。
在一个实施例中，成角度反射器可使用电活性材料构造，使得在向特定反射器施加电压和/或电流时，构成此反射器的材料的折射率从大体匹配于其余的基板108改变。当折射率匹配基板108的其余部分时，反射器处于透射构造中。当折射率与基板108的其余部分的折射率不匹配时，反射器处于反射构造，使得产生反射效应。示例电活性材料包括铌酸锂和电活性聚合物。用于控制多个此类反射器的合适的基本上透明的电极可包括诸如用在液晶显示器中的氧化铟锡的材料。
在一个实施例中，电活性反射器110可包括被嵌入在诸如玻璃或塑料的基板108主介质中的液晶。在一些变体中，可选择根据所施加的电信号而改变折射率的液晶，使得与二进制(从一个透射状态到一个反射状态)相反，可实现更多的模拟变化。在6个子图像将按帧顺序呈现给眼睛以形成具有每秒60帧的整体刷新速率的大平铺图像的实施例中，期望具有可以约360Hz速率刷新的输入显示器，其具有可跟上此频率的电活性反射器阵列。
在一个实施例中，与液晶相反，铌酸锂可被用作电活性反射材料：铌酸锂被用在光子学工业中以用于高速开关和光纤网络，并且具有在非常高的频率下响应于所施加的电压切换折射率的能力。该高频可被用于控制线顺序或像素顺序子图像信息，特别是如果输入显示器为扫描光显示器，例如光纤扫描显示器或基于扫描镜的显示器。
在另一实施例中，可变可切换成角度镜构造可包括一或多个高速机械可重定位反射表面，诸如MEMS(微机电系统)装置。MEMS装置可包括所谓的“数字镜面装置”或“DMD”(其通常为“数字光处理”或“DLP”系统的一部分，诸如可从德克萨斯仪器公司获得的那些)。在另一机电实施例中，多个空气间隙(或真空中的)反射表面可以以高频机械地移入和移出。在另一机电实施例中，单个反射表面可上下移动并以非常高的频率重新设置间距。
参考图5G，值得注意的是，本文所描述的可切换可变角度反射器构造不仅能够将准直或平坦的波前信息传递到眼睛58的视网膜54，而且能够传递弯曲的波前122图像信息，如图5G的例证所示。这通常不是其它基于波导的构造的情况，其中，弯曲波前信息的全内反射引起不期望的复杂情况，因此输入通常必须被准直。传递弯曲波前信息的能力有利于诸如图5B-5H所示的构造的能力，以向视网膜54提供被感知为在离眼睛58的各种距离而不仅仅是光学无限(这将是在没有其它线索的情况下对准直光的解释)处聚焦的输入。
参考图5H，在另一实施例中，静态部分反射表面116的阵列(例如，总是处于反射模式；在另一实施例中，它们可以是电活性的，如上所述)可被嵌入在基板114中，其中，高频门控层118控制至眼睛58的输出。高频门控层118可仅允许通过可控地移动的孔120进行传输。换句话说，除了通过孔120传输之外，一切都可被选择性地阻挡。门控层118可包括液晶阵列、铌酸锂阵列、MEMS百叶窗元件阵列、DLP DMD元件阵列或其它MEMS器件的阵列，其被构造为以相对高频切换和被切换到透射模式时的高频透射率来传递或传输。
参考图6A-6B，描绘了其它实施例，其中，阵列光学元件可与出射光瞳扩展构造组合以有助于用户的虚拟或增强现实体验的舒适度。使用光学构造的更大的“出射光瞳”，相对于显示器(其如图4A-4D所示，可以以眼镜类型的构造被安装在用户的头上)的用户眼睛定位更少可能破坏他的体验――因为由于系统的更大的出射光瞳，存在更大的可接受区域，其中，用户的解剖学瞳孔可被定位为仍然如所期望地从显示系统接收信息。换句话说，对于更大的出射光瞳，系统更少可能对显示器相对于用户的解剖学瞳孔的轻微未对准敏感，并且可通过对他或她与显示器/眼镜的关系的较少几何约束来实现用户的更大舒适度。
现在参考图6A和6B，该图示出替代方法。如图6A所示，左侧的显示器140将一组平行光线馈送到基板124中。在一个实施例中，显示器可为扫描光纤显示器，其以如图所示的角度来回扫描窄光束，以通过透镜或其它光学元件142投影图像，透镜或其它光学元件142可被用于收集角扫描光并将其转换为平行光线束。光线可从一系列反射表面(126、128、130、132、134、136)反射，反射表面可部分地反射并且部分地透射入射光，使得光可跨反射表面组(126、128、130、132、134、136)大致相等地共享。通过将小透镜138放置在来自波导124的每个出射点处，出射光线可被引导通过节点并且朝向眼睛58扫描以提供出射光瞳的阵列，或者在用户朝向显示系统注视时，可由他或她使用的一个大出射光瞳的功能等同物。
对于期望还能够通过波导看到真实世界144的虚拟现实构造，可在波导124的相对侧上呈现类似的一组透镜139，以补偿下组透镜；从而产生相当于零放大望远镜的等同物。反射表面(126、128、130、132、134、136)各自可以以大约45度对准，如图所示，或可具有不同的对准，类似于例如图5B-5H的构造。反射表面(126、128、130、132、134、136)可包括波长选择反射器、带通反射器、半镀银反射镜或其它反射构造。所示的透镜(138、139)为折射透镜，但是也可使用衍射透镜元件。
参考图6B，该图描绘了某种程度类似的构造，其中，多个弯曲反射表面(148、150、152、154、156、158)可被用于有效地组合图6A的实施例的透镜(图6A的元件138)和反射器(图6A的元件126、128、130、132、134、136)的功能，从而避免了对两组透镜(图6A的元件138)的需要。
弯曲反射表面(148、150、152、154、156、158)可为各种弯曲构造，其被选择以反射和赋予角变化这两者，诸如抛物线或椭圆弯曲表面。利用抛物线形状，入射光线的平行集合将被收集到单个输出点；利用椭圆形构造，从单个原点发散的一组光线被收集到单个输出点。与图6A的构造一样，弯曲反射表面(148、150、152、154、156、158)优选地部分反射并且部分透射，使得入射光跨波导146的长度上共享。弯曲反射表面(148、150、152、154、156、158)可包括波长选择性凹槽反射器(notch reflector)、半镀银反射镜或其它反射构造。在另一实施例中，弯曲反射表面(148、150、152、154、156、158)可用反射并且也偏转的衍射反射器代替。
参考图7A，可使用结合可变焦点光学元件构造的波导来促进Z轴差异(例如，沿着光轴从眼睛直线出来的距离)的感知。如图7A所示，来自显示器160的图像信息可被准直并射入到波导164中，并且使用例如诸如参考图6A和6B所述的构造或本领域技术人员已知的其它基板引导光学器件方法以大的出射光瞳方式分配――然后可变聚焦光学元件能力可被用于改变从波导出射的光的波前的焦点，并且向眼睛提供来自波导164的光来自于特定焦距的感知。
换句话说，由于入射光已被准直以避免全内反射波导构造中的挑战，所以其将以准直方式退出，这需要观看者的眼睛适应远点以使其聚焦在视网膜上，并且自然地解释为来自于光学无限远――除非一些其它干预致使光被重新聚焦并且被感知为来自不同的观看距离；一种合适的此干预为可变焦距透镜。
在图7A的实施例中，来自显示器160的准直图像信息以一定角度射入到一块玻璃162或其它材料中，使得其完全内反射并进入相邻的波导164中。波导164可被构造为类似于图6A或6B的波导(分别为124、146)，使得来自显示器的准直光被分布成在沿着波导的长度的反射器或衍射特征的分布上稍微均匀地出射。在朝向眼睛58出射时，在所描绘的构造中，出射光通过可变焦透镜元件166传递，其中，根据可变焦透镜元件166的受控焦点，离开可变焦透镜元件166并进入眼睛58的光将具有各种水平的聚焦(准直平坦波前以表示光学无限远，越来越多的光束发散/波前曲率以表示相对于眼睛58更近的观看距离)。
为了补偿在眼睛58和波导164之间的可变焦距透镜元件166，另一个类似的可变焦距透镜元件167被放置在波导164的相对侧上，以抵消透镜166对用于增强现实的世界144的光学效应(例如，如上所述，一个透镜补偿另一个透镜，从而产生零放大望远镜的功能等同物)。
可变焦透镜元件166可为折射元件，诸如液晶透镜、电活性透镜、具有移动元件的常规折射透镜、基于机械变形的透镜(诸如，流体填充的膜透镜或类似于人类晶状体的透镜，其中柔性元件被致动器弯曲和松弛)、电润湿透镜或具有不同折射率的多种流体。
可变焦透镜元件166也可包括可切换衍射光学元件(诸如，以聚合物分散液晶方法为特征的衍射光学元件，其中，诸如聚合物材料的主介质具有分散在材料内的液晶微滴；当施加电压时，分子重新取向使得它们的折射率不再与主介质的折射率匹配，从而产生高频可切换衍射图案)。
一个实施例包括主介质，其中，基于克尔效应的电活性材料(诸如铌酸锂)的微滴分散在主介质内，使得当与扫描光显示器(诸如光纤扫描显示器或基于扫描镜的显示器)耦合时，能够逐像素或逐行重新聚焦图像信息。在利用液晶、铌酸锂或其它技术来呈现图案的可变焦点透镜元件166构造中，图案间隔可被调制为不仅改变可变焦点透镜元件166的焦度，而且改变整个光学系统的焦度――对于变焦透镜类型的功能。
在一个实施例中，透镜166可以是远心的，因为显示器图像的焦点可以在保持放大率恒定的同时改变――以与拍摄变焦透镜可被构造成将焦点与变焦位置解耦相同的方式。在另一实施例中，透镜166可为非远心的，使得焦点改变也将引起缩放变化。利用此构造，此种放大率变化可在软件中用来自图形系统的输出与焦点变化同步的动态缩放来补偿。
返回参考投影仪或其它视频显示单元160以及如何以“帧顺序”配置将图像馈送到光学显示系统的问题，顺序二维图像的堆叠可按顺序馈送到显示器以产生随时间的三维感知；以类似于使用堆叠的图像切片来表示三维结构的计算机化断层摄影系统的方式。
可向眼睛呈现一系列二维图像切片，每个二维图像切片位于与眼睛不同的焦距处，并且眼睛/大脑将此类堆叠集成为连贯的三维体积的感知。根据显示类型，可进行逐行或甚至逐像素排序以产生三维观看的感知。例如，对于扫描光显示器(诸如扫描光纤显示器或扫描镜显示器)，则显示器以顺序方式一次向波导164呈现一行或一个像素。
如果可变焦透镜元件166能够跟上逐个像素或逐行显示的高频，则每行或像素可通过可变焦透镜元件166呈现并动态聚焦以在与眼睛58不同的焦距处被感知。逐个像素聚焦调制通常需要极快/高频可变聚焦透镜元件166。例如，具有每秒60帧的整体帧速率的1080P分辨率显示器通常呈现每秒约1.25亿个像素。此构造也可使用固态可切换透镜来构造，诸如使用电活性材料的那种，例如铌酸锂或电活性聚合物。除了其与图7A所示的系统的兼容性之外，帧顺序多焦显示驱动方法可与本公开中所描述的多个显示系统和光学实施例结合使用。
参考图7B，电活性层172(诸如液晶或铌酸锂的电活性层)可被功能电极(170、174)(其可以由氧化铟锡制成)和波导168包围，该波导168具有常规的透射基板176。在一个或多个实施例中，波导可由具有已知的全内反射特性和与电活性层172的开或关状态匹配的折射率的玻璃或塑料制成。电活性层172可被控制，使得进入光束的路径可被动态地改变以基本上产生随时间变化的光场。
参考图8A，可利用堆叠波导组件178通过具有多个波导(182、184、186、188、190)和多个弱透镜(198、196、194、192)来向眼睛/大脑提供三维感知，上述多个波导和多个弱透镜被构造为一起向眼睛发送针对每个波导水平具有不同水平的波前曲率从而指示针对该波导水平感知的焦距的图像信息。多个显示器(200、202、204、206、208)，或在另一实施例中，单个复用显示器可被用于将准直图像信息射入到波导(182、184、186、188、190)中，每个波导可如上所述被构造为将入射光基本上均匀地分布在每个波导的长度上，以朝向眼睛向下射出。
最靠近眼睛的波导182被构造为将被射入到此类波导182中的准直光传送到眼睛，其可代表光学无限远焦平面。另一波导184被构造为发送出穿过第一弱透镜(192；例如弱负透镜)并且被传送到用户的眼睛58的准直光。第一弱透镜192可被构造为产生轻微的凸出的波前曲率，使得眼睛/大脑将来自波导184的光解译为来自由光学无限远更接近内朝向人的第一焦平面。类似地，下一个波导186在到达眼睛58之前使其输出光通过第一透镜192和第二透镜194。第一透镜192和第二透镜194的组合光焦度可被构造成产生另一增量的波前发散，使得眼睛/大脑将来自波导186的光解释为来自第二焦平面，其比来自波导184的光由光学无限远更加接近内朝向人。
其它波导层(188、190)和弱透镜(196、198)被类似地构造，其中，堆叠中的最高波导190通过其与眼睛之间的所有弱透镜发送其表示最接近人的焦平面的聚焦光焦度的输出。为了在观看/解译来自堆叠波导组件178的另一侧上的世界144的光时补偿透镜堆叠(198、196、194、192)，补偿透镜层(180)被设置在堆叠的顶部以补偿以下透镜堆叠(198、196、194、192)的聚合屈光度(power)。
此构造提供与可用的波导/透镜对一样多的感知焦平面，同样具有如上所述的相对大的出射光瞳构造。波导的反射方面和透镜的聚焦方面可为静态的(例如，不是动态的或电活性的)。在替代实施例中，它们可为使用如上所述的电活性特征的动态的，使得少量波导能够以时间顺序方式被多路复用以产生更多数量的有效焦平面。
参考图8B-8N，该图描绘了用于聚焦和/或重定向准直束的衍射构造的各个方面。用于此目的的衍射系统的其它方面在美国专利申请序列号14/331,218中公开。
参考图8B，应理解，使准直光束穿过线性衍射图案210(例如布拉格光栅)将偏转或“转向”光束。还应理解，使准直光束穿过径向对称衍射图案212或“菲涅尔带片”将改变光束的焦点。图8C示出使准直光束穿过线性衍射图案210的偏转效应。图8D示出使准直光束穿过径向对称衍射图案212的聚焦效应。
参考图8E和8F，具有线性和径向元件214的组合衍射图案产生准直输入光束的偏转和聚焦。这些偏转和聚焦效应可以在反射模式和透射模式下产生。这些原理可被应用于波导构造以允许附加的光学系统控制，例如如图8G-8N所示。
如图8G-8N所示，衍射图案220或“衍射光学元件”(或“DOE”)被嵌入在平面波导216内，使得当准直光束沿着平面波导216全内反射时，其与在多个位置处的衍射图案220相交。
优选地，DOE 220具有相对低的衍射效率，使得只有一部分光束的光随着DOE 220的每个交点被偏转朝向眼睛58，而其余部分继续通过整个内部反射穿过平面波导216。因此携带图像信息的光被分成在多个位置处离开波导的多个相关光束，并且结果是该特定的准直光束在平面内波导216反射，朝向眼睛58的出射发射产生相当均匀的图案，如图8H所示。朝向眼睛58的出射光束在图8H中被示为基本平行，因为在此情况下，DOE 220仅具有线性衍射图案。如图8L、8M和8N之间的比较所示，可利用对该线性衍射图案间距的变化来可控地偏转出射的平行光束，从而产生扫描或平铺功能。
参考图8I，随着嵌入式DOE 220的径向对称衍射图案分量的变化，出射光束图案更加发散，这将需要眼睛适应更近的距离以使其聚焦在视网膜上并且将被大脑解译为来自比光学无限远更接近眼睛的观看距离的光。参考图8J，通过添加光束可被射入的另一波导218(例如，投影仪或显示器)，嵌入在另一波导218中的DOE 221(诸如线性衍射图案)可起到跨整个较大的平面波导216扩展光的作用。根据工作中的特定DOE构造，这可为眼睛58提供从较大平面波导216(例如，大眼盒)出射的入射光的非常大的入射场。
示出DOE(220、221)被示出平分相关波导(216、218)，但这不是必须的情况。在一或多个实施例中，它们可更靠近或位于任一波导(216、218)的任一侧，以具有相同的功能。因此，如图8K所示，随着单个准直光束的射入，克隆的准直光束的整个场可被引向眼睛58。另外，利用诸如图8F 214和8I 220中所描绘的组合线性衍射图案/径向对称衍射图案的情况，呈现了具有Z轴聚焦能力的光束分布波导光学器件(用于诸如出射光瞳功能扩展之类的功能；使用诸如图8K的构造，出射光瞳可与光学元件本身一样大，这对于用户舒适度和人体工程学来说可以是非常显著的优点)，其中，克隆光束的发散角和每个光束的波前曲率代表来自比光学无限远更近的点的光。
在一个实施例中，一或多个DOE可在它们主动衍射的“开”状态和它们不显著衍射的“关”状态之间切换。例如，可切换DOE可包括聚合物分散液晶层，其中，在主介质中的微滴构成衍射图案，并且微滴的折射率可以被切换为基本上匹配主体材料的折射率(在此情况下，该模式不会明显地衍射入射光)。或者，微滴可以被切换到与主介质的折射率不匹配的折射率(在此情况下，图案主动衍射入射光)。
此外，随着衍射项(诸如图8L-8N中的线性衍射节距项)的动态变化，可实现束扫描或平铺功能。如上所述，可能期望在每个DOE(220、221)中具有相对低的衍射光栅效率，因为这有助于光的分布。此外，因为当光穿过的DOE220衍射效率较低时，来自期望透射的波导的光(例如，在增强现实中来自世界144朝向眼睛58的光)受影响较小，可实现通过此构造更好地观看现实世界。
诸如图8K所示的构造优选地通过以时间顺序方法对图像信息的射入来驱动，其中，帧顺序驱动为最简单实现的。例如，在光学无限远的天空的图像可在时间1被射入，并且可利用保持光的准直的衍射光栅。然后，更近的树枝的图像可在时间2被射入，此时DOE可控地施加焦点变化，例如一个屈光度或1米远，以向眼睛/大脑提供分支光信息来自更靠近的焦点范围的感知。
这种范例可以以快速时间顺序方式重复，使得眼睛/大脑将输入感知为同一图像的所有部分。虽然这仅仅是两个焦平面示例，但是应理解，优选地，系统将被构造为具有更多的焦平面，以提供对象及其焦距之间的更平滑的过渡。这种构造通常假设DOE以相对低的速度(例如，与正在射入图像的显示器的帧速率同步――在几十到几百个周期/秒的范围内)切换。
相反的极端可为这样的构造：其中，DOE元件可以以几十到几百MHz或更大的频率偏移焦点，这有助于在像素被扫描到眼睛58中时，使用扫描光显示类型的方法逐个像素地切换DOE元件的聚焦状态。这是期望的，因为这意味着整个显示器帧率可以保持相当低；刚好低到足以确保“闪烁”不是问题(在大约60-120帧/秒的范围内)。
在这些范围之间，如果DOE可以以KHz速率切换，则可在逐行的基础上调整每条扫描行上的焦点，这可为用户提供在时间伪像方面的可见益处，例如，在相对于显示器的眼睛运动期间。例如，以此方式，场景中的不同焦平面可被交错，以最小化响应于头部运动的可见伪像(如本公开后面更详细地论述的)。逐行聚焦调制器可被可操作地耦合到行扫描显示器，诸如光栅光阀显示器，其中扫描线性像素阵列以形成图像；并且可被可操作地耦合到扫描光显示器，诸如光纤扫描显示器和镜扫描光显示器。
类似于图8A的堆叠构造，可使用动态DOE(而不是图8A的实施例的静态波导和透镜)来同时提供多平面聚焦。例如，利用三个同时的焦平面，可以向用户呈现主焦平面(例如，基于所测量的眼睛适应性调节)，并且正边际和负边际(例如，一个焦平面更靠近，一个焦平面更远出)可被用于提供大的聚焦范围，在该聚焦范围中，用户可以在需要更新焦平面之前进行适应性调节。如果用户切换到更接近或更远的焦点(例如，通过调节测量来确定)，则这种增加的聚焦范围可以提供时间上的优点。然后，可以使新的聚焦面成为中间焦点深度，其中，正和负边际再次准备好以在系统赶上时快速切换到任一个。
参考图8O，示出平面波导(244、246、248、250、252)的堆叠222，每个平面波导在末端具有反射器(254、256、258、260、262)，并且被构造为使得在一端由显示器(224、226、228、230、232)射入的准直图像信息通过全内反射向下反射到反射器，在该点处，一些或所有光被朝向眼睛或其它目标反射出去。每个反射器可具有稍微不同的角度，使得它们都朝向公共目的地(例如瞳孔)反射出射光。除了图8O的实施例中的每个不同角度反射器具有其自己的波导以在投射光行进到目标反射器时被较少干扰之外，此构造有点类似于图5B的构造。透镜(234、236、238、240、242)可被插置在显示器和波导之间，以用于光束转向和/或聚焦。
图8P示出几何交错版本，其中，反射器(276、278、280、282、284)在波导(266、268、270、272、274)中以交错长度定位，使得出射光束可以相对容易地与作为解剖学瞳孔的对象对准。由于叠层(264)和眼睛之间的距离是已知的(诸如典型的舒适的几何关系是眼睛的角膜和眼镜镜片之间为28mm)，反射器(276、278、280、282、284)和波导(266、268、270、272、274)的几何关系可被设置为用出射光填充眼睛瞳孔(通常约为8mm或更小)。
通过将光引导到直径大于眼睛瞳孔的眼盒，观看者可以自由地进行任何数量的眼睛移动，同时保持观看所显示的图像的能力。返回参考涉及关于视场扩展和反射器尺寸的图5A和5B的论述，通过图8P的构造呈现扩展的视场，并且其不涉及图5B的实施例的可切换反射元件的复杂性。
图8Q示出版本286，其中，许多反射器298在被定向为与整体曲线对准的聚集或离散的小平面中形成相对连续的弯曲反射表面。曲线可以是抛物线或椭圆曲线，并且被示为跨越多个波导(288、290、292、294、296)横切以最小化任何串扰问题，尽管其也可以与单片波导构造一起使用。
在一种实施方案中，高帧速率和较低持续时间显示器可与较低帧速率和较高持续时间显示器以及可变聚焦元件组合以构成相对较高频率的帧顺序体积显示器。在一个实施例中，高帧速率显示器具有较低的位深度，以及较低帧速率的显示器具有较高的位深度，并且被组合以构成有效的高帧速率和高位深度的显示器，其非常适合于以帧顺序方式呈现图像切片。利用此方法，期望表示的三维体积在功能上被划分为一系列二维切片。这些二维切片中的每个按顺序被投射到眼睛框，并且与该呈现同步地，改变可变聚焦元件的焦点。
在一个实施例中，为了提供足够的帧速率以支持此配置，可集成两种显示元件：以每秒60帧操作的全色、高分辨率液晶显示器(“LCD”；在另一个实施例也可使用背光照明的铁电面板显示器；在进一步的另一实施例中，可使用扫描光纤显示器)，以及更高频率DLP系统的方面。代替以常规方式(例如，利用全尺寸荧光灯或LED阵列)照明LCD面板的背面，常规照明配置可被去除以容纳DLP投影仪，以将掩模图案投影在LCD背面上。在一个实施例中，掩模图案可为二进制的，例如，DLP被照亮或不被照亮。在下面描述的另一实施例中，DLP可被用于投影灰度掩模图像。
应理解，DLP投影系统可以以非常高的帧速率操作。在一个实施例中，对于每秒60帧的6个深度平面，可以以360帧/秒对着LCD显示器的背面操作DLP投影系统。然后DLP投影仪可被用于与设置在LCD面板的观看侧和用户的眼睛之间的高频可变聚焦元件(诸如可变形膜式反射镜)同步地选择性照亮LCD面板的部分，可变聚焦元件(VFE)被配置为以360帧/秒逐帧地改变全局显示焦点。
在一个实施例中，VFE被定位成与出射光瞳光学共轭，以便允许调焦而不同时影响图像放大或“缩放”。在另一实施例中，VFE不与出射光瞳共轭，使得图像放大率改变伴随焦点调节。在此类实施例中，软件可被用于通过预缩放或扭曲待呈现的图像来补偿光学放大率变化和任何失真。
在操作上，有用的是考虑将三维场景被呈现给用户的示例，其中，背景中的天空为光学无限远的观看距离，并且耦合到树的树枝从树干延伸，使得树枝的尖端比连接树干的树枝的近端部分更靠近用户。树可处于比光学无限远更近的位置处，并且树枝可比树干更接近。
在一个实施例中，对于给定的全局帧，系统可被配置为在LCD上呈现天空前面的树枝的全色、全对焦图像。然后，在在全局帧内的子帧1处，处于二进制掩蔽配置(例如，照明或不存在照明)的DLP投影仪可被用于仅照亮代表多云天空的LCD的部分，而功能性黑色遮蔽(例如，不能照亮)表示树枝和在与天空相同的焦距处不被感知的其它元素的LCD的部分，并且可利用VFE(诸如可变形膜式反射镜)来定位在光学无限远的焦平面，使得眼睛在子帧1处看到的子图像是无限远的云。
然后在子帧2，VFE可被切换以聚焦在离用户的眼睛大约1米远的点(例如，1米远的树枝位置)。可以切换来自DLP的照明图案，使得系统仅照亮表示树枝的LCD的部分，而同时对表示天空和不能在与树枝相同的焦距处被感知的其它元素的LCD的部分进行功能黑遮蔽(例如，不能照亮)。
因此，眼睛获得在光学无限远处的云的快速闪现，随后获得在1米处的树的快速闪现，并且该序列被眼睛/大脑集成以形成三维感知。树枝可相对于观看者对角地定位，使得其延伸通过一定范围的观看距离，例如，其可在大约2米观看距离处与树干接合，而树枝的尖端在1米远的更近位置。
在此情况下，显示系统可将树枝的3-D体积分成多个切片，而不是1米处的单个切片。例如，一个焦点切片可被用于表示天空(在该切片的呈现期间使用DLP来掩蔽树的所有区域)，而树枝被划分成5个焦点切片(对于待呈现的树枝的每个部分，使用DLP来掩蔽天空和树的除一个部分之外的所有部分)。优选地，深度切片被定位为具有等于或小于眼睛的焦深的间隔，使得观看者将不可能注意到切片之间的过渡，并且代之以感知树枝通过聚焦范围的平滑且连续流。
在另一实施例中，不是在二进制(仅有照明或暗场)模式中使用DLP，而是可将其用于将灰度(例如，256个色调的灰度级)掩模投射到LCD面板的背面上，以增强三维知觉。灰度色调可被用于向眼睛/大脑传递某物存在于相邻深度或焦平面之间的感知。
返回参考上述场景，如果最接近用户的树枝的前边缘要被投射在焦平面1上，则在子帧1处，LCD上的该部分可用来自VFE在焦平面1的DLP系统的全强度白色照亮。
然后在子帧2处，当在焦平面2处的VFE正好在被点亮的部分之后时，将不存在照明。这些是与上述二进制DLP掩蔽配置类似的步骤。然而，如果存在将在焦平面1和焦平面1之间的位置处(例如中途)被感知的树枝的一部分，则可利用灰度掩蔽。DLP可以在子帧1和子帧2期间，但是在每个子帧的半照明(诸如，在256个灰度级的128级)处将照明掩模投射到该部分。
这提供了对焦深层的混合的感知，其中，所感知的焦距与子帧和子帧2之间的照度比成比例。例如，对于应该位于焦平面1和焦平面2之间的路程的3/4的树枝的一部分，可以使用约25％强度的灰度掩模来在子帧1处照亮LCD的该部分，并且可以使用约75％的灰度掩模在子帧2处照亮LCD的相同部分。
在一个实施例中，低帧速率显示和高帧速率显示的位深度可以被组合以用于图像调制，以产生高动态范围显示。高动态范围驱动可以与上述焦平面寻址功能协同进行，以构成高动态范围的多焦点3D显示器。
在另一更有效的实施例中，只有显示器(例如LCD)输出的特定部分可以被投影仪(例如，DLP、DMD等)掩模照明，并且可在到用户眼睛的途中被可变地聚焦。例如，显示器的中间部分可为掩模照明的，而显示器的外围为用户提供均匀的适应提示(例如，外围可以由DLP DMD均匀照明，而中心部分被主动掩蔽并且在至眼睛的途中可变聚焦)。
在上述实施例中，约360Hz的刷新率允许6个深度平面，每个大约60帧/秒。在另一实施例中，甚至更高的刷新率可通过增加DLP的操作频率来实现。标准DLP配置使用MEMS器件和微镜阵列，其在将光朝向显示器或用户反射的模式与将光反射远离显示器或用户(诸如进入光阱中)的模式之间切换，因此DLP是固有的二进制。DLP通常使用脉冲宽度调制方案产生灰度图像，其中，对于可变占空比，将反射镜在可变的时间量内保持在“开启”状态，以便产生更亮的像素或中间亮度的像素。因此，为了以中等帧速率产生灰度图像，DLP以高得多的二进制速率运行。
在上述配置中，此设置很好地用于产生灰度掩蔽。然而，如果DLP驱动方案被适配成使得其以二进制图案闪烁子图像，则可显著增加帧速率――每秒数千帧地增加，这允许以60帧/秒刷新数百到数千的深度平面，这可被用于消除如上所述的深度平面间灰度内插。德州仪器DLP系统的典型脉宽调制方案具有8位命令信号(第一位为反射镜的第一长脉冲；第二位为第一位的长度的一半的脉冲；第三位也为一半长的脉冲；等等)――使得该配置可以产生28(2到8次幂)个不同的照明水平。在一个实施例中，来自DLP的背光可具有与DMD的不同脉冲同步改变的强度，以均衡所产生的子图像的亮度。这可为使用现有的DMD驱动电子器件来产生显著更高的帧速率的实用方法。
在另一实施例中，可利用对DMD驱动电子器件和软件的直接控制变化来使反射镜总是具有相等的导通时间，而不是常规的可变导通时间配置，这将有利于更高的帧速率。在另一实施例中，DMD驱动电子器件可被配置为以高于高位深度图像的帧速率但低于二进制帧速率的帧速率呈现低位深度图像，使得能够在焦平面之间进行一些灰度级混合，同时适度地增加聚焦面的数量。
在另一实施例中，当限于有限数量的深度平面(诸如，上述示例中的6个)时，可能需要在功能上将这6个深度平面移动到在呈现给用户的场景中最大程度有用。例如，如果用户站在房间中并且虚拟怪物将被放置到他的增强现实视图中，虚拟怪物在Z轴上远离用户的眼睛大约2英尺深，则围绕怪物当前位置的中心聚集所有6个深度平面可能是更有用的(并且在他相对于用户移动时动态地移动它们)。这可向用户提供更丰富的所有六个深度平面在怪物的直接区域中的调节提示(例如，在怪物中心的前面3个，在怪物中心的后面3个)。深度平面的此分配是内容相关的。
例如，在上面的场景中，同一个怪物可在同一房间呈现，而且还要呈现给用户的是一个虚拟窗口框元素，然后是远离虚拟窗口框到光学无限远的虚拟视图，有用的是，至少一个深度平面花费在光学无限远上，一个花费在容纳虚拟窗口框的墙壁深度上，然后剩余的四个深度平面可能花费在房间中的怪物上。如果内容致使虚拟窗口消失，则两个深度平面可被动态地重新分配给怪物周围的区域。因此，焦平面资源的基于内容的动态分配可向给定计算和呈现资源的用户提供最丰富的体验。
在另一实施例中，多芯光纤或单芯光纤阵列中的相位延迟可被用于产生可变聚焦光波前。参考图9A，多芯光纤(300)可包括多个单独光纤(302)的聚集。图9B示出多芯组件的近距离视图，其从每个芯以球面波前(304)的形式发射光。如果纤芯例如从共享的激光源发射相干光，则这些小球面波前最终相长地和相消地相互干涉，并且如果它们从多芯光纤同相发射，则它们将在聚集状态下形成近似平面的波前(306)，如图所示。
然而，如果在纤芯之间感应出相位延迟(使用常规的相位调制器，诸如使用铌酸锂的相位调制器，以使一些芯相对于其他芯的路径变慢)，则可在聚集状态中产生弯曲或球面波前，以在眼睛/大脑处呈现来自比光学无限远更近的点的对象。这可为可被用于在不使用VFE的情况下呈现多个焦平面的另一种方法，如在上面论述的先前实施例中的情况。换句话说，此相控多芯配置或相控阵列可被用于从光源产生多个光学聚焦级。
在涉及使用光纤的另一实施例中，多模光纤或光导棒或管的已知傅里叶变换方面可被用于控制从此类光纤输出的波前。光纤通常有两种类型：单模和多模。多模光纤通常具有较大的纤芯直径，并且允许光沿着多个角度路径传播，而不是单模光纤的沿单角度路径传播。已知的是，如果图像被射入到多模光纤的一端，则被编码到该图像中的角度差在其通过多模光纤传播时将在一定程度上被保持。在一些配置中，来自光纤的输出将与输入到光纤中的图像的傅里叶变换显著相似。
因此，在一个实施例中，可输入波前(诸如表示比光学无限远更靠近用户的焦平面的发散球面波前)的傅里叶逆变换，使得在穿过光学地赋予傅里叶变换的光纤之后，输出是期望形状或聚焦的波前。此输出端可被扫描以用作扫描光纤显示，或者可被用作例如用于扫描反射镜以形成图像的光源。
因此，此配置可被用作再一个聚焦调制子系统。其它种类的光图案和波前可被射入到多模光纤中，使得在输出端上发射特定的空间图案。这可被用于提供等效的小波图案(在光学中，光学系统可根据泽尼克(Zernicke)系数进行分析；图像可以被类似地表征并分解成更小的主分量，或者相对更简单的图像分量的加权组合)。因此，如果使用输入侧上的主分量将光扫描到眼睛中，则可在多模光纤的输出端处恢复更高分辨率的图像。
在另一实施例中，全息图的傅立叶变换可被射入到多模光纤的输入端，以输出可被用于三维聚焦调制和/或分辨率增强的波前。某些单光纤纤芯、多纤芯光纤或同心纤芯+包层配置也可被用于前述的傅里叶逆变换配置。
在另一实施例中，不是以高帧速率物理地操控接近用户眼睛的波前，而不考虑用户的特定的适应状态或眼睛注视，系统可被配置为监测用户的适应，在对应于眼睛的适应状态的时间呈现单个波前，而不是呈现一组多个不同的光波前。
可以直接地(诸如通过红外自动折射仪或偏心光折射)或间接地(诸如通过测量用户的两只眼睛的会聚程度)来测量适应(如上所述，聚散度和适应在神经学上强烈地相关联，因此适应的估算可以基于聚散几何关系)。因此，对于所确定的例如距用户1米的适应，则可使用上述可变焦距配置中的任何一个来配置距眼睛1米焦距处的波前呈现。如果检测到在2米处聚焦的适应变化，则可针对2米焦距重新配置眼睛处的波前呈现，等等。
因此，在结合适应跟踪的一个实施例中，VFE可被放置在输出组合器(例如，波导或分束器)和用户的眼睛之间的光路中，使得焦点可与眼睛的适应变化一起被改变(例如，优选以相同的速率)。可使用软件效果来对不应被对焦的对象产生可变量模糊(例如，高斯)，以模拟在视网膜处预期的屈光模糊，就好像对象在该观察距离一样。这增强了眼睛/大脑的三维感知。
简单的实施例为焦点水平随动于观看者的适应水平的单个平面。然而，如果甚至使用少量的多个平面，则可以放宽对适应跟踪系统的性能要求。参考图10，在另一实施例中，可利用约3个波导(318、320、322)的堆叠328来同时产生波前的三个焦平面。在一个实施例中，弱透镜(324、326)可具有静态焦距，并且可变焦透镜316可随动于眼睛的适应跟踪，使得三个波导之一(例如中间波导320)输出被认为是对焦波前，而其它两个波导(322、318)输出正边际波前和负边际波前(例如，比检测到的焦距稍微更远、比检测到的焦距稍微更近)。这可改善三维感知并且还为脑/眼睛适应控制系统提供足够的差异以感测一些模糊作为负反馈的，这继而增强了现实的感知，并且允许根据需要在焦点水平的物理调整之前进行一系列适应。
还示出可变焦补偿透镜314，以确保在增强现实配置中从真实世界144进入的光不被堆叠组件328和输出透镜316重新聚焦或放大。如上所述，透镜(316、314)中的可变焦距可以利用折射、衍射或反射技术来实现。
在另一实施例中，堆叠中的每个波导可包含它们自己的用于改变焦点的能力(诸如通过具有所包含的电子可切换DOE)，使得VFE不需要像图10的配置的堆叠328中那样被集中。
在另一实施例中，VFE可在堆叠的波导之间交错(例如，不是如图10的实施例中的固定焦点弱透镜)，以消除对固定焦距弱透镜加全堆叠重聚焦可变焦距元件的组合的需要。此类堆叠配置可被用在如本文所述的适应跟踪变体中，并且也可用在帧顺序多焦点显示方法中。
在光以小出射光瞳(例如1/2mm直径或更小)进入瞳孔的配置中，人具有针孔透镜配置的等同物，其中，光束总是被眼睛/大脑解译为焦点对准――例如，使用0.5mm直径光束扫描图像至眼睛的扫描光显示器。此配置被称为麦克斯韦视图配置，并且在一个实施例中，适应跟踪输入可被用于使用软件来诱导图像信息的模糊，该图像信息将要被感知为位于通过适应跟踪确定的焦平面之后或之前的焦平面上。换句话说，如果以呈现麦克斯韦视图的显示器开始，则理论上一切都可以聚焦。为了提供丰富和自然的三维感知，屈光模糊可用软件诱导模拟，并且可被随动于适应跟踪状态。
在一个实施例中，扫描光纤显示器非常适合于此配置，因为它可被配置为仅输出麦克斯韦形式的小直径光束。在另一实施例中，诸如通过一或多个扫描光纤显示器，可产生小出射光瞳的阵列以增加系统的功能眼盒(并且还用于减少可能驻留在眼睛的玻璃体或角膜中的光阻挡颗粒的影响)。或者，这可通过诸如参考图8K所述的DOE配置来实现，其中，在所呈现的出射光瞳的阵列中具有确保在任何给定时间只有一个将击中用户的解剖瞳孔的间距(例如，如果平均解剖瞳孔直径为4mm，则一种配置可包括以约4mm的间隔隔开的1/2mm出射光瞳)。
此类出射光瞳也可响应于眼睛位置而切换，使得只有眼睛总是一次接收一个且仅接收一个活动的小出射光瞳；从而允许更密集的出射光瞳阵列。此用户将具有大的焦深，可以向其添加基于软件的模糊技术以增强所感知的深度感知。
如上所述，光学无限远处的对象产生基本上平面的波前。更近的诸如离眼睛1m远的对象产生弯曲的波前(具有约1m的凸曲率半径)。应理解，眼睛的光学系统需要具有足够的光焦度以弯曲入射光线，使得光线被聚焦在视网膜上(凸起的波前变成凹面，然后下降到在视网膜的焦点上)。这些是眼睛的基本功能。
在上述许多实施例中，被引导向眼睛的光已被视为一个连续波前的一部分，其一些子集将击中特定眼睛的瞳孔。在另一方法中，被引导向眼睛的光可被有效地离散或分解成多个子束或独立光线，每个子束具有小于约0.5mm的直径和唯一传播路径，作为可通过子束或光线的聚合来功能性地产生的更大聚合波前的一部分。例如，可通过汇聚多个离散的相邻准直束来近似弯曲波前，其中，每个准直束以适当角度接近眼睛以表示原点。原点可匹配期望的汇聚波前的曲率半径的中心。
当子束具有约0.5mm或更小的直径时，这种配置类似于针孔透镜配置。换句话说，每个单独的子束总是相对于视网膜聚焦，而与眼睛的适应状态无关――然而每个子束的轨迹将受适应状态影响。例如，如果表示离散的准直汇聚波前的子束平行地接近眼睛，则被正确地适应到无限远的眼睛将偏转子束以在视网膜上的相同共享点上会聚并且将聚焦。如果眼睛适应到例如1m，则光束将会聚到视网膜前面的斑点，交叉路径，并落在视网膜上的多个相邻或部分重叠的斑点上――从而出现模糊。
如果子束以具有距观察者1米远的共享原点的发散配置接近眼睛，则1m的适应将光束转向到视网膜上的单个点并且将会聚焦。如果观察者适应无限远，子束将会聚到视网膜后面的斑点，并在视网膜上产生多个相邻或部分重叠的斑点，从而产生模糊的图像。更一般地说，眼睛的适应决定了视网膜上的斑点的重叠程度，并且当所有斑点都指向视网膜上的相同斑点时，给定像素是“聚焦的”，而当斑点彼此偏移时，给定像素是“离焦的”。所有0.5mm直径或更小的子束总是在焦点，并且子束可被汇聚以被眼睛/大脑感知为相干波前的这种概念可被用于产生舒适的三维虚拟或增强现实感知的配置。
换句话说，一组多个窄光束可被用于模拟较大直径的可变焦点光束。如果子束直径保持最大约0.5mm，则可保持相对静态的聚焦水平。为了在需要时产生离焦的感知，可选择子束角轨迹以产生非常类似于较大的离焦束的效果(此离焦处理可不与用于较大光束的高斯模糊处理相同，但是将产生可以与高斯模糊相似的方式解释的多模点扩展函数)。
在优选实施例中，子束不被机械偏转以形成这种聚合聚焦效应，而是眼睛接收许多子束的超集，其包括多个入射角和多个子束与瞳孔相交的位置；为了表示从特定观看距离的给定像素，来自包括适当的入射角和与瞳孔的交叉点(好像它们是从空间中的相同共享原点发射的)的超集的子束的子集被匹配的颜色和强度开启，以表示该聚合波前，而超集中与共享原点不一致的子束不以该颜色和强度开启(但是其中一些可用一些其它颜色和强度水平开启以表示例如不同的像素)。
参考图11A，在离散波前显示配置中，多个入射子束(332)中的每个相对于眼睛58穿过小出射光瞳(330)。参考图11B，可以以匹配的颜色和强度水平来驱动子束组(332)的子集(334)，以被感知为好像它们是相同的较大尺寸光线的一部分(粗体子组(334)可被视为“聚集束”)。在此情况下，子束的子集彼此平行，以表示来自光学无限远的准直聚集束(例如来自远处山的光)。眼睛适应无限远，因此子束的子集被眼睛的角膜和晶状体偏转，以基本上落在视网膜的相同位置上，并且被感知为包括单个聚焦像素。
图11C示出表示如果从上方以冠状平面视图观察眼睛58，从用户眼睛58的视场的右侧进入的汇聚准直束(336)的子束的另一子集。再次地，眼睛被示为适应无限远，因此子束落在视网膜的相同斑点上，并且像素被感知为在焦点上。相反，如果选择作为发散的扇形光线到达眼睛的子束的不同子集，则这些子束将不会落在视网膜的相同位置(并且被感知为聚焦)，直到眼睛移动适应到与该扇形光线的几何原点相匹配的近点。
关于子束与眼睛的解剖学瞳孔的交叉点的图案(例如，出射光瞳的图案)，交叉点可被组织为诸如横截面高效的六边形网格(例如，如图12A所示)或正方形网格或其它二维阵列的构造中。此外，可以产生出射光瞳的三维阵列以及出射光瞳的时变阵列。
离散聚合波前可使用若干配置来产生，诸如被放置与观察光学器件的出射光瞳光学共轭的微显示器或微投影仪阵列、被耦合到直接视场基板(例如眼镜镜片)的微显示器或微投影仪阵列，使得它们将光直接投射到眼睛，而没有附加的中间观察光学器件、连续的空间光调制阵列技术或诸如关于图8K所述的那些的波导技术。
参考图12A，在一个实施例中，可通过捆绑一组小投影仪或显示单元(例如扫描光纤显示器)来产生光场。图12A描绘了六边形网格投影束338，其可例如产生7mm直径的六边形阵列，其中，每个光纤显示器输出子图像(340)。如果此阵列具有被放置在其前面的光学系统(诸如透镜)，使得该阵列与眼睛的入射光瞳光学共轭，则将在眼睛的瞳孔处产生该阵列的图像，如图12B所示，其基本上提供与图11A的实施例相同的光学布置。
该配置的每个小出射光瞳由束338中的专用小显示器(诸如扫描光纤显示器)产生。在光学上，好像整个六边形阵列338正好位于解剖瞳孔45中。此类实施例可被用于将不同的子图像驱动到眼睛的较大解剖入射瞳孔45内的不同小出射光瞳，上述子图像包括具有多个入射角和与眼睛瞳孔相交的点的子束的超集。每个单独的投影仪或显示器可用略微不同的图像驱动，使得可产生拉出以不同的光强度和颜色驱动的不同组的光线的子图像。
在一个变体中，可产生如图12B的实施例中那样的严格图像共轭，其中，图12B的实施例存在阵列338与瞳孔45的直接一对一映射。在另一变体中，可在阵列中的显示器和光学系统(图12B中的透镜(342))之间改变间隔，使得代替接收阵列到眼睛瞳孔的共轭映射，眼睛瞳孔可从在一些其它距离的阵列捕获光线。利用此配置，仍然可以获得光束的角度多样性，通过该角度多样性，可以产生离散的汇聚波前表示，但是关于如何以及在哪个屈光度和强度驱动哪个光线的数学可能变得更复杂(尽管，在另一方面，从观察光学器件角度来看，此配置可被认为更简单)。涉及光场图像捕获的数学可被用于这些计算。
参考图13A，该图描绘出微显示器或微投影仪阵列346可被耦合到诸如眼镜框的镜框(344)的另一光场产生实施例。该配置可被定位在眼睛58的前面。所描绘的配置为非共轭布置，其中，不存在被插入在阵列显示器346(例如，扫描光纤显示器)和眼睛58之间的大规模光学元件。可以想象一副眼镜，并且与这些眼镜耦合的为多个显示器，诸如被定位成与眼镜表面正交并且全部向内成角度使得它们指向用户的瞳孔的扫描光纤引擎。每个显示器可被配置为产生表示子束超集的不同元素的一组光线。
利用此配置，在解剖瞳孔45处，用户可接收如参考图11A所论述的实施例中所接收的类似结果，其中，用户瞳孔处的每个点都接收从不同的显示器贡献的具有多个入射角和交点的光线。图13B示出类似于图13A的非共轭构造，除了图13B的实施例具有反射表面(348)以便于将显示器阵列346远离眼睛58的视场移动，同时还允许通过反射表面(348)观看现实世界144。
因此，呈现了用于产生离散化的聚合波前显示所需的角度多样性的另一配置。为了优化此配置，可将显示器的尺寸减小到最大程度。可被用作显示器的扫描光纤显示器可具有在1mm范围内的基线直径，但是外壳和投影透镜硬件的减小可将此类显示器的直径减小到约0.5mm或更小，这对于用户来说是较少干扰的。在光纤扫描显示器阵列的情况下，另一缩小尺寸的几何细化可通过将准直透镜(其可以例如包括梯度折射率或“GRIN”透镜、常规曲面透镜或衍射透镜)直接耦合到扫描光纤自身的尖端来实现。例如，参考图13D，该图示出了融合到单模光纤的端部的GRIN透镜(354)。诸如压电致动器的致动器350可被耦合到光纤352，并且可被用于扫描光纤尖端。
在另一实施例中，光纤的端部可使用光纤的弯曲抛光处理来成形为半球形，以产生透镜效应。在另一实施例中，标准折射透镜可使用粘合剂来耦合到每个光纤的端部。在另一实施例中，透镜可由透射性聚合材料或玻璃，诸如环氧树脂制成。在另一实施例中，光纤的端部可被熔化以产生用于透镜效应的弯曲表面。
图13C-2示出诸如在图13D所示的显示器配置(例如，具有GRIN透镜的扫描光纤显示器，如图13C-1的近距离视图所示)可通过单个透明基板356耦合在一起的实施例，单个透明基板356优选具有与光纤352的包层紧密匹配的折射率，使得纤维本身对于穿过所描绘的组件观看外部世界来说基本上不可见。应理解，如果精确地进行包层的折射率匹配，则较大的包层/壳体变得透明，并且仅仅优选直径约3微米的小芯将阻碍视野。在一个实施例中，显示器的矩阵358可全部向内成角度，使得它们指向用户的解剖瞳孔(在另一实施例中，它们可以保持彼此平行，但是此配置效率较低)。
参考图13E，描绘了不是使用圆形纤维循环移动，而是将薄的系列的平面波导(358)构造为相对于较大的基板结构356悬臂的另一实施例。在一个变体中，基板356可被移动以产生平面波导相对于基板结构的循环运动(例如，以悬臂构件358的谐振频率)。在另一变体中，悬臂波导部分358可相对于基板用压电或其它致动器致动。图像照明信息可例如从被耦合到悬臂波导部分(358)中的基板结构的右侧(360)射入。在一个实施例中，基板356可以包括波导(例如具有如上所述的集成DOE配置)，其被配置为以沿着其长度全内反射入射光360，然后将其重定向到悬臂波导部分358。当人注视着悬臂波导部分(358)并且通向后面的真实世界144时，平面波导被构造成使任何色散和/或聚焦随其平面形状因素的变化最小化。
在离散的聚合波前显示器的上下文中，使得针对眼睛的出射光瞳中的每个点产生一些角度多样性可能具有价值。换句话说，期望具有多个入射光束以表示所显示图像中的每个像素。参考图13F-1和13F-2，获得进一步的角度和空间多样性的一种方法是使用多芯光纤并在出口点放置透镜，诸如GRIN透镜。这可使得出射光束通过单个节点366偏转。然后可以以扫描光纤类型的布置(诸如通过压电致动器368)来回扫描该节点366。如果视网膜共轭物位于在GRIN透镜的端部处限定的平面处，则可产生在功能上等同于上述一般情况离散化的聚合波前配置的显示器。
参考图13G，不是通过使用透镜，而是通过在光学系统372的正确共轭处扫描多芯系统的面以产生更高的角度和空间多样性的光束，可实现类似的效果。换句话说，不是具有多个单独扫描的光纤显示器(如上所述的图12A的成束示例中所示)，而是可通过使用多芯来产生一些这种必要的角度和空间多样性，以产生可由波导中继的平面。参考图13H，多芯光纤362可被扫描(诸如通过压电致动器368)以产生具有多个入射角和多个交叉点的可通过波导370被中继到眼睛58的一组子束。因此，在一个实施例中，准直光场图像可被射入到波导中，并且没有任何附加的重聚焦元件，该光场显示可被直接平移到人眼。
图13I-13L描绘某些商业上可获得的多芯光纤362配置(来自诸如日本的三菱电缆工业株式会社的供应商)，包括具有矩形横截面的一个变体363，以及具有平的出射面372和成角度的出射面374的变体。
参考图13M，可通过用线性显示器阵列378馈送的波导376(诸如扫描光纤显示器)来产生一些附加的角度多样性。
参考图14A-14F，该图描述了用于产生固定视点光场显示器的另一组配置。返回参考图11A，如果产生与从左边进入的所有小光束相交的二维平面，则每个子束将与该平面具有特定的交点。如果另一平面在左边不同的距离处产生，则所有子束将在不同位置与该平面相交。返回参考图14A，如果允许两个或更多个平面中的每一个上的各种位置选择性地传输或阻挡通过它的光辐射，则此多平面配置可被用于通过独立地调制各个子束来选择性地产生光场。
图14A的基本实施例示出两个空间光调制器，诸如液晶显示器面板(380、382)。在其它实施例中，空间光调制器可为MEMS百叶窗显示器或DLP DMD阵列。空间光调制器可被独立地控制以在高分辨率的基础上阻挡或透射不同的光线。例如，参考图14A，如果第二面板382阻挡或衰减在点“a”384处的光线的透射，则所有所描绘的光线将被阻挡。然而，如果只有第一面板380阻挡或衰减在点“b”386处的光线的透射，则只有下入射光线388将被阻挡/衰减，而其余的光线将向瞳孔45透射。
每个可控面板或平面可以被认为是“空间光调制器”或“fatte”。通过一系列SLM传递的每个透射光束的强度将是各SLM阵列中各像素的透明度的组合的函数。因此，没有任何类型的透镜元件，可使用多个堆叠的SLM来产生具有多个角度和交点(或“光场”)的一组子束。超过两个的附加数量的SLM提供控制哪些光束被选择性地衰减的更多机会。
如上所述，除了使用作为SLM的堆叠液晶显示器之外，来自DLP系统的DMD装置的平面可以被堆叠以用作SLM。在一或多个实施例中，由于它们更有效地传递光的能力(例如，通过在第一状态下的反射镜元件，至眼睛途中的下一元件的反射率可为非常有效；通过处于第二状态的反射镜元件，反射镜角度可被移动诸如12度的角度，以将光引导离开至眼睛的路径)，因此，它们比液晶系统更优选作为SLM。
参考图14B，在一个DMD实施例中，两个DMD(390、390)可在潜望镜类型配置中与一对透镜(394、396)串联使用，以保持将真实世界144的光大量传送到用户的眼睛58。图14C的实施例提供了在光束被路由到眼睛58时，六个不同的DMD(402、404、406、408、410、412)平面机会来调解来自SLM功能，以及两个透镜(398、400)进行光束控制。
图14D示出具有多达四个用于SLM功能的DMD(422、424、426、428)和四个透镜(414、420、416、418)的更复杂的潜望镜型配置。该配置被设计成确保图像在其行进通过眼睛58时不会上下颠倒。图14E示出在显示器可通过“镜子厅”观看并且以基本上类似于图14A所示的模式操作的镜子厅类配置中，光可在中间没有任何透镜的两个不同的DMD器件(430、432)之间反射的实施例(上述设计中的透镜在用于合并来自真实世界的图像信息的此类配置中是有用的)。
图14F示出两个面对的DMD芯片(434、436)的非显示部分可用反射层覆盖以将光传播到DMD芯片的活动显示区域(438、440)和从DMD芯片的活动显示区域(438、440)传播的实施例。在其它实施例中，代替用于SLM功能的DMD，可以使用滑动MEMS百叶窗阵列(诸如可从诸如Qualcomm公司的分公司Pixtronics的厂商那里获得的)来传递或阻挡光。在另一实施例中，移开原来位置以呈现光透射孔的小百叶窗阵列可类似地聚合以用于SLM功能。
许多小子束(即，直径小于约0.5mm)的光场可被射入并通过波导或其它光学系统传播。例如，常规的“鸟池”(birdbath)型光学系统可适合于传输光场输入的光，或者如下所述的自由形式光学设计或任何数量的波导配置。
图15A-15C示出作为另一配置的楔形波导442与多个光源一起可用于产生光场的使用。参考图15A，光可以从两个不同的位置/显示器(444、446)被射入到楔形波导442中，并且将基于被注射到波导中的点，根据在不同角度448处的楔形波导的全内反射特性而出现。
参考图15B，如果创建显示器(例如扫描光纤显示器)的线性阵列450，如图所示被投射到波导的端部，则光束452的大的角度多样性将在一个维度上离开波导，如图15C所示。实际上，如果添加被射入到波导端部的另一线性显示器阵列，但是以稍微不同的角度，则可产生与图15C所示的但是在正交轴扇形展开的出射图案类似地出射的光束的角度多样性。这些光束一起可被用于产生在波导的每个位置离开的二维扇形光线。因此，呈现了用于使用一或多个扫描光纤显示器阵列(或者另选地，使用将满足空间要求的其它显示器，诸如小型化DLP投影配置)来产生角度多样性以形成光场显示器的另一种配置。
另选地，作为这里所示的楔形波导的输入，可使用SLM器件的堆叠。在此实施例中，不是如上所述的SLM输出的直接视图，来自SLM配置的光场输出可被用作对诸如图15C所示的配置的输入。应理解，尽管常规波导最适合于利用小直径准直光束的光场成功地中继准直光，但是由于光束大小/准直，在被射入到波导，例如楔形波导侧中时，可利用常规波导技术来进一步操控此光场系统的输出。
在另一相关实施例中，不是使用多个分离的显示器来投影，而是可使用多芯光纤来生成光场并将其射入到波导中。此外，时变光场可被用作输入，使得不是产生来自光场的小光束的静态分布，而是也可引入在方法上改变该组光束的路径的动态元素。这可以通过使用诸如具有嵌入式DOE的波导(例如诸如，上文参考图8B-8N所述的波导，或如参考图7B所述的液晶层)的产生两个光学路径的组件来实现。
一个路径为较小的全内反射路径，其中，液晶层被置于第一电压状态，以具有与另一基板材料失配的折射率，其引起仅沿另一基板材料的波导的全内反射。另一路径为较大的全内反射光路，其中，液晶层处于第二电压状态以具有与另一基板材料匹配的折射率，使得光通过包括液晶部分和另一基板部分的复合波导全内反射。
类似地，楔形波导可被构造成具有双模全内反射范例。例如，在一个变体中，楔形元件可被构造成使得当液晶部分被激活时，不仅间距改变，而且光束被反射的角度也改变。
扫描光显示器的一个实施例可被简单地表征为在扫描光纤的端部具有透镜的扫描光纤显示器。许多透镜类型是合适的，例如GRIN透镜，其可被用于准直光或将光聚焦到小于光纤模场直径的光斑，从而提供产生与光点大小成反比的数值孔径(或“NA”)增加和规避光学不变量的优点。
较小的光斑大小通常有助于从显示器角度来看更高的分辨率机会，这通常是优选的。在一个实施例中，GRIN透镜相对于光纤可足够长从而它可包括振动元件(例如，而不是通常的使用扫描光纤显示器的远端光纤尖端振动)。
在另一实施例中，可在扫描光纤显示器的出口端使用衍射透镜(例如，被图案化到光纤上)。在另一实施例中，曲面反射镜可定位在光纤的端部上以反射配置操作。已知准直和聚焦光束的基本上任何配置可被用在扫描光纤的端部以产生合适的扫描光显示器。
具有耦合到或包括扫描光纤的端部的透镜的两个显著效用(例如，与可使用非耦合透镜以在光退出光纤之后用于引导光的配置相比)为，(a)退出的光可被准直以避免使用其它外部光学器件这样做的需要，以及(b)可增加NA或者光从单模光纤纤芯的端部出射的锥角，从而减小光纤的相关光斑大小并增加显示器的可用分辨率。
如上所述，诸如GRIN透镜的透镜可被熔合或以其它方式耦合到光纤的端部，或者使用诸如抛光的技术从光纤端部的一部分形成。在一个实施例中，NA为约0.13或0.14的典型光纤可具有约3微米的光斑大小(也被称为给定数值孔径(NA)的光纤的“模场直径”)。考虑到工业标准显示器分辨率范例(例如，典型的微显示器技术，诸如LCD，或有机发光二极管或“OLED”，具有的光斑大小约为5微米)，这提供了相对高分辨率的显示器的可能性。因此，上述扫描光显示器可具有为常规显示器可用最小像素间距的3/5的最小像素间距。此外，在光纤的端部使用透镜，前述配置可产生在1-2微米范围内的光斑大小。
在另一实施例中，不是使用扫描圆柱形光纤，而是可将波导的悬臂部分(诸如使用诸如掩模和蚀刻的微细加工工艺而不是抽出微纤维技术所产生的波导)放置成扫描振荡运动，并且可在出口端配有透镜。
在另一实施例中，可使用覆盖光纤的出口端的漫射器(例如，被配置为散射光并产生更大的NA的漫射器)来产生待扫描的光纤的增加的数值孔径。在一个变体中，漫射器可通过蚀刻光纤的端部以产生散射光的小点的地形来产生。在另一变体中，可使用珠或喷砂技术或直接砂磨/刮擦技术来产生散射地形。在另一变体中，可产生类似于衍射元件的工程化漫射器，以保持具有期望NA的清洁光斑大小。
参考图16A，该图示出光纤阵列454被耦合到耦合器456，耦合器456被配置为将它们保持平行在一起，使得它们的端部可以被研磨和抛光以具有与输入光纤的纵向轴线成临界角(458；例如，大多数玻璃为42度)的输出边缘，使得离开成角度面的光将如同它已经穿过棱镜一样离开，并且将弯曲并变得几乎平行于抛光面的表面。离开束中的光纤460的光束将变得叠加，但由于不同路径长度在纵向上异相(例如，参考图16B，用于不同芯的从成角度的出射面到聚焦透镜的路径长度的差异将是可见的)。
在从成角度面出来之前在束中的X轴类型的分离将成为Z轴分离。该事实有助于从此配置产生多焦点光源。在另一实施例中，不是使用成束/耦合的多个单模光纤，而是可对多芯光纤(诸如可从日本的三菱电缆工业株式会社获得的那些)进行角度抛光。
在一个实施例中，如果45度角被抛光到光纤中，然后被反射元件(例如镜面涂层)覆盖，则出射光可从抛光表面反射并从光纤侧面出射(在一个实施例中，在光纤的侧面中已产生平坦抛光的出射窗口的位置处)，使得当光纤被扫描时，其在功能上在XY扫描的等价物中而不是在XY扫描中被扫描，其中，距离在扫描的过程期间变化。此配置也可被有利地用于改变显示器的焦点。
多芯光纤可被构造成在显示分辨率增强(例如，较高分辨率)中起作用。例如，在一个实施例中，如果单独的像素数据沿着多芯光纤中的19个芯的紧束发送，并且该簇以稀疏螺旋图案扫描，其中螺旋的间距近似等于多芯的直径，则扫描将有效地产生约为进行类似扫描单芯光纤的分辨率的19倍的显示分辨率。实际上，如图16C的具有7个簇464的配置中那样，将光纤布置成相对于彼此更稀疏地设置可能是更实际的。应理解，七个簇用于说明性目的，因为它是有效的平铺/十六进制图案，并且可利用其它图案或数字(例如，19个簇)。该配置可伸缩(向上或向下)3个光纤，每个光纤被容纳在导管462内。
利用如图16C所示的稀疏配置，与芯全部紧密地封装在一起并被扫描的配置相反，多芯的扫描通过其自身的局部区域来扫描每个芯。如果芯彼此过度靠近并且芯的NA不够大，则该芯可通过扫描重叠，非常紧密封装的芯可能导致彼此模糊，从而不会产生可辨别的用于显示的光斑。因此，为了分辨率增加，优选具有稀疏平铺而不是高度密集平铺，尽管可使用两种方法。
在多个芯(例如携带红色、绿色和蓝色光的三件套或三芯)被有意地密集封装在一起，使得每个三件套形成包括红、绿和蓝光特征的重叠光斑三件套的一个实施例中，密集封装的扫描芯可以在显示器上产生模糊的概念可被用作优点。利用此配置，能够具有RGB显示器，而不必将红色、绿色和蓝色组合成单模芯，这是有利的，这是因为用于将多个(诸如三个)小波的光组合为单芯的常规机构遭受光能的明显损失。
参考图16C，在一个实施例中，3个光纤纤芯的每个紧密簇包含中继红光的一个纤芯、中继绿光的一个纤芯以及中继蓝光的一个纤芯，其中，3个光纤纤芯足够靠近，使得它们的位置差异不能由后续中继光学器件分辨，从而形成有效叠加的RGB像素；因此，7个簇的稀疏平铺产生分辨率增强，而簇内的3个纤芯的紧密封装促进无缝色彩混合，而无需使用浮华的RGB光纤组合器(例如，使用波分复用或倏逝波耦合技术的那些RGB光纤组合器)。
参考图16D，在另一更简单的变体中，可仅具有被容纳在导管468中的一个簇464，其例如用于红色/绿色/蓝色(并且在另一实施例中，另一纤芯可被添加用于红外以用于诸如眼睛跟踪)。在另一实施例中，附加芯可被放置在紧密簇中以携带附加波长的光，以构成用于增加色域的多原色显示器。
参考图16E，在另一实施例中，可利用在导管466内的单芯稀疏阵列470(例如，在一个变体中，红色、绿色和蓝色沿着它们中的每一个组合在一起)。此配置是可行的，虽然对于分辨率增加有些不太有效，但是对于红/绿/蓝组合不是最佳的。
多芯光纤也可用于产生光场显示器。实际上，不是使多芯彼此足够分开，使得多芯不在显示器面板处扫描彼此的局部区域，如在上文创建扫描光显示器的语境中所述的，通过光场显示器，在密集封装的多个光纤上四处扫描可能是可取的。这是因为所产生的每个光束代表光场的特定部分。如果光纤具有小的NA，则从成束的光纤尖端出射的光可以相对较窄。
光场配置可以利用这一点并利用在解剖瞳孔处从阵列接收多个略微不同的光束的布置。因此，存在扫描多芯在功能上等同于单个扫描光纤模块的阵列的光学配置，并因此可通过扫描多芯而不是扫描一组单模光纤来产生光场。
在一个实施例中，多芯相控阵列方法可被用于产生大的出射光瞳可变波前配置以便于三维感知。上文描述了具有相位调制器的单个激光器配置。在多芯实施例中，相位延迟可被引入多芯光纤的不同通道中，使得单个激光器的光被射入到多芯配置的所有芯中，使得存在互相干。
在一个实施例中，多芯光纤可与透镜(诸如GRIN透镜)组合。此透镜可为例如折射透镜、衍射透镜或用作透镜的抛光边缘。透镜可为单个光学表面，或者可包括堆叠的多个光学表面。实际上，在具有延伸多芯的直径的单个透镜之外，例如，在来自多芯的芯的光的出射点处具有更小的小透镜阵列可能是可取的。图16F示出多芯光纤470向诸如GRIN透镜的透镜472发射多个光束的实施例。透镜将光束收集到透镜前面的空间中的焦点474。在许多常规配置中，离开多芯光纤的光束可为发散的。例如，GRIN或其它透镜被构造成用于将它们引导到单个点并且对它们进行准直，使得准直结果可被光场显示器扫描。
参考图16G，较小透镜478可被放置在多芯476配置的每个芯的前面，并且这些透镜可被用于准直光线。另外，共享透镜480可被构造成将准直光束聚焦到针对所有三个光斑被对准的衍射限制光斑482。通过如图所示将三个准直窄光束与窄NA组合在一起，可以有效地将所有三个准直窄光束组合成更大的发射角，在例如头戴式光学显示系统中，这转化为更小的光斑大小。
参考图16H，一个实施例的特征包括具有小透镜478阵列的多芯光纤476，其将光馈送到小棱镜阵列484，小棱镜阵列484将由各个芯生成的光束偏转到公共点。另选地，可相对于多芯使小透镜阵列移位，使得光被偏转并聚焦到单个点。此配置可被用于增加NA。
参考图16I，该图示出两步配置，其具有从多芯光纤476捕获光的小透镜478阵列，随后是将光束聚焦到单个点488的共享透镜486。此配置可被用于增加数值孔径。如上所述，较大的NA对应于较小的像素大小和较高的可能的显示分辨率。
参考图16J，诸如上述那些可以用耦合器456保持在一起的斜角光纤阵列，可以用诸如DLP系统的DMD模块的反射装置494扫描。利用耦合到阵列中的多个单光纤454或改为多芯，所叠加的光可以被引导通过一或多个聚焦透镜(490、492)以产生多焦点光束。利用阵列的叠加和成角度，不同光源位于距聚焦透镜不同距离处，这在光束从透镜492出射并且朝向用户的眼睛58的视网膜54引导时产生不同的聚焦水平。例如，最远的光路径/光束可被设置为代表光学无限远焦点位置的准直光束。更近的路径/光束可与更近焦点位置的发散球面波前相关联。
多焦点光束可被传递到扫描镜中，该扫描镜可被构造成产生多焦点光束的光栅扫描(或者例如李萨如曲线扫描图案或螺旋扫描图案)，多焦点光束可穿过一系列聚焦透镜然后到眼睛的角膜和晶状体。从透镜出射的各种光束产生被叠加的不同焦距的不同像素或体素。
在一个实施例中，可在前端处将不同的数据写入每个光调制通道，从而产生用一或多个聚焦元件投影到眼睛的图像。通过改变晶状体的焦距(例如，通过适应)，可使不同的进入像素进入和离开焦点，如图16K和16L所示，其中，晶状体处于不同的Z轴位置。
在另一实施例中，光纤阵列可由压电致动器致动/移动。在另一实施例中，当压电致动器被激活时，相对薄的带状阵列可沿垂直于阵列光纤的布置的轴(例如，在薄带的方向上)以悬臂形式谐振。在一个变体中，可使用单独的压电致动器来在正交长轴上产生振动扫描。在另一实施例中，在光纤带谐振地振动时，单个镜轴扫描可被用于沿着长轴进行慢扫描。
参考图16M，扫描光纤显示器498的阵列496可被有利地成束/平铺以有效地提高分辨率。可以预期，通过此配置，束的每个扫描光纤被构造成写入图像平面500的不同部分，例如如图16N所示。现在参考图16N，图像平面的每个部分通过来自至少一个束的发射来处理。在其它实施例中，可利用在光束离开光纤时，允许光束轻微放大，使得在撞击显示器平面的六边形或其它栅格图案中存在一些重叠的光学配置。这可允许更好的填充因子，同时还在图像平面中保持足够小的光斑大小，同时在该图像平面中保持精细的放大率。
不是在每个被扫描的光纤外壳壳体的端部处利用各个透镜，在一个实施例中，可使用单片小透镜阵列，使得透镜可被布置为尽可能紧密地封装。这允许在图像平面中甚至更小的光斑大小，因为可在光学系统中使用较低的放大率。因此，光纤扫描显示器阵列可被用于增加显示器的分辨率，或者换句话说，它们可被用于增加显示器的视场，因为每个引擎被用于扫描视场的不同部分。
对于光场配置，在图像平面处的发射可更理想地重叠。在一个实施例中，可使用在空间中扫描的多个小直径光纤来产生光场显示器。例如，代替如上所述所有光纤处理图像平面的不同部分，该配置可允许更多重叠(例如，更多的光纤向内成角度等)。或者，在另一实施例中，可改变透镜的光焦度，使得小的光斑大小不与平铺的图像平面配置共轭。此配置可被用于产生光场显示器，以扫描在相同物理空间中被截获的多个较小直径光线。
返回参考图12B，该图论述了产生光场显示器的一种方式，其涉及使得左侧的元件的输出与窄光束准直，然后使投射阵列与右侧的眼睛光瞳共轭。
参考图16O，使用公共基板块502，单个致动器可被用来一致地致动多个光纤506，这类似于上面参考图13-C-1和图13-C-2所论述的配置。实际上可能难以使所有光纤保持相同的共振频率、以期望的彼此相位关系振动或者具有相对于基板块相同的悬臂尺寸。为了解决该挑战，光纤的尖端可机械耦合于格栅(lattice)或片504，诸如非常薄、刚性和重量轻的石墨烯片。利用此耦合，整个阵列可类似地振动并具有相同的相位关系。在另一实施例中，可使用碳纳米管矩阵来耦合光纤，或者可将一片非常薄的平面玻璃(诸如用于产生液晶显示面板的类型)耦合到光纤端部。此外，可使用激光或其它精密切割装置将所有相关联的光纤切割成相同的悬臂长度。
参考图17，在一个实施例中，具有与角膜直接接口并且被构造成便于眼睛聚焦在相当近(诸如在角膜和眼镜镜片之间的典型距离)的显示器上的接触透镜是可取的。在一个变体中，透镜可包括选择性滤光器，而不是将光学透镜作为接触透镜。图17描绘了曲线图508或“陷波滤波器”，由于其设计仅阻挡某些波长带，诸如450nm(峰值蓝色)、530nm(绿色)和650nm，并且通常通过或透射其它波长。在一个实施例中，可聚集多层介电涂层以提供陷波滤波功能。
此滤波配置可以与产生非常窄的红色、绿色和蓝色的带照明的扫描光纤显示器耦合，并且具有陷波滤波的接触透镜将阻挡来自显示器的所有光(被安装在通常由眼镜镜片占据的位置中的诸如小型显示器，例如OLED显示器)。
可在接触透镜过滤层/膜的中间产生窄针孔，使得小孔径(例如，小于约1.5mm直径)允许本来会被阻挡的波长通过。因此，产生针孔透镜配置，其以仅针对红色、绿色和蓝色的针孔方式起作用，以用于从小型显示器捕获图像，而通常来自真实世界的光(其通常是宽带照明)将相对畅通地穿过接触透镜。因此，可组装和操作大焦深虚拟显示器配置。在另一实施例中，从波导出射的准直图像在视网膜处是可见的，这是因为针孔大焦深配置。
产生可以随时间改变其焦深的显示器可能是有用的。例如，在一个实施例中，显示器可被构造成具有不同的显示模式，这些显示模式可由操作者选择(优选地在操作者的命令下在两者之间快速切换)，诸如将非常大的焦深与小的出射光瞳直径组合的第一模式(例如，使得一切都在所有时间处于聚焦)，以及特征包括更大的出射光瞳和更窄的焦深的第二模式。
在操作中，如果用户要玩具有在许多景深处被感知的对象的三维视频游戏，则操作者可选择第一模式。另选地，如果用户使用二维文字处理显示器配置来键入长的文章(例如，在相对长的时间段内)，则切换到第二模式以具有方便的更大的出射光瞳和更清晰的图像是更可取的。
在另一实施例中，具有多焦深显示器配置是可取的，其中，一些子图像以大的焦深呈现，而其它子图像以小的焦深呈现。例如，一种配置可具有呈现有非常小的出射光瞳的红色波长和蓝色波长通道，使得它们总是在聚焦。然后，绿色通道可呈现为具有多个深度平面的大出射光瞳配置(例如，因为人的适应系统倾向于优先瞄准绿色波长以优化聚焦水平)。
因此，为了降低与包括太多元素以用红色、绿色和蓝色的全深度平面表示相关联的成本，绿色波长可被优先化并且用各种不同的波前水平表示。红色和蓝色可被降级为用更多的麦克斯韦方法表示(并且如上文参考麦克斯韦显示器所述，可使用软件来诱导高斯模糊水平)。此显示器将同时呈现多个焦深。
如上所述，存在具有较高密度的光传感器的视网膜的部分。例如，中央凹部分通常填充有每视觉度约120个锥体。过去已经产生了使用眼睛或注视跟踪作为输入的显示系统，并且通过仅基于人在当时注视的位置来产生真实的高分辨率呈现来节省计算资源。然而，较低分辨率呈现被呈现给视网膜的其余部分。在此配置中，高分辨率部分和低分辨率部分的位置可被动态地随动于所跟踪的注视位置，这可以被称为“中央凹显示”。
对此类配置的改进可包括具有可被动态随动于所跟踪的眼睛注视的图案间隔的扫描光纤显示器。例如，利用以螺旋图案操作的典型扫描光纤显示器，如图18所示(图18中的图像的最左部分510示出扫描多芯光纤514的螺旋运动图案；图18中的图像的最右部分512示出用于比较的扫描单光纤516的螺旋运动图案)，恒定的图案间距提供了均匀的显示器分辨率。
在中央凹显示配置中，可利用非均匀的扫描间距，其中，更小/更紧密的间距被动态地随动到所检测到的注视位置(并因此更高的分辨率)。例如，如果检测到用户的注视朝向显示器屏幕的边缘移动，则螺旋可在此位置更密集地聚类，这将产生用于高分辨率部分的圆环式扫描图案，并且显示器的其余部分处于较低分辨率模式。在较低分辨率模式下在显示器的部分中可产生间隙的配置中，可有意地和动态地产生模糊以平滑扫描之间的转变以及从高分辨率到较低分辨率扫描的转变。
术语光场可被用于描述从对象行进到观察者的眼睛的光的体积3D表示。然而，光学透视显示器仅能将光反射到眼睛，而不是不存在光，并且来自真实世界的环境光将添加给表示虚拟对象的任何光。也就是说，如果呈现给眼睛的虚拟对象包含黑色或非常暗的部分，则来自真实世界的环境光可穿过该暗部分并且模糊了该部分旨在是暗的。
然而，可取的是能够在明亮的真实背景下呈现暗的虚拟对象，并且该暗的虚拟对象看起来占据在期望的观看距离处的体积；例如，产生该暗虚拟对象的“暗场”表示是有用的，其中，光的缺失被感知为位于空间中的特定点。至于遮挡元件和至用户眼睛的信息呈现，使得他或她可以感知虚拟对象的暗场方面，即使在良好照明的实际环境中，前述空间光调制器或“SLM”配置的某些方面是恰当的。
如上所述，对于诸如眼睛的光感测系统，用于选择性地感知暗场的一种方法是选择性地衰减来自显示器的此类部分的光。换句话说，暗场不能被具体地投射――是缺乏照明可被感知为暗场。以下论述将呈现用于选择性衰减照明的各种配置。
返回参考SLM配置的论述，选择性地衰减暗场感知的一种方法是阻挡来自一个角度的所有光，同时允许来自其它角度的光被透射。如上所述，这可利用包括诸如液晶(由于其在透射状态时其相对低的透明度而可能不是最佳的)的元件、DLP系统的DMD元件(当处于此模式时，其具有相对高的透射率/反射率)以及被构造成可控地百叶窗式关闭或传递光辐射的MEMS阵列或百叶窗的多个SLM平面来实现。
关于合适的液晶显示器(“LCD”)配置，胆甾型LCD阵列可被用于受控的遮挡/阻挡阵列。与偏振状态作为电压的函数而改变的常规LCD范例相反，利用胆甾型LCD配置，颜料被结合到液晶分子，然后分子响应于所施加的电压而物理倾斜。此配置可被设计成当在透射模式中时比常规LCD实现更大的透明度，并且可不需要偏振膜的堆叠。
在另一实施例中，可利用多个可控中断图案层，以使用波纹效应可控地阻挡所选择的光呈现。例如，在一种配置中，可在足够近的距离处将两个衰减图案阵列(每个衰减图案阵列可包括例如印制或涂绘在诸如玻璃基板的透明平面材料上的细间距正弦波)呈现给用户的眼睛，使得在观看者单独观看两个衰减图案阵列中的任一个时，该视图基本上为透明的，但是如果观看者观看按顺序排列的两个图案，则观看者将看到空间拍频波纹衰减图案，即使当两个衰减图案相对靠近用户的眼睛按顺序放置。
拍频取决于两个衰减平面上的图案的间距，因此在一个实施例中，可使用两个顺序图案来产生用于选择性地阻挡用于暗场感知的某些光透射的衰减图案，其中，每个图案对于用户都将是透明的，但是它们串联在一起以产生被选择为根据AR系统中期望的暗场感知来衰减的空间拍频波纹衰减图案。
在另一实施例中，可使用多视图显示类型的遮蔽器来产生用于暗场效应的受控遮挡范例。例如，一种配置可包括除了小孔或针孔之外完全遮挡的一个针孔层，以及串联的选择性衰减层，其可包括LCD、DLP系统或其它选择性衰减层配置，例如如上所述。在一种情况下，利用被放置在距离角膜的典型眼镜镜片的距离处(距离约30mm)的针孔阵列，并且利用位于针孔阵列的与眼睛相对一侧的选择性衰减面板，可产生在空间中的尖锐机械边缘的感知。
实质上，如果配置将允许某些角度的光通过，并且其它角度的光被阻挡或遮挡，则可产生非常清晰的图案的感知，例如尖锐的边缘投影。在另一相关实施例中，针孔阵列层可用第二动态衰减层代替以提供稍微类似的配置，但具有比静态针孔阵列层(静态针孔层可以被模拟，但不是必须)更多的控制。
在另一相关实施例中，针孔可用圆柱形透镜代替。可实现与针孔阵列层配置中相同的遮挡图案，但是对于圆柱形透镜，阵列不限于非常小的针孔几何形状。为了防止在观看现实世界时由于透镜而引起的眼睛的扭曲显示，可在与最接近眼睛的侧面相对的孔径或透镜阵列的侧面上添加第二透镜阵列，以补偿和提供基本上采用零屈光度望远镜配置的透视照明。
在另一实施例中，不是物理地阻挡光以遮挡和产生暗场感知，光可被弯曲或重定向。或者，如果利用液晶层，则可改变光的偏振。例如，在一个变体中，每个液晶层可用作偏振旋转器，使得如果图案化的偏振材料被结合在面板的一个面上，则可选择性地操控来自真实世界的各个光线的偏振，使得它们捕获图案化偏振器的一部分。存在本领域中已知的具有棋盘图案的偏振器，其中，“棋盘盒”的一半具有垂直偏振，而另一半具有水平偏振。此外，如果使用诸如偏振可被选择性地操控的液晶的材料，则光可通过该材料被选择性地衰减。
如上所述，选择性反射器可提供比LCD更大的透射效率。在一个实施例中，如果放置透镜系统，使得从真实世界进入的光被聚焦在图像平面上，并且如果DMD(例如，DLP技术)被放置在该图像平面处，以在处于“开”状态时将光反射朝向将光传递到眼睛的另一组透镜，并且那些透镜在其焦距处也具有DMD，则可产生针对眼睛聚焦的衰减图案。换句话说，DMD可在零放大望远镜配置(例如图19A所示)中的选择性反射器平面中使用，以可控地遮挡和促进产生暗场感知。
如图19A所示，透镜(518)正在从真实世界144获取光并将其向下聚焦到图像平面520。如果DMD(或其它空间衰减装置)522被放置在透镜的焦距(例如，在图像平面520处)，则透镜518利用来自光学无限远的光并将其聚焦到图像平面520上。然后，空间衰减器522可被用于选择性地阻止要衰减的内容。
图19A示出透射模式中的衰减器DMD，其中，它们穿过被示出为穿过该器件的光束。然后将图像放置在第二透镜524的焦距处。优选地，两个透镜(518、524)具有相同的焦度，使得来自真实世界144的光不被放大。此配置可被用于呈现世界的未放大视图，同时还允许某些像素的选择性阻塞/衰减。
在另一实施例中，如图19B和19C所示，可添加附加的DMD，使得光在传送到眼睛之前从四个DMD(526、528、530、532)中的每一个反射。图19B示出了具有两个透镜的实施例，两个透镜优选地具有彼此以2F的关系放置(第一透镜的焦距与第二透镜的焦距共轭)的相同的焦度(焦距“F”)以具有零屈光度望远镜效应；图19C示出没有透镜的实施例。在图19B和19C的所示实施例中，出于简单说明的目的，四个反射面板(526、528、530、532)的定向角度被示为约45度，但是可能需要特定的相对取向(例如，在一或多个实施例中，典型的DMD以大约12度的角度反射)。
在另一实施例中，面板也可为铁电的，或者可为任何其它种类的反射或选择性衰减器面板或阵列。在类似于图19B和19C中所描绘的实施例的一个实施例中，三个反射器阵列中的一个可为简单的反射镜，使得其它3个为选择性衰减器，因此仍然提供三个独立的平面以可控地遮挡入射照明的部分，以促进暗场感知。通过具有串联的多个动态反射衰减器，可产生相对于真实世界的不同光学距离的掩模。
另选地，返回参考图19C，可产生一或多个DMD被放置在没有任何透镜的反射式潜望镜配置中的配置。此配置可在光场算法中驱动，以选择性地衰减某些光线，而其它光线通过。
在另一实施例中，可在与通常不透明的基板相反的透明基板上产生可控移动器件的DMD或类似的矩阵，以用于诸如虚拟现实的透射配置。
在另一实施例中，两个LCD面板可被用作光场遮挡器。在一个变体中，因为两个LCD面板具有如上所述的衰减能力，因此两个LCD面板可被认为是衰减器。另选地，它们可被认为是具有共享的偏振器叠层的偏振旋转器。合适的LCD可包括诸如蓝相液晶、胆甾液晶、铁电液晶和/或扭曲向列液晶的组分。
一个实施例可包括方向选择性遮挡元件的阵列，诸如特征包括一组百叶窗的MEMS装置，百叶窗可以改变旋转，使得来自特定角度的大部分光通过，但是以宽面被呈现给来自不同角度的光的方式。这有点类似于百叶窗可与典型的人类规模窗口一起使用的方式。MEMS/百叶窗配置可被放置在光学透明基板上，而百叶窗基本上是不透明的。
理想地，此配置将包括足够精细的百叶窗间距，以在逐个像素的基础上选择性地遮挡光。在另一实施例中，可组合两层或更多层的百叶窗或百叶窗叠层以提供进一步的控制。在另一实施例中，百叶窗可为被构造成在可控可变的基础上改变光的偏振状态的偏振器，而不是选择性地阻挡光。
如上所述，用于选择性遮挡的另一实施例可包括MEMS装置中的滑动面板阵列，使得滑动面板可被可控地开启(例如，通过以平面方式从第一位置滑动到第二位置；或通过旋转从第一取向转到第二取向；或例如，组合的旋转重新定向和位移)以使光透射通过小镜架或孔，并且可控地闭合以遮挡镜架或孔并防止透射。阵列可被构造成开启或遮挡各种镜架或孔，使得待衰减的光线最大程度地衰减，并且待透射的光线仅被最小程度地衰减。
在固定数量的滑动面板可占据遮挡第一孔并开启第二孔的第一位置或遮挡第二孔并开启第一孔的第二位置的实施例中，可总是存在相同量的总透射光(因为使用此配置，50％的孔被遮挡，而另外50％的孔被开启)，但是百叶窗或门的局部位置变化可使用各种滑动面板的动态定位产生用于暗场感知的目标波纹或其它效应。在一个实施例中，滑动面板可包括滑动偏振器。如果滑动面板与其它偏振元件以堆叠配置放置，则面板可为静态的或动态的，并且可被用于选择性地衰减。
参考图19D，该图示出诸如通过DMD类型的反射器阵列(534)提供选择性反射的机会的另一配置，使得两个波导(536、538)以及一对聚焦元件(540、542)和反射器(534；诸如DMD)的堆叠组可被用于通过入口反射器(544)捕获入射光的一部分。反射光可沿着第一波导(536)的长度全内反射到聚焦元件(540)中，以使光聚焦在诸如DMD阵列的反射器(534)上。DMD可选择性地衰减和反射回一部分光通过聚焦透镜(542；被构造成便于将光注回到第二波导中的透镜)，并且进入第二波导(538)中，以便全内反射到出射反射器(546)，该出射反射器被构造成将光从波导朝向眼睛58出射。
此配置可具有相对薄的形状因子，并且可被设计为允许来自真实世界144的光被选择性地衰减。由于波导使用准直光最干净地工作，所以此配置可很好地适用于焦距在光学无限远的范围内的虚拟现实配置。对于更近的焦距，光场显示器可被用作由上述选择性衰减/暗场配置所产生的轮廓顶部的层，以向用户的眼睛提供光来自另一焦距的其它提示。在另一实施例中，遮挡掩模可能失焦，甚至不希望如此。在另一实施例中，可使用掩蔽层顶部上的光场，使得用户不检测暗场可能处于错误的焦距。
参考图19E，示出的实施例特征在于具有两个波导(552、554)，每个波导具有两个成角度的反射器(558、544和556、546)，出于说明性目的以大约45度示出。应理解，在实际配置中，角度可根据反射表面、波导的反射/折射特性等而不同。成角度反射器将从真实世界进入的光的一部分引导到第一波导的每一侧(或者如果顶层不是单片的，则沿着两个单独的波导向下引导)，使得其撞击每一端处的反射器(548、550)，诸如可被用于选择性衰减的DMD。反射光可被反射回到第二波导(或者如果底层不是单片的话则被射入到两个单独的波导中)，并且返回朝向两个成角度的反射器(再次地，它们不必是如图所示的45度)，以朝向眼睛射出58。
聚焦透镜也可被放置在每个端部处的反射器和波导之间。在另一个实施例中，每端的反射器(548、550)可包括标准反射镜(诸如，铝化反射镜)。此外，反射器可为波长选择反射器，诸如二向色反射镜或膜干涉滤光器。此外，反射器可为被构造成反射入射光的衍射元件。
图19F示出使用棱锥型配置的四个反射表面来引导光通过两个波导(560、562)的配置，其中，来自真实世界的入射光可被分割并反射到四个差分轴。棱锥形反射器(564)可具有多于四个面，并且可驻留在基板棱镜内，如图19E的配置的反射器那样。图19F的配置为图19E的配置的扩展。
参考图19G，可利用单个波导(566)通过一或多个反射表面(574、576、578、580、582)捕获来自世界144的光，将其中继到选择性衰减器(568；诸如DMD阵列)，并将其重新耦合回同一波导，使得其传播572并遇到一或多个其它反射表面(584、586、588、590、592)，这导致其在朝向用户的眼睛58的路径上至少部分地离开(594)波导。优选地，波导包括选择性反射器，使得一组(574、576、578、580、582)可被接通以捕获入射光并将其引导到选择性衰减器，而分开的另一组(584、586、588、590、592)可被接通以朝向眼睛58出射从选择性衰减器返回的光。
为了简单起见，选择性衰减器被示为基本上垂直于波导取向；在其它实施例中，可使用各种光学部件，诸如折射或反射光学器件，以相对于波导的不同且更紧凑的取向来使选择性衰减器平面化。
参考图19H，该图示出参考图19D所述的配置的变体。该配置在某种程度上类似于上面参照图5B所论述的，其中，反射器的可切换阵列可被嵌入在一对波导(602、604)的每一个内。参考图19H，控制器可被配置为依次开启和闭合反射器(598、600)，使得多个反射器在帧顺序的基础上操作。然后，DMD或其它选择性衰减器(594)也可与被开启和闭合的不同反射镜同步地按顺序驱动。
参考图19I，在侧视图或截面图中示出了与上述类似(例如，参考图15A-15C)的一对楔形波导，以说明每个楔形波导(610、612)的两个长表面不是共面的。可在楔形波导的一或多个表面上使用“转向膜”(606、608；诸如可从3M公司以商品名“TRAF”获得，其实质上包括微棱镜阵列)，以使得光线将被全内反射捕获的角度使入射光线转向，或者将离开波导的向外光线重定向到眼睛或其它目标。入射光线被沿第一楔形引导并朝向选择性衰减器614，诸如DMD、LCD(诸如铁电LCD)或用作掩模的LCD叠层。
在选择性衰减器(614)之后，反射光被耦合回第二楔形波导，然后第二楔形波导通过沿着楔形的全内反射来中继光。楔形波导的特性有意地使得光的每次反射引起角度变化。角度已经变化到足以逃脱全内反射的临界角的点成为楔形波导的出射点。通常，出口将处于倾斜角。因此，另一层转向膜可被用于将出射光“转向”诸如眼睛58的目标对象。
参考图19J，几个弓形小透镜阵列(616、620、622)相对于眼睛定位并且被构造成使得空间衰减器阵列618被定位在焦点/图像平面处，使得其可以与眼睛58对焦。第一阵列616和第二阵列620被构造成使得在聚合中，从真实世界传递到眼睛的光基本上通过零屈光度望远镜。图19J的实施例示出可被用于改进的光学补偿的小透镜的第三阵列622，但是一般情况不需要此第三层。如上所述，使用具有观察光学器件的直径的望远镜头可能产生不期望的大形状因子(有点类似于在眼睛前面具有一束小双眼望远镜集合)。
优化整体几何形状的一种方式是通过将它们分成更小的小透镜来减小透镜的直径，如图19J所示(例如，透镜阵列而不是单个大透镜)。小透镜阵列(616、620、622)被示为围绕眼睛58径向或弧形地包围，以确保进入瞳孔的光束通过适当的小透镜对准(否则系统可能遭受光学问题，诸如色散、混叠和/或缺乏焦点)。因此，所有小透镜被取向为“内束”(toedin)并且指向眼睛58的瞳孔，并且该系统便于避免光线在到瞳孔的路线上通过非预期的透镜组传播的情况。
参考图19K-19N，可使用各种软件方法来帮助在虚拟或增强现实置换场景中呈现暗场。参考图19K，该图描绘了增强现实的典型挑战性场景632，其具有纹理化地毯624和非均匀背景建筑特征626，并且两者都是浅色的。所描绘的黑盒628指示显示器的区域，其中，一或多个增强现实特征被呈现给用户以获得三维感知，并且在黑盒中呈现机器人生物630，例如，其为用户参与的增强现实游戏的一部分。在所描述的示例中，机器人角色630是深色的，这使得在三维感知中具有挑战性的呈现，特别是对于该示例场景所选择的背景。
如上面简要论述的，呈现暗场增强现实对象的主要挑战之一在于系统通常不能添加或绘制“黑暗”――通常显示器被构造成添加光。因此，参考图19L，如果没有任何专门的软件处理来增强暗场感知，在增强现实视图中呈现机器人角色会产生这样的场面，其中机器人角色在呈现中将基本上是全黑的部分是不可见的，并且将具有一些照明的机器人角色的部分(诸如机器人角色的轻便抛绳枪的浅色颜料的套子)仅略微可见(634)。这些部分可能看起来几乎像对本来正常背景图像的轻灰度破坏。
参考图19M，使用基于软件的全局衰减处理(类似于数字地戴一副太阳镜)提供了对机器人角色的增强可见性，因为近黑色机器人角色的亮度相对于空间的其余部分有效地增加，该其余部分现在看起来更黑暗640。图19M还示出了数字添加的光晕636，其可被添加以增强现在更多可见的机器人角色形状638并使其与背景区分。通过光晕处理，通过与白光晕或在机器人角色周围呈现的“光环”形成对比，甚至将被呈现为平黑的机器人角色的部分变得可见。
优选地，光晕可以以在三维空间中在机器人角色的焦距之后的感知焦距呈现给用户。在单个面板遮挡技术(诸如上文所述的那些技术)被用于呈现暗场的配置中，光晕可呈现为具有强度梯度以匹配可伴随遮挡的暗晕，从而最小化暗场效应的可见性。此外，光晕可呈现为对所呈现的光晕照明背后的背景的模糊，以进一步区分效果。通过至少部分地匹配相对浅色的背景的颜色和/或亮度，可产生更微妙的光环或光晕效应。
参考图19N，机器人角色的一些或所有黑色色调可被改变为暗的、冷的蓝色，以提供相对于背景的进一步区分效果以及机器人642的相对良好的可视化。
楔形波导已在上面诸如参考图15A-15D和图19I进行了描述。楔形波导的关键方面在于，每当光线从非共面表面之一反射时，产生角度的变化，这最终致使当光线接近表面之一的角度大于临界角时，以全内反射出射。转向膜可被用于重新定向出射光，使得出射光束以更多或更少垂直于出射表面的轨迹离开，这取决于发挥作用的几何和人体工程学问题。
利用将图像信息射入到楔形波导中的显示器系列或阵列，例如如图15C所示，楔形波导可被构造成产生从楔形出射的角偏离光线的精细间距阵列。有点类似地，上面已经论述了光场显示器或产生可变波前的波导，两者都可产生多个子束或光束以表示空间中的单个像素，使得无论眼睛位于何处，眼睛都被多个不同的小光束或光束击中，上述小光束或光束对于在显示面板前面的特定眼睛位置是唯一的。
如上面在光场显示器的语境中进一步论述的，可在给定光瞳内产生多个观看区，并且每个观看区可被用于不同的焦距，其中，聚合产生与形成可变波前的波导的感知类似的感知，或类似于所观察的对象的实际光学物理学现实是真实的感知。因此，可利用具有多个显示器的楔形波导来产生光场。在类似于图15C的实施例的具有射入图像信息的显示器的线性阵列的实施例中，为每个像素产生出射扇形光线。该概念可在多个线性阵列被堆叠以将图像信息全部射入到楔形波导中的实施例中扩展(在一个变体中，一个阵列可相对于楔形波导面以一个角度射入，而第二阵列可以以相对于楔形波导面的第二角度射入)，在此情况下，出射光束在两个轴线上从楔形物扇出。
因此，此配置可被用于产生在多个不同角度出射的多个光束，并且因为在此配置下，每个光束使用单独的显示器来驱动，每个光束可被单独地驱动。在另一实施例中，一或多个阵列或显示器可被构造成通过楔形波导的不同于图15C所示的侧面或面将图像信息射入到楔形波导中，诸如通过使用衍射光学器件将所射入的图像信息弯曲到相对于楔形波导的全内反射构造中。
也可与此楔形波导实施例一起使用各种反射器或反射表面，以输出耦合并管理来自楔形波导的光。在一个实施例中，可使用至楔形波导的入口孔或通过不同于图15C所示的不同面射入图像信息，以促进不同显示器和阵列的交错(几何的和/或时间上的)，使得Z轴差量也可被开发为用于将三维信息射入到楔形波导中的装置。对于大于三维阵列的配置，各种显示器可被构造成在多个堆叠中的多个边缘处以交错的方式进入楔形波导，以获得更高的维度配置。
参考图20A，该图示出类似于图8H中所描绘的配置，其中，波导646具有夹在中间的衍射光学元件(648；或“D0E”，如上所述)(或者如上所述，衍射光学元件可驻留在所描绘的波导的前面或背面上)。光线可从投影仪或显示器644进入波导646。一旦在波导646中，每次光线与DOE648相交时，光线的一部分从波导646射出。
如上所述，DOE可被设计成使得跨波导646的长度的出射照度在某种程度上是均匀的。例如，第一此DOE交叉点可被构造成射出约10％的光。然后，第二DOE交叉点可被构造成射出剩余光的约10％，使得81％被传递，等等。在另一实施例中，DOE可被设计成包括沿其长度可变的衍射效率，诸如线性下降的衍射效率，以跨波导长度映射出更均匀的出射照度。
为了进一步分布到达端部的剩余光(并且在一个实施例中，为了允许选择从视野到世界透明度的视角将是有利的相对低的衍射效率的DOE)，在一个或两个端部可包括反射元件(650)。此外，参考图20B的实施例，可通过包括跨如图所示的波导长度的细长反射器652(包括例如波长选择性的薄膜二向色涂层)来实现附加分布和保存；优选地，此反射器将阻挡意外地向上反射的光(返回到真实世界144，以使其不被观看者利用的方式退出)。在一些实施例中，此细长反射器可有助于用户的“重影”效果感知。
在一个实施例中，可通过具有双波导(646、654)循环反射配置(例诸如图20C中所示的配置)来消除该重影效应，该循环反射配置被设计为保持光移动直到它已经优选以跨波导组件的长度基本上相等分布的方式朝向眼睛58射出。参考图20C，光可用投影仪或显示器644射入，并且当其行进跨过第一波导654的DOE 656时，其向眼睛58射出优选基本上均匀的光图案。保留在第一波导中的光由第一反射器组件660反射到第二波导646中。在一个实施例中，第二波导646可以被构造成不具有DOE，使得其仅使用第二反射器组件将剩余的光投射或再循环回到第一波导。
在另一实施例中(如图20C所示)，第二波导646也可具有被构造成均匀地射出行进光的一部分以提供用于三维感知的第二焦平面的DOE648。与图20A和20B的配置不同，图20C的配置被设计为用于光沿波导的一个方向行进，这避免了与使光通过具有DOE的波导向后传播有关的前述重影问题。参考图20D，不是在用于再循环光的波导的端部处包括反射镜或箱式反射器组件660，而是可使用较小回射器662的阵列或回射材料。
参考图20E，该图示出的实施例为，利用图20C的实施例的一些光再循环配置，以在光已经通过显示器或投影仪644射入之后，通过具有夹层DOE 648的波导646向下“蛇行”，使得光在到达底部之前来回地多次穿过波导646，在该点处，其可以被再循环回到顶部水平以用于进一步再循环。此配置不仅再循环光，并有助于使用相对较低衍射效率的DOE元件以用于朝向眼睛58射出光，而且还分布光，以提供类似于参考图8K所描述的大的出射光瞳配置。
参考图20F，该图示出类似于图5A的说明性配置，其中，入射光沿着常规棱镜或分束器基板104没有全内反射地(例如，没有将棱镜视为波导)射入到反射器102，因为输入投影106(扫描的或无扫描的)均被保持在棱镜的边界内。这意味着此棱镜的几何形状成为显著的约束。在另一实施例中，可使用波导代替图20F的简单棱镜，这有助于使用全内反射以提供更多的几何灵活性。
上述的其它配置被构造成受益于包含用于进行类似操控和光的波导。例如，返回参考图7A，该图示出的一般概念在于在也被设计为便于观看来自真实世界的光的配置中，被射入到波导中的准直图像可在被传送到眼睛之前被重新聚焦。代替图7A所示的折射透镜，衍射光学元件可被用作可变焦点元件。
返回参考图7B，该图示出在具有彼此堆叠的多个层的情况下的另一波导配置，其中，在更小的路径(通过波导全内反射)和更大的路径(通过包括原始波导和液晶隔离区的混合波导的全内反射，其中液晶被切换到折射率在主波导和辅助波导之间基本上匹配的模式)之间进行可控制的访问切换。这允许控制器能够在逐帧的基础上调整所采用的路径。高速开关电活性材料(诸如铌酸锂)利用此配置以大速率(例如，以GHz的量级)促进路径变化，这允许在逐像素的基础上改变光的路径。
返回参考图8A，该图示出与弱透镜配对的波导堆叠以展示透镜和波导元件可为静态的多焦点配置。每对波导和透镜可在功能上被具有嵌入式DOE元件的波导(其可以是静态的，更接近类似于图8A的配置，或动态的)来代替，诸如参考图8I所描述的。
参考图20G，如果使用透明棱镜或块104(例如，不是波导)来将反射镜或反射器102保持在潜望镜类型的配置中以接收来自其他部件(例如透镜662和投影仪或显示器644)的光，视场受反射器102的大小限制。
应理解，反射器越大，视场越宽。因此，为了适应具有此配置的更大的视场，可能需要更厚的基板来保持更大的反射器。否则，可利用聚合的多个反射器的功能来增加功能视场，如图8O、图8P和图8Q所示。参考图20H，可利用平面波导666的堆叠664，每个平面波导666由显示器或投影仪(644；或在另一实施例中，单个显示器的复用)馈送并且具有出射反射器668，以朝向较大的单反射器的功能聚合。出射反射器在一些情况下可以处于相同的角度，或者在其它情况下可处于不相同的角度，这取决于眼睛58相对于组件的定位。
图20I示出相关配置，其中，每个平面波导(670、672、674、676、678)中的反射器(680、682、684、686、688)已经彼此偏移。每个波导接收来自投影仪或显示器644的光，该投影仪或显示器644可通过透镜690发送，以最终通过每个平面波导(670、672、674、676、678)中的反射器(680、682、684、686、688)将出射光传输到眼睛58的瞳孔45。如果可产生期望在场景中看到的所有角度的总范围(例如，优选地在关键视场中没有盲点)，则可实现有用的视场。
如上所述，眼睛58至少部分地基于光线进入眼睛的角度来起作用。这可以有利地模拟。光线不需要穿过瞳孔处的空间中的完全相同的点――而是光线仅需要穿过瞳孔并且被视网膜感测到。图20K示出变体692，其中光学组件的阴影部分可被用作补偿透镜，以使来自真实世界144的光功能性地通过组件，就像它已经通过零屈光度望远镜一样的。
参考图20J，上述光线中的每个也可为通过全内反射被反射通过相关波导(670、672)的相对宽光束。反射器(680、682)小面大小将确定出射光束的宽度。
参考图20L，该图示出反射器的进一步离散化，其中，多个小直角反射器可通过波导或其堆叠696在聚合体中形成大致抛物线形反射表面694。从显示器(例如，644；或单个多路复用显示器)，诸如通过透镜690进入的光全部被引导朝向眼睛58的瞳孔45处的相同的共享焦点。
返回参考图13M，显示器的线性阵列378将光射入到共享波导376中。在另一实施例中，单个显示器可被多路复用到一系列入口透镜以提供与图13M的实施例类似的功能，其中，入口透镜产生穿过波导的平行光线路径。
在依赖全内反射进行光传播的常规波导方法中，视场受到限制，因为仅有一定角度范围的光线通过波导传播(其它光可能逸出)。在一个实施例中，如果将红/绿/蓝(或“RGB”)激光线反射器放置在类似于薄膜干涉滤光器的平面表面的一端或两端，则可在功能上增加光传播的角度范围，其中，薄膜干涉滤光器仅对于某些波长而言是高反射的，而对于其它波长是弱反射的。可提供窗(没有涂层)以允许光在预定位置射出。此外，可选择涂层以具有方向选择性(有点类似于仅对于某些入射角具有高反射性的反射元件)。此涂层可与波导的较大平面/侧面最相关。
返回参考图13E，该图论述了扫描光纤显示器的变体，其可被认为是扫描薄波导配置，使得多个非常薄的平面波导358可振荡或振动，使得如果各种射入光束通过全内反射射入，则该配置在功能上将提供从振动元件358的边缘逸出的光束的线性阵列。所描绘的配置在主介质或基板356中具有约五个向外伸出的透明的平面波导部分358，但是其优选具有不同的折射率，使得光将以全内反射保持在每个基板约束的较小波导内，并最终馈送至(在所描绘的实施例中，在每个路径中存在90度转向，在该点处可使用平面、弯曲或其它反射器将光向外传输)向外伸出的平面波导部分358。
向外伸出的平面波导部分358可单独振动，或者随着基板356的振荡运动一起振动。此扫描运动可提供水平扫描，并且对于垂直扫描，可利用组件的输入360方面(例如，诸如在垂直轴上扫描的一或多个扫描光纤显示器)。因此，呈现了扫描光纤显示器的变化。
返回参考图13H，波导370可被用于产生光场。通过利用从感知角度来说可能与光学无限相关联的准直光束最佳工作的波导，所有保持在焦点中的光束可能引起感知不适(例如，眼睛将不会在屈光模糊中产生作为适应的函数的可辨别的差异；换句话说，诸如如0.5mm或更小的窄直径准直子束可打开眼睛的适应/聚散系统的环路，从而引起不适)。
在一个实施例中，可以馈入具有多个出射锥形子束的单个光束，但是如果进入光束的引入向量改变(例如，相对于波导横向移动投影仪/显示器的光束射入位置)，则可控制当光束指向眼睛时从波导射出的光束的位置。因此，可使用波导通过产生一束窄直径准直光束来产生光场，并且此配置不依赖于与眼睛处的期望感知相关联的光波前的真实变化。
如果一组角度及横向不同的小光束被射入到波导中(例如，通过使用多芯光纤并且分别驱动每个芯；另一种配置可利用来自不同角度的多个光纤扫描器；另一种配置可利用在其顶部具有小透镜阵列的高分辨率面板显示器)，多个出射子光束可在不同的出射角度和出射位置处产生。由于波导可扰乱光场，所以优选地预先确定解码。
参考图20M和20N，该图示出波导646组件696，其包括在垂直或水平轴上堆叠的波导部件。波导组件696不是具有一个单片平面波导，而是将多个较小波导646堆叠成彼此直接相邻，使得引入到一个波导中的光除了(例如，沿着Z轴传播，在+X，-X全内反射)通过此波导通过全内反射向下传播之外，也在垂直轴(+y，-Y)上全内反射，使得它不会溢出到其它区域。
换句话说，如果在Z轴传播期间全内反射是从左到右和返回，则此配置将被设置为也完全内反射击中顶部或底部的任何光。每个层可被单独驱动而不受来自其它层的干扰。每个波导可具有被嵌入并构造成沿着波导的长度以预定的焦距配置(如图20M所示的范围从0.5米到光学无限远)射出具有预定分布的光的DOE 648。
在另一变体中，可产生具有嵌入式DOE的非常密集的波导堆叠，使得其横跨眼睛的解剖瞳孔的大小(例如，使得可能需要复合波导的多个层698来穿过出射光瞳，如图20N所示)。利用此配置，可馈送用于一个波长的准直图像，然后馈送位于下一毫米的部分，从而产生代表来自例如15米远的焦距的对象的发散波前，等等。这里的概念在于出射光瞳来自多个不同的波导，作为DOE和通过波导和跨越DOE的全内反射的结果。因此，此配置不是产生一个统一的出射光瞳，而是形成多个条纹，这些条纹在聚合时有助于用眼睛/大脑感知不同的焦深。
此概念可被扩展到包括具有可切换/可控的嵌入式DOE(例如，可切换到不同焦距)的波导的配置，诸如关于图8B-8N所描述的那些，其允许在跨每个波导的轴中更高效地捕捉光。多个显示器可被耦合到每个层中，并且具有DOE的每个波导将沿着其自身长度发射光线。在另一实施例中，不是依赖于全内反射，而是可以使用激光线反射器来增加角范围。在复合波导的层之间，可使用完全反射的金属化涂层，诸如铝，以确保全反射，或另选可使用二向色型或窄带反射器。
参考图20O，整个复合波导组件696可朝向眼睛58凹入地弯曲，使得每个单独的波导朝向瞳孔。换句话说，该配置可以被设计成更高效地将光引导向瞳孔可能存在的位置。此配置也可用于增加视场。
如上面关于图8L、8M和8N所论述的，可变衍射配置允许在一个轴上扫描，这在某种程度类似于扫描光显示器。图21A示出具有嵌入式(例如，夹在其中)的带有线性光栅项的DOE 700的波导698，线性光栅项可被改变以改变从波导出射光702的出射角，如图所示。可使用高频开关DOE材料，诸如铌酸锂。在一个实施例中，此扫描配置可被用作用于在一个轴上扫描光束的唯一机构；在另一实施例中，扫描配置可与其它扫描轴组合，并且可用于产生更大的视场。例如，如果正常视场为40度，并且通过改变线性衍射间距可以转向越过另一个40度，则系统的有效可用视场为80度。
参考图21B，在常规配置中，波导(708)可垂直于面板显示器704，诸如LCD或OLED面板放置，使得光束可从波导708通过透镜706射入，并进入面板704，在扫描配置中提供用于电视或其它目的的可视显示。因此，与参考图21A所述的配置相反，波导可在此配置中被用作扫描图像源，其中，单个光束可通过扫描光纤或其它元件来操控以扫过不同的角位置，并且此外，可使用高频衍射光学元件扫描另一方向。
在另一实施例中，单轴扫描光纤显示器(例如，当扫描光纤具有相对高的频率时，扫描快速行扫描)可被用于将快速行扫描射入到波导中，然后相对慢的DOE切换(例如，100Hz的范围)可被用于扫描另一轴中的行以形成图像。
在另一实施例中，具有固定间距的光栅的DOE可与具有动态折射率的相邻电活性材料层(诸如液晶)组合，使得光可以以不同的角度被重定向到光栅中。这是上面参考图7B所述的基本多路径配置的应用，其中，包括电活性材料例如液晶或铌酸锂的电活性层可改变其折射率，使得其改变光线从波导射出的角度。可将线性衍射光栅添加到图7B的配置(在一个实施例中，被夹在包括较大下波导的玻璃或其它材料内)，使得衍射光栅可保持固定间距，但是使得光在它撞击光栅之前被偏置。
图21C示出特征包括两个楔形波导元件(710、712)的另一实施例，其中，它们中的一或多个可为电活性的，使得相关的折射率可被改变。这些元件可被构造成使得当楔具有匹配的折射率时，光全内反射通过该对(其在聚合时类似于具有两个楔匹配的平面波导来工作)，而楔形界面没有效果。如果折射率中的一个被改变以产生失配，则在楔形界面714处引起束偏转，并且从该表面引起全内反射回到相关联的楔中。然后，具有线性光栅的可控DOE 716可沿着楔的长边缘之一耦合，以允许光以期望的出射角射出并到达眼睛。
在另一实施例中，诸如布拉格光栅的DOE可被构造成诸如通过光栅的机械拉伸(例如，如果光栅驻留在弹性材料上或包括弹性材料)、在两个不同平面上的两个光栅之间(光栅可为相同或不同的间距)的波纹拍频图案(moire beat pattern)、光栅的Z轴运动(例如，更靠近眼睛或更远离眼睛)来相对时间改变间距，其在功能上类似于拉伸光栅或者电活性光栅可被接通或关断的效果，诸如使用聚合物分散液晶方法产生的，其中，液晶微滴可被可控地激活以改变折射率从而变成活动光栅。这与关闭电压并允许切换回与主介质的折射率匹配的折射率形成对比。
在另一实施例中，时变光栅可被用于通过产生平铺显示配置来用于视场扩展。此外，可利用时变光栅来解决色差(在相同焦点处聚焦所有颜色/波长的失败)。衍射光栅的一个特性在于它们将作为光束入射角和波长的函数来偏转光束(例如，DOE将不同的波长偏转不同的角度：有点类似于简单棱镜将光束分离为其波长分量的方式)。
除视场扩展之外，可使用时变光栅控制来补偿色差。因此，例如，在如上所述的具有嵌入式DOE类型配置的波导中，DOE可被构造成将红色波长驱动到与绿色和蓝色略微不同的位置，以解决不期望的色差。通过具有开启和闭合的元件的堆叠(例如，使红色、绿色和蓝色类似地衍射出射)，DOE可随时间变化。
在另一实施例中，时变光栅可被用于出射光瞳扩展。例如，参考图21D，具有嵌入式DOE 720的波导718可以相对于目标瞳孔定位，使得在基线模式中出射的光束实际上没有进入目标瞳孔45――使得相关像素被用户错过，这是可能的。可利用时变配置来通过横向移动出射图案(以虚线/点划线示出)来填充出射出口图案中的间隙，以有效地扫描5个出射光束中的每一个，以更好地确保它们中的一个击中眼睛的瞳孔。换句话说，显示系统的功能出射光瞳被扩展。
在另一实施例中，时变光栅可与用于一轴、两轴或三轴光扫描的波导一起使用。以类似于参考图21A所述的方式，可使用在垂直轴上扫描光束的光栅中的项，以及在水平轴上扫描的光栅。此外，如果结合了光栅的径向元件，如上面关于图8B-8N所论述的，则可在Z轴上(例如，朝向/远离眼睛)进行光束扫描，所有这些都可为时间-顺序扫描。
尽管本文中关于DOE的专门处理和使用的论述通常与波导结合，但是DOE的这些应用中的许多应用是有用的，无论DOE是否被嵌入波导中。例如，波导的输出可使用DOE单独操控。或者，可在光束被射入波导之前通过DOE来操控光束。此外，一或多个DOE，例如时变DOE可被用作用于自由形式光学配置的输入，如下面所论述的。
如上面参考图8B-8N所论述的，DOE的元件可具有圆对称项，其可与线性项相加以产生受控出射图案(例如，如上所述，输出耦合光的相同DOE也可聚焦它)。在另一实施例中，DOE衍射光栅的圆形项可被改变，使得表示相关像素的光束的焦点被调制。另外，一种配置可具有第二/单独的圆形DOE，从而避免在DOE中具有线性项的需要。
参考图21E，可具有输出准直光的没有嵌入式DOE元件的波导722，以及具有可在多个配置之间切换的圆对称DOE的第二波导――在一个实施例中，通过具有可被开启/闭合的此类DOE元件的堆叠724(图21F示出另一种配置，其中，DOE元件的功能堆叠728可包括聚合物分散的液晶元件726的堆叠，如上所述，其中，在没有施加电压的情况下，主介质折射率匹配液晶分散分子的折射率；在另一实施例中，可分散铌酸锂分子以具有更快的响应时间；通过施加电压，诸如通过在主介质的任一侧上的透明氧化铟锡层，分散的分子改变折射率，并且在功能上在主介质内形成衍射图案)。
在另一实施例中，圆形DOE可被层叠在波导的前面以用于聚焦调制。参考图21G，波导722输出准直光，除非另有修改，否则其将被感知为与光学无限远的焦深相关联。来自波导的准直光可被输入到衍射光学元件730中，衍射光学元件730可被用于动态聚焦调制(例如，可开启和断开不同的圆形DOE图案以向出射光赋予各种不同的聚焦)。在相关实施例中，静态DOE可被用于将从波导出射的准直光聚焦到可能对特定用户应用有用的单个焦深。
在另一实施例中，多个堆叠的圆形DOE可被用于附加屈光度和许多聚焦水平――来自相对少量的可切换DOE层。换句话说，可相对于彼此以各种组合开启三个不同的DOE层；可添加所开启的DOE的光屈光度。在需要高达4屈光度的范围的一个实施例中，例如，第一DOE可被构造成提供期望的总屈光度范围的一半(在该示例中，为焦点变化的2屈光度)；第二DOE可被构造成引起焦点的1屈光度变化；则第三DOE可被构造成引起焦点的1/2屈光度变化。这三个DOE可被混合并匹配以提供1/2、1、1.5、2、2.5、3和3.5屈光度的焦点变化。因此，将不需要超大数量的DOE以获得相对宽范围的控制。
在一个实施例中，可切换DOE元件的矩阵可被用于扫描、视场扩展和/或出射光瞳扩展。通常在DOE的上述论述中，已假定典型的DOE为全开或全关。在一个变体中，DOE 732可被细分为多个功能子部分(诸如在图21H中标记为元件734的子部分)，每个功能子部分优选地可被唯一控制为开或关(例如，参考图21H，每个子部分可通过其自身的返回到中央控制器的一组氧化铟锡或其它控制引线材料、电压施加引线736来操作)。给定对DOE范例的这种级别的控制，有利于附加的配置。
参考图21I，用户的眼睛位于波导的前面，从顶部向下观察，该图示出具有嵌入式DOE 740的波导738。给定像素可被表示为进入波导并且全内反射，直到可以被衍射图案射出以作为一组光束从波导射出的光束。根据衍射配置，光束可平行/准直(为了方便起见，如图211所示)射出，或者如果表示比光学无穷远更近的焦距，则在发散的扇形配置中。
所描绘的一组平行出射光束可表示例如当通过波导观察时用户在真实世界中看到的最左边的像素，并且到最右端的光将是不同组的平行出射光束。实际上，通过如上所述的DOE子部分的模块化控制，可能花费更多的计算资源或时间来产生和操控可能主动寻址用户的瞳孔的光束的小子集(例如，因为其它光束从未到达用户的眼睛并且被有效地浪费)。因此，参考图21J，该图示出波导738配置，其中，只有被认为可能寻址用户的瞳孔45的DOE 744的两个子部分(740、742)被激活。优选地，一个子部分可被构造成在另一子部分在不同方向上引导光时，在一个方向上同时引导光。
图21K示出DOE 732的两个独立控制的子部分(734、746)的正交视图。参考图21L的俯视图，此独立控制可被用于扫描或聚焦光。在图21K中所描绘的配置中，三个独立控制的DOE/波导子部分(750、752、754)的组件748可被用于扫描、增加视场和/或增加出射光瞳区域。此类功能可从具有此类独立可控的DOE子部分的单个波导或这些波导的垂直叠层产生，以用于附加的复杂性。
在一个实施例中，如果圆形DOE可被可控地径向对称地拉伸，则衍射节距可被调制，并且DOE可被用作具有模拟类型控制的可调谐透镜。在另一实施例中，单个拉伸轴(例如，以调整线性DOE项的角度)可被用于DOE控制。此外，在另一实施例中，类似于鼓头的膜可在Z轴(例如，朝向/远离眼睛)的振荡运动中振动，从而提供Z轴控制和随时间的聚焦变化。
参考图21M，该图示出几个DOE 756的堆叠，其接收来自波导722的准直光并基于激活DOE的累加屈光度将其重新聚焦。DOE的线性和/或径向项可随时间被调制，诸如在帧顺序的基础上，以对来自波导并离开，优选地朝向用户的眼睛的光产生各种处理(诸如平铺显示配置或扩展视场)。在DOE或多个DOE被嵌入在波导内的配置中，需要低衍射效率以使从现实世界传递的光的透明度最大化。在没有嵌入DOE或多个DOE的配置中，如上所述，可能需要高的衍射效率。在一个实施例中，线性和径向DOE项可在波导外部组合，在此情况下，将期望高的衍射效率。
参考图21N，该图示出分段或抛物面反射器，诸如上面在图8Q中论述的那些。不同于通过组合多个较小的反射器来执行分段反射器，在一个实施例中，相同的功能可由具有DOE的单个波导产生，该DOE对于其每个部分具有不同的相位分布(phase profile)，使得其可由子部分控制。换句话说，虽然整个分段反射器在功能上可以一起开启或闭合，但是DOE通常可被构造成将光引导向空间中的相同区域(例如，用户的瞳孔)。
参考图22A-22Z，被称为“自由形式光学元件”的光学配置可被用于某些上述挑战。术语“自由形式”通常用于指任意弯曲表面，其可用于球形、抛物线或柱面透镜不满足诸如几何约束的设计复杂性的情况。例如，参考图22A，当用户通过反射镜(并且有时还有透镜760)观看时，显示器762配置的常见挑战之一在于视场受由系统的最终透镜760对着的区域限制。
参考图22B，更简单来说，如果有可包括一些透镜元件的显示器762，则存在直接的几何关系，使得视场不能大于显示器(762)所对着的角度。参考图22C，如果来自真实世界的光也要通过光学系统传递，则这种挑战加剧，因为在此情况下，往往存在通向透镜760的反射器764。通过插入反射器，从眼睛到达透镜的总路径长度增加，这收紧了角度并减小了视场。
考虑到这一点，如果要增加视场，则也可增加透镜的大小。然而，这可能意味着从人体工程学的角度朝向用户的前额推动物理镜头。此外，反射器可能不能捕获来自较大透镜的所有光。因此，存在由人头部几何形状施加的实际限制，并且使用常规透视显示器和透镜获得大于40度的视场通常是挑战。
对于自由形式透镜，不是具有如上所述的标准平面反射器，而是具有组合的反射器和具有屈光力的透镜(例如，弯曲反射器766)，这意味着弯曲透镜几何形状确定视场。参考图22D，在没有如上面参考图22C所述的常规范例的迂回路径长度的情况下，对于给定的一组光学要求，自由形式布置可以实现显著更大的视场。
参考图22E，典型的自由形式的光学器件具有三个活动表面。参考图22E，在一个典型的自由形式光学部件770配置中，光可从图像平面(诸如平板显示器768)朝向自由形式光学部件被引导到第一活动表面772中。第一活动表面772可为主要透射的自由形式表面，其折射透射光并且赋予焦点变化(诸如添加的散光，因为来自第三表面的最终反射可添加匹配/相反的散光，并且这些散光被合意地被消除)。入射光可从第一表面被引导到第二表面(774)，其中，它可以以足够浅的角度入射，以使得光在全内反射下朝向第三表面776反射。
第三表面可包括半镀银的任意弯曲的表面，其被构造成通过第二表面朝向眼睛反射光，如图22E所示。因此，在所描绘的典型自由形式配置中，光通过第一表面进入、从第二表面反射、从第三表面反射，并被引导出第二表面。由于第二表面的优化以在第一遍时具有必要的反射性质，以及当光朝向眼睛射出时在第二遍时的折射特性，所以比简单球形或抛物面具有更高阶形状的各种曲面形成为自由形式光学元件。
参考图22F，可以将补偿透镜780添加到自由形式光学元件770，使得光学组件的总厚度在增强现实配置中对于从真实世界144进入的光来说厚度是基本均匀的，并且优选地不放大。
参考图22G，自由形式光学元件770可与波导778组合，波导778被构造成促进在某些约束内所捕获的光的全内反射。例如，如图22G所示，光可从像平面(诸如平板显示器)被引导到自由形式/波导组件中，并且在波导内被完全内反射，直到其撞击弯曲的自由形式表面并且朝向用户的眼睛。因此，光在全内反射中反射数次，直到它接近自由形式楔形部分。
此组件的主要目的之一是延长光学组件，同时尽可能保持均匀的厚度(以便于通过全内反射传输，并且还通过组件观察世界而无需进一步补偿)以用于更大的视场。图22H描绘了类似于图22G的配置，除了图22H的配置还具有补偿透镜部分以进一步延伸厚度均匀性并且有助于通过组件观看世界而无需进一步补偿。
参考图22I，在另一实施例中，自由形式光学元件782被示为在左下角具有小平坦表面或第四面784，其被构造成便于在与通常用于自由形式光学元件不同的位置处射入图像信息。输入装置786可包括例如扫描光纤显示器，其可被设计为具有非常小的输出几何形状。第四面可自身包括各种几何形状并且其自身具有折射能力，例如通过使用平面或自由形式表面几何形状。
参考图22J，在实施过程中，此配置也可具有沿着第一表面的反射涂层788的特征，使得其将光引导回到第二表面，然后第二表面将光反射到第三表面，第三表面将光引导穿过第二表面并引向眼睛58。添加用于射入图像信息的第四小表面有助于更紧凑的配置。在使用经典自由形式输入配置和扫描光纤显示器790的实施例中，可能需要一些透镜(792、794)，以便使用来自扫描光纤显示器的输出适当地形成图像平面796。这些硬件部件可能增加可能不期望的额外体积。
参考图22K，该图示出的实施例中，来自扫描光纤显示器790的光通过输入光学元件组件(792、794)到达图像平面796，然后被引导穿过自由形式光学元件770的第一表面到达全内反射第二表面进行反射，然后来自第三表面的另一全内反射致使光穿过第二表面离开并且被引向眼睛58。
可产生全部全内反射自由形式波导，使得不存在反射涂层(例如，使得全内反射依赖于光的传播，直到满足与表面的临界入射角，在该点处，光以与上述楔形光学器件类似的方式出射)。换句话说，不是具有两个平坦表面，而是可具有包括来自一组圆锥曲线(诸如抛物面、球体、椭圆等)的一或多个子表面的表面。
此配置的角足够浅以用于在光学器件内全内反射。该方法可被认为是在常规自由形式光学元件和楔形波导之间的混合。具有此配置的一个动机是避免使用反射涂层，这可帮助产生反射，但是也已知防止从真实世界144透射的相对大部分(例如50％)的光的透射。此外，此类涂层也可阻挡从输入装置进入自由形式光学元件的等量的光。因此，存在开发不具有反射涂层的设计的理由。
如上所述，常规自由形式光学元件的表面之一可包括半镀银反射表面。通常，此反射表面将具有“中性密度”，意味着其通常将类似地反射所有波长。在另一实施例中，诸如扫描光纤显示器被用作输入的实施例，常规反射器范例可用对波长敏感的窄带反射器(诸如薄膜激光线反射器)代替。因此，在一个实施例中，配置可反射特定的红/绿/蓝波长范围并且对其它波长保持被动。这通常将增加光学器件的透明度，并且因此对于增强现实配置是优选的，其中，来自真实世界144的图像信息跨光学器件的传输也是被珍视的。
参考图22L，描绘了多个自由形式光学元件(770)可在Z轴(例如，沿着与眼睛的光轴基本上对准的轴)上堆叠的实施例。在一个变体中，三个所描绘的自由形式光学元件中的每个可具有波长选择性涂层(例如，一个对于蓝色具有高度选择性、下一个对于绿色具有高度选择性、下一个对于红色具有高度选择性)，使得图像可以被射入到每个自由形式光学元件中以使蓝色从一个表面反射、绿色从另一表面发射以及红色从第三表面发射。此配置可被用于例如解决色差问题，以产生光场和/或增加功能出射光瞳大小。
参考图22M，该图示出的实施例中，单个自由形式光学元件798具有多个反射表面(800、802、804)，每个反射表面可为波长或偏振选择性的，使得它们的反射特性可被单独控制。
参考图22N，在一个实施例中，多个微显示器，诸如扫描光显示器786可被射入到单个自由形式光学元件中以平铺图像(从而提供增加的视场)、增加功能光瞳大小或者解决诸如色差的挑战(例如，通过每个显示器反射一个波长)。由于显示器相对于自由形式光学元件的不同定位，所描绘的显示器中的每个将射入将采取不同路径通过自由形式光学元件的光，从而提供更大的功能出射光瞳输出。
在一个实施例中，扫描光纤显示器的包或束可被用作输入，以克服将扫描光纤显示器可操作地耦合到自由形式光学元件的一个挑战。扫描光纤显示器配置的一个此类挑战在于单个光纤的输出以特定数值孔径或“NA”发射。NA为来自光纤的光的投射角；最终该角度确定穿过各种光学器件的光束的直径，并且最终确定出射功能出射光瞳大小。
因此，为了使自由形式光学元件配置的出射光瞳大小最大化，可使用优化的折射关系(例如在芯和包层之间)增加光纤的NA，或者可将透镜(例如，折射透镜，诸如梯度折射率透镜或“GRIN”透镜)放置在光纤的端部或者如上所述将透镜构建到光纤的端部中。另一种方法可为产生馈送到自由形式光学元件中的光纤阵列，在此情况下，束中的所有NA保持小，从而在出射光瞳处产生小的出射光瞳的阵列，以在汇聚时形成大出射光瞳的功能等价物。
另选地，在另一实施例中，可利用扫描光纤显示器或其它显示器的更稀疏的阵列(例如，不紧密地成束为包)，以在功能上增加通过自由形式光学元件的虚像的视场。参考图22O，在另一实施例中，多个显示器或显示器786可通过自由形式光学元件770的顶部射入，以及其他多个显示器786通过下角射入。显示器阵列可为两维或三维阵列。参考图22P，在另一相关实施例中，图像信息也可从自由形式光学元件770的侧面806射入。
在多个较小的出射光瞳将被聚集成功能上较大的出射光瞳的实施例中，可选择使每个扫描光纤是单色的，使得在给定的一束或多个投影仪或显示器内，具有单独红色光纤的子组、单独蓝色光纤的子组和单独绿色光纤的子组。此配置有助于使光进入光纤的输出耦合更有效率。例如，该方法不需要将红色、绿色和蓝色叠加到相同频带中。
参考图22Q-22V，其描绘了各种自由形式光学元件平铺配置。参考图22Q，该图描绘的实施例中，两个自由形式的光学器件并排铺设，并且在每一侧上的诸如扫描光显示器的微显示器786被构造成从每侧射入图像信息，使得一个自由形式的光楔表示视场的每一半。
参考图22R，该图示出可包括补偿透镜808以便于通过光学元件组件观看真实世界。图22S示出的配置中，自由形式光楔并排铺设以增加功能视场同时保持此光学组件的厚度相对均匀。
参考图22T，在配置中，星形组件包括多个自由形式的光楔(也示出具有用于输入图像信息的多个显示器)，其可提供更大的视场扩展，同时还保持相对薄的整体光学元件组件厚度。
利用平铺的自由形式光学元件组件，光学元件可被聚集以产生更大的视场。上述的平铺配置已经解决了这种意图。例如，在诸如图22R所描绘的两个自由形式波导瞄准眼睛的配置中，存在几种增加视场的方式。一种选择是“内束”自由形式波导，使得它们的输出共享或被叠加在光瞳的空间中。例如，用户可通过左自由形式波导看到视场的左半部分，并且通过右自由形式波导看到视场的右半部分。
利用此配置，用平铺的自由形式波导增加了视场，但是出射光瞳的大小没有增加。另选地，自由形式波导可被取向为使得它们不会太多地内束，使得它们在眼睛的解剖瞳孔处产生为并排的出射光瞳。在一个示例中，解剖光瞳可为8mm宽，并且并排出射光瞳中的每一个可为8mm，使得功能出射光瞳扩大约两倍。因此，此配置提供了扩大的出射光瞳。然而，如果眼睛在由该出射光瞳限定的“眼眶”中移动，该眼睛可能丢失部分视场(例如，由于此配置的并排性质，而丢失左或右入射光的一部分)。
在使用此方法以用于平铺自由形式光学元件(特别是在相对于用户眼睛的Z轴中)的一个实施例中，红色波长可通过一个自由形式光学元件驱动，绿色波长可通过另一个自由形式光学元件驱动，而蓝色波长可通过另一个自由形式光学元件驱动，由此，可解决红/绿/蓝色差。多个自由形式光学元件可以堆叠的方式提供给此配置，其中，每个自由形式光学元件被构造成处理特定波长。
参考图22U，该图示出了在Z轴上堆叠的两个相对取向的自由形式光学元件(例如，它们相对于彼此上下颠倒)。利用此配置，可不需要补偿透镜以便于通过组件准确地观察世界。换句话说，不是具有诸如图22F或图22R的实施例中的补偿透镜，可使用附加的自由形式光学元件，这可进一步有助于将光路由到眼睛。图22V示出了另一种类似的配置，其中，两个自由形式的光学元件的组件被呈现为垂直堆叠。
为确保一个表面不干涉自由形式光学元件中的另一表面，可使用波长或偏振选择反射器表面。例如，参考图22V，可射入呈650nm、530nm和450nm形式的红色、绿色和蓝色波长，以及620nm、550nm和470nm形式的红色、绿色和蓝色波长。不同的选择性反射器可被用于每个自由形式光学元件中，使得它们不彼此干扰。在偏振滤波被用于类似目的的配置中，针对在特定轴上偏振的光的反射/透射选择性可被改变(例如，图像可在它们被发送到每个自由形式波导之前被预偏振，以与反射器选择性一起工作)。
参考图22W和22X，该图示出了多个自由形式波导可被串联在一起使用的配置。参考图22W，光可从真实世界进入并且按顺序被引导通过第一自由形式光学元件770、通过可选透镜812，可选透镜812可被构造成将光从DLP系统中继到反射器810，诸如DMD，其可被构造成将已经在逐个像素基础上被滤波的光(例如，遮挡掩模可被用于阻挡现实世界的某些元素，诸如用于如上所述的暗场感知；可使用合适的空间光调制器，其可包括如上所述的DMD、LCD、铁电LCOS、MEMS百叶窗阵列等)反射到将光中继到用户的眼睛28的另一自由形式光学元件770。此配置可比使用用于空间光调制的常规透镜的配置更紧凑。
参考图22X，在保持总体厚度最小化非常重要的情况下，可利用一个表面具有高反射性的配置，使得高反射性表面可将光直接反射到另一个紧凑定位的自由形式光学元件。在一个实施例中，选择性衰减器814可被插入在两个自由形式光学元件770之间。
参考图22Y，该图示出了自由形式光学元件770可包括接触透镜系统的一个方面的实施例。该图示出了类似于参考图22F所述的小型化的自由形式光学元件，其利用小型化的补偿器透镜部分780接合用户眼睛58的角膜。可使用系绳扫描光纤显示器将信号射入到小型化的自由形式组件中，所述系绳扫描光纤显示器可例如被耦合在自由形式光学元件和用户的泪管区之间，或者在自由形式光学元件和另一个头戴式显示器配置之间。
一个或多个用户与AR系统之间的交互
用户系统与云的交互
已经描述了上述各种光学实施例，以下讨论将集中在一个或多个AR系统之间的交互以及AR系统与物理世界之间的交互。如在图23和24中所示，光场生成子系统(例如分别为2300和2302)优选地可操作以产生光场。例如，光学装置2360或子系统可以生成或投射光以模拟将由从真实三维对象或场景反射的光产生的四维(4D)光场。例如，诸如波导反射器阵列投影仪(WRAP)装置2310或多深度平面三维(3D)显示系统的光学装置可以在相应的径向焦距处生成或投影多个虚拟深度平面以模拟4D光场。
以WRAP装置2310或多深度平面3D显示系统的形式的光学装置2360可以例如直接或间接地将图像投影到用户的每只眼睛中。当虚拟深度平面的数量和径向放置与作为径向距离的函数的人类视觉系统的深度分辨率相当时，一组离散的投影深度平面模拟由真实的连续的三维对象或场景产生的心理生理效应。在一个或多个实施例中，系统2300可以包括可以为每个AR用户定制的框架2370。系统2300的附加部件可以包括将AR系统的各个电气和电子子部件彼此连接的电子器件2330(如将在下面进一步详细讨论)。
系统2300可以进一步包括微显示器2320，其将与一个或多个虚拟图像相关联的光投射到波导棱镜2310中。如在图23中所示，从微显示器2320产生的光在波导2310内行进，并且一些光到达用户的眼睛2390。在一个或多个实施例中，系统2300可以进一步包括一个或多个补偿透镜2380，以改变与虚拟图像相关联的光。图24示出与图23相同的部件，但是示出来自微显示器2320的光如何行进通过波导2310以到达用户的眼睛2390。
应当理解，光学装置2360可以包括多个线性波导，每个线性波导具有嵌入、位于或形成在线性波导中每一个线性波导内的相应系列的解构曲面球形反射器或反射镜。该系列的解构曲面球形反射器或反射镜被设计成在特定径向距离处重聚焦无限远聚焦光。凸球面镜可以用于产生输出球面波，以表示看起来位于凸球面镜后面的限定距离处的虚拟点源。
通过在线性或矩形波导中连接其形状(例如，围绕两个轴线的曲率半径)和取向在一起的一系列微反射器，可以在特定的x、y、z坐标处投影与由虚拟点源产生的球面波前对应的3D图像。2D波导或层中的每一个相对于其它波导提供独立的光路，并且将波前成形并且聚焦入射光以投射与相应径向距离对应的虚拟深度平面。
采用足够数量的2D波导，观察投影的虚拟深度平面的用户体验到3D效果。在2013年6月11日提交的美国专利申请序列号13/915,530中描述了这种装置。其它实施例可以包括光学系统的其它组合，并且应当理解，关于图23和24描述的实施例仅用于说明目的。
AR系统的音频子系统可以采取各种形式。例如，音频子系统可以采用简单的双扬声器2声道立体声系统或更复杂的多扬声器系统(5.1、7.1、12.1声道)的形式。在一些实施方式中，音频子系统可操作以产生三维声场。
AR系统可以包括一个或多个分立部件。例如，AR系统可以包括头部佩戴或安装的部件，诸如图23和图24所示的实施例中所示的部件。头部佩戴或安装的部件通常包括视觉系统(例如，诸如图23和24中所示的视觉系统)。头部佩戴部件还可以包括音频换能器(例如，扬声器、麦克风)。
音频换能器可以与视觉系统集成，例如每个音频集成换能器由具有可视部件的公共框架支撑。可替代地，音频换能器可与携载视觉部件的框架不同。例如，音频换能器可以是腰包的一部分，诸如在图4D中所示的那些。
如在图23和24中所示，AR系统可以包括与头部佩戴部件(例如，如在图23和24中所示的光学子系统)分离的不同的计算部件(例如，处理子系统)。处理子系统或计算部件可以例如采用腰包的形式，其在使用期间可以方便地耦接到裤子的腰带或腰带线。可替代地，计算部件可以例如采取个人数字助理或智能电话类型装置的形式。
计算部件可以包括一个或多个处理器，例如一个或多个微控制器、微处理器、图形处理单元、数字信号处理器、专用集成电路(ASIC)、可编程门阵列、可编程逻辑电路或实现逻辑或能够执行在软件或固件中编码的指令中体现的逻辑的其它电路。计算部件可以包括一个或多个非暂态计算机或处理器可读介质，例如易失性和/或非易失性存储器，例如只读存储器(ROM)、随机存取存储器(RAM)、静态RAM、动态RAM、快闪存储器、EEPROM等。
如上所述，计算部件可以通信地耦合到头部佩戴部件。例如，计算部件可以经由具有适当连接器的电缆经由一个或多个电线或光纤通信地系留(tether)到头部佩戴部件。计算部件和头部佩戴部件可以根据多种系留协议(例如协议)中的任一种来通信。
可替代地或另外，计算部件可以无线通信地耦合到头部佩戴部件。例如，计算部件和头部佩戴部件可以各自包括发射器、接收器或收发器(统称为无线电单元)和相关联的天线，以在它们之间建立无线通信。无线电单元和天线可以采取各种形式。例如，无线电单元可以能够短距离通信，并且可以利用通信协议，诸如或一些符合IEEE 802.11的协议(例如，IEEE 802.11n、IEEE 802.11a/c)。
如在图23和24中所示，身体或头部佩戴部件可以包括电子器件和微显示器，其可操作以向用户传送增强现实内容，例如增强现实视觉和/或音频内容。电子器件(例如，图23和24中的2320的一部分)可以包括各种电路，其包括电气或电子部件。各种电路通信地耦合到传送增强现实内容和/或感测、测量或收集关于周围物理环境和/或关于用户的信息的多个换能器。
图25示出根据一个所示实施例的用于增强现实装置的电子器件的示例架构2500。
AR装置可以包括一个或多个印刷电路板部件，例如左(2502)和右(2504)印刷电路板组件(PCBA)。如图所示，左PCBA 2502包括大多数有源电子器件，而右PCBA 604主要支持显示器或投影仪元件。
右PCBA 2504可以包括向图像生成部件提供图像信息和控制信号的多个投影仪驱动器结构。例如，右PCBA 2504可以携载第一或左投影仪驱动器结构2506和第二或右投影仪驱动器结构2508。第一或左投影仪驱动器结构2506将第一或左投影仪光纤2510和一组信号线(例如，压电驱动器线)结合。第二或右投影仪驱动器结构2508将第二或右投影仪光纤2512和一组信号线(例如，压电驱动器线)结合。第一或左投影仪驱动器结构2506通信地耦合到第一或左图像投影仪，而第二或右投影仪驱动器结构2508通信地耦合到第二或右图像投影仪。
在操作中，图像投影仪经由相应的光学部件，例如波导和/或补偿透镜(例如，如在图23和24中所示)向用户的左眼和右眼(例如，视网膜)呈现虚拟内容。
图像投影仪可以例如包括左和右投影仪组件。投影仪组件可以使用各种不同的图像形成或产生技术，例如光纤扫描投影仪、液晶显示器(LCD)、LCOS显示器、数字光处理(DLP)显示器。在利用光纤扫描投影仪的情况下，可以沿着光纤传送图像，以经由光纤的尖端从其投射。尖端可以取向成馈送到波导中(图23和24)。光纤的尖端可以投影图像，其可以被支持以弯曲或振荡。多个压电致动器可以控制尖端的振荡(例如，频率、振幅)。投影仪驱动器结构向相应的光纤提供图像，并提供控制信号来控制压电致动器，以将图像投影到用户的眼睛。
继续讨论右PCBA 2504，按钮板连接器2514可以向携载各种用户可访问的按钮、按键、开关或其它输入装置的按钮板2516提供通信和物理耦合。右PCBA 2504可以包括右耳机或扬声器连接器2518，以将音频信号通信地耦合到头部佩戴部件的右耳机2520或扬声器。右PCBA 2504还可以包括右麦克风连接器2522，以通信地耦合来自头部佩戴部件的麦克风的音频信号。右PCBA 2504可以进一步包括右遮挡驱动器连接器2524，以将遮挡信息通信地耦合到头部佩戴部件的右遮挡显示器2526。右PCBA 2504还可以包括板对板连接器，以经由其板对板连接器2534提供与左PCBA 2502的通信。
右PCBA 2504可以通信地耦合到身体或头部佩戴的一个或多个右外向或世界观相机2528，以及可选地照亮以向其他人指示何时正在捕获图像的右相机视觉指示器(例如，LED)。右PCBA 2504可以通信地耦合到一个或多个右眼相机2532，其由头部佩戴部件携载、定位并取向以捕获右眼的图像，以允许跟踪、检测或监视右眼的取向和/或运动。右PCBA2504可以可选地通信地耦合到一个或多个右眼照明源2530(例如，LED)，如在此所解释的，用照明图案(例如，时间的、空间的)照亮右眼，以促进跟踪、检测或监视右眼的取向和/或运动。
左PCBA 2502可以包括控制子系统，其可包括一个或多个控制器(例如，微控制器、微处理器、数字信号处理器、图形处理单元、中央处理单元、专用集成电路(ASIC)、现场可编程门阵列(FPGA)2540和/或可编程逻辑单元(PLU))。控制系统可以包括存储可执行逻辑或指令和/或数据或信息的一个或多个非暂态计算机或处理器可读介质。非暂态计算机或处理器可读介质可以采取多种形式，例如易失性和非易失性的形式，例如只读存储器(ROM)、随机存取存储器(RAM、DRAM、SD-RAM)、快闪存储器等。非暂态计算机或处理器可读介质可以形成为例如微处理器、FPGA或ASIC的一个或多个寄存器。
左PCBA 2502可以包括左耳机或扬声器连接器2536，以将音频信号通信地耦合到头部佩戴部件的左耳机或扬声器2538。左PCBA 2502可以包括通信地耦合到驱动耳机或扬声器的音频信号放大器(例如，立体声放大器)2542。左PCBA 2502还可以包括左麦克风连接器2544，以通信地耦合来自头部佩戴部件的麦克风的音频信号。左PCBA 2502可进一步包括左遮挡驱动器连接器2546，以将遮挡信息通信地耦合到头部佩戴部件的左遮挡显示器2548。
左PCBA 2502还可包括检测、测量、捕获或以其它方式感测关于周围环境和/或关于用户的信息的一个或多个传感器或换能器。例如，加速度换能器2550(例如，三轴加速度计)可以检测三轴中的加速度，从而检测运动。陀螺仪传感器2552可以检测取向和/或磁或罗盘首向或取向。可以类似地利用其它传感器或换能器。
左PCBA 2502可以通信地耦合到身体或头部佩戴的一个或多个左外向或世界观相机2554，以及可选地照亮以向其他人指示何时正在捕获图像的左相机视觉指示器(例如，LED)2556。左PCBA可以通信地耦合到一个或多个左眼相机2558，其由头部佩戴部件携载，定位并取向以捕获左眼的图像，以允许跟踪、检测或监视左眼的取向和/或运动。左PCBA 2502可以可选地通信地耦合到一个或多个左眼照明源(例如，LED)2556，如在此所解释的，用照明图案(例如，时间的、空间的)照亮左眼，以促进跟踪、检测或监视左眼的取向和/或运动。
PCBA 2502和2504经由一个或多个端口、连接器和/或路径与不同的计算部件(例如，腰包)通信地耦合。例如，左PCBA 2502可以包括一个或多个通信端口或连接器以提供与腰包的通信(例如，双向通信)。一个或多个通信端口或连接器还可以从腰包向左PCBA 2502提供电力。左PCBA 2502可以包括电耦合到通信端口或连接器并且可操作以调节(例如，升高电压、降低电压、平滑电流、减小瞬变)的电源调节电路2580(例如，DC/DC电源转换器、输入滤波器)。
通信端口或连接器可以例如采取数据和电源连接器或收发器2582(例如，端口、端口)的形式。右PCBA 2504可以包括从腰包接收电力的端口或连接器。图像生成元件可以从便携式电源(例如，化学电池单元、一次或二次电池单元、超级电容器单元、燃料电池)接收可以例如位于腰包中的电力。
如图所示，左PCBA 2502包括大多数有源电子器件，而右PCBA 2504主要支持显示器或投影仪以及相关联的压电驱动信号。横跨AR系统的身体或头部佩戴部件的前部、后部或顶部利用电和/或光纤连接。
PCBA 2502和2504二者通信地(例如，电气地、光学地)耦合到腰包。左PCBA 2502包括电源子系统和高速通信子系统。右PCBA 2504处理光纤显示压电驱动信号。在所示实施例中，只有右PCBA 2504需要光学连接到腰包。在其它实施例中，右PCBA和左PCBA二者可以连接到腰包。
尽管被示为利用两个PCBA 2502和2504，但是身体或头部佩戴部件的电子器件可以利用其它架构。例如，一些实施方式可以使用更少或更多数量的PCBA。还例如，各种部件或子系统可以与图25中所示不同地布置。例如，在一些替代实施例中，如在一个PCBA上驻留的图25中所示的部件中的一些部件可以位于另一个PCBA上，而不失一般性。
如在图4A-4D中所示，每个用户可以使用他/她相应的AR系统(在下面的讨论中一般称为个人AR系统)。在一些实施方式中，个人AR系统可以彼此通信。例如，两个或更多个位置相近的AR系统可以彼此通信。如在此进一步描述的，在一个或多个实施例中，通信可以在执行握手协议之后发生。AR系统可以经由一个或多个无线电单元无线地通信。如上所述，这种无线电单元可以能够短距离直接通信，或者可以能够更长距离的直接通信(例如，没有中继器、扩展器等)。另外或可替代地，可以经由一个或多个中间装置(例如，无线接入点、中继器、扩展器)来实现间接更长距离的通信。
AR系统的头部佩戴部件可以具有一个或多个“面向外”朝向的相机。在一个或多个实施例中，头部佩戴部件可以具有一个或多个“面向内”朝向的相机。如在此所使用的，“面向外”意味着相机捕获周围环境而不是佩戴头戴部件的用户的图像。值得注意的是，面“向外”的相机可以具有包围向前、向左、向右或甚至在用户后面的区域的视场。这与面向内的相机(其捕获佩戴头部佩戴部件的个人的图像，例如面向用户的面部以捕获用户的面部表情或眼睛运动的相机)形成对比。
在许多实施方式中，用户佩戴的个人(或个人)AR系统可以包括一个或多个传感器、换能器或其它部件。传感器、换能器或其它部件可以分类为两个一般类别，(i)检测佩戴传感器的用户的方面(例如，在此称为面向内的传感器)的那些，以及(ii)检测用户所处的周围环境(例如，在此称为面向外的传感器)中的条件。这些传感器可以采取各种各样的形式。例如，传感器可以包括一个或多个图像传感器，例如数字静态或运动图像相机。还例如，传感器可以包括一个或多个音频传感器或麦克风。其它传感器可以检测位置、运动、温度、心率、出汗等。
如上所述，在一个或多个实施例中，传感器可以是面向内的。例如，由用户佩戴的图像传感器可以定位和/或取向以检测用户的眼睛移动、用户的面部表情或用户的肢体(手臂、腿、手部)。例如，用户佩戴的音频传感器或麦克风可以定位和/或取向以检测用户发出的话语。这种音频传感器或麦克风可以是定向的，并且可以在使用期间位于用户的嘴部附近。
如上所述，传感器可以是面向外的。例如，由用户佩戴的图像传感器可以定位和/或取向成可视地检测用户所处的周围环境和/或用户与之交互的对象。在一个或多个实施例中，基于图像的传感器可以指相机(例如，视场相机、IR相机、眼睛跟踪相机等)。还例如，由用户佩戴的音频传感器或麦克风可以定位和/或取向成检测周围环境中的声音，无论来自像其他人的自然源，还是无生命对象(诸如音频扬声器)生成的。面向外的传感器可以检测周围环境的其它特性。例如，面向外的传感器可以包括检测周围环境中的温度的温度传感器或热电偶。
面向外的传感器可以检测周围环境中的湿度、空气质量和/或空气流量。面向外的传感器可以包括检测周围环境中的环境光条件的光检测器(例如，光电二极管)。在一个或多个实施例中，光探针还可以用作个人AR系统的一部分。面向外的传感器可以包括检测周围环境中的对象(包括其他人)的存在和/或不存在和/或周围环境中的运动的一个或多个传感器。
基于物理空间/房间的传感器系统
如在图26的系统架构2600中所示，在一些实施方式中，AR系统可以包括基于物理空间或房间的传感器系统。如在图26中所示，AR系统2602不仅从用户的个人AR系统(例如，头戴式增强现实显示系统等)获取，如在图23和24中所示，而且也可以使用基于房间的传感器系统2604来收集关于房间和物理空间的信息。基于空间或房间的传感器系统2604从物理环境(例如诸如房间(例如，办公室、客厅、媒体室、厨房或其它物理空间)的空间)检测和/或收集信息。基于空间或房间的传感器系统2604通常包括一个或多个图像传感器2606，例如一个或多个相机(例如，数字静态相机、数字运动图像或视频相机)。
在一个或多个实施例中，可以使用除了构成由用户佩戴的个人AR系统的一部分的图像传感器之外的图像传感器。基于空间或房间的传感器系统还可以包括一个或多个音频传感器或换能器2608，例如全向或定向麦克风。音频传感器或换能器可检测来自动画对象(例如，周围环境中的一个或多个用户或其他人)的声音。音频传感器或换能器可检测来自无生命对象(例如脚步、电视、立体声系统、无线电或其它电器)的声音。
基于空间或房间的传感器系统2604还可以包括周围环境中的其它环境传感器2610、温度2612、湿度2614、空气质量2616、空气流量或速度、环境光感测、存在不存在、运动等。所有这些输入反馈到AR系统2602，如在图26中所示。应当理解，图26中仅示出了一些基于房间的传感器，并且一些实施例可以包括更少或更多的传感器子系统，并且图26的实施例不应被视为限制。
基于空间或房间的传感器系统2604可以相对于基于空间或房间的坐标系检测和/或收集信息。例如，视觉或光学信息和/或音频信息可以相对于不同于用户的参考系的参考系内的这种信息的位置或源来引用。例如，可以在基于空间或房间的传感器系统或其部件的参考系内识别这种信息的源的位置。基于空间或房间的传感器系统或部件的参考系可以是相对固定的，并且可以与物理空间本身的参考系相同。可替代地，一个或多个变换(例如，平移和/或旋转矩阵)可以在数学上将基于空间或房间的传感器系统或部件的参考系与物理空间的参考系相关。
图27示出根据一个所示实施例的采用一个或多个集线器、中央或分布式服务器计算机系统以及通过一个或多个有线或无线网络通信地耦合的一个或多个个人AR系统的通信架构。在一个或多个实施例中，云服务器可以指通过网络(例如，有线网络、无线网络、蓝牙、蜂窝网络等)由一个或多个个人AR系统访问的服务器。在所示实施例中，个人AR系统通过网络2704与云服务器或服务器计算机系统2780通信。在一个或多个实施例中，云服务器可以指在不同位置处托管的托管服务器或处理系统，并且由多个用户按需通过互联网或一些类型的网络访问。在一个或多个实施例中，云服务器可以是包括云的多个连接的服务器的集合。
服务器计算机系统2780可以例如形成集群。例如，服务器计算机系统的集群可以位于各种地理上分散的位置处。这可以促进通信，缩短传输路径和/或提供冗余。
个人AR系统2708的特定实例可以通过云网络2704通信地耦合到服务器计算机系统2780。服务器计算机系统2780可以维护关于特定用户自己的物理和/或虚拟世界的信息。服务器计算机系统2780可以允许给定用户与其他用户共享关于特定用户自己的物理和/或虚拟世界的信息。另外或可替代地，服务器计算机系统2780可允许其他用户与给定或特定用户共享关于他们自己的物理和/或虚拟世界的信息。如在此所述，服务器计算机系统2780可以允许物理世界的大部分的映射和/或表征。可以经由一个或多个用户的个人AR系统收集信息。物理世界的模型可以随着时间的推移以及通过大量用户的收集来发展。这可以允许给定用户输入物理世界的新部分或地点，但是仍受益于先前或当前处于特定地点的其他人收集的信息。虚拟世界的模型可以由相应用户经由用户随着时间的推移而创建。
个人AR系统2708可以通信地耦合到服务器计算机系统。例如，个人AR系统2708可以经由一个或多个无线电单元无线通信地耦合到服务器计算机系统2780。无线电单元可以采取如上所述的短距离无线电单元或者相对长距离无线电单元的形式，例如蜂窝芯片组和天线。个人AR系统2708通常将经由一些中间通信网络或部件间接地通信地耦合到服务器计算机系统2780。例如，个人AR系统2708通常将经由一个或多个电信提供商系统(例如一个或多个蜂窝通信提供商网络)通信地耦合到服务器计算机系统2780。
在许多实施方式中，AR系统可以包括附加部件。在一个或多个实施例中，AR装置可以例如包括一个或多个触觉装置或部件。触觉装置或部件可以可操作以向用户提供触觉感觉。例如，当触摸虚拟内容(例如，虚拟对象、虚拟工具、其它虚拟构造)时，触觉装置或部件可以提供压力和/或纹理的触觉感觉。触觉感觉可以复制虚拟对象表示的物理对象的感觉，或者可以复制虚拟内容表示的想象的对象或角色(例如，龙)的感觉。
在一些实施方式中，触觉装置或部件可以由用户佩戴。在此描述了用户可佩戴手套形式的触觉装置的示例。在一些实施方式中，触觉装置或部件可以由用户持有。在此描述了用户可佩戴手套形式的触觉装置的示例(例如，图34A)。下面进一步描述各种触觉图腾形式的触觉装置的其它示例。AR系统可以另外或可替代地利用其它类型的触觉装置或用户输入部件。
AR系统可以例如包括由用户操纵以允许与AR系统的输入或交互的一个或多个物理对象。这些物理对象在此被称为图腾，并且将在下面进一步详细描述。一些图腾可以采取无生命对象的形式，例如一块金属或塑料、墙壁、桌子的表面。可替代地，一些图腾可以采取有生命对象的形式，例如用户的手部。
如在此所述，图腾可以实际上不具有任何物理输入结构(例如，键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以简单地提供物理表面，并且AR系统可以呈现用户界面以便对用户看起来在图腾的一个或多个表面上。例如，并且如在此进一步更详细讨论的，AR系统可以呈现计算机键盘和轨迹板的图像以显现驻留在图腾的一个或多个表面上。例如，AR系统可以使虚拟计算机键盘和虚拟轨迹板显现在用作图腾的薄的矩形铝板的表面上。矩形板本身不具有任何物理键或轨迹板或传感器。然而，AR系统可以检测用户操作或与矩形板的交互或触摸作为经由虚拟键盘和/或虚拟轨迹板做出的选择或输入。这些部件中的许多部件在下面进一步详细描述。
可传递世界模型
可传递世界模型(passable world model)允许用户有效地将用户世界的一部分(例如，周围环境、交互等)传递给另一用户。每个用户的相应个人AR系统在用户通过或居住环境时捕获信息，AR系统处理该环境以产生可传递世界模型。
个人AR系统可以在云处将可传递世界模型通信或传递到公共或共享的数据集合。个人AR系统可以直接地或经由云将可传递世界模型通信或传递给AR系统的其他用户。可传递世界模型提供了有效地通信或传递基本上包括用户的至少视场的信息的能力。当然，应当理解，可以另外发送其它输入(例如，感觉输入、图像输入、眼睛跟踪输入等)以在云处增强可传递世界模型。
图28示出根据一个所示实施例的可传递世界模型2800的部件。当用户2801走过环境时，用户的个人AR系统2810捕获信息(例如，图像、地点信息、位置和取向信息等)并通过带有姿态的标记图像来保存信息。在所示实施例中，可以拍摄对象2820(其类似于桌子)的图像，并且可以基于捕获的图像收集映射点2804。这形成了可传递世界模型的核心，如已经捕获了关于环境的信息的多个关键帧(例如，相机)2802所示。
如在图28中所示，可以存在捕获关于任何给定时间点的空间的信息的多个关键帧2802。例如，关键帧可以是从特定视点捕获信息的另一用户的AR系统。另一个关键帧可以是通过固定视点捕获图像和点2804的基于房间的相机/传感器系统。通过对来自多个视点的图像和点进行三角测量，可以确定3D空间中真实对象的位置和取向。
在一个或多个实施例中，可传递世界模型2808是光栅图像、点和描述符云以及多边形/几何定义(在此称为参数几何)的组合。所有该信息被上传到云并且从云检索，其一部分对应于用户可能已经走过的特定空间。如在图28中所示，可传递世界模型还包含许多对象识别器2812，其在云上或在用户的个人系统2810上工作以基于通过多个用户的各种关键帧捕获的点和姿态标记的图像来识别环境中的对象。基本上通过经由多个关键帧2802连续地捕获关于物理世界的信息，可传递世界总是在增长，并且可以被查询(连续地或根据需要)，以便确定如何呈现与真实世界的现有物理对象相关的虚拟内容。通过从用户的环境收集信息，构建/增强可传递世界2806的一部分，并且可以同时或在将来将其传递给一个或多个AR用户。
在用户的相应个人AR系统和基于云的计算机(例如，服务器计算机)之间建立异步通信。换句话说，用户的个人AR系统不断地将关于用户的周围环境的信息更新到云，并且还从云接收关于可传递世界的信息。因此，具有异步系统，而不是每个AR用户必须捕获图像并基于捕获的图像识别对象，这允许系统更有效。已经存在的关于世界的那部分的信息自动地通信到个人AR系统，而新的信息更新到云。应当理解，可传递世界模型存在于云或其它形式的联网计算或对等系统上，并且还可以存在于用户的个人AR系统上。
在一个或多个实施例中，AR系统可以对局部部件(例如，诸如腰包的计算部件)和远程部件(例如，基于云的计算机2780)采用不同级别的分辨率。这是因为远程部件(例如，驻留在云服务器上的资源)通常比本地部件在计算上更强大。基于云的计算机可以挑选由许多不同的个人AR系统和/或一个或多个基于空间或房间的传感器系统收集的数据，并利用该信息来添加到可传递世界模型。基于云的计算机可以仅将最优(例如，最有用的)信息聚集到持久世界模型中。换句话说，可以及时地布置冗余信息和/或低于最优的质量信息，以便不恶化系统的质量和/或性能。
图29示出与可传递世界模型交互的示例方法2900。在2902处，用户的个人AR系统可以检测用户在世界内的地点和取向。在一个或多个实施例中，可以通过系统的拓扑图导出地点，如下面将进一步详细描述的。在其它实施例中，可以通过GPS或任何其它定位工具来导出地点。应当理解，可传递世界可以由个人AR系统不断地访问。
在另一实施例(未示出)中，用户可以请求访问另一用户的空间，提示系统访问可传递世界的该部分以及与另一用户相对应的相关联参数信息。因此，对于可传递世界可能有许多触发器。然而，在最简单的水平上，应当理解，可传递世界不断地被多个用户系统更新并访问，从而不断地向云添加并从云中接收信息。
遵循上述示例，基于用户的已知地点，在2904处，系统可绘制表示用户周围的物理区域的半径，其传达用户的位置和预期方向二者。接下来，在2906处，系统可以基于用户的预期位置来检索可传递世界的片段。在一个或多个实施例中，可传递世界的片段可以包含来自通过先前关键帧获取的空间的几何图形和捕获的图像以及存储在云中的数据的信息。在2908处，AR系统将来自用户环境的信息上传到可传递世界模型中。在2910处，基于上传的信息，AR系统将与用户的位置相关联的可传递世界呈现给用户的个人AR系统。
该信息允许虚拟内容以一致的方式与用户的真实环境有意义地交互。例如，虚拟“怪物”可以呈现为源自现实世界的特定建筑物。或者，在另一示例中，用户可以留下与真实世界的物理坐标相关的虚拟对象，以使得朋友(也佩戴AR系统)在相同的物理坐标中找到虚拟对象。为了允许这种能力(以及更多)，对于AR系统来说重要的是不断地访问可传递世界以检索并上传信息。应当理解，可传递世界包含真实空间的持久数字表示，其在与物理空间的真实坐标相关地呈现虚拟和/或数字内容中被极其关键地利用。应当理解，AR系统可以保持现实世界和/或虚拟世界的坐标。在一些实施例中，第三方可以保持现实世界的地图(例如，坐标)，并且AR系统可以查阅地图以确定一个或多个参数，以便呈现与世界的真实对象相关的虚拟内容。
应当理解，可传递世界模型本身不向用户呈现显示的内容。相反，它是动态检索并更新云中真实世界的持久数字表示的高级概念。在一个或多个实施例中，导出的几何信息被加载到游戏引擎，该游戏引擎然后呈现与可传递世界相关联的内容。因此，不管用户是否在特定空间中，该特定空间在云中具有可由任何用户访问的数字表示。该可传递世界可以包含关于空间的物理几何关系和空间的图像的信息，关于占据空间的各种化身的信息，关于虚拟对象的信息以及其它杂项信息。
如在此进一步详细描述的，一个或多个对象识别器可以检查或“爬行”可传递世界模型，标记属于参数几何关系的点。参数几何关系、点和描述符可以封装到可传递世界模型中，以允许对应于物理世界或环境的一部分的信息的低延迟传递或通信。在一个或多个实施例中，AR系统可以实施两层结构，其中可传递世界模型允许在第一层中的快速姿态处理，但是在该框架内部是第二层(例如，FAST特征)。在一个或多个实施例中，第二层结构可以通过执行基于帧到帧的三维(3D)特征映射来增加分辨率。
图30示出通过对象识别器识别对象的示例方法3000。在3002处，当用户走进房间时，用户的个人AR系统从多个视点捕获关于用户的环境的信息(例如，图像、传感器信息、姿态标记的图像等)。在3004处，可以从一个或多个捕获的图像中提取一组3D点。例如，在用户走进房间的一部分时，用户的个人AR系统已经捕获了关于周围环境的大量的关键帧和姿态标记的图像(类似于图28中所示的实施例)。应当理解，在一个或多个实施例中，每个关键帧可以包括关于周围环境中的对象的深度和颜色的信息。
在一个或多个实施例中，对象识别器(本地或云中)可以使用图像分割技术来找到一个或多个对象。应当理解，不同的对象可以由它们自己的对象识别器识别，这些对象识别器已经由开发者编写并且被编程以识别该特定对象。为了说明的目的，以下示例将假定对象识别器识别门。对象识别器可以是自主和/或原子软件对象或“机器人”，其利用空间的姿态标记图像，包括从多个关键帧获取的关键帧和2D和3D特征点，并且使用该信息和空间的几何关系识别一个或多个对象(例如，门)。
应当理解，多个对象识别器可以在一组数据上同时运行，并且多个对象识别器可以彼此独立地运行。应当理解，对象识别器获取对象的2D图像(2D颜色信息等)、3D图像(深度信息)，并且还获取3D稀疏点来在世界的几何坐标系中识别对象。
接下来，在3006处，对象识别器可以将2D分割的图像特征与稀疏3D点相关，以使用2D/3D数据融合来导出对象结构和关于对象的一个或多个属性。例如，对象识别器可以识别门相对于关键帧的特定几何形状。接下来，在3008处，对象识别器参数化对象的几何形状。例如，对象识别器可以将语义信息附加到对象的几何基元(例如，门具有铰链，门可以旋转90度等)。或者，对象识别器可以减小门的尺寸，以匹配周围环境中的其余对象等。
在3010处，AR系统可以将对象的参数几何结构同步到云。接下来，在3012处，对象识别器可以将几何和参数信息重新插入到可传递世界模型中。例如，对象识别器可以动态地估计门的角度，并将其插入世界。因此，可以理解，使用对象识别器允许系统节省计算能力，因为对象识别器不是持续要求实时捕获关于门的角度或门的运动的信息，而是使用存储的参数信息以估计门的运动或角度。这允许系统基于个人AR系统的计算能力而独立地运行，而不必依赖于云服务器中的信息。应当理解，该信息可以被更新到云，并且发送到其它AR系统，以使得虚拟内容可以相对于所识别的门适当地显示。
如上面简要讨论的，对象识别器是摄取稀疏点(例如，不一定是密集点云)、姿态标记的图像和几何形状，并且产生具有语义附加的参数几何形状的原子自主软件和/或硬件模块。语义可以采取分类描述符的形式，例如“墙壁”、“椅子”、“椅子”以及与分类描述符相关联的属性或特性。例如，诸如桌子的分类描述符可以具有相关联的描述，诸如“具有可以支持其它对象的平坦水平表面”。给定本体，对象识别器将图像、点和可选地其它几何形状转换成具有含义(例如，语义)的几何形状。
由于个人AR系统旨在在真实世界环境中操作，所以点表示稀疏的统计相关的自然特征。与为了机器视觉识别的目的而添加(例如，印刷，刻写或标记)到对象的人工特征相反，自然特征是对象固有的那些特征(例如，边缘、孔)。这些点不一定需要对人类可见。应当理解，点不限于点特征，例如线特征和高维特征。
在一个或多个实施例中，对象识别器可以被分类为两种类型：类型1-基本对象(例如，墙壁、杯子、椅子)和类型2-详细对象(例如，椅子，我的墙壁等)。在一些实施方式中，类型1识别器在整个云上运行，而类型2识别器针对先前发现的类型1数据运行(例如，搜索所有椅子以寻找椅子)。在一个或多个实施例中，对象识别器可以使用对象的固有属性来促进对象识别。或者，在其它实施例中，对象识别器可以使用对象之间的本体论关系以便于实施方式。例如，对象识别器可以使用窗口可以“在”墙壁中的事实以便于识别窗口实例。
在一个或多个实施例中，对象识别器可以与一个或多个应用程序捆绑、合作或逻辑上相关联。例如，“杯子发现器”对象识别器可以与一个、两个或更多个应用程序相关联，其中识别物理空间中的杯子的存在将是有用的。例如，咖啡公司可以创建其自己的“杯子发现器”应用程序，其允许识别由咖啡公司提供的杯子。这可以允许递送与咖啡公司相关的虚拟内容/广告等，并且可以直接和/或间接地鼓励对咖啡公司的参与或兴趣。
应用程序可以与定义的可识别的可视数据或模型逻辑连接或相关联。例如，响应于在图像中检测到任何椅子，AR系统调用或执行来自椅子的制造商和/或销售商Herman Miller公司的应用程序。类似地，响应于在图像中检测到标志或徽标，AR系统调用或执行应用程序。
在另一示例中，AR系统可以利用通用墙壁发现器对象识别器的实例。通用墙壁发现器对象识别器识别图像信息中的墙壁的实例，而不考虑关于墙壁的细节。因此，通用墙壁发现器对象识别器可以识别构成图像数据中的墙壁的竖直取向的表面。AR系统还可以利用与通用墙壁发现器分离且不同的特定发现器对象识别器的实例。
特定墙壁发现器对象识别器识别构成图像数据中的墙壁并且具有超出通用墙壁的那些的一个或多个特定特征的竖直取向的表面。例如，给定的特定墙壁可以具有在限定位置中的一个或多个窗口，在限定位置中的一个或多个门，可以具有限定的涂料颜色，可以具有从墙壁悬挂的艺术品等，其在视觉上将特定墙壁与其它墙壁区分。这种特征允许特定墙壁发现器对象识别器识别特定墙壁。例如，特定墙壁发现器对象识别器的一个实例可以识别用户办公室的墙壁。特定墙壁发现器对象识别器的其它实例可以识别用户的客厅或卧室的相应墙壁。
特定对象识别器可独立于通用对象识别器。例如，特定墙壁发现器对象识别器可以完全独立于通用墙壁发现器对象识别器运行，而不利用由通用墙壁发现器对象识别器产生的任何信息。可替代地，可以针对先前由更通用的对象识别器找到的对象嵌套运行特定(例如，更精细)的对象识别器。例如，通用和/或特定的门发现器对象识别器可以针对由通用和/或特定墙壁发现器对象识别器找到的墙壁来运行，因为门必须在墙壁中。同样，通用和/或特定的窗口查找器对象识别器可以针对由通用和/或特定墙壁发现器对象识别器找到的墙壁运行，因为窗口必须在墙壁“中”。
在一个或多个实施例中，对象识别器可以不仅识别对象的存在或在场，而且还可以识别与该对象相关联的其它特性。例如，通用或特定的门发现器对象识别器可以识别门的类型，无论门是铰链的还是滑动的，铰链或滑动件位于何处，无论门是否当前处于打开或关闭位置，和/或门是透明的还是不透明的等。
如上所述，每个对象识别器是原子的，即对象识别器是自动的、自主的、异步的，并且本质上是黑盒软件对象。这允许对象识别器是社区构建的。开发者可以被激励构建对象识别器。例如，可以建立用于对象识别器的在线市场或收集点。可允许对象识别器开发者张贴对象识别器以用于链接或与由其它对象识别器或应用程序开发者开发的应用程序相关联。
可以类似地提供各种其它激励。还例如，可以基于对象识别器在逻辑上与应用程序相关联的次数和/或基于对象识别器逻辑上相关联的应用程序的分发的总数，向对象识别器开发者或作者提供激励。作为另一示例，可以基于逻辑上与对象识别器相关联的应用程序使用对象识别器的次数，向对象识别器开发者或作者提供激励。在一个或多个实施例中，激励可以是货币激励。在其它实施例中，激励可以包括提供对付费墙之后的服务或媒体的访问，和/或提供用于获取服务、媒体或商品的信用。
例如，可以实例化任何数量的不同的通用和/或特定对象识别器。一些实施例可能需要非常大量的通用和特定对象识别器。这些通用和/或特定的对象识别器都可以针对相同的数据运行。如上所述，一些对象识别器可以被嵌套，以使得它们基本上彼此叠置。
在一个或多个实施例中，控制程序可以控制各种对象识别器的选择、使用或操作，例如仲裁其使用或操作。一些对象识别器可以放置在不同的区域中，以确保对象识别器不彼此重叠。如上所述，对象识别器可以在个人AR系统的腰包处本地运行，或者可以在一个或多个云服务器上运行。
对象识别器的环形缓冲区
图31示出根据一个所示实施例的对象识别器的环形缓冲器3100。AR系统可以在环形拓扑中组织对象识别器，例如以实现低磁盘读取利用。各种对象识别器可以坐在环上或沿着环，全部平行地运行。在一个或多个实施例中，可传递世界模型数据(例如，墙壁、天花板、地板)可以穿过环。随着数据滚动，每个对象识别器收集与对象识别器识别的对象相关的数据。一些对象识别器可能需要收集大量的数据，而其它对象识别器可能只需要收集少量的数据。相应的对象识别器收集它们需要的任何数据，并以上述相同的方式返回结果。
在所示实施例中，可传递世界数据3116穿过环。顺时针开始，通用墙壁对象识别器3102可以首先在可传递世界数据3116上运行。通用墙壁对象识别器3102可以识别墙壁3118的实例。接下来，特定墙壁对象识别器3104可以在可传递世界数据3116上运行。类似地，桌子对象识别器3106和通用椅子对象识别器3108可以在可传递世界数据3116上运行。
特定对象识别器也可以在数据上运行，诸如成功识别Aeron椅子3120的实例的特定的对象识别器3110。在一个或多个实施例中，更大或更通用的对象识别器可以首先通过数据，而更小并且更精细细节的识别器可以在更大的数据完成之后运行通过数据。经过环，杯对象识别器3112和叉对象识别器3114可以在可传递世界数据3116上运行。
在可传递世界中的化身
作为可传递世界模型的扩展，不仅识别对象，而且可以识别真实世界的其他用户/人，并且可以将其呈现为虚拟对象。例如，如上所述，第一用户的朋友可以呈现为第一用户的AR系统处的化身。
在一些实施方式中，为了呈现适当地模仿用户的化身，用户可以例如通过运动通过所需或规定的运动集合来训练AR系统。作为响应，AR系统可以例如通过使化身动画化来生成其中化身复制运动的化身序列。因此，AR系统捕获或接收用户的图像，并且基于用户在捕获的图像中的运动来生成化身的动画。可以例如通过佩戴一个或多个传感器来对用户进行仪器装备(instrument)。在一个或多个实施例中，AR系统基于他/她的个人AR系统的各种传感器捕获的数据知道用户头部、眼睛和/或手部的姿态在哪里。
在一个或多个实施例中，AR系统可以允许用户“设置”化身并基于预定的运动和/或模式来“训练”化身。用户可以例如简单地为了训练目的而执行一些动作。在一个或多个实施例中，AR系统可以对用户身体的其余部分执行反向运动学分析，并且可以基于反向运动学分析来创建动画。
在一个或多个实施例中，可传递世界还可以包含关于居住于空间的各种化身的信息。应当理解，在一个实施例中，每个用户可以呈现为化身。或者，从远程地点操作单个AR系统的用户可以创建化身并且也数字地占据特定空间。在任一情况下，由于可传递世界不是静态数据结构，而是不断接收信息，所以化身呈现和用户到空间的远程存在可以基于用户与用户的个人AR系统的交互。因此，可以基于用户与他/她的单独的增强现实装置的交互来呈现化身，而不是基于捕获的关键帧(如由相机捕获的)不断地更新化身的运动。有利地，这减少了对个人AR系统从云中检索数据的需要，而是允许系统在个人AR系统本身上执行在化身动画中涉及的大量计算任务。
更具体地，用户的个人AR系统包含关于用户在空间中的头部姿态和取向的信息，关于用户的手部运动等的信息，关于用户的眼睛和眼睛注视的信息，关于由用户使用的任何图腾的信息。因此，用户的个人AR系统已经保存了关于在被发送到可传递世界模型的特定空间内的用户的交互的许多信息。然后，该信息可以可靠地用于为用户创建化身，并帮助化身与该空间的其他化身或用户通信。应当理解，在一个或多个实施例中，可以不需要第三方相机来动画化化身。相反，化身可以基于用户的个人AR系统而动画化，并且然后发送到云以由AR系统的其他用户观看/交互。
在一个或多个实施例中，AR系统通过AR系统的传感器捕获与用户有关的一组数据。例如，加速度计、陀螺仪、深度传感器、IR传感器、基于图像的相机等可以确定用户相对于头戴式系统的运动。该运动可以通过处理器计算并且通过一个或多个算法翻译以在选择的化身中产生类似的运动。在一个或多个实施例中，化身可以由用户选择。或者，在其它实施例中，化身可以简单地由正在观看化身的另一用户选择。或者，化身可以简单地是用户自身的虚拟的、实时的、动态的图像。
基于所捕获的关于用户的数据集(例如，运动、情绪、运动方向、运动速度、物理属性、身体部位相对于头部的运动等)，可以确定传感器(例如，个体AR系统的传感器)相对于用户的的姿态。该姿态(例如，位置和取向)允许系统确定从其捕获运动/数据集合的视点，以使得其可以被精确地平移/变换。基于该信息，AR系统可以确定与用户的运动(例如，通过向量)相关的一组参数，并用所计算的运动来动画化期望的化身。
任何类似的方法可以用于使化身动画化以模仿用户的运动。应当理解，用户的运动和化身的运动(例如，在正在另一用户的个人AR装置处显示的虚拟图像中)协调使得运动被捕获并且在尽可能少的时间内被传送到化身。理想地，在捕获的用户的运动与化身的动画之间的时间滞后应该是最小的。
例如，如果用户当前不在会议室，但是想要将化身插入到该空间中以参加会议室中的会议，则AR系统获取关于用户与他/她自己系统的交互的信息并且使用那些输入通过可传递世界模型将化身呈现到会议室中。可以呈现化身，以使得化身采取用户自己的图像的形式，以使得其看起来像用户自己正在参加会议。或者，基于用户的偏好，化身可以是用户选择的任何图像。例如，用户可以呈现他/她自己作为一只鸟在会议室的空间飞行。
同时，关于会议室的信息(例如，关键帧、点、姿态标记的图像、会议室中的人的化身信息、识别的对象等)可以作为虚拟内容呈现给目前不在会议室的用户。在物理空间中，系统可以捕获几何地配准的关键帧，然后可以从捕获的关键帧导出点。如前所述，基于这些点，系统可以计算姿态并且可以运行对象识别器，并且可以将参数几何结构重新插入到关键帧中，以使得关键帧的点还具有附加到它们的语义信息。因此，采用所有这些几何和语义信息，会议室现在可以与其他用户共享。例如，会议室场景可以呈现在用户的桌子上。因此，即使在会议室没有相机，使用通过先前的关键帧等收集的信息的可传递世界模型能够向其他用户发送关于会议室的信息并为在其它空间中的其他用户重建房间的几何形状。
拓扑图
可传递世界模型的不可缺少的组成部分是创建真实世界的非常微小区域的地图。例如，为了呈现与物理对象相关的虚拟内容，需要非常详细的定位。这种定位可能不能简单地通过GPS或传统的地点检测技术来实现。例如，AR系统不仅可以要求用户所在的物理地点的坐标，而且可以例如需要准确地知道用户位于建筑物的什么房间。基于该信息，AR系统可以检索该房间的数据(例如，房间中的真实对象的特定几何形状，房间的映射点，房间的几何信息等)，以相对于所识别的房间的真实对象适当地显示虚拟内容。然而，同时，这种精确的粒度定位可以以成本有效的方式进行，以免不必要地消耗太多的资源。
为此，AR系统可以使用拓扑图用于定位目的，而不是GPS或者检索从提取的点和姿态标记的图像创建的详细几何地图(例如，几何点可能太具体，且因此最昂贵)。在一个或多个实施例中，拓扑图是真实世界中的物理空间的简化表示，其易于从云访问，并且仅呈现空间的指纹以及各种空间之间的关系。关于拓扑图的进一步细节将在下面进一步提供。
在一个或多个实施例中，AR系统可以在可传递世界模型上层叠拓扑图，例如以定位节点。拓扑图可以在可传递世界模型上层叠各种类型的信息，例如：点云，图像，空间中的对象，全球定位系统(GPS)数据，Wi-Fi数据，直方图(例如房间的颜色直方图)，接收信号强度(RSS)数据等。这允许各种信息层(例如，更详细的信息层与更高级的层交互)放置在彼此的上下文中，以使得它可以容易获取。该信息可以被认为是指纹数据；换句话说，其被设计为足够特定以对于地点(例如，特定房间)是唯一的。
如上所述，为了创建可以在各个用户之间可靠地传递的完整的虚拟世界，AR系统捕获关于用户的周围环境的不同类型的信息(例如，映射点、特征、姿态标记的图像、场景等)。该信息被处理并存储在云中，以使得其可以根据需要被检索。如前所述，可传递世界模型是光栅图像、点和描述符云以及多边形/几何定义(在此称为参数几何)的组合。因此，应当理解，通过用户的个人AR系统捕获的信息的绝对量允许在创建虚拟世界时的高质量和准确性。
换句话说，由于各种AR系统(例如，用户特定的头戴式系统，基于房间的传感器系统等)不断地捕获对应于相应AR系统的直接环境的数据，可以以高度确定性知道在任何时间点关于真实世界的非常详细和准确的信息。虽然这些信息对于大量AR应用程序非常有用，但是为了定位目的，寻遍那么多的信息来找到与用户最相关的可传递世界是非常低效的并且花费宝贵的带宽。
为此，AR系统创建拓扑图，其本质上提供关于特定场景或特定地点的较小粒度的信息。在一个或多个实施例中，拓扑图可以通过全球定位系统(GPS)数据、Wi-Fi数据、直方图(例如房间的颜色直方图)、接收信号强度(RSS)数据等导出。例如，拓扑图可以由各种房间/区域/空间的直方图(例如，颜色直方图)创建，并且被缩小到拓扑图上的节点。例如，当用户走进房间或空间时，AR系统可以获取单个图像(或其它信息)并构建图像的颜色直方图。应当理解，在某种程度上，特定空间的直方图将随时间推移大体恒定(例如，墙壁的颜色、房间的对象的颜色等)。换句话说，每个房间或空间具有不同于任何其它房间或地方的不同的签名。该唯一直方图可以与其它空间/区域的其它直方图进行比较并且被识别。现在，AR系统知道用户在什么房间，可以容易地访问并下载剩余的粒度信息。
因此，尽管直方图将不包含关于已经被各种相机(关键帧)捕获的所有特征和点的特定信息，但是系统可以基于直方图立即检测用户在哪里，并且然后检索与该特定房间或地点相关联的所有更特定的几何信息。换句话说，不是寻遍包含该可传递世界模型的大量几何和参数信息，拓扑图允许快速且有效的方式来定位AR用户。基于该定位，AR系统检索与所识别的地点最相关的关键帧和点。例如，在系统已经确定用户在建筑物的会议室中之后，系统然后可以检索与会议室相关联的所有关键帧和点，而不是搜索存储在云中的所有几何信息。
现在参考图32，呈现拓扑图3200的示例实施例。如上所述，拓扑图3200可以是节点3202以及节点3202之间的连接3204(例如，由连接线表示)的集合。每个节点3202表示具有不同的签名或指纹(例如，GPS信息、颜色直方图或其它直方图、Wi-Fi数据、RSS数据等)的特定地点(例如，办公大楼的会议室)，并且线可表示它们之间的连接性。应当理解，连接性可以与地理连接性无关，而是可以简单地是共享装置或共享用户。例如，第一用户可能已经从第一节点走到第二节点。该关系可以通过节点之间的连接来表示。随着AR用户的数量的增加，节点和节点之间的连接也将成比例地增加，从而提供关于各种地点的更精确的信息。
一旦AR系统识别出拓扑图的节点，则系统可以检索与该节点相关的一组几何信息，以确定如何/在何处显示与该空间的真实对象相关的虚拟内容。因此，在几何图上层叠拓扑图特别有助于定位并高效地仅从云中检索相关信息。
在一个或多个实施例中，AR系统可以在图形理论上下文中将相应相机捕获的相同场景的一部分的两个图像表示为第一和第二姿态标记的图像。应当理解，在本上下文中的相机可以指拍摄不同场景的图像的单个相机，或者它可以是两个不同的相机。在姿态标记的图像之间存在一些连接强度，其可以例如是在两个相机的视场中的点。在一个或多个实施例中，基于云的计算机可以构造诸如图形(例如，类似于图32的几何世界的拓扑表示)。图形中的节点和边的总数远小于图像中的点的总数。
在更高的抽象级别，由AR系统监视的其它信息可以一起散列。例如，基于云的计算机可以将一个或多个全球定位系统(GPS)地点信息、Wi-Fi地点信息(例如，信号强度)、物理空间的颜色直方图和/或关于用户周围的物理对象的信息散列在一起。数据点越多，计算机在统计上具有该空间的唯一标识符的可能性越大。在这种情况下，空间是统计定义的概念。
作为示例，办公室可以是被表示为例如大量的点和两打姿态标记的图像的空间。相同的空间可以在拓扑上表示为仅具有一定数量的节点(例如，5，25，100，1000等)的图，其可以容易地被散列。图形理论允许表示连通性，例如作为两个空间之间算术地最短路径。
因此，系统通过将几何形状转换为具有隐式拓扑的姿态标记的图像来从特定几何形状中抽象。系统通过添加其它信息片段(例如颜色直方图分布和Wi-Fi信号强度)来使抽象级别更高。这使得系统更容易识别用户的实际真实世界地点，而不必理解或处理与该地点相关联的所有几何形状。
图33示出构建拓扑图的示例方法3300。首先，在3302处，用户的个人AR系统可以从特定地点的第一视点捕获图像(例如，用户走进建筑物的房间，并且从该视点捕获图像)。在3304处，可以基于捕获的图像生成颜色直方图。如前所述，系统可以使用任何其它类型的识别信息(例如，Wi-Fi数据、RSS信息、GPS数据、窗口数量等)，但是在该示例中使用颜色直方图用于说明的目的。
接下来，在3306处，系统通过将颜色直方图与存储在云中的颜色直方图的数据库进行比较来运行搜索以识别用户的地点。在3310处，做出确定颜色直方图是否与存储在云中的现有颜色直方图匹配的决定。如果颜色直方图不匹配颜色直方图数据库中的任何颜色直方图，则其可以被存储为拓扑图中的节点3314。如果颜色直方图与数据库的现有颜色直方图匹配，则将其存储为云中的节点3312。如果颜色直方图与数据库中的现有颜色直方图匹配，则识别该地点，并且将适当的几何信息提供给个人AR系统。
继续相同的示例，用户可以走进另一个房间或另一个地点，其中用户的个人AR系统拍摄另一个图片并且生成另一个地点的另一个颜色直方图。如果颜色直方图与先前颜色直方图或任何其它颜色直方图相同，则AR系统识别用户的地点。如果颜色直方图不同于存储的直方图，则在拓扑图上创建另一个节点。另外，由于第一节点和第二节点由相同用户(或相同的相机/相同的个体用户系统)拍摄，所以两个节点在拓扑图中连接。
在一个或多个实施例中，AR系统可以利用网状联网定位。个人AR系统具有关于位置的本地知识。这允许明确地构造拓扑图，其中连接通过距离加权，如上所述。这允许用户通过AR系统的最优网状网络算法。因此，AR系统可以基于其已知的绝对姿态来优化移动通信路由。除了机器视觉之外，AR系统还可以使用超宽带(UWB)通信基础设施用于通信和定位。
除了帮助定位之外，拓扑图还可以用于改善/修复几何图中的错误和/或丢失信息。在一个或多个实施例中，拓扑图可以用于在特定地点的几何图或几何配置中找到环闭合应力。如上所述，对于任何给定的地点或空间，由一个或多个AR系统(由一个用户的个人AR系统或多个用户的AR系统捕获的多个视场图像)拍摄的图像产生大量的特定空间的映射点。例如，单个房间可以对应于通过各种相机的多个视点(或移动到各种位置的一个相机)捕获的数千个映射点。
如上所述，AR系统利用映射点来识别对象(通过对象识别器)，并且添加到可传递世界模型以便存储真实世界的各种对象的几何形状的更全面的图片。在一个或多个实施例中，从各种关键帧导出的映射点可以用于对捕获图像的相机的姿态和取向进行三角测量。换句话说，所收集的映射点可以用于估计捕获图像的关键帧(例如，相机)的姿态(例如，位置和取向)。
然而，应当理解，给定大量的映射点和关键帧，在基于映射点的关键帧位置的计算中肯定存在一些误差(例如，应力)。为了解决这些应力，AR系统可以执行束调节。束调节允许精细化或者优化映射点和关键帧以最小化几何图中的应力。
例如，如在图34中所示，呈现了示例几何图。如在图34中所示，几何图可以是都彼此连接的关键帧3402的集合。关键帧3402可以表示从其导出几何图的各种映射点的视点。在所示实施例中，几何图的每个节点表示关键帧(例如，相机)，并且各个关键帧通过连接线3404彼此连接。
在所示实施例中，不同关键帧之间的连接的强度由连接线3404的粗细表示。例如，如在图34中所示，与节点3402a和节点3402f之间的连接线相比，节点3402a和3402b之间的连接线被描绘为较粗的连接线3404。节点3402a和节点3402d之间的连接线也描绘为比3402b和节点3402d之间的连接线更粗。在一个或多个实施例中，连接线的粗细表示在它们之间共享的特征或映射点的数量。例如，如果第一关键帧和第二关键帧靠近在一起，则它们可以共享大量的映射点(例如，节点3402a和节点3402b)，并且因此可以用较粗的连接线来表示。当然，应当理解，可以类似地使用表示几何图的其它方式。
例如，在另一个实施例中，线的强度可以基于关键帧之间的地理接近度。因此，如在图34中所示，每个几何图表示大量的关键帧3402及其彼此的连接。现在，假设在几何图的特定点中识别出应力，可以执行束调节以通过将应力径向地从所识别的应力点3406径向推出而减轻应力。应力在从应力点传播的波3408(例如，n＝1，n＝2等)中被径向推出，如下面将进一步详细描述的。
以下描述示出执行波传播束调节的示例方法。应当理解，下面的所有示例仅仅涉及波传播束调节，并且在其它实施例中可以类似地使用其它类型的束调节。首先，识别特定的应力点。在图34的所示实施例中，考虑中心(节点3402a)是识别的应力点。例如，系统可以确定几何图的特定点处的应力特别高(例如，残余误差等)。可以基于两个原因中的一个原因来识别应力。第一，可以为几何图定义最大残余误差。如果在特定点处的残余误差大于预定义的最大残余误差，则可以启动束调节。第二，在环闭合应力的情况下，可以启动束调节，如下面将进一步描述的(当拓扑图指示映射点的失准时)。
当识别出应力时，AR系统均匀地分布误差，从应力点开始，并且径向地通过包围特定应力点的节点网络传播该应力。例如，在所示实施例中，束调节可以将误差分布在所识别的应力点周围的n＝1(与所识别的应力点(节点3402a)的一个分离度)。在所示实施例中，节点3402b-3402g都是应力点(节点3402a)周围的n＝1波的一部分。
在一些情况下，这可能是足够的。在其它实施例中，AR系统可以进一步传播应力，并且将应力推出到n＝2(与识别的应力点(节点3402a)的两个分离度)，或者n＝3(与识别的应力点(节点3402a)的三个分离度)，以使得应力被进一步径向推出，并进一步直到应力均匀分布。因此，执行束调节是减少几何图中的应力的重要方式。理想地，应力被推出到n＝2或n＝3以获得更好的结果。
在一个或多个实施例中，波可以以甚至更小的增量传播。例如，在波被围绕应力点推出到n＝2之后，可以在n＝3和n＝2之间的区域中执行束调节，并且径向传播。通过控制波增量，该迭代波传播束调节过程可以对大量数据运行以减小系统上的应力。在可选实施例中，因为每个波是唯一的，所以已经被波触摸的节点(例如，调节的束)可以被着色，以使得波不在几何图的已调节部分上重新传播。在另一实施例中，节点可以被着色，以使得同时的波可以从几何图中的不同点传播/发起。
如前所述，在关键帧和映射点的几何图上将拓扑图分层对于找到环闭合应力可能是特别重要的。环闭合应力是指在应该对准但是未对准的不同时间捕获的映射点之间的差异。例如，如果用户围绕街区行走并返回到相同的位置，则从所收集的映射点外推的从第一关键帧的位置导出的映射点和从最后关键帧的位置导出的映射点理想地应该是相同的。然而，给定基于不同映射点的姿态(关键帧的位置)的计算中固有的应力，常常存在错误，并且系统不能识别用户已经回到相同位置，因为来自第一关键帧的估计关键点与从最后关键帧导出的映射点几何上不对准。这可以是环闭合应力的示例。
为此，拓扑图可以用于找到几何图中的环闭合应力。返回参考前面的示例，使用拓扑图连同几何图允许AR系统识别几何图中的环闭合应力，因为拓扑图可以指示用户已经回到起始点(基于例如颜色直方图)。例如，参考图35的分层地图3500，拓扑图(例如，3504a和3504b)的节点被层叠在几何图(例如，3502a-3502f)的节点的顶部。如在图16中所示，当放置在几何图的顶部时，拓扑图可以表明关键帧B(节点3502g)与关键帧A(节点3502a)相同。基于此，可以检测到环闭合应力，系统检测关键帧A和B应该在相同节点中更靠近在一起，并且系统然后可以执行束调节。因此，已经识别出环闭合应力，AR系统然后可以使用束调节技术(诸如上面讨论的束调节技术)对识别的应力点执行束调节。
应当理解，基于拓扑图和几何图的层叠执行束调节确保系统仅检索需要执行束调节的关键帧，而不是检索系统中的所有关键帧。例如，如果AR系统基于拓扑图识别存在环闭合应力，则系统可以简单地检索与拓扑图的特定一个节点或多个节点相关联的关键帧，并且仅对那些关键帧而不是几何图的所有关键帧执行束调节。再次地，这允许系统是高效的，并且不检索可能不必要地使系统负担的不必要的信息。
现在参考图36，描述了用于基于拓扑图来校正环闭合应力的示例方法3600。在3602处，系统可以基于层叠在几何图的顶部的拓扑图来识别环闭合应力。一旦已经识别环闭合应力，则在3604处，系统可以检索与拓扑图的节点相关联的关键帧集合，在该集合处发生了环闭合应力。在已经检索到拓扑图的该节点的关键帧之后，系统可以在3606处在几何图中的该点上启动束调节。在3608处，应力离开所识别的应力点传播并且在波中径向分布到n＝1(然后n＝2，n＝3等)，类似于图34中所示的技术。
在映射虚拟世界的过程中，重要的是知道真实世界中的所有特征和点以精确地描绘与真实世界相关的虚拟对象。为此，如上所述，从各种头部佩戴AR系统捕获的映射点通过添加传达关于真实世界的各种点和特征的信息的新图片而不断地添加到可传递世界模型中。基于点和特征，如上所述，还可以外推关键帧(例如，相机等)的姿态和位置。虽然这允许AR系统收集一组特征(2D点)和映射点(3D点)，但是找到新的特征和映射点以呈现可传递世界的更精确版本可能也是重要的。
找到新的映射点和/或特征的一种方法可以是将一个图像的特征与另一个图像的特征进行比较。每个特征可以具有附加到它的标签或特征描述符(例如，颜色、标识符等)。将一个图片中的特征的标签与另一个图片进行比较可以是唯一地识别环境中的自然特征的一种方式。例如，如果存在两个关键帧，每个关键帧捕获大约500个特征，则将一个关键帧的特征与另一个关键帧进行比较可以帮助确定新的映射点。然而，尽管当仅存在两个关键帧时这可能是可行的解决方案，但是当存在多个关键帧时，其成为占据了很多处理能力的非常大的搜索问题，其中每个关键帧捕获数百万个点。换句话说，如果存在M个关键帧，每个关键帧具有N个不匹配的特征，则搜索新特征涉及MN2(O(MN2))的操作。不幸的是，这是一个非常大的搜索操作。
找到避免这种大的搜索操作的新点的一种方法是通过呈现而不是搜索。换句话说，假设M个关键帧的位置是已知的并且它们中的每一个具有N个点，AR系统可以从N个特征向M个关键帧投影线(或锥体)，以对各个2D点的3D位置进行三角测量。现在参考图37，在该特定示例中，存在6个关键帧3702，并且从6个关键帧到从相应关键帧导出的点3704呈现(使用图形卡)线或光线。在一个或多个实施例中，可以基于所呈现的线的交点来确定新的3D映射点。换句话说，当两条呈现的线相交时，3D空间中的该特定映射点的像素坐标可以是2而不是1或0。因此，在特定点处的线的交点越高，存在与3D空间中的特定特征相对应的映射点的可能性越高。在一个或多个实施例中，如在图37中所示，该相交方法可以用于在3D空间中找到新的映射点。
应当理解，为了优化目的，不是从关键帧呈现线，而是可以从关键帧呈现三角锥以获得更准确的结果。三角锥被投影，以使得对N特征(例如，3704)的呈现线表示三角锥的平分线，并且锥体的侧边投影在第N个特征的任一侧。在一个或多个实施例中，到两个侧边缘的半角可以由相机的像素间距限定，该像素间距贯穿第N个特征的任一侧上的透镜映射函数。
锥体的内部可以是阴影的，以使得平分线是最亮的，并且第N个特征的任一侧上的边缘可以被设置为0。相机缓冲器可以是求和缓冲器，以使得亮点可以表示新特征的候选地点，但考虑到相机分辨率和镜头校准二者。换句话说，投影锥体而不是线可以帮助补偿这样的事实，即某些关键帧比可以在更近的距离处捕获特征的其它关键帧更远。在该方法中，从更远离的关键帧呈现的三角锥将比从更近的关键帧呈现的三角锥更大(并且具有大的半径)。可以应用求和缓冲器以便确定3D映射点(例如，地图的最亮点可以表示新的映射点)。
基本上，AR系统可以将来自M个在前关键帧中的N个不匹配特征的光线或锥体投影到M+1个关键帧的纹理中，其编码了关键帧标识符和特征标识符。AR系统可以从当前关键帧中的特征构建另一纹理，并且用第二纹理掩蔽第一纹理。所有颜色是搜索约束的候选配对。该方法有利地将对约束的O(MN2)搜索转换为O(MN)呈现，随后是小的O((<M)N(<<n))搜索。
在另一种方法中，可以通过选择从其查看现有N个特征的虚拟关键帧来确定新的映射点。换句话说，AR系统可以选择从其中查看映射点的虚拟关键帧。例如，AR系统可以使用上述关键帧投影，但是基于M个关键帧的法线的PCA(主分量分析)选择新的“关键帧”，从该M个关键帧中寻找{M，N}个标签(例如，PCA导出的关键帧将给出从其导出标签的最优视图)。
在现有M个关键帧上执行PCA提供了与现有M个关键帧最正交的新关键帧。因此，将虚拟关键帧定位在最正交方向可以提供从其中在3D空间中找到新的映射点的最优视点。执行另一个PCA提供下一个最正交的方向，并且执行再一个PCA提供再一个正交方向。因此，可以理解，执行3个PCA可以在3D空间中提供x、y和z坐标，从该坐标中基于具有N个特征的现有M个关键帧来构建映射点。
图38描述了用于从M个已知关键帧确定映射点的示例方法3800。首先，在3802处，AR系统检索与特定空间相关联的M个关键帧。如上所述，M个关键帧指的是已捕获特定空间的已知关键帧。接下来，在3804处，执行关键帧的法线的PCA，以找到M个关键帧的最正交方向。应当理解，PCA可以产生三个主体，每个主体与M个关键帧正交。接下来，在3806处，AR系统选择在3D空间中最小的、并且也是与所有M个关键帧的视图最正交的主体。
在3808处，在已经识别了与关键帧正交的主体之后，可以沿着所选择的主体的轴放置虚拟关键帧。在一个或多个实施例中，虚拟关键帧可以放置得足够远以使得其视场包括所有M个关键帧。
接下来，在3810处，AR系统可以呈现特征缓冲器，以使得从M个关键帧中的每一个到第N个特征呈现光线(或锥体)。特征缓冲器可以是求和缓冲器，以使得亮点(线N线已经相交的像素坐标)表示N个特征的候选地点。应当理解，可以用所有三个PCA轴重复上述相同的过程，以使得在x、y和z轴上找到映射点。
接下来，在3812处，系统可将图像中的所有亮点存储为虚拟“特征”。接下来，在3814处，可以在虚拟关键帧处创建第二“标签”缓冲器以堆叠线(或锥体)并保存它们的{M，N}标签。接下来，在3816处，可以在特征缓冲器中的每个亮点周围绘制“掩模半径”。应当理解，掩模半径表示虚拟相机的角度像素误差。AR系统可以在每个亮点周围填充所得到的圆圈，并且用所得到的二值图像来掩蔽标签缓冲器。在可选实施例中，可以通过应用梯度滤波器来填充圆圈，以使得圆圈的中心是亮的，但是在圆圈的外围亮度渐变至零。
在现在掩蔽的标签缓冲器中，可以使用每个三角形的{M，N}元组标签来收集主光线。应当理解，如果使用锥体/三角形而不是光线，则AR系统可以仅收集其中在圆形内部捕获三角形的两侧的三角形。因此，掩模半径基本上用作消除不良条件的光线或具有大发散度(例如，在视场(FOV)边缘处的光线或从远处发出的光线)的光线的滤光器。
为了优化目的，可以用与先前在生成的锥体/三角形中使用的阴影相同的阴影来呈现标签缓冲器。在另一个可选的优化实施例中，三角形密度可以从1缩放到0，而不是检查三角形的范围(边)。因此，非常发散的光线将有效地提高掩蔽区域内的本底噪声。在标记内部运行局部阈值检测将只从完全在标记内的那些光线不重要地拉出重心。
在3818处，掩蔽/优化的光线m的集合可以馈送到束调节器以估计和/或校正新确定的映射点的地点。应当理解，该系统在功能上限于所采用的呈现缓冲器的大小。例如，如果关键帧较远地分离，则所得到的光线/锥体将具有较低的分辨率。
在替代实施例中，不是使用PCA分析来找到正交方向，而是将虚拟关键帧放置在M个关键帧中的一个关键帧的地点处。这可以是更简单和更有效的解决方案，因为M个关键帧可能已经以相机的最优分辨率捕获了空间。如果使用PCA找到放置虚拟关键帧的正交方向，则通过沿每个PCA轴放置虚拟相机并在每个轴中找到映射点来重复上述过程。
在寻找新的映射点的又一示例方法中，AR系统可以假设新的映射点。AR系统可以从M个关键帧上的PCA分析中检索前三个主分量。接下来，可以在每个主分量处放置虚拟关键帧。接下来，可以精确地如上所述在三个虚拟关键帧中的每一个虚拟关键帧处呈现特征缓冲器。由于主分量被定义为彼此正交，所以从每个相机向外抽取的光线可以在3D空间中的一点处彼此击中。
应当理解，在一些情况下可以存在多个光线交点。因此，在每个虚拟关键帧中现在可以存在N个特征。接下来，可使用几何算法找到不同光线之间的交点。该几何算法可以是恒定时间算法，因为可能存在N3个光线。可以以与上述相同的方式执行掩蔽和优化以在3D空间中找到映射点。
在一个或多个实施例中，AR系统可以将分离的小世界模型段缝合成更大的连贯段。这可能发生在两个层面上：小模型和大模型。小模型对应于本地用户级别(例如，在计算部件例如腰包上)。另一方面，大模型对应于用于“整个世界”建模的大规模或系统级别(例如，云系统)。这可以实现为可传递世界模型概念的一部分。
例如，由第一用户佩戴的个人AR系统捕获关于第一办公室的信息，而由第二用户佩戴的个人AR系统捕获关于与第一办公室不同的第二办公室的信息。捕获的信息可以传递到基于云的计算机，其最终构建由携带个人AR装置走动的各个用户采样或收集的真实空间的全面一致的表示。基于云的计算机随着时间推移通过使用而逐渐建立可传递世界模型。预计将建立不同的地理地点，主要集中在人口中心，但最终填补更乡村的地区。
基于云的计算机可以例如对房间中的所有自然特征以及具有图片的地方的GPS、Wi-Fi、房间颜色直方图和缓存执行散列，并且生成作为事物联系的拓扑的拓扑图，如上所述。基于云的计算机可以使用拓扑来识别在哪里将区域缝合在一起。可替代地，基于云的计算机可以使用特征(例如，拓扑图)的散列，例如识别与另一地方中的几何配置匹配的一个地方中的几何配置。
在一个或多个实施例中，AR系统可以同时或同行地采用单独的遮挡、深度和颜色显示或呈现。
例如，个人AR系统可以具有给出空间色彩和空间背光的颜色呈现模块(例如，LCD、DLP、LCOS、光纤扫描器投影仪等)，其可以选择性地照亮颜色机制的部分。在一个或多个实施例中，个人AR系统可以利用时间序列方法。例如，个人AR系统可以产生或加载一个彩色图像，然后步进通过图像的不同区域并选择性地照亮区域。
结合选择性照明，个人AR系统可操作改变光的实际感知深度的可变焦点元件。可变焦点元件可以例如与背光同步地形成波前。个人AR系统可以呈现颜色，例如以每秒60帧。对于那些帧中的每一个，个人AR系统可以具有在选择性地照亮背景的一部分的该时间段期间呈现的六个帧。个人AR系统在60秒内呈现背景中的所有光。该方法有利地允许在不同深度处呈现图像的各个片段。
最常见的是，人的头部面向前方。AR系统可以使用识别用户头部指向的方向的低通滤波器和/或通过检测相对于真实世界或周围环境的运动来推断臀部取向。在一个或多个实施例中，AR系统可以另外或可替代地利用手部的取向的知识。在这些身体部位与臀部地点和/或臀部取向之间存在统计相关性。因此，AR系统可以在不使用仪器来检测臀部取向的情况下推断臀部坐标系。
在一个或多个实施例中，AR系统可以使用臀部坐标系作为虚拟内容呈现的虚拟坐标系。这可能构成最普通的类。AR系统可以如主屏幕(例如，在用户视图的一部分上呈现的社交网络屏幕，在用户视图的另一部分上呈现的视频屏幕等)呈现臀部坐标系周围的虚拟对象。
在以世界为中心的坐标系中，虚拟内容(例如，虚拟对象、虚拟工具和其它虚拟构造，例如应用、特征、字符、文本和其它符号)相对于真实世界的对象是固定的，而不是固定到围绕用户取向的坐标系。
在一些实施方式中，AR系统将多个级别的深度数据混合到单个彩色帧中，例如利用LCD显示器的定时特性。例如，AR系统可以将六个深度层数据包装到一个单个红/绿/蓝(RGB)帧中。
颜色空间中的深度可以通过例如通过在颜色空间中对Z缓冲器编码来操纵深度帧来实现。AR系统可以将深度平面编码为各个颜色通道中的层掩模。
在一个或多个实施例中，这可以使用标准图形卡创建定制着色器来实现，该定制着色器呈现具有RGB帧和z距离的单个帧。因此，编码的z缓冲器可以用于生成体积信息并确定图像的深度。硬件部件可以用于解释帧缓冲器和编码的z缓冲器。这意味着硬件和软件部分是完全抽象的，并且在软件和硬件部分之间存在最小的耦合。
AR系统可以将虚拟内容锁定到各种参考系，如上所述。例如，在AR系统包括头部佩戴部件的情况下，视图锁定参考头戴式(HMD)系可能是有用的。也就是说，参考系保持锁定到头部的参考系，随着头部的运动而转动和/或倾斜。身体锁定参考系锁定到身体的参考系，基本上随着用户身体的运动而运动(例如，平移、旋转)。世界锁定的参考系固定到环境的参考系并且在环境内保持静止。例如，世界锁定的参考系可以固定到房间、墙壁或桌子。
在一些实施方式中，AR系统可以呈现具有锁定到两个或更多个参考系中的相应一个的部分的虚拟内容。例如，AR系统可以使用两个或多个嵌套参考系呈现虚拟内容。例如，AR系统可以利用球形范例。作为示例，延伸到第一径向距离的最内球形可以锁定到头部或视图参考系。在最内球体的径向外侧，中间球体(例如略微小于臂长度)可以锁定到身体参考系。在中间球体的径向外侧，外部或最外部球体(例如，全臂延伸部)可以锁定到世界参考系。
如前所述，AR系统可以统计地或以其它方式推断身体或其部分(例如，臀部、手部)的实际姿态。例如，AR系统可以选择或使用用户的臀部作为坐标系。AR系统统计地推断臀部在哪里(例如，位置、取向)并且将该姿态视为持久坐标系。当用户移动其头部(例如，旋转、倾斜)时，AR系统呈现锁定到用户的臀部的姿态的虚拟内容(例如，虚拟对象、虚拟工具和其它虚拟构造，例如应用、特征、字符、文本、数字和其它符号)。这可以有利地显著地增加虚拟视场。如果用户移动他们的头部来环视，则用户可以看到绑在用户身体周围的虚拟内容。也就是说，AR系统可以使用以身体为中心的坐标系来呈现，例如相对于臀部坐标系呈现虚拟内容，并且无论用户的头部如何移动，虚拟内容都保持锁定在用户的视场中。
预测头模型
在一个或多个实施例中，AR系统可以使用来自实际特征跟踪器、陀螺仪、加速度计、罗盘和其它传感器中的一个或多个的信息来预测头部运动方向、速度和/或加速度。对呈现引擎来说，呈现虚拟内容的帧需要一定的时间。AR系统可以使用各种结构或部件来呈现虚拟内容的帧。例如，AR系统可以利用光纤扫描投影仪。可替代地，AR系统可以利用低持久性显示。AR系统可以例如通过背光引起帧的闪烁。AR系统可以使用LCD，例如，用非常明亮的背光快速地闪烁LCD，以实现不通过光栅化扫描的极低持久性显示。换句话说，AR系统使像素成列，并且然后用非常亮的光在非常短的持续时间内使LCD闪烁。
在一些实施方式中，AR系统可以将帧呈现到世界坐标系，允许帧扫描投影仪(FSP)在世界坐标中扫描并对帧采样。关于预测头模型的进一步细节在代理人案卷号为20006.00的2014年3月14日提交的标题为“DISPLAY SYSTEMS AND METHOD”的美国专利申请序列号14/212,961中公开。
环境光有时对于AR系统是一个问题，因为其可能影响虚拟内容到用户的投影的质量。通常，AR系统对环境光的进入很少或没有控制。因此，在现实世界环境中使用AR系统的情况下，通常很少或者没有控制周围环境如何出现。例如，在整个场景上的环境光条件可能是过亮或过暗。还例如，光强度在整个场景中可能变化很大。此外，对场景中出现的物理对象很少或没有控制，其中一些可以是光源(例如，照明器、窗口)或反射源。这可能导致呈现的虚拟内容(例如，虚拟对象、虚拟工具和其它虚拟构造，例如应用、特征、字符、文本和其它符号)难以被AR用户察觉。
在一个或多个实施例中，AR系统可以自动识别周围环境中相对较暗和/或相对较亮的区域。基于所识别的黑暗和/或明亮区域，AR系统可以在AR用户的视场中相对暗的地方呈现虚拟内容(例如，虚拟文本、数字或其它符号)，以便解决遮挡问题。这样，AR系统以这种方式呈现虚拟内容，使得虚拟内容鉴于周围环境对AR用户是最可见的。
在一个或多个实施例中，AR系统可以另外或可替代地至少部分地基于特定周围环境的一个或多个特性来优化呈现的虚拟内容。在一些实施例中，AR系统可以呈现虚拟内容以适应周围环境的各方面。例如，如果墙壁相对较浅，则AR系统可以呈现将作为深色文本在门上叠加出现的文本。或者，在另一种情况下，可以基于周围环境的检测到的光来动态地改变(例如，变暗、变亮等)虚拟内容。
通常，AR系统难以呈现黑色。然而，AR系统可以能够呈现白色或其它颜色。如果场景包括白色物理墙壁，则AR系统将呈现可以在白色背景上看到的文本、数字和/或其它符号。例如，AR系统可以呈现关于文本、数字或其它符号的颜色光晕，从而允许白色墙壁发光。如果场景包括黑色或暗色墙壁，则AR系统可以以相对较浅的颜色再现文本、数字、其它符号。因此，AR系统基于环境背景的特性调节正在呈现的内容的视觉属性。
基于图像的照明解决方案
为了在增强现实中在虚拟内容(例如，虚拟对象、虚拟工具和其它虚拟构造，例如应用、特征、字符、文本、数字和其它符号)中创建令人信服的现实主义，有利的是模拟入射到环境的照明系统，在该环境中该照明系统被叠加。经典的朗伯照明模型不以人们习惯于在真实的自然世界中看到的方式照亮对象。在现实世界环境中的照明是复杂的系统，其在整个空间不断地和连续地改变，在强度和颜色的剧烈对比和微妙的细微差别二者上都是丰富的。眼睛习惯于在现实世界中看到这一点。朗伯照明模型没有捕获这些细微差别，并且人类视觉感知系统注意到缺失的照明效果，从而破坏了现实主义的幻觉。
在一个或多个实施例中，称为基于图像的照明(IBL)的技术可以有效地创建计算机图形(CG)中的真实性。IBL不尝试以辐射度解决方案的方式计算复杂的照明系统，而是采用光探测器以摄影方式捕获真实世界的照明。称为“银球光探针”技术的技术在捕获向观察者反射的复合色方面是有效的；然而360度相机能够捕获整个环境的数据的更高保真度，从而创建更加令人信服的光照图(light map)。
在一个或多个实施例中，IBL技术可以用于呈现看起来与真实对象不可区分的虚拟内容。诸如的建模包利用IBL光照图库，用户可以从中选择照亮特定的虚拟场景。用户从库中选择看起来与场景的内容一致的光照图。因此，可以从IBL创建真实性，而无需光照图与在其中使用光照图的环境相同，如果光照图简单地类似于环境的话。这表明，人类视觉感知系统期望在对象上看到的是照明中的微妙的细微差别。如果这些细微差别与环境不一致，它们可能会干扰创建现实的幻觉。
在AR系统中利用IBL的一种解决方案是提供通过摄影创建的样本光照图的大量库，其覆盖许多不同的环境以包含各种各样的潜在情况。每个光照图可以与特定于所识别的情况的各种光参数相关联。光照图可以存储在云中并且根据需要被引用以照亮各种物品或虚拟内容的实例。在这种实施方式中，对于特定真实世界环境的光照图的自动选择将是有利的。
用户的个人AR系统已经配备有一个或多个相机(例如，面向外的相机)，并且对用户所处的环境进行摄影采样。AR系统可以使用捕获的图像数据作为图选择标准。来自相机的样品可以用于启发式地搜索光照图的库，并且找到最接近的近似光照图。AR系统可以使用各种参数，例如频率数据、调色板、动态范围等。AR系统可以将捕获的视觉数据的参数与库光照图比较，并找到具有最小误差的光照图。
现在参考图39，提供了选择适当光照图的示例方法3900。在3902处，用户的个人AR系统通过用户的相机捕获周围环境的图像。接下来，系统选择捕获的图像数据的至少一个参数以与光照图库进行比较。例如，系统可以将捕获的图像的调色板与光照图库比较。在3904处，系统将捕获的图像的参数与光照图的参数比较，确定参数的最接近的近似(3906)，并选择具有最接近近似的光照图(3908)。在3910处，系统选择最接近的近似，并且基于所选择的光照图来呈现虚拟对象。
可替代地或另外，可使用利用人工神经网络的选择技术。AR系统可以使用在光照图的集合或库上训练的神经网络。神经网络使用选择标准数据作为输入，并且产生光照图选择作为输出。在对库训练神经网络之后，AR系统将来自用户的相机的真实世界数据呈现给神经网络，并且神经网络立即或实时地选择来自库的具有最小误差的光照图。
该方法还可以允许修改光照图。不管选择是启发式还是使用神经网络，选择的光照图将与标准数据中的输入样本相比具有误差。如果所选择的光照图例如在频率数据和动态范围中接近，但是调色板包含过多的误差，则AR系统可以修改调色板以更好地与真实世界采样数据的调色板对准，并且可以从新的成分数据构建修改的光照图。
AR系统还可以组合来自被识别为近解的多个光照图的数据以产生新构造的光照图。在一个或多个实施例中，AR系统然后可以将新构建的图存储为库中的新条目以供将来选择。如果使用神经网络选择，则这将需要在增强集或库上重新训练云中的神经网络。然而，重新训练可以是简短的，因为新的添加可能仅需要对神经网络利用的一个或多个网络权重进行微小调节。
图40示出用于创建光照图的示例方法4000。首先，在4002处，用户的个人AR系统通过用户的相机捕获周围环境的图像。接下来，系统选择捕获的图像数据的至少一个参数以与光照图库进行比较。例如，系统可以将捕获的图像的调色板与光照图的库进行比较。接下来，在4004处，系统将捕获的图像的参数与光照图的参数进行比较，确定参数的一个或多个最接近近似(4006)，并且选择与最接近的近似对应的光照图。
例如，可以基于从捕获的图像检测的光强度来选择光照图。或者，光照图可以比较图像中的亮度或亮度梯度或亮度图案，并使用该信息来选择最接近的近似。在4008处，系统通过组合所选择的光照图的参数来构建新的光照图。接下来，在4010处，将新的光照图添加到光照图库中。
为IBL应用提供适当的光照图的另一种方法是使用用户的AR装置(例如，头部佩戴部件)本身作为光探针以从头创建IBL光照图。如前所述，该装置配备有一个或多个相机。相机可以被布置和/或取向成捕获整个360度环境的图像，其可以用于原位创建可用的光照图。无论是使用360度相机还是将狭窄角度相机阵列缝合在一起，AR系统都可以用作光探针，实时操作以捕获实际环境的光照图，而不仅仅是环境的近似。
尽管捕获的光照图以用户的位置为中心，但是可以足以创建“令人信服的”对象光照图。在这种情况下，误差与其受到的检查水平成反比。也就是说，使用以用户为中心的光照图，远处的对象将显示大量的误差，但是由于距离眼睛的距离相对较大，用户的视觉感知系统将处于较差的位置来检测该误差。然而，用户越靠近对象，用户的视觉感知系统越敏锐地检测误差，而同时，光照图将更准确，因为用户的头接近对象的位置。虽然这在许多情况下可能是足够的，但是下面讨论解决该误差的技术。
在一个或多个实施例中，AR系统(例如，基于云的计算机，单独的计算部件)可以将变换应用于以用户为中心的光照图，其将以用户为中心的光照图投影为合适的对象中心光照图，从而减少或消除平移偏移的误差。如图41中示意性所示，一种技术将以用户为中心的光照图建模为以用户4120为中心的适当半径(可能类似于房间的大小)的经典球体4124。另一个球体4126围绕待点亮的对象4122建模，其半径适合在以用户为中心的球体4124内。来自以用户为中心的球体4124的数据然后从对象4122的视点投影到以对象为中心的球体4126上，从而创建新的光照图。光线投射(ray casting)将用于此投影。可替代地，可以利用数值方法。这种变换将以用户为中心的光照图变换为从对象的视点看更加准确。
然后修改颜色强度以根据对象的偏移位置调节距离衰减。令att(x)是光衰减函数，其中x是从光到观察者的距离。以用户为中心的光照图的给定纹素的强度表示为Im＝Is*att(d)，其中Im是图中的强度，而Is是光源处的强度。因此Is＝Im/att(d)。所以新的以对象为中心的变换中的新强度为Im'＝Is*att(d')。
应当理解，天空球体变换方法可以对于所捕获的光源显著远离用户和对象位置的情况工作良好。
更具体地，如果光源至少与球体边界(其被建模以表示光源)一样远，则该技术将很可能可行。然而，当光数据源侵占内部球体空间时，误差可能快速增长。最糟糕的情况是当光数据直接源自用户和对象之间时。这将导致光数据映射到对象的后面，而不是需要它的前面。
如果用户装置上的光相机系统配备有立体或深度感测实用工具，则AR系统可以存储与光照图的每个纹素相关联的深度值。该深度数据特别有用的唯一区域是在驻留在用户和对象之间的数据上。因此，立体相机系统可以是足够的，只要它捕获用户视场中的深度，该视场是所讨论的区域。驻留在用户后面或者就此而言位于对象后面的光照图的区域较少依赖于深度数据，因为那些区域对于用户和对象两者类似地投影。简单地衰减不同距离的值可能足以用于光照图的该区域。
一旦为需要深度数据的图区域(例如，在用户的前面)捕获深度数据，AR系统可以逐纹素地计算该光数据的源的精确欧几里得坐标。如在图42中示意性所示，可以通过将那些坐标投影到对象球体上并相应地衰减强度来构造以对象为中心的光照图。如在图42中所示，用户位于用户半球4228的中心，并且围绕对象4222对对象球体4226建模，类似于图41的对象球体。一旦为图的区域捕获深度数据，AR系统基于深度数据计算每个空间点4230的光数据的源的精确坐标。
尽管不能保证朝向对象投影的颜色数据与从这些内部空间点朝向用户投影的颜色相同，但是对于一般情况，颜色数据可能足够接近。
上述讨论集中于基于来自一个采样用户位置的以用户为中心的数据来构造以对象为中心的光照图。然而，在许多或大多数情况下，用户将在整个环境中导航，使得能够从许多不同的角度收集光环境的许多样本。此外，在环境中拥有多个用户增加了可以实时交互收集的样本集。随着一个用户穿越或多个用户穿越物理空间，AR系统在智能间隔和关键位置捕获新的光照图。这些光照图可以作为网格存储在云中。当新的虚拟内容进入场景时，AR系统访问存储的网格并找到表示最接近虚拟内容的地点的位置的对应光照图。AR系统计算光照图从网格位置到虚拟对象自己位置的变换。
图43描述了用于使用变换光照图以便投影虚拟内容的示例方法4300。在4302处，用户的个人AR系统估计用户相对于世界的地点和位置。接下来，在4304处，AR系统访问存储在云中的光照图的网格，并且选择最接近用户的地点和位置的网格中的光照图(4306)。在4308处，AR系统计算光照图从网格位置到虚拟对象的位置的变换，以使得虚拟对象的照明与周围环境的照明匹配。
在一个或多个实施例中，采用基于案例的推理，因为采用、修改和利用“最接近案例”的解决方案。变换的案例可以被存储回网格作为将要用于该地点的元案例，直到更好的采样数据变得可用于替换元案例数据。随着网格被越来越多的案例填充，机会将变得可用于将用于现有虚拟内容的光照图升级到更合适的案例。这样，用户的交互性允许AR系统学习环境的照明，并且迭代地将虚拟内容收敛到现实的解决方案。
所存储的网格可以保留在云中以供将来在相同环境中使用。当然，对环境的剧烈变化可能挑战网格的有效性，并且网格可能需要从一开始重建。然而，某些类型的改变仍然可以利用先前收集的数据。例如，诸如使灯变暗的全局变化仍然可以使用所收集的数据，在整个数据集上按比例缩小亮度，同时保持更高频率的数据。
以下讨论多种技术以将有效的基于图像的照明应用于AR系统中的虚拟内容。在一个或多个实施例中，AR系统通过用户及其装置相机的交互来学习物理环境的照明。数据可以存储在云中并且随着进一步的交互而连续改进。对象使用基于案例的推理技术来选择光照图，应用变换来调节光照图，并且在适当的时间或条件下谨慎地更新光照图，收敛到现实的解决方案。
通过交互和采样，AR系统改善其对物理空间的光环境的理解。在一个或多个实施例中，AR系统将基于所获取的光环境的知识将正在用于呈现各种虚拟内容的光照图更新为更现实的光照图。
如果例如用户目击更新(例如，虚拟内容的呈现的改变)，则可能发生潜在的问题。例如，如果用户看到在虚拟对象的表面上发生改变，则表面将看起来是动画的，破坏了所期望的现实主义的幻觉。为了解决该潜在的问题，AR系统在特殊情况下谨慎地执行更新，以最小化用户注意到更新或改变虚拟内容的一部分或实例的风险。
例如，考虑当虚拟对象进入场景时的初始应用。当虚拟对象离开用户的视场(短暂地或甚至仅仅远离而进入用户视场的外围)时，可以执行更新或改变。这使得用户将感知虚拟对象的更新或改变的可能性最小化。
AR系统还可以更新对应于用户不能看到的虚拟对象的面向后部分的部分地图。如果用户在虚拟对象周围走动，则用户将在远侧发现增加的现实性，而不会看到更新或改变。AR系统可以更新或改变虚拟对象的前侧，该虚拟对象现在在用户正在观看虚拟对象的后侧或远侧时处于用户的视场之外。AR系统可以在虚拟对象的地图的各个选定部分(例如，顶部、底部、左、右、前、后)不在用户的视场中时，对那些部分执行更新或改变。
在一个或多个实施例中，AR系统可以等待执行更新或改变，直到发生通常可以导致用户期望虚拟对象的表面/灯光上的改变的一个或多个条件。例如，AR系统可以在阴影经过虚拟对象时执行改变或更新。由于虚拟和真实对象二者的位置是已知的，因此可以应用标准阴影技术。阴影会向查看器遮蔽更新或更改。还例如，AR系统可以响应于环境中的光变暗来更新或改变虚拟对象的地图，以减少用户对更新或改变的感知。
在又一示例中，AR系统可以响应于已知的或者具有吸引用户注意的高概率的事件的发生来更新或改变虚拟对象的地图。例如，响应于虚拟怪物通过天花板向下崩溃，例如在视频游戏中，AR系统可以对其它虚拟对象更新或改变地图，因为用户很可能正在关注虚拟怪物，而不是其它虚拟对象。
化身
AR系统可以呈现被称为化身的用户或其它实体的虚拟表示，如上面以一些细节所描述的。AR系统可以在用户自己的虚拟空间中和/或在其他用户的虚拟空间中呈现用户的化身。
在一些实施方式中，AR系统可以允许化身操作虚拟机，例如虚拟机器人，以在环境中操作。例如，AR系统可以呈现化身以看起来“跳跃”到机器人中，以允许化身物理地改变环境，并且然后允许化身跳出机器人。这种方法允许物理资产的时间复用。
例如，AR系统可以呈现第一用户的化身以显现在其中存在虚拟机器人的第二用户的虚拟空间中。第一用户的“访问”化身在第二用户的虚拟空间中进入机器人的身体。第一用户可以经由虚拟机器人操纵第二用户的虚拟环境。如果另一化身先前驻留在机器人中，则移除该另一化身以允许第一用户的化身进入或居住在机器人中。最初居住在机器人中并且从机器人移除的另一个化身可以变为远程化身，访问一些其它虚拟空间。最初居住于机器人中的化身可以在第一用户的化身结束使用机器人之后重新进入机器人。
AR系统可以在虚拟空间中呈现化身存在，而没有仪器装备，并允许虚拟交互。可传递世界模型允许第一用户向第二用户传递第一用户的世界部分的副本(例如，本地运行的级别)。如果第二用户的个人AR系统正在执行本地呈现，则所有第一用户的个人AR系统需要发送的是骨架动画。
应当理解，AR系统可以允许化身呈现的连续性或频谱。
在其最简单形式中，AR系统可以以类似于在多玩家在线游戏中驱动角色的方式驱动推断性化身呈现。所得到的化身可以用游戏角色(例如，动画)的外观来呈现，在虚拟世界中走动。在该实施方式中，来自与化身相关联的用户的唯一数据是行进的速度和方向，以及可能的简单移动，例如手部动作等。
在接下来的复杂性中，化身可以类似于相关联的用户的物理外观，并且可以包括基于从相关联的用户实时收集的信息来更新化身。例如，第一用户的面部的图像可能已被捕获或预扫描以用于生成化身。化身可以具有表现为现实表示(例如，照片)或作为可识别表示(例如，绘制、卡通或漫画)的面部。化身的身体可以例如被绘制、卡通化或漫画化，并且甚至可以与化身的头部分离。
AR系统可以利用从第一用户收集的信息来实时地动画化化身。例如，个人AR系统的头部佩戴部件可以包括一个或多个面向内的相机和/或麦克风或其它传感器(例如，温度、出汗、热速率、血压、呼吸速率)以收集来自第一用户的实时信息或数据。该信息可以包括图像和声音，包括具有变调的人声等。
可以传递语音以表现为从化身发出。在化身具有现实面部的一些实施方式中，面部图像也可以被传递。在化身没有现实面部的情况下，AR系统可以从图像中辨别出面部表情和/或从声音中辨别出语音的变调。AR系统可以基于辨别的面部表情和/或语音中的变调来更新化身的面部表情。例如，AR系统可以基于面部表情和/或变调来确定第一用户的情绪状态(例如，快乐、悲伤、愤怒、内容、沮丧、满意)。AR系统可以基于所确定的第一用户的情感状态来选择要在化身上呈现的面部表情。例如，AR系统可以从多个动画或图形表示中选择情感。因此，AR系统可以利用实时纹理映射在表示用户的化身上呈现用户的情绪状态。
在接下来的复杂性中，除了用户的面部或语音之外，AR系统可以收集关于用户身体的部分的信息。例如，AR系统可以收集表示用户的一个或多个肢体和/或用户的整个身体的运动的信息。AR系统可以经由用户佩戴的传感器(例如，加速度计、陀螺仪)和/或经由监视用户所位于的物理空间的至少一部分的房间传感器系统来收集这种信息。
AR系统使用收集的信息以反映化身表示的用户的实际运动的方式来呈现化身的整个身体。AR系统可以执行诸如与实时纹理映射一样的功能，将图像(例如，视频)应用于化身。
在甚至更复杂的实施方式中，AR系统可以包括在物理空间中捕获用户的光场的一个或多个光场相机。第二用户可以观看具有声音的第一用户的实况真实三维图像，这比之前描述的实施方式更真实。
在最复杂的实施方式中，AR系统可以包括在物理空间中捕获用户的光场的一个或多个光场相机。AR系统可以将捕获的光场编码到模型中，并且将模型发送到第二用户的个人AR系统以呈现到第二用户的虚拟空间中。
如上所述，AR系统可以使用头部、手部、环境姿态、语音变调和/或眼睛注视来在空间中动画化或修改用户的虚拟自身或化身。AR系统可以简单地基于用户的头部和/或手部相对于环境的位置来推断用户的化身的地点。AR系统可以统计地处理语音变调(例如，不是话语的内容)，并且动画化或修改对应的化身的情绪表达以反映化身表示的相应用户的情绪。
例如，如果用户已经选择了类似南瓜的化身，则响应于检测到用户语音中指示愤怒的模式，AR系统可以在南瓜化身的嘴部切口中呈现牙齿。作为另一示例，用户可以具有类似于特定角色的化身。响应于检测到指示可疑性的声音变调，AR系统可以呈现类似于特定角色的化身，例如伴随与用户的嘴部和眼睛相同方式的嘴移动和眼睛环顾等。
用户相应的虚拟空间或环境的呈现是异步的。交换相对少量的信息允许第一用户体验到在另一用户的空间中，或者体验在第一用户的空间中具有另一用户。如果第一用户具有第二用户的空间的副本，则第一用户可以显现在第二用户的空间中，控制他们自己的第二用户空间的视点，以及控制他们自己在第二用户空间内的交互。使用信息子集来动画化化身而无需仪器装备，提供了伸缩性。
AR系统可以提供虚拟对象通过环境的自主导航。在虚拟对象构成化身的情况下，在自主地导航通过化身所居住的空间时可以考虑到化身的各种情绪状态。
如在图44中所示，AR系统可以包括自主导航定义或对象4400a-4400d(统称为4400)的集合或库，其感测并以预定方式响应可能在虚拟空间或环境中发生或感测的某些定义的条件。自主导航定义或对象各自与可在虚拟空间或环境中发生或感测的条件或刺激相关联。
自主导航定义或对象4400a可以响应于例如结构(例如，墙壁)的存在。自主导航定义或对象4400b可以响应于例如光或光源(例如，照明器、窗口)。自主导航定义或对象4400c可以响应于例如声音或声音源(例如，铃、警报器、哨子、声音)。自主导航定义或对象4400d可以响应于例如食物或水或食物源或水源。其它自主导航定义或对象(在图44中未示出)可以响应于其它条件或刺激，例如恐惧源(例如，怪物、武器、火、悬崖)、食物源、水源、宝藏、金钱、宝石、贵金属等。
自主导航定义或对象4400各自与定义的响应相关联。自主导航定义或对象例如通过引起或趋向于引起运动来响应。例如，一些自主导航定义或对象4400引起或趋向于引起远离条件或刺激源的运动。还例如，一些自主导航对象2300引起或趋向于引起朝向条件或刺激源的运动。
至少一些自主导航定义或对象4400具有一个或多个可调节参数。可调节参数不改变自主导航定义或对象4400反应的基本条件或刺激，而是可以设置对条件或刺激的灵敏度水平和/或响应的水平或强度。AR系统可以提供用于调节属性的一个或多个用户界面工具。例如，用户界面工具(例如，滑块图标、旋钮图标)可以允许缩放属性，反转属性(例如，朝向移动，远离移动)等。
可调节参数可以例如设置自主导航定义或对象4400对于自主导航定义或对象响应的条件或刺激的灵敏度水平。例如，灵敏度参数可以设置为低水平，在该低水平下，自主导航定义或对象4400不会对条件的发生或刺激的存在很容易响应，例如直到条件或刺激源非常接近时才响应。
还例如，灵敏度参数可以设置为高水平，在该高水平下，自主导航定义或对象4400非常响应于条件的发生或刺激的存在，例如即使当条件或刺激的源不是很接近时就响应。还可以采用低水平和高水平之间的水平。在一些实施方式中，灵敏度水平可以被认为是灵敏度范围。这可以设置自主导航定义或对象4400敏感的外边界，或者可以设置灵敏度梯度，其可以是线性的、指数的，或者甚至是具有灵敏度方面的一个或多个不同台阶的阶跃函数。
可调节参数可以例如设置自主导航定义或对象4400对自主导航定义或对象4400响应的条件或刺激的响应水平。例如，参数可以调节自主导航定义或对象4400响应于条件或刺激的发生的强度。例如，参数可以设置移动的趋势或可能性的强度。例如，趋势参数可以设置为低水平，在该低水平下，自主导航定义或对象4400不会非常响应于条件的发生或刺激的存在。
还例如，趋势参数可以设置为高水平，在该高水平下，自主导航定义或对象4400非常响应于条件的发生或刺激的存在，并且将强烈地引起朝向或远离条件或刺激的源的运动。速度参数可以设置自主导航定义或对象4400响应于对条件或刺激的检测而移动的速度。速度可以是固定速度或随时间(例如，响应开始后减慢5秒)或距离(例如，在移动固定距离之后减速)变化的可变速度。方向参数可以设置运动方向(例如，朝向、远离)。
虽然自主导航定义或对象4400可以响应于二维区域中的条件和刺激，但是在一些实施方式中，自主导航定义或对象4400响应于三维体积中的条件和刺激。一些自主导航定义或对象4400可以是各向同性的，即检测和响应相对于自主导航对象4400在所有方向上发生的条件。一些自主导航定义或对象4400可以是各向异性的，即检测和响应发生在仅相对于自主导航定义或对象的有限方向。各向同性或各向异性操作可以是用于一些自主导航定义或对象4400的可调节参数。
自主导航定义或对象4400可以是预定义的，并且可由用户或其他人选择。在一些实施方式中，用户可以定义新的自主导航定义或对象4400，并且可选地将新的自主导航定义或对象合并到集合或库中以供用户重用或供其他人使用。
如在图45中所示，一个或多个自主导航定义或对象4400a、4400c在逻辑上可以与虚拟对象4500相关联，例如与化身相关联。当与虚拟对象4500逻辑关联时，自主导航定义或对象4400a、4400c可以被绘制为围绕虚拟对象4500的以身体为中心的坐标系。即自主导航定义或对象4400a、4400c的中心是虚拟对象4500本身的身体的中心。自主导航定义或对象4400可以例如用对数函数或例如将无穷大缩放到1并且将接近缩放到0的一些其它函数来缩放。
自主导航定义或对象4400各自彼此独立。任何数量的自主导航定义或对象4400可以关联或应用于虚拟对象4500。例如，数千个自主导航定义或对象4400可以应用于单个虚拟对象4500。
图46示出自主导航定义或对象4400的集合或“堆栈”4600，其逻辑上与给定虚拟对象4500相关联，并且可以被布置为围绕虚拟对象4500的环，例如如在图45中所示。一旦自主导航对象4400a-4400d的集合或堆栈4600已经被定义和复合，如由求和线4602(图46)所指示的，自主导航定义或对象44的值被归一化为在零和一之间。
如上所述，至少一些自主导航对象4400的一些属性可以是可调节的。这些属性可以包括灵敏度水平以及反应强度。虽然可用的自主导航定义或对象4400的类型(例如，条件或刺激)可以是固定的，但是用户可以复合4602自主导航定义或对象4400以提供复合或组合输出4604(图41)。在一个或多个实施例中，复合机制可以例如寻找最低值。在其它情况下，触发器可以是高值，这取决于应用。
复合机制可以例如将响应于结构的存在(例如，声纳或碰撞检测)的自主导航定义或对象4400a视为过滤器(例如，二进制结果、通过/不通过、开/关)，并将所有其它自主导航定义或对象4400b-4400d视为缩放因子。例如，一个或多个自主导航定义或对象4400的组合4604可以对值或形状(例如，远离中心的最大距离是多少)进行峰值检测，并且提供关于虚拟对象4500应响应于检测到的条件或刺激而行进的速度的方向和大小的指示(由向量4602指示)。
自主导航定义或对象的响应或动作的强度可以表示为势场。例如，势场可以定义吸引或排斥化身的趋势。例如，AR系统可以建立其中正势场吸引化身、而负势排斥化身的惯例。可替代地，惯例可以是正电势场排斥化身，而负电势吸引化身。
作为另一替代方案，一种类型的势场可以在已建立的惯例下可用，其排斥或替代地吸引化身。此外，AR系统可以利用这样的惯例，其中可以向势场分配大小或梯度，大小或梯度对应于强度或吸引力或排斥力。梯度可以是线性或非线性函数，并且甚至可以包括奇点。可以与虚拟对象或化身同时地建立势场。势场可能趋向于使化身避免条件或刺激(例如，声音，光)的源，例如绕过条件或刺激的源。
如在图45中所示，在一个示例中，可以存在在虚拟空间或环境4502中移动的第一虚拟对象4500。虚拟空间或环境4502可以包括墙壁4504，其可以是虚拟对象或物理对象。虚拟空间或环境4502可以包括声音4508的源4506。在一个或多个实施例中，AR系统可以使用人工智能来朝向目标引导第一虚拟对象4500，例如(包括墙壁4504的)虚拟空间或环境4502中的声音4508的源4506，同时避免与墙壁4504的碰撞。
例如，响应于结构的存在的自主导航对象4400a可以在逻辑上与虚拟对象4500相关联。还例如，响应于声音4508的自主导航对象4400c可以在逻辑上与虚拟对象4500相关联。自主导航对象4400a、4400c可以被定义为构成围绕虚拟对象4500的主体定位的一个或多个环。例如，自主导航对象4400可以具有定义可允许运动的属性。
例如，在存在结构的情况下，自主导航对象4400a可以限制将导致与结构的碰撞的运动。例如，在平坦墙壁4504存在的情况下，自主导航对象4400a可以限制第一虚拟对象4500在横向方向上的运动(例如，不能移动到墙壁中)，同时允许第一虚拟对象4500在任何其它方向中移动，而没有限制。还例如，在存在声音4508的情况下，自主导航对象4400c可以使相关联的第一虚拟对象4500一般朝向声音4508的源4506移动。
可以通过向虚拟空间或环境4502添加光源来修改上述示例。响应于光的自主导航定义或对象4400b(图44)可以与第一虚拟对象4500相关联。通过光响应自主导航定义或对象4400b的光的检测可以使第一虚拟对象4500趋向于朝向光源移动，或者相反趋向于远离光源移动。在这种情况下，第一虚拟对象4500将响应于三种条件(结构、声音和光)的复合。
如上所述，一组自主导航定义或对象可以表示为布置为围绕虚拟对象(例如，化身)的环并且复合在一起。这些可以表示为状态机中的状态，并且向自主导航定义或对象所关联的虚拟对象提供了行进或运动信息(例如，方向、取向、速度和/或行进或运动的距离)。这提供了基于时间的方法，用于完全行为地指示虚拟对象在哪里行进。在一些实施方式中，可以仅仅基于经验输入数据来应用人工智能算法来将状态调节为完美。
AR系统可以提供持久情感向量(PEV)以定义状态转换。PEV能够表示各种情绪，并且可以在特定时间具有特定值。在一个或多个实施例中，PEV可以全局地使用。
从状态到状态的转换可由PEV的集合或堆栈控制。值得注意的是，状态机可以不需要是完整状态机，而是可以仅覆盖所有可能状态的一部分。用户可以为用户感兴趣的特定状态转换设置状态。
如在图47A中所示，将与给定虚拟对象(例如，化身)4702a相关联的自主导航定义或对象4400a-4400d的集合4700a复合成单个环4704a。集合4700a可以被分配或逻辑上与一个或多个情绪状态相关联，例如愤怒4706a、悲伤4706b、快乐、受惊、满足、饥饿、累、冷、热、高兴、失望等(仅在图47A中示出两种情绪状态，统称为4706))。
AR系统提供自主导航定义或对象4400a-4400b馈送到其中的用户可配置求和块4708a、4708b(仅总共示出两个4708)。求和块4708驱动相应的情感向量。用户可以配置求和块4708以使特定动作发生。这些是固有地基于时间的，并且可以基于虚拟对象4702a(诸如化身)的当前状态应用全局权重。
如在图47B中所示，用户或一些其他人可以例如建立受惊或逃避情感向量。例如，受惊或逃避的自主导航定义或对象4400n可以在逻辑上与虚拟对象(例如，化身)4702b相关联。受惊或逃避的自主导航定义或对象4400n可以是集合4700n中的唯一自主导航定义或对象4400，并且可以经由求和块4708n复合4704n到身份函数。
受惊或逃避的情感向量趋向于在被呈现给一些定义的条件或刺激(例如惊吓4706n)时使虚拟对象(例如，化身)4702b逃避。受惊或逃避的情感向量通常可以具有相对较短的时间常数和非常低的阈值。到逃避状态的状态转换由全局的状态控制。因此，当受惊或逃避情感向量变低时，状态单独地或与其它情感向量组合来转换到逃避状态。
AR系统可以利用反馈，例如使用相关或统计机制。例如，可以为如在图48中所示的任何特定的自主导航定义或对象定义相关阈值图形4800。相关性阈值图形4800可以例如是沿着水平轴4800a进行时间绘制，以及沿着竖直轴4800b进行标度绘制(例如，零到一)。为了控制自主导航定义或对象在竖直轴上的关系，用户可以在时间t0和阈值感测条件或刺激水平CT中指定阈值。一旦阈值已经满足，函数fn定义相应的响应。
因此，AR系统允许将两个或更多个自主导航定义或对象4400加在一起。AR系统还可以允许用户调节触发阈值。例如，响应于自主导航定义或对象4400的特定组合超过某一时间阈值，这些自主导航定义或对象4400的值可以应用于对特定情感向量的斜坡(ramping)机制。
在此描述的方法通过执行具有用于从一个状态转换到另一个状态的完全确定性的全局可见机制的确定性动作来提供非常复杂的人工智能(AI)特性。这些动作可隐式映射到用户关心的行为。需要通过监视系统的整体状态的这些全局值的恒定洞察，这允许将其它状态或变化插入到当前状态。作为另一示例，自主导航定义或对象可以响应于到邻居的距离。自主导航定义或对象可以定义围绕邻居的梯度，例如在前部上具有陡梯度并且在后部上具有浅梯度。这将对关联的虚拟对象创建自动行为。例如，当虚拟对象移动时，其可以例如趋向于朝向浅梯度而不是陡梯度移动，如果这样定义的话。
可替代地，如果如此定义，则虚拟对象可以例如趋向于朝向陡梯度而不是浅梯度移动。梯度可以定义为使虚拟对象趋向于在邻居后面移动。这可能例如用于邻居是敌人并且自主导航对象用作敌人传感器的游戏环境中。这甚至可以考虑到敌人面对的方向。例如，如果化身在前面，则值可以是高的。随着化身移动，它感测到更小的梯度，吸引化身在敌人后面来到(例如，在后面侧跑和击打行为)。
因此，自主导航定义或对象4400配置为感测人工环境中的状态，例如水的存在、食物的存在、地面的坡度、敌人的接近度、光、声音、纹理。自主导航定义或对象4400和PEV允许用户组成使虚拟对象趋向于用户期望的行为的定义。这可以允许用户通过添加状态、优化个人状态以及定义到新状态的转换来递增地和原子地或模块化地指定无限级别的复杂性。
在一个或多个实施例中，AR系统可以将导航对象与虚拟对象相关联。导航对象可以响应于一个或多个预定条件(例如，运动、命令、结构、情绪、距离等)。基于导航对象中的改变，虚拟对象的至少一个参数也可以改变。例如，虚拟对象可以更快地移动，或者朝向另一对象移动，或者表现面部表情等。
处理
在至少一些实施方式中，AR系统可以有利地通过经由图像处理单元(IPU)发现特征来在硬件中执行光流分析，然后采用通用集合理论处理器(GPSTP)逐帧寻找特征。这些部件允许AR系统执行在整个本申请中所描述的一些复杂计算。关于这些部件的进一步细节将在下面提供，但是应当理解，任何其它类似的处理部件可以类似地使用或另外使用。
GPSTP是有效地找到定义的对象的搜索引擎。GPSTP执行集合理论搜索。作为解释，可以按复杂度(order)n而不是阶乘复杂度搜索组合的维恩图搜索。GPSTP有效地使用集合理论找到定义的对象来执行比较。例如，GPSTP是一种高效的结构，以找到符合非常特定标准的人，如下面的示例标准中所示：男性，其拥有1987年的卡迪拉克，在7月31日购买了咖啡，并在1983年登上珠穆朗玛峰，并且有一件蓝色衬衫。
IPU是一件成像处理硬件，其可以获取像素表示的图像并将其转换为特征。特征可以被认为是具有元信息的像素坐标。
在执行光流算法和成像时，AR系统识别帧中的对象，并且然后确定该对象在至少一个后续帧中出现的位置。IPU有效地生成特征，并将数据从像素减少到一组特征。例如，IPU可以获取具有百万点大小的兆像素的帧，并且产生小得多的特征集(例如，200个特征)。这些特征集可以被提供给GPSTP用于处理。GPSTP可以存储要找到的特征。如上所述，特征是具有相关联的元信息或数据的图像中的2D点。特征可以有名称或标签。GPSTP具有在前一个环中找到的n-1个特征。
如果找到匹配，则可以在2D中保存对应关系。这仅需要通用处理器的少量计算来计算束调节以弄清从最后一帧到当前帧的相对绝对姿态。它提供了非常快速和非常高效的硬件闭环。
在移动计算场景中，两件硬件(IPU和GPSTP)可以有效地执行通常需要大量常规成像处理的操作。
在一些实施方式中，AR系统可以利用为定位、姿态和映射过程中的每个原子模块提供时序和质量目标的元过程。通过为每个原子模块提供时序和质量目标，这些模块可以在内部或自主地将其算法自调节到最优。这有利地避免了对硬实时操作的需要。然后，元控制器可以从原子模块中提取统计数据，统计地识别系统在其中操作的地方的类别。可以节省用于各种地方(例如，飞机、道路、医院、客厅等)的整体系统调谐配置。
AR系统可以利用跟踪模块。任何一段计算机处理可以花费不同的时间量。如果每个模块都是原子的并且可以接收和使用时序和质量数据，则模块可以确定或至少估计它们运行过程所花费的时间。模块可以具有关于相应过程的质量的一些度量。模块可以考虑各种模块的确定的或估计的时序，在可能的情况下自动实现权衡。例如，模块可以决定确定花费更多时间来实现更高的质量是可取的。元控制器可以为非常模块化系统中的每个模块植入质量时间目标。这可以允许每个模块自调谐以命中时序目标。这允许需要实时运行而非调度的非常复杂的处理系统的操作。它形成反馈环。
该方法避免了对硬实时操作系统的需要。元控制器将时间目标消息发送到模块。例如，如果用户正在玩游戏，则元控制器可以决定告诉模块使用低质量的定位目标，因为元控制器想要释放计算能力以用于一些其它任务(例如，关于角色创新)。元控制器可以是统计定义的，并且可以提供在不同配置中平衡的目标。
该方法还可以节省系统调谐。例如，可修改的算法参数的全局集合可以允许调谐。例如，可以基于地点(例如，在飞机上，驾驶汽车，在医院中，在客厅中)来调谐操作。该方法允许捆绑所有这些参数。例如，特征跟踪可以具有低质量目标，因此仅需要相对短的时间，并且剩余时间预算可以用于其它处理。
经典的“来自加速段测试的特征”(FAST)特征提取器(如上面详细讨论的)可以被配置成大规模并行字节匹配系统通用集合理论处理器(GPSTP)。如上所述，GPSTP是仅进行比较的处理器。所得特征提取器具有类似于FAST的输出和能力，但是通过强力搜索和比较而不是数学来完全实现。在一个或多个实施例中，特征提取器将位于相机附近，以立即将帧处理成特征数据(x，y，z，基本描述符信息)。将经由GPSTP对串行流传输的数据执行大规模并行比较。
该方法将基本上使图像顺序化，并且使GPSTP找到可能的每种类型的FAST特征。枚举特征的类型，并且GPSTP找到特征，因为仅存在有限的大小，例如每像素8位。GPSTP滚动进行并经由强力搜索找到每个组合。任何图像可以被序列化，并且任何感兴趣的特征可以被变换。可以预先对图像执行变换，这使得位模式对于旋转或缩放等不变。GPSTP获取一些像素组并且应用一个或多个卷积运算。
因此，通过利用上面概述的各种AR系统、各种软件和光学技术，系统能够为用户创建虚拟现实和/或增强现实体验。
图49示出示例性AR系统的另一系统架构。如在图49中所示，AR系统4900包括AR系统4900从其接收输入的多个输入通道。输入可以是感觉输入4906、视觉输入4902或固定输入4904。还可以类似地接收其它类型的输入(例如，手势信息、听觉信息等)。应当理解，图49的实施例仅为了说明的目的而被简化，并且可以接收其它类型的输入并将其馈送到AR系统4900。
在基本水平上，AR系统4900可以从一个或多个AR系统接收输入(例如，来自用户的可佩戴系统的视觉输入4902、来自房间相机的输入、系统中各种传感器形式的感测输入、手势、图腾、眼睛跟踪等等)。AR系统可以构成一个或多个用户可佩戴系统，和/或固定房间系统(房间相机等)。可佩戴AR系统不仅提供来自相机的图像，它们还可以配备有各种传感器(例如，加速度计、温度传感器、运动传感器、深度传感器、GPS等)以确定地点，以及用户环境的的各种其它属性。当然，该信息可以进一步用来自先前讨论的固定相机的信息补充。这些相机以及可佩戴的AR系统可以从不同的视点提供图像和/或各种提示。应当理解，如上所述，图像数据可以缩减为一组点。
如上所述，接收的数据可以是存储在地图数据库4910中的一组光栅图像和点信息。如上所述，地图数据库4910收集关于真实世界的信息，该信息可以有利地用于相对于一个或真实对象的已知地点投影虚拟对象。如上所述，可以基于存储在地图数据库4910中的信息来构造拓扑图、几何图等。
在一个或多个实施例中，AR系统4900还包括对象识别器4908(上面深入解释的对象识别器)。如上面详细讨论的，对象识别器4908“爬行”通过存储在AR系统4900的一个或多个数据库(例如，地图数据库4910)中的数据(例如，点集合)，并且识别(和标记)一个或多个对象。映射数据库可以包括随时间推移收集的各种点及其对应的对象。基于该信息，对象识别器可以识别对象并且用语义信息来补充该对象(如上所述)。
例如，如果对象识别器将一组点识别为门，则系统可以附加一些语义信息(例如，门具有铰链并且具有围绕铰链的90度运动)。随着时间的推移，地图数据库增长，因为系统(其可以驻留在本地或可以通过无线网络访问)累积来自世界的更多数据。
一旦识别了对象，则可以将信息发送到一个或多个用户可佩戴系统4920。例如，AR系统4900可以将属于第一地点(例如，旧金山)中的场景的数据发送到在纽约市拥有可佩戴系统的一个或多个用户。利用地图数据库4910中的数据(例如，从多个相机和其它输入接收的数据，对象识别器和其它软件部件映射通过各种图像收集的点，识别对象等)，场景可以被精确地“传递”给在世界的不同部分的用户。如上所述，AR系统4900还可以利用用于定位目的的拓扑图。更具体地，以下讨论将深入讨论允许AR系统的一个或多个用户之间的交互的整个系统的各种元素。
图50是示出如何相对于一个或多个真实对象向用户显示虚拟场景的示例过程流程图5000。例如，用户可以在纽约市，但可能希望观看目前在旧金山进行的场景。或者，用户可能希望与居住在旧金山的朋友进行“虚拟”步行。为此，AR系统4900可以基本上将对应于旧金山用户的世界“传递”到纽约用户的可佩戴AR系统。例如，可佩戴AR系统可以在纽约用户的可佩戴AR系统处创建模仿旧金山用户的真实世界周围环境的虚拟环境。类似地，在另一方面，旧金山用户的可佩戴AR系统可以创建虚拟化身(或模拟纽约用户的动作的纽约用户的虚拟外观)。因此，两个用户可视化从其他用户的世界“传递”到用户的个人AR系统上的一个或多个虚拟元素。
首先，在5002中，AR系统可以从特定环境的一个或多个用户接收输入(例如，视觉输入、感觉输入、听觉输入、知识库等)。如前所述，这可以通过各种输入装置以及已经存储在地图数据库中的知识来实现。用户的相机、传感器、GPS系统、眼睛跟踪等将信息传送到系统(步骤5002)。应当理解，可以从多个用户收集这种信息，以用实时和最新的信息全面地填充地图数据库。
在一个或多个实施例中，AR系统4900可以基于接收到的数据的集合确定一组稀疏点(5004)。如上所述，稀疏点可以用于确定拍摄特定图像的关键帧的姿态。这在理解用户的周围环境中的各种对象的取向和位置中可能是至关重要的。对象识别器可以爬行通过这些收集的点并且使用地图数据库4910识别一个或多个对象(5006)。
在一个或多个实施例中，一个或多个对象可以先前被识别并存储在地图数据库中。在其它实施例中，如果信息是新的，则对象识别器可以在新数据上运行，并且数据可以被发送到一个或多个可佩戴AR系统(5008)。基于识别的真实对象和/或传送到AR系统的其它信息，可以相应地向可佩戴AR系统的用户显示期望的虚拟场景(5010)。例如，可以相对于在纽约的用户的各种对象和其它周围环境相应地显示(例如，包括在适当的取向、位置等处的一组真实对象)期望的虚拟场景(例如，用户在旧金山的步行)。应当理解，上述流程图在非常基本的水平上表示系统。下面的图51表示更详细的系统架构。
参考图51，为合适的视觉系统的一个实施例描绘了各种元件。如在图51中所示，AR系统5100包括从至少姿态模块5108、深度地图或融合模块5104接收信息的地图5106。如下面将进一步详细描述的，姿态模块5108从多个可佩戴AR系统接收信息。具体地，从系统的相机5120接收的数据和从诸如IMU 5122的传感器接收的数据可以用于确定捕获各种图像时的姿态。该信息允许系统将从图像中导出的一个或多个映射点放置在地图5106中的适当位置和取向。该姿态信息发送到地图5106，该地图5106使用该信息基于相机相对于捕获的映射点的位置和取向存储映射点。
如在图51中所示，地图5106还与深度地图模块5104交互。深度地图模块5104从立体过程5110接收信息，如下面将进一步详细描述的。立体过程5110利用从多个可佩戴AR系统和IR相机(或IR有源投影仪5118)上的立体相机5116接收的数据构建深度地图5126。立体过程5110还可以基于手部手势5112接收输入。应当理解，可以至少部分地基于从跟踪用户的手部手势的眼睛相机5114接收的数据来确定手部手势和/或图腾手势。
如在图51中所示，来自立体过程5110的数据和来自姿态过程5108的数据在深度地图融合模块5104处使用。换句话说，融合过程5108还利用来自姿态过程5108的姿态信息来确定对象的深度。然后，该信息发送并存储在地图5106处。如在图51中所示，根据需要发送来自地图5106的数据，以向可佩戴AR系统的多个用户提供AR体验。一个或多个用户可以通过手势跟踪5128、眼睛跟踪5130、图腾跟踪5132或通过游戏控制台5134与AR系统交互。
地图5106是包含世界的地图数据的数据库。在一个实施例中，地图5106可以部分地驻留在用户可佩戴部件上，和/或可以部分地驻留在可由有线或无线网络访问的云存储地点处。地图5106是重要的和不断增长的部件，随着越来越多的用户在系统上，该部件将变得越来越大。在一个或多个实施例中，地图5106可以包括对应于真实世界的一个或多个对象的一组光栅图像、点+描述符云和/或多边形/几何定义。
地图5106使用从多个增强现实装置接收的信息不断地更新，并且随着时间的推移变得越来越准确。应当理解，系统可以进一步包括执行与关于图51描述的各种部件有关的一组动作的处理器/控制器。此外，处理器/控制器可以通过各种部件(例如，融合处理、姿态处理、立体等)确定一组输出参数，该组输出参数可以用于通过合适的视觉系统投影一组图像给用户。例如，输出参数可以涉及改变投影图像的一个或多个方面的确定的姿态。或者，输出参数可以涉及可以引起投影图像的一个或多个方面的修改的检测到的用户输入。下面将进一步详细描述系统架构的各个部分的其它这种输出参数。
在一个或多个实施例中，地图5106可以包括可传递世界模型。可传递世界模型允许用户有效地将用户世界的一部分(即周围环境、交互等)“传递”给另一用户。每个用户的相应个人AR系统(例如，个人增强现实装置)在用户经过或居住在AR系统(或一些实施例中的虚拟现实世界系统)处理以产生可传递世界模型的环境中时捕获信息。个人AR系统可以将可传递世界模型通信或传递到称为云的公共或共享数据集合。
个人AR系统可以直接地或经由云来向其他用户通信或传递可传递世界模型。可传递世界模型提供了有效地通信或传递基本上包括至少用户的视场的信息的能力。
例如，当用户走过环境时，用户的个人AR系统捕获信息(例如图像)并将信息保存为姿态标记的图像，其形成可传递世界模型的核心。可传递世界模型是光栅图像、点+描述符云和/或多边形/几何定义(在此称为参数几何)的组合。该信息中的一些或全部被上传到云并且从云检索，其中的一部分对应于用户已经走进的该特定空间。
在用户的相应个人AR系统和基于云的计算机(例如，服务器计算机)之间建立异步通信。换句话说，用户的个人AR系统不断地将关于用户的周围环境的信息更新到云，并且还从云接收关于可传递世界的信息。因此，不是每个用户必须捕获图像，识别图像的对象等，具有异步系统允许系统更高效。已经存在的关于世界的那部分的信息自动地通信到个人AR系统，而新的信息更新到云。应当理解，可传递世界模型存在于云或其它形式的联网计算或对等系统上，并且还可以存在于用户的个人系统上。
姿态过程5108可以在可佩戴计算架构上运行并且利用来自地图5106的数据来确定可佩戴计算硬件或用户的位置和取向。姿态数据可以从用户正在体验系统并在世界中操作时在运行中收集的数据计算。数据可以包括来自传感器(诸如惯性测量或“IMU”装置，其通常包括加速度计和陀螺仪部件)的数据和与真实或虚拟环境中的对象相关的表面信息。
应当理解，对于任何给定空间，由用户的单独AR系统拍摄的图像(由一个用户的个人AR系统或多个用户的AR系统捕获的多个视场图像)产生特定空间的大量的映射点。例如，单个房间可以具有通过各种相机的多个视点(或移动到各种位置的一个相机)捕获的一千个映射点。
因此，如果与用户的个人AR系统相关联的相机捕获多个图像，则收集大量的点并将其发送到云。这些点不仅帮助系统识别对象，并创建可以作为可传递世界模型的一部分检索的更完整的虚拟世界，它们还允许基于点的位置细化相机的位置的计算。换句话说，所收集的点可以用于估计捕获图像的关键帧(例如，相机)的姿态(例如，位置和取向)。
一组“稀疏点表示”可以是同时定位和映射(或“SLAM”；或“V-SLAM”)5124的输出。这是指其中输入是仅仅图像/视觉过程的配置。该系统不仅确定了各种部件在世界上的地点，而且确定了世界包括什么。姿态5108是实现许多目标的构建块，包括填充地图5106并使用来自地图5106的数据。
在一个实施例中，稀疏点位置不是完全足够的，并且可能需要进一步的信息来产生如上所述的多焦点虚拟或增强现实体验5102。密集表示(通常被称为深度地图信息)可以用于至少部分地填充该间隙。这种信息可以从被称为“立体”的过程计算。在立体过程5110中，使用诸如三角测量或渡越时间(time of flight)感测的技术来确定深度信息。下面进一步提供关于数据的密集和稀疏表示的进一步细节。
在一个或多个实施例中，可以从环境捕获3D点，并且可以确定捕获那些图像或点的相机的姿态(即，相对于世界的向量和/或原点位置信息)，以使得这些点或图像可以用该姿态信息“标记”或相关联。然后可以利用第二相机捕获的点来确定第二相机的姿态。换句话说，可以基于与来自第一相机的标记图像的比较来定向和/或定位第二相机。
该知识可以用于提取纹理，制作地图，以及创建真实世界的虚拟副本(因为那里有两个相机被配准)。因此，在基本水平上，在一个实施例中，可佩戴AR系统可以用于捕获3D点和产生点的2D图像，并且这些点和图像可以发送到云存储器和处理资源(即映射数据库)。它们还可以用嵌入的姿态信息进行本地高速缓存(即，高速缓存标记的图像)，以使得云可以访问(即，在可用高速缓存中)标记的2D图像(即，用3D姿态标记)与3D点。
云系统可以将一些点保存为仅用于姿态的基准，以减少整体姿态跟踪计算。通常，可能期望具有一些轮廓特征，以便能够在用户在房间中四处移动时跟踪用户环境中的主要物品，例如墙壁、桌子等，并且用户可能想要能够“共享”世界，并有走进那个房间并且也看到了这些点的一些其他用户。这种有用和关键的点可以被称为“基准点”，因为它们作为锚定点是相当有用的――它们与可以用机器视觉识别的特征相关，并且可以在不同的用户硬件上一致地并且重复地从世界提取。因此，这些基准优选地可以保存到云以供进一步使用。
在一个实施例中，优选地在整个相关世界中具有相对均匀的基准分布，因为它们是相机可以容易地用于识别地点的物品种类。在一个实施例中，相关云计算配置可以周期性地修整3D点的数据库和任何相关联的元数据，以使用来自各种用户的最优数据用于基准细化和世界创建。换句话说，系统可以通过使用来自在相关世界中查看和发挥作用的各用户的输入来获得最优数据集。
在一个实施例中，数据库本质上是分形的――当用户移动更靠近对象时，云将更高分辨率的信息传递给这种用户。当用户更紧密地映射对象时，该数据发送到云，并且如果新的地图优于先前在数据库中存储的地图，则云可以向数据库添加新的3D点和基于图像的纹理地图。应当理解，数据库可以由多个用户同时访问。
在一个或多个实施例中，系统可以基于收集的信息来识别对象。例如，理解对象的深度对于识别并理解这种对象可能是重要的。识别器软件对象(“识别器”)可以部署在云或本地资源上，以在用户在世界中导航数据时特别地帮助识别在任一平台或两个平台上的各种对象。例如，如果系统具有用于包括3D点云和姿态标记图像的世界模型的数据，并且存在其上具有一束点以及桌子图像的桌子，则可能无法确定正在被观察的的确是人类所知的桌子。换句话说，空间中的一些3D点和示出大部分桌子的来自空间中的某个地方的图像可能不足以立即识别出正在观察桌子。
为了辅助该识别，可以创建特定对象识别器以进入原始3D点云，分割出一组点，并且例如提取桌子的顶部表面的平面。类似地，可以创建识别器以从3D点分割墙壁，以使得用户可以在虚拟或增强现实中改变墙纸或移除墙壁的一部分，并且具有到实际上不在真实世界中的另一个房间的入口。这种识别器在世界模型的数据内操作，并且可以被认为是爬行世界模型并且用语义信息或关于被认为存在于空间中的点之间的本体来注入该世界模型的软件“机器人”。这种识别器或软件机器人可以被编程，以使得它们的整个存在是关于漫游相关数据世界并找到它认为是墙壁或椅子或其他物品的东西。它们可以用“这组点属于墙壁”的功能等价物来标记一组点，并且可以包括基于点的算法和姿态标记的图像分析的组合，用于相互通知系统关于什么在点中。
可以出于各种实用的多种目的而创建对象识别器，这取决于视角。例如，在一个实施例中，诸如星巴克的咖啡供应商可投资创建在相关数据世界内的星巴克咖啡杯的准确识别器。这种识别器可以配置成爬行搜索星巴克咖啡杯的大数据和小数据的世界，使得当在相关的附近空间中操作时，它们可以被分割并识别给用户(即，当用户在一段时间内看着他的星巴克杯的情况下，可能在角落附近的星巴克出口中为用户提供咖啡)。在分割出杯子时，当用户在桌子上移动它时，可以快速识别杯子。
这种识别器可以配置为不仅对云计算资源和数据运行或操作，而且还对本地资源和数据，或云和本地二者运行或操作，这取决于可用的计算资源。在一个实施例中，在云上存在世界模型的全球副本，数百万用户贡献于该全球模型，但是对于较小的世界或子世界，如特定城镇中的特定个人的办公室，大多数全球世界不会关心那个办公室是什么样的，所以系统可以修整数据并移动到被认为与给定用户最本地相关的本地缓存信息。
在一个实施例中，当用户走到桌子跟前时，相关信息(诸如他的桌子上的特定杯子的分割)可以仅驻留在他的本地计算资源上而不驻留在云上，因为被识别为经常移动的对象的对象(诸如桌子上的杯子)不需要负担云模型和云和本地资源之间的传输负担。因此，云计算资源可以分割3D点和图像，从而将永久对象(例如，通常不移动)与可移动对象区别考虑。
这可以影响相关联的数据将保留在何处，要被处理的地方，从可佩戴/本地系统消除与更永久对象相关的某些数据的处理负担，允许对地点的一次性处理，其然后可以与无限的其他用户共享，允许多个数据源同时构建特定物理地点中的固定和可移动对象的数据库，并且从背景分割对象以创建对象特定的基准和纹理地图。
系统可以与在虚拟或增强现实中走进房间的任何用户共享基本元素(墙壁、窗户、桌子几何形状等)，并且在一个实施例中，该人的系统将从他的特定视角拍摄图像并上传那些到云。然后云变得填充旧的和新的数据集，并且可以运行优化例程并建立存在于单个对象上的基准。
使用图像信息和活动图案(诸如使用有源投影仪创建的红外图案，如在图51中所示)作为立体过程5110的输入。大量的深度地图信息可以融合在一起，并且这些中的一些可以用表面表示来概括。例如，数学上可定义的表面是对如游戏引擎的事物高效的(即，相对于大点云)和可消化的输入。
上述技术表示深度映射过程5104的一些实施例，但应理解，其它这种技术可用于深度映射和融合。立体过程(深度地图)的输出可以在融合过程5104中组合。姿态5108也可以是对该融合过程5104的输入，并且融合5108的输出变为填充地图过程5106的输入，如在图51的实施例中所示。子表面可以彼此连接，诸如在地形映射中，以形成更大的表面，并且地图5106可以变成点和表面的大的混合。
为了解决增强现实过程5102中的各个方面，可以利用各种输入。例如，在所描绘的实施例中，各种游戏参数5134可以是输入，以确定系统的用户或操作者正在与各种地点的一个或多个怪物、墙壁或在各种地点的其他对象等玩怪物战斗游戏，怪物在各种条件下(诸如如果用户射击怪物)死亡或跑掉。
地图5105可以包括关于这种对象相对于彼此在哪里的信息，作为对AR体验5102的另一个有价值的输入。从地图5106到AR过程5102的输入可以被称为“世界地图”。相对于世界的姿态成为输入，并且可以对几乎任何交互系统起到关键作用。
来自用户的控制或输入是另一个重要输入。为了移动或玩游戏，例如，用户可能需要指示系统关于用户想要做什么。除了在空间中移动自己之外，还存在可以利用的各种形式的用户控制。在一个实施例中，与图腾或对象(例如，枪)有关的数据5112可以由用户持有并由系统跟踪。系统优选地将知道用户正拿着物品并且理解用户与物品具有什么样的交互(即，如果图腾或对象是枪，则系统可以理解地点和取向，以及是否用户点击触发器或其它感测的按钮或元素，其可以配备有传感器，诸如IMU，其可以帮助确定正在发生什么，即使这种活动不在任何相机的视场内)。
与手部手势跟踪或识别有关的数据5112也可以提供有价值的输入信息。系统可以跟踪并解释用于按钮按压、用于手势向左或向右、停止等的手势。例如，在一个配置中，用户可能希望翻看在非游戏环境中的电子邮件或日历，或者“顶拳”另一个人或玩家。系统可以利用最小量的手势，这可以是或可以不是动态的。例如，手势可以是简单的静态手势(例如，用于停止的打开手部，用于好的拇指向上，用于不好的拇指向下，用于方向命令的手部向右或向左或向上/向下翻转等)。一个实施例可以从用于手势跟踪和解释的相当有限的词汇开始，并且最终变得更加细微和复杂。
眼睛跟踪5114是另一个重要输入(即，跟踪用户正在看的位置以控制显示技术在特定深度或范围呈现)。在一个实施例中，眼睛的聚散可以使用三角测量，并且然后使用为该特定人开发的聚散/适应模型，可以确定适应。
关于相机系统，一些实施例对应于三对相机：布置到用户脸部侧面的相对宽视场(“FOV”)或“被动SLAM”的一对相机5120，取向在用户前面以处理立体过程5104并且还捕获在用户面部前面的手部手势和图腾/对象跟踪的不同的一对相机。一对眼睛相机5114可以取向到用户的眼睛中以对眼睛向量和/或其它信息进行三角测量。如上所述，系统还可以包括一个或多个纹理光投影仪(诸如红外或“IR”投影仪5118)以将纹理注入场景中，如下面将进一步详细描述的。
所有这些装置(例如，各种相机、IMU和其它传感器等)的校准在协调系统及其部件方面是重要的。系统还可以利用无线三角测量技术(诸如移动无线网络三角测量和/或全球定位卫星技术，这两者随着系统在户外使用而变得更相关)。诸如用户佩戴的计步器、与用户的地点和/或取向相关联的轮编码器(wheel encoder)的其它装置或输入可能需要被校准以变得对系统有价值。
从校准视角看，显示系统也可以被认为是的输入元素。换句话说，系统的各种元素优选地彼此相关，并且也被固有地校准(即，元素如何将真实世界矩阵映射成测量；从真实世界测量到矩阵可以被称为“内在性”)。对于相机模块，标准固有参数可以包括以像素为单位的焦距，主点(光轴与传感器的交点)和失真参数(特别是几何形状)。
如果感兴趣的是空间中的测量或光亮度的归一化，则还可以考虑摄影测量参数。对于组合陀螺仪和加速度计装置的IMU模块5122，缩放因子可以是重要的校准输入。相机到相机的校准也可能是关键的，并且可以通过使三组相机(例如，眼睛相机、立体相机和宽视场相机等)刚性地彼此耦合来执行。在一个实施例中，显示器可以具有两个眼睛子显示器，其可以至少部分地在工厂中校准，并且部分地由于用户的解剖学变化(眼睛相对于头骨的位置，眼睛相对于彼此的位置，等等)现场校准。因此，在一个实施例中，在运行时执行校准特定用户的显示系统的过程。
通常，所有校准将产生可用作对其它功能块的输入的参数或配置，如上所述。例如，校准可以产生涉及相机相对于头盔或其它头戴式模块的位置的输入；头盔的全局参考；相机的固有参数等，以使得系统可以实时地调节图像，以便确定图像中的每个像素相对于空间中的光线方向的位置。
立体相机5116也如此。在一个或多个实施例中，立体相机的视差图可以映射到深度地图中，并且映射到3D中的实际点云中。因此，在这种情况下校准也是基本的。所有的相机优选地相对于单个参考系是已知的。这是在校准的上下文中的基本概念。类似于上述，对于IMU 5122也如此。通常，可以相对于AR系统确定三个旋转轴线，以便于与其相关的至少一些表征/变换。其它校准技术将在下面进一步讨论。
密集/稀疏映射跟踪
如前所述，存在许多方式可以获得给定地点的映射点，其中一些方法可以生成大量(密集)点，较低分辨率深度点，并且其它方法可以生成小得多的数量(稀疏)点。然而，常规视觉技术的前提是地图数据都是一个点密度。
当需要具有从不同水平的稀疏数据到完全密集的数据集合的变化的点密度的单个地图时，这呈现出问题。例如，当在给定空间内的室内设置中，常常需要存储房间内的点的非常密集的地图，例如，因为房间中的点的更高水平和体积的细节可能是重要的，以满足许多游戏或商业应用的要求。另一方面，在长走廊或户外设置中，存储大量数据的需求非常少，因此，使用更稀疏的点集合来表示室外空间可能更加有效。
对于可佩戴AR系统，系统架构能够考虑以下事实：用户可以从对应于密集映射(例如，室内)的设置移动到对应于更稀疏映射的地点(例如，户外)，反之亦然。总的思想是，不管所识别的点的性质如何，针对该点获得某些信息，其中这些点一起存储到共同的地图中，如先前详细描述的。执行归一化处理以确保所存储的点的信息足以允许系统执行可佩戴装置的期望功能。因此，该公共地图允许不同类型和/或密度的数据的集成，并且允许可佩戴装置运动并无缝访问和使用地图数据。
参照图114，示出了采用稀疏地图数据和密集地图数据填充地图的一种可能方法的流程图1140。左侧部分的路径寻址稀疏点，右侧部分的路径寻址密集点。
在11401a处，过程识别稀疏特征点，其可涉及机器可见的任何区别性/可重复纹理。这种区别点的示例包括角、圆、三角形、文本等。这些区别特征的识别允许识别该点的属性，并且还定位所识别的点。针对该点获得各种类型的信息，包括点的坐标以及与围绕或邻近该点的区域的纹理的特性有关的其它信息。
类似地，在11401b处，识别空间内的大量点。例如，深度相机可以用于捕获在空间内的一组3D点，其识别该点的(x，y，z)坐标。一些深度相机还可以捕获RGB值以及点的D(深度)值。这为捕获的点提供了一组世界坐标。
此时的问题是存在两组潜在不兼容点，其中一组是稀疏的(从11401a得到)，而另一组是密集的(从11401b得到)。本发明对捕获的数据执行归一化以解决该潜在的问题。执行归一化以解决可能需要的便于可佩戴装置所需的视觉功能的数据的任何方面。例如，在11403a处，可以执行缩放归一化以归一化稀疏数据的密度。在此，识别点，并且还识别自该点的偏移，以确定从识别的点到偏移的差异，其中执行该过程以检查并确定应该与该点相关联的适当缩放。类似地，在11403b处，密集数据也可以适当地归一化以适当地缩放所识别的密集点。如本领域技术人员已知的，还可以执行其它类型的归一化，例如，坐标归一化到共同的原点。机器学习框架可以用于实施归一化处理，以使得从局部点集合的学习的归一化用于归一化第二点等等，直到所有必要的点已经归一化。
然后以适当的数据格式表示稀疏点和密集点二者的归一化点数据。在11405a处，对每个稀疏点生成并填充描述符。类似地，在11405b处，对密集点生成并填充描述符。描述符(例如，使用A-KAZE、ORB或LATCH描述符算法)表征每个点，无论是对应于稀疏数据还是密集数据。例如，描述符可以包括关于缩放、取向、补片数据和/或点的纹理的信息。此后，在11407处，然后将描述符存储到公共地图数据库(如上所述)中以统一包括稀疏和密集数据二者的数据。
在可佩戴装置的操作期间，系统使用所需的数据。例如，当用户在对应于密集数据的空间中时，大量点很可能可用，以便使用该数据来执行任何必要的功能。另一方面，当用户已移动到对应于稀疏数据的位置时，可能存在用于执行必要功能的有限数量的点。用户可以在仅识别四个点的室外空间中。四个点可以用于例如对象识别和该对象的取向。
这些点还可以用于确定用户的姿态。例如，假设用户已经移动到已经被映射的房间中。用户的装置将识别房间中的点(例如，使用可佩戴装置上的单镜头(mono)或立体相机)。尝试检查先前映射的相同点/模式，例如通过识别已知点，可以识别用户的地点以及用户的取向。给定在房间的3D模型中的四个或更多个识别的点，这允许确定用户的姿态。如果存在密集映射，则适合于密集数据的算法可以用于进行确定。如果空间对应于稀疏映射，则适合于稀疏数据的算法可以用于进行确定。
投影的纹理源
在一些地点中，可能存在稀少的特征点，从这些特征点获得该空间的纹理数据。例如，某些房间可以具有大量空白墙，对于空白墙没有明显的特征点来识别以获得映射数据。
本发明的一些实施例提供了用于主动地生成每个点的区别纹理的框架，即使在不存在自然特征点或自然出现的纹理的情况下。图115示出可以用于实施本发明的实施例的该方面的示例方法。利用一个或多个基于光纤的投影仪11501来投射对一个或多个相机(诸如相机1(11502)和/或相机2(11503))可见的光。
在一个实施例中，基于光纤的投影仪包括以所选角度来回投射窄光束的扫描光纤显示扫描器。光可以通过透镜或其它光学元件投射，其可以用于收集角扫描光并将其转换成一束或多束光线。
要由基于光纤的投影仪投射的投射数据11507可以包括任何合适类型的光。在一些实施例中，投射数据包括具有一系列动态已知图案的11507结构光11504，其中连续的光图案被投影以识别可以被单独寻址和纹理化的各个像素。投影数据还可以包括具有待识别和纹理化的点的已知图案的图案光11505。在又一实施例中，投影数据包括纹理光11506，其不一定需要包括已知或可识别的图案，但确实包括足够的纹理以清楚地识别光数据内的点。
在操作中，放置一个或多个相机以具有相对于投影仪的可识别的偏移。从来自一个或多个相机的捕获图像中识别点，并且执行三角测量以确定该点的必要地点和深度信息。采用纹理光方法，纹理光允许识别点，即使在投影表面上已经有一些纹理。
这例如通过使多个相机从投影(从纹理光或从真实世界对象)识别相同的点，并且然后通过纹理提取模块11508对该识别点的正确地点和深度信息进行三角测量来实现。这可能优于结构化光和图案化光方法，因为纹理图案不必是已知的。相反，纹理图案只是从两个相机进行三角测量。这对环境光条件更加鲁棒。此外，两个或更多个投影仪不会彼此干扰，因为纹理直接用于三角测量而不是识别。
使用用于此功能的基于光纤的投影仪提供了许多优点。一个优点是，基于光纤的方法可以用于精确地在需要纹理化目的的地方绘制光数据。这允许系统将可见点准确地放置在需要由相机投影和/或看到的地方。实际上，这允许用于生成纹理数据的可触发纹理源的完全可控的触发。这允许系统非常快速和容易地投射光，并且然后找到要纹理化的期望点，并且然后对其位置和深度进行三角测量。
该方法提供的另一个优点是一些基于光纤的投影仪还能够捕获图像。因此，在该方法中，相机可以集成到投影仪装置中，从而节省成本、装置空间占用和功率利用。例如，当使用两个光纤投影仪/相机时，这允许第一投影仪/相机精确地投影由第二投影机/相机捕获的光数据。接下来，进行反向过程，其中第二投影仪/相机精确地投影要由第一投影仪/相机捕获的光数据。然后可以对捕获的数据执行三角测量以生成该点的纹理信息。
如前所述，AR系统用户可以使用具有位于用户眼睛前面的显示系统的可佩戴结构。显示器诸如通过有线引线或无线连接可操作地耦合到可以以各种配置安装的本地处理和数据模块。本地处理和数据模块可以包括功率高效的处理器或控制器，以及诸如闪存的数字存储器，二者可以用于协助处理、高速缓存和存储如下数据，a)从可操作性地耦合到诸如图像捕获装置(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电装置和/或陀螺仪的框架的传感器捕获的；和/或b)使用远程处理模块和/或远程数据存储库获取和/或处理的，可能在这种处理或检索之后传递到显示器。本地处理和数据模块可以诸如经由有线或无线通信链路操作性地耦合到远程处理模块和远程数据存储库，以使得这些远程模块操作性地彼此耦合并且作为资源可用于本地处理和数据模块。
在一些基于云的实施例中，远程处理模块可以包括用于分析和/或处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。图116描绘可以在某些基于云的计算实施例中使用的示例架构。基于云的服务器11612可以实施为体现为相对大规模数字数据存储设施的一个或多个远程数据存储库，其可以通过互联网或云资源配置中的其它联网配置来获得。
各种类型的内容可以存储在基于云的存储库中。例如，随着用户正在体验系统并在世界中操作而收集的数据可以存储在基于云的存储库中。数据可以包括图像，来自传感器的数据(诸如惯性测量或IMU装置，其通常包括加速度计和陀螺仪部件)，以及与真实或虚拟的环境中对象相关的表面信息。系统可以从收集的传感器数据生成各种类型的数据和元数据。例如，几何映射数据11606和语义映射数据11608可以生成并存储在基于云的存储库内。
地图数据可以是基于云的，其可以是包含世界的地图数据的数据库。在一个实施例中，该数据完全存储在云中。在另一个实施例中，该地图数据部分地驻留在用户可佩戴部件上，并且可以部分地驻留在可由有线或无线网络访问的云存储地点处。云服务器11612可以进一步将用户的个人信息和/或企业的策略存储在另一个数据库11610中。
可以执行基于云的处理以处理和/或分析数据。例如，语义地图11608包括提供系统可用的例如用于由地图跟踪的世界中的对象和地点的语义内容的信息。一个或多个远程服务器可以用于执行处理11602(例如，机器学习处理)以分析传感器数据并识别/生成相关语义地图数据。作为另一示例，可以运行姿态过程以确定可佩戴计算硬件或用户的位置和取向。这种姿态处理还可以在远程服务器上执行。
在一个实施例中，系统处理在基于云的服务器上部分地执行并且部分地在可佩戴计算架构中的处理器上执行。在替代实施例中，在远程服务器上执行整个处理。可佩戴装置和远程服务器(例如，基于云的服务器)之间的工作负载的任何合适的划分可以被实现，并考虑所需的具体工作、可佩戴装置和服务器之间的相对可用资源以及网络带宽可用性/要求。
基于云的设施还可以用于对所存储的数据执行质量保证处理和误差校正11604。这种任务可以包括例如误差校正、标记任务、清理活动和训练数据的生成。自动化可以在远程服务器处执行这些活动。可替代地，还可以采用远程“人力资源”，类似于由某些计算提供商提供的Mechanical Turk程序。
个人数据
个人数据也可以可配置地存储在整体架构内的各个地点处。在一些实施例中，当用户利用可佩戴装置时，获取并维护关于用户的历史数据，例如以便在一段时间内反映该用户的传感器数据的地点、活动和副本。个人数据可以本地存储在可佩戴装置本身处，但是考虑到在正常使用期间可能生成的大量数据，基于云的存储库可以是存储该历史数据的最优地点。
一个或多个隐私策略可以控制对该数据的访问，特别是在用于存储个人数据的基于云的设置中。隐私策略可由用户配置以设置可由第三方访问用户的个人数据的条件。用户可以允许在特定情况下的访问，例如，对于寻求允许第三方基于个人数据向该用户提供服务的用户。例如，营销人员可以设法确定该用户的地点，以便在该用户的一般附近提供用于商业的优惠券。用户可以使用隐私策略来允许他的位置数据与第三方共享，因为用户感觉到从第三方营销商接收营销信息/优惠券是有益的。另一方面，用户可以寻求对应于不允许第三方对任何个人数据的任何访问的配置的最高级别的隐私。任何合适的隐私策略配置可以结合本发明的实施例使用。
与AR系统交互
以下实施例示出其中一个或多个AR系统与真实环境和/或与其它AR用户交互的各种方法。在一个示例实施例中，AR系统可以包括“增强”模式，其中AR装置的界面可以是基本上透明的，从而允许用户查看本地的物理环境。
图52示出当AR系统在增强模式下操作时由用户观看的对象的示例实施例。如在图52中所示，AR系统呈现物理对象5202和虚拟对象5204。如在图5中所示的实施例中，物理对象5202是存在于用户的本地环境中的真实物理对象，而虚拟对象5204是由AR系统创建的虚拟对象。在一些实施例中，虚拟对象5204可以显示在物理环境内的固定位置或地点(例如，站在物理环境中的特定路标旁边的虚拟猴子)，或者可以作为位于相对于用户的位置处的对象(例如，在显示器的左上角中可见的虚拟时钟或温度计)显示给用户。
在一些实施例中，可以使虚拟对象由物理地存在于用户的视场内或外的对象提示或触发。虚拟对象5204由物理对象5202提示或触发。例如，物理对象5202实际上可以是凳子，并且虚拟对象5204可以显示给用户(并且在一些实施例中，显示给与AR系统接口的其他用户)作为站在凳子上的虚拟动物。在这种实施例中，AR系统(例如，使用存储在例如处理器中的软件和/或固件来识别各种特征和/或形状模式)可以将物理对象5202识别为凳子。这些公认的形状图案，诸如例如凳子顶部，可以用于触发虚拟对象5204的放置。其它示例包括墙壁、桌子、家具、汽车、建筑物、人、地板、植物、动物或可以看到或可以用于在与一个对象或多个对象的一些关系中触发增强现实体验的任何对象。
在一些实施例中，触发的特定虚拟对象5204可以由用户选择或由头戴式AR系统的其它部件自动选择。另外，在自动触发虚拟对象5204的实施例中，可以基于虚拟对象5204被提示或触发的特定物理对象5202(或其特征)来选择特定虚拟对象5204。例如，如果物理对象被识别为在泳池上延伸的跳水板，则触发的虚拟对象可以是穿着浮潜、游泳衣、漂浮装置或其它相关物品的生物。
在另一示例实施例中，AR系统可以包括“虚拟”模式，其中AR系统提供虚拟现实界面。在虚拟模式中，从显示器中省略物理环境，并且在显示器303上呈现虚拟对象数据。物理环境的省略可以通过物理地阻挡可视显示器(例如，经由盖子)或通过AR系统的特征来实现，其中显示器转变为不透明设置。在虚拟模式中，可以通过AR系统的界面向用户呈现实况和/或存储的视觉和音频感觉，并且用户通过界面的虚拟模式与数字世界(数字对象、其他用户等)体验和交互。因此，在虚拟模式中提供给用户的界面由包括虚拟数字世界的虚拟对象数据组成。
图53示出当在虚拟模式中操作时的用户界面的示例实施例。如在图53中所示，用户界面呈现由数字对象5310组成的虚拟世界5300，其中数字对象5310可以包括大气、天气、地形、建筑物和人。虽然在图53中未示出，但是数字对象还可以包括例如植物、车辆、动物、生物、机器、人工智能、地点信息以及定义虚拟世界5300的任何其他对象或信息。
在另一示例实施例中，AR系统可以包括“混合”模式，其中AR系统的各种特征(以及虚拟和增强模式的特征)可以被组合以创建一个或多个自定义界面模式。在一个示例定制界面模式中，省略物理环境，并且以类似于虚拟模式的方式呈现虚拟对象数据。然而，在该示例定制界面模式中，虚拟对象可以是完全虚拟的(例如，它们不存在于本地的物理环境中)，或者对象可以是被呈现为代替物理对象的界面中的虚拟对象的真实的本地的物理对象。因此，在该特定定制模式(在本文中称为混合虚拟界面模式)中，可以通过AR系统的界面向用户呈现实况和/或存储的视觉和音频感觉，并且用户体验包括完全虚拟对象和被呈现的物理对象的数字世界并与之交互。
图54示出根据混合虚拟界面模式操作的用户界面的示例实施例。如在图54中所示，用户界面呈现由完全虚拟对象5410和呈现的物理对象5420(以另外方式物理地出现在场景中的对象的呈现)组成的虚拟世界5400。根据图54中所示的示例，呈现的物理对象5420包括建筑物5420A、地面5420B和平台5420C。这些物理对象用粗体轮廓5430示出，以向用户指示对象被呈现。另外，完全虚拟对象5410包括在平台620C顶部的附加用户5410A、云5410B、太阳5410C和火焰5410D。
应当理解，完全虚拟对象5410可以包括例如大气、天气、地形、建筑物、人、植物、交通工具、动物、生物、机器、人工智能、位置信息和定义虚拟世界5400的任何其他对象或信息，并且不从存在于本地的物理环境中的对象呈现。相反，呈现的物理对象5420是呈现为虚拟对象的真实的本地的物理对象。粗体轮廓5430表示用于向用户指示所呈现的物理对象的一个示例。因此，所呈现的物理对象可以使用除了在此公开的方法之外的方法来指示。
因此，当用户在混合虚拟界面模式中与AR系统接口时，可以向用户显示各种物理对象作为所呈现的物理对象。这对于允许用户与AR系统接口同时仍然能够安全地导航本地的物理环境可能是特别有用的。在一些实施例中，用户可以能够选择性地移除或添加呈现的物理对象。
在另一个示例定制界面模式中，界面可以是基本上透明的，从而允许用户查看本地物理环境，而各种本地物理对象作为所呈现的物理对象显示给用户。该示例定制界面模式类似于增强模式，除了一个或多个虚拟对象可以是如上面关于先前示例所讨论的呈现的物理对象。
前述示例定制界面模式表示能够由AR系统的混合模式提供的各种定制界面模式的一些示例实施例。因此，在不脱离本公开的范围的情况下，可以从由AR系统的部件和上述各种模式提供的特征和功能的各种组合来创建各种其它定制界面模式。
在此讨论的实施例仅描述了用于提供在关闭、增强、虚拟或混合模式下操作的界面的一些示例，并且不旨在限制相应界面模式的范围或内容或AR系统的部件的功能。例如，在一些实施例中，虚拟对象可以包括显示给用户的数据(时间、温度、高度等)，系统创建和/或选择的对象，用户创建和/或选择的对象，或甚至表示接口系统的其他用户的对象。另外，虚拟对象可以包括物理对象的扩展(例如，从物理平台生长的虚拟雕塑)，并且可以在视觉上连接到物理对象或从物理对象断开连接。
虚拟对象还可以是动态的并且随时间推移而改变，根据用户或其他用户、物理对象和其他虚拟对象之间的各种关系(例如，地点、距离等)改变，和/或根据在AR系统、网关部件或服务器的软件和/或固件中指定的其它变量来改变。例如，在某些实施例中，虚拟对象可以响应于用户装置或其部件(例如，虚拟球当触觉装置被放置在其旁边时移动)，物理或言语用户交互(例如，当用户接近它时虚拟生物跑开，或者当用户对它说话时说话)，椅子被扔在虚拟生物处并且该生物躲避椅子，其他虚拟对象(例如，当第一虚拟生物看到第二虚拟生物时，第一虚拟动物作出反应)，诸如地点、距离、温度、时间等的物理变量或用户环境中的其他物理对象(例如，当物理汽车通过时，示出站在物理街道中的虚拟生物变得扁平)。
在此讨论的各种模式可以应用于除AR系统之外的用户装置。例如，可以经由移动电话或平板装置提供增强现实界面。在这种实施例中，电话或平板可以使用相机捕获用户周围的物理环境，并且虚拟对象可以覆盖在电话/平板显示屏上。另外，可以通过在电话/平板的显示屏上显示数字世界来提供虚拟模式。因此，可以使用在此讨论的电话/平板的部件以及连接到用户装置或与用户装置组合使用的其它部件来混合这些模式以创建如上所述的各种定制界面模式。例如，混合虚拟界面模式可以由计算机监视器、电视屏幕或缺少相机的与运动或图像捕获系统组合操作的其它装置提供。在该示例实施例中，可以从监视器/屏幕观看虚拟世界，并且可以由运动或图像捕获系统执行对象检测和呈现。
图55示出本公开的示例实施例，其中位于不同地理位置的两个用户每个通过它们相应的用户装置与另一用户和公共虚拟世界交互。在该实施例中，两个用户5501和5502来回投掷虚拟球5503(一种类型的虚拟对象)，其中每个用户能够观察其他用户对虚拟世界的影响(例如，每个用户观察虚拟球改变方向，由其他用户捕获等)。由于虚拟对象(例如，虚拟球5503)的运动和地点由与AR系统相关联的计算网络中的服务器跟踪，所以在一些实施例中，系统可以通信球5503相对于每个用户到达用户5501和5502中的每一个的确切地点和时序。
例如，如果第一用户5501位于伦敦，则用户5501可以以由AR系统计算的速度将球5503投掷到位于洛杉矶的第二用户5502。因此，AR系统可以向第二用户5502(例如，经由电子邮件、文本消息、即时消息等)通信球的到达的确切时间和地点。因此，第二用户5502可以使用AR装置来查看球5503在指定时间到达并定位。一个或多个用户还可以使用地理位置映射软件(或类似软件)来跟踪一个或多个虚拟对象，因为它们虚拟地在地球上行进。该示例可以是佩戴3D头戴式显示器的用户在天空中查找并且看到叠加在真实世界上的在头顶上飞行的虚拟飞机。虚拟飞机可以由用户、由智能软件代理器(在用户装置或网关上运行的软件)、可以是本地和/或远程的其他用户和/或这些组合中的任何组合来飞行。
如先前所讨论的，用户装置可以包括触觉界面装置，其中当触觉装置由AR系统确定位于相对于虚拟对象的物理的空间地点处的时，触觉界面装置向用户提供反馈(例如，电阻、振动、灯光、声音等)。例如，上面关于图55描述的实施例可以被扩展以包括使用触觉装置5602，如在图56中所示。
在该示例实施例中，触觉装置5602可以在虚拟世界中显示为棒球球棒。当球5503到达时，用户5502可以在虚拟球5503处摆动触觉装置5602.如果AR系统确定由触觉装置5602提供的虚拟棒与球5503“接触”，则触觉装置5602可以振动或向用户5502提供其它反馈，并且虚拟球5503可以根据检测到的球到棒接触的速度、方向和时间沿AR系统计算的方向从虚拟球棒跳开。
在一些实施例中，所公开的AR系统可以促进混杂模式界面，其中多个用户可以使用不同的界面模式(例如，增强的，虚拟的，混合的等)来接口公共虚拟世界(以及其中包含的虚拟对象)。例如，在虚拟界面模式中与特定虚拟世界交互的第一用户可以与在增强现实模式下与相同虚拟世界交互的第二用户交互。
图57A示出其中第一用户5701(在混合虚拟界面模式中与AR系统的数字世界进行接口连接)和第一对象5702作为虚拟对象出现到第二用户5722的示例，该第二用户5722以完全虚拟现实模式与AR系统的相同数字世界进行接口连接。如上所述，当经由混合虚拟界面模式接口连接数字世界时，可以扫描本地的物理对象(例如，第一用户5701和第一对象5702)并将其呈现为虚拟世界中的虚拟对象。第一用户5701可以例如由运动捕获系统或类似装置扫描，并且在虚拟世界中呈现为第一呈现的物理对象5731。
类似地，第一对象5702可以例如由AR系统的环境感测系统5706扫描，并且在虚拟世界中呈现为第二呈现的物理对象5732。第一用户5701和第一对象5702在图57A的第一部分5710中示为物理世界的物理对象。在图57A的第二部分5720中，第一用户5701和第一对象5702示出为，对于以完全虚拟现实模式与AR系统的相同虚拟世界交互的第二用户5722：显现为第一呈现的物理对象5731和第二呈现的物理对象5732。
图57B示出混杂模式接口的另一示例实施例，其中第一用户5701如上所述在混合虚拟接口模式中与数字世界接口，并且第二用户5722与相同的数字世界(和第二用户的物理的本地环境5725)接口连接。在图57B中的实施例中，第一用户5701和第一对象5702位于第一物理地点5715处，并且第二用户5722位于与第一地点5715相隔一定距离的不同的第二物理地点5725。在该实施例中，虚拟对象5731和5732可以实时(或近实时地)转换到与第二地点5725对应的虚拟世界内的地点。因此，第二用户5722可以在第二用户的物理的本地环境5725中观察分别表示第一用户5701和第一对象5702的所呈现的物理对象5731和5732并与之交互。
图58示出当在增强现实模式中接口连接AR系统时用户的视图的示例图示。如在图58中所示，用户看到本地的物理环境(例如，具有多个建筑物的城市)以及虚拟角色5810(例如，虚拟对象)。虚拟角色5810的位置可以由2D视觉目标(例如，广告牌、明信片或杂志)和/或一个或多个3D参考系(诸如建筑物、汽车、人、动物、飞机、建筑物的部分)，和/或任何3D物理对象、虚拟对象和/或其组合触发。在图58中所示的示例中，城市中的建筑物的已知位置可以提供用于呈现虚拟角色5810的配准基准和/或信息和关键特征。
另外，用户的地理空间地点(例如，由GPS、姿态/位置传感器等提供的)或相对于建筑物的移动地点可以构成由AR系统的计算网络使用的数据，以触发用于显示虚拟角色5810的数据的传输。在一些实施例中，用于显示虚拟角色5810的数据可以包括呈现的角色5810和/或用于呈现虚拟角色5810或其部分的指令。
在一些实施例中，如果用户的地理空间地点不可用或未知，则AR系统仍可以使用用户的最后已知位置作为时间和/或其它参数的函数，使用估计特定虚拟对象和/或物理对象可能位于何处的估计算法来显示虚拟对象5810。这还可以用于在AR系统的传感器变得遮挡和/或经历其它故障的情况下确定任何虚拟对象的位置。
在一些实施例中，虚拟角色或虚拟对象可以包括虚拟雕像，其中虚拟雕像的呈现由物理对象触发。例如，现参考图59，虚拟雕像5910可以由真实的物理平台5920触发。雕像5910的触发可以响应于由AR系统的用户装置或其它部件检测的视觉对象或特征(例如，基准、设计特征、几何形状、图案、物理地点、海拔等)。当用户在没有用户装置的情况下查看平台5920时，用户看见不具有雕像5910的平台5920。
然而，当用户通过可佩戴AR装置观看平台5920时，用户看到平台5920上的雕像5910，如在图59中所示。雕像5910是虚拟对象，并且因此可以是静止的、动画的、随时间推移或相对于用户的观看位置而改变，或甚至取决于哪个特定用户正在观看雕像5910而改变。
例如，如果用户是小孩，则雕像可以是狗。如果观看者是成年男性，则雕像可以是如图59中所示的大型机器人。这些是用户相关和/或状态相关的体验的示例。这将帮助一个或多个用户单独地和/或与物理对象组合地感知一个或多个虚拟对象，并且经历虚拟对象的定制和个性化版本。雕像5910(或其部分)可以由系统的各种部件来呈现，包括例如安装在用户装置上的软件/固件。
使用指示用户装置的地点和姿态的数据，结合虚拟对象(例如雕像5910)的配准特征，虚拟对象(例如雕像5910)能够形成与物理对象(例如，平台5920)的关系。例如，一个或多个虚拟对象与一个或多个物理对象之间的关系可以是距离、定位、时间、地理地点、与一个或多个其它虚拟对象的接近度的函数，和/或包括任何种类的虚拟和/或物理数据的任何其它函数关系。在一些实施例中，用户装置中的图像识别软件可以进一步增强虚拟对象到物理对象的关系。
由所公开的系统和方法提供的交互界面可以实施为促进各种活动，诸如例如与一个或多个虚拟环境和对象交互，与其他用户交互，以及体验各种形式的媒体内容，包括广告、音乐会和电影。因此，所公开的系统便于用户交互，以使得用户不仅查看或收听媒体内容，而且积极地参与并体验媒体内容。在一些实施例中，用户参与可以包括更改现有内容或创建要在一个或多个虚拟世界中呈现的新内容。在一些实施例中，媒体内容和/或创建内容的用户可以围绕一个或多个虚拟世界的神话为主题。
在一个示例中，音乐家(或其他用户)可以创建要呈现给与特定虚拟世界交互的用户的音乐内容。音乐内容可以包括例如各种单曲、EP、专辑、视频、短片和音乐会表演。在一个示例中，大量用户可以接口连接AR系统以同时体验由音乐家执行的虚拟音乐会。
在一些实施例中，所产生的媒体可以包含与特定实体(例如，乐队、艺术家、用户等)相关联的唯一标识符代码。代码可以是一组字母数字字符、UPC代码、QR代码、2D图像触发器、3D物理对象特征触发器或其他数字标记以及声音、图像和/或两者的形式。在一些实施例中，代码还可以嵌入可以使用AR系统接口连接的数字媒体。用户可以获得代码(例如，经由支付费用)并兑换代码以访问由与标识符代码相关联的实体产生的媒体内容。可以从用户界面添加或移除媒体内容。
在一个实施例中，为了避免将实时或接近实时的视频数据从一个计算系统传递到具有低延迟的另一计算系统(诸如从云计算系统到耦合到用户的本地处理器)的计算和带宽限制，关于各种形状和几何形状的参数信息可以被传送并用于定义表面，而纹理可以被传送和添加到这些表面以产生静态或动态细节，例如映射在参数再现面部几何形状上的人脸的基于位图的视频细节。
作为另一示例，如果系统识别人的面部并且识别出该人的化身位于增强世界中，则系统可以在一个相对较大的设置传送中传递相关的世界信息和该人的化身信息，在此之后到用于本地呈现的本地计算系统的剩余传送可以限于参数和纹理更新。这可以包括人的骨架结构的运动参数和人脸的移动位图。相对于初始设置传送或实时视频的传递，这些可能需要较少的带宽。
因此，可以以集成方式使用基于云的和本地计算资产，其中云处理计算不需要相对低的等待时间，并且本地处理资产处理任务，其中低延迟时间是非常宝贵的。在这种情况下，由于这种数据(例如，参数信息、纹理等而不是周围环境的实时视频)的形式或量，传送到本地系统的数据的形式优选地以相对低的带宽传递。
参考图63，示意图示出云计算资产6346和本地处理资产(6308，6320)之间的协调。在一个实施例中，云6346资产诸如经由有线或无线联网(无线对于移动性是优选的，有线对于可能是期望的某些高带宽或高数据量的传送是优选的)操作性地直接耦合到本地计算资产(6320，6308)中的一个或两个(6340，6342)，诸如可以接纳在要耦合到用户的头部或腰带6308的结构中的处理器和存储器配置。
对用户本地的这些计算资产也可以经由有线和/或无线连接性配置6344操作性地彼此耦合。在一个实施例中，为了保持低惯性和小尺寸的头戴式子系统6320，用户和云6346之间的主传送可以经由基于腰带的子系统6308和云之间的链接，其中头戴式子系统6320使用诸如超宽带(“UWB”)连接性的无线连接主要地数据绑定到基于带的子系统6308，如当前在例如个人计算外围连接性应用中所采用的。
如上文详细讨论的，对于有效的本地和远程处理协调以及用于用户的适当的显示装置，与用户的当前实际或虚拟位置相关的一个世界的方面可以被传送或“传递”给用户并以有效的方式更新。实际上，在一个实施例中，一个人在增强现实模式中利用虚拟现实系统(“VRS”)，而另一个人以完全虚拟模式利用VRS来探索第一人的本地的同一世界，则两个用户可以在这个世界上以各种方式相互体验。例如，参考图60，描绘了类似于参考图59描述的场景的场景，其中添加了从完全虚拟现实场景中飞过所描绘的增强现实世界的第二用户的化身6002的可视化。
换句话说，在图60中描绘的场景60可以在增强现实中针对第一人被体验并显示，除了场景中的本地世界周围的实际物理元素(诸如地面、背景中的建筑物、雕像平台6020)之外，还显示有两个增强现实元素(雕像6010和第二人的飞行大黄蜂化身2)。当化身2飞过第一人的本地世界时，动态更新可以用于允许第一人可视化第二人的化身2的进度。
再次地，对于如上所述的配置，其中存在可驻留在云计算资源上并从那里分发的一个世界模型，这种世界可以以相对低带宽的形式“可传递”到一个或多个用户。这可能是优选的，而不是传递实时视频数据。站立在雕像附近的人的增强体验(例如，如在图60中所示)可以通过基于云的世界模型来通知，该世界模型的子集可以被向下传递到他们和他们的本地显示装置以完成视图。
坐在远程AR装置(该装置可以简单地是位于桌子上的个人计算机)处的人，可以高效地从云中下载该相同的信息部分，并使其在其显示器上呈现。事实上，在雕像附近的公园中实际存在的一个人可能带着位于远处的朋友在该公园里散步，朋友通过虚拟和增强现实加入。系统将需要知道街道在哪里，树在哪里，雕像在哪里等。使用来自云的这些信息和数据，加入的朋友可以从云下载场景的方面，并且然后作为相对于实际在公园中的人的本地增强现实而开始散步。
参考图61，描绘了基于时间和/或其它基于偶然事件参数的实施例，其中人正在利用AR系统(6104)与虚拟和/或增强现实界面交互，并且进入咖啡店以订购一杯咖啡(6106)。VRS可以利用本地和/或远程的感测和数据收集能力来为人提供增强和/或虚拟现实中的显示增强，诸如咖啡店中的突出显示的门的位置或相关咖啡菜单的泡泡窗口(6108)。
当用户接收到他已经订购的该杯咖啡时，或者在系统检测到一些其它相关参数时，系统可以采用显示装置显示(6110)本地环境中的一个或多个基于时间的增强或虚拟现实图像、视频和/或声音，诸如来自墙壁和天花板的马达加斯加丛林场景，具有或不具有丛林声音和静态或动态的其它效果。
基于时序参数(例如，在完整的咖啡杯已经被识别并交给用户之后5分钟；在系统已经识别到用户步行穿过设施的前门之后10分钟)或其它参数，诸如系统已经通过注意到当用户从杯子中摄取最后一小口咖啡时咖啡杯的上下颠倒方向而识别用户完成咖啡，或者系统识别用户离开设施的前门(6312)，停止向用户的这种呈现。
参考图62，示出了合适的用户显示装置6214的一个实施例，包括可以通过外壳或框架6284安装到用户头部或眼睛的显示透镜6282。显示透镜6282可以包括一个或多个透明镜，其通过外壳6284位于用户的眼睛6220的前面，并且将投射光6238传送到眼睛6220中并且促进束整形，同时还允许在增强现实配置中传输来自本地环境的至少一些光。
在虚拟现实配置中，可能期望显示系统6214能够基本上阻挡来自本地环境的所有光，诸如通过变暗的面甲、阻挡幕、全黑LCD面板模式等。在所描绘的实施例中，两个宽视场机器视觉相机6216耦合到外壳6284以对用户周围的环境成像。在一个实施例中，这些相机6216是双拍摄可见光/红外光相机。所描绘的实施例还包括一对扫描激光成形波前(例如，用于深度)投光器模块，其具有显示镜和光学器件以将光6238投射到眼睛6220中，如图所示。
所描绘的实施例还包括与红外光源6226(例如，发光二极管“LED”)配对的两个微型红外相机6224，其跟踪用户的眼睛6220以支持呈现和用户输入。系统6214进一步以传感器组件6239为特征，该传感器组件6239可以包括X、Y和Z轴加速度计能力以及磁罗盘和X、Y和Z轴陀螺仪能力，优选地以诸如200Hz的相对高的频率提供数据。
所描绘的系统6214还包括诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)和/或ARM处理器(高级精简指令集机器)的头部姿态处理器6236，其可以从捕获装置6216输出的宽视场图像信息计算实时或接近实时的用户头部姿态。还示出了另一个处理器6232，以执行数字和/或模拟处理以从来自传感器组件6239的陀螺仪、罗盘和/或加速度计数据导出姿态。
所描绘的实施例还以辅助姿态和定位的GPS 6237(例如，全球定位卫星)子系统为特征。最后，所描绘的实施例包括呈现引擎6234，该呈现引擎6234可以以运行软件程序的硬件为特征，以向用户提供本地的呈现信息，以便于操作扫描器并且成像到用户的眼睛中，以供用户观看世界。
呈现引擎6234(例如，经由有线或无线连接性)操作性地耦合(6281、6270、6276、6278、6280)到传感器姿态处理器6232、图像姿态处理器6236、眼睛跟踪相机6224以及投影子系统6218，以使得使用扫描激光增强装置6218以类似于视网膜扫描显示的方式投影所呈现的增强的和/或虚拟现实对象的光。其它实施例可以利用类似于上述各种光学实施例的其它光学布置。
投射光束6238的波前可以弯曲或聚焦以与增强和/或虚拟现实对象的期望焦距一致。微型红外相机6224可以用于跟踪眼睛以支持呈现和用户输入(例如，用户正在看的地方、聚焦深度等)。如下所述，眼睛聚散可用于估计聚焦深度。
GPS 6237、陀螺仪、罗盘和加速度计6239可以用于提供航向和/或快速姿态估计。与来自相关联的云计算资源的数据结合的相机6216成像和姿态信息可以用于映射本地世界并且与虚拟或增强现实社区共享用户视图。
虽然图62中所示的显示系统6214中的许多硬件被描绘直接耦合到邻近显示器6282的外壳6284和用户的眼睛6220，但是所描绘的硬件部件可以安装到或接纳在诸如带安装部件的其它部件内。
在一个实施例中，除了图像姿态处理器6236、传感器姿态处理器6232和呈现引擎6234之外，图62中所示的系统6214的所有部件直接耦合到显示器外壳6284。应当理解，在图像姿态处理器6236、传感器姿态处理器6232和呈现引擎6243之间的通信可以通过无线通信，诸如超宽带或有线通信。
所描绘的外壳6284具有自然地适合于用户并且能够头部安装在用户的头上的形状。外壳6284还可以以扬声器为特征，诸如可以插入到用户的耳朵中并且用于向用户提供声音的扬声器，其可以与增强的或虚拟的现实体验相关，诸如参考图61的丛林声音；以及以麦克风为特征，其可以用于捕获用户本地的声音。
在一个或多个实施例中，微型相机6224可以用于测量用户的眼睛6220的中心在几何上聚散到哪里，其通常与焦点位置或“聚焦深度”一致。如上所述，眼睛聚散到的所有点的3维表面称为“双眼单视界”。焦距可以采用有限数量的深度，或者可以是无限变化的。从聚散距离投射的光看起来聚焦到主体眼睛6220，而聚散距离之前或之后的光被模糊。
此外，已经发现，不管眼睛在哪里聚焦，人眼睛正确地分辨光束直径小于约0.7毫米的空间相干光。给定这种理解，为了产生适当聚焦深度的错觉，可以采用微型相机6224跟踪眼睛聚散度，并且呈现引擎6234和投影子系统6218可以用于将所有对象呈现在聚焦的双眼单视界上或附近，以及将所有其它对象呈现在不同散焦程度(例如，使用有意创建的模糊)。
优选地，系统6214以约60帧每秒或更大的帧速率向用户呈现。如上所述，优选地微型相机6224可用于眼睛跟踪，并且软件可以不仅拾取聚散几何形状而且拾取聚焦位置提示以用作用户输入。优选地，这种系统具有适合于白天或夜晚使用的亮度和对比度。在一个实施例中，这种系统优选地具有对于视觉对象对准小于大约20毫秒的延迟，小于大约0.1度的角度对准和大约1弧分(arc minute)的分辨率，这大约是人眼睛的极限。
显示系统6214可以与定位系统集成，该定位系统可以涉及GPS元件、光学跟踪、罗盘、加速度计和/或其它数据源，以辅助位置和姿态确定。应当理解，定位信息可用于促进在相关世界的用户视图中的精确呈现(例如，这种信息将便于眼镜知道它们相对于真实世界的位置)。
其它合适的显示装置可以包括但不限于：台式和移动计算机、智能电话，其可以额外地利用软件和硬件特征来增强，以便于或模拟3D视角观察(例如，在一个实施例中，框架可以可移除地耦合到智能电话，该框架特征为200Hz陀螺仪和加速度计传感器子集、具有宽视场透镜的两个小机器视觉相机以及ARM处理器，以模拟图14中所示的配置的一些功能)；平板计算机，其可以如上针对智能电话所述那样增强；利用附加处理和感测硬件增强的平板计算机；使用智能电话和/或平板来显示增强和虚拟视点的头戴式系统(经由放大光学器件、反射镜、接触透镜或光结构元件的视觉适应)；发光元件(LCD、OLED、竖直腔表面发射激光器、转向激光束等)的非透视显示器；透视显示器，其同时允许人们看到自然世界和人工生成的图像(例如，光导光学元件，照射近聚焦接触透镜的透明和偏振的OLED，转向激光束等)；具有发光元件的接触透镜(例如，它们可以与专用的互补眼镜部件组合)；具有发光元件的可植入装置；以及刺激人脑的光学受体的可植入装置。
采用诸如图63中所描绘的系统，可以从环境中捕获3D点，并且可以确定捕获那些图像或点的相机的姿态(例如，相对于世界的向量和/或原点位置信息)，以使得这些点或图像可以被该姿态信息“标记”或与之相关联。然后由第二相机(例如，另一AR系统)捕获的点可用于确定第二相机的姿态。
换句话说，可以基于与来自第一相机的标记图像的比较来定向和/或定位第二相机。该知识可以用于提取纹理，制作地图，以及创建真实世界的虚拟副本(因为那里有配准的两个相机)。因此，在基本水平上，在一个实施例中，AR系统可以捕获3D点和产生点的2D图像，并且这些点和图像可以发送到云存储装置和处理资源。它们还可以与嵌入的姿态信息一起进行本地高速缓存(例如，高速缓存已标记的图像)，以使得云能够访问(例如，在可用高速缓存中)标记的2D图像(例如，用3D姿态标记)以及3D点。
如果用户正在观察动态的东西，则用户的AR系统还可以向云发送与运动相关的附加信息(例如，如果看着另一个人的面部，则用户可以拍摄面部的纹理地图并且以优化的频率推送纹理地图，即使周围世界在其它方面基本上是静态的)。
云系统可以将一些点保存为仅用于姿态的基准，以减少整体姿态跟踪计算。通常，可能期望使用一些轮廓特征以便在用户在房间周围移动时跟踪用户环境中的主要项目，诸如墙壁、桌子等。用户可能期望“共享”世界并且让一些其他用户走进该房间并且也看到那些点。这些有用的和关键的点可以被称为“基准”，因为它们作为锚定点是相当有用的。它们与可以用机器视觉识别的特征相关，并且可以在不同的用户硬件上一致地并且重复地从世界提取。因此，这些基准优选地可以保存到云中以供进一步使用。
在一个实施例中，优选地在整个相关世界中具有相对均匀的基准分布，因为它们是相机可以容易地用于识别地点的项目种类。
在一个实施例中，用于对3D点的数据库和任何相关联的元数据进行修整的相关云计算配置，使用来自各种用户的最优数据以用于基准细化和世界创建。换句话说，系统可以通过使用来自在相关世界中查看和发挥作用的各种用户的输入来获得最优数据集。在一个实施例中，数据库本质上是分形的，当用户移动更靠近对象时，云将更高分辨率的信息传递给这种用户。当用户紧密地映射对象时，该数据被发送到云，并且如果新点比先前存储的点更好，则云可以向数据库添加新的3D点和基于图像的纹理地图。应当理解，该过程可以同时对多个用户运行。
如上所述，AR或VR体验在很大程度上可以依赖于识别某些类型的对象。例如，重要的是理解特定对象具有给定的深度以便识别并理解这种对象。如上文详细描述的，识别器软件对象(“识别器”)可以被部署在云或本地资源上，以在用户在世界中导航数据时特别地辅助在任一平台或两个平台上识别各种对象。
例如，如果系统具有用于包括3D点云和姿态标记图像的世界模型的数据，并且存在其上具有一束点以及桌子的图像的桌子，则桌子的几何形状可以教给系统以便系统识别它。换句话说，空间中的一些3D点和图像示出大部分桌子可能不足以立即识别桌子正被观察。
为了辅助该识别，可以创建特定对象识别器，其在原始3D点云上运行，分割出一组点，并且例如提取桌子的顶部表面的平面。类似地，可以创建识别器以从3D点分割墙壁，以使得用户可以简单地改变“虚拟”墙纸或移除虚拟或增强现实中的墙壁的一部分和/或具有到另一个虚拟房间而不是真实世界的一部分的入口。
这种识别器在世界模型的数据内操作，并且可以被认为是软件“机器人”，其爬行世界模型并且用语义信息或关于被认为存在于空间中的点之间的内容的本体来填充该世界模型。这种识别器或软件机器人可以被配置为使得它们的整个存在是围绕相关的数据世界进行并且发现它认为是墙壁或椅子或其它物品的东西。它们可以被配置为利用等同于“属于墙壁的该组点”的功能来标记一组点，并且可以包括基于点的算法和姿态标记的图像分析的组合，用于相互通知系统关于什么是点。
取决于视角，可以出于各种实用设施的许多目的创建对象识别器。例如，在一个实施例中，诸如的咖啡供应商可以在相关数据世界内投资创建星巴克咖啡杯的准确识别器。这种识别器可以爬行搜索星巴克咖啡杯的大数据和小数据的世界，因此当在相关附近空间中操作时，它们可以被分割并识别给用户(例如，当用户看着他的星巴克杯一段时间时，可能就在角落附近的星巴克出口提供咖啡)。
随着杯被分割出，当用户在桌子上移动它时，可以快速识别杯。这种识别器不仅可以对云计算资源和数据，而且可以对本地资源和数据，或云和本地两者运行或操作，这取决于可用的计算资源。在一个实施例中，在云上存在世界模型的全局副本，数百万用户贡献于该全局模型。然而，对于较小的世界(例如，特定城镇中的特定个人的办公室)，本地信息将不与世界的大多数用户相关。因此，系统可以修整数据并移动到被认为与给定用户最本地相关的本地高速缓存信息。
在一个实施例中，例如，当用户走到桌子处时，相关信息(诸如他的桌子上的特定杯子的分割)可以仅驻留在他的本地计算资源上而不是云上，因为对象被识别为经常移动的，诸如桌上的杯子，不需要在云和本地资源之间增加云模型和传输负担。
因此，云计算资源可以分割3D点和图像，从而区别考虑可移动对象和永久对象(例如，通常不移动)，并且这可以影响相关联的数据将被保留在何处，将在何处被处理，从可佩戴/本地系统中消除用于与可持久对象相关的某些数据的处理负担。这还允许对地点的一次处理，该地点然后可以与无限的其他用户共享，允许多个数据源同时构建特定物理地点中的固定和可移动对象的数据库，并且从背景分割对象以创建对象特异性基准和纹理地图。
在一个实施例中，系统可以向用户查询关于某些对象的身份的输入(例如，系统可以向用户呈现诸如“是星巴克咖啡杯吗？”的问题)，以使得用户可以训练系统并且允许系统将语义信息与真实世界中的对象相关联。本体引用可以提供关于从世界分割的对象的指导(例如，对象做什么，对象如何行为等)。在一个实施例中，系统可以以虚拟或实际的键盘为特征，例如无线连接的键盘，与智能手机的键盘的连接性等，以促进对系统的某些用户输入。
系统可以与在虚拟或增强现实中走进房间的任何用户共享基本元素(墙壁、窗户、桌子几何形状等)，并且在一个实施例中，人的系统可以从他的特定视角拍摄图像并将它们上传到云。然后云变得填充旧的和新的数据集，并且可以运行优化例程并建立存在于单个对象上的基准。
应当理解，GPS和其它定位信息可以用作这种处理的输入。此外，其它计算系统和数据(诸如一个在线日历或帐户信息)可以用作输入(例如，在一个实施例中，云和/或本地系统可以分析用于飞机票、日期和目的地的用户日历的内容，以使得随着时间的推移，信息可以从云移动到用户的本地系统，以针对用户到达给定目的地的到达时间作好准备)。
在一个实施例中，云资源可以在用户之间传递真实和虚拟世界的数字模型，如上文参考“可传递世界”所描述的，其中模型由各个用户基于参数和纹理来呈现。这相对于实时视频的传递减少了带宽，允许呈现场景的虚拟视点，并且允许数百万或更多的用户参与一个虚拟集会，而不向他们每个发送他们需要看到的数据(诸如视频)，因为用户的视图由他们的本地计算资源呈现。
AR系统可以通过以下各项中的一个或多个来配准用户的地点和视场(统称为“姿态”)：使用相机的实时度量计算机视觉，同时定位和映射技术，地图，以及来自诸如陀螺仪、加速度计、罗盘、气压计、GPS、无线电信号强度三角测量、信号渡越时间分析、LIDAR测距、雷达测距、里程计和声纳测距的传感器的数据。
AR系统可以同时地映射和定向。例如，在未知环境中，AR系统可以收集关于环境的信息，确定适于用户姿态计算的基准点，用于世界建模的其它点，用于提供世界的纹理地图的图像。基准点可以用于光学计算姿态。
当更详细地映射世界时，可以分割出更多的对象并且给定它们自己的纹理地图，但是该世界仍然优选地可以在具有低分辨率纹理地图的简单多边形中以低空间分辨率表示。诸如上面讨论的那些的其它传感器可用于支持该建模工作。世界可能固有地是分形的，因为移动或以其它方式寻求更好的视图(通过视点，“监督”模式，缩放等)要求来自云资源的高分辨率信息。移动更靠近对象捕获更高分辨率的数据，并且这可以被发送到云，其可以计算和/或在世界模型中的间隙位置处插入新数据。
参考图64，可佩戴系统可以捕获图像信息并且提取基准点和识别点6452。可佩戴本地系统可以使用下面提到的姿态计算技术之一来计算姿态。云6454可以使用图像和基准来从更多静态3D背景中分割3D对象。图像可以提供对象和世界的纹理映射(纹理可以是实时视频)。云资源可以存储并提供用于世界配准的静态基准和纹理。
云资源可以修整点云以获得用于配准的最优点密度。云资源6460可以存储并提供用于对象配准和操纵的对象基准和纹理。云可以修整点云以获得最优的配准密度。云资源6462可以使用所有有效点和纹理来生成对象的分形实体模型。云可以修整点云信息以获得最优的基准密度。云资源6464可以向用户查询以便对所分割的对象和世界的身份进行训练。如上所述，本体数据库可以使用答案以将动作属性注入对象和世界。
以下特定的配准和映射模式以如下各项为特征：术语“O姿态”，其表示从光学或相机系统确定的姿态；“s姿态”，其表示从传感器确定的姿态(例如，如上所述的诸如GPS、陀螺仪、罗盘、加速度计等数据的组合)；以及AR服务器(其表示云计算和数据管理资源)。
“取向”模式产生新环境的基本地图，其目的是如果新环境未被映射或者如果用户未连接到AR服务器则建立用户的姿态。在取向模式中，可佩戴系统从图像中提取点，从一帧到另一帧跟踪点，并且使用S姿态来对基准进行三角测量(因为没有从图像中提取基准)。可佩戴系统还可以基于用户的持久性过滤掉不良基准。
应当理解，取向模式是最基本的配准和映射模式，并且即使对于低精度姿态也将总是工作。然而，在AR系统已经在相对运动中使用至少一段时间之后，将建立最小基准集合，以使得可佩戴系统被设置用于使用O姿态来识别对象并且映射环境。一旦O姿态是可靠的(具有最小基准集)，可佩戴组可以退出取向模式。“地图和O姿态”模式可以用于映射环境。地图和O姿态模式的目的是建立高精度姿态，以映射环境并向AR服务器提供地图和图像。在该模式中，根据从AR服务器下载和/或本地确定的成熟世界基准来计算O姿态。
然而，应当理解，S姿态可以用作对计算的O姿态的检查，并且还可以用于加速O姿态的计算。与上面类似，可佩戴系统从图像中提取点，并且逐帧跟踪点，使用O姿态对基准进行三角测量，并且基于持久性过滤掉不良基准。然后将剩余的基准和姿态标记的图像提供给AR服务器云。
应当理解，这些功能(点的提取，过滤掉不良基准并提供基准和姿态标记的图像)不需要实时地执行，并且可以在稍后的时间执行以保留带宽。
O姿态用于确定用户的姿态(用户地点和视场)。O姿态的目的是使用最小的处理能力在已映射的环境中建立高精度姿态。计算O姿态包括几个步骤。
为了估计在n处的姿态，可佩戴系统可以使用从S姿态和O姿态(n-1，n-2，n-3等)收集的历史数据。然后使用n处的姿态将基准投影到在n处捕获的图像中，以从投影创建图像掩模。可佩戴系统从掩蔽区域提取点并从提取的点和成熟的世界基准计算O姿态。
应当理解，通过仅从特定图像的掩蔽子集中搜索/提取点大大减少了处理负担。进一步进行，在n处的计算的O姿态和在n处的s姿态可以用于估计n+1处的姿态。姿态标记的图像和/或视频可以被发送到AR服务器云。
“超分辨率”(super-res)模式可以用于创建超分辨率图像和基准。复合姿态标记的图像可以用于创建超分辨率图像，其继而可以用于增强基准位置估计。应当理解，从超分辨率基准和图像迭代O姿态估计。上述步骤可以在可佩戴装置上实时地执行或者可以发送到AR服务器云并且在稍后的时间执行。
在一个实施例中，AR系统可以具有某些基本功能以及由可以通过AR系统分发以提供某些专门功能的“应用”或应用程序所促进的功能。例如，以下应用可以安装到主题AR系统以提供专门的功能。
在一个实施例中，如果显示装置通过连续帧跟踪2D点，将向量值函数拟合到那些点的时间演化，则可以在任何时间点(例如，在帧之间)对向量值函数进行采样或在不久的将来的某一点对向量值函数进行采样(通过在时间上向前投影向量值函数)。这允许创建高分辨率后处理和在实际捕获下一图像之前预测未来姿态(例如，可以在不使相机帧速率加倍的情况下使配准速度加倍)。
对于以身体为中心的呈现(与头部固定或世界固定的呈现相对)，需要对身体的精确视图。在一个实施例中，不是测量身体，而是可以通过用户头部的平均位置导出其位置。如果用户的脸部大部分时间向前，则头部位置的多天平均将揭示该方向。
结合重力向量，这提供了用于身体固定呈现的合理稳定的坐标系。使用相对于该长持续时间坐标系的头部位置的当前测量允许在用户身体上/周围的对象的一致呈现，而不采用额外的仪器装备。为了实现本实施例，可以开始头部方向向量的单个寄存器平均，并且数据的移动总和除以Δt将给出当前平均头部位置。保持五个左右的寄存器，在第n-5天、第n-4天、第n-3天、第n-2天、第n-1天开始允许仅使用过去的“n”天的滚动平均。
在一个实施例中，场景可以缩小并且在小于实际的空间中呈现给用户。例如，在其中存在可在巨大空间(例如，诸如足球场)中呈现的场景的情况下，可能不存在等效的巨大空间，或者这种大的空间对于用户可能不方便。在一个实施例中，系统可以减小场景的比例，使得用户可以观看它的微型形式。例如，人们可以将鸟瞰视频游戏或世界冠军足球游戏在不成比例的场地中播放，或者按比例缩小并呈现在客厅地板上。系统可以简单地移动呈现视角、比例和相关的适应距离。
系统还可以通过操纵虚拟或增强现实对象的焦点，通过突出显示它们，改变对比度、亮度、比例等来将用户的注意力吸引到呈现的场景内的特定项目。
优选地，该系统可以实现以下模式。在开放空间呈现模式下，系统可以从结构化环境中抓取关键点，并填充呈现之间的空间。该模式可用于创建潜在场地，如舞台、输出空间、大型室内空间等。
在对象包裹模式中，系统可以识别真实世界中的3D对象，并且然后增强它。在本上下文中，“识别”可以意味着以足够高的精度识别3D对象以将图像锚定到3D对象。应当理解，在本上下文中，识别可以意味着对对象的类型(例如，人的面部)分类，和/或对对象(例如，Joe，人)的特定实例进行分类。使用这些原则，识别器软件可以用于识别各种事物，如墙壁、天花板、地板、面部、道路、天空、摩天大楼、牧场、桌子、椅子、汽车、路标、广告牌、书架等。一些识别器软件程序可以是类型I，并且具有通用功能(例如，“将我的视频放在该墙壁上”，“那是狗”等)，而其它识别器软件程序可以是类型II，并具有特定的功能(我的电视距天花板3.2英尺在我的客厅墙壁上，“那是Fido”等)
在以身体为中心的呈现中，任何呈现的虚拟对象固定到用户的身体。例如，一些对象可以漂浮在用户身体周围(例如，用户的腰带)。实现这一点需要知道身体的位置，而不仅仅是头部的位置。然而，身体的位置可以通过头部的位置来估计。例如，头部通常平行于地面指向前方。此外，通过使用通过用户头部位置的长期平均而获取的数据，身体的位置可以随时间变得更准确。
类型II识别的对象可以链接到各种3D模型的在线数据库。当开始识别过程时，最好从具有通常可用的3D模型的对象开始，例如汽车或公用事业。
该系统还可以用于虚拟存在，例如，使得用户能够将远程人的化身绘制到特定的开放空间中。这可以被认为是上面讨论的“开放空间呈现”的子集。用户可以创建本地环境的粗略几何形状，并且将几何和纹理地图两者迭代地发送给其他人。然而，用户可以授予他人进入他们的环境的许可。微妙的语音提示、手部跟踪和头部运动可以发送到远程化身。基于上述信息，可以动画化化身。应当理解，创建虚拟存在使得带宽最小化并且可以节省地使用。
系统还可以被配置为使对象成为到另一个房间的“入口”。换句话说，代替在本地房间中示出化身，所识别的对象(例如，墙壁)可用作到另一用户环境的入口。因此，多个用户可以坐在他们自己的房间中，看“穿”墙壁进入其他用户的环境。
系统还可以配置为当一组相机(人)从不同的视角观看场景时创建区域的密集数字模型。只要通过至少一个相机观看该区域，该模型可以从任何有利位置呈现。例如，婚礼场景可以通过多个用户的视点来呈现。应当理解，识别器可以与移动对象不同的方式区别并映射静止对象(例如，墙壁具有稳定的纹理映射，而人们具有较高频率的移动纹理映射)。
采用实时更新的丰富数字模型，可以从任何视角呈现场景。回到婚礼的示例，在后面的参加者可以在空中飞行到前排以便更好观看。或者，场外参加者可以用化身找到“座位”，或者如果组织者允许，则不可见。参加者可以示出移动的化身，或者可以使化身隐藏而不能看见。应当理解，该方面可能需要极高的带宽。高频数据可以在高速本地无线连接上在人群中流传输，而低频数据可以来自云中的AR服务器。在上述示例中，由于婚礼的所有参加者可以具有高精度位置信息，因此使得用于本地联网的最优路由路径不重要。
为了与系统或在用户之间的通信，通常期望简单的无声消息传递。例如，可以使用手指和弦键盘(finger chording keybaord)。在可选的实施例中，触觉手套解决方案可以提供增强的性能。
为了给用户提供完整的虚拟现实体验，视觉系统变暗，并且向用户示出不与现实世界重叠的视图。即使在该模式下，仍然可能需要配准系统来跟踪用户的头部位置。可以存在可以用于体验完全虚拟现实的几种模式。例如，在“沙发”模式中，用户可能能够飞行。在“走路”模式中，真实世界的对象可以被重新呈现为虚拟对象，以使得用户不与真实世界冲突。
作为一般规则，呈现身体部分对于用户暂停对在虚拟世界中导航的怀疑可能是重要的。在一个或多个实施例中，这可能需要具有用于在用户的视场中跟踪并呈现身体部位的方法。例如，不透明面甲可以是具有许多图像增强可能性的虚拟现实的形式。在另一个示例中，宽视场可以给予用户后视图。在又一示例中，系统可以包括各种形式的“超级视觉”，如望远镜视觉、透视视觉、红外视觉、上帝的视觉等。
在一个实施例中，创建用于虚拟和/或增强的用户体验的系统，以使得与用户相关联的远程化身可以至少部分地基于具有来自源的输入的可佩戴装置上的数据而动画化，所述源有诸如语音变调分析和面部识别分析，如由相关软件模块进行的。例如，返回参考图60，可以基于用户面部上的笑脸的面部识别或者基于友好的语音或说话音来动画化蜜蜂化身6002以具有友好的微笑，如由分析可以本地捕获来自用户的语音样本的麦克风的语音输入的软件所确定的。此外，可以以化身很可能表达某种情绪的方式来动画化化身角色。例如，在其中化身是狗的实施例中，由人类用户本地的系统检测到的幸福微笑或音调可以在化身中表示为狗化身的摇摆尾巴。
参考图65-70，在间谍类型游戏的上下文中示出复杂游戏实施例的各个方面，该间谍类型游戏可以主题地取向为与在“特工007”中推广的角色相关地呈现的某些间谍主题。参考图65，描绘了家庭6584的图示，其中家庭6585的一个成员通过操作输入装置6588(诸如游戏操纵杆或控制器)来控制游戏中的角色，所述输入装置操作性地耦合到游戏计算机或控制台6586，诸如基于个人计算机或专用游戏系统的那些。
游戏控制台6586操作性地耦合到显示器6592，显示器6592示出了飞行员/操作员6585和可能在附近的其他人的用户界面视图6592。图66示出这种用户界面视图6592的一个示例，其中主题游戏正在英国伦敦市内的桥上或附近进行。用于该特定玩家6585的用户界面视图6592纯粹是虚拟现实(例如，显示的用户界面的所有元素实际上不与玩家6585一起存在)，它们是使用监视器或显示器(图65中的元素6590)显示的虚拟元素。
再次参考图66，所描绘的虚拟现实视图6592以伦敦城的视图为特征，其特征在于桥梁6602和各种建筑物6698和其它建筑特征，其中示出游戏角色(6618－在该说明性示例中也称为“特工009”)由当前玩家6585从如图66的用户界面视图6592中所示的透视图来操作。
还向玩家6585显示通信显示6696、罗盘指示符6694、角色状态指示符6614、新闻工具用户界面6604、社交网络工具用户界面6632和消息传递用户界面6612。进一步示出的是游戏中的另一个角色的代表(6622―在该说明性示例中也被称为“特工006”)。如在用户界面视图6592中所示，系统可以呈现被认为与呈现的场景相关的信息，诸如通过特工006正在接近的消息传递界面6612的消息，以及特工006角色周围的视觉呈现的突出显示。
操作者6585可以在任何时间改变他或她正在使用的视图的视角。例如，不是图66中所示的直升机状透视图，玩家可以决定从这种角色的眼睛的角度选择视图，或者可以计算并呈现许多其它可能的视图中的一个。
参图67，另一个说明性视图6744示出了作为角色“特工006”6740操作的实际人类玩家，其佩戴头戴式AR显示系统6700和相关联的本地处理系统6708，同时他参与由操作者在她的客厅家中正在玩的同一游戏(例如图65中的玩家6585)，并且同时他实际上走过伦敦的真实城市以进行混合或增强的现实体验。
在所描绘的实施例中，当玩家6740沿着桥行走并佩戴着他的增强现实头戴式显示器6700时，他的本地处理系统6708正在向他的显示器馈送如图所示的各种虚拟现实元素，其覆盖在他的实际现实视图(例如，诸如伦敦6738的实际天际线和结构)上。
人类可以在他的手中携载一个或多个实际文档6842，在一个实施例中，该文档先前被电子地传送给他用于打印输出并在游戏场景中使用。图68示出了从玩家6740眼睛视角的视图6846的图示，其越过查看他的实际文档6742以查看实际的伦敦天际线6738，同时还通过他的头戴式显示器呈现用于增强现实视图的各种虚拟元素。
虚拟元素可以包括例如通信显示6826、新闻显示6828、一个或多个电子通信或社交网络工具显示6832、一个或多个玩家状态指示符6834、消息传递界面6836、罗盘取向指示符6824和内容6848的一个或多个显示，诸如文本、音频或视频内容。这可以根据其它显示或捕获的信息(诸如作为玩家6840携载的实际文档6842中的特征的文本或照片)来检索并呈现。
附近，仅存在于虚拟现实中的另一个角色“特工009”呈现到作为角色“特工006”操作的玩家6840的增强现实视图6846中，并且可以在用户界面中如此标记以便容易识别，如在图68中所示。
参考图69，呈现另一个玩家6950的玩家眼睛视图6952，其也恰巧实际存在于伦敦6938并且朝向“特工006”玩家6940穿过同一桥梁，但没有头部佩戴AR系统。该玩家6950可以携载诸如平板或智能电话的移动通信装置6954，在该实施例中，该移动通信装置6954可以与更大的系统无线连接，并且用作到主题游戏的增强现实世界中的“窗口”，并且被配置为在装置的有限用户界面6956中呈现关于一个或两个其他附近的玩家(例如，实际的或虚拟的)的增强现实信息以及诸如警告或角色信息的其他增强现实显示信息6962。如图69中所示，在用户界面6956上示出了特工006玩家6958的虚拟表示和特工009玩家6960的虚拟表示。
参考图70，呈现“鸟瞰”或有人或无人飞行器(或“UAV”)的视图7064。在一个实施例中，视图7064可基于由另一玩家或前述玩家之一操作的虚拟UAV。所描绘的视图7064可以以完全虚拟模式呈现给玩家，例如，玩家可以在家中坐在沙发上，具有大型计算机显示器6590或头戴式AR系统。可替代地，这种视图可以被呈现为对碰巧在飞机或其它飞行交通工具中的玩家的增强现实视图(例如，“增强”或混合的，因为对于处于这种位置的人，至少部分视图将是实际现实)。所示视图7064包含用于信息仪表板7070的界面区域，信息仪表板的特征包括相关信息，诸如关于在视图中发现的所识别的对手方的信息。所描绘的视图7064还具有虚拟突出显示信息，诸如信息7068的感兴趣的地方，其他玩家或角色7066的地点和/或状态，和/或其他信息呈现7067。
参考图71，为了说明的目的，另一增强现实场景呈现有以某些实际现实元素为特征的视图7172，诸如：房间7174的架构、咖啡桌7180、DJ桌7178和五个实际人(7176、7188、7182、7184、7186)，他们中的每一个佩戴头戴式AR系统，以使得他们可以体验相应世界的增强现实视图(例如，虚拟现实卡通角色7198、虚拟现实西班牙舞者角色7196、卡通角色7194，以及实际人7188中的一个的球形兔耳头套7192)。如果没有增强现实界面硬件，房间对于五个实际的人将会看起来像有家具、DJ桌的房间。
然而，采用AR系统，系统被配置为使得参与的玩家或参与者可以体验当前在房间中的另一个用户，其形式为卡通角色或西班牙舞者，或者作为卡通角色，或者用户穿着正常的衣服，但是他/她的头部用球形兔耳头套7192可视化。系统还可以被配置为示出与实际DJ桌7178相关联的某些虚拟特征，诸如虚拟音乐文档页7190，其可以只对DJ 7176可见，或者DJ桌照明功能，其对周围使用他们的增强现实界面硬件的任何人都可见。
参考图72A和72B，诸如平板计算机或智能电话的移动通信装置的适配可用于体验增强现实，作为进入所讨论游戏的增强现实世界或者使用所讨论系统创建的体验的修改“窗口”。参考图72A，典型的智能电话或平板计算系统移动装置7254的特征包括相对简单的可视用户界面7256，并且通常具有一个或多个相机。
参考图72B，移动计算装置已经可移除地并且操作性地耦合到增强控制台7218中，以增加移动计算装置的增强现实参与能力。例如，所描绘的实施例具有两个面向玩家的相机7202，其可用于眼睛跟踪；四个扬声器7200，其可用于简单的高质量音频和/或定向声音整形；用于机器视觉、配准和/或定位的两个面向前方的相机7204；添加的电池或电源能力7212；一个或多个输入界面(214，216)，其可以被定位以便由抓握所耦合的系统的玩家容易地使用；用于向抓握耦合系统的用户提供反馈的触觉反馈装置7222(在一个实施例中，触觉反馈装置可以为每个轴提供沿+或-方向的两个反馈轴以提供方向反馈；这种配置可以例如，用于帮助操作者保持系统瞄准感兴趣的特定目标等)；一个或多个GPS或定位传感器7206；和/或一个或多个加速度计、惯性测量单元(IMU)和/或陀螺仪(208)。
参考图73，在一个实施例中，诸如图72B中描绘的系统可以用于使用GPS传感器和/或无线三角测量(7332)在X和Y(类似于纬度和经度地球坐标)笛卡尔方向中粗略定位参与者。粗略定向可以使用罗盘和/或无线定向技术(7334)来实现。在确定粗略定位和定向的情况下，分布式系统可以将本地特征映射信息加载(例如，经由无线通信)到本地装置。
这种信息可以包括例如几何信息，诸如地平线几何、建筑几何、水路/平面元素几何、风景几何等(7336)。本地和分布式系统可以利用粗略定位、粗略定向和局部特征地图信息的组合来确定精细定位和定向特性(诸如X、Y和Z(类似于海拔)坐标和3D取向)(7338)，其可以用于使分布式系统将细间距本地特征映射信息加载到本地系统，以增强用户体验和操作。可以使用粗略定位和定向工具以及本地部署的装置(诸如惯性测量单元、陀螺仪和加速度计)来跟踪到不同取向和地点的运动，这些装置可以耦合到移动计算系统，诸如参与者(7342)可携载的平板或移动电话。
诸如图71中特征的DJ桌7178的实际对象可以用虚拟现实表面、形状和/或功能来扩展。例如，在一个实施例中，这种装置上的真实按钮可以打开与实际装置和/或其他装置、人或对象交互的虚拟面板。
诸如图71中描绘的聚会室7174的房间可以外推为任何房间或空间。系统可以具有任何某些已知数据(诸如关于房间和其它相关联的结构或事物的现有两维或三维数据)，或者可以具有接近零的数据，并且诸如安装在图72B的控制器控制台上的那些的相机的机器视觉配置可用于捕获附加数据；此外，可以创建系统，以使得人群可以众包(crowd-source)可用的二维或三维地图信息。
在其中现有地图信息(例如伦敦市的三维地图数据)可用的配置中，佩戴头戴式AR系统的用户可使用GPS、罗盘和/或其它手段(诸如，作为附加的固定跟踪相机，耦合到其他玩家的装置等)粗略地被定位。精确配准可以从用户的传感器完成，并且确定物理地点的已知几何形状作为用于这种配准的基准。
例如，在伦敦特定建筑物中在距离X处查看时，当系统已将用户定位在距GPS信息的Y英尺内和来自罗盘和地图M的方向C上时，系统可以配置为实现在某个误差E内“锁定”用户的三维位置的配准算法(有点类似于在机器人或计算机辅助的手术中使用的技术)。
固定相机也可以与头戴式或传感器系统一起使用。例如，在诸如图71中所描绘的聚会室中，安装到房间7174的某些方面的固定相机可以被配置为提供房间和移动的人的现场的正在进行的视图，给予远程参与者整个房间的“现场”数字远程存在视图，以使得他们与在房间里的虚拟和物理的人更丰富地社交。
在这种实施例中，几个房间可以彼此映射：物理房间和虚拟房间几何形状可以彼此映射；可以创建额外的扩展或视觉效果，其将虚拟房间等于、小于或大于物理房间地映射到物理房间，对象移动通过物理和虚拟“元”房间，并且然后视觉定制或“蒙皮的”(skinned)房间版本可以被提供给每个用户或参与者。例如，当用户可能在完全相同的物理或虚拟房间中时，系统可以允许用户的定制视图。例如，一个用户可以在聚会，但是具有映射有“死亡星”图案或皮肤的环境，而另一个用户可以具有如图71所示的用聚会环境蒙皮的房间。
显示
在一个或多个实施例中，预测器/校正器机制可用于平滑和/或预测性地校正显示过程中的延迟和/或定时不一致。为了说明，考虑在可佩戴装置的目镜中显示图像的过程中存在许多阶段。例如，假设可佩戴装置至少对应于以下处理阶段：
传感器->计算->应用->显示处理
传感器阶段与从用于通过可佩戴装置创建或显示数据的一个或多个传感器获取的测量有关。这种传感器可以包括例如相机、IMU等。问题是，一些传感器可能具有彼此显著不同的测量速率，其中一些被认为相对“快”，另一些可以被认为相对“慢”。相机传感器可以例如在从30-60次测量/秒的范围内相对缓慢地操作。相比之下，IMU可以例如在500-2000次测量/秒的范围内相对快地操作。当尝试使用测量数据来生成显示信息时，这些不同的测量速率可能引入延迟和不一致。
此外，可以在一些上述识别的处理阶段期间引入定时延迟。例如，可以在计算阶段中引入定时延迟，在该计算阶段期间接收传感器数据并且运行该传感器数据上的计算。例如，用于归一化、计算、调节和/或缩放传感器数据的动作将可能在该处理阶段期间生成延迟Δtcompute。类似地，应用阶段也可能引入一定量的延迟。应用阶段是特定应用正在执行以对用户期望的功能的输入数据进行操作的阶段。例如，如果用户正在玩游戏，则游戏应用在应用阶段中运行。应用所需的处理将在该处理阶段期间引入延迟Δtapplication。显示处理阶段也可能将自己的延迟Δtdisplay引入到该过程中。例如，引入该延迟以执行呈现像素以在可佩戴目镜中显示所需的处理。显然，在处理的各个阶段期间引入了许多类型的延迟。
本发明的实施例使用预测滤波器来考虑和/或校正这些延迟和/或不一致对显示图像的影响。这通过预测性地确定这些问题的影响(例如，通过添加/计算时钟以及Δtcompute和Δtapplication和Δtdisplay的效果)来实现。预测滤波器还考虑传感器阶段处的传感器测量的相对速度。可用于进行该预测的一种可能的方法是在显示处理阶段中利用卡尔曼预测器。至少部分地基于该预测，可以对显示数据进行补偿改变以考虑和/或校正延迟和/或测量速度的负面影响。
作为说明性示例，考虑当需要在可佩戴装置中显示某组视觉数据。然而，用户还在该特定时间点运动，并且上面讨论的延迟可能导致用于该场景的对于该用户的呈现像素的明显滞后。在该情况下，本实施例使用预测滤波器来识别延迟的存在和效果，分析用户的运动以确定“他要去哪里”，并且然后执行所显示的数据的“移位”以考虑处理延迟。滤波器还可以例如使用卡尔曼平滑器用于“平滑”视觉假象和来自传感器测量的负面效果。
UI系统
以下讨论将集中于可以用于与AR系统通信的各种类型的用户界面部件。
AR系统可以使用各种类型的用户界面(UI)部件中的一个或多个。用户界面部件可以包括执行以下各项的部件：眼睛跟踪、手部跟踪、图腾跟踪、自然特征姿态确定、头部姿态确定以及预测性头部姿态确定。用户界面系统可以利用异步世界模型。如在此所讨论的，用户界面部件可以采用以视图为中心(例如，以头部为中心)的呈现，以身体为中心的呈现和/或以世界为中心的呈现。此外，用户界面部件可以采用各种类型的环境数据，例如邻近于墙壁/天花板/地板/3D-blob/等的GPS地点数据、Wi-Fi信号强度日期、蜂窝电话差分信号强度、已知特征、图像直方图分布、房间特征的散列等，世界中的地点(例如，家、办公室、汽车、街道)，近似社交数据(例如，“朋友”)，和/或语音识别。
如上所述，异步部分模型指的是在个人AR系统中构建本地副本并且使任何改变与云同步。例如，如果椅子在空间中移动，则椅子对象识别器可以识别椅子已经移动。然而，在将该信息发送到云中，并且然后将其下载到本地系统，以使得远程存在化身可以坐在椅子中，可能存在延迟。
应当理解，环境数据可以有助于可以如何使用用户界面。由于AR系统是情境感知的，它隐含地具有对用户或物理对象位于何处的语义理解。例如，可以使用GPS地点数据、Wi-Fi信号强度或网络标识、差分信号强度、已知特征、直方图分布等来对拓扑图做出统计推断。可以扩展增强现实实施方式中的用户界面的概念。例如，如果用户靠近墙壁并敲击墙壁，则敲击可以由用户界面解释为用户体验(UX)交互模式。作为另一示例，如果用户在装置上选择特定的Wi-Fi信号，则该选择可以由用户界面解释为交互模式。用户周围的世界成为用户的用户界面(UI)的一部分。
用户输入
参考图100，用户界面可以响应于各种输入中的一个或多个。AR系统的用户界面可以例如响应于手部输入10002，例如：手势、触摸、多点触摸和/或多手输入。AR系统的用户界面可以例如响应于眼睛输入10004，例如：眼睛向量和/或眼睛状况(例如，打开/关闭)。AR系统的用户界面可以例如响应图腾输入10006。图腾可以采取大量形式中的任一种，例如腰包。图腾输入可以是静态的，例如跟踪封闭的书/平板等。图腾输入可以是动态的，例如动态地改变，如翻动书中的页面等。图腾输入可以与图腾的通信相关，例如光线枪图腾。图腾输入可以与固有通信相关，例如经由USB的通信、数据通信等。图形输入可以经由模拟操纵杆、点击轮等生成。
AR系统的用户界面可以例如响应于头部姿态，例如头部位置和/或取向。AR系统的用户界面可以例如响应于语音，例如语音命令和参数。AR系统的用户界面可以例如响应于环境声音。例如，AR系统可以包括一个或多个环境麦克风以拾取声音，例如胸部轻拍等。
AR系统的用户界面可以例如响应于环境情况。例如，用户界面可以响应于发生在墙壁附近或靠近墙壁的运动，或者高于限定阈值的运动(例如，以相对高的速度的运动)。
具有一致的用户界面隐喻以向开发者建议并构建到AR系统的操作系统(OS)中并且其可以允许用于各种应用和/或游戏的重新蒙皮(reskinning)可能是有用的。一种方法可以采用用户可致动杆或按钮图标，尽管该方法缺少触觉反馈。杆可以具有相应的支点，尽管这种方法对于用户可能是困难的。另一种方法是基于有意使事物远离的“力场”隐喻(例如边界上的火花等)。
在一个或多个实施例中，可以以虚拟用户界面的形式向用户呈现虚拟图像。虚拟用户界面可以是浮动虚拟屏幕，如在图100中所示。由于系统知道虚拟用户界面在何处(例如，深度、距离、感知地点等)，因此系统可以容易地计算虚拟界面的坐标，并且允许用户与虚拟屏幕交互，并且基于交互发生的坐标以及用户的手部、眼睛等的已知坐标从虚拟用户界面接收输入。
因此，换句话说，系统映射各种“键”或虚拟用户界面的特征的坐标，并且还映射用户的手部、眼睛(或任何其它类型的输入)的坐标/知道其位置，以及使它们相关，以接收用户输入。
例如，如果在以头部为中心的参考系中向用户呈现虚拟用户界面，则系统总是知道虚拟用户界面的各种“键”或特征相对于以世界为中心的参考系的距离/位置。然后，系统执行一些数学转换/变换以找到两个参考系之间的关系。接下来，用户可以通过挤压虚拟图标来“选择”用户界面的按钮。由于系统知道触摸的位置(例如，基于触觉传感器、基于图像的传感器、深度传感器等)，系统基于手部挤压的位置和用户界面按钮的已知位置确定选择了什么按钮。
因此，不断知道虚拟对象相对于真实对象的位置以及相对于各种参考系(例如，以世界为中心，以头部为中心，以手部为中心，以臀部为中心等)的位置允许系统了解各种用户输入。基于输入，系统可以使用映射表来将输入与特定动作或命令相关，并执行动作。
换句话说，用户与虚拟用户界面的交互总是被跟踪(例如，眼睛交互、手势交互、手部交互、头部交互等)。这些交互(或这些交互的特征)，包括但不限于交互的位置、交互的力、交互的方向、交互的频率、交互的数量、交互的性质等，用于允许用户响应于所显示的虚拟用户界面向用户界面提供用户输入。
眼睛跟踪
在一个或多个实施例中，AR系统可以跟踪物理空间或环境(例如，物理房间)中的一个或多个用户的眼睛姿态(例如，取向、方向)和/或眼睛运动。AR系统可以利用由定位和取向成检测用户眼睛的姿态和/或运动的一个或多个传感器或换能器(例如，相机)收集的信息(例如，捕获的图像或图像数据)。例如，个人AR系统的头部佩戴部件可以包括一个或多个面向内的相机和/或光源以跟踪用户的眼睛。
如上所述，AR系统可以跟踪用户的眼睛姿态(例如，取向、方向)和眼睛运动，并构建“热图”。热图可以是跟踪并记录针对一个或多个虚拟或真实对象的眼睛姿态实例的时间、频率和数量的世界的地图。例如，热图可以提供关于什么虚拟和/或真实对象产生眼睛注视或注视的最多数量/时间/频率的信息。这可以进一步允许系统理解用户对特定虚拟或真实对象的兴趣。
有利地，在一个或多个实施例中，在一些实施例中，热图可以用于广告或营销目的，并确定广告活动的有效性。AR系统可以生成或确定表示用户正在关注的空间中的区域的热图。在一个或多个实施例中，AR系统可以例如采用基于眼睛跟踪和/或热图优化的位置和/或光学特性(例如，颜色、光度、亮度)来呈现虚拟内容(例如，虚拟对象、虚拟工具和其它虚拟构造，例如应用、特征、字符、文本、数字和其他符号)。
注视跟踪
应当理解，关于注视跟踪概述的概念可以应用于下面进一步描述的任何用户场景和实施例。在一个或多个实施例中，下面描述的各种用户界面还可以被激活/发起回到检测到的注视。在此所描述的原理可以应用于本公开的任何其它部分，并且不应被解读为限制。
在一些实施例中，AR系统可以跟踪眼睛注视。存在注视跟踪的三个主要部件：眼睛跟踪模块(瞳孔检测和角膜中心的检测)、头部跟踪模块，以及使眼睛跟踪模块与头部跟踪模块相关的相关模块。相关模块使世界坐标(例如，真实世界中的对象的位置)和眼睛坐标(例如，眼睛相对于眼睛跟踪相机的运动等)之间的信息相关。
眼睛跟踪模块被配置为确定角膜的中心和瞳孔的中心。参考图117，示出了眼睛11702的示意图。如在图117中所示，线11704示为穿过角膜的中心、瞳孔的中心和眼球的中心。该线11704可以被称为光轴。
图117还示出穿过角膜的另一注视线11706。该线可以被称为视轴。如在图17中所示，视轴是相对于光轴的倾斜线。应当理解，视轴11706穿过的小凹(fovea)1708的区域被认为是感光器的非常密集的区域，并且因此对于眼睛观察外部世界是至关重要的。视轴11706通常与光轴有1-5°的偏差(不一定是竖直偏差)。
在常规注视跟踪技术中，主要假设之一是头部不移动。这使得更容易相对于光轴确定视轴以用于注视跟踪目的。然而，在AR系统的上下文中，预期用户将不断地移动他/她的头部；因此常规的注视跟踪机制可能不可行。
为此，AR系统被配置为相对于系统归一化角膜的位置。应当理解，角膜的位置在注视跟踪中非常重要，因为光轴和视轴二者穿过角膜，如前面的图117中所示。
现在参考图118，AR系统包括附接到可佩戴AR系统11806的世界相机系统(例如，放置在用户头部上以捕获一组环境的相机；相机随着用户头部的移动而移动)。此外，如在图118中所示，AR系统11806可以进一步包括跟踪眼睛11802的运动的一个或多个眼睛跟踪相机11808。由于两个相机(例如眼睛跟踪相机11808和世界相机11804)正在移动，该系统可以考虑头部运动和眼睛运动二者。可以跟踪头部运动(例如，基于FOV相机11804计算的)和眼睛运动(例如，基于眼睛跟踪相机11808计算的)，以便归一化角膜的位置。
应当理解，眼睛跟踪相机11808测量从相机到角膜中心的距离。因此，为了补偿可佩戴AR系统11806如何相对于眼睛移动的任何变化，到角膜中心的距离被归一化。例如，对于眼镜运动，可能存在相机远离角膜的轻微旋转和/或平移。然而，系统通过使到角膜中心的距离归一化来补偿该运动。
应当理解，由于眼睛跟踪相机和头部相机(世界相机)都是刚体(例如，AR系统的框架)，所以眼睛跟踪相机的任何归一化或校正也需要类似地在世界相机上执行。例如，相同的旋转和平移向量可以类似地应用于世界相机系统。因此，该步骤识别眼睛跟踪和头部跟踪系统之间的关系(例如，旋转向量、平移向量等)。
一旦已经识别旋转和/或平移向量，就在远离用户的各种深度处执行校准步骤。例如，可以存在距离用户固定距离的已知点。世界相机11804可以测量空间中的固定的点与用户之间的距离。如上所述，基于与眼睛跟踪相机11808相关联的计算，角膜中心的位置也是已知的。
另外，如上所述，眼睛跟踪相机11808和世界相机之间的关系也是已知的(例如，任何平移或旋转向量)。因此，可以理解，一旦已经识别目标的位置(例如，空间中的固定已知点)和角膜的位置，可以容易地识别注视线(从角膜到目标)。该信息可以用于映射和/或呈现，以便相对于物理世界的一个或多个真实对象精确地描绘空间中的虚拟对象。
更具体地，为了确定世界相机11804和眼睛跟踪相机11806之间的关系，可以向眼睛相机和世界相机两者呈现至少两个固定图像，并且可以使用图像中的差异以校准两个相机。例如，如果知道相对于眼睛跟踪系统11808的角膜的中心，则可以通过利用眼睛相机和世界相机之间的已知关系，确定相对于世界坐标系11804的角膜的中心。
在一个或多个实施例中，在校准过程期间(例如，在用户首次接收AR装置时的设置过程期间等)，第一固定图像由眼睛相机11806并且然后由世界相机11804捕获。为了说明的目的，由眼睛相机执行的第一图像捕获可以被认为是“E”，并且由世界相机执行的第一图像捕获可以被认为是“W”。然后，第二固定图像由眼睛相机11806捕获，并且然后由世界相机11804捕获。第二固定图像可以在与第一固定图像稍微不同的位置。
眼睛相机的第二图像捕获可以被称为E'，并且世界相机的第二图像捕获可以被称为W'。由于Z＝WXE和Z＝W'XE'，所以X可以容易地使用上述两个方程计算。因此，该信息可以用于可靠地映射点以自然地校准相机相对于世界的位置。通过建立该映射信息，可以容易地确定注视线11706，其可以进而用于向用户策略性地提供虚拟内容。
注视跟踪硬件
现在参考图119，为了使用眼睛跟踪模块检测角膜的中心，AR系统利用具有两个闪烁(例如，LED灯)的一个相机或各自具有一个闪烁的两个相机。在所示实施例中，仅示出相对于眼睛11802和眼睛跟踪相机11806的一个闪烁11902。应当理解，角膜的表面是高度反射的，因此，如果存在跟踪眼睛(例如，眼睛跟踪相机)的相机，则可能存在形成在相机的图像平面上的闪烁。
由于LED光11902的3D位置是已知的，并且从相机的图像平面到闪烁11910的线是已知的，所以创建包括闪烁和图像平面的3D平面。角膜的中心位于该创建的3D平面11904上(其在图119中表示为线)。类似地，如果使用另一闪烁(来自另一LED灯)，则两个3D平面彼此相交，以使得另一3D平面也具有角膜的中心。因此，可以理解，两个3D平面的相交产生保持角膜中心的线。现在可以确定该线内的角膜的精确点。
应当理解，在该线上(从闪烁到投影仪)存在满足反射定律的唯一位置。如在物理学中众所周知的，反射定律表明当光线从表面反射时，入射角等于反射角。该定律可用于找到角膜的中心。
参考图120，现在可以确定从角膜中心到原始点(例如，闪烁11910)的距离(r'，未示出)。类似地，可以在另一条线12004(从另一个闪烁12002到另一个投影仪)上执行相同的分析以找到r”(从相交线到另一条线的距离)(未示出)。角膜的中心可以基于值彼此最接近的r'和r”的值来估计。应当理解，上述示例实施例描述了两个平面，但是如果使用更多的平面，则可以更容易地发现角膜的位置。这可以通过使用多个LED灯(例如，更多的闪烁)来实现。
重要的是，眼睛跟踪系统在眼睛上产生至少两个闪烁。为了提高准确度，可以在眼睛上产生更多的闪烁。然而，采用眼睛的表面上产生的额外闪烁，变得难以确定哪个闪烁由哪个LED产生。为此，为了理解闪烁和LED之间的对应关系，而不是同时在每个帧上反射闪烁，一个LED可以打开一个帧，而另一个可以在第一个关闭之后打开。这种方法可以使AR系统更可靠。
类似地，因为折射导致的差异，难以确定瞳孔的确切中心。为了检测瞳孔的中心，可以捕获眼睛的图像。可以围绕图像的中心以“星爆”(starbusrt)图案从中心点径向向外移动，以找到瞳孔。一旦找到，就可以从瞳孔内的点开始执行相同的处理以找到瞳孔的边缘。该信息可以用于推断瞳孔中心。应当理解，如果该过程重复几次，则一些中心可能是离群值。然而，这些离群值可能被过滤掉。然而，即使使用该方法，由于上述折射原理，光瞳的中心可能仍然不在正确的位置中。
现在参考图121，可以执行校准以确定视轴和光轴之间的偏差。当校准系统时，瞳孔的真实中心可能无关紧要，但是对于世界中的映射(例如，考虑例如世界在2D中)，确定世界和眼睛之间的距离是重要的。给定瞳孔中心和图像平面，重要的是找到映射以在2D世界中找到相关的坐标，如在图121中所示。为此，可以使用抛物线映射来找到图像平面中的对应坐标。可以使用如下的样本方程：
Xs＝a1xe2+a2ye2+a3xeye+a4xe+a5ye+a6
如在图121的12100中所示，与上述类似的方程可用于从确定的(Xe，Ye)确定(Xs，Ys)。在此，总的参数是十二个。每个点提供两个方程；因此可能需要至少六个点(例如，a1-a6)来求解该方程。
现在已知角膜的中心是，并且已知目标点的位置，则可以从角膜的中心到目标点绘制线。世界相机11804具有拍摄图像的固定平面，其可以在空间中的固定点拍摄图像。然后向该人显示另一个目标点，并且然后确定虚拟地附接到世界相机的相交平面。
上面描述的映射技术可以用于确定在该相交平面内的对应点，如上面详细描述的。知道角膜的中心，上述映射技术可以识别虚拟地附接到世界相机的图像平面上的点。假设所有这些点现在是已知的，则可以从角膜的中心到图像平面上的点建立注视线。应当理解，注视线是对每只眼睛分开构建。
现在参考图122，示出了确定注视线的示例方法12200。首先，在12202处，可以确定角膜的中心(例如，通过上述LED三角测量方法等)。然后，在112204处，可以确定眼睛相机和世界相机之间的关系。在12206处，可以确定目标位置。最后，在12208处，映射技术可用于基于所有确定的信息来构建注视线。
伪随机模式
在一个或多个实施例中，AR系统可以在跟踪眼睛姿态或眼睛运动中利用伪随机噪声。例如，个人AR系统的头部佩戴部件可以包括一个或多个光源(例如，LED)，其定位和取向为当头部佩戴部件由用户佩戴时照亮用户的眼睛。相机检测从眼睛返回的光源的光。例如，AR系统可以使用浦肯野(purkinje)图像，例如，来自眼睛的结构的对象的反射。
AR系统可以改变由光源发射的光的参数，以对从眼睛反射的发射并因此检测到的光施加可识别的图案。例如，AR系统可以伪随机地改变光源的操作参数，以伪随机地改变发射的光的参数。例如，AR系统可以改变光源的发射长度(ON/OFF)。这便于从环境光源发射和反射的光中自动检测发射和反射的光。
如在图101和图102中所示，在一个实施方式中，光源(例如，LED)10102位于眼睛的一侧(例如，顶部)的框架上，并且传感器(例如，光电二极管)位于框架的底部部分。眼睛可以看作是反射器。值得注意的是，只有一只眼睛需要被仪器装备和跟踪，因为成对的眼睛趋向于前后移动。光源10102(例如，LED)通常每次打开和关闭一个(例如，时间片)以产生图案化代码(例如，幅度变化或调制)。AR系统执行由传感器(例如，光电二极管)产生的信号的自相关以确定渡越时间信号。在一个或多个实施例中，AR系统利用光源(例如，LED)、传感器(例如，光电二极管)和到眼睛的距离的已知几何形状。
具有眼睛的已知几何形状的向量的和允许眼睛跟踪。当估计眼睛的位置时，由于眼睛具有巩膜和眼球，所以几何形状可以表示为在彼此顶部叠置的两个圆圈。使用该系统10100，可以在没有相机的情况下确定或计算眼睛指向向量。还可以估计眼睛的旋转中心，因为眼睛的横截面是圆形的，并且巩膜摆动通过特定的角度。因为接收信号与已知发射信号的自相关，这实际上产生向量距离，而不仅仅是光线踪迹。输出可以被看作是浦肯野图像10200，如在图102中所示，其又可以用于跟踪眼睛的运动。
在一些实施方式中，光源可以发射电磁光谱的红外(IR)范围内的光，并且光电传感器可以选择性地响应于IR范围中的电磁能量。
在一个或多个实施例中，如图所示的实施例中所示，向用户的眼睛发射光线。AR系统被配置为检测与光与用户的眼睛的交互相关联的一个或多个特性(例如，浦肯野图像，由光电二极管检测的反向散射光的范围，背向散射光的方向等)。这可以由光电二极管捕获，如所示实施例中所示。可以在光电二极管处测量交互的一个或多个参数。这些参数可以进而用于外推眼球运动或眼姿态的特征。
手部跟踪
在一个或多个实施例中，AR系统可以经由一个或多个用户输入检测装置和/或技术执行手部跟踪。
例如，AR系统可以采用头部佩戴并且从用户身体参考系向前面对的一个或多个图像传感器(例如，相机)。另外地或可替代地，AR系统可以使用一个或多个传感器(例如，相机)，其不是头部佩戴或不佩戴在用户身体的任何部分上。例如，AR系统可以使用安装在物理环境(例如，上述的基于房间的传感器系统)中的一个或多个传感器(例如，相机、惯性传感器、陀螺仪、加速度计、温度传感器或热电偶、出汗传感器)。
作为另一示例，AR系统可以依赖于相机或光传感器的立体装置对。或者，AR系统可包括一个或多个结构化光源以照亮手部。结构化的光可以是或可以不是用户可见的。例如，光源可以选择性地在电磁频谱的红外或近红外范围内发射。
作为又一示例，AR系统可以经由仪器装备的手套执行手部跟踪，例如类似于本文所讨论的触觉手套。AR系统可以光学地跟踪触觉手套。另外或可替代地，AR系统可以使用来自一个或多个手套传感器的遥测，例如位于手套中的一个或多个内部传感器或加速度计(例如，MEMS加速度计)。
手指手势
在一些实施方式中，手指手势可以用作AR系统的输入。手指手势可以采取各种形式，并且可以例如基于手指间交互、指点、敲击、摩擦等。
其它手势可以例如包括字符(例如，字母、数字、标点符号)的2D或3D表示。为了输入这种手势，用户可以简单地以预定义的字符模式滑动手指。
在用户界面的一个实施方式中，AR系统可以呈现三个圆圈，每个圆圈具有周向地围绕圆周布置的特定选择的字符(例如，字母、数字、标点)。用户可以滑过圆圈和字母以指定字符选择或输入。在另一实施方式中，AR系统在用户的视场的低处呈现键盘(例如，QWERTY键盘)，靠近弯曲臂位置中用户的惯用手的位置。用户可以在期望的键上执行类似划动的运动，并且然后通过执行另一个手势(例如，拇指到无名指手势)或其它本体感觉交互来指示完成划动手势选择。
根据一个所示实施例，其它手势可以包括拇指/滚轮选择类型手势，其可以例如与可以在用户的视场中呈现的“弹出”圆形放射状菜单一起使用。
现在参考图103，还示出一些附加手势10320。应当理解，图103中所示的手指手势仅是示例性目的，并且可以类似地使用其它手势。在顶行最左位置中，指向的食指可以指示聚焦的命令，例如聚焦在场景的特定部分或食指指向的虚拟内容。例如，手势10322示出由指向食指构成的“聚焦”命令的手势。AR系统可以识别手势(例如，通过捕获的手指的图像/视频、如果使用触觉手套则通过传感器等)，并且执行期望的动作。
在顶行中间位置中，食指的尖端接触拇指的尖端以形成闭合圆圈的第一捏合手势可以指示抓取和/或复制命令。如在图103中所示，用户可以一起按压食指和拇指手指以“捏住”或抓住用户界面的一部分到另一部分(例如，手势10324)。例如，用户可以使用该手势来将图标(例如，应用)从虚拟用户界面的一部分复制或移动到另一部分。
在顶行最右位置中，具有无名指的尖端接触拇指的尖端以形成闭合圆的第二捏合手势可以指示选择命令。类似地，在一个或多个实施例中，“选择”手势可以包括用无名指按压用户的拇指，如在图10326中所示。例如，用户可以使用该手势来选择特定文档，或者执行一些类型的AR命令。
在底行最左位置中，具有小指的尖端接触拇指的尖端以形成闭合圆的第三捏合手势可以指示返回和/或取消命令。手势10330示出了涉及按压小指和拇指在一起的示例“返回/取消”手势。
在底行中间位置中，无名指和中指卷曲并且无名指的尖端接触拇指的尖端的手势可以指示点击和/或菜单命令。手势10332(例如，拇指与中指和无名指压在一起)可以用于“右击”命令或者指示系统返回到“主菜单”。
在一个或多个实施例中，用户可以简单地点击AR系统面甲上的“主页空间”按钮以返回到主页(例如，10334)。在底行最右位置中，将食指的尖端接触到头部佩戴部件或框架上的位置可以指示返回初始命令。这可以使AR系统返回到主页或默认配置，例如显示主页或默认菜单。
如在图103中所示，AR系统识别各种命令，并且响应于这些命令，执行映射到命令的某些功能。手势到命令的映射可以跨越许多用户来普遍定义，促进在用户界面中利用至少一些共同性的各种应用的开发。可替代地或另外，用户或开发者可以定义至少一些手势与响应于对命令的检测而要由AR系统执行的相应命令之间的映射。
图腾
AR系统可以通过跟踪(例如，视觉跟踪)图腾来检测或捕获用户的交互。图腾是由系统识别的预定义物理对象，并且可以用于与AR系统通信。
任何合适的现有物理结构都可以用作图腾。例如，在游戏应用中，游戏对象(例如，网球拍、枪控制器等)可以被识别为图腾。可以在物理结构上识别一个或多个特征点，从而提供将物理结构识别为图腾的上下文。可以使用一个或多个相机来检测图腾相对于某个参考系(例如，一段媒体、真实世界、物理房间、用户的身体、用户的头部的参考系)的位置、取向和/或运动(例如，位置、方向、距离、速度、加速度)。
有源标记的图腾包括一些类别的有源照明或其它形式的视觉识别。这种有源标记的示例包括(a)闪烁灯(例如，LED)；(b)发光图案组；(c)通过照明突出的反射标记；(d)基于光纤的照明；(e)静态光图案；和/或(f)动态光图案。光图案可以用于在多个图腾中唯一地识别特定图腾。
无源标记的图腾包括无源照明或识别手段。这种无源标记的图案的示例包括纹理图案和反射标记。
图腾还可以包括一个或多个相机/传感器，以使得不需要外部装置来跟踪图腾。相反，图腾将跟踪自身并且将向其它装置提供其自己的地点、取向和/或标识。车载相机用于视觉检查特征点，执行视觉跟踪以检测图腾本身和相对于参考系的地点、取向和/或运动(例如，位置、方向、距离、速度、加速度)。此外，安装在图腾上的传感器(例如GPS传感器或加速度计)可用于检测图腾的位置和地点。
图腾控制器对象是可以安装到任何物理结构的装置，并且其结合了便于跟踪/识别图腾的功能。这允许任何物理结构仅通过将图腾控制器对象放置或附加到该物理结构而变成图腾。图腾控制器对象可以是包括用于向对象上的电子器件供电的电池的被供电对象。图腾控制器对象可以包括通信，例如诸如天线和无线联网调制解调器的无线通信基础设施，以与其它装置交换消息。图腾控制器对象还可以包括任何有源标记(诸如LED或基于光纤的照明)、无源标记(诸如反射器或图案)或相机/传感器(诸如相机、GPS定位器或加速度计)。
在一个或多个实施例中，可以使用图腾以便提供虚拟用户界面。AR系统可以例如呈现虚拟用户界面以出现在图腾上。图腾可以采取各种各样的形式。例如，图腾可以是无生命对象。例如，图腾可以采用金属(例如，铝)的片或片材的形式。个人AR系统的处理器部件，例如腰包，可以用作图腾。
AR系统可以例如在“哑”图腾上复制实际物理装置(例如，计算机的键盘和/或触摸板)的用户界面。作为示例，AR系统可以将电话的特定操作系统的用户界面呈现在铝板的表面上。AR系统可以例如经由面向前方的相机检测与呈现的虚拟用户界面的交互，并且基于检测到的交互来实施功能。
例如，AR系统可以实施一个或多个虚拟动作，例如呈现电话的操作系统的更新的显示，呈现视频，呈现网页的显示。另外或可替代地，AR系统可以实施一个或多个实际或非虚拟动作，例如发送电子邮件，发送文本和/或拨打电话。这可以允许用户从一组实际物理装置(例如各种型号智能电话和/或平板或其它智能手机、平板或甚至其它类型的具有用户界面的家用电器)中选择期望的用户界面以与其进行交互，所述家用电器为诸如电视、DVD/蓝光玩家、恒温器等。
因此，图腾可以是其上可以呈现虚拟内容的任何对象，包括例如可以在用户体验(UX)上下文中将虚拟内容锁定到其上的身体部分(例如，手部)。在一些实施方式中，AR系统可以呈现虚拟内容，以便看起来从图腾后面出来，例如看起来从用户的手部后面出现，并且至少部分地围绕用户的手慢慢地包裹。AR系统检测用户与虚拟内容的交互，例如与部分围绕用户的手部缠绕的虚拟内容的用户手指操纵。
可替代地，AR系统可以呈现虚拟内容以便看起来从用户的手部的手掌出现，并且系统可以检测该虚拟内容的用户指尖交互和/或操纵。因此，虚拟内容可以被锁定到用户的手部的参考系。AR系统可以响应于各种用户交互或手势，包括查看虚拟内容的一些项目，移动手部，将手部触摸到自己或触摸环境，其它手势，打开和/或闭合眼睛等。
如在此所述，AR系统可以利用以身体为中心的呈现，以用户为中心的呈现，以手部为中心的呈现，以臀部为中心的呈现，以世界为中心的呈现，本体感觉触觉交互，指向，眼睛向量，图腾，对象识别器，身体传感器呈现，头部姿态检测，语音输入，环境或环境声音输入以及环境情况输入以与AR系统的用户交互。
图104示出根据一个所示实施例的图腾，其可以用作虚拟键盘10422实施方式的一部分。图腾可以具有大致矩形的轮廓和软硬度表面。当用户经由触摸与图腾交互时，软表面向用户提供一些触觉感知。
如上所述，AR系统可以在用户的视场中呈现虚拟键盘图像，以使得虚拟键、开关或其他用户输入部件看起来驻留在图腾的表面上。AR系统可以例如呈现直接投射到用户的视网膜的4D光场。4D光场允许用户以看起来是真实深度的方式视觉感知虚拟键盘。
AR系统还可以检测或捕获用户与图腾的表面的交互。例如，AR系统可以使用一个或多个面向前的相机来检测用户手指的位置和/或运动。具体地，AR系统可以从捕获的图像中识别用户的手指与图腾的表面的各个部分的任何交互。AR系统映射与虚拟键的位置以及因此与各种输入(例如，字符、数字、标点、控制、功能)的这些交互的位置。响应于输入，AR系统可以使输入提供给计算机或一些其它装置。
另外或可替代地，AR系统可响应于所选择的用户交互而不同地呈现虚拟用户界面。例如，一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于选择来呈现新的一组虚拟界面元素来响应于这种选择。例如，AR系统可以呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。因此，AR系统的呈现可以是上下文敏感的。
图105A示出根据一个所示实施例的图腾的顶表面，其可以用作虚拟鼠标实施方式10502的一部分。图腾的顶表面可以具有大致卵形轮廓，其具有硬表面部分以及一个或多个软表面部分，来复制物理鼠标的键。软表面部分实际上不需要实现开关，并且图腾可以不具有物理键、物理开关或物理电子器件。当用户经由触摸与图腾交互时，软表面部分向用户提供一些触觉感知。
AR系统可以在用户的视场中呈现虚拟鼠标图像10502，以使得虚拟输入结构(例如，键、按钮、滚轮、操纵杆、拇指按钮等)看起来驻留在图腾的顶部表面。如上所述，AR系统可以例如呈现直接投射到用户的视网膜的4D光场，以提供虚拟鼠标具有看起来是真实深度的视觉感知。
AR系统还可以检测或捕获用户的图腾的运动，以及用户与图腾的表面的交互。例如，AR系统可以利用一个或多个面向前的相机来检测鼠标的位置和/或运动和/或用户的手指与虚拟输入结构(例如，键)的交互。AR系统映射鼠标的位置和/或运动。AR系统将用户与虚拟输入结构(例如，键)的位置以及因此与各种输入(例如，控制、功能)的交互相映射。响应于位置、运动和/或虚拟输入结构激活，AR系统可以使相应的输入提供给计算机或一些其它装置。
另外或可替代地，AR系统可响应于选择用户交互而不同地呈现虚拟用户界面。例如，一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现新的一组虚拟界面元素来响应这种选择。例如，如上所述，AR系统可以呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。
图105B示出根据一个所示实施例的图105A的图腾的底部表面10504，其可以用作虚拟轨迹板实施方式的一部分。图腾的底部表面可以是平坦的，具有大致椭圆形或圆形轮廓。底部表面可以是硬表面。图腾可以没有物理输入结构(例如，键、按钮、滚轮)，没有物理开关，且没有物理电子器件。
AR系统可以可选地在用户的视场中呈现虚拟轨迹板图像，以使得虚拟分界似乎驻留在图腾的底部表面上。AR系统检测或捕获用户与图腾的底部表面的交互。例如，AR系统可以利用一个或多个面向前的相机来检测用户的手指在图腾的底部表面上的位置和/或运动。例如，AR系统可以检测一个或多个手指的一个或多个静态位置，或一个或多个手指的位置的改变(例如，用一个或多个手指滑动手势，使用两个或多个手指捏住手势)。
AR系统还可以采用面向前的相机来检测用户的手指与图腾的底部表面的交互(例如，敲击、双敲、短敲、长敲)。AR系统映射用户的手指沿着图腾的底部表面的位置和/或运动(例如，距离、方向、速度、加速度)。AR系统将用户(例如，交互的数量、交互的类型、交互的持续时间)与图腾的底部表面以及因此与各种输入(例如，控制、功能)相映射。响应于位置、运动和/或交互，AR系统可以引起相应的输入将提供给计算机或一些其它装置。
图105C示出根据另一所示实施例的图腾10506的顶表面，其可以用作虚拟鼠标实施方式的一部分。图105C的图腾在许多方面与图105A的图腾类似。因此，相似或甚至相同的结构用相同的参考标记识别。
图105C的图腾的顶表面包括在顶表面上的一个或多个相应位置处的一个或多个凹痕或凹陷，其中AR系统将呈现键或引起其它结构(例如，滚轮)出现。
图106A示出根据另一所示实施例的具有花瓣形(例如，莲花)虚拟用户界面10604的球形图腾10602。
图腾10602可以具有带有硬外表面或软外表面的球体形状。图腾10602的外表面可以具有纹理以便于用户的可靠抓握。图腾10602可以不具有物理键、物理开关或物理电子器件。
AR系统可以在用户的视场中呈现花瓣形虚拟用户界面图像10604，以便看起来像是从图腾10602发出的。虚拟用户界面10604的每个花瓣可以对应于功能、功能类别和/或内容或媒体类型、工具和/或应用的类别。
AR系统可以可选地在图腾的外表面上呈现一个或多个分界。可替代地或另外，图腾10602可以可选地在外表面上带有一个或多个物理分界(例如，印刷的、刻印的)。分界可以帮助用户用花瓣形虚拟用户界面10604可视地定向图腾10602。
在一个或多个实施例中，AR系统检测或捕获用户与图腾10602的交互。例如，AR系统可以利用一个或多个面向前的相机来检测图腾相对于某个参考系(例如，花瓣状虚拟用户界面、真实世界、物理房间、用户身体、用户的头部的参考系)的位置、取向和/或运动(例如，旋转方向、旋转量、旋转角度、角速度、角加速度)。例如，AR系统可以检测图腾10602的静态取向或取向上的变化或图腾10602上的分界中的一个或多个。
AR系统还可以利用面向前的相机来检测用户手指与图腾外表面的交互(例如，敲击、双敲、短敲、长敲、指尖抓握、包围抓握等)。AR系统将图腾的取向和/或取向上的变化(例如，距离、方向、速度、加速度)映射到用户选择或输入。AR系统可选地将用户与图腾10602的外表面以及因此与各种输入(例如，控制、功能)的交互(例如，交互的数量、交互的类型、交互的持续时间)相映射。响应于取向、位置上的变化(例如，运动)和/或交互，AR系统可以使相应的输入提供给计算机或一些其它装置。
另外或可替代地，并且如上所述，AR系统可以响应于各种用户交互而不同地呈现虚拟用户界面10604。例如，一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现新的一组虚拟界面元素来响应这种选择。例如，AR系统可以呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。
现在参考图106B，图腾10606是盘形的。类似于图106A的用户界面10604，在一些实施例中，当选择图腾10606时，呈现花瓣形虚拟用户界面10604。
图106B的图腾是盘形的，具有可以是平坦的或圆顶的顶表面和底表面，如在图106B中所示。也就是说，曲率半径可以无穷大，或远大于图腾的外围边缘的曲率半径。
AR系统在用户的视场中呈现花瓣形虚拟用户界面10604图像，以便看起来像是从图腾10606发出的。如上所述，花瓣中的每一个花瓣可以对应于功能、功能类别，和/或内容或媒体类型、工具和/或应用的类别。图106B表示多个示例，包括搜索功能、设置功能、收藏夹、简档、游戏的集合、工具和/或应用的集合、社交媒体或应用类别、媒体或内容类别或集合(例如娱乐、电子杂志、电子书、其他出版物、电影、电视节目等)。
图106C示出根据另一所示实施例的处于第一配置10610和第二配置10612中的球形图腾10608。特别地，图腾10608具有多个臂或元件，其选择性地相对于彼此可移动或可定位。例如，第一臂或臂对可以相对于第二臂或臂对旋转。第一臂或臂对可以从第一配置10610旋转到第二配置10612。在臂大致弧形的情况下，如图所示，在第一配置10610中，臂形成圆形或大致球体的结构。在第二配置10612中，第二臂或臂对与第一臂或臂对对准以形成具有C形轮廓的部分管，如在图示实施例中所示。
在一个或多个实施例中，臂可以具有足够大的内直径尺寸以接纳用户的手腕或其他肢体。内直径可以尺寸足够小以防止图腾10608在使用期间从肢体滑落。例如，内直径可以设定尺寸为舒适地接纳用户的手腕，同时不滑过用户的手部。这允许图腾10608采取手镯的形式，例如当不使用时，用于方便携载。然后，用户可以以类似于上述球形图腾的方式使用球形形状。图腾可以没有物理键、物理开关或物理电子器件。
值得注意的是，从图106C中省略了虚拟用户界面(诸如图106A和106B中所示的虚拟用户界面10604)。AR系统可以以多种形式中的任何一种形式呈现虚拟用户界面，例如先前示出和讨论的花瓣形虚拟用户界面10604。
图107A示出根据另一所示实施例的手持式控制器形状的图腾10702。图腾10702具有尺寸设定成可舒适地配合在用户手部中的抓握部分。图腾10702可以包括多个用户输入元素，例如键或按钮和滚轮。用户输入元素可以是物理元素，但是不连接到图腾10702中的任何传感器或开关，该图腾10702本身可以没有物理开关或物理电子器件。可替代地，用户输入元素可以是由AR系统呈现的虚拟元素。应当理解，图腾10702可以具有凹陷、腔体、突起、纹理或其它结构以触觉地复制用户输入元素的感觉。
AR系统检测或捕获用户与图腾10702的用户输入元素的交互。例如，AR系统可以使用一个或多个面向前的相机来检测用户手指的位置和/或运动。例如，AR系统可以检测一个或多个手指的一个或多个静态位置，或一个或多个手指的位置上的变化(例如，用一个或多个手指的滑动或摇动手势，旋转或滚动手势，或两者)。
AR系统还可以采用面向前的相机来检测用户的手指与图腾10702的用户输入元素的交互(例如，敲击、双敲、短敲、长敲)。AR系统将用户的手指与图腾10702的用户输入元素的位置和/或运动(例如，距离、方向、速度、加速度)映射。AR系统将用户的手指与图腾10702的用户输入元素以及因此与各种输入(例如，控制、功能)的用户交互(例如，交互的数量、交互的类型、交互的持续时间)映射。响应于位置、运动和/或交互，AR系统可以使相应的输入提供给计算机或一些其它装置。
图107B示出根据另一所示实施例的块形图腾10704。图腾10704可以具有带有六个面的立方体或一些其它三维几何结构的形状。图腾10704可以具有硬的外表面或软的外表面。图腾10704的外表面可以具有纹理以便于用户的可靠抓握。图腾10704可以不具有物理键、物理开关或物理电子器件。
在一个或多个实施例中，AR系统可以在用户的视场中呈现虚拟用户界面图像，以便显现在图腾10704的外表面的一个或多个面上。每个面和对应的用户输入可以对应于功能、功能类别和/或内容或媒体类型、工具和/或应用的类别。
AR系统检测或捕获用户与图腾10704的交互。例如，AR系统可以利用一个或多个面向前的相机来检测图腾10704相对于某个参考系(例如，真实世界、物理房间、用户身体、用户的头部等的参考系)的位置、取向和/或运动。例如，AR系统可以检测图腾10704的一个或多个静态取向或取向上的变化。
AR系统还可以采用面向前的相机来检测用户手指与图腾10704的外表面的交互(例如，敲击、双敲、短敲、长敲、指尖抓握、包围抓握等)。AR系统将图腾10704的取向和/或取向上的变化(例如，距离、方向、速度、加速度)映射到用户选择或输入。AR系统可选地映射与图腾10704的外表面并且因此与各种输入(例如，控制、功能)的用户交互(例如，交互的数量、交互的类型、交互的持续时间)。响应于取向、位置上的变化(例如，运动)和/或交互，AR系统可以使相应的输入提供给计算机或一些其它装置。
响应于取向、位置上的变化(例如，运动)和/或交互，AR系统可以改变呈现虚拟用户界面的一个或多个方面，使相应的输入提供给计算机或一些其它装置。例如，当用户旋转图腾10704时，不同的面可以进入用户的视场，而其他面旋转出用户的视场。AR系统可以通过呈现虚拟界面元素来显现在现在可见的面上进行响应，所述现在可见的面是先前从用户的视图隐藏的。类似地，AR系统可以通过停止虚拟界面元素的呈现来进行响应，这些虚拟界面元素本来将显现在现在从用户的视图隐藏的面上。
另外或可替代地，AR系统可响应于选择用户交互而不同地呈现虚拟用户界面。例如，一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于选择来呈现新的一组虚拟界面元素来响应于这种选择。例如，AR系统呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。
图107C示出根据另一所示实施例的手持式控制器形状的图腾10706。图腾10706具有尺寸设定成可舒适地配合在用户手部中的抓握部分，例如圆柱形管状部分。图腾10706可以包括多个用户输入元素，例如多个压力感应开关和操纵杆或拇指杆。
用户输入元素可以是物理元素，但是不连接到图腾10706中的任何传感器或开关，其本身可以不具有物理开关或物理电子器件。可替代地，用户输入元素可以是由AR系统呈现的虚拟元素。在用户输入元素是虚拟元素的情况下，图腾10706可以具有凹陷、腔体、突起、纹理或其它结构以触觉地复制用户输入元素的感觉。
AR系统检测或捕获用户与图腾10706的用户输入元素的交互。例如，AR系统可以使用一个或多个面向前的相机来检测用户手指相对于图腾10706的用户输入元素的位置和/或运动。例如，AR系统可以检测一个或多个手指的一个或多个静态位置或一个或多个手指的位置上的变化(例如，用一个或多个手指的滑动或摇动手势，旋转或滚动手势，或两者)。AR系统还可以采用面向前的相机来检测用户的手指与图腾10706的用户输入元素的交互(例如，敲击、双敲，短敲，长敲)。
如上所述，AR系统将用户的手指的位置和/或运动(例如，距离、方向、速度、加速度)与图腾10706的用户输入元素进行映射。AR系统将用户的手指与图腾10706的用户输入元素并且因此与各种输入(例如，控制、功能)的用户交互(例如，交互的数量、交互的类型、交互的持续时间)相映射。响应于位置、运动和/或交互，AR系统可以使相应的输入提供给计算机或一些其它装置。
图107D示出根据另一所示实施例的另一手持式控制器形状的图腾10708。图腾10708具有尺寸设定成可舒适地配合在用户手部中的抓握部分。图腾10708可以包括多个用户输入元素，例如键或按钮和操纵杆或拇指杆。用户输入元素可以是物理元素，但是不连接到图腾10708中的任何传感器或开关，该图腾10708本身可以没有物理开关或物理电子器件。可替代地，用户输入元素可以是由AR系统呈现的虚拟元素。在一个或多个实施方式中，图腾10708可具有凹陷、腔体、突起、纹理或其它结构以触觉复制用户输入元素的感觉。
AR系统检测或捕获用户与图腾10708的用户输入元素的交互。例如，AR系统可以利用一个或多个面向前的相机来检测用户的手指相对于图腾10708的用户输入元素的位置和/或运动。例如，AR系统可以检测一个或一个或多个手指的多个静态位置，或者在一个或多个手指的位置上的变化(例如，用一个或多个手指的滑动或摇动手势，旋转或滚动手势，或两者)。
类似上述情况，AR系统还可以利用面向前的相机检测用户手指与图腾的用户输入元素的交互(例如，敲击、双敲、短敲、长敲)。AR系统将用户的手指的位置和/或运动(例如，距离、方向、速度、加速度)与图腾10708的用户输入元素进行映射。AR系统将用户的手指与图腾10708的用户输入元素以及因此与各种输入(例如，控制，功能)的用户交互(例如，交互的数量、交互的类型、交互的持续时间)映射。响应于位置、运动和/或交互，AR系统可以使相应的输入提供给计算机或一些其它装置。
图108A示出根据一个所示实施例的环形图腾10802。特别地，环形图腾10802具有管状部分和物理耦合到管状部分的交互部分。管状部分和交互部分可以是一体的，并且可以形成为单个整体结构或由单个整体结构形成。管状部分具有尺寸设定足够大以接纳用户的手指的内直径。内直径可以尺寸设定足够小以防止图腾10802在正常使用期间从手指滑落。这允许环形图腾10802舒适地佩戴，即使在不主动使用时，确保在需要时的可用性。环形图腾10802可以不具有物理键、物理开关或物理电子器件。
值得注意的是，省略了虚拟用户界面(例如，图106A和106B中所示的10604)。AR系统可以以多种形式中的任一种来呈现虚拟用户界面。例如，AR系统可以在用户的视场中呈现虚拟用户界面，以便好像虚拟用户界面元素驻留在交互表面上一样。可替代地，AR系统可以将虚拟用户界面呈现为从交互表面发出的先前示出和讨论的花瓣状虚拟用户界面10604。
类似于上述，AR系统检测或捕获用户与图腾10802的交互。例如，AR系统可以利用一个或多个面向前的相机来检测用户手指相对于某个参考系(例如，交互表面、真实世界、物理房间、用户身体、用户头部的参考系)中的交互表面的位置、取向和/或运动(例如，位置、方向、距离、速度、加速度)。例如，AR系统可以检测交互表面上的触摸的一个或多个地点或手指的位置上的变化。
再次，如上所述，AR系统还可以利用面向前的相机来检测用户手指与图腾10802的交互表面的交互(例如，敲击、双敲、短敲、长敲、指尖抓握、包围抓握)。AR系统将手指相对于交互表面的位置、取向和/或运动映射到一组用户选择或输入。AR系统可选地将其他用户与图腾10802的交互表面以及因此与各种输入(例如，控制、功能)的交互(例如，交互的数量、交互的类型、交互的持续时间)相映射。响应于位置、取向、运动和/或其他交互，AR系统可以使相应的输入提供给计算机或一些其它装置。
另外或替代地，如上所述，AR系统可响应于选择用户交互而不同地呈现虚拟用户界面。例如，一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现新的一组虚拟界面元素来响应这种选择。例如，AR系统呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。
图108B示出根据所示实施例的手镯图腾10804。特别地，手镯图腾10804具有管状部分和物理耦合到管状部分的触摸表面。管状部分和触摸表面可以是一体的，并且可以形成为单个整体结构或由单个整体结构形成。管状部分具有尺寸设定足够大以接纳用户的手腕或其他肢体的内直径。内直径可以尺寸设定足够小以防止图腾10804在使用期间从肢体滑落。例如，内直径可以被设定尺寸为舒适地接纳用户的手腕，同时不滑过用户的手部。这允许手镯图腾10804被佩戴，无论是否主动使用，确保当需要时的可用性。手镯图腾10804可以不具有物理键、物理开关或物理电子器件。
AR系统可以以多种形式中的任何形式呈现虚拟用户界面。例如，AR系统可以在用户的视场中呈现虚拟用户界面，使得看起来好像虚拟用户界面元素驻留在触摸表面上。可替代地，AR系统可呈现一种虚拟用户界面，其类似于先前示出和讨论的从触摸表面发出的花瓣形虚拟用户界面10604。
AR系统检测或捕获用户与图腾10804的交互。例如，AR系统可以利用一个或多个面向前的相机来检测用户手指相对于某个参考系(例如，触摸表面、真实世界、物理房间、用户身体、用户头部的参考系)中图腾的触摸表面的距离位置、取向和/或运动(例如，位置、方向、距离、速度、加速度)。例如，AR系统可以检测触摸的一个或多个地点或手指在触摸表面上的位置上的变化。
如上所述，AR系统还可以利用面向前的相机来检测用户手指与图腾10804的触摸表面的交互(例如，点敲、双敲，短按，长按，指尖抓握，包围抓握)。AR系统将手指相对于触摸表面的位置、取向和/或运动映射到一组用户选择或输入。AR系统可选地将其他用户与图腾10804的触摸表面以及因此与各种输入(例如，控制、功能)的交互(例如，交互的数量、交互的类型、交互的持续时间)映射。响应于位置、取向、运动和/或其它交互，AR系统可以使相应的输入提供给计算机或一些其它装置。
另外或可替代地，如上所述，AR系统可以响应于选择用户交互而不同地呈现虚拟用户界面。例如，一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现新的一组虚拟界面元素来响应这种选择。例如，AR系统可以呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。
图108C示出根据另一所示实施例的环形图腾10806。特别地，环形图腾10806具有管状部分和物理地可旋转地耦合到管状部分以相对于其旋转的交互部分。管状部分具有尺寸设定足够大以接纳穿过其中的用户手指的内直径。内直径可以尺寸设定足够小以防止图腾在正常使用期间从手指滑落。这允许环图腾即使在不主动使用时也舒适地佩戴，确保在需要时的可用性。
交互部分本身可以是封闭管状构件，具有围绕管状部分的外直径接纳的相应内直径。例如，交互部分可以轴颈式安装或可滑动地安装到管状部分。交互部分可从环形图腾的外表面接近。交互部分例如可以围绕管状部分的纵向轴线在第一旋转方向中旋转。交互部分另外可以围绕管状部分的纵向轴线在与第一旋转方向相反的第二旋转方向中旋转。环形图腾10806可以不具有物理开关或物理电子器件。
AR系统可以以多种形式中的任一种来呈现虚拟用户界面。例如，AR系统可以在用户的视场中呈现虚拟用户界面，以便看起来好像虚拟用户界面元素驻留在交互部分上。可替代地，AR系统可呈现一种虚拟用户界面，其类似于之前示出和讨论的从交互部分发出的花瓣状虚拟用户界面。
与上述类似，AR系统检测或捕获用户与图腾的交互。例如，AR系统可以利用一个或多个面向前的相机来检测交互部分相对于在一些参考系(例如，管状部分、真实世界、物理房间、用户身体、用户头部的参考系)中管状部分的位置、取向和/或运动(例如，位置、方向、距离、速度、加速度)。
例如，AR系统可以检测交互部分相对于管状部分的一个或多个地点或取向或者位置或取向上的变化。AR系统还可以使用面向前的相机来检测用户的手指与图腾的交互部分的交互(例如，敲击、双敲、短敲、长敲、指尖抓握、包围抓握)。AR系统将交互部分相对于管状部分的位置、取向和/或运动映射到一组用户选择或输入。AR系统可选地将其他用户与图腾的交互部分并且因此与各种输入(例如，控制、功能)的交互(例如，交互的数量、交互的类型、交互的持续时间)相映射。响应于位置、取向、运动和/或其它交互，AR系统可以使相应的输入提供给计算机或一些其它装置。
另外或可替代地，如上所述，AR系统可以响应于选择用户交互而不同地呈现虚拟用户界面。例如，一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现新的一组虚拟界面元素来响应这种选择。
图109A示出根据所示实施例的手套形状的触觉图腾10902。特别地，手套形状的触觉图腾10902成形为类似手套或部分手套，具有用于接纳手腕和一个或多个管状手套手指(示出三个)的开口，所述手套手指尺寸设定成接纳用户的手指。手套形状触觉图腾10902可以由多种材料中的一种或多种制成。该材料可以是弹性体的或者可以符合用户手部的形状或轮廓，从而提供紧贴而舒适的配合。
AR系统可以以多种形式中的任一种来呈现虚拟用户界面。例如，AR系统可以在用户的视场中呈现虚拟用户界面，以便好像虚拟用户界面元素经由手套形状的触觉图腾10902是可交互的。例如，AR系统可以将虚拟用户界面呈现为先前示出和/或描述的图腾或虚拟用户界面中的一个。
类似于上文，AR系统通过对佩戴手套形状触觉图腾10902的用户的手和手指的视觉跟踪来检测或捕获用户的交互。例如，AR系统可以利用一个或多个面向前的相机来检测用户的手部和/或手指相对于某个参考系(例如，触摸表面、真实世界、物理房间、用户身体、用户头部的参考系)的位置、取向和/或运动(例如，位置、方向、距离、速度、加速度)。
类似于上述实施例，例如AR系统可以检测触摸的一个或多个地点或手部和/或手指的位置上变化。AR系统还可以采用面向前的相机来检测用户的手和/或手指的交互(例如，敲击、双敲、短敲、长敲、指尖抓握，包围抓握)。值得注意的是，AR系统可以跟踪手套形状的触觉图腾10902，而不是用户的手部和手指。AR系统将手部和/或手指的位置、取向和/或运动映射到一组用户选择或输入。
AR系统可选地映射其他用户以及因此与各种输入(例如，控制、功能)的交互(例如，交互的数量、交互的类型、交互的持续时间)。响应于位置、取向、运动和/或其它交互，AR系统可以使相应的输入提供给计算机或一些其它装置。
另外或可替代地，如上所述，AR系统可响应于选择用户交互而不同地呈现虚拟用户界面。例如，一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现新的一组虚拟界面元素来响应这种选择。例如，AR系统呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。
手套形状触觉图腾10902包括多个致动器，其响应于信号以提供触觉感觉，诸如压力和纹理。致动器可以采取各种形式中的任何一种，例如压电元件和/或微电气机械结构(MEMS)。
AR系统经由手套形状的触觉图腾10902向用户提供触觉反馈。特别地，AR系统向手套形状的触觉图腾10902提供信号，以复制与虚拟对象可以表示的物理对象交互的触觉感觉。这可以包括提供与物理对象相关联的压力和/或纹理的感觉。因此，AR系统可以使用户感觉到虚拟对象的存在，例如包括诸如边缘、拐角、圆度等物理对象的各种结构特征。AR系统还可以使用户感觉纹理光滑、粗糙、凹陷等
图109B示出根据所示实施例的触笔或刷状图腾10904。触笔或刷状图腾10904包括类似于任何数量的常规触笔或刷10904的细长手柄。与常规触笔或刷相反，该触笔或刷具有虚拟尖端或刷毛。特别地，AR系统可以呈现期望的样式的虚拟尖端或虚拟刷毛以出现在物理触笔或刷10904的端部。尖端或刷毛可以采用任何常规样式，包括窄点或宽点，平刷刷毛，锥形、倾斜或切割的刷毛刷，天然纤维刷毛刷(例如马毛)，人造纤维刷毛刷等。这有利地允许虚拟尖端或刷毛是可替换的。
与上述类似，AR系统经由对触笔或刷10904上的用户的手部和/或手指的视觉跟踪和/或经由触笔或刷10904的端部的视觉跟踪来检测或捕获用户的交互。例如，AR系统可以利用一个或多个面向前的相机来检测用户的手部和/或手指和/或触笔或刷的端部相对于某个参考系(例如，媒体片段、真实世界、物理房间、用户身体、用户头部的参考系)的位置、取向和/或运动(例如，位置、方向、距离、速度、加速度)。例如，AR系统可以检测触摸的一个或多个位置或手部和/或手指的位置上的变化。此外，例如，AR系统可以检测相对于媒体片段或表示媒体片段的图腾的触笔或刷的端部的一个或多个地点和/或触笔或刷10904的端部的取向。AR系统可以另外地或可替代地检测相对于媒体片段或表示媒体片段的图腾的触笔或刷10904的端部的地点上的一个或多个变化和/或触笔或刷10904的端部或刷10904的端部的取向上的变化。
如上所述，AR系统还可以采用面向前的相机来检测用户手部和/或手指或触笔或刷10904的交互(例如，敲击、双敲、短敲、长敲、指尖抓握、包围抓握)。AR系统将手部和/或手指和/或触笔或刷10904的端部的位置、取向和/或运动映射到一组用户选择或输入。AR系统可选地映射其他用户以及因此与各种输入(例如，控制、功能)的交互(例如，交互的数量、交互的类型、交互的持续时间)。响应于位置、取向、运动和/或其它交互，AR系统可以使相应的输入提供给计算机或一些其它装置。
另外或可替代地，AR系统可以呈现由用户使用触笔或刷10904做出的标记的虚拟图像，并考虑由所选择的一个或多个尖端或刷毛实现的视觉效果。
触笔或刷10904可以具有一个或多个触觉元件(例如，压电元件、MEMS元件)，AR系统控制该触觉元件以提供复制当所选点或刷毛通过媒体上时所选点或刷毛的感觉的感觉(例如，平滑、粗糙、低摩擦、高摩擦)。该感觉还可以反映或复制端部或刷毛如何与可以由用户选择的媒体的不同类型的物理方面交互。因此，纸和帆布可以产生两种不同类型的触觉响应。
图109C示出根据所示实施例的笔形图腾10906。笔形图腾10906包括细长轴，其类似于任何数量的常规笔、铅笔、触笔或刷的细长轴。笔形图腾10906具有位于轴的一端处的用户可致动的操纵杆或拇指杆。响应于用户致动，操纵杆或拇指杆相对于细长轴是可移动的。操纵杆或拇指杆可以例如在四个方向(例如，前、后、左、右)中可枢转地移动。可替代地，操纵杆或拇指杆可以例如在四个方向的所有方向中可移动，或者可以在任何角度方向上在圆圈中可枢转地移动，例如来导航。值得注意的是，操纵杆或拇指杆不耦合到任何开关或电子器件。
代替将操纵杆或拇指杆耦合到开关或电子器件，AR系统检测或捕获操纵杆或拇指杆的位置、取向或运动。例如，AR系统可以利用一个或多个面向前的相机来检测操纵杆或拇指杆相对于给定参考系(例如，细长轴的参考系等)的位置、取向和/或运动(例如，位置、方向、距离、速度、加速度)。
另外，如上所述，AR系统可以利用一个或多个面向前的相机来检测用户手部和/或手指和/或笔形图腾10906的端部相对于某个参考系(细长轴、媒体片段、真实世界、物理房间、用户身体、用户头部的参考系)的位置、取向和/或运动(例如，位置、方向、距离、速度、加速度)。
例如，AR系统可以检测触摸的一个或多个地点或者手部和/或手指的位置上的变化。另外，例如，AR系统可以检测相对于例如媒体片段或表示媒体片段的图腾的笔形图腾10906的端部的一个或多个地点和/或笔形图腾10906的端部的取向。AR系统可以另外地或可替代地检测相对于例如媒体片段或表示媒体片段的图腾的笔形图腾10906的端部的地点的一个或多个变化和/或笔形图腾10906的端部的取向上的变化。
类似于上文，AR系统还可以利用面向前的相机来检测用户的手部和/或手指与操纵杆或拇指杆或笔形图腾10906的细长轴的交互(例如，敲击、双敲、短敲、长敲、指尖握持、包围抓握等)。AR系统映射手部和/或手指和/或操纵杆或拇指杆的端部的位置、取向和/或运动到一组用户选择或输入。AR系统可选地映射其他用户并且因此与各种输入(例如，控制、功能)的交互(例如，交互的数量、交互的类型、交互的持续时间)。响应于位置、取向、运动和/或其他交互，AR系统可以使相应的输入提供给计算机或一些其它装置。
另外或可替代地，如上所述，AR系统可以呈现由用户使用笔形图腾10906做出的标记的虚拟图像，并考虑由所选择的尖端或刷毛实现的视觉效果。
笔形图腾10906可以具有一个或多个触觉元件(例如，压电元件、MEMS元件)，AR系统控制所述触觉元件以提供复制通过媒体的感觉的感觉(例如，光滑、粗糙、低摩擦、高摩擦)。
图110A示出根据所示实施例的饰品链图腾11002。饰品链图腾1002包括链和多个饰品。链可以包括为链提供柔性的多个互连链节。链还可以包括允许链的相对端牢固地耦接在一起的闭合件或扣钩。链和/或扣钩可以采取例如单股、多股、链接或编织的各种各样的形式。
链和/或扣钩可以由任何种类的金属或其它非金属材料形成。当两个端部扣在一起时，链的长度应当容纳用户肢体的一部分。链的长度还应该设定尺寸以确保当两个端部扣在一起时，链甚至松动地保持在肢体部分上。链可以作为支架佩戴在臂部的手腕上或者腿部的脚踝上。
链可以作为围绕颈部的项链佩戴。饰品可以采取任何种类的形式。饰品可以具有各种形状，虽然通常呈板或盘的形式。尽管示出为具有大致矩形的轮廓，但是饰品可以具有任何种类的轮廓，并且单链上的不同饰品可以具有彼此不同的相应轮廓。饰品可以由多种金属中的任何一种或非金属材料形成。
每个饰品可以带有标记，该标记在至少一个计算机或处理器可读非暂态存储介质中与功能、功能类别、内容类别或媒体类型，和/或经由AR系统可访问的工具或应用程序在逻辑上相关联。
图110B示出了根据所示实施例的钥匙链图腾1004。钥匙链图腾11004包括链和多个钥匙。链可以包括为链提供柔性的多个互连链节。链还可以包括允许链的相对端牢固地耦接在一起的闭合件或扣钩。链和/或扣钩可以采取例如单股、多股、链接或编织的各种各样的形式。链和/或扣钩可以由任何种类的金属或其它非金属材料形成。
钥匙可以采取各种形式中的任一种。钥匙可以具有各种形状，但是通常将采用具有或不具有脊部和谷部(例如，齿)的常规钥匙的形式。在一些实施方式中，钥匙可以打开相应的机械锁，而在其它实施方式中，钥匙仅用作图腾并且不打开机械锁。钥匙可以具有任何种类的轮廓，并且单链上的不同钥匙可以具有彼此不同的相应轮廓。钥匙可以由多种金属中的任何一种或非金属材料形成。各钥匙可以具有彼此不同的颜色。
每个钥匙可以带有标记，该标记在至少一个计算机或处理器可读非暂态存储介质中与功能、功能类别、内容类别或媒体类型和/或经由AR系统可访问的工具或应用程序逻辑上相关联。
如上所述，AR系统检测或捕获用户与钥匙的交互。例如，AR系统可以利用一个或多个面向前的相机来检测用户的手指或手对钥匙的触摸或操纵。例如，AR系统可以通过用户用手指触摸相应的钥匙或用两个或更多个手指抓住相应的钥匙来检测特定钥匙的选择。
此外，AR可以检测钥匙相对于某个参考系(例如，身体部分、真实世界、物理房间、用户身体、用户头部的参考系)的位置、取向和/或运动(例如，旋转方向、旋转幅度、角速度、角加速度)。AR系统还可以利用面向前的相机来检测用户的手指与钥匙的其它交互(例如，敲击、双敲、短敲、长敲、指尖抓握、包围抓握等)。
如上所述，AR系统将钥匙的选择映射到用户选择或输入，例如社交媒体应用的选择。AR系统可选地将其他用户与钥匙并且因此与各种输入(例如，控制、功能)的交互(例如，交互的数量、交互的类型、交互的持续时间)与相应应用映射。响应于与钥匙的触摸、操纵或其它交互，AR系统可以使相应的应用被激活和/或向应用提供相应的输入。
另外或可替代地，与上述实施例类似，AR系统可响应于选择用户交互而不同地呈现虚拟用户界面。例如，一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现一组虚拟界面元素来响应这种选择。例如，AR系统呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。
现在参考图111，描述了使用图腾的示例方法1100。在11102处，检测和/或捕获用户与图腾的交互。例如，可以基于来自触觉手套的输入或通过面向前的相机(例如，世界相机、FOV相机等)来捕获交互。在11104处，AR系统可以检测图腾相对于给定的参考系的位置、取向和/或运动。参考系可以是允许AR系统计算图腾的运动以便理解用户命令的一个或多个特性的预定参考系。在11106处，采用存储在系统中的地图来查阅用户的交互(例如相对于参考系的位置/取向/运动)。在一个或多个实施例中，地图可以是将某些运动/位置或取向与特定用户输入相关联的1∶1地图。其它映射表和/或技术可以在其它实施例中类似地使用。在11108处，AR系统可以基于映射来确定用户输入。
在一个或多个实施例中，AR系统可以将对象标识为图腾。对象可以是真实对象或虚拟对象。通常，图腾可以是可以显示为图腾的预先指定的对象，例如一组键或一组虚拟键。在一个或多个实施例中，用户可能已经选择了图腾。或者，如果图腾是真实对象，则系统可以捕获关于图腾的一个或多个图像和/或其它数据，以在将来识别它。此外，AR系统可以请求用户“设置”图腾，以使得系统理解与图腾相关的命令。例如，可以按压图腾的中心部分以指示特定命令。在一个或多个实施例中，这可能需要系统被预编程以理解该命令。
在一个或多个实施例中，图腾的参考系可以与世界的参考系相关以理解某些命令。例如，系统可以识别用户相对于图腾的手部运动(在一个实施例中)。在一个或多个实施例中，AR系统跟踪用户与图腾的交互(例如，手部运动、图腾运动、眼睛运动等)。当交互与预定的交互(例如，运动模式、运动速度、运动方向、触摸力、与另一对象的接近等)匹配时，系统可以响应于所确定的用户输入来确定用户输入，并且理解命令。
应当理解，在此概述的概念可以应用于AR系统的各个方面。例如，识别图腾，识别与图腾相关的运动模式以及检索与所识别的图腾手势相关联的命令，其可以在下面讨论的几乎所有各种实施例和用户场景中使用。这些相同的概念帮助系统识别图腾手势并执行命令(例如，打开应用，显示用户界面，购买项目，切换应用等)。因此，在此概述的关于识别图腾和图腾命令以及检索与图腾相关联的命令的原理可以用于下面描述的几乎所有实施例中。应当理解，出于简洁的目的，在具体实施例的讨论期间将不重复这些概念。
光波前+声波前
在一或多个实施例中，AR系统可产生作为光波前的模拟的声波前，从而产生现实的声场。在一些实施方式中，AR系统可在声音范围内动态调节麦克风增益，以将真实物理播放器与虚拟空间中的虚拟播放器混合。换句话说，AR系统产生现实声波前，使得来自特定对象(例如，虚拟对象等)的发出声音匹配光场。
例如，如果虚拟对象被描绘成使得它从远处出现，则从对象发出的声音不应该是恒定的，而是模仿如果该对象从远处接近将来自对象的声音。由于AR系统的光场产生虚拟对象的真实视觉体验，AR系统的声波前也被修改以真实地描绘声音。例如，如果虚拟对象从后面接近，则来自虚拟对象的声音将与如果它从前侧简单地接近不同。或者如果虚拟对象从右侧接近，则可修改声音，使得用户本能地转向右侧以查看虚拟对象。因此，可以理解，修改声波前以真实描绘声音可改善AR系统的整体体验。
声波前也可取决于用户的物理位置。例如，与用户在开放空间中时相比，如果用户在大教堂中(例如，可能存在回声等)，则自然声音被不同地感知。AR系统可捕获本地和环境声音(例如，游戏引擎驱动的)再现。
现在参考图113，提供了示出声音设计系统的各种部件的框图。如图113所示，头部姿态信息11318可被用于确定对象和聆听者姿态11320。一旦确定，该信息可被馈送到空间和接近声音呈现模块11302。
在一个或多个实施例中，对象和聆听者姿态11320可被馈送至声音数据模块11322中，声音数据模块11322可包括各种声音数据文件，各种声音数据文件可被存储在数据库中。声音数据模块11322可与声音设计工具11324(例如，FMOD录音室等)交互以提供操控声音数据文件的声音设计过滤器等。
声音和元数据11322可被馈送到均衡模块11314中，均衡模块11314也可被馈送有基于信道的内容11316。均衡声音也可被馈送至空间和接近呈现模块11302中。
在一或多个实施例中，3D头部模型传递函数11310和动态产生的空间模型(例如，空间传递函数)也被输入至空间和接近声音呈现模块11302。在一或多个实施例中，空间和接近声音呈现模块11302也可接收来自预先录制(canned)空间11312的声音的输入。传递函数可通过基于用户的头部姿态和分别从头部姿态11318以及对象和聆听者姿态11320模块接收到的虚拟对象信息应用转换来操控声音数据。
在一或多个实施例中，空间和接近声音呈现模块11302与双耳虚拟器11304交互，并且声音最终被输出至用户的耳机11306。
在一或多个实施例中，AR系统可确定用户的头部姿态以确定如何操控音频对象。音频对象可被绑定到虚拟对象(例如，音频看起来来自虚拟对象，或者可被定位在不同地方，但是与虚拟对象相关联)。音频对象可基于所感知的位置与虚拟对象相关联，使得音频对象(声音数据)从虚拟对象的感知位置发出。
AR系统知道虚拟对象的感知位置(例如，地图、可传递世界模型等)，因此，AR系统可将音频对象置于相同的位置。在一或多个实施例中，基于所感知的的位置和/或所确定的音频对象相对于用户的头部姿态的位置，声音数据可通过声音设计算法被动态地改变，使得声音看起来来自虚拟对象的起源的地方。
在一或多个实施例中，AR系统可有意使用各种虚拟视频和/或音频触发器以引发用户头部动作。AR系统可选择触发器(例如，虚拟视觉提示或虚拟声音提示)并呈现虚拟视频图像或声音提示以看起来从用户的周边发出(例如，从用户面前或用户面对的方向偏移)。例如，如果将光场呈现到眼睛中，则在侧面或周边的非图像形成光学元件可呈现看起来在用户的周边视觉中并引起用户在期望的方向转动用户头部的虚拟提示或触发器。附加地或替代地，AR系统可呈现空间化的声音场，其具有声音的波前合成，并具有看起来在用户的视场之外的音频或听觉提示或触发器，再次地引起用户转向到期望的方向。
坐标系
如在上述各种实施例中并参考图133详细论述的，应理解虚拟内容可被绑定至一或多个坐标系，使得虚拟内容相对于该坐标系保持静态或运动。例如，如在13302中所示，虚拟内容可以房间为中心。换句话说，虚拟内容被系留至现实世界的一或多个坐标，使得虚拟内容驻留在空间内的恒定位置，而用户可围绕该虚拟内容移动或离开该虚拟内容。
在另一实施例中，如在13304中所示，虚拟内容可以身体为中心。因此，虚拟内容可相对于用户的中心轴移动。例如，如果用户移动，则虚拟内容基于用户的移动而移动。
在又一实施例中，如在13306中所示，虚拟内容可以头部为中心。换句话说，虚拟内容被绑定至以用户头部为中心的坐标系。虚拟内容可随着用户四处移动用户头部而移动。这可为具有各种用户界面的情况。当用户转动他/她的头部时，虚拟内容可移动，从而提供总是在用户的视野内的用户界面。
在又一实施例中，如在13308中所示，虚拟内容可基于以手为中心的参考点来填充，使得虚拟内容基于用户的手的运动而运动(例如，下面所述的长手套体验)。
现在参考图134，并且如通过上述各种实施例所说明的，可存在与呈现给用户的虚拟内容交互的许多方式。一些示例在图134中示出，其包括无形交互，例如姿势(例如，手、头、身体、图腾等)13402、语音交互13404、眼睛矢量13406和生物反馈13408。
如先前详细描述的，姿势反馈13402可一般允许用户通过用户的手、手指或手臂的移动来与AR系统交互。语音用户输入13404可允许用户与AR系统简单地“对话”，并且说出AR系统需要的语音命令。眼睛用户输入13406可涉及眼睛跟踪系统的使用，使得用户可简单移动用户的眼睛以影响用户界面中的变化。例如，用户输入可为眨眼或眼睛移动，其可对应于预定义的动作。例如，用户可在他/她的焦点在虚拟图标上时连续眨眼三次。这可为由系统识别的预定义的选择命令。作为响应，系统可简单地选择虚拟图标(例如，打开应用等)。因此，用户可以以最小的努力与AR系统通信。
生物反馈13408也可被用于与AR系统交互。例如，AR系统可监测用户的心率，并相应地做出响应。例如，考虑用户正在参与锻炼挑战。响应于用户上升的心率，AR系统可向用户显示虚拟内容(例如，提示用户减慢、喝水等)。
在一或多个实施例中，与AR系统的交互可为有形的。例如，可定义预定义为特定命令的已知体积13410。例如，用户可在空中简单绘制形状，AR系统将其理解为特定命令。
交互可通过手套13412(例如，触觉手套等)。因此，手套13412可拾取姿势、物理触摸等，其继而可被用于一或多个命令。类似地，识别的环13414可被用于向AR系统提供输入。在又一实施例中，可塑表面13416可被用于向系统提供输入。例如，可塑对象13416可被用作图腾，但是，不仅仅是相对于固定大小的对象进行交互，输入可为将可塑对象13416拉伸成不同的形状和大小，其中，每种形状和大小可被预定义为特定命令。
或者，在其它实施例中，简单的控制器装置13418(例如，键盘、鼠标、控制台等)可被用于与系统交互。在其它实施例中，对象13420的物理特性可被用于与系统交互。
姿势
在一些实施方案中，AR系统可检测并响应于一或多个手指/手的姿势。这些姿势可采取各种形式，例如可基于手指间交互、指点、轻拍、摩擦等。其它姿势可例如包括字符的2D或3D表示(例如，字母、数字、标点符号)。为了输入字符，用户以所定义的字符图案滑动他们的手指。根据一个说明性实施例，其它姿势可包括拇指/滚轮选择类姿势，其可例如与可在用户的视场中呈现的“弹出”圆形放射状菜单一起使用。
应理解，这里概述的概念可被应用于AR系统的各个方面。例如，识别姿势和检索与所识别的姿势相关联的命令可被用在下面论述的几乎所有各种实施例和用户场景中。例如，姿势可被用在下面论述的各种用户界面实施例中。这些相同的概念帮助系统识别姿势并执行命令(例如，打开应用、显示用户界面、购买商品、切换应用等)。因此，这里概述的关于识别姿势和检索与姿势相关联的命令的原理可被用在下面描述的几乎所有实施例中。应理解，出于简洁的目的，在具体实施例的论述期间将不重复这些概念。
AR系统的实施例因此可以使用姿势识别各种命令，并且作为响应执行被映射到命令的某些功能。姿势到命令的映射可跨越许多用户被普遍定义，这有助于在用户界面中采用至少一些共同性的各种应用的开发。另选地或附加地，用户或开发者可定义至少一些姿势和响应于对命令的检测而要由AR系统执行的相应命令之间的映射。
例如，指点食指可指示聚焦的命令，例如聚焦在食指指向的场景或虚拟内容的特定部分上。可以用食指的尖端接触拇指的尖端以形成闭合圆来完成捏合姿势，例如以指示抓取和/或复制命令。另一示例捏合姿势可以用无名指的尖端接触拇指的尖端以形成闭合圆，例如以指示选择命令。又一示例捏合姿势可以用小指手指的尖端接触拇指的尖端以形成闭合圆，例如以指示返回和/或取消命令。无名指和中指卷曲且无名指的尖端与拇指的尖端接触的姿势可指示例如点击和/或菜单命令。食指的尖端触摸到头戴部件或镜框上的位置可指示返回到主页命令。
本发明的实施例提供了用于执行姿势跟踪和识别的高级系统和方法。在一个实施例中，执行拒绝级联方法，其中，对图像数据执行姿势分析的多个阶段以识别姿势。前面参考图135A，使用一系列许可的分析节点来处理输入图像13542(例如，深度D处的RGB图像)。每个分析节点13544(例如，13544a、13544b等)执行确定图像是否可识别为姿势的不同步骤。
该过程中的每个阶段执行目标计算，使得其总体中的不同确定的序列可被用于高效地执行姿势处理。这意味着，例如，在处理的每个阶段处的处理能力的量以及节点的序列/顺序可被用于以最小的计算开销来优化去除非姿势的能力。例如，可将计算上较低成本的算法应用于较早阶段以去除大量“较容易的”候选，从而使用计算上更加昂贵的算法在后面的阶段中留下较少数量的“较困难的”数据来分析。
在一个实施例中，执行这种类型的处理的一般方法在图135B的流程图13501中示出。第一步骤13502是生成用于姿势处理的候选。这些包括例如从可穿戴装置的传感器测量捕获的图像，例如从安装在可穿戴装置上的摄像机捕获的图像。接下来，在13504，对候选执行分析以生成分析数据。例如，一种类型的分析可为检查图像中的形状(例如，手指)的轮廓是否足够尖锐。在13506，然后对所分析的候选执行分类。最后，在13508，从考虑中去除对应于低于最小阈值的得分/分析值的任何候选。
图135C描绘了根据本发明的一个实施例的用于姿势分析的更详细的方法。第一动作是对输入数据执行深度分割13520。例如，通常，提供数据输入的摄像机(例如，产生RGB+深度数据的摄像机)将被安装在用户的头上，其中，用户的世界摄像机(例如，前置摄像机、FOV摄像机等)将覆盖人类可以合理地执行姿势的范围。
如图135D所示，可以执行通过数据的线搜索13560(例如，从视场的底部)。如果沿着该线存在可识别的深度点，则已经识别出潜在的姿势。如果不是，则不需要进行进一步的处理。
在一些实施例中，此类线的深度点处理可以是相当稀疏的――可能是相对快速地获取50个点。当然，可以采用不同种类的线系列，例如，除了横跨底部的平线之外或代替横跨底部的平线，在可能存在手/臂的区域中采用更小的对角线。
可采用任何合适的深度采样图案，优选地选择在检测姿势时最有效的那些深度采样图案。在一些实施例中，获得置信度增强的深度地图，其中，所检测到的潜在有效的姿势深度点被用于从该点洪水填充(flood fill)以分割出潜在的手或手臂，然后进一步过滤以检查所识别的对象是否为真的手或手臂。例如，可以通过获得手的清晰的深度地图然后检查在图像中从手反射到传感器的光的量来执行另一置信度增强，其中，更大量的光对应于更高的置信度水平。
可以从深度数据执行级联以执行立即/快速处理13530，例如，在图像数据适于非常快速的姿势识别的情况下。这对于非常简单的姿势和/或手/手指位置是最适用的。
在许多情况下，必须执行更深的处理以增强深度映射13522。例如，一种类型的深度增强是对数据执行深度变换。一种类型的增强是检查从例如边界、质心等指定点集的测地距离。例如，确定从表面位置到地图上的各个点的距离。这试图找到例如到手指尖端的最远点(通过找到手指的端部)。点集可来自边界(例如，手的轮廓)或质心(例如，统计中心质量位置)。
也可计算表面归一化。另外，也可估算曲率，曲率识别轮廓转动多快(例如，通过执行过滤处理以排查各点并从手指去除凹点)。在一些实施例中，可对数据执行取向归一化。为了说明，考虑手的给定图像可用在不同位置的手捕获。然而，分析可能期望手在规范位置中的图像数据。在此情况下，如图135E中的13570所示，映射数据可被重新定向以改变到归一化/规范的手位置。
在一些实施例中，一种有利的方法是对数据执行背景减法。在许多情况下，在场景中存在已知的背景，例如背景墙的图案。在此情况下，待分析的对象的映射可以通过去除背景图像数据来增强。该过程13580的示例在图135F中示出，其中，图135F的左部示出了在某种背景图像数据之上的手的图像。图135F的右手部分示出了从图像中移除背景的结果，从而使增强的手数据具有增加的清晰度和聚焦。
还可以对图像中的点执行深度比较以识别与手相关的特定点(与背景非手数据相对)。例如，如图135G的13590所示，可以看出，第一点A位于第一深度，第二点B位于显着不同的第二深度。在此情况下，这两个点的深度的差异使得非常明显的是，这两个点可能属于不同的对象。因此，如果知道手的深度处于与点A相同的深度值，则可以得出结论，点A为手的一部分。另一方面，由于点B的深度值与手的深度不相同，因此可以容易地推断出点B不是手的一部分。
在此刻，对深度映射执行一系列分析阶段。任何数量的分析阶段都可以被应用于数据。本实施例示出了三个阶段(例如，13524、13526和13528等)，但是本领域的普通技术人员应容易理解到，可以对本发明适用的应用适当地使用任何其它数量(更小或更大)的阶段。
在当前实施例中，对数据使用分类器机制来执行阶段1分析13524。例如，深层神经网络或分类/决策林可被用于在分析中应用一系列是/否决定，以针对映射中的不同点识别手的不同部分。这识别例如特定点是否属于手掌部分、手背、非拇指手指、拇指、指尖和/或手指关节。任何合适的分类器可以被用于该分析阶段。例如，代替分类林或者除了分类林之外，可以使用深度学习模块或神经网络机制。此外，除了分类林之外，还可以使用回归林(例如，使用霍夫变换等)。
分析的下一阶段(阶段2)13526可以被用于进一步分析映射数据。例如，具体地，可以执行分析以识别关节位置，或者对数据执行骨架化。图135H提供了骨架化的图示13595，其中，手数据的原始映射被用于识别手内的骨骼/关节的位置，从而产生手/手骨架的“棍子”图形模型类型。此类型的模型提供了清晰度，手指的位置和手部位的具体定向和/或构造的非常清晰的视图。在此阶段还可以将标记应用于手的不同部分。
在此刻，可能的是，数据现在可以直接由下游应用13534消费，而不需要任何进一步的分析。例如，如果下游应用本身包括对模型数据执行附加分析/计算的逻辑，则这可能发生。另外，系统还可以可选地级联以执行立即/快速处理13532，例如，在数据适于姿势：诸如(1)拳头姿势；(2)打开手掌姿势；(3)手指枪姿势；(4)捏合等的非常快速的识别的情况下。例如，如图1351的13598所示，手映射上的各个点(例如，扩展拇指上的点和扩展第一手指上的点)可以被用于立即识别指向姿势。然后，输出将进行到世界引擎13536，例如，以对所识别的姿势采取行动。
此外，可以在阶段3分析中执行更深的处理。这可包括例如使用深层神经网络或决策林/树来对姿势分类。此额外处理可被用于识别姿势、确定手姿势、识别上下文依赖性和/或在需要时的任何其它信息。
先前/控制信息可以在任何所描述的步骤中应用以优化处理。这允许对在该处理阶段中的分析动作采取一些偏置。例如，对于游戏处理，在游戏中采取的先前动作可以被用于基于较早的手位置/姿势来偏置分析。此外，可以使用混淆矩阵来更准确地执行分析。
使用上面论述的姿势识别的原理，AR系统可使用从用户的FOV摄像机收集的视觉输入并且识别可与预定命令或动作相关联的各种姿势。现在参考图135J的流程图13521，在步骤13503中，AR系统可检测如上面详细论述的姿势。如上所述，在步骤13505中，可将手指的移动或图腾的移动与映射数据库进行比较以检测预定命令。在步骤13507中，基于映射步骤13505，确定AR系统是否识别该命令。
如果检测到命令，则AR系统在步骤13507中基于姿势确定期望的动作和/或期望的虚拟内容。如果姿势或图腾的移动不对应于任何已知命令，则AR系统简单地返回到步骤13503以检测其它姿势或移动。
在步骤13509中，AR系统确定为了满足命令所需的动作的类型。例如，用户可能想要激活应用、或者可能想要翻页、可能想要生成用户界面、可能想要连接到位于另一物理位置的朋友等。基于期望的动作/虚拟内容，AR系统在步骤13511中确定是从云服务器检索信息还是使用用户装置上的本地资源来执行动作。
例如，如果用户仅想要翻虚拟书的页面，则相关数据可能已经被下载或可能完全驻留在本地装置上，在此情况下，AR系统简单地检索与下一页相关联的数据并向用户显示下一页。类似地，如果用户希望创建用户界面使得用户可以在空间中间绘制图片，则AR系统可在期望位置简单地生成虚拟绘图表面，而无需来自云的数据。与许多应用和能力相关联的数据可被存储在本地装置上，使得用户装置不需要不必要地连接到云或访问可传递世界模型。因此，如果期望的动作可以在本地执行，则本地数据可被用于显示与检测到的姿势相对应的虚拟内容(步骤13513)。
另选地，在步骤13515中，如果系统需要从云或可传递世界模型检索数据，则系统可向云网络发送请求、检索适当的数据并将其发送回本地装置，使得可采取动作或者可向用户适当地显示虚拟内容。例如，如果用户想要连接到在另一物理位置的朋友，则AR系统可能需要访问可传递世界模型以检索与朋友的物理形式相关联的必要数据，以便相应地在本地用户装置呈现该必要数据。
因此，基于用户与AR系统的交互，AR系统可按照用户的需要产生许多类型的用户界面。以下代表可以以与上述示例过程类似的方式产生的用户界面的一些示例实施例。应理解，上述过程被简化用于说明目的，并且其它实施例可包括基于期望的用户界面的附加步骤。以下论述详述了AR系统的一组附加应用。
UI硬件
AR系统可采用伪触觉手套，其提供被绑定到物理对象的压力和/或振动的感觉。触觉效果可例如类似于将手穿过气泡。
如果振动被引入到手指上，则用户将该振动解译为纹理。伪触觉手套可提供复制硬物理对象、软物理对象和毛茸茸的物理对象的感觉的触感。伪触觉手套选择性地产生压力和振动的感觉。
例如，如果在空间中存在浮动的无质量对象(例如，气泡)，则用户可能能够感觉到触摸无质量对象的触感。用户可以改变触摸虚拟对象的触感，例如面向纹理感觉而不是面向硬度的感觉。例如，如果用户将手穿过气泡，则虽然用户不会感觉到抓住物理对象的感觉，但是用户可能感觉到一些触感。提供触感的类似方法可在AR系统的其它可佩戴部分或部件中实现。手套和/或其它部件可使用各种不同的致动器，例如压电致动器。
因此，用户可能感觉到好像能够直接触摸无质量的虚拟对象。例如，如果虚拟对象位于表格处，则对应于触觉手套的一致UX元素可向用户提供本体感觉的触觉交互。例如，用户可抓住或可抓握靠近门的特定手柄。使用手柄作为虚拟对象的坐标系对于用户而言可为非常直观的。这允许用户拾取物理东西，并且通过触觉代理手实际感觉物理感觉。
各个AR系统的头戴式部件也可包括传感器，其检测耳机或耳塞何时位于用户耳朵附近、之上或之中。AR系统可使用多种传感器中的任何一种，例如电容式传感器、压力传感器、电阻传感器等。响应于检测到耳机或耳塞就位，AR系统可经由耳机或耳塞路由声音。响应于未能检测到耳机或耳塞就位，AR系统可通过常规的独立扬声器路由声音。
另外，AR系统可使用复合摄像机。复合摄像机可包括安装在柔性基板(例如柔性印刷电路板基板)上或由其承载的多个芯片级摄像机。柔性基板可用灌封化合物改性和/或重新构造，以基本上形成单个广角镜头。
例如，可使用晶片级技术用层方法来构建小型摄像机。例如，多个视频图形阵列(VGA)焊盘可在柔性基板上形成，以用于通信耦合到这些摄像机。具有摄像机的柔性基板可以在砧座上拉伸，并且例如经由粘合剂固定。这提供了具有约60度或70度的光学宽视场的便宜的一组VGA摄像机。
有利地，可以采用平坦工艺，并且柔性基板可在砧座上拉伸。所得结构从像素计数图像质量的角度提供了宽视场摄像机的等同物，但是其具有重叠或非重叠的视场。两个或三个的多个元件晶片级的摄像机可以代替具有五个或六个元件的特定宽视场透镜，同时仍实现与宽视场摄像机相同的视场。
用户界面
如将在下面的各种实施例中所述的，AR系统可产生许多类型的用户界面。在下面描述的一些实施例中，AR系统基于用户的位置以及用户界面可以在什么类型的参考系中操作来产生用户界面。例如，一些用户界面(例如，下面的图85A-85C)是以身体为中心的用户界面，在此情况下，AR系统可确定用户的中心的位置(例如，臀部、腰部等)，并且基于该参考系来投影虚拟界面。基于以头部为中心的参考系，以手为中心的参考系等产生其它用户界面。此外，AR系统可利用上面论述的姿势跟踪和/或图腾跟踪的原理也产生一些用户界面和/或与其交互。
尽管下面描述的每个用户界面具有一些差异，但是它们主要使用一些共同原理来起作用。为了显示用户选择的用户界面，AR系统必须确定用户在世界中的位置(例如，世界坐标系)。例如，可通过上述任何定位技术(例如，GPS、蓝牙、拓扑图、与用户的AR系统相关的映射点等)来确定用户的位置。一旦已经确定了用户在世界坐标系中的位置，就可确定用户的手/手指等相对于用户的AR系统的关系。例如，如果用户已经选择了预定义的基于环的用户界面(例如，图85A-85C等)，则可确定用户的AR系统和虚拟用户界面的以身体为中心的参考系之间的关系。
例如，可基于用户臀部的坐标来确定图85A-85C的以身体为中心的用户界面。可基于AR系统所收集的数据来确定用户的臀部的位置。换句话说，AR系统的各种传感器(例如，摄像机、传感器等)可帮助确定用户臀部的坐标(例如，在世界坐标系中)。该确定的位置可被设置为用户界面的原点坐标(0，0，0)。
在确定了原点坐标之后，可基于所确定的用户臀部的位置来呈现虚拟用户界面，使得随着用户的移动，虚拟用户界面与用户的身体一起移动(例如，图85A-85C的环用户界面保持在用户身体周围)。在一或多个实施例中，各种预配置的用户界面可被存储在用户界面数据库中，使得从数据库检索适当的用户界面。
所存储的用户界面程序可包括关于用户界面的一组特性和/或参数，包括虚拟用户界面的各个部分必须相对于原点坐标显示的坐标。例如，在仅具有2个像素的非常简单的用户界面中，可定义要相对于原点臀坐标显示的像素的坐标。当选择特定用户界面时，可从数据库检索用户界面数据，并且可将各种转换矢量应用于像素坐标，以便确定世界坐标。换句话说，每个存储的用户界面程序可相对于特定参考系来预定义，并且该信息可被用于确定呈现特定用户界面的位置。应理解，下面描述的大多数用户界面基于该基本原理工作。尽管上述示例示出了仅使用2个像素的概念，但是应理解，可类似地定义虚拟用户界面的所有像素的适当坐标，使得可应用相关的平移和/或旋转。
在另一示例中，假设用户界面必须显示在用户姿势的位置。如下面的许多实施例所示，可以简单地“即时”产生若干用户界面，使得用户界面起源于由用户定义的空间中的特定点。在此情况下，也可使用与上述类似的定位概念。
例如，用户可将他的手臂放在空间中，并用他/她的手指做出特定姿势，向AR系统指示应该在该位置处填充用户界面。在此情况下，与上述类似，AR系统在世界中的位置是已知的(例如，GPS、蓝牙、拓扑图等)。AR系统的各种传感器和/或摄像机可确定用户的姿势相对于AR系统的位置(例如，在已经识别了姿势意味着生成用户界面的命令之后)。
如上所述，一旦已经确定姿势相对于AR系统摄像机或传感器的位置，可使用几种三角测量技术(例如，转换矢量等)来确定该位置的世界坐标。一旦已经确定了位置的世界坐标，则可生成期望的用户界面，使得其起源于该特定位置。
下面描述的一些用户界面中的另一主题为一些虚拟内容的参考系可被修改，使得当前被绑定到第一参考系的虚拟内容被绑定到另一参考系。如在下面描述的一些实施例中将清楚的，用户可通过以手为中心的用户界面打开应用。应用可打开朋友的个人资料页，用户可能希望存储该个人资料页以便将来容易查看。在一或多个实施例中，用户可获取与个人资料页(其当前相对于以手为中心的参考系来显示)相对应的虚拟对象或虚拟框，并且修改它以使其不再被绑定到以手为中心的参考系，而是被绑定到以世界为中心的参考系。
例如，AR系统可识别用户的姿势(例如，投掷姿势、获取应用并且将其远离第一参考系放置的姿势等)，以向系统指示AR用户期望修改特定虚拟对象的参考系。一旦姿势被识别，AR系统就可确定虚拟内容的世界坐标(例如，基于虚拟内容相对于AR系统在世界中的已知位置的位置)，并且修改一或多个参数(例如，原点坐标字段等)，使得其不再绑定到以手为中心的参考系，而是绑定到世界坐标参考系。
在又一实施例中，AR系统必须识别所选的特定虚拟图标，并且移动虚拟图标使得其看起来随用户的手移动(例如，好像用户正持有特定虚拟应用等)。为此，AR系统可首先识别姿势(例如，用用户的手指的抓握动作等)，然后确定用户的手指/手的坐标。类似地，如上所述，虚拟图标的世界坐标也是已知的(例如，通过虚拟内容相对于特定参考系的已知位置，以及参考系与以世界为中心的参考系之间的已知关系)。由于两个坐标都是已知的，所以虚拟内容可被移动以镜像用户手指的移动。
如将在下面的各种实施例中所述，用户周围的任何空间可被转换为用户界面，使得用户可以与系统交互。因此，AR系统不需要诸如鼠标/键盘等的物理用户界面(虽然图腾可被用作参考点，如上所述)，而是可在任何地方以任何形式产生虚拟用户界面以帮助用户与AR系统交互。在一个实施例中，可存在各种虚拟用户界面的预定模型或模板。如上所述，在设置期间，用户可指定虚拟UI的优选类型(例如，以身体为中心的UI、以头部为中心的UI、以手为中心的UI等)。
另选地或除此之外，各种应用可与其自己类型的虚拟UI相关联。另选地或除此以外，用户可定制UI以产生他/她可能最觉得舒适的UI。例如，用户可使用他的手的动作简单地“绘制”空间中的虚拟UI，并且各种应用或功能可自动地填充所绘制的虚拟UI。
前面参考图140，该图示出了显示用户界面的示例流程图。在步骤14002中，AR系统可识别特定UI。UI的类型可以由用户预定。系统可识别至少部分基于用户输入(例如，姿势、视觉数据、音频数据、感觉数据、直接命令等)所填充的UI需求。在步骤14004中，AR系统可生成用于虚拟UI的数据。例如，可生成与UI的边界、一般结构、形状等相关联的数据等。另外，AR系统可确定用户的物理位置的地图坐标，使得AR系统可以显示与用户的物理位置相关的UI。例如，如果UI以身体为中心，则AR系统可确定用户的物理姿态的坐标，使得环形UI可以显示在用户周围。或者，如果UI以手为中心，则可需要确定用户的手的地图坐标。应理解，这些映射点可通过经由F〇V摄像机接收的数据、感测输入或任何其它类型的收集数据来导出。
在步骤14006中，AR系统可从云将数据发送到用户装置。在其它实施例中，数据可从本地数据库发送到显示部件。在步骤14008中，基于所发送的数据向用户显示UI。
一旦已经产生虚拟UI，则在步骤14010中，AR系统可简单地等待来自用户的命令以在虚拟UI上生成更多的虚拟内容。例如，UI可为围绕用户身体的以身体为中心的环。AR系统然后可等待命令，并且如果其被识别(步骤14012)，则可向用户显示与命令相关联的虚拟内容。
现在参考图141，描述用户界面的显示的更具体的流程图14100将被描述。在14102，AR系统可接收关于期望的虚拟UI的输入。例如，AR系统可通过所检测到的姿势、语音命令等来检测此情况。在14104，AR系统可基于用户输入从UI库中识别UI，并且检索必要的数据以便显示UI。
在14106，AR系统可确定与所识别的UI相关联的坐标系或参考系统。例如，如上所述，一些UI可以头部为中心，而另一些UI可以手为中心、以身体为中心等。在14108，一旦已经确定了坐标系类型，AR系统确定虚拟用户界面必须相对于用户的位置显示的位置。例如，如果所识别的UI是以身体为中心的UI，则AR系统可确定用户身体的中心轴/点的位置(例如，映射点、定位技术等)(例如，用户在世界坐标系内的位置)。
一旦定位了该点/轴，其可被设置为坐标系的原点(例如，在x、y、z坐标系中的(0，0，0))(14110)。换句话说，将参考所确定的坐标系(例如，用户身体的中心)来确定待显示的虚拟UI的位置。一旦已经确定了用户身体的中心，就可以进行计算以确定虚拟UI必须被填充的位置(14112)。在14114，可在所确定的映射点处填充期望的UI。
在上述其它实施例中，可以简单地基于用户手指的位置在运行中产生定制虚拟用户界面。例如，如上所述，用户可简单地“绘制”虚拟边界，并且可在该虚拟边界内填充用户界面。现在参考图142，该图示出了示例流程图14200。
在步骤14202中，AR系统检测用户的手指或手的移动。该移动可为表示用户希望产生用户界面的预定姿势(例如，AR系统可将姿势与预定姿势的图进行比较)。基于该检测，AR系统可在步骤14204中将姿势识别为有效姿势。在步骤14206中，AR系统可通过云服务器检索与世界坐标系内的用户手指/手的位置相关联的位置，以便在正确的位置显示虚拟UI，并且随着用户的手指或手的移动而实时移动。
在步骤14208中，AR系统产生镜像用户的姿势的UI。这可通过识别与用户的手指相关联的位置并在该位置处显示用户界面来执行。在步骤14210中，可使用所确定的位置在右侧位置处实时地显示UI。
AR系统然后可检测向系统指示完成了用户界面的产生的手指的另一移动或另一预定姿势(步骤14212)。例如，用户可停止进行他的手指的动作，以表示AR系统停止“绘制”UI。在步骤14214中，AR系统在由用户的手指移动绘制的边界中的位置处显示UI。因此，可产生定制用户界面。
现在将使用姿势跟踪/UI产生的原理等来描述一些示例用户应用。在一些实施例中，下面描述的应用可具有可单独安装到系统上的硬件和/或软件组件。在其它实施例中，系统可被用于各种行业等，并且可被修改以实现下面的一些实施例。
尽管下面描述的特定实施例经常使用姿势来与AR系统通信，但是应理解，可以类似地使用上面论述的任何其它用户输入。例如，除了姿势之外，用户界面和/或其它虚拟内容(例如，应用、页面、网站等)可响应于语音命令、直接输入、图腾、注视跟踪输入、眼睛跟踪输入或上面详细论述的任何其它类型的用户输入而呈现。
以下部分提供可通过AR系统显示以允许与用户交互的用户界面的各种实施例。现在参考图85A，图85A示出了根据一个说明性实施例的用户经由姿势与由AR系统(未在图85A-85C中示出)呈现的用户界面构造8500交互。
具体地，图85A示出了用户与具有各种用户可选虚拟图标的大致环形布局或配置虚拟用户界面8512交互的场景8500。大致环形的布局或配置基本上类似于图79E中所示的布局或构造。
用户可选择的虚拟图标可表示应用(例如，社交媒体应用、网页浏览器、电子邮件等)、功能、菜单、虚拟房间或虚拟空间等。用户可例如执行滑动姿势。AR系统检测滑动姿势，并将滑动姿势解译为呈现大致环形布局或配置用户界面的指令。AR系统然后将大致环形的布局或配置虚拟用户界面8512呈现到用户的视场中，以便看起来至少部分地围绕用户，与用户间隔开在用户的手臂可触及范围内的距离，如图示的实施例中所示。如上所述，用户界面坐标可被绑定到所确定的用户中心的位置，使得其被绑定到用户的身体。
图85B示出根据另一说明性实施例的用户经由姿势与由AR系统(未在图85B中示出)呈现的用户界面虚拟构造8512交互的另一场景8502。
大致环形的布局或配置虚拟用户界面8512可以以可滚动的形式呈现各种用户可选的虚拟图标。用户可例如通过手的扫掠动作做出姿势，以滚动通过各种用户可选的虚拟图标。例如，用户可分别向用户的左(例如，逆时针)方向或向用户的右(例如，顺时针)方向进行扫掠动作，以引起沿左(例如，逆时针)或右(例如，顺时针)方向的滚动。
用户可例如执行点或触摸姿势，以邻近地识别用户可选虚拟图标中的一个。AR系统检测点或触摸姿势，并将点或触摸姿势解译为打开或执行相应的应用、功能、菜单或虚拟房间或虚拟空间的指令。AR系统然后基于用户选择呈现适当的虚拟内容。
图85C示出根据又一说明性实施例的用户经由姿势与由AR系统(未在图85C中示出)呈现的用户界面虚拟构造8512交互的又一场景8504。
图85C示出了用户与图85A和85B的各种用户可选虚拟图标的大致环形布局或配置虚拟用户界面8512交互。具体地，用户选择用户可选虚拟图标中的一个。作为响应，AR系统打开或执行相应的应用、功能、菜单或虚拟房间或虚拟空间。例如，AR系统可呈现用于相应应用8514的虚拟用户界面，如图85C所示。另选地，AR系统可基于用户的选择呈现相应的虚拟房间或虚拟空间。
现在参考图86A，图86A示出了根据一个说明性实施例的用户经由姿势与由AR系统(未在图86A中示出)呈现的用户界面虚拟构造8612交互的场景8602。
具体地，图86A示出了用户执行姿势以创建在物理环境的空间中悬停或者悬挂或胶合到物理表面(诸如物理环境的墙壁)的新的虚拟工作门户或构造。例如，用户可执行双臂姿势，例如从中心点向外拖动到表示虚拟工作门户或构造的左上角和右下角的位置，如图86A所示。虚拟工作门户或构造8612可例如被表示为矩形，用户姿势不仅建立了位置，而且建立了虚拟工作门户或构造的大小。
虚拟工作门户或构造8612可提供对例如应用、功能、菜单、工具、游戏和虚拟房间或虚拟空间的其它虚拟内容的访问。一旦已经产生或打开虚拟工作门户或构造，用户可采用各种其它姿势来导航。
图86B示出了根据一个说明性实施例的用户经由姿势与由AR系统(未在图86B中示出)呈现的用户界面虚拟构造8614交互的另一场景8604。
具体地，图86B示出了用户执行姿势以在用作图腾的物理对象的物理表面8614上产生新的虚拟工作门户或构造。用户可例如执行两个手指姿势，例如扩展捏合姿势，从中心点向外拖动到虚拟工作门户或构造的左上角和右下角应当所处的位置。虚拟工作门户或构造可例如被表示为矩形，用户姿势不仅建立了位置，而且建立了虚拟工作门户或构造的大小。
图86C示出了根据一个说明性实施例的用户经由姿势与由AR系统(未在图86C中示出)呈现的用户界面虚拟构造8616交互的另一场景8606。
具体地，图86C示出了用户执行姿势以在物理表面(诸如，物理桌子或书桌的顶表面)上产生新的虚拟工作门户或构造8616。用户可例如执行双臂姿势，例如从中心点向外拖动到虚拟工作门户或构造的左上角和右下角应当所处的位置。虚拟工作门户或构造可例如被表示为矩形，用户姿势不仅建立了位置，而且建立了虚拟工作门户或构造的大小。
如图86C所示，特定应用、功能、工具、菜单、模型或虚拟房间或虚拟空间可以被分配或关联到特定的物理对象或表面。因此，响应于在所定义的物理结构或物理表面上或附近执行的姿势，AR系统自动打开与物理结构或物理表面相关联的相应应用8618(或例如功能、工具、菜单、模型或虚拟房间或虚拟空间)，从而消除了导航用户界面的需要。如前所述，虚拟工作门户或构造可提供对例如应用、功能、菜单、工具、游戏、三维模型和虚拟房间或虚拟空间的其它虚拟内容的访问。一旦已经产生或打开虚拟工作门户或构造，用户可采用各种其它姿势来导航。
图87A-87C分别示出了根据一个说明性实施例的用户经由姿势与由AR系统(未在图87A-87C中示出)呈现的各种用户界面虚拟构造交互的场景8702、8704和8706。
用户界面可采用被称为直接输入或代理输入的至少两种不同类型的用户交互中的一种或两种。直接输入对应于常规的拖放类型用户交互，其中，用户例如使用指点装置(例如，鼠标、轨迹球、手指)选择虚拟内容的实例的图标化，并将所选择的图标拖到目标(例如，文件夹，例如应用的其它图标化)。
代理输入对应于用户通过用用户的眼睛查看或专注于特定图标化来选择虚拟内容的实例的图标化，然后例如经由图腾执行一些其它动作(例如，姿势)。另一种不同类型的用户输入被称为投掷输入。投掷输入对应于用户做出第一姿势(例如，抓握或捏合)以选择虚拟内容的实例的图标化，随后是第二姿势(例如，朝向目标的手臂扫掠或投掷动作)以指示至少大体上在由第二姿势指示的方向上移动虚拟内容的命令。
投掷输入通常应包括指示目标(例如，文件夹)的第三姿势(例如，释放)。当用户的手与目标对准或至少靠近目标时，可执行第三姿势。当用户的手沿着目标的大致方向移动但是可能尚未与目标对准或接近目标时，可执行第三姿势，假设没有其它虚拟内容接近目标，否则将使预期目标对AR系统来说有歧义。
因此，AR系统检测并响应于允许表示应呈现或移动哪个虚拟内容的自由形式定位指定的姿势(例如，投掷姿势、指向姿势)。例如，在用户期望虚拟显示器、监视器或屏幕的情况下，用户可在物理环境中在用户的视场中指定使虚拟显示器、监视器或屏幕出现的位置。这与姿势可使得物理装置操作(例如，开/关、改变媒体内容的信道或源)但不改变物理装置的位置的对物理装置的姿势输入形成对比。
另外，在用户期望将虚拟内容(例如，表示文件的图标)的第一实例与第二实例(例如，表示存储文件夹或应用的图标)逻辑地关联的情况下，姿势定义虚拟内容的第一实例的目的地。
具体地，图87A示出了用户执行第一姿势以选择虚拟内容。用户可例如执行捏合姿势、捏合并看起来将虚拟工作门户或构造8712保持在拇指和食指之间。响应于AR系统检测到虚拟工作门户或构造的选择(例如，抓握、捏合或保持)，AR系统可用视觉强调来重新呈现虚拟工作门户或构造，例如如图87A所示。视觉强调向用户提示关于AR系统已检测到哪块虚拟内容被选择，从而允许用户在必要时校正选择。可以采用其它类型的视觉提示或强调，例如突出显示、滚动字幕、闪烁、颜色改变等。
具体地，图87B示出了用户执行第二姿势以将虚拟工作门户或构造移动到用户希望在其上映射虚拟工作门户或构造的物理对象8714，例如墙壁的表面。用户可例如在保持捏合姿势的同时执行扫掠类型姿势。在一些实施方式中，AR系统可例如基于接近度和/或动作方向来确定用户期望的物理对象。
例如，在用户朝向单个物理对象做出扫掠动作的情况下，用户可在未达到物理对象的实际位置处利用手来执行释放姿势。由于在执行释放姿势时没有接近扫掠姿势或与扫掠姿势成一直线的其它物理对象，所以AR系统可以明确地确定用户期望的物理对象的身份。在某些方面，这可被认为类似于投掷动作。
响应于AR系统检测到明显的目标物理对象，AR系统可呈现位于用户视场中的视觉提示，以便看起来与检测到的预期目标同延，或至少与其接近。例如，AR系统可呈现包含所检测的预期目标的边界，如图87B所示。AR系统也可以用视觉强调继续呈现虚拟工作门户或构造，例如如图87B所示。视觉强调向用户提示关于AR系统已检测到哪个物理对象或表面被选择，从而允许用户在必要时校正选择。可以采用其它类型的视觉提示或强调，例如突出显示、滚动字幕、闪烁、颜色改变等。
具体地，图87C示出了用户执行第三姿势以指示将虚拟工作门户或构造映射到所识别的物理对象(例如墙壁的表面)的命令，以使AR系统将虚拟工作门户或构造映射到物理对象。用户可例如执行释放姿势，释放捏合以模拟释放虚拟工作门户或构造8716。
图88A-88C示出了根据一个说明性实施例的由AR系统(未在图88A-8C中示出)呈现的用户界面虚拟构造(分别为8802、8804和8806)，其中，用户的手用作图腾。
如图88A所示，响应于检测到第一定义的姿势(例如，用户打开或显示打开的手掌、用户举起手)，AR系统在用户的视场中呈现主导航菜单，以便该主导航菜单出现在用户的手的一部分上或附接到用户的手的一部分。例如，高级导航菜单项、图标或字段可被呈现以出现在除拇指之外的每个手指上。拇指可自由地用作指针，这允许用户经由第二定义姿势之一(例如通过将拇指触摸到相应的指尖)来选择高级导航菜单项或图标中的期望一个。
菜单项、图标或字段8812可例如表示用户可选的虚拟内容，例如应用、功能、菜单、工具、模型、游戏和虚拟房间或虚拟空间。
如图88B所示，响应于检测到定义的姿势(例如，用户分开手指)，AR系统展开菜单，在用户的视场中呈现下级导航菜单8814，以便出现在用户的手的一部分上或附接到用户的手的一部分。例如，多个下级导航菜单项或图标8814可被呈现以出现在除拇指以外的每个手指上。再者，例如，拇指可自由地用作指针，这允许用户通过将拇指触摸对应手指的对应部分来选择下级导航菜单项或图标中的期望一个。
如图88C所示，响应于检测到另一个定义的姿势8816(例如，用户用来自另一只手的手指在手掌中进行盘旋动作)，AR系统滚动浏览菜单，在用户的视场中呈现导航菜单的字段以便出现在用户的手的一部分上或附接到用户的手的一部分。例如，多个字段可看起来从一个手指到下一个手指连续滚动。新字段可滚动到视场中，从一个方向进入(例如，从拇指附近)，以及其它字段可从视场滚动，从另一方向(例如，接近小指)离开。滚动的方向可对应于手指在手掌中的旋转方向。例如，响应于顺时针旋转姿势，字段可在一个方向上滚动，并且响应于逆时针旋转姿势，字段可在第二相反方向上滚动。
其它实施例
如上所述，用户可通过一系列姿势、图腾、UI硬件和与系统交互的其它独特模式与AR系统用户界面通信。以下实施例表示UI体验的几个示例。应理解，以下列表不是详尽的，并且可类似地使用与系统交互的其它实施例。
与系统交互的以下方法可以在具有或不具有图腾的情况下使用。以下实施例表示用户可以通过其来打开系统、开始或结束期望的应用、浏览网页、产生化身、与对等方共享内容等的不同方式。应理解，以下的系列示例实施例不是详尽的，而是简单表示用户可通过其与AR系统交互的示例用户界面/用户体验。
化身
如上所述，用户界面可响应于各种输入。AR系统的用户界面可例如响应于手输入，例如：姿势、触摸、多点触摸和/或多手输入。AR系统的用户接口可例如响应于眼睛输入，例如：眼睛矢量、眼睛状况(例如，睁开/闭合)等。
提前参考图123A，响应于上述一或多个用户输入(例如，具有指向的手指姿势的杯状手掌，如说明性实施例等中所示)，系统可生成可引导用户进行各种选项的化身。在一或多个实施例中，化身可为用户的表示。实质上，用户可被呈现为“傀儡主人”，并且AR系统的用户化身呈现一组图标，其中，任何一个图标可由用户选择。
如场景12302所示，通过AR系统所识别的预定姿势(例如，手拉姿势、手指姿势等)，用户可从期望位置“拉出”化身。如场景12304所示，化身已经被填充。
在一些实施例中，化身可由用户预先选择，或者在其它实施例中，系统可以每次向用户呈现不同的化身。将生成化身的感知的姿势也可是预定的。在其它实施例中，不同的手势可以与不同的化身相关联。例如，手拉姿势可生成图123A所示的化身，但是手指交叉姿势可生成例如(未示出)的美人鱼化身。在其它实施例中，不同的应用可具有其自己的唯一化身。例如，如果用户希望打开社交媒体应用，则社交媒体应用可与其自己的特定化身相关联，自己的特定化身可被用于与应用交互。
可存在检测生成/产生/填充化身的手势的许多方式。姿势可由世界摄像机、传感器、手势触觉或上面论述的任何其它输入装置检测或识别。
上面已经论述了少数示例方法。
现在参考图123B，一旦填充了化身，就可在化身旁边呈现附加选项以帮助用户选择一或多个选项。如图123B所示，化身可为在用户选择选项时与用户一起移动和玩耍的动态化身。如示例实施例中所示，图123B中的化身可保持用户可通过另一手势选择的各种选项(场景12306)。如场景12308所示，用户可从在化身旁边呈现的所呈现的图标(例如，电话、游戏、联系人等)中选择特定的应用。用户可例如选择如场景12308中所示的“游戏”图标。一旦已选择了图标，化身可打开游戏(使用化身手势，如12308所示)。然后可以以3D向用户呈现游戏。在一个实施例中，化身可在用户已选择游戏之后消失，或者在其它实施例中，化身可保留，并且用户也可自由地为其它功能选择其它选项/图标。
现在参考图123c，用户可通过化身选择另一选项。在示例实施例中，用户可选择用户可能想要与之通信的“朋友”(场景12310)。然后，朋友可被呈现为化身，如场景12312所示。
在一或多个实施例中，化身可简单地表示系统的另一化身或游戏中的角色。或者，另一化身可为另一用户的化身，并且两个用户可通过他们的化身相互交互。例如，第一用户可能想要与另一用户共享文件。该动作可通过通过化身填充两个系统以有趣的方式来动画化。
如图123C所示，在生成了其它化身的情况下，化身可交互并将虚拟对象传递给彼此，如场景12312所示。例如，第一化身可将与虚拟游戏相关的虚拟对象传递给另一化身。图123D示出了可被用于与化身交互的详细输入控件12314。如图123D所示，各种姿势可被用于用户输入行为。如图123D所示，一些类型的动作可基于虚拟内容的位置，而其它类型的动作可为对虚拟内容是不可知的。
挤压
在另一实施例中，UI可遵循挤出主题。例如，如图124A所示，用户可做出三角形姿势12402(例如，在说明性实施例中，食指一起)以打开用户界面。响应于三角形姿势，AR系统可挤出一组浮动虚拟图标12404，如图124B所示。在一或多个实施例中，虚拟图标可为浮动块，或者可为仅仅与特定应用或功能相关联的标志。在图124B说明性实施例中，响应于该姿势，邮件应用、音乐应用、电话应用等已经被填充。
在一或多个实施例中，挤出可指的是在固定的横截面轮廓上填充虚拟对象(在此情况下，图标、可选对象等)。横截面轮廓可被旋转、转动，并且各种块可被重新布置等。
如图14B所示，块可水平地打开，然后基于用户的偏好重新布置。如果用户选择特定图标，则作为所选图标的子集的更多图标可被呈现在所选图标的下方，如图124C所示。如前所述，块可围绕横截面旋转以打开特定图标的更多选项，如图124D所示。例如，如果用户希望打开特定应用，并且选择在该应用内选择朋友的个人资料，则用户可如图124E和124F的横截面视图所示挤出用于各种个人资料的图标。
如图124G所示，用户然后可用手的握持姿势选择特定图标，使得虚拟图标从横截面平面“拉出”并被嵌套在用户的手中。如图124G所示，用户可用用户的手来操控所选的虚拟图标(12406)。基本上，虚拟图标或块从横截面平面出来，并且用户可抓握他手中的图标或块。
例如，用户可能想要更详细地查看特定朋友的个人资料。如图124H所示，用户可利用特定手势(例如，如图124H所示的闭合和打开姿势)打开个人资料页面12408，好像简单地打开弄皱的纸片(图124I和124J)。一旦用户完成查看朋友的个人资料页面12410，用户就可类似地将虚拟页面弄皱回来，如图124K所示，并将其返回到用户先前挤出的一系列块(图124L)。图124M示出了可被用于与化身交互的详细输入控件12620。如图124M所示，各种姿势可被用于用户输入行为。如图123M所示，一些类型的动作可基于虚拟内容的位置，而其它类型的动作可为对虚拟内容是不可知的。
长手套
在又一方法中，UI可遵循长手套主题，其中，用户的手(在此情况下)或任何其它身体部位可被用作旋转轴，并且图标可被呈现为好像出现在用户的手臂上。如图125A和125B所示，用户可以通过由系统识别的预定手势12502(例如，在该示例中用他的另一只手扣住手臂)使得在用户的手臂上产生各种图标。如图125C所示，系统可基于用户在他的手臂上的拖动姿势12506自动地生成图标12504。拖动姿势12506可引起虚拟图标12506的填充。如在先前示例中的情况，虚拟图标可为应用、朋友个人资料或可为由用户进一步选择的任何其它类型的功能。
如图125D所示，一旦姿势已经被填充，则用户可利用系统所识别的另一姿势12508(例如，两个手指围绕手臂旋转一组图标)。这可使得更多的虚拟图标被填充在用户的手臂的侧面上，如图125E所示。基本上，用户的手臂的长度可被用作使虚拟轴围绕用户的手臂旋转的轴。
在一个示例中，用户可选择特定图标12510(图125F)；系统可具有一些指示符，以指示其现在已经被选择(例如，由不同的颜色表示等)。如图125G所示，用户可将所选的图标12510拖动到他的手腕。该动作可被系统识别，从而向用户指示可打开该应用。这里，用户已经选择了虚拟对象图标(例如，菱形图标，如图125G所示)。基于图标选择，其它虚拟图标可以淡出，并且虚拟淡出图案可被投影在用户的手腕上，分别如图125H和125I所示。
在将图标拖动到用户的手腕时，用户可以在扣紧动作中提起图标，使得菱形图标12510以更大的比例被呈现到房间中(图125J)。因此，用户已经打开了虚拟对象并且已经将虚拟对象释放到他/她当前占据的物理空间中。例如，用户可将虚拟对象留在物理空间中，使得另一用户在进入相同的物理空间时可找到虚拟对象。
或者，在另一示例中，如图125K和1251所示，用户可能已经选择了表示联系人或朋友的图标。例如，用户可能想要与朋友发起实况对话，或者可能想要参与该朋友的活动。类似于上述示例，用户可将表示朋友的图标拖动到手腕，进行扣紧动作并“释放”朋友，使得朋友的虚拟呈现12514可出现在用户的前面，如图125L所示。应理解，用户可实时地与虚拟朋友交互，这通过上面论述的可传递世界技术来进行是可能的。图125M示出了可被用于与用户界面交互的详细输入控件12516。如图125M所示，各种姿势可被用于用户输入行为。如图123M所示，一些类型的动作可基于虚拟内容的位置，而其它类型的动作可为对虚拟内容是不可知的。
生长
在另一方法中，例如，UI可遵循生长方法，例如生长树，使得例如AR系统的图标可像树一样从地面或桌子“生长”。参考图126A-126L，通过各种姿势，用户可选择一或多个图标(例如，应用、应用类别等)，并将其生长为树以填充可为所选应用的一部分的其它图标。
更具体地，参考图126A，表示各种应用或功能12602的一组图标可被填充在用户的手上。如图126B和126B所示，用户可选择特定图标以“生长”，并且将虚拟图标(例如，通过用户手指的扣紧动作)放置在平坦表面(例如，桌子等)上。这里，例如，用户已经选择了社交媒体类别。为了“生长”类别(例如，为了找到类别内的其它应用)，如图126C所示，用户可“种植”(例如，通过按压动作)，将虚拟图标按压到平坦表面中。该姿势可引起虚拟树或植物12604的呈现，如图126D所示。如图126D所示，植物可在开始时较小，并且生长到较大的树，例如图126E所示的树。如图126D和126E所示，植物可包括各种分支，每个分支具有代表更多应用或特定应用中的选项的图标。这里，在当前示例中，树枝可为社交媒体类别(例如，等)内的各种应用。
如图126E所示，用户可选择植物或树的分支上的图标之一，并且类似于先前示例，通过扣紧姿势12606拾取虚拟图标，并且在另一位置再次“种植”该图标以便其生长。例如，如图126F和126G所示，用户已经扣住该应用，然后将其放置在平坦表面上，以使页面从地面“生长”，如图126H所示。然后，虚拟页面可看起来好像从地面发芽，如图126I所示。虚拟页面生长以变为虚拟独立树结构12608，并且可由用户详细地查看，如图126I所示。
一旦用户完成页面12608，用户就可关闭或“剪切”树以关闭该应用。如图126J-126L所示，在剪切动作中，用户可剪切树的页面或树干以关闭应用。然后，关闭的应用可看起来像类似于图126E的原始虚拟图标树的分支。
应理解，各种姿势由系统预先确定。姿势可基于应用被预编程，或者可被定制以适合用户的优选姿势。例如，系统可被编程为将树的树干处的快速手动作识别为向系统指示应用应该被关闭的“剪切”滑动。
AR系统可例如将用于Web浏览器的用户界面呈现为前进方向上具有树以及在向后方向上具有尾部的页面。例如，可利用从网页的顶部出来的分支树来呈现用户界面，该分支树示出来自该网页的链接。可进一步利用延伸到地平线中的分支树来呈现用户界面。AR系统可利用图形化地绑定到网页上的链接的分支树的根来呈现用户界面。因此，用户可以选择叶节点或任何其它节点，，并直接跳转到由叶节点表示的期望网页，而不是不得不一次导航(例如，点击)通过一个网页(例如，三个或四个选择)。
在一些实施方案中，AR系统可提供滚动工具。分支树可在滚动期间动态地改变，如上图所示。
分支和叶节点可具有图形图标化。图标可以例如显示或表示响应于对相应节点的选择将被导航到网站或网页的屏幕截图或缩略图视图。
该用户界面将浏览从顺序体验改变为并行体验。响应于用户选择网页，AR系统基于该选择呈现另一分支树。分支树可被呈现为当其接近地平线(例如，背景、前景、侧面)时视觉上尾部逐渐萎缩。例如，AR系统可在接近地平线时使分支树呈现为更浅。AR系统可呈现由表示用于在当前选择的网站或网页上导航的网站或网页的节点打断的尾部。
手指刷
在另一实施例中，系统可基于预定的手指刷姿势来填充虚拟图标/应用/功能等。例如，如图127A所示，系统可识别用户手指的特定姿势12702(例如，用食指指预定时间段内)，其指示用户想要将该单个手指或多个手指用作“手指刷”。如图127B所示，用户然后可通过将手指拖动通过空间来“绘制”图形。这可使AR系统基于用户手指的移动来绘制虚拟形状。
如图127B所示，用户处于绘制矩形的过程中。在一或多个实施例中，虚拟图标或应用可被填充在由用户绘制的形状的界限内。如图127C所示，各种虚拟图标12704现在出现在所绘制的形状内。现在，用户可打开任何特定图标，并将其填充在其旁边，如图127D所示。图127E示出了可被用于与所绘制的形状交互的详细输入控件12706。如图127E所示，各种姿势可被用于用户输入行为。如图123E所示，一些类型的动作可基于虚拟内容的位置，而其它类型的动作可为对虚拟内容是不可知的。
颜料桶
现在参考图128A-128P，该图示出了用户界面交互的另一实施例。如图128A所示，与先前示例中的情况一样，基于用户姿势12802(例如，打开手掌等)，可呈现一组虚拟图标12804，使得它们看起来被填充在用户的手上。用户可选择如图128B所示的特定图标，并且以颜料桶形式将其朝向墙壁或任何其它空间轻拂(图128C)。轻拂动作可转化为可能看起来朝向墙壁抛出的油漆的虚拟滴，使得所选图标或该图标内的应用(例如，应用的类别)然后可以“涂画”到墙上或任何其它空间。
然后，用户可使用手或手指姿势来选择特定虚拟图标。如图128E和128F所示，可选择特定图标12808。在识别了选择姿势时，AR系统可显示应用(例如，如图128G所示的搜索页面)。然后，用户可与搜索页面交互，以导航到一或多个期望的网站，如图128H所示。
使用闭合姿势12810(例如，食指和拇指等的扣住)，用户可基于他/她的偏好存储或“保持”某个期望的应用或网页(例如，图128I的网页)。参考图128H和1281，用户例如可能对特定网页或网页的特定部分感兴趣，并且可通过姿势(例如闭合动作)存储期望的部分。如图128I所示，基于闭合姿势12810，期望的虚拟内容将期望的页面简单地折叠或变形为虚拟带12812。这可被存储在用户的手腕上，例如，如图128I所示。应理解，在其它实施例中，用户可以以其它方式保存或存储期望的网页。例如，期望的网页可被存储在虚拟框或真实框中，或者为图腾的一部分。
参考图128J-128L，其它网页/用户简档或任何其它期望的信息可类似地被存储为围绕用户的手腕的其它虚拟带。在图128J说明性实施例中，各种虚拟图标可被存储在用户的手掌上。然后，用户可选择期望的图标，并且与图标进行交互，如图128K和128L所示。各种存储的项目可由各种颜色表示，但是可类似地使用其它类似的区分指示符。
现在参考图128N-128P，为了打开所存储的对象(例如，由用户手腕上的虚拟带12812表示)，用户可简单地使用另一姿势12814(例如，手掌的抛掷动作/运动)以尽力打开虚拟带。在该示例实施例中，抛掷或轻拂动作生成另一颜料桶错觉，如图1280所示，使得两个不同的颜色(每个虚拟带具有不同颜色)跨越给定空间抛掷以生成期望的存储网页、用户简档等。因此，如图128P所示，用户然后可查看所存储的应用和/或网页，并以期望的方式与所存储的内容交互。
枢轴
现在参考图129A-131L，该图示出了用户界面交互的另一实施例。如图129A所示，通过所识别的手势12902(例如，一只手的食指和拇指靠近另一只手的食指和拇指)，用户可使虚拟细绳12904被呈现给用户。如图129B所示的虚拟细绳可被拉长到用户期望的任何长度。例如，如果用户希望查看许多应用，则可拉出该细绳以变成更长的虚拟细绳。或者，如果细绳仅被拉出较少的量，则可填充较少的应用。虚拟细绳13104的长度可被填充以便模仿用户的手的动作。
如图129C所示，各种虚拟图标12906可被填充在类似于晾衣绳的细绳上，并且用户可简单地使用手势12908移动图标，使得图标相对于用户的手移动。例如，用户可通过向右滑动他的手来滚动显示虚拟图标，使得虚拟图标也相应地向右移动，如图129C所示。
然后，用户可通过另一姿势12910(例如，将两个手指指向特定虚拟图标)来选择特定图标，如图129D所示。现在参考图129E，可选择“联系人”应用，如虚拟图标上的彩色指示符所表示的。在一或多个实施例中，特定虚拟图标的选择可使虚拟图标或页面通过手势12912在z方向上移动，手势12912使虚拟图标朝向用户或者远离用户移动。如图129F-129H所示，一旦联系人应用已经打开，用户就可浏览联系人并选择要呼叫的联系人。如图129G所示，用户可从联系人中选择“Matt”，并且可发起呼叫(图129H)。
如图129L所示，当用户正在与联系人通话时，用户可能够同时打开其它应用。例如，用户可通过另一手势12912打开特定文档，并且通过另一手势12914将文档物理地移动到联系人图标来将其“发送”给联系人，如图129J-129L所示。因此，用户可通过简单的手势无缝地将文件发送给其他用户。在AR系统中，用户能够触摸并保持作为3D虚拟对象的文档、网页等，其可以被抛入空间、四处移动和物理操控，就像它们是真实对象一样。图129M示出了可被用于与用户界面交互的详细输入控件12916。如图129M所示，各种姿势可被用于用户输入行为。如图129M所示，一些类型的动作可基于虚拟内容的位置，而其它类型的动作可对于虚拟内容是不可知的。
拉细绳
在另一实施例中，各种虚拟图标可被呈现为悬挂的虚拟细绳13002。每个细绳可表示应用或应用类别的不同虚拟图标，如图130A-130C所示。为了选择特定虚拟图标13004，用户可在虚拟细绳上拖拽(例如，通过拖拽姿势13206)，如图130C和130D所示。拖拽动作13006可“向下拉细绳”，使得用户可查看特定应用的子类别或不同图标。
这里，如图130D和130E所示，用户可能已经选择了音乐应用，并且图130E中所示的各种图标13010可表示各种曲目号。然后，用户例如可选择特定曲目号，如图130F和130F所示，以打开页面并查看关于曲目号的细节，或与曲目号相关联的网页。在说明性实施例中，扣紧动作13012可被用于选择感兴趣的特定曲目号。
用户可进一步能够简单地通过按压与曲目号或音乐文件相关联的虚拟图标(例如，通过按压姿势13014)与代表用户的朋友的另一图标，以将曲目号或网页传递给其他用户/朋友，如图130H所示。因此，通过检测按压动作，AR系统可识别用户想要的输入，并开始将文件传送到用户的朋友的AR系统的传送过程。图130I示出了可被用于与用户界面交互的详细输入控件13020。如图130I所示，各种姿势可被用于用户输入行为。如图130I所示，一些类型的动作可基于虚拟内容的位置，而其它类型的动作可对于虚拟内容是不可知的。
蜘蛛网
在另一实施例中，用户与系统的交互可通过在用户周围的物理空间中产生的虚拟“蜘蛛网”来进行。例如，如图131A所示，用户可握拳并将其打开13102，使得虚拟蜘蛛网状细绳跨空间掠过(图131B)。为了选择特定虚拟图标/应用/应用类别，用户可沿着蜘蛛网状细绳13104拉动以将虚拟图标拉向更靠近他/她(图131C-131D)。在图131D的说明性实施例中，网页13106已经被填充以用于更近的观看。
参考图131E，用户然后可例如从网页13106选择特定联系人13108，并将该联系人存储在蜘蛛网状细绳13110上(图131E和131F)。类似于上述其它实施例，用户可通过虚拟细绳13110将文档13112传递给所选用户13108，如图131G和131H所示。如图131H所示，传输过程正在进行，并且文件正被传送给联系人。图131I示出了可被用于与用户界面交互的详细输入控件13120。如图131I所示，各种姿势可被用于用户输入行为。如图131I所示，一些类型的动作可基于虚拟内容的位置，而其它类型的动作可对于虚拟内容是不可知的。
如上述实施例所示，AR系统的用户界面允许用户以增强AR系统的用户体验的创新和有趣的方式与系统交互。应理解，其它游戏技术可被类似地使用或编程到系统中。
现在参考图132，该图示出了展示虚拟内容和一或多个物理对象之间的关系的示例实施例。如13202所示，虚拟对象可为浮动的。当对象与其它物理表面或对象没有关系时，对象可为浮动的。该外观可为内容的以房间为中心的处理，从而允许用户从所有角度观看虚拟对象。
类似地，如13204所示，内容可以被应用于物理表面，如墙壁、杯子或人的手臂，如上面论述的几个实施例的情况。虚拟内容可采用该表面的一些物理属性。例如，如果虚拟对象在一张真实纸张上，并且真实纸张被提起，则虚拟对象也可被提起。或者，在另一实施例中，如果纸落在地面上，则虚拟对象也会落下，模仿重力牵引。当与内容交互时，这也可向用户提供物理触摸感觉。
在其它实施例中，可锚定虚拟内容，如上述一些实施例的情况。此外观类型组合了浮动和应用对象的元素。虚拟内容可被锚定到如13206所示的特定表面，从而遵循该表面的行为和动作(例如，蜘蛛网用户界面体验、枢轴用户界面体验等)。另选地，如13208所示，虚拟内容可简单地“分配”到物理对象，使得其不再可见。例如，可将文档(由虚拟文档图标表示)简单地分配给物理对象，但是一旦传输过程完成，虚拟图标就可消失。这可为用户可以通过其快速浏览内容而不必可视化每个步骤的方式。
用户场景
在论述其它特定应用和/或用户场景之前，将简要论述从可传递世界模型接收和更新信息的示例过程。上面论述的可传递世界模型允许多个用户访问存储在云服务器上的虚拟世界并且基本上将用户世界的一部分传递到一或多个对等方。
例如，类似于上面论述的其它示例，伦敦的AR系统的第一用户可能希望与当前位于纽约的AR系统的第二用户参加会议。可传递世界模型可允许第一用户将构成第一用户的当前物理环境的可传递世界的一部分传递给第二用户，并且类似地传递构成第二用户的化身的可传递世界的一部分，使得第二用户看起来与伦敦的第一用户在同一房间中。
换句话说，可传递世界允许第一用户向第二用户发送关于房间的信息，并且同时允许第二用户产生化身以将他/她自己置于第一用户的物理环境中。因此，两个用户都不断地从云中更新、发送和接收信息，从而给予两个用户同时在同一房间中的体验。
参考图143，该图公开了如何在位于两个分离的物理位置的两个用户之间来回传送数据的示例过程14300。应理解，每个输入AR系统(例如，具有传感器、摄像机、眼睛跟踪、音频等)可具有类似于下面的过程。出于说明的目的，可从摄像机输入以下系统的输入，但是可类似地使用AR系统的任何其它输入装置。
在步骤14302中，AR系统可检查来自摄像机的输入。例如，遵循上述示例，伦敦的用户可在会议室中，并且可在白板上绘制一些图形。这可以构成或可以不构成AR系统的输入。由于可传递世界不断地被更新并建立在从多个用户接收的数据上，所以存在于云上的虚拟世界变得越来越精确，使得只有新信息需要被更新到云。
例如，如果用户简单地在房间四处移动，则可能已经具有足够的3D点、姿势数据信息等，使得纽约用户的AR装置能够在伦敦投影会议室而无需主动接收来自伦敦用户的新数据。然而，如果伦敦的用户正在添加新信息，诸如在会议室中的板上绘制图形，则这可能构成需要被传送到可传递世界模型的输入，并将其传递给纽约的用户。因此，在步骤14304中，用户装置检查以查看所接收的输入是否为有效输入。如果所接收的输入无效，则存在适当的等待循环，使得系统简单地检查更多输入14302。
如果输入有效，则在步骤14306中将所接收的输入馈送给云服务器。例如，可仅将对板的更新发送给服务器，而不是发送与通过FOV摄像机所收集的所有点相关联的数据。
在云服务器上，在步骤14308中，接收来自用户装置的输入，并且在步骤14310中将其更新到可传递世界模型中。如关于上述系统架构所论述的，云服务器上的可传递世界模型可包括处理电路多个数据库(包括具有几何和拓扑图的映射数据库14334)、对象识别器14332和其它合适的软件组件。
在步骤14320中，基于所接收到的输入14308，可传递世界模型被更新。然后，在步骤14312中，更新可被发送到可能需要更新信息的各种用户装置。这里，更新信息可被发送给在纽约的用户，使得被传递给在纽约的用户的可传递世界也可以查看第一用户在伦敦的会议室的板上绘制图片时的绘图。
应理解，第二用户的装置可能已经基于可传递世界模型中的现有信息来投影伦敦的会议室的版本，使得纽约的第二用户感知到处于伦敦的会议室中。在步骤14326中，第二用户装置从云服务器接收更新。在步骤14328中，第二用户装置可确定是否需要显示更新。例如，对可传递世界的某些改变可能与第二用户不相关，并且可能不被更新。
在步骤14330中，所更新的可传递世界模型在第二用户的硬件装置上显示。应理解，从云服务器发送和接收信息的该过程被快速执行，使得第二用户在第一用户执行动作时就可以看到第一用户在会议室的板上绘制图形。
类似地，在步骤14320-14324中还接收来自第二用户的输入，并将其发送到云服务器并被更新到可传递世界模型。然后可在步骤14314-14318中将该信息发送到第一用户的装置。例如，假设第二用户的化身看起来坐在伦敦的会议室的物理空间中，对第二用户的化身的任何改变(其可以或可以不反映第二用户的动作/外观)也可被发送给第一用户，使得第一用户能够与第二用户交互。
在一个示例中，第二用户可产生类似于用户的虚拟化身，或者化身可采取悬停在伦敦会议室周围的蜜蜂的形式。在任一种情况下，来自第二用户的输入(例如，第二用户可响应于第一用户的绘图摇动他的头部)也被发送给第一用户，使得第一用户可以评估第二用户的反应。在此情况下，所接收到的输入可基于面部识别，并且对第二用户的面部的改变可被发送给可传递世界模型，然后被传递至第一用户的装置，使得对被投影在伦敦的会议室中的化身的改变被第一用户看到。
类似地，可存在在AR系统的多个用户之间有效地来回传递的许多其它类型的输入。尽管特定示例可改变，但是AR系统的用户和可传递世界之间的所有交互类似于上面参照图143所述的过程。上述过程流程图描述了访问并将可传递世界的一部分彼此传递的多个用户之间的交互，而图144为示出在单个用户和AR系统之间的交互的示例过程流程图14400。用户可访问需要从云服务器检索的数据的各种应用并与之交互。
在步骤14402中，AR系统检查来自用户的输入。例如，输入可为视觉、音频、感测输入等，其指示用户需要一些类型的数据。例如，用户可能希望查找关于他可能刚刚在虚拟电视上看到的广告的信息。在步骤14404中，系统确定用户输入是否有效。如果用户输入有效，则在步骤14406中，将输入馈送到服务器中。在服务器侧，当在步骤14408中接收到用户输入时，在步骤14410中从知识库14440检索适当的数据。如上所述，可存在连接到云服务器的多个知识数据库，其中，可从云服务器中检索数据。在步骤14412中，检索数据并将其发送到请求数据的用户装置。
回到用户装置，在步骤14414中从云服务器接收数据。在步骤14416中，系统确定何时需要以虚拟内容的形式显示数据，并且如果需要，则在用户硬件14418上显示数据。
如上面简要论述的，许多用户场景可涉及AR系统识别真实世界活动并且基于所检测到的真实世界活动自动执行动作和/或显示虚拟内容。例如，AR系统识别用户动作，然后产生在用户的参考系周围浮动的用户界面，从而提供与活动相关联的有用信息/虚拟内容。类似地，可以设想许多其它用途，其中一些将在下面的用户场景中描述。
已经描述了AR系统的光学元件和各种系统部件，现在将论述AR系统的一些进一步应用。在一些实施例中，下面描述的应用可具有可单独安装到系统上的硬件和/或软件组件。在其它实施例中，系统可被用于各种行业等，并且可能需要修改以实现下面的一些实施例。应理解，出于说明的目的，以下实施例被简化，并且不应被解读为限制；并且可设想更多复杂的实施例。
隐私
由于AR系统可连续地从用户的周围环境捕获数据，因此可能存在隐私的问题。例如，佩戴AR装置的用户可能走进机密会议空间，或者可能被暴露敏感内容(例如裸露、性内容等)。因此，提供一或多个机制以帮助在使用AR系统时确保隐私可能是有利的。
在一个实施方案中，AR系统的一或多个部件可包括指示信息何时由AR系统收集的可视指示器。例如，头戴式或头部安装部件可包括视觉指示视觉和/或音频信息何时被收集的一或多个视觉指示器(例如，LED)。例如，当视觉信息由头戴部件携带的摄像机收集时，第一LED可被照亮或可发出第一颜色。当视觉信息由头戴部件携带的麦克风或音频换能器收集时，第二LED可被照亮或可发出第二颜色。
除此以外或另选地，AR系统可响应于来自AR系统的摄像机或其它光学传感器的视场中的任何人的定义姿势。具体地，AR系统可响应于检测到所定义的姿势而选择性地停止捕获图像。因此，AR用户的视场中的人可以简单地通过执行姿势(例如，手势、手臂姿势、脸部姿势等)选择性地使AR系统停止捕获图像。在一或多个实施例中，AR系统可响应于佩戴AR装置的人的姿势。在其它实施例中，AR系统可响应于与佩戴AR系统的人所共享的物理空间或环境中的其他人的姿势。
在又一实施例中，出于隐私目的，用户可向与AR系统相关联的应用注册。这可允许用户对是否要被系统的其他用户的图像/视频和呈现所捕获/存储进行更多的控制。向AR系统注册的用户(或与AR系统相关联的应用)可能比没有系统帐户的用户具有更多的隐私控制。
例如，如果注册用户不希望被其他用户的其他AR系统捕获，则系统可在识别该人时停止捕获该特定用户的图像，或另选地，模糊与该人相关联的视觉图像。另一方面，没有在AR系统中注册的人对于隐私的控制比在AR系统中注册的人更少。因此，可能存在向AR系统(或相关联的应用)注册的更高激励。
在另一实施例中，AR系统可基于所检测到的活动和/或所识别的用户周围环境来自动实施安全控制。因为AR系统不断地知道用户的环境和活动(例如，通过FOV摄像机、眼睛摄像机、传感器等)，AR系统可在AR系统检测到特定活动或环境时自动进入暂停模式。例如，如果AR系统确定用户将要占据房子中的特定房间(例如，浴室、儿童房间、预先指定的机密区域等)，则AR系统可自动进入暂停模式，并终止信息的捕获，或仅选择性地捕获来自用户的AR系统的基本信息。或者，如果AR系统确定用户正从事特定活动(例如，驾驶等)，则AR系统可自动进入暂停或“关闭”模式，以便不会通过任何输入消息或虚拟内容来分散用户。类似地，许多其它安全和/或隐私控制也可在其它应用中实现。
虚拟房间/空间和用户界面的特定应用和实例
以下部分将描述虚拟房间和/或空间的各种示例和应用，并且在现实生活的实际应用中利用上述AR系统的各种实施例。
如先前所论述的，AR系统可包括各种AR系统的一个或者通常更多个实例。这些各种AR系统通常包括至少头戴式或头部安装式部件，其至少提供视觉增强现实用户体验，并且典型地提供听觉增强现实体验。如上面详细论述的，AR系统通常还包括处理器部件。处理器部件可与头戴或安装部件分离并且不同，例如与头戴或安装部件通信耦合(例如，系留、无线)的腰包(例如，图4A-4D)。
还如前所述，AR系统可选包括一或多个基于传感器系统的空间或房间(例如，图26)。基于传感器系统的空间或房间可包括一或多个图像捕获装置(例如，摄像机)。摄像机可被定位于监视空间，例如房间。例如，摄像机可被定位在房间中的多个角落中。摄像机可例如在结构上与头戴或安装部件的前向摄像机非常相似或甚至相同。因此，这些摄像机优选地捕获3D信息，例如作为光场的3D信息。与头戴或安装部件的摄像机相比，基于传感器系统装置的空间或房间的摄像机通常被固定在空间中。在一或多个实施例中，可以存在用于多个空间或房间中的每一个的基于空间或房间的传感器系统。
也如前所述，AR系统可采用识别对象(例如，分类学识别和/或特定识别)的多个对象识别器。AR系统可以基于对空间的结构和/或内容的对象识别来识别空间。此外，如先前所论述的，AR系统可以使用例如时间、地理坐标(GPS定位信息、罗盘方向、无线网络等)的附加信息来识别空间。
在一或多个实施例中，AR系统可在用户的视场中填充或呈现虚拟空间(例如，元房间)。例如，各个AR系统可以向用户的视网膜呈现或投影虚拟图像，该虚拟图像施加在真实世界或物理空间的用户视图上。类似地，可使用上面详细描述的任何其他光学方法。
AR系统可被用于各种日常应用。AR系统可在用户在工作时使用，甚至可帮助增强用户的工作产品。还例如，AR系统可被用于训练用户(例如，教育培训、运动训练、与工作有关的训练等)。作为另一示例，AR系统可被用于娱乐(例如，游戏)。作为又一个示例，AR系统可被用于辅助锻炼，例如通过提供指令和/或动机。例如，AR系统可呈现用于用户追逐的某种东西(例如，世界级跑步者)或追逐用户的虚拟角色(例如，霸王龙)。
在一或多个实施例中，AR系统可包括附加的专用部件。例如，AR系统可被通信耦合到一或多个可选传感器(例如，计步器、动作传感器、心率传感器、呼吸率传感器、排汗传感器等)。在一或多个实施例中，AR系统可将激励内容呈现为游戏(例如，密探主题游戏)。AR系统也可采用各种类型的图腾(或可被用于提供用户输入的对象，如下面将进一步详细描述的)。换句话说，AR系统可被用于提供各种各样的增强现实体验，并且可被用于增强日常体验和/或辅助日常任务。以下公开内容将描述一系列此类应用和/或实施例。应理解，下面描述的实施例仅用于说明的目的，并且不应被解读为限制。
房间或虚拟空间
以下论述涉及虚拟房间或虚拟空间的概念。本论述还涉及用户如何在虚拟房间或虚拟空间之间进行导航。在一或多个实施例中，用户当其在房间虚拟室或虚拟空间中时可访问特定工具和/或应用。
AR系统提供动态房间映射。例如，AR系统可将虚拟空间映射到物理位置、物理房间或其它物理空间。映射可手动、半自动或自动执行。AR系统提供用于将预先存在的房间映射和修改到物理环境的过程。AR系统提供用于在物理空间中同时映射多个房间的过程。AR系统允许共享，例如实现共处的体验。还例如，AR系统允许共享特定的应用；共享整个房间，和/或使项目公开或私有。
下面论述多个示例场景。例如，用户可在物理办公空间中工作，并且来自同事的消息可到达，从而向用户提示虚拟警报。在另一示例中，位于他/她的起居室中的用户可选择虚拟房间或空间，或者可将他/她的环境从虚拟娱乐或媒体室改变为虚拟锻炼室或虚拟办公空间。
在另一示例中，在一个虚拟房间或空间中操作的用户可打开或以其它方式访问与不同房间或空间相关联的特定应用。例如，用户可从娱乐或媒体室打开或访问摄像机应用。如从本文的论述将显而易见的，AR系统可实现大量的其它场景。
虚拟房间或虚拟空间为可在用户的视场中呈现的虚拟对象、虚拟工具、应用、特征和其它虚拟构造(例如，统称为虚拟内容)的便利分组或组织。
虚拟房间或虚拟空间可以一或多种不同的方式来定义。例如，虚拟房间或虚拟空间可通过以下来定义：i)活动、目标或目的；ii)位置(例如，工作、家庭等)，iii)一天中的时间等。用户可定义或产生虚拟房间或虚拟空间以支持理解、易于使用和/或搜索效率。在一或多个实施例中，虚拟房间和/或空间可由用户定制定义。
在一或多个实施例中，AR系统可提供预定义的虚拟房间或虚拟空间的目录或库。例如，虚拟房间或空间可基于主题预先填充有虚拟内容(例如，虚拟对象、虚拟工具和其它虚拟构造，例如应用、特征、字符、文本、数字和其它符号)。主题可为基于活动的、基于位置的、基于时间的、基于智能的等。
AR系统提供允许用户基于由用户设置的一组偏好来产生或修改虚拟房间或虚拟空间的用户界面。用户可从头设计房间，或者可修改或增强预定义的虚拟房间或空间。可经由可穿戴AR系统的用户界面在虚拟房间或空间内添加、去除或重新布置虚拟内容来修改虚拟房间。
图74A示出根据一个说明性实施例的坐在物理办公空间7402中并且使用可穿戴AR系统7401在第一时间体验虚拟办公室形式的虚拟房间或虚拟空间的用户。
物理办公室可包括一或多个物理对象，例如墙壁、地板(未示出)、天花板(未示出)、桌子和椅子。如图所示，AR系统呈现用户可执行与职业相关的任务的虚拟房间7402。因此，虚拟办公室被填充有在执行用户的工作中有用的各种虚拟工具或应用。
例如，虚拟工具或应用可包括各种虚拟对象或其它虚拟内容，例如二维图或示意图、二维图像或照片和/或三维建筑模型，如图74A所示。虚拟工具或应用可包括诸如直尺、卡尺、罗盘、量角器、样板或模板等的工具。虚拟工具或应用可例如包括用于各种软件应用(例如，电子邮件、网络浏览器、文字处理器软件、演示软件、电子表格软件、语音邮件软件等)的界面。
如图74A所示，一些虚拟对象可相对于彼此堆叠或重叠。用户可利用相应的姿势来选择期望的虚拟对象。例如，用户可用手指轻拂姿势来遍历文档或图像以迭代地移过虚拟对象的堆叠。一些虚拟对象可采取菜单的形式，菜单的选择可致使呈现子菜单。如图74A所示，该图示出向用户示出了用户可通过AR装置7401观看的一组虚拟内容。在说明性实施例中，用户可利用手势来构建和/或增强虚拟建筑模型。因此，不是必须从物理结构构建模型，而是建筑模型可在3D中观看并以3D构造，从而提供更现实且容易修改的可视化结构的方式。
现在参考图74B，图74B的物理办公室与图74A的物理办公室相同，并且图74B的虚拟办公室类似于图74A的虚拟办公室。相同或相似的元件使用与图74A中相同的附图标记来标识。下面仅论述显着差异。
如图74B所示，AR系统可向虚拟办公室中的用户呈现虚拟警报或通知。例如，AR系统可在用户的视场中呈现虚拟警报或通知的视觉表示。AR系统可除此之外或另选呈现虚拟警报或通知的听觉表示。
图75示出了根据一或多个实施例的另一示例虚拟室。如图75的虚拟房间7500中所示，用户正穿着可穿戴AR系统7501并且在物理起居室中体验一或多个虚拟元件。然而，起居室填充有一或多个虚拟元素，诸如类似于图74A和74B的虚拟建筑模型。例如，用户可能在家，但可能想在建筑模型上工作。因此，用户可使AR系统在起居室的物理桌子上呈现建筑模型的最新保存的版本，使得虚拟建筑模型位于桌子的顶部，如图75所示。
物理起居室可包括一或多个物理对象，例如墙壁、地板、天花板、咖啡桌和沙发。如图74A-B和75所示，虚拟办公室可为便携式的、可在各种不同的物理环境中呈现的。因此，如果虚拟办公室在后续的使用中呈现与在最近的使用或呈现中出现的虚拟办公室的外观或布局相同的外观或布局，则可能是特别有利的。因此，在每个后续使用或呈现中，将出现相同的虚拟对象，并且各个虚拟对象可相对于彼此保持其与在虚拟办公室的最近的在前呈现中相同的空间位置。
在一些实施方案中，从一次使用到下一次后续使用的外观或布局的这种一致性或持久性可独立于呈现虚拟空间的物理环境。因此，从第一物理环境(例如，物理办公空间)移到第二物理环境(例如，物理起居室)将不会影响虚拟办公室的外观或布局。
图76示出了包括使用可佩戴AR系统7601的用户的另一场景7600。在说明性实施例中，用户再次在他/她自己的真实起居室中，但是正在体验几个虚拟元素(例如，虚拟TV屏幕7604、鞋子的虚拟广告7608、虚拟迷你足球比赛7610等)。如图76所示，虚拟对象相对于房间的真实物理对象(例如，桌子、墙壁等)放置。
物理起居室可包括一或多个物理对象，例如墙壁、地板、天花板、咖啡桌和沙发。为了简单起见，物理起居室被示为与图75的物理起居室相同。因此，使用与图75中相同的附图标记来标识相同或相似的元件，并且为了简洁起见，将不重复虚拟办公室的论述。
如图所示，AR系统以用户在其中放松和/或享受娱乐或消费媒体(例如，电视节目、电影、游戏、音乐、阅读等)的虚拟娱乐或媒体室的形式呈现虚拟房间或虚拟空间。因此，虚拟娱乐或媒体室填充有各种虚拟工具或应用。
AR系统7601可用虚拟电视或主屏幕7604呈现虚拟娱乐或媒体室。虚拟电视或主屏幕可以被呈现为任何期望的大小。虚拟电视或主屏幕甚至可以延伸超出物理房间的范围。AR系统可呈现虚拟电视或主屏幕以复制任何已知或尚未发明的物理电视。
因此，AR系统可呈现虚拟电视或主屏幕以复制来自1950年代、1960年代或1970年代的时期或经典电视或者可复制任何当前电视。例如，虚拟电视或主屏幕可用具有特定品牌和型号以及物理电视年份的外观呈现。还例如，虚拟电视或主屏幕可用特定品牌和型号的相同图片特性以及物理电视的年份呈现。同样，AR系统可呈现声音以具有与来自特定品牌和型号以及年份的物理电视的声音相同的听觉特性。
AR系统也呈现媒体内容使得看起来好像媒体内容正由虚拟电视或主屏幕显示。媒体内容可采取多种形式中的任何形式，包括电视节目、电影、视频会议或电话等。
AR系统可以利用一或多个附加的虚拟电视或辅助屏幕来呈现虚拟娱乐或媒体室。附加的虚拟电视或辅助屏幕可允许用户享受第二屏幕体验。
例如，第一辅助屏幕7610可允许用户监测幻想联盟(例如，梦幻足球联赛)中的梦幻球队或队员的状态，包括球员和球队的各种统计数据。
除此之外或另选地，第二屏幕7610可允许用户监测其它活动，例如与主屏幕上的媒体内容间接相关的活动。
例如，第二屏幕7610可显示来自协会或联盟的各比赛中的得分的列表，同时用户在主屏幕上观看其中的一场比赛。还例如，第二屏幕7610可显示来自协会或联盟的各比赛的精彩瞬间，而用户在主屏幕上观看其中的一场比赛。一或多个辅助屏幕可以被堆叠为如图76所示，从而允许用户例如经由姿势选择辅助屏幕以将其带入到顶部。例如，用户可使用姿势来按顺序切换辅助屏幕的堆叠，或者可使用姿势来选择特定的辅助屏幕以将其带入相对于其它辅助屏幕的前台。
AR系统可利用一或多个三维重放或回放平板来呈现虚拟娱乐或媒体室。三维重放或回放平板可在用户正在主显示器上观看比赛时微型复制比赛的球场或赛场，例如提供“上帝视角”。3D重放或回放平板可例如允许用户享受在主屏幕上出现的媒体内容的按需回放或重放。
这可包括用户对待回放或重放的媒体内容的部分的选择。这可包括用户对特殊效果，例如慢动作重放、停止或冻结重放或者比实际时间更快的加速或快动作重放的选择。例如，用户可使用一或多个姿势在足球比赛播放的重放期间添加标记接球者的路线的注释，或者标记针对防守队员或后卫的阻挡分配。
3D重放或回放平板甚至可允许用户添加修改如何播放先前被查看的播放的变体(例如，不同的暂停(call))。例如，用户可指定接球者所跑的路线的变体，或者被分配给防守队员或后卫的阻挡分配。AR系统7601可使用实际比赛的基本参数，修改一或多个参数，然后对参数执行比赛引擎，以播放在实际物理比赛中执行但带有用户修改的先前比赛。
例如，用户可跟踪用于外接手的替代路线。除了所选择的外接手、四分卫以及将掩护外接手的任何防守队员之外，AR系统可不改变队员的动作。可播放整个虚拟的想象比赛，其甚至可产生与实际比赛不同的结果。这可例如在广告休息期间或在比赛期间超时时发生。
这允许用户测试他们作为纸上谈兵的教练或球员的能力。类似的方法可以应用于其它运动。仅举几个例子，例如，用户可以在篮球比赛的重放中进行不同的比赛暂停，或者可在棒球比赛的重放中要求不同的投掷。使用游戏引擎允许AR系统引入统计可能性的元素，但是其在真实比赛中期望的范围内。
AR系统可呈现附加的虚拟内容，例如3D虚拟广告。3D虚拟广告7608的主题或内容可例如至少部分基于在虚拟电视或主屏幕上正在播放或观看的内容。
AR系统可呈现虚拟控件。例如，AR系统可呈现被映射到用户的视场中的虚拟控件，以便看起来在用户的手臂可触及范围内。
AR系统允许用户从虚拟空间导航到虚拟空间。例如，用户可在虚拟办公空间(图74A和74B)和虚拟娱乐或媒体空间(图75和76)之间导航。如本文所论述的，AR系统可响应于某些用户输入，以允许从一个虚拟空间直接导航到另一个虚拟空间，或者切换或浏览一组可用虚拟空间。该组虚拟空间可对用户是特定的、对用户所属的实体是特定的和/或可为系统范围的或所有用户通用的。
为了允许用户在虚拟房间或虚拟空间之间选择和/或导航，AR系统可例如响应于例如由头戴部件、腰包或单个AR系统的其它物理结构携带的姿势、语音命令、眼睛跟踪和/或物理按钮、按键或开关的选择中的一或多个。用户输入可指示对虚拟空间或房间的直接选择，或者可使得呈现菜单或子菜单以允许用户选择虚拟空间或房间。
图77示出了另一种场景7700，其中，用户坐在类似于图76的场景的物理起居室空间中，并且在他的起居室中体验虚拟元素。在当前实施例中，用户使用手势来经历各种虚拟用户界面，如用户的手以扫掠动作从左向右移动所表示的。
如图77所示，AR系统可呈现用户界面工具，其向用户提供虚拟房间或虚拟空间的选择的表示，以及可能提供当前所选的虚拟房间或虚拟空间在用户可用的一组虚拟房间或虚拟空间中的位置。如图所示，所述表示采取一行标记或符号的形式，其中，每个标记表示用户可用的虚拟房间或虚拟空间中的相应一个。虚拟房间或虚拟空间中当前选择的一个在视觉上被强调，以帮助用户向前或向后浏览该集合。
图78A和78B分别示出了类似的场景7802和7804。如图78A和78B所示，场景被设置在具有一组虚拟元素(例如，虚拟屏幕、广告等)的、佩戴AR系统7801的用户的起居室中。类似于图77中说明性实施例，用户使用手势以与AR系统交互。如图78A所示，用户在所识别的姿势中移动双手以打开附加功能或应用。如图78B所示，响应于用户的姿势，附加的虚拟界面元素(或“应用”)可在用户的视野中呈现。
如图78A所示，用户执行第一姿势(由双箭头所示)，以打开基于图标的群集用户界面虚拟构造(图78B)。姿势可包括用户的手臂和/或手或用户身体的其他部分(例如头部姿势或眼睛)的移动。另选地，用户可使用口头命令来访问基于图标的群集用户界面虚拟构造(图78B)。如果需要更全面的菜单，则用户可使用不同的姿势。尽管上述示例出于说明的目的使用手势，但是可类似地使用任何其它类型的用户输入(例如，眼部姿势、语音命令、图腾等)。
如图78B所示，基于图标的群集用户界面虚拟构造7808提供各种不同虚拟房间或空间的一组小虚拟表示，用户可从这些虚拟房间或空间中选择。该虚拟用户界面7808可经由虚拟房间或虚拟空间的表示提供对虚拟房间或虚拟空间的快速访问。小虚拟表示本身基本上不起作用，因为它们不包括功能虚拟内容。因此，小虚拟表示是非功能的，除了能够响应于对小虚拟表示中的一个的选择而引起对应的虚拟房间或空间的功能表示的呈现。
小虚拟表示的集合可对应于特定用户可用的虚拟房间或空间的集合或库。在集合包括相对大量的选项的情况下，基于图标的群集用户界面虚拟构造可例如允许用户滚动浏览选项。例如，响应于第二姿势，AR系统可利用沿第一方向(例如，朝向用户的右侧)移动的图标，其中一个图标落在视场(例如，最右边的图标)之外并且新图标进入该视场，重新呈现基于图标的群集用户界面虚拟构造。新图标对应于在基于图标的群集用户界面虚拟构造的时间上最紧前的呈现中未被显示、呈现或示出的相应虚拟房间或虚拟空间。第三姿势可例如使AR系统沿相反方向(例如，朝向用户的左边)滚动图标。
响应于用户对虚拟房间或虚拟空间的选择，AR系统可呈现与虚拟房间或虚拟空间相关联的虚拟内容以使其出现在用户的视场中。虚拟内容可被映射或“粘合”到物理空间。例如，AR系统可呈现位于用户视场中的一些或全部虚拟内容以使其看起来好像虚拟内容的相应项或实例在物理空间中，例如墙壁、桌子等的各种物理表面上。还例如，AR系统可呈现位于用户视场中的一些或全部虚拟内容以使其看起来好像虚拟内容的相应项或实例漂浮在物理空间中，例如在用户可触及范围内。
图79A示出了根据一个说明性实施例的坐在物理起居室空间7902中并且使用AR系统7901来体验采用虚拟娱乐或媒体室(类似于上述实施例)的形式的虚拟房间或虚拟空间的用户，并且用户执行姿势以与用户界面虚拟构造7904交互。
如图79A所示，AR系统7901可呈现功能组或豆荚(pod)用户界面虚拟构造7904，以便出现在用户的视场中，从而优选地看上去驻留在用户可触及范围内。豆荚用户界面虚拟构造7904包括多个基于虚拟房间或虚拟空间的应用，其方便地提供从一个虚拟房间或虚拟空间到与另一虚拟房间或虚拟空间逻辑关联的功能工具和应用的访问。豆荚用户界面虚拟构造7904可为用户形成迷你工作站。
AR系统检测用户与豆荚用户界面虚拟构造或虚拟房间或空间的虚拟内容的交互。例如，AR系统可检测滑动姿势，以用于在上下文特定房间中导航。AR系统可呈现通知或对话框7908，例如，指示用户在不同的房间中。通知或对话框7908可查询关于用户想要AR系统采取什么动作(例如，关闭现有房间并自动地映射房间的内容、将房间的内容自动映射到现有房间，或者取消)。
图79B示出了根据一个说明性实施例的坐在物理起居室空间中并且使用AR系统来体验采用虚拟娱乐或媒体室的形式的虚拟房间或虚拟空间的用户，该用户执行姿势以与用户界面虚拟构造交互。
类似于图79A，AR系统7901可呈现功能组或豆荚用户界面虚拟构造7904，以便出现在用户的视场中，从而优选地看上去驻留在用户可触及范围内。如图79B所示，AR系统7901检测用户与豆荚用户界面虚拟构造7904或虚拟房间或空间的虚拟内容的交互。例如，AR系统可检测滑动或捏合姿势，用于导航到并打开上下文特定虚拟房间或虚拟空间。AR系统可呈现视觉效果以指示选择了哪个表示。
图79C示出了根据一个说明性实施例的坐在物理起居室空间中并且使用AR系统7901来体验采用虚拟娱乐或媒体室的形式的虚拟房间或虚拟空间的用户，该用户执行姿势以与用户界面虚拟构造交互。
如图79C所示，AR系统可响应于对图79B中所示的表示的选择，在用户的视场中呈现所选择的应用。例如，用户可在查看虚拟娱乐或媒体室或空间时从例如虚拟工作空间选择社交网络应用、网络浏览应用或电子邮件(email)应用。
图79D示出了根据一个说明性实施例的用户坐在物理起居室空间中并且使用AR系统7901来体验采用虚拟娱乐或媒体室的形式的虚拟房间或虚拟空间，该用户执行姿势以与用户界面虚拟构造交互的另一场景7908。
如图79D所示，用户可执行所定义的用作常用应用(例如，摄像机应用)的热键的姿势。AR系统检测用户的姿势、解译姿势并打开或执行相应的应用。例如，AR系统可响应于所定义的姿势，在用户的视场呈现所选择的应用7920或所选择的应用的用户界面。具体地，AR系统可向用户的眼睛的视网膜呈现所选择的应用或应用用户界面的完全功能版本，例如以便出现在用户的手臂可触及的范围内。
摄像机应用7920可包括允许用户使AR系统捕获图像或图像数据的用户界面。例如，摄像机应用7920可允许用户使得各个AR系统的身体或头戴部件上的面向外面的摄像机捕获在面向外面的摄像机和/或用户的视场中的场景的图像或图像数据(例如，4D光场)。
所定义的姿势优选是直观的。例如，在图79D中示出了用于打开摄像机应用或摄像机用户界面的直观双手捏合类型姿势。AR系统可识别其它类型的姿势。AR系统可存储姿势的目录或库，其将姿势映射到相应的应用和/或功能。姿势可被定义用于所有常用的应用。姿势的目录或库可为特定用户特定的。另选地或除此之外，姿势的目录或库可为特定虚拟室或虚拟空间特定的。另选地，姿势的目录或库可为特定的物理房间或物理空间特定的。另选地或除此以外，姿势的目录或库可对于大量用户和/或多个虚拟房间或虚拟空间是通用的。
如上所述，姿势优选是直观的，特别是关于相应姿势在逻辑上关联或被映射到的特定功能、应用或虚拟内容。此外，姿势应符合人体工程学。也就是说，姿势应当由具有各种身体大小和能力的用户舒适地执行。姿势也优选地涉及流畅的动作，例如手臂扫掠。所定义的姿势优选是可缩放的。所定义的姿势的集合可进一步包括可被离散地执行的姿势，特别是在离散性将是期望的或适当的情况下。另一方面，一些所定义的姿势不应该是离散的，而是应该是示范性的，例如指示用户意图捕获存在于环境中的其他人的图像和/或音频的姿势。姿势也应该是文化上可接受的，例如在大的文化范围中可接受的姿势。例如，应该避免在一种或多种文化中被认为是攻击性的某些姿势。
下面的表A中列出了一些建议的姿势。
表A
图79E示出了根据一个说明性实施例的另一场景7910，其示出用户坐在物理起居室空间中并且使用AR系统7901体验采用虚拟娱乐或媒体室的形式的虚拟房间或虚拟空间，该用户执行姿势以与用户界面虚拟构造交互。
如图79E所示，AR系统7901呈现全面的虚拟仪表板菜单用户界面，例如将图像呈现到用户眼睛的视网膜。虚拟仪表板菜单用户界面可具有大体上为环形的布局或配置，其至少部分围绕用户，其中，各种用户可选择的虚拟图标被间隔开以在用户的手臂可触及范围内。
AR系统检测用户的姿势或与虚拟仪表板菜单用户界面的用户可选虚拟图标的交互，解译该姿势并打开或执行相应的应用。例如，AR系统可响应于所定义的姿势，在用户的视场呈现所选择的应用或所选择的应用的用户界面。例如，AR系统可向用户的眼睛的视网膜呈现所选择的应用或应用用户界面的完全功能版本。如图79E所示，AR系统可呈现媒体内容，其中应用为媒体内容的源。AR系统可呈现应用、应用用户界面或媒体内容以覆盖其它虚拟内容。例如，AR系统可呈现应用、应用用户界面或媒体内容以覆盖被显示在虚拟房间或空间(例如，虚拟娱乐或媒体室或空间)中的虚拟主屏幕上的主内容的显示。
图80A示出了根据一个说明性实施例的又一场景8002，其示出了用户坐在物理起居室空间中，并且使用AR系统8001来体验第一虚拟装饰(例如，美学表层或美学处理)，用户执行姿势以与用户界面虚拟构造交互。
AR系统8001可允许用户改变或修改(例如，重新制作表层)物理房间或物理空间的虚拟装饰。例如，如图80A所示，用户可利用姿势以产生第一虚拟装饰，例如具有虚拟火和第一和第二虚拟图片的虚拟壁炉。第一虚拟装饰(例如，第一表层)被映射到物理房间或空间(例如，物理起居室)的物理结构。
还如图80A所示，AR系统可呈现用户界面工具，其向用户提供虚拟装饰的选项的表示，并且可能提供当前选择的虚拟装饰在用户可用的一组虚拟装饰中的位置。如图所示，表示采取一行标记或符号的形式，其中，每个标记表示用户可用的虚拟装饰中的相应一个。虚拟装饰中当前选择的一个在视觉上被强调，以帮助用户向前或向后浏览该集合。虚拟装饰的集合可为用户特定的、物理房间或物理空间特定的或者可由两个或更多个用户共享。
图80B示出了根据一个说明性实施例的另一场景8004，其中，用户执行姿势以与用户界面虚拟构造交互。如图80B所示，用户可利用姿势来产生不同于第一虚拟装饰的第二虚拟装饰。第二虚拟装饰可例如用行星、太空船的技术图或图示以及虚拟照明灯具或照明装置的视图复制航天器(例如，星舰)的指挥台。产生第二虚拟装饰的姿势可与产生第一虚拟装饰的姿势相同，用户基本上切换、步进或滚动浏览用于物理房间或物理空间(例如，物理起居室)的一组定义虚拟装饰。另选地，每个虚拟装饰可与相应的姿势相关联。
图80C示出了根据一个说明性实施例的另一场景8006，其示出了用户坐在物理起居室空间中，并且使用AR系统8001来体验第三虚拟装饰(例如，美学表层或美学处理)，用户执行姿势以与用户界面虚拟构造交互。
如图80C所示，用户可做出姿势以产生不同于第一和第二虚拟装饰的第三虚拟装饰。第三虚拟装饰可例如复制海滩场景和不同虚拟图片的视图。产生第三虚拟装饰的姿势可与产生第一和第二虚拟装饰的姿势相同，用户基本上切换、步进或滚动浏览用于物理房间或物理空间(例如，物理起居室)的一组定义虚拟装饰。另选地，每个虚拟装饰可与相应的姿势相关联。
图81示出了根据一个说明性实施例的又一场景8100，其中，AR系统8102的用户体验采用虚拟娱乐或媒体室形式的另一虚拟房间空间，用户执行姿势以与用户界面虚拟构造交互。
如图81所示，AR系统8101可呈现包括多个虚拟平板或触摸板的分层菜单用户界面虚拟构造8111，以便出现在用户的视场中，优选地出现在用户可触及范围内。这些允许用户导航主菜单以访问作为主导航菜单的特征的用户所定义的虚拟房间或虚拟空间。虚拟房间或虚拟空间的各种功能或目的可通过图标来表示，如图81所示。
图82示出了根据一个说明性实施例的另一场景8200，其中，AR系统8201的用户与采用虚拟娱乐或媒体室形式的虚拟室或虚拟空间交互，用户执行姿势以与用户界面虚拟构造交互以通过代理提供输入。
如图82所示，AR系统可呈现包括多个用户可选择的虚拟元素的用户界面虚拟构造8211，以便其出现在用户的视场中。用户操控图腾8213以与用户界面虚拟构造8211的虚拟元素交互。用户可例如将图腾8213的前面指向期望的元素。用户也可与图腾8213交互，例如通过轻拍或触摸图腾的表面，从而指示选择图腾正指向或对准的元素。
AR系统8201检测图腾的方向和用户与图腾的交互，解译诸如图腾正指向或对准的元素的选择。AR系统执行相应的动作，例如打开应用、打开子菜单或呈现对应于所选元素的虚拟房间或虚拟空间。
图腾8213可复制遥控器，例如通常与电视和媒体播放器相关联的遥控器。在一些实施方案中，图腾8213可为用于电子装置(例如，电视、媒体播放器、媒体流盒)的实际遥控器，然而AR系统实际上可能没有从遥控器接收任何无线通信信号。遥控器甚至可不具有电池，但仍然用作图腾，因为AR系统依赖于捕获位置、取向和与图腾(例如，遥控器)交互的图像。
图83A和83B示出了根据一个说明性实施例的场景8302和8304，其示出用户坐在物理起居室空间中并且使用AR系统8301来体验采用虚拟娱乐或媒体室形式的虚拟房间或虚拟空间，该用户执行姿势以与用户界面虚拟构造交互以提供输入。
如图83A所示，AR系统8301可呈现包括总是可用的可扩展菜单图标的用户界面虚拟构造。AR系统8301可始终在用户的视场中的给定位置，或优选地在用户视场的周边部分(例如，右上角)中呈现可扩展菜单图标。另选地，AR系统8301可始终在物理房间或物理空间中的给定位置中呈现可扩展菜单图标8311。
如图8B所示，用户可在或朝向可扩展菜单图标8311做出姿势以扩展可扩展菜单构造8312。作为响应，AR系统可呈现展开的可扩展菜单构造8312以使其出现在用户的视场中。可扩展菜单构造8312可扩展以显示用户可用的一或多个虚拟房间或虚拟空间。AR系统8301可始终在用户的视场中的给定位置，或优选地在用户视场的周边部分(例如，右上角)中呈现可扩展菜单。另选地，AR系统8301可始终在物理房间或物理空间中的给定位置中呈现可扩展菜单8311。
图84A示出了根据一个说明性实施例的另一场景8402，其示出AR系统8401的用户体验虚拟装饰并且用户执行指向姿势以与用户界面虚拟构造交互。
如图84A所示，AR系统8401可呈现包括多个预映射菜单的用户界面工具。例如，AR系统8401可呈现与娱乐或媒体内容(例如，电影、体育赛事)的相应片段相对应的多个海报类虚拟图像8412，用户可经由一或多个指点姿势从多个海报类虚拟图像8412选择娱乐或媒体内容。AR系统8401可呈现海报类虚拟图像8412，例如，如图84A所示，用户看起来其好像悬挂或粘合到起居室的物理墙壁。
AR系统8401检测用户的姿势，例如指点姿势，其可包括将手或手臂指向海报类虚拟图像中的一个。AR系统将基于指点姿势或基于投影的代理输入识别为旨在触发海报类虚拟图像所表示的娱乐或媒体内容的传递的用户选择。在一或多个实施例中，AR系统8401可呈现光标的图像，光标看起来朝向用户姿势所指的位置投影。
图84B示出了类似于图84A的另一场景8402，其示出了与海报虚拟图像8412交互的AR系统8401的用户。在说明性实施例中，用户通过姿势8416与海报虚拟图像8412交互。
图84C示出了根据一个说明性实施例的另一场景8406，其示出了AR系统8401的用户体验娱乐或媒体内容的所选片段(例如，基于图84B的姿势8416)，用户执行触摸姿势以与用户界面虚拟构造交互。
如图84C所示，响应于用户选择，AR系统8401呈现所选的娱乐或媒体内容的显示8420和/或相关联的虚拟菜单(例如，高级虚拟导航菜单，例如允许选择主要特征、情节、额外资料的导航菜单)。如图84C所示，所选的娱乐或媒体内容的显示可替换第一虚拟装饰的至少一部分。
如图84C所示，响应于用户选择，AR系统也可呈现虚拟平板型用户界面工具，其提供比高级虚拟导航菜单更详细的虚拟导航菜单8422。更详细的虚拟导航菜单8422可包括高级虚拟导航菜单的一些或全部菜单选项以及附加选项(例如，检索附加内容、玩与媒体标题或许可相关联的交互游戏、场景选择、角色探索、演员探索、评论)。例如，AR系统可呈现详细的虚拟导航菜单以例如对用户看起来好像坐在用户的手臂可触及范围内的桌子的顶部表面上。
用户体验零售实例
图89A-89J示出根据一个说明性实施例的AR系统实现的零售体验。如图所示，每个佩戴相应的个别AR系统(分别为8901和8903)的母亲和女儿在零售环境(例如超市)中购物时接收增强现实体验8902。如本文所解释的，除了促进购物体验之外，AR系统还可提供娱乐。
例如，AR系统可呈现虚拟内容，例如可看起来从盒子或纸箱跳出的虚拟角色，和/或提供所选物品的虚拟优惠券。AR系统可呈现游戏，例如基于整个商店的位置和/或基于购物列表上的物品、偏好列表或促销物品的列表的游戏。增强现实环境鼓励孩子玩耍，同时移动到父母或伴随成人需要拾取物品的每个位置。
在另一实施例中，AR系统可提供关于食物选项的信息，并且可帮助用户实现他们的健康/体重/生活方式目标。AR系统可在用户消费各种食物时呈现其卡路里计数，从而对用户在他/她的食物选择方面进行教育。如果用户正在消费不健康的食物，AR系统可向用户警告该食物，使得用户能够做出知情的选择。
AR系统可巧妙地呈现虚拟优惠券，例如使用射频识别(RFID)转发器和通信。AR系统可呈现与物品绑定或近似关联的视觉效果，例如导致围绕盒子发光以指示存在与该物品相关联的元数据的发光效果。元数据也可包括或链接到用于物品的折扣或回扣的优惠券。
AR系统可检测用户姿势，并且例如响应于所定义的姿势来解锁元数据。AR系统可识别用于不同物品的不同姿势。例如，如本文所解释的，可呈现虚拟动画化生物，以便看起来从包含潜在购买者或顾客的优惠券的盒中弹出。例如，AR系统可呈现使用户感知到盒子打开的虚拟内容。AR系统允许在顾客或消费者决定时进行广告生成和/或递送。
AR系统可呈现复制名人外表的虚拟内容。例如，AR系统可在超市处呈现名人厨师的虚拟外表。AR系统可呈现有助于产品的交叉销售的虚拟内容。例如，一或多个虚拟效果可使一瓶葡萄酒推荐与葡萄酒搭配的奶酪。AR系统可呈现看起来接近奶酪的视觉和/或听觉效果，以便吸引购物者的注意。AR系统可在用户的视场中呈现一或多个虚拟效果，其致使用户感知到奶酪推荐某些饼干。AR系统可呈现可提供关于各种产品(例如，葡萄酒、奶酪、饼干)的意见或评论的虚拟朋友。AR系统可在用户视场内呈现与用户正在关注的饮食有关的虚拟效果。例如，效果可包括用户的瘦的版本的图像，其响应于用户查看高卡路里产品而呈现。这可包括关于饮食的听觉口头提醒。
具体地，图89A示出了母亲和女儿在杂货店享受增强现实体验的场景8902。AR系统(8901和8903)可识别购物车或手在购物车上的存在，并且可确定用户和/或购物车的位置。在一或多个实施例中，基于该检测到的位置，AR系统可呈现被系留到购物车的手柄上的虚拟用户界面8932，如图89A所示。在一或多个实施例中，虚拟用户界面8932对于AR系统8901和8903两者是可见的，或者简单地，对于母亲的AR系统8901是可见的。在说明性实施例中，还显示虚拟优惠券8934(例如，浮动虚拟内容，被系留到墙上等)。在一或多个实施例中，杂货店可开发应用，使得在杂货店的各种物理位置处向用户策略性地显示虚拟优惠券，使得它们可由AR系统的用户查看。
应用可以例如包括虚拟杂货列表。杂货列表可通过用户所定义的标准(例如，晚餐食谱)来组织。虚拟杂货列表可在用户离开家之前生成，或者可在某个稍后时间生成，或者甚至例如与其它应用中的一个合作来即时生成。应用可例如包括虚拟优惠券本，其包括可对各种产品折扣或退款兑现的虚拟优惠券。应用可例如包括虚拟食谱书，其包括各种食谱、目录、索引和配料列表。选择虚拟食谱可使AR系统更新杂货列表。
在一些实施方案中，AR系统可基于用户在家中，无论是在冰箱、冰柜还是橱柜中已经具有的各种配料的知识来更新杂货列表。AR系统可在用户在他们家的厨房中工作时在一天中收集该信息。应用可例如包括虚拟食谱构建器。食谱构建器可围绕所定义的配料构建食谱。例如，用户可输入鱼类(例如，鲑鱼)，并且食谱构建器可生成使用该配料的食谱。由食谱构建器所生成的虚拟食谱的选择可使AR系统更新杂货列表。在一些实施方案中，AR系统可基于现存配料的知识来更新杂货列表。应用可例如包括虚拟计算器，其可维持购物车中的所有物品的成本的流动总额。
图89B示出了具有AR系统(分别为8901和8903)的母亲和女儿在杂货店的产品区享受增强现实体验的另一种场景8904。母亲在秤上称重物理食品。虚拟内容框8938可以紧邻秤显示，以提供关于产品的更多信息，如图89B所示。
在一或多个实施例中，AR系统自动确定物品的总成本(例如，每磅价格乘以重量)，将该金额输入到运行总成本中。在一或多个实施例中，AR系统基于位置自动更新“智能”虚拟杂货列表，以引起对附近的在杂货店列表上的物品的注意。例如，AR系统可更新虚拟杂货列表的呈现以在视觉上强调某些物品(例如，聚焦于产品区中的水果和蔬菜)。如图89B所示，虚拟名称标签8936可出现在物理蔬菜(例如，马铃薯、玉米等)旁边，从而用作对用户的提醒。
此外，AR系统可在用户的视场中呈现视觉效果，使得视觉效果出现在虚拟杂货列表上出现的附近物理物品周围或附近。图89C示出了儿童选择虚拟图标8940以启动寻宝游戏应用的另一种场景8906。寻宝游戏应用可使孩子的购物体验更具吸引力和教育性。寻宝游戏应用可呈现挑战(例如，定位来自世界各地不同国家的食品)。当她识别食物并将它们放置在她的虚拟购物车中时，可以将点数添加到孩子的得分。
图89D示出了儿童以友好怪物或化身的形式朝向奖励虚拟图标8942做出姿势的另一种场景8908。AR系统可向孩子的AR系统8903的视场呈现意外的或奖励的虚拟内容，以向孩子提供更有趣和吸引人的用户体验。
图89E示出了母亲和女儿在杂货店的谷类食物过道中的另一种场景8910。母亲选择特定谷类食物以例如经由由虚拟内容8944表示的关于谷类食物的元数据的虚拟呈现来探究附加信息。元数据8944可例如包括：膳食限制、营养信息(例如，健康星级)、产品评论和/或产品比较或顾客评论。虚拟地呈现元数据允许元数据以特别是对阅读小型字体会遇到麻烦的成年人容易可读的方式呈现。在说明性实施例中，母亲通过姿势8946与元数据8944交互。
还如图89E所示，动画化角色8948可利用可用于特定物品的虚拟优惠券被呈现给任何顾客。AR系统可将给定产品的优惠券呈现给所有路过的顾客，或者仅向停止的顾客呈现。另选地或除此以外，AR系统可将给定产品的优惠券呈现给在其虚拟杂货列表上具有给定产品的顾客，或者仅呈现给在他们的虚拟杂货列表上具有竞争产品的顾客。另选地或除此以外，AR系统可基于顾客过去或当前的购物习惯和/或购物车的内容的知识来呈现给定产品的优惠券。
如图89F的另一场景8912所示，AR系统可在至少该孩子的视场中呈现动画化角色8950(例如，友好怪物)。AR系统可呈现动画化角色，以便看起来爬出箱子(例如，谷类食物盒)。动画化角色的突然出现可以提示孩子开始游戏(例如，怪物战斗)。孩子可以用姿势使角色以动画方式显示或带来角色的生活。例如，手腕的轻拂可使AR系统再现突破谷类食物盒的动画化角色。
图89G示出了另一种场景8914，其示出了母亲在过道的末端，观看经由AR系统8901执行现场演示的虚拟名人厨师8952(例如，Mario Batali)。虚拟名人厨师8952可向顾客展示简单的食谱。在所示的配方中使用的所有配料可购自杂货店，从而鼓励用户进行购买。
在一些情况下，AR系统可实时呈现展示。这可允许在不同零售地点的顾客向名厨8952询问问题。在其它实例中，AR系统可呈现先前记录的展示。
在一些实施方案中，AR系统可例如经由由每个顾客的个体头戴式AR系统携带的面向内部的摄像机来捕获顾客的图像。AR系统可向名人提供由各种消费者组成的人群的合成的虚拟图像。这可由AR系统的名人厨师或与名人厨师相关联的装置观看。
图89H示出了穿着AR系统8901的母亲在杂货店的葡萄酒区的另一种场景8916。母亲可使用应用的虚拟用户界面8954搜索特定酒。应用可为葡萄酒专用应用、电子书或更一般的Web浏览器。响应于葡萄酒的选择，AR系统可在用户的视场中呈现虚拟地图8956，其具有用于导航到所期望的由虚拟名称标签8958表示的葡萄酒的方向。
当母亲走过过道时，AR系统可呈现附接到虚拟名称标签8958的数据，该标签似乎被附接或至少靠近相应的葡萄酒瓶。数据可例如包括来自朋友的推荐、出现在顾客的个人酒单上的葡萄酒和/或来自专家的推荐。该数据可另外或另选包括用于特定葡萄酒的食品配方。
图89I示出了母亲和孩子结束他们的购物体验的场景8918。例如，母亲和孩子可走过、穿过或通过门槛8960。门槛8960可以以各种各样的方式中的任一种来实现，例如作为适当标记的地图。AR系统检测越过或穿过门槛8960，并且作为响应计算购物车中的所有杂货的总成本。AR系统也可向用户提供通知或提醒，标识虚拟杂货店列表上不在购物车中并因此可能已被忘记的任何物品。顾客可通过虚拟显示器8962完成结帐。在一或多个实施例中，可无需信用卡或与收银员的任何交互(例如，从用户的银行自动扣钱等)来无缝地进行交易。
如图89J的场景8920所示，在结束购物体验时，儿童通过虚拟分数框8964接收她的寻宝游戏体验的摘要。AR系统可至少在使用AR系统8903的儿童的视场中将摘要作为虚拟内容呈现。
图90示出了根据一个说明性实施例的采用AR系统9001的顾客处于零售环境，例如书店中的场景9000。
如图90所示，顾客可拿起书图腾9012。AR系统9001检测书图腾9012的打开，并且作为响应在用户的视场中呈现沉浸式虚拟书店体验。虚拟书店体验可例如包括书籍评论、建议和作者评论、演示或阅读。AR系统可呈现附加内容9014，例如虚拟优惠券。虚拟环境将在线书店的便利与物理环境的经验相结合。
图91A-91F示出了在保健相关应用中使用AR系统的场景。具体地，图91A示出了外科医生和外科手术团队(每个佩戴AR系统9101)正在进行用于即将到来的二尖瓣置换手术的术前计划会话的场景9102。每个健康护理提供者都佩戴相应的个体AR系统9101。
如上所述，AR系统呈现咨询或访问外科医生的视觉表示9114。如本文所论述的，视觉表示9114可采取许多形式，从非常简单的表示(例如，化身)到非常现实的表示(例如，如图91A所示的外科医生的物理形式)。
AR系统以虚拟形式9112呈现患者的预映射解剖结构(例如，心脏)，以供团队在计划期间进行分析。AR系统可使用光场来呈现解剖结构，这允许从任何角度或取向进行观察。例如，外科医生可以在心脏周围行走以看到其后侧。
AR系统也可呈现患者信息。例如，AR系统可呈现一些患者信息9116(例如，识别信息)，以便出现在物理桌子的表面上。还例如，AR系统可呈现其他患者信息(例如，医学图像、生命体征、图表)，以便出现在一或多个物理墙壁的表面上。
如图91B所示，外科医生能够在手术期间参考预映射的3D解剖结构9112(例如，心脏)。能够实时参考解剖结构可例如提高瓣膜修复的放置精度。指向外面的摄像机从该过程捕获图像信息，从而允许医学学生经由AR系统从她的远程教室虚拟观察。AR系统使得患者的信息容易获得，例如以确认病状和/或避免任何严重的错误。
图91C示出了外科医生和患者之间的术后会议或汇报。在术后会议期间，外科医生能够描述手术如何使用虚拟解剖结构9112的横截面或患者的实际解剖结构的虚拟3D解剖模型。AR系统允许患者的配偶在工作时通过虚拟表示9118虚拟地加入会议。再者，AR系统可呈现允许外科医生、患者和配偶从期望的角度或取向检查患者的实际解剖结构的虚拟3D解剖模型的光场。
图91D示出了患者在医院房间中恢复的场景9108。AR系统9101允许患者通过由患者选择的虚拟设置9120(例如，宁静的海滩设置)感知任何类型的放松环境。
如图91E的场景9110所示，患者可在住院期间和/或出院后练习瑜伽或参与一些其它康复。AR系统9101允许患者感知虚拟瑜伽课中的朋友虚拟呈现的环境。
如图91F的场景9142所示，患者可参与康复，例如通过在住院期间和/或在出院之后骑在固定自行车9152上。AR系统(未示出)在用户的视场中呈现关于模拟的骑行路线(例如地图、高度、距离)、患者的表现统计(例如力量、速度、心率、骑乘时间)的虚拟信息9154。AR系统呈现虚拟自行车体验，例如包括户外场景，复制诸如最喜欢的物理路线的乘坐路线。除此之外或另选地，AR系统呈现作为激励工具的虚拟化身9156。虚拟化身可例如复制先前的骑乘，从而允许患者与他们自己的个人最佳时间竞争。
图92示出了根据一个说明性实施例的工作者在工作环境中采用AR系统9201的场景9200。具体地，图92示出了景观工作者操作机械(例如，割草机)。像许多重复性工作一样，割草可以是乏味的。工人可能在一段时间后失去兴趣，从而增加事故的可能性。此外，可能难以吸引合格的工人，或确保工人的适当绩效。
工作者佩戴单独的AR系统9201，其在用户的视场中呈现虚拟内容以增强工作绩效。例如，AR系统可呈现目标是跟随虚拟映射图案的虚拟游戏9212。如果准确地跟随该图案并在某些得分乘数消失之前击中它们，则会收到点数。如果从图案偏离或者偏离得太接近某些物理对象(例如，树，喷头，道路)，则点数可被扣除。
虽然仅示出了一个示例环境，但是该方法可以在各种各样的工作情况和环境中实现。例如，类似的方法可以在仓库中用于检索物品，或者在用于堆叠货架的零售环境中，或者用于分类诸如邮件的物品。该方法可减少或消除对训练的需要，因为可为许多特定任务提供游戏或图案。
图93A-93C示出了根据另一说明性实施例的物理办公环境中的AR系统9301的用户，其与物理球形图腾9312(例如，球形图腾)交互。如图93B所示，通过扭曲她的手腕，用户激活AR系统的虚拟主导航菜单，其在用户的视野中呈现以出现在球形图腾上方。如图93C最佳示出的，AR系统还使先前映射的虚拟内容也出现在工作空间周围。例如，AR系统还可呈现与社交媒体帐户(例如，)、日历、Web浏览器、电子邮件应用相关联的虚拟用户界面。
在说明性实施例中，AR系统9301的用户使用顺时针(或逆时针)动作来“打开”图腾9312。图腾9312可被认为是允许用户与AR系统交互的虚拟用户界面。
在说明性实施例中，在场景9320中，用户拾取图腾9312。在场景9322中，用户相对于图腾9312做出预定姿势或移动以显示一组虚拟菜单9316。应理解，图腾和虚拟界面的这种映射可被预映射，使得AR系统识别姿势和/或移动，并且适当地显示用户界面。
在场景924中，一或多个虚拟物品9318也显示在用户的物理空间中。例如，用户可能已经通过用户界面9316选择了待显示的一或多个物品。用户的物理空间现在被用户期望的虚拟内容包围。在一或多个实施例中，虚拟物品9318可相对于用户浮动(例如，以身体为中心、以头部为中心、以手为中心等)或者被固定到物理环境(例如，以世界为中心)。球形图腾9312用作一种背包，其允许用户携带用户期望的一组虚拟内容。
图93D示出了根据另一说明性实施例的场景9326，其中，用户正在与由AR系统9301呈现的第二物理图腾9332进行交互。
AR系统9301例如经由身体或头戴部件上的一或多个面向外部的摄像机收集图像信息。AR系统9301可选地收集关于物理空间的附加信息，例如任何可用无线通信网络的身份、GPS定位信息、罗盘等。AR系统处理所收集的信息，以便确定用户所处的特定物理空间的身份。例如，AR系统可采用各种对象识别器以识别环境中的各种物理对象(例如，墙壁、桌子、椅子)。另外，例如，AR系统可将其与例如作为地形图的其它信息(例如，GPS、罗盘、无线网络相关)组合，以便确定用户的物理位置。例如，AR系统可使用几何图将连接性传播至拓扑图。拓扑图为例如基于基矢量(例如，WI-FI、GPS、RSS、空间对象的散列、特征散列、直方图特征分布、光学标记)被映射到几何形状中的索引。
AR系统也可以可选地确定物理位置处的当前时间(例如，上午9：15)。基于所确定的物理位置以及可选的当前时间，AR系统将虚拟内容呈现给用户的视场，生成填充有虚拟对象、人和/或化身的虚拟办公空间的视图。
AR系统可例如呈现虚拟日历。AR系统可使虚拟日历例如对用户呈现，好像虚拟日历挂在物理办公环境中的用户工作空间中的物理墙壁上一样。AR系统可例如呈现一或多个虚拟工作片段(例如，虚拟图表、虚拟示意图、虚拟呈现、虚拟文档)。例如，AR系统可将这些工作片段呈现给用户，好像虚拟作品被张贴在物理办公环境中的用户工作空间中的物理墙之前。
AR系统可呈现虚拟社交网络(例如，)用户界面。例如，AR系统可呈现虚拟社交网络用户界面以例如对用户呈现，好像虚拟日历挂在物理办公室环境中的用户工作空间中的物理墙壁上一样。
AR系统可呈现虚拟电子邮件(例如，email)用户界面。AR系统可例如呈现一组中的多个虚拟电子邮件消息，其可以经由由用户执行并且由AR系统检测的姿势来滚动浏览。例如，AR系统可呈现待读取的一组虚拟电子邮件消息和用户已经读取的一组虚拟电子邮件消息。当用户滚动浏览虚拟电子邮件消息时，AR系统重新呈现虚拟内容，使得所读取的虚拟电子邮件消息从未读取集合移动到已读取集合。用户可选择在任一方向上滚动，例如经由适当的姿势。在接收到新的电子邮件消息时，AR系统可在用户的视场中呈现表示到达新的电子邮件消息的虚拟图标。虚拟图标可例如看起来在空中飞行，例如朝向球形图腾。
如图93D所示，用户可以与第二物理图腾9332交互，AR系统可向该第二物理图腾映射一虚拟小键盘。因此，AR系统可在用户的视场中呈现虚拟小键盘，以便看起来好像虚拟键盘在第二物理图腾9332的表面上。用户例如经由键入类手指动作和/或平板类手指动作(例如，滑动)与第二物理图腾9332交互。AR系统捕获用户与第二物理图腾交互的图像信息。AR系统根据交互的位置和正在呈现的各种虚拟键的位置之间的映射来解译用户交互。AR系统9301将交互转换成键击数据，其可以以各种形式(例如，ASCII、扩展ASCII)中的任一种表示。这可允许用户例如与电子邮件消息、社交网络界面、日历和/或工作片段交互。
图93E示出了根据另一说明性实施例的在物理办公室环境中的用户正在与物理键盘进行交互的场景9328。
AR系统映射和呈现虚拟办公空间中的虚拟内容9340，其被映射为对用户来说似乎出现在物理办公空间中的各个位置。虚拟内容9340可包括各种工作相关应用或应用用户界面。例如，AR系统9301可呈现包括3D建筑模型的3D程序以帮助用户可视化结构。
响应于接收到新消息，AR系统可向用户提供通知。例如，AR系统可呈现飞行到用户的视场中的消息9342(例如，电子邮件、)的虚拟视觉效果，以及可选地呈现听觉警报或通知。在一些实施方案中，AR系统评估消息的相对重要性，例如仅仅对显著重要的消息呈现视觉和/或音频效果。
响应于接收到新礼物(例如，来自朋友的虚拟礼物)，AR系统可向用户提供通知。例如，AR系统可呈现飞入用户视场中并且在球形图腾9312旁边投下虚拟包裹的飞鸟的虚拟视觉效果。AR系统可除此以外或另选地提供听觉警报或通知。用户可做出姿势以打开虚拟包裹。响应于该姿势，AR系统呈现打开虚拟包裹的图像以显示出礼物为供用户玩的游戏。
如图93E所示，用户可与物理(真实)键盘交互以与虚拟内容交互。物理键盘可为实际键盘，但是可用作图腾。例如，AR系统可能已将一组虚拟键映射到物理键盘。用户与物理键盘交互，例如经由键入键入类的手指动作。AR系统捕获用户与物理键盘交互的图像信息。AR系统根据交互的位置和各种物理键的位置之间的映射来解译用户交互。
AR系统将交互转换成键击数据，其可以以各种形式(例如，ASCII、扩展ASCII)中的任一种表示。这可允许用户例如与电子邮件消息、社交网络界面、日历和/或工作片段交互。值得注意的是，可能没有从物理键盘到任何其它部件的有线或无线通信。
图93F示出了根据另一说明性实施例的在虚拟办公室环境中与虚拟办公空间和游戏交互的一对用户(分别佩戴AR装置9301和9303)的场景9330。
如图93F所示，AR系统9303的用户可能已经启动游戏9350。AR系统9303直接或间接地与第一AR系统9301通信，例如经由可传递世界模型。两个单独的AR系统之间的交互使得第一用户的个人AR系统呈现包括虚拟怪物角色在小隔间墙壁上窥视以向第一用户挑战特定游戏的场景。这充当加入游戏的虚拟邀请。通过选择她自己的虚拟怪物并将其分配给在第一用户的桌子的端部的战场，第一用户可接受该虚拟邀请。游戏可从该点演变，每个用户经由呈现给其相应的个人AR系统来体验相同的游戏。虽然用两个用户示出，但是游戏可涉及单个用户或不止两个用户。在一些实施方案中，游戏可包括数千个用户。
图93G示出了物理办公环境中的一对用户通过他们各自的AR系统9301和9303与虚拟办公空间和游戏交互的场景9348。
如图93G所示，第一用户将他们的玩家(例如，怪物)的战场从她的桌子的端部重新分配到物理办公环境的地板。作为响应，AR系统可重新呈现与游戏相关的虚拟内容，以便让每个用户看起来好像战斗正在地板上发生。AR系统可使游戏适应物理位置的变化。例如，AR系统可基于虚拟内容已经映射到的区域或体积的大小来自动缩放所呈现的内容。
在所示的示例中，将她的怪物从桌子移动到地面增加了可用空间。因此，AR系统可自动地将第一用户的怪物的大小向上放大，以填充可用空间。
图93H示出了物理办公环境中的一对用户通过他们各自的AR系统9301和9303与虚拟办公空间和游戏交互的场景9346。
如图93H所示，AR系统将第一用户的怪物从先前的呈现(图93F)放大。通过将他的怪物放置在新的战场上(例如，办公空间的物理地板)上，第二用户或同事接受邀请。作为响应，AR系统可重新呈现与游戏相关的虚拟内容，以便让每个用户看起来好像战斗正在地板上发生。AR系统可使游戏适应物理位置的变化。例如，AR系统可自动地将同事的怪物的大小向上放大以填充可用空间，并允许战斗开始或继续。
图93I-93K示出了根据另一说明性实施例的AR系统9301的用户与由AR系统呈现的虚拟办公空间的虚拟内容交互。
具体地，图93I-93K表示时间的顺序实例，在此期间，用户对缩放工具9360做出姿势以缩放在她的环境中可见的非工作相关图像的量。作为响应，AR系统重新呈现虚拟房间或虚拟空间，以例如减少与用户的工作无关的可视内容的相对大小。另选地，用户可选择某些应用、工具、功能和/或虚拟房间或虚拟空间被关闭或移到背景(例如，沿径向向外间隔)。如图93J所示，缩放工具9360已被移动以表示比图93I中所示的更小的百分比。类似地，在图93K中，与图93I和93J相比，缩放工具9360已被移动以表示甚至更小的百分比。
图93L示出了根据另一说明性实施例的AR系统的用户与虚拟办公空间的虚拟内容交互。用户经由虚拟联系人用户界面9362通过虚拟联系人列表选择多个联系人以邀请其参加她的联系人应用的群组会议。用户可通过将他们的名字和/或图像拖放到虚拟会议室9364中来邀请参加者，虚拟会议室9364由AR系统9301呈现在用户的视场中。用户可经由各种姿势或者替代地经由语音命令与虚拟用户界面9362构造交互。在一或多个实施例中，AR系统检测姿势或语音命令，并生成被电子地发送给被邀请者的会议请求。
图93L示出了根据另一说明性实施例的物理会议室环境中与AR系统所呈现的虚拟内容交互的多个用户。
会议可为对由第一个用户发送的群组会议邀请的响应(图93L)。第一用户和作为被邀请者或群组会议参与者之一的第二用户可物理地存在于物理会议室中。作为被邀请者或组会议参与者中的另一者的第三用户可虚拟地存在于物理会议室中。也就是说，第三用户的虚拟表示在视觉和听觉上经由第一和第二用户各自的个人AR系统呈现给第一和第二用户。相应的个人AR系统可使第三用户的表示呈现为好像与第一和第二用户对面地坐在物理桌子旁。AR系统使用从由各个个人AR系统捕获的图像信息以及可选地由任何基于房间或空间的传感器系统(如果存在)所生成的可传递世界模型来实现这一点。
同样，第一和第二用户的虚拟表示连同会议室一起经由第三用户的相应个人AR系统在视觉和听觉上呈现给第三用户。个人AR系统可向第三用户呈现第一和第二用户以及会议室的表示，使得第三用户看起来好像第一和第二用户与第三用户对面地坐在物理桌子旁。AR系统使用从由各个个人AR系统捕获的图像信息以及可选地由任何基于房间或空间的传感器系统(如果存在)所生成的可传递世界模型来实现这一点。
AR系统可呈现由参加会议的两个或更多个用户共享的虚拟内容。例如，AR系统可呈现虚拟3D模型(例如，建筑物的光场表示)。而且例如，AR系统可呈现所有用户可见的虚拟图表、绘图、文档、图像、照片、演示等，无论是物理存在的还是仅虚拟存在的。
每个用户可从他们自己的视角在视觉上感知虚拟内容。例如，每个用户可从他们自己的视角在视觉上感知虚拟3D模型。因此，任何一个用户可以在虚拟3D模型周围起立并走动，从不同的有利位置或视点来视觉检查3D模型。对虚拟3D模型的改变或修改可由每个用户查看。例如，如果第一用户对3D模型进行修改，则AR系统将修改的虚拟3D模型重新呈现给第一、第二和第三用户。
虽然在一个或多个实施例中示出了在相同物理位置的第一和第二用户以及位于不同物理位置的第三用户，例如，每个人可在相应的物理位置、与其他人分开和/或远离。另选地，所有参加者可存在于相同的物理空间中，同时获得共享虚拟内容(例如，虚拟3D模型)的优点。因此，参加者的具体数量及其相应的具体位置不是限制性的。在一些实施方案中，可以邀请其他用户加入已经在进行的群组会议。用户同样可以在需要时退出群组会议。其他用户可以在群组会议开始之前或在群组会议进行期间请求被邀请加入群组会议。AR系统可以以与上述的用于安排群组会议类似的方式实现此类邀请。
AR系统可在用户之间共享虚拟内容之前实施握手协议。握手可包括认证或授权希望参与的用户。在一些实施方案中，AR系统采用在例如经由可传递世界模型共享视点的各个装置之间的对等连接。
在一些实施方案中，AR系统可提供语音的实时书面翻译。例如，第一用户可以选择接收其他用户中的一个或多个用户说出的实时书面翻译。因此，说英语的第一用户可请求AR系统提供第二或第三用户中的至少一个(例如说法语)的语音的书面翻译。AR系统检测经由一或多个麦克风(例如作为由说话者佩戴的个人AR系统的一部分的麦克风)的说话者的语音。AR系统可具有将语音数据转换为文本的芯片或系统(或应用)，并且可具有将一种语言的文本翻译成另一种语言的文本的翻译系统。AR系统执行或已经执行了说话者语音的机器翻译。AR系统以书面形式将翻译呈现给第一用户的视场。
AR系统可例如使得书面翻译出现在讲话者的视觉表示附近。例如，当说话者为第三用户时，AR系统呈现书面文本，以使其在第一用户的视场中出现在第三用户的虚拟表示附近。当说话者为第二用户时，AR系统呈现书面文本，以使其在第一用户的视场中出现在第二用户的真实图像附近。应理解，翻译应用可被用于旅行应用，并且可使得人们更容易理解在除了其母语之外的语言中遇到的符号/语言/命令。
在其它实施方案中，类似于上述示例，AR系统可将元数据(“简档信息”)显示为与人的物理身体相邻的虚拟内容。例如，假设用户走进商务会议，并且不熟悉会议中的人。AR系统可基于人的面部特征(例如，眼睛位置、面部形状等)识别该人，检索该人的简档信息或商业简档信息并且以虚拟形式紧邻该人显示该信息。因此，在已经阅读了关于该人的一些现有信息之后，用户可能够进行更有成效和建设性的会议。应理解，如上面的隐私部分中所描述的，如果人们选择了不显示他们的信息，则人们可选择不显示他们的信息。在优选实施例中，元数据的实时翻译和/或解锁可在用户系统(腰包、计算机)上执行。
现在参考图94，该图示出了佩戴相应AR系统9401的用户之间的示例场景。如图94所示，用户可为例如建筑公司的雇员，并且可讨论即将到来的工程。有利地，AR系统9401可允许用户彼此交互，并且通过在物理桌子上提供建筑模型9412的可视表示来讨论该项目。如图94所示，用户可能够构建虚拟建筑模型9412，或对其进行任何编辑或修改。如图94所示，用户也可与允许用户更好地理解结构的方面的虚拟罗盘交互。
此外，如图94所示，各种虚拟内容9414可被系留到用户正在占用的物理房间，从而使得用户能够进行有成效的会议。例如，虚拟内容9414可为其它类似的建筑计划的图纸。或者，虚拟内容9414可与将在真实世界中构建结构的映射等相关联。
图95A-95E示出了根据另一说明性实施例的在户外物理环境中的AR系统9501的用户，其与由AR系统以连续间隔呈现的虚拟内容交互。
具体地，图95A示出了沿着包括多个建筑物的城市街道走回家的用户。机构(例如，餐馆、商店、建筑物)吸引用户的注意。用户转向并注视机构的标牌或徽标，如图95A所示。AR系统9501检测出现在用户视场中的标牌或徽标，以确定元数据或其它信息是否可用。如果元数据或其它信息可用，则AR系统向用户呈现指示元数据或其它信息可用的提示。例如，AR系统可产生至少在标牌或徽标附近的视觉效果(例如，高亮、晕圈、字幕、颜色)。在说明性实施例中，紧接标牌呈现指示元数据可用的虚拟“+”符号9532。
如图95B所示，用户可选择虚拟图标9532以查看与该机构(例如，餐馆、商店、建筑物)相关联的元数据或其它信息，标牌或徽标与该机构相关联。例如，用户可做出姿势，例如朝向标牌或徽标做出指向姿势。
如图95C所示，响应于用户选择，AR系统9501通过虚拟内容框9534与机构(例如，餐馆、商店、建筑物)邻近关联地呈现信息和/或元数据的表示。例如，AR系统9501可在可由用户观看的另一虚拟文件夹9536中呈现菜单、照片和评论。
实际上，AR系统9501可与各种不同类型的物理和/或虚拟对象邻近关联地呈现信息和/或元数据的表示。例如，AR系统可在出现在用户的视场中的建筑物、人、车辆、道路、一件设备、解剖结构片段等上或附近呈现元数据。当AR系统在呈现关于物理对象的元数据时，AR系统首先捕获物理对象的图像，并处理图像(例如，对象识别器)以识别物理对象。
AR系统可确定与所识别的物理对象逻辑相关联的元数据。例如，AR系统可搜索建筑物的名称和位置、建筑师、建造年份、高度、照片、楼层数量、兴趣点、可用设施、运行时间。还例如，AR系统可为餐馆找到菜单、评论者的评论、朋友的评论、照片、优惠券等。还例如，AR系统可为剧院、电影或其它制作找到节目时间、门票信息、评论者的评论、朋友的评论、优惠券等。此外，例如，AR系统可找到人的姓名、职业和/或职称、与该人的关系、诸如配偶的姓名、孩子姓名、生日、照片、喜欢的食物或个人的其他偏好的个人细节。
元数据可被定义针对整个用户群体与对象(例如，无生命的对象或人)逻辑地相关联或者可针对单个用户或一组用户(例如，同事)是特定的。AR系统可允许用户选择与其他用户共享什么元数据或其它信息，以标识其他用户可访问哪些元数据或其它信息。例如，用户可定义与物理位置(例如，地理坐标、建筑物)或人相关的元数据或其它信息的集合。该用户可定义被授权或被提供特权以访问元数据或其它信息的一组用户(例如，用户群体的子集)。授权或特权可被设置成各种等级，例如只读访问、写访问、修改访问和/或删除访问。
当用户处于一位置或查看用户具有授权或特权以至少读取或以其它方式访问与位置或对象相关联的元数据的信息的对象时，AR系统向用户提供指示元数据或其它信息的可用性的提示。例如，个人AR系统可在用户的视场中呈现所定义的视觉效果，以便至少出现在元数据或其它信息可用的对象或人附近。AR系统可例如呈现看起来发光的线。响应于触发，例如姿势或语音命令，AR系统在用户的视场中呈现元数据或其它信息。
图95D示出了在背景中具有避难所和建筑物的公共汽车站处的AR系统9501的用户。在说明性实施例中，AR系统9501可基于视觉信息和/或附加信息(例如，GPS定位信息、罗盘信息、无线网络信息)来检测用户的位置。例如，对象识别器可识别存在于室外环境，例如避难所或建筑物中的各种物理对象。AR系统查找具有匹配物理对象的位置。如前所述，AR系统可在评估或确定物理位置时使用信息的地形图(例如，可用无线网络的身份和/或信号强度、GPS定位信息)。
AR系统可检测在用户视场中的避难所的外观，并检测足够长的暂停以确定用户正在注视避难所或避难所上的某物。作为响应，AR系统可呈现适当的或对应的虚拟内容。例如，AR系统可在用户的视场中呈现虚拟内容，使得虚拟内容看起来在避难所的一或多个表面上或从避难所的一或多个表面延伸。另选地，虚拟内容可被呈现为出现在其它表面(例如，人行道)上或者甚至看起来漂浮在空中。
AR系统可在公共汽车站识别出公共汽车站被用户经常使用。作为响应，AR系统可在用户等待他们的公共交通(例如，公共汽车、火车)或其它交通工具(例如，出租车、飞机)时呈现用户通常使用的第一组虚拟内容9538。例如，AR系统可呈现社交网络用户界面(例如， 等)。在另一实例中，AR系统可响应于传入消息(例如，)向用户的视场呈现提示。
而且，例如，AR系统可呈现阅读材料(例如，报纸、杂志、书)或其它媒体(例如，新闻、电视节目、电影、视频、游戏)。作为另一示例，AR系统可呈现关于交通工具的信息(例如，直到公共汽车到达的时间和/或下一公共汽车的当前位置)。
在另一实施例中，AR系统可将公共汽车站识别为用户不经常使用的公共汽车站。作为响应，AR系统除此以外或另选地呈现当等待公共交通(例如，公共汽车、火车)或其它交通工具(例如，出租车、飞机)时用户通常喜欢的第二组虚拟内容9540。例如，AR系统可呈现路线图、时间表、当前路线信息、接近行驶时间和/或替代行驶选项的虚拟表示。
图95E示出了AR系统9501的用户在公共汽车站玩游戏。如图95E所示，AR系统9501的用户可在等待公共汽车的同时玩虚拟游戏9542。
在说明性实施例中，AR系统呈现出现在用户的视场中的游戏。与传统的2D游戏相比，该3D游戏的部分现实地看起来在深度上与用户间隔开。例如，目标(例如，由猪守卫的堡垒)可看起来位于距离用户几英尺或甚至几米远的街道中。用户可使用图腾作为发射结构(例如，弹弓)，其可为无生命对象或者可为用户自己的手。因此，用户在等待公共汽车时娱乐。
图96A-96D示出了根据另一说明性实施例的在物理厨房中与由AR系统9601以连续间隔呈现的虚拟内容交互的AR系统9601的用户。
AR系统9601例如基于视觉信息和/或附加信息(例如，GPS定位信息、罗盘信息、无线网络信息)来检测用户的位置。例如，对象识别器可识别在厨房环境中存在的各种物理对象，例如墙壁、天花板、地板、柜台、橱柜、家用电器等。AR系统找到具有匹配的物理对象的位置。如前所述，AR系统可在评估或确定物理位置时使用信息的地形图(例如，可用无线网络的身份和/或信号强度、GPS定位信息)。
如图96A所示，响应于识别出用户是例如在厨房中，AR系统9601可呈现适当的或对应的虚拟内容。例如，AR系统可在用户的视场中呈现虚拟内容9632，使得虚拟内容9632看起来在一或多个表面(例如，厨房的墙壁、台面、后挡板、家用电器等)上或从其延伸。虚拟内容甚至可被呈现在冰箱或橱柜的门的外表面上，其基于最近捕获的冰箱或橱柜的内部的图像提供冰箱或橱柜的预期当前内容的指示(例如，列表、图像)。虚拟内容甚至可被呈现以便看起来在封闭体积的范围内，例如冰箱或橱柜的内部。
AR系统9601可呈现包括配方类型的类别的虚拟食谱用户界面，以便用户例如经由姿势选择。AR系统可在用户的视场中呈现一组食物图像，例如看起来好像被映射到厨房的墙壁(例如，风格墙)。AR系统可呈现用户的朋友的各种虚拟简档9634，例如看起来被映射到柜台顶部，并且向用户警告朋友的任何食物过敏或饮食限制或偏好。图96A还示出了可被用于与AR系统交互的图腾9636，并且其在所有给定时间与用户“携带”一组虚拟内容。因此，厨房的侧壁可被填充有虚拟社交媒体9638，而柜台可被填充有食谱等。
如图96B所示，用户可使用虚拟食谱查找器用户界面9640来通过虚拟搜索框9642使用各种参数、标准或过滤器来搜索食谱。例如，用户可搜索无麸质开胃菜食谱。
如图96C所示，虚拟食谱查找器9640的用户界面虚拟地呈现搜索匹配某些标准(例如，无谷蛋白和开胃菜)的食谱的各种结果9644。用户界面可具有一或多个用户可选图标，其选择允许用户滚动浏览搜索结果。用户可选择在所呈现的搜索结果9644的任何期望的方向上滚动。
如果不确定要使用什么食谱，则用户可使用虚拟界面来联系另一用户。例如，用户可例如通过从用户的一组联系人(例如，列表)中选择适当或相应的条目(例如，姓名、图片、图标)来选择她的母亲来联系。用户可经由适当的姿势，或者另选地经由语音或口头命令来选择。AR系统检测姿势或语音或口头命令，并且作为响应尝试联系其他用户(例如，母亲)。
如图96D所示，社交网络应用的用户界面产生指示响应联系尝试的所选联系人的提示。例如，AR系统可在用户的视场中呈现指示联系人做出响应的提示。例如，AR系统可在视觉上强调联系人集合中的相应姓名、图片或图标。除此之外或另选地，AR系统可产生听觉警告或通知。
作为响应，用户可接受与联系人或其他用户(例如，母亲)建立通信对话的联系尝试。例如，用户可做出适当姿势，AR系统检测到该姿势，并且通过建立通信对话来响应。例如，AR系统可使用AR装置9603将另一用户(例如，母亲)的虚拟表示9646呈现到第一用户的视场中。该表示可采取许多形式，例如简单的漫画表示或在三维中现实地表示另一个人的复杂光场。该表示可被呈现为看起来好像他们站在或坐在第一用户的柜台上。同样，其他用户可查看第一用户的表示。
这两个用户可以彼此交互，并且与共享的虚拟内容交互，好像它们都存在于相同的物理空间中。AR系统可有利地采用可传递世界模型来实现用户体验，如上面详细论述的。
图97A-97F示出根据另一说明性实施例的在家中的起居室中佩戴AR系统9701的用户，其与由AR系统以连续间隔呈现的虚拟内容交互。
如图97A所示，响应于识别出用户是例如在他们自己的起居室和/或识别出各种客人，AR系统9701可呈现适当的或对应的虚拟内容。除此之外或另选地，AR系统可响应于安排的事件，例如用户已经为其注册或购买了馈送或者票以便参加的直播或录制的音乐会。
例如，AR系统可在用户的视场中呈现虚拟内容9732，使得虚拟内容看起来在一或多个表面(例如，墙壁、天花板、地板等)上或者在该物理空间的体积内的其它地方。如果客人在场，客人佩戴的个人AR系统可在客人的各自视场内呈现虚拟内容。虚拟内容9732可基于个人的当前位置和/或取向来向每个人的AR系统呈现，以从相应用户的角度呈现虚拟内容。
同样如图97A所示，用户可例如使用虚拟用户界面9736来浏览一或多个音乐库，例如共享音乐库，例如以准备用户正在主持的晚宴。用户可通过例如将用户的喜爱歌曲和/或艺术家和/或专辑的虚拟表示9734(例如，图标、标题)拖放到个人虚拟节拍音乐室中来选择歌曲或音乐作品，以产生招待用户客人的完美氛围。
在一些实施方案中，用户可购买票或出席音乐、音乐会、表演或其它事件的权利。音乐、音乐会/表演或其它事件可为现场的或者可被预先录制。如图97A所示，AR系统可将音乐会、演出或其它事件作为被映射到用户的物理空间上的虚拟空间。AR系统可使用可传递世界模型来实现这一点。AR系统可例如将场所的可传递世界模型传递到由各个用户佩戴的个人AR系统。初始可传递世界模型可包括表示整个场所的信息，包括细节。随后的可传递世界模型可仅反映来自先前可传递世界模型的变化。
可在标准的双声道立体声、5.1或7.1环绕声或3D空间声音(例如，声波移相器)中提供音频或声音。音频或声音可由个人扬声器或者通过同时向两个或更多个用户提供声音的共享扬声器来传递。个人扬声器可采取耳塞、在耳机中或在耳机上的形式。这些可被集成到提供虚拟图像(例如，4D光场)的头戴式部件中。
共享扬声器可采取书架扬声器、落地式扬声器、监视器扬声器、参考扬声器(reference speaker)或其它音频换能器的形式。值得注意的是，使用个人扬声器传送逼真的声场将更容易，因为AR系统在此布置中不必考虑不同的聆听者位置。在另一实施例中，AR系统可基于用户应该在的数字环境来传递逼真的声音/音频。
例如，AR系统可模拟音频控制，使得它们看起来源自特定源或空间。例如，从小的封闭房间发出的声音可能与从歌剧院发出的声音有很大不同。如上所述，声波前可被成功地用于产生适当的声音质量以伴随AR系统的视觉。
AR系统可以呈现虚拟内容以使得用户感知到在他们自己的位置(例如，起居室)中所发生的表演。另选地，AR系统可以例如从任何给定的有利位置呈现虚拟内容，以使得用户感知自己在参加在场馆中发生的演出，甚至具有观看他们周围的人群的能力。用户可例如选择场馆中的任何期望的有利位置，包括前排、舞台或后台。
在一些实施方案中，正在进行现场表演的艺术家可具有相应的个人AR系统，其允许艺术家感知由远程参加演出的各种用户组成的观众。来自各个观众成员的图像和/或声音可经由相应观众成员所佩戴的个人AR系统来捕获。这可允许表演者和观众之间的交互，包括例如问答会话。4D光场的使用提供了否则难以使用更传统的方法来实现的更逼真体验。
图97B示出了在物理起居室中具有AR系统9701的一对客人。主人用户9720决定拍摄客人的照片。主人用户做出对应的姿势(例如，在两只手上成直角的食指和拇指)，其相对地保持以形成矩形或框。主人用户自己的个人AR系统检测该姿势、解译该姿势，并且作为响应捕获图像，例如经由形成由主人用户佩戴的个人AR系统的一部分的一或多个面向外部的摄像机。该姿势还用作向客人指示他们的照片被拍摄，从而保护隐私。
一旦用户已拍摄了照片(例如，数字照片)，用户可快速编辑照片(例如，裁剪、添加字幕、添加过滤器)并将照片张贴到社交网络。所有这些都是经由AR系统使用姿势来执行的。在相关实施例中，一旦用户拍摄了照片，则照片的虚拟副本可被固定到物理空间中。
例如，用户可将虚拟照片固定在房间中的物理墙壁上，或者甚至可将虚拟图片固定到由AR系统产生的虚拟墙壁中。应理解，在一些实施例中，照片可为2D形式，或者甚至是3D照片。因此，AR系统不断地获取3D信息，其可在以后的时间被检索和重新使用。例如，文本消息或任何物品可基于用户的偏好以2D或3D出现。用户可使用姿势来操控虚拟内容，如下面将进一步论述的，并且可简单地使用姿势或任何其它用户输入来将内容带向他或者带离他。
图97C示出了在物理起居室中享受照片，例如在聚会期间捕获的照片的主人用户和客人。如图所示，虚拟照片9722已被固定到起居室的物理墙壁上。AR系统9701可呈现照片，例如使得每个用户感知在墙上的照片。用户可以经由适当的姿势来缩放图片。
聚会墙让别人体验或重新体验聚会以及参加聚会的人。聚会可被捕获为整个聚会的全光场体验。这允许回顾和重温不是作为视频而是作为完整的观点体验的聚会。换句话说，用户将能够在房间四处漫游，看到人们路过用户，并且在事实之后从基本上任何有利的位置观看聚会。
图97D示出了在物理起居室中设置虚拟显示器、监视器或屏幕以享受媒体内容，例如电影的主人用户和客人。
如图97D所示，主人用户可做出姿势以产生虚拟显示器9724、监视器或屏幕，并且以其它方式指示或命令AR系统设置以显示媒体内容，例如电影、电视类节目或视频。具体地，主人用户使用双手手势9726来构造一个区域，例如面向在其上出现应呈现媒体内容的墙壁。主人用户可以以直角展开食指和拇指以形成L形，以勾勒出虚拟显示器9724、监视器或屏幕的期望周界。
主人用户可通过另一姿势来调整虚拟显示器、监视器或屏幕9724的尺寸。值得注意的是，使用指向用户眼睛的视网膜的4D光场允许虚拟显示器、监视器或屏幕的大小几乎不受限制，因为实际上对缩放没有机械限制，唯一可察觉的限制是人眼的分辨率。
此外，应注意到，主人用户的个人AR系统(例如，由主人用户佩戴)可与访客用户的个人AR系统协调，使得访客用户可以共享主人用户的体验。因此，主人用户的个人AR系统可检测主人用户的姿势、定义虚拟显示器、监视器或屏幕，并且甚至识别用户所选的用于呈现的媒体内容。主人用户的个人AR系统可将该信息直接或间接地传送至访客用户的个人AR系统。在一或多个实施例中，这可通过可传递世界模型来实现。
图97E示出了在物理起居室中设置虚拟显示器、监视器或屏幕以享受媒体内容，例如电影的主人用户和客人。
与图97D相反，主人用户做出另一姿势9728，其用指向的食指绘制对角线，以指示期望的虚拟显示器、监视器或屏幕的位置和大小。
在图97F中，用户可进一步选择虚拟显示器、监视器或屏幕9724的特性。例如，用户可做出姿势，通过虚拟图标9730来选择例如边界、边框或框架的美学特征。用户也可做姿势来选择操作特性，例如与图像再现和/或质量相关的特性。例如，用户可从各种传统物理监视器或电视机中进行选择。AR系统可以复制传统监视器或电视机(例如，1967年的彩色电视机)的图片特性。
因此，主人用户可从品牌和型号以及年份的列表中选择监视器或电视，以复制具有相同的物理机柜外观、相同的视觉或图片特性外观的历史上精确的装置，以及甚至复制较旧的声音。用户可以在当年的逼真的监视器或电视机上体验较旧的节目或媒体内容。用户可在较旧的监视器或电视机上体验新的节目或媒体内容。
AR系统可产生忠实地复制顶级当前电视或监视器或甚至未来电视或监视器的虚拟显示器、监视器或电视9724。这些类型的实施例基本上消除了购买物理显示系统(例如，计算机、电视等)的任何理由。
事实上，多个用户可使用多个电视，其中，每个电视屏幕显示不同的内容。AR系统也可呈现虚拟内容以匹配电影投影仪的图片特性，无论是经典的当年装置还是最新数字电影投影仪。例如，AR系统可呈现虚拟内容以复制大规模电影投影仪和屏幕的一或多个特征。根据可用的扬声器配置，AR系统甚至可复制电影院的声音系统。
AR系统可呈现复制坐在剧院中的虚拟内容。例如，AR系统可呈现与剧院的构造匹配或非常类似的虚拟内容。因此，用户可例如从经典剧院的列表中选择要复制的剧院。AR系统甚至可产生至少部分环绕用户的观众。虚拟内容可例如被锁定到身体坐标系。因此，当用户转动或倾斜他们的头部时，用户可看到剧院的不同部分(例如，墙壁、阳台)的虚拟表示以及看起来坐在用户周围的人的虚拟表示。用户甚至可选择就座位置或任何其它有利位置。
网站或应用商店可被设置为允许用户设计和共享过滤器或其它软件，其复制经典电视、监视器、投影仪和屏幕以及各种演出场所，诸如电影院、音乐厅等的外观和感觉。
因此，用户可选择特定的剧院、剧院中的位置、特定的投影仪类型和/或声音系统类型。所有这些特征可简单地在用户的AR系统上呈现。例如，用户可能希望在60年代初的老式电视机上观看特定的老式电视节目。用户可体验坐在虚拟剧院中的小插曲，看到坐在用户周围和/或在用户前面的那些人。以身体为中心的视场可允许用户在用户转身时看到其他人。AR系统可以重现或复制剧院体验。类似地，用户可以选择场馆中的特定音乐会场地、特定座位或位置(例如，舞台上、后台)。在一或多个实施例中，场馆可以在用户之间共享。
图97G示出了根据一个说明性实施例的多个用户，每个用户持有相应物理射线枪图腾9750，并与由AR系统呈现的虚拟用户界面9752交互以定制他们的武器。
在玩之前，每个用户可为他们各自的射线枪图腾选择一或多个虚拟定制部件。用户可经由虚拟定制用户界面选择定制，该虚拟定制用户界面通过它们各自的个人AR系统呈现给每个用户的视场。例如，用户可例如通过做姿势或通过语音命令来选择定制附件(例如，望远镜、夜视镜、激光瞄准镜、鳍、灯)。
每个用户的相应个人AR系统可检测用户的姿势或选择。不同于添加额外的物理部件，个人AR系统(例如，身体和/或头戴式部件)可呈现定制每个用户或玩家的视场中的每个射线枪的虚拟内容。因此，各种个人AR系统可例如通过利用可传递世界模型来直接或间接地交换信息。
值得注意的是，物理射线枪图腾9750可为例如实际上可能不起作用的简单装置。相反，它们仅仅是可通过关于物理对象递送的虚拟内容来给予生命的物理对象。与先前描述的图腾一样，AR系统例如经由每个用户的个人增强现实装置(例如，头戴式部件)的面向外部的摄像机捕获的图像信息来检测用户交互。
同样，AR系统可在用户的视场中呈现爆破或其它视觉和/或听觉效果，以复制射线枪的射击。例如，由第一用户佩戴的第一个体AR装置可检测瞄准第一用户携带的第一射线枪图腾的第一用户并检测第一用户激活扳机。作为响应，第一个人AR装置对第一用户的视场呈现虚拟爆炸效果和/或对第一用户的耳朵呈现出似乎起源于第一射线枪图腾的合适声音。
第一个人AR装置将可传递的世界模型直接或间接地传递到分别由第二和第三用户佩戴的第二和第三个人AR系统。这使得第二和第三个人AR系统在第二和第三用户的视场中呈现虚拟爆炸视觉效果，以便其似乎源自第一射线枪图腾。第二和第三个人AR系统也可向第二和第三用户的耳朵呈现虚拟爆炸听觉或声音效果，以便其似乎源自第一射线枪图腾。
虽然用通常的枪形图腾示出，但是该方法可以与包括无生命图腾和甚至动画化图腾的其它图腾一起使用。例如，用户可以选择身体的“武器化”部分(例如，手)。例如，用户可选择将虚拟火箭放置在他们的手上和/或使虚拟火球从他们的指尖发出。当然使AR系统呈现许多其它虚拟效果是可能的。
图97H示出了根据一个说明性实施例的AR系统9701的多个用户，每个用户持有具有虚拟定制的相应物理射线枪图腾9750，并利用经由AR系统呈现的虚拟内容来玩游戏。
如图97H所示，用户可玩与来自另一世界的虚拟外星人或机器人战斗的游戏。个人AR系统在相应用户的视场中呈现虚拟外星人。如上所述，相应个人AR系统可跟踪相应用户的瞄准和发射交互，并将必要的信息中继到个人AR系统中的其它AR系统。用户可在游戏中合作，或者可相互对抗。各个AR系统可在用户的视场中呈现虚拟记分板。游戏的分数或甚至部分可通过社交媒体网络共享。
图98A-98C示出了根据另一说明性实施例的在家的起居室中的用户，其与由AR系统以连续间隔呈现的虚拟内容交互。
如图98A所示，响应于识别出用户例如在她自己的起居室中，AR系统可呈现适当的或对应的虚拟内容。例如，用户可以通过观看她的个人AR系统9801在她的视场中呈现的虚拟电视9814上的电视节目，其看起来就像在起居室的物理墙壁上。个人AR系统9801也可向第二虚拟屏幕9816呈现相关媒体内容(例如，投票菜单、参赛者排名或地位)以向用户提供第二屏幕体验。个人AR系统9801可进一步向第三屏幕(未示出)呈现附加内容，例如社交媒体内容或电子消息或邮件。
用户也可例如查看或购买艺术作品。例如，个人AR系统可向图腾9812呈现艺术品观看或购物用户界面。如前所述，图腾9812可为任何物理对象(例如，金属片或木材)。图腾可例如在平面尺寸方面类似于平板计算装置，但是可以具有小得多的厚度，因为不需要板上电子元件。
还如前所述，个人AR系统9801检测用户与图腾的交互，例如手指姿势，并产生相应的输入。个人AR系统9801可进一步产生虚拟框9818以在其将出现在用户的起居室的墙壁上时观看艺术品。用户可使用简单的姿势来控制框架的尺寸，诸如先前描述的用于建立虚拟显示器、监视器或屏幕的尺寸的姿势。用户也可例如从一组框架图像中选择一框架设计。因此，用户能够看到各种艺术品如何适合房子的装饰。个人AR系统9801甚至可如虚拟框9820所示在接近所选艺术品和框架处呈现定价信息。
如图98B所示，响应于看到用户喜欢的车辆的广告9822，用户做出姿势以执行对特定车辆的研究。
作为响应，个人AR系统9801可用相关媒体内容(例如，车辆规格、来自专家的车辆评论、来自朋友的车辆评论、最近成本趋势、修理趋势、召回通知)来重新呈现第二虚拟屏幕。
还如图98B所示，个人AR系统9801可例如在用户的视场中呈现用户的虚拟空间的高级虚拟菜单9824，以使得虚拟菜单看起来好像在用户的起居室的物理墙壁上。用户可使用简单的姿势与菜单交互以与个人AR系统监视器的虚拟空间交互。虚拟菜单可响应于所定义的姿势而可滚动。
还如图98B所示，用户可做出姿势(例如，抓握和拉动姿势)以从虚拟电视或虚拟监视器拉出车辆的虚拟3D模型。
如图99C所示，响应于用户抓握和拉动姿势(图98B)，AR系统可向用户的视场呈现虚拟三维模型9840，其例如位于用户和虚拟电视或虚拟监视器之间。当使用光场时，用户甚至可能够在车辆周围行走或旋转车辆的三维模型，以便从各种不同的视点或视角检查车辆。
甚至可以呈现车辆的内部，好像用户坐在车辆中一样。AR系统可以以任何用户所选的颜色呈现车辆。AR系统也可在另一虚拟屏幕9842中呈现经销商信息、颜色选择和其它车辆规格，如图98C所示。
诸如检索三维模型的能力的虚拟增强可与广播内容或节目同步或由广播内容或节目编排触发。另选地，视觉增强可基于用户选择。
用户可将车辆和/或车辆相关研究的三维模型9840保存到车辆虚拟房间或虚拟空间。例如，用户可朝向虚拟菜单的适当文件夹做出姿势(例如，挥动或反手扫掠动作)。AR系统9801可识别姿势，并且将车辆相关信息保存在与车辆虚拟房间或虚拟空间相关联的数据结构中，以供以后重新调用。
图98D示出了根据另一说明性实施例的AR系统9801在车道中的用户，其与由AR系统9801呈现的虚拟内容9850交互。
用户可步出到车道中，看看车辆将如何看起来停在用户的家前面。AR系统向用户的视场呈现车辆9850的三维视图，以使车辆看起来位于车道中。AR系统可通过姿势自动缩放虚拟车辆的外观，如图98D所示。
在一或多个实施例中，AR系统可使用单独的操作系统，其可在某种程度上类似于游戏引擎。虽然传统的游戏引擎可为一些系统工作，但是其它系统可强加额外的要求，使得传统游戏引擎的用户变得困难。在一或多个实施例中，操作系统可被分成两种不同的模式和相应的解决方案和/或架构，以满足两种模式的要求。
与传统的计算机系统一样，操作系统(OS)以两种不同的模式操作：i)模态，和ii)非模态。非模态模式类似于典型的计算机桌面，其中，多个应用同时运行，使得用户可以上网、即时消息(IM)并同时检查电子邮件。
模态模式类似于典型的视频游戏，其中，所有应用关闭(或进入后台)并且游戏完全接管系统。许多游戏适合此模式，而传统的计算功能将需要非模态方法。
为了实现这一点，OS可被分成两个部分：(a)子系统，和(b)窗口化界面。这在某些方面与现代操作系统的工作方式类似。例如，在特定操作系统下，内核和许多应用一起工作以提供子系统，但是其它操作系统可向用户提供传统的桌面、图标和窗口。
类似地，OS同样可被划分成一种类型的操作系统的子系统(例如，用于基本操作的Linux内核)和用于另一操作系统(例如，系统)的定制应用(例如，PACER、陀螺仪、GPS、可传递世界建模等)。这两种模式仅适用于系统，因为子系统必须连续运行。
然而，这两种模式也可能向系统引入附加的复杂性。虽然非模态系统可提供传统的计算特征，但它明显以非传统的方式操作。它的3D性质以及与非平面对象(被放在用户视野内的3D对象)结合的平面(屏幕)的组合引入了关于碰撞、重力和深度的问题，现代游戏引擎共享的许多特征。为此，系统的“操作系统”部分可为定制设计的。
最简单的非模态应用为“表面”。在3D环境中呈现并运行传统计算工具(例如，Web浏览器等)的简单虚拟2D平面表面。可以预期，大多数用户将在以身体为中心的取向(例如，左边的馈送，右边的)和以世界为中心的取向(例如，粘在壁炉上方墙上的)运行具有几个表面的系统。
下一个非模态应用步骤为“通知器”。这些例如可为用3D动画增强以通知用户某些动作的2D平面表面。例如，电子邮件可能仍然为传统的2D平面系统，但是通知新邮件可以例如经由飞过并在表面上丢下信的鸟来实现，在消息被“接收”时，其具有与池塘中的水滴的类似效果。
另一非模态应用步骤涉及完整的3D应用。并不是所有的应用可能都适合该空间，并且最初的产品将受到限制。虚拟宠物是完整的3D、非模态应用的完美示例：一整天跟随用户的完整3D呈现和动画化“生物”。非模态应用也可为来自现有平台的“继承”应用的基础。
可预计，大多数AR系统将是全模态应用。例如，当启动游戏时(例如，用户使用射线枪图腾来战斗被呈现到其各自视场中的虚拟入侵者)，使用模态应用。启动时，所有用户的表面和虚拟内容将消失，整个视场将被游戏中的对象和物品替换。在离开游戏时，可恢复用户的各个虚拟表面和虚拟内容。
模态系统可依赖于游戏引擎。一些游戏可使用更高端的游戏引擎，而其它游戏需要更简单的游戏引擎。每个游戏可选择适合于他们的设计选择和公司指导的游戏引擎。
在一或多个实施例中，可利用模态系统中的各种小工具的虚拟集合。在开始时，用户定义“游戏区域”(可能是桌面或楼层空间)，然后开始放置虚拟“玩具”。最初，虚拟玩具可为仅具有基本物理学原理(例如，重力、碰撞检测)的非常基本的对象(例如，球、棒、块)。
然后，用户可以进展到更高级的虚拟玩具，例如经由虚拟商店在游戏内购买的虚拟玩具或作为与其它游戏(例如玩具兵大战)的捆绑附件。这些更先进的虚拟玩具可能带来自己的动画或特殊属性。每个虚拟玩具可具有基本动画和行为以允许与其它对象交互。使用“标签”和“属性”的系统，在使用或玩期间可能产生意想不到的行为。
例如，用户可在桌子上放下简单的虚拟卡通人物。虚拟卡通人物可立即进入“巡逻模式”。不久之后，虚拟卡通人物玩具识别类似地标记的对象并开始协调队形。类似地，可使用虚拟集合将其它此类虚拟角色带到桌子上。
这种方法为系统带来了几个有趣的方面。除了用户具体规定的规则之外，可能存在很少或根本没有规则。因此，虚拟集合被设计为真实的游戏区。
在一个实施例中，游戏可被宣传为与虚拟集合“兼容”。此外，可将元素直接出售(例如，通过微交易)给他人。这也可能为朝向引入用户将真实和虚拟对象合并成连贯单一体验的第一步。如果物理桌子可被精确地和动态地映射，则在一或多个实施例中，任何物理对象可以变成虚拟角色。
虚拟集合游戏可由系统的任何用户使用，但是他们可能不会简单地为体验购买它。这是因为虚拟集合不是独立的游戏。人们可购买系统以玩一组兼容游戏(例如，具有大致公共的UI、桌面交互范例并且以适当格式提供游戏内资产的游戏)。
如图99所示，各种不同类型的游戏和游戏标题适于通过虚拟游戏集合9902变为兼容游戏。例如，可包括具有新的“数字”格式的任何经典的棋盘游戏9914。还例如，可包括塔防游戏9904(例如，在桌子上布置资产，以试图阻止迎面而来的大群敌人)。又如，可包括“上帝”策略游戏9906。又如，甚至可包括流行的运动游戏9908(橄榄球、足球、棒球等)。其它冒险游戏9910也可被包含在虚拟游戏集合中。
兼容的桌面游戏类别在战略上很重要。外部开发人员可以使用现有的游戏引擎来做出令人信服的游戏，该游戏引擎很可能需要被修改以接受新的输入(例如，手/眼睛/图腾跟踪)并导入AR系统。
玩具盒
AR系统可实现具有可互操作组件的各种游戏。游戏可例如被设计用于桌面使用。每个游戏可基本上独立于其它游戏，但是一构造允许在游戏之间共享元素或资产，即使那些元素或资产可能没有被特别地设计到元素或资产被共享的游戏中。因此，第一游戏可能不具有在第二游戏中明确定义和使用的元素或资产的明确定义。然而，当来自第二游戏的元素或资产出乎意料地出现在第一游戏中时，第一游戏能够基于应用所定义的一组规则和与该元素相关联的一或多个特征来容纳该元素或资产。
在一或多个实施例中，可实现虚拟玩具集合界面，其中，每个安装游戏(与虚拟玩具集合界面兼容)的元素或资产在一个集成位置可用。该界面可被与界面兼容的所有游戏理解。
第一游戏设计者可利用第一组元素或资产来定义第一游戏。第二游戏设计者可利用不同于第一组元素或资产的第二组元素或资产来定义第二游戏。第二设计者可与第一设计者完全无关，并且可能从未见过或甚至听过第一游戏，并且可能不知道第一游戏的元素或资产。然而，每个游戏设计者可利用将物理学理解为它们的基线交互的元素或资产作出相应的游戏。这使得元素或资产在不同游戏之间可互换。例如，第一游戏可包括能够移动、旋转炮塔和发射炮弹的坦克角色。第二游戏可包括化装娃娃角色(例如，芭比娃娃)，并且可能没有与坦克角色相关联的坦克或属性的明确定义。然后，用户可使得来自第一游戏的坦克角色访问第二游戏。
两个游戏可包括基本特征或属性(例如，游戏空间的本体)。如果第一和第二游戏两者具有共同的构造(例如，理解物理学、物理学引擎)，则第二游戏可以至少在某种程度上处理从第一游戏中引入角色(例如坦克)。因此，来自第一游戏的角色(例如，坦克)可以与来自第二游戏的角色(例如，芭比娃娃)交互。例如，来自第一游戏的角色(例如，坦克)可经由消息传递射击第二游戏中角色(例如，芭比娃娃)。第二游戏的角色(例如，芭比娃娃)不知道如何接收或不理解消息(例如，“你被枪杀”)。然而，两个游戏都有共同的基本物理学。因此，当第一角色(例如，坦克)不能射击第二角色(例如，芭比娃娃)时，第一角色(例如，坦克)可以碾压第二角色(例如，芭比娃娃)。世界被用作通信机制。
AR系统可依赖于可传递世界模型以进行通信。在上面的示例中，第一和第二角色不需要共同的语言，因为它们具有共同的物理学。可以想到从一个游戏中取球，并且使用来自另一游戏的玩偶作为击球的球棒，因为两个对象碰撞的物理学被定义。
因此，如果物理学是共享的，则游戏或应用不需要属于每者的虚拟对象之间的通信协议。再者，如果坦克撞上玩偶，则玩偶被碾压，即使被坦克碾压没有在第二个游戏或者第一个游戏中明确定义。
AR系统中的各种级别是真实世界的映射。用户界面主要基于对手、眼睛和/或图腾的跟踪。跟踪用户的手包括跟踪姿势。跟踪图腾使用包括跟踪图腾的姿态以及用户的手或手指与图腾的交互。
应理解，可以通过将个人AR系统通信地连接(系留或无线地)到非便携式设备(例如，台式个人计算机、AR服务器等)来增强个人AR系统的能力，以提高性能。用户佩戴的部件可向AR装置(例如，台式个人计算机、AR服务器等)传递信息，这可提供额外的计算能力。例如，可能期望额外的计算能力，例如用于呈现、运行更多的对象识别器、缓存更多的云数据和/或呈现额外的着色器。
其它应用
在一或多个实施例中，AR系统可允许用户与数字人进行交互。例如，用户可走进废弃的仓库，但是空间可能变得填充数字人，使得它类似于银行。用户可走到可能能够看着用户的眼睛并与他/她交互的柜员。因为系统跟踪用户的眼睛，所以AR系统可以呈现数字人，使得数字人与用户进行眼睛接触。
或者，在相关实施例中，眼睛跟踪技术也可用在其它应用中。例如，如果用户走向售货亭，则售货亭可能配备有能够确定用户的眼睛正在关注什么的眼睛跟踪器。基于该信息，数字人或者在亭处的人的视频表示(例如，亭处的视频)在与用户交互时可以看着用户的眼睛。
在另一实施例中，表演者能够产生他或她自己的虚拟表示，使得表演者的数字版本可出现在用户的物理空间中。例如，音乐家可简单地在记录表演的绿色房间播放音乐，并且该演出可被广播到多个用户的起居室。然而，系统可仅使用改变数据来广播什么是用户的表演的变化，而不是在表演者正在表演时重新呈现表演者的每个方面。因此，可在多个用户的起居室中呈现所执行的虚拟表示的非常精确的呈现。在另一改进中，具有用户的眼睛跟踪数据，可呈现数字人(在此情况下，表演者的虚拟表示)，使得数字人与用户进行眼睛接触。因此，这可通过使虚拟表示/数字人直接与多个用户交互来改善用户体验。
在一或多个实施例中，AR系统可被用于教育目的。例如，可向孩子显示一系列教育虚拟内容。孩子可物理地触摸虚拟对象，或者在其它实施例中，孩子可在更长的时间段内简单地观看虚拟对象以解锁与对象相关的元数据。例如，孩子可在他/她的起居室里被各种海洋生物包围。基于用户输入，与虚拟对象相关的元数据可被适当地解锁。这提供了全新的教育模式，在于几乎任何空间都可转变为教育空间。如图89A-J的购物体验所示，甚至杂货店也可用作教育游乐场。
类似地，AR系统也可被用于广告应用中。例如，用户可在电视上看到特定的广告，或者可能看到他/她可能喜欢的在同伴脚上的一双鞋。基于用户输入(眼睛注视、触摸或任何其它输入)，用户可被定向到公司的网页或可能正在销售该项目的另一卖家。例如，虚拟图标可自动地填充在用户的视场内，从而向用户提供各种购买相关选项。或者，在相关实施例中，物品可被简单地放置在“购物车”或类似的存储袋中，使得用户可以稍后结账该物品。
在相关实施例中，可设想不同类型的广告范例。例如，视觉印象(“点击”和直接购买(buy through))模型可被用于购买。例如，如果用户看到同伴脚上的一双鞋，并且采取去零售商的网站的步骤，并且至少将类似的一双鞋放在在线购物车中，则广告商可能通过推荐计划向该同伴付费。换句话说，AR系统通过眼睛跟踪技术知道用户已经看到了同伴的一双鞋，并且知道由于该交互用户已经意识到鞋(例如，即使同伴和用户不谈论该鞋)。该信息可被有利地利用，并且同伴可由广告商或零售商奖励。
或者，在另一实施例中，用户可向广告顾客出售他的印象、点击和购买。换句话说，广告商可选择从一组用户直接购买数据。因此，不是广告商必须发布广告并且随后监测用户行为，个体用户可简单地将他们的行为数据卖给广告商。这使得用户能够对基于个人偏好利用数据进行控制。
在又一实施例中，可实施收入共享程序，使得广告商与用户通过交换内容/数据共享其收益。例如，广告商可直接支付给用户以收集或接收通过AR系统收集的数据。
在又一实施方案中，AR系统可被用于个性化广告。因此，广告内容可被个性化，使得每个人看到具有他/她自己化身的广告，而不是看到在模特或名人上显示的图像或广告内容。例如，广告的特征可包括用户自己穿着产品(例如鞋)，而不是看到名人的广告牌广告。这也可以是消费者对产品建模并且判断物品或产品对他们是否合意的一种方式。此外，个性化广告可能对用户更具吸引力，因为它是对每个用户的直接吸引力，并且AR系统可挖掘用户的个性特征以向他/她直接做广告。
在另一应用中，AR系统可被实现为父母引导应用，其可监测儿童对AR系统的使用，或者通常监测儿童的行为，即使父母没有在物理上接近孩子。AR系统可使用它的映射能力来检索空间的图像/视频，使得父母可以在任何时间在任何地方与孩子在一起。因此，即使儿童在学校或在公园，父母也能够产生他/她自己的化身来将自己植入到该空间中并在需要时观看孩子。
在另一实施例中，AR系统可允许用户离开虚拟对象以供其他用户在真实物理空间中发现自己(例如，图125J)。这可在用户努力在各种物理空间解锁虚拟对象的游戏设置(例如，寻宝游戏应用等)中实现。或者，类似地，用户可为稍后可能占据相同物理空间的朋友以虚拟内容的形式留下重要信息。在可选实施例中，用户可“锁定”虚拟内容，使得其仅可被可信源或朋友解锁。假定AR系统可基于唯一标识符或者基于用户的外观“识别”用户，AR系统仅可在被预期接收人“触摸”或激活时解锁虚拟内容或与虚拟内容相关的元数据，以确保隐私和安全。
在另一游戏应用中，一或多个用户能够在物理空间中播放他们喜欢的视频游戏。因此，AR系统不是在屏幕上播放视频游戏或移动游戏，而是可以以3D和以最适合于用户和物理位置的物理尺度呈现游戏。例如，AR系统可呈现虚拟砖以及可被用户物理地抓住并被投向虚拟砖的“鸟”，以获得点数并进展到下一级。这些游戏可在任何物理环境中玩。例如，纽约市可被变换为具有AR系统的多个用户的虚拟游乐场，这些用户使用物理对象和虚拟对象彼此交互。因此，AR系统可具有许多此类游戏应用。
在又一应用中，AR系统可被用于锻炼目的。AR系统可将锻炼转化为愉快的游戏。例如，AR系统可呈现可能看起来正在追逐用户的虚拟龙，以使得用户例如更快地跑。用户可在他的邻里跑步，并且AR系统可呈现使得跑步更愉快的虚拟内容。例如，锻炼应用可采取寻宝游戏的形式，用户必须在固定的时间段内到达，迫使用户更有效地跑步/锻炼。
在另一实施例中，AR系统可呈现其形式、形状或特性可基于用户的行为而改变的“植物”或任何其它虚拟内容。例如，AR系统可呈现当用户表现出“良好”行为时开花的植物，并且当用户表现不好时，则植物不开花。在具体示例中，当用户例如为好的男朋友时(例如，为女朋友购买花等)，植物可能绽放，并且当用户整天没有打电话给他的女朋友时，植物可能枯萎。应理解，在其它实施例中，植物或其它对象可为注册到AR系统的机器视觉的物理对象或图腾，使得物理对象被系留到AR系统。因此，许多此类游戏应用可被用于使得用户体验更加有趣并且与AR系统和/或AR系统的其他用户交互。
在又一实施例中，AR系统可具有在健康保险领域中的应用。给定AR系统能够不断地监测用户的行为的能力，公司可能够基于他的行为来计量用户的健康，并且因此为个人计算保险费。这可作为健康行为的激励来驱使保险费用下降，因为公司可能看到用户是健康的并且对于保险目的来说是低风险的。另一方面，公司可基于该收集的数据来评估不健康的行为并且相应地以较高的费率对用户的保费进行定价。
类似地，AR系统可被用于计量公司的雇员的生产率。公司可收集关于雇员的工作习惯和生产力的数据，并且可基于观察到的生产率相应地向雇员提供激励或补偿。
在另一健康应用中，AR系统可在保健领域中实现，并且例如可在虚拟放射学中使用。例如，AR系统可呈现特定器官的虚拟模型，而不是简单地依赖于2D图像或MRI扫描，从而使得医生能够在3D空间中精确地确定肿瘤或感染位于何处(例如，图91A)。AR系统可使用MRI和CT扫描图像的组合，例如，以产生患者器官的精确虚拟模型。例如，系统可基于接收到的数据创建虚拟心脏，使得医生可以看到在心脏的3D空间内可能存在问题的位置。应理解，AR系统因此可在医疗保健和医院领域中具有许多应用，并且可帮助医生(例如，外科医生、放射科医生等)准确地可视化身体中的各种器官，以相应地诊断或治疗他们的患者。
在相关实施例中，AR系统可帮助改善医疗保健，因为医生可在他/她的处置下访问患者的所有病史。这可包括患者行为(例如，不一定包含在医疗记录中的信息)。因此，在一或多个实施例中，患者行为的历史可被适当地分类，并且呈现给医生/医疗技术人员，使得医生可以相应地治疗患者。例如，如果患者是无意识的，则医生可(基于用户的隐私控制)能够搜索在最近过去的用户行为的记录，以确定疾病的原因并相应地治疗患者。
因为AR系统具有高级的眼睛跟踪能力(例如，监测瞳孔和角膜的凝视跟踪)，AR系统可检测眼睛运动中的某些图案(例如，语音的变化、瞳孔大小的快速变化等)，或当患者发生癫痫时的视网膜的变化。AR系统然后可分析该图案，并且在每次用户癫痫发作时确定它是否是重复性模式。例如，所有发作患者可具有相似的眼睛图案或瞳孔大小的变化或其它类似症状。或者，当经历发作时，每个患者可具有不同的图案或眼睛运动/瞳孔大小变化等。在任一情况下，当配备有对于癫痫发作或已经历癫痫发作的个体患者特有的图案时，AR系统可用可治疗或预防癫痫发作的光信号或图案对用户的视网膜后面进行编程。
在一或多个实施例中，可向患者周期性地施用光疗程序，其可在用户具有癫痫发作时作为干扰或治疗。随着时间的推移，此治疗可减少或停止用户/患者中癫痫发作的发生。
例如，可知道特定的光图案(例如，频率、波长、颜色等)帮助减轻或以其它方式治疗或完全阻止癫痫发作。已经观察到，癫痫发作可能由某种类型的光引发；因此在一些情况下，传递到视网膜背面的光图案可能具有消除那种类型的光的效果的效果。因此，AR系统可被用于检测癫痫发作，并且也可被用于预防或治疗它们。在可选实施例中，基于从患者眼球运动收集的信息，AR系统可产生视网膜图，其可被用于通过视网膜光子波前对大脑的各个方面编程。
可存在使用被投射到视网膜中的光信号的其它应用。这种光疗法可进一步被用于心理应用，并巧妙地控制大脑信号以改变用户的想法或冲动。
在另一实施例中，AR系统可检测用户行为的模式并主动改善用户的健康。例如，AR系统的用户可能患有强迫症(OCD)。AR系统可监测用户的行为。当患者表现OCD的症状(例如，紧张的抽搐、数数、抓挠等)时，系统可自动地呈现用户的医生的虚拟图像，其可帮助用户平静下来。
在另一实施例中，AR系统可自动显示出对患者具有镇静效果的虚拟内容。或者，在另一实施例中，AR系统可被链接至药物递送系统，其可在患者表现出某种行为的任何时候立即施用处方药物。例如，如果用户在突发OCD发作期间伤害自己的身体，则链接到静脉内药物输送系统的AR系统可自动施用可能使患者瞌睡的药物，并因此阻止患者伤害自己。
在又一实施例中，如果用户分心或似乎不能专注于工作，则AR系统可帮助重新使用户专注于工作。这可帮助用户在工作中更有效率和生产力。因为AR系统不断地捕获图像和视频，所以AR系统可检测非生产性行为(例如，不相关的互联网浏览、低生产率等)，并且可适当地呈现虚拟内容以帮助激励用户。
在一些实施例中，AR系统可被用于通过变形从另一个人的数据云提取的一组控制点来形成人类(例如，男人、女人、孩子等)的预先存在的通用模型。因此，AR系统可使用人身体的3D模型广义模型，而将另一个人的脸塑造到该3D模型中。此方法的可能的优点是在于，现有的装配(rigged)模型可具有不能通过人脸的简单扫描来捕获的许多元素(韧带、肌肉功能、细节等)。然而，简单扫描可提供关于用户脸部的足够的信息，以使广义模型在细节上类似于特定人。换句话说，AR系统可以从高度精确的3D模型受益，并且用从简单扫描捕获的必要细节来补充，以产生人的精确3D版本。
花园概况(植物)
为了信息的高维表示，AR系统可将内容映射到熟悉的自然形状。大自然在树木、草等中编码了大量信息。例如，AR系统可将组织中的每个人或角色表示为具有可以由相应用户修改并且可选地由其他人修改的参数的虚拟“植物”。
用户可例如以其各自的状态对植物的颜色、形状、叶、花等进行编码。如果用户过度劳累，则相应的植物可能出现枯萎。如果用户不快乐，则相应植物的叶子可能掉落。如果用户缺乏资源，则表示用户的相应植物的叶可能变褐色等。用户可向领导者(例如，经理、CEO)提供他们各自的植物。领导者可以将所有的植物放在一个虚拟的花园里。通过花园的一般颜色或概念，这为领导者提供了组织的高带宽视图。问题的这种图形说明有助于对于组织的问题或缺乏问题的视觉识别。
电子邮件
在一或多个实施例中，AR系统可使用类似的自然或植物方法来实现电子邮件或消息接口。例如，AR系统可呈现树，其中，每个树枝对应于或表示人、实体或逻辑地址。AR系统可将每个消息(例如，电子邮件消息)表示为树的叶子，叶子视觉上与表示从其接收或发送相应消息的人、实体或地址的树枝相关联。
AR系统可将相对较旧的消息呈现为棕色和/或干枯，这些叶子最终从树落到地面。子树枝或细枝可表示与其他人、实体或逻辑地址的连接性，例如消息上抄送或密送的那些。这允许用户容易地修剪掉代表讨厌的人的树枝，或者将这些树枝放置在树的背面或者以其它方式移出视野。
在又一实施例中，响应于用户选择/操控或拾取对象，AR系统可提供关于该对象在语义上已知的内容的指示。例如，AR系统可使得世界相对于语义上已知的内容轻柔地发光。例如，如果用户拾取电视，则AR系统可以呈现显示出可以放置电视的地方的虚拟内容。
“记住这个”应用
在又一实施例中，AR系统可允许用户明确地指定用于跟踪的环境中的重要对象(例如，喜爱的杯子、汽车钥匙、智能手机等)。具体地，AR系统可采用交互式建模/分析阶段，然后在视觉上和基本上连续地跟踪所指定的对象。这允许AR系统在用户请求时(例如，“我的电话在哪里出现？”)调用指定对象的最后已知位置。
例如，如果用户已经将蜂窝电话指定为此对象，则特定蜂窝电话对象识别器可执行以在捕获的图像信息中识别出特定用户的蜂窝电话的存在。每次检测到蜂窝电话的所得位置信息可以被分发回基于云的计算机系统。当用户错放了移动电话时，用户可简单地查询AR系统以搜索蜂窝电话最近被检测到的位置。
身体穿戴部件的图片应用
应理解，身体穿戴(例如，头戴式)部件的图像传感器(例如，摄像机)可以以各种形式捕获图像信息。例如，摄像机可以捕获2D静止图像或图片、2D运动图片或视频或4D光场(例如，世界模型)。
AR系统可执行或向应用提供图像信息，该应用格式化或变换图像信息，并根据指令转发或提供格式化或变换的信息。例如，应用允许例如具有AR系统的其他人进行2D图像打印、2D图像共享、2D视频共享、3D视频共享以及3D物理打印等。
对于本地2D摄像机和2D视频，如果AR系统跟踪头部姿势，则它可以使用可传递世界模型基于用户移动的位置重新呈现空间的虚拟遍历。
对于利用捕获4D光场的摄像机的实施方案而言，应用可允许从4D光场捕获2D图像或2D视频。转换为2D图像或2D视频允许使用传统的2D软件和打印机共享或打印。AR系统也可共享3D视图，例如被锁定到用户头部的3D视图。此类实施例可使用类似于在游戏引擎中呈现的技术。在一些实施方案中，摄像机可能够捕获3D宽视场运动图像或视频。例如，此类图像或视频可经由能够呈现3D宽视场图像的AR系统部件或可以向用户呈现宽视场的一些其它装置来呈现。
校正
以下部分将仔细考查与个人AR系统的跟踪摄像机相关的全局坐标系中的校正元素。参考图136，出于说明的目的，可以假设AR系统利用摄像机系统(诸如，单个摄像机或摄像机阵列)(例如，FOV摄像机、深度摄像机、红外摄像机等)来检测和估计世界的三维结构。如上所述，该信息继而可与可根据需要被有利地检索的世界的信息一起用来填充地图(例如，可传递世界模型)。
在AR系统中，显示系统通常可在物理上相对于摄像机固定(例如，摄像机和显示系统可诸如通过头戴式显示器的结构被固定联接或紧固在一起)。在虚拟显示器中呈现的任何像素可由像素值(例如，可替换为像素坐标的符号)和三维位置来表征。
参考图136，给定在世界中的任意3D点P 13602，目标可为计算显示器(例如，具有分辨率1280×720)中的像素U 13604，使得像素U的3D位置精确地位于P和用户的瞳孔E13606之间。
在该模型中，瞳孔的3D位置和虚拟显示屏幕13610的3D配置被明确地建模(由用户感知的浮动在空中的图像，其由显示器光学元件产生)。瞳孔E的3D位置被参数化为摄像机参考系内的3D点。
虚拟显示器13610被3个外角(锚点)AO 13612、A1 13614和A2 13616(3×1矢量)参数化。表示为a0、a1、a2的这些锚点的像素值也是已知的(2×1矢量)。
给定像素位置u，可使用以下方程式计算像素位置u的3D位置：
U＝A0+[A1-A0,A2-A0]*[a1-a0,a2-aO]^-T*(u–a0)
令A表示应用于[u：1]的简化乘法矩阵。因此，上述方程式变为等价于以下方程式：
U＝A*[u^T,1]^T (方程式1)
应当注意，A不是由A0、A1、A2直接组成。锚点可以任意选择，但A保持固定在特定的屏幕上。应理解，图136中的A0、A1、A2的图示仅用于说明性目的，并且在校正过程期间可能不具体计算A0、A1、A2。相反，计算A的值可能就足够了。
A为自由度至多为9的3×3矩阵：A0为3、A1为3、A2为3。如果假设A1-A0垂直于A2-A0，则A的自由度(DOF)被扣除1。如果虚拟屏幕13610的宽高比是已知的，则A的DOF再次被扣除1。如果屏幕中心到瞳孔13506之间的距离是已知的，则DOF再次扣除1。如果屏幕的视场是已知的，则DOF扣除最多为5。因此，唯一未知的可为距离(1)、面内旋转(2)和视角(3)。
应理解，校正的目的是估计A和E。在呈现阶段，给定任意的3D位置P 13602(在摄像机参考系中)，可计算对应于在P和E之间的线与虚拟屏幕相交的点的像素值u。
由于U＝A*[u^T，1]^T，E-U和E-P对齐的约束等效于：P-E＝c*(U-E)(方程式2)
应理解，c是未知乘数。方程式(2)具有3个方程式和3个未知数(u_x，u_y，c)。通过求解方程式(2)，简化的闭式解可以写成如下方程式：
u_x＝(A1_2*A2_3*E3-A1_2*A3_3*E2-A1_3*A2_2*E3+A1_3*A3_2*E2+A2_2*A3_3*E1-A2_3*A3_2*E1-A1_2*A2_3*P3+A1_2*A3_3*P2+A1_3*A2_2*P3-A1_3*A3_2*P2-A2_2*A3_3*P1+A2_3*A3_2*P1+A1_2*E2*P3-A1_2*E3*P2-A2_2*E1*P3+A2_2*E3*P1+A3_2*E1*P2-A3_2*E2*P1)/(A1_1*A2_2*E3-A1_1*A3_2*E2-A1_2*A2_1*E3+A1_2*A3_1*E2+A2_1*A3_2*E1-A2_2*A3_1*E1-A1_1*A2_2*P3+A1_1*A3_2*P2+A1_2*A2_1*P3-A1_2*A3_1*P2-A2_1*A3_2*P1+A2_2*A3_1*P1) (方程式3)
u_y＝(A1_1*A2_3*E3-A1_1*A3_3*E2-A1_3*A2_1*E3+A1_3*A3_1*E2+A2_1*A3_3*E1-A2_3*A3_1*E1-A1_1*A2_3*P3+A1_1*A3_3*P2+A1_3*A2_1*P3-A1_3*A3_1*P2-A2_1*A3_3*P1+A2_3*A3_1*P1+A1_1*E2*P3-A1_1*E3*P2-A2_1*E1*P3+A2_1*E3*P1+A3_1*E1*P2-A3_1*E2*P1)/(A1_1*A2_2*E3-A1_1*A3_2*E2-A1_2*A2_1*E3+A1_2*A3_1*E2+A2_1*A3_2*E1-A2_2*A3_1*E1-A1_1*A2_2*P3+A1_1*A3_2*P2+A1_2*A2_1*P3-A1_2*A3_1*P2-A2_1*A3_2*P1+A2_2*A3_1*P1) (方程式4)
如上所述，为了简单起见，这里省略了c的计算。应理解，上述解决方案在屏幕几何形状上没有先验的假设。如果考虑到这些假设(例如，虚拟屏幕的屏幕侧是垂直的，屏幕轴线平行于视线等)，则可进一步简化上述方程式。
鉴于上述考虑，在一个实施例中，合适的校正过程可包括以下概述的步骤。应理解，此校正通常需要用户佩戴头戴式AR系统，并且基于用户在观看物理世界时通过AR装置看到什么来提供一些响应。以下概述的示例校正设想使用标线的瞄准系统。当然，可类似地使用其它方法，并且以下步骤不应被理解为限制。
首先，可打印出标记。在一或多个实施方案中，可使用ArUco标记。ArUco是用于检测增强现实标记的最小C++库。该库依赖于编码标记的使用。每个标记可具有唯一的代码(例如，唯一的黑白图案)。
接下来，标记可被放置在用户的前面，使得标记的缺失部分被放置在用户的视场的角落。接下来，测量用户的瞳孔相对于摄像机的粗略位置(例如，厘米)。
可在摄像机坐标系中测量位置。摄像机孔径可位于3D坐标空间中的0,0,0处。粗略的位置测量可能最多一厘米的误差。
接下来，用户可以以使得用户和摄像机都可看到标记的方式佩戴可穿戴AR系统。可运行配置程序以便确定摄像机是否检测到标记。如果摄像机检测到标记，则用户将在屏幕上看到彩色图像。
给定合理的初始校正值，用户也可通过AR系统的显示装置看到与棋盘大致对准的绿色网格。然而，即使用户没有第一次看到它，用户可能被要求继续。
接下来，可首先校正左眼或右眼。当校正过程开始时，用户可移动他或她的头部，使得在HMD屏幕中突出显示的标记的角落瞄准标记的物理对应角落。
用户可进行选择以命令软件移到下一个目标。目标可随机选择。该过程可被重复N次(例如，基于预定值)。建议N为校正模型的DOF数的两倍以上。
在收集N个数据点之后，程序可在优化过程期间暂停，随后软件可用网格呈现两只眼睛。已经过校正的眼睛可看到与物理板良好对准的绿色网格。此结果可被自动保存在文件中。
校正过程提供一组对应关系(X_i，Y_i，Z_i，u_i，v_i)，其中i＝1：N，X、Y、Z为由摄像机检测到的3d点，以及u、v为由用户对准的屏幕像素位置。
可存在若干约束，诸如以下方程式：
屏幕物理结构的先验知识也可提供约束：
垂直屏幕侧约束可由以下方程式表示：
{E}＝argminE[0，1，1]ATA[1，0，1]
屏幕到瞳孔距离(假设为d)约束可由以下方程式表示：
{E，A}＝argminA，E(|A[w/2，h/2，1]-E|2-d2)
组合上述约束，E和A可使用二次优化方法(例如，用于优化的牛顿方法等)来求解。
换句话说，返回参考图136，校正的目标是确定图像平面相对于跟踪摄像机(其可被安装在用户的头上)的位置。此外，也可考虑用户的眼睛的位置。眼睛位于离图像平面的特定距离处，并通过AR系统观察物理世界。
在一个实施例中，用户将从安装到AR系统的空间光调制器(例如，光纤扫描装置等)接收AR体验的虚拟方面，并且该图像可以以已知的焦距(用于“虚拟屏幕”的代表性图像平面，且该焦平面可以被扭曲、旋转等的)呈现。再者，校正的目的是估算图像平面相对于摄像机的位置。换句话说，可能有或可能没有看着眼睛以发现注视的摄像机(“眼睛跟踪摄像机”)等。虽然眼睛跟踪摄像机可使得校正更准确，但应理解，校正过程可利用或不利用眼睛跟踪摄像机来工作。
通常，跟踪摄像机和AR装置将被刚性耦合，因此可做出关于跟踪摄像机和AR装置之间的关系的一组已知假设。因此，可以为用户执行一次虚拟扫描校正，但是每当新用户佩戴AR系统时，可进行新的校正。用户的眼睛位置可被称为E，如图136所示(其是3×1矢量；(x，y，z))。校正系统也从摄像机接收输入，如上所述。
各个点的坐标值可由摄像机测量。基于这些值，可构建相对于摄像机的坐标系。例如，假设现实世界中有一个点是x，y，z，则该点可以被定义为摄像机自身上的0，0，0。进行此校正的一个目的是测量虚拟屏幕上的点――使得当用户通过AR系统观看时，图像平面上的点和现实世界空间中的点在空间中的同一直线上。
这允许系统在虚拟屏幕/图像平面上的适当位置处呈现虚拟内容。换句话说，如果虚拟屏幕是“A”，并且点U将被呈现(2x1像素值)，则可能需要确定实际空间P0(x，y，z)中的点Po。换句话说，需要确定函数U＝Fu(P，E，A)。例如，给定P是已知的，E是未知的并且A是未知的，需要确定像素位置U(参考图136)。
目的是确定上述关系中的E和A。可以从问题的反向角度出发来解决该关系。第一步可为计算图像平面A上的U像素的3D坐标位置。因此，给出了相反的呈现过程：给定2D像素值，如何计算3D位置(与呈现相反，其中，3D位置是已知的，并且需要确定2D像素)。可以记得，虚拟屏幕或平面A不需要垂直于用户，而是可以相对于AR系统的用户处于任何取向。在一或多个实施例中，可存在扭曲。
平面A可由三个角定义：a0、a1、a2。例如，假设虚拟屏幕分辨率为800×600像素：可以说a0为0，0；a1为800，0；a2为800，600。这些坐标可被称为这三个点A0、A1和A2的3D坐标值。
如果减去(U-a0)，则获得从点a0到点U的矢量。如果将它乘以相反数(reverse)并转置它，则它变成([a1-a0，a2-a0]-1)。然后，如果乘以[A1-A0，A2-A0](这是3×2矩阵)，则可获得U相对于A0的3D坐标。
现在，如果将其添加到A0，则可获得摄像机工作空间/坐标系内部的U像素的3D坐标。因此，可使用V的线性代数关系(认为“V”为“大写u”)。例如，如果U为(x，y)，这可被简化为：V＝A*[Ux，Uy，1]。因此，一切可被压缩成3×3矩阵。到目前为止，在该配置中，A0、A1或A2的值是未知的。因此，校正的一个目的可为确定矩阵A的值。换句话说，如果矩阵A的值是已知的，则图像平面的确切几何形状也可为已知的。换句话说，图像平面的几何形状由矩阵A编码。
如上所述，在此情况下的这种校正的目的是呈现像素U，使得E、像素U和P0形成直线。如上所述，当将AR系统放置在新用户上时，可校正AR系统。校正系统可呈现点――使得用户可尝试将该点与现实世界的物理方面对准。这可针对多个点(例如，20个点)重复，之后可校正用户并准备进行操作。此过程可作为仅花费几秒钟的简单游戏(例如，用户通过眼睛运动激发激光或用眼睛击中虚拟目标)提供给用户。
在一个实施例中，可使用将三个受试点强制在同一直线上的另一公式。换句话说，可给出点，并且用户可被要求将该点与真实世界中的物理对象对准：P-E(P到眼睛的矢量)等于或者为某常数C和矢量(V-E)的倍数。可从上面的论述中回想U和P是已知的，因此P-E＝C*(V-E)。然后P-E＝C*(A*[Ux，Uy，1]-E)。
因此，对于玩校正游戏的用户所瞄准的每个点，他/她可生成这样的约束，每个约束由三个方程(对于x，y和z)组成。因此，
P1-E＝Cr(A*[U1x，Y1y，1]-E)
P2-E＝C2*(A*[U2x，Y2y，1]-E)和
P3-E＝C3*(A*[U3x，Y3y，1]-E)。
当然，如果累积20个这样的方程式，则将存在60个约束(例如，20×3)。A是未知的，它是3x3的矩阵；E是3×1矩阵。如果存在关于A的一些假设(例如，屏幕不歪斜，并且屏幕的宽高比是已知的，虚拟平面到跟踪摄像机的实际距离等)，则在求解这些方程时可能存在一些正则化。
因此，在考虑此类正则化之后，可能存在12个未知数加上未知的C。C为标量。如果没有先前知识，则未知数的数量为：3+9-n(其中，n为校正点的数量；每次有至少一个额外的C)。约束数为n*3。此外，需要对虚拟平面相对于跟踪摄像机的位置进行初始粗略猜测。
因此，如果3+9-n<3n；则12<4n；或3<n。换句话说，只有4点。因此，可从用户收集更多数量的点以尝试获得至少一个平方解或者鲁棒估计量解。
正则化
为了确定屏幕到眼睛的距离，可使用另一方程式。可能需要确定瞳孔E的中心和屏幕的中心之间的距离。屏幕的中心简单地为屏幕w的宽度除以2(w/2)和屏幕的高度h除以2(h/2)。因此，摄像机坐标系中的屏幕中心可由以下方程式表示：
A*[w/2，h/2，1]
然后，可减去瞳孔E并放置约束以使平方值等于某先前值d(s-e)(屏幕到眼睛)。这可产生如下的方程式：
接下来，如果知道屏幕不歪斜，则屏幕的两侧总是彼此垂直。该垂直屏幕约束意味着A的第一列的逆*A的第二列＝0。这可被称为“垂直屏幕约束”。
接下来，如果知道屏幕不相对于眼睛旋转(例如，屏幕在直立位置中总是在用户的前面)，则该信息也可能是关键的。从E到屏幕中心的矢量可被表示为以下方程式：
A[w/2，h/2，1]-E。
也许该矢量可被称为“α”，其表示从眼睛到屏幕中心的距离。人们知道A的第一列沿着屏幕的宽度，而A的第二列沿着屏幕的高度。因此，有：
(Acol 1)的转置*α＝0
和
(Acol 2)的转置*α＝0。
因此，在此配置中，宽度垂直于用户的视线，并且高度也垂直于用户的视线。因此，该屏幕可垂直于用户的视线(可以是一个或另一个)。
因此有四个约束；这将A的总DOF减小到5。因此，更多的正则化允许较小数量的校正数据点，并且还显着增加其精度。
应理解，如果校正被执行一次，则虚拟屏幕和眼睛之间的关系是已知的。关于屏幕的那些未知量相对于与屏幕无关的那些被分离出来。这是很好的，因为用户眼睛配置可能不同。假定关于A的数据是已知的，则唯一的未知变为眼睛E的位置。换句话说，如果进行具有瞄准10个点的用户的校正例程，则将有10个堆叠在一起的可以被求解的阵列；唯一未知的将是E(例如，A可被消除)。因此，可以使用具有较少未知数的相同解算器方程，而且使用这种技术具有高得多的精度。如果系统具有眼睛跟踪摄像机(例如，指向用户眼睛的图像捕获装置)，则E也可为给定的。在此情况下，当用户佩戴头戴式AR装置时，可能不需要校正，因为屏幕平面的几何形状A被预校正(由工厂、某些其他用户或由相同的用户)。由于眼睛摄像机直接测量E，因此可以在没有任何校正的情况下呈现。值得注意的是，如果这些种类的约束不精确，则可能存在第四种正则化：眼睛位置的先验知识。换句话说，期望当前眼睛位置到前一眼睛位置的距离非常小。因此，在最小平方表示中，它可以由以下方程式表示：
(E-Eprior)2＝0。
当然，应理解，Eprior的值可通过眼睛跟踪摄像机得出。
现在参考图145，论述了在AR系统上执行校正的示例方法145。在F14502，向用户显示虚拟图像。虚拟图像可为任何图像。如上所述，虚拟图像可简单地包括用户聚焦的点。在其它实施例中，虚拟图像可为任何图像，并且可指导用户聚焦在特定像素(例如，由特定颜色表示等)。
在14504，AR系统确定虚拟图像的位置。在一或多个实施例中，虚拟图像的位置可为已知的，因为系统知道向用户显示虚拟图像的深度。在14506，AR系统可计算用户的眼睛瞳孔的位置。这可通过上述的各种技术来计算。在14508，AR系统可使用用户的眼睛瞳孔的计算的位置来确定虚拟图像的像素被显示给用户的位置。用户输入也可被用于确定像素的位置。
在14510，可要求用户将像素点与空间中的已知点对准。在14512，可确定是否已经收集了足够的点N。应理解，各个像素点可被策略性地定位于各个点以及各个方向上，以获得AR系统的显示器的多个部分的精确校正值。如上所述，在一些实施例中，点的数量(例如，20个像素点)应当相当高以获得更高的精度。
如果确定需要更多的点，则过程返回到14502以收集其它像素点的数据。在14512，如果确定已经收集了足够的点，则可基于所收集到的数据调整像素和/或所显示的各种值(14514)。
事务协助配置
当前AR系统理想地适合于帮助用户进行财务和其它方面的各种类型的交易，因为AR系统非常适合于识别、定位、认证和甚至确定用户的注视。
在一或多个实施例中，可基于眼睛跟踪来识别用户。当前AR系统通常具有关于用户的注视和焦点的知识。如上所述，在各种实施例中，头戴式AR系统具有定向成捕获与用户的眼睛相关的图像信息的一或多个摄像机。在一种配置中，诸如图137所示，用户的每只眼睛可具有聚焦在眼睛上的摄像机13702以及3个或更多个LED(在一个实施例中。直接在眼睛下方，如图所示)，其具有到摄像机的已知偏移距离，以在眼睛的表面上引起闪烁，如上面详细描述的。
使用已知偏移的三个LED是因为通过三角测量，可以推断从摄像机到每个闪光点的3D距离。利用至少3个点和眼睛的近似球形模型，可推导出眼睛的曲率。利用3D偏移和眼睛的已知取向，可以形成虹膜或视网膜的精确(图像)或抽象(梯度或其它特征)模板(在其它实施例中，视网膜和在眼睛中和眼睛上的静脉图案)。这允许用户精确识别：
在一或多个实施例中，虹膜识别可被用于识别用户。眼睛的虹膜中的肌纤维的图案为每个人形成稳定和独特的图案。该信息可以有利地以许多不同的方式用作识别码。目标是从眼睛中提取出足够丰富的纹理。由于AR系统的摄像机从下面或从侧面指向眼睛，因此代码不需要是旋转不变的。
图138示出了仅仅用于参考的来自虹膜的示例代码13800。可能有以下的摄像机和提供3D深度信息的许多其它LED。这可被用于形成模板代码，并且针对瞳孔直径及其3D位置被归一化。在用户注册装置时(例如，在设置时间期间等)，可从若干不同视图随时间推移捕获此代码。
如上所述，在一个实施例中，HMD包括由通过可控光纤电缆导向的激光扫描器驱动的衍射显示器。该电缆也可被用于观察眼睛并观察视网膜本身，视网膜也是视杆、视锥(视觉受体)和血管的独特图案。这些也形成每个个体唯一的图案，并且因此可被用于唯一地识别每个人。
现在参考图139，该图示出了视网膜13900的图像。类似于上述实施例，视网膜的图像也可使用任何数量的常规手段转换为图案。例如，深色和浅色血囊的图案对于每个用户来说可能是唯一的。这可通过标准技术被转换为“暗光”代码，诸如对图像运行梯度算子，并且计数以视网膜中心为中心的标准网格中的高/低变换。
由于本文所述的各种AR系统被设计为持久地佩戴，因此它们还可被用于监测用户眼睛中的任何缓慢变化(例如，诸如白内障的发展等)。此外，虹膜和视网膜的可视化也可被用于提醒用户其它健康变化，诸如充血性心力衰竭、动脉粥样硬化和胆固醇，其征兆往往首先出现在眼睛中。
因此，至少由于以下原因，可利用当前系统以增强的准确度来识别和辅助用户。首先，系统可以确定眼睛的曲率/大小，这有助于识别用户，因为眼睛在人之间具有相似但不完全相同的大小。第二，系统具有时间信息的知识；系统可以确定用户的正常心率，是否用户的眼睛正在产生水分，是否眼睛接近并聚焦在一起，是否呼吸模式，眨眼率或血管中的血液脉冲状态正常等。接下来，系统也可以使用相关信息；例如，系统可以将环境的图像与期望的眼睛运动模式相关联，并且也可以检查用户正在看到被认为位于该位置处的相同的期望场景(例如，从GPS、Wi-Fi信号和环境地图等导出)。例如，如果认为用户在家中，则系统应当在所知家庭内部看到预期姿势正确的场景。最后，系统可以使用高光谱和/皮肤/肌肉电导来识别用户。
所有上述内容可以有利地用于开发极安全形式的用户识别。换句话说，本系统可被用于以相对高的精确度确定用户的身份。由于本系统可被用来以不寻常的确定性并在持久的基础上(时间信息)得知用户是谁，它还可以用于允许微交易。
密码或注册码可被删除。当前系统可以以高的确定性确定用户的身份。利用该信息，可在关于网站的条款的简单通知(例如，浮动虚拟框)之后允许用户访问任何网站。
在一个实施例中，系统可产生几个标准条款，使得用户立即知道该网站上的条件。如果一或多个网站不遵守公平的一组条件，则AR系统可不自动地允许访问该特定网站或在该特定网站上进行微交易(如下所述)。
在给定网站上，AR系统可确保用户不仅观看或使用了一些内容，而且AR系统还可确定内容被使用的时间长度(例如，快速浏览可以是免费的，但是更长时间的使用会有费用)。
在一个更多的实施例中，如上所述，可通过此系统容易地执行微交易。例如，不同的产品或服务可以以一分钱的分数来定价(例如，新闻文章可花费1/3分；一本书可以以一分钱一页收费；音乐以10分钱收听一次等)。在当前的货币范式内，使用微交易是不切实际的，因为在用户之间跟踪此种活动可能更加困难。然而，通过AR系统，AR系统可容易地确定用户活动并跟踪它。
在一或多个实施例中，AR系统可接收交易的小百分比(例如，1％交易费用等)。在一个实施例中，系统可被用于创建可由用户控制的帐户，其中，聚合了一组微交易。该组可以被聚合，使得用户可在金额超过阈值时支付网站或实体。或者，在另一实施例中，如果没有达到阈值，则可简单地例行地清除该金额。
在另一实施例中，父母可对他们的孩子的帐户具有类似的访问权。例如，策略可被设置为允许不超过一定百分比的支出，或者创建对支出的限制。可促进各种实施例，如使用以下实施例所描述的。由于AR远程呈现概念，即使用户不在物理上出现，也可将货物递送到用户的优选位置。也就是说，利用AR远程呈现，用户可在办公室位置，但可让送货人进入他们的家，或者通过化身远程呈现出现在送货人面前。
由于本系统可被用于跟踪眼睛，它也可以允许“一眼”购物。也就是说，用户可以简单地查看对象(例如在酒店中的长袍)并创建诸如“当我的帐户回到3000美元以上时，我想要”的条款。当用户查看感兴趣的特定对象时，类似的产品也可虚拟地显示给用户。
在一或多个实施例中，AR系统可读取条形码。这也可便于用户进行交易。在一或多个实施例中，可针对尽可能多的产品和产品类别来呈现旧货市场。可总是将用过的物品与新的物品形成对比。
对于许多物品，由于AR系统可被用于呈现3D对象，所以用户可简单地在3D对象周围走动以从所有侧面对其进行检查。可设想，随着时间的推移，大多数物品可对应于可通过对对象的快速扫描来更新的3D模型。实际上，诸如蜂窝电话或智能电话的许多物品可变得虚拟化，使得用户获得相同的功能而不必购买或携带传统硬件。
在一或多个实施例中，AR系统的用户可通过总是访问对象目录来管理所有物品，其中每一个可以以建议的或用户可设置的价格立即投入市场。在一或多个实施例中，AR系统可具有与本地公司的安排，以便以对用户的成本存储商品，并且与一或多个网站分割成本。
在一或多个实施例中，AR系统可提供虚拟市场。换句话说，AR系统可托管可为完全虚拟的(经由服务器)或完全真实的市场。在一或多个实施例中，AR系统可开发独特的货币系统。货币系统可被索引到使用当前技术的每个人的非常可靠的识别。在此情况下，当安全地得知每个操作者时，不会有偷窃。
当用户数量增加时，此货币可随时间增长。也就是说，加入系统的每个用户可向系统中添加总资金。类似地，每次购买物品时，货币可能膨胀超过一点，使得用户不具有保持大量货币的动机。这鼓励了经济中货币的自由流动。货币可以被建模以刺激最大交互/最大经济增长。
新货币可能以与现有货币财富相反的比率分配。新用户可能会收到更多，而富人可能收到更少。如果货币供应量缩减超过阈值限制，则相反情况可为真。
这种货币系统可使用最着名的经济实践在自适应数学模型上运行，而不受到人为干预。也就是说，在经济衰退期间，货币的通货膨胀因素可能变得更大，使得货币开始流入系统。当经济繁荣时，货币可能会收缩以抑制市场波动。在一或多个实施例中，模型参数将被公开广播，并且货币将浮在其它货币上。
在一个实施例中，可利用视网膜签名的安全数据访问。在此实施例中，本主题系统可允许文本、图像和内容可选择性地传输到可信安全硬件装置并且仅可在可信安全硬件装置上显示，当用户可以基于一或多个动态测量的视网膜签名进行认证时，允许访问。由于显示装置直接投影到用户的视网膜上，所以只有预期的接收者(通过视网膜签名识别)可能够观看受保护的内容。此外，因为观看装置主动监测用户的视网膜，所以动态读取的视网膜签名可被记录为内容事实上已被呈现给用户眼睛的证据(例如，一种数字收据的形式，可能伴随着验证动作，诸如执行所请求的眼睛运动序列)。
欺骗检测可基于预期的自然变化的模型排除使用视网膜图像、静态或2D视网膜图像、所生成的图像等的先前记录的尝试。可生成唯一的基准/水印并将其投影到视网膜上以生成用于审计目的的唯一的视网膜签名。
本文描述了本发明的各种示例实施例。以非限制性的含义参考这些实施例。提供它们以说明本发明的更广泛适用的方面。在不脱离本发明的真实精神和范围的情况下，可对所描述的本发明进行各种改变并且可替换等同物。此外，可进行许多修改以使特定情况、材料、物质组成、工艺、工艺操作或步骤适应于本发明的目的、精神或范围。此外，如本领域技术人员将理解的，本文所描述和示出的每个单独变体具有离散的部件和特征，其可容易地与任何其它几个实施例的特征分离或组合，而不脱离本发明的范围或精神。所有此类修改旨在在与本公开相关联的权利要求的范围内。
本发明包括可使用本发明装置执行的方法。该方法可包括提供此合适装置的动作。此类提供可由最终用户来执行。换句话说，“提供”行为仅要求最终用户获得、访问、接近、定位、设置、激活、通电或以其它方式动作以在本主题方法中提供必要的装置。本文所述的方法可以以所述事件的逻辑上可能的任何顺序进行，以及以所述事件顺序进行。
上面已经阐述了本发明的示例性方面以及关于材料选择和制造的细节。关于本发明的其它细节，可结合上述引用的专利和出版物以及本领域技术人员通常已知或了解的那些来理解这些细节。就通常或逻辑上采用的附加动作而言，这同样适用于本发明的基于方法的方面。
另外，尽管已经参考可选地并入各种特征的若干示例描述了本发明，但是本发明不限于关于本发明的每个变体所描述或指示设想的那些。可对所描述的本发明进行各种改变，并且在不脱离本发明的真实精神和范围的情况下，可替换等同物(无论是否在本文中列出或者为了简洁考虑，未被包含在本文中)。此外，应理解，在提供值的范围的情况下，在该范围的上限和下限之间的每个中间值以及在所述范围内的任何其它陈述的或中间的值涵盖在本发明内。
此外，预期所描述的本发明变体的任何可选特征可独立地或与本文所述的任何一或多个特征组合地阐述和要求保护。提及单数物品时，包括存在多个相同物品的可能性。更具体地，如本文和与其相关的权利要求中所使用的，除非另有明确说明，否则单数形式“一”、“一个”、“所述”和“该”包括复数指代。换句话说，这些冠词的使用允许在上述描述中以及与本公开相关联的权利要求中的主题物品的“至少一个”。还应注意，可撰写此类权利要求以排除任何可选元素。因此，本声明旨在用作与权利要求要素的叙述有关的诸如“单独”、“仅”等排他性术语或使用“否定”限制的前提基础。
在不使用此排他性术语的情况下，与本公开相关联的权利要求中的术语“包括”将允许包括任何附加元素，而不管在此类权利要求中是否列举了给定数量的元素，或者特征的添加可以被认为是对这些权利要求中提出的元素的性质的改变。除了本文具体定义之外，本文所使用的所有技术和科学术语应以尽可能广泛的通常理解的含义给出，同时保持权利要求的有效性。
本发明的范围不限于所提供的示例和/或主题说明书，而是仅由与本公开相关联的权利要求语言的范围限定。

Claims (299)

1.一种生成映射数据的方法，包括：
识别与一或多个图像相关联的一组映射点；
从所识别的映射点确定稀疏点集合和密集点集合；以及
执行稀疏点和密集点的相应集合的归一化。
2.根据权利要求1所述的方法，另外包括：
针对所述相应的稀疏点集合和密集点集合生成稀疏点和密集点描述符；并且
组合所述稀疏点描述符和密集点描述符以存储为映射数据。
3.根据权利要求1所述的方法，其中，所述稀疏点集合对应于区别特征。
4.根据权利要求3所述的方法，其中，所述区别特征选自由角、圆、三角形和文本组成的组。
5.根据权利要求1所述的方法，其中，所述密集点集合对应于视场内的3D点。
6.根据权利要求5所述的方法，其中，所述密集点集合还包括颜色值。
7.根据权利要求1所述的方法，其中，所述归一化包括缩放归一化。
8.根据权利要求1所述的方法，其中，所述归一化包括至共同原点的坐标归一化。
9.根据权利要求1所述的方法，其中，所述归一化使用机器学习来实现。
10.根据权利要求1所述的方法，其中，所述稀疏点和密集点描述符对应于所述相应稀疏点和密集点集合中的每个稀疏点和密集点。
11.根据权利要求10所述的方法，其中，每个稀疏点和密集点描述符包括关于从由缩放、取向、补片数据和纹理组成的组中选择的相应稀疏和密集点的信息。
12.一种用于确定用户输入的方法，包括：
捕获用户的视场的图像，所述图像包括由所述用户产生的姿势；
分析所捕获的图像以识别与所述姿势相关联的点的集合；
将所识别的点的集合和与预定姿势的数据库相关联的点的集合进行比较；并且
基于所识别的姿势来确定用户输入。
13.根据权利要求12所述的方法，还包括基于所述比较生成用于所识别的点的集合的得分值。
14.根据权利要求13所述的方法，还包括当所述得分值超出阈值时识别姿势。
15.根据权利要求12所述的方法，还包括将所述预定姿势存储在数据库中。
16.根据权利要求15所述的方法，还包括访问联网存储器以访问所述预定姿势的数据库。
17.根据权利要求12所述的方法，其中，所述姿势为手势。
18.根据权利要求12所述的方法，其中，所述姿势为手指姿势。
19.根据权利要求12所述的方法，其中，所述姿势为手指间交互。
20.根据权利要求12所述的方法，其中，所述姿势从包括手指间交互、指向、轻拍和摩擦的组中选择。
21.根据权利要求12所述的方法，还包括至少部分基于所确定的用户输入向所述用户显示一或多个虚拟对象。
22.根据权利要求21所述的方法，其中，所述一或多个虚拟对象包括虚拟用户界面。
23.一种方法，包括：
捕获对应于用户的视场的一个或多个图像；并且
分析所捕获的一或多个图像以识别由所述用户产生的一或多个姿势，其中，所述分析包括利用具有多个级的级联机制。
24.根据权利要求23所述的方法，其中，所述级联机制包括多个节点，每个节点对应于多个级中的级。
25.根据权利要求23所述的方法，其中，所述级联机制包括一系列许可分析节点。
26.根据权利要求23所述的方法，其中，所述级联机制的多个级中的较早级与所述级联机制的多个级中的较后级相比消耗较少的处理能力。
27.根据权利要求26所述的方法，其中，非姿势基于在所述级联机制的较早级对所捕获的图像的分析被去除。
28.根据权利要求26所述的方法，其中，所述多个级中的较后级至少部分基于所捕获的图像来确定更复杂的姿势。
29.根据权利要求26所述的方法，其中，对所捕获的图像的分析包括确定所捕获的图像中各种形状的轮廓的锐度是否足够锐利以构成姿势。
30.根据权利要求26所述的方法，其中，所述级联机制的较后级被用于区分不同的姿势。
31.根据权利要求23所述的方法，还包括至少部分基于所述分析生成得分。
32.根据权利要求31所述的方法，还包括，如果所生成的得分低于最小阈值，则从考虑中移除候选图像。
33.根据权利要求31所述的方法，还包括，如果所生成的得分高于最小阈值，则推进到所述级联机制的较后级。
34.一种方法，包括：
捕获用户的相应视场的多个图像；
分析所述多个图像以生成多个姿势候选；以及
生成与所述多个姿势候选相对应的分析值，其中，姿势至少部分基于所述分析值来识别。
35.根据权利要求34所述的方法，还包括至少部分基于相应分析值对所述姿势候选进行排序。
36.根据权利要求34所述的方法，还包括消除具有低于最小阈值的分析值的姿势候选。
37.根据权利要求34所述的方法，还包括，如果所述分析值高于最小阈值，则将所述姿势候选推进到下一处理级。
38.一种用于分类姿势的方法，包括：
捕获用户的视场的图像；
对所述捕获图像执行深度分割以生成深度地图；以及
至少部分基于所生成的深度地图识别姿势。
39.根据权利要求38所述的方法，还包括使用分类器机制来分析所述深度地图，以识别与所述深度地图中的点相对应的手的一部分。
40.根据权利要求39所述的方法，还包括基于所述手的一部分的识别来对所述深度地图骨架化。
41.根据权利要求40所述的方法，还包括基于所述骨架化深度地图将所述图像分类为姿势。
42.根据权利要求38所述的方法，其中，所述深度分割包括线搜索。
43.根据权利要求38所述的方法，还包括对所述深度地图执行级联分析以将所述图像分类为姿势。
44.根据权利要求38所述的方法，还包括对所述深度地图执行深度增强。
45.根据权利要求38所述的方法，还包括对所述深度地图执行表面归一化。
46.根据权利要求38所述的方法，还包括对所述深度地图执行取向归一化。
47.根据权利要求38所述的方法，还包括对所述深度地图执行背景减法。
48.根据权利要求38所述的方法，还包括对所述深度地图执行深度比较。
49.根据权利要求38所述的方法，还包括基于所述骨架化深度地图和先前信息将所述图像分类为姿势。
50.根据权利要求38所述的方法，其中，所述分类器机制为决策林。
51.一种用于确定的用户输入的方法，包括：
捕获用户的视场的一或多个图像，所述图像至少包括预定义物理对象；
分析所述图像以检测所述用户相对于所述预定义物理对象的运动；以及
至少部分基于相对于所述预定义物理对象的所述运动的分析来确定用户输入。
52.根据权利要求51所述的方法，还包括识别所述预定义物理对象。
53.根据权利要求52所述的方法，其中，所述预定义物理对象至少部分基于所述预定义物理对象的捕获图像和预定义物理对象的数据库之间的图像比较来识别。
54.根据权利要求51所述的方法，其中，所述用户相对于所述预定义物理对象的运动被用于生成图案。
55.根据权利要求54所述的方法，还包括将所生成的图案与预定图案的数据库进行比较。
56.根据权利要求51所述的方法，还包括基于所述比较生成所识别的图案的得分值。
57.根据权利要求56所述的方法，还包括当所述得分值超过阈值时确定所述用户输入。
58.根据权利要求51所述的方法，还包括视觉地跟踪相对于所述预定义物理对象的运动以生成视频记录。
59.根据权利要求58所述的方法，其中，分析所述视频记录以确定所述用户输入。
60.根据权利要求55所述的方法，还包括通过联网存储器访问预定图案的数据库。
61.根据权利要求51所述的方法，其中，所述预定义物理对象选自由所述视场中的现有结构、主动标记图腾、被动标记图腾、摄像机/传感器集成对象和图腾控制器对象组成的组。
62.根据权利要求51所述的方法，其中，相对于所述预定义物理对象的运动从包括所述预定义物理对象相对于参考系的位置、取向和移动的组中选择。
63.根据权利要求51所述的方法，其中，所述预定义物理对象包括所述用户手的第一只手，并且其中，相对于所述第一只手的运动包括用所述用户的第二只手对所述第一只手的操控。
64.根据权利要求51所述的方法，其中，所述预定义物理对象具有软硬度表面，并且其中，相对于所述预定义物理对象的运动包括所述用户压下所述软硬度表面。
65.根据权利要求51所述的方法，还包括为所述用户呈现与所述预定义物理对象相关联的虚拟界面元素。
66.根据权利要求65所述的方法，其中，当被所述用户观看时，所述虚拟界面元素相对于所述预定义物理对象显示，使得所述虚拟界面元素至少部分基于关于所述预定义物理对象的修改来修改。
67.根据权利要求51所述的方法，其中，所述预定义物理对象包括电子输入装置，并且其中，基于所识别的所述预定义物理对象的运动和来自所述电子输入装置的输入来确定用户输入。
68.根据权利要求51所述的方法，还包括至少部分基于所确定的用户输入来修改向用户显示的虚拟内容的至少一个特性。
69.一种用于生成虚拟用户界面的方法，包括：
基于用户输入识别要显示给用户的虚拟用户界面；
获得与所述用户相关联的位置；
至少部分基于所获得的位置来确定显示所识别的虚拟用户界面的一组坐标点；并且
在所确定的坐标点处向所述用户显示虚拟所述用户界面。
70.根据权利要求69所述的方法，其中，所述用户输入至少部分基于所识别的姿势来确定。
71.根据权利要求69所述的方法，其中，所述用户输入至少部分基于语音命令来确定。
72.根据权利要求69所述的方法，其中，所述用户输入至少部分基于与预定义物理对象的交互来确定。
73.根据权利要求69所述的方法，还包括从用户界面库检索所识别的用户虚拟用户界面。
74.根据权利要求69所述的方法，其中，所识别的虚拟用户界面与参考系相关联。
75.根据权利要求74所述的方法，其中，所述参考系为以身体为中心的参考系。
76.根据权利要求74所述的方法，其中，所述参考系为以头部为中心的参考系。
77.根据权利要求74所述的方法，其中，所述参考系为以手为中心的参考系。
78.根据权利要求74所述的方法，其中，所述参考系为以世界为中心的参考系。
79.根据权利要求69所述的方法，还包括，执行与所识别的虚拟用户界面相关联的参考系和所获得的用户相对于世界的位置之间的变换，以确定所述虚拟用户界面的坐标点集合。
80.根据权利要求69所述的方法，其中，所述用户在世界中的位置基于所述用户的GPS位置来确定。
81.根据权利要求69所述的方法，其中，所述用户在世界中的位置基于与所述用户相关联的一组映射点来确定。
82.根据权利要求69所述的方法，其中，当所述用户移动时，所述虚拟用户界面看起来是静止的。
83.根据权利要求69所述的方法，其中，所述虚拟用户界面相对于所述用户的移动而移动。
84.根据权利要求69所述的方法，还包括：
确定与所识别的虚拟用户界面相关联的参考系；
确定所述参考系相对于所述世界参考系的位置；
将所确定的位置设置为原点；并且
确定相对于原点的坐标点集合。
85.根据权利要求69所述的方法，还包括从联网存储器检索所述映射点集合。
86.根据权利要求69所述的方法，其中，所述用户输入包括待显示所述虚拟用户界面在空间中的位置。
87.根据权利要求86所述的方法，其中，在空间中的所述位置与在所述用户位置处的物理实体相关联。
88.根据权利要求69所述的方法，其中，所述用户输入包括包含指示墙的投掷输入的姿势。
89.根据权利要求69所述的方法，其中，所述用户输入包括表示结束生成所述虚拟用户界面的指令的姿势。
90.一种用于生成虚拟用户界面的方法，包括：
检测预定义物理对象的操控；
基于所检测到的操控来识别产生虚拟用户界面的命令；
从虚拟世界模型确定与所述预定义物理对象的位置相关联的一组映射点；以及
在所确定的与图腾的位置相关联的映射点处实时呈现所述虚拟用户界面，使得当被所述用户观看时，所述虚拟用户界面看起来在所述预定义物理对象的位置处静止。
91.根据权利要求90所述的方法，其中，所述预定义物理对象的操控包括用户的手在所述预定义物理对象的表面上的扩张捏合姿势。
92.根据权利要求91所述的方法，其中，当被所述用户观看时，所述虚拟用户界面看起来覆盖所述预定义物理对象的表面的一部分，所述部分对应于在形成所述扩张捏合姿势期间所述用户的手的位置。
93.根据权利要求90所述的方法，其中，所述预定义物理对象为所述用户的手。
94.根据权利要求93所述的方法，其中，所述预定义物理对象的操控包括从包括所述用户打开手、所述用户显示手的打开手掌以及用户举起手的组中选择的动作。
95.根据权利要求94所述的方法，其中，在被所述用户观看时，所述虚拟用户界面看起来覆盖手的表面的一部分。
96.根据权利要求95所述的方法，其中，所述虚拟用户界面包括可由所述手的手指或拇指选择的多个第一级菜单项。
97.根据权利要求96所述的方法，还包括：
检测所述手的进一步操控；
基于所检测到的进一步操控来识别用于产生第二虚拟用户界面的命令；以及
在所确定的与所述预定义物理对象的位置相关联的映射点处实时呈现第二虚拟用户界面，使得当被所述用户观看时，所述虚拟用户界面看起来在所述预定义物理对象的位置处静止。
98.根据权利要求97所述的方法，其中，所述手的进一步操控包括分开所述手的手指。
99.根据权利要求98所述的方法，其中，所述第二虚拟用户界面包括可由所述手的手指或拇指选择的多个第二级菜单项，其中，所述第二级低于所述第一级。
100.根据权利要求97所述的方法，其中，所述图腾的进一步操控包括用来自所述用户的第二只手的手指在手掌中进行环绕动作。
101.根据权利要求100所述的方法，其中，所述第二虚拟用户界面包括以弧形布置的多个菜单项，所述菜单项可滚动并且可由所述第二只手的手指选择。
102.一种用于更新虚拟世界的方法，包括：
从第一用户的第一装置接收第一输入，所述第一输入对应于所述第一用户的物理环境；
基于所接收的第一输入更新虚拟世界模型，所述虚拟世界模型对应于所述第一用户的物理环境；
将对应于所述虚拟世界模型的第一部分的第一更新信息发送给第二用户；
其中，所述第一更新信息指示是否需要向所述第二用户显示所述第一更新信息的任何部分。
103.根据权利要求102所述的方法，其中，所述虚拟世界模型驻留在联网的存储器上。
104.根据权利要求102所述的方法，其中，第一用户和第二用户位于相应的不同位置。
105.根据权利要求102所述的方法，其中，所述第一用户的第一装置选自由FOV摄像机、其它摄像机、传感器、眼睛跟踪第一装置和音频第一装置组成的组。
106.根据权利要求102所述的方法，还包括：
将对应于所述虚拟世界模型的第一部分的第一更新信息发送给所述第一用户，其中，所述第一更新信息指示所述第一更新信息的任何部分是否需要被显示给所述第一用户。
107.根据权利要求102所述的方法，还包括：
将对应于所述虚拟世界模型的所述第一部分的所述第一更新信息发送到多个其他用户，
其中，所述第一更新信息指示是否需要向所述多个其他用户中的每一个显示所述第一更新信息的任何部分。
108.根据权利要求102所述的方法，还包括：
从多个其他用户中的相应第一装置接收多个输入，所述多个输入对应于所述第一用户的物理环境；
基于所接收到的多个输入来更新所述虚拟世界模型；以及
向所述第二用户发送与所述虚拟世界模型的相应附加部分相对应的附加更新信息，
其中，所述附加更新信息指示所述附加更新信息的任何部分是否需要被显示给所述第二用户。
109.根据权利要求108所述的方法，还包括：
将对应于所述虚拟世界模型的所述部分的所述附加更新信息发送给所述第一用户，
其中，所述附加更新信息指示所述附加更新信息的任何部分是否需要被显示给所述第一用户。
110.根据权利要求108所述的方法，还包括：
向所述多个其他用户发送与所述虚拟世界模型的相应附加部分相对应的所述附加更新信息，
其中，所述附加更新信息指示所述附加更新信息的任何部分是否需要被显示给所述多个其他用户中的每一个。
111.根据权利要求102所述的方法，还包括：
从所述第二用户的第二装置接收第二输入，所述第二输入对应于所述第二用户的物理环境；
基于所接收到的第二输入来更新所述虚拟世界模型，所述虚拟世界模型对应于所述第一用户的所述物理环境；并且
向所述第一用户发送对应于所述虚拟世界模型的第二部分的第二更新信息，
其中，所述第二更新信息指示是否需要向所述第一用户显示所述第二更新信息的任何部分。
112.根据权利要求111所述的方法，其中，所述第二更新信息对应于所述虚拟世界模型的第二部分中的所述第二用户的化身的运动。
113.一种方法，包括：
将光图案投影到空间上；
用摄像机检测所述光图案的第一和第二部分以生成对应于所述图案的所述第一和第二部分的第一和第二数据点；并且
执行三角测量分析以至少部分基于所述第一和第二数据点来确定所述光图案的所述第一和第二部分的位置。
114.根据权利要求113所述的方法，还包括针对所述图案的多个部分重复所述投影、检测和三角测量步骤，以获取所述空间的附加纹理数据。
115.根据权利要求113所述的方法，其中，将光投射到空间上包括使用基于光纤的投影仪将光投射到所述空间上。
116.根据权利要求113所述的方法，还包括在光被投射到所述空间上之前用光学元件修改光以形成光线束。
117.根据权利要求113所述的方法，其中，所述光图案对应于结构化的光，并且其中，所述光图案是动态的。
118.根据权利要求113所述的方法，其中，所述光图案对应于图案化的光，并且其中，所述光图案包括多个点。
119.根据权利要求113所述的方法，其中，所述光图案对应于纹理化的光，并且其中，所述光图案是不规则的。
120.根据权利要求113所述的方法，其中，所述光图案的第一和第二部分为所述光图案的相应像素。
121.一种用于生成虚拟房间的方法，包括：
识别待向用户显示的虚拟房间；
获得与所述虚拟房间相关联的第一组映射点，所述第一组映射点对应于所述用户位置处的第一物理房间；
将所述虚拟房间系留到所述第一组映射点；以及
向所述用户显示所述虚拟房间，使得所述虚拟房间在被所述用户观看时看起来在所述第一组映射点的集合处静止。
122.根据权利要求130所述的方法，还包括基于用户输入来识别所述虚拟房间。
123.根据权利要求131所述的方法，其中，所述用户输入选自由姿势、视觉数据、音频数据、感测数据、直接命令、语音命令、眼睛跟踪以及物理按钮的选择所组成的组。
124.根据权利要求131所述的方法，其中，所述虚拟房间由所述用户预先确定。
125.根据权利要求131所述的方法，还包括从联网存储器检索所述第一组映射点。
126.根据权利要求131所述的方法，还包括：
获得与所述虚拟房间相关联的第二组映射点，所述第二组映射点对应于在所述用户从所述第一物理房间运动之后在所述用户位置处的第二物理房间；
将所述虚拟房间系留到所述第二组映射点；以及
向所述用户显示所述虚拟房间，使得所述虚拟房间在被所述用户观看时看起来在第二组映射点处静止。
127.根据权利要求135所述的方法，其中，所述虚拟房间还包括第一和第二虚拟对象，所述方法还包括当所述虚拟房间被系留到所述第二组映射点时，保持对应于所述第一组映射点的第一虚拟对象和第二虚拟对象之间的相对空间位置。
128.根据权利要求131所述的方法，还包括向所述用户显示所述虚拟房间，使得在被所述用户观看时，所述虚拟房间看起来相对于所述第一物理房间的一部分是静止的。
129.根据权利要求131所述的方法，所述虚拟房间还包括可选择的虚拟装饰。
130.一种用于产生零售体验的方法，包括：
识别用户在零售机构中的位置；
检索对应于所述零售机构的数据；
基于所检索到的数据生成与所述零售机构相关的虚拟内容；
在所述用户的视场中产生虚拟用户界面；以及
在所述用户在所述零售机构中从事零售活动时，在所述虚拟用户界面上显示所述虚拟内容。
131.根据权利要求139所述的方法，还包括：
其中，所检索到的数据包括对应于所述零售机构的映射点集合，并且
其中，所述虚拟用户界面在被所述用户观看时看起来在所述映射点集合处静止。
132.根据权利要求139所述的方法，其中，所述用户的位置使用射频识别转发器和通信来识别。
133.根据权利要求139所述的方法，其中，所述虚拟内容选自由虚拟角色、虚拟优惠券、基于所述用户位置的游戏、促销商品列表、营养信息、与商品相关的元数据、名人外观、交叉销售广告、来自所述用户已知的人的信息和电子书组成的组。
134.根据权利要求139所述的方法，还包括：
检索对应于所述用户的用户数据；以及
基于所检索到的数据和所检索到的用户数据生成所述虚拟内容。
135.根据权利要求143所述的方法，其中，所述虚拟内容选自由虚拟杂货列表、虚拟优惠券书、虚拟食谱书、用户家中的各种配料的列表以及虚拟食谱构建器组成的组。
136.根据权利要求139所述的方法，还包括：
接收用户输入；
基于所述用户输入生成附加虚拟内容；以及
在所述用户参与所述零售机构中的零售活动时，在所述虚拟用户界面上显示所述附加虚拟内容。
137.根据权利要求145所述的方法，其中，所述用户输入选自由姿势、视觉数据、音频数据、感测数据、直接命令、语音命令、眼睛跟踪以及物理按钮的选择所组成的组。
138.根据权利要求145所述的方法，其中，所述虚拟内容选自由移动总成本、智能虚拟杂货列表、接近用户位置的商品的指示符以及虚拟支付系统组成的组。
139.根据权利要求139所述的方法，还包括将所生成的虚拟内容发送到用户装置以供显示。
140.一种方法，包括：
检索与患者的病史有关的患者数据；
至少部分基于所检索到的患者数据生成虚拟内容；
检索对应于所述第一用户的第一位置的第一组映射点；
至少部分基于所检索到的所述组映射点，在第一用户的视场中产生第一虚拟用户界面；以及
在所述第一虚拟用户界面上显示所述虚拟内容，使得在被所述第一用户观看时，所述第一虚拟用户界面看起来被固定在所述第一组映射点处。
141.根据权利要求149所述的方法，其中，所述虚拟内容选自由手术目标的三维图像、患者识别信息、医学图像、重要的患者标志信息和医疗图表组成的组。
142.根据权利要求149所述的方法，其中，所述患者数据从联网的存储器检索。
143.根据权利要求149所述的方法，还包括，生成促进所述第一用户和第二用户之间的通信的第二虚拟用户界面，其中，所述第二用户位于与所述第一用户的第一位置不同的第二位置。
144.根据权利要求152所述的方法，其中，所述第二虚拟用户界面为所述第二用户的视觉表示。
145.根据权利要求152所述的方法，其中，所述第二用户选自由咨询外科医生、患者、与患者相关的一方和医学生组成的组。
146.根据权利要求152所述的方法，还包括：
在所述第一虚拟用户界面上向所述第二用户显示所述虚拟内容，使得在被所述第二用户观看时，所述第一虚拟用户界面看起来被固定在所述组映射点处。
147.根据权利要求149所述的方法，其中，在所述外科手术期间，向所述第一用户显示所述虚拟内容，所述方法还包括：
接收用户输入；
基于所述用户输入生成附加虚拟内容；以及
在所述第一用户正在执行所述外科手术时，在所述第一虚拟用户界面上显示所述附加虚拟内容。
148.根据权利要求156所述的方法，其中，所述用户输入选自由姿势、视觉数据、音频数据、感测数据、直接命令、语音命令、眼睛跟踪以及物理按钮的选择所组成的组。
149.根据权利要求156所述的方法，其中，所述用户输入包括所述第一用户的视场的图像，所述方法还包括：在所述第一虚拟用户界面上向所述第二用户显示所述附加虚拟内容，使得当由所述第二用户观看时，所述第一虚拟用户界面看起来被固定在所述组映射点处。
150.一种用于促进医疗康复的方法，包括：
接收与医疗康复相关的用户输入；
基于所接收到的用户输入向云服务器发送与医疗康复相关的请求；
基于所述请求从连接到所述云服务器的知识库接收与医疗康复相关的数据；以及
基于所接收到的数据向第一用户显示与医疗康复相关的虚拟内容。
151.根据权利要求159所述的方法，其中，所述用户输入选自由视觉、音频和感测输入组成的组。
152.根据权利要求159所述的方法，还包括在将所述请求发送到所述云服务器之前确定所述用户输入是否有效。
153.根据权利要求159所述的方法，其中，所述数据从连接到所述云服务器的多个知识库接收。
154.根据权利要求159所述的方法，其中，所述请求指示所述云服务器从知识库检索数据。
155.根据权利要求159所述的方法，其中，所述虚拟内容包括令人放松的环境。
156.根据权利要求159所述的方法，还包括：
从第二用户接收附加数据；以及
基于所接收到的附加数据向所述第一用户显示附加虚拟内容。
157.根据权利要求165所述的方法，其中，所述第一和第二用户位于不同的物理位置。
158.根据权利要求165所述的方法，其中，所述附加虚拟内容为所述第二用户的视觉表示。
159.根据权利要求159所述的方法，还包括：
从所述第一用户接收第一用户数据；并且
从第二用户接收第二用户数据；
基于所接收到的第一和第二用户数据修改所述虚拟内容；以及
向所述第一和第二用户显示所修改的虚拟内容。
160.根据权利要求159所述的方法，其中，所述第一用户参与用于医疗康复的体育活动，并且其中，所述虚拟内容涉及体育活动。
161.根据权利要求169所述的方法，其中，所述虚拟内容选自由关于身体活动的信息、所述第一用户的表现统计、对应于所述身体活动的虚拟体验和虚拟化身组成的组。
162.根据权利要求159所述的方法，其中，所述数据从联网存储器检索。
163.一种用于增强任务绩效的方法，包括：
检索与待由用户执行的任务相关的任务数据；
基于所述任务数据生成虚拟内容；
在所述用户的视场中产生虚拟用户界面；
检索对应于所述用户的位置的一组映射点；以及
在所述用户正在执行所述任务时，在所述虚拟用户界面上显示所述虚拟内容，使得所述虚拟用户界面在被所述用户观看时看起来被固定在所述组映射点处。
164.根据权利要求172所述的方法，其中，所述虚拟内容为具有虚拟映射图案的游戏，并且其中，所述游戏改善所述用户执行任务的绩效。
165.根据权利要求173所述的方法，其中，所述游戏对于跟随所述虚拟映射图案奖励点数。
166.根据权利要求174所述的方法，其中，对于在预定量的时间内到达所述虚拟映射图案中的点，所述游戏将点数倍增。
167.根据权利要求175所述的方法，其中，对于从所述虚拟映射图案偏离，所述游戏扣除点数。
168.根据权利要求175所述的方法，其中，对于移动到邻近物理对象，所述游戏扣除点数。
169.根据权利要求172所述的方法，其中，所述任务选自由操作园林机械、取回仓库物品、堆叠零售货架和分类邮件组成的组。
170.根据权利要求172所述的方法，其中，所述任务数据从联网存储器检索。
171.根据权利要求172所述的方法，还包括：
接收用户输入；
基于所述用户输入生成附加虚拟内容；以及
在所述用户正在执行所述任务时，在所述虚拟用户界面上显示所述附加虚拟内容。
172.根据权利要求180所述的方法，所述用户输入包括与所述任务的执行有关的用户动作。
173.一种用于校正增强现实显示系统中的延迟的方法，包括：
在向用户显示虚拟图像的至少一个阶段中确定一或多个定时不一致性；
利用预测器机制来预测性地校正所述定时不一致性；以及
至少部分基于所述预测器机制来补偿与所述虚拟图像的数据相关的至少一个特性。
174.根据权利要求182所述的方法，其中，所述定时不一致性涉及由一或多个传感器进行的一或多个传感器测量，所述一或多个传感器通信耦合到处理器。
175.根据权利要求182所述的方法，其中，所述定时不一致性涉及当处理输入数据时的处理延迟。
176.根据权利要求182所述的方法，其中，所述预测器机制利用滤波器来校正所述定时不一致性的影响。
177.根据权利要求185所述的方法，所述滤波器考虑一或多个传感器测量的相对速度，所述传感器测量由通信耦合到所述处理器的一或多个传感器进行。
178.根据权利要求182所述的方法，其中，所述预测器机制利用卡尔曼预测器。
179.根据权利要求187所述的方法，其中，在显示处理阶段期间利用所述卡尔曼预测器。
180.根据权利要求182所述的方法，其中，所述补偿包括执行与所述虚拟图像相关联的数据的移位。
181.根据权利要求182所述的方法，其中，所述补偿包括平滑与所述虚拟图像相关联的一或多个视觉假象。
182.根据权利要求182所述的方法，其中，所述补偿包括校正一或多个传感器的传感器测量的负面影响，所述一或多个传感器通信耦合到所述处理器。
183.一种校正增强现实系统的方法，包括：
向用户显示虚拟图像，其中，所述虚拟图像以已知焦距显示，并且其中，所述虚拟图像包括像素点；
确定所述像素点被显示给所述用户的位置，其中，所述像素的位置至少部分基于所述用户的眼睛的瞳孔的位置来计算；以及
将所述虚拟图像的像素点与空间中的已知点对准。
184.根据权利要求192所述的方法，其中，对多个象素点重复权利要求331所述的步骤。
185.根据权利要求192所述的方法，其中，至少部分基于在空间中的已知点的位置来计算被显示给所述用户的像素点的位置。
186.根据权利要求192所述的方法，其中，所述瞳孔的位置、所述像素点的位置和在空间中的已知点的位置落在相同的线上。
187.根据权利要求192所述的方法，其中，基于用户输入来修改向所述用户显示所述像素点的位置。
188.根据权利要求196所述的方法，还包括产生游戏界面，使得向所述用户呈现多个像素点。
189.根据权利要求197所述的方法，其中，所述游戏界面包括通过所述用户的眼睛运动发射激光。
190.根据权利要求197所述的方法，其中，至少部分基于从一或多个世界摄像机接收的数据来确定所述已知点的位置。
191.根据权利要求192所述的方法，其中，对所述用户的另一只眼睛重复权利要求1所述的步骤。
192.根据权利要求193所述的方法，其中，至少部分基于所述瞳孔的位置和所述已知点的位置的函数来确定所述像素点的位置。
193.根据权利要求201所述的方法，其中，所述函数包括二次函数。
194.一种显示虚拟界面的方法，包括：
基于用户输入来识别待显示给所述用户的用户界面；
相对于至少一个物理对象显示化身用户界面，其中，所述化身用户界面呈现至少一个虚拟用户界面元素；以及
至少部分基于所述用户和所述化身用户界面之间的交互来选择至少一个虚拟用户界面元素。
195.根据权利要求203所述的方法，其中，所述用户输入包括姿势。
196.根据权利要求204所述的方法，还包括确定所述姿势相对于所述用户的增强现实显示系统的位置，其中，在所确定的位置处显示所述虚拟用户界面。
197.根据权利要求203所述的方法，其中，所述化身为预选的化身。
198.根据权利要求203所述的方法，其中，所述化身类似于所述用户。
199.根据权利要求203所述的方法，其中，所述化身被显示为好像看起来站立在所述物理对象上。
200.根据权利要求203所述的方法，其中，所述至少一个虚拟元素包括应用。
201.根据权利要求203所述的方法，还包括：
至少部分基于另一用户输入来选择所述至少一个虚拟元素，其中，所述至少一个虚拟元素包括所述用户的联系人；以及
相对于所述化身虚拟用户界面和所述物理对象，显示表示所述用户的联系人的另一化身，其中，所述用户与所述用户的联系人之间的交互通过所述化身虚拟用户界面和表示所述用户的联系人的另一化身之间的虚拟交互来动画化。
202.根据权利要求210所述的方法，其中，所述交互包括在所述用户的增强现实系统和与所述用户的联系人相对应的计算系统之间传输数据。
203.根据权利要求203所述的方法，其中，所述用户输入包括语音命令。
204.一种显示虚拟界面的方法，包括：
基于用户输入来识别待显示给所述用户的用户界面；以及
显示相对于至少一个物理对象的浮动用户界面，所述浮动用户界面包括一或多个可选择的虚拟界面元素，其中，所述浮动用户界面看起来已从接收到所述用户输入的位置被挤出。
205.根据权利要求213所述的方法，其中，所述用户输入包括所述用户的手指的姿势。
206.根据权利要求214所述的方法，其中，所述用户手指的姿势包括所述用户的一只手的手指触摸所述用户的另一只手的另一手指。
207.根据权利要求215所述的方法，还包括确定所述用户的一只手的手指触摸所述用户的另一只手的另一手指的位置，其中，所述浮动虚拟用户界面源自所确定的位置。
208.根据权利要求213所述的方法，其中，所述浮动用户界面包括一组三维块，其中，所述组三维块中的三维块表示至少一个可选择的虚拟用户界面元素。
209.根据权利要求213所述的方法，其中，至少部分基于世界参考系来产生所述浮动虚拟用户界面。
210.根据权利要求213所述的方法，其中，所述至少一个可选择的虚拟用户界面元素被填充为三维块的堆叠，并且其中，三维块的堆叠至少部分基于另一用户输入而旋转。
211.根据权利要求213所述的方法，还包括：
至少部分基于从所述用户接收的另一用户输入选择至少一个可选择虚拟界面元素中的虚拟用户界面元素，其中，所述虚拟界面元素与至少一个其它子虚拟界面元素相关联；以及
在所选择的虚拟界面元素下显示所述至少一个其它子虚拟界面元素。
212.根据权利要求213所述的方法，还包括：
至少部分基于从所述用户接收的另一用户输入选择至少一个可选择虚拟界面元素中的虚拟用户界面元素；以及
在虚拟框中显示与所选择的虚拟界面元素相关联的内容，所述虚拟框包括在所述用户的视场中显示的内容。
213.根据权利要求221所述的方法，还包括：
识别指示所述虚拟框应当被关闭的第二用户输入；
至少部分基于所述第二用户输入以类似于纸张的折皱的方式对所述虚拟框进行动画化；以及
终止与所选择的虚拟界面元素相关联的内容。
214.根据权利要求222所述的方法，其中，所述第二用户输入包括姿势，所述姿势类似于折皱一张纸。
215.一种用于显示虚拟用户界面的方法，包括：
基于用户输入来识别待显示给所述用户的用户界面；以及
显示相对于至少一个物理对象的浮动用户界面，所述浮动用户界面包括一或多个可选择的虚拟界面元素，其中，所述浮动用户界面看起来停留在所述至少一个物理对象上，并且其中，所述至少一个物理对象围绕至少一个物理对象的纵向轴线的旋转致使附加的可选择虚拟界面元素被显示，其中，所述附加的可选择虚拟界面元素看起来停留在所述至少一个物理对象的另一侧上。
216.根据权利要求224所述的方法，其中，所述至少一个物理对象包括所述用户的手臂。
217.根据权利要求224所述的方法，其中，所述用户输入包括姿势。
218.根据权利要求226所述的方法，其中，所述姿势包括所述用户的手在所述用户的手臂上的杯状动作，所述可选择的虚拟界面元素看起来被显示在用户的手臂上。
219.根据权利要求227所述的方法，还包括确定所述用户的手在所述用户的手臂上的杯状动作的位置，其中，所述浮动用户界面源自所确定的位置。
220.根据权利要求224所述的方法，还包括至少部分基于另一用户输入来终止所述浮动虚拟用户界面的呈现。
221.根据权利要求229所述的方法，其中，所述另一用户输入包括姿势，其中，所述姿势包括所述用户的双手跨所述物理对象的拖动动作。
222.根据权利要求224所述的方法，其中，至少部分基于以手为中心的参考系来产生所述浮动虚拟用户界面。
223.根据权利要求224所述的方法，还包括：
至少部分基于从所述用户接收的另一用户输入选择至少一个可选择虚拟界面元素中的虚拟用户界面元素；以及
显示与所选择的虚拟界面元素相关联的内容，其中，所述内容相对于所述浮动虚拟界面来显示。
224.根据权利要求231所述的方法，其中，所显示的内容对应于所述以手为中心的参考系。
225.根据权利要求231所述的方法，还包括：
至少部分基于从所述用户接收的输入，将所显示的内容从所述以手为中心的参考系移动到以世界为中心的参考系，使得在所述浮动虚拟用户界面移动时，所显示的内容保持静止。
226.一种用于产生虚拟用户界面的方法，包括：
基于用户输入来识别待显示给所述用户的用户界面；以及
相对于至少一个物理对象显示源自触摸至少一个物理对象的位置的虚拟用户界面，其中，所述虚拟用户界面看起来在触摸至少一个物理对象的位置长出，并且其中，所述虚拟用户界面包括看起来被附加到所述虚拟用户界面的至少一个可选择的虚拟用户界面元素。
227.根据权利要求235所述的方法，其中，所述至少一个物理对象包括水平表面。
228.根据权利要求235所述的方法，其中，所述用户输入包括姿势。
229.根据权利要求237所述的方法，其中，所述姿势包括延伸手指在预定义的时间段内触摸所述至少一个物理对象。
230.根据权利要求235所述的方法，还包括确定所述用户的手指对所述至少一个物理对象的触摸的位置，其中，所述虚拟用户界面源自所确定的位置。
231.根据权利要求235所述的方法，还包括至少部分基于另一用户输入来终止所述浮动虚拟用户界面的呈现。
232.根据权利要求240所述的方法，其中，所述另一用户输入包括姿势，其中，所述姿势包括所述用户的手跨所呈现的虚拟用户界面的切割动作。
233.根据权利要求235所述的方法，其中，至少部分基于以世界为中心的参考系来产生所述虚拟用户界面，使得所述虚拟用户界面相对于所述用户的任何运动保持静止。
234.根据权利要求235所述的方法，还包括：
至少部分基于从所述用户接收的另一用户输入选择至少一个可选择虚拟界面元素中的虚拟用户界面元素；以及
在所述至少一个物理对象的另一位置处生成第二虚拟用户界面，所述第二虚拟用户界面包括附加的可选择虚拟界面元素。
235.根据权利要求235所述的方法，其中，所述虚拟用户界面类似于从触摸所述至少一个物理对象的位置发芽的树。
236.一种用于显示虚拟用户界面的方法，包括：
基于用户输入来识别待显示给所述用户的用户界面；以及
绘制虚拟用户界面以镜像所述用户的手指的动作，使得所述虚拟用户界面镜像所述手指的运动；以及
在绘制所述虚拟用户界面的区域内显示一或多个可选择的用户界面元素。
237.根据权利要求245所述的方法，其中，所述手指姿势包括在预定义的时间段内用所述用户的手的至少一个手指的指向姿势。
238.根据权利要求245所述的方法，还包括确定所述指向姿势的位置，其中，所述虚拟用户界面源自所确定的位置。
239.根据权利要求245所述的方法，还包括检测所述用户不再绘制所述虚拟用户界面，其中，所述虚拟用户界面元素至少部分基于所述检测来显示。
240.根据权利要求245所述的方法，其中，所述虚拟用户界面的绘制镜像所述用户手指跨空间的拖动动作。
241.根据权利要求245所述的方法，还包括至少部分基于另一用户输入来终止所述浮动虚拟用户界面的呈现。
242.根据权利要求250所述的方法，其中，所述另一用户输入包括姿势，并且其中，所述姿势包括终止所述用户手指的连续拖动动作。
243.根据权利要求245所述的方法，其中，至少部分基于以世界为中心的参考系来产生所述虚拟用户界面，使得所述虚拟用户界面相对于所述用户的任何运动保持静止。
244.根据权利要求245所述的方法，还包括：
至少部分基于从所述用户接收的另一用户输入选择至少一个可选择虚拟接口元素中的虚拟用户界面元素；以及
相对于所述虚拟用户界面生成与所选择的虚拟界面元素相关联的内容。
245.根据权利要求245所述的方法，其中，所述虚拟用户界面的形状类似于由所述用户的手指绘制的形状。
246.一种产生虚拟用户界面的方法，包括：
基于用户的手势识别待显示给所述用户的用户界面；以及
响应于所述手势，在所述手势的方向上在物理对象的垂直侧上显示具有至少一个可选择的虚拟界面元素的虚拟用户界面，使得所述虚拟用户界面看起来在所述物理对象的垂直侧上。
247.根据权利要求255所述的方法，还包括响应于所述手势显示一组类似于颜料斑点的虚拟内容，其中，所述虚拟内容源于由所述手势表示的点。
248.根据权利要求255所述的方法，其中，所述手势包括在所述物理对象的垂直侧的方向上伸出的扩展手指。
249.根据权利要求257所述的方法，还包括，确定在所述物理对象的垂直侧的方向上伸出的扩展手指的位置，其中，在所确定的位置处显示类似于颜料斑点的一组虚拟内容。
250.根据权利要求258所述的方法，还包括，在所述物理对象的垂直侧上显示虚拟斑点，其中，所述虚拟斑点的至少一个特征至少部分基于所确定的在所述物理对象的方向上伸出的扩展手指的位置在所述物理对象的垂直侧上显示。
251.根据权利要求255所述的方法，其中，所述物理对象包括墙壁。
252.根据权利要求255所述的方法，其中，至少部分基于以世界为中心的参考系来产生所述虚拟用户界面，使得所述虚拟用户界面相对于所述用户的任何运动保持静止。
253.根据权利要求255所述的方法，还包括：
至少部分基于从所述用户接收的另一用户输入选择至少一个可选择虚拟接口元素中的虚拟用户界面元素；以及
在所述物理对象的另一位置处生成与所选择的用户界面元素相关联的内容。
254.根据权利要求262所述的方法，还包括以简化形式存储与所选择的用户界面元素相关联的内容，其中，所述简化形式包括虚拟带，其中，所述虚拟带在所述用户的手的周围显示。
255.根据权利要求263所述的方法，其中，至少部分基于以手为中心的参考系来产生虚拟带，使得所述虚拟带至少部分基于所述手的运动而运动。
256.根据权利要求263所述的方法，还包括至少部分基于所述用户的另一姿势以完整形式显示所述内容。
257.根据权利要求265所述的方法，其中，所述另一姿势包括在其上显示所述虚拟带的所述手的抛掷动作。
258.一种产生虚拟用户界面的方法，包括：
基于用户的手势识别待显示给所述用户的用户界面；以及
响应于所述手势来显示虚拟用户界面，所述虚拟用户界面类似于具有至少一个可选择虚拟界面元素的水平细绳，使得所述至少一个可选择虚拟界面元素至少部分基于所述用户的另一手势来移动以显示附加的可选择虚拟界面元素。
259.根据权利要求267所述的方法，其中，所述手势包括所述用户的第一只手的第一手指与所述第二只手的第二手指的触摸动作。
260.根据权利要求268所述的方法，其中，所述手势还包括所述第一手指和所述第二手指的拉开动作，使得所述第一手指从所述第二手指拉开。
261.根据权利要求269所述的方法，其中，所述虚拟细绳镜像所述第一和第二手指的运动的长度，其中，所述虚拟细绳的长度至少部分基于所述第一和第二手指的运动。
262.根据权利要求267所述的方法，还包括确定所述第一和第二手指的触摸动作的位置，其中，所述虚拟细绳源自所确定的位置。
263.根据权利要求267所述的方法，其中，所述另一手势包括所述用户的手的转动动作，其中，所述转动动作使得所述至少一个可选择的虚拟界面元素在所述转动动作的方向上移动。
264.根据权利要求267所述的方法，其中，至少部分基于以世界为中心的参考系来产生所述虚拟用户界面，使得所述虚拟用户界面相对于所述用户的任何运动保持静止。
265.根据权利要求267所述的方法，还包括：
至少部分基于所述用户的另一手势来选择所述至少一个可选择的虚拟界面元素中的虚拟用户界面元素；以及
在所述物理对象的另一位置处生成与所选择的用户界面元素相关联的内容。
266.根据权利要求274所述的方法，其中，所述另一手势包括所述用户的一只手的向前动作。
267.一种用于产生虚拟用户界面的方法，包括：
基于用户的手势识别待显示给所述用户的用户界面；以及
响应于所述手势来显示虚拟用户界面，所述虚拟用户界面包括一组垂直细绳，每个垂直细绳与至少一个可选择的虚拟界面元素相关联。
268.根据权利要求276所述的方法，其中，所述手势包括所述用户的第一只手在预定时间段内的打开手势。
269.根据权利要求277所述的方法，还包括：
至少部分基于另一手势来选择所述至少一个可选择虚拟界面元素，其中，所述另一手势包括所述组虚拟细绳的至少一个虚拟细绳通过所述用户的两个手指的拉动动作。
270.根据权利要求276所述的方法，还包括至少部分基于手势，将与第一虚拟细绳相关联的第一虚拟元素相关联的数据发送到与第二虚拟细绳相关联的第二虚拟元素。
271.根据权利要求279所述的方法，其中，所述另一手势包括与所述第一虚拟细绳相关联的第一虚拟元素和与所述第二虚拟细绳相关联的第二虚拟元素的挤压动作，所述挤压动作由所述用户的手指执行。
272.根据权利要求276所述的方法，其中，所述虚拟界面相对于至少一个物理对象来显示。
273.根据权利要求281所述的方法，其中，所述至少一个物理对象包括墙壁。
274.根据权利要求276所述的方法，还包括确定手势的位置，其中，所述虚拟细绳源自所确定的位置。
275.根据权利要求276所述的方法，其中，至少部分基于以世界为中心的参考系来产生所述虚拟用户界面，使得所述虚拟用户界面相对于所述用户的任何运动保持静止。
276.根据权利要求276所述的方法，还包括：
至少部分基于所述用户的另一手势来选择所述至少一个可选择的虚拟界面元素中的虚拟用户界面元素；以及
在所述物理对象的另一位置处生成与所选择的用户界面元素相关联的虚拟内容。
277.一种用于产生虚拟用户界面的方法，包括：
基于用户的手势识别待显示给所述用户的用户界面；以及
响应于所述手势来显示虚拟用户界面，所述虚拟用户界面包括一组垂直细绳，每个垂直细绳与至少一个可选择的虚拟界面元素相关联。
278.根据权利要求286所述的方法，其中，所述手势包括所述用户的第一只手在预定时间段内的打开手势。
279.根据权利要求287所述的方法，还包括：
至少部分基于另一手势来选择所述至少一个可选择虚拟界面元素，其中，所述另一手势包括所述组虚拟细绳的至少一个虚拟细绳通过所述用户的两个手指的拉动动作。
280.根据权利要求286所述的方法，还包括至少部分基于手势，将与第一虚拟细绳相关联的第一虚拟元素相关联的数据发送到与第二虚拟细绳相关联的第二虚拟元素。
281.根据权利要求289所述的方法，其中，所述另一手势包括与所述第一虚拟细绳相关联的第一虚拟元素和与所述第二虚拟细绳相关联的第二虚拟元素的挤压动作，所述挤压动作由所述用户的手指执行。
282.根据权利要求286所述的方法，其中，所述虚拟界面相对于至少一个物理对象来显示。
283.根据权利要求291所述的方法，其中，所述至少一个物理对象包括墙壁。
284.根据权利要求286所述的方法，还包括确定手势的位置，其中，所述虚拟细绳源自所确定的位置。
285.根据权利要求286所述的方法，其中，至少部分基于以世界为中心的参考系来产生所述虚拟用户界面，使得所述虚拟用户界面相对于所述用户的任何运动保持静止。
286.根据权利要求286所述的方法，还包括：
至少部分基于所述用户的另一手势来选择所述至少一个可选择的虚拟界面元素中的虚拟用户界面元素；以及
在所述物理对象的另一位置处生成与所选择的用户界面元素相关联的虚拟内容。
287.一种用于产生虚拟用户界面的方法，包括：
基于用户的手势识别待显示给所述用户的用户界面；以及
响应于所述手势来显示虚拟用户界面，所述虚拟用户界面类似于虚拟蜘蛛网，其中，所述用户拉动所述虚拟蜘蛛网的虚拟细丝以将所述虚拟界面移动得更靠近所述用户。
288.根据权利要求296所述的方法，其中，所述手势包括所述用户的手的闭合拳头的拉动动作。
289.根据权利要求297所述的方法其中，所述虚拟蜘蛛网的虚拟细丝包括至少一个可选择的虚拟元素。
290.根据权利要求298所述的方法，还包括：
至少部分基于另一手势来选择所述至少一个可选择虚拟界面元素，其中，所述另一手势包括所述虚拟细丝中的至少一个朝向所述用户的拉动动作。
291.根据权利要求296所述的方法，还包括至少部分基于手势，将与第一虚拟细丝相关联的第一虚拟元素相关联的数据发送到与第二虚拟细丝相关联的第二虚拟元素。
292.根据权利要求300所述的方法，其中，所述另一手势包括与所述第一虚拟细丝相关联的第一虚拟元素和与所述第二虚拟细丝相关联的第二虚拟元素的挤压动作，所述挤压动作由所述用户的手指执行。
293.根据权利要求296所述的方法，其中，所述虚拟界面相对于至少一个物理对象来显示。
294.根据权利要求302所述的方法，其中，所述至少一个物理对象包括墙壁。
295.根据权利要求296所述的方法，还包括确定手势的位置，其中，所述虚拟蜘蛛网源自所确定的位置。
296.根据权利要求296所述的方法，其中，至少部分基于以世界为中心的参考系来产生所述虚拟用户界面，使得所述虚拟用户界面相对于所述用户的任何运动保持静止。
297.根据权利要求296所述的方法，还包括：
至少部分基于所述用户的另一手势来选择所述至少一个可选择的虚拟界面元素中的虚拟用户界面元素；以及
在所述物理对象的另一位置处生成与所选择的用户界面元素相关联的虚拟内容。
298.一种根据权利要求1-306所述的方法，其被实现为具有用于实现所述方法步骤的装置的系统。
299.一种根据权利要求1-306所述的方法，其被实现为包括具有用于执行所述方法步骤的可执行代码的计算机可用存储介质的计算机程序产品。
CN201580043458.8A 2014-06-14 2015-06-13 用于产生虚拟和增强现实的方法和系统 Active CN106937531B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011106449.8A CN112651288B (zh) 2014-06-14 2015-06-13 用于产生虚拟和增强现实的方法和系统
CN202211020246.6A CN115359567A (zh) 2014-06-14 2015-06-13 用于产生虚拟和增强现实的方法和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462012273P 2014-06-14 2014-06-14
US62/012,273 2014-06-14
PCT/US2015/035718 WO2015192117A1 (en) 2014-06-14 2015-06-13 Methods and systems for creating virtual and augmented reality

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202011106449.8A Division CN112651288B (zh) 2014-06-14 2015-06-13 用于产生虚拟和增强现实的方法和系统
CN202211020246.6A Division CN115359567A (zh) 2014-06-14 2015-06-13 用于产生虚拟和增强现实的方法和系统

Publications (2)

Publication Number Publication Date
CN106937531A true CN106937531A (zh) 2017-07-07
CN106937531B CN106937531B (zh) 2020-11-06

Family

ID=54834480

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202011106449.8A Active CN112651288B (zh) 2014-06-14 2015-06-13 用于产生虚拟和增强现实的方法和系统
CN202211020246.6A Pending CN115359567A (zh) 2014-06-14 2015-06-13 用于产生虚拟和增强现实的方法和系统
CN201580043458.8A Active CN106937531B (zh) 2014-06-14 2015-06-13 用于产生虚拟和增强现实的方法和系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202011106449.8A Active CN112651288B (zh) 2014-06-14 2015-06-13 用于产生虚拟和增强现实的方法和系统
CN202211020246.6A Pending CN115359567A (zh) 2014-06-14 2015-06-13 用于产生虚拟和增强现实的方法和系统

Country Status (8)

Country Link
EP (3) EP3699736B1 (zh)
JP (4) JP6646659B2 (zh)
KR (1) KR102204919B1 (zh)
CN (3) CN112651288B (zh)
AU (1) AU2015274283B2 (zh)
CA (1) CA2953335C (zh)
IL (2) IL249371B (zh)
WO (1) WO2015192117A1 (zh)

Cited By (166)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107199888A (zh) * 2016-03-18 2017-09-26 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
CN107368820A (zh) * 2017-08-03 2017-11-21 中国科学院深圳先进技术研究院 一种精细化手势识别方法、装置及设备
CN107538492A (zh) * 2017-09-07 2018-01-05 福物（上海）机器人科技有限公司 移动机器人的智能操控系统、方法及智能学习方法
CN107564110A (zh) * 2017-09-30 2018-01-09 四川长虹电器股份有限公司 一种基于ar的工厂设计系统
CN107561549A (zh) * 2017-08-17 2018-01-09 广州视源电子科技股份有限公司 终端位置的重定位方法、装置、终端及存储介质
CN107578078A (zh) * 2017-09-14 2018-01-12 哈尔滨工业大学 用于单目视觉定位的非镜像对称二维码标志图形校验及布局方法
CN107609220A (zh) * 2017-08-11 2018-01-19 中国电力科学研究院 一种负荷低电压释放特性参数的确定方法和装置
CN107657589A (zh) * 2017-11-16 2018-02-02 上海麦界信息技术有限公司 基于三基准点标定的手机ar定位坐标轴同步方法
CN107680170A (zh) * 2017-10-12 2018-02-09 北京奇虎科技有限公司 基于虚拟世界的图像实时处理方法及装置、计算设备
CN107680105A (zh) * 2017-10-12 2018-02-09 北京奇虎科技有限公司 基于虚拟世界的视频数据实时处理方法及装置、计算设备
CN107689796A (zh) * 2017-07-28 2018-02-13 同济大学 一种基于先验信息的无损压缩文件容错解压方法
CN107704681A (zh) * 2017-09-30 2018-02-16 江西洪都航空工业集团有限责任公司 一种飞机地面视野范围的计算方法
CN107741886A (zh) * 2017-10-11 2018-02-27 江苏电力信息技术有限公司 一种基于增强现实技术多人互动的方法
CN107742512A (zh) * 2017-11-07 2018-02-27 北京京东方光电科技有限公司 一种显示驱动电路、其驱动方法及显示装置
CN107765953A (zh) * 2017-11-08 2018-03-06 网易（杭州）网络有限公司 信息的展示方法、装置、处理器及头戴式显示设备
CN107766206A (zh) * 2017-10-12 2018-03-06 武汉秀宝软件有限公司 一种基于增强现实的多主机测试方法及系统
CN107860315A (zh) * 2017-11-17 2018-03-30 浙江大学城市学院 一种结构光全向光场视觉系统组合结构
CN107945283A (zh) * 2017-12-06 2018-04-20 河南省水利勘测设计研究有限公司 基于移动增强现实技术和bim的工程展示方法
CN107992896A (zh) * 2017-12-13 2018-05-04 东南大学 一种基于眼动追踪技术的科学概念评测方法
CN108053262A (zh) * 2017-12-28 2018-05-18 北京小度信息科技有限公司 数据推送方法及装置
CN108089701A (zh) * 2017-12-07 2018-05-29 北京奇虎科技有限公司 一种虚拟现实vr场景的展示方法和装置
CN108172051A (zh) * 2018-01-24 2018-06-15 山东科技大学 一种体育课教学方法和装置
CN108182719A (zh) * 2017-12-28 2018-06-19 北京聚力维度科技有限公司 人工智能自适应障碍地形的行进动画生成方法和装置
CN108256060A (zh) * 2018-01-16 2018-07-06 广州视源电子科技股份有限公司 一种闭环检测方法、装置、终端及存储介质
CN108282228A (zh) * 2018-01-12 2018-07-13 西安电子科技大学 基于室内可见光通信的多区域双控制器分层网络架构
CN108417217A (zh) * 2018-01-11 2018-08-17 苏州思必驰信息科技有限公司 说话人识别网络模型训练方法、说话人识别方法及系统
CN108470047A (zh) * 2018-03-07 2018-08-31 谭亮 基于物联网的远程平台监测系统
CN108492352A (zh) * 2018-03-22 2018-09-04 腾讯科技（深圳）有限公司 增强现实的实现方法、装置、系统、计算机设备及存储介质
CN108514421A (zh) * 2018-03-30 2018-09-11 福建幸福家园投资管理有限公司 提升混合现实与日常健康监测的方法
CN108596964A (zh) * 2018-05-02 2018-09-28 厦门美图之家科技有限公司 深度数据获取方法、装置及可读存储介质
CN108648223A (zh) * 2018-05-17 2018-10-12 苏州科技大学 基于中央眼的场景重构方法及重构系统
CN108765270A (zh) * 2018-05-30 2018-11-06 链家网（北京）科技有限公司 一种虚拟三维空间标签绑定方法及装置
CN108805886A (zh) * 2018-05-30 2018-11-13 中北大学 一种多融合物理签名的持久性聚类分割方法
CN108931795A (zh) * 2018-05-21 2018-12-04 千寻位置网络有限公司 定位设备轨迹优化和边界提取方法及装置
CN109035338A (zh) * 2018-07-16 2018-12-18 深圳辰视智能科技有限公司 基于单尺度特征的点云与图片融合方法、装置及其设备
CN109063538A (zh) * 2018-06-06 2018-12-21 中国电建集团华东勘测设计研究院有限公司 一种基于ar与bim的工程图纸读图装置
CN109086755A (zh) * 2018-11-07 2018-12-25 上海电气集团股份有限公司 基于图像分割的康复机器人的虚拟现实显示方法及系统
CN109118594A (zh) * 2018-06-06 2019-01-01 链家网（北京）科技有限公司 一种删除房源虚拟三维模型中细小虚像的方法及系统
CN109107161A (zh) * 2018-08-17 2019-01-01 深圳市腾讯网络信息技术有限公司 一种游戏对象的控制方法、装置、介质以及设备
CN109129523A (zh) * 2018-08-30 2019-01-04 燕山大学 基于人机交互的移动机器人实时远程控制系统
CN109189228A (zh) * 2018-09-25 2019-01-11 信阳百德实业有限公司 一种利用ar和图像识别技术对标牌进行图案识别方法
CN109241810A (zh) * 2017-07-10 2019-01-18 腾讯科技（深圳）有限公司 虚拟角色图像的构建方法及装置、存储介质
TWI648556B (zh) * 2018-03-06 2019-01-21 仁寶電腦工業股份有限公司 同步定位與地圖建構及手勢辨識方法
CN109272050A (zh) * 2018-09-30 2019-01-25 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109270515A (zh) * 2018-11-29 2019-01-25 北京理工大学 可变扫描区域同轴收发扫描激光雷达
CN109325156A (zh) * 2018-04-25 2019-02-12 厦门大学 基于扩展线段的农村道路网匹配技术
CN109426783A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于增强现实的手势识别方法及系统
CN109443350A (zh) * 2018-12-27 2019-03-08 西安中科光电精密工程有限公司 基于神经网络的蓝牙/光电/ins组合导航装置及方法
CN109492208A (zh) * 2018-10-12 2019-03-19 天津字节跳动科技有限公司 文档编辑方法及其装置、设备、存储介质
CN109511004A (zh) * 2017-09-14 2019-03-22 中兴通讯股份有限公司 一种视频处理方法及装置
CN109597492A (zh) * 2018-12-05 2019-04-09 谷东科技有限公司 激光虚拟键盘与ar眼镜交互系统
CN109801379A (zh) * 2019-01-21 2019-05-24 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法
CN109814112A (zh) * 2019-01-15 2019-05-28 北京百度网讯科技有限公司 一种超声波雷达与激光雷达信息融合方法和系统
CN109847350A (zh) * 2019-03-25 2019-06-07 深圳初影科技有限公司 基于ar技术的游戏实现方法、游戏系统、及存储介质
CN109857415A (zh) * 2019-03-01 2019-06-07 广东盈科电子有限公司 一种烧录装置及其参数自动选择烧录方法
CN109922417A (zh) * 2017-12-06 2019-06-21 奥迪康有限公司 适于导航的听力装置或系统
CN109920283A (zh) * 2017-12-12 2019-06-21 王子南 一种仿真沙盘系统
TWI663423B (zh) * 2018-06-29 2019-06-21 揚明光學股份有限公司 成像位移裝置及其製造方法
CN109947242A (zh) * 2019-02-26 2019-06-28 贵州翰凯斯智能技术有限公司 一种基于信息融合的工厂虚拟应用系统及使用方法
CN110008998A (zh) * 2018-11-27 2019-07-12 美律电子(深圳)有限公司 标签数据生成系统和方法
CN110049303A (zh) * 2018-01-15 2019-07-23 微软技术许可有限责任公司 立体图像的视觉风格化
CN110095767A (zh) * 2019-05-08 2019-08-06 哈尔滨工业大学 一种空间目标成像仿真面元消隐方法
CN110109229A (zh) * 2019-05-08 2019-08-09 中国科学院合肥物质科学研究院 一种野外自动化点光源靶标装置
CN110101455A (zh) * 2019-04-30 2019-08-09 微创（上海）医疗机器人有限公司 显示装置及手术机器人
CN110120229A (zh) * 2018-02-05 2019-08-13 北京三星通信技术研究有限公司 虚拟现实vr音频信号的处理方法及相应设备
WO2019153405A1 (zh) * 2018-02-06 2019-08-15 深圳市鹰硕技术有限公司 影像显示系统、方法以及数字眼镜
CN110163377A (zh) * 2019-01-21 2019-08-23 腾讯科技（深圳）有限公司 交互数据处理方法、装置、计算机可读存储介质和计算机设备
CN110189405A (zh) * 2019-05-31 2019-08-30 重庆市勘测院 一种顾及建筑物密度的实景三维建模方法
CN110210415A (zh) * 2019-06-05 2019-09-06 福州大学 基于图结构的车载激光点云道路标线识别方法
CN110275602A (zh) * 2018-03-13 2019-09-24 脸谱科技有限责任公司 人工现实系统和头戴式显示器
CN110275174A (zh) * 2018-03-13 2019-09-24 脸谱科技有限责任公司 使用条纹干涉测量法进行深度确定的系统和设备
CN110301117A (zh) * 2017-11-24 2019-10-01 微软技术许可有限责任公司 在会话中提供响应
CN110443083A (zh) * 2018-05-04 2019-11-12 脸谱科技有限责任公司 虚拟现实环境中的用户界面安全性
CN110442817A (zh) * 2019-07-18 2019-11-12 塔普翊海（上海）智能科技有限公司 一种基于网页的混合现实的开发系统及制作方法
CN110490131A (zh) * 2019-08-16 2019-11-22 北京达佳互联信息技术有限公司 一种拍摄设备的定位方法、装置、电子设备及存储介质
CN110531960A (zh) * 2018-05-24 2019-12-03 明日基金知识产权控股有限公司 用于通过虚拟世界，在现实世界中开发，测试以及部署数字现实应用程式的系统与方法
CN110568449A (zh) * 2019-10-14 2019-12-13 自然资源部第二海洋研究所 一种风生粗糙海面激光反射、透射矩阵计算方法
CN110688007A (zh) * 2019-09-24 2020-01-14 北京轻威科技有限责任公司 一种基于平行轨道结构的多通道大通量多人引导防护系统
CN110702139A (zh) * 2019-09-29 2020-01-17 百度在线网络技术（北京）有限公司 一种时延标定方法、装置、电子设备和介质
TWI683330B (zh) * 2018-12-25 2020-01-21 世洋科技股份有限公司 薄膜結構製造方法
CN110741331A (zh) * 2017-09-09 2020-01-31 谷歌有限责任公司 用于图像响应自动助理的系统、方法和装置
CN110782738A (zh) * 2019-11-06 2020-02-11 北京千种幻影科技有限公司 一种模拟驾驶训练装置
CN110832878A (zh) * 2017-07-10 2020-02-21 高通股份有限公司 增强区域取向包封及视区独立高效视频译码媒体配置文件
CN110826389A (zh) * 2019-09-02 2020-02-21 东华大学 基于注意力3d频率卷积神经网络的步态识别方法
CN110852332A (zh) * 2019-10-29 2020-02-28 腾讯科技（深圳）有限公司 训练样本的生成方法、装置、存储介质及电子设备
CN110866109A (zh) * 2019-11-26 2020-03-06 上海连尚网络科技有限公司 一种用于收藏书籍的方法与设备
CN110896656A (zh) * 2018-04-10 2020-03-20 深圳市大疆创新科技有限公司 云台控制装置及云台系统
CN110895674A (zh) * 2018-09-13 2020-03-20 本田技研工业株式会社 用于基于自我中心视觉的未来车辆定位的系统和方法
CN110942040A (zh) * 2019-11-29 2020-03-31 四川大学 一种基于环境光的手势识别系统和方法
CN111031958A (zh) * 2017-08-16 2020-04-17 柯惠有限合伙公司 在微创手术期间合成多个相机视点之间的空间感知过渡
TWI691932B (zh) * 2018-06-12 2020-04-21 大陸商光寶電子（廣州）有限公司 影像處理系統及影像處理方法
CN111052183A (zh) * 2017-09-04 2020-04-21 苏黎世大学 利用事件相机的视觉惯性里程计
CN111066081A (zh) * 2017-09-08 2020-04-24 微软技术许可有限责任公司 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
CN111078005A (zh) * 2019-11-29 2020-04-28 恒信东方文化股份有限公司 一种虚拟伙伴创建方法及虚拟伙伴系统
CN111089579A (zh) * 2018-10-22 2020-05-01 北京地平线机器人技术研发有限公司 异构双目slam方法、装置及电子设备
CN111158015A (zh) * 2019-12-31 2020-05-15 飞燕航空遥感技术有限公司 机载激光雷达点云数据误分地面点的检测方法和系统
CN111226436A (zh) * 2017-08-14 2020-06-02 脸谱科技有限责任公司 具有用于深度感测的可编程衍射光学元件的照相机组件
CN111222486A (zh) * 2020-01-15 2020-06-02 腾讯科技（深圳）有限公司 手部姿态识别模型的训练方法、装置、设备及存储介质
CN111249573A (zh) * 2020-02-12 2020-06-09 迈德微创(天津)医疗器械有限责任公司 一种智能的可远程控制的输液装置和系统
CN111295633A (zh) * 2017-08-29 2020-06-16 新加坡商欧之遥控有限公司 精细的用户识别
CN111311741A (zh) * 2020-03-23 2020-06-19 重庆忽米网络科技有限公司 一种基于5g通信的交互式室内空间构建装置及方法
CN111352503A (zh) * 2018-12-21 2020-06-30 秀铺菲公司 具有用于虚拟对象的显示的增强现实应用的电子商务平台
CN111448568A (zh) * 2017-09-29 2020-07-24 苹果公司 基于环境的应用演示
CN111459592A (zh) * 2020-03-31 2020-07-28 华为技术有限公司 分布式处理ux元素的方法及装置
CN111512276A (zh) * 2018-11-13 2020-08-07 谷歌有限责任公司 用于基于雷达的应用的雷达图像整形器
CN111630497A (zh) * 2018-03-22 2020-09-04 斯诺弗雷克公司 在数据库系统中的增量特征开发和工作负荷捕获
CN111627368A (zh) * 2020-04-15 2020-09-04 硅谷数模(苏州)半导体有限公司 显示屏的控制方法、装置、存储介质、处理器和电子设备
CN111667585A (zh) * 2020-06-09 2020-09-15 福州市极化律网络科技有限公司 多用户的虚拟世界同步探索方法及存储介质
CN111752386A (zh) * 2020-06-05 2020-10-09 深圳市欢创科技有限公司 一种空间定位方法、系统及头戴式设备
CN111766939A (zh) * 2019-03-15 2020-10-13 苹果公司 在光学透传显示器上的注意力方向
CN111788611A (zh) * 2017-12-22 2020-10-16 奇跃公司 密集3d重建数据的缓存和更新
CN111860251A (zh) * 2020-07-09 2020-10-30 迈克医疗电子有限公司 数据处理方法及装置
CN111897411A (zh) * 2019-05-05 2020-11-06 Oppo广东移动通信有限公司 基于大气光通信的交互方法、装置和穿戴设备
CN111967526A (zh) * 2020-08-20 2020-11-20 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN112035154A (zh) * 2020-08-13 2020-12-04 上海帆一尚行科技有限公司 一种修复车载终端内核的方法、装置和电子设备
CN112119447A (zh) * 2018-06-05 2020-12-22 Imec 非营利协会 用于全息投影的数据分发
CN112148120A (zh) * 2020-08-18 2020-12-29 华为技术有限公司 一种显示虚拟界面的方法、设备以及存储介质
CN112183807A (zh) * 2019-07-03 2021-01-05 三星Sds株式会社 圆形框架生成方法以及计算装置
CN112181135A (zh) * 2020-08-31 2021-01-05 南京信息工程大学 一种基于增强现实的6-dof视触觉交互方法
CN112330255A (zh) * 2020-11-20 2021-02-05 重庆电子工程职业学院 仓库管理系统
CN112352209A (zh) * 2018-07-02 2021-02-09 谷歌有限责任公司 用于与人工智能系统互动和界面交互的系统和方法
CN112417188A (zh) * 2020-12-10 2021-02-26 桂林电子科技大学 一种基于图模型的高光谱图像分类方法
CN112509040A (zh) * 2019-08-26 2021-03-16 苹果公司 对提供镜面反射和反射修改的表面进行基于图像的检测
CN112509670A (zh) * 2020-11-27 2021-03-16 重庆电子工程职业学院 用于糖尿病的智能健康管理系统
CN112578497A (zh) * 2019-09-27 2021-03-30 群光电能科技股份有限公司 背光模块
CN112585669A (zh) * 2018-07-03 2021-03-30 瑞克斯姆股份有限公司 显示处理电路系统
CN112601993A (zh) * 2018-08-26 2021-04-02 鲁姆斯有限公司 近眼显示器中的反射抑制
CN112621487A (zh) * 2020-11-16 2021-04-09 中南大学 一种基于脑机控制的爬壁打磨装置及其控制方法
CN112639892A (zh) * 2018-08-31 2021-04-09 斯纳普公司 增强现实拟人化系统
CN112805750A (zh) * 2018-08-13 2021-05-14 奇跃公司 跨现实系统
US11012616B2 (en) 2018-06-12 2021-05-18 Lite-On Electronics (Guangzhou) Limited Image processing system for augmented reality and method thereof
CN112882569A (zh) * 2021-01-28 2021-06-01 咪咕文化科技有限公司 Ar交互方法、终端设备及云端地图管理系统
CN112956160A (zh) * 2018-10-29 2021-06-11 昕诺飞控股有限公司 用于在网络中提供节点序列的系统
CN113012690A (zh) * 2021-02-20 2021-06-22 苏州协同创新智能制造装备有限公司 一种支持领域定制语言模型的解码方法及装置
CN113066122A (zh) * 2020-05-15 2021-07-02 支付宝(杭州)信息技术有限公司 图像处理方法以及装置
CN113110731A (zh) * 2019-12-25 2021-07-13 华为技术有限公司 媒体内容生成的方法和装置
CN113240816A (zh) * 2021-03-29 2021-08-10 泰瑞数创科技(北京)有限公司 基于ar和语义模型的城市精确导航方法及其装置
CN113268558A (zh) * 2021-07-19 2021-08-17 智广海联(天津)大数据技术有限公司 基于二维码与地理空间坐标的公共设施治理系统及方法
CN113345022A (zh) * 2021-07-05 2021-09-03 湖南快乐阳光互动娱乐传媒有限公司 动态三维广告植入方法、装置、电子设备及存储介质
CN113440862A (zh) * 2020-03-27 2021-09-28 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN113535064A (zh) * 2021-09-16 2021-10-22 北京亮亮视野科技有限公司 虚拟标签标记方法、装置、电子设备及存储介质
CN113646808A (zh) * 2019-04-04 2021-11-12 中心线生物医药股份有限公司 空间跟踪系统与增强现实显示器的配准
CN113661406A (zh) * 2019-04-10 2021-11-16 株式会社电装 雷达装置
CN113706427A (zh) * 2020-05-22 2021-11-26 脸谱公司 从捕获的视频数据输出扭曲图像
CN113706690A (zh) * 2021-08-23 2021-11-26 长安大学 一种基于三维模型顶点分区的多载体信息隐藏方法和系统
WO2021244338A1 (zh) * 2020-06-05 2021-12-09 腾讯科技（深圳）有限公司 虚拟环境的显示方法、装置、设备及存储介质
CN113892075A (zh) * 2019-06-07 2022-01-04 脸谱科技有限责任公司 用于人工现实系统的拐角识别手势驱动的用户界面元素选通
CN114052777A (zh) * 2020-08-03 2022-02-18 通用电气精准医疗有限责任公司 图像显示方法以及超声成像系统
US11262756B2 (en) * 2018-01-15 2022-03-01 Uatc, Llc Discrete decision architecture for motion planning system of an autonomous vehicle
CN114185437A (zh) * 2021-12-16 2022-03-15 浙江小族智能科技有限公司 游乐车与现实场景交互方法及装置、存储介质、终端
CN114547781A (zh) * 2022-03-04 2022-05-27 无锡豪丽坤自控设备有限公司 一种基于虚拟现实的船用桅杆性能评价方法及系统
CN114578313A (zh) * 2022-05-09 2022-06-03 中国电子科技集团公司信息科学研究院 基于质心查找的栅格检测镜像消除方法及装置
TWI768932B (zh) * 2021-05-27 2022-06-21 倍利科技股份有限公司 影像色彩調整方法
CN114817077A (zh) * 2022-06-27 2022-07-29 云账户技术(天津)有限公司 测试质量及规范的判断方法、系统和网络设备
CN114971764A (zh) * 2022-04-08 2022-08-30 浙江赟燊商业信息系统科技有限公司 一种基于HoloLens的存储和匹配系统及方法
US11450015B2 (en) 2017-08-31 2022-09-20 Meta Platforms Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
US11593615B2 (en) 2016-12-16 2023-02-28 Microsoft Technology Licensing, Llc Image stylization based on learning network
US20230252741A1 (en) * 2018-07-23 2023-08-10 Magic Leap, Inc. System and method for mapping
US11748958B2 (en) * 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
CN116755587A (zh) * 2023-08-11 2023-09-15 之江实验室 一种增强现实的方法、装置、存储介质及电子设备
CN116824705A (zh) * 2023-08-24 2023-09-29 南京亿猫信息技术有限公司 智能购物车购物行为判别方法
TWI824859B (zh) * 2022-11-30 2023-12-01 國立勤益科技大學 虛擬購物手勢操控系統
CN117591385A (zh) * 2024-01-19 2024-02-23 深圳清华大学研究院 一种用于vr投影的控制系统
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11967020B2 (en) 2020-02-13 2024-04-23 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
CN111052183B (zh) * 2017-09-04 2024-05-03 苏黎世大学 利用事件相机的视觉惯性里程计

Families Citing this family (377)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4914903B2 (ja) * 2008-08-29 2012-04-11 コトブキシーティング株式会社 収納式観覧席
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US10475113B2 (en) 2014-12-23 2019-11-12 Ebay Inc. Method system and medium for generating virtual contexts from three dimensional models
US10217189B2 (en) * 2015-09-16 2019-02-26 Google Llc General spherical capture methods
US10614614B2 (en) 2015-09-29 2020-04-07 Adshir Ltd. Path tracing system employing distributed accelerating structures
US10186026B2 (en) * 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
US10565776B2 (en) 2015-12-12 2020-02-18 Adshir Ltd. Method for fast generation of path traced reflections on a semi-reflective surface
AU2017205338B2 (en) * 2016-01-07 2021-10-28 Magic Leap, Inc. Dynamic fresnel projector
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
US10345914B2 (en) * 2016-01-26 2019-07-09 Infinity Augmented Reality Israel Ltd. Method and system for generating a synthetic database of postures and gestures
US10614612B2 (en) 2018-06-09 2020-04-07 Adshir Ltd. Fast path traced reflections for augmented reality
EP3206121A1 (en) 2016-02-09 2017-08-16 Nokia Technologies Oy Methods and apparatuses relating to the handling of visual virtual reality content
EP3206122A1 (en) 2016-02-10 2017-08-16 Nokia Technologies Oy An apparatus and associated methods
CN105610868B (zh) * 2016-03-03 2019-08-06 腾讯科技（深圳）有限公司 一种信息交互的方法、设备及系统
WO2017156622A1 (en) * 2016-03-13 2017-09-21 Rising Sun Productions Limited Head-mounted audiovisual capture device
CN116650106A (zh) * 2016-03-14 2023-08-29 穆罕默德·R·马赫福兹 用于无线超声跟踪和通信的超宽带定位
US10815145B2 (en) 2016-03-31 2020-10-27 Corning Incorporated High index glass and devices incorporating such
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
IL311131A (en) 2016-04-21 2024-04-01 Magic Leap Inc A visual aura around the field of vision
CN105788390A (zh) * 2016-04-29 2016-07-20 吉林医药学院 基于增强现实的医学解剖辅助教学系统
US11062383B2 (en) 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
JP6429829B2 (ja) 2016-05-25 2018-11-28 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
GB2550620B (en) * 2016-05-26 2020-07-29 Michael Child John A camera apparatus
JP7015104B2 (ja) * 2016-07-04 2022-02-15 エドワード・パクチャン Ｍｅｍｓディスプレイ
JP6953116B2 (ja) * 2016-07-04 2021-10-27 エドワード・パクチャン Ｍｅｍｓディスプレイ
EP3270208B1 (fr) * 2016-07-12 2024-03-06 Essilor International Procédé de fourniture d'un dispositif d'affichage pour dispositif électronique informatif
US20190235624A1 (en) * 2016-07-19 2019-08-01 Supereye, Inc. Systems and methods for predictive visual rendering
US9858637B1 (en) 2016-07-29 2018-01-02 Qualcomm Incorporated Systems and methods for reducing motion-to-photon latency and memory bandwidth in a virtual reality system
US10482621B2 (en) * 2016-08-01 2019-11-19 Cognex Corporation System and method for improved scoring of 3D poses and spurious point removal in 3D image data
JP6799141B2 (ja) * 2016-08-01 2020-12-09 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 空間化オーディオを用いた複合現実システム
US10398514B2 (en) 2016-08-16 2019-09-03 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
US11071596B2 (en) 2016-08-16 2021-07-27 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
JP2019534717A (ja) * 2016-08-16 2019-12-05 インサイト メディカル システムズ インコーポレイテッド 医療処置における感覚増強のためのシステム
WO2018039269A1 (en) * 2016-08-22 2018-03-01 Magic Leap, Inc. Augmented reality display device with deep learning sensors
EP3288259A1 (en) * 2016-08-25 2018-02-28 Oculus VR, LLC Array detector for depth mapping
US11102467B2 (en) 2016-08-25 2021-08-24 Facebook Technologies, Llc Array detector for depth mapping
CA3036208A1 (en) 2016-09-13 2018-03-22 Magic Leap, Inc. Sensory eyewear
AU2017101277A4 (en) * 2016-09-16 2017-10-26 Christopher Ghaleb A floorplan visualisation system
US10380950B2 (en) * 2016-09-23 2019-08-13 Novatek Microelectronics Corp. Method for reducing motion blur and head mounted display apparatus
CA3037047A1 (en) * 2016-09-28 2018-04-05 Magic Leap, Inc. Face model capture by a wearable device
US10067565B2 (en) * 2016-09-29 2018-09-04 Intel Corporation Methods and apparatus for identifying potentially seizure-inducing virtual reality content
CN106651500B (zh) * 2016-10-12 2021-03-30 大连知行天下网络科技有限公司 基于空间反馈特征的视频图像识别技术和虚拟现实技术的网上购物系统
EP3529629B1 (en) * 2016-10-20 2023-11-29 Spookfish Innovations Pty Ltd. An aerial camera boresight calibration system
US10748450B1 (en) 2016-11-29 2020-08-18 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
US11056022B1 (en) 2016-11-29 2021-07-06 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
US20190278090A1 (en) * 2016-11-30 2019-09-12 Nova-Sight Ltd. Methods and devices for displaying image with changed field of view
US10783799B1 (en) 2016-12-17 2020-09-22 Sproutel, Inc. System, apparatus, and method for educating and reducing stress for patients with illness or trauma using an interactive location-aware toy and a distributed sensor network
US10371896B2 (en) 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
US10088911B2 (en) 2016-12-30 2018-10-02 Manuel Saez Programmable electronic helmet
US10489979B2 (en) * 2016-12-30 2019-11-26 Facebook, Inc. Systems and methods for providing nested content items associated with virtual content items
EP3571627A2 (en) 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
US10515474B2 (en) 2017-01-19 2019-12-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in a virtual reality system
US11348274B2 (en) * 2017-01-23 2022-05-31 Oxford University Innovation Limited Determining the location of a mobile device
CN108346432B (zh) 2017-01-25 2022-09-09 北京三星通信技术研究有限公司 虚拟现实vr音频的处理方法及相应设备
US10438399B2 (en) * 2017-02-10 2019-10-08 Sony Interactive Entertainment LLC Paired local and global user interfaces for an improved augmented reality experience
US10416769B2 (en) 2017-02-14 2019-09-17 Microsoft Technology Licensing, Llc Physical haptic feedback system with spatial warping
CN106951153B (zh) 2017-02-21 2020-11-20 联想(北京)有限公司 一种显示方法及电子设备
CN117197403A (zh) * 2017-03-17 2023-12-08 奇跃公司 混合现实系统及使用该系统生成虚拟内容的方法
KR101963244B1 (ko) * 2017-03-20 2019-03-28 ㈜라이커스게임 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
CN110582741B (zh) 2017-03-21 2024-04-02 交互数字Vc控股公司 用于增强现实中触觉交互检测和增强的方法和系统
US10453172B2 (en) 2017-04-04 2019-10-22 International Business Machines Corporation Sparse-data generative model for pseudo-puppet memory recast
KR101894455B1 (ko) * 2017-04-05 2018-09-04 부산가톨릭대학교 산학협력단 영상의학용 일반촬영 검사 가상현실 컨텐츠 제작-운용방법
RU2763922C2 (ru) * 2017-04-06 2022-01-11 Константин РОГГАЦ Очки дополненной реальности (др) и способ добавления виртуальных изображений в изображение, видимое носителю очков по меньшей мере через одно стекло очков
US10895906B2 (en) 2017-04-20 2021-01-19 The Cleveland Clinic Foundation System and method for holographic image-guided non-vascular percutaneous procedures
US10740613B1 (en) 2017-04-20 2020-08-11 Digimarc Corporation Hybrid feature point/watermark-based augmented reality
JP6744990B2 (ja) 2017-04-28 2020-08-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
WO2018201150A1 (en) * 2017-04-28 2018-11-01 Mira Labs, Inc. Control system for a three dimensional environment
KR102432283B1 (ko) 2017-05-01 2022-08-11 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
CN107194163A (zh) * 2017-05-15 2017-09-22 上海联影医疗科技有限公司 一种显示方法和系统
FR3066672B1 (fr) * 2017-05-19 2020-05-22 Sagemcom Broadband Sas Procede de communication d'une video immersive
US10582172B2 (en) 2017-05-22 2020-03-03 Microsoft Technology Licensing, Llc Optical system steering via Bragg grating shear
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
US11120264B2 (en) 2017-06-02 2021-09-14 Apple Inc. Augmented reality interface for facilitating identification of arriving vehicle
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
US10643373B2 (en) 2017-06-19 2020-05-05 Apple Inc. Augmented reality interface for interacting with displayed maps
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
CN111065951A (zh) * 2017-07-13 2020-04-24 视瑞尔技术公司 用于扩大视场的显示装置
CN110301138B (zh) * 2017-07-14 2022-12-30 惠普发展公司，有限责任合伙企业 对耳机的耳杯内的环境条件进行调节
EP3563372B1 (en) 2017-07-14 2023-08-30 Hewlett-Packard Development Company, L.P. Alerting users to events
RU2020107056A (ru) 2017-07-14 2021-08-16 Кэппэсити Инк. Системы и способы создания и отображения интерактивных трёхмерных представлений реальных объектов
EP3435670A1 (en) * 2017-07-25 2019-01-30 Koninklijke Philips N.V. Apparatus and method for generating a tiled three-dimensional image representation of a scene
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
EP3445049B1 (en) * 2017-08-14 2021-01-27 Facebook Technologies, LLC Camera assembly with programmable diffractive optical element for depth sensing
KR102360412B1 (ko) 2017-08-25 2022-02-09 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
KR20200055704A (ko) * 2017-09-20 2020-05-21 매직 립, 인코포레이티드 눈 추적을 위한 개인화된 뉴럴 네트워크
WO2019067476A2 (en) * 2017-09-29 2019-04-04 Apple Inc. PLATFORM OF REALITY GENERATED BY COMPUTER
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface
US20200275988A1 (en) * 2017-10-02 2020-09-03 The Johns Hopkins University Image to world registration for medical augmented reality applications using a world spatial map
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US10403046B2 (en) * 2017-10-20 2019-09-03 Raytheon Company Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance
KR102004048B1 (ko) * 2017-10-25 2019-07-25 광운대학교 산학협력단 가상 현실을 위한 공간 재구성 방법 및 가상 로드맵 결정 방법 및 이를 수행하는 공간 재구성 장치
US10796185B2 (en) * 2017-11-03 2020-10-06 Facebook, Inc. Dynamic graceful degradation of augmented-reality effects
WO2019094047A1 (en) * 2017-11-13 2019-05-16 Boger Yuval S Head-mounted display for public use
US10192115B1 (en) 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
KR101932007B1 (ko) * 2017-12-15 2019-03-15 네이버랩스 주식회사 공간 메시징과 컨텐츠 공유를 위한 방법 및 그 시스템
WO2019117655A1 (ko) * 2017-12-15 2019-06-20 네이버랩스 주식회사 3d 지도를 이용한 원격 위치 기반 ar 저작 방법 및 시스템
WO2019124851A1 (ko) 2017-12-18 2019-06-27 네이버랩스 주식회사 지오펜싱 기반의 컨텐츠를 클라우드소싱하는 방법 및 그 시스템
AU2018388581A1 (en) 2017-12-22 2020-07-23 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
EP3729242A4 (en) * 2017-12-22 2021-01-20 Magic Leap, Inc. PROCESSES AND SYSTEM FOR GENERATING AND DISPLAYING 3D VIDEOS IN A VIRTUAL, AUGMENTED OR MIXED REALITY ENVIRONMENT
CN111557023A (zh) 2017-12-29 2020-08-18 Pcms控股公司 使用公共对象维持颜色校准的方法和系统
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
KR102523433B1 (ko) 2018-01-10 2023-04-19 삼성전자주식회사 깊이 정보를 결정하는 방법 및 광학 시스템
US10460431B2 (en) 2018-01-15 2019-10-29 Otis Elevator Company Part recognition and damage characterization using deep learning
CN111869205B (zh) 2018-01-19 2022-06-10 Pcms控股公司 具有变化位置的多焦平面
KR102519653B1 (ko) 2018-01-20 2023-04-07 삼성전자주식회사 포인트 클라우드 압축 방법 및 장치
WO2019143886A1 (en) * 2018-01-22 2019-07-25 Dakiana Research Llc Objective-effectuators in synthesized reality settings
CN111630526B (zh) * 2018-01-22 2023-12-29 苹果公司 在合成现实布景中生成用于目标实现器的目标
US10225360B1 (en) * 2018-01-24 2019-03-05 Veeva Systems Inc. System and method for distributing AR content
DK201870349A1 (en) 2018-01-24 2019-10-23 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11014242B2 (en) 2018-01-26 2021-05-25 Microsoft Technology Licensing, Llc Puppeteering in augmented reality
US10976982B2 (en) 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
US10964030B2 (en) 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
WO2019161267A1 (en) * 2018-02-19 2019-08-22 Dakiana Research Llc Method and devices for presenting and manipulating conditionally dependent synthesized reality content threads
KR20200122362A (ko) * 2018-02-22 2020-10-27 매직 립, 인코포레이티드 혼합 현실 시스템들을 위한 브라우저
KR20200121357A (ko) 2018-02-22 2020-10-23 매직 립, 인코포레이티드 물리적 조작을 사용한 오브젝트 생성
KR20190101620A (ko) 2018-02-23 2019-09-02 주식회사 로로아트플랜 증강현실 기술을 이용한 무빙 트릭아트 구현 방법
EP3593198B1 (en) 2018-03-07 2023-03-08 Magic Leap, Inc. Visual tracking of peripheral devices
KR102494540B1 (ko) * 2018-03-14 2023-02-06 스냅 인코포레이티드 위치 정보에 기초한 수집가능한 항목들의 생성
JP7027987B2 (ja) 2018-03-16 2022-03-02 株式会社リコー 頭部装着型表示装置および表示システム
JP7235146B2 (ja) 2018-03-16 2023-03-08 株式会社リコー 頭部装着型表示装置および表示システム
US11244439B2 (en) 2018-03-20 2022-02-08 3M Innovative Properties Company Vision system for status detection of wrapped packages
US11462319B2 (en) 2018-03-20 2022-10-04 3M Innovative Properties Company Sterilization process management
US10874759B2 (en) 2018-03-20 2020-12-29 3M Innovative Properties Company Sterilization process management
US11126047B2 (en) * 2018-03-22 2021-09-21 Liqxtal Technology Inc. Ocular optical system
MX2020009791A (es) * 2018-03-23 2020-11-11 Pcms Holdings Inc Método basado en planos multifocales para producir puntos de vista estereoscópicos en un sistema de renderizado de imágenes basado en profundidad (mfp-dibr).
JP6878346B2 (ja) * 2018-04-02 2021-05-26 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
EP3776146A1 (en) * 2018-04-09 2021-02-17 Spatial Inc. Augmented reality computing environments
US10908769B2 (en) 2018-04-09 2021-02-02 Spatial Systems Inc. Augmented reality computing environments—immersive media browser
US11087136B2 (en) 2018-04-13 2021-08-10 Apple Inc. Scene classification
JP7155291B2 (ja) * 2018-05-02 2022-10-18 アップル インコーポレイテッド 環境の動き回り
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
WO2019224804A1 (en) * 2018-05-21 2019-11-28 Adshir Ltd. Fast generation of ray traced reflections of virtual objects in real world environment
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
CN111656410A (zh) 2018-05-23 2020-09-11 三星电子株式会社 在增强现实系统中管理内容的方法和装置
KR102113393B1 (ko) * 2018-05-24 2020-05-20 이기헌 번역용 헤드키트
TWI671711B (zh) * 2018-05-29 2019-09-11 崑山科技大學 模擬畫作於環境空間中的光線分佈之裝置及方法
US11494158B2 (en) 2018-05-31 2022-11-08 Shure Acquisition Holdings, Inc. Augmented reality microphone pick-up pattern visualization
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
CN110569006B (zh) * 2018-06-05 2023-12-19 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
JP7136931B2 (ja) * 2018-06-05 2022-09-13 マジック リープ， インコーポレイテッド 空間３ｄ環境へのコンテンツのマッチング
JP7168969B2 (ja) * 2018-06-06 2022-11-10 株式会社アルファコード ヒートマップ提示装置およびヒートマップ提示用プログラム
US10699468B2 (en) 2018-06-09 2020-06-30 Adshir Ltd. Method for non-planar specular reflections in hybrid ray tracing
US11557042B2 (en) * 2018-06-12 2023-01-17 King Abdullah University Of Science And Technology Single-camera particle tracking system and method
JP2021527876A (ja) * 2018-06-14 2021-10-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実深層ジェスチャネットワーク
KR102107225B1 (ko) * 2018-06-19 2020-05-06 이성진 전통 시장을 기반으로 하는 가상 현실 시스템
EP3815398B1 (en) * 2018-06-27 2023-09-06 Niantic, Inc. Multi-sync ensemble model for device localization
JP2021529068A (ja) 2018-07-07 2021-10-28 アキュセラ インコーポレイテッド 網膜低酸素症を防止するためのデバイス
US10921596B2 (en) * 2018-07-24 2021-02-16 Disney Enterprises, Inc. Adaptive luminance/color correction for displays
AU2019314262A1 (en) 2018-07-30 2021-02-25 Acucela Inc. Optical designs of electronic contact lens to decrease myopia progression
CN109271853B (zh) * 2018-08-07 2022-05-06 信利光电股份有限公司 一种提高支付安全的识别方法及装置
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
CN110148220B (zh) * 2018-08-30 2023-09-19 杭州维聚科技有限公司 室内空间大物件的三维重建方法
US11157739B1 (en) 2018-08-31 2021-10-26 Apple Inc. Multi-user computer generated reality platform
GB2567553B (en) * 2018-09-06 2021-04-07 Sony Interactive Entertainment Inc Foveated rendering system and method
WO2020061042A1 (en) * 2018-09-17 2020-03-26 Facebook Technologies, Llc Eye tracking using reverse-biased light-emitting diode devices
CN112789577B (zh) 2018-09-20 2024-04-05 元平台技术有限公司 增强现实系统中的神经肌肉文本输入、书写和绘图
US11934944B2 (en) 2018-10-04 2024-03-19 International Business Machines Corporation Neural networks using intra-loop data augmentation during network training
WO2020072915A1 (en) * 2018-10-05 2020-04-09 Ctrl-Labs Corporation Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
JP2022512600A (ja) 2018-10-05 2022-02-07 マジック リープ， インコーポレイテッド 任意の場所における場所特有の仮想コンテンツのレンダリング
US11803664B2 (en) 2018-10-09 2023-10-31 Ebay Inc. Distributed application architectures using blockchain and distributed file systems
US10838488B2 (en) 2018-10-10 2020-11-17 Plutovr Evaluating alignment of inputs and outputs for virtual environments
WO2020076997A1 (en) * 2018-10-10 2020-04-16 Plutovr Evaluating alignment of inputs and outputs for virtual environments
US20200128233A1 (en) * 2018-10-17 2020-04-23 Red Technologies, LLC Mobile device
CN111079481B (zh) * 2018-10-22 2023-09-26 西安邮电大学 一种基于二维骨架信息的攻击性行为识别方法
KR102236534B1 (ko) * 2018-11-02 2021-04-06 주식회사 엘지화학 편광자의 제조 방법
US10691767B2 (en) 2018-11-07 2020-06-23 Samsung Electronics Co., Ltd. System and method for coded pattern communication
JP2022507502A (ja) 2018-11-15 2022-01-18 イーディーエックス テクノロジーズ インコーポレイテッド 拡張現実（ａｒ）のインプリント方法とシステム
EP3886031A4 (en) * 2018-11-21 2022-06-29 Il Inc. Product customizing method via terminal
KR20200059854A (ko) 2018-11-22 2020-05-29 한국기술교육대학교 산학협력단 증강현실을 제공하는 시스템의 동작 방법
CN113423341A (zh) 2018-11-27 2021-09-21 脸谱科技有限责任公司 用于可穿戴电极传感器系统的自动校准的方法和装置
KR20210106990A (ko) 2018-11-30 2021-08-31 피씨엠에스 홀딩스, 인크. 피부 반사율 데이터베이스에 기초하여 장면 발광체를 추정하는 방법 및 장치
EP3671410B1 (en) * 2018-12-19 2022-08-24 Siemens Healthcare GmbH Method and device to control a virtual reality display unit
KR20200076325A (ko) 2018-12-19 2020-06-29 삼성전자주식회사 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법
US10991117B2 (en) 2018-12-23 2021-04-27 Samsung Electronics Co., Ltd. Performing a loop closure detection
US10699123B1 (en) * 2018-12-26 2020-06-30 Snap Inc. Dynamic contextual media filter
WO2020141468A1 (en) * 2019-01-03 2020-07-09 Ehe Innovations Private Limited Method and system for detecting position of a target area in a target subject
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
CN113412510A (zh) 2019-02-15 2021-09-17 Jvc建伍株式会社 图像调整系统、图像调整装置以及图像调整方法
US10852906B2 (en) 2019-02-15 2020-12-01 Microsoft Technology Licensing, Llc System and method for identifying locations for virtual items within a physical environment
US11137520B2 (en) 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Integrated depth sensor window lens and method
KR20200105136A (ko) * 2019-02-28 2020-09-07 (주)유인케어 가상현실환경을 이용한 이야기 속 역할 수행을 통한 인지재활훈련 및 평가 방법
EP3712759B1 (en) * 2019-03-18 2023-07-19 Apple Inc. Virtual paper
US20200304933A1 (en) * 2019-03-19 2020-09-24 Htc Corporation Sound processing system of ambisonic format and sound processing method of ambisonic format
EP3712852B1 (en) * 2019-03-19 2021-12-15 Carrier Corporation Refrigerated sales cabinet
JP7323315B2 (ja) 2019-03-27 2023-08-08 株式会社コーエーテクモゲームス 情報処理装置、情報処理方法及びプログラム
US10936057B2 (en) 2019-04-09 2021-03-02 Samsung Electronics Co., Ltd. System and method for natural three-dimensional calibration for robust eye tracking
US10957108B2 (en) * 2019-04-15 2021-03-23 Shutterstock, Inc. Augmented reality image retrieval systems and methods
US11460576B2 (en) * 2019-04-18 2022-10-04 Beijing Voyager Technology Co., Ltd. Transmitter having beam shifter for light detection and ranging (LIDAR)
WO2020219744A1 (en) * 2019-04-24 2020-10-29 Magic Leap, Inc. Perimeter estimation from posed monocular video
US11554322B2 (en) * 2019-04-26 2023-01-17 Sony Interactive Entertainment LLC Game controller with touchpad input
CA3139516A1 (en) 2019-05-10 2020-11-19 BadVR, Inc. Novel systems and methods for collecting, locating and visualizing sensor signals in extended reality
US20200387286A1 (en) * 2019-06-07 2020-12-10 Facebook Technologies, Llc Arm gaze-driven user interface element gating for artificial reality systems
US10890983B2 (en) * 2019-06-07 2021-01-12 Facebook Technologies, Llc Artificial reality system having a sliding menu
CN110232664A (zh) * 2019-06-13 2019-09-13 大连民族大学 一种基于增强现实的傩面具修复方法
US11803628B2 (en) 2019-06-21 2023-10-31 Magic Leap, Inc. Secure authorization via modal window
CN112130321B (zh) * 2019-06-24 2023-06-27 成都理想境界科技有限公司 一种波导模组及基于波导的近眼显示模组及设备
KR102361038B1 (ko) * 2019-06-29 2022-02-09 주식회사 큐버 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템
US10901689B1 (en) 2019-07-11 2021-01-26 International Business Machines Corporation Dynamic augmented reality interface creation
US11941762B2 (en) 2019-07-15 2024-03-26 Samsung Electronics Co., Ltd. System and method for augmented reality scenes
US11048356B2 (en) 2019-07-31 2021-06-29 Sony Interactive Entertainment LLC Microphone on controller with touchpad to take in audio swipe feature data
WO2021022193A1 (en) 2019-07-31 2021-02-04 Acucela Inc. Device for projecting images on the retina
WO2021025879A2 (en) * 2019-08-07 2021-02-11 Size Stream Llc Mobile 3d crowd scanning methods and apparatus
US20210056391A1 (en) 2019-08-20 2021-02-25 Mind Machine Learning, Inc. Systems and Methods for Simulating Sense Data and Creating Perceptions
KR102269207B1 (ko) * 2019-09-10 2021-06-25 한국과학기술정보연구원 초고속 통신 기반의 데이터 분석 가시화 방법 및 그 장치
EP4031933A4 (en) 2019-09-16 2023-10-11 Acucela Inc. METHOD FOR ASSEMBLY OF AN ELECTRONIC SOFT CONTACT LENS DESIGNED TO INHIBIT THE PROGRESSION OF MYOPIA
JP7315422B2 (ja) * 2019-09-18 2023-07-26 五洋建設株式会社 状況把握支援システム
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
KR102183115B1 (ko) * 2019-10-01 2020-11-25 주식회사 코탁스 증강현실 기술을 활용한 클라우드 기반의, 실 공간 가상화를 통한 오브젝트 오버래핑 시스템
WO2021076748A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with wireless fingerprints
EP4046070A4 (en) 2019-10-15 2023-10-18 Magic Leap, Inc. CROSS-REALLY SYSTEM THAT SUPPORTS MULTIPLE DEVICE TYPES
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
KR102292420B1 (ko) * 2019-10-21 2021-08-23 이혁락 Vr 컨텐츠 제작 장치, 시스템 및 그 방법
KR102060286B1 (ko) * 2019-10-29 2019-12-27 주식회사 코드42 이미지 정보를 활용한 레이더 오브젝트 검출 임계값 결정 방법 및 이를 이용한 레이더 오브젝트 정보 생성 장치
CN117872592A (zh) * 2019-11-01 2024-04-12 株式会社籁天那 增强现实用光学装置
WO2021096931A1 (en) 2019-11-12 2021-05-20 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
JP2023503257A (ja) 2019-11-18 2023-01-27 マジック リープ， インコーポレイテッド パス可能世界のマッピングおよび位置特定
KR102291740B1 (ko) * 2019-11-26 2021-08-23 주식회사 딥파인 영상처리 시스템
FR3103593B1 (fr) * 2019-11-27 2022-09-23 Safran Procédé de vision virtuelle, depuis un habitacle d’un aéronef, d’un objet situé à l’extérieur de l’habitacle
US11158108B2 (en) * 2019-12-04 2021-10-26 Microsoft Technology Licensing, Llc Systems and methods for providing a mixed-reality pass-through experience
USD941353S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940189S1 (en) 2019-12-09 2022-01-04 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940748S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941307S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with graphical user interface for guiding graphics
USD940749S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
EP4073763A4 (en) 2019-12-09 2023-12-27 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH SIMPLIFIED PROGRAMMING OF VIRTUAL CONTENT
TWI813413B (zh) * 2019-12-20 2023-08-21 美商尼安蒂克公司 具有可預測之查詢回應時間之地理定位資料的分區式儲存
AU2020404610A1 (en) * 2019-12-20 2022-08-18 Niantic, Inc. Location determination and mapping with 3D line junctions
SG10202000067YA (en) * 2020-01-06 2021-08-30 Dharmatilleke Medha Pop-out & Sink-in Holographic Augmented Reality and Virtual Reality Device for use without 3D glasses for simultaneous viewing by multiple persons
EP4088252A4 (en) * 2020-01-06 2024-01-24 Misapplied Sciences Inc TRAFFIC INTERNATIONAL INFORMATION SYSTEM
KR102300873B1 (ko) * 2020-01-15 2021-09-13 주식회사 와이닷츠 피지컬 실체화 가능한 사이버 로봇
CN113160396B (zh) * 2020-01-23 2024-03-29 宝马股份公司 建立地图模型的方法、生成实时地图的方法和地图系统
KR102307463B1 (ko) 2020-02-05 2021-09-29 이근호 사파리 투어 시스템 및 그 시스템의 구동방법
JP2023514207A (ja) 2020-02-13 2023-04-05 マジック リープ， インコーポレイテッド 位置特定に関するジオロケーション情報の優先順位化を伴うクロスリアリティシステム
CN115427758A (zh) 2020-02-13 2022-12-02 奇跃公司 具有精确共享地图的交叉现实系统
US11777340B2 (en) 2020-02-21 2023-10-03 Acucela Inc. Charging case for electronic contact lens
CN111460223B (zh) * 2020-02-25 2023-04-18 天津大学 基于深度网络的多模态特征融合的短视频单标签分类方法
JP2023515524A (ja) 2020-02-26 2023-04-13 マジック リープ， インコーポレイテッド 高速位置特定を伴うクロスリアリティシステム
US11277358B2 (en) 2020-02-28 2022-03-15 International Business Machines Corporation Chatbot enhanced augmented reality device guidance
EP3882857A1 (en) 2020-03-19 2021-09-22 Sony Group Corporation Extrinsic calibration of multi-camera system
EP3885818A1 (de) * 2020-03-25 2021-09-29 Siemens Aktiengesellschaft Vorrichtung und verfahren zur spektroskopischen oberflächenanalyse
US11106915B1 (en) 2020-03-26 2021-08-31 International Business Machines Corporation Generating in a gaze tracking device augmented reality representations for objects in a user line-of-sight
US11277597B1 (en) 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
WO2021202783A1 (en) * 2020-04-03 2021-10-07 Magic Leap, Inc. Avatar customization for optimal gaze discrimination
US11481965B2 (en) 2020-04-10 2022-10-25 Samsung Electronics Co., Ltd. Electronic device for communicating in augmented reality and method thereof
US11875527B1 (en) 2020-04-13 2024-01-16 Apple Inc. Descriptor generation and point cloud fusion
US11688073B2 (en) 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
US11900547B2 (en) 2020-04-29 2024-02-13 Magic Leap, Inc. Cross reality system for large scale environments
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
JP2023526048A (ja) 2020-05-13 2023-06-20 アキュセラ インコーポレイテッド 近視治療のための電気切替可能眼鏡
US11325043B2 (en) 2020-05-15 2022-05-10 Microsoft Technology Licensing, Llc Utilizing multiple input sources for generating gameplay locations
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
KR20230018368A (ko) * 2020-06-01 2023-02-07 퀄컴 인코포레이티드 폐색 처리 기법을 위한 방법 및 장치
US11436828B1 (en) * 2020-06-02 2022-09-06 State Farm Mutual Automobile Insurance Company Insurance inventory and claim generation
CA3179557A1 (en) 2020-06-08 2021-12-16 Ryo Kubota Stick on devices using peripheral defocus to treat progressive refractive error
CN115916331A (zh) 2020-06-08 2023-04-04 奥克塞拉有限公司 在周边视网膜上投射散焦图像来治疗屈光不正
US11281022B2 (en) 2020-06-10 2022-03-22 Acucela Inc. Apparatus and methods for the treatment of refractive error using active stimulation
JP7074373B2 (ja) * 2020-07-20 2022-05-24 株式会社mediVR リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
US20220047109A1 (en) * 2020-08-14 2022-02-17 June Life, Inc. System and method for targeted heating element control
JP7446943B2 (ja) 2020-08-18 2024-03-11 株式会社日立製作所 情報表現作成支援装置、情報表現作成支援方法およびコンピュータプログラム
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11861137B2 (en) 2020-09-09 2024-01-02 State Farm Mutual Automobile Insurance Company Vehicular incident reenactment using three-dimensional (3D) representations
CN112053449A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11836287B1 (en) 2020-09-22 2023-12-05 Apple Inc. Light pattern-based alignment for retinal eye tracking
US11546505B2 (en) * 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
KR102389686B1 (ko) * 2020-09-29 2022-04-25 주식회사 고담 혼합 현실(mixed reality, MR) 컨텐츠 상호 간의 전환을 위한 장치 및 방법
AU2021352417A1 (en) 2020-09-30 2023-04-06 Acucela Inc. Myopia prediction, diagnosis, planning, and monitoring device
WO2022084736A1 (en) * 2020-10-19 2022-04-28 Anna Marie Events, Llc System and method for virtual events platform
CN112101327B (zh) * 2020-11-18 2021-01-29 北京达佳互联信息技术有限公司 动作矫正模型的训练方法、动作矫正方法及装置
WO2022107294A1 (ja) * 2020-11-19 2022-05-27 株式会社ハシラス Ｖｒ映像空間生成システム
EP4009143A1 (en) * 2020-12-03 2022-06-08 XRSpace CO., LTD. Operating method by gestures in extended reality and head-mounted display system
CN112586951B (zh) * 2020-12-08 2022-06-10 深圳市亚讯威视数字技术有限公司 一种产品展览用针对计算机旋转式展示台
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
EP4020133A1 (en) * 2020-12-22 2022-06-29 Nokia Technologies Oy Multi-participant extended reality
US11409405B1 (en) * 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US20220198603A1 (en) * 2020-12-22 2022-06-23 Snap Inc. Recentering ar/vr content on an eyewear device
CN112648547B (zh) * 2020-12-26 2022-05-24 山东科技职业学院 一种带声源追踪头灯的控制系统
EP4272406A1 (en) * 2020-12-29 2023-11-08 Snap Inc. Body ui for augmented reality components
KR102299943B1 (ko) 2020-12-29 2021-09-09 주식회사 버넥트 속성정보 적용 기반의 증강현실 콘텐츠 제작 방법 및 시스템
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
KR20220096242A (ko) 2020-12-30 2022-07-07 (주)모아지오 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램
CN112732088B (zh) * 2021-01-18 2023-01-20 海信视像科技股份有限公司 一种虚拟现实设备及单目截屏方法
US11615594B2 (en) 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps
WO2022158890A1 (en) * 2021-01-21 2022-07-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps
JP2022113031A (ja) * 2021-01-22 2022-08-03 ソフトバンク株式会社 制御装置、プログラム、システム及び制御方法
EP4071725A4 (en) * 2021-02-09 2023-07-05 Beijing Zitiao Network Technology Co., Ltd. AUGMENTED REALITY-BASED DISPLAY METHOD AND DEVICE, STORAGE MEDIA AND PRODUCT-PROGRAM
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
WO2022192067A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US20220295040A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system with remote presentation including 3d graphics extending beyond frame
US20220295139A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
WO2022191373A1 (en) * 2021-03-11 2022-09-15 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
CN116964543A (zh) * 2021-03-11 2023-10-27 瑞典爱立信有限公司 扩展现实中的移动媒体
US11481871B2 (en) 2021-03-12 2022-10-25 Samsung Electronics Co., Ltd. Image-guided depth propagation for space-warping images
JP2024511085A (ja) 2021-03-24 2024-03-12 アキュセラ インコーポレイテッド 軸長測定モニタ
US11209672B1 (en) 2021-04-06 2021-12-28 Acucela Inc. Supporting pillars for encapsulating a flexible PCB within a soft hydrogel contact lens
WO2022216082A1 (ko) * 2021-04-07 2022-10-13 한국과학기술원 가상 공간 내 메모 객체를 제어하는 전자 시스템 및 그 동작 방법
CN117120962A (zh) * 2021-04-08 2023-11-24 斯纳普公司 用于控制虚拟和图形元素的映射手部区域之间的双手交互
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
WO2022216541A1 (en) * 2021-04-09 2022-10-13 The Trustees Of Indiana University Avatar-based behavior changing system and method
WO2022225761A1 (en) 2021-04-19 2022-10-27 Snap Inc. Hand gestures for animating and controlling virtual and graphical elements
CN112990105B (zh) * 2021-04-19 2021-09-21 北京优幕科技有限责任公司 对用户评价的方法、装置、电子设备和存储介质
GB2606173A (en) * 2021-04-28 2022-11-02 Sony Interactive Entertainment Europe Ltd Computer-implemented method for controlling a virtual avatar
CN115248655A (zh) * 2021-04-28 2022-10-28 闪耀现实(无锡)科技有限公司 用于显示信息的方法和装置
US11366341B1 (en) 2021-05-04 2022-06-21 Acucela Inc. Electronic case for electronic spectacles
CN117677918A (zh) * 2021-05-07 2024-03-08 斯纳普公司 增强现实体验的虚拟品尝和导览
SE544895C2 (en) * 2021-05-10 2022-12-20 Gazelock AB Data and command transmission system, computer-implemented method of transmitting data and commands, computer program and non-volatile data carrier
US11587208B2 (en) * 2021-05-26 2023-02-21 Qualcomm Incorporated High quality UI elements with frame extrapolation
KR102463638B1 (ko) * 2021-05-27 2022-11-09 주식회사 엔씨소프트 페인팅 스타일에 기초하여 컨텐츠를 추천하는 서버 및 이의 동작 방법
KR102567805B1 (ko) * 2021-06-14 2023-08-21 (주)이머시브캐스트 컨트롤 입력 기반의 pc 게임 확장 vr 시스템
KR102493258B1 (ko) * 2021-06-14 2023-02-01 (주)이머시브캐스트 어지럼증이 개선된 pc 게임 확장 vr 시스템
KR102565107B1 (ko) * 2021-07-01 2023-08-09 계명대학교 산학협력단 가상현실을 이용한 자기수용 감각의 측정 및 훈련 시스템 및 방법
CN113506005B (zh) * 2021-07-16 2022-09-23 牡丹江医学院 一种ct教学模拟方法、系统、存储介质及电子设备
WO2023009113A1 (en) * 2021-07-28 2023-02-02 Innopeak Technology, Inc. Interactive guidance for mapping and relocalization
KR102539045B1 (ko) * 2021-08-06 2023-06-02 주식회사 피앤씨솔루션 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법
WO2023021272A1 (en) * 2021-08-16 2023-02-23 Bae Systems Plc Waveguide
EP4137869A1 (en) * 2021-08-16 2023-02-22 BAE SYSTEMS plc Waveguide
US11585917B1 (en) * 2021-08-24 2023-02-21 Google Llc Systems and methods for generating three-dimensional maps of an indoor space
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
WO2023041150A1 (en) * 2021-09-15 2023-03-23 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for facilitating a privacy-aware representation in a system
US20230094522A1 (en) * 2021-09-23 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for content applications
KR102586144B1 (ko) * 2021-09-23 2023-10-10 주식회사 딥비전 딥러닝을 이용한 손 움직임 추적방법 및 장치
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11792499B2 (en) 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video
US11696011B2 (en) 2021-10-21 2023-07-04 Raytheon Company Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
WO2023095833A1 (ja) * 2021-11-25 2023-06-01 株式会社Ｎｔｔドコモ 情報処理装置
TWI804077B (zh) * 2021-11-30 2023-06-01 財團法人工業技術研究院 製程診斷系統及其操作方法
CN114119835B (zh) * 2021-12-03 2022-11-08 北京冰封互娱科技有限公司 硬表面模型的处理方法、装置及电子设备
CN114327705B (zh) * 2021-12-10 2023-07-14 重庆长安汽车股份有限公司 车载助手虚拟形象自定义方法
US20230186570A1 (en) * 2021-12-10 2023-06-15 Meta Platforms Technologies, Llc Methods and systems to allow three-dimensional maps sharing and updating
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
EP4227749A1 (en) * 2022-02-14 2023-08-16 Basf Se An augmented reality-based automation system
US11893699B2 (en) 2022-03-15 2024-02-06 Zeality Inc Method and processing unit for providing content in a bandwidth constrained environment
EP4246184A1 (en) * 2022-03-16 2023-09-20 Faro Technologies, Inc. Software camera view lock allowing editing of drawing without any shift in the view
WO2023183337A1 (en) * 2022-03-21 2023-09-28 Headvantage Corporation Body worn camera, sensor and content delivery system
JP2023142255A (ja) * 2022-03-24 2023-10-05 株式会社ポケモン プログラム、方法、情報処理装置、システム
US11700448B1 (en) 2022-04-29 2023-07-11 Raytheon Company Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene
KR102424123B1 (ko) * 2022-05-12 2022-07-21 오성훈 사용자의 모션 제스처 및 3d ui 기반의 메타버스 제어 서버, 방법 및 프로그램
CN114758042B (zh) * 2022-06-14 2022-09-02 深圳智华科技发展有限公司 新的虚拟仿真引擎、虚拟仿真方法以及装置
WO2023244247A1 (en) * 2022-06-17 2023-12-21 Hewlett-Packard Development Company, L.P. Image portion combination signals
EP4296834A1 (en) 2022-06-23 2023-12-27 Koninklijke Philips N.V. Rendering a virtual model
CN114818093B (zh) * 2022-06-27 2022-09-30 深圳小库科技有限公司 装配式钢结构模块建筑的柱梁生成方法、装置及设备
US20240054696A1 (en) * 2022-08-15 2024-02-15 Disney Enterprises, Inc. Dynamic Scale Augmented Reality Enhancement of Images
US20240054689A1 (en) * 2022-08-15 2024-02-15 Disney Enterprises, Inc. Augmented Reality Enhancement of Moving Images
WO2024040430A1 (en) * 2022-08-23 2024-02-29 Qualcomm Incorporated Method and apparatus to extend field of view of an augmented reality device
US20240070243A1 (en) * 2022-08-31 2024-02-29 Youjean Cho Authenticating a selective collaborative object
US20240070300A1 (en) * 2022-08-31 2024-02-29 Youjean Cho Selective collaborative object access based on timestamp
TWI799345B (zh) * 2022-09-01 2023-04-11 國立清華大學 反射掃描式同調光繞射顯影方法及系統
US20240087243A1 (en) * 2022-09-09 2024-03-14 Snap Inc. Shooting interaction using augmented reality content in a messaging system
CN115375930B (zh) * 2022-10-26 2023-05-05 中国航发四川燃气涡轮研究院 基于多尺度信息的立体匹配网络及立体匹配方法
US11847259B1 (en) 2022-11-23 2023-12-19 Google Llc Map-aided inertial odometry with neural network for augmented reality devices
KR102603972B1 (ko) * 2023-04-13 2023-11-21 주식회사 크레아코퍼레이션 Web ar 기반 비즈니스 정보를 제공하는 방법 및 장치
KR102635477B1 (ko) * 2023-08-01 2024-02-08 김재하 증강현실 기반의 공연 콘텐츠 제공장치 및 방법
CN117632330A (zh) * 2023-10-12 2024-03-01 浙江大学 一种虚拟环境下眼控界面的交互目标布局方法和系统
CN117421089B (zh) * 2023-12-19 2024-03-22 北京山维科技股份有限公司 一种台阶类地理信息要素处理方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028664A (en) * 1997-01-29 2000-02-22 Inspex, Inc. Method and system for establishing a common reference point on a semiconductor wafer inspected by two or more scanning mechanisms
US20040068173A1 (en) * 2002-08-06 2004-04-08 Viswanathan Raju R. Remote control of medical devices using a virtual device interface
US20070183653A1 (en) * 2006-01-31 2007-08-09 Gerard Medioni 3D Face Reconstruction from 2D Images
US20100149177A1 (en) * 2005-10-11 2010-06-17 Animetrics Inc. Generation of normalized 2d imagery and id systems via 2d to 3d lifting of multifeatured objects
US20120059706A1 (en) * 2010-09-01 2012-03-08 Vishal Goenka Methods and Apparatus for Transforming User Data and Generating User Lists
US20120207384A1 (en) * 2011-02-14 2012-08-16 Fatih Porikli Representing Object Shapes Using Radial Basis Function Support Vector Machine Classification
CN102708355A (zh) * 2011-02-15 2012-10-03 索尼公司 信息处理装置、信息处理方法及程序
US20130121570A1 (en) * 2011-09-17 2013-05-16 Zhe Lin Methods and Apparatus for Visual Search
US20140043329A1 (en) * 2011-03-21 2014-02-13 Peng Wang Method of augmented makeover with 3d face modeling and landmark alignment

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6020892A (en) * 1995-04-17 2000-02-01 Dillon; Kelly Process for producing and controlling animated facial representations
US7203669B2 (en) * 2003-03-17 2007-04-10 Intel Corporation Detector tree of boosted classifiers for real-time object detection and tracking
JP4630647B2 (ja) * 2004-11-19 2011-02-09 キヤノン株式会社 画像提示方法及び情報処理装置
US20060285330A1 (en) * 2005-06-20 2006-12-21 Ingvar Sundell Automatic darkening filter with automatic power management
US7606392B2 (en) * 2005-08-26 2009-10-20 Sony Corporation Capturing and processing facial motion data
WO2007116662A1 (ja) * 2006-03-27 2007-10-18 Pioneer Corporation 電子装置及びその操作方法
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
EP2157545A1 (en) * 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
KR101114750B1 (ko) * 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US8767305B2 (en) * 2011-08-02 2014-07-01 Google Inc. Method and apparatus for a near-to-eye display
US20130063560A1 (en) * 2011-09-12 2013-03-14 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
KR20140066258A (ko) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
AU2012348348B2 (en) * 2011-10-28 2017-03-30 Magic Leap, Inc. System and method for augmented and virtual reality
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2013172432A (ja) 2012-02-23 2013-09-02 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
KR101978957B1 (ko) * 2012-05-09 2019-05-16 엘지전자 주식회사 디스플레이 장치 및 애플리케이션 실행 및 설치 방법
US9111135B2 (en) * 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US9292085B2 (en) * 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
KR20140017735A (ko) * 2012-07-31 2014-02-12 인텔렉추얼디스커버리 주식회사 착용형 전자 장치 및 그의 제어 방법
US9030446B2 (en) * 2012-11-20 2015-05-12 Samsung Electronics Co., Ltd. Placement of optical sensor on wearable electronic device
CN103581443A (zh) * 2013-11-14 2014-02-12 惠州Tcl移动通信有限公司 一种基于传感器的智能终端自动唤醒方法及系统
CN103810353A (zh) * 2014-03-09 2014-05-21 杨智 一种虚拟现实中的现实场景映射系统和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028664A (en) * 1997-01-29 2000-02-22 Inspex, Inc. Method and system for establishing a common reference point on a semiconductor wafer inspected by two or more scanning mechanisms
US20040068173A1 (en) * 2002-08-06 2004-04-08 Viswanathan Raju R. Remote control of medical devices using a virtual device interface
US20100149177A1 (en) * 2005-10-11 2010-06-17 Animetrics Inc. Generation of normalized 2d imagery and id systems via 2d to 3d lifting of multifeatured objects
US20070183653A1 (en) * 2006-01-31 2007-08-09 Gerard Medioni 3D Face Reconstruction from 2D Images
US20120059706A1 (en) * 2010-09-01 2012-03-08 Vishal Goenka Methods and Apparatus for Transforming User Data and Generating User Lists
US20120207384A1 (en) * 2011-02-14 2012-08-16 Fatih Porikli Representing Object Shapes Using Radial Basis Function Support Vector Machine Classification
CN102708355A (zh) * 2011-02-15 2012-10-03 索尼公司 信息处理装置、信息处理方法及程序
US20140043329A1 (en) * 2011-03-21 2014-02-13 Peng Wang Method of augmented makeover with 3d face modeling and landmark alignment
US20130121570A1 (en) * 2011-09-17 2013-05-16 Zhe Lin Methods and Apparatus for Visual Search

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUIDONG BAI ET AL.: "Markerless 3D gesture-based interaction for handheld Augmented Reality interfaces", 《2013 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY (ISMAR)》 *
蔡攀: "基于增强现实的实时交互技术研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (244)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107199888A (zh) * 2016-03-18 2017-09-26 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
US11593615B2 (en) 2016-12-16 2023-02-28 Microsoft Technology Licensing, Llc Image stylization based on learning network
CN110832878B (zh) * 2017-07-10 2022-02-15 高通股份有限公司 增强区域取向包封及视区独立高效视频译码媒体配置文件
CN109241810A (zh) * 2017-07-10 2019-01-18 腾讯科技（深圳）有限公司 虚拟角色图像的构建方法及装置、存储介质
CN110832878A (zh) * 2017-07-10 2020-02-21 高通股份有限公司 增强区域取向包封及视区独立高效视频译码媒体配置文件
CN107689796A (zh) * 2017-07-28 2018-02-13 同济大学 一种基于先验信息的无损压缩文件容错解压方法
CN107689796B (zh) * 2017-07-28 2021-03-26 同济大学 一种基于先验信息的无损压缩文件容错解压方法
CN107368820A (zh) * 2017-08-03 2017-11-21 中国科学院深圳先进技术研究院 一种精细化手势识别方法、装置及设备
CN107609220A (zh) * 2017-08-11 2018-01-19 中国电力科学研究院 一种负荷低电压释放特性参数的确定方法和装置
CN107609220B (zh) * 2017-08-11 2021-11-05 中国电力科学研究院 一种负荷低电压释放特性参数的确定方法和装置
CN111226436A (zh) * 2017-08-14 2020-06-02 脸谱科技有限责任公司 具有用于深度感测的可编程衍射光学元件的照相机组件
CN111226436B (zh) * 2017-08-14 2022-03-11 脸谱科技有限责任公司 具有用于深度感测的可编程衍射光学元件的照相机组件
US11586036B2 (en) 2017-08-14 2023-02-21 Meta Platforms Technologies, Llc Camera assembly with programmable diffractive optical element for depth sensing
CN111031958A (zh) * 2017-08-16 2020-04-17 柯惠有限合伙公司 在微创手术期间合成多个相机视点之间的空间感知过渡
CN111031958B (zh) * 2017-08-16 2023-09-15 柯惠有限合伙公司 在微创手术期间合成多个相机视点之间的空间感知过渡
CN107561549B (zh) * 2017-08-17 2020-07-24 广州视源电子科技股份有限公司 终端位置的重定位方法、装置、终端及存储介质
CN107561549A (zh) * 2017-08-17 2018-01-09 广州视源电子科技股份有限公司 终端位置的重定位方法、装置、终端及存储介质
CN111295633A (zh) * 2017-08-29 2020-06-16 新加坡商欧之遥控有限公司 精细的用户识别
CN109426783A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于增强现实的手势识别方法及系统
CN111295633B (zh) * 2017-08-29 2024-02-20 新加坡商欧之遥控有限公司 精细的用户识别
US11450015B2 (en) 2017-08-31 2022-09-20 Meta Platforms Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
CN111052183B (zh) * 2017-09-04 2024-05-03 苏黎世大学 利用事件相机的视觉惯性里程计
CN111052183A (zh) * 2017-09-04 2020-04-21 苏黎世大学 利用事件相机的视觉惯性里程计
CN107538492A (zh) * 2017-09-07 2018-01-05 福物（上海）机器人科技有限公司 移动机器人的智能操控系统、方法及智能学习方法
CN111066081A (zh) * 2017-09-08 2020-04-24 微软技术许可有限责任公司 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
CN110741331B (zh) * 2017-09-09 2023-12-08 谷歌有限责任公司 用于图像响应自动助理的系统、方法和装置
CN110741331A (zh) * 2017-09-09 2020-01-31 谷歌有限责任公司 用于图像响应自动助理的系统、方法和装置
CN109511004A (zh) * 2017-09-14 2019-03-22 中兴通讯股份有限公司 一种视频处理方法及装置
CN109511004B (zh) * 2017-09-14 2023-09-01 中兴通讯股份有限公司 一种视频处理方法及装置
CN107578078A (zh) * 2017-09-14 2018-01-12 哈尔滨工业大学 用于单目视觉定位的非镜像对称二维码标志图形校验及布局方法
CN107578078B (zh) * 2017-09-14 2020-05-12 哈尔滨工业大学 用于单目视觉定位的非镜像对称二维码标志图形校验及布局方法
US11582506B2 (en) 2017-09-14 2023-02-14 Zte Corporation Video processing method and apparatus, and storage medium
CN111448568A (zh) * 2017-09-29 2020-07-24 苹果公司 基于环境的应用演示
CN111448568B (zh) * 2017-09-29 2023-11-14 苹果公司 基于环境的应用演示
CN107564110A (zh) * 2017-09-30 2018-01-09 四川长虹电器股份有限公司 一种基于ar的工厂设计系统
CN107704681A (zh) * 2017-09-30 2018-02-16 江西洪都航空工业集团有限责任公司 一种飞机地面视野范围的计算方法
CN107741886A (zh) * 2017-10-11 2018-02-27 江苏电力信息技术有限公司 一种基于增强现实技术多人互动的方法
CN107741886B (zh) * 2017-10-11 2020-12-15 江苏电力信息技术有限公司 一种基于增强现实技术多人互动的方法
CN107680105A (zh) * 2017-10-12 2018-02-09 北京奇虎科技有限公司 基于虚拟世界的视频数据实时处理方法及装置、计算设备
CN107680170A (zh) * 2017-10-12 2018-02-09 北京奇虎科技有限公司 基于虚拟世界的图像实时处理方法及装置、计算设备
CN107766206A (zh) * 2017-10-12 2018-03-06 武汉秀宝软件有限公司 一种基于增强现实的多主机测试方法及系统
CN107766206B (zh) * 2017-10-12 2020-09-01 武汉秀宝软件有限公司 一种基于增强现实的多主机测试方法及系统
US10613624B2 (en) 2017-11-07 2020-04-07 Boe Technology Group Co., Ltd. Display driving circuit, driving method thereof and display device
CN107742512A (zh) * 2017-11-07 2018-02-27 北京京东方光电科技有限公司 一种显示驱动电路、其驱动方法及显示装置
CN107765953B (zh) * 2017-11-08 2023-08-22 网易（杭州）网络有限公司 信息的展示方法、装置、处理器及头戴式显示设备
CN107765953A (zh) * 2017-11-08 2018-03-06 网易（杭州）网络有限公司 信息的展示方法、装置、处理器及头戴式显示设备
CN107657589A (zh) * 2017-11-16 2018-02-02 上海麦界信息技术有限公司 基于三基准点标定的手机ar定位坐标轴同步方法
CN107657589B (zh) * 2017-11-16 2021-05-14 上海麦界信息技术有限公司 基于三基准点标定的手机ar定位坐标轴同步方法
CN107860315A (zh) * 2017-11-17 2018-03-30 浙江大学城市学院 一种结构光全向光场视觉系统组合结构
CN110301117B (zh) * 2017-11-24 2022-10-21 微软技术许可有限责任公司 用于在会话中提供响应的方法和装置
US11704501B2 (en) 2017-11-24 2023-07-18 Microsoft Technology Licensing, Llc Providing a response in a session
CN110301117A (zh) * 2017-11-24 2019-10-01 微软技术许可有限责任公司 在会话中提供响应
CN107945283A (zh) * 2017-12-06 2018-04-20 河南省水利勘测设计研究有限公司 基于移动增强现实技术和bim的工程展示方法
CN109922417B (zh) * 2017-12-06 2022-06-14 奥迪康有限公司 适于导航的听力装置或系统
CN109922417A (zh) * 2017-12-06 2019-06-21 奥迪康有限公司 适于导航的听力装置或系统
CN107945283B (zh) * 2017-12-06 2021-05-14 河南省水利勘测设计研究有限公司 基于移动增强现实技术和bim的工程展示方法
CN108089701A (zh) * 2017-12-07 2018-05-29 北京奇虎科技有限公司 一种虚拟现实vr场景的展示方法和装置
CN109920283A (zh) * 2017-12-12 2019-06-21 王子南 一种仿真沙盘系统
CN107992896A (zh) * 2017-12-13 2018-05-04 东南大学 一种基于眼动追踪技术的科学概念评测方法
CN111801708B (zh) * 2017-12-22 2022-04-29 奇跃公司 使用光线投射和实时深度进行遮挡渲染的方法
CN111788611B (zh) * 2017-12-22 2021-12-03 奇跃公司 密集3d重建数据的缓存和更新
CN111801708A (zh) * 2017-12-22 2020-10-20 奇跃公司 使用光线投射和实时深度进行遮挡渲染的方法
CN111788611A (zh) * 2017-12-22 2020-10-16 奇跃公司 密集3d重建数据的缓存和更新
CN108053262A (zh) * 2017-12-28 2018-05-18 北京小度信息科技有限公司 数据推送方法及装置
CN108182719A (zh) * 2017-12-28 2018-06-19 北京聚力维度科技有限公司 人工智能自适应障碍地形的行进动画生成方法和装置
CN108417217A (zh) * 2018-01-11 2018-08-17 苏州思必驰信息科技有限公司 说话人识别网络模型训练方法、说话人识别方法及系统
CN108282228A (zh) * 2018-01-12 2018-07-13 西安电子科技大学 基于室内可见光通信的多区域双控制器分层网络架构
CN110049303A (zh) * 2018-01-15 2019-07-23 微软技术许可有限责任公司 立体图像的视觉风格化
US11262756B2 (en) * 2018-01-15 2022-03-01 Uatc, Llc Discrete decision architecture for motion planning system of an autonomous vehicle
US11308576B2 (en) 2018-01-15 2022-04-19 Microsoft Technology Licensing, Llc Visual stylization on stereoscopic images
CN110049303B (zh) * 2018-01-15 2021-08-13 微软技术许可有限责任公司 立体图像的视觉风格化
CN108256060A (zh) * 2018-01-16 2018-07-06 广州视源电子科技股份有限公司 一种闭环检测方法、装置、终端及存储介质
CN108256060B (zh) * 2018-01-16 2021-02-09 广州视源电子科技股份有限公司 一种闭环检测方法、装置、终端及存储介质
CN108172051A (zh) * 2018-01-24 2018-06-15 山东科技大学 一种体育课教学方法和装置
CN110120229A (zh) * 2018-02-05 2019-08-13 北京三星通信技术研究有限公司 虚拟现实vr音频信号的处理方法及相应设备
WO2019153405A1 (zh) * 2018-02-06 2019-08-15 深圳市鹰硕技术有限公司 影像显示系统、方法以及数字眼镜
TWI648556B (zh) * 2018-03-06 2019-01-21 仁寶電腦工業股份有限公司 同步定位與地圖建構及手勢辨識方法
CN108470047A (zh) * 2018-03-07 2018-08-31 谭亮 基于物联网的远程平台监测系统
CN108470047B (zh) * 2018-03-07 2023-09-26 谭亮 基于物联网的远程平台监测系统
CN110275174A (zh) * 2018-03-13 2019-09-24 脸谱科技有限责任公司 使用条纹干涉测量法进行深度确定的系统和设备
CN110275602A (zh) * 2018-03-13 2019-09-24 脸谱科技有限责任公司 人工现实系统和头戴式显示器
CN108492352B (zh) * 2018-03-22 2021-10-22 腾讯科技（深圳）有限公司 增强现实的实现方法、装置、系统、计算机设备及存储介质
CN111630497A (zh) * 2018-03-22 2020-09-04 斯诺弗雷克公司 在数据库系统中的增量特征开发和工作负荷捕获
CN108492352A (zh) * 2018-03-22 2018-09-04 腾讯科技（深圳）有限公司 增强现实的实现方法、装置、系统、计算机设备及存储介质
CN111630497B (zh) * 2018-03-22 2023-09-05 斯诺弗雷克公司 在数据库系统中的增量特征开发和工作负荷捕获
CN108514421A (zh) * 2018-03-30 2018-09-11 福建幸福家园投资管理有限公司 提升混合现实与日常健康监测的方法
CN110896656A (zh) * 2018-04-10 2020-03-20 深圳市大疆创新科技有限公司 云台控制装置及云台系统
CN109325156A (zh) * 2018-04-25 2019-02-12 厦门大学 基于扩展线段的农村道路网匹配技术
CN109325156B (zh) * 2018-04-25 2021-12-17 厦门大学 基于扩展线段的农村道路网匹配方法
CN108596964A (zh) * 2018-05-02 2018-09-28 厦门美图之家科技有限公司 深度数据获取方法、装置及可读存储介质
CN110443083A (zh) * 2018-05-04 2019-11-12 脸谱科技有限责任公司 虚拟现实环境中的用户界面安全性
CN110443083B (zh) * 2018-05-04 2024-04-12 元平台技术有限公司 虚拟现实环境中的用户界面安全性
CN108648223A (zh) * 2018-05-17 2018-10-12 苏州科技大学 基于中央眼的场景重构方法及重构系统
CN108931795B (zh) * 2018-05-21 2022-05-13 千寻位置网络有限公司 定位设备轨迹优化和边界提取方法及装置
CN108931795A (zh) * 2018-05-21 2018-12-04 千寻位置网络有限公司 定位设备轨迹优化和边界提取方法及装置
CN110531960A (zh) * 2018-05-24 2019-12-03 明日基金知识产权控股有限公司 用于通过虚拟世界，在现实世界中开发，测试以及部署数字现实应用程式的系统与方法
CN110531960B (zh) * 2018-05-24 2023-02-28 卡兰控股有限公司 用于通过虚拟世界，在现实世界中开发，测试以及部署数字现实应用程式的系统与方法
CN108765270A (zh) * 2018-05-30 2018-11-06 链家网（北京）科技有限公司 一种虚拟三维空间标签绑定方法及装置
CN108805886A (zh) * 2018-05-30 2018-11-13 中北大学 一种多融合物理签名的持久性聚类分割方法
CN108805886B (zh) * 2018-05-30 2021-09-03 中北大学 一种多融合物理签名的持久性聚类分割方法
CN112119447B (zh) * 2018-06-05 2023-12-12 Imec 非营利协会 用于全息投影的数据分发
CN112119447A (zh) * 2018-06-05 2020-12-22 Imec 非营利协会 用于全息投影的数据分发
CN109118594A (zh) * 2018-06-06 2019-01-01 链家网（北京）科技有限公司 一种删除房源虚拟三维模型中细小虚像的方法及系统
CN109063538A (zh) * 2018-06-06 2018-12-21 中国电建集团华东勘测设计研究院有限公司 一种基于ar与bim的工程图纸读图装置
TWI691932B (zh) * 2018-06-12 2020-04-21 大陸商光寶電子（廣州）有限公司 影像處理系統及影像處理方法
US11012616B2 (en) 2018-06-12 2021-05-18 Lite-On Electronics (Guangzhou) Limited Image processing system for augmented reality and method thereof
TWI663423B (zh) * 2018-06-29 2019-06-21 揚明光學股份有限公司 成像位移裝置及其製造方法
CN112352209A (zh) * 2018-07-02 2021-02-09 谷歌有限责任公司 用于与人工智能系统互动和界面交互的系统和方法
CN112585669A (zh) * 2018-07-03 2021-03-30 瑞克斯姆股份有限公司 显示处理电路系统
US11961431B2 (en) 2018-07-03 2024-04-16 Google Llc Display processing circuitry
CN109035338A (zh) * 2018-07-16 2018-12-18 深圳辰视智能科技有限公司 基于单尺度特征的点云与图片融合方法、装置及其设备
CN109035338B (zh) * 2018-07-16 2020-11-10 深圳辰视智能科技有限公司 一种基于单尺度特征的点云与图片融合方法、装置及其设备
US20230252741A1 (en) * 2018-07-23 2023-08-10 Magic Leap, Inc. System and method for mapping
CN112805750A (zh) * 2018-08-13 2021-05-14 奇跃公司 跨现实系统
CN109107161A (zh) * 2018-08-17 2019-01-01 深圳市腾讯网络信息技术有限公司 一种游戏对象的控制方法、装置、介质以及设备
CN112601993A (zh) * 2018-08-26 2021-04-02 鲁姆斯有限公司 近眼显示器中的反射抑制
CN109129523A (zh) * 2018-08-30 2019-01-04 燕山大学 基于人机交互的移动机器人实时远程控制系统
CN109129523B (zh) * 2018-08-30 2021-07-06 燕山大学 基于人机交互的移动机器人实时远程控制系统
CN112639892A (zh) * 2018-08-31 2021-04-09 斯纳普公司 增强现实拟人化系统
CN110895674B (zh) * 2018-09-13 2024-01-05 本田技研工业株式会社 用于基于自我中心视觉的未来车辆定位的系统和方法
CN110895674A (zh) * 2018-09-13 2020-03-20 本田技研工业株式会社 用于基于自我中心视觉的未来车辆定位的系统和方法
CN109189228A (zh) * 2018-09-25 2019-01-11 信阳百德实业有限公司 一种利用ar和图像识别技术对标牌进行图案识别方法
CN109272050A (zh) * 2018-09-30 2019-01-25 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109492208A (zh) * 2018-10-12 2019-03-19 天津字节跳动科技有限公司 文档编辑方法及其装置、设备、存储介质
CN109492208B (zh) * 2018-10-12 2023-06-23 天津字节跳动科技有限公司 文档编辑方法及其装置、设备、存储介质
CN111089579A (zh) * 2018-10-22 2020-05-01 北京地平线机器人技术研发有限公司 异构双目slam方法、装置及电子设备
CN112956160A (zh) * 2018-10-29 2021-06-11 昕诺飞控股有限公司 用于在网络中提供节点序列的系统
CN112956160B (zh) * 2018-10-29 2022-08-02 昕诺飞控股有限公司 用于在网络中提供节点序列的系统
CN109086755B (zh) * 2018-11-07 2022-07-08 上海电气集团股份有限公司 基于图像分割的康复机器人的虚拟现实显示方法及系统
CN109086755A (zh) * 2018-11-07 2018-12-25 上海电气集团股份有限公司 基于图像分割的康复机器人的虚拟现实显示方法及系统
CN111512276A (zh) * 2018-11-13 2020-08-07 谷歌有限责任公司 用于基于雷达的应用的雷达图像整形器
CN111512276B (zh) * 2018-11-13 2024-04-09 谷歌有限责任公司 用于基于雷达的应用的雷达图像整形器
CN110008998A (zh) * 2018-11-27 2019-07-12 美律电子(深圳)有限公司 标签数据生成系统和方法
CN110008998B (zh) * 2018-11-27 2021-07-13 美律电子(深圳)有限公司 标签数据生成系统和方法
CN109270515A (zh) * 2018-11-29 2019-01-25 北京理工大学 可变扫描区域同轴收发扫描激光雷达
CN109597492A (zh) * 2018-12-05 2019-04-09 谷东科技有限公司 激光虚拟键盘与ar眼镜交互系统
CN109597492B (zh) * 2018-12-05 2022-03-04 谷东科技有限公司 激光虚拟键盘与ar眼镜交互系统
CN111352503A (zh) * 2018-12-21 2020-06-30 秀铺菲公司 具有用于虚拟对象的显示的增强现实应用的电子商务平台
TWI683330B (zh) * 2018-12-25 2020-01-21 世洋科技股份有限公司 薄膜結構製造方法
CN109443350B (zh) * 2018-12-27 2023-09-01 仝人智能科技(江苏)有限公司 基于神经网络的蓝牙/光电/ins组合导航装置及方法
CN109443350A (zh) * 2018-12-27 2019-03-08 西安中科光电精密工程有限公司 基于神经网络的蓝牙/光电/ins组合导航装置及方法
CN109814112A (zh) * 2019-01-15 2019-05-28 北京百度网讯科技有限公司 一种超声波雷达与激光雷达信息融合方法和系统
CN110163377B (zh) * 2019-01-21 2021-03-16 腾讯科技（深圳）有限公司 交互数据处理方法、装置、计算机可读存储介质和计算机设备
CN109801379A (zh) * 2019-01-21 2019-05-24 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法
CN110163377A (zh) * 2019-01-21 2019-08-23 腾讯科技（深圳）有限公司 交互数据处理方法、装置、计算机可读存储介质和计算机设备
CN109801379B (zh) * 2019-01-21 2023-02-17 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法
CN109947242A (zh) * 2019-02-26 2019-06-28 贵州翰凯斯智能技术有限公司 一种基于信息融合的工厂虚拟应用系统及使用方法
CN109857415A (zh) * 2019-03-01 2019-06-07 广东盈科电子有限公司 一种烧录装置及其参数自动选择烧录方法
CN111766939A (zh) * 2019-03-15 2020-10-13 苹果公司 在光学透传显示器上的注意力方向
CN109847350A (zh) * 2019-03-25 2019-06-07 深圳初影科技有限公司 基于ar技术的游戏实现方法、游戏系统、及存储介质
CN113646808A (zh) * 2019-04-04 2021-11-12 中心线生物医药股份有限公司 空间跟踪系统与增强现实显示器的配准
CN113661406A (zh) * 2019-04-10 2021-11-16 株式会社电装 雷达装置
CN110101455A (zh) * 2019-04-30 2019-08-09 微创（上海）医疗机器人有限公司 显示装置及手术机器人
CN111897411A (zh) * 2019-05-05 2020-11-06 Oppo广东移动通信有限公司 基于大气光通信的交互方法、装置和穿戴设备
CN110095767A (zh) * 2019-05-08 2019-08-06 哈尔滨工业大学 一种空间目标成像仿真面元消隐方法
CN110109229A (zh) * 2019-05-08 2019-08-09 中国科学院合肥物质科学研究院 一种野外自动化点光源靶标装置
CN110109229B (zh) * 2019-05-08 2021-07-27 中国科学院合肥物质科学研究院 一种野外自动化点光源靶标装置
CN110095767B (zh) * 2019-05-08 2022-05-20 哈尔滨工业大学 一种空间目标成像仿真面元消隐方法
CN110189405B (zh) * 2019-05-31 2023-05-23 重庆市勘测院 一种顾及建筑物密度的实景三维建模方法
CN110189405A (zh) * 2019-05-31 2019-08-30 重庆市勘测院 一种顾及建筑物密度的实景三维建模方法
CN110210415B (zh) * 2019-06-05 2022-09-30 福州大学 基于图结构的车载激光点云道路标线识别方法
CN110210415A (zh) * 2019-06-05 2019-09-06 福州大学 基于图结构的车载激光点云道路标线识别方法
CN113892075A (zh) * 2019-06-07 2022-01-04 脸谱科技有限责任公司 用于人工现实系统的拐角识别手势驱动的用户界面元素选通
CN112183807B (zh) * 2019-07-03 2024-04-16 三星Sds株式会社 圆形框架生成方法以及计算装置
CN112183807A (zh) * 2019-07-03 2021-01-05 三星Sds株式会社 圆形框架生成方法以及计算装置
CN110442817A (zh) * 2019-07-18 2019-11-12 塔普翊海（上海）智能科技有限公司 一种基于网页的混合现实的开发系统及制作方法
CN110490131A (zh) * 2019-08-16 2019-11-22 北京达佳互联信息技术有限公司 一种拍摄设备的定位方法、装置、电子设备及存储介质
CN110490131B (zh) * 2019-08-16 2021-08-24 北京达佳互联信息技术有限公司 一种拍摄设备的定位方法、装置、电子设备及存储介质
CN112509040A (zh) * 2019-08-26 2021-03-16 苹果公司 对提供镜面反射和反射修改的表面进行基于图像的检测
CN110826389B (zh) * 2019-09-02 2022-05-27 东华大学 基于注意力3d频率卷积神经网络的步态识别方法
CN110826389A (zh) * 2019-09-02 2020-02-21 东华大学 基于注意力3d频率卷积神经网络的步态识别方法
CN110688007A (zh) * 2019-09-24 2020-01-14 北京轻威科技有限责任公司 一种基于平行轨道结构的多通道大通量多人引导防护系统
CN112578497B (zh) * 2019-09-27 2022-05-03 群光电能科技股份有限公司 背光模块
CN112578497A (zh) * 2019-09-27 2021-03-30 群光电能科技股份有限公司 背光模块
CN110702139A (zh) * 2019-09-29 2020-01-17 百度在线网络技术（北京）有限公司 一种时延标定方法、装置、电子设备和介质
CN110568449A (zh) * 2019-10-14 2019-12-13 自然资源部第二海洋研究所 一种风生粗糙海面激光反射、透射矩阵计算方法
CN110568449B (zh) * 2019-10-14 2021-04-16 自然资源部第二海洋研究所 一种风生粗糙海面激光反射、透射矩阵计算方法
CN110852332A (zh) * 2019-10-29 2020-02-28 腾讯科技（深圳）有限公司 训练样本的生成方法、装置、存储介质及电子设备
CN110782738A (zh) * 2019-11-06 2020-02-11 北京千种幻影科技有限公司 一种模拟驾驶训练装置
CN110866109B (zh) * 2019-11-26 2022-07-12 上海连尚网络科技有限公司 一种用于收藏书籍的方法与设备
CN110866109A (zh) * 2019-11-26 2020-03-06 上海连尚网络科技有限公司 一种用于收藏书籍的方法与设备
CN111078005B (zh) * 2019-11-29 2024-02-20 恒信东方文化股份有限公司 一种虚拟伙伴创建方法及虚拟伙伴系统
CN110942040A (zh) * 2019-11-29 2020-03-31 四川大学 一种基于环境光的手势识别系统和方法
CN111078005A (zh) * 2019-11-29 2020-04-28 恒信东方文化股份有限公司 一种虚拟伙伴创建方法及虚拟伙伴系统
CN113110731B (zh) * 2019-12-25 2023-07-14 华为技术有限公司 媒体内容生成的方法和装置
CN113110731A (zh) * 2019-12-25 2021-07-13 华为技术有限公司 媒体内容生成的方法和装置
CN111158015A (zh) * 2019-12-31 2020-05-15 飞燕航空遥感技术有限公司 机载激光雷达点云数据误分地面点的检测方法和系统
CN111222486A (zh) * 2020-01-15 2020-06-02 腾讯科技（深圳）有限公司 手部姿态识别模型的训练方法、装置、设备及存储介质
CN111222486B (zh) * 2020-01-15 2022-11-04 腾讯科技（深圳）有限公司 手部姿态识别模型的训练方法、装置、设备及存储介质
CN111249573A (zh) * 2020-02-12 2020-06-09 迈德微创(天津)医疗器械有限责任公司 一种智能的可远程控制的输液装置和系统
US11967020B2 (en) 2020-02-13 2024-04-23 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
CN111311741A (zh) * 2020-03-23 2020-06-19 重庆忽米网络科技有限公司 一种基于5g通信的交互式室内空间构建装置及方法
CN113440862A (zh) * 2020-03-27 2021-09-28 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN111459592A (zh) * 2020-03-31 2020-07-28 华为技术有限公司 分布式处理ux元素的方法及装置
CN111627368A (zh) * 2020-04-15 2020-09-04 硅谷数模(苏州)半导体有限公司 显示屏的控制方法、装置、存储介质、处理器和电子设备
CN113066122A (zh) * 2020-05-15 2021-07-02 支付宝(杭州)信息技术有限公司 图像处理方法以及装置
CN113706427A (zh) * 2020-05-22 2021-11-26 脸谱公司 从捕获的视频数据输出扭曲图像
CN111752386A (zh) * 2020-06-05 2020-10-09 深圳市欢创科技有限公司 一种空间定位方法、系统及头戴式设备
WO2021244338A1 (zh) * 2020-06-05 2021-12-09 腾讯科技（深圳）有限公司 虚拟环境的显示方法、装置、设备及存储介质
CN111667585A (zh) * 2020-06-09 2020-09-15 福州市极化律网络科技有限公司 多用户的虚拟世界同步探索方法及存储介质
CN111667585B (zh) * 2020-06-09 2023-06-20 福州市极化律网络科技有限公司 多用户的虚拟世界同步探索方法及存储介质
CN111860251A (zh) * 2020-07-09 2020-10-30 迈克医疗电子有限公司 数据处理方法及装置
CN111860251B (zh) * 2020-07-09 2023-09-15 迈克医疗电子有限公司 数据处理方法及装置
CN114052777A (zh) * 2020-08-03 2022-02-18 通用电气精准医疗有限责任公司 图像显示方法以及超声成像系统
CN112035154A (zh) * 2020-08-13 2020-12-04 上海帆一尚行科技有限公司 一种修复车载终端内核的方法、装置和电子设备
CN112035154B (zh) * 2020-08-13 2023-12-01 上海帆一尚行科技有限公司 一种修复车载终端内核的方法、装置和电子设备
CN112148120A (zh) * 2020-08-18 2020-12-29 华为技术有限公司 一种显示虚拟界面的方法、设备以及存储介质
CN111967526B (zh) * 2020-08-20 2023-09-22 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN111967526A (zh) * 2020-08-20 2020-11-20 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN112181135A (zh) * 2020-08-31 2021-01-05 南京信息工程大学 一种基于增强现实的6-dof视触觉交互方法
CN112181135B (zh) * 2020-08-31 2023-05-09 南京信息工程大学 一种基于增强现实的6-dof视触觉交互方法
CN112621487A (zh) * 2020-11-16 2021-04-09 中南大学 一种基于脑机控制的爬壁打磨装置及其控制方法
CN112330255A (zh) * 2020-11-20 2021-02-05 重庆电子工程职业学院 仓库管理系统
CN112330255B (zh) * 2020-11-20 2023-09-15 重庆电子工程职业学院 仓库管理系统
CN112509670B (zh) * 2020-11-27 2023-04-07 重庆电子工程职业学院 用于糖尿病的智能健康管理系统
CN112509670A (zh) * 2020-11-27 2021-03-16 重庆电子工程职业学院 用于糖尿病的智能健康管理系统
CN112417188A (zh) * 2020-12-10 2021-02-26 桂林电子科技大学 一种基于图模型的高光谱图像分类方法
CN112882569A (zh) * 2021-01-28 2021-06-01 咪咕文化科技有限公司 Ar交互方法、终端设备及云端地图管理系统
CN112882569B (zh) * 2021-01-28 2024-02-23 咪咕文化科技有限公司 Ar交互方法、终端设备及云端地图管理系统
CN113012690B (zh) * 2021-02-20 2023-10-10 苏州协同创新智能制造装备有限公司 一种支持领域定制语言模型的解码方法及装置
CN113012690A (zh) * 2021-02-20 2021-06-22 苏州协同创新智能制造装备有限公司 一种支持领域定制语言模型的解码方法及装置
CN113240816A (zh) * 2021-03-29 2021-08-10 泰瑞数创科技(北京)有限公司 基于ar和语义模型的城市精确导航方法及其装置
TWI768932B (zh) * 2021-05-27 2022-06-21 倍利科技股份有限公司 影像色彩調整方法
CN113345022A (zh) * 2021-07-05 2021-09-03 湖南快乐阳光互动娱乐传媒有限公司 动态三维广告植入方法、装置、电子设备及存储介质
CN113268558A (zh) * 2021-07-19 2021-08-17 智广海联(天津)大数据技术有限公司 基于二维码与地理空间坐标的公共设施治理系统及方法
CN113268558B (zh) * 2021-07-19 2021-09-24 智广海联(天津)大数据技术有限公司 基于二维码与地理空间坐标的公共设施治理系统及方法
CN113706690A (zh) * 2021-08-23 2021-11-26 长安大学 一种基于三维模型顶点分区的多载体信息隐藏方法和系统
CN113535064A (zh) * 2021-09-16 2021-10-22 北京亮亮视野科技有限公司 虚拟标签标记方法、装置、电子设备及存储介质
US11748958B2 (en) * 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
CN114185437A (zh) * 2021-12-16 2022-03-15 浙江小族智能科技有限公司 游乐车与现实场景交互方法及装置、存储介质、终端
CN114547781B (zh) * 2022-03-04 2023-08-25 无锡豪丽坤自控设备有限公司 一种基于虚拟现实的船用桅杆性能评价方法及系统
CN114547781A (zh) * 2022-03-04 2022-05-27 无锡豪丽坤自控设备有限公司 一种基于虚拟现实的船用桅杆性能评价方法及系统
CN114971764A (zh) * 2022-04-08 2022-08-30 浙江赟燊商业信息系统科技有限公司 一种基于HoloLens的存储和匹配系统及方法
CN114578313A (zh) * 2022-05-09 2022-06-03 中国电子科技集团公司信息科学研究院 基于质心查找的栅格检测镜像消除方法及装置
CN114817077A (zh) * 2022-06-27 2022-07-29 云账户技术(天津)有限公司 测试质量及规范的判断方法、系统和网络设备
CN114817077B (zh) * 2022-06-27 2022-09-06 云账户技术(天津)有限公司 测试质量及规范的判断方法、系统和网络设备
TWI824859B (zh) * 2022-11-30 2023-12-01 國立勤益科技大學 虛擬購物手勢操控系統
CN116755587B (zh) * 2023-08-11 2023-12-19 之江实验室 一种增强现实的方法、装置、存储介质及电子设备
CN116755587A (zh) * 2023-08-11 2023-09-15 之江实验室 一种增强现实的方法、装置、存储介质及电子设备
CN116824705A (zh) * 2023-08-24 2023-09-29 南京亿猫信息技术有限公司 智能购物车购物行为判别方法
CN116824705B (zh) * 2023-08-24 2023-11-10 南京亿猫信息技术有限公司 智能购物车购物行为判别方法
CN117591385A (zh) * 2024-01-19 2024-02-23 深圳清华大学研究院 一种用于vr投影的控制系统
CN117591385B (zh) * 2024-01-19 2024-04-16 深圳清华大学研究院 一种用于vr投影的控制系统

Also Published As

Publication number Publication date
JP2022113713A (ja) 2022-08-04
CN115359567A (zh) 2022-11-18
KR102204919B1 (ko) 2021-01-18
NZ727637A (en) 2020-10-30
IL249371A0 (en) 2017-02-28
EP3155560A4 (en) 2018-01-10
JP6646659B2 (ja) 2020-02-14
CN106937531B (zh) 2020-11-06
JP7110252B2 (ja) 2022-08-01
IL273415B (en) 2020-11-30
EP3155560A1 (en) 2017-04-19
AU2015274283A1 (en) 2017-01-12
EP3155560B1 (en) 2020-05-20
EP3699736B1 (en) 2023-03-29
JP2020061187A (ja) 2020-04-16
AU2015274283B2 (en) 2020-09-10
CN112651288B (zh) 2022-09-20
CA2953335C (en) 2021-01-05
EP3699736A1 (en) 2020-08-26
WO2015192117A1 (en) 2015-12-17
EP4206870A1 (en) 2023-07-05
IL249371B (en) 2021-07-29
CN112651288A (zh) 2021-04-13
IL273415A (en) 2020-05-31
KR20170018930A (ko) 2017-02-20
CA2953335A1 (en) 2015-12-17
JP2023181188A (ja) 2023-12-21
JP2017529635A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
JP7110252B2 (ja) 仮想および拡張現実を作成する方法およびシステム
US11507193B2 (en) Methods and systems for creating virtual and augmented reality
US11656677B2 (en) Planar waveguide apparatus with diffraction element(s) and system employing same
US10203762B2 (en) Methods and systems for creating virtual and augmented reality
NZ727637B2 (en) Methods and systems for creating virtual and augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant