CN102566049B - 用于扩展现实显示的自动可变虚拟焦点 - Google Patents

用于扩展现实显示的自动可变虚拟焦点 Download PDF

Info

Publication number
CN102566049B
CN102566049B CN201110364954.7A CN201110364954A CN102566049B CN 102566049 B CN102566049 B CN 102566049B CN 201110364954 A CN201110364954 A CN 201110364954A CN 102566049 B CN102566049 B CN 102566049B
Authority
CN
China
Prior art keywords
user
micro
display
image
focal region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110364954.7A
Other languages
English (en)
Other versions
CN102566049A (zh
Inventor
A·巴-泽埃夫
J·刘易斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102566049A publication Critical patent/CN102566049A/zh
Application granted granted Critical
Publication of CN102566049B publication Critical patent/CN102566049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159—Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

本发明涉及用于扩展现实显示的自动可变虚拟焦点。该技术提供了一种用于显示将在被用户查看时处于焦点处的虚拟物体的扩展现实显示系统。在一个实施例中，跟踪用户的聚焦区，并且显示用户的聚焦区内的虚拟物体以出现在该聚焦区中。当用户改变虚拟物体之间的焦点时，它们看上去就像将在物理环境的现实物体中那样自然地移进和移出焦点。虚拟物体图像的焦点改变是由于改变光处理元件在扩展现实显示系统的微显示器部件的光路中的聚焦区而导致的。在一些实施例中，通过调整微显示器部件的光路中的元件以扫描速率来扫描一定范围的聚焦区。

Description

用于扩展现实显示的自动可变虚拟焦点
技术领域
本发明涉及用于扩展现实显示的自动可变虚拟焦点。
背景
扩展现实是一种允许将虚拟图像与现实世界物理环境相混合的技术。通常，用户佩戴透视近眼显示器以查看虚拟物体和现实物体的混合图像。该近眼显示器通常使用光学器件与立体视觉的组合来将虚拟图像聚焦到固定距离处。然而，在虚拟物体处于固定距离处并且用户的位置改变的情况下，虚拟物体不会像在用户用自然视力查看虚拟物体的情况下那样移进和移出用户的焦点。
概述
本技术提供了用于实现用于混合现实或扩展现实显示的可变焦点的实施例。用户通过透视显示设备查看场景。该场景包括用户通过显示设备的透明或透视透镜用他或她的眼睛直接查看的物理环境中的一个或多个现实物体。一个或多个虚拟物体由显示设备投影到用户眼睛位置的至少之一。因此，用虚拟物体来扩展现实场景的显示。
在一个实施例中，该技术提供：改变由显示设备所投影的虚拟物体的焦距。为用户确定三维视野，并且还确定一个或多个虚拟物体在该用户的视野内的三维位置。在视野内确定用户的当前三维聚焦区。用户的当前聚焦区中的一个或多个虚拟物体基于其位置被标识出。
为了在显示器中用户的当前聚焦区中显示虚拟物体，该虚拟物体被移动到该图像的处于当前聚焦区中的区域。在一个实施例中，这是通过改变透视显示设备的微显示器部件的聚焦区而实现的。微显示器部件可以包括诸如反射元件之类的元件、沿着光路对准的至少一个光学元件和微显示器单元、以及可变虚拟焦点调整器。微显示器单元生成图像以供显示，并且图像的光沿着光路经过至少一个光学元件(例如准直透镜)传播到反射元件。
在一个实施例中，调整器改变微显示器部件的至少两个元件之间沿着光路的位移，以改变图像中的虚拟物体的聚焦区。在另一实施例中，可以调整光学元件的焦距以获得所期望的聚焦区。例如，可以改变至少一个双折射透镜的偏振性，或者可以调整流体或液体透镜的曲率半径。
在一个实施例中，可以根据与用户聚焦区聚焦区相距的距离来将人工深度场技术应用到处于用户聚焦区之外、但位于用户视野之内的虚拟物体。
该技术还提供用于提供虚拟物体的可变焦点的扩展现实系统，该系统包括透视显示单元，该透视显示器单元包括包含可变虚拟焦点调整器的微显示器部件。控制电路包括驱动器以控制可变虚拟焦点调整器。在一个实施例中，该系统还在控制电路中包括定时生成器以控制可变虚拟焦点调整器扫过微显示器部件的不同聚焦区的定时。在大多数实施例中，扫描速率被设置为足够快，使得人类瞬时图像汇合将使在不同聚焦区中生成的图像看上去同时存在。查看不同聚焦区中生成的图像显示的用户将看到虚拟物体自然地进入和离开焦点，就好像该虚拟物体是物理环境中的现实物体。
该技术还提供一种用于在扩展现实显示中生成不同聚焦区中的虚拟物体的方法。为使用透视显示设备查看包括现实和虚拟物体的场景的用户生成三维视野。为该用户的视野内的一个或多个虚拟物体标识出三维聚焦区。调整微显示器部件以扫过多个聚焦区。可以选择聚焦区以包括用户当前查看的聚焦区以及包括虚拟物体的那些区域。为每个聚焦区生成图像。
在一个示例中，这些图像中每个都可以足够快的速率显示给用户，使得人类瞬时图像汇合使该图像在人眼看来为同时存在。在另一实施例中，显示在不同聚焦区处生成的虚拟图像的聚焦部分的复合图像。
提供本发明内容以便以简化形式介绍在以下具体实施方式中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
图1是描绘了用于提供虚拟物体的可变焦点的系统的一个实施例的示例性组件的框图。
图2A是头戴式显示单元的一个实施例的一部分的顶视图。
图2B是头戴式显示单元的另一实施例的一部分的顶视图。
图3A是供用作近眼显示器的微显示器部件的一部分的可旋转透镜系统的示例。
图3B1和图3B2是展示出不同曲率半径的流体透镜的示例，这些流体透镜供用作微显示器部件的一部分。
图3C是供用作近眼显示器的微显示器部件的一部分的双折射透镜系统的示例。
图3D是供用作微显示器部件的一部分的可插入透镜系统的示例。
图4是头戴式显示单元的组件的一个实施例的框图。
图5是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。
图6是结合头戴式显示单元使用的中枢计算系统的组件的一个实施例的框图。
图7是描绘可用于实现在此所述的中枢计算系统的计算系统的一个实施例的框图。
图8是描绘可改变将处于用户的焦点处的虚拟内容的焦点的多用户系统的框图。
图9是描述用于显示将在被用户查看时处于焦点处的虚拟物体的过程的一个实施例的流程图。
图10是描述用于创建空间的模型的过程的一个实施例的流程图。
图11是描述用于将模型分割成物体的过程的一个实施例的流程图。
图12是描述用于标识出物体的过程的一个实施例的流程图。
图13是描述用于显示将在被查看透视显示器的用户查看时处于焦点处的虚拟物体的过程的一个实施例的流程图。
图14是描述用于由中枢来跟踪用户和/或头戴式显示单元的位置和取向的过程的一个实施例的流程图。
图15是描述用于跟踪眼睛位置的过程的一个实施例的流程图。
图16是描述用于确定用户视野的过程的一个实施例的流程图。
图17A是描述用于通过使微显示器部件的至少一个透镜移位来改变该部件的聚焦区的过程的一个实施例的流程图。
图17B是描述用于通过改变微显示器部件的至少一个透镜的偏振性来改变该部件的聚焦区的过程的一个实施例的流程图。
图17C是描述用于通过改变微显示器部件的至少一个流体透镜的曲率半径来改变该部件的聚焦区的过程的一个实施例的流程图。
图18A是描述用于在扩展现实显示中生成不同聚焦区中的虚拟物体图像的过程的一个实施例的流程图。
图18B是描述用于在扩展现实显示中生成不同聚焦区中的虚拟物体图像的过程的另一实施例的流程图。
图19A和19B示意性地示出了用于在扩展现实显示中显示多焦点虚拟物体的不同方式的示例。
具体实施方式
本技术提供了用于实现用于混合现实或扩展现实显示的可变焦点的实施例。在一个实施例中，系统包括作为用于扩展现实的近眼显示器的透视显示设备、以及与该透视显示设备通信的处理单元。在以下讨论的各实施例中，透视显示器处于一副眼镜中，但是也可以使用其他HMD形式和近眼显示器固定器。
使用用户的自然视力来实际和直接地查看用透视显示器所查看的场景中的现实物体。基于执行软件(例如游戏应用)的上下文，该系统可以将虚拟图像投影在可由佩戴该透视显示设备的人查看的显示器上，同时该人还通过该显示器查看现实世界物体。
使用一个或多个传感器来扫描用户所查看的物理环境，由此提供可用来构建所扫描环境的三维模型的数据。该模型被分割成现实物体，并且如下面解释的那样被用虚拟物体图像的位置进行扩展。
附加地，使用各种传感器来检测用户头的位置和取向以及眼睛位置以便确定将虚拟图像投影到何处。该系统自动地跟踪用户正注视何处，使得该系统可以弄清用户通过透视显示设备的显示器的视野。可以使用深度相机和包括深度传感器、图像传感器、惯性传感器、眼睛位置传感器等在内的各种传感器中的任何传感器来跟踪用户。除了用户的视野以外，该系统还确定：用户聚焦在或注视视野中的哪个位置，该位置常常称为用户聚焦区。
在一些实施例中，用户聚焦区是称为Panum汇合区域的体积，其中人类眼睛用单视觉来查看物体。人类具有双眼视觉或立体视觉。每个眼睛都产生不同视角的图像。仅仅在Panum汇合区域的该小体积中，人类用单视觉查看物体。这通常是指物体据称处于焦点处时的情况。在该区域之外，物体可能看上去是模糊的，或者甚至看上去为双重图像。处于Panum汇合区域的中心内的有包括用户眼睛的焦点在内的双眼单视界(Horopter)。当用户聚焦在空间中的某点(之后称为焦点)上时，该焦点位于曲线上。空间中的处于该曲线上的物体落到眼睛视网膜上的小凹中。该曲线有时称为水平双眼单视界。还存在垂直双眼单视界，其是经过该曲线的一条线，该线从眼睛的焦点之上向眼睛在该曲线上的焦点之下倾斜。后面所使用的术语“双眼单视界”是指其垂直和水平分量二者。
一旦该系统知道了用户的视野和用户聚焦区，则系统就可以弄清：一个或多个虚拟物体图像将由透视显示设备的显示器投影到何处。在所投影的显示中生成虚拟物体在所选聚焦区位置处的显示可以通过调整透视显示设备的微显示器部件中的光路长度来执行。
通过偏移放置在左侧和右侧微显示器上的图像来生成视差。通过为虚拟物体设置一定量的视差，左眼显示器所生成的到虚拟物体的视线与右眼显示器的相应视线相交处的距离隐含了该虚拟物体的虚拟距离。常规的显示器可以设置该视差隐含的距离。与视差无关，存在由离开显示器的波前的曲率所隐含的距离。曲率半径就是到该物体上某点的距离，附近物体具有强烈弯曲的波前，因为曲率半径由此是小的。远处物体具有平坦得多的波前，因为曲率半径相应地为大的。在非常远的物体的极限情况下，波前变为平坦的。常规的头戴式显示器具有固定的波前曲率，因为它们不具有可基于场景内容变化的光学元件。
当用户的位置变为与虚拟物体的当前位置相距更远的位置时，可以通过将合适的图像放置在左侧和右侧微显示器上来改变虚拟物体的视差和比例。可以为用户的新位置定义双眼单视界和Panum汇合区域。常规显示器不能将波前曲率半径调整为将虚拟物体引入到Panum汇合区域中。下面所述的技术可以将波前曲率设置成如下的距离：该距离也与由比例和视差所设置的其他线索一致并且将虚拟物体引入到Panum汇合区域中。通过这种方式，这些图像看上去是自然和逼真的。如果用户保持位置固定，并且虚拟物体将相对于场景中的自然物体移动得更近或更远，则有相同的论点成立。
微显示器部件包括光处理元件和可变焦距调整器。光处理元件的一些示例是微显示器单元、例如透镜系统的透镜之类的一个或多个光学元件、以及例如反射面或部分反射面之类的反射元件。微显示器单元包括光源，并且生成虚拟物体的图像。微显示器单元在光学上与所述一个或多个光学元件和反射元件对准。该光学对准可以沿着光轴、或者包括一个或多个光轴的光路。图像光可以被准直化，并且由所述一个或多个光学元件引导到反射元件。在一个实施例中，来自部分反射元件的反射光可以被引导到用户的眼睛位置。由于该表面是部分反射性的，因此该表面还可以允许来自自然场景的光穿过该表面并被看见。在其他实施例中，来自微显示器单元的被反射元件反射的光传播到另一光学元件中，该另一光学元件投影图像以供用户查看，并且也允许自然光被看见。可变焦距调整器改变微显示器部件的光路中的一个或多个光处理元件之间的位移或微显示器部件中的元件的光学能力(optical power)。透镜的光学能力被定义成其焦距的倒数，例如1/焦距，使得一个改变影响另一个。该改变导致由处于微显示器部件所生成的图像的焦点处的视野区域随着位移或光学能力的改变而改变。如下面将针对实施例所讨论的那样，为每个眼睛都可以存在微显示器部件。每个微显示器部件都针对其相应眼睛的视角执行处理。
在一个实施例中，将诸如人工模糊之类的人工深度场技术应用于处于视野中的任何虚拟物体并且将该技术以处于聚焦区之外的任何虚拟物体与聚焦区相距的距离成比例地应用于该虚拟物体。在另一实施例中，调整器在显示相应聚焦区内的虚拟物体的同时以某速率或频率扫过与一定范围的聚焦区相对应的一定范围的焦距。该速率或频率可以等于或快于显示设备的帧速。在一个实施例中，在不同聚焦区处生成的虚拟物体图像被作为分层图像来显示，并且显示速率快或迅速得足以使得这些图像看上去同时出现。在另一实施例中，显示了在不同聚焦区处生成的图像的聚焦部分的复合图像。当用户将他或她的当前焦点改变到另一聚焦区时，处于不同聚焦区中的虚拟物体就像以自然视力被查看那样进入和离开焦点。
然后，这些图像通过如下方式被渲染：对所述虚拟图像进行大小确定和定向；以及将经大小确定/定向的图像渲染在透视显示器上。
图1是描绘了用于提供虚拟物体的可变焦点的系统10的一个实施例的示例性组件的框图。系统10包括作为经由线6与处理单元4进行通信的头戴式显示设备2的透视显示设备。在其他实施例中，头戴式显示设备2通过无线通信来与处理单元4进行通信。在一个实施例中为眼镜形状的头戴式显示设备2被佩戴在用户的头上，使得用户可以通过显示器进行查看，并且从而具有该用户前方的空间的实际直接视图，其中镜架115提供用于固定该系统的元件的支承体、以及用于电连接的管道。使用术语“实际和直接视图”来指直接用人眼查看现实世界物体的能力，而不是查看对物体的所创建的图像表示。例如，在房间中通过眼镜进行查看将允许用户具有房间的实际直接视图，而在电视上查看房间的视频不是房间的实际直接视图。下面提供头戴式显示设备2的更多细节。
在一个实施例中，处理单元4被佩戴在用户的手腕上，并且包括许多用于操作头戴式显示设备2的计算能力。处理单元4可以与一个或多个中枢计算系统12无线地(例如WiFi、蓝牙、红外、或其他无线通信手段)通信。
中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例性实施例，中枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可以用于执行诸如游戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统12可以包括诸如标准化处理器、专用处理器、微处理器等等之类的处理器，这些处理器可以执行存储在处理器可读存储设备上的指令以用于执行在此所述的过程。
中枢计算系统12还包括一个或多个捕捉设备，如捕捉设备20A和20B。在其他实施例中，可以使用多于或少于两个的捕捉设备。在一个示例性实施方式中，捕捉设备20A和20B指向不同方向，使得它们可以捕捉房间的不同部分。可能有利的是，两个捕捉设备的视野稍微地重叠，使得中枢计算系统12可以理解捕捉设备的视野如何彼此相关。通过这种方式，可以使用多个捕捉设备来查看整个房间(或其他空间)。可替代地，如果捕捉设备可以在操作期间平移，使得整个相关空间随时间被捕捉设备查看，则可以使用一个捕捉设备。
捕捉设备20A和20B例如可以是相机，该相机在视觉上监视一个或多个用户和周围空间，使得可以捕捉、分析并跟踪该一个或多个用户所执行的姿势和/或运动以及周围空间的结构，以在应用中执行一个或多个控制或动作和/或使化身或屏上人物动画化。
中枢计算环境12可以连接到诸如电视机、监视器、高清电视机(HDTV)等可提供游戏或应用程序视觉的视听设备16。例如，中枢计算系统12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从中枢计算系统12接收视听信号，并且然后可以输出与视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆、RCA电缆等连接至中枢计算系统12。在一个示例中，视听设备16包括内置扬声器。在其他实施例中，视听设备16、单独的立体声系统或中枢计算设备12连接到外部扬声器22。
中枢计算设备10可以与捕捉设备20A和20B一起用于识别、分析和/或跟踪人类(以及其他类型的)目标。例如，可使用捕捉设备20A和20B来跟踪佩戴头戴式显示设备2的用户，使得可以捕捉用户的姿势和/或移动来使化身或屏幕上人物动画化，和/或可将用户的姿势和/或移动解释为可用于影响中枢计算系统12所执行的应用的控制。
图2A描绘了头戴式显示设备2的顶视图，其包括镜架的包含镜腿102和鼻中104的那部分。仅仅描绘了头戴式显示设备2的右侧。在鼻中104中置入了话筒110以用于记录声音以及将音频数据传送给处理单元4，这将在下面予以描述。在头戴式显示设备2的前方是朝向物理环境的视频相机113，该视频相机113可以捕捉视频和静止图像。这些图像被传送给处理单元4，这将在下面予以描述。
头戴式显示设备2的镜架115的一部分将围绕显示器(其包括一个或多个光学元件)。为了示出头戴式显示设备2的组件，未描绘镜架115的围绕显示器的部分。该显示器包括光导光学元件112、不透明度滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明度滤光器114处于透视透镜116之后并与其对准，光导光学元件112处于不透明度滤光器114之后并与其对准，并且透视透镜118处于光导光学元件112之后并与其对准。在该示例中，透视透镜116和118是眼镜中使用的标准透镜，并且可根据任何处方(包括不根据处方)来制作。在一个实施例中，透视透镜116和118可以被可变处方透镜替换。在一些实施例中，头戴式显示设备2将仅仅包括一个透视透镜或者不包括透视透镜。在另一替代方案中，处方透镜可以进入光导光学元件112内。不透明度滤光器114滤除自然光(要么以每像素为基础、要么均匀地)以增强虚拟图像的对比度。光导光学元件112将人造光引导至眼睛。下面提供不透明度滤光器114和光导光学元件112的更多细节。
安装在镜腿102处或之内的是图像源，该图像源在一个或多个实施例中包括微显示器120，该微显示器120通过例如透镜系统122之类的一个或多个光学元件将图像投影到反射元件上，该反射元件在该实施例中是反射面124，该反射面124将图像引导到光导光学元件112中。存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。根据该技术，由白光源或RGB源点亮的照明是向前的。数字光处理(DLP)、硅上液晶(LCOS)、以及来自Qualcomm有限公司的显示技术都是高效的反射技术的示例，因为大多数能量从已调制结构反射并且可用于本文描述的系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoPTM引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接按束发射到眼睛(例如，激光)。
在所示的实施例中，微显示器120是微显示器部件173一部分，该微显示器部件173包括用于将图像传输给透视显示器的光处理元件。该示例中的微显示器部件包括微显示器120、体现为透镜系统122的一个或多个光学元件、以及反射面124。透镜系统122可包括单个透镜或多个透镜。透镜系统122、微显示器单元120和反射面124(例如，镜或其他表面)在光路上对准，在该示例中沿着光轴133对准。图像光可以被准直化，并且由透镜系统122引导到反射面124。
微显示器部件173还包括可变虚焦点调整器135，该可变虚焦点调整器135控制透镜系统122与微显示器单元120之间沿着光路133的位移、或者透镜系统122与反射面124之间沿着光路133的位移、或者这二者。微显示器部件的光处理元件之间的不同位移对应于用户的三维视野中的可将虚拟物体投影到其中的不同聚焦区。在该示例中，该位移改变在电枢137内引导，该电枢137支承诸如该例中的透镜系统122和微显示器120之类的至少一个光处理元件。电枢137有助于使沿光路133的对准在各元件的物理移动期间稳定化，以达到所选的位移或所选的光学能力。位移范围通常是几毫米(mm)的量级。在一个示例中，这一范围是1-2mm。
在一个示例中，调整器135可以是诸如压电马达之类的执行器。也可使用用于执行器的其他技术，并且这样的技术的一些示例是由线圈和永久磁铁、磁致伸缩元件、以及电致伸缩元件形成的音圈。
光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛140。光导光学元件112还允许如箭头142所示那样将光从头戴式显示设备2的前方通过光导光学元件112透射到用户的眼睛，从而除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。光导光学元件12包括第一反射面124。来自微显示器120的光穿过透镜系统122并入射在反射面124上。反射面124反射来自微显示器120的入射光，使得光通过内反射而被捕获在包括光导光学元件112的平面衬底内。在离开衬底的表面的若干反射之后，所捕获的光波到达选择性反射面126的阵列。注意，五个表面中只有一个表面被标记为126以防止附图太过拥挤。反射面126将从衬底出射并入射在这些反射面上的光波耦合到用户的眼睛140。由于不同光线将以不同角度传播并弹离衬底的内部，因此这些不同的光线将以不同角度击中各个反射面126。因此，不同光线将被所述反射面中的不同反射面从衬底中反射出。关于哪些光线将被哪个表面126从衬底反射出的选择是通过选择表面126的合适角度来设计的。光导光学元件的更多细节可以在于2008年11月20日公开的美国专利申请公开号2008/0285140、序列号12/214,366的“Substrate-Guided OpticalDevices(衬底导向的光学设备)”中找到，该申请的全部内容通过引用结合于此。在一个实施例中，每只眼睛将具有其自己的光导光学元件112。当头戴式显示设备具有两个光导光学元件时，每只眼睛都可以具有其自己的微显示器120，该微显示器120可以在两只眼睛中显示相同图像或者在两只眼睛中显示不同图像。在另一实施例中，可以存在将光反射到两只眼睛中的一个光导光学元件。
与光导光学元件112对齐的不透明度滤光器114要么均匀地、要么以每像素为基础来选择性地阻挡自然光，以免其穿过光导光学元件112。在一实施例中，不透明度滤光器可以是透视LCD面板、电致变色膜(electrochromic film)或能够充当不透明度滤光器的类似设备。通过从常规LCD中除去衬底、背光和漫射器的各层，可以获得这样的透视LCD面板。LCD面板可包括一个或更多个透光LCD芯片，所述透光LCD芯片允许光穿过液晶。例如，在LCD投影仪中使用了这样的芯片。
不透明度滤光器114可以包括致密的像素网格，其中每个像素的透光率能够在最小和最大透光率之间被个别化地控制。尽管0-100％的透光率范围是理想的，然而更有限的范围也是可以接受的。作为示例，具有不超过两个偏振滤光器的单色LCD面板足以提供每像素约50％到90％的不透明度范围，最高为该LCD的分辨率。在50％的最小值处，透镜将具有稍微带色彩的外观，这是可以容忍的。100％的透光率表示完美地无色透镜。可以从0-100％定义“阿尔法(alpha)”尺度，其中0％不允许光穿过，并且100％允许所有光穿过。可以由下面描述的不透明度滤光器控制电路224为每个像素设置阿尔法的值。
在下列文献中提供了不透明度滤光器的更多细节：于2010年9月21日提交的美国专利申请No.12/887,426“Opacity Filter For See-Through MountedDisplay(用于透视安装的显示器的不透明度滤光器)”；以及于2010年10月15日提交的美国专利申请No.12/905,952“Fusing Virtual Content Into RealContent(虚拟内容到现实内容中的融合)”，其发明人为Jason Flaks、AviBar-Zev、Jeffrey Margolis、Chris Miles、Alex Kipman、Andrew Fuller、以及Bob Crocco，这两个专利申请的全部内容都通过引用结合于此。
头戴式显示设备2还包括用于跟踪用户的眼睛位置的系统。如下面将会解释的那样，该系统将跟踪用户的位置和取向，使得该系统可以确定用户的视野。然而，人类将不会察觉处于其之前的所有事物。相反，用户的眼睛将对准环境的子集。因此，在一个实施例中，该系统将包括用于跟踪用户的眼睛位置的技术以便细化对用户视野的测量。例如，头戴式显示设备2包括眼睛跟踪部件134(参见图2A)，该眼睛跟踪部件134将包括眼睛跟踪照明设备134A和眼睛跟踪相机134B(参见图4)。在一个实施例中，眼睛跟踪照明源134A包括一个或多个红外(IR)发射器，这些红外发射器向眼睛发射IR光。眼睛跟踪相机134B包括一个或多个感测所反射的IR光的相机。
通过检测角膜的反射的已知成像技术，可以标识出瞳孔的位置。例如，参见2008年7月22日颁发给Ophir等人的、名称为“Head Mounted Eye Trackingand Display System(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920，该专利通过引用结合于此。这样的技术可以定位眼睛的中心相对于跟踪相机的位置。一般而言，眼睛跟踪涉及获得眼睛的图像以及使用计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足够了，因为眼睛通常一致地移动。然而，单独地跟踪每只眼睛是可能的。
在一个实施例中，该系统将使用以矩形布置的4个红外(IR)LED和4个IR光电检测器，使得在头戴式显示设备2的透镜的每个角处存在一个IRLED和IR光电检测器。来自LED的光从眼睛反射离开。由在4个IR光电检测器中的每个处所检测到的红外光的量来确定瞳孔方向。也就是说，眼睛中眼白相对于眼黑的量将确定对于该特定光电检测器而言从眼睛反射离开的光量。因此，光电检测器将具有对眼睛中的眼白或眼黑的量的度量。从4个采样中，该系统可以确定眼睛的方向。
另一替代方案是如下面所讨论的那样使用4个红外LED，但是在头戴式显示设备2的透镜的侧边处仅仅使用一个红外成像设备。该成像设备将使用小镜和/或透镜(鱼眼)，使得该成像设备可以从镜框对高达75％的可见眼睛进行成像。然后，该成像设备将感测图像并且使用计算机视觉来找出该图像，就像下面所讨论的那样。因此，尽管图2A示出了具有一个IR发射器的一个部件，但是图2A的结构可以被调整为具有4个IR发射机和/或4个IR传感器。也可以使用多于或少于4个的IR发射机和/或多于或少于4个的IR传感器。
用于跟踪眼睛方向的另一实施例基于电荷跟踪。该方案基于如下观察：视网膜携带可测量的正电荷并且角膜具有负电荷。传感器通过用户的耳朵来安装(靠近耳机130)以检测眼睛在移动时的电势并且有效地实时读出眼睛正在进行的动作。也可以使用其他用于跟踪眼睛的实施例。
控制电路136提供支承头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图4提供。处于镜腿102内部或安装在镜腿102处的有耳机130、惯性传感器132、以及温度传感器138。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速计132C(参见图4)。惯性传感器用于感测头戴式显示设备2的位置、取向、突然加速。
图2A仅仅示出了头戴式显示设备2的一半。完整的头戴式显示设备将包括另一组透视透镜、另一不透明度滤光器、另一光导光学元件、另一微显示器120、另一透镜系统122、朝向房间的相机113、眼睛跟踪部件134、耳机130以及温度传感器138。
图2B是头戴式显示单元的另一实施例的一部分的顶视图。以虚线示出镜框115以展示里面所支承的光学元件的布置。在该实施例中，来自反射元件124a的光被引导到部分反射元件124b，该部分反射元件124b将沿着光路133传播的虚拟图像与自然或实际和直接视图142相组合。自然视图142可以受不透明度滤光器114的影响。视图的组合被引导到用户的眼睛140中而不是诸如光导光学元件112之类的另一光学元件中。在该实施例中，镜框115提供便利的眼镜镜框以作为该系统的诸如下列元件的支承体：微显示器部件173、包括其光处理元件122和120；可变焦调整器135；以及电枢137。在该示例中，每只眼睛的眼睛跟踪相机134r、1341都定位在鼻中104上。在其他实施例中，除了镜框以外还可以使用其他支承结构。这样的结构的示例是帽檐(visor)。
如上所述，微显示器部件173的光处理元件的配置创建焦距或虚拟物体出现在图像中的聚焦区。改变该配置会改变虚拟物体图像的聚焦区。由光处理元件确定的聚焦区可以基于等式1/S1+1/S2＝1/f来确定和改变。符号f表示透镜的焦距，如微显示器部件173中的透镜系统122。透镜系统122具有前面节点和背面节点。如果光线以相对于光轴的给定角度被引导到两个节点中任一，则该光线将以相对于光轴的相当角度从另一节点出射。在一个实施例中，透镜系统122的背面节点将处于其自身与图2A中的反射元件124或图2B中的反射元件124a之间。从背面节点到反射元件124、124a的距离可以表示成S2。前面节点将处于透镜系统122与微显示器120所生成的虚拟图像在用户物理空间的三维模型中的目标位置之间。(关于创建模型的更多细节，参见下面对图10-12的讨论)。从前面节点到虚拟图像的目标位置的距离可被表示成S1。
如果透镜的焦距是固定的，则变化S1和S2来将虚拟对象聚焦在不同的深度处。例如，初始位置可使S1设置成无穷远处，并且使S2等于透镜系统122的焦距。假定透镜系统122具有10mm的焦距，考虑虚拟对象要被置于用户视野中大约1英尺或30cm处的示例。S1现在大约是30cm或300mm，f是10mm并且S2当前被设置在焦距的初始位置10mm处，从而意味着透镜系统122的背面节点与反射元件124、124a相距10mm。基于1/300+1/S2＝1/10(所有项的单位均为毫米)来确定透镜122与反射元件124、124a之间的新距离或新位移。其结果是S2大约为10.3mm。
在一个示例中，处理单元4可以在让焦距f固定的情况下计算S1和S2的位移值，并且致使控制电路136使可变调整器驱动器237发送驱动信号以让可变虚焦点调整器135例如沿着光路133移动透镜系统122。在一些示例中，调整器135可以在电枢137内移动一个或多个光学元件122。在其他示例中，电枢可在光处理元件周围的区域中具有槽或空间，使得它在不移动光处理元件的情况下在该元件(例如微显示器120)上滑动。电枢中的诸如一个或多个光学元件122之类的另外的元件被附连，使得它们与移动的电枢237一起滑动或移动。在其他实施例中，替代于或附加于移动透镜系统122，可以移动微显示器单元120或反射元件124、124a或二者。
在其他实施例中，替代于或附加于沿光路133的位移改变，也可以改变透镜系统122中的至少一个透镜的焦距。图3A至3D中示出了微显示器部件的一些实施例。所示透镜的特定数目仅仅是示例。可以使用其他数目和配置的根据相同原理操作的透镜。
图3A是供用作近眼显示器的微显示器部件的一部分的可旋转透镜系统的示例。透镜122a至122d中的每个都具有不同的焦距，并且被支承在可由可变虚焦点调整器135来旋转的盘支承体160内。处理单元4确定聚焦区并且选择焦距透镜之一以获得该聚焦区。如参照图3所示，控制电路136的可变调整器驱动器237向可变虚焦点调整器135发送至少一个控制信号以旋转该盘，使得所选透镜与该部件的光路133对准。
图3B 1和图3B2是Hongwen等人在“Tunable-focus liquid lens controlledusing a servo motor(使用伺服电机控制的可调谐焦距流体透镜)”(OPTICSEXPRESS，2006年9月4日，No.18第14卷第8031-8036页)中所示的展现出不同曲率半径的流体透镜的例子。这些流体透镜可以用作微显示器部件的一部分。透镜的焦距可以通过改变曲率半径来改变。曲率半径R与焦距f之间的关系由f＝R/nliquid-1来给定。透镜的液体或流体的折射率是nliquid。
该实施例包括诸如环形密封环之类的支承体137，其具有作为一部分或连接到其的挠性外部膜152、在一个实施例中为橡胶膜。外部膜153与流体156的储存器接触。透镜膜150位于液体透镜单元158的挠性侧的顶部或形成该挠性侧，该液体透镜单元158可以从储存器156接收或向储存器156释放液体。在所引用的示例中，挠性透镜膜是诸如聚二甲基硅氧烷(PDMS)弹性膜之类的弹性膜。处于液体单元之后的玻璃衬底154提供支承。可变虚焦点调整器135被控制为如图3B2中所示那样挤压挠性外部膜152并如图3B1中所示那样释放膜152以致使储存器156中的水量进入和离开液体透镜158，从而由于液体量改变而使弹性膜150外凸以及释放弹性膜150。液体量的改变致使透镜膜150的曲率半径改变并由此致使液体透镜158的焦距改变。曲率半径与容量改变ΔV之间的关系可以表达如下：
ΔV＝(1/3)π(2R2-r0 2-2R√R2-r0 2)(2R+√R2-r0 2)
其中r0是透镜孔径的半径。
图3C是供用作近眼显示器的微显示器部件的一部分的双折射透镜系统的示例。双折射材料是各向异性的或者依赖于方向的。作为说明性的构造，在将光描述为光线的情况下，双折射透镜将光分解成寻常光线和异常光线。对于各向异性的单个轴、或者光轴而言，可以因一个与该轴平行、一个与该轴垂直的不同偏振性而存在不同的折射率以及因此不同的焦距。在图3C的示例中，透镜122a和122b是由具有箭头所指示的不同偏振性的双折射材料制成的透镜。在两个透镜的该示例中，可以预定4个不同的折射率或焦距以供选择。每个不同的焦距都可以与不同的聚焦区相关联以供处理单元4选择。偏振性组合可以是：图3C中所示的透镜122a和122b的垂直偏振性；与图3C中所示的偏振性相反的垂直偏振性；两个透镜在一个方向上具有相同的偏振性；以及两个透镜在另一偏振性方向上具有相同的偏振性。在一个实施例中，可变虚焦点调整器可以向每个透镜施加电压以影响所选的偏振性。在另一实施例中，可以施加物理应力以改变透镜的偏振性。
图3D是供用作微显示器部件的一部分的可插入透镜系统的示例。在该实施例中，多个透镜122中的每个都附连到附连至电枢137的相应的臂123。每个臂123都在可变虚焦点调整器135的控制下将其例如透镜或透镜系统122之类的一个或多个光学元件122移动到微显示器部件的光路133中的某个位移处的位置。例如，如果使用针对预先设置的聚焦区的预定位移，则每个透镜122都可以被设置为与其邻居分开某个距离、例如分开0.1毫米(mm)。还可以使用不均匀的间隔和可调整的位移。
在上面调整透镜的焦距的每个示例中，还可以执行沿着光路133的位移。
又如上述那样，每个微显示器部件都针对其相应的眼睛的视角执行处理，使得虚拟图像出现在用户聚焦区中，例如Panum汇合区域、人类的单视觉区域中。
图4是描绘了头戴式显示设备2的各个组件的框图。图5是描述处理单元4的各个组件的框图。图4中描绘了头戴式显示设备12的组件，该头戴式显示设备2用于提供对于用户对现实世界的视图而言为聚焦的虚拟图像。附加地，图4的头戴式显示设备组件包括跟踪各种状况的多个传感器。头戴式显示设备将从处理单元4接收关于虚拟图像的指令，并且将传感器信息提供回给处理单元4。图5中描绘了处理单元4的组件，该处理单元4将从头戴式显示设备3、并且还从中枢计算设备12(参见图1)接收传感信息。基于该信息，处理单元4将确定在何处以及在何时向用户提供聚焦的虚拟图像并相应地将指令发送给图4的头戴式显示设备。
注意，图4的组件中的一些(例如朝向物理环境的相机113、眼睛跟踪相机134B、可变虚焦点调整器135、微显示器120、不透明度滤光器114、眼睛跟踪照明134A、耳机130和温度传感器138)是以阴影示出的，以指示这些的设备中的每个都存在两个，其中一个用于头戴式显示设备2的左侧，一个用于头戴式显示设备2的右侧。图4示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲区218、显示器驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路220的所有组件都通过专用线路或一个或多个总线彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。相机接口216提供到两个朝向物理环境的相机113的接口，并且将从朝向物理环境的相机所接收到的图像存储在相机缓冲区218中。显示器驱动器220将驱动微显示器120。显式格式化器222向控制不透明度滤光器114的不透明度控制电路224提供关于微显示器120上所显示的虚拟图像的信息。定时生成器226被用于向该系统提供定时数据。显示输出228是用于将图像从朝向物理环境的相机113提供给处理单元4的缓冲区。显示输入230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲区。显示输出228和显示输入230与作为到处理单元4的接口的带接口232进行通信。
电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、可变调整器驱动器237、音频DAC和放大器238、话筒前置放大器和音频ADC240、温度传感器接口242、以及时钟生成器244。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。眼睛跟踪照明驱动器236如上面所述的那样为眼睛跟踪照明134A提供IR光源。可变调整器驱动器237向调整器135提供例如驱动电流或驱动电压之类的控制信号以移动微显示器部件的一个或多个元件来达到针对由处理单元4或中枢计算系统12或二者中执行的软件所计算出的聚焦区的位移。在扫过一定范围的位移并且因此扫过一定范围的聚焦区的实施例中，可变调整器驱动器237从定时生成器226、或者可替代地从时钟生成器244接收定时信号，以便以所编程的速率或频率来操作。音频DAC和放大器238从耳机130接收音频信息。话筒前置放大器和音频ADC 240提供话筒110的接口。温度传感器接口242是用于温度传感器138的接口。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。
图5是描述处理单元4的各个组件的框图。图5示出与电源管理电路306通信的控制电路304。控制电路304包括：中央处理单元(CPU)320；图形处理单元322；高速缓存324；RAM 326、与存储器330(例如D-RAM)进行通信的存储器控制328、与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输出缓冲区336、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输入缓冲区338、与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340、用于连接到无线通信设备346的PCI express接口；以及USB端口348。在一个实施例中，无线通信组件346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等.USB端口可以用于将处理单元4对接到中枢计算设备12，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。下面提供更多的细节。
电源管理电路306包括时钟生成器360、模数转换器362、电池充电器364、电压调节器366、头戴式显示器电源376、以及与温度传感器374进行通信的温度传感器接口372(其位于处理单元4的腕带(wrist band)上)。交流电到直流电转换器362被连接到充电插座370来接收AC电源并为该系统产生DC电源。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电能时对电池368进行充电(通过电压调节器366)。HMD电源接口376向头戴式显示设备2提供电能。
上述系统将被配置为将虚拟图像插入到用户的视野中，使得该虚拟图像在用户看来为自然聚焦或失焦的。在各个实施例中，虚拟图像将基于该图像被插入到的环境而被调整为与合适的取向、大小和形状相匹配。在一个实施例中，头戴式显示设备2、处理单元4以及中枢计算设备12一起工作，因为每个设备都包括用于获得用于确定在何处、何时以及如何插入虚拟图像的数据的传感器的子集。在一个实施例中，确定在何处、如何以及何时插入虚拟图像的计算是由中枢计算设备12执行的。在另一实施例中，这些计算由处理单元4来执行。在另一实施例中，这些计算中的一些由中枢计算设备12来执行，而其他计算由处理单元4来执行。在其他实施例中，这些计算可以由头戴式显示设备2来执行。
在一个示例性实施例中，中枢计算设备12将创建用户所处的环境的模型，并且跟踪在该环境中的多个移动物体。另外，中枢计算设备12通过跟踪头戴式显示设备2的位置和取向来跟踪头戴式显示设备2的视野。该模型和跟踪信息被从中枢计算设备12提供给处理单元4。由头戴式显示设备2所获得的传感器信息被传送给处理单元4。然后，处理单元4使用其从头戴式显示设备2接收的其他传感器信息来细化用户的视野并且向头戴式显示设备2提供关于如何、在何处以及何时插入虚拟图像的指令。
图6示出了具有捕捉设备的中枢计算系统12的示例性实施例。在一个实施例中，捕捉设备20A和20B为相同结构，因此，图6仅仅示出了捕捉设备20A。
根据一示例性实施例，捕捉设备20A可被配置为通过可包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一个实施例，捕捉设备20A可将深度信息组织成“Z层”、或者可与从深度相机沿其视线延伸的Z轴垂直的层。
如图6所示，捕捉设备20A可以包括相机组件423。根据一示例性实施例，相机组件423可以是或者可以包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每个像素都可以表示深度值，比如所捕捉的场景中的物体与相机相距的例如以厘米、毫米等为单位的距离。
相机组件23可以包括可用于捕捉场景的深度图像的红外(IR)光组件425、三维(3D)相机426、以及RGB(视觉图像)相机428。例如，在飞行时间分析中，捕捉设备20A的IR光组件425可以将红外光发射到场景上，并且然后可以使用传感器(在一些实施例中包括未示出的传感器)、例如使用3D相机326和/或RGB相机428来检测从场景中的一个或多个目标和物体的表面后向散射的光。在一些实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲和相应的入射光脉冲之间的时间并将其用于确定从捕捉设备20A到场景中的目标或物体上的特定位置的物理距离。附加地，在其他示例性实施例中，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。
根据另一示例性实施例，可使用飞行时间分析，以通过经由包括例如快门式光脉冲成像之类的各种技术分析反射光束随时间的强度来间接地确定从捕捉设备20A到目标或物体上的特定位置的物理距离。
在另一示例性实施例中，捕捉设备20A可使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即，被显示为诸如网格图案、条纹图案、或不同图案之类的已知图案的光)可经由例如IR光组件424被投影到场景上。在落到场景中的一个或多个目标或物体的表面上时，作为响应，图案可变形。图案的这种变形可由例如3D相机426和/或RGB相机428(和/或其他传感器)来捕捉，然后可被分析以确定从捕捉设备到目标或物体上的特定位置的物理距离。在一些实施方式中，IR光组件425与相机425和426分开，使得可以使用三角测量来确定与相机425和426相距的距离。在一些实施方式中，捕捉设备20A将包括感测IR光的专用IR传感器或具有IR滤光器的传感器。
根据另一实施例，捕捉设备20A可以包括两个或更多个在物理上分开的相机，这些相机可以从不同的角度观察场景以获得视觉立体数据，这些视觉立体数据可以被分辨以生成深度信息。也可使用其他类型的深度图像传感器来创建深度图像。
捕捉设备20A还可以包括话筒430，所述话筒430包括可以接收声音并将其转换成电信号的换能器或传感器。话筒430可用于接收也可提供给中枢计算系统12的音频信号。
在一示例实施例中，捕捉设备20A还可包括可与图像相机组件423进行通信的处理器432。处理器432可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令例如包括用于接收深度图像、生成合适的数据格式(例如，帧)以及将数据传送给中枢计算系统12的指令。
捕捉设备20A还可包括存储器434，该存储器434可存储由处理器432执行的指令、由3D相机和/或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例性实施例，存储器434可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图6所示，在一个实施例中，存储器434可以是与图像捕捉组件423和处理器432进行通信的单独组件。根据另一实施例，存储器组件434可被集成到处理器432和/或图像捕捉组件422中。
捕捉设备20A和20B通过通信链路436与中枢计算系统12通信。通信链路436可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等的无线连接。根据一个实施例，中枢计算系统12可以通过通信链路436向捕捉设备20A提供可用于确定例如何时捕捉场景的时钟。附加地，捕捉设备20A通过通信链路436将由例如3D相机426和/或RGB相机428捕捉的深度信息和视觉(例如RGB)图像提供给中枢计算系统12。在一个实施例中，深度图像和视觉图像以每秒30帧的速率来传送，但是可以使用其他帧速率。中枢计算系统12然后可以创建模型并使用模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或文字处理程序等的应用和/或使化身或屏上人物动画化。
中枢计算系统12包括深度图像处理和骨架跟踪模块450，该模块使用深度图像来跟踪可被捕捉设备20A的深度相机功能检测到的一个或多个人。深度图像处理和骨架跟踪模块450向应用452提供跟踪信息，该应用可以是视频游戏、生产性应用、通信应用或其他软件应用等。音频数据和视觉图像数据也被提供给应用452和深度图像处理和骨架跟踪模块450。应用452将跟踪信息、音频数据和视觉图像数据提供给识别器引擎454。在另一实施例中，识别器引擎454直接从深度图像处理和骨架跟踪模块450接收跟踪信息，并直接从捕捉设备20A和20B接收音频数据和视觉图像数据。
识别器引擎454与过滤器460、462、464、……、466的集合相关联，每个过滤器都包括关于可被捕捉设备20A或20B检测到的任何人或物体执行的姿势、动作或状况的信息。例如，来自捕捉设备20A的数据可由过滤器460、462、464、……、466来处理，以便标识出一个用户或一组用户已经何时执行了一个或多个姿势或其他动作。这些姿势可与应用452的各种控制、物体或状况相关联。因此，中枢计算系统12可以将识别器引擎454和过滤器一起用于解释和跟踪物体(包括人)的移动。
捕捉设备20A和20B向中枢计算系统12提供RGB图像(或其他格式或色彩空间的视觉图像)和深度图像。深度图像可以是多个观测到的像素，其中每个观测到的像素具有观测到的深度值。例如，深度图像可包括所捕捉的场景的二维(2D)像素区域，其中2D像素区域中的每个像素都可具有深度值，比如所捕捉的场景中的物体与捕捉设备相距的距离。中枢计算系统12将使用RGB图像和深度图像来跟踪用户或物体的移动。例如，系统将使用深度图像来跟踪人的骨架。可以使用许多方法以通过使用深度图像来跟踪人的骨架。使用深度图像来跟踪骨架的一个合适的示例在2009年10月21日提交的美国专利申请12/603,437“Pose Tracking Pipeline(姿态跟踪流水线)”(以下称为’437申请)中提供，该申请的全部内容通过引用结合于此。‘437申请的过程包括：获得深度图像；对数据进行降采样；移除和/或平滑化高方差噪声数据；标识并移除背景；以及将前景像素中的每个分配给身体的不同部位。基于这些步骤，系统将使一模型拟合到该数据并创建骨架。该骨架将包括一组关节和这些关节之间的连接。也可使用用于跟踪的其他方法。在下列四个美国专利申请中还公开了合适的跟踪技术，所述专利的全部内容都通过引用结合于此：于2009年5月29日提交的的美国专利申请12/475,308“Device for Identifying and TrackingMultiple Humans Over Time(用于随时间标识和跟踪多个人类的设备)”；于2010年1月29日提交的美国专利申请12/696,282“Visual Based IdentityTracking(基于视觉的身份跟踪)”；于2009年12月18日提交美国专利申请12/641,788“Motion Detection Using Depth Images(使用深度图像的运动检测)”；以及于2009年10月7日提交的美国专利申请12/575,388“Human TrackingSystem(人类跟踪系统)”。
识别器引擎454包括多个过滤器460、462、464、……、466来确定姿势或动作。过滤器包括定义姿势、动作或状况以及该姿势、动作或状况的参数或元数据的信息。例如，包括一只手从身体背后经过身体前方的运动的投掷可被实现为包括表示用户的一只手从身体背后经过身体前方的运动的信息的姿势，因为该运动将由深度相机来捕捉。然后可为该姿势设定参数。当姿势是投掷时，参数可以是该手必须达到的阈值速度、该手必须行进的距离(绝对的，或相对于用户的整体大小)、以及识别器引擎对发生了该姿势的置信度评级。用于姿势的这些参数可以随时间在各应用之间、在单个应用的各上下文之间、或在一个应用的一个上下文内变化。
过滤器可以是模块化的或是可互换的。在一个实施例中，过滤器具有多个输入(这些输入中的每一个具有一类型)以及多个输出(这些输出中的每一个具有一类型)。第一过滤器可用具有与第一过滤器相同数量和类型的输入和输出的第二过滤器来替换而不更改识别器引擎架构的任何其他方面。例如，可能具有要驱动的第一过滤器，该第一过滤器将骨架数据作为输入，并输出与该过滤器相关联的姿势正在发生的置信度和转向角。在希望用第二驱动过滤器来替换该第一驱动过滤器的情况下(这可能是因为第二驱动过滤器更高效且需要更少的处理资源)，可以通过简单地用第二过滤器替换第一过滤器来这样做，只要第二过滤器具有同样的输入和输出——骨架数据类型的一个输入、以及置信度类型和角度类型的两个输出。
过滤器不需要具有参数。例如，返回用户的高度的“用户高度”过滤器可能不允许可被调节的任何参数。可替代的“用户高度”过滤器可具有可调节参数，比如在确定用户的高度时是否考虑用户的鞋、发型、头饰以及体态。
对过滤器的输入可包括诸如关于用户的关节位置的关节数据、在关节处相交的骨所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。来自过滤器的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及作出姿势运动的时间等内容。
识别器引擎454可以具有向过滤器提供功能的基本识别器引擎。在一实施例中，识别器引擎454实现的功能包括：跟踪所识别的姿势和其他输入的随时间输入(input-over-time)存档；隐马尔可夫模型实施方式(其中所建模的系统被假定为马尔可夫过程-其中当前状态封装了确定将来状态所需的任何过去状态信息，因此不必为此目的而维护任何其他过去状态信息的过程-该过程具有未知参数，并且隐藏参数是从可观察数据来确定的)；以及求解姿势识别的特定实例的其他功能。
过滤器460、462、464、……、466在识别器引擎454之上加载并实现，并且可利用识别器引擎454提供给所有过滤器460、462、464、……、466的服务。在一个实施例中，识别器引擎454接收数据来确定该数据是否满足任何过滤器460、462、464、……、466的要求。由于这些所提供的诸如解析输入之类的服务是由识别器引擎454一次性提供而非由每个过滤器460、462、464、……、466提供的，因此这样的服务在一段时间内只需被处理一次而不是在该时间段对每个过滤器处理一次，因此减少了确定姿势所需的处理。
应用452可使用识别器引擎454所提供的过滤器460、462、464、……、466，或者它可提供其自己的、插入到识别器引擎454中的过滤器。在一实施例中，所有过滤器具有启用该插入特性的通用接口。此外，所有过滤器可利用参数，因此可使用以下单个姿势工具来诊断并调节整个过滤器系统。
关于识别器引擎454的更多信息可在2009年4月13日提交的美国专利申请12/422,661“Gesture Recognizer System Architecture(姿势识别器系统架构)”中找到，该申请通过整体引用合并于此。关于识别姿势的更多信息可在2009年2月23日提交的美国专利申请12/391,150“Standard Gestures(标准姿势)”；以及2009年5月29日提交的美国专利申请12/474,655“Gesture Tool(姿势工具)”中找到，这两个申请的全部内容都通过引用结合于此。
图7示出了可用于实现中枢计算系统12的计算系统的示例性实施例。如图7所示，多媒体控制台500具有含有一级高速缓存501、二级高速缓存504和闪存ROM(只读存储器)506的中央处理单元(CPU)502。一级高速缓存502和二级高速缓存504临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 501可以被配备为具有一个以上的核，并且由此具有附加的1级和2级高速缓存502和504。闪存ROM 506可存储在多媒体控制台500通电时在引导过程初始化阶段加载的可执行代码。
图形处理单元(GPU)508和视频编码器/视频编解码器(编码器/解码器)514形成用于高速、高分辨率图形处理的视频处理流水线。经由总线从图形处理单元508向视频编码器/视频编解码器514运送数据。视频处理流水线向A/V(音频/视频)端口540输出数据，用于传输至电视或其他显示器。存储器控制器510连接到GPU 508以方便处理器访问各种类型的存储器512，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台500包括优选地在模块518上实现的I/O控制器520、系统管理控制器522、音频处理单元523、网络接口控制器524、第一USB主控制器526、第二USB控制器528和前面板I/O子部件530。USB控制器526和528用作外围控制器542(1)-542(2)、无线适配器548、和外置存储器设备546(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口524和/或无线适配器548提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器543来存储在引导过程期间加载的应用数据。提供介质驱动器544，且其可包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器、或其他可移动介质驱动器等。介质驱动器144可位于多媒体控制台500的内部或外部。应用数据可经由媒体驱动器544访问，以由多媒体控制台500执行、回放等。介质驱动器544经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器520。
系统管理控制器522提供涉及确保多媒体控制台500的可用性的各种服务功能。音频处理单元523和音频编解码器532形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元523与音频编解码器532之间传输。音频处理流水线将数据输出到A/V端口540以供外部音频用户或具有音频能力的设备再现。
前面板I/O子部件530支持暴露在多媒体控制台100的外表面上的电源按钮550和弹出按钮552以及任何LED(发光二极管)或其他指示器的功能。系统供电模块536向多媒体控制台100的组件供电。风扇538冷却多媒体控制台500内的电路。
CPU 501、GPU 508、存储器控制器510、和多媒体控制台500内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台500通电时，应用数据可从系统存储器543加载到存储器512和/或高速缓存502、504中并在CPU 501上执行。应用可呈现在导航到多媒体控制台500上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器544中包含的应用和/或其他媒体可从媒体驱动器544启动或播放，以向多媒体控制台500提供附加功能。
多媒体控制台500可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台500允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口524或无线适配器548可用的宽带连接的集成，多媒体控制台500还可作为较大网络社区中的参与者来操作。附加地，多媒体控制台500可以通过无线适配器548与处理单元4通信。
当多媒体控制台500通电时，可以保留设定量的硬件资源以供由多媒体控制台操作系统作系统使用。这些资源可包括存储器、CPU和GPU周期、网络带宽等等的保留。因为这些资源是在系统引导时保留的，所以所保留的资源从应用的角度而言是不存在的。具体而言，存储器保留优选地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，显示由系统应用程序生成的轻量消息(例如，弹出窗口)，所述显示是通过使用GPU中断来调度代码以将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而消除了对改变频率并引起TV重新同步的需求。
在多媒体控制台500引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 501上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存中断最小化。
当并发系统应用需要音频时，则由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
任选的输入设备(例如，控制器542(1)和542(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自都将具有设备的焦点。应用管理器优选地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。捕捉设备20A和20B可以通过USB控制器526或其他接口来为控制台500定义附加的输入设备。在其他实施例中，中枢计算系统12可以使用其他硬件架构来实现。没有一种硬件架构是必需的。
图4、5、6和7中所示示例性计算机系统包括计算机可读存储介质的示例。这样的介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、记忆棒或存储卡、磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其它介质。附图中的计算机可读存储介质的一些示例包括图4的存储器214、图5的闪存334、存储器330、RAM 326、以及高速缓存324、图6的存储器434、以及ROM 506、高速缓存502、504、存储器512、系统存储器543、存储器单元546以及介质驱动器544。
图1描绘了与一个中枢处理设备12(称为中枢)通信的一个头戴式显示设备2和处理单元4(统称为移动显示设备)。在另一实施例中，多个移动显示设备可以与单个中枢通信。每个移动显示设备都将如上述那样使用无线通信与中枢通信。在这样的实施例中所构思的是，有益于所有移动显示设备的信息中的许多都将在中枢处被计算和存储并且传送给每个移动显示设备。例如，中枢将生成环境的模型并且将该模型提供给与该中枢通信的所有移动显示设备。附加地，中枢可以跟踪移动显示设备以及房间中的移动物体的位置和取向，并且然后将该信息传输给每个移动显示设备。
在另一实施例中，可以将虚拟内容的焦点改变为处于用户的焦点处的多用户系统可以包括多个中枢，每个中枢都包括一个或多个移动显示设备。这些中枢可以直接地或者通过因特网(或者其他网络)彼此通信。例如，图8示出了中枢560、562和564。中枢560直接与中枢562通信。中枢560通过因特网与中枢564通信。中枢560与移动显示设备570、572574通信。中枢562与移动显示设备578、580582通信。中枢564与移动显示设备584、586588通信。每个移动显示设备都如上面所讨论的那样通过无线通信与其相应的中枢通信。如果这些中枢处于共同的环境中，则每个中枢都可以提供该环境的模型的一部分，或者一个中枢可以为其他中枢创建该模型。每个中枢都将跟踪移动物体的子集并且将该信息与其他中枢共享，所述其他中枢进而将与合适的移动显示设备共享该信息。用于移动显示设备的传感器信息将被提供给其相应的中枢，并且然后与其他中枢共享以用于最终与其他移动显示设备共享。因此，在中枢间共享的信息可以包括骨架跟踪、关于模型的信息、各种应用状态、以及其他跟踪。在中枢及其相应的移动显示设备之间传递的信息包括：移动物体的跟踪信息、世界模型的状态和物理更新、几何和纹理信息、视频和音频、以及用于执行在此所述的操作的其他信息。
图9是描述由上述部件执行的用于显示将在被用户查看时处于焦点处的虚拟物体的过程的一个实施例的流程图。在步骤602，配置该系统。例如，应用(例如图6的应用452)可以将该系统配置为指示：特定虚拟图像(其表示虚拟物体)将被插入到场景的三维模型中的指定位置处。考虑如下示例：用虚拟物体来填充空房间以将该空房间转变为虚拟现实。在另一示例中，在中枢计算系统12上运行的应用将指示：特定的虚拟图像(其表示虚拟物体)将作为视频游戏或其他进程的一部分被插入到该场景中。
在步骤604，该系统将创建头戴式显示设备2所处的空间的体积模型。例如在一个实施例中，中枢计算设备12将使用来自一个或多个深度相机的深度图像来创建头戴式显示设备2所处的环境或空间的三维模型。在步骤606，将该模型分割成一个或多个物体。例如，如果中枢计算设备12创建房间的三维模型，则该房间很可能在里面具有多个物体。可以处于房间中的物体的示例包括：人、椅子、桌子、沙发椅等等。步骤606包括：确定彼此不同的物体。在步骤608，该系统将标识出这些物体。例如，中枢计算设备12可以标识出：特定物体是桌子并且另一物体是椅子。在步骤610，该系统将显示将在被用户查看时处于焦点处的虚拟物体。该虚拟物体看上去是聚焦的，就好像其是通过透视透镜、例如116、118正在被实际和直接地查看的现实物体。也就是说，该系统在用户通过头戴式显示设备2进行查看的同时在用户的视野内用户正在查看的焦点深度处显示虚拟图像。因此，该虚拟图像将在显示设备上出现在其现实世界位置，该显示设备允许通过该显示器实际直接地查看该物理环境的至少一部分。虚拟物体可以是静止物体或者移动物体。在步骤612，头戴式显示设备2的用户将基于在头戴式显示设备2中所显示的虚拟物体来与运行在中枢计算设备12(或另一计算设备)上的应用交互。下面将更详细地描述步骤604-610中的每个。
图10是描述了用于创建空间的三维模型的过程的一个实施例的流程图。例如，图10的过程是图9的步骤604的一个示例性实施方式。在步骤640，中枢计算系统12接收头戴式显示设备2所处的空间的多个视角的一个或多个深度图像。例如，中枢计算设备12可以从多个深度相机获得深度图像，或者通过使相机指向不同方向或者使用具有如下透镜的相机来从同一相机获得多个深度图像：该透镜允许将要构建模型的空间的全视图。在步骤642，基于共同的坐标系来组合来自各个深度图像的深度数据。例如，如果该系统从多个相机接收深度图像，则该系统将两个图像相关以具有共同的坐标系(例如使图像排齐)。在步骤644，使用深度数据来创建空间的体积描述。在步骤646，该系统将检测和跟踪诸如在房间中移动的人类之类的移动物体。关于跟踪人的更多细节已在上面予以了描述。在步骤648，基于对移动物体的跟踪来更新对空间的体积描述。步骤646和648可以在系统的操作期间连续地执行，使得该模型通过将移动物体考虑在内而被连续地更新。在另一实施例中，该模型将仅仅包括关于静止物体的信息，并且移动物体被单独地跟踪。
图11是描述了用于将空间的模型分割成物体的过程的一个实施例的流程图。例如，图11的过程是图9的步骤606的一个示例实现。在图11的步骤680，该系统将如上面所讨论的那样从一个或多个深度相机接收一个或多个深度图像。可替代地，该系统可以访问其已经接收到的一个或多个深度图像。在步骤682，该系统将如上述那样从相机接收一个或多个视觉图像。可替代地，该系统可以访问已经接收到的一个或多个视觉图像。在步骤684，中枢计算系统将基于深度图像和/或视觉图像检测一个或多个人。例如，该系统将识别一个或多个骨架。在步骤686，中枢计算设备将基于深度图像和/或视觉图像检测该模型内的边缘。在步骤688，中枢计算设备将使用所检测到的边缘来标识出彼此不同的物体。例如，假定：这些边缘是物体之间的边界。在步骤690，将更新使用图10的过程所创建的模型以示出：该模型的哪些部分与不同的物体相关联。
图12是描述用于标识出物体的过程的一个实施例的流程图。例如，图12的过程是图9的步骤608的一个示例实现。在步骤710，中枢计算设备12将所标识出的人与用户身份进行匹配。例如，该系统可以具有用户简档，所述用户简档具有可以与所检测到的物体的图像相匹配的视觉图像。可替代地，用户简档可以描述可基于深度图像或视觉图像来匹配的人的特征。在另一实施例中，用户可以登陆到系统中并且中枢计算设备12可以使用登陆过程来标识出特定用户并且在此处所述的交互的整个过程中跟踪该用户。在步骤712，中枢计算设备12将访问形状数据库。在步骤714，中枢计算设备将模型中的多个物体与数据库中的形状进行匹配。在步骤716，将突出不匹配的那些形状并且将其显示给用户(例如使用监视器16)。在步骤718，中枢计算设备12将接收标识出所突出形状中的每个(或其子集)的用户输入。例如，用户可以使用键盘、鼠标、语音输入、或者其他类型的输入来指示：每个未标识出的形状是什么。在步骤720，基于步骤718中的用户输入来更新形状数据库。在步骤722，通过添加每个物体的元数据来进一步更新在步骤604被创建并且在步骤606被更新的环境模型。该元数据标识出该物体。例如，该元数据可以指示：特定物体处于擦亮的桌、某人、绿色真皮沙发椅等等的周围。
图13是描述用于显示将在被查看透视显示器的用户查看时处于焦点处的虚拟物体的过程的一个实施例的流程图。例如，图13的过程是图9的步骤610的一个示例实现。在图13的步骤950，系统确定用户的视野。也就是说，该系统确定：用户正在查看该环境或空间的哪个部分。在一个实施例中，这是使用中枢计算设备12、处理单元4和头戴式显示设备2的协作工作。在一个示例性实施方式中，中枢计算机设备12将跟踪用户和头戴式显示设备2以便提供对头戴式显示设备2的位置和取向的初步确定。头戴式显示设备2上的传感器将用于细化所确定的取向。例如，上述惯性传感器34可以用于细化头戴式显示设备2的取向。附加地，可以使用上述眼睛跟踪过程来标识出最初所确定的视野的与用户具体正在查看之处相对应的子集(另称为视野中的用户聚焦区或深度焦点)。下面将参照图14、15和16来描述更多细节。
虚拟物体的类型及其在用户视野中的位置由应用452基于缺省参数、用户输入或者二者的组合来确定。例如，用户可以已经选择了房间中的咖啡桌的现实世界物体，其中他运行应用452以看上去是巨石。虚拟巨石的目标位置将与咖啡桌在三维模型中的位置相关。在另一示例中，可以由用户选择将在房间四周游动的虚拟海豚。海豚在房间四周的虚拟运动可以由海豚物体的轨迹路径来实现，其中海豚的目标位置在每个显示帧中都被更新。即使用户注视巨石，海豚通常仍然很可能进入和离开用户的聚焦区和视野。当用户移动他或她的眼睛或头时，用户视野和当前聚焦区也被用这些移动更新。一个或多个虚拟物体可以在任何给定时间位于用户聚焦区和用户视野中。
在上面的步骤950确定视野以后，该系统在步骤952确定：在用户的当前视野中是否存在虚拟物体的任何目标位置。在诸如中枢计算设备12之类的一个或多个计算机系统、或者处理单元4中执行的软件将标识出视野中的目标位置。在一个实施例中，中枢计算设备12将向处理单元4提供该模型。作为步骤952的一部分，处理单元4将使用环境的模型以及对用户的位置和取向的知识来确定：任何虚拟物体的目标位置是否处于用户的视野中。
如果在用户的当前视野中不存在虚拟物体，则步骤966中的处理返回到步骤950中确定和更新用户的视野。
如果在用户的视野中存在至少一个具有目标位置的虚拟物体，则在步骤954，诸如处理单元4中执行的软件之类的该系统确定用户在用户的视野内的当前聚焦区。如后面在图15和16中将进一步讨论的那样，基于由眼睛跟踪相机134针对每只眼睛所捕捉的数据的眼睛跟踪处理可以提供用户的当前聚焦区。例如，在有数据指示用户脸的情况下，瞳孔之间的集中可以用于三角测定焦点曲线、双眼单视界上的焦点，从该焦点中可以计算出聚焦区、Panum汇合区域。Panum汇合区域是人眼所使用的双眼立体视觉的单视觉区域。
在步骤956，在中枢计算系统12、处理单元4或二者中执行的软件基于虚拟物体在模型中的目标位置来标识出：用户视野中的哪个虚拟物体处于当前用户聚焦区中。
在步骤958，处理单元4对图像的要插入到用户视图中的虚拟物体进行缩放和定向。虚拟图像的缩放和定向将基于在视野中的目标位置以及虚拟物体基于该模型的已知形状。
在步骤960，处理单元4、控制电路136或分担处理的二者通过改变微显示器部件的聚焦区来将每个所标识出的虚拟物体放置在当前用户聚焦区中。在步骤962，根据与当前聚焦区相距的距离将人工深度场技术应用于其目标位置处于用户视野内、但处于用户当前聚焦区之外的虚拟物体。人工深度场技术的示例是人工模糊技术。
人工模糊可以通过如下方式来实现：根据与聚焦区相距的距离应用深度场着色器或其他高斯模糊滤波器来模拟处于焦点之外的物体。该技术可以全部或部分地由在中枢计算机12、处理单元4或二者上执行的软件来执行。为便于描述，将参考处理单元4。由处理单元4从作为虚拟物体的目标位置的一部分的深度值中确定图像中的物体的焦距，该处理单元4还确定：比如包围光导光学元件112的显示元件之类的显示元件112上的哪些像素将映射到图像中的虚拟物体。基于该焦距，通过将该图像与高斯函数卷积来应用一个或多个加权高斯模糊滤波器以覆盖至少二维，使得应用于与该图像的焦点或注视点相距越远的像素的变换将受到越多的模糊化效果。在一个示例中，高斯模糊滤波器充当移除高频信息的低通滤波器。
在步骤964，显示包括用户视野中的虚拟物体的虚拟图像。在一个示例中，处理单元4向控制电路136的显示驱动器220发送指令以用于在微显示器120上显示包括用户视野中的虚拟物体的虚拟图像。然后，透镜系统122将从微显示器120接收的虚拟图像投影到反射面124上或向用户的眼睛投影，或者投影到光导光学元件112中以供用户查看。在一个实施方式中，头戴式显示设备中的正被用户用来进行查看的显示器(例如光导光学元件112)被划分成像素。步骤964可以包括：确定哪些像素对应于目标位置，并且这些像素将在步骤964显示该虚拟图像。不透明度滤光器114可以用于防止不逼真的视觉效果。例如，不透明度滤光器114可以修改对光导光学元件112中的像素的光，使得背景虚拟物体不至于穿过前景虚拟物体被看见。处理返回到步骤950并且再次在该实时现实系统中确定用户视野。图13的处理步骤可以在系统的操作期间连续地执行，使得用户视野和用户聚焦区随着用户移动他或她的头而被更新，并且虚拟物体可以相应地被显示为自然地移进和移出用户的焦点。
图16是描述了用于确定用户视野的过程的一个实施例的流程图，该过程是图13的步骤950的示例性实施方式。图16的过程依靠来自中枢计算设备12的信息和上述眼睛跟踪技术。图14是描述了由中枢计算系统执行以提供用在图16的过程中的跟踪信息的过程的一个实施例的流程图。图15是描述了用于跟踪眼睛的过程的一个实施例的流程图，其中该过程的结果供图16的过程来使用。
在图14的步骤810，中枢计算设备12将跟踪用户的位置。例如，中枢计算设备12将使用一个或多个深度图像和一个或多个视觉图像来跟踪用户(例如使用骨架跟踪)。可以在步骤812使用一个或多个深度图像和一个或多个视觉图像来确定头戴式显示设备2的位置和头戴式显示设备2的取向。在步骤814，将用户和头戴式显示设备2的位置和取向从中枢计算设备12传送给处理单元4。在步骤816，在处理单元4处接收该位置和取向信息。图14的处理步骤可以在系统的操作期间连续地执行，使得用户被连续地跟踪。
图15是描述用于使用上述技术来跟踪眼睛的一个实施例的流程图。在步骤860，照明眼睛。例如，可以使用红外光从眼睛跟踪照明144A来照明眼睛。在步骤862，使用一个或多个眼睛跟踪相机134B来检测来自眼睛的反射。在步骤864，将该反射数据从头戴式显示设备2发送给处理单元4。在步骤866，处理单元4将如上述那样基于反射数据来确定眼睛的位置。在步骤868，处理单元4还将基于反射数据来确定用户眼睛正在查看的的焦点深度位置或聚焦区。图15的处理步骤可以在系统的操作期间连续地执行，使得用户的眼睛被连续地跟踪，从而提供用于跟踪当前用户聚焦区的数据。
图16是描述了用于确定视野的过程(例如图13的步骤950)的一个实施例的流程图。在步骤902，处理单元4将访问从中枢接收到的最新的位置和取向信息。图14的过程可以如从步骤814到步骤810的箭头所描绘的那样连续地执行，因此，处理单元4将周期性地从中枢计算设备12接收经更新的位置和取向信息。然而，处理单元4将需要与其从中枢计算设备12接收经更新的信息相比更频繁地绘制虚拟图像。因此，处理单元4将需要依靠本地感测的信息(其例如来自头戴式设备2)以在来自中枢计算设备12的采样之间提供取向的更新。在步骤904，处理单元4将从三轴陀螺仪132B访问数据。在步骤906，处理单元4将从三轴加速度计132C访问数据。在步骤908，处理单元4将从三轴磁力计132A访问数据。在步骤910，处理单元4将用来自该陀螺仪、加速度计和磁力计的数据来细化(或以其他方式更新)来自中枢计算设备12的位置和取向数据。在步骤912，处理单元4将基于头戴式显示设备的位置和取向来确定潜在的视野。
在步骤914，处理单元4将访问最新的眼睛位置信息。在步骤916，处理单元4将基于眼睛位置作为潜在视野的子集来确定模型的被用户观看的一部分。例如，用户可以朝向墙壁，并且因此头戴式显示器的视野可以包括沿着墙壁的任何地方。然而，如果用户的眼睛指向右边，则步骤916将作出的结论是，用户的视野仅仅是墙壁的右边部分。在步骤916结束时，处理单元4已经确定了用户通过头戴式显示器2的视野。处理单元4可以标识出虚拟物体在该视野内的目标位置。在步骤918，处理单元4基于眼睛位置确定该模型部分内的当前用户聚焦区。处理单元4可以标识出处于当前用户聚焦区中的虚拟物体在该模型中的目标位置。图16的处理步骤可以在系统的操作期间连续地执行，使得用户视野和用户聚焦区随着用户移动他或她的头而被连续更新，并且虚拟物体可以相应地被显示为自然地移进和移出用户的焦点。
图17A是描述用于通过使微显示器部件的至少一个透镜移位来改变该部件的聚焦区的过程的一个实施例的流程图。该实施例可用于实现图13中的步骤960。针对说明性上下文，参考之前参照图2A和2B描述的微显示器部件。微显示器部件包括在光路133中与透镜系统122对准的微显示器单元120，该透镜系统122使从微显示器单元120到反射元件124或反射单元124a、124b、以及要么进入用户眼睛、要么进入另一光学元件112的图像光准直化。微显示器部件还包括可变虚焦点调整器135，该可变虚焦点调整器135用于物理地移动光处理元件之一以获得所选或所确定的聚焦区。
在讨论图3A-3D以前，微显示器部件位移和焦距的关系为下列等式：1/S1+1/S2＝1/f。在步骤980，处理单元4确定透镜系统122的前面节点与虚拟物体的目标位置之间的位移值S1。附加地，在步骤982，处理单元4确定反射元件124、124a与透镜系统的背面节点之间的位移值S2以基于该等式获得透镜系统的焦距f。处理单元4在步骤984致使控制电路136的处理器使可变调整器驱动器237向可变虚焦点调整器135施加至少一个驱动信号以物理地移动透镜系统的至少一个透镜以生成所确定的位移值S1和S2。除了图2A和2B中所示的微显示器部件以外，另一实施方式是使用图3D的可插入透镜系统示例的微显示器部件。该移动是：如在原地则释放透镜的臂123并且移动该透镜的臂123一确定的位移以将透镜锁定在光路133中。
图17B是描述用于通过改变微显示器部件的至少一个透镜的偏振性来改变该部件的聚焦区的过程的一个实施例的流程图。该实施例可以用于实现图13中的步骤960，并且适于与诸如图3C所示之类的微显示器部件的实施例一起使用。在该实施例中，该透镜系统在微显示器120与反射元件124(图2A)、124a(图2B)之间的光路中包括至少一个双折射透镜。在步骤986，处理单元4基于虚拟物体的目标位置以及等式1/S1+1/S2＝1/f来选择S1的位移值。在步骤988，可变调整器驱动器237施加至少一个驱动信号以致使可变焦点调整器135改变所述至少一个双折射透镜的偏振性以改变双折射透镜的焦距f来生成所选S1值。由于每个双折射透镜都具有与两个偏振轴相对应的两个离散焦距，因此两个这样的透镜的组合将提供对4个离散焦距的选择。因此，在软件的控制下，控制电路136的处理单元4或处理器210选择最接近的可用焦距以逼近f的值。对于所添加的每个双折射透镜，离散焦距的数目加倍。
图17C是描述用于通过改变微显示器部件的至少一个流体透镜的曲率半径来改变该部件的聚焦区的过程的一个实施例的流程图。该实施例可以用于实现图13中的步骤960，并且适于与在其透镜系统122中使用诸如图3B1和3B2所示之类的至少一个液体透镜的微显示器部件的实施例一起使用。在步骤990，处理单元4基于虚拟物体的目标位置以及等式1/S1+1/S2＝1/f来选择S1的位移值。在步骤992，可变调整器驱动器237施加至少一个驱动信号以致使可变焦点调整器135使流体透镜中的流体量改变，从而导致其曲率半径改变以改变其焦距来生成所选S1值。
如上面在图13的实施例中所提到的那样，对于处于用户视野中、但处于用户的聚焦区之外的虚拟物体，可以应用人工模糊技术。在其他实施例中，可以生成不同聚焦区处的一系列图像。通过移动通过一定范围的焦点或聚焦区以及显示每个聚焦区处的图像，可以使用户看见由多层不同聚焦区图像构成的图像。当用户重新调整他或她的焦点时，用户将选定这些区域之一，并且其余区域中的虚拟物体将被自然地模糊化。扫过一定范围的聚焦区可以以预定速率或频率进行。这足够快地进行，使得人类瞬时图像汇合将使其所有看上去都同时存在。对诸如人工模糊之类的人工深度场技术的需要将减少，但是渲染负荷可能显著增加。
在一个实施例中，经过一定范围的聚焦区的移动可以通过如下方式来执行：以一定速率改变微处理器部件的光处理元件之间的位移、或者该部件中的光处理元件的光学能力。该速率可以为至少高达每秒30的帧速(fps)，但是可以在一些实施例中为更高速率，比如60、120或180Hz。以高速率被沿着光轴移位从而提供不同聚焦区处的图像的透镜有时被称为振动透镜或振荡透镜。在一些实例中，移动例如反射面124、124a之类的图像区域、而不是透镜系统122或图像源120，但是原理是相同的。
图18A是描述用于在扩展显示显示中生成不同聚焦区中的虚拟物体图像的过程的一个实施例的流程图，该过程可以用于实现图9中的步骤610。在图18A的步骤1002，中枢计算设备12或处理单元4或二者在软件的控制下如在图13的步骤950中那样确定用户的视野，并且如在步骤952中那样在步骤1004确定：在用户的当前视野中是否存在虚拟物体的任何目标位置。类似于步骤966，如果在用户的当前视野中不存在虚拟物体，则步骤1006中的处理返回到步骤1002中确定和更新用户的视野。
如在步骤958中那样，处理单元4在步骤1012将对图像的要插入到用户视图中的虚拟物体进行缩放和定向。虚拟图像的缩放和定向将基于目标在视野中的位置以及虚拟物体基于该模型的已知形状。
在步骤1016，由控制电路的定时生成器226或时钟生成器244启动扫描速率时间段。在步骤1018，初始化计数器，以在扫描时间段期间经历该范围内的一定数目的聚焦区。在一些实例中，聚焦区是预定的。在扫描时间段的每个时间步，调整微显示器部件的元件的聚焦区，并且在步骤1022针对每个聚焦区在其扫描时间或时间步向用户显示图像。在步骤1024，通过递增计数器来选择下一聚焦区，并且重复步骤1020至1024的处理，直到计数器指示该范围扫描完成。扫描时间段在步骤1028结束。在其他示例中，用于显示的帧结尾可以中断经过该扫描范围的扫描，并且另一扫描从下一帧开始。
在一个实施例中，可以通过如下方式来降低渲染负荷：渲染聚焦区的子集；以及使用对用户聚焦区的跟踪来优化选择哪些聚焦区进行渲染。在其他示例中，眼睛跟踪数据不提供足够的精确度来确定用户正在查看的焦点位置的深度。推断逻辑可以推断用户聚焦到的物体。一旦选择物体作为焦点物体，就可以使用当前场景的三维模型或映射来确定与焦点物体相距的距离。
图18B示出了用于显示将在被查看扩展现实显示的用户查看时处于焦点处的虚拟物体的过程的另一实施例，该过程可以用于实现图9中的步骤610。图18B是描述用于在扩展现实显示中生成不同聚焦区中的虚拟物体图像的过程的一个实施例的流程图。在图18B的步骤1002，中枢计算设备12或处理单元4或二者在软件的控制下如在图13的步骤950中那样确定用户的视野，并且如在步骤952中那样在步骤1004确定：在用户的当前视野中是否存在虚拟物体的任何目标位置。类似于步骤966，如果在用户的当前视野中不存在虚拟物体，则步骤1006中的处理返回到步骤1002中确定和更新用户的视野。
如果存在至少一个在用户的视野中具有目标位置的虚拟物体，则如在步骤954中那样，在步骤1008，诸如处理单元4中执行的软件之类的该系统确定用户在用户的视野内的当前聚焦区，并且如在步骤956中那样，在中枢计算系统12、处理单元4或二者中执行的软件在步骤1010基于虚拟物体在模型中的目标位置来标识出：用户视野中的哪个虚拟物体处于当前用户聚焦区中。如在步骤958中那样，处理单元4在步骤1012将对图像的要插入到用户视图中的虚拟物体进行缩放和定向。虚拟图像的缩放和定向将基于目标在视野中的位置以及虚拟物体基于该模型的已知形状。
在步骤1014，处理单元4选择包括当前用户聚焦区在内的一定范围的聚焦区。处理单元4可以基于诸如执行应用(例如452)的上下文之类的标准来选择聚焦区的范围。应用可以使用对具有预定运动轨迹的虚拟物体和触发其出现的事件的选择。当物体的模型随着物体的移动被更新时，处理单元4按照图10的讨论来接收这些更新。在各更新之间，处理单元4可以使用关于用户头的位置和取向的传感器数据来确定他或她在当时很可能聚焦到哪些虚拟物体。处理单元4可以基于场景的三维模型来选择虚拟物体的轨迹将经过的多个聚焦区。因此，一个示例性标准是包括虚拟物体所处的每个聚焦区。另外，还可以选择如下的聚焦区：在所述区域中，移动虚拟物体的轨迹将处于预定的时间帧中。在一个示例中，预定的时间帧可以是直到指示虚拟物体的精确位置的模型数据的下次更新为止。
扫过该范围的聚焦区的起始聚焦区点可以是在用户眼睛的用户视野中接近无穷远处的点。可以使用其他起始位置，然而，从无穷远处开始可以简化不透明度滤光器114的应用。在步骤1016，由控制电路的定时生成器226或时钟生成器244启动扫描速率时间段。在步骤1018，初始化计数器，以在扫描时间段期间经历该范围内的一定数目的聚焦区。在一些实例中，聚焦区是预定的。在扫描时间段的每个时间步，调整微显示器部件的元件的聚焦区，并且在步骤1022针对每个聚焦区在其扫描时间或时间步向用户显示图像。在步骤1024，通过递增计数器来选择下一聚焦区，并且重复步骤1020至1024的处理，直到计数器指示该范围的扫描完成。扫描时间段在步骤1028结束。在其他示例中，用于显示的帧结尾可以中断经过该扫描范围的扫描，并且另一扫描从下一帧开始。
图19A和19B示意性地示出了用于在扩展现实显示中显示多焦点虚拟物体的不同方式的示例。在图19A中，在微显示器部件的光路133中的不同位移处生成的不同聚焦区处生成4个图像1050a至1050d的示例，并且发送所有图像以供在光导光学元件112上显示。在图19B中，处理单元4致使每个图像的处于该聚焦区或图像区域处的焦点中的片段或部分被包括在复合图像1055中以供在显示器112上显示。在一个示例中，每个图像的处于焦点处的片段和部分可以是虚拟物体在其生成时在该图像中所位于的部分。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于生成提供虚拟物体的可变焦点的扩展现实显示的方法，包括：
确定(950)使用近眼显示设备查看场景的用户的三维视野，该场景包括一个或多个现实物体以及扩展现实显示图像中的一个或多个虚拟物体；
标识出(952)该用户的视野内的一个或多个虚拟物体的三维位置；
确定(954)该用户在视野内的三维当前聚焦区；
标识出(956)所述一个或多个虚拟物体中的哪些处于该用户的当前聚焦区中；
通过调整近眼显示设备的微显示器部件的聚焦区来将所述一个或多个虚拟物体放置(960)在该用户在扩展显示图像中的当前聚焦区中；以及
显示(964)包括至少一个虚拟物体的图像。
2.如权利要求1所述的方法，其特征在于，还包括：
根据与当前聚焦区相距的距离将至少一个人工深度场技术应用(962)于处于该用户的视野内、但处于该用户的当前聚焦区之外的虚拟物体。
3.如权利要求1所述的方法，其特征在于：
通过调整近眼显示设备的微显示器部件的聚焦区来将所述一个或多个虚拟物体放置在该用户在扩展显示图像中的当前聚焦区中包括：调整(图17A)微显示器部件在光路中的位移。
4.如权利要求3所述的方法，其特征在于：
该微显示器部件包括在光路中与反射元件对准的至少一个光学元件和微显示器单元；以及
调整该微显示器部件在光路中的位移还包括：
确定(980)所述至少一个光学元件的前面节点与至少一个虚拟物体的目标位置之间的位移值S1，所述至少一个光学元件在光路中位于微显示器与反射元件之间；
确定(982)该反射元件与所述至少一个光学元件的背面节点之间的位移值S2，以基于等式1/S1+1/S2＝1/f获得所述至少一个透镜的焦距f；以及
移动(984)所述至少一个光学元件以生成所确定的位移值S1和S2。
5.一种提供虚拟物体的可变焦点的扩展现实系统，包括：
透视显示器单元(2)，包括：
微显示器部件(173)，该微显示器部件(173)用于生成图像以供透视显示器单元显示，该微显示器部件包括反射元件(124)、至少一个光学元件(122)、微显示器单元(120)、以及可变虚焦点调整器(135)，所述至少一个光学元件和微显示器单元在光路(133)中与该反射元件对准，该可变虚拟调整器改变该微显示器部件的聚焦区以将一个或多个虚拟物体放置在用户的当前聚焦区中；
控制电路，该控制电路包括可通信地耦合到该微显示器部件的处理器(210)，该控制电路包括驱动器(237)以控制该可变虚拟调整器，该处理器在软件的控制下指示该微显示器单元将至少一个虚拟物体包括在当前用户聚焦区中；以及
显示器，该显示器光学耦合到该微显示器部件以用于投影指向至少一个眼睛位置的三维虚拟图像。
6.如权利要求5所述的扩展现实系统，其特征在于，还包括：
电枢(137)，该电枢(137)用于支承该微显示器部件的至少一个元件，并且该电枢处于该可变虚拟调整器的控制下。
7.如权利要求5所述的扩展现实系统，其特征在于：
该控制电路还包括定时生成器(226)，该定时生成器(226)用于向控制该可变虚拟调整器的驱动器提供速率；
该可变虚拟调整器以该速率在该微显示器部件的光路中扫过一定范围的位移，该范围的位移对应于一定范围的聚焦区；
该范围的聚焦区包括当前用户聚焦区；以及
该处理器在软件的控制下指示该微显示器单元生成图像(1050)，该图像(1050)包括被标识为在该调整器处于针对该聚焦区的该位移处时将位于该范围的聚焦区之一中的任何虚拟物体。
8.如权利要求5所述的扩展现实系统，其特征在于：
该控制电路还包括定时生成器(226)，该定时生成器(226)用于向控制该可变虚拟调整器的驱动器提供速率；
该可变虚拟调整器以该速率在该微显示器部件的光路中扫过至少一个光学元件的一定范围的偏振值(图3C)以改变该光路中的所述至少一个光学元件的焦距，该范围的偏振值对应于一定范围的聚焦区；
该范围的聚焦区包括当前用户聚焦区；以及
该处理器在软件的控制下指示该微显示器单元生成图像(1050)，该图像(1050)包括被标识为在该调整器处于针对该聚焦区的该偏振性(图3C)时将位于该范围的聚焦区之一中的任何虚拟物体。
9.如权利要求5所述的扩展现实系统，其特征在于：
该控制电路还包括定时生成器(226)，该定时生成器(226)用于向控制该可变虚拟调整器的驱动器提供速率；
该光路中的所述至少一个光学元件包括流体透镜(150，156，158)；
该可变虚拟调整器以该速率在该微显示器部件的光路中扫过所述至少一个流体透镜的一定范围的曲率半径以改变所述至少一个流体透镜的焦距，该范围的曲率半径值对应于一定范围的聚焦区；
该范围的聚焦区包括当前用户聚焦区；以及
该处理器在软件的控制下指示该微显示器单元生成图像，该图像包括被标识为在该调整器处于针对该聚焦区的该曲率半径时将位于该范围的聚焦区之一中的任何虚拟物体。
10.如权利要求7所述的扩展现实系统，其特征在于
该微显示器生成复合图像(1055)，该复合图像(1055)包括由该范围的位移所生成的不同图像(1050)的处于焦点处的部分；以及
该显示器将该复合图像投影到所述至少一个眼睛位置。
CN201110364954.7A 2010-11-08 2011-11-07 用于扩展现实显示的自动可变虚拟焦点 Active CN102566049B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/941,825 2010-11-08
US12/941,825 US9292973B2 (en) 2010-11-08 2010-11-08 Automatic variable virtual focus for augmented reality displays

Publications (2)

Publication Number Publication Date
CN102566049A CN102566049A (zh) 2012-07-11
CN102566049B true CN102566049B (zh) 2015-05-13

Family

ID=46019190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110364954.7A Active CN102566049B (zh) 2010-11-08 2011-11-07 用于扩展现实显示的自动可变虚拟焦点

Country Status (12)

Country Link
US (2) US9292973B2 (zh)
EP (1) EP2638693B1 (zh)
JP (1) JP5913346B2 (zh)
KR (1) KR101912958B1 (zh)
CN (1) CN102566049B (zh)
AR (1) AR083807A1 (zh)
CA (1) CA2815372C (zh)
ES (1) ES2713521T3 (zh)
HK (1) HK1172098A1 (zh)
IL (1) IL225995A (zh)
TW (1) TWI539185B (zh)
WO (1) WO2012064546A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930386B2 (en) 2013-06-05 2018-03-27 Thomson Licensing Method and apparatus for content distribution multiscreen viewing
US10212474B2 (en) 2013-06-05 2019-02-19 Interdigital Ce Patent Holdings Method and apparatus for content distribution for multi-screen viewing

Families Citing this family (433)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
US9658473B2 (en) * 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
GB2468997A (en) 2008-01-22 2010-09-29 Univ Arizona State Head-mounted projection display using reflective microdisplays
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US20120081800A1 (en) 2009-04-20 2012-04-05 Dewen Cheng Optical see-through free-form head-mounted display
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
CN102782562B (zh) 2010-04-30 2015-07-22 北京理工大学 宽视场高分辨率拼接式头盔显示装置
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9183199B2 (en) * 2011-03-25 2015-11-10 Ming-Yuan Wu Communication device for multiple language translation system
EP3666352B1 (en) 2011-10-28 2021-12-01 Magic Leap, Inc. Method and device for augmented and virtual reality
US9554229B2 (en) * 2011-10-31 2017-01-24 Sony Corporation Amplifying audio-visual data based on user's head orientation
US9223138B2 (en) * 2011-12-23 2015-12-29 Microsoft Technology Licensing, Llc Pixel opacity for augmented reality
US8917453B2 (en) 2011-12-23 2014-12-23 Microsoft Corporation Reflective array waveguide
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US9606586B2 (en) 2012-01-23 2017-03-28 Microsoft Technology Licensing, Llc Heat transfer device
US9720232B2 (en) 2012-01-24 2017-08-01 The Arizona Board Of Regents On Behalf Of The University Of Arizona Compact eye-tracked head-mounted display
US9147111B2 (en) * 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US9368546B2 (en) 2012-02-15 2016-06-14 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9726887B2 (en) 2012-02-15 2017-08-08 Microsoft Technology Licensing, Llc Imaging structure color conversion
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
US9578318B2 (en) 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US11068049B2 (en) 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
US10191515B2 (en) 2012-03-28 2019-01-29 Microsoft Technology Licensing, Llc Mobile device light guide display
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
US20130300634A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
WO2013173728A1 (en) * 2012-05-17 2013-11-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US10502876B2 (en) * 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US20130317901A1 (en) * 2012-05-23 2013-11-28 Xiao Yong Wang Methods and Apparatuses for Displaying the 3D Image of a Product
US9934614B2 (en) 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20140007148A1 (en) * 2012-06-28 2014-01-02 Joshua J. Ratliff System and method for adaptive data processing
US9466121B2 (en) 2012-09-11 2016-10-11 Qualcomm Incorporated Devices and methods for augmented reality applications
CN102866506A (zh) * 2012-09-21 2013-01-09 苏州云都网络技术有限公司 增强现实眼镜及其实现方法
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US9111383B2 (en) 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US9077647B2 (en) 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US10180715B2 (en) * 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US9874760B2 (en) * 2012-10-18 2018-01-23 Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
GB2507111A (en) * 2012-10-19 2014-04-23 My View Ltd User-based sensing with biometric data-based processing to assess an individual's experience
CN102981616B (zh) * 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
US9189021B2 (en) 2012-11-29 2015-11-17 Microsoft Technology Licensing, Llc Wearable food nutrition feedback system
EP3968135A1 (en) * 2012-11-29 2022-03-16 Haddish, Imran Virtual and augmented reality instruction system
EP2930693B1 (en) * 2012-12-10 2020-06-24 Sony Corporation Display control device, display control method and program
US10192358B2 (en) 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
WO2014106219A1 (en) * 2012-12-31 2014-07-03 Burachas Giedrius Tomas User centric interface for interaction with visual display that recognizes user intentions
US10127724B2 (en) * 2013-01-04 2018-11-13 Vuezr, Inc. System and method for providing augmented reality on mobile devices
US20140192164A1 (en) * 2013-01-07 2014-07-10 Industrial Technology Research Institute System and method for determining depth information in augmented reality scene
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
CA2905427C (en) * 2013-03-11 2022-07-12 Magic Leap, Inc. System and method for augmented and virtual reality
JP6123365B2 (ja) * 2013-03-11 2017-05-10 セイコーエプソン株式会社 画像表示システム及び頭部装着型表示装置
CN104052981A (zh) * 2013-03-13 2014-09-17 联想(北京)有限公司 一种信息处理方法及电子设备
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
NZ735755A (en) * 2013-03-15 2019-04-26 Magic Leap Inc Display system and method
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140282113A1 (en) 2013-03-15 2014-09-18 John Cronin Personal digital assistance and virtual reality
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
TWI547142B (zh) 2013-04-02 2016-08-21 杜比實驗室特許公司 引導的３ｄ顯示器適配
KR102079097B1 (ko) * 2013-04-09 2020-04-07 삼성전자주식회사 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
WO2014178476A1 (ko) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 디지털 디바이스 및 이를 이용한 콘텐츠 제공 방법
JP6020923B2 (ja) * 2013-05-21 2016-11-02 パナソニックＩｐマネジメント株式会社 焦点可変レンズを有するビューア、および映像表示システム
WO2014194486A1 (en) 2013-06-05 2014-12-11 Thomson Licensing Method and apparatus for content distribution for multiscreen viewing
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10139623B2 (en) * 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9235051B2 (en) 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
JP5967597B2 (ja) * 2013-06-19 2016-08-10 パナソニックＩｐマネジメント株式会社 画像表示装置および画像表示方法
US9639985B2 (en) 2013-06-24 2017-05-02 Microsoft Technology Licensing, Llc Active binocular alignment for near eye displays
CN103336579A (zh) * 2013-07-05 2013-10-02 百度在线网络技术（北京）有限公司 穿戴式设备的输入方法和穿戴式设备
JP6225546B2 (ja) * 2013-08-02 2017-11-08 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
JP2016536695A (ja) * 2013-08-22 2016-11-24 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 通信方法、クライアント、及び端末
CN103487939B (zh) * 2013-08-28 2016-04-20 成都理想境界科技有限公司 可调头戴显示光学系统及其调节方法
TWI537767B (zh) * 2013-10-04 2016-06-11 財團法人工業技術研究院 可調體感範圍之多人指引系統與其方法
CN103559742B (zh) * 2013-10-23 2017-05-10 Tcl集团股份有限公司 一种用于3d场景的焦点切换方法及系统
AU2014354673B2 (en) * 2013-11-27 2019-04-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
EP2887124A1 (en) * 2013-12-20 2015-06-24 Thomson Licensing Optical see-through glass type display device and corresponding optical unit
US10321124B2 (en) 2014-01-10 2019-06-11 Nokia Technologies Oy Display of a visual representation of a view
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9811153B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US20160018650A1 (en) 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US10317690B2 (en) 2014-01-31 2019-06-11 Magic Leap, Inc. Multi-focal display system and method
CA3089749A1 (en) * 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9773349B2 (en) * 2014-02-19 2017-09-26 Daqri, Llc Active parallax correction
TWI489140B (zh) 2014-02-24 2015-06-21 Quanta Comp Inc 頭戴式顯示裝置
NZ762223A (en) * 2014-03-05 2022-02-25 Univ Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
CN103869484B (zh) * 2014-03-07 2016-01-13 南开大学 光学4f系统的大成像深度三维显示系统中成像深度的确定方法
CN104918036B (zh) * 2014-03-12 2019-03-29 联想(北京)有限公司 增强现实显示装置及方法
JP2015184561A (ja) 2014-03-25 2015-10-22 ソニー株式会社 導光装置、画像表示装置及び表示装置
JP2015184560A (ja) * 2014-03-25 2015-10-22 ソニー株式会社 導光装置、画像表示装置及び表示装置
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
WO2015184409A1 (en) * 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
WO2015184412A1 (en) * 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
CA2952887C (en) 2014-07-10 2019-09-03 Lusospace, Projectos Engenharia Lda Display device
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
CN104134235B (zh) * 2014-07-25 2017-10-10 深圳超多维光电子有限公司 真实空间和虚拟空间的融合方法和融合系统
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9304235B2 (en) 2014-07-30 2016-04-05 Microsoft Technology Licensing, Llc Microfabrication
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
DE102014110961B4 (de) 2014-08-01 2016-02-11 Carl Zeiss Ag Datenbrille
US9811095B2 (en) * 2014-08-06 2017-11-07 Lenovo (Singapore) Pte. Ltd. Glasses with fluid-fillable membrane for adjusting focal length of one or more lenses of the glasses
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
CN104298350B (zh) * 2014-09-28 2020-01-31 联想(北京)有限公司 一种信息处理方法及穿戴式电子设备
WO2016073557A1 (en) 2014-11-04 2016-05-12 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds
FR3028326B1 (fr) * 2014-11-07 2018-08-17 Thales Systeme de visualisation de tete comportant un systeme oculometrique et des moyens d'adaptation des images emises
KR20160059406A (ko) 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
US9864205B2 (en) * 2014-11-25 2018-01-09 Ricoh Company, Ltd. Multifocal display
CN104469343B (zh) * 2014-11-26 2017-02-01 北京智谷技术服务有限公司 光场显示控制方法和装置、光场显示设备
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
CN104360751B (zh) * 2014-12-05 2017-05-10 三星电子（中国）研发中心 一种实现智能控制的方法和设备
US10353207B2 (en) * 2014-12-19 2019-07-16 Sony Interactive Entertainment Inc. Head-mounted display device and video display system
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
CN107003734B (zh) * 2014-12-23 2019-12-17 美达视野股份有限公司 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
KR102311741B1 (ko) * 2015-01-14 2021-10-12 삼성디스플레이 주식회사 머리 장착형 디스플레이 장치
US10740971B2 (en) 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
NZ734365A (en) * 2015-01-22 2020-06-26 Magic Leap Inc Methods and system for creating focal planes using an alvarez lens
US20160214200A1 (en) * 2015-01-23 2016-07-28 Illinois Tool Works Inc. User Configuration of Image Capture and Display in a Welding Vision System
EP3250959A4 (en) 2015-01-26 2018-09-26 Magic Leap, Inc. Virtual and augmented reality systems and methods having improved diffractive grating structures
KR101728775B1 (ko) 2015-01-28 2017-04-21 경북대학교 산학협력단 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
GB2534921B (en) 2015-02-06 2021-11-17 Sony Interactive Entertainment Inc Head-mountable display system
US9827209B2 (en) 2015-02-09 2017-11-28 Microsoft Technology Licensing, Llc Display system
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US9513480B2 (en) 2015-02-09 2016-12-06 Microsoft Technology Licensing, Llc Waveguide
US9429692B1 (en) 2015-02-09 2016-08-30 Microsoft Technology Licensing, Llc Optical components
US10176961B2 (en) 2015-02-09 2019-01-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Small portable night vision system
US9535253B2 (en) 2015-02-09 2017-01-03 Microsoft Technology Licensing, Llc Display system
US9372347B1 (en) 2015-02-09 2016-06-21 Microsoft Technology Licensing, Llc Display system
US9423360B1 (en) 2015-02-09 2016-08-23 Microsoft Technology Licensing, Llc Optical components
US11086216B2 (en) 2015-02-09 2021-08-10 Microsoft Technology Licensing, Llc Generating electronic components
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US9652047B2 (en) * 2015-02-25 2017-05-16 Daqri, Llc Visual gestures for a head mounted device
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US10061129B2 (en) 2015-03-15 2018-08-28 Kessler Optics and Photonics Solutions Ltd. Birefringent ocular for augmented reality imaging
NZ773819A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
AU2016264599B2 (en) 2015-05-19 2021-05-13 Magic Leap, Inc. Dual composite light field device
DE102015006528A1 (de) * 2015-05-27 2016-12-01 Roland Harras Verfahren zur Bild- und Filmwiedergabe mit automatischer Fokusierung der Blickbereiche der Betrachter
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
AU2016296723B2 (en) 2015-07-20 2021-03-04 Magic Leap, Inc. Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
US20170045728A1 (en) * 2015-08-13 2017-02-16 Novartis Ag Systems and methods for an optical system with an adjustable projected focal plane
IL294587A (en) 2015-10-05 2022-09-01 Magic Leap Inc Microlens collimator for optical fiber scanning in a virtual/augmented reality system
IL304501B1 (en) 2015-10-06 2024-04-01 Magic Leap Inc A virtual/augmented reality system with an inverted angle refraction grating
EP3360001B1 (en) * 2015-10-08 2023-11-15 LG Electronics Inc. Head mount display device
CN105158903B (zh) * 2015-10-27 2018-06-26 北京国承万通信息科技有限公司 显示器
US9709807B2 (en) 2015-11-03 2017-07-18 Motorola Solutions, Inc. Out of focus notifications
CN106680997A (zh) * 2015-11-05 2017-05-17 丰唐物联技术（深圳）有限公司 显示控制方法及装置
CN105571791A (zh) * 2015-12-19 2016-05-11 成都尼奥尔电子科技有限公司 一种基于显示驱动电路的高灵敏度天燃气检测仪
CN107209377B (zh) * 2015-12-30 2020-07-28 深圳市柔宇科技有限公司 头戴式显示装置
US10838116B2 (en) 2016-01-06 2020-11-17 University Of Utah Research Foundation Low-power large aperture adaptive lenses for smart eyeglasses
KR20170083690A (ko) * 2016-01-08 2017-07-19 삼성디스플레이 주식회사 헤드 마운트 장치 및 표시 장치
CN105701863B (zh) * 2016-01-11 2018-08-21 华为技术有限公司 图像处理的方法和装置
CN113406801B (zh) 2016-01-20 2023-05-30 奇跃公司 虚拟/增强现实系统中的偏振保持光纤
WO2017131770A1 (en) * 2016-01-29 2017-08-03 Hewlett-Packard Development Company, L.P Viewing device adjustment based on eye accommodation in relation to a display
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
CN108885342B (zh) * 2016-03-15 2021-06-04 奇跃公司 虚拟图像生成系统及其操作方法
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10013613B2 (en) 2016-03-23 2018-07-03 International Business Machines Corporation Identifying objects in an image
KR20230098725A (ko) * 2016-03-25 2023-07-04 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
EP3436863A4 (en) 2016-03-31 2019-11-27 Magic Leap, Inc. INTERACTIONS WITH 3D VIRTUAL OBJECTS USING POSES AND MULTI-DOF CONTROLLERS
KR20180125600A (ko) 2016-04-07 2018-11-23 매직 립, 인코포레이티드 증강 현실을 위한 시스템들 및 방법들
WO2017176898A1 (en) 2016-04-08 2017-10-12 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10056057B2 (en) * 2016-04-13 2018-08-21 Google Llc Resonant modulation of varifocal liquid membrane lens to provide multiple concurrent focal planes in VR display for realistic focus cues
US10387719B2 (en) * 2016-05-20 2019-08-20 Daqri, Llc Biometric based false input detection for a wearable computing device
ITUA20163946A1 (it) * 2016-05-30 2017-11-30 Univ Pisa Visore indossabile per la realtà aumentata
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
KR101915843B1 (ko) * 2016-06-29 2018-11-08 한국과학기술원 복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치
US20180003991A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Image alignment in head worn display
US11341776B2 (en) 2016-07-15 2022-05-24 Htc Corporation Method, electronic apparatus and recording medium for automatically configuring sensors
KR102461953B1 (ko) 2016-07-25 2022-10-31 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
KR101690646B1 (ko) 2016-08-02 2016-12-28 아이피랩 주식회사 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법
CN109644261B (zh) * 2016-08-04 2021-06-01 杜比实验室特许公司 单一深度追踪调节-聚散解决方案
TWI635316B (zh) * 2016-08-09 2018-09-11 陳台國 External near-eye display device
US10516879B2 (en) 2016-08-12 2019-12-24 Avegant Corp. Binocular display with digital light path length modulation
US10379388B2 (en) 2016-08-12 2019-08-13 Avegant Corp. Digital light path length modulation systems
US10057488B2 (en) 2016-08-12 2018-08-21 Avegant Corp. Image capture with digital light path length modulation
US10401639B2 (en) 2016-08-12 2019-09-03 Avegant Corp. Method and apparatus for an optical path length extender
US10185153B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Orthogonal optical path length extender
US10809546B2 (en) 2016-08-12 2020-10-20 Avegant Corp. Digital light path length modulation
WO2018052590A2 (en) 2016-08-12 2018-03-22 Arizona Board Of Regents On Behalf Of The University Of Arizona High-resolution freeform eyepiece design with a large exit pupil
US10187634B2 (en) * 2016-08-12 2019-01-22 Avegant Corp. Near-eye display system including a modulation stack
CN115064110A (zh) 2016-08-15 2022-09-16 苹果公司 具有可变分辨率的显示器
US10559095B2 (en) * 2016-08-31 2020-02-11 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and medium
CN109792478B (zh) * 2016-09-01 2021-11-12 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US10690991B1 (en) 2016-09-02 2020-06-23 Apple Inc. Adjustable lens systems
US10503252B2 (en) 2016-09-26 2019-12-10 Ihab Ayoub System and method for eye-reactive display
US10281980B2 (en) 2016-09-26 2019-05-07 Ihab Ayoub System and method for eye-reactive display
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
US10068379B2 (en) * 2016-09-30 2018-09-04 Intel Corporation Automatic placement of augmented reality models
US10928638B2 (en) 2016-10-31 2021-02-23 Dolby Laboratories Licensing Corporation Eyewear devices with focus tunable lenses
CN110140077B (zh) * 2016-11-03 2022-06-03 布里利医疗国际公司 视觉辅助设备
US11768376B1 (en) 2016-11-21 2023-09-26 Apple Inc. Head-mounted display system with display and adjustable optical components
US9711114B1 (en) * 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using projectors
US9711072B1 (en) * 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using focus and context displays
US11042039B1 (en) * 2016-12-20 2021-06-22 Facebook Technologies, Llc Varifocal display with actuated reflectors
US10885676B2 (en) 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
US10448824B2 (en) * 2016-12-29 2019-10-22 Intel Corporation Focus adjustment method and apparatus
US10330936B2 (en) * 2017-01-19 2019-06-25 Facebook Technologies, Llc Focal surface display
CN114594603A (zh) * 2017-01-19 2022-06-07 脸谱科技有限责任公司 焦面显示
US11500143B2 (en) 2017-01-28 2022-11-15 Lumus Ltd. Augmented reality imaging system
WO2018138653A1 (en) * 2017-01-30 2018-08-02 Novartis Ag Systems and method for augmented reality ophthalmic surgical microscope projection
KR101866683B1 (ko) * 2017-02-17 2018-06-11 세종대학교산학협력단 편광 의존 렌즈와 편광 조절 장치를 이용한 증강 현실 디스플레이의 영상 투영 거리 조절 장치 및 방법
EP3485319A4 (en) * 2017-02-21 2020-04-01 Facebook Technologies, LLC MULTIPLANAR FOCUS ADJUSTMENT HEADSET
KR102601052B1 (ko) * 2017-02-23 2023-11-09 매직 립, 인코포레이티드 가변 파워 반사기를 갖는 디스플레이 시스템
US10545347B2 (en) * 2017-02-23 2020-01-28 Google Llc Compact eye tracking using folded display optics
CN106980983A (zh) 2017-02-23 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务认证方法及装置
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
JP2020512771A (ja) 2017-03-30 2020-04-23 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 非遮断型デュアルドライバイヤホン
US10977858B2 (en) 2017-03-30 2021-04-13 Magic Leap, Inc. Centralized rendering
CN110520824B (zh) 2017-04-14 2023-11-24 奇跃公司 多模式眼睛跟踪
US10623634B2 (en) * 2017-04-17 2020-04-14 Intel Corporation Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching
AU2018256365A1 (en) 2017-04-19 2019-10-31 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
CN110574375B (zh) 2017-04-28 2023-06-02 苹果公司 视频流水线
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
WO2018213010A1 (en) 2017-05-17 2018-11-22 Apple Inc. Head-mounted display device with vision correction
CN106950701A (zh) * 2017-05-19 2017-07-14 深圳市帝泰光电有限公司 一种环境无缝增强多模式mr系统
CN107315470B (zh) * 2017-05-25 2018-08-17 腾讯科技（深圳）有限公司 图形处理方法、处理器和虚拟现实系统
US10855977B2 (en) * 2017-05-26 2020-12-01 Google Llc Near-eye display with extended accommodation range adjustment
WO2018221867A1 (ko) * 2017-05-27 2018-12-06 이문기 거울을 이용한 투명한 안경형 디스플레이
IL252585A0 (en) * 2017-05-29 2017-08-31 Eyeway Vision Ltd System and method for projection to the eye with focus control
US11079522B1 (en) 2017-05-31 2021-08-03 Magic Leap, Inc. Fiducial design
KR102355391B1 (ko) * 2017-06-02 2022-01-24 애플 인크. 가상 기재로서 사용하기 위한 평면 및/또는 쿼드트리들을 검출하기 위한 방법 및 디바이스
US10304251B2 (en) * 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
CN107229340B (zh) * 2017-06-29 2020-04-24 联想(北京)有限公司 一种信息处理方法以及电子设备
US10460527B2 (en) * 2017-06-30 2019-10-29 Tobii Ab Systems and methods for displaying images in a virtual world environment
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US20190019448A1 (en) * 2017-07-12 2019-01-17 Oculus Vr, Llc Redundant microleds of multiple rows for compensation of defective microled
WO2019016813A1 (en) 2017-07-19 2019-01-24 Lumus Ltd. LIQUID CRYSTAL LIGHTING ON SILICON VIA OPTICAL ELEMENT GUIDE OF LIGHT
US10861142B2 (en) 2017-07-21 2020-12-08 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
DE102017213005A1 (de) * 2017-07-27 2019-01-31 Audi Ag Verfahren zum Darstellen eines Anzeigeinhalts
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US11009949B1 (en) 2017-08-08 2021-05-18 Apple Inc. Segmented force sensors for wearable devices
RU176382U1 (ru) * 2017-08-28 2018-01-17 Общество с ограниченной ответственностью "ТрансИнжКом" Блок сбора информации для устройства совмещенной реальности
KR102481884B1 (ko) 2017-09-22 2022-12-28 삼성전자주식회사 가상 영상을 표시하는 방법 및 장치
US10366522B2 (en) 2017-09-27 2019-07-30 Microsoft Technology Licensing, Llc Augmented and virtual reality bot infrastructure
WO2019072363A1 (en) 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. TUNABLE FOCUS OPTICAL SYSTEM AND MULTI-FOCAL DISPLAY DEVICE
KR101991401B1 (ko) * 2017-10-12 2019-06-20 에스케이텔레콤 주식회사 증강 현실 표시 방법 및 장치
WO2019079523A1 (en) 2017-10-17 2019-04-25 Magic Leap, Inc. SPACE AUDIO WITH MIXED REALITY
KR102022912B1 (ko) * 2017-10-30 2019-09-19 주식회사 아이티원 혼합현실을 이용한 정보 공유 시스템
US11190757B2 (en) * 2017-12-22 2021-11-30 Mirage 3.4D Pty Ltd Camera projection technique system and method
US10506220B2 (en) 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
GB201800933D0 (en) * 2018-01-19 2018-03-07 Adlens Ipr Ltd Improvements in or relating to variable focal power optical elements,a variable focal power optical device, a display module for augmented reality headset
US10908325B1 (en) * 2018-01-19 2021-02-02 Facebook Technologies, Llc Liquid lens for varifocal display
US10634913B2 (en) * 2018-01-22 2020-04-28 Symbol Technologies, Llc Systems and methods for task-based adjustable focal distance for heads-up displays
US11181801B2 (en) 2018-02-06 2021-11-23 Google Llc Beam steering optics for virtual reality systems
US11314083B2 (en) 2018-02-06 2022-04-26 Google Llc Beam steering optics for near-eye and head mounted displays
US10719124B2 (en) * 2018-02-07 2020-07-21 Htc Corporation Tracking system, tracking method for real-time rendering an image and non-transitory computer-readable medium
WO2019161314A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Dual listener positions for mixed reality
EP3753238A4 (en) 2018-02-15 2021-04-07 Magic Leap, Inc. VIRTUAL REFLECTION OF MIXED REALITY
WO2019161312A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality musical instrument
US20190250407A1 (en) * 2018-02-15 2019-08-15 Microsoft Technology Licensing, Llc See-through relay for a virtual reality and a mixed environment display device
CN111869204B (zh) 2018-03-22 2023-10-03 亚利桑那大学评议会 为基于积分成像的光场显示来渲染光场图像的方法
TWI651545B (zh) * 2018-03-26 2019-02-21 國立中興大學 可變化成像距離的成像裝置
US11442591B2 (en) 2018-04-09 2022-09-13 Lockheed Martin Corporation System, method, computer readable medium, and viewer-interface for prioritized selection of mutually occluding objects in a virtual environment
WO2019204161A1 (en) 2018-04-20 2019-10-24 Pcms Holdings, Inc. Method and system for gaze-based control of mixed reality content
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
WO2019209911A1 (en) * 2018-04-24 2019-10-31 Lc-Tec Displays Ab Viewing direction independent single-layer, pixelated light dimming filter
JP7301880B2 (ja) * 2018-05-04 2023-07-03 ハーマン インターナショナル インダストリーズ インコーポレイテッド ミラーレスヘッドアップディスプレイ
US10747309B2 (en) * 2018-05-10 2020-08-18 Microsoft Technology Licensing, Llc Reconfigurable optics for switching between near-to-eye display modes
KR102086779B1 (ko) * 2018-05-14 2020-03-09 단국대학교 산학협력단 포커스 설정 모듈 및 방법, 그것을 포함하는 버추얼 영상 재생 시스템
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US10861242B2 (en) 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system
US10667072B2 (en) 2018-06-12 2020-05-26 Magic Leap, Inc. Efficient rendering of virtual soundfields
WO2019241760A1 (en) 2018-06-14 2019-12-19 Magic Leap, Inc. Methods and systems for audio signal filtering
US10410372B1 (en) 2018-06-14 2019-09-10 The University Of North Carolina At Chapel Hill Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration
JP2021527360A (ja) 2018-06-14 2021-10-11 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 反響利得正規化
JP2021528001A (ja) 2018-06-18 2021-10-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 双方向オーディオ環境のための空間オーディオ
US11854566B2 (en) 2018-06-21 2023-12-26 Magic Leap, Inc. Wearable system speech processing
KR20200001863A (ko) 2018-06-28 2020-01-07 삼성전자주식회사 디스플레이 장치
CN110673718B (zh) * 2018-07-02 2021-10-29 苹果公司 用于显示系统的基于聚焦的调试和检查
US10969586B2 (en) * 2018-07-10 2021-04-06 Darwin Hu Ultra light-weight see-through display glasses
EP3827359B1 (en) 2018-07-24 2024-04-03 Magic Leap, Inc. Application sharing using scenegraphs
KR20200013453A (ko) 2018-07-30 2020-02-07 삼성전자주식회사 3차원 영상 표시 장치 및 영상 처리 방법
WO2020026226A1 (en) * 2018-07-30 2020-02-06 Reality Plus Ltd. Mixed reality glasses which display virtual objects that move naturally throughout a user's complete field of view
KR102546321B1 (ko) 2018-07-30 2023-06-21 삼성전자주식회사 3차원 영상 표시 장치 및 방법
KR20200021670A (ko) * 2018-08-21 2020-03-02 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
US11002971B1 (en) 2018-08-24 2021-05-11 Apple Inc. Display device with mechanically adjustable optical combiner
CN117238224A (zh) 2018-08-31 2023-12-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
US11094127B2 (en) 2018-09-25 2021-08-17 Magic Leap, Inc. Systems and methods for presenting perspective views of augmented reality virtual object
CN116320907A (zh) 2018-10-05 2023-06-23 奇跃公司 近场音频渲染
EP3861768A4 (en) 2018-10-05 2021-12-08 Magic Leap, Inc. INTERAURAL TIME DIFFERENCE CROSSFADER FOR BINAURAL AUDIO RESTITUTION
EP3864575A4 (en) 2018-10-09 2021-12-01 Magic Leap, Inc. VIRTUAL AND AUGMENTED REALITY SYSTEMS AND PROCESSES
CN113227935A (zh) 2018-10-24 2021-08-06 奇跃公司 异步asic
US11150480B1 (en) * 2018-11-06 2021-10-19 Facebook Technologies, Llc Systems and methods for translation of optical components
KR102191096B1 (ko) * 2018-12-07 2020-12-15 한국전자기술연구원 시야창이 확장된 증강현실 근안 디스플레이
JP2022516074A (ja) 2018-12-27 2022-02-24 マジック リープ， インコーポレイテッド 仮想および拡張現実のためのシステムおよび方法
US11210772B2 (en) 2019-01-11 2021-12-28 Universal City Studios Llc Wearable visualization device systems and methods
US11099406B2 (en) 2019-01-24 2021-08-24 International Business Machines Corporation Delivering augmented reality via embedded contact lens
US11061254B2 (en) 2019-01-24 2021-07-13 International Business Machines Corporation Adjusting contact lens prescription while wearing lens
KR102185519B1 (ko) * 2019-02-13 2020-12-02 주식회사 싸이큐어 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이
US11587563B2 (en) 2019-03-01 2023-02-21 Magic Leap, Inc. Determining input for speech processing engine
KR102651647B1 (ko) 2019-03-12 2024-03-26 루머스 리미티드 이미지 프로젝터
CN111856749A (zh) * 2019-04-28 2020-10-30 云谷（固安）科技有限公司 显示装置及方法
US11467535B2 (en) 2019-05-08 2022-10-11 Samsung Electronics Co., Ltd. Multi-image display apparatus providing holographic image
CN110082846A (zh) * 2019-05-27 2019-08-02 维沃移动通信有限公司 一种增强现实眼镜
CN115176215A (zh) 2019-06-06 2022-10-11 奇跃公司 用于空间计算的逼真角色配置
CN110180167B (zh) * 2019-06-13 2022-08-09 张洋 增强现实中智能玩具追踪移动终端的方法
CA3137994A1 (en) 2019-06-27 2020-12-30 Lumus Ltd Apparatus and methods for eye tracking based on eye imaging via a light-guide optical element
US11030459B2 (en) * 2019-06-27 2021-06-08 Intel Corporation Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
US11704874B2 (en) 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
US11467405B2 (en) 2019-08-30 2022-10-11 Lg Electronics Inc. Wearable electronic device on head
JP2022553202A (ja) 2019-10-18 2022-12-22 マジック リープ， インコーポレイテッド 視覚的慣性オドメトリのための重力推定およびバンドル調整
US11304017B2 (en) 2019-10-25 2022-04-12 Magic Leap, Inc. Reverberation fingerprint estimation
WO2021113782A1 (en) 2019-12-04 2021-06-10 Magic Leap, Inc. Variable-pitch color emitting display
US11627430B2 (en) 2019-12-06 2023-04-11 Magic Leap, Inc. Environment acoustics persistence
WO2021113540A1 (en) 2019-12-06 2021-06-10 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
EP4073689A4 (en) 2019-12-09 2022-12-14 Magic Leap, Inc. SYSTEMS AND PROCEDURES FOR THE OPERATION OF A USER IDENTIFICATION-BASED HEAD-MOUNTED DISPLAY
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
IT202000001246A1 (it) * 2020-01-22 2021-07-22 Univ Pisa Sistema perfezionato per la fruizione di realtà aumentata
EP4103999A4 (en) 2020-02-14 2023-08-02 Magic Leap, Inc. SESSION MANAGER
JP2023513746A (ja) 2020-02-14 2023-04-03 マジック リープ， インコーポレイテッド マルチアプリケーションオーディオレンダリング
EP4104002A4 (en) 2020-02-14 2023-08-09 Magic Leap, Inc. 3D OBJECT ANNOTATION
EP4104000A4 (en) 2020-02-14 2023-07-12 Magic Leap, Inc. TOOL BRIDGE
US11778410B2 (en) 2020-02-14 2023-10-03 Magic Leap, Inc. Delayed audio following
CN115176285B (zh) * 2020-02-26 2023-07-25 奇跃公司 利用缓冲的交叉现实系统用于定位精度
CN117714967A (zh) 2020-03-02 2024-03-15 奇跃公司 沉浸式音频平台
US11823343B1 (en) * 2020-03-26 2023-11-21 Apple Inc. Method and device for modifying content according to various simulation characteristics
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
US11846782B1 (en) 2020-04-13 2023-12-19 Apple Inc. Electronic devices with deformation sensors
US20210325678A1 (en) * 2020-04-20 2021-10-21 Apple Inc. Electronic Devices with Optical Modules
CN116210021A (zh) 2020-05-29 2023-06-02 奇跃公司 确定角加速度
JP2023527561A (ja) 2020-05-29 2023-06-29 マジック リープ， インコーポレイテッド 表面の適切な衝突
KR20230027299A (ko) * 2020-06-29 2023-02-27 스냅 인코포레이티드 공유 시선 반응형 보기 기능을 가진 아이웨어
CN111982468B (zh) * 2020-07-29 2022-12-09 深圳惠牛科技有限公司 一种视场角的测量方法、设备、系统及计算机存储介质
US11354575B1 (en) * 2020-08-14 2022-06-07 Facebook Technologies, Llc. Calibrated sensitivity model approximating the eye
TWI759840B (zh) * 2020-08-31 2022-04-01 創新未來國際有限公司 迷你功能型顯示裝置
US11694380B2 (en) 2020-11-13 2023-07-04 Zoltan GELENCSER System and method for immersive telecommunications
DE102020214478A1 (de) 2020-11-18 2022-05-19 Robert Bosch Gesellschaft mit beschränkter Haftung Ophthalmische Linse für eine Brille und Verfahren zum Herstellen einer ophthalmischen Linse
US11902714B1 (en) 2020-12-20 2024-02-13 Lumus Ltd. Image projector with laser scanning over spatial light modulator
KR20220107753A (ko) * 2021-01-26 2022-08-02 삼성전자주식회사 시력 보정 렌즈를 포함하는 디스플레이 장치
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
KR102332169B1 (ko) 2021-02-24 2021-12-01 주식회사 셀리코 증강현실 기반의 인공망막 시스템
JP2024510870A (ja) 2021-03-01 2024-03-12 ルムス エルティーディー． プロジェクタから導波路へのコンパクトな結合を有する光学システム
TWI799828B (zh) 2021-03-31 2023-04-21 中強光電股份有限公司 影像處理裝置、影像處理方法以及3d影像產生系統
EP4232868A4 (en) 2021-05-19 2024-04-17 Lumus Ltd ACTIVE OPTICAL ENGINE
FR3124281A1 (fr) * 2021-06-18 2022-12-23 Trivisio Dispositif optique pour afficher un contenu à proximité de l’œil d’un utilisateur
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
WO2023023398A1 (en) * 2021-08-20 2023-02-23 Meta Platforms Technologies, Llc Eyeglass devices and related methods
US11886008B2 (en) 2021-08-23 2024-01-30 Lumus Ltd. Methods of fabrication of compound light-guide optical elements having embedded coupling-in reflectors
WO2023107272A2 (en) * 2021-12-10 2023-06-15 Google Llc Lens tinting for integrated lens display
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
WO2023154996A1 (en) * 2022-02-15 2023-08-24 Vuereal Inc. Nonintrusive head-mounted device
US11803238B1 (en) * 2022-06-03 2023-10-31 Microsoft Technology Licensing, Llc Eye and hand tracking utilizing lensless camera and machine learning
CN117572647A (zh) * 2024-01-15 2024-02-20 北京晟启光芯科技有限公司 一种微显示器、智能显示装置及其画面防抖方法

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4041505A (en) 1975-12-31 1977-08-09 Bell & Howell Company Automatic electronic rangefinder
JPS5547006U (zh) 1978-09-18 1980-03-27
US4934773A (en) 1987-07-27 1990-06-19 Reflection Technology, Inc. Miniature video display system
JPH02262112A (ja) 1989-03-31 1990-10-24 Fuji Photo Film Co Ltd 電動ズーミング装置
EP0484076B1 (en) 1990-10-29 1996-12-18 Kabushiki Kaisha Toshiba Video camera having focusing and image-processing function
US20060033992A1 (en) * 2002-12-02 2006-02-16 Solomon Dennis J Advanced integrated scanning focal immersive visual display
US20040130783A1 (en) * 2002-12-02 2004-07-08 Solomon Dennis J Visual display with full accommodation
JP2901116B2 (ja) 1992-11-30 1999-06-07 株式会社日立製作所 オートフォーカス装置の制御方法
EP1326122B1 (en) 1993-08-12 2006-09-06 Seiko Epson Corporation Head-mounted image display device and data processing apparatus including the same
US5416876A (en) 1994-01-28 1995-05-16 Hughes Training, Inc. Fiber optic ribbon subminiature display for head/helmet mounted display
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US8330812B2 (en) 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
GB9511091D0 (en) 1995-06-01 1995-07-26 Silver Joshua D Variable power spectacles
US6317127B1 (en) * 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
GB9805977D0 (en) 1998-03-19 1998-05-20 Silver Joshua D Improvements in variable focus optical devices
US7098871B1 (en) * 1998-08-05 2006-08-29 Microvision, Inc. Optical scanning system with correction
US6396461B1 (en) * 1998-08-05 2002-05-28 Microvision, Inc. Personal display with vision tracking
US6191761B1 (en) * 1998-11-09 2001-02-20 University Of Washington Method and apparatus for determining optical distance
JP2002542505A (ja) * 1999-04-08 2002-12-10 ニューヨーク ユニバーシティ 超解像力を有する中心窩画像表示装置
US6053610A (en) 1999-07-15 2000-04-25 Lane Research Actuation mechanism for variable focal length spectacles
JP2001032759A (ja) 1999-07-23 2001-02-06 Hitachi Zosen Corp 風力発電装置
US6408257B1 (en) * 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
EP1083755A3 (en) 1999-09-07 2003-11-12 Canon Kabushiki Kaisha Image input apparatus and image display apparatus
JP2001215441A (ja) 2000-02-07 2001-08-10 Mixed Reality Systems Laboratory Inc 画像観察装置
JP2001197522A (ja) 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc 画像表示装置
JP3492251B2 (ja) 1999-09-07 2004-02-03 キヤノン株式会社 画像入力装置及び画像表示装置
US6898307B1 (en) * 1999-09-22 2005-05-24 Xerox Corporation Object identification method and system for an augmented-reality display
JP2001242370A (ja) 2000-02-25 2001-09-07 Fuji Photo Optical Co Ltd レンズ装置
JP2001264614A (ja) 2000-03-15 2001-09-26 Fuji Photo Optical Co Ltd ズームレンズ
JP4064656B2 (ja) 2000-09-28 2008-03-19 株式会社東芝 静電アクチュエータ及びその駆動方法
JP3477441B2 (ja) 2000-12-08 2003-12-10 川崎重工業株式会社 画像表示装置
US6886137B2 (en) 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
US7133077B2 (en) 2001-07-02 2006-11-07 Canon Kabushiki Kaisha Auto focus camera, lens apparatus and camera system with a vibration motor drive
JP4072330B2 (ja) 2001-10-31 2008-04-09 キヤノン株式会社 表示装置および情報処理方法
ES2239099T3 (es) * 2001-11-27 2005-09-16 Freni Brembo S.P.A. Dispositivo de ajuste de zapatas interiores de freno de tambor de doble servo.
KR100427649B1 (ko) 2001-12-26 2004-04-28 한국전자통신연구원 증강현실 기술을 이용한 별자리 관측시스템
WO2004061519A1 (ja) * 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
JP2005208255A (ja) 2004-01-21 2005-08-04 Fujinon Corp 撮影レンズ装置
JP4498019B2 (ja) 2004-06-08 2010-07-07 キヤノン株式会社 光学装置及び撮像システム
CA2576016A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Electronic stylus
JP2008509438A (ja) 2004-08-06 2008-03-27 ユニヴァーシティ オブ ワシントン 可変固定視距離で走査される光表示装置
US20060146012A1 (en) 2005-01-04 2006-07-06 Arneson Theodore R System and method for automatic display switching
EP1848966A1 (en) 2005-02-17 2007-10-31 Lumus Ltd Personal navigation system
WO2006108017A2 (en) 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US7457434B2 (en) 2005-04-04 2008-11-25 Massachusetts Eye & Ear Infirmary Adaptively focusing extra-ocular vision prostheses
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
JP2006330054A (ja) 2005-05-23 2006-12-07 Konica Minolta Opto Inc レンズ鏡胴
JP2006330053A (ja) 2005-05-23 2006-12-07 Konica Minolta Opto Inc レンズ鏡胴
US7265911B2 (en) 2005-08-22 2007-09-04 Eastman Kodak Company Zoom lens system having variable power element
WO2007063306A2 (en) 2005-12-02 2007-06-07 Spiral Scratch Limited Virtual computer interface
US9323055B2 (en) * 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
KR100820639B1 (ko) 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
WO2008024071A1 (en) 2006-08-24 2008-02-28 Agency For Science, Technology And Research Variable focus zoom lenses
US7866816B2 (en) 2006-10-10 2011-01-11 Lane Research, Llc Variable focus spectacles
WO2008050904A1 (fr) 2006-10-25 2008-05-02 Tokyo Institute Of Technology Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
JP5237268B2 (ja) 2007-11-21 2013-07-17 パナソニック株式会社 表示装置
JP5169253B2 (ja) 2008-01-29 2013-03-27 ブラザー工業株式会社 画像表示装置
US20090295683A1 (en) 2008-05-27 2009-12-03 Randall Pugh Head mounted display with variable focal length lens
JP5152580B2 (ja) 2008-07-29 2013-02-27 カシオ計算機株式会社 撮影装置、及び光学装置
JP2010139575A (ja) 2008-12-09 2010-06-24 Brother Ind Ltd シースルー型ヘッドマウント表示装置
JP2010139901A (ja) 2008-12-15 2010-06-24 Brother Ind Ltd ヘッドマウントディスプレイ
CN102369476B (zh) 2009-02-05 2014-04-30 Hoya株式会社 眼镜镜片的评价方法、眼镜镜片的设计方法、眼镜镜片的制造方法、眼镜镜片的制造系统及眼镜镜片
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
KR20090053838A (ko) 2009-03-24 2009-05-27 에이전시 포 사이언스, 테크놀로지 앤드 리서치 가변 포커스 줌 렌즈
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930386B2 (en) 2013-06-05 2018-03-27 Thomson Licensing Method and apparatus for content distribution multiscreen viewing
US10212474B2 (en) 2013-06-05 2019-02-19 Interdigital Ce Patent Holdings Method and apparatus for content distribution for multi-screen viewing

Also Published As

Publication number Publication date
WO2012064546A1 (en) 2012-05-18
JP2014505381A (ja) 2014-02-27
EP2638693B1 (en) 2018-11-28
US9292973B2 (en) 2016-03-22
KR101912958B1 (ko) 2018-10-29
HK1172098A1 (zh) 2013-04-12
CA2815372C (en) 2018-04-10
TWI539185B (zh) 2016-06-21
EP2638693A1 (en) 2013-09-18
JP5913346B2 (ja) 2016-04-27
AR083807A1 (es) 2013-03-20
KR20130139280A (ko) 2013-12-20
US9588341B2 (en) 2017-03-07
US20160161740A1 (en) 2016-06-09
CN102566049A (zh) 2012-07-11
ES2713521T3 (es) 2019-05-22
IL225995A0 (en) 2013-06-27
IL225995A (en) 2017-03-30
TW201224516A (en) 2012-06-16
CA2815372A1 (en) 2012-05-18
US20120113092A1 (en) 2012-05-10
EP2638693A4 (en) 2014-03-26

Similar Documents

Publication Publication Date Title
CN102566049B (zh) 用于扩展现实显示的自动可变虚拟焦点
CN102445756B (zh) 用于扩展现实显示的自动焦点改善
CN102591016B (zh) 用于扩展现实显示的优化聚焦区
CN105359076B (zh) 多步骤虚拟对象选择方法和装置
KR102208376B1 (ko) Hmd 상의 하이브리드 월드/바디 락 hud
CN102566756B (zh) 用于扩展现实显示的基于理解力和意图的内容
KR102281026B1 (ko) 홀로그램 앵커링 및 동적 포지셔닝 기법
CN102419631B (zh) 虚拟内容到现实内容中的融合
CN102540464B (zh) 提供环绕视频的头戴式显示设备
KR20160021126A (ko) 공유된 홀로그램 객체 및 사적 홀로그램 객체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1172098

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150728

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1172098

Country of ref document: HK