CN102445756B - 用于扩展现实显示的自动焦点改善 - Google Patents

用于扩展现实显示的自动焦点改善 Download PDF

Info

Publication number
CN102445756B
CN102445756B CN201110386149.4A CN201110386149A CN102445756B CN 102445756 B CN102445756 B CN 102445756B CN 201110386149 A CN201110386149 A CN 201110386149A CN 102445756 B CN102445756 B CN 102445756B
Authority
CN
China
Prior art keywords
user
lens
focus
display
focal region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110386149.4A
Other languages
English (en)
Other versions
CN102445756A (zh
Inventor
A·巴-泽埃夫
J·刘易斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102445756A publication Critical patent/CN102445756A/zh
Application granted granted Critical
Publication of CN102445756B publication Critical patent/CN102445756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Circuits (AREA)

Abstract

本发明涉及用于扩展现实显示的自动焦点改善。一种扩展现实系统提供现实和虚拟物体的经改善的焦点。透视显示设备包括被用户透视的可变焦透镜。聚焦区调整单元自动地将可变焦透镜聚焦到当前用户聚焦区中。附连到透视显示设备的微显示器部件生成虚拟物体以供通过调整其聚焦区显示在用户的当前聚焦区中。还可以调整可变焦透镜以提供一个或多个缩放特性。还可以提供对物体的视觉增强以改善用户对物体的感知。

Description

用于扩展现实显示的自动焦点改善
技术领域
本发明涉及用于扩展现实显示的自动焦点改善。 
背景技术
扩展现实是一种允许将虚拟图像与现实世界物理环境或空间相混合的技术。通常，用户佩戴近眼显示器以查看虚拟物体和现实物体的混合图像。该近眼显示器通常使用光学器件与立体视觉的组合来将虚拟图像聚焦到空间内。用户的聚焦能力能将用户限于正在查看的处于该空间中的仅仅一部分中的物体、即现实物体和虚拟物体二者(如有的话)。 
发明内容
本技术提供了用于改善混合的现实或扩展现实显示的物体的焦点的实施例。用户通过近眼显示设备查看场景。该场景包括用户用他或她的眼睛直接查看的物理环境或空间中的一个或多个现实物体。在透视显示设备的情况下，用户通过显示设备的清透或透视透镜直接地查看现实物体。一个或多个虚拟物体由显示设备投影到用户眼睛位置的至少之一。因此，用虚拟物体来扩展现实场景的显示。 
在一实施例中，本技术提供了包括透视显示设备的扩展现实系统，该透视显示设备包括被定位为被用户透视的可变焦透镜。由附连到透视显示设备的微显示器部件来生成虚拟图像。该虚拟图像被投影到用户的至少一只眼睛中，使得用户在通过可变焦透镜进行查看时看见虚拟物体和现实物体二者。一个或多个处理器在存储在可访问存储器中的软件的控制下确定当前用户聚焦区。该处理器控制聚焦区调整单元以用于将可变焦透镜聚焦到当前用户聚焦区中。 
在另一实施例中，扩展现实系统提供缩放特性。该处理器基于缩放特性和当前用户聚焦区来确定焦距，并且聚焦区调整单元基于所确定的焦距来调整可 变焦透镜。 
在另一实施例中，本技术提供了一种用于提供扩展现实系统中物体的改善的焦点的方法。用户在包括现实物体的空间的三维模型中的视野被确定为当前用户聚焦区。针对至少一只眼睛把被定位为被用户透视的可变焦透镜自动地调整为聚焦在当前用户聚焦区中。在用户的视野中的现实世界焦距处显示一个或多个虚拟物体。对用户视野中的物体之一的图像进行视觉增强。在一个示例中，现实物体被视觉增强。 
提供本发明内容以便以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。 
附图说明
图1A是描绘了用于提供扩展现实显示中的焦点改善的系统的一个实施例的示例性组件的框图。 
图1B是头戴式显示设备的实施例的一部分的顶视图，其包括被定位为被用户透视的可变焦透镜。 
图1C是头戴式显示设备的另一实施例的一部分的顶视图，其包括被定位为被用户透视的可变焦透镜。 
图2A是供用作近眼显示器的微显示器部件的一部分的可旋转透镜系统的示例。 
图2B1和图2B2是展示出不同曲率半径的流体透镜的示例，这些流体透镜供用作微显示器部件的一部分或者用作透视可变焦透镜。 
图2B3是聚焦区域调整单元的另一示例，其可以用于作为微显示器部件的一部分或者作为透视可变焦透镜的液体透镜。 
图2C是供用作近眼显示器的微显示器部件的一部分的双折射透镜系统的示例。 
图2D是供用作微显示器部件的一部分的可插入透镜系统的示例。 
图3是头戴式显示单元的组件的一个实施例的框图。 
图4是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。 
图5是结合头戴式显示单元使用的中枢计算系统的组件的一个实施例的框图。 
图6是可用于实现在此所述的中枢计算系统的计算系统的一个实施例的框图。 
图7是描绘可改变将处于用户的焦点处的虚拟内容的焦点的多用户系统的框图。 
图8是描述了用于扩展现实显示中的焦点改善的过程的一个实施例的流程图。 
图9是描述用于创建空间的模型的过程的一个实施例的流程图。 
图10是描述用于将模型分割成物体的过程的一个实施例的流程图。 
图11是描述用于标识出物体的过程的一个实施例的流程图。 
图11A是描述用于响应于移动物体来更新模型的过程的一个实施例的流程图。 
图12A是描述了用于将可变焦透镜调整到当前用户聚焦区中的过程的实施例的流程图。 
图12B是描述了用于针对缩放特性调整可变焦透镜的过程的实施例的流程图。 
图13是描述用于显示将在被查看近眼显示器的用户查看时处于焦点处的虚拟物体的过程的一个实施例的流程图。 
图14是描述用于由中枢来跟踪用户和/或头戴式显示单元的位置和取向的过程的一个实施例的流程图。 
图15是描述用于跟踪眼睛位置的过程的一个实施例的流程图。 
图16是描述用于确定用户视野和用户的聚焦区的过程的一个实施例的流程图。 
图17A是描述用于通过使微显示器部件的至少一个透镜移位来改变该部件的聚焦区的过程的一个实施例的流程图。 
图17B是描述用于通过改变微显示器部件的至少一个透镜的偏振性来改变该部件的聚焦区的过程的一个实施例的流程图。 
图17C是描述用于通过改变微显示器部件的至少一个液体透镜的曲率半 径来改变该部件的聚焦区的过程的一个实施例的流程图。 
图18A是描述用于在扩展现实显示中生成不同聚焦区中的虚拟物体图像的过程的一个实施例的流程图。 
图18B是描述用于在扩展现实显示中生成不同聚焦区中的虚拟物体图像的过程的另一实施例的流程图。 
图19是描述了用于用用户视野中的虚拟图像来对现实物体进行增强的过程的一个实施例的流程图。 
具体实施方式
本技术提供了用于实现用于混合现实或扩展现实显示的可变焦的实施例。在一个实施例中，系统包括作为用于扩展现实的近眼显示器的透视显示设备、以及与该透视显示设备通信的处理单元。在以下讨论的各实施例中，透视显示器处于一副眼镜中，但是也可以使用其他HMD形式和近眼显示器固定器。 
使用用户的自然视力来实际和直接地查看所查看场景中的现实物体。换言之，用户用人眼直接查看现实世界物体。基于执行软件(例如游戏应用)的上下文，该系统可以将虚拟图像投影在可由佩戴该透视显示器的人查看的显示器上，同时该人还通过该显示器查看现实世界对象。 
使用一个或多个传感器来扫描用户所查看的相邻物理环境，由此提供可用来构建所扫描环境的三维模型的数据。该模型被分割成现实物体，并且如下面解释的那样被用虚拟物体图像的位置进行扩展。 
附加地，使用各种传感器来检测用户头和眼睛的位置和取向以便确定将虚拟图像投影到何处。该系统自动地跟踪用户正注视何处，使得该系统可以弄清用户通过透视显示设备的显示器的视野。可以使用深度相机和包括深度传感器、图像传感器、惯性传感器、眼睛位置传感器等在内的各种传感器中的任何传感器来跟踪用户。除了用户的视野以外，该系统还确定：用户聚焦在或注视视野中的哪个位置，该位置常常称为用户聚焦区(focal region)。 
在一些实施例中，用户聚焦区是称为Panum汇合区域的体积，其中人类眼睛用单视觉来查看物体。人类具有双眼视觉或立体视觉。每个眼睛都产生不同视角的图像。仅仅在Panum汇合区域的该小体积中，人类用单视觉查看物体。 这通常是指物体据称处于焦点处时的情况。在该区域之外，物体可能看上去是模糊的，或者甚至看上去为双重图像。处于Panum汇合区域的中心内的有包括用户眼睛的焦点在内的双眼单视界(Horopter)。当用户聚焦在空间中的某点(之后称为焦点)上时，该焦点位于曲线上。空间中的处于该曲线上的物体落到眼睛视网膜上的小凹中。该曲线有时称为水平双眼单视界。还存在垂直双眼单视界，其是经过该曲线的一条线，该线从眼睛的焦点之上向眼睛在该曲线上的焦点之下倾斜。后面所使用的术语“双眼单视界”是指其垂直和水平分量二者。 
一旦该系统知道了用户的视野和用户聚焦区，则系统就可以弄清：一个或多个虚拟物体图像应当由近眼显示设备的显示器投影到何处。近眼显示设备的微显示器部件生成用户视野内的虚拟物体，并且可以将虚拟物体放置在视野内的用户聚焦区。 
不同的用户在不同焦距处具有不同的聚焦能力，这影响他们的视觉敏锐度或视力清晰度。许多人具有屈光异常，从而导致难以聚焦到几英尺或更远处的物体。这些人是近视的。具体而言，随着人上年纪，他们患上老花眼，其中对于许多人而言，眼睛聚焦到附近物体的能力也下降。因此，对于许多人而言，随着他们上年纪，需要老花镜。由眼科保健专业人员作为处方开出经磨削的固定焦点眼镜来补偿屈光异常。用户可以在他或她的近眼显示器中具有处方透镜，然而，这通常将是远距离处方，而不是老花镜处方，使得患有老花眼的用户将不能清楚地查看附近物体。附加地，尤其是对于儿童和40岁以上的成人而言，处方不总是最新的。 
在一些实施例中，透视显示设备包括可变焦透镜，该透镜被定位为被用户透视。当用户查看聚焦区中的现实物体和虚拟物体时，聚焦区调整单元将可变透镜聚焦到聚焦区中。因此，用户看见聚焦的聚焦区处的现实和虚拟物体。在一些实施例中，可变焦透镜可以提供缩放特性，该特性允许用户选择超视力或超级视力。超级视力的示例是能够比人用正常视力看得更远，例如能够实现20/20或6/6。 
虚拟图像还可以用于增强包括现实物体在内的物体的可见性或感知，以改善用户感知或聚焦到该物体的能力。 
图1A是描绘了用于提供扩展现实显示中的焦点改善的系统10的一个实施例的示例性组件的框图。系统10包括作为通过线6与处理单元4进行通信的近眼头戴式显示设备2的透视显示设备。在其他实施例中，头戴式显示设备2通过无线通信来与处理单元4进行通信。在一个实施例中为镜架115中的眼镜形状的头戴式显示设备2被佩戴在用户的头上，使得用户可以通过显示器进行查看，并且从而具有该用户前方的空间的实际直接视图。使用术语“实际和直接视图”来指直接用人眼查看现实世界物体的能力，而不是查看对物体的所创建的图像表示。例如，在房间中通过眼镜进行查看将允许用户具有房间的实际直接视图，而在电视上查看房间的视频不是房间的实际直接视图。下面提供头戴式显示设备2的更多细节。 
在一个实施例中，处理单元4被佩戴在用户的手腕上，并且包括许多用于操作头戴式显示设备2的计算能力。处理单元4可以与一个或多个中枢计算系统12无线地(例如WiFi、蓝牙、红外、或其他无线通信手段)通信。 
中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例性实施例，中枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可以用于执行诸如游戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统12可以包括诸如标准化处理器、专用处理器、微处理器等等之类的处理器，这些处理器可以执行存储在处理器可读存储设备上的指令以用于执行在此所述的过程。 
中枢计算系统12还包括一个或多个捕捉设备，如捕捉设备20A和20B。在其他实施例中，可以使用多于或少于两个的捕捉设备。在一个示例性实施方式中，捕捉设备20A和20B指向不同方向，使得它们可以捕捉房间的不同部分。可能有利的是，两个捕捉设备的视野稍微地重叠，使得中枢计算系统12可以理解捕捉设备的视野如何彼此相关。通过这种方式，可以使用多个捕捉设备来查看整个房间(或其他空间)。可替代地，如果捕捉设备可以在操作期间平移，使得整个相关空间随时间被捕捉设备查看，则可以使用一个捕捉设备。 
捕捉设备20A和20B例如可以是相机，该相机在视觉上监视一个或多个用户和周围空间，使得可以捕捉、分析并跟踪该一个或多个用户所执行的姿势和/或移动以及周围空间的结构，以在应用中执行一个或多个控制或动作和/或 使化身或屏上人物动画化。 
中枢计算环境12可以连接到诸如电视机、监视器、高清电视机(HDTV)等可提供游戏或应用程序视觉的视听设备16。例如，中枢计算系统12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从中枢计算系统12接收视听信号，并且然后可以输出与视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆、RCA电缆等连接至中枢计算系统12。在一个示例中，视听设备16包括内置扬声器。在其他实施例中，视听设备16、单独的立体声系统或中枢计算设备12连接到外部扬声器22。 
中枢计算设备10可以与捕捉设备20A和20B一起用于识别、分析和/或跟踪人类(以及其他类型的)目标。例如，可使用捕捉设备20A和20B来跟踪佩戴头戴式显示设备2的用户，使得可以捕捉用户的姿势和/或运动来使化身或屏幕上人物动画化，和/或可将用户的姿势和/或移动解释为可用于影响中枢计算系统12所执行的应用的控制。 
图1B描绘了头戴式显示设备2的一部分的顶视图，其包括镜架115的包含镜腿102和鼻中104的那部分。镜架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管道。仅仅描绘了头戴式显示设备2的右侧。在鼻中104中置入了话筒110以用于记录声音以及将音频数据传送给处理单元4，这将在下面予以描述。在头戴式显示设备2的前方是朝向物理环境的视频相机113，该视频相机113可以捕捉视频和静止图像。这些图像被传送给处理单元4，这将在下面予以描述。 
为了示出头戴式显示设备2的组件，以虚线示出了镜架115的一部分以展示布置在其中的透视透镜116、118和119、以及用于可变焦透镜119的聚焦区调整单元139的元件139a、139b、139c。支承元件139c可以由诸如玻璃或塑料之类的透视材料制成。在该实施例中，镜架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的支承体。在其他实施例中，可以使用其他支承结构。这样的结构的示例是脸罩。 
透镜119是可变焦透镜。可变焦透镜的示例是液体透镜。在该示例中，这 些透镜包括可改变形状的挠性面117。例如，可以使该挠性面更加凸出、使其变直或更加内凹。在该实施例中，透视透镜116和118提供了保护以免受到物理空间中的诸如灰尘之类因素的损害以及以免落入充液可变透镜中。透镜116和118可以是用在眼镜中的标准透镜，并且两个透镜任一或二者可以包括处方。在其他实施例中，透视设备可以包括仅仅一个其他标准透镜、或仅仅可变焦透镜119，这些透镜可能被玻璃或塑料包围在镜架115内，所述玻璃或塑料作为保护以免受到诸如灰尘和跌落之类因素的损害。下面在图2B1和2B2中示出了聚焦区调整单元139的示例，该聚焦区调整单元139通过影响曲率半径来影响液体透镜实施例的光学能力或焦距。透镜的光学能力被定义成其焦距的倒数，例如1/焦距，使得一个改变将影响另一个。在一个示例中，透镜119可以由诸如 的一个版本之类的清透膜制成，并且液体可以是诸如Dow-CorningDC-703或DC-705之类的硅油。 
微显示器部件173包括光处理元件和可变焦调整器135。光处理元件的示例是微显示器单元120。其他示例包括诸如透镜系统122的一个或多个透镜之类的一个或多个光学元件、以及诸如面124a和124b之类的一个或多个反射元件。透镜系统122可包括单个透镜或多个透镜。 
微显示器单元120安装在镜腿102上或处于镜腿102内部，它包括图像源并生成虚拟对象的图像。微显示器单元120在光学上与透镜系统122以及反射面124a和124b对准。光学对准可以沿着光轴133或包括一个或多个光轴的光路133。微显示器单元120通过可引导图像光的透镜系统122将虚拟物体的图像投影到反射元件124a(例如镜或其他表面)上，该反射元件124a将虚拟图像的光引导到部分反射元件124b，该部分反射元件124b将虚拟图像视图143与自然或现实和直接视图142相组合。各视图的组合被引导到用户的眼睛140中。 
可变焦调整器135改变微显示器部件的光路中的一个或多个光处理元件之间的位移或微显示器部件中的元件的光学能力。透镜的光学能力被定义成其焦距的倒数，例如1/焦距，使得一个中的改变影响另一个。该改变导致聚焦于微显示器部件173所生成的图像的视野区域改变。 
在微显示器部件173作出位移改变的一个示例中，在电枢137内对位移改 变进行引导，电枢137支承诸如该示例中的透镜系统122和微显示器120之类的至少一个光处理元件。电枢137帮助使得沿光路133的对准在各元件的物理移动期间稳定，以达到所选位移或光学能力。在一些示例中，调整器135可以移动一个或多个光学元件，如电枢137内的透镜系统122中的透镜。在其他示例中，电枢可在光处理元件周围的区域中具有槽或空间，使得它在不移动光处理元件的情况下在该元件(例如微显示器120)上滑动。电枢中的另一元件(如透镜系统122)被附连，使得系统122或其内的透镜与移动的电枢137一起滑动或移动。位移范围通常是几毫米(mm)的量级。在一个示例中，这一范围是1-2mm。在其他示例中，电枢137可以向透镜系统122提供对涉及除位移之外的其他物理参数的调整的焦点调整技术的支持，这将在下面的图2A至2D的示例中予以讨论。 
在一个示例中，调整器135可以是诸如压电马达之类的执行器。也可使用用于执行器的其他技术，并且这样的技术的一些示例是由线圈和永久磁铁、磁致伸缩元件、以及电致伸缩元件形成的音圈。 
存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。根据该技术，由白光源或RGB源向前点亮照明。数字光处理(DLP)、硅上液晶(LCOS)、以及来自Qualcomm有限公司的 显示技术都是高效的反射技术的示例，因为大多数能量从已调制结构反射并且可用于本文描述的系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoPTM引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接按束发射到眼睛(例如，激光)。 
头戴式显示设备2还包括用于跟踪用户的眼睛位置的系统。如下面将会解释的那样，该系统将跟踪用户的位置和取向，使得该系统可以确定用户的视野。然而，人类将不会察觉处于其之前的所有事物。相反，用户的眼睛将对准环境的子集。因此，在一个实施例中，该系统将包括用于跟踪用户的眼睛位置的技 术以便细化对用户视野的测量。例如，头戴式显示设备2包括眼睛跟踪部件134(参见图1B)，该眼睛跟踪部件134将包括眼睛跟踪照明设备134A和眼睛跟踪相机134B(参见图3)。在一个实施例中，眼睛跟踪照明源134A包括一个或多个红外(IR)发射器，这些红外发射器向眼睛发射IR光。眼睛跟踪相机134B包括一个或多个感测所反射的IR光的相机。 
通过检测角膜的反射的已知成像技术，可以标识出瞳孔的位置。例如，参见2008年7月22日颁发给Kranz等人的、名称为“Head mounted eye trackingand display system(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920，该专利通过引用结合于此。这样的技术可以定位眼睛的中心相对于跟踪相机的位置。一般而言，眼睛跟踪涉及获得眼睛的图像以及使用计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足够了，因为眼睛通常一致地移动。然而，单独地跟踪每只眼睛是可能的。 
在一个实施例中，该系统将使用以矩形布置的4个红外(IR)LED和4个IR光电检测器，使得在头戴式显示设备2的透镜的每个角处存在一个IRLED和IR光电检测器。来自LED的光从眼睛反射离开。由在4个IR光电检测器中的每个处所检测到的红外光的量来确定瞳孔方向。也就是说，眼睛中眼白相对于眼黑的量将确定对于该特定光电检测器而言从眼睛反射离开的光量。因此，光电检测器将具有对眼睛中的眼白或眼黑的量的度量。从4个采样中，该系统可以确定眼睛的方向。 
另一替代方案是如下面所讨论的那样使用4个红外LED，但是在头戴式显示设备2的透镜的侧边处仅仅使用一个红外成像设备。该成像设备将使用小镜和/或透镜(鱼眼)，使得该成像设备可以从镜框对高达75％的可见眼睛进行成像。然后，该成像设备将感测图像并且使用计算机视觉来找出瞳孔方向，就像下面所讨论的那样。因此，尽管图1B示出了具有一个IR发射器的一个部件，但是图1B的结构可以被调整为具有4个IR发射机和/或4个IR传感器。也可以使用多于或少于4个的IR发射机和/或多于或少于4个的IR传感器。 
用于跟踪眼睛方向的另一实施例基于电荷跟踪。该方案基于如下观察：视网膜携带可测量的正电荷并且角膜具有负电荷。传感器通过用户的耳朵来安装(靠近耳机130)以检测眼睛在转动时的电势并且有效地实时读出眼睛正在 进行的动作。也可以使用其他用于跟踪眼睛的实施例。 
控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图3提供。处于镜腿102内部或安装在镜腿102处的有耳机130、惯性传感器132、以及温度传感器138。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速计132C(参见图3)。惯性传感器用于感测头戴式显示设备2的位置、取向、突然加速。 
图1B仅仅示出了头戴式显示设备2的一半。完整的头戴式显示设备将包括另一组透视透镜116和118、另一可变焦透镜119、另一微显示器120、另一透镜系统122、朝向房间的相机113、眼睛跟踪部件134、耳机130以及温度传感器138。 
图1C是头戴式显示设备的另一实施例的一部分的顶视图，其包括被定位为被用户透视的可变焦透镜。在该示例中，可变焦透镜119是液体透镜。在该实施例中，反射元件124将图像引导到光导光学元件112中。光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛140。光导光学元件112还允许如箭头142所示那样将光从头戴式显示设备2的前方通过光导光学元件112透射到用户的眼睛，从而除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。 
光导光学元件112包括反射面124。来自微显示器120的光穿过透镜系统122并入射在反射面124上。反射面124反射来自微显示器120的入射光，使得光通过内反射而被捕获在包括光导光学元件112的平面衬底内。在离开衬底的表面的若干反射之后，所捕获的光波到达选择性反射面126的阵列。注意，五个表面中只有一个表面被标记为126以防止附图太过拥挤。反射面126将从衬底出射并入射在这些反射面上的光波耦合到用户的眼睛140。由于不同光线将以不同角度传播并弹离衬底的内部，因此这些不同的光线将以不同角度击中各个反射面126。因此，不同光线将被所述反射面中的不同反射面从衬底中反射出。关于哪些光线将被哪个表面126从衬底反射出的选择是通过选择表面126的合适角度来设计的。光导光学元件的更多细节可以在于2008年11月20 日公开的美国专利申请公开号2008/0285140、序列号12/214,366的“Substrate-Guided Optical Devices(衬底导向的光学设备)”中找到，该申请的全部内容通过引用结合于此。在一个实施例中，每只眼睛将具有其自己的光导光学元件112。当头戴式显示设备具有两个光导光学元件时，每只眼睛都可以具有其自己的微显示器120，该微显示器120可以在两只眼睛中显示相同图像或者在两只眼睛中显示不同图像。在另一实施例中，可以存在将光反射到两只眼睛中的一个光导光学元件。 
在该示例中，透镜119在两侧都具有挠性膜117a、117b。如在图2B3的示例中进一步讨论的那样，聚焦区调整单元139a、139b可以具有储存器并且可以用作泵以从透镜119填充和移除液体。 
图1C仅仅示出了头戴式显示设备2的一半。完整的头戴式显示设备将包括另一可变焦透镜119、另一光导光学元件112、另一微显示器120、另一透镜系统122、朝向房间的相机113、眼睛跟踪部件134、耳机130以及温度传感器138。 
图2A至2D示出了微显示器部件的不同实施例。在讨论每个实施例的特性以前，提供对改变焦距的讨论。如上所述，微显示器部件173的光处理元件的配置创建焦距或虚拟对象出现在图像中的聚焦区。改变该配置会改变虚拟物体图像的聚焦区。由光处理元件确定的聚焦区可以基于等式1/S1+1/S2＝1/f来确定和改变。 
符号f表示透镜的焦距，如微显示器部件173中的透镜系统122。透镜系统122具有前面节点和背面节点。如果光线以相对于光轴的给定角度被向前引导到两个节点任一，则光线将以相对于光轴的相等角度从另一节点出射。在一个示例中，透镜系统122的背面节点将处于其自身与图1C或图1B中的微显示器120之间。从背面节点到微显示器120的距离可被表示成S2。前面节点通常处于透镜系统122的几毫米内。目标位置是要由微显示器120生成的虚拟图像在用户物理空间的三维模型中的位置。(关于创建模型的更多细节，参见下面对图9-11A的讨论)。从前面节点到虚拟图像的目标位置的距离可被表示成S1。因为图像是与微显示器120出现在透镜的相同侧的虚拟图像，所以符号规约示出S1具有负值。 
如果透镜的焦距是固定的，则改变S1和S2来将虚拟对象聚焦在不同的深度处。例如，初始位置可使S1设置成无限远处，并且使S2等于透镜系统122的焦距。假定透镜系统122具有10mm的焦距，考虑虚拟对象要被置于用户视野中大约1英尺或300mm处的示例。S1现在大约是-300mm，f是10mm并且S2当前被设置在焦距的初始位置10mm，从而意味着透镜系统122的背面节点与微显示器122相距10mm。基于1/(-300)+1/S2＝1/10(所有项的单位均为毫米)来确定透镜122与微显示器120之间的新距离或新位移。其结果是S2大约为9.67mm。 
在一个示例中，处理单元4可以在让焦距f固定的情况下计算S1和S2的位移值，并且致使控制电路136使可变调整器驱动器237(参见图3)发送驱动信号以让可变虚焦点调整器135例如沿着光路133移动透镜系统122。在其他实施例中，替代于或附加于移动透镜系统122，可以移动微显示器单元120。 
在其他实施例中，替代于或附加于沿光路133的位移改变，也可以改变透镜系统122中的至少一个透镜的焦距。图2A至2D中示出了微显示器部件的一些实施例。所示透镜的特定编号仅仅是示例。可以使用其他数目和配置的根据相同原理操作的透镜。此外，如上所述，对可调整液体透镜的讨论适将这样的透镜用在微显示器部件中以用于将虚拟物体放置在焦点处、以及用作透视可变焦透镜以用于在扩展现实显示中使现实物体处于焦点处。 
图2A是供用作近眼显示器的微显示器的一部分的可旋转透镜系统的示例。透镜122a至122d中的每个都具有不同的焦距，并且被支承在可由可变虚焦点调整器135来旋转的盘支承体160内。处理单元4确定聚焦区并且选择焦距透镜之一以获得该聚焦区。如参照图3所示，控制电路136的可变调整器驱动器237向可变虚焦点调整器135发送至少一个控制信号以旋转该盘，使得所选透镜与该部件的光路133对准。 
图2B1和图2B2是Hongwen等人在“Tunable-focus liquid lens controlledusing a servo motor(使用伺服电机控制的焦点可调液体透镜)”(OPTICSEXPRESS，2006年9月4日，No.18第14卷第8031-8036页)中所示的展现出不同曲率半径的液体透镜158的例子。这些液体透镜可以用作微显示器部件或透视显示器透镜的一部分。透镜的焦距可以通过改变曲率半径来改变。曲率 半径R与焦距f之间的关系由f＝R/nliquid-1来给定。流体或透镜的液体的折射率是nliquid。 
该实施例包括例如密封环之类的支承体157，其具有作为一部分或连接到其的挠性外部膜152、在一个实施例中为橡胶膜。外部膜152与流体156的储存器接触。透镜膜150位于液体透镜158的挠性侧的顶部或形成该挠性侧，该液体透镜158可以通过通道159从储存器156接收或向储存器156释放液体。在所引用的示例中，挠性透镜膜150是诸如聚二甲基硅氧烷(PDMS)弹性膜之类的弹性膜。处于液体单元之后的玻璃板154提供支承。膜152的挤压和释放致使储存器156中的该量的水通过通道159进入和离开液体透镜158，从而由于液体量改变而使弹性膜150凸出和使弹性膜150松弛。液体量的改变致使透镜膜150的曲率半径改变并由此致使液体透镜158的焦距改变。曲率半径与容量改变ΔV之间的关系可以表达如下： 
ΔV＝(1/3)π(2R2-r0 2-2R√R2-r0 2)(2R+√R2-r0 2) 
其中r0是透镜孔径的半径。 
在微显示器部件173的示例中，当透镜122是可变焦透镜时，电枢137可以提供具有或不具有玻璃板154的支承结构157、以及用于可变虚焦点调整器135的挠性膜部分152，该可变虚焦点调整器135被控制电路136控制为如图2B2中所示那样挤压以及释放(参见图2B1)。类似地，在透视可变透镜119类似于液体透镜158以及其挠性面117类似于膜150的示例中，支承元件139c类似于具有或不具有玻璃板154的支承结构157。侧面支承体139a、139b中的每个都类似于侧壁157。侧面支承体139a、139b之一或二者可以包括储存器156和挠性外部膜152，该挠性外部膜152可以在控制电路136的驱动器的控制下被向储存器156挤压和释放。在其他实施例中，通道159可以被打开和关闭以调整液体量。此外，可以替代于挠性外部膜152使用泵。 
图2B1和2B2提供了通过机械调整来调整可变焦液体透镜的光学能力的示例。也可以使用其他调整液体透镜的方式。例如，还可以使用电湿润(electro-wetting)来改变液体透镜的光学能力。参见Schowengerdt等人的名称为“Variable Fixation Viewing Distance Scanned Light Displays(可变注视查看距离扫描广显示器)”的US2008/0117289。 
图2B3是聚焦区调整单元的另一示例，其可以用于作为微显示器部件的一部分或者作为透视可变焦透镜的液体透镜。透镜158如图1C中的可变焦透镜119那样来布置，其中透镜的两侧都具有挠性膜150a和150b，比如117a和117b。聚焦区调整单元139a和139b每个都可以包括支承体157a、157b、储存器156a、156b、通道159a、159b、以及外部挠性膜152a、152b，所述外部挠性膜152a、152b可以在聚焦区单元驱动器239的控制下被诸如压电执行器或电机之类的执行器或电机挤压和释放。在其他实施例中，通道159a和159b也可以被打开和关闭并且与泵一起工作以控制透镜119中的液体量。 
图2C是供用作近眼显示器的微显示器部件的一部分的双折射透镜系统的示例。双折射材料是各向异性的或者依赖于方向的。作为说明性的构造，在将光描述为光线的情况下，双折射透镜将光分解成寻常光线和异常光线。对于各向异性的单个轴、或者光轴而言，可以因一个与该轴平行、一个与该轴垂直的不同偏振性而存在不同的折射率以及因此不同的焦距。在图2的示例中，透镜122a和122b是由具有箭头所指示的不同偏振性的双折射材料制成的透镜。在两个透镜的该示例中，可以预定4个不同的折射率或焦距以供选择。每个不同的焦距都可以与不同的焦距区域相关联以供处理单元4选择。偏振性组合可以是：图2C中所示的透镜122a和122b的垂直偏振性；与图3C中所示的偏振性相反的垂直偏振性；两个透镜在一个方向上具有相同的偏振性；以及两个透镜在另一偏振性方向上具有相同的偏振性。在一个实施例中，可变虚焦点调整器可以向每个透镜施加电压以影响所选的偏振性。在另一实施例中，可以施加物理应力以改变透镜的偏振性。 
图2D是供用作微显示器部件的一部分的可插入透镜系统的示例。在该实施例中，多个透镜122中的每个都附连到附连至电枢137的相应的臂123。每个臂123都在可变虚焦点调整器135的控制下将其例如透镜或透镜系统122之类的一个或多个光学元件122移动到微显示器部件的光路133中的某个位移处的位置。例如，如果使用针对预先设置的聚焦区的预定位移，则每个透镜122都可以被设置为与其邻居分开某个距离、例如分开0.1毫米(mm)。还可以使用不均匀的间隔和可调整的位移。可替代地，可以选择每个所插入元件的焦距以影响所期望的虚拟图像距离。 
在上面调整透镜的焦距的每个示例中，还可以执行沿着光路133的位移。 
微处理器部件和聚焦区调整单元的处理可以对每只眼睛针对相应眼睛的视角来执行，使得虚拟图像出现在用户的当前聚焦区中，例如Panum汇合区域、即人类的单视觉区域中。 
图3是描绘了头戴式显示设备2的各个组件的框图。图4是描述处理单元4的各个组件的框图。图3中描绘了头戴式显示设备2的组件，该头戴式显示设备2用于提供在用户对现实世界的视图中聚焦的虚拟图像。附加地，图3的头戴式显示设备组件包括跟踪各种状况的多个传感器。头戴式显示设备2将从处理单元4接收关于虚拟图像的指令，并且将传感器信息提供回给处理单元4。图4中描绘了处理单元4的组件，该处理单元4将从头戴式显示设备2、并且还从中枢计算设备12(参见图1)接收传感信息。基于该信息，处理单元4将确定在何处以及在何时向用户提供聚焦虚拟图像并相应地将指令发送给图3的头戴式显示设备。 
注意，图3的组件中的一些(例如朝向物理环境的相机113、眼睛跟踪相机134B、可变虚焦点调整器135、聚焦区调整单元139、微显示器120、眼睛跟踪照明134A、耳机130和温度传感器138)是以阴影示出的，以指示这些的设备中的每个都存在两个，其中一个用于头戴式显示设备2的左侧，一个用于头戴式显示设备2的右侧。图3示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲区218、显示器驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路220的所有组件经由一个或多个总线的专用线路彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。相机接口216提供到两个朝向物理环境的相机113的接口，并且将从朝向物理环境的相机所接收到的图像存储在相机缓冲区218中。显示器驱动器220将驱动微显示器120。显示格式化器222可以向执行该扩充的真实系统的处理的一个或多个计算机系统(例如4、12、210)的一个或多个处理器提供与被显示在微显示器120上的虚拟图像有关的信息。定时生成器226被用于向该系统提供定时数据。显示输出228是用于将图像从朝向物理环境的相机113提供给处理单 元4的缓冲区。显示输入230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲区。显示输出228和显示输入230与作为到处理单元4的接口的带接口232进行通信。 
电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、可变调整器驱动器237、聚焦区单元驱动器239、音频DAC和放大器238、话筒前置放大器和音频ADC 240、温度传感器接口242、以及时钟生成器244。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。眼睛跟踪照明驱动器236如上面所述的那样为眼睛跟踪照明134A提供IR光源。音频DAC和放大器238从耳机130接收音频信息。话筒前置放大器和音频ADC 240提供话筒110的接口。温度传感器接口242是用于温度传感器138的接口。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。 
可变调整器驱动器237向调整器135提供例如驱动电流或驱动电压之类的控制信号以移动微显示器部件的一个或多个元件来达到针对由处理单元4或中枢计算系统12或二者中执行的软件所计算出的聚焦区的位移。在扫过一定范围的位移并且因此扫过一定范围的聚焦区的实施例中，可变调整器驱动器237从定时生成器226、或者可替代地从时钟生成器244接收定时信号，以便以所编程的速率或频率来操作。 
在机械调整示例中，聚焦区单元驱动器239向聚焦区调整单元139提供例如驱动器电流或驱动电压之类的控制信号以基于在处理单元4或中枢计算机12或二者中运行的软件所计算的调整值来移动单元139的一个或多个元件以改变可变焦透镜119的光学能力。例如，包括储存器156和到透镜119中的液体的通道159的侧面支承体139a、139b之一的挠性膜152可以由诸如压电执行器之类的执行器响应于来自聚焦区单元驱动器239的驱动信号来挤压或释放。 
图4是描述处理单元4的各个组件的框图。图4示出与电源管理电路306通信的控制电路304。控制电路304包括：中央处理单元(CPU)320；图形处理单元(GPU)322；高速缓存324；RAM 326；与存储器330(例如D-RAM)进行通信的存储器控制器328；与闪存334(或其他类型的非易失性存储)进 行通信的闪存控制器332；通过带接口302和带接口232与头戴式显示设备2进行通信的显示输出缓冲区336；经由带接口302和带接口232与头戴式显示设备2进行通信的显示输入缓冲区338；与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340，用于连接到无线通信设备346的PCI express接口；以及USB端口348。在一个实施例中，无线通信组件346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等.USB端口可以用于将处理单元4对接到中枢计算设备12，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。下面提供更多的细节。 
电源管理电路306包括时钟生成器360、模数转换器362、电池充电器364、电压调节器366、头戴式显示器电源376、以及与温度传感器374进行通信的温度传感器接口372(其位于处理单元4的腕带(wrist band)上)。交流电到直流电转换器362被连接到充电插座370来接收AC电源并为该系统产生DC电源。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电能时对电池368进行充电(通过电压调节器366)。HMD电源接口376向头戴式显示设备2提供电能。 
上述系统将被配置为将虚拟图像插入到用户的视野中，使得该虚拟图像在用户看来为自然聚焦或失焦的。在各个实施例中，虚拟图像将基于该图像被插入到的环境而被调整为与合适的取向、大小和形状相匹配。在一个实施例中，头戴式显示设备2、处理单元4以及中枢计算设备12一起工作，因为每个设备都包括用于获得用于确定在何处、何时以及如何插入虚拟图像的数据的传感器的子集。在一个实施例中，确定在何处、如何以及何时插入虚拟图像的计算是由中枢计算设备12执行的。在另一实施例中，这些计算由处理单元4来执行。在另一实施例中，这些计算中的一些由中枢计算设备12来执行，而其他计算由处理单元4来执行。在其他实施例中，这些计算可以由头戴式显示设备2来执行。 
在一个示例性实施例中，中枢计算设备12将创建用户所处的环境的模型，并且跟踪在该环境中的多个移动物体。另外，中枢计算设备12通过跟踪头戴 式显示设备2的位置和取向来跟踪头戴式显示设备2的视野。该模型和跟踪信息被从中枢计算设备12提供给处理单元4。由头戴式显示设备2所获得的传感器信息被传送给处理单元4。然后，处理单元4使用其从头戴式显示设备2接收的其他传感器信息来细化用户的视野并且向头戴式显示设备2提供关于如何、在何处以及何时插入虚拟图像的指令。 
图5示出了具有捕捉设备的中枢计算系统12的示例性实施例。在一个实施例中，捕捉设备20A和20B为相同结构，因此，图5仅仅示出了捕捉设备20A。 
根据一示例性实施例，捕捉设备20A可被配置为通过可包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一个实施例，捕捉设备20A可将深度信息组织成“Z层”、或者可与从深度相机沿其视线延伸的Z轴垂直的层。 
如图5所示，捕捉设备20A可以包括相机组件423。根据一示例性实施例，相机组件423可以是或者可以包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每个像素都可以表示深度值，比如所捕捉的场景中的物体与相机相距的例如以厘米、毫米等为单位的距离。 
相机组件23可以包括可用于捕捉场景的深度图像的红外(IR)光组件425、三维(3D)相机426、以及RGB(视觉图像)相机428。例如，在飞行时间分析中，捕捉设备20A的IR光组件425可以将红外光发射到场景上，并且然后可以使用传感器(在一些实施例中包括未示出的传感器)、例如使用3D相机426和/或RGB相机428来检测从场景中的一个或多个目标和物体的表面后向散射的光。在一些实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲和相应的入射光脉冲之间的时间并将其用于确定从捕捉设备20A到场景中的目标或物体上的特定位置的物理距离。附加地，在其他示例性实施例中，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。 
根据另一示例性实施例，可使用飞行时间分析，以通过经由包括例如快门 式光脉冲成像之类的各种技术分析反射光束随时间的强度来间接地确定从捕捉设备20A到目标或物体上的特定位置的物理距离。 
在另一示例性实施例中，捕捉设备20A可使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即，被显示为诸如网格图案、条纹图案、或不同图案之类的已知图案的光)可经由例如IR光组件424被投影到场景上。在落到场景中的一个或多个目标或物体的表面上时，作为响应，图案可变形。图案的这种变形可由例如3D相机426和/或RGB相机428(和/或其他传感器)来捕捉，然后可被分析以确定从捕捉设备到目标或物体上的特定位置的物理距离。在一些实施方式中，IR光组件425与相机425和426分开，使得可以使用三角测量来确定与相机425和426相距的距离。在一些实施方式中，捕捉设备20A将包括感测IR光的专用IR传感器或具有IR滤光器的传感器。 
根据另一实施例，捕捉设备20A可以包括两个或更多个在物理上分开的相机，这些相机可以从不同的角度观察场景以获得视觉立体数据，这些视觉立体数据可以被分辨以生成深度信息。也可使用其他类型的深度图像传感器来创建深度图像。 
捕捉设备20A还可以包括话筒430，所述话筒430包括可以接收声音并将其转换成电信号的换能器或传感器。话筒430可用于接收也可提供给中枢计算系统12的音频信号。 
在一示例实施例中，捕捉设备20A还可包括可与图像相机组件423进行通信的处理器432。处理器432可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令例如包括用于接收深度图像、生成合适的数据格式(例如，帧)以及将数据传送给中枢计算系统12的指令。 
捕捉设备20A还可包括存储器434，该存储器434可存储由处理器432执行的指令、由3D相机和/或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例性实施例，存储器434可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图5所示，在一个实施例中，存储器434可以是与图像捕捉组件423和处理器432进行通信的单独组件。根据另一实施例，存储器组件434可被集成到处理器432和/或图像捕捉组件422中。 
捕捉设备20A和20B通过通信链路436与中枢计算系统12通信。通信链路436可以是包括例如USB连接、火线连接、以太网线缆连接之类的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接之类的无线连接。根据一个实施例，中枢计算系统12可以通过通信链路436向捕捉设备20A提供可用于确定例如何时捕捉场景的时钟。附加地，捕捉设备20A通过通信链路436将由例如3D相机426和/或RGB相机428捕捉的深度信息和视觉(例如RGB)图像提供给中枢计算系统12。在一个实施例中，深度图像和视觉图像以每秒30帧的速率来传送，但是可以使用其他帧速率。中枢计算系统12然后可以创建模型并使用模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或文字处理程序等的应用和/或使化身或屏上人物动画化。 
中枢计算系统12包括深度图像处理和骨架跟踪模块450，该模块使用深度图像来跟踪可被捕捉设备20A的深度相机功能检测到的一个或多个人。深度图像处理和骨架跟踪模块450向应用452提供跟踪信息，该应用可以是视频游戏、生产性应用、通信应用或其他软件应用等。音频数据和视觉图像数据也被提供给应用452和深度图像处理和骨架跟踪模块450。应用452将跟踪信息、音频数据和视觉图像数据提供给识别器引擎454。在另一实施例中，识别器引擎454直接从深度图像处理和骨架跟踪模块450接收跟踪信息，并直接从捕捉设备20A和20B接收音频数据和视觉图像数据。 
识别器引擎454与过滤器460、462、464、……、466的集合相关联，每个过滤器都包括关于可被捕捉设备20A或20B检测到的任何人或物体执行的姿势、动作或状况的信息。例如，来自捕捉设备20A的数据可由过滤器460、462、464、……、466来处理，以便标识出一个用户或一组用户已经何时执行了一个或多个姿势或其他动作。这些姿势可与应用452的各种控制、物体或状况相关联。因此，中枢计算系统12可以将识别器引擎454和过滤器一起用于解释和跟踪物体(包括人)的移动。 
捕捉设备20A和20B向中枢计算系统12提供RGB图像(或其他格式或色彩空间的视觉图像)和深度图像。深度图像可以是多个观测到的像素，其中每个观测到的像素具有观测到的深度值。例如，深度图像可包括所捕捉的场景的二维(2D)像素区域，其中2D像素区域中的每个像素都可具有深度值，比 如所捕捉的场景中的物体与捕捉设备相距的距离。中枢计算系统12将使用RGB图像和深度图像来跟踪用户或物体的移动。例如，系统将使用深度图像来跟踪人的骨架。可以使用许多方法以通过使用深度图像来跟踪人的骨架。使用深度图像来跟踪骨架的一个合适的示例在Craig等人2009年10月21日提交的美国专利申请12/603,437“Pose Tracking Pipeline(姿态跟踪流水线)”(以下称为’437申请)中提供，该申请的全部内容通过引用结合于此。‘437申请的过程包括：获得深度图像；对数据进行降采样；移除和/或平滑化高方差噪声数据；标识并移除背景；以及将前景像素中的每个分配给身体的不同部位。基于这些步骤，系统将使一模型拟合到该数据并创建骨架。该骨架将包括一组关节和这些关节之间的连接。也可使用用于跟踪的其他方法。在下列四个美国专利申请中还公开了合适的跟踪技术，所述专利的全部内容都通过引用结合于此：于2009年5月29日提交的的美国专利申请12/475,308“Device for Identifyingand Tracking Multiple Humans Over Time(用于随时间标识和跟踪多个人类的设备)”；于2010年1月29日提交的美国专利申请12/696,282“Visual Based IdentityTracking(基于视觉的身份跟踪)”；于2009年12月18日提交美国专利申请12/641,788“Motion Detection Using Depth Images(使用深度图像的运动检测)”；以及于2009年10月7日提交的美国专利申请12/575,388“Human TrackingSystem(人类跟踪系统)”。 
识别器引擎454包括多个过滤器460、462、464、……、466来确定姿势或动作。过滤器包括定义姿势、动作或状况以及该姿势、动作或状况的参数或元数据的信息。例如，包括一只手从身体背后经过身体前方的运动的投掷可被实现为包括表示用户的一只手从身体背后经过身体前方的运动的信息的姿势，因为该运动将由深度相机来捕捉。然后可为该姿势设定参数。当姿势是投掷时，参数可以是该手必须达到的阈值速度、该手必须行进的距离(绝对的，或相对于用户的整体大小)、以及识别器引擎对发生了该姿势的置信度评级。用于姿势的这些参数可以随时间在各应用之间、在单个应用的各上下文之间、或在一个应用的一个上下文内变化。 
过滤器可以是模块化的或是可互换的。在一个实施例中，过滤器具有多个输入(这些输入中的每一个具有一类型)以及多个输出(这些输出中的每一个 具有一类型)。第一过滤器可用具有与第一过滤器相同数量和类型的输入和输出的第二过滤器来替换而不更改识别器引擎架构的任何其他方面。例如，可能具有用于驱动的第一过滤器，该第一过滤器将骨架数据作为输入并输出与该过滤器相关联的姿势正在发生的置信度和转向角。在希望用第二驱动过滤器来替换该第一驱动过滤器的情况下(这可能是因为第二驱动过滤器更高效且需要更少的处理资源)，可以通过简单地用第二过滤器替换第一过滤器来这样做，只要第二过滤器具有同样的输入和输出——骨架数据类型的一个输入、以及置信度类型和角度类型的两个输出。 
过滤器不需要具有参数。例如，返回用户的高度的“用户高度”过滤器可能不允许可被调节的任何参数。备选的“用户高度”过滤器可具有可调节参数，比如在确定用户的高度时是否考虑用户的鞋、发型、头饰以及体态。 
对过滤器的输入可包括诸如关于用户的关节位置的关节数据、在关节处相交的骨所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。来自过滤器的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及作出姿势运动的时间等内容。 
识别器引擎454可以具有向过滤器提供功能的基本识别器引擎。在一实施例中，识别器引擎454实现的功能包括：跟踪所识别的姿势和其他输入的随时间输入(input-over-time)存档；隐马尔可夫模型实施方式(其中所建模的系统被假定为马尔可夫过程-其中当前状态封装了用于确定将来状态的任何过去状态信息，因此不必为此目的而维护任何其他过去状态信息的过程-该过程具有未知参数，并且隐藏参数是从可观察数据来确定的)；以及求解姿势识别的特定实例的其他功能。 
过滤器460、462、464、……、466在识别器引擎454之上加载并实现，并且可利用识别器引擎454提供给所有过滤器460、462、464、……、466的服务。在一个实施例中，识别器引擎454接收数据来确定该数据是否满足任何过滤器460、462、464、……、466的要求。由于这些所提供的诸如解析输入之类的服务是由识别器引擎454一次性提供而非由每个过滤器460、462、464、……、466提供的，因此这样的服务在一段时间内只需被处理一次而不是在该时间段对每个过滤器处理一次，因此减少了确定姿势所需的处理。 
应用452可使用识别器引擎454所提供的过滤器460、462、464、……、466，或者它可提供其自己的、插入到识别器引擎454中的过滤器。在一实施例中，所有过滤器具有启用该插入特性的通用接口。此外，所有过滤器可利用参数，因此可使用以下单个姿势工具来诊断并调节整个过滤器系统。 
关于识别器引擎454的更多信息可在2009年4月13日提交的美国专利申请12/422,661“Gesture Recognizer System Architecture(姿势识别器系统架构)”中找到，该申请通过引用整体并入本文。关于识别姿势的更多信息可在2009年2月23日提交的美国专利申请12/391,150“Standard Gestures(标准姿势)”；以及2009年5月29日提交的美国专利申请12/474,655“Gesture Tool(姿势工具)”中找到，这两个申请的全部内容都通过引用结合于此。 
图6示出了可用于实现中枢计算系统12的计算系统的示例性实施例。如图6所示，多媒体控制台500具有含有一级高速缓存501、二级高速缓存504和闪存ROM(只读存储器)506的中央处理单元(CPU)502。一级高速缓存502和二级高速缓存504临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 501可以被配备为具有一个以上的核，并且由此具有附加的1级和2级高速缓存502和504。闪存ROM 506可存储在多媒体控制台500通电时在引导过程初始化阶段加载的可执行代码。 
图形处理单元(GPU)508和视频编码器/视频编解码器(编码器/解码器)514形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元508向视频编码器/视频编解码器514运送数据。视频处理流水线向A/V(音频/视频)端口540输出数据，用于传输至电视或其他显示器。存储器控制器510连接到GPU 508以方便处理器访问各种类型的存储器512，诸如但不局限于RAM(随机存取存储器)。 
多媒体控制台500包括较佳地在模块518上实现的I/O控制器520、系统管理控制器522、音频处理单元523、网络接口控制器524、第一USB主控制器526、第二USB控制器528和前面板I/O子部件530。USB控制器526和528用作外围控制器542(1)-542(2)、无线适配器548、和外置存储器设备546(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口524和/或无线适配器548提供对网络(例如，因特网、家庭网络等)的访问，并且 可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。 
提供系统存储器543来存储在引导过程期间加载的应用数据。提供介质驱动器544，且其可包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器、或其他可移动介质驱动器等。介质驱动器144可位于多媒体控制台500的内部或外部。应用数据可经由介质驱动器544访问，以由多媒体控制台500执行、回放等。介质驱动器544经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器520。 
系统管理控制器522提供涉及确保多媒体控制台500的可用性的各种服务功能。音频处理单元523和音频编解码器532形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元523与音频编解码器532之间传输。音频处理流水线将数据输出到A/V端口540以供外部音频用户或具有音频能力的设备再现。 
前面板I/O子部件530支持暴露在多媒体控制台100的外表面上的电源按钮550和弹出按钮552以及任何LED(发光二极管)或其他指示器的功能。系统供电模块536向多媒体控制台100的组件供电。风扇538冷却多媒体控制台500内的电路。 
CPU 501、GPU 508、存储器控制器510、和多媒体控制台500内的各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。 
当多媒体控制台500通电时，应用数据可从系统存储器543加载到存储器512和/或高速缓存502、504中并在CPU 501上执行。应用可呈现在导航到多媒体控制台500上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，介质驱动器544中包含的应用和/或其他媒体可从介质驱动器544启动或播放，以向多媒体控制台500提供附加功能。 
多媒体控制台500可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台500允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口524或无线适 配器548可用的宽带连接的集成，多媒体控制台500还可作为更大网络社区中的参与者来操作。附加地，多媒体控制台500可以通过无线适配器548与处理单元4通信。 
当多媒体控制台500通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器、CPU和GPU周期、网络带宽等等的保留。因为这些资源是在系统引导时保留的，所以所保留的资源从应用的角度而言是不存在的。具体而言，存储器保留优选地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。 
对于GPU保留，显示由系统应用程序生成的轻量消息(例如，弹出窗口)，所述显示是通过使用GPU中断来调度代码以将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器(scaler)可用于设置该分辨率，从而消除了对改变频率并引起TV重新同步的需求。 
在多媒体控制台500引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 501上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。 
当并发系统应用需要音频时，则由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。 
任选的输入设备(例如，控制器542(1)和542(2))由游戏应用和系统应用共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器优选地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。捕捉设备20A和20B可以通过USB控制器526或其他接口来为控制台500定义附加的输入设备。 在其他实施例中，中枢计算系统12可以使用其他硬件架构来实现。没有一种硬件架构是必需的。 
图3、4、5和6中所示示例性计算机系统包括计算机可读存储介质的示例。这样的介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、记忆棒或存储卡、磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其它介质。附图中的计算机可读存储介质的一些示例包括图3的存储器214、图4的闪存334、存储器330、RAM 326、以及高速缓存324、图5的存储器434、以及图6的ROM 506、高速缓存502、504、存储器512、系统存储器543、存储器单元546以及介质驱动器544。 
图1A描绘了与一个中枢处理设备12(称为中枢)通信的一个头戴式显示设备2和处理单元4(统称为移动显示设备)。在另一实施例中，多个移动显示设备可以与单个中枢通信。每个移动显示设备都将如上述那样使用无线通信与中枢通信。在这样的实施例中所构思的是，有益于所有移动显示设备的信息中的许多都将在中枢处被计算和存储并且传送给每个移动显示设备。例如，中枢将生成环境的模型并且将该模型提供给与该中枢通信的所有移动显示设备。附加地，中枢可以跟踪移动显示设备以及房间中的移动物体的位置和取向，并且然后将该信息传输给每个移动显示设备。 
在另一实施例中，可以将虚拟和现实内容的焦点改变为针对用户为聚焦的多用户系统可以包括多个中枢，其中每个中枢都包括一个或多个移动显示设备。这些中枢可以直接地或者通过因特网(或者其他网络)彼此通信。例如，图7示出了中枢560、562和564。中枢560直接与中枢562通信。中枢560通过因特网与中枢564通信。中枢560与移动显示设备570、572 574通信。中枢562与移动显示设备578、580 582通信。中枢564与移动显示设备584、586 588通信。每个移动显示设备都如上面所讨论的那样通过无线通信与其相应的中枢通信。如果这些中枢处于共同的环境中，则每个中枢都可以提供该环境的模型的一部分，或者一个中枢可以为其他中枢创建该模型。每个中枢都将 跟踪移动物体的子集并且将该信息与其他中枢共享，所述其他中枢进而将与合适的移动显示设备共享该信息。用于移动显示设备的传感器信息将被提供给其相应的中枢，并且然后与其他中枢共享以用于最终与其他移动显示设备共享。因此，在中枢间共享的信息可以包括骨架跟踪、关于模型的信息、各种应用状态、以及其他跟踪。在中枢及其相应的移动显示设备之间传递的信息包括：移动物体的跟踪信息、世界模型的状态和物理更新、几何和纹理信息、视频和音频、以及用于执行在此所述的操作的其他信息。 
图8是描述了用于将扩展现实显示中的焦点改善的过程的一个实施例的流程图，其中该过程由上面所讨论的组件来执行。在步骤602，配置该系统。例如，应用(例如图5的应用452)可以将该系统配置为指示：特定虚拟图像(其表示虚拟物体)将被插入到场景的三维模型中的指定位置处。考虑如下示例：用虚拟物体来填充空房间以将该空房间转变为虚拟现实。在另一示例中，在中枢计算系统12上运行的应用将指示：特定的虚拟图像(其表示虚拟物体)将作为视频游戏或其他进程的一部分被插入到该场景中。 
在步骤604，该系统将创建头戴式显示设备2所处的空间的体积模型。例如在一个实施例中，中枢计算设备12将使用来自一个或多个深度相机的深度图像来创建头戴式显示设备2所处的环境或空间的三维模型。在步骤606，将该模型分割成一个或多个物体。例如，如果中枢计算设备12创建房间的三维模型，则该房间很可能在里面具有多个物体。可以处于房间中的物体的示例包括：人、椅子、桌子、沙发椅等等。步骤606包括：确定彼此不同的物体。在步骤608，该系统将标识出这些物体。例如，中枢计算设备12可以标识出：特定物体是桌子并且另一物体是椅子。 
在图8的步骤610a，系统基于用户空间的模型来确定用户的视野。也就是说，该系统确定：用户正在查看该环境或空间的哪个部分。在一个实施例中，步骤610a是使用中枢计算设备12、处理单元4和头戴式显示设备2的协作工作。在一个示例性实施方式中，中枢计算机设备12将跟踪用户和头戴式显示设备2以便提供对头戴式显示设备2的位置和取向的初步确定。头戴式显示设备2上的传感器将用于细化所确定的取向。例如，上述惯性传感器34可以用于细化头戴式显示设备2的取向。附加地，可以使用上述眼睛跟踪过程来标识 出最初所确定的视野的与用户具体正在查看之处相对应的子集(另称为视野中的用户聚焦区或深度焦点)。下面将参照图14、15和16来描述更多细节。 
在步骤610b，诸如在处理单元4中执行的软件之类的该系统确定用户在该用户的视野内的当前聚焦区。如后面在图15和16中将进一步讨论的那样，基于由眼睛跟踪相机134针对每只眼睛所捕捉的数据的眼睛跟踪处理可以提供用户的当前聚焦区。例如，在有数据指示用户脸的情况下，瞳孔之间的集中可以用于三角测定聚焦曲线、双眼单视界上的焦点，从该焦点中可以计算出聚焦区、Panum汇合区域。Panum汇合区域是人眼所使用的双眼立体视觉的单视觉区域。 
在步骤611，聚焦区调整单元139在处理单元4的控制下通过控制电路136把被定位为被至少一只眼睛透视的可变焦透镜119调整为聚焦到当前用户聚焦区。下面将参照图12A和12B来描述更多细节。 
如步骤611所示，可变焦透镜的焦距被显示设备2的组件自动地调整为聚焦在当前用户聚焦区中。用户不必在该用户改变他或她查看之处时采取行动来改变可变焦透镜的焦点。 
在步骤612，微显示器部件173将在处理单元4的控制下通过控制电路136将一个或多个虚拟物体显示为在用户看来在用户空间模型的视野中处于现实世界焦距处。 
也就是说，该系统在用户通过头戴式显示设备2进行查看的同时在用户的视野内用户正在查看的焦点深度处显示虚拟图像。虚拟物体可以是静止物体或者移动物体。 
在步骤614，在软件的控制下，处理单元4可以单独地或者与中枢计算设备12协作地可以任选地对用户视野中的物体进行视觉增强。例如，可以用用户视野内的虚拟物体对现实物体进行视觉增强，以增强用户对该物体的感知。在后面参照图19来讨论利用虚拟图像对现实物体进行这样的增强的过程的实施例。 
在步骤616，头戴式显示设备2的用户将基于在头戴式显示设备2中所显示的虚拟物体来与运行在中枢计算设备12(或另一计算设备)上的应用交互。下面将更详细地描述步骤604-614中的每个。附加地，这些步骤以及下面的 附图中的那些步骤中的每个都可以随着用户使用近眼显示设备2并且在改变他或她的视点时改变他或她的聚焦区而连续地执行或重复。例如，如下面所讨论的那样更新三维模型，随着用户在四周移动或者移动他或她的眼睛而确定用户视野和聚焦区。作出这些调整以跟上在空间中移动的用户或物体。 
图9是描述了用于创建空间的三维模型的过程的一个实施例的流程图。例如，图9的过程是图8的步骤604的一个示例性实施方式。在步骤640，中枢计算系统12接收头戴式显示设备2所处的空间的多个视角的一个或多个深度图像。例如，中枢计算设备12可以从多个深度相机获得深度图像，或者通过使相机指向不同方向或者使用具有如下透镜的相机来从同一相机获得多个深度图像：该透镜允许将要构建模型的空间的全视图。在步骤642，基于共同的坐标系来组合来自各个深度图像的深度数据。例如，如果该系统从多个相机接收深度图像，则该系统将两个图像相关以具有共同的坐标系(例如使图像排齐)。 
图10是描述了用于将空间的模型分割成物体的过程的一个实施例的流程图。例如，图10的过程是图8的步骤606的一个示例性实施方式。在图10的步骤680，该系统将如上面所讨论的那样从一个或多个深度相机接收一个或多个深度图像。可替代地，该系统可以访问其已经接收到的一个或多个深度图像。在步骤682，该系统将如上述那样从相机接收一个或多个视觉图像。可替代地，该系统可以访问已经接收到的一个或多个视觉图像。在步骤684，中枢计算系统12将基于深度图像和/或视觉图像来检测一个或多个人。例如，该系统将识别一个或多个骨架。在步骤686，中枢计算设备12将基于深度图像和/或视觉图像来检测该模型内的边缘。在步骤688，中枢计算设备12将使用所检测到的边缘来标识出彼此不同的物体。例如，假定：这些边缘是物体之间的边界。在近眼显示设备2如下面针对图19所讨论的那样提供利用虚拟图像对现实物体进行的增强以帮助用户更好地看见现实物体的实施例中，处理单元4可以向中枢计算设备12发送消息以发送针对所选现实物体的边缘数据以供其生成虚拟图像来对现实物体进行视觉增强。在另一实施例中，中枢计算设备12生成具有对现实物体的视觉增强的虚拟图像，并且将该虚拟图像发送给处理单元4以致使微显示器单元120显示该图像。在步骤690，将更新使用图9的过程所创 建的模型以示出：该模型的哪些部分与不同的物体相关联。 
图11是描述用于标识出物体的过程的一个实施例的流程图。例如，图11的过程是图8的步骤608的一个示例性实施方式。在步骤710，中枢计算设备12将所标识出的人与用户身份进行匹配。例如，该系统可以具有用户简档，所述用户简档具有可以与所检测到的物体的图像相匹配的视觉图像。可替代地，用户简档可以描述可基于深度图像或视觉图像来匹配的人的特征。在另一实施例中，用户可以登陆到系统中并且中枢计算设备12可以使用登陆过程来标识出特定用户并且在此处所述的交互的整个过程中跟踪该用户。在步骤712，中枢计算设备12将访问形状数据库。在步骤714，中枢计算设备将模型中的多个物体与数据库中的形状进行匹配。在步骤716，将突出不匹配的那些形状并且将其显示给用户(例如使用监视器16)。在步骤718，中枢计算设备12将接收标识出所突出形状中的每个(或其子集)的用户输入。例如，用户可以使用键盘、鼠标、语音输入、或者其他类型的输入来指示：每个未标识出的形状是什么。在步骤720，基于步骤718中的用户输入来更新形状数据库。在步骤722，通过添加每个物体的元数据来进一步更新在步骤604被创建并且在步骤606被更新的环境模型。该元数据标识出该物体。例如，该元数据可以指示：特定物体处于擦亮的桌、某人、绿色真皮沙发椅等等的周围。 
图11A是描述了用于响应于移动物体(例如移动的人或其他类型的物体)而更新通过图9的过程所创建的模型的过程的一个实施例的流程图。在步骤728，该系统确定物体在移动。例如，系统将持续地接收深度图像。如果深度图像随时间改变，则物体在移动。如果未检测到移动物体，则该系统将继续接收深度图像并且继续寻找移动物体。 
如果存在移动物体，则在步骤730，该系统将标识出正在移动的物体。可以使用帧差异或各种任何跟踪技术来识别移动物体，并且将所识别的物体与在图8的步骤608所标识出的物体之一相关。一些物体将在移动时改变形状。例如，人类可能在其行走或奔跑时改变形状。在步骤732，标识出并存储移动物体的新形状。在步骤734，基于移动物体的新的位置和形状来更新之前创建的环境模型。图11A的过程可以由中枢计算设备12的处理单元4来执行。 
图12A是描述了用于将可变焦透镜调整到当前用户聚焦区中的过程的实 施例的流程图。在软件的控制下，处理单元4单独地或者与中枢计算系统12协作地在步骤750确定从用户的眼睛到当前用户聚焦区中的所确定的焦点的焦距。如上面和下面所讨论的那样，可以从眼睛跟踪数据确定焦点。在一个示例中，可以基于每只眼睛的位置和每只眼睛与来自每只眼睛的光线相遇之处的终点所成的角度的测量来从与每只眼睛的视网膜接近的起点投射光线。该终点可以被选为焦点。在另一示例中，该焦点可以从基于用户头的位置、场景的物体和所执行的应用(例如452)的上下文的推断过程中确定。还可以使用同时定位和映射(SLAM)技术。在其他示例中，可以组合地使用一个或多个焦点确定技术。 
在步骤752，处理单元4为可变焦透镜119、通常为每只眼睛的每个透镜、但无论如何为至少一个透镜119(例如单眼HMD)选择调整值。所选调整值是针对逼近所确定的焦距的焦距的。 
图12B是描述了用于针对缩放能力调整可变焦透镜的过程的实施例的流程图。在步骤760，处理单元4接受请求缩放等级的用户输入。该用户输入可以作为音频由话筒110来捕捉，或者作为姿势由深度相机20A和20B来捕捉并由中枢计算设备12来处理。在其他实施例中，可以至少部分地通过针对用户输入协议基于眨眼或其他眼睛移动测量眼肌上的电势来确定用户输入或命令。 
该用户数据可以作为音频由话筒110来捕捉，或者作为姿势由深度相机20A和20B来捕捉并由中枢计算设备12来处理。在步骤762，处理单元4或中枢计算设备12或二者协作地基于缩放等级和当前聚焦区来确定焦距。接着在步骤764，针对逼近焦距的焦距为可变焦透镜选择调整值，并且聚焦区调整单元139在步骤766基于所选调整值来调整可变焦透镜。 
用户可以在可变焦透镜119的大小、凸出和凹进的范围所允许的程度下选择缩放特性。缩放特性的示例是超越正常能力的聚焦能力，比如聚焦地看见20英尺处的物体的能力，而其他人用正常视力仅能看见10英尺处的物体。在一个实施例中，正常视力可以是20/20或没有老花眼的6/6视力。缩放特性还将是看见比当前焦距更远或更近或其倍数的特定距离。 
虚拟物体的类型及其在用户视野中的位置由应用452基于缺省参数、用户 输入或者二者的组合来确定。例如，用户可以已经选择了房间中的咖啡桌这一现实世界物体，其中他运行应用452以看上去是巨石。虚拟巨石的目标位置将与咖啡桌在三维模型中的位置相关。在另一示例中，可以由用户选择将在房间四周游动的虚拟海豚。海豚在房间四周的虚拟运动可以由海豚物体的轨迹路径来实现，其中海豚的目标位置在每个显示帧中都被更新。即使用户注视巨石，海豚通常仍然很可能进入和离开用户的聚焦区和视野。当用户移动他或她的眼睛或头时，用户视野和当前聚焦区也被用这些移动更新。一个或多个虚拟物体可以在任何给定时间位于用户聚焦区和用户视野中。 
图13是描述用于显示将在被查看近眼显示器的用户查看时处于焦点处的虚拟物体的过程的一个实施例的流程图。例如，图13的过程是图8的步骤612的一个示例性实施方式。该系统在步骤952确定在用户的当前视野中是否存在虚拟物体的任何目标位置。在诸如中枢计算设备12之类的一个或多个计算机系统、或者处理单元4中执行的软件将标识出视野中的目标位置。在一个实施例中，中枢计算设备12将向处理单元4提供该模型。作为步骤952的一部分，处理单元4将使用环境的模型以及对用户的位置和取向的知识来确定：任何虚拟物体的目标位置是否处于用户的视野中。 
如果在用户的当前视野中不存在虚拟物体，则步骤964中的处理返回到执行诸如步骤8或图19中的实施例之类的过程实施例的其他步骤。在步骤954，在中枢计算机系统12、处理单元4或二者中执行的软件基于虚拟物体在模型中的目标位置来标识出用户视野中处于当前用户聚焦区中的每个虚拟物体。 
在步骤956，处理单元4对图像的要插入到用户视图中的每个所标识出的虚拟物体进行缩放(scale)和定向。对虚拟物体的缩放和定向将基于其在用户视野中的目标位置。 
在步骤958，处理单元4、控制电路136或二者分担处理以通过改变微显示器部件173的聚焦区来放置每个被标识为处于当前用户聚焦区中的虚拟物体。任选地，在步骤960，根据与当前聚焦区相距的距离将人工深度场技术应用于其目标位置处于用户视野内、但处于用户当前聚焦区之外的每个虚拟物体。人工深度场技术的示例是人工模糊技术。 
人工模糊可以通过如下方式来实现：根据与聚焦区相距的距离应用深度场 着色器或其他高斯模糊滤波器来模拟处于焦点之外的物体。该技术可以全部或部分地由在中枢计算机12、处理单元4或二者上执行的软件来执行。为便于描述，将参考处理单元4。由处理单元4从作为虚拟物体的目标位置的一部分的深度值中确定图像中的物体的焦距，该处理单元4还确定：比如包围光导光学元件112的显示元件之类的显示元件112上的哪些像素将映射到图像中的虚拟物体。基于该焦距，通过将该图像与高斯函数卷积来应用一个或多个加权高斯模糊滤波器以覆盖至少二维，使得应用于与该图像的焦点或注视点相距越远的像素的变换将受到越多的模糊化效果。在一个示例中，高斯模糊滤波器充当移除高频信息的低通滤波器。 
在步骤962，微显示器120显示包括每个所标识出的虚拟物体的虚拟图像。在一个示例中，处理单元4向控制电路136的显示驱动器220发送指令以用于在微显示器120上显示包括用户视野中的每个虚拟物体的虚拟图像。然后，透镜系统122将从微显示器120接收的虚拟图像投影到反射元件124a或124b上并且如图1C中那样向用户的眼睛投影，或者如图1B或1D中投影到反射元件124上并且投影到光导光学元件112中以供用户查看。在一个实施方式中，头戴式显示设备中的正被用户用来进行查看的显示器(例如光导光学元件112)被划分成像素。步骤962可以包括：确定哪些像素对应于目标位置，并且这些像素将在步骤962显示包括每个所标识出的虚拟物体的虚拟图像。图13的处理步骤可以在系统的操作期间连续地执行，使得用户视野和用户聚焦区随着用户移动他或她的头而被更新，并且虚拟物体可以相应地被显示为自然地移进和移出用户的焦点。 
图16是描述了如下过程的一个实施例的流程图：用于确定用户视野的过程，该过程是图8的步骤610a的示例性实施方式；以及用于确定用户聚焦区的过程，该过程是图8的步骤610b的示例性实施方式。图16的过程依靠来自中枢计算设备12的信息和上述眼睛跟踪技术。图14是描述了由中枢计算系统执行以提供用在图16的过程中的跟踪信息的过程的一个实施例的流程图。图15是描述了用于跟踪眼睛的过程的一个实施例的流程图，其中该过程的结果供图16的过程来使用。 
在图14的步骤810，中枢计算设备12将跟踪用户的位置。例如，中枢计 算设备12将使用一个或多个深度图像和一个或多个视觉图像来跟踪用户(例如使用骨架跟踪)。可以在步骤812使用一个或多个深度图像和一个或多个视觉图像来确定头戴式显示设备2的位置和头戴式显示设备2的取向。在步骤814，将用户和头戴式显示设备2的位置和取向从中枢计算设备12传送给处理单元4。在步骤816，在处理单元4处接收该位置和取向信息。图14的处理步骤可以在系统的操作期间连续地执行，使得用户被连续地跟踪。 
图15是描述用于使用上述技术来跟踪眼睛的一个实施例的流程图。在步骤860，照明眼睛。例如，可以使用红外光从眼睛跟踪照明134A来照明眼睛。在步骤862，使用一个或多个眼睛跟踪相机134B来检测来自眼睛的反射。在步骤864，将该反射数据从头戴式显示设备2发送给处理单元4。在步骤866，处理单元4将如上述那样基于反射数据来确定眼睛的位置。在步骤868，处理单元4还将基于反射数据来确定用户眼睛正在查看的的焦点深度位置或聚焦区。图15的处理步骤可以在系统的操作期间连续地执行，使得用户的眼睛被连续地跟踪，从而提供用于跟踪当前用户聚焦区的数据。 
图16是描述了用于确定用户的视野(例如图8的步骤610b)以及用户的聚焦区(例如图8的步骤610b)的过程的一个实施例的流程图。在步骤902，处理单元4将访问从中枢接收到的最新的位置和取向信息。图14的过程可以如从步骤814到步骤810的箭头所描绘的那样连续地执行，因此，处理单元4将周期性地从中枢计算设备12接收经更新的位置和取向信息。然而，处理单元4将需要与其从中枢计算设备12接收经更新的信息相比更频繁地绘制虚拟图像。因此，处理单元4将需要依靠本地感测的信息(其例如来自头戴式设备2)以在来自中枢计算设备12的采样之间提供取向的更新。在步骤904，处理单元4将从三轴陀螺仪132B访问数据。在步骤906，处理单元4将从三轴加速度计132C访问数据。在步骤908，处理单元4将从三轴磁力计132A访问数据。在步骤910，处理单元4将用来自该陀螺仪、加速度计和磁力计的数据来细化(或以其他方式更新)来自中枢计算设备12的位置和取向数据。在步骤912，处理单元4将基于头戴式显示设备的位置和取向来确定潜在的视野。 
在步骤914，处理单元4将访问最新的眼睛位置信息。在步骤916，处理单元4将基于眼睛位置作为潜在视野的子集来确定模型的被用户观看的一部 分。例如，用户可以朝向墙壁，并且因此头戴式显示器的视野可以包括沿着墙壁的任何地方。然而，如果用户的眼睛指向右边，则步骤916将作出的结论是，用户的视野仅仅是墙壁的右边部分。在步骤916结束时，处理单元4已经确定了用户通过头戴式显示器2的视野。处理单元4可以标识出虚拟物体在该视野内的目标位置。在步骤918，处理单元4基于眼睛位置确定该模型部分内的当前用户聚焦区。处理单元4可以标识出处于当前用户聚焦区中的虚拟物体在该模型中的目标位置。图16的处理步骤可以在系统的操作期间连续地执行，使得用户视野和用户聚焦区随着用户移动他或她的头而被连续更新，并且虚拟物体可以相应地被显示为自然地移进和移出用户的焦点。 
图17A是描述用于通过使微显示器部件173的至少一个透镜移位来改变该部件的聚焦区的过程的一个实施例的流程图。该实施例可用于实现图13中的步骤958。针对说明性上下文，参考之前参照图1B和1C描述的微显示器部件173。微显示器部件173包括在光路133中与透镜系统122对准的微显示器单元120，该透镜系统122将图像光从微显示器单元120引导到反射元件124或反射单元124a、124b、并且要么引导到用户眼睛中、要么引导到另一光学元件112中。微显示器部件173还包括可变虚焦点调整器135，该可变虚焦点调整器135用于物理地移动光处理元件之一以获得所选或所确定的聚焦区。 
在讨论图2A-2D以前，微显示器部件173位移和焦距的关系为下列等式：1/S1+1/S2＝1/f。在步骤980，处理单元4确定透镜系统122的前面节点与虚拟物体的目标位置之间的位移值S1。附加地，在步骤982，处理单元4确定微显示器120与透镜系统的背面节点之间的位移值S2以基于该等式获得透镜系统的焦距f。处理单元4在步骤984致使控制电路136的处理器使可变调整器驱动器237向可变虚焦点调整器135施加至少一个驱动信号以物理地移动透镜系统的至少一个透镜以生成所确定的位移值S1和S2。除了图1B和1C中所示的微显示器部件173以外，另一实施方式是使用图2D的可插入透镜系统示例的微显示器部件173。该移动是：如在原地则释放一个透镜的臂123并且将该透镜的臂123移动确定的位移以将透镜锁定在光路133中。附加地，所插入透镜的焦距可以影响所得到的S11的值。 
图17B是描述用于通过改变微显示器部件173的至少一个透镜的偏振性 来改变该部件的聚焦区的过程的一个实施例的流程图。该实施例可以用于实现图13中的步骤958，并且适于与诸如图2C所示之类的微显示器173部件的实施例一起使用。在该实施例中，该透镜系统在微显示器120与反射元件124(图1C)、124a(图1B)之间的光路中包括至少一个双折射透镜。在步骤986，处理单元4基于虚拟物体的目标位置以及等式1/S1+1/S2＝1/f来选择S1的位移值。在步骤988，可变调整器驱动器237施加至少一个驱动信号以致使可变焦点调整器135改变所述至少一个双折射透镜的偏振性以改变双折射透镜的焦距f来生成所选S1值。由于每个双折射透镜都具有与两个偏振轴相对应的两个离散焦距，因此两个这样的透镜的组合将提供对4个离散焦距的选择。因此，在软件的控制下，控制电路136的处理单元4或处理器210选择最接近的可用焦距以逼近f的值。对于所添加的每个双折射透镜，离散焦距的数目加倍。 
图17C是描述用于通过改变微显示器部件173的至少一个液体透镜的曲率半径来改变该部件的聚焦区的过程的一个实施例的流程图。该实施例可以用于实现图13中的步骤958，并且适于与在其透镜系统122中使用诸如图2B1和2B2和2B3所示之类的至少一个液体或流体透镜的微显示器部件173的实施例一起使用。在步骤990，处理单元4基于虚拟物体的目标位置以及等式1/S1+1/S2＝1/f来选择S1的位移值。在步骤992，可变调整器驱动器237施加至少一个驱动信号以致使可变焦点调整器135使流体或液体透镜中的流体量改变，从而导致其曲率半径改变以改变其焦距f来生成所选S1值。 
如上面在图13的实施例中所提到的那样，对于处于用户视野中、但处于用户的聚焦区之外的虚拟物体，可以应用人工模糊技术。在其他实施例中，可以生成不同聚焦区处的一系列图像。通过移动通过一定范围的焦点或聚焦区以及显示每个聚焦区处的图像，可以使用户看见由多层不同聚焦区图像构成的图像。当用户重新调整他或她的焦点时，用户将选定这些区域之一，并且其余区域中的虚拟物体将被自然地模糊化。扫过一定范围的聚焦区可以以预定速率或频率进行。这足够快地进行，使得人类瞬时图像汇合将使其所有看上去都同时存在。对诸如人工模糊之类的人工深度场技术的需要将减少，但是渲染负荷可能显著增加。 
在一个实施例中，经过一定范围的聚焦区的移动可以通过如下方式来执 行：以一定速率改变微处理器部件173的光处理元件之间的位移、或者该部件中的光处理元件的光学能力。该速率可以为至少高达每秒30的帧速(fps)，但是可以在一些实施例中为更高速率，比如60、120或180Hz。以高速率被沿着光轴移位从而提供不同聚焦区处的图像的透镜有时被称为振动透镜或振荡透镜。在一些实例中，图像源120而不是透镜系统122被移动，但是原理是相同的。 
图18A是描述用于在扩展显示显示中生成不同聚焦区中的虚拟物体图像的过程的一个实施例的流程图，该过程可以用于实现图8中的步骤612。在图18A中，在步骤1004，中枢计算设备12或处理单元4或二者在软件的控制下如在步骤952中那样确定：在用户的当前视野中是否存在虚拟物体的任何目标位置。类似于步骤964，如果在用户的当前视野中不存在虚拟物体，则步骤1004中的处理返回到执行诸如步骤8或图19中实施例之类的过程实施例的其他步骤。 
如在步骤956中那样，处理单元4可以在步骤1012基于图像的将被插入到用户视图中的虚拟物体在用户视野中的目标位置来对每个所标识出的虚拟物体进行缩放和定向。 
在步骤1016，由控制电路的定时生成器226或时钟生成器244启动扫描速率时间段。在步骤1018，初始化计数器，以在扫描时间段期间经历该范围内的一定数目的聚焦区。在一些实例中，聚焦区是预定的。在扫描速率时间段的每个时间步，调整微显示器部件173的元件的聚焦区，并且在步骤1022针对每个聚焦区在其扫描时间或时间步向用户显示图像。在步骤1024，通过递增计数器来选择下一聚焦区，并且重复步骤1020至1024的处理，直到计数器指示该范围的扫描完成。扫描时间段在步骤1028结束。在其他示例中，用于显示的帧结尾可以中断经过该扫描范围的扫描，并且另一扫描从下一帧开始。 
在一个实施例中，可以通过如下方式来降低渲染负荷：渲染聚焦区的子集；以及使用对用户聚焦区的跟踪来优化选择哪些聚焦区进行渲染。在其他示例中，眼睛跟踪数据不提供足够的精确度来确定用户正在查看的焦点位置的深度。推断逻辑可以推断用户聚焦到的物体。一旦选择物体作为焦点物体，就可以使用当前场景的三维模型或映射来确定与焦点物体相距的距离。 
图18B示出了用于显示将在被查看扩展现实显示的用户查看时处于焦点处的虚拟物体的过程的另一实施例，该过程可以用于实现图8中的步骤612。图18B是描述用于在扩展现实显示中生成不同聚焦区中的虚拟物体图像的过程的一个实施例的流程图。在图18B中，在步骤1004，中枢计算设备12或处理单元4或二者在软件的控制下如在步骤952中那样确定：在用户的当前视野中是否存在虚拟物体的任何目标位置。类似于步骤964，如果在用户的当前视野中不存在虚拟物体，则步骤1004中的处理返回到执行诸如步骤8或图19中实施例之类的过程实施例的其他步骤。 
如果存在至少一个虚拟对象在用户的视野中具有目标位置，则在步骤1008，如在步骤954中那样，在中枢计算机系统12、处理单元4或二者中执行的软件在步骤1010基于虚拟物体在该模型中的其目标位置标识出用户视野中的处于当前用户聚焦区中的每个虚拟物体。如在步骤956中那样，处理单元4将在步骤1012基于图像的将被插入到用户视图中的虚拟物体在用户视野中的目标位置来对每个所标识出的虚拟物体进行缩放和定向。 
在步骤1014，处理单元4选择包括当前用户聚焦区在内的一定范围的聚焦区。处理单元4可以基于诸如执行应用(例如452)的上下文之类的标准来选择聚焦区的范围。应用可以使用对具有预定运动轨迹的虚拟物体和触发其出现的事件的选择。当物体的模型随着物体的移动被更新时，处理单元4按照图9至14A的讨论来接收这些更新。在各更新之间，处理单元4可以使用关于用户头的位置和取向的传感器数据来确定他或她在当时很可能聚焦到哪些虚拟物体。处理单元4可以基于场景的三维模型来选择虚拟物体的轨迹将经过的多个聚焦区。因此，一个示例性标准是包括虚拟物体所处的每个聚焦区。另外，还可以选择如下的聚焦区：在所述区域中，移动虚拟物体的轨迹将处于预定的时间帧中。在一个示例中，预定的时间帧可以是直到指示虚拟物体的精确位置的模型数据的下次更新为止。 
扫过该范围的聚焦区的起始聚焦区点可以是在用户眼睛的用户视野中接近无穷远处的点。可以使用起始位置。在步骤1016，由控制电路的定时生成器226或时钟生成器244启动扫描速率时间段。在步骤1018，初始化计数器，以在扫描时间段期间经历该范围内的一定数目的聚焦区。在一些实例中，聚焦区 是预定的。在扫描时间段的每个时间步，调整微显示器部件173的元件的聚焦区，并且在步骤1022针对每个聚焦区在其扫描时间或时间步向用户显示图像。在步骤1024，通过递增计数器来选择下一聚焦区，并且重复步骤1020至1024的处理，直到计数器指示该范围的扫描完成。扫描时间段在步骤1028结束。在其他示例中，用于显示的帧结尾可以中断经过该扫描范围的扫描，并且另一扫描从下一帧开始。 
如前面所讨论的那样，聚焦限制可能致使用户不能清楚地看见某些聚焦区中的现实或虚拟物体。例如，老花眼可能将50岁以上患有老花眼的用户清楚地看见物体的能力限制在不小于约1.5英尺的范围。对虚拟和现实物体的视觉增强还可以改善用户对场景的感知。可以对虚拟物体进行视觉增强，并且还可以使用对现实物体进行跟踪和视觉增强的虚拟图像。 
增强标准可以由处理单元4、中枢计算设备12或二者用于确定：用户视野中的哪个现实物体符合要求以用于增强。一个因素可以是现实物体表示另一个人。另一因素可以是现实物体满足运动标准，比如其移动了某个距离或者其速度或加速度满足阈值。例如，在战争游戏中，现实物体可以是炮弹。而且，在战争游戏示例中，物体的类型可以使其符合要求以用于增强。如果现实物体例如是枪支，则其可以被突出或着色为红色以吸引具有低于正常视力的用户的注意力。 
图19是描述了用于用用户视野中的虚拟图像来对现实物体进行视觉增强的过程的一个实施例的流程图。该过程可用于实现图8的步骤614。在步骤1050，处理单元4标识出用户视野中的满足增强标准的现实物体，并且在步骤1052基于增强标准来选择增强技术。例如，可以通过突出现实物体所应用于的那些轨道来使正在加速的现实物体的边缘增强。在另一实施例中，可以在现实物体仍然处于焦点之外时在用户具有更佳的聚焦能力处的焦距处跟踪该现实物体的边缘的清晰虚拟轮廓。诸如虚拟框或圆圈之类的更简单的增强可以显示在感兴趣的现实物体所处的视野部分中。附加地，可以使用色彩以虚拟覆盖来增强现实物体。例如，在夜视模式中，可以在虚拟覆盖中为感兴趣的现实物体使用不同的色彩。在步骤1054，处理单元选择由所选增强技术所使用的现实物体图像数据。一示例可以是在图10的步骤686被中枢计算设备12检测到的边 缘数据。 
处理单元4可以请求该数据以在步骤1056为所选技术生成现实物体的虚拟图像，或者中枢计算设备12可以在处理单元4的请求下生成虚拟图像。在步骤1058，显示虚拟图像以基于用户视野的三维模型跟踪现实物体。 
针对虚拟物体，也可以使用类似于图19的过程来对虚拟物体进行视觉增强。单独的虚拟图像可以跟踪虚拟物体，或者虚拟物体的图像数据可以被更新为包括该增强。 
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。 

Claims (10)

1.一种提供物体的经改善的焦点的扩展现实系统，包括：
透视显示设备(2)，该透视显示设备(2)包括被定位为被用户透视的可变焦透镜(119)；
附连到该透视显示设备的微显示器部件(173)，该微显示器部件(173)用于生成虚拟图像以用于向至少一只眼睛进行显示；
存储器(330，214)，该存储器(330，214)用于存储软件和数据；
处理器(320，322，210)，该处理器(320，322，210)用于在软件的控制下确定当前用户聚焦区，该处理器具有对该存储器的访问并且可通信地耦合到该微显示器部件；
聚焦区调整单元(139)，该聚焦区调整单元(139)用于在该处理器的控制下将该可变焦透镜调整在当前用户聚焦区中；以及
该处理器在软件的控制下通过控制该聚焦区调整单元致使该微显示器将一个或多个虚拟物体显示在它们在用户视野中的现实世界焦距处。
2.如权利要求1所述的系统，其特征在于：
该可变焦透镜是液体透镜(150，158)；以及
其中该聚焦区调整单元通过调整(754，992)所述液体透镜的曲率半径来对该可变焦透镜进行聚焦以将该透镜的焦距调整为处于当前用户聚焦区中。
3.如权利要求1所述的系统，其特征在于，还包括：
该处理器确定(750)到聚焦区中的焦点的焦距；
该处理器针对逼近该焦距的焦距为可变焦透镜选择(752)调整值；以及
该聚焦区调整单元基于所选调整值调整(754)该可变焦透镜。
4.一种提供物体的经改善的焦点的扩展现实系统，包括：
透视显示设备(2)，该透视显示设备(2)包括被定位为被用户透视的可变焦透镜(119)；
附连到该透视显示设备的微显示器部件(173)，该微显示器部件(173)用于生成虚拟图像以用于向至少一只眼睛进行显示；
存储器(330，214)，该存储器(330，214)用于存储软件和数据；
处理器(320，322，210)，该处理器(320，322，210)用于在软件的控制下基于缩放特性和当前用户聚焦区来确定焦距，该处理器具有对该存储器的访问并且可通信地耦合到该微显示器部件；以及
聚焦区调整单元(139)，该聚焦区调整单元(139)用于将该可变焦透镜聚焦在大约所确定的焦距处。
5.如权利要求4所述的系统，其特征在于，用于在软件的控制下基于缩放特性和当前用户聚焦区来确定焦距的处理器还包括:
用于接收(760)请求缩放特性的用户输入的处理器；
用于基于所请求的缩放特性和当前聚焦区来确定(762)焦距的处理器；
用于针对大约为该焦距的焦距为该可变焦透镜选择(764)调整值的处理器；以及
用于基于所选调整值调整(766)该可变焦透镜的该聚焦区调整单元。
6.如权利要求4所述的系统，其特征在于：
该可变焦透镜是液体透镜(150，158)；以及
该聚焦区调整单元通过调整(176，992)所述液体透镜的曲率半径来对该可变焦透镜进行聚焦以将该透镜的焦距调整为大约为该缩放特性所确定的焦距。
7.一种在扩展现实系统中用于提供物体的经改善的焦点的方法，包括：
确定(610a)用户在包括现实物体的空间的三维模型中的视野；
确定(610b)当前用户聚焦区；
针对至少一只眼睛自动地将可变焦透镜调整(611)为聚焦到当前用户聚焦区中，该可变焦透镜被定位为被所述至少一只眼睛透视；
将虚拟物体显示(612)在该虚拟物体在用户视野中的现实世界焦距处；以及
对用户视野中的物体之一的图像进行视觉增强(614)。
8.如权利要求7所述的方法，其特征在于，针对至少一只眼睛自动地将可变焦透镜调整为聚焦到当前用户聚焦区中还包括：
调整(922)该可变焦透镜的曲率半径以将所述透镜的焦距调整到当前用户聚焦区中。
9.如权利要求7所述的方法，其特征在于，将虚拟物体显示在该虚拟物体在用户视野中的现实世界焦距处还包括：
基于虚拟物体的在该模型中的位置标识出(954)处于当前用户聚焦区中的每个虚拟物体；
通过改变微显示器部件的聚焦区来放置(958)被标识为处于当前用户聚焦区中的每个虚拟物体；以及
显示(962)包括当前用户聚焦区中的每个虚拟物体的图像。
10.如权利要求7所述的方法，其特征在于，对用户视野中的物体之一的图像进行视觉增强还包括通过如下动作对用户视野中的现实物体进行视觉增强：
标识出(1050)用户视野中的满足增强标准的现实物体；
基于该增强标准选择(1052)增强技术；
选择(1054)由所选增强技术所使用的现实物体图像数据；
生成(1056)实现所选增强技术的虚拟图像；以及
基于该三维模型跟踪(1058)该虚拟图像对该现实物体的显示。
CN201110386149.4A 2010-11-18 2011-11-18 用于扩展现实显示的自动焦点改善 Active CN102445756B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/949,650 US9304319B2 (en) 2010-11-18 2010-11-18 Automatic focus improvement for augmented reality displays
US12/949,650 2010-11-18

Publications (2)

Publication Number Publication Date
CN102445756A CN102445756A (zh) 2012-05-09
CN102445756B true CN102445756B (zh) 2015-01-14

Family

ID=46008416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110386149.4A Active CN102445756B (zh) 2010-11-18 2011-11-18 用于扩展现实显示的自动焦点改善

Country Status (8)

Country Link
US (2) US9304319B2 (zh)
EP (1) EP2641392B1 (zh)
JP (1) JP5908491B2 (zh)
KR (1) KR101789357B1 (zh)
CN (1) CN102445756B (zh)
CA (1) CA2815526C (zh)
IL (1) IL225874A (zh)
WO (1) WO2012067832A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI629506B (zh) * 2017-01-16 2018-07-11 國立台灣大學 眼球凝視運動之影像穿透式擴增實境裝置、頭戴式顯示器及近距離物體之擴增實境方法
CN108572449A (zh) * 2014-03-31 2018-09-25 联想(北京)有限公司 显示装置和电子设备

Families Citing this family (560)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9965681B2 (en) * 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
GB201006913D0 (en) * 2010-04-26 2010-06-09 Taylor Richard Refractive eyewear
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
JP5599063B2 (ja) * 2010-12-14 2014-10-01 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US9183199B2 (en) * 2011-03-25 2015-11-10 Ming-Yuan Wu Communication device for multiple language translation system
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US20120317594A1 (en) * 2011-04-21 2012-12-13 Sony Mobile Communications Ab Method and system for providing an improved audio experience for viewers of video
US11372230B2 (en) * 2011-06-21 2022-06-28 Gholam A. Peyman System for preventing motion sickness resulting from virtual reality or augmented reality
US9600933B2 (en) 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
WO2013043661A1 (en) 2011-09-21 2013-03-28 Magna Electronics, Inc. Vehicle vision system using image data transmission and power supply via a coaxial cable
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US10099614B2 (en) * 2011-11-28 2018-10-16 Magna Electronics Inc. Vision system for vehicle
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
JP6023801B2 (ja) * 2012-05-25 2016-11-09 Hoya株式会社 シミュレーション装置
US9058681B2 (en) * 2012-06-01 2015-06-16 The Boeing Company Sensor-enhanced localization in virtual and physical environments
TWI457839B (zh) * 2012-06-04 2014-10-21 Pegatron Corp 擴增實境的感應系統、擴增實境的感應裝置及擴增實境的感應方法
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20130342568A1 (en) * 2012-06-20 2013-12-26 Tony Ambrus Low light scene augmentation
US11126040B2 (en) 2012-09-30 2021-09-21 Optica Amuka (A.A.) Ltd. Electrically-tunable lenses and lens systems
AU2013322130B2 (en) 2012-09-30 2017-03-09 Optica Amuka (A.A.) Ltd. Lenses with electrically-tunable power and alignment
CN102937745B (zh) * 2012-11-13 2015-04-01 京东方科技集团股份有限公司 开放式头戴显示装置及其显示方法
TWI481901B (zh) * 2012-12-03 2015-04-21 Wistron Corp 頭戴式顯示裝置
US9448407B2 (en) * 2012-12-13 2016-09-20 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and work supporting system
US10514541B2 (en) 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US8888278B2 (en) 2013-02-08 2014-11-18 Sony Dadc Austria Ag Apparatus for eyesight enhancement, method for calibrating an apparatus and computer program
US20160004102A1 (en) * 2013-02-15 2016-01-07 Adlens Limited Adjustable Lens and Article of Eyewear
US9558555B2 (en) * 2013-02-22 2017-01-31 Leap Motion, Inc. Adjusting motion capture based on the distance between tracked objects
KR102516124B1 (ko) 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
GB201304659D0 (en) * 2013-03-14 2013-05-01 Sec Dep For Business Innovation & Skills The Display and method of operating a display
US20140282113A1 (en) 2013-03-15 2014-09-18 John Cronin Personal digital assistance and virtual reality
KR102318391B1 (ko) 2013-03-15 2021-10-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
KR102098277B1 (ko) 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353667B (zh) * 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
JP2015015520A (ja) * 2013-07-03 2015-01-22 ソニー株式会社 表示装置
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103487938B (zh) * 2013-08-28 2016-03-02 成都理想境界科技有限公司 头戴显示装置
US9990771B2 (en) * 2013-08-28 2018-06-05 Aurelian Viorel DRAGNEA Method and system of displaying information during a medical procedure
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103499885B (zh) * 2013-09-30 2014-10-08 北京智谷睿拓技术服务有限公司 成像装置和方法
CN103595912B (zh) 2013-09-30 2018-02-06 北京智谷睿拓技术服务有限公司 局部缩放的成像方法和装置
CN103499886B (zh) * 2013-09-30 2015-07-08 北京智谷睿拓技术服务有限公司 成像装置和方法
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
TWI524092B (zh) * 2013-10-24 2016-03-01 尚立光電股份有限公司 虛擬顯示變焦鏡頭
CN103605209A (zh) * 2013-11-05 2014-02-26 中国科学技术大学 一种透射式立体显示眼镜装置
CN107315249B (zh) * 2013-11-27 2021-08-17 奇跃公司 虚拟和增强现实系统与方法
US10303242B2 (en) 2014-01-06 2019-05-28 Avegant Corp. Media chair apparatus, system, and method
US10409079B2 (en) 2014-01-06 2019-09-10 Avegant Corp. Apparatus, system, and method for displaying an image using a plate
KR102328689B1 (ko) * 2014-01-09 2021-11-22 삼성전자주식회사 착용식 디스플레이 장치
WO2015105347A1 (en) 2014-01-09 2015-07-16 Samsung Electronics Co., Ltd. Wearable display apparatus
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
WO2015109145A1 (en) 2014-01-17 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
EP3095026A4 (en) * 2014-01-17 2017-11-08 Osterhout Group, Inc. See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9299194B2 (en) * 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9532715B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
TWI489140B (zh) * 2014-02-24 2015-06-21 Quanta Comp Inc 頭戴式顯示裝置
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
CN103957393B (zh) * 2014-04-18 2016-03-16 雷欧尼斯（北京）信息技术有限公司 数字电影放映方法、装置及系统
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
CN105223692A (zh) * 2014-05-26 2016-01-06 联想(北京)有限公司 显示装置和电子设备
EP3149528B1 (en) * 2014-05-30 2023-06-07 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
WO2015186010A1 (en) 2014-06-05 2015-12-10 Optica Amuka (A.A.) Ltd. Control of dynamic lenses
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
CN105223693A (zh) * 2014-06-26 2016-01-06 联想(北京)有限公司 显示装置和电子设备
CN105319711A (zh) * 2014-07-04 2016-02-10 尚立光电股份有限公司 自动调焦头戴式显示器
JP6368579B2 (ja) * 2014-08-05 2018-08-01 株式会社日立エルジーデータストレージ 映像投射装置及びこれを用いたヘッドマウントディスプレイ
US9785187B2 (en) * 2014-08-07 2017-10-10 Microsoft Technology Licensing, Llc Modular computing device
US9990774B2 (en) 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
US9377623B2 (en) * 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
EP2998779A1 (en) * 2014-09-22 2016-03-23 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Head mounted display
CN104298350B (zh) * 2014-09-28 2020-01-31 联想(北京)有限公司 一种信息处理方法及穿戴式电子设备
NZ730509A (en) 2014-09-29 2018-08-31 Magic Leap Inc Architectures and methods for outputting different wavelength light out of waveguides
US20160097929A1 (en) * 2014-10-01 2016-04-07 Dawson Yee See-through display optic structure
CN104407439B (zh) * 2014-10-20 2018-06-15 深圳爱影科技有限公司 一种用于智能眼镜的自适应透明显示装置
WO2016063620A1 (ja) * 2014-10-23 2016-04-28 株式会社ソニー・コンピュータエンタテインメント 虚像距離変更装置、虚像距離変更方法、プログラム
GB2532953A (en) 2014-12-02 2016-06-08 Ibm Overlay display
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US10498976B2 (en) * 2014-12-05 2019-12-03 Microsoft Technology Licensing, Llc Virtual focus feedback
JP6492638B2 (ja) * 2014-12-25 2019-04-03 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US9430001B2 (en) 2015-01-05 2016-08-30 Microsoft Technology Licensing, Llc Modular computing device
KR102311741B1 (ko) * 2015-01-14 2021-10-12 삼성디스플레이 주식회사 머리 장착형 디스플레이 장치
IL299641B2 (en) * 2015-01-22 2024-02-01 Magic Leap Inc Methods and system for creating focal planes using Alvarez lenses
KR101728775B1 (ko) 2015-01-28 2017-04-21 경북대학교 산학협력단 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
KR101511010B1 (ko) * 2015-01-28 2015-04-09 김진태 초근거리 시야 확보를 위한 교정용 렌즈 장치
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
NZ773831A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US9823474B2 (en) 2015-04-02 2017-11-21 Avegant Corp. System, apparatus, and method for displaying an image with a wider field of view
US9995857B2 (en) * 2015-04-03 2018-06-12 Avegant Corp. System, apparatus, and method for displaying an image using focal modulation
TWI569040B (zh) * 2015-05-07 2017-02-01 尚立光電股份有限公司 自動調焦頭戴式顯示裝置
CN106303499B (zh) 2015-05-30 2018-10-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
CN106303315B (zh) * 2015-05-30 2019-08-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
KR102404790B1 (ko) * 2015-06-11 2022-06-02 삼성전자주식회사 카메라의 초점을 변경하는 방법 및 장치
JP6851992B2 (ja) 2015-06-15 2021-03-31 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 多重化された光流を内部結合するための光学要素を有するディスプレイシステム
CN105068648A (zh) * 2015-08-03 2015-11-18 众景视界（北京）科技有限公司 头戴式智能交互系统
CN114998557A (zh) 2015-08-18 2022-09-02 奇跃公司 虚拟和增强现实系统和方法
US10146997B2 (en) 2015-08-21 2018-12-04 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
WO2017034861A1 (en) 2015-08-21 2017-03-02 Magic Leap, Inc. Eyelid shape estimation
CN105259656B (zh) * 2015-09-10 2019-01-11 上海理鑫光学科技有限公司 具有屈光度眼镜效果的增强现实眼镜
CN105259606B (zh) * 2015-09-10 2019-02-05 上海理鑫光学科技有限公司 用于大视场角成像的镜片
EP4254145A3 (en) 2015-09-16 2023-11-01 Magic Leap, Inc. Head pose mixing of audio files
CA2999261C (en) 2015-09-23 2022-10-18 Magic Leap, Inc. Eye imaging with an off-axis imager
GB201517607D0 (en) * 2015-10-06 2015-11-18 Silver Joshua D Novel optical waveguide display
JP6885935B2 (ja) 2015-10-16 2021-06-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼の特徴を用いる眼ポーズ識別
AU2016341196B2 (en) 2015-10-20 2021-09-16 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
US10048513B2 (en) 2015-11-02 2018-08-14 Focure Inc. Continuous autofocusing eyewear
US10281744B2 (en) 2015-11-02 2019-05-07 Focure Inc. Continuous autofocusing eyewear using structured light
US9709807B2 (en) 2015-11-03 2017-07-18 Motorola Solutions, Inc. Out of focus notifications
JP7210280B2 (ja) 2015-11-04 2023-01-23 マジック リープ， インコーポレイテッド ライトフィールドディスプレイの計測
CN106680997A (zh) * 2015-11-05 2017-05-17 丰唐物联技术（深圳）有限公司 显示控制方法及装置
US11231544B2 (en) 2015-11-06 2022-01-25 Magic Leap, Inc. Metasurfaces for redirecting light and methods for fabricating
US9928648B2 (en) 2015-11-09 2018-03-27 Microsoft Technology Licensing, Llc Object path identification for navigating objects in scene-aware device environments
US10338410B1 (en) * 2015-12-28 2019-07-02 Facebook Technologies, Llc Eyeglass prescription correction for optics blocks in head-mounted displays
US9927614B2 (en) 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus
JP6665301B2 (ja) * 2015-12-30 2020-03-13 シェンジェン ロイオル テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． ヘッドマウントディスプレイデバイス
US10838116B2 (en) 2016-01-06 2020-11-17 University Of Utah Research Foundation Low-power large aperture adaptive lenses for smart eyeglasses
JP6894904B2 (ja) 2016-01-07 2021-06-30 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 深度平面にわたって分配される等しくない数の成分色画像を有する仮想および拡張現実システムおよび方法
JP6952713B2 (ja) 2016-01-19 2021-10-20 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 反射を利用する拡張現実システムおよび方法
WO2017127366A1 (en) 2016-01-19 2017-07-27 Magic Leap, Inc. Eye image collection, selection, and combination
EP3409013B1 (en) * 2016-01-29 2022-01-05 Hewlett-Packard Development Company, L.P. Viewing device adjustment based on eye accommodation in relation to a display
WO2017132050A1 (en) 2016-01-29 2017-08-03 Magic Leap, Inc. Display for three-dimensional image
CA3014496A1 (en) 2016-02-24 2017-08-31 Magic Leap, Inc. Polarizing beam splitter with low light leakage
JP6991981B2 (ja) 2016-02-24 2022-01-13 マジック リープ， インコーポレイテッド 光エミッタのための薄型相互接続子
CN109073821B (zh) 2016-02-26 2021-11-02 奇跃公司 具有用于多个光发射器的多个光管的显示系统
NZ785411A (en) 2016-02-26 2024-02-23 Magic Leap Inc Light output system with reflector and lens for highly spatially uniform light output
CN109073898A (zh) 2016-03-01 2018-12-21 奇跃公司 用于将不同波长的光输入波导的反射开关设备
US10455214B2 (en) 2016-03-03 2019-10-22 Disney Enterprises, Inc. Converting a monocular camera into a binocular stereo camera
CA3016032C (en) 2016-03-04 2024-05-21 Magic Leap, Inc. Current drain reduction in ar/vr display systems
CA3016189A1 (en) 2016-03-07 2017-09-14 Magic Leap, Inc. Blue light adjustment for biometric security
US10867314B2 (en) 2016-03-22 2020-12-15 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
JP7152312B2 (ja) 2016-03-25 2022-10-12 マジック リープ， インコーポレイテッド 仮想および拡張現実システムおよび方法
WO2017172982A1 (en) 2016-03-31 2017-10-05 Magic Leap, Inc. Interactions with 3d virtual objects using poses and multiple-dof controllers
NZ747005A (en) * 2016-04-08 2020-04-24 Magic Leap Inc Augmented reality systems and methods with variable focus lens elements
WO2017182906A1 (en) 2016-04-17 2017-10-26 Optica Amuka (A.A.) Ltd. Liquid crystal lens with enhanced electrical drive
US9726896B2 (en) * 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
JP7118007B2 (ja) 2016-04-21 2022-08-15 マジック リープ， インコーポレイテッド 視野周辺の視覚的背光
EP4130942A1 (en) 2016-04-26 2023-02-08 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
CA3022876A1 (en) 2016-05-06 2017-11-09 Magic Leap, Inc. Metasurfaces with asymmetric gratings for redirecting light and methods for fabricating
JP7021110B2 (ja) 2016-05-09 2022-02-16 マジック リープ， インコーポレイテッド ユーザ健康分析のための拡張現実システムおよび方法
EP4235237A1 (en) 2016-05-12 2023-08-30 Magic Leap, Inc. Distributed light manipulation over imaging waveguide
KR20230113663A (ko) 2016-05-20 2023-07-31 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
KR102516112B1 (ko) 2016-06-03 2023-03-29 매직 립, 인코포레이티드 증강 현실 아이덴티티 검증
JPWO2017213070A1 (ja) * 2016-06-07 2019-04-04 ソニー株式会社 情報処理装置および方法、並びに記録媒体
WO2017213753A1 (en) 2016-06-10 2017-12-14 Magic Leap, Inc. Integrating point source for texture projecting bulb
JP6767515B2 (ja) * 2016-06-13 2020-10-14 ソニー・インタラクティブエンタテインメント エルエルシー 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
US11360330B2 (en) 2016-06-16 2022-06-14 Optica Amuka (A.A.) Ltd. Tunable lenses for spectacles
JP7385993B2 (ja) 2016-06-20 2023-11-24 マジック リープ， インコーポレイテッド 視覚的処理および知覚の疾患を含む神経学的疾患の評価および修正のための拡張現実ディスプレイシステム
CN105939473A (zh) * 2016-06-22 2016-09-14 苏州昆亭机电科技有限公司 一种头戴式虚拟现实装置
KR20180002387A (ko) * 2016-06-29 2018-01-08 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 이의 제어방법
KR102296267B1 (ko) 2016-06-30 2021-08-30 매직 립, 인코포레이티드 3d 공간에서의 포즈 추정
US20180003991A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Image alignment in head worn display
KR102648770B1 (ko) 2016-07-14 2024-03-15 매직 립, 인코포레이티드 홍채 식별을 위한 딥 뉴럴 네트워크
WO2018013199A1 (en) 2016-07-14 2018-01-18 Magic Leap, Inc. Iris boundary estimation using cornea curvature
CN109788901B (zh) 2016-07-25 2024-01-02 奇跃公司 光场处理器系统
US10838210B2 (en) 2016-07-25 2020-11-17 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
US10613351B2 (en) * 2016-07-29 2020-04-07 Johnnie E. Floyd Variable power fluid cell optics for countering presbyopia and/or astigmatism
KR102639135B1 (ko) 2016-07-29 2024-02-20 매직 립, 인코포레이티드 암호화방식으로 싸인된 레코드들의 안전한 교환
US10212414B2 (en) 2016-08-01 2019-02-19 Microsoft Technology Licensing, Llc Dynamic realignment of stereoscopic digital consent
CN106060528B (zh) * 2016-08-05 2018-08-10 福建天泉教育科技有限公司 基于手机端和电子白板的增强现实方法及系统
CA3033344A1 (en) 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
US10809546B2 (en) 2016-08-12 2020-10-20 Avegant Corp. Digital light path length modulation
US10516879B2 (en) * 2016-08-12 2019-12-24 Avegant Corp. Binocular display with digital light path length modulation
US10057488B2 (en) 2016-08-12 2018-08-21 Avegant Corp. Image capture with digital light path length modulation
US10379388B2 (en) 2016-08-12 2019-08-13 Avegant Corp. Digital light path length modulation systems
CN117198277A (zh) 2016-08-12 2023-12-08 奇跃公司 单词流注释
US10187634B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Near-eye display system including a modulation stack
US10401639B2 (en) 2016-08-12 2019-09-03 Avegant Corp. Method and apparatus for an optical path length extender
US10185153B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Orthogonal optical path length extender
US10044925B2 (en) * 2016-08-18 2018-08-07 Microsoft Technology Licensing, Llc Techniques for setting focus in mixed reality applications
EP3500889B1 (en) 2016-08-22 2020-12-16 Magic Leap, Inc. Multi-layer diffractive eyepiece
EP3500911B1 (en) 2016-08-22 2023-09-27 Magic Leap, Inc. Augmented reality display device with deep learning sensors
CN106339928A (zh) * 2016-08-31 2017-01-18 曾仲林 一种对象显示方法及装置
KR101894555B1 (ko) 2016-09-07 2018-10-04 주식회사 레티널 반사 렌즈 모듈
KR101894556B1 (ko) * 2016-09-08 2018-10-04 주식회사 레티널 광학 장치
AU2017328161B2 (en) 2016-09-13 2022-02-17 Magic Leap, Inc. Sensory eyewear
KR102200047B1 (ko) 2016-09-20 2021-01-08 엘지전자 주식회사 헤드 마운티드 디스플레이 장치
IL293629B2 (en) 2016-09-21 2024-03-01 Magic Leap Inc Systems and methods for optical systems with a dilator port
US10558047B2 (en) 2016-09-22 2020-02-11 Magic Leap, Inc. Augmented reality spectroscopy
JP6948387B2 (ja) 2016-09-26 2021-10-13 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実または拡張現実ディスプレイシステムにおける磁気センサおよび光学センサの較正
EP3519878B1 (en) 2016-09-28 2023-04-19 Magic Leap, Inc. Face model capture by a wearable device
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
CA3038967A1 (en) 2016-10-04 2018-04-12 Magic Leap, Inc. Efficient data layouts for convolutional neural networks
KR102657100B1 (ko) 2016-10-05 2024-04-12 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
KR102269833B1 (ko) * 2016-10-05 2021-06-29 주식회사 메카비전 스마트 안경
AU2017345780B2 (en) 2016-10-21 2022-11-17 Magic Leap, Inc. System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views
US10928638B2 (en) * 2016-10-31 2021-02-23 Dolby Laboratories Licensing Corporation Eyewear devices with focus tunable lenses
JP6913164B2 (ja) 2016-11-11 2021-08-04 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 完全な顔画像の眼球周囲およびオーディオ合成
WO2018093796A1 (en) 2016-11-15 2018-05-24 Magic Leap, Inc. Deep learning system for cuboid detection
EP3933547B1 (en) 2016-11-16 2023-12-27 Magic Leap, Inc. Thermal management systems for wearable components
IL310194A (en) 2016-11-18 2024-03-01 Magic Leap Inc Liquid crystal refraction lattices vary spatially
AU2017363078B2 (en) 2016-11-18 2022-09-29 Magic Leap, Inc. Waveguide light multiplexer using crossed gratings
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
KR102506485B1 (ko) 2016-11-18 2023-03-03 매직 립, 인코포레이티드 넓은 입사 각도 범위들의 광을 방향전환시키기 위한 다중층 액정 회절 격자들
WO2018098607A1 (en) 2016-11-29 2018-06-07 SZ DJI Technology Co., Ltd. Method and system of adjusting image focus
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
KR102413561B1 (ko) 2016-12-05 2022-06-24 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들
WO2018106963A1 (en) 2016-12-08 2018-06-14 Magic Leap, Inc. Diffractive devices based on cholesteric liquid crystal
EP3555865A4 (en) 2016-12-13 2020-07-08 Magic Leap, Inc. RENDERING OF 3D OBJECTS BY DETECTING CHARACTERISTICS
EP4148402A1 (en) 2016-12-13 2023-03-15 Magic Leap, Inc. Augmented and virtual reality eyewear, systems, and methods for delivering polarized light and determining glucose levels
CN115657363A (zh) 2016-12-14 2023-01-31 奇跃公司 使用具有表面对准图案的软压印复制对液晶图案化
IL267411B2 (en) 2016-12-22 2024-04-01 Magic Leap Inc Systems and methods for using light from environmental light sources
US10371896B2 (en) 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
US10746999B2 (en) 2016-12-28 2020-08-18 Magic Leap, Inc. Dual depth exit pupil expander
US11138436B2 (en) 2016-12-29 2021-10-05 Magic Leap, Inc. Automatic control of wearable display device based on external conditions
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
WO2018122859A1 (en) 2016-12-31 2018-07-05 Lumus Ltd. Eye tracker based on retinal imaging via light-guide optical element
CN110431118B (zh) 2017-01-05 2023-10-27 奇跃公司 通过等离子体蚀刻的高折射率玻璃的图案化
IL307783A (en) 2017-01-23 2023-12-01 Magic Leap Inc Eyepiece for virtual, augmented or mixed reality systems
IL268115B2 (en) 2017-01-27 2024-01-01 Magic Leap Inc Anti-reflective coatings for cell surfaces
CN114200562A (zh) 2017-01-27 2022-03-18 奇跃公司 由具有不同取向的纳米梁的超表面形成的衍射光栅
EP3574360A4 (en) * 2017-01-28 2020-11-11 Lumus Ltd. IMAGING SYSTEM WITH EXTENDED REALITY
EP3580604A4 (en) * 2017-02-12 2021-03-10 Lemnis Technologies Pte. Ltd. METHODS, DEVICES AND SYSTEMS FOR FOCUS ADJUSTMENT OF DISPLAYS
KR20240023189A (ko) * 2017-02-13 2024-02-20 시리얼 테크놀로지즈 에스.에이. 광 가이드 디바이스 및 장면을 표현하기 위한 디스플레이 디바이스
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
WO2018156784A1 (en) 2017-02-23 2018-08-30 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion
CN108572450B (zh) * 2017-03-09 2021-01-29 宏碁股份有限公司 头戴式显示器、其视野校正方法以及混合现实显示系统
CA3053963A1 (en) 2017-03-14 2018-09-20 Magic Leap, Inc. Waveguides with light absorbing films and processes for forming the same
CN110419049B (zh) 2017-03-17 2024-01-23 奇跃公司 房间布局估计方法和技术
JP7300996B2 (ja) 2017-03-21 2023-06-30 マジック リープ， インコーポレイテッド 回折光学要素を使用した眼結像装置
EP3602176A4 (en) 2017-03-21 2020-12-02 Magic Leap, Inc. LOW-BALLY BEAM DIVIDER
KR101968399B1 (ko) * 2017-03-21 2019-04-12 엔에이치엔 주식회사 시력 보정을 위해 초점 거리를 조절하는 방법 및 시스템
CA3056900A1 (en) 2017-03-21 2018-09-27 Magic Leap, Inc. Methods, devices, and systems for illuminating spatial light modulators
US10455153B2 (en) 2017-03-21 2019-10-22 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
KR20190126124A (ko) 2017-03-21 2019-11-08 매직 립, 인코포레이티드 분할된 동공들을 위한 공간 광 변조기 조명을 갖는 디스플레이 시스템
JP2020512578A (ja) 2017-03-21 2020-04-23 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 組み合わせられた視野のための異なる回折格子を有するスタックされた導波管
AU2018239511A1 (en) * 2017-03-22 2019-10-17 Magic Leap, Inc. Depth based foveated rendering for display systems
KR102377377B1 (ko) 2017-04-18 2022-03-21 매직 립, 인코포레이티드 반사 유동성 재료들에 의해 형성된 반사 층들을 갖는 도파관들
US10768693B2 (en) 2017-04-19 2020-09-08 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
CN108319015B (zh) * 2017-04-21 2023-02-10 北京耐德佳显示技术有限公司 视网膜投影式近眼显示装置
CN110832439B (zh) 2017-04-27 2023-09-29 奇跃公司 发光用户输入设备
EP3602171A1 (en) 2017-05-17 2020-02-05 Apple Inc. Head-mounted display device with vision correction
AU2018270286A1 (en) 2017-05-19 2019-11-14 Magic Leap, Inc. Keyboards for virtual, augmented, and mixed reality display systems
CA3059789A1 (en) 2017-05-22 2018-11-29 Magic Leap, Inc. Pairing with companion device
EP3566093A1 (en) * 2017-05-26 2019-11-13 Google LLC Near-eye display with extended accommodation range adjustment
JP6952123B2 (ja) 2017-05-26 2021-10-20 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 拡張された調節範囲の調整を有するニアアイディスプレイ
IL270856B2 (en) 2017-05-30 2023-12-01 Magic Leap Inc Power supply assembly with fan assembly for an electronic device
EP3631567B1 (en) 2017-05-31 2022-09-21 Magic Leap, Inc. Eye tracking calibration techniques
KR20240023213A (ko) 2017-06-12 2024-02-20 매직 립, 인코포레이티드 깊이 평면들을 변경하기 위한 다중-엘리먼트 적응형 렌즈를 갖는 증강 현실 디스플레이
CN109643023A (zh) * 2017-06-26 2019-04-16 深圳市柔宇科技有限公司 显示模组和头戴式电子设备
CN107229340B (zh) * 2017-06-29 2020-04-24 联想(北京)有限公司 一种信息处理方法以及电子设备
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
WO2020021431A1 (en) 2018-07-23 2020-01-30 Optica Amuka (A.A.) Ltd. Tunable lenses with enhanced performance features
US11953764B2 (en) 2017-07-10 2024-04-09 Optica Amuka (A.A.) Ltd. Tunable lenses with enhanced performance features
US11747619B2 (en) 2017-07-10 2023-09-05 Optica Amuka (A.A.) Ltd. Virtual reality and augmented reality systems with dynamic vision correction
US10908680B1 (en) 2017-07-12 2021-02-02 Magic Leap, Inc. Pose estimation using electromagnetic tracking
CN111133364B (zh) * 2017-07-13 2021-11-09 华为技术有限公司 双模式耳机
US11243434B2 (en) 2017-07-19 2022-02-08 Lumus Ltd. LCOS illumination via LOE
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
CN110914790A (zh) 2017-07-26 2020-03-24 奇跃公司 采用用户界面设备的表示来训练神经网络
JP7398962B2 (ja) 2017-07-28 2023-12-15 マジック リープ， インコーポレイテッド 画像を表示するためのファンアセンブリ
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
CN107526173B (zh) * 2017-09-14 2023-10-31 重庆传音通讯技术有限公司 一种vr眼镜
IL272289B (en) 2017-09-20 2022-08-01 Magic Leap Inc A personal neural network for eye tracking
EP3685215B1 (en) 2017-09-21 2024-01-03 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
KR102481884B1 (ko) * 2017-09-22 2022-12-28 삼성전자주식회사 가상 영상을 표시하는 방법 및 장치
CA3075804A1 (en) 2017-09-27 2019-04-04 Magic Leap, Inc. Near eye 3d display with separate phase and amplitude modulators
CN107582237A (zh) * 2017-09-28 2018-01-16 深圳市华星光电技术有限公司 可穿戴式显示装置及视力矫正方法
CA3077455A1 (en) * 2017-10-11 2019-04-18 Magic Leap, Inc. Augmented reality display comprising eyepiece having a transparent emissive display
WO2019077442A1 (en) 2017-10-16 2019-04-25 Optica Amuka (A.A.) Ltd. ELECTRICALLY ADJUSTABLE GLASS LENSES THAT CAN BE CONTROLLED BY AN EXTERNAL SYSTEM
JP7181928B2 (ja) 2017-10-26 2022-12-01 マジック リープ， インコーポレイテッド 深層マルチタスクネットワークにおける適応的損失平衡のための勾配正規化システムおよび方法
JP7260538B2 (ja) 2017-10-26 2023-04-18 マジック リープ， インコーポレイテッド 拡張現実ディスプレイのための広帯域適応レンズアセンブリ
IL274029B2 (en) 2017-10-26 2023-09-01 Magic Leap Inc An augmented reality display with a liquid crystal variable focus element and a roll-to-roll method and a device for their creation
WO2019084325A1 (en) 2017-10-27 2019-05-02 Magic Leap, Inc. VIRTUAL RETICLE FOR INCREASED REALITY SYSTEMS
EP3710990A4 (en) 2017-11-14 2021-10-27 Magic Leap, Inc. METALERS FOR MULTITASK LEARNING FOR NEURAL NETWORKS
KR102596429B1 (ko) 2017-12-10 2023-10-30 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
US11256093B2 (en) 2017-12-11 2022-02-22 Magic Leap, Inc. Waveguide illuminator
US11333902B2 (en) * 2017-12-12 2022-05-17 RaayonNova LLC Smart contact lens with embedded display and image focusing system
IL311263A (en) 2017-12-14 2024-05-01 Magic Leap Inc Context-based processing of virtual characters
CN111630435A (zh) 2017-12-15 2020-09-04 奇跃公司 用于显示装置的增强的姿势确定
JP7407111B2 (ja) 2017-12-15 2023-12-28 マジック リープ， インコーポレイテッド 拡張現実ディスプレイシステムのための接眼レンズ
DE102018132699B4 (de) * 2017-12-19 2020-06-18 Cognex Corporation Sichtsystem sowie Verstelllinsensystem für ein Sichtsystem
EP3729172A4 (en) 2017-12-20 2021-02-24 Magic Leap, Inc. INSERT FOR AUGMENTED REALITY VIEWING DEVICE
CN108205374B (zh) * 2018-01-02 2020-07-28 京东方科技集团股份有限公司 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
US10506220B2 (en) 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
CA3085459A1 (en) 2018-01-04 2019-07-11 Magic Leap, Inc. Optical elements based on polymeric structures incorporating inorganic materials
IL311004A (en) 2018-01-17 2024-04-01 Magic Leap Inc Display systems and methods for determining registration between a display and a user's eyes
KR20200110367A (ko) 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
US10942416B1 (en) * 2018-01-17 2021-03-09 Facebook Technologies, Llc Hybrid adaptive lenses for head-mounted displays
KR20200110771A (ko) 2018-01-18 2020-09-25 삼성전자주식회사 증강 현실 콘텐츠 조정 방법 및 장치
GB201800933D0 (en) * 2018-01-19 2018-03-07 Adlens Ipr Ltd Improvements in or relating to variable focal power optical elements,a variable focal power optical device, a display module for augmented reality headset
WO2019143688A1 (en) 2018-01-19 2019-07-25 Pcms Holdings, Inc. Multi-focal planes with varying positions
US10908325B1 (en) * 2018-01-19 2021-02-02 Facebook Technologies, Llc Liquid lens for varifocal display
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
CN108152964A (zh) * 2018-02-01 2018-06-12 深圳市创世天联科技有限公司 一种用于ar、vr或mr的眼镜
US10964030B2 (en) 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
KR102546994B1 (ko) * 2018-02-26 2023-06-22 엘지전자 주식회사 웨어러블 글래스 장치
AU2019227506A1 (en) 2018-02-27 2020-08-06 Magic Leap, Inc. Matching meshes for virtual avatars
CN111936912A (zh) 2018-02-28 2020-11-13 奇跃公司 使用眼部配准的头部扫描对准
JP7303818B2 (ja) 2018-03-05 2023-07-05 マジック リープ， インコーポレイテッド 低遅延瞳孔トラッカーを伴うディスプレイシステム
WO2019173390A1 (en) 2018-03-07 2019-09-12 Magic Leap, Inc. Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display
CN110494792B (zh) 2018-03-07 2021-07-09 奇跃公司 外围设备的视觉跟踪
CN108508622A (zh) * 2018-03-12 2018-09-07 广东欧珀移动通信有限公司 激光投射模组、深度相机和电子装置
US11971549B2 (en) 2018-03-12 2024-04-30 Magic Leap, Inc. Very high index eyepiece substrate-based viewing optics assembly architectures
EP3765890A4 (en) 2018-03-14 2022-01-12 Magic Leap, Inc. DISPLAY SYSTEMS AND CONTENT CROPPING METHODS TO INCREASE VIEWING COMFORT
US11430169B2 (en) 2018-03-15 2022-08-30 Magic Leap, Inc. Animating virtual avatar facial movements
CN112136152A (zh) 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
CN112136094A (zh) * 2018-03-16 2020-12-25 奇跃公司 用于显示系统的基于深度的凹式渲染
CN112106066A (zh) 2018-03-16 2020-12-18 奇跃公司 根据眼睛跟踪相机的面部表情
CN108398787B (zh) * 2018-03-20 2023-05-16 京东方科技集团股份有限公司 增强现实显示设备、方法和增强现实眼镜
US11480467B2 (en) 2018-03-21 2022-10-25 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
EP4266113A3 (en) 2018-03-23 2023-12-27 InterDigital VC Holdings, Inc. Multifocal plane based method to produce stereoscopic viewpoints in a dibr system (mfp-dibr)
US11886000B2 (en) 2018-04-02 2024-01-30 Magic Leap, Inc. Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same
CN112041716A (zh) 2018-04-02 2020-12-04 奇跃公司 混合聚合物波导和用于制造混合聚合物波导的方法
CN112119334A (zh) 2018-04-02 2020-12-22 奇跃公司 具有集成光学元件的波导及其制造方法
US11276219B2 (en) 2018-04-16 2022-03-15 Magic Leap, Inc. Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
US11067805B2 (en) 2018-04-19 2021-07-20 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
US10789753B2 (en) 2018-04-23 2020-09-29 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
WO2019212698A1 (en) 2018-05-01 2019-11-07 Magic Leap, Inc. Avatar animation using markov decision process policies
WO2019213200A1 (en) 2018-05-02 2019-11-07 Zermatt Technologies Llc Moving about a computer simulated reality setting
US11308673B2 (en) 2018-05-03 2022-04-19 Magic Leap, Inc. Using three-dimensional scans of a physical subject to determine positions and/or orientations of skeletal joints in the rigging for a virtual character
CN112105983B (zh) 2018-05-08 2023-07-07 苹果公司 增强的视觉能力
US10747309B2 (en) * 2018-05-10 2020-08-18 Microsoft Technology Licensing, Llc Reconfigurable optics for switching between near-to-eye display modes
US11282255B2 (en) 2018-05-21 2022-03-22 Magic Leap, Inc. Generating textured polygon strip hair from strand-based hair for a virtual character
WO2019226549A1 (en) 2018-05-22 2019-11-28 Magic Leap, Inc. Computer generated hair groom transfer tool
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
CN112437950A (zh) 2018-05-22 2021-03-02 奇跃公司 用于对虚拟头像制作动画的骨架系统
US10861242B2 (en) 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system
WO2019226865A1 (en) 2018-05-25 2019-11-28 Magic Leap, Inc. Compression of dynamic unstructured point clouds
CN209311784U (zh) 2018-05-29 2019-08-27 苹果公司 头戴式显示器
CN108803031A (zh) * 2018-05-29 2018-11-13 成都理想境界科技有限公司 一种近眼显示装置及设备、变焦模组及变焦方法
US11204491B2 (en) * 2018-05-30 2021-12-21 Magic Leap, Inc. Compact variable focus configurations
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
WO2019236344A1 (en) 2018-06-07 2019-12-12 Magic Leap, Inc. Augmented reality scrollbar
EP3803545A4 (en) * 2018-06-08 2022-01-26 Magic Leap, Inc. AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT
US10915162B2 (en) * 2018-06-15 2021-02-09 Facebook Technologies, Llc Flexure based guidance system for varifocal head-mounted displays
CN112602012A (zh) 2018-06-15 2021-04-02 奇跃公司 具有带有预倾斜的液晶光学元件的宽视场偏振开关
US11624909B2 (en) 2018-06-18 2023-04-11 Magic Leap, Inc. Head-mounted display systems with power saving functionality
WO2019246058A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device
JP7378431B2 (ja) 2018-06-18 2023-11-13 マジック リープ， インコーポレイテッド フレーム変調機能性を伴う拡張現実ディスプレイ
US10549186B2 (en) * 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
WO2020005757A1 (en) 2018-06-26 2020-01-02 Magic Leap, Inc. Waypoint creation in map detection
KR102664392B1 (ko) 2018-06-28 2024-05-08 삼성전자주식회사 디스플레이 장치
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
CN112602090A (zh) 2018-07-02 2021-04-02 奇跃公司 用于插值不同输入的方法和系统
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP3818694A1 (en) 2018-07-05 2021-05-12 PCMS Holdings, Inc. Method and system for near-eye focal plane overlays for 3d perception of content on 2d displays
EP3818409A4 (en) 2018-07-05 2022-04-13 Magic Leap, Inc. WAVEGUIDE BASED ILLUMINATION FOR A HEAD MOUNT DISPLAY SYSTEM
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
KR20180088341A (ko) 2018-07-20 2018-08-03 주식회사 레티널 반사 렌즈 모듈
US10319154B1 (en) * 2018-07-20 2019-06-11 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for dynamic vision correction for in-focus viewing of real and virtual objects
US11627587B2 (en) 2018-07-23 2023-04-11 Magic Leap, Inc. Coexistence interference avoidance between two different radios operating in the same band
CN112513944A (zh) 2018-07-23 2021-03-16 奇跃公司 用于头部姿势预测的深度预测器循环神经网络
CN112703437A (zh) 2018-07-24 2021-04-23 奇跃公司 具有减轻反弹引起的光损失的衍射光学元件以及相关的系统和方法
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
WO2020023672A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
WO2020023542A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining registration between a display and eyes of a user
WO2020023404A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Flicker mitigation when toggling eyepiece display illumination in augmented reality systems
EP3830673A4 (en) 2018-07-27 2022-05-04 Magic Leap, Inc. REDUCING POSE SPACE DIMENSIONALITY FOR POSE SPACE DEFORMATION OF A VIRTUAL CHARACTER
CN108957754B (zh) 2018-07-27 2021-08-24 京东方科技集团股份有限公司 增强现实设备及显示方法
US10928645B2 (en) 2018-07-30 2021-02-23 Samsung Electronics Co., Ltd. Three-dimensional image display apparatus and image processing method
KR102546321B1 (ko) 2018-07-30 2023-06-21 삼성전자주식회사 3차원 영상 표시 장치 및 방법
EP3831058A4 (en) 2018-08-02 2022-04-20 Magic Leap, Inc. VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
EP3830674A4 (en) 2018-08-03 2022-04-20 Magic Leap, Inc. DEPTH PLANE SELECTION OF MULTI-DEPTH PLAN DISPLAY SYSTEMS BY USER CATEGORIZATION
US11002971B1 (en) 2018-08-24 2021-05-11 Apple Inc. Display device with mechanically adjustable optical combiner
CN112639579B (zh) 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
KR102087720B1 (ko) * 2018-09-11 2020-03-11 주식회사 씨엠랩 적외선광 기반 시각 보조 장치
USD934873S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
USD950567S1 (en) 2018-09-18 2022-05-03 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934872S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
USD955396S1 (en) 2018-09-18 2022-06-21 Magic Leap, Inc. Mobile computing support system having an illumination region
JP7093418B2 (ja) * 2018-09-20 2022-06-29 富士フイルム株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
KR102626922B1 (ko) * 2018-09-21 2024-01-18 삼성전자주식회사 투시형 디스플레이 장치
US10852553B2 (en) 2018-09-21 2020-12-01 Apple Inc. Electronic device with a tunable lens
CN113168009A (zh) 2018-09-26 2021-07-23 奇跃公司 具有屈光力的衍射光学元件
CN111077670B (zh) * 2018-10-18 2022-02-18 中强光电股份有限公司 光传递模块以及头戴式显示装置
US11157090B2 (en) 2018-10-26 2021-10-26 Magic Leap, Inc. Ambient electromagnetic distortion correction for electromagnetic tracking
CN109613700A (zh) * 2018-11-02 2019-04-12 上海酷聚科技有限公司 一种ar眼镜以及光线控制方法
US11150437B1 (en) * 2018-11-06 2021-10-19 Facebook Technologies, Llc Prescription adjustment methods and systems for varifocal subsystems
TWM642752U (zh) 2018-11-08 2023-06-21 以色列商魯姆斯有限公司 用於將圖像顯示到觀察者的眼睛中的顯示器
WO2020102554A1 (en) 2018-11-15 2020-05-22 Magic Leap, Inc. Deep neural network pose estimation system
CN117111304A (zh) 2018-11-16 2023-11-24 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
WO2020106824A1 (en) 2018-11-20 2020-05-28 Magic Leap, Inc. Eyepieces for augmented reality display system
EP3887925A4 (en) 2018-11-30 2022-08-17 Magic Leap, Inc. MULTIMODAL HANDHELD LOCATION AND ORIENTATION TO AVATAR MOVEMENT
KR20200075533A (ko) 2018-12-18 2020-06-26 삼성전자주식회사 영상을 표시하는 장치, 방법 및 컴퓨터 프로그램
EP3903480A4 (en) * 2018-12-28 2023-01-11 Magic Leap, Inc. AUGMENTED REALITY AND VIRTUAL REALITY DISPLAY SYSTEMS WITH SPLIT LEFT AND RIGHT EYE DISPLAY
EP3903135A4 (en) 2018-12-28 2022-10-19 Magic Leap, Inc. VIRTUAL AND AUGMENTED REALITY DISPLAY SYSTEM WITH MICRO-EMISSIVE DISPLAYS
EP3914997A4 (en) 2019-01-25 2022-10-12 Magic Leap, Inc. OCULOMETRY USING IMAGES WITH DIFFERENT EXPOSURE TIMES
JP2022519292A (ja) 2019-02-06 2022-03-22 マジック リープ， インコーポレイテッド 複数のプロセッサによって発生される総熱を限定するための標的意図ベースのクロック速度の決定および調節
DE102020104415A1 (de) * 2019-02-22 2020-08-27 Apple Inc. Bewegung in einer umgebung
CN113728267A (zh) 2019-02-28 2021-11-30 奇跃公司 使用由光发射器阵列形成的多个瞳孔内视差视图来提供可变适应提示的显示系统和方法
EP3939246A4 (en) 2019-03-12 2022-10-26 Lumus Ltd. IMAGE PROJECTOR
WO2020185954A1 (en) 2019-03-12 2020-09-17 Magic Leap, Inc. Waveguides with high index materials and methods of fabrication thereof
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
US20200297572A1 (en) * 2019-03-19 2020-09-24 Optotune Ag System for eye training and use of the system for eye training
JP2022526743A (ja) 2019-03-20 2022-05-26 マジック リープ， インコーポレイテッド 眼の照明を提供するためのシステム
CN114008514A (zh) 2019-04-15 2022-02-01 奇跃公司 用于电磁跟踪的传感器融合
CN111856749A (zh) * 2019-04-28 2020-10-30 云谷（固安）科技有限公司 显示装置及方法
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
US11874462B2 (en) 2019-05-10 2024-01-16 Twenty Twenty Therapeutics Llc Natural physio-optical user interface for intraocular microdisplay
CN110068929A (zh) * 2019-05-14 2019-07-30 Oppo广东移动通信有限公司 头戴式显示设备
JP7423659B2 (ja) 2019-05-20 2024-01-29 マジック リープ， インコーポレイテッド 眼姿勢を推定するためのシステムおよび技法
US11650421B1 (en) * 2019-05-23 2023-05-16 Meta Platforms Technologies, Llc Wearable display solutions for presbyopic ametropia
US20220221710A1 (en) 2019-05-24 2022-07-14 Magic Leap, Inc. Variable focus assemblies
US11467370B2 (en) 2019-05-27 2022-10-11 Samsung Electronics Co., Ltd. Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
JP7357081B2 (ja) 2019-05-28 2023-10-05 マジック リープ， インコーポレイテッド ポータブル電子デバイスのための熱管理システム
USD962981S1 (en) 2019-05-29 2022-09-06 Magic Leap, Inc. Display screen or portion thereof with animated scrollbar graphical user interface
CN110082920A (zh) * 2019-06-05 2019-08-02 南京钟山虚拟现实技术研究院有限公司 可调焦的增强现实ar眼镜
JP7373594B2 (ja) 2019-06-20 2023-11-02 マジック リープ， インコーポレイテッド 拡張現実ディスプレイシステムのための接眼レンズ
WO2020256973A1 (en) 2019-06-21 2020-12-24 Magic Leap, Inc. Secure authorization via modal window
EP3987329A4 (en) 2019-06-24 2023-10-11 Magic Leap, Inc. WAVEGUIDES WITH INTEGRATED SPACERS AND RELATED SYSTEMS AND METHODS
CN110310373B (zh) * 2019-06-28 2023-12-12 京东方科技集团股份有限公司 一种增强现实设备的图像处理方法和增强现实设备
US11029805B2 (en) 2019-07-10 2021-06-08 Magic Leap, Inc. Real-time preview of connectable objects in a physically-modeled virtual space
US11656480B2 (en) 2019-07-12 2023-05-23 Magic Leap, Inc. Methods and systems for augmented reality display with dynamic field of view
CN114424147A (zh) 2019-07-16 2022-04-29 奇跃公司 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
EP4001995A4 (en) * 2019-07-18 2023-11-29 Samsung Electronics Co., Ltd. IMAGE DISPLAY DEVICE FOR EXPRESSING MULTIPLE DEPTHS
WO2021016028A1 (en) 2019-07-19 2021-01-28 Magic Leap, Inc. Method of fabricating diffraction gratings
US11327315B2 (en) 2019-07-19 2022-05-10 Magic Leap, Inc. Display device having diffraction gratings with reduced polarization sensitivity
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
WO2021029316A1 (ja) * 2019-08-09 2021-02-18 三井化学株式会社 フレーム及びアイウェア
US11537351B2 (en) 2019-08-12 2022-12-27 Magic Leap, Inc. Systems and methods for virtual and augmented reality
KR102353010B1 (ko) * 2019-08-21 2022-01-20 주식회사 레티널 시력 보정 기능을 구비하는 증강 현실용 광학 장치
US11221458B2 (en) * 2019-08-28 2022-01-11 Lg Electronics Inc. Electronic device
CN114616210A (zh) 2019-09-11 2022-06-10 奇跃公司 带有具有降低的偏振灵敏度的衍射光栅的显示装置
US11276246B2 (en) 2019-10-02 2022-03-15 Magic Leap, Inc. Color space mapping for intuitive surface normal visualization
US11176757B2 (en) 2019-10-02 2021-11-16 Magic Leap, Inc. Mission driven virtual character for user interaction
CN110740235A (zh) * 2019-10-14 2020-01-31 Oppo广东移动通信有限公司 电子设备及其摄像头模组
CN110727111A (zh) * 2019-10-23 2020-01-24 深圳惠牛科技有限公司 一种头戴显示光学系统及头戴显示设备
USD982593S1 (en) 2019-11-08 2023-04-04 Magic Leap, Inc. Portion of a display screen with animated ray
US11493989B2 (en) 2019-11-08 2022-11-08 Magic Leap, Inc. Modes of user interaction
WO2021092068A1 (en) 2019-11-08 2021-05-14 Magic Leap, Inc. Metasurfaces with light-redirecting structures including multiple materials and methods for fabricating
CN112782851B (zh) * 2019-11-11 2024-01-12 宁波舜宇车载光学技术有限公司 变焦显示系统及变焦显示方法
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
CN114945947A (zh) 2019-11-18 2022-08-26 奇跃公司 可通行世界的映射和定位
EP4062229A4 (en) 2019-11-22 2024-01-03 Magic Leap Inc METHOD AND SYSTEM FOR FORMING PATTERNS ON A LIQUID CRYSTAL LAYER
US11681362B2 (en) 2019-11-26 2023-06-20 Magic Leap, Inc. Enhanced eye tracking for augmented or virtual reality display systems
WO2021113309A1 (en) 2019-12-06 2021-06-10 Magic Leap, Inc. Encoding stereo splash screen in static image
CN114746796A (zh) 2019-12-06 2022-07-12 奇跃公司 动态浏览器舞台
USD940749S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941307S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with graphical user interface for guiding graphics
USD940189S1 (en) 2019-12-09 2022-01-04 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940748S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941353S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
US11288876B2 (en) 2019-12-13 2022-03-29 Magic Leap, Inc. Enhanced techniques for volumetric stage mapping based on calibration object
WO2021137348A1 (ko) * 2019-12-31 2021-07-08 엔센스코리아주식회사 복수의 단말에서 3차원 공간정보를 공유하기 위한 공간맵 생성과 명령실행점 독출방법
WO2021137349A1 (ko) * 2019-12-31 2021-07-08 엔센스코리아주식회사 환경 기반 실-가상 정합 사물 배치를 위한 3차원 공간인식과 2차원 인지적 영역분할의 결합 방법 및 시스템
US11726328B2 (en) * 2020-01-17 2023-08-15 Meta Platforms Technologies, Llc Accommodation adjustable and magnification corrective optical system
CN115380236A (zh) 2020-01-24 2022-11-22 奇跃公司 使用单个控制器的内容移动和交互
US11340695B2 (en) 2020-01-24 2022-05-24 Magic Leap, Inc. Converting a 2D positional input into a 3D point in space
WO2021154656A1 (en) 2020-01-27 2021-08-05 Magic Leap, Inc. Enhanced state control for anchor-based cross reality applications
CN115004128A (zh) 2020-01-27 2022-09-02 奇跃公司 基于注视计时器的用户输入设备的功能增强
US11380072B2 (en) 2020-01-27 2022-07-05 Magic Leap, Inc. Neutral avatars
EP4097711A4 (en) 2020-01-27 2024-01-24 Magic Leap Inc CURATION OF AN AUGMENTED REALITY MAP
USD948562S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with avatar
USD936704S1 (en) 2020-01-27 2021-11-23 Magic Leap, Inc. Portion of a display screen with avatar
USD948574S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with a set of avatars
USD949200S1 (en) 2020-01-27 2022-04-19 Magic Leap, Inc. Portion of a display screen with a set of avatars
DE102020201114A1 (de) 2020-01-30 2021-08-05 Robert Bosch Gesellschaft mit beschränkter Haftung Datenbrille und Verfahren zu ihrem Betrieb
US11487356B2 (en) 2020-01-31 2022-11-01 Magic Leap, Inc. Augmented and virtual reality display systems for oculometric assessments
JP7455985B2 (ja) 2020-02-10 2024-03-26 マジック リープ， インコーポレイテッド 複合現実環境における３次元コンテナに対する身体中心コンテンツ位置付け
US11709363B1 (en) 2020-02-10 2023-07-25 Avegant Corp. Waveguide illumination of a spatial light modulator
WO2021163354A1 (en) 2020-02-14 2021-08-19 Magic Leap, Inc. Virtual object movement speed curve for virtual and augmented reality display systems
CN115151784A (zh) 2020-02-26 2022-10-04 奇跃公司 程序电子束光刻
CN115190837A (zh) 2020-02-28 2022-10-14 奇跃公司 制造用于形成具有一体间隔件的目镜的模具的方法
US11262588B2 (en) 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
EP4121813A4 (en) 2020-03-20 2024-01-17 Magic Leap Inc SYSTEMS AND METHODS FOR RETINA IMAGING AND TRACKING
CN115698782A (zh) 2020-03-25 2023-02-03 奇跃公司 具有单路镜的光学设备
CN115769174A (zh) 2020-04-03 2023-03-07 奇跃公司 用于最佳注视辨别的化身定制
WO2021202746A1 (en) 2020-04-03 2021-10-07 Magic Leap, Inc. Wearable display systems with nanowire led micro-displays
JP2023528262A (ja) 2020-05-22 2023-07-04 マジック リープ， インコーポレイテッド 相関内部結合および外部結合光学領域を伴う拡張および仮想現実ディスプレイシステム
CN115668106A (zh) 2020-06-05 2023-01-31 奇跃公司 基于图像的神经网络分析的增强眼睛跟踪技术
CN113960788B (zh) * 2020-07-17 2023-11-14 宇龙计算机通信科技(深圳)有限公司 图像显示方法、装置、ar眼镜及存储介质
JP2023537486A (ja) 2020-08-07 2023-09-01 マジック リープ， インコーポレイテッド 調整可能円柱レンズおよびそれを含む頭部搭載型ディスプレイ
EP4222551A1 (en) 2020-09-29 2023-08-09 Avegant Corp. An architecture to illuminate a display panel
FR3115118B1 (fr) * 2020-10-09 2022-10-28 Commissariat Energie Atomique Système de vision en réalité virtuelle ou augmentée avec capteur d’image de l’œil
EP4241127A1 (en) * 2020-11-05 2023-09-13 Apple Inc. Electronic devices with liquid lenses
DE102020214478A1 (de) 2020-11-18 2022-05-19 Robert Bosch Gesellschaft mit beschränkter Haftung Ophthalmische Linse für eine Brille und Verfahren zum Herstellen einer ophthalmischen Linse
KR102490037B1 (ko) * 2020-12-10 2023-01-18 주식회사 레티널 가상 영상의 깊이 조절 기능을 구비하는 증강 현실용 광학 장치
IL303770B2 (en) 2020-12-20 2024-03-01 Lumus Ltd Image projector with laser scanning over a spatial light modulator
CN112946895B (zh) * 2021-02-02 2022-09-20 业成科技（成都）有限公司 头戴式显示装置
US11729507B2 (en) * 2021-02-12 2023-08-15 Sony Group Corporation Progressive morphological lens parameter encoding
EP4237903A4 (en) 2021-03-01 2024-04-24 Lumus Ltd COMPACT COUPLING OPTICAL SYSTEM FROM A PROJECTOR IN A WAVEGUIDE
JP2024517804A (ja) 2021-05-19 2024-04-23 ルムス エルティーディー． 活性光学エンジン
CN114160960A (zh) * 2021-06-15 2022-03-11 苏州创鑫激光科技有限公司 一种激光加工方法及其装置
EP4374204A1 (en) 2021-08-23 2024-05-29 Lumus Ltd. Methods of fabrication of compound light-guide optical elements having embedded coupling-in reflectors
CN113890987A (zh) * 2021-08-23 2022-01-04 歌尔光学科技有限公司 一种自动调焦方法、装置、电子设备及存储介质
KR102644608B1 (ko) * 2021-08-23 2024-03-11 한국철도기술연구원 디지털 트윈 기반의 카메라 위치 초기화 방법
CN113724299B (zh) * 2021-08-30 2023-09-19 上海大学 一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法
KR102655191B1 (ko) * 2021-10-07 2024-04-05 주식회사 엘지유플러스 스마트 글래스 및 제어방법
TWI818537B (zh) * 2022-05-06 2023-10-11 國立陽明交通大學 光學顯示系統
KR20230167578A (ko) * 2022-06-02 2023-12-11 한국전자기술연구원 대상 객체 적응적 심도 가변형 증강현실 장치 및 방법
CN115047433B (zh) * 2022-08-16 2022-11-01 杭州宇称电子技术有限公司 用于tof距离量测系统光学自动化调整方法及其应用
WO2024096460A1 (ko) * 2022-10-31 2024-05-10 삼성전자주식회사 거리 정보를 획득하는 전자 장치 및 이의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268388A (zh) * 2005-08-22 2008-09-17 伊斯曼柯达公司 具有可变倍率元件的变焦透镜系统
CN101634750A (zh) * 2008-05-27 2010-01-27 庄臣及庄臣视力保护公司 具有变焦距透镜的头戴显示器

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4041505A (en) 1975-12-31 1977-08-09 Bell & Howell Company Automatic electronic rangefinder
JPS5547006U (zh) 1978-09-18 1980-03-27
JPS60200385A (ja) 1984-03-26 1985-10-09 Hitachi Ltd 姿勢判定方式
US4934773A (en) 1987-07-27 1990-06-19 Reflection Technology, Inc. Miniature video display system
JPH02262112A (ja) 1989-03-31 1990-10-24 Fuji Photo Film Co Ltd 電動ズーミング装置
CA2054344C (en) 1990-10-29 1997-04-15 Kazuhiro Itsumi Video camera having focusing and image-processing function
US20060033992A1 (en) 2002-12-02 2006-02-16 Solomon Dennis J Advanced integrated scanning focal immersive visual display
US20040130783A1 (en) 2002-12-02 2004-07-08 Solomon Dennis J Visual display with full accommodation
JP2901116B2 (ja) 1992-11-30 1999-06-07 株式会社日立製作所 オートフォーカス装置の制御方法
EP1326120B1 (en) 1993-08-12 2010-02-24 Seiko Epson Corporation Head-mounted image display device and data processing apparatus including the same
US7310072B2 (en) 1993-10-22 2007-12-18 Kopin Corporation Portable communication display device
US5416876A (en) 1994-01-28 1995-05-16 Hughes Training, Inc. Fiber optic ribbon subminiature display for head/helmet mounted display
US8330812B2 (en) 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
GB9511091D0 (en) 1995-06-01 1995-07-26 Silver Joshua D Variable power spectacles
US6317127B1 (en) 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
GB9805977D0 (en) 1998-03-19 1998-05-20 Silver Joshua D Improvements in variable focus optical devices
US7098871B1 (en) 1998-08-05 2006-08-29 Microvision, Inc. Optical scanning system with correction
US6396461B1 (en) 1998-08-05 2002-05-28 Microvision, Inc. Personal display with vision tracking
US6191761B1 (en) 1998-11-09 2001-02-20 University Of Washington Method and apparatus for determining optical distance
US6351335B1 (en) 1999-04-08 2002-02-26 New York University Extremely high resolution foveated display
US6053610A (en) 1999-07-15 2000-04-25 Lane Research Actuation mechanism for variable focal length spectacles
US6408257B1 (en) 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
EP1083755A3 (en) * 1999-09-07 2003-11-12 Canon Kabushiki Kaisha Image input apparatus and image display apparatus
JP2001197522A (ja) 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc 画像表示装置
JP3492251B2 (ja) 1999-09-07 2004-02-03 キヤノン株式会社 画像入力装置及び画像表示装置
JP2001215441A (ja) 2000-02-07 2001-08-10 Mixed Reality Systems Laboratory Inc 画像観察装置
US6898307B1 (en) 1999-09-22 2005-05-24 Xerox Corporation Object identification method and system for an augmented-reality display
JP2001242370A (ja) 2000-02-25 2001-09-07 Fuji Photo Optical Co Ltd レンズ装置
JP2001264614A (ja) 2000-03-15 2001-09-26 Fuji Photo Optical Co Ltd ズームレンズ
JP4064656B2 (ja) 2000-09-28 2008-03-19 株式会社東芝 静電アクチュエータ及びその駆動方法
JP3477441B2 (ja) 2000-12-08 2003-12-10 川崎重工業株式会社 画像表示装置
JP2002214545A (ja) * 2001-01-18 2002-07-31 Olympus Optical Co Ltd 光学装置
US6886137B2 (en) 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
US7133077B2 (en) 2001-07-02 2006-11-07 Canon Kabushiki Kaisha Auto focus camera, lens apparatus and camera system with a vibration motor drive
JP4072330B2 (ja) 2001-10-31 2008-04-09 キヤノン株式会社 表示装置および情報処理方法
AU2002222543A1 (en) 2001-11-27 2003-06-10 Freni Brembo S.P.A. Duo-servo drum brake inside shoes adjusting device
KR100427649B1 (ko) 2001-12-26 2004-04-28 한국전자통신연구원 증강현실 기술을 이용한 별자리 관측시스템
WO2004061519A1 (ja) 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
JP2005208255A (ja) 2004-01-21 2005-08-04 Fujinon Corp 撮影レンズ装置
JP4498019B2 (ja) 2004-06-08 2010-07-07 キヤノン株式会社 光学装置及び撮像システム
SG155167A1 (en) * 2004-08-03 2009-09-30 Silverbrook Res Pty Ltd Walk-up printing
JP2008509438A (ja) 2004-08-06 2008-03-27 ユニヴァーシティ オブ ワシントン 可変固定視距離で走査される光表示装置
US20060146012A1 (en) 2005-01-04 2006-07-06 Arneson Theodore R System and method for automatic display switching
WO2006087709A1 (en) 2005-02-17 2006-08-24 Lumus Ltd. Personal navigation system
US7457434B2 (en) 2005-04-04 2008-11-25 Massachusetts Eye & Ear Infirmary Adaptively focusing extra-ocular vision prostheses
WO2006108017A2 (en) 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
JP2006330054A (ja) 2005-05-23 2006-12-07 Konica Minolta Opto Inc レンズ鏡胴
JP2006330053A (ja) 2005-05-23 2006-12-07 Konica Minolta Opto Inc レンズ鏡胴
WO2007063306A2 (en) 2005-12-02 2007-06-07 Spiral Scratch Limited Virtual computer interface
KR20070057418A (ko) 2005-12-02 2007-06-07 주식회사 팬택 카메라를 구비하는 이동통신 단말기
FR2900475B1 (fr) 2006-04-26 2008-10-31 Essilor Int Afficheur comportant une paire de lunettes de type binoculaire et avec un dispositif de reglage de l'image
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
KR100820639B1 (ko) 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
JP2010501890A (ja) 2006-08-24 2010-01-21 エージェンシー フォー サイエンス， テクノロジー アンド リサーチ 可変焦点ズームレンズ
US7866816B2 (en) 2006-10-10 2011-01-11 Lane Research, Llc Variable focus spectacles
US20100103175A1 (en) 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
JP5237268B2 (ja) 2007-11-21 2013-07-17 パナソニック株式会社 表示装置
JP5169253B2 (ja) 2008-01-29 2013-03-27 ブラザー工業株式会社 画像表示装置
JP5152580B2 (ja) 2008-07-29 2013-02-27 カシオ計算機株式会社 撮影装置、及び光学装置
JP2010139575A (ja) 2008-12-09 2010-06-24 Brother Ind Ltd シースルー型ヘッドマウント表示装置
JP2010139901A (ja) 2008-12-15 2010-06-24 Brother Ind Ltd ヘッドマウントディスプレイ
CN102369476B (zh) 2009-02-05 2014-04-30 Hoya株式会社 眼镜镜片的评价方法、眼镜镜片的设计方法、眼镜镜片的制造方法、眼镜镜片的制造系统及眼镜镜片
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
KR20090053838A (ko) 2009-03-24 2009-05-27 에이전시 포 사이언스, 테크놀로지 앤드 리서치 가변 포커스 줌 렌즈
US20120105486A1 (en) 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP5791131B2 (ja) 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268388A (zh) * 2005-08-22 2008-09-17 伊斯曼柯达公司 具有可变倍率元件的变焦透镜系统
CN101634750A (zh) * 2008-05-27 2010-01-27 庄臣及庄臣视力保护公司 具有变焦距透镜的头戴显示器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108572449A (zh) * 2014-03-31 2018-09-25 联想(北京)有限公司 显示装置和电子设备
TWI629506B (zh) * 2017-01-16 2018-07-11 國立台灣大學 眼球凝視運動之影像穿透式擴增實境裝置、頭戴式顯示器及近距離物體之擴增實境方法

Also Published As

Publication number Publication date
WO2012067832A1 (en) 2012-05-24
EP2641392B1 (en) 2014-12-31
US20160189432A1 (en) 2016-06-30
KR101789357B1 (ko) 2017-10-23
KR20130126623A (ko) 2013-11-20
US20120127062A1 (en) 2012-05-24
CA2815526A1 (en) 2012-05-24
JP2014505897A (ja) 2014-03-06
EP2641392A1 (en) 2013-09-25
CA2815526C (en) 2018-04-24
JP5908491B2 (ja) 2016-04-26
CN102445756A (zh) 2012-05-09
EP2641392A4 (en) 2013-09-25
US9304319B2 (en) 2016-04-05
IL225874A0 (en) 2013-06-27
US10055889B2 (en) 2018-08-21
IL225874A (en) 2017-02-28

Similar Documents

Publication Publication Date Title
CN102445756B (zh) 用于扩展现实显示的自动焦点改善
CN102566049B (zh) 用于扩展现实显示的自动可变虚拟焦点
CN102591016B (zh) 用于扩展现实显示的优化聚焦区
CN102566756B (zh) 用于扩展现实显示的基于理解力和意图的内容
CN102419631B (zh) 虚拟内容到现实内容中的融合
CN105359076B (zh) 多步骤虚拟对象选择方法和装置
KR102208376B1 (ko) Hmd 상의 하이브리드 월드/바디 락 hud
KR102281026B1 (ko) 홀로그램 앵커링 및 동적 포지셔닝 기법
CN105452994A (zh) 虚拟物体的同时优选观看

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150424

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150424

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.