CN102566756B - 用于扩展现实显示的基于理解力和意图的内容 - Google Patents

用于扩展现实显示的基于理解力和意图的内容 Download PDF

Info

Publication number
CN102566756B
CN102566756B CN201110443987.0A CN201110443987A CN102566756B CN 102566756 B CN102566756 B CN 102566756B CN 201110443987 A CN201110443987 A CN 201110443987A CN 102566756 B CN102566756 B CN 102566756B
Authority
CN
China
Prior art keywords
user
image
focal region
described user
optimizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110443987.0A
Other languages
English (en)
Other versions
CN102566756A (zh
Inventor
K·S·佩雷
A·巴-泽埃夫
S·卡茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102566756A publication Critical patent/CN102566756A/zh
Application granted granted Critical
Publication of CN102566756B publication Critical patent/CN102566756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及用于扩展现实显示的基于理解力和意图的内容。在使用诸如透视显示设备或头戴式显示设备的近眼显示设备时增强用户体验的方法和系统。确定用户与该场景中一个或多个物体进行交互的意图。在一个实施例中，基于用户的意图来为用户生成经优化的图像。经优化的图像视觉上增强场景中用户打算与之进行交互的物体的外观，并缩小场景中用户不打算与之进行交互的物体的外观。在另一个实施例中，通过自动地增强用户环境中的一个或多个物体来提高用户对用户环境中可视化信息的理解力。生成包括提高用户理解力的物体的经优化的图像。经优化的图像视觉上增强提高用户的理解力的物体的外观。经优化的图像经由透视显示设备显示给用户。

Description

用于扩展现实显示的基于理解力和意图的内容
技术领域
本发明涉及扩展现实显示，尤其是用于扩展现实显示的基于理解力和意图的内容。
本发明的背景技术
扩展现实是一种允许将虚拟图像与现实世界物理环境或空间相混合的技术。通常，用户佩戴近眼显示器以查看虚拟物体和现实物体的混合图像。一般而言，近眼显示器使用光学器件与立体视觉的组合来将虚拟图像聚焦到空间内。
在某些情况下，通过近眼显示设备向用户所显示的虚拟图像可能包括包含高度精细图形的虚拟图像或物体。然而，通常是移动的近眼显示设备往往受限于计算资源，并且可能无法准确地将虚拟图像呈现给用户。另外，通常向佩戴近眼显示设备的用户呈现该用户不一定有兴趣查看的大量信息。
发明内容
此处公开了在使用诸如透视显示设备或头戴式显示设备之类的近眼显示设备时，通过优化显示给用户的可视化信息来增强用户体验的方法和系统。通过对显示给用户的可视化信息区分优先级来优化可视化信息。在一种方法中，通过确定用户与用户环境中一个或多个物体进行交互的所推断或表达的意图来对可视化信息区分优先级。在一个实施例中，基于区分了优先级的可视信息来生成经优化的图像。经优化的图像视觉上增强用户环境中用户打算与之进行交互的物体的外观，和/或缩小用户环境中用户不打算与之进行交互的物体的外观。在一种方法中，通过分析用户的眼睛移动以及用户对用户环境中物体的注视强度来确定用户的意图。在另一种方法中，基于与用户有关的用户专用信息来自动地确定用户的意图。在一个实施例中，经优化的图像减少了头戴式显示设备在处理并将可视化信息呈现给用户中所需的计算资源。
在所公开的技术的另一个实施例中，通过自动地增强用户环境中的一个或多个物体来提高用户对用户环境中可视化信息的理解力。在一个实施例中，生成视觉上增强提高用户理解力的一个或多个物体的外观的经优化的图像。在另一个实施例中，确定用户与经优化的图像中一个或多个视觉上已增强的物体进行交互的意图。
在一个实施例中，提供用于基于扩展现实系统中的用户意图来生成经优化的图像的方法。在一种方法中，该方法包括确定用户使用透视显示设备正在查看的场景中的感兴趣的物体或人。确定用户的视野。视野是用户正在查看的空间或环境的一部分。确定视野内的用户的聚焦区。确定用户与用户的聚焦区中的一个或多个物体或人进行交互的意图。在一个实施例中，基于用户的意图来为用户生成经优化的图像。经优化的图像经由透视显示设备显示给用户。
提供本发明内容以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
附图说明
图1是描绘用于基于用户意图生成经优化的内容的系统的一个实施例的示例组件的框图。
图2是头戴式显示单元的一个实施例的一部分的俯视图。
图2A-2E提供示出不透明度滤光器的操作的示例图像。
图3是头戴式显示单元的组件的一个实施例的框图。
图4是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。
图5是结合头戴式显示单元使用的中枢计算系统的组件的一个实施例的框图。
图6是可用于实现在此所述的中枢计算系统的计算系统的一个实施例的框图。
图7是描绘用于基于用户意图来生成经优化的内容的多用户系统的框图。
图8描述了用于基于用户意图生成经优化的内容的过程的一个实施例。
图9描述了用户创建用户的空间的模型的过程的一个实施例。
图10是描述了用于将空间的模型分割成物体的过程的一个实施例的流程图。
图11A是描述用于标识物体的过程的一个实施例的流程图。
图11B是描述用于响应于移动物体来更新图8的过程所创建的模型的过程的一个实施例的流程图。
图12是描述用于跟踪用户的视野以及确定用户的聚焦区的过程的一个实施例的流程图。
图13A是描述了由中枢计算系统执行以提供图12的过程中使用的跟踪信息的过程的一个实施例的流程图。
图13B是描述了用于跟踪眼睛的过程的一个实施例的流程图，其中该过程的结果供图12的过程来使用。
图14是描述用于确定用户与用户聚焦区中一个或多个物体进行交互的意图的过程的一个实施例的流程图。
图14A是描述用于确定用户与用户聚焦区中一个或多个物体进行交互的意图的过程的另一个实施例的流程图。
图14B是描述用于通过提示用户指定与一个或多个物体进行交互的意图来确定用户与一个或多个物体进行交互的意图的过程的另一个实施例的流程图。
图15A是描述用于基于确定用户与一个或多个物体进行交互的意图，生成并将经优化的图像显示给用户的过程的一个实施例的流程图。
图15B是描述用于基于确定用户与显示在经优化的图像中的扩展内容进行交互的意图，将附加的扩展内容显示给用户的过程的一个实施例的流程图。
图15C描述增强用户对用户环境中可视化信息的理解力的过程。
图16A-C描绘了用户与用户环境中一个或多个物体进行交互以及基于用户的交互生成经优化的图像的一个实施例。
图17A-D描绘了用户与用户环境中一个或多个物体进行交互以及基于用户的交互生成经优化的图像的另一个实施例。
图18A-C描绘了用户与用户环境中一个或多个物体进行交互以及基于用户的交互生成经优化的图像的另一个实施例。
具体实施方式
公开了一种用于增强用户在使用近眼显示设备时的体验的技术。用户通过诸如头戴式显示设备之类的近眼显示设备来查看场景。确定用户的视野，用户的视野是用户可观察的环境或空间的一部分。还确定视野内可能感兴趣的物体。视野可包括用户的聚焦区，或者在视野内用户实际正聚焦在其上的事物上。通过跟踪该用户的眼睛在视野内的位置来确定用户的聚焦区。随后确定用户与用户的聚焦区中的一个或多个物体进行交互的所推断或表达的意图。在一种方法中，通过检测用户的聚焦区中用户的眼睛移动模式以及确定用户对用户的聚焦区中用户所查看的一个或多个物体的注视强度来确定用户与用户的聚焦区中的一个或多个物体进行交互的意图。在另一种方法中，通过访问与用户有关的用户专用信息来自动地确定用户与用户的聚焦区中的一个或多个物体进行交互的意图。在另一种方法中，通过提示用户经由诸如语音输入、键盘输入、触敏设备或姿势的用户物理动作指定与一个或多个物体进行交互的意图来确定用户与用户的聚焦区中的一个或多个物体进行交互的意图。在又一个实施例中，根据环境及诸如一天中的时间、位置和外部输入的其他因素来确定用户与一个或多个物体进行交互的所推断或表达的意图。基于用户的需要或意图来生成经优化的图像。经优化的图像经由头戴式显示设备显示给用户。经优化的图像可包括用户的聚焦区中的一个或多个物体的已增强的外观、位于用户的聚焦区以外但在用户的视野以内的物体的已缩小的外观、以及诸如虚拟图像或与用户的聚焦区中用户打算与之交互的物体有关的虚拟物体的扩展内容。可以组合使用任意一个或多个这种增强。
图1是描绘了用于基于用户意图生成经优化的图像的系统10的一个实施例的示例组件的框图。系统10包括作为通过线6与处理单元4进行通信的近眼头戴式显示设备2的透视显示设备。
在其他实施例中，头戴式显示设备2通过无线通信来与处理单元4进行通信。在一个实施例中为眼镜形状的头戴式显示设备2被佩戴在用户的头上，使得用户可以通过显示器进行查看，并且从而具有该用户前方的空间的实际直接视图。使用术语“实际和直接视图”来指直接用人眼查看现实世界物体的能力，而不是查看对物体的所创建的图像表示。例如，在房间中通过眼镜进行查看将允许用户具有房间的实际直接视图，而在电视上查看房间的视频不是房间的实际直接视图。下面提供头戴式显示设备2的更多细节。
在一个实施例中，处理单元4由用户佩戴，并且包括许多用于操作头戴式显示设备2的计算能力。处理单元4可以与一个或多个中枢计算系统12无线地(例如WiFi、蓝牙、红外、或其他无线通信手段)通信。
中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例实施例，中枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可以用于执行诸如游戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统12可以包括诸如标准化处理器、专用处理器、微处理器等等之类的处理器，这些处理器可以执行存储在处理器可读存储设备上的指令以用于执行在此所述的过程。
中枢计算系统12还包括一个或多个捕捉设备，如捕捉设备20A和20B。在其他实施例中，可以使用多于或少于两个的捕捉设备。在一个示例性实施方式中，捕捉设备20A和20B指向不同方向，使得它们可以捕捉房间的不同部分。可能有利的是，两个捕捉设备的视野稍微地重叠，使得中枢计算系统12可以理解捕捉设备的视野如何彼此相关。通过这种方式，可以使用多个捕捉设备来查看整个房间(或其他空间)。或者，如果捕捉设备可以在操作期间平移，则可以使用一个捕捉设备，使得视野随时间被捕捉设备查看。非重叠的捕捉设备也可确定相对于另一个已知点的视野，诸如用户所佩戴的头戴式显示器的位置。
捕捉设备20A和20B例如可以是相机，该相机在视觉上监视一个或多个用户和周围空间，使得可以捕捉、分析并跟踪该一个或多个用户所执行的姿势和/或移动以及周围空间的结构，以在应用中执行一个或多个控制或动作和/或使化身或屏上人物动画化。
中枢计算环境12可以连接到诸如电视机、监视器、高清电视机(HDTV)等可提供游戏或应用程序视觉的视听设备16。例如，中枢计算系统12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从中枢计算系统12接收视听信号，并且然后可以输出与视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆、RCA电缆等连接至中枢计算系统12。在一个示例中，视听设备16包括内置扬声器。在其他实施例中，视听设备16、单独的立体声系统或中枢计算设备12连接到外部扬声器22。
中枢计算设备10可以与捕捉设备20A和20B一起用于识别、分析和/或跟踪人类(以及其他类型的)目标。例如，可使用捕捉设备20A和20B来跟踪佩戴头戴式显示设备2的用户，使得可以捕捉用户的姿势和/或运动来使化身或屏幕上人物动画化，和/或可将用户的姿势和/或移动解释为可用于影响中枢计算系统12所执行的应用的控制。
在所公开的技术的一个实施例中，如下面将详细讨论的，系统10基于确定用户与用户环境中一个或多个物体进行交互的意图来为用户生成经优化的图像。经优化的图像可包括用户打算与之交互的物体的已增强的外观、用户不打算与之交互的物体的已缩小的外观、或以上二者。经优化的图像经由头戴式显示设备2显示给用户。
图2描绘了头戴式显示设备2的俯视图，其包括镜架的包含镜腿102和鼻中104的那部分。仅仅描绘了头戴式显示设备2的右侧。在鼻中104中置入了话筒110以用于记录声音以及将音频数据传送给处理单元4，这将在下面予以描述。在头戴式显示设备2的前方是朝向可捕捉视频和静止图像的视频相机113的房间。这些图像被传送给处理单元4，这将在下面予以描述。
头戴式显示设备2的镜架的一部分将围绕显示器(其包括一个或多个透镜)。为了示出头戴式显示设备2的组件，未描绘围绕显示器的镜架部分。在一个实施例中，显示器包括光导光学元件112、不透明度滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明度滤光器114处于透视透镜116之后并与其对准，光导光学元件112处于不透明度滤光器114之后并与其对准，并且透视透镜118处于光导光学元件112之后并与其对准。透视透镜116和118是眼镜中使用的标准透镜，并且可根据任何处方(包括无处方)来制作。在一个实施例中，透视透镜116和118可由可变处方透镜取代。在一些实施例中，头戴式显示设备2将仅仅包括一个透视透镜或者不包括透视透镜。在另一替代方案中，处方透镜可以进入光导光学元件112内。不透明度滤光器114滤除自然光(要么以每像素为基础，要么均匀地)以增强虚拟图像的对比度。光导光学元件112将人造光引导至眼睛。下面提供不透明度滤光器114和光导光学元件112的更多细节。在替换的实施例中，可以不使用不透明度滤光器114。
在镜腿102处或镜腿102内安装有图像源，该图像源(在一个实施例中)包括用于对虚拟图像进行投影的微显示器部件120、以及用于将图像从微显示器120引导到光导光学元件112中的透镜122。在一个实施例中，透镜122是准直透镜。
控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。下面参考图3提供控制电路136的更多细节。处于镜腿102内部或安装在镜腿102处的有耳机130、惯性传感器132、以及温度传感器138。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C(参见图3)。惯性传感器用于感测头戴式显示设备2的位置、取向、以及突然加速。
微显示器120通过透镜122来投影图像。存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学有源材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。根据该技术，由白光源或RGB源向前点亮照明。数字光处理(DLP)、硅上液晶(LCOS)、以及来自Qualcomm有限公司的显示技术都是高效的反射技术的示例，因为大多数能量从已调制结构反射离开并且可用在本文描述的系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoPTM显示引擎使用微型镜面舵来将激光信号发射到充当透射元件的小型屏幕上或直接照射到眼睛(例如激光)。
光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛140。光导光学元件112还允许如箭头142所示那样将光从头戴式显示设备2的前方通过光导光学元件112透射到用户的眼睛，从而除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。光导光学元件112包括第一反射面124(例如镜面或其他表面)。来自微显示器120的光穿过透镜122并入射在反射面124上。反射面124反射来自微显示器120的入射光，使得光通过内反射而被捕获在包括光导光学元件112的平面基底内。在离开衬底的表面的若干反射之后，所捕获的光波到达选择性反射面126的阵列。注意，五个表面中只有一个表面被标记为126以防止附图太过拥挤。反射面126将从衬底出射并入射在这些反射面上的光波耦合到用户的眼睛140。由于不同光线将以不同角度传播并弹离基底的内部，因此这些不同的光线将以不同角度击中各个反射面126。因此，不同光线将被所述反射面中的不同反射面从衬底中反射出。关于哪些光线将被哪个表面126从衬底反射出的选择是通过选择表面126的合适角度来设计的。在一个实施例中，每只眼睛将具有其自己的光导光学元件112。当头戴式显示设备具有两个光导光学元件时，每只眼睛都可以具有其自己的微显示器120，该微显示器120可以在两只眼睛中显示相同图像或者在两只眼睛中显示不同图像。在另一实施例中，可以存在将光反射到两只眼睛中的一个光导光学元件。
与光导光学元件112对齐的不透明度滤光器114要么均匀地，要么以每像素为基础来选择性地阻挡自然光，以免其穿过光导光学元件112。在一个实施例中，不透明度滤光器可以是透视LCD面板、电致变色膜(electrochromic film)或能够充当不透明度滤光器的类似设备。通过从常规LCD中除去衬底、背光和漫射体的各层，可以获得这样的透视LCD面板。LCD面板可包括一个或多个透光LCD芯片，所述透光LCD芯片允许光穿过液晶。例如，在LCD投影仪中使用了这样的芯片。
不透明度滤光器114可以包括致密的像素网格，其中每个像素的透光率能够在最小和最大透光率之间被个别化地控制。尽管0-100％的透光率范围是理想的，然而更有限的范围也是可以接受的。作为示例，具有不超过两个偏振滤光器的单色LCD面板足以提供每像素约50％到90％的不透明度范围，最高为该LCD的分辨率。在50％的最小值处，透镜将具有稍微带色彩的外观，这是可以容忍的。100％的透光率表示完美清澈的透镜。可以从0-100％定义“阿尔法(alpha)”标度，其中0％不允许光穿过，并且100％允许所有光穿过。可以由下面描述的不透明度滤光器控制电路224为每个像素设置阿尔法的值。
在用代理为现实世界物体进行z-缓冲(z-buffering)之后，可以使用来自渲染流水线的阿尔法值的掩码(mask)。当系统为增强现实显示而呈现场景时，该系统注意到哪些现实世界物体处于哪些虚拟物体之前。如果虚拟物体处于现实世界物体之前，则不透明度对于该虚拟物体的覆盖区域而言应当是开启的。如果虚拟物体(实际上)处于现实世界物体之后，则不透明度以及该像素的任何色彩都应当是关闭的，使得对于现实光的该相应区域(其大小为一个像素或更多)而言，用户将会仅仅看到现实世界物体。覆盖将是以逐像素为基础的，所以该系统可以处理虚拟物体的一部分处于现实世界物体之前、该虚拟物体的一部分处于现实世界物体之后、以及该虚拟物体的一部分与现实世界物体相重合的情况。对这种用途而言，最期望的是能够以低的成本、功率和重量从0％达到100％不透明度的显示器。此外，不透明度滤光器可以比如用彩色LCD或用诸如有机LED等其他显示器来以彩色进行呈现，以提供宽视野。于2010年9月21日提交的美国专利申请号12/887,426“Opacity Filter For See-ThroughMounted Display(用于透射安装显示器的不透明度滤光器)”中提供了不透明度滤光器的更多细节，该专利申请的全部内容通过引用并入本文。
诸如LCD之类的不透明度滤光器通常还未与在此所述的透视透镜一起使用，因为在与眼睛的该近距离下，其可能失焦。然而，在一些情况下，这个结果可能是所期望的。通过使用相加色(additive color)的普通HMD显示器(其被设计为是聚焦的)，用户看到具有清晰彩色图形的虚拟图像。该LCD面板被放置在该显示器“之后”，使得模糊的黑色边界围绕任何虚拟内容，使其根据需要而不透明。该系统扭转了自然模糊化的缺陷以方便地获得了抗混叠特性和带宽减少。这些是使用较低分辨率且失焦图像的自然结果。存在对数字采样图像的有效平滑化。任何数字图像都经历混叠，其中在光的波长附近，采样的离散性导致与自然模拟和连续信号相比的误差。平滑化意味着在视觉上更靠近理想的模拟信号。尽管在低分辨率丢失的信息没有被恢复，但是得到的误差的明显程度更低。
在一个实施例中，显示器和不透明度滤光器被同时渲染，并且被校准到用户在空间中的精确位置以补偿角度偏移问题。眼睛跟踪可用于计算视野的末端处的正确的图像偏移。在一些实施例中，在不透明度滤光器中可以使用不透明度的量在时间和空间上的淡化。类似地，在虚拟图像中可以使用在时间或空间上的淡化。在一种方法中，不透明度滤光器的不透明度的量在时间上的淡化对应于虚拟图像在时间上的淡化。在另一种方法中，不透明度滤光器的不透明度的量在空间上的淡化对应于虚拟图像中在空间上的淡化。
在一个示例方法中，从所标识出的用户眼睛的位置的视角出发，为不透明度滤光器的处于虚拟图像之后的像素提供增加的不透明度。通过这种方式，处于虚拟图像之后的像素被暗化，使得来自现实世界场景的相应部分的光被阻挡而无法到达用户的眼睛。这允许虚拟图像是逼真的并且表示全范围的色彩和亮度。此外，由于可以以更低的亮度提供虚拟图像，因此减少了增强现实发射器的功耗。在没有不透明度滤光器的情况下，将需要以与现实世界场景的相应部分相比更亮的足够高的亮度来提供虚拟图像，以使虚拟图像不同并且不是透明的。在暗化不透明度滤光器的像素时，一般而言，沿着虚拟图像的闭合周界的像素与周界内的像素一起被暗化。所期望的可能是提供一些重叠，使得恰好处于周界之外并且围绕周界的一些像素也被暗化(以相同的暗度级或者比周界内的像素暗度低)。恰好处于周界之外的这些像素可以提供从周界内的暗度到周界之外的完全量的不透光度的渐变(例如不透光度的逐渐过渡)。
为了提供不透明度滤光器的操作的示例，图2A描绘了森林的示例现实世界场景，该场景是通过头戴式显示设备2进行查看的人眼可见的。图2B描绘了虚拟图像，该虚拟图像在该情形下是海豚。图2C描绘了基于图2B的虚拟图像的形状的不透明度滤光器的示例配置。不透明度滤光器在应当渲染海豚之处提供了不透明度增加的暗化区域。增加的不透明度一般是指像素的暗化，这可以包括允许更少的光穿过。可以在单色方案中使用到不同灰度级(或黑色)的暗化，或者在彩色方案中使用到不同色彩级的暗化。图2D描绘了用户所看到的示例图像，并且该图像是如下动作的结果：将海豚的虚拟图像投影到用户的视界中；以及使用不透明度滤光器来为与海豚的虚拟图像的位置相对应的像素去除光。如可以看见的那样，背景不是透过海豚可被看见的。为了比较的目的，图2E示出了在不使用不透明度滤光器的情况下将虚拟图像插入到现实图像中。如可以看见的那样，实际背景可以透过海豚的虚拟图像被看见。
头戴式显示设备2还包括用于跟踪用户的眼睛位置的系统。如下面将会解释的那样，该系统将跟踪用户的位置和取向，使得该系统可以确定用户的视野。然而，人类将不会察觉处于其之前的所有事物。相反，用户的眼睛将对准环境的子集。因此，在一个实施例中，该系统将包括用于跟踪用户的眼睛位置的技术以便细化对用户视野的测量。例如，头戴式显示设备2包括眼睛跟踪部件134(参见图2)，该眼睛跟踪部件134将包括眼睛跟踪照明设备134A和眼睛跟踪相机134B(参见图3)。在一个实施例中，眼睛跟踪照明源134A包括一个或多个红外(IR)发射器，这些红外发射器向眼睛发射IR光。眼睛跟踪相机134B包括一个或多个感测所反射的IR光的相机。通过检测角膜的反射的已知成像技术，可以标识出瞳孔的位置。例如，参见2008年7月22日颁发给Kranz等人的、名称为“Head mounted eye tracking and display system(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920，该专利通过引用结合于此。这样的技术可以定位眼睛的中心相对于跟踪相机的位置。一般而言，眼睛跟踪涉及获得眼睛的图像以及使用计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足够了，因为眼睛通常一致地移动。然而，单独地跟踪每只眼睛是可能的。或者，眼睛跟踪相机可以是使用眼睛的基于任何运动的图像在有或没有照明源的情况下检测位置的跟踪相机的替换形式。
在一个实施例中，该系统将使用以矩形布置的4个IR LED和4个IR光电检测器，使得在头戴式显示设备2的透镜的每个角处存在一个IR LED和IR光电检测器。来自LED的光从眼睛反射离开。由在4个IR光电检测器中的每个处所检测到的红外光的量来确定瞳孔方向。也就是说，眼睛中眼白相对于眼黑的量将确定对于该特定光电检测器而言从眼睛反射离开的光量。因此，光电检测器将具有对眼睛中的眼白或眼黑的量的度量。从4个采样中，该系统可以确定眼睛的方向。
另一替代方案是如下面所讨论的那样使用4个红外LED，但是在头戴式显示设备2的透镜的侧边处仅仅使用一个红外CCD。该CCD将使用小镜和/或透镜(鱼眼)，使得CCD可以从镜框对高达75％的可见眼睛进行成像。然后，该CCD将感测图像并且使用计算机视觉来找出该图像，就像下面所讨论的那样。因此，尽管图2示出了具有一个IR发射器的一个部件，但是图2的结构可以被调整为具有4个IR发射机和/或4个IR传感器。也可以使用多于或少于4个的IR发射机和/或多于或少于4个的IR传感器。
用于跟踪眼睛方向的另一实施例是基于电荷跟踪。该方案基于如下观察：视网膜携带可测量的正电荷并且角膜具有负电荷。传感器通过用户的耳朵来安装(靠近耳机130)以检测眼睛在转动时的电势并且有效地实时读出眼睛正在进行的动作。还可以使用用于跟踪眼睛的其他实施例，诸如安装在眼镜内部的小相机。
可以理解的是，一个或多个附加的检测器可被包括在头戴式显示设备2上。这种检测器可包括但不限于SONAR、LIDAR、结构化光、和/或被放置以检测设备的佩戴者可能正在查看的信息的飞行时间距离检测器。
图2仅仅示出了头戴式显示设备2的一半。完整的头戴式显示设备将包括另一组透视透镜、另一不透明度滤光器、另一光导光学元件、另一微显示器136、另一透镜122、朝向房间的相机、眼睛跟踪部件、微显示器、耳机以及温度传感器。在通过引用包含于此的2010年10月15日提交的题为“Fusing VirtualContent Into Real Content”(将虚拟内容融合到现实内容中)的美国专利申请号12/905952中示出头戴式显示器2的附加细节。
图3是描绘了头戴式显示设备2的各个组件的框图。图4是描述处理单元4的各个组件的框图。头戴式显示设备2(其组件在图3中描绘)用于基于确定用户与用户环境中一个或多个物体进行交互的意图，将经优化的图像显示给用户。另外，图3的头戴式显示设备组件包括跟踪各种状况的许多传感器。头戴式显示设备2将从处理单元4接收关于虚拟图像的指令，并且将传感器信息提供回给处理单元4。图3中描绘了处理单元4的组件，该处理单元4将从头戴式显示设备2、并且还从中枢计算设备12(参见图1)接收传感信息。基于该信息，处理单元4将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给图3的头戴式显示设备。
注意，图3的组件中的一些(例如朝向背面的相机113、眼睛跟踪相机134B、微显示器120、不透明度滤光器114、眼睛跟踪照明134A、耳机130和温度传感器138)是以阴影示出的，以指示这些的设备中的每个都存在两个，其中一个用于头戴式显示设备2的左侧，并且一个用于头戴式显示设备2的右侧。图3示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲区218、显示器驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路200的所有组件都通过专用线路或一个或多个总线彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。相机接口216提供到两个朝向房间的相机113的接口，并且将从朝向房间的相机所接收到的图像存储在相机缓冲器218中。显示器驱动器220将驱动微显示器120。显示格式化器222向控制不透明度滤光器114的不透明度控制电路224提供关于微显示器120上所显示的虚拟图像的信息。定时生成器226被用于向该系统提供定时数据。显示输出接口228是用于将图像从朝向房间的相机113提供给处理单元4的缓冲器。显示输入230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲区。显示输出228和显示输入230与作为到处理单元4的接口的带接口232进行通信。
电源管理电路202包括稳压器234、眼睛跟踪照明驱动器236、音频DAC和放大器238、话筒前置放大器音频ADC 240、温度传感器接口242、以及时钟生成器244。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。眼睛跟踪照明驱动器236都如上面所述的那样为眼睛跟踪照明134A提供IR光源。音频DAC和放大器238从耳机130接收音频信息。话筒前置放大器和音频ADC 240提供话筒110的接口。温度传感器接口242是温度传感器138的接口。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。
图4是描述处理单元4的各个组件的框图。图4示出与电源管理电路306通信的控制电路304。控制电路304包括：中央处理单元(CPU)320；图形处理单元(GPU)322；高速缓存324；RAM 326；与存储器330(例如D-RAM)进行通信的存储器控制器328；与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332；通过带接口302和带接口232与头戴式显示设备2进行通信的显示输出缓冲区336；经由带接口302和带接口232与头戴式显示设备2进行通信的显示输入缓冲区338；与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340，用于连接到无线通信设备346的PCI express接口；以及USB端口348。在一个实施例中，无线通信设备346可以包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可以用于将处理单元4对接到中枢计算设备12，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。下面提供更多的细节。
电源管理电路306包括时钟生成器360、模数转换器362、电池充电器364、电压调节器366、头戴式显示器电源376、以及与温度传感器374进行通信的温度传感器接口372(其位于处理单元4的腕带(Wrist band)上)。模数转换器362连接到充电插座370以用于接收AC供电并为该系统产生DC供电。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电能时对电池368进行充电(通过电压调节器366)。HMD电源376向头戴式显示设备2提供电能。
上述系统将被配置为将虚拟图像插入到用户的视野中，使得该虚拟图像替换现实世界物体的视图。替代地，可插入虚拟图像而不替换现实世界物体的图像。在各个实施例中，虚拟图像将基于被替换的物体或者该图像将被插入的环境而被调整为与合适的取向、大小和形状相匹配。另外，虚拟图像可以被调整为包括反射和阴影。在一个实施例中，头戴式显示设备12、处理单元4以及中枢计算设备12一起工作，因为每个设备都包括用于获得用于确定在何处、何时以及如何插入虚拟图像的数据的传感器的子集。在一个实施例中，确定在何处、如何以及何时插入虚拟图像的计算是由中枢计算设备12执行的。在另一实施例中，这些计算由处理单元4来执行。在另一实施例中，这些计算中的一些由中枢计算设备12来执行，而其他计算由处理单元4来执行。在其他实施例中，这些计算可以由头戴式显示设备12来执行。
在一个示例实施例中，中枢计算设备12将创建用户所处的环境的模型，并且跟踪在该环境中的多个移动物体。在替换实施例中，通过其他方式来确定环境中感兴趣的物体和用户。另外，中枢计算设备12通过跟踪头戴式显示设备2的位置和取向来跟踪头戴式显示设备2的视野。该模型和跟踪信息被从中枢计算设备12提供给处理单元4。由头戴式显示设备2所获得的传感器信息被传送给处理单元4。然后，处理单元4使用其从头戴式显示设备2接收的其他传感器信息来细化用户的视野并且向头戴式显示设备2提供关于如何、在何处以及何时插入虚拟图像的指令。
图5示出了具有捕捉设备的中枢计算系统12的示例性实施例。在一个实施例中，捕捉设备20A和20B是相同结构，因此，图5仅仅示出了捕捉设备20A。根据一示例性实施例，捕捉设备20A可被配置为通过可包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一个实施例，捕捉设备20A可将深度信息组织成“Z层”、或者可与从深度相机沿其视线延伸的Z轴垂直的层。
如图5所示，捕捉设备20A可以包括相机组件423。根据一示例性实施例，相机组件423可以是或者可以包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每个像素都可以表示深度值，比如所捕捉的场景中的物体与相机相距的例如以厘米、毫米等为单位的距离。
相机组件23可以包括可用于捕捉场景的深度图像的红外(IR)光组件425、三维(3D)相机426、以及RGB(视觉图像)相机428。例如，在飞行时间分析中，捕捉设备20A的IR光组件425可以将红外光发射到场景上，并且然后可以使用传感器(在一些实施例中包括未示出的传感器)、例如使用3D相机426和/或RGB相机428来检测从场景中的一个或多个目标和物体的表面后向散射的光。在一些实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲和相应的入射光脉冲之间的时间并将其用于确定从捕捉设备20A到场景中的目标或物体上的特定位置的物理距离。附加地，在其他示例实施例中，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。
根据另一示例性实施例，可使用飞行时间分析，以通过经由包括例如快门式光脉冲成像之类的各种技术分析反射光束随时间的强度来间接地确定从捕捉设备20A到目标或物体上的特定位置的物理距离。
在另一示例性实施例中，捕捉设备20A可使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即，被显示为诸如网格图案、条纹图案、或不同图案之类的已知图案的光)可经由例如IR光组件424被投影到场景上。在落到场景中的一个或多个目标或物体的表面上时，作为响应，图案可变形。图案的这种变形可由例如3D相机426和/或RGB相机428(和/或其他传感器)来捕捉，然后可被分析以确定从捕捉设备到目标或物体上的特定位置的物理距离。在一些实施方式中，IR光组件425与相机425和426分开，使得可以使用三角测量来确定与相机425和426相距的距离。在一些实施方式中，捕捉设备20A将包括感测IR光的专用IR传感器或具有IR滤光器的传感器。
根据另一实施例，捕捉设备20A可以包括两个或更多个在物理上分开的相机，这些相机可以从不同的角度观察场景以获得视觉立体数据，这些视觉立体数据可以被分辨以生成深度信息。也可使用其他类型的深度图像传感器来创建深度图像。
捕捉设备20A还可以包括话筒430，所述话筒430包括可以接收声音并将其转换成电信号的换能器或传感器。话筒430可用于接收也可由中枢计算系统12来提供的音频信号。
在一示例实施例中，捕捉设备20A还可包括可与图像相机组件423进行通信的处理器432。处理器432可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令例如包括用于接收深度图像、生成合适的数据格式(例如，帧)以及将数据传送给中枢计算系统12的指令。
捕捉设备20A还可包括存储器434，该存储器434可存储由处理器432执行的指令、由3D相机和/或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例性实施例，存储器434可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图5所示，在一个实施例中，存储器434可以是与图像捕捉组件423和处理器432进行通信的单独组件。根据另一实施例，存储器组件434可被集成到处理器432和/或图像捕捉组件422中。
捕捉设备20A和20B通过通信链路436与中枢计算系统12通信。通信链路436可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等的无线连接。根据一个实施例，中枢计算系统12可以通过通信链路436向捕捉设备20A提供可用于确定例如何时捕捉场景的时钟。附加地，捕捉设备20A通过通信链路436将由例如3D相机426和/或RGB相机428捕捉的深度信息和视觉(例如RGB)图像提供给中枢计算系统12。在一个实施例中，深度图像和视觉图像以每秒30帧的速率来传送，但是可以使用其他帧速率。中枢计算系统12然后可以创建模型并使用模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或文字处理程序等的应用和/或使化身或屏上人物动画化。
中枢计算系统12包括深度图像处理和骨架跟踪模块450，该模块使用深度图像来跟踪可被捕捉设备20A的深度相机功能检测到的一个或多个人。深度图像处理和骨架跟踪模块450向应用453提供跟踪信息，该应用可以是视频游戏、生产性应用、通信应用或其他软件应用等。音频数据和视觉图像数据也被提供给应用452和深度图像处理和骨架跟踪模块450。应用452将跟踪信息、音频数据和视觉图像数据提供给识别器引擎454。在另一实施例中，识别器引擎454直接从深度图像处理和骨架跟踪模块450接收跟踪信息，并直接从捕捉设备20A和20B接收音频数据和视觉图像数据。
识别器引擎454与过滤器460、462、464、……、466的集合相关联，每个过滤器都包括关于可被捕捉设备20A或20B检测到的任何人或物体执行的姿势、动作或状况的信息。例如，来自捕捉设备20A的数据可由过滤器460、462、464、……、466来处理，以便标识出一个用户或一组用户已经何时执行了一个或多个姿势或其他动作。这些姿势可与应用452的各种控制、物体或状况相关联。因此，中枢计算系统12可以将识别器引擎454和过滤器一起用于解释和跟踪物体(包括人)的移动。
捕捉设备20A和20B向中枢计算系统12提供RGB图像(或其他格式或色彩空间的视觉图像)和深度图像。深度图像可以是多个观测到的像素，其中每个观测到的像素具有观测到的深度值。例如，深度图像可包括所捕捉的场景的二维(2D)像素区域，其中2D像素区域中的每个像素都可具有深度值，比如所捕捉的场景中的物体与捕捉设备相距的距离。中枢计算系统12将使用RGB图像和深度图像来跟踪用户或物体的移动。例如，系统将使用深度图像来跟踪人的骨架。可以使用许多方法以通过使用深度图像来跟踪人的骨架。使用深度图像来跟踪骨架的一个合适的示例在Craig等人2009年10月21日提交的美国专利申请12/603,437“Pose Tracking Pipeline(姿态跟踪流水线)”(以下称为’437申请)中提供，该申请的全部内容通过引用结合于此。‘437申请的过程包括：获得深度图像；对数据进行降采样；移除和/或平滑化高方差噪声数据；标识并移除背景；以及将前景像素中的每个像素分配给身体的不同部位。基于这些步骤，系统将使一模型拟合到该数据并创建骨架。该骨架将包括一组关节和这些关节之间的连接。也可使用用于跟踪的其他方法。在下列四个美国专利申请中还公开了合适的跟踪技术，所述专利的全部内容都通过引用结合于此：于2009年5月29日提交的的美国专利申请12/475,308“Device forIdentifying and Tracking Multiple Humans Over Time(用于随时间标识和跟踪多个人类的设备)”；于2010年1月29日提交的美国专利申请12/696,282“VisualBased Identity Tracking(基于视觉的身份跟踪)”；于2009年12月18日提交美国专利申请12/641,788“Motion Detection Using Depth Images(使用深度图像的运动检测)”；以及于2009年10月7日提交的美国专利申请12/575,388“Human Tracking System(人类跟踪系统)”。
识别器引擎454包括多个过滤器460、462、464、……、466来确定姿势或动作。过滤器包括定义姿势、动作或状况以及该姿势、动作或状况的参数或元数据的信息。例如，包括一只手从身体背后经过身体前方的运动的投掷可被实现为包括表示用户的一只手从身体背后经过身体前方的运动的信息的姿势，因为该运动将由深度相机来捕捉。然后可为该姿势设定参数。当姿势是投掷时，参数可以是该手必须达到的阈值速度、该手必须行进的距离(绝对的，或相对于用户的整体大小)、以及识别器引擎对发生了该姿势的置信度评级。用于姿势的这些参数可以随时间在各应用之间、在单个应用的各上下文之间、或在一个应用的一个上下文内变化。
过滤器可以是模块化的或是可互换的。在一个实施例中，过滤器具有多个输入(这些输入中的每一个具有一类型)以及多个输出(这些输出中的每一个具有一类型)。第一过滤器可用具有与第一过滤器相同数量和类型的输入和输出的第二过滤器来替换而不更改识别器引擎架构的任何其他方面。例如，可能具有用于驱动的第一过滤器，该第一过滤器将骨架数据作为输入并输出与该过滤器相关联的姿势正在发生的置信度和转向角。在希望用第二驱动过滤器来替换该第一驱动过滤器的情况下(这可能是因为第二驱动过滤器更高效且需要更少的处理资源)，可以通过简单地用第二过滤器替换第一过滤器来这样做，只要第二过滤器具有同样的输入和输出——骨架数据类型的一个输入、以及置信度类型和角度类型的两个输出。
过滤器不需要具有参数。例如，返回用户的高度的“用户高度”过滤器可能不允许可被调节的任何参数。备选的“用户高度”过滤器可具有可调节参数，比如在确定用户的高度时是否考虑用户的鞋、发型、头饰以及体态。
对过滤器的输入可包括诸如关于用户的关节位置的关节数据、在关节处相交的骨所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。来自过滤器的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及作出姿势运动的时间等内容。
识别器引擎454可以具有向过滤器提供功能的基本识别器引擎。在一实施例中，识别器引擎454所实现的功能包括：跟踪所识别的姿势和其他输入的随时间输入(input-over-time)存档；隐马尔可夫模型实施方式(其中所建模的系统被假定为马尔可夫过程-该过程是其中当前状态封装了用于确定将来状态所需的任何过去状态信息，因此不必为此目的而维护任何其他过去状态信息的过程-该过程具有未知参数，并且隐藏参数是从可观察数据来确定的)；以及求解姿势识别的特定实例所需的其他功能。
过滤器460、462、464、……、466在识别器引擎454之上加载并实现，并且可利用识别器引擎454提供给所有过滤器460、462、464、……、466的服务。在一个实施例中，识别器引擎454接收数据来确定该数据是否满足任何过滤器460、462、464、……、466的要求。由于这些所提供的诸如解析输入之类的服务是由识别器引擎454一次性提供而非由每个过滤器460、462、464、……、466提供的，因此这样的服务在一段时间内只需被处理一次而不是在该时间段对每个过滤器处理一次，因此减少了确定姿势所需的处理。
应用452可使用识别器引擎454所提供的过滤器460、462、464、……、466，或者它可提供其自己的、插入到识别器引擎454中的过滤器。在一实施例中，所有过滤器具有启用该插入特性的通用接口。此外，所有过滤器可利用参数，因此可使用以下单个姿势工具来诊断并调节整个过滤器系统。
关于识别器引擎454的更多信息可在2009年4月13日提交的美国专利申请12/422,661“Gesture Recognizer System Architecture(姿势识别器系统架构)”中找到，该申请通过引用整体并入本文。关于识别姿势的更多信息可在2009年2月23日提交的美国专利申请12/391,150“Standard Gestures(标准姿势)”；以及2009年5月29日提交的美国专利申请12/474,655“Gesture Tool(姿势工具)”中找到，这两个申请的全部内容都通过引用结合于此。
在一个实施例中，计算系统12包括用户简档数据库470，该用户简档数据库470包括于同中枢计算系统12交互的一个或多个用户相关的用户专用信息。在一个实施例中，用户专用信息包括诸如下列与用户相关的信息：用户所表达的偏好；用户的朋友的列表；用户所偏好的活动；用户的提醒列表；用户的社交组；用户的当前位置；用户过去与该用户的环境中的物体交互的意图；以及用户创建的其它内容，比如用户的照片、图像和所记录的视频。在一个实施例中，用户专用信息可以从一个或多个诸如下列数据源获得：用户的社交站点、地址簿、电子邮件数据、即时通讯数据、用户简档或者因特网上的其他源。在一种方法中并且如将在下面详细描述的那样，用户专用信息用于自动确定用户与该用户的环境中的一个或多个物体交互的意图。
图6示出了可用于实现中枢计算系统12的计算系统的示例性实施例。如图6所示，多媒体控制台500具有含有一级高速缓存502、二级高速缓存504和闪存ROM(只读存储器)506的中央处理单元(CPU)501。1级高速缓存502和2级高速缓存504临时存储数据，并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 501可以被配备为具有一个以上的核，并且由此具有附加的1级和2级高速缓存502和504。闪存ROM 506可存储在多媒体控制台500通电时在引导过程初始化阶段加载的可执行代码。
图形处理单元(GPU)508和视频编码器/视频编解码器(编码器/解码器)514形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元508向视频编码器/视频编解码器514运送数据。视频处理流水线向A/V(音频/视频)端口540输出数据，用于传输至电视或其他显示器。存储器控制器510连接到GPU 508以方便处理器访问各种类型的存储器512，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台500包括优选地在模块518上实现的I/O控制器520、系统管理控制器522、音频处理单元523、网络接口524、第一USB主控制器526、第二USB控制器528以及前面板I/O子部件530。USB控制器526和528用作外围控制器542(1)-542(2)、无线适配器548、和外置存储器设备546(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口524和/或无线适配器548提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器543来存储在引导过程期间加载的应用数据。提供介质驱动器544，且其可包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器、或其他可移动介质驱动器等。介质驱动器144可位于多媒体控制台500的内部或外部。应用数据可经由介质驱动器544访问，以由多媒体控制台500执行、回放等。介质驱动器544经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器520。
系统管理控制器522提供涉及确保多媒体控制台500的可用性的各种服务功能。音频处理单元523和音频编解码器532形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元523与音频编解码器532之间传输。音频处理流水线将数据输出到A/V端口540以供外部音频用户或具有音频能力的设备再现。
前面板I/O子部件530支持暴露在多媒体控制台100的外表面上的电源按钮550和弹出按钮552以及任何LED(发光二极管)或其他指示器的功能。系统供电模块536向多媒体控制台100的组件供电。风扇538冷却多媒体控制台500内的电路。
CPU 501、GPU 508、存储器控制器510、和多媒体控制台500内的各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台500通电时，应用数据可从系统存储器543加载到存储器512和/或高速缓存502、504中并在CPU 501上执行。应用可呈现在导航到多媒体控制台500上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，介质驱动器544中包含的应用和/或其他媒体可从介质驱动器544启动或播放，以向多媒体控制台500提供附加功能。
多媒体控制台500可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台500允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口524或无线适配器548可用的宽带连接的集成，多媒体控制台500还可作为更大网络社区中的参与者来操作。附加地，多媒体控制台500可以通过无线适配器548与处理单元4通信。
当多媒体控制台500通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器、CPU和GPU周期、网络带宽等等的保留。因为这些资源是在系统引导时保留的，所以所保留的资源从应用的角度而言是不存在的。具体而言，存储器保留优选地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，显示由系统应用程序生成的轻量消息(例如，弹出窗口)，所述显示是通过使用GPU中断来调度代码以将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器(scaler)可用于设置该分辨率，从而消除了对改变频率并引起TV重新同步的需求。
在多媒体控制台500引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 501上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
任选的输入设备(例如，控制器542(1)和542(2))由游戏应用和系统应用共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器优选地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。捕捉设备20A和20B可以通过USB控制器526或其他接口来为控制台500定义附加的输入设备。在其他实施例中，中枢计算系统12可以使用其他硬件架构来实现。没有一种硬件架构是必需的。
图1示出了与一个中枢处理设备12(称为中枢)通信的一个头戴式显示设备2和处理单元4(统称为移动显示设备)。在另一实施例中，多个移动显示设备可以与单个中枢通信。每个移动显示设备都将如上述那样使用无线通信与中枢通信。在这样的实施例中所构思的是，有益于所有移动显示设备的信息中的许多都将在中枢处被计算和存储并且传送给每个移动显示设备。例如，中枢将生成环境的模型并且将该模型提供给与该中枢通信的所有移动显示设备。附加地，中枢可以跟踪移动显示设备以及房间中的移动物体的位置和取向，并且然后将该信息传输给每个移动显示设备。
在另一实施例中，系统可以包括多个中枢，其中每个中枢都包括一个或多个移动显示设备。这些中枢可以直接地或者通过因特网(或者其他网络)彼此通信。例如，图7示出了中枢560、562和564。中枢560直接与中枢562通信。中枢560通过因特网与中枢564通信。中枢560与移动显示设备570、572...574通信。中枢562与移动显示设备578、580...582通信。中枢564与移动显示设备584、586...588通信。每个移动显示设备都如上面所讨论的那样通过无线通信与其相应的中枢通信。如果这些中枢处于共同的环境中，则每个中枢都可以提供该环境的模型的一部分，或者一个中枢可以为其他中枢创建该模型。每个中枢都将跟踪移动物体的子集并且将该信息与其他中枢共享，所述其他中枢进而将与合适的移动显示设备共享该信息。用于移动显示设备的传感器信息将被提供给其相应的中枢，并且然后与其他中枢共享以用于最终与其他移动显示设备共享。因此，在中枢间共享的信息可以包括骨架跟踪、关于模型的信息、各种应用状态、以及其他跟踪。在中枢及其相应的移动显示设备之间传递的信息包括：移动物体的跟踪信息、世界模型的状态和物理更新、几何和纹理信息、视频和音频、以及用于执行在此所述的操作的其他信息。
图8示出了用于优化被呈现给头戴式显示设备的用户的可视化信息的显示的过程的一个实施例。在步骤600，配置系统10。例如，应用(例如图5的应用452)可以将该系统配置为指示：经优化的图像将被插入到场景的三维模型中的指定位置处。在另一示例中，在中枢计算系统12上运行的应用将指示：扩展内容(比如特定的虚拟图像或虚拟物体)将作为视频游戏或其他进程的一部分被插入到该场景中。
在步骤605，将确定用户环境中感兴趣的物体。在一个实施例中，这可以通过如步骤602-606所略述的创建用户空间的三维模型来执行。在步骤602，该系统将创建头戴式显示设备2所处的空间的体积模型。例如在一个实施例中，中枢计算设备12将使用来自一个或多个深度相机的深度图像来创建头戴式显示设备2所处的环境或场景的三维模型。在步骤604，将该模型分割成一个或多个物体。例如，如果中枢计算设备12创建房间的三维模型，则该房间很可能在里面具有多个物体。可以处于房间中的物体的示例包括：人、椅子、桌子、沙发椅等等。步骤604包括：确定彼此不同的物体。在步骤606，该系统将标识出这些物体。例如，中枢计算设备12可以标识出：特定物体是桌子并且另一物体是椅子。
可替代地，步骤605可以通过任何数目的手段来执行。在一个实施例中，传感器可被嵌入到一个或多个物体或房间内的人。传感器可用于标识用户环境中的物体，该传感器发射标识感兴趣的物体或提供附加信息的可检测的信号，该附加信息诸如物体的类型以及相对于特定的应用一个人可能对物体具有的兴趣度。或者，其他传感器技术可用于标识以上公开的任一捕捉设备的范围以内的物体，位于环境中或头戴式显示设备上的采用其他距离检测传感器技术(诸如SONAR、LIDAR、结构化光、和/或飞行时间距离检测器)的其他传感器设备均可用于提供可能的聚焦物体及其形状。
另一个替换是使用一个或多个以上描述的深度相机来每次一帧地执行环境的立体重构。在另一个替换中，物体本身可以发射定向到头戴式显示器的光脉冲，并且向该显示器指示对该物体感兴趣以及包括该物体的显示器的部分应被突出显示。
在图8的步骤608，该系统基于模型或以上技术来确定用户的视野。也就是说，该系统确定用户正在查看的环境或空间的一部分。在一个实施例中，步骤608可以使用中枢计算设备12、处理单元4和头戴式显示设备2来执行。在一个示例实现中，中枢计算机设备12将跟踪用户和头戴式显示设备2以便提供对头戴式显示设备2的位置和取向的初步确定。头戴式显示设备2上的传感器将用于细化所确定的取向。例如，上述惯性传感器34可以用于细化头戴式显示设备2的取向。附加地，可以使用下面所述的眼睛跟踪过程来标识出最初所确定的视野的与用户具体正在查看之处相对应的子集(另称为视野中的用户聚焦区或深度焦点)。下面将参照图12、13A和13B来描述更多细节。
在步骤610，诸如在处理单元4中执行的软件之类的系统确定用户在该用户的视野内的当前聚焦区。如以下在图13A和13B中将进一步讨论的那样，基于由眼睛跟踪相机134针对每只眼睛所捕捉的数据的眼睛跟踪处理可以提供用户的当前聚焦区。例如，在有数据指示用户脸的情况下，瞳孔之间的集中可以用于三角测定聚焦曲线、双眼单视界上的焦点，从该焦点中可以计算出聚焦区、Panum汇合区域。Panum汇合区域是人眼所使用的代表双眼立体视觉的单视力区域。
在步骤612，处理单元4单独或与中枢计算设备12协作(在软件的控制下)确定用户与用户的聚焦区中的一个或多个物体进行交互的意图。在步骤614中，在软件的控制下，处理单元4单独或与中枢计算设备12协作以基于用户与一个或多个物体交互的意图，生成经优化的图像并且将经优化的图像显示给用户。
在步骤616，头戴式显示设备2的用户基于在头戴式显示设备2中所显示的经优化的图像来与运行在中枢计算设备12(或另一计算设备)上的应用交互。图8的处理步骤(608-616)可在系统操作期间持续地执行，使得在用户移动他或她的头时更新用户的视野和聚焦区，确定用户与用户的聚焦区中的一个或多个物体进行交互的意图，并且基于该用户的意图向用户显示经优化的图像。下面将更详细地描述步骤604-614中的每个。
图9描述了用户创建用户的空间的模型的过程的一个实施例。例如，图9的过程是图8的步骤602的一个示例性实施方式。在步骤620，中枢计算系统12接收头戴式显示设备所处的环境的多个视角(如图1所示)的一个或多个深度图像。例如，中枢计算设备12可以从多个深度相机获得深度图像，或者通过使相机指向不同方向或者使用具有如下透镜的相机来从同一相机获得多个深度图像：该透镜允许将要构建模型的环境或空间的全视图。在步骤622，基于共同的坐标系来组合来自各个深度图像的深度数据。例如，如果该系统从多个相机接收深度图像，则该系统将两个图像相关以具有共同的坐标系(例如使图像排齐)。在步骤624，使用深度数据来创建空间的体积描述。
图10是描述了用于将空间的模型分割成物体的过程的一个实施例的流程图。例如，图10的过程是图8的步骤604的一个示例实现。在图10的步骤626，该系统将如上面所讨论的那样从一个或多个深度相机接收一个或多个深度图像。可替代地，该系统可以访问其已经接收到的一个或多个深度图像。在步骤628，该系统将如上述那样从相机接收一个或多个视觉图像。可替代地，该系统可以访问已经接收到的一个或多个视觉图像。在步骤630，中枢计算系统将基于深度图像和/或视觉图像检测一个或多个人。例如，该系统将识别一个或多个骨架。在步骤632，中枢计算设备将基于深度图像和/或视觉图像检测该模型内的边缘。在步骤634，中枢计算设备将使用所检测到的边缘来标识出彼此不同的物体。例如，假定：这些边缘是物体之间的边界。在步骤636，将更新使用图9的过程所创建的模型以示出：该模型的哪些部分与不同的物体相关联。
图11是描述用于标识物体的过程的一个实施例的流程图。例如，图11A的过程是图8的步骤606的一个示例实现。在步骤640，中枢计算设备12将所标识出的人与用户身份进行匹配。例如，用户简档可包括与捕捉设备所接收的检测到的物体的图像相匹配的视觉图像。或者，用户简档可以描述可基于深度图像或视觉图像来匹配的人的特征。在另一实施例中，用户可以登陆到系统中并且中枢计算设备12可以使用登陆过程来标识出特定用户并且在此处所述的交互的整个过程中跟踪该用户。在步骤642，中枢计算设备12将访问形状数据库。在步骤644，中枢计算设备将模型中的多个物体与数据库中的形状进行匹配。在步骤646，将突出显示不匹配的那些形状并且将其显示给用户(例如使用监视器16)。在步骤648，中枢计算设备12将接收标识出所突出形状中的每个(或其子集)的用户输入。例如，用户可以使用键盘、鼠标、语音输入、或者其他类型的输入来指示：每个未标识出的形状是什么。在步骤650，基于步骤648中的用户输入来更新形状数据库。在步骤652，通过添加每个物体的元数据来进一步更新在步骤602被创建并且在步骤636被更新的环境模型。该元数据标识出该物体。例如，该元数据可以指示：特定物体处于擦亮的桌、某人、绿色真皮沙发椅等等的周围。
图11B是描述了用于响应于移动物体(例如移动的人或其他类型的物体)而更新通过图8的过程所创建的模型的过程的一个实施例的流程图。在步骤654，该系统确定物体在移动。例如，系统将持续地接收深度图像。如果深度图像随时间改变，则物体在移动。如果未检测到移动物体，则该系统将继续接收深度图像并且继续寻找移动物体。
如果存在移动物体，则在步骤654，该系统将标识出正在移动的物体。可以使用帧差异或各种任何跟踪技术来识别移动物体，并且将所识别的物体与在图8的步骤606所标识出的物体之一相关。一些物体将在移动时改变形状。例如，人类可能在其行走或奔跑时改变形状。在步骤658，标识出并存储移动物体的新形状。在步骤660，基于移动物体的新的位置和形状来更新之前创建的空间模型。图11B的过程可以由中枢计算设备12的处理单元4来执行。
图12是描述了如下过程的一个实施例的流程图：用于确定用户视野的过程，该过程是图8的步骤608的示例性实施方式；以及用于确定用户聚焦区的过程，该过程是图8的步骤610的示例性实施方式。图12的过程依靠来自中枢计算设备12的信息和上述眼睛跟踪技术。图13A是描述了由中枢计算系统执行以提供图12的过程中使用的跟踪信息的过程的一个实施例的流程图。图13B是描述了用于跟踪眼睛的过程的一个实施例的流程图，其中该过程的结果供图12的过程来使用。
在图13A的步骤686，中枢计算设备12将跟踪用户的位置。例如，中枢计算设备12将使用一个或多个深度图像和一个或多个视觉图像来跟踪用户(例如使用骨架跟踪)。可以在步骤688使用一个或多个深度图像和一个或多个视觉图像来确定头戴式显示设备2的位置和头戴式显示设备2的取向。在步骤690，将用户和头戴式显示设备2的位置和取向从中枢计算设备12传送给处理单元4。在步骤692，在处理单元4处接收该位置和取向信息。图13A的处理步骤可以在系统的操作期间连续地执行，使得用户被连续地跟踪。
图13B是描述用于跟踪在环境中用户的眼睛位置的一个实施例的流程图。在步骤662，照亮眼睛。例如，可以使用红外光从眼睛跟踪照明134A来照亮眼睛。在步骤664，使用一个或多个眼睛跟踪相机134B来检测来自眼睛的反射。在步骤665，将该反射数据从头戴式显示设备2发送给处理单元4。在步骤668，处理单元4将如上述那样基于反射数据来确定眼睛的位置。
图12是描述了用于确定用户的视野(例如图8的步骤608)以及用户的聚焦区(例如图8的步骤610)的过程的一个实施例的流程图。在步骤670，处理单元4将访问从中枢接收到的最新的位置和取向信息。图12的过程可以如从步骤686到步骤690的箭头所描绘的那样连续地执行，因此，处理单元4将周期性地从中枢计算设备12接收经更新的位置和取向信息。然而，处理单元4将需要与其从中枢计算设备12接收经更新的信息相比更频繁地绘制虚拟图像。因此，处理单元4将需要依靠本地感测的信息(例如来自头戴式设备2)以在来自中枢计算设备12的采样之间提供取向的更新。
在步骤672，处理单元4将访问来自三轴陀螺仪132B的数据。在步骤674，处理单元4将访问来自三轴加速度计132C的数据。在步骤676，处理单元4将访问来自三轴磁力计132A的数据。在步骤678，处理单元4将用来自该陀螺仪、加速度计和磁力计的数据来细化(或以其他方式更新)来自中枢计算设备12的位置和取向数据。在步骤680，处理单元4将基于头戴式显示设备的位置和取向来确定潜在的视角。
在步骤682，处理单元4将访问最新的眼睛位置信息。在步骤684，处理单元4将基于眼睛位置作为潜在视角的子集来确定用户所观看的模型的部分。例如，用户可以朝向墙壁，并且因此头戴式显示器的视点可以包括沿着墙壁的任何地方。然而，如果用户的眼睛指向右边，则步骤684将作出的结论是，用户的视野仅仅是墙壁的右边部分。在步骤684结束时，处理单元4已经确定了用户通过头戴式显示器2的视角。然后，处理单元4可标识该视野内的某位置以插入虚拟图像并使用不透明度滤光器来阻挡光。图12的处理步骤可以在系统的操作期间连续执行，使得用户的视野和聚焦区随着用户移动他或她的头而被连续更新。
图14是描述用于确定用户与用户聚焦区中的一个或多个物体进行交互的所推断或表达的意图的过程的一个实施例的流程图。例如，图14的过程是图8的步骤612的一个示例实现。图14的步骤可由中枢计算设备12或处理单元4在软件的控制下执行。图14描述了基于检测用户的聚焦区中用户的眼睛移动模式以及确定用户对用户的聚焦区中用户所查看的一个或多个物体的注视强度来确定用户与用户的聚焦区中的一个或多个物体进行交互的意图的过程。图14A描述了基于与用户有关的用户专用信息来推断用户与一个或多个物体或人进行交互的意图的过程。图14B描述了基于用户与一个或多个物体进行交互的所表达的意图来确定用户与一个或多个物体进行交互的意图的过程。
在图14的步骤690中，检测用户的聚焦区中用户的眼睛移动模式。如可以理解的是，眼睛移动通常被划分为凝视和扫视，分别是当眼睛注视暂停在特定位置时以及当它移动到另一个位置时。眼睛移动模式可因此被定义为在查看图像或视觉场景时用户的眼睛跟随的一系列凝视和扫视。所得的系列凝视和扫视通常被称为扫描路径，这是在查看视觉场景时用户的眼睛所沿着的路径。另外，使得来自眼睛的大部分信息在凝视期间可用。视角的中间一度或两度(小凹)提供大量的视觉信息，并且来自更大偏心率(周边)的输入具有较少的信息量。由此，沿扫描路径的凝视的位置示出用户的眼睛在查看视觉场景时所处理的激励上的信息位置。在一个示例中，沿扫描路径的凝视的位置可用于检测用户的聚焦区中由用户所查看的一个或多个物体。
在步骤692，确定用户是否正在查看用户的聚焦区中的一个或多个物体。如以上所讨论的，在一个示例中，沿扫描路径的凝视的位置可用于检测用户是否正在查看用户的聚焦区中的一个或多个物体。如果确定用户未在查看任何物体，则在一个实施例中，执行图14A中所描述的过程的步骤(710-716)。
如果确定用户正在查看用户的聚焦区中的一个或多个物体，则在步骤694中标识用户所查看的物体。可以通过利用图11中所描述的过程来标识一个或多个物体。例如，物体可被标识为挂钟、圆的擦亮的桌、某人、绿色真皮沙发椅等。在步骤696中，确定对用户的聚焦区中用户所查看的一个或多个物体的用户的注视强度。在一个示例中，基于确定时间窗内用户对物体的注视(或凝视)持续时间来确定用户的注视强度。
在步骤698中，确定用户的注视强度是否大于预定义的阈值。在一个示例中，预定义的阈值是10秒。如果注视强度大于预定义的阈值，则在步骤700推断用户与用户的聚焦区中的一个或多个物体进行交互的意图。在一个示例中，用户环境中的每个物体可包括表示用户与物体进行交互的意图的参数。在一个示例中，在确定用户与物体进行交互的意图之后，系统10可为物体的参数分配二进制值，其中二进制值1指示用户与物体进行交互的意图。在步骤700中，用户的意图被存储在用户简档数据库470中。
在另一个示例中，(在步骤696中确定的)用户的注视强度也可确定用户在查看物体时所执行的活动的类型。例如，从用户的注视强度得到的扫视序列的长度可用于确定用户是否正在搜索/浏览物体、阅读物体所显示的一行文本、考虑物体或认真地查看物体。在一个实施例中，由用户的注视强度所确定的用户执行的活动的类型还可用于推断用户与物体进行交互的意图。
在步骤698中，如果确定用户的注视强度不大于预定义的阈值，则在一个实施例中，执行图14B中所描述的过程的步骤(720-724)。
图14A是描述用于确定用户与用户聚焦区中一个或多个物体进行交互的意图的过程的另一个实施例的流程图。在一个实施例中，当用户的眼睛移动模式指示该用户未在查看用户的聚焦区中的任何特定物体时(例如，图14的步骤692)，执行图14A中所描述的过程。例如，考虑佩戴HMD设备的用户具有低于正常视力并且可能无法非常清楚地看到他或她环境中的物体或人的示例性情形。在一种方法中，通过访问与用户有关的用户专用信息来自动地推断用户与用户的聚焦区中一个或多个物体进行交互的意图。在以下步骤710-716中描述用于自动地确定用户的意图的过程。
在步骤710中，从用户简档数据库470访问与用户有关的用户专用信息。如以上所讨论的，用户专用信息包括诸如下列与用户相关的信息：用户所表达的偏好，用户的朋友的列表，用户所偏好的活动，用户的社交组，用户的当前位置，用户过去与物体进行交互的意图，用户的提醒，以及用户创建的其它内容，诸如用户的照片、图像和所记录的视频。
在步骤712中，确定用户的聚焦区中的任一物体或人是否与用户专用信息相关。例如，在用户正试图在聚会上寻找他或她的朋友的示例性情形中，可以将出现在用户的聚焦区中的人与关于用户的用户专用信息相关，以确定这些人中的一个或多个是否对应于用户朋友中的任一个。例如，面部识别技术可用于将用户聚焦区中的人的图像与存储在用户简档数据库470中的用户的朋友的视觉图像相关，以确定用户聚焦区中的一个或多个人是否对应于用户朋友中的任一个。
在步骤712中，如果确定用户的聚焦区中没有物体或人与用户专用信息相关，则在步骤704中，过程返回跟踪图8的步骤608中的用户的视野。在一个示例中，当确定用户的聚焦区中没有物体或人与用户专用信息相关时，诸如“当前在您的聚焦区中不存在感兴趣的物体或人”的虚拟文本消息可经由用户的HMD显示给用户。
在步骤714中，基于相关来标识一个或多个物体或人。例如，人可被标识为用户的朋友，John Doe和Sally Doe。在另一个实施例中，用户的密钥可被标识为放置在场景内。在步骤716中，基于相关来自动地推断用户与所标识的物体或人进行交互的意图。如以上所讨论的，在一个示例中，系统在确定用户与物体或人进行交互的意图之后，为一个或多个所标识的物体或人表示的参数分配二进制值。在步骤716中，用户与一个或多个所标识的物体进行交互的意图被存储在用户简档数据库470中。步骤716可包括基于用户专用或外部因素来自动地推断意图。这种因素可包括但不限于用户的日历或日程表信息、如存储在联系人数据库或社交图中的用户的朋友信息、地理定位信息、一天中的时间等。例如，用户专用信息可指示在星期一该用户被安排参见会议，并且用户的膝上型计算机位于视野内。根据以下图15C所提供的描述，系统可以突出显示膝上型计算机以引起用户记得带上膝上型计算机同他们一起参加会议。
图14B是描述用于基于用户与一个或多个物体进行交互的所表达的意图来确定用户与一个或多个物体进行交互的意图的过程的另一个实施例的流程图。在一个实施例中，执行图14B中所描述的过程，例如当确定用户正在查看用户的聚焦区中的一个或多个物体但用户的注视强度不足够长时(即注视强度不大于预定的阈值，如图14的步骤698中所讨论的)。在步骤720中，提示用户指定或表达与用户聚焦区中的一个或多个物体进行交互的意图。在一个示例中，系统可经由用户的HMD设备向用户显示虚拟文本以提示用户指定与一个或多个物体进行交互的意图。例如，可以经由诸如语音输入、键盘输入、触摸或姿势的用户物理动作来提示用户指定意图。语音输入可以是用户发出的语音命令，诸如口述单词、口哨、喊叫和其他发声。例如，在用户试图在聚会上寻找他或她的朋友的示例性情形中，用户可以发出诸如“帮我寻找我的朋友！”的命令。
还可以从用户接收诸如拍手的非口声声音。在一个示例中，语音输入或非口声声音可以由图3所示的头戴式显示器中的话筒110或图5所示的捕捉设备423中的话筒430来捕捉。来自用户的姿势可包括用户所表现的面部表情，诸如微笑、大笑或欢呼。在一个示例中，姿势可由中枢计算设备12中识别器引擎454来捕捉。
在步骤722中，确定是否已从用户接收与一个或多个物体进行交互的意图。如果尚未接收用户的意图，则在步骤704中，过程返回跟踪图8的步骤608中的用户的视野。如果(经由物理动作)已经接收用户的意图，则确定用户与一个或多个物体进行交互的意图，并将用户所指定或表达的意图存储到用户简档数据库470中。
图15A是描述用于基于确定用户与一个或多个物体进行交互的所推断或表达的意图，生成经优化的图像并将该经优化的图像显示给用户的过程的一个实施例的流程图。在一个实施例中，生成经优化的图像包括视觉上增强用户的聚焦区中用户打算与之交互的物体的外观，并且缩小用户的聚焦区以外但在用户的视野内的用户不打算与之交互的物体的外观。例如，图15A的过程是图8的步骤614的一个示例实现。图15A的步骤可由中枢计算设备12或处理单元4在软件的控制下执行。
在步骤730中，缩小位于用户的聚焦区以外但在用户的视野内的物体的外观。在一个实施例中，HMD设备2中的不透明度滤光器114用于阻挡或变暗位于用户的聚焦区以外的物体从而缩小位于用户的聚焦区以外的物体的外观。由此，包括用户不感兴趣的物体的真实世界场景的一部分可被不透明度滤光器114阻挡无法达到用户的眼睛，使得用户聚焦区中的用户打算与之交互的物体可被用户清楚地看到。
在步骤732中，视觉上增强了用户聚焦区中的用户打算与之交互的物体。在一个实施例中，HMD设备2中的微显示部件120用于视觉上增强用户聚焦区中的物体。在一种方法中，通过突出显示物体的边缘来视觉上增强该物体。在另一种方法中，通过在物体所位于的区域中显示虚拟框、圆圈或视觉指示符来视觉上增强该物体。另外，颜色也可用于视觉上增强物体。
在步骤734中，检索与一个或多个物体有关的扩展内容。在一个示例中，扩展内容可包括从用户简档数据库470中检索的用户专用信息。在另一个示例中，扩展内容可包括实时地从一个或多个诸如下列数据源检索的用户专用信息：用户的社交联网站点、地址簿、电子邮件数据、即时通讯数据、用户简档或者因特网上的其他源。
在步骤736中，提取与所标识的物体有关的音频内容。步骤736是可选的。例如，如果用户正在看用户起居室中的挂钟，并且确定用户打算与挂钟物体进行交互，则用户可听到关于时间的音频信息。或者例如，如果用户与他或她的朋友在聚会上，并且确定用户打算与聚会上特定组的朋友进行交互，则用户可以仅听到来自该特定组的朋友的声音。
在步骤738中，扩展内容被投影到用户聚焦区中的一个或多个物体上或旁边。在一个示例中，扩展内容是包括显示给用户的一个或多个虚拟物体或虚拟文本的虚拟图像。在另一个示例中，扩展内容可包括诸如具有一个或多个选项的菜单的虚拟物体。
在步骤740中，经优化的图像经由头戴式显示设备2显示给用户。经优化的图像包括用户聚焦区中的物体的已增强的外观、用户聚焦区以外的物体的已缩小的外观，并且可以可选地包括与一个或多个物体有关的扩展内容。在图16A-C、17A-D和18A-C中示出生成经优化的图像并将该经优化的图像显示给用户的方式的示例性说明。
在一个示例中，处理单元4发送指令到控制电路136的显示器驱动器220，以供扩展内容在微显示器120上的显示。透镜系统122随后将从微显示器120接收的经优化的图像投影到反射面124上并向用户的眼睛投影，或者投影到光导光学元件112中以供用户查看。在一个实现中，用户通过头戴式显示设备正在查看的显示器(例如光导光学元件112)被划分成像素。经优化的图像由像素在目标位置来显示。另外，不透明度滤光器114可以用于防止不实际的视觉效果。例如，不透明度滤光器114可以修改对光导光学元件112中的像素的光，使得经优化的图像中的背景虚拟物体不会穿过前景虚拟物体被看见。
图15B是描述用于基于确定用户与显示在经优化的图像中的扩展内容进行交互的意图，将附加的扩展内容显示给用户的过程的一个实施例的流程图。在一个示例中，如图15A的步骤740所描述的显示经优化的图像之后，可以向用户呈现附加的扩展内容。例如，考虑用户看到用户的起居室中放置在桌上的一篮苹果的情形，并且确定用户打算与这篮苹果进行交互。将视觉上增强这篮苹果的外观的经优化的图像显示给用户。假定经优化的图像还向用户投影包括诸如选项菜单的虚拟物体的扩展内容。
在步骤756中，确定用户与菜单所显示的选项进行交互的意图。可根据图14所描述的过程讨论的那样确定用户的意图。在步骤760中，基于用户的意图接收用户对菜单中选项的选择。在步骤762中，检索扩展内容以及与菜单选项有关的可选的音频信息。在步骤762中，扩展内容被投影到经优化的图像中视觉上已增强的物体上或旁边。在图17A-D中示出显示包括选项菜单的经优化的图像以及确定用户与菜单选项进行交互的意图的方式的示例性说明。
在所公开的技术的另一个实施例中，通过自动地增强用户环境中的特定物体来提高用户对用户环境中可视化信息的理解力。图15C描述通过其提高用户对用户环境中可视化信息的理解力的过程。在步骤770中，标识用户的聚焦区中的提高用户对用户环境的理解力的一个或多个物体。在一个示例中，可通过实时地收集关于用户环境的信息来标识提高用户理解力的物体。例如，信息可包括用户环境中的紧急标记，或用户环境中的危险物体或锋利物体的存在。在另一个示例中，可以如以上参考图14B所述的基于与用户有关的用户专用信息来标识提高用户理解力的物体。例如，与用户有关的用户专用信息可包括当在用户的起居室中标识诸如一篮苹果的物体时指定到了用户吃零食的时间的提醒。
在步骤772中，生成包括提高用户理解力的一个或多个物体的经优化的图像。在一个实施例中，经优化的图像视觉上增强提高用户环境中的用户理解力的一个或多个物体的外观。在一种方法中，通过在物体所位于的区域中突出显示物体的边缘，显示虚拟框、圆圈或视觉指示符来视觉上增强该物体。
在步骤774中，可以确定用户与经优化的图像中一个或多个视觉上已增强的物体进行交互的意图。在一个示例中，可以通过推断用户与一个或多个视觉上已增强的物体进行交互的意图(如图14或图14A中所讨论的)来确定用户的意图。在另一个示例中，还可以基于用户与一个或多个视觉上已增强的物体进行交互的所表达的意图(如图14B中所讨论的)来确定用户的意图。
图16A-C描绘了用户与用户环境中一个或多个物体进行交互以及基于用户的交互生成经优化的图像的一个实施例。图16A描绘了用户使用HMD设备2来查看房间1100中的一个或多个物体的环境。房间1100包括前壁1102、侧壁1104和地板1108，以及诸如灯1106、椅子1107、挂钟1118和桌子1120的示例家具。在本示例中，视频显示屏1110安装在壁1102上，而中枢1116安放在桌子1120上。在示例性情形中，用户1112经由HMD设备2查看诸如置于前壁1102上的挂钟1118。1121表示用户的视野，并且1122表示用户的聚焦区。
图16B描绘了在确定用户与挂钟物体118进行交互的意图之后图16A的HMD设备的相机所生成的经优化的图像。在一个实施例中，可根据图14描述的过程所讨论的那样确定用户的意图。如图16B所示，经优化的图像1124包括用户的聚焦区中挂钟物体1118的已增强的外观和位于用户的聚焦区以外但在用户的视野内的灯1106、显示屏1110、中枢1116和桌子1120的已缩小的外观以及。在示例性说明中，挂钟物体1118已被突出显示以增强其外观。物体1106、1110、1116和1120周围的虚线指示它们已缩小的外观。另外，经优化的图像显示在挂钟物体1118旁边以数字形式示出一天中的时间的扩展内容1126。在一个示例中，用户还可听到关于一天中的时间的音频信息。
图16C描绘用户经由HMD设备看到的图16B的经优化的图像。经优化的图像分别由HMD设备2的每个透镜116和118来提供。开口区域1127和1128指示来自显示屏的光进入用户的眼睛的位置。
图17A-D描绘了用户与用户环境中一个或多个物体进行交互以及基于用户的交互生成经优化的图像的另一个实施例。图17A描绘了用户使用HMD设备2来查看房间1100中的一个或多个物体的环境(诸如图16A所示的)。在图17A的说明中，用户1112看到被放置在桌子1130上的一篮苹果1132。1121表示用户的视野，并且1122表示用户的聚焦区。
图17B描绘了在确定用户与一篮苹果1132进行交互的意图之后图17A的HMD设备的相机所生成的经优化的图像。在一个实施例中，可根据图14描述的过程所讨论的那样确定用户的意图。经优化的图像1133包括用户聚焦区中一篮苹果1132的已增强的外观，以及位于用户的聚焦区以外但在用户的视野内的桌子1120的已缩小的外观。在另一个实施例中，可以基于确定这篮苹果提高了用户对用户环境的理解力来自动地增强这篮苹果的外观。根据图15C所描述的过程，可以生成包括用户聚焦区中这篮苹果1132的已增强外观的经优化的图像。经优化的图像1133还可显示扩展内容1134。在所示的示例中，扩展内容1134是具有向用户1112显示“你想做苹果派吗？”或“你想查看你的提醒吗？”的选项的菜单。
图17C示出在确定用户与菜单中显示的选项之一进行交互的意图之后向用户显示的另一个经优化的图像。在一个实施例中，可根据图14描述的过程所讨论的那样确定用户的意图。在所示的示例中，当确定用户打算与菜单选项“你想做苹果派吗？”进行交互时，经优化的图像1133显示包括做苹果派的配料的扩展内容1134。
图17D示出在确定用户与菜单中显示的选项之一进行交互的意图之后向用户显示的经优化的图像。在所示的示例中，当确定用户打算与菜单选项“你想查看你的提醒吗？”进行交互时，经优化的图像1133显示包括提醒用户到了用户吃他或她的零食的时间的扩展内容1136。
图18A-C描绘了用户与用户环境中一个或多个物体进行交互以及基于用户的交互生成经优化的图像的另一个实施例。图18A描绘了其中用户1112在该用户的后院进行的聚会上与很多人见面的环境。在图18A所示的示例性情形中，用户1112可能具有低于正常视力，并且经由HMD设备2可能无法清楚地看到聚会中的所有人。或者，用户可能不希望与聚会中的人直接交互，因为用户不记得他们的姓名。
图18B示出通过自动地确定用户与聚会中一个或多个人进行交互的意图来向用户显示的经优化的图像。在一种方法中，并且如图14A中所讨论的，通过访问与用户有关的用户专用信息来自动地推断用户与用户聚焦区中的一个或多个人进行交互的意图。在另一种方法中，并且如图14B中所讨论的，还可以通过从用户接收诸如“帮我找到我的朋友！”的语音命令来确定用户与用户聚焦区中一个或多个人进行交互的意图。经优化的图像1136包括用户的朋友John Doe 1136和Sally Doe 1138的已增强的外观，以及位于用户的聚焦区以外但在用户的视野内的聚会上其他人1138的已缩小的外观。经优化的图像1133还显示分别使用诸如“这是John Doe！”和“这是Sally Doe！”的虚拟文本消息来标识用户的朋友John Doe 1136和Sally Doe 1138的扩展内容。对用户可能打算与之进行交互的个体的确定可以经由对(存储在用户专用信息中的)用户社交图的分析、或参考可能同时正在寻找用户的该用户的朋友(无论如何确定)来执行。
图18C描绘用户经由HMD设备看到的图18B的经优化的图像。经优化的图像分别由HMD设备2的每个透镜116和118来提供。开口区域1127和1128指示来自视频显示屏的光进入用户的眼睛的位置。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。本发明的范围由所附的权利要求进行定义。

Claims (10)

1.一种用于基于扩展现实系统中的用户意图来生成经优化的图像的方法，所述方法包括：
确定用户正使用透视显示设备的场景中感兴趣的一个或多个真实世界物体；
确定所述场景中用户通过所述透视显示设备的视野以及确定所述视野内所述用户的聚焦区；
确定所述用户与所述用户的所述聚焦区中一个或多个真实世界物体进行交互的意图；
基于所述用户的意图，生成经优化的图像；以及
向所述用户显示所述经优化的图像，所述经优化的图像包括所述用户的所述聚焦区中所述用户打算与之交互的所述一个或多个真实物体的视觉增强，以及位于所述用户的所述聚焦区以外但在所述用户通过所述透视显示设备的所述视野内的所述用户不打算与之交互的一个或多个真实世界物体的同时缩小的外观。
2.如权利要求1所述的方法，其特征在于，确定感兴趣的一个或多个物体的步骤包括创建所述场景的三维模型，还包括：
将包含所述场景的所述三维模型分割为一个或多个物体，并且标识所述场景中的所述一个或多个物体。
3.如权利要求2所述的方法，其特征在于，确定所述用户的视野还包括：
确定所述用户的头在所述场景的三维模型内的位置和取向。
4.如权利要求1所述的方法，其特征在于，确定所述用户与所述用户的所述聚焦区中一个或多个物体进行交互的意图还包括：
检测所述用户的所述聚焦区中所述用户的眼睛移动模式；
确定所述用户对所述用户的所述聚焦区中所述用户所查看的一个或多个物体的注视强度；以及
基于所述眼睛移动模式和所述用户的注视强度，推断所述用户与所述用户的所述聚焦区中所述一个或多个物体进行交互的意图。
5.如权利要求1所述的方法，其特征在于，确定所述用户与所述用户的所述聚焦区中一个或多个物体进行交互的意图还包括：
访问与所述用户有关的用户专用信息；
将所述用户的所述聚焦区中的所述一个或多个物体与所述用户专用信息相关；以及
基于所述相关，自动地推断所述用户与所述用户的所述聚焦区中所述一个或多个物体进行交互的意图。
6.如权利要求1所述的方法，其特征在于，确定所述用户与所述用户的所述聚焦区中一个或多个物体进行交互的意图还包括：
提示所述用户指定与所述用户的所述聚焦区中一个或多个物体进行交互的意图；
经由用户物理动作至少之一来接收所述用户的意图；以及
基于所述用户物理动作，确定所述用户与所述一个或多个物体进行交互的意图。
7.如权利要求1所述的方法，其特征在于，生成所述经优化的图像还包括：
检索与所述用户的所述聚焦区中的所述一个或多个物体有关的扩展内容或音频信息中的至少一个；以及
将所述扩展内容或所述音频信息投影到所述用户的所述聚焦区中的所述一个或多个物体上或旁边。
8.一种用于基于扩展现实系统中的用户意图来生成经优化的图像的系统，所述系统包括：
用于确定用户正使用透视显示设备的场景中感兴趣的一个或多个真实世界物体的装置；
用于确定所述场景中用户通过所述透视显示设备的视野以及确定所述视野内所述用户的聚焦区的装置；
用于确定所述用户与所述用户的所述聚焦区中一个或多个真实世界物体进行交互的意图的装置；
用于基于所述用户的意图，生成经优化的图像的装置；以及
用于向所述用户显示所述经优化的图像的装置，所述经优化的图像包括所述用户的所述聚焦区中所述用户打算与之交互的所述一个或多个真实物体的视觉增强，以及位于所述用户的所述聚焦区以外但在所述用户通过所述透视显示设备的所述视野内的所述用户不打算与之交互的一个或多个真实世界物体的同时缩小的外观。
9.如权利要求8所述的系统，其特征在于，用于确定所述用户与所述用户的所述聚焦区中一个或多个真实世界物体进行交互的意图的装置基于所述用户的眼睛移动模式、所述用户的注视强度、以及与所述用户有关的用户专用信息至少之一来确定所述用户与所述用户的所述聚焦区中的一个或多个物体进行交互的意图。
10.如权利要求8所述的系统，其特征在于，用于向所述用户显示所述经优化的图像的装置通过突出显示所述一个或多个物体的边缘，或在所述一个或多个物体位于的区域中显示虚拟框、圆圈或视觉指示符至少之一在所述经优化的图像中视觉上增强所述用户打算与之交互的所述一个或多个物体。
CN201110443987.0A 2010-12-16 2011-12-15 用于扩展现实显示的基于理解力和意图的内容 Active CN102566756B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/970,695 US9213405B2 (en) 2010-12-16 2010-12-16 Comprehension and intent-based content for augmented reality displays
US12/970,695 2010-12-16

Publications (2)

Publication Number Publication Date
CN102566756A CN102566756A (zh) 2012-07-11
CN102566756B true CN102566756B (zh) 2015-07-22

Family

ID=46233877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110443987.0A Active CN102566756B (zh) 2010-12-16 2011-12-15 用于扩展现实显示的基于理解力和意图的内容

Country Status (9)

Country Link
US (1) US9213405B2 (zh)
EP (1) EP2652940B1 (zh)
JP (1) JP2014504413A (zh)
KR (1) KR101935061B1 (zh)
CN (1) CN102566756B (zh)
AR (1) AR084345A1 (zh)
HK (1) HK1171103A1 (zh)
TW (1) TWI549505B (zh)
WO (1) WO2012082444A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108351700A (zh) * 2015-09-16 2018-07-31 奇跃公司 音频文件的头部姿势混合

Families Citing this family (286)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9530144B2 (en) * 2010-05-28 2016-12-27 Rakuten, Inc. Content output device, content output method, content output program, and recording medium having content output program recorded thereon
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US9429438B2 (en) * 2010-12-23 2016-08-30 Blackberry Limited Updating map data from camera images
JP5841538B2 (ja) * 2011-02-04 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 関心度推定装置および関心度推定方法
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US10895917B2 (en) * 2011-03-12 2021-01-19 Uday Parshionikar Multipurpose controllers and methods
WO2012142250A1 (en) * 2011-04-12 2012-10-18 Radiation Monitoring Devices, Inc. Augumented reality system
US8836771B2 (en) * 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
JP5757166B2 (ja) * 2011-06-09 2015-07-29 ソニー株式会社 音制御装置、プログラム及び制御方法
US9921641B1 (en) 2011-06-10 2018-03-20 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
US10008037B1 (en) * 2011-06-10 2018-06-26 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
US9996972B1 (en) 2011-06-10 2018-06-12 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
US20120326948A1 (en) * 2011-06-22 2012-12-27 Microsoft Corporation Environmental-light filter for see-through head-mounted display device
US9288468B2 (en) * 2011-06-29 2016-03-15 Microsoft Technology Licensing, Llc Viewing windows for video streams
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
JP5762892B2 (ja) * 2011-09-06 2015-08-12 ビッグローブ株式会社 情報表示システム、情報表示方法、及び情報表示用プログラム
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US9690100B1 (en) * 2011-09-22 2017-06-27 Sprint Communications Company L.P. Wireless communication system with a liquid crystal display embedded in an optical lens
US20150199081A1 (en) * 2011-11-08 2015-07-16 Google Inc. Re-centering a user interface
USH2282H1 (en) * 2011-11-23 2013-09-03 The United States Of America, As Represented By The Secretary Of The Navy Automatic eye tracking control
US9183807B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US9229231B2 (en) * 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
US9182815B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9256071B1 (en) * 2012-01-09 2016-02-09 Google Inc. User interface
JP5620414B2 (ja) * 2012-01-18 2014-11-05 株式会社スクウェア・エニックス ゲーム装置
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
US9625720B2 (en) 2012-01-24 2017-04-18 Accipiter Radar Technologies Inc. Personal electronic target vision system, device and method
FR2987155A1 (fr) * 2012-02-16 2013-08-23 Univ Paris Curie Procede de mise en evidence d'au moins un element en mouvement dans une scene ainsi qu'un dispositif portatif de realite augmentee mettant en oeuvre ledit procede
EP2629498A1 (en) * 2012-02-17 2013-08-21 Sony Ericsson Mobile Communications AB Portable electronic equipment and method of visualizing sound
EP2831699A1 (en) * 2012-03-30 2015-02-04 Sony Mobile Communications AB Optimizing selection of a media object type in which to present content to a user of a device
GB2501567A (en) * 2012-04-25 2013-10-30 Christian Sternitzke Augmented reality information obtaining system
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
JP5483761B2 (ja) * 2012-06-29 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法
US9557565B2 (en) 2012-07-02 2017-01-31 Nvidia Corporation Near-eye optical deconvolution displays
US9494797B2 (en) 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
USRE47984E1 (en) 2012-07-02 2020-05-12 Nvidia Corporation Near-eye optical deconvolution displays
US9841537B2 (en) 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US9361730B2 (en) * 2012-07-26 2016-06-07 Qualcomm Incorporated Interactions of tangible and augmented reality objects
US20150156196A1 (en) * 2012-07-31 2015-06-04 Intellectual Discovery Co., Ltd. Wearable electronic device and method for controlling same
US9329678B2 (en) 2012-08-14 2016-05-03 Microsoft Technology Licensing, Llc Augmented reality overlay for control devices
US10548514B2 (en) 2013-03-07 2020-02-04 Alpinereplay, Inc. Systems and methods for identifying and characterizing athletic maneuvers
US10408857B2 (en) * 2012-09-12 2019-09-10 Alpinereplay, Inc. Use of gyro sensors for identifying athletic maneuvers
KR101989893B1 (ko) 2012-10-29 2019-09-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
JP5787099B2 (ja) * 2012-11-06 2015-09-30 コニカミノルタ株式会社 案内情報表示装置
JP6040715B2 (ja) * 2012-11-06 2016-12-07 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9448404B2 (en) 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
TWI486629B (zh) 2012-11-21 2015-06-01 Ind Tech Res Inst 穿透型頭部穿戴式顯示系統與互動操作方法
US9189021B2 (en) * 2012-11-29 2015-11-17 Microsoft Technology Licensing, Llc Wearable food nutrition feedback system
US20140152530A1 (en) * 2012-12-03 2014-06-05 Honeywell International Inc. Multimedia near to eye display system
US9851783B2 (en) * 2012-12-06 2017-12-26 International Business Machines Corporation Dynamic augmented reality media creation
JP6498606B2 (ja) 2012-12-06 2019-04-10 グーグル エルエルシー ウエアラブル視線計測デバイス及び使用方法
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US9497448B2 (en) 2012-12-31 2016-11-15 Lg Display Co., Ltd. Image processing method of transparent display apparatus and apparatus thereof
US9685065B2 (en) * 2013-01-03 2017-06-20 Sensolid Bvba Dual sensor system and related data manipulation methods and uses
KR102019124B1 (ko) * 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
US20140195968A1 (en) * 2013-01-09 2014-07-10 Hewlett-Packard Development Company, L.P. Inferring and acting on user intent
US9812046B2 (en) * 2013-01-10 2017-11-07 Microsoft Technology Licensing, Llc Mixed reality display accommodation
US10365874B2 (en) * 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
EP3518168A1 (en) * 2013-03-06 2019-07-31 Arthur J. Zito, Jr. Multi-media presentation system
JP5962547B2 (ja) * 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
WO2014138925A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US11228805B2 (en) * 2013-03-15 2022-01-18 Dish Technologies Llc Customized commercial metrics and presentation via integrated virtual environment devices
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
JP6326482B2 (ja) 2013-03-15 2018-05-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 表示システムおよび方法
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
JP5900393B2 (ja) * 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
EP2790126B1 (en) * 2013-04-08 2016-06-01 Cogisen SRL Method for gaze tracking
US20160109957A1 (en) * 2013-05-09 2016-04-21 Sony Computer Entertainment Inc. Information processing apparatus and application execution method
CN103246350A (zh) * 2013-05-14 2013-08-14 中国人民解放军海军航空工程学院 基于感兴趣区实现辅助信息提示的人机接口设备及方法
US9230368B2 (en) * 2013-05-23 2016-01-05 Microsoft Technology Licensing, Llc Hologram anchoring and dynamic positioning
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US9710130B2 (en) * 2013-06-12 2017-07-18 Microsoft Technology Licensing, Llc User focus controlled directional user input
US10955665B2 (en) 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US10330931B2 (en) 2013-06-28 2019-06-25 Microsoft Technology Licensing, Llc Space carving based on human physical data
KR102056221B1 (ko) 2013-07-12 2019-12-16 삼성전자주식회사 시선인식을 이용한 장치 연결 방법 및 장치
US9582075B2 (en) 2013-07-19 2017-02-28 Nvidia Corporation Gaze-tracking eye illumination from display
US9880325B2 (en) 2013-08-14 2018-01-30 Nvidia Corporation Hybrid optics for near-eye displays
KR20150020918A (ko) * 2013-08-19 2015-02-27 엘지전자 주식회사 디스플레이 장치 및 그것의 제어 방법
KR102160650B1 (ko) * 2013-08-26 2020-09-28 삼성전자주식회사 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법
US9658454B2 (en) 2013-09-06 2017-05-23 Omnivision Technologies, Inc. Eyewear display system providing vision enhancement
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9729864B2 (en) * 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9489765B2 (en) * 2013-11-18 2016-11-08 Nant Holdings Ip, Llc Silhouette-based object and texture alignment, systems and methods
WO2015084227A1 (en) * 2013-12-06 2015-06-11 Telefonaktiebolaget L M Ericsson (Publ) Optical head mounted display, television portal module and methods for controlling graphical user interface
JP6331374B2 (ja) * 2013-12-17 2018-05-30 セイコーエプソン株式会社 頭部装着型表示装置
CN103752010B (zh) * 2013-12-18 2017-07-11 微软技术许可有限责任公司 用于控制设备的增强现实覆盖
JP2015118556A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション コントロールデバイスのための拡張現実オーバーレイ
US9484005B2 (en) 2013-12-20 2016-11-01 Qualcomm Incorporated Trimming content for projection onto a target
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
JP2015134079A (ja) * 2014-01-17 2015-07-27 株式会社ユニバーサルエンターテインメント ゲーミングマシン
TWI486631B (zh) * 2014-01-24 2015-06-01 Quanta Comp Inc 頭戴式顯示裝置及其控制方法
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9588343B2 (en) * 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9792406B2 (en) 2014-02-10 2017-10-17 Neuronetics, Inc. Head modeling for a therapeutic or diagnostic procedure
JP2015158748A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、ウェアラブル機器
US20160371888A1 (en) * 2014-03-10 2016-12-22 Bae Systems Plc Interactive information display
KR102227659B1 (ko) * 2014-03-12 2021-03-15 삼성전자주식회사 Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
JP6287399B2 (ja) * 2014-03-18 2018-03-07 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9715113B2 (en) 2014-03-18 2017-07-25 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
CN103927966A (zh) 2014-04-02 2014-07-16 北京智谷睿拓技术服务有限公司 显示控制方法及显示控制装置
US10083675B2 (en) 2014-04-02 2018-09-25 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control method and display control apparatus
JP2017519999A (ja) * 2014-04-22 2017-07-20 アルブーゾフ, イワンARBOUZOV, Ivan 頭部搭載型スマートデバイス用熱画像形成アクセサリ
KR102173699B1 (ko) * 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
KR20150131577A (ko) * 2014-05-15 2015-11-25 엘지전자 주식회사 글래스 타입 단말기
CN103984413B (zh) * 2014-05-19 2017-12-08 北京智谷睿拓技术服务有限公司 信息交互方法及信息交互装置
KR102266195B1 (ko) * 2014-06-20 2021-06-17 삼성전자주식회사 객체와 관련된 정보를 제공하는 방법 및 장치
EP3166319A4 (en) * 2014-07-03 2018-02-07 Sony Corporation Information processing device, information processing method, and program
JP6008911B2 (ja) * 2014-07-22 2016-10-19 Ｎｅｃパーソナルコンピュータ株式会社 動作認識装置、動作認識方法、及び、プログラム
US10371944B2 (en) * 2014-07-22 2019-08-06 Sony Interactive Entertainment Inc. Virtual reality headset with see-through mode
KR102437104B1 (ko) * 2014-07-29 2022-08-29 삼성전자주식회사 모바일 디바이스에서 촬영된 전자 기기와 페어링하는 방법 및 장치
WO2016017945A1 (en) 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
US9799142B2 (en) 2014-08-15 2017-10-24 Daqri, Llc Spatial data collection
US9830395B2 (en) * 2014-08-15 2017-11-28 Daqri, Llc Spatial data processing
US9799143B2 (en) 2014-08-15 2017-10-24 Daqri, Llc Spatial data visualization
JP6394174B2 (ja) * 2014-08-19 2018-09-26 セイコーエプソン株式会社 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム
US9829708B1 (en) * 2014-08-19 2017-11-28 Boston Incubator Center, LLC Method and apparatus of wearable eye pointing system
CN107111894B (zh) 2014-09-08 2022-04-29 西姆克斯有限责任公司 用于专业和教育训练的增强或虚拟现实模拟器
US9924143B2 (en) * 2014-09-23 2018-03-20 Intel Corporation Wearable mediated reality system and method
US10495726B2 (en) 2014-11-13 2019-12-03 WorldViz, Inc. Methods and systems for an immersive virtual reality system using multiple active markers
GB201421000D0 (en) 2014-11-26 2015-01-07 Bae Systems Plc Improvements in and relating to displays
EP3037915B1 (en) * 2014-12-23 2017-08-16 Nokia Technologies OY Virtual reality content control
US20160189268A1 (en) * 2014-12-31 2016-06-30 Saumil Ashvin Gandhi Wearable device for interacting with media-integrated vendors
US9407865B1 (en) * 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
WO2016134031A1 (en) 2015-02-17 2016-08-25 Alpinereplay, Inc Systems and methods to control camera operations
US11468639B2 (en) * 2015-02-20 2022-10-11 Microsoft Technology Licensing, Llc Selective occlusion system for augmented reality devices
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
CN104754497B (zh) * 2015-04-02 2018-10-16 清华大学 一种视觉注意力驱动的通信连接建立方法
JP6892213B2 (ja) * 2015-04-30 2021-06-23 ソニーグループ株式会社 表示装置及び表示装置の初期設定方法
JP6820107B2 (ja) * 2015-05-04 2021-01-27 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実のための分離された瞳光学システムおよびそれを用いた画像表示の方法
US9910275B2 (en) 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
WO2016190458A1 (ko) * 2015-05-22 2016-12-01 삼성전자 주식회사 Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
US11252399B2 (en) * 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
KR102658873B1 (ko) * 2015-06-24 2024-04-17 매직 립, 인코포레이티드 구매를 위한 증강 현실 디바이스들, 시스템들 및 방법들
US10464482B2 (en) * 2015-07-21 2019-11-05 Utherverse Digital Inc. Immersive displays
JP6865175B2 (ja) * 2015-08-15 2021-04-28 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 実在オブジェクトおよび仮想オブジェクトと対話するための生体力学に基づく視覚信号用のシステムおよび方法
JP6560074B2 (ja) * 2015-09-16 2019-08-14 グリー株式会社 ゲーム処理プログラム、ゲーム処理装置及びゲーム処理方法
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
US10321208B2 (en) 2015-10-26 2019-06-11 Alpinereplay, Inc. System and method for enhanced video image recognition using motion sensors
US9990689B2 (en) 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
WO2017104089A1 (ja) * 2015-12-18 2017-06-22 日立マクセル株式会社 ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置
US10052170B2 (en) 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
US11386556B2 (en) 2015-12-18 2022-07-12 Orthogrid Systems Holdings, Llc Deformed grid based intra-operative system and method of use
US10037085B2 (en) * 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
US10095928B2 (en) 2015-12-22 2018-10-09 WorldViz, Inc. Methods and systems for marker identification
MX2018008945A (es) * 2016-02-18 2018-11-09 Apple Inc Casco para realidad virtual y mixta con seguimiento de la posicion, del cuerpo del usuario y del ambiente, de adentro hacia afuera.
JP6632443B2 (ja) * 2016-03-23 2020-01-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US10824638B2 (en) * 2016-03-25 2020-11-03 Microsoft Technology Licensing, Llc Enhancing object representations using inferred user intents
US10928919B2 (en) * 2016-03-29 2021-02-23 Sony Corporation Information processing device and information processing method for virtual objects operability
US9807383B2 (en) * 2016-03-30 2017-10-31 Daqri, Llc Wearable video headset and method for calibration
WO2017187708A1 (ja) * 2016-04-26 2017-11-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10242501B1 (en) 2016-05-03 2019-03-26 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
US10238001B2 (en) 2016-05-19 2019-03-19 Cimcon Lighting, Inc. Configurable data center platform
US10089071B2 (en) 2016-06-02 2018-10-02 Microsoft Technology Licensing, Llc Automatic audio attenuation on immersive display devices
FR3052565B1 (fr) * 2016-06-10 2019-06-28 Stereolabs Dispositif individuel d'immersion visuelle pour personne en mouvement
US20190235622A1 (en) * 2016-06-20 2019-08-01 Huawei Technologies Co., Ltd. Augmented Reality Display Method and Head-Mounted Display Device
CN106204743B (zh) * 2016-06-28 2020-07-31 Oppo广东移动通信有限公司 一种增强现实功能的控制方法、装置及移动终端
US11570454B2 (en) 2016-07-20 2023-01-31 V-Nova International Limited Use of hierarchical video and image coding for telepresence
GB2553086B (en) 2016-07-20 2022-03-02 V Nova Int Ltd Decoder devices, methods and computer programs
IL292427B2 (en) * 2016-07-25 2023-05-01 Magic Leap Inc Change, display and visualization of imaging using augmented and virtual reality glasses
US20180310066A1 (en) * 2016-08-09 2018-10-25 Paronym Inc. Moving image reproduction device, moving image reproduction method, moving image distribution system, storage medium with moving image reproduction program stored therein
WO2018035133A1 (en) * 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
WO2018058601A1 (zh) * 2016-09-30 2018-04-05 深圳达闼科技控股有限公司 虚拟与现实融合方法、系统和虚拟现实设备
JP6996514B2 (ja) * 2016-10-26 2022-01-17 ソニーグループ株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2018082692A1 (en) * 2016-11-07 2018-05-11 Changchun Ruixinboguan Technology Development Co., Ltd. Systems and methods for interaction with application
US10979721B2 (en) 2016-11-17 2021-04-13 Dolby Laboratories Licensing Corporation Predicting and verifying regions of interest selections
US10152851B2 (en) * 2016-11-29 2018-12-11 Microsoft Technology Licensing, Llc Notification artifact display
CN106888203B (zh) * 2016-12-13 2020-03-24 阿里巴巴集团控股有限公司 基于增强现实的虚拟对象分配方法及装置
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
CN106531073B (zh) * 2017-01-03 2018-11-20 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件
JP6266814B1 (ja) * 2017-01-27 2018-01-24 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
GB2560177A (en) 2017-03-01 2018-09-05 Thirdeye Labs Ltd Training a computational neural network
JP2018163461A (ja) * 2017-03-24 2018-10-18 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN110494793B (zh) * 2017-04-04 2022-01-18 国立大学法人福井大学 影像生成装置和影像生成方法
US10872289B2 (en) 2017-04-08 2020-12-22 Geun Il Kim Method and system for facilitating context based information
US10403050B1 (en) * 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
WO2018198320A1 (ja) * 2017-04-28 2018-11-01 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
EP4137918A1 (en) 2017-06-06 2023-02-22 Maxell, Ltd. Mixed reality display system and mixed reality display terminal
US10366691B2 (en) * 2017-07-11 2019-07-30 Samsung Electronics Co., Ltd. System and method for voice command context
WO2019015765A1 (en) * 2017-07-20 2019-01-24 Universitätsklinikum Hamburg-Eppendorf APPARATUS FOR MEASURING OR DRIVING EMOTION OR BEHAVIOR
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
CA3072058A1 (en) * 2017-08-07 2019-02-14 Standard Cognition, Corp. Predicting inventory events using semantic diffing
US20190057180A1 (en) * 2017-08-18 2019-02-21 International Business Machines Corporation System and method for design optimization using augmented reality
US10943399B2 (en) 2017-08-28 2021-03-09 Microsoft Technology Licensing, Llc Systems and methods of physics layer prioritization in virtual environments
US10904615B2 (en) * 2017-09-07 2021-01-26 International Business Machines Corporation Accessing and analyzing data to select an optimal line-of-sight and determine how media content is distributed and displayed
CN107656613B (zh) * 2017-09-08 2020-12-18 国网智能科技股份有限公司 一种基于眼动追踪的人机交互系统及其工作方法
US10437328B2 (en) * 2017-09-27 2019-10-08 Igt Gaze detection using secondary input
CN107835361B (zh) * 2017-10-27 2020-02-11 Oppo广东移动通信有限公司 基于结构光的成像方法、装置和移动终端
CN111448497B (zh) 2017-12-10 2023-08-04 奇跃公司 光波导上的抗反射涂层
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
CN108108025A (zh) * 2018-01-03 2018-06-01 上海闻泰电子科技有限公司 基于头戴设备的信息指引方法、装置、头戴设备和介质
KR20200110771A (ko) 2018-01-18 2020-09-25 삼성전자주식회사 증강 현실 콘텐츠 조정 방법 및 장치
CN115052139B (zh) 2018-01-19 2023-09-08 交互数字Vc控股公司 一种用于显示视频的方法和显示设备
JP7042644B2 (ja) * 2018-02-15 2022-03-28 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、画像生成方法およびコンピュータプログラム
US11716548B2 (en) * 2018-03-13 2023-08-01 Meta Platforms Technologies, Llc Timing of multiplexed sensor phase measurements in a depth camera assembly for depth determination using fringe interferometry
JP7344896B2 (ja) 2018-03-15 2023-09-14 マジック リープ， インコーポレイテッド 視認デバイスのコンポーネントの変形に起因する画像補正
JP6774975B2 (ja) 2018-03-19 2020-10-28 株式会社東芝 眼球回転検出装置、電子機器及びシステム
CN112136324A (zh) 2018-03-23 2020-12-25 Pcms控股公司 在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法
WO2019189965A1 (ko) * 2018-03-30 2019-10-03 데이터얼라이언스 주식회사 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법
WO2019232282A1 (en) 2018-05-30 2019-12-05 Magic Leap, Inc. Compact variable focus configurations
EP3803450A4 (en) 2018-05-31 2021-08-18 Magic Leap, Inc. POSITIONING A RADAR HEAD
WO2019236495A1 (en) 2018-06-05 2019-12-12 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
CN112513785A (zh) 2018-06-08 2021-03-16 奇跃公司 具有自动表面选择放置和内容取向放置的增强现实观看器
WO2019245581A1 (en) * 2018-06-22 2019-12-26 Hewlett-Packard Development Company, L.P. Virtual display monitors
JP2020005038A (ja) * 2018-06-25 2020-01-09 キヤノン株式会社 送信装置、送信方法、受信装置、受信方法、及び、プログラム
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
CN112585963B (zh) 2018-07-05 2024-04-09 Pcms控股公司 用于2d显示器上的内容的3d感知的近眼焦平面覆盖层的方法和系统
US11169601B2 (en) 2018-07-12 2021-11-09 Toyota Research Institute, Inc. Methods and systems for determining teleoperating user intent via eye tracking
US10607083B2 (en) * 2018-07-19 2020-03-31 Microsoft Technology Licensing, Llc Selectively alerting users of real objects in a virtual environment
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
CN112740665A (zh) 2018-08-02 2021-04-30 奇跃公司 基于头部运动的瞳孔间距离补偿的观察系统
EP3830631A4 (en) 2018-08-03 2021-10-27 Magic Leap, Inc. NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM
US11336968B2 (en) * 2018-08-17 2022-05-17 Samsung Electronics Co., Ltd. Method and device for generating content
TWI669703B (zh) 2018-08-28 2019-08-21 財團法人工業技術研究院 適於多人觀看的資訊顯示方法及資訊顯示裝置
US11170565B2 (en) 2018-08-31 2021-11-09 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
US10832482B2 (en) 2018-09-11 2020-11-10 International Business Machines Corporation Augmented reality layers enhancement
US11540794B2 (en) 2018-09-12 2023-01-03 Orthogrid Systesm Holdings, LLC Artificial intelligence intra-operative surgical guidance system and method of use
US11589928B2 (en) 2018-09-12 2023-02-28 Orthogrid Systems Holdings, Llc Artificial intelligence intra-operative surgical guidance system and method of use
US10764558B2 (en) * 2018-09-27 2020-09-01 Valve Corporation Reduced bandwidth stereo distortion correction for fisheye lenses of head-mounted displays
CN109324689A (zh) * 2018-09-30 2019-02-12 平安科技（深圳）有限公司 基于眼球运动轨迹的测试题目放大方法、系统及设备
US11279036B2 (en) * 2018-10-01 2022-03-22 Toyota Research Institute, Inc. Methods and systems for implementing customized motions based on individual profiles for identified users
KR102458962B1 (ko) 2018-10-02 2022-10-26 한국전자통신연구원 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
WO2020071728A1 (ko) * 2018-10-02 2020-04-09 한국전자통신연구원 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
EP3860527A4 (en) * 2018-10-05 2022-06-15 Facebook Technologies, LLC. USING NEUROMUSCULAR SIGNALS TO PROVIDE ENHANCED INTERACTIONS WITH PHYSICAL OBJECTS IN AN AUGMENTED REALITY ENVIRONMENT
US10915776B2 (en) * 2018-10-05 2021-02-09 Facebook, Inc. Modifying capture of video data by an image capture device based on identifying an object of interest within capturted video data to the image capture device
WO2020102412A1 (en) 2018-11-16 2020-05-22 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
TWI715903B (zh) 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
US11977230B2 (en) * 2018-12-28 2024-05-07 Magic Leap, Inc. Virtual and augmented reality display systems with emissive micro-displays
US11064255B2 (en) * 2019-01-30 2021-07-13 Oohms Ny Llc System and method of tablet-based distribution of digital media content
USD910652S1 (en) 2019-01-31 2021-02-16 OrthoGrid Systems, Inc Display screen or portion thereof with a graphical user interface
EP4369151A2 (en) 2019-02-06 2024-05-15 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
WO2020223636A1 (en) 2019-05-01 2020-11-05 Magic Leap, Inc. Content provisioning system and method
JP7336266B2 (ja) 2019-06-04 2023-08-31 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
CN110398988A (zh) * 2019-06-28 2019-11-01 联想(北京)有限公司 一种控制方法和电子设备
US11589094B2 (en) * 2019-07-22 2023-02-21 At&T Intellectual Property I, L.P. System and method for recommending media content based on actual viewers
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
JP7359941B2 (ja) 2019-08-12 2023-10-11 マジック リープ， インコーポレイテッド 仮想現実および拡張現実のためのシステムおよび方法
US11381710B2 (en) 2019-09-13 2022-07-05 International Business Machines Corporation Contextual masking of objects in social photographs
US11132827B2 (en) * 2019-09-19 2021-09-28 Facebook Technologies, Llc Artificial reality system architecture for concurrent application execution and collaborative 3D scene rendering
WO2021089111A1 (en) * 2019-11-04 2021-05-14 Telefonaktiebolaget Lm Ericsson (Publ) See-through display, method for operating a see-through display and computer program
CN111178191B (zh) * 2019-11-11 2022-01-11 贝壳找房(北京)科技有限公司 信息播放方法、装置、计算机可读存储介质及电子设备
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
US11393198B1 (en) 2020-06-02 2022-07-19 State Farm Mutual Automobile Insurance Company Interactive insurance inventory and claim generation
US11436828B1 (en) * 2020-06-02 2022-09-06 State Farm Mutual Automobile Insurance Company Insurance inventory and claim generation
AU2021290132C1 (en) * 2020-06-08 2024-04-18 Apple Inc. Presenting avatars in three-dimensional environments
US11630508B1 (en) * 2020-06-12 2023-04-18 Wells Fargo Bank, N.A. Apparatuses and methods for securely presenting digital objects
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11490968B2 (en) 2020-07-29 2022-11-08 Karl Storz Se & Co. Kg Devices, systems, and methods for labeling objects of interest during a medical procedure
US11861137B2 (en) 2020-09-09 2024-01-02 State Farm Mutual Automobile Insurance Company Vehicular incident reenactment using three-dimensional (3D) representations
EP4182893A4 (en) * 2020-10-08 2023-12-06 Samsung Electronics Co., Ltd. METHOD AND ELECTRONIC DEVICE FOR GENERATING AR CONTENT BASED ON INTENTION AND INTERACTION OF MULTIPLE OBJECTS
US11630509B2 (en) * 2020-12-11 2023-04-18 Microsoft Technology Licensing, Llc Determining user intent based on attention values
JP2022110509A (ja) * 2021-01-18 2022-07-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
USD979578S1 (en) 2021-02-08 2023-02-28 Orthogrid Systems Holdings, Llc Display screen or portion thereof with a graphical user interface
US11927756B2 (en) 2021-04-01 2024-03-12 Samsung Electronics Co., Ltd. Method for providing augmented reality image and head mounted display device supporting the same
KR20220136776A (ko) * 2021-04-01 2022-10-11 삼성전자주식회사 증강 현실 이미지를 제공하는 방법 및 이를 지원하는 hmd 장치
US11567569B2 (en) * 2021-04-08 2023-01-31 Google Llc Object selection based on eye tracking in wearable device
WO2022220459A1 (en) * 2021-04-14 2022-10-20 Samsung Electronics Co., Ltd. Method and electronic device for selective magnification in three dimensional rendering systems
US11579752B1 (en) 2021-07-20 2023-02-14 Sony Interactive Entertainment Inc. Augmented reality placement for user feedback
US11638061B1 (en) 2021-12-01 2023-04-25 Rovi Guides, Inc. Augmented reality display for content consumption relative to a field of view
CA3241105A1 (en) * 2021-12-01 2023-06-08 Rovi Guides, Inc. Augmented reality display for content consumption based on field of view
US11979630B2 (en) 2021-12-01 2024-05-07 Rovi Guides, Inc. Augmented reality display for content consumption based on field of view
US20230229685A1 (en) * 2022-01-18 2023-07-20 At&T Intellectual Property I, L.P. System and method for creating and using immersive media
US11768544B2 (en) * 2022-02-01 2023-09-26 Microsoft Technology Licensing, Llc Gesture recognition based on likelihood of interaction
WO2024034825A1 (ko) * 2022-08-08 2024-02-15 삼성전자주식회사 Ar 장치에게 표시하도록 명령할 컨텐츠를 결정하기 위한 방법 및 장치
WO2024123665A1 (en) * 2022-12-05 2024-06-13 Meta Platforms, Inc. Smart content rendering on augmented reality systems, methods, and devices
CN116225237B (zh) * 2023-05-06 2023-10-10 北京虹宇科技有限公司 扩展现实空间中的交互控制方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101026776A (zh) * 2006-02-24 2007-08-29 罗技欧洲公司 在图像捕捉装置中使用3d传感器的方法和系统

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4934773A (en) 1987-07-27 1990-06-19 Reflection Technology, Inc. Miniature video display system
US5016282A (en) 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
CA2054344C (en) 1990-10-29 1997-04-15 Kazuhiro Itsumi Video camera having focusing and image-processing function
JP2901116B2 (ja) 1992-11-30 1999-06-07 株式会社日立製作所 オートフォーカス装置の制御方法
US5471542A (en) 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
US8330812B2 (en) 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
GB9511091D0 (en) 1995-06-01 1995-07-26 Silver Joshua D Variable power spectacles
JPH09204287A (ja) * 1996-01-25 1997-08-05 Canon Inc 処理選択方法及び装置
US6046712A (en) 1996-07-23 2000-04-04 Telxon Corporation Head mounted communication system for providing interactive visual communications with a remote system
US5689619A (en) 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
KR100766627B1 (ko) 1998-01-26 2007-10-15 핑거웍스, 인크. 수동 입력 통합 방법 및 장치
US6466207B1 (en) 1998-03-18 2002-10-15 Microsoft Corporation Real-time image rendering with layered depth images
GB9805977D0 (en) 1998-03-19 1998-05-20 Silver Joshua D Improvements in variable focus optical devices
US6597346B1 (en) 1998-10-02 2003-07-22 Honeywell Inc. Hand held computer with see-through display
US7137069B2 (en) 1998-12-18 2006-11-14 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
EP1190571A1 (en) 1999-04-08 2002-03-27 New York University Extremely high resolution foveated display
US6053610A (en) 1999-07-15 2000-04-25 Lane Research Actuation mechanism for variable focal length spectacles
US6456438B1 (en) * 1999-08-12 2002-09-24 Honeywell Inc. Variable immersion vignetting display
US8686922B2 (en) 1999-12-15 2014-04-01 American Vehicular Sciences Llc Eye-location dependent vehicular heads-up display system
US6711414B1 (en) 2000-02-25 2004-03-23 Charmed Technology, Inc. Wearable computing device capable of responding intelligently to surroundings
JP2001264614A (ja) 2000-03-15 2001-09-26 Fuji Photo Optical Co Ltd ズームレンズ
GB0007474D0 (en) 2000-03-29 2000-05-17 Hewlett Packard Co Location-Dependent User Interface
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
EP1182541A3 (de) 2000-08-22 2005-11-30 Siemens Aktiengesellschaft System und Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen mit systemgesteuerter kontextabhängiger Informationsdarstellung
JP3406965B2 (ja) * 2000-11-24 2003-05-19 キヤノン株式会社 複合現実感提示装置及びその制御方法
EP1371019A2 (en) 2001-01-26 2003-12-17 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
JP2002223458A (ja) * 2001-01-26 2002-08-09 Nippon Hoso Kyokai <Nhk> 立体映像作成装置
US6975991B2 (en) 2001-01-31 2005-12-13 International Business Machines Corporation Wearable display system with indicators of speakers
US6578962B1 (en) 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US6886137B2 (en) 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
CA2486520A1 (en) 2001-06-13 2002-12-19 Volume Interactions Pte. Ltd. Guide systems for interacting with a subject, and methods therefor
US7133077B2 (en) 2001-07-02 2006-11-07 Canon Kabushiki Kaisha Auto focus camera, lens apparatus and camera system with a vibration motor drive
GB0119859D0 (en) 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
JP2003132068A (ja) * 2001-10-22 2003-05-09 Nec Corp ナビゲーションシステム及びナビゲーション端末
KR100427649B1 (ko) * 2001-12-26 2004-04-28 한국전자통신연구원 증강현실 기술을 이용한 별자리 관측시스템
US6659611B2 (en) 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
KR100475247B1 (ko) * 2001-12-28 2005-03-10 한국전자통신연구원 증강현실 기술을 이용한 게임 장치 및 방법
US20040008157A1 (en) 2002-06-26 2004-01-15 Brubaker Curtis M. Cap-mounted monocular video/audio display
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US7401300B2 (en) 2004-01-09 2008-07-15 Nokia Corporation Adaptive user interface input device
US7532230B2 (en) 2004-01-29 2009-05-12 Hewlett-Packard Development Company, L.P. Method and system for communicating gaze in an immersive virtual environment
JP4604190B2 (ja) 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
ATE552478T1 (de) 2004-06-03 2012-04-15 Making Virtual Solid L L C Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays
SE0401582L (sv) 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
US20060007308A1 (en) 2004-07-12 2006-01-12 Ide Curtis E Environmentally aware, intelligent surveillance device
KR20070064319A (ko) 2004-08-06 2007-06-20 유니버시티 오브 워싱톤 가변 응시 시거리 주사 광 디스플레이
US7396129B2 (en) 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
JP4686176B2 (ja) * 2004-11-22 2011-05-18 オリンパス株式会社 画像再生装置
US20060146012A1 (en) 2005-01-04 2006-07-06 Arneson Theodore R System and method for automatic display switching
US20060224046A1 (en) 2005-04-01 2006-10-05 Motorola, Inc. Method and system for enhancing a user experience using a user's physiological state
US7686451B2 (en) 2005-04-04 2010-03-30 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US7457434B2 (en) 2005-04-04 2008-11-25 Massachusetts Eye & Ear Infirmary Adaptively focusing extra-ocular vision prostheses
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
JP2006330053A (ja) 2005-05-23 2006-12-07 Konica Minolta Opto Inc レンズ鏡胴
JP2006330054A (ja) 2005-05-23 2006-12-07 Konica Minolta Opto Inc レンズ鏡胴
US7822607B2 (en) 2005-08-26 2010-10-26 Palo Alto Research Center Incorporated Computer application environment and communication system employing automatic identification of human conversational behavior
KR100695331B1 (ko) 2005-09-23 2007-03-16 한국전자통신연구원 상황인지 환경을 위한 사용자 인터페이스 장치 및 이에연동되는 기기 제어 장치 및 그의 동작 방법
WO2007066166A1 (en) 2005-12-08 2007-06-14 Abb Research Ltd Method and system for processing and displaying maintenance or control instructions
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
WO2007085303A1 (en) 2006-01-30 2007-08-02 Verigy (Singapore) Pte. Ltd. Information overlay system
US8725729B2 (en) * 2006-04-03 2014-05-13 Steven G. Lisa System, methods and applications for embedded internet searching and result display
US8571580B2 (en) 2006-06-01 2013-10-29 Loopt Llc. Displaying the location of individuals on an interactive map display on a mobile communication device
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
KR100820639B1 (ko) 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
KR100809479B1 (ko) 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
US7866816B2 (en) 2006-10-10 2011-01-11 Lane Research, Llc Variable focus spectacles
US8132111B2 (en) 2007-01-25 2012-03-06 Samuel Pierce Baron Virtual social interactions
US20090055739A1 (en) 2007-08-23 2009-02-26 Microsoft Corporation Context-aware adaptive user interface
US20090225001A1 (en) 2007-11-06 2009-09-10 University Of Central Florida Research Foundation, Inc. Hybrid Display Systems and Methods
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US20090174946A1 (en) 2008-01-07 2009-07-09 Roni Raviv Customizable head mounted display
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
JP2009245392A (ja) 2008-03-31 2009-10-22 Brother Ind Ltd ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
US20090286570A1 (en) 2008-05-15 2009-11-19 Sony Ericsson Mobile Communications Ab Portable communication device and method of processing embedded visual cues
KR100947990B1 (ko) 2008-05-15 2010-03-18 성균관대학교산학협력단 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
KR20100009947A (ko) * 2008-07-21 2010-01-29 삼성전자주식회사 가상 현실 서비스 간의 상호 연동을 위한 장치 및 방법
US7736000B2 (en) 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
JP5272827B2 (ja) * 2009-03-18 2013-08-28 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20100257252A1 (en) 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US20120105486A1 (en) 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US9030404B2 (en) 2009-07-23 2015-05-12 Qualcomm Incorporated Method and apparatus for distributed user interfaces using wearable devices to control mobile and consumer electronic devices
US8436872B2 (en) 2010-02-03 2013-05-07 Oculus Info Inc. System and method for creating and displaying map projections related to real-time images
US20120021828A1 (en) 2010-02-24 2012-01-26 Valve Corporation Graphical user interface for modification of animation data using preset animation samples
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US9122707B2 (en) 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
WO2012011044A1 (en) 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction
US9107040B2 (en) 2010-09-29 2015-08-11 Apple Inc. Systems, methods, and computer readable media for sharing awareness information
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
CN103201731B (zh) 2010-12-02 2016-01-20 英派尔科技开发有限公司 增强现实系统
US8223088B1 (en) 2011-06-09 2012-07-17 Google Inc. Multimode input field for a head-mounted display
US8184070B1 (en) 2011-07-06 2012-05-22 Google Inc. Method and system for selecting a user interface for a wearable computing device
US8209183B1 (en) 2011-07-07 2012-06-26 Google Inc. Systems and methods for correction of text from different input types, sources, and contexts

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101026776A (zh) * 2006-02-24 2007-08-29 罗技欧洲公司 在图像捕捉装置中使用3d传感器的方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108351700A (zh) * 2015-09-16 2018-07-31 奇跃公司 音频文件的头部姿势混合
CN108351700B (zh) * 2015-09-16 2022-08-12 奇跃公司 音频文件的头部姿势混合

Also Published As

Publication number Publication date
KR20130130740A (ko) 2013-12-02
TWI549505B (zh) 2016-09-11
TW201228380A (en) 2012-07-01
EP2652940A1 (en) 2013-10-23
WO2012082444A1 (en) 2012-06-21
JP2014504413A (ja) 2014-02-20
HK1171103A1 (zh) 2013-03-15
US9213405B2 (en) 2015-12-15
AR084345A1 (es) 2013-05-08
CN102566756A (zh) 2012-07-11
EP2652940A4 (en) 2015-05-20
KR101935061B1 (ko) 2019-01-03
US20120154557A1 (en) 2012-06-21
EP2652940B1 (en) 2018-08-22

Similar Documents

Publication Publication Date Title
CN102566756B (zh) 用于扩展现实显示的基于理解力和意图的内容
CN102419631B (zh) 虚拟内容到现实内容中的融合
CN102591016B (zh) 用于扩展现实显示的优化聚焦区
US9727132B2 (en) Multi-visor: managing applications in augmented reality environments
CN102445756B (zh) 用于扩展现实显示的自动焦点改善
CN102566049B (zh) 用于扩展现实显示的自动可变虚拟焦点
US8576276B2 (en) Head-mounted display device which provides surround video
KR102208376B1 (ko) Hmd 상의 하이브리드 월드/바디 락 hud
CN102591449B (zh) 虚拟内容和现实内容的低等待时间的融合
TWI581178B (zh) 混合實境顯示器中使用者控制的真實物件的消失
US9342610B2 (en) Portals: registered objects as virtualized, personalized displays
CN105393158A (zh) 共享的和私有的全息物体
CN105359076A (zh) 多步骤虚拟对象选择
CN105378632A (zh) 用户焦点控制的有向用户输入

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1171103

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150729

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150729

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1171103

Country of ref document: HK