CN105359076B - 多步骤虚拟对象选择方法和装置 - Google Patents

多步骤虚拟对象选择方法和装置 Download PDF

Info

Publication number
CN105359076B
CN105359076B CN201480034944.9A CN201480034944A CN105359076B CN 105359076 B CN105359076 B CN 105359076B CN 201480034944 A CN201480034944 A CN 201480034944A CN 105359076 B CN105359076 B CN 105359076B
Authority
CN
China
Prior art keywords
user
virtual objects
head
focusing
optional virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480034944.9A
Other languages
English (en)
Other versions
CN105359076A (zh
Inventor
B·E·基恩
T·G·萨尔特
B·J·苏格登
D·德普福德
R·L·小克罗可
L·K·梅赛
A·A-A·基普曼
P·T·金内布鲁
N·F·卡姆达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105359076A publication Critical patent/CN105359076A/zh
Application granted granted Critical
Publication of CN105359076B publication Critical patent/CN105359076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

头戴式显示器允许通过用户的多步骤聚焦对虚拟对象的用户选择。确定对可选对象的聚焦，并随后显示确认对象。当用户聚焦移动到确认对象时，超时确定对确认对象的选择已发生，并由此确定对可选对象的选择已发生。该技术可在透视头戴式显示器中用于允许用户高效地导航具有多个虚拟对象的环境，而没有无意的选择。

Description

多步骤虚拟对象选择方法和装置
背景
混合现实是一种允许将虚拟对象与现实世界物理环境相混合的技术。用户可佩戴透视、头戴式显示(HMD)设备来观看用户的视野中所显示的现实对象和虚拟对象的混合图像。
用户可例如通过执行手或语音姿势来与虚拟对象进行交互，以移动对象、更改它们的外观或简单地查看它们。通过执行手或语音姿势来与虚拟对象进行交互当随时间继续时可在某种程度上是乏味的。自然用户界面(诸如使用XBOX360的Microsoft Kinect)允许用户通过跟踪用户的肢体的移动并将该肢体相对于对象的经渲染版本定位在伴随的显示器上来选择项。当肢体足够接近对象时，视觉指示符被显示，并且一计时器与视觉指示符一起运行，从而向用户提供该对象或项正在被选择的反馈。应用可随后对该选择进行操作。
概述
头戴式显示器中的技术允许基于确定用户已聚焦于对象的对显示器中渲染的虚拟对象的用户选择。用户对可选虚拟对象和确认对象的多步骤聚焦用于确认用户选择对象的意图。确定对可选对象的聚焦，并随后显示确认对象。当用户聚焦移动到确认对象时，超时确定对确认对象的选择已发生，并由此确定对可选对象的选择已发生。该技术可在透视头戴式显示器中用于允许用户高效地导航具有众多虚拟对象的环境，而没有非故意的选择。
透视头戴式显示装置包括：透视头戴式显示器；以及，耦合到该头戴式显示器的处理器。处理器被编程为将至少一个可选虚拟对象渲染在头戴式显示器中，并确定用户的注视和头部位置。可基于用户的注视、用户的头部位置或两者确定聚焦。确定基于用户聚焦对可选虚拟对象的初始选择，并在该可选虚拟对象附近现实确认对象。在用户的聚焦停留在确认对象上时，检测用户对可选对象的选择。提供本概述以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在被用来帮助确定所要求保护的主题的范围。
附图简述
图1A是用于向一个或多个用户呈现混和现实环境的系统的一个实施例的示例组件的图示。
图1B和1C示出用户透过头戴式显示器看到的视图。
图2是头戴式显示单元的一个实施例的透视图。
图3是头戴式显示单元的一个实施例的一部分的侧视图。
图4是头戴式显示单元的组件的一个实施例的框图。图5是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。
图6是结合头戴式显示单元使用的中枢计算系统的组件的一个实施例的框图。
图7是可被用于实现本文所述的中枢计算系统的计算系统的一个实施例的框图。
图8是表示根据本发明技术的方法的流程图。
图9是对表示一种实现图8中的步骤612的方法的流程图的描述。
图10是对表示一种实现图8中的步骤616的方法的流程图的描述。
图11A和11B示出用户查看多个虚拟对象的自上而下的视角以及这样的虚拟对象的用户透视视图。
图12A和12B示出图11A和11B在用户相对于虚拟对象旋转用户视图和聚焦时的虚拟对象以及这样的虚拟对象的用户透视视图的视图。
图13A和13B示出图11A到12B在用户聚焦变为停留在虚拟对象之一时的虚拟对象以及这样的虚拟对象的用户透视视图的视图。
图14示出对图11A-13B中的虚拟对象之一的用户眼睛聚焦和选择。
图15示出图14中的选择的效果。
详细描述
呈现了允许基于确定用户已聚焦于对象的对虚拟对象的用户选择的技术。该技术使用用户对可选虚拟对象和确认对象的多步骤聚焦来确认用户选择对象的意图。第一计时器在确定用户已聚焦于可选对象后并在显示确认对象前运行。当用户聚焦移动到确认对象时，另一超时确定对虚拟对象的选择已发生。可基于用户的注视、用户的头部位置或两者确定聚焦。该技术可在透视头戴式显示器中用于允许用户高效地导航具有众多虚拟对象的环境，而没有非故意的选择。
头戴式显示设备可包括显示元件。该显示元件在一定程度上透明，使得用户可透过该显示元件看该用户的视野(FOV)内的现实世界对象。该显示元件还提供将虚拟图像投影到该用户的FOV中以使得这些虚拟对象也可出现在现实世界对象旁边的能力。该系统自动地跟踪用户所看之处，使得该系统可确定将虚拟图像插入到用户的FOV中的何处。一旦该系统知晓要将该虚拟对象投影至何处，就使用该显示元件投影该图像。
虚拟对象可包括对象定义。该定义可包括允许显示设备2将虚拟对象渲染在用户的视野中的数据。该定义的一个分量可包括对象类型、对象尺寸和一个或多个理想查看视角和朝向。每一理想查看视角可包括用户查看该对象的理想视角的定义。当虚拟对象被共享时，本文中提出的技术使用该对象定义以及该对象被与其共享的每一用户的位置和视野来为每一用户确定要渲染该对象的理想位置。
在一个替换例中，中枢计算系统和一个或多个处理单元可协作以构建包括房间中的所有用户、现实世界对象和虚拟三维对象的x、y、z笛卡尔位置的环境或其他环境的模型。由该环境中的用户佩戴的每个头戴式显示设备的位置可以被校准到该环境的所述模型并且被彼此校准。这允许该系统确定每个用户的视线以及对该环境的FOV。从而，虚拟对象可向每一用户显示，但是该虚拟对象从每一用户的视角来看的显示可以是相对的，从而针对视差以及来自或由于该环境中的其他对象的任何遮挡来调整该虚拟图像。该环境的模型(在本文中被称为场景图)以及对用户的FOV以及该环境中的对象的所有跟踪可由协力或独立工作的中枢和移动处理单元来生成。
图1A示出用于通过使虚拟对象21与用户的FOV内的现实内容融合来提供混合现实体验的系统10。图1A示出佩戴头戴式显示设备2的单个用户18，但应理解，在不止一个用户可存在于混合现实环境中并正从其自己的视角查看相同的虚拟对象。如在图2和3中看到的，头戴式显示设备2可包括集成处理单元4。在其他实施例中，处理单元4可以与头戴式显示设备2分开，且可经由有线或无线通信来与头戴式显示设备2通信。
在一个实施例中为眼镜形状的头戴式显示设备2被佩戴在用户的头上，使得用户可以透过显示器进行查看，并且从而具有该用户前方的空间的实际直接视图。使用术语“实际直接视图”来指代直接用人眼看见现实世界对象的能力，而不是看见对象的被创建的图像表示。例如，通过眼镜看房间允许用户得到该房间的实际直接视图，而在电视机上观看房间的视频不是该房间的实际直接视图。下面提供头戴式显示设备2的更多细节。
处理单元4可包括用于操作头戴式显示设备2的计算能力中的许多能力。在一些实施例中，处理单元4与一个或多个中枢计算系统12无线地(例如，WiFi、蓝牙、红外、或其他无线通信手段)通信。如此后解释的，中枢计算系统12可以在处理单元4的远程提供，使得中枢计算系统12和处理单元4经由诸如LAN或WAN等无线网络来通信。在进一步实施例中，中枢计算系统12可被省略以使用头戴式显示设备2和处理单元4来提供移动混合现实体验。
中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例实施例，中枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可被用于执行诸如游戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统12可包括诸如标准化处理器、专用处理器、微处理器等等之类的处理器，这些处理器可以执行存储在处理器可读存储设备上的指令来执行本文所述的过程。
中枢计算系统12进一步包括捕捉设备20，该捕捉设备20用于从其FOV内的场景的一些部分中捕捉图像数据。如本文所使用的，场景是用户在其中到处移动的环境，这一环境在捕捉设备20的FOV内和/或每一头戴式显示设备2的FOV内被捕捉。图1A示出了单个捕捉设备20，但是在进一步的实施例中可以存在多个捕捉设备，这些捕捉设备彼此协作以公共从所述多个捕捉设备20的合成FOV内的场景中捕捉图像数据。捕捉设备20可包括一个或多个相机，相机在视觉上监视用户18和周围空间，使得可以捕捉、分析并跟踪该用户所执行的姿势和/或移动以及周围空间的结构，以在应用内执行一个或多个控制或动作和/或使化身或屏上人物动画化。
中枢计算系统12可被连接到诸如电视机、监视器、高清电视机(HDTV)等可提供游戏或应用视觉的视听设备16。在一个示例中，视听设备16包括内置扬声器。在其他实施例中，视听设备16和中枢计算系统12可被连接到外部扬声器22。
中枢计算系统12与头戴式显示设备2和处理单元4一起可以提供混合现实体验，其中一个或多个虚拟图像(如图1A中的虚拟对象21)可与场景中的现实世界对象混合在一起。图1A示出植物现实对象23或用户的手作为出现在用户的FOV内的现实世界对象的示例。
在图1A的图示中，用户18与虚拟对象21一起被示出。图1B和1C示出从用户18透过显示器2的视角看到的对象21。如以下相对于图11到14讨论的，用户的注视和用户的头部位置并不总是对齐。一般来说，当用户意图将用户的聚焦引导到特定对象时，用户的注视和用户的头部两者将接近或近似对齐。这是因为通常人类趋于用其头部的运动来跟随其注视。
图1B中示出了图1A中示出的虚拟对象21。在该实例中，相对于对象21的用户头部方向(由交点21h表示)和用户的注视方向(由交点21g表示)两者都被引导在虚拟对象221处。一旦用户已选择了对象并向控制对象21的应用指示了用户选择已发生，该应用就可使得该对象执行某一功能。在图1C的图示中，虚拟对象怪物21变得动画化。可根据透视头戴式显示设备2中运行的任何数目的不同应用对虚拟对象执行任何数目的不同功能。
图2和3示出头戴式显示设备2的透视图和侧视图。图3示出了头戴式显示设备2的右侧，包括该设备的具有镜腿102和鼻梁104的一部分。在鼻梁104中置入了话筒110用于记录声音以及将音频数据传送给处理单元4，如下所述。在头戴式显示设备2的前方是朝向房间的视频相机112，该视频相机112可以捕捉视频和静止图像。那些图像被传送至处理单元4，如下所述。
头戴式显示设备2的镜架的一部分将围绕显示器(显示器包括一个或多个透镜)。为了示出头戴式显示设备2的组件，未描绘围绕显示器的镜架部分。该显示器包括光导光学元件115、不透明滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明滤光器114处于透视透镜116之后并与其对齐，光导光学元件115处于不透明滤光器114之后并与其对齐，而透视透镜118处于光导光学元件115之后并与其对齐。透视透镜116和118是眼镜中使用的标准透镜，并且可根据任何验光单(包括无验光单)来制作。光导光学元件115将人造光引导到眼睛。不透明滤光器114以及光导光学元件115的更多细节在2012年5月24日公开的题为“Head-Mounted Display Device Which Provides Surround Video”(提供环绕视频的头戴式显示设备)的美国已公开专利申请号2012/0127284中被提供。
控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图4提供。处于镜腿102内部或安装到镜腿102的是耳机130、惯性测量单元132、以及温度传感器138。在图4中所示的一个实施例中，惯性测量单元132(或IMU132)包括惯性传感器，诸如三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C。惯性测量单元132感测头戴式显示设备2的位置、定向和突然加速度(俯仰、滚转和偏航)。除了磁力计132A、陀螺仪132B和加速度计132C之外或者取代磁力计132A、陀螺仪132B和加速度计132C，IMU 132还可包括其他惯性传感器。
微显示器120通过透镜122来投影图像。存在着可被用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理(DLP)、硅上液晶(LCOS)、以及来自高通公司的显示技术都是高效的反射技术的示例(因为大多数能量从已调制结构反射离开)并且可被用在本系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoPTM显示引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束(例如，激光)发射到眼睛。
光导光学元件115将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛140。光导光学元件115还允许光如箭头142所描绘的那样从头戴式显示设备2的前方传输通过光导光学元件115一直到眼睛140，从而除了接收来自微显示器120的虚拟对象之外还允许用户具有对头戴式显示设备2的前方的空间的实际直接视图。从而，光导光学元件115的壁是透视的。光导光学元件115包括第一反射表面124(例如镜面或其他表面)。来自微显示器120的光通过透镜122并入射在反射表面124上。反射表面124反射来自微显示器120的入射光，使得光通过内反射被陷在包括光导光学元件115的平面基底内。在基底的表面上进行若干次反射之后，被陷的光波到达选择性反射表面126的阵列。注意，五个表面中的一个表面被标记126为防止附图太过拥挤。反射表面126将从基底出射并入射在这些反射表面上的光波耦合进用户的眼睛140。光导光学元件的更多细节可在于2008年11月20日公开的题为“Substrate-Guided Optical Devices”(基底导向的光学设备)的美国专利公开号2008/0285140中找到。
头戴式显示设备2还包括用于跟踪用户的眼睛的位置的系统。如下面将会解释的那样，该系统将跟踪用户的位置和朝向，使得该系统可确定用户的FOV。然而，人类将不会感知到他们前方的一切。而是，用户的眼睛将被导向该环境的一子集。因此，在一个实施例中，该系统将包括用于跟踪用户的眼睛的位置以便细化对该用户的FOV的测量的技术。例如，头戴式显示设备2包括眼睛跟踪组件134(图3)，该眼睛跟踪组件134具有眼睛跟踪照明设备134A和眼睛跟踪相机134B(图4)。在一个实施例中，眼睛跟踪照明设备134A包括一个或多个红外(IR)发射器，这些红外发射器向眼睛发射IR光。眼睛跟踪相机134B包括感测反射的IR光的一个或多个相机。通过检测角膜的反射的已知成像技术，可以标识出瞳孔的位置。例如，参见于2008年7月22日颁发的题为“Head Mounted Eye Tracking and DisplaySystem”(头戴式眼睛跟踪和显示系统)的美国专利号7,401,920。此类技术可以定位眼睛的中心相对于跟踪相机的位置。一般而言，眼睛跟踪涉及获得眼睛的图像并使用计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足够了，因为双眼通常一致地移动。然而，单独地跟踪每只眼睛是可能的。
在一个实施例中，该系统将使用以矩形布置的4个IR LED和4个IR光电检测器，使得在头戴式显示设备2的透镜的每个角处存在一个IR LED和IR光电检测器。来自LED的光从眼睛反射离开。由在4个IR光电检测器中的每个处所检测到的红外光的量来确定瞳孔方向。也就是说，眼睛中眼白相对于眼黑的量将确定对于该特定光电检测器而言从眼睛反射离开的光量。因此，光电检测器将具有对眼睛中的眼白或眼黑的量的度量。从这4个采样中，该系统可确定眼睛的方向。
另一替代方案是如上面所讨论的那样使用4个红外LED，但是在头戴式显示设备2的透镜的一侧上使用一个红外CCD。CCD将使用小镜子和/或透镜(鱼眼)，以使得CCD可对来自眼镜框的可见眼睛的多达75％成像。然后，该CCD将感测图像并且使用计算机视觉来找出该图像，就像上文所讨论的那样。因此，尽管图3示出了具有一个IR发射器的一个部件，但是图3的结构可以被调整为具有4个IR发射器和/或4个IR传感器。也可以使用多于或少于4个的IR发射器和/或多于或少于4个的IR传感器。
用于跟踪眼睛的方向的另一实施例基于电荷跟踪。此概念基于以下观察：视网膜携带可测量的正电荷而角膜具有负电荷。传感器被安装在用户的耳朵旁(靠近耳机130)以检测眼睛在转动时的电势并且高效地实时读出眼睛正在干什么。也可以使用用于跟踪眼睛的其他实施例。
图3示出了头戴式显示设备2的一半。完整的头戴式显示设备将包括另一组透视透镜、另一不透明滤光器、另一光导光学元件、另一微显示器120、另一透镜122、面向房间的相机、眼睛跟踪组件、微显示器、耳机、和温度传感器。
图4是描绘了头戴式显示设备2的各个组件的框图。图5是描述处理单元4的各种组件的框图。头戴式显示设备2(其组件在图4中被描绘)被用于通过将一个或多个虚拟对象与用户对现实世界的视图的无缝融合来向用户提供混合现实体验。另外，图4的头戴式显示设备组件包括跟踪各种状况的许多传感器。头戴式显示设备2将从处理单元4接收关于虚拟对象的指令，并且将把传感器信息提供回给处理单元4。处理单元4(其组件在图4中被描绘)将从头戴式显示设备2接收传感信息，并且将与中枢计算设备12(图1A)交换信息和数据。基于该信息和数据的交换，处理单元4将确定在何处以及在何时向用户提供虚拟对象并相应地将指令发送给图4的头戴式显示设备。
图4的组件中的一些(例如朝向房间的相机112、眼睛跟踪相机134B、微显示器120、不透明滤光器114、眼睛跟踪照明134A、耳机130和温度传感器138)是以阴影示出的，以指示这些设备中的每个都存在两个，其中一个用于头戴式显示设备2的左侧，而一个用于头戴式显示设备2的右侧。图4示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲器218、显示驱动器220、显示格式化器222、定时发生器226、显示输出接口228、以及显示输入接口230。
在一个实施例中，控制电路200的所有组件都通过专用线路或一个或多个总线彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。相机接口216提供到两个朝向房间的相机112的接口，并且将从朝向房间的相机所接收到的图像存储在相机缓冲器218中。显示驱动器220将驱动微显示器120。显示格式化器222向控制不透明滤光器114的不透明度控制电路224提供关于正在微显示器120上显示的虚拟对象的信息。定时发生器226被用于向该系统提供定时数据。显示输出接口228是用于将图像从朝向房间的相机112提供给处理单元4的缓冲器。显示输入接口230是用于接收诸如要在微显示器120上显示的虚拟对象之类的图像的缓冲器。显示输出接口228和显示输入接口230与作为到处理单元4的接口的带接口232通信。
电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放大器238、话筒前置放大器和音频ADC 240、温度传感器接口242、以及时钟发生器244。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。每个眼睛跟踪照明驱动器236都如上面所述的那样为眼睛跟踪照明134A提供IR光源。音频DAC和放大器238向耳机130输出音频信息。话筒前置放大器和音频ADC 240提供用于话筒110的接口。温度传感器接口242是温度传感器138的接口。电源管理电路202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。
图5是描述处理单元4的各种组件的框图。图5示出与电源管理电路306通信的控制电路304。控制电路304包括：中央处理单元(CPU)320、图形处理单元(GPU)322、高速缓存324、RAM 326、与存储器330(例如D-RAM)进行通信的存储器控制器328、与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输出缓冲器336、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输入缓冲器338、与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340、用于连接到无线通信设备346的PCI express接口、以及(一个或多个)USB端口348。在一个实施例中，无线通信设备346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可被用于将处理单元4对接到中枢计算系统12，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟三维对象的主要力量。以下提供更多的细节。
电源管理电路306包括时钟发生器360、模数转换器362、电池充电器364、电压调节器366、头戴式显示器电源376、以及与温度传感器374进行通信的温度传感器接口372(其可能位于处理单元4的腕带上)。模数转换器362被用于监视电池电压、温度传感器，以及控制电池充电功能。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电能之际(通过电压调节器366)对电池368进行充电。HMD电源376向头戴式显示设备2提供电力。
图6例示出具有捕捉设备20的中枢计算系统12的示例实施例。根据一示例实施例，捕捉设备20可被配置为通过包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一个实施例，捕捉设备20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。
如图6所示，捕捉设备20可包括相机组件423。根据一示例性实施例，相机组件423可以是或者可以包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每个像素都可以表示一深度值，比如所捕捉的场景中的一对象与相机相距的例如以厘米、毫米等为单位的距离。
相机组件423可包括可用来捕捉场景的深度图像的红外(IR)光组件425、三维(3D)相机426、以及RGB(视觉图像)相机428。例如，在飞行时间分析中，捕捉设备20的IR光组件425可将红外光发射到场景上，并且然后可使用传感器(在一些实施例中包括未示出的传感器)、例如使用3-D相机426和/或RGB相机428来检测从场景中的一个或多个目标和对象的表面后向散射的光。
在一示例实施例中，捕捉设备20可进一步包括可与图像相机组件423进行通信的处理器432。处理器432可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令例如包括用于接收深度图像、生成合适的数据格式(例如，帧)以及将数据传送给中枢计算系统12的指令。
捕捉设备20可进一步包括存储器434，存储器434可存储由处理器432执行的指令、由3-D相机和/或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器434可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图6中所示，在一个实施例中，存储器434可以是与图像相机组件423和处理器432通信的单独组件。根据另一实施例，存储器434可被集成到处理器432和/或图像捕捉组件423中。
捕捉设备20通过通信链路436与中枢计算系统12通信。通信链路436可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.1b、802.11g、802.11a或802.11n连接等的无线连接。根据一个实施例，中枢计算系统12可经由通信链路436向捕捉设备20提供可被用于确定何时捕捉例如场景的时钟。附加地，捕捉设备20经由通信链路436将由例如3-D相机426和/或RGB相机428捕捉的深度信息和视觉(例如RGB)图像提供给中枢计算系统12。在一个实施例中，深度图像和视觉图像以每秒30帧的速率被传送；但是可以使用其他帧速率。中枢计算系统12然后可以创建模型并使用模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或文字处理程序等的应用和/或使化身或屏上人物动画化。
上述中枢计算系统12与头戴式显示设备2和处理单元4一起能够将虚拟三维对象插入到一个或多个用户的FOV中，使得该虚拟三维对象扩充和/或替换现实世界的视图。在一个实施例中，头戴式显示设备2、处理单元4以及中枢计算系统12一起工作，因为这些设备中的每一个都包括被用来获得用以确定何处、何时以及如何插入虚拟三维对象的数据的传感器子集。在一个实施例中，确定何处、何时以及如何插入虚拟三维对象的计算由彼此合作地工作的中枢计算系统12和处理单元4执行。然而，在又一些实施例中，所有计算都可由单独工作的中枢计算系统12或单独工作的(一个或多个)处理单元4执行。在其他实施例中，计算中的至少一些可由头戴式显示设备2执行。
在一个示例实施例中，中枢计算设备12和处理单元4一起工作以创建所述一个或多个用户所在的环境的场景图或模型，以及跟踪该环境中各种移动的对象。此外，中枢计算系统12和/或处理单元4通过跟踪用户18佩戴的头戴式显示设备2的位置和定向来跟踪头戴式显示设备2的FOV。头戴式显示设备2所获得的传感器信息被传送给处理单元4。在一个实施例中，该信息被传送给中枢计算系统12，该中枢计算系统12更新场景模型并且将其传送回处理单元。处理单元4随后使用它从头戴式显示设备2接收的附加传感器信息来细化用户的FOV并且向头戴式显示设备2提供关于在何处、何时以及如何插入虚拟三维对象的指令。基于来自捕捉设备20和(一个或多个)头戴式显示设备2中的相机的传感器信息，可在一闭环反馈系统中在中枢计算系统12和处理单元4之间周期性地更新场景模型和跟踪信息，如下面所解释的那样。
图7例示出可被用于实现中枢计算系统12的计算系统的示例实施例。如图7中所示，多媒体控制台500具有含有一级高速缓存502、二级高速缓存504和闪存ROM(只读存储器)506的中央处理单元(CPU)501。一级高速缓存502和二级高速缓存504临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU 501可被配备为具有一个以上的内核，并且由此具有附加的一级和二级高速缓存502和504。闪存ROM 506可存储在多媒体控制台500通电时在引导过程的初始化阶段加载的可执行代码。
图形处理单元(GPU)508和视频编码器/视频编解码器(编码器/解码器)514形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元508向视频编码器/视频编解码器514运送数据。视频处理流水线向A/V(音频/视频)端口540输出数据，用于传输至电视或其他显示器。存储器控制器510连接到GPU 508以方便处理器访问各种类型的存储器512，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台500包括优选地在模块518上实现的I/O控制器520、系统管理控制器522、音频处理单元523、网络接口524、第一USB主控制器526、第二USB控制器528以及前面板I/O子部件530。USB控制器526和528用作外围控制器542(1)-542(2)、无线适配器548、以及外置存储器设备546(例如，闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口524和/或无线适配器548提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。
系统存储器543被提供来存储在引导过程期间加载的应用数据。提供媒体驱动器544，且其可包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器544可位于多媒体控制台500的内部或外部。应用数据可经由介质驱动器544访问，以供多媒体控制台500执行、回放等。介质驱动器544经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器520。
系统管理控制器522提供与确保多媒体控制台500的可用性相关的各种服务功能。音频处理单元523和音频编解码器532形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元523与音频编解码器532之间传输。音频处理流水线将数据输出到A/V端口540，以供外置音频用户或具有音频能力的设备再现。
前面板I/O子部件530支持暴露在多媒体控制台500的外表面上的电源按钮550和弹出按钮552、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块536向多媒体控制台500的组件供电。风扇538冷却多媒体控制台500内的电路。
多媒体控制台500内的CPU 501、GPU 508、存储器控制器510、以及各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线架构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台500通电时，应用数据可从系统存储器543被加载到存储器512和/或高速缓存502、504中并在CPU 501上执行。应用可在导航到多媒体控制台500上可用的不同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，介质驱动器544中所包含的应用和/或其他媒体可从介质驱动器544启动或播放，以将附加功能提供给多媒体控制台500。
多媒体控制台500可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台500允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口524或无线适配器548可用的宽带连接集成的情况下，多媒体控制台500可进一步作为更大网络社区中的参与者来操作。另外，多媒体控制台500可以通过无线适配器548与处理单元4通信。
可选的输入设备(例如，控制器542(1)和542(2))由游戏应用和系统应用共享。输入设备不是保留的资源，而是要在系统应用和游戏应用之间被切换以使其各自将具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，而驱动程序维护有关焦点切换的状态信息。捕捉设备20可经由USB控制器526或其他接口来定义控制台500的附加输入设备。在其他实施例中，中枢计算系统12可以使用其他硬件架构来实现。没有一个硬件架构是必需的。
图1中所示的头戴式显示设备2和处理单元4(有时统称为移动显示设备)与一个中枢计算系统12(亦称中枢12)通信。在又一些实施例中，可以存在一个或两个或更多移动显示设备与中枢12通信。移动显示设备中的每一个可如上述那样使用无线通信与中枢通信。在这样的实施例中所构思的是，有用于移动显示设备的信息中的许多信息都将在中枢处被计算和存储并且被传送给每个移动显示设备。例如，中枢将生成环境的模型并且将该模型提供给与该中枢通信的所有移动显示设备。附加地，中枢可以跟踪移动显示设备以及房间中的移动对象的位置和定向，并且然后将该信息传输给每个移动显示设备。
在另一实施例中，系统可以包括多个中枢12，其中每个中枢都包括一个或多个移动显示设备。中枢可彼此直接通信或经由因特网(或其他网络)通信。这样的一种实施例在2010年10月15日提交的题为“Fusing Virtual Content Into Real Content”(将虚拟内容融合到现实内容中)的Flaks等人的美国专利申请号12/905,952中被公开。
此外，在另外的实施例中，中枢12可以被完全省略。这样的实施例的一个优点是，本系统的混合现实体验变为完全移动的，并且可以被用在室内和室外设定二者中。在这样的一实施例中，下面的描述中由中枢12执行的所有功能都可以可替代地由处理单元4之一、合作地工作的一些处理单元4、或者合作地工作的所有处理单元4来执行。在这样的一实施例中，相应的移动显示设备2执行系统10的所有功能，包括生成和更新状态数据、场景图、每个用户对场景图的视图、所有纹理和渲染信息、视频和音频数据、以及为了执行本文所述的操作的其他信息。下文参考图9的流程图描述的实施例包括中枢12。然而，在每一这样的实施例中，处理单元4中的一个或多个处理单元可替代地执行中枢12的所有所描述的功能。
图8是示出根据本技术的总体方法的流程图。图8的方法可由中枢计算系统12、处理单元4和/或头戴式显示设备2在离散时间段(诸如，为了生成、渲染和向每个用户显示单帧图像数据所花费的时间)期间执行。中枢计算系统12、处理单元4和/或头戴式显示设备2中的任何一者或多者单独或与这些系统中的其他系统结合起作用可执行该方法的全部或部分。
一般而言，该系统生成具有环境和该环境中的诸如用户、现实世界对象和虚拟对象之类的对象的x、y、z坐标的场景图。如上所述，虚拟对象21可例如由在处理单元4和/或头戴式显示设备2上运行的应用或由用户18虚拟地置于环境中。该系统还跟踪每个用户的FOV。尽管所有用户或许可能在查看该场景的相同方面，然而他们正在从不同视角来查看它们。
参考图8，在步骤802，收集场景数据。对于中枢12，该场景数据可以是由捕捉设备20的深度相机426和RGB相机428感测到的图像和音频数据。对于处理单元4，该场景数据可以是由头戴式显示设备2感测到的图像数据，且具体而言，是由相机112、眼睛跟踪组件134和IMU 132感测到的图像数据。可使用捕捉设备20和头戴式显示数据的组合。
在步骤804，可开发场景图，该场景图标识出该场景的几何形状以及该场景内的对象的几何形状和位置。在各实施例中，在给定帧中生成的场景图可包括公共环境中的所有用户、现实世界对象和虚拟对象在本地坐标系中的x、y和z位置。场景图可被用来定位场景内的虚拟对象，以及显示带有正确遮挡的虚拟三维对象(虚拟三维对象可被现实世界对象或另一虚拟三维对象遮挡，或虚拟三维对象可遮挡现实世界对象或另一虚拟三维对象)。在806，确定各现实对象和虚拟对象在用户环境中的位置。
在步骤808，该系统可检测和跟踪诸如在公共环境中移动的人之类的移动对象，并且基于移动对象的位置来更新场景图。
在步骤810，确定用户的头戴式显示设备2的位置、朝向和FOV。现在参考附图9的流程图描述步骤810的进一步细节。当其他用户的位置、朝向和FOV被确定时，该信息可被取回到执行该方法的设备，以供在确定虚拟对象的查看位置的改变时使用。
在步骤812，将虚拟对象渲染在用户佩戴设备2的视野中。每一对象可包括用于渲染对象的对象定义，包括对象的图形信息以及对象应当被渲染到的位置和朝向。
在步骤814，确定在步骤812用户是否选择了渲染的虚拟对象。参考图11-14阐述了用于确定用户是否选择了虚拟对象的方法以及该选择的图示。
在步骤816，如果在814确定了对对象的选择，则可将选择指示符传送给处理器4、HUB 12和/或应用以对该对象的选择进行操作。
在步骤818，如果检测到相对于环境的用户移动，则该方法在810更新该位置、朝向和FOV。用户移动可包括如上所述用于操纵对象的移动或在公共环境内的移动。用户可在公共环境内物理地移动，并且其相对于虚拟对象的位置可改变。
图9示出一种用于执行图8中的步骤810的方法。在一种方式中，对用户的跟踪可被分类成与眼睛跟踪和头部朝向跟踪有关的两个不同的分支。
步骤900使用上述技术来标识用于跟踪用户的一个或两个眼睛的分支。在步骤902中，照明眼睛，例如使用来自图3中的眼睛跟踪照明134的若干LED的红外光来照明眼睛。在步骤904，使用一个或多个红外眼睛跟踪相机134B来检测来自眼睛的反射。在步骤906，将反射数据提供给处理单元4。在步骤908，如以上讨论的，处理单元4基于反射数据来确定眼睛的位置。步骤910确定注视方向(例如，结合图11进一步讨论的)和焦距。
在一种方式中，眼球的位置可基于相机和LED的位置来确定。瞳孔中心可使用图像处理来找出，并且延伸穿过瞳孔中心的辐射可被确定为视轴。具体而言，一个可能的眼睛跟踪技术使用闪光的位置，该闪光是当瞳孔被照明时从瞳孔反射离开的少量的光。计算机程序基于该闪光确定凝视的位置。另一可能的眼睛跟踪技术是瞳孔中心/角膜反射技术，该技术可以比闪光技术的位置更准确，因为该技术跟踪闪光和瞳孔中心两者。瞳孔中心一般是视力的精确位置，并且通过在闪光的参数内跟踪该区域，对眼睛正凝视哪里作出准确预测是可能的。
在另一方式中，瞳孔形状可用于确定用户正注视的方向。瞳孔与相对于正前方的视角成比例地变得更椭圆。
在另一方式中，眼睛中的多个闪光被检测以找出眼睛的3d位置，估计眼睛的半径，并且绘制通过眼睛中心通过瞳孔中心的线以获取凝视方向。例如，参见加利福尼亚洲圣地亚哥市2006年ETRA(眼睛跟踪研究应用)第88期ACM第87-94页Hennessey等人的“A SingleCamera Eye-Gaze Tracking System with Free Head Motion(具有自由头部运动的单个相机眼睛注视跟踪系统)”。
步骤920使用上述技术来标识用于跟踪用户的头部朝向的分支。在步骤922，处理单元4从三轴陀螺仪132B访问数据。在步骤924，处理单元4从三轴加速度计132C访问数据。在步骤926，处理单元4从三轴磁力计132A访问数据。基于这些输入，处理单元4可在步骤927确定头部朝向。在另一方式中，处理单元4用来自陀螺仪、加速度计和磁力计的数据来细化从中枢计算设备12接收的朝向数据。
图10是示出根据所提出的技术的一种用于确定对虚拟对象的选择的方法的流程图。图10可结合图11A到14来理解。
在步骤1020和1022，取回用户的注视位置和头部位置。用户的注视位置和头部位置是如上所述结合图9确定的。如以下结合图11A-13B所示的，用户的注视和头部位置可总是被对齐。
在步骤1024，作出关于用户是否正聚焦于可选对象的初始确定。随着用户在头戴式显示器2的视野中扫描显式对象和虚拟对象两者，用户可能注视在不可选的现实对象和虚拟对象两者上。可选对象是由用户可基于选择操纵的对象，或者其选择导致对该对象执行功能的对象。例如，在选择图1B中的怪物时，怪物虚拟对象变得如1C中那样被动画化。在步骤1024的确定是对用户是否已开始聚焦于可选对象的指示。
可根据以下结合图11到14的描述来确定对可选对象的聚焦。聚焦的确定可基于用户的注视、用户的头部位置或两者来作出。如果注视停留在对象上达预定的时间段，则将确定用户已聚焦于该对象。在替换实施例中，如果用户的注视和头部位置在某种程度上相对于可选对象对齐，则将确定用户聚焦于该对象。
一旦在1024确定对对象的初始聚焦，用户对可选对象的注视将在步骤1026启动相对较短的计时器。如果在1026用户保持聚焦于对象达该计时器的持续时间，则在1028将显示确认对象。在1026的计时器的长度可处于一秒钟的一半的量级。
确认对象在图14中被示出。一旦确认对象被显示，用户对该确认对象的聚焦将确定可选虚拟对象是否是活动的。确认对象被渲染成表现为连接到可选虚拟对象并且它们之间没有其他可选虚拟对象。可使用选择和确认对象的各种形状和外观。
在步骤1030，确定用户是否改变了对确认对象的聚焦。再次，对确认对象的聚焦可基于用户的注视、用户的头部位置或两者来确定。另选地或替换地，由用户的注视路径形成的模式可有利于1028处对确认对象的聚焦的确定。
如果在1039确定用户聚焦于确认对象，则在步骤1032运行确认对象上的超时。该超时确保用户意图通过聚焦于确认对象来选择原始的可选对象。如果确认对象计时器在用户聚焦于确认对象时结束，则在1034将选择命令引导到处理器4和/或应用。确认对象上的超时的计时器可大于步骤1026的时间段、与该时间段相同或比该时间段短。在一个实施例中，步骤1032的时间段比步骤1026的时间段长。
这时，设备处理器4和/或应用将按应用的开发者指示的方式操纵所选的对象。
在选择命令被发出之后的某时间点处，用户将可能将目光从可选对象处移开。一旦用户的聚焦从可选对象处移走，在1036运行用户的目光移开计时器。当该计时器期满时，在步骤1038发出取消选择命令。如果在1042用户在该计时器期满之前将目光移回可选对象，则在1044该计时器复位直到在1036用户再次将目标移开。该方法在1040行进到下一被选对象。
图11A-图13A示出俯视透视图，并且图11B-图13示出了用户查看多个虚拟对象的用户视角。在图11A和图11B，佩戴透视头戴式显示设备2的用户18可查看多个虚拟对象1102、1104、1106、1108和1110。在一些实施例中，虚拟对象可以是可选的虚拟对象和不可选的虚拟对象。不可选的虚拟对象可被呈现给查看者，但不可被用户选择以提供附加功能。可选的虚拟对象提供某个附加功能。
在图11A中，用户的注视通过向量1030示出，而用户的相对头部位置通过向量1120示出。图11B示出用户18如透过头戴式显示器2看到的视图。仅头戴式显示器2的一个透镜被示出。如图11B所示，对象1102和1104将被完整地渲染，而对象1106、1108、1110以幻影示出以显示相应的位置，但应当理解，对象1106、1108、1110对用户将是不可见的，除非它们在用户佩戴显示器2时在用户的视野中。
图11B还示出注视向量1130的交点和头部方向向量1130的交点。这样的交点将对用户18不可见，并且仅出于说明的目的在图11B中以不同的尺寸示出。
在图11A中，用户的头部正逆时针旋转。由此，有可能用户的注视将在用户的头部运动之前，并且因此如向量1030所表示的用户的注视将引导用户的头部位置。如图11B中所示，聚焦向量1130和头部位置向量1120之间存在可测量的差异1132。
图12A示出沿着注视路径1127的用户注视的经旋转位置和头部位置示出用户的注视向量1130在用户头部位置向量1120之前前进。当用户沿着旋转路径1125移动时，对象1106将进入聚焦并且对象1102将离开视图。
图13A和13D示出用户的注视和头部位置变为停留在对象1106上。在该实例中，在头部向量1120和注视向量1130之间存在很少距离或不存在距离。图13B示出用户注视和头部位置两者在对象1106上对齐。当注视向量1130的交点和头部向量1120的交点之间存在很少差异或不存在差异时，可确定用户聚焦于对象1106。应当理解，可允许各个向量的交点之间的一些差异，并根据设计目标来确定差异级别。在替换实施例中，注视向量1130与一个对象的相交以及用户的头部向量1120与完全不同的虚拟对象相交仍会导致确定用户聚焦于特定对象。
在又一实施例中，仅使用注视向量1030与选择对象(和/或确认对象)的交点。
图14示出所有的虚拟对象1102到1110。在图14中，确认对象1135被示出。虽然如图14所示确认对象采用为矩形的通用形状，但确认对象可以是任何形状或尺寸。一般来说，确认对象被渲染在对选择对象没有遮挡并且邻近选择对象的位置。此外，尽管确认对象被定位在选择对象的右下方时，但确认对象可被定位在相对于选择对象的其他位置处。
确认对象可以或可以不沿着路径1145将用户的聚焦吸引到该确认对象。如果用户没有移动到确认对象(如在步骤1130讨论的)，则用户可将目标从选择对象移开或保持聚焦于选择对象。
一旦用户聚焦于确认对象(如在以上步骤1030)，用户对确认对象1135的持续注视将导致确定除了选择对象外，用户还意图选择确认对象(如以上讨论的通过在步骤1032完成计时器)。
一般来说，用户的注视路径可跟随图14中的路径1137。也可发生与路径1137的较小偏离(诸如该路径中较大的角度或者图13B的注视交点和图14的交点之间的严格对角)。在一个实施例中，用户在图13B中示出的用户的初始聚焦位置和图14中示出的用户的新的聚焦位置之间的相对路径上的移动可被用来验证对用户聚焦于确认对象的确定。
图15示出在本技术的一个实施例中的选择结果。
在图15的示例中，对对象1106(其是西雅图天际线的图片)的选择将打开虚拟对象1500旅行服务演示。
本文中的方法中的任何一个或多个可通过存储在计算机存储介质上的计算机可读代码来实现，该计算机可读代码可被中枢计算系统12、处理单元4和/或头戴式显示设备2中的任何一者或多者合适地读取。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述特定特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (15)

1.一种用于选择渲染在透视头戴式显示器中的虚拟对象的方法，包括：
渲染一个或多个虚拟对象，至少一个虚拟对象是用户可选的虚拟对象以加入与该对象有关的功能；
确定用户的注视、头部位置和视野，所述注视、头部位置和视野确定用户聚焦；
如果用户的聚焦与可选虚拟对象相交，则确定对所述可选虚拟对象的初始选择；
在所述可选虚拟对象附近显示确认对象；以及
检测所述用户的聚焦是否与所述确认对象相交，由此发起对所述可选虚拟对象的选择，其中检测所述用户聚焦是否与所述确认对象相交进一步包括：
检测在所述用户在所述可选虚拟对象上的初始聚焦位置和在所述确认对象上的新聚焦位置之间的与所述用户的聚焦相对应的注视运动路径以用于发起对所述可选虚拟对象的选择。
2.如权利要求1所述的方法，其特征在于，所述方法进一步包括在显示确认对象之前，确定所述用户聚焦是否保持在所述可选虚拟对象上达第一时间段。
3.如权利要求1所述的方法，其特征在于，所述检测包括确定所述用户聚焦是否保持在所述确认对象上达第二时间段。
4.如权利要求1所述的方法，其特征在于，确定所述用户的注视包括确定所述用户注视是否与所述可选虚拟对象或所述确认对象之一相交。
5.如权利要求1所述的方法，其特征在于，检测所述注视运动路径包括检测所述可选虚拟对象和所述确认对象之间的注视运动模式。
6.如权利要求5所述的方法，其特征在于，检测所述注视运动模式进一步包括检测在所述用户在所述可选虚拟对象上的初始聚焦位置和新聚焦位置之间的注视路径上的与所述用户的聚焦相对应的注视运动模式。
7.如权利要求6所述的方法，其特征在于，检测所述注视运动模式进一步包括当所述注视运动模式对应于所述可选虚拟对象和所述确认对象之间由所述用户的注视跟随的预先确定的路径时，确定所述用户的聚焦在所述确认对象上。
8.如权利要求7所述的方法，其特征在于，所述确认对象将所述用户的聚焦沿着所述预先确定的路径吸引到所述确认对象。
9.一种显示装置，包括：
头戴式显示器；以及
耦合到所述头戴式显示器的处理器，所述处理器被编程为：
将至少一个可选虚拟对象渲染在所述头戴式显示器中；
确定用户的注视和头部位置，由此提供所述用户的用户聚焦；
基于所述用户聚焦确定对所述可选虚拟对象的初始选择；
在所述可选虚拟对象附近显示确认对象；以及
当所述用户的聚焦停留在所述确认对象上时，检测到所述用户对所述可选虚拟对象的选择，其中检测所述用户聚焦是否与所述确认对象相交进一步包括：
检测在所述用户在所述可选虚拟对象上的初始聚焦位置和在所述确认对象上的新聚焦位置之间的与所述用户的聚焦相对应的注视运动路径以用于发起对所述可选虚拟对象的选择。
10.如权利要求9所述的装置，其特征在于，所述处理器被编程以确定所述用户聚焦是否保持在所述可选虚拟对象上达第一时间段。
11.如权利要求10所述的装置，其特征在于，所述处理器被编程以检测所述聚焦是否所述用户聚焦是否保持在所述确认对象上达第二时间段。
12.如权利要求11所述的装置，其特征在于，所述第一时间段比所述第二时间段短。
13.如权利要求12所述的装置，其特征在于，所述处理器被编程以确定所述用户的聚焦是否离开所述可选虚拟对象，并发起对所述可选虚拟对象的取消选择。
14.如权利要求9所述的装置，其特征在于，检测所述注视运动路径进一步包括检测在所述用户在所述可选虚拟对象上的初始聚焦位置和新聚焦位置之间的注视路径上的与所述用户的聚焦相对应的注视运动模式。
15.如权利要求14所述的装置，其特征在于，检测所述注视运动模式进一步包括当所述注视运动模式对应于所述可选虚拟对象和所述确认对象之间由所述用户的注视跟随的预先确定的路径时，确定所述用户的聚焦在所述确认对象上。
CN201480034944.9A 2013-06-18 2014-06-11 多步骤虚拟对象选择方法和装置 Active CN105359076B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/921,109 US9329682B2 (en) 2013-06-18 2013-06-18 Multi-step virtual object selection
US13/921,109 2013-06-18
PCT/US2014/041961 WO2014204755A1 (en) 2013-06-18 2014-06-11 Multi-step virtual object selection

Publications (2)

Publication Number Publication Date
CN105359076A CN105359076A (zh) 2016-02-24
CN105359076B true CN105359076B (zh) 2019-06-18

Family

ID=51168384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480034944.9A Active CN105359076B (zh) 2013-06-18 2014-06-11 多步骤虚拟对象选择方法和装置

Country Status (6)

Country Link
US (1) US9329682B2 (zh)
EP (1) EP3011419B1 (zh)
JP (1) JP6359649B2 (zh)
KR (1) KR102296122B1 (zh)
CN (1) CN105359076B (zh)
WO (1) WO2014204755A1 (zh)

Families Citing this family (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9654563B2 (en) 2012-12-14 2017-05-16 Biscotti Inc. Virtual remote functionality
US9485459B2 (en) * 2012-12-14 2016-11-01 Biscotti Inc. Virtual window
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US20140282113A1 (en) 2013-03-15 2014-09-18 John Cronin Personal digital assistance and virtual reality
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
DE102013013698A1 (de) * 2013-08-16 2015-02-19 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille
KR102077105B1 (ko) * 2013-09-03 2020-02-13 한국전자통신연구원 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) * 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
JP6454851B2 (ja) * 2014-08-07 2019-01-23 フォーブ インコーポレーテッド ３次元上の注視点の位置特定アルゴリズム
KR102309281B1 (ko) * 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US9659411B2 (en) 2015-01-14 2017-05-23 Oculus Vr, Llc Passive locators for a virtual reality headset
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US9558760B2 (en) 2015-03-06 2017-01-31 Microsoft Technology Licensing, Llc Real-time remodeling of user voice in an immersive visualization system
JP6587421B2 (ja) * 2015-05-25 2019-10-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US9959677B2 (en) * 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
KR20170130582A (ko) * 2015-08-04 2017-11-28 구글 엘엘씨 가상현실에서 시선 인터렉션을 위한 호버 행동
TWI736542B (zh) * 2015-08-06 2021-08-21 日商新力股份有限公司 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體
JP6757404B2 (ja) 2015-08-28 2020-09-16 インターデジタル シーイー パテント ホールディングス シースルー・グラス用の補助アイテム選択
US10127725B2 (en) 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging
US10082865B1 (en) * 2015-09-29 2018-09-25 Rockwell Collins, Inc. Dynamic distortion mapping in a worn display
IL293873B2 (en) * 2015-10-20 2024-03-01 Magic Leap Inc Selection of virtual objects in three-dimensional space
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US20170212582A1 (en) * 2016-01-21 2017-07-27 Cisco Technology, Inc. User interface selection
US10229541B2 (en) 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
CN105824409A (zh) * 2016-02-16 2016-08-03 乐视致新电子科技（天津）有限公司 虚拟现实的交互控制方法及装置
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9824500B2 (en) * 2016-03-16 2017-11-21 Microsoft Technology Licensing, Llc Virtual object pathing
JP6630607B2 (ja) * 2016-03-28 2020-01-15 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
JP6625467B2 (ja) * 2016-03-28 2019-12-25 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
JP6200023B1 (ja) * 2016-03-28 2017-09-20 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
US10048751B2 (en) * 2016-03-31 2018-08-14 Verizon Patent And Licensing Inc. Methods and systems for gaze-based control of virtual reality media content
KR102438052B1 (ko) 2016-03-31 2022-08-29 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과 상호작용들
EP3236363A1 (en) * 2016-04-18 2017-10-25 Nokia Technologies Oy Content search
JP7009389B2 (ja) 2016-05-09 2022-01-25 グラバンゴ コーポレイション 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
AU2016203135A1 (en) 2016-05-13 2017-11-30 Canon Kabushiki Kaisha Method, system and apparatus for selecting a video frame
EP3249497A1 (en) * 2016-05-24 2017-11-29 Harman Becker Automotive Systems GmbH Eye tracking
US11468111B2 (en) 2016-06-01 2022-10-11 Microsoft Technology Licensing, Llc Online perspective search for 3D components
WO2017211802A1 (en) * 2016-06-07 2017-12-14 Koninklijke Kpn N.V. Capturing and rendering information involving a virtual environment
US10990169B2 (en) 2016-06-28 2021-04-27 Rec Room Inc. Systems and methods for assisting virtual gestures based on viewing frustum
US10268266B2 (en) 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
US10282621B2 (en) 2016-07-09 2019-05-07 Grabango Co. Remote state following device
US20180082476A1 (en) * 2016-09-22 2018-03-22 International Business Machines Corporation Collaborative search for out of field of view augmented reality objects
US20180081434A1 (en) 2016-09-22 2018-03-22 Apple Inc. Eye and Head Tracking
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
US20180096505A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
JP2018064836A (ja) * 2016-10-20 2018-04-26 株式会社Ｂｂｑ バーチャルゲーム装置
EP3529750A4 (en) * 2016-10-24 2019-10-16 Snap Inc. REDUNDANT TRACKING SYSTEM
CN106774821B (zh) * 2016-11-08 2020-05-19 广州视源电子科技股份有限公司 基于虚拟现实技术的显示方法和系统
KR102104705B1 (ko) * 2016-11-23 2020-05-29 최해용 휴대용 혼합 현실 장치
GB2558284B (en) * 2016-12-23 2021-12-08 Sony Interactive Entertainment Inc Virtual reality
US11132737B2 (en) 2017-02-10 2021-09-28 Grabango Co. Dynamic customer checkout experience within an automated shopping environment
US10778906B2 (en) 2017-05-10 2020-09-15 Grabango Co. Series-configured camera array for efficient deployment
EP3639114B1 (en) 2017-06-15 2024-03-06 Tencent Technology (Shenzhen) Company Limited System and method of instantly previewing immersive content
US10740742B2 (en) 2017-06-21 2020-08-11 Grabango Co. Linked observed human activity on video to a user account
JP2020532031A (ja) 2017-08-23 2020-11-05 ニューラブル インコーポレイテッド 高速視標追跡機能を有する脳−コンピュータインタフェース
DE102017215074A1 (de) * 2017-08-29 2019-02-28 Siemens Healthcare Gmbh Verfahren und Auswahleinheit zum Auswählen eines virtuellen Objekts oder eines Bildparameterwerts
CN107562199B (zh) * 2017-08-31 2020-10-09 北京金山安全软件有限公司 一种页面对象设置方法、装置、电子设备及存储介质
US20190079591A1 (en) 2017-09-14 2019-03-14 Grabango Co. System and method for human gesture processing from video input
KR102518404B1 (ko) 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
US11596301B2 (en) 2017-09-29 2023-03-07 Motognosis Ug Device for the determination and analysis of the motor skill and the oculomotor skill of a person
US10963704B2 (en) 2017-10-16 2021-03-30 Grabango Co. Multiple-factor verification for vision-based systems
US11481805B2 (en) 2018-01-03 2022-10-25 Grabango Co. Marketing and couponing in a retail environment using computer vision
US20190212815A1 (en) * 2018-01-10 2019-07-11 Samsung Electronics Co., Ltd. Method and apparatus to determine trigger intent of user
JP6628331B2 (ja) * 2018-01-22 2020-01-08 株式会社コナミデジタルエンタテインメント プログラムおよび画像表示システム
WO2019142817A1 (ja) * 2018-01-22 2019-07-25 株式会社コナミデジタルエンタテインメント 画像表示システムおよびそのプログラムを記録した記録媒体
JP6587364B2 (ja) * 2018-01-22 2019-10-09 株式会社コナミデジタルエンタテインメント プログラムおよび画像表示システム
US11145096B2 (en) 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
WO2019172678A1 (en) * 2018-03-07 2019-09-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
KR102086779B1 (ko) * 2018-05-14 2020-03-09 단국대학교 산학협력단 포커스 설정 모듈 및 방법, 그것을 포함하는 버추얼 영상 재생 시스템
US10768426B2 (en) * 2018-05-21 2020-09-08 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
US11043193B2 (en) 2018-06-05 2021-06-22 Magic Leap, Inc. Matching content to a spatial 3D environment
JP7457453B2 (ja) * 2018-07-27 2024-03-28 株式会社栗本鐵工所 仮想オブジェクト触覚提示装置およびプログラム
JP6780865B2 (ja) * 2018-07-31 2020-11-04 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
WO2020036898A1 (en) 2018-08-13 2020-02-20 Magic Leap, Inc. A cross reality system
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
WO2020072985A1 (en) * 2018-10-05 2020-04-09 Magic Leap, Inc. Rendering location specific virtual content in any location
WO2020092450A1 (en) 2018-10-29 2020-05-07 Grabango Co. Commerce automation for a fueling station
US11507933B2 (en) 2019-03-01 2022-11-22 Grabango Co. Cashier interface for linking customers to virtual data
WO2021020068A1 (ja) * 2019-07-26 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2022551733A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 位置特定サービスを伴うクロスリアリティシステム
JP2022551735A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 無線フィンガプリントを用いたクロスリアリティシステム
WO2021076757A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system supporting multiple device types
EP4059007A4 (en) 2019-11-12 2023-11-01 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH LOCATION SERVICE AND SHARED LOCATION-BASED CONTENT
WO2021118962A1 (en) 2019-12-09 2021-06-17 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
US11830149B2 (en) 2020-02-13 2023-11-28 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
WO2021163300A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
JP2023514205A (ja) 2020-02-13 2023-04-05 マジック リープ， インコーポレイテッド 正確な共有マップを伴うクロスリアリティシステム
EP4111425A4 (en) 2020-02-26 2024-03-13 Magic Leap Inc MIXED REALITY SYSTEM WITH QUICK LOCATION
KR20210130281A (ko) 2020-04-21 2021-11-01 삼성디스플레이 주식회사 사용자 지정 알고리즘을 이용한 이동 통신 단말기의 제어 방법, 및 이동 통신 단말기
US11900547B2 (en) 2020-04-29 2024-02-13 Magic Leap, Inc. Cross reality system for large scale environments
GB202009876D0 (en) * 2020-06-29 2020-08-12 Microsoft Technology Licensing Llc Visual interface for a computer system
GB202009874D0 (en) * 2020-06-29 2020-08-12 Microsoft Technology Licensing Llc Visual interface for a computer system
US20230333643A1 (en) * 2022-03-30 2023-10-19 Apple Inc. Eye Tracking Based Selection of a User Interface (UI) Element Based on Targeting Criteria
US20240103704A1 (en) * 2022-09-24 2024-03-28 Apple Inc. Methods for interacting with user interfaces based on attention
WO2024064388A1 (en) * 2022-09-24 2024-03-28 Apple Inc. Devices, methods, for interacting with graphical user interfaces

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694043A (zh) * 2004-04-29 2005-11-09 国际商业机器公司 用眼睛凝视和按键按压组合选择和激活对象的系统和方法
CN102822771A (zh) * 2010-01-21 2012-12-12 托比技术股份公司 基于眼球跟踪器的上下文动作

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4595990A (en) 1980-12-31 1986-06-17 International Business Machines Corporation Eye controlled information transfer
JPH09204287A (ja) * 1996-01-25 1997-08-05 Canon Inc 処理選択方法及び装置
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US7046924B2 (en) 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
JP4883774B2 (ja) * 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
PL2242419T3 (pl) 2008-02-14 2016-05-31 Nokia Technologies Oy Urządzenie i sposób określania kierunku spojrzenia
US8494215B2 (en) * 2009-03-05 2013-07-23 Microsoft Corporation Augmenting a field of view in connection with vision-tracking
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
US20120005624A1 (en) 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US20120086645A1 (en) 2010-10-11 2012-04-12 Siemens Corporation Eye typing system using a three-layer user interface
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9043042B2 (en) 2011-07-19 2015-05-26 GM Global Technology Operations LLC Method to map gaze position to information display in vehicle
US8629815B2 (en) 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US9116666B2 (en) * 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
US20140049462A1 (en) * 2012-08-20 2014-02-20 Google Inc. User interface element focus based on user's gaze
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694043A (zh) * 2004-04-29 2005-11-09 国际商业机器公司 用眼睛凝视和按键按压组合选择和激活对象的系统和方法
CN102822771A (zh) * 2010-01-21 2012-12-12 托比技术股份公司 基于眼球跟踪器的上下文动作

Also Published As

Publication number Publication date
JP2016530600A (ja) 2016-09-29
US9329682B2 (en) 2016-05-03
EP3011419B1 (en) 2018-03-07
CN105359076A (zh) 2016-02-24
KR102296122B1 (ko) 2021-08-30
JP6359649B2 (ja) 2018-07-18
US20140372957A1 (en) 2014-12-18
KR20160020571A (ko) 2016-02-23
WO2014204755A1 (en) 2014-12-24
EP3011419A1 (en) 2016-04-27

Similar Documents

Publication Publication Date Title
CN105359076B (zh) 多步骤虚拟对象选择方法和装置
CN105408837B (zh) Hmd上的混合世界/身体锁定的hud
CN105264478B (zh) 全息锚定和动态定位
CN105452994B (zh) 虚拟物体的同时优选观看
CN102591016B (zh) 用于扩展现实显示的优化聚焦区
CN102566049B (zh) 用于扩展现实显示的自动可变虚拟焦点
CN102445756B (zh) 用于扩展现实显示的自动焦点改善
CN102591449B (zh) 虚拟内容和现实内容的低等待时间的融合
CN102566756B (zh) 用于扩展现实显示的基于理解力和意图的内容
CN102419631B (zh) 虚拟内容到现实内容中的融合
CN104995583A (zh) 用于混合现实环境的直接交互系统
CN107810634A (zh) 用于立体增强现实的显示器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant