CN105431763A - 在佩戴移动设备时跟踪头部移动 - Google Patents

在佩戴移动设备时跟踪头部移动 Download PDF

Info

Publication number
CN105431763A
CN105431763A CN201480036139.XA CN201480036139A CN105431763A CN 105431763 A CN105431763 A CN 105431763A CN 201480036139 A CN201480036139 A CN 201480036139A CN 105431763 A CN105431763 A CN 105431763A
Authority
CN
China
Prior art keywords
hmd
terminal user
head
head position
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480036139.XA
Other languages
English (en)
Other versions
CN105431763B (zh
Inventor
N·阿克曼
D·斯蒂里
A·霍奇
A·A-A·基普曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105431763A publication Critical patent/CN105431763A/zh
Application granted granted Critical
Publication of CN105431763B publication Critical patent/CN105431763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Abstract

描述了用于跟踪头戴式显示设备(HMD)的终端用户相对于HMD的头部位置的方法。在一些实施例中，HMD可确定与终端用户相对于HMD的初始头部位置相关联的初始头部跟踪矢量，确定与终端用户相对于HMD的一个或多个后续头部位置相对应的一个或多个头部跟踪矢量，基于初始头部跟踪矢量和一个或多个头部跟踪矢量来跟踪终端用户随时间的头部移动，以及基于头部移动来调整向终端用户显示的虚拟对象的位置。在一些实施例中，生成的并向终端用户显示的虚拟对象的分辨率和/或数目可基于终端用户相对于HMD的头部移动的程度来修改。

Description

在佩戴移动设备时跟踪头部移动
背景
增强现实(AR)涉及提供经增强的现实世界环境，其中用计算机生成的虚拟数据来增强或修改对现实世界环境(或表示现实世界环境的数据)的感知。例如，可使用诸如相机或话筒等传感输入设备实时地捕捉表示现实世界环境的数据，并用包括虚拟图像和虚拟声音的计算机生成的虚拟数据来增强该数据。虚拟数据还可包括与现实世界环境有关的信息，诸如与现实世界环境中的现实世界对象相关联的文本描述。一些AR环境内的对象可包括现实对象(即，存在于特定的现实世界环境中的对象)和虚拟对象(即，不存在于特定的现实世界环境中的对象)。
为了将虚拟对象逼真地集成到AR环境中，AR系统通常执行包括映射和本地化的若干任务。映射涉及生成现实世界环境的映射的过程。本地化涉及相对于现实世界环境的映射来定位特定的视角或姿态的过程。在一些情况下，AR系统可实时本地化在现实世界环境内移动的移动设备的姿态，以便确定与该移动设备相关联的、需要随该移动设备在现实世界环境中移动而被增强的特定视图。
概述
描述了用于随时间跟踪头戴式显示设备(HMD)的终端用户相对于HMD的头部位置的技术。在一些实施例中，HMD可确定终端用户相对于HMD的初始头部位置，确定终端用户相对于HMD的一个或多个后续头部位置，基于一个或多个后续头部位置跟踪终端用户随时间的头部移动，以及基于终端用户的头部移动来调整向终端用户显示的虚拟对象的位置。在一些实施例中，被生成并向终端用户显示的虚拟对象的分辨率和/或数目可基于终端用户相对于HMD的头部移动的程度来修改。
提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在被用来帮助确定所要求保护的主题的范围。
附图简述
图1是可在其中实施所公开的技术的联网计算环境的一个实施例的框图。
图2A描绘了与第二移动设备通信的移动设备的一个实施例。
图2B描绘了HMD的一部分的一个实施例。
图2C描绘了其中延伸到注视点的注视矢量用于对准远瞳距(IPD)的HMD的一部分的一个实施例。
图2D描绘了其中延伸到注视点的注视矢量用于对准近瞳距(IPD)的HMD的一部分的一个实施例。
图3A描绘了具有包括注视检测元件的可移动显示光学系统的HMD的一部分的一个实施例。
图3B描绘了具有包括注视检测元件的可移动显示光学系统的HMD的一部分的一个替换实施例。
图4A描绘了由终端用户佩戴的HMD的一个实施例。
图4B描绘使用与HMD集成的面向内的相机拍摄的图像对。
图4C描绘与终端用户的眼睛相对应的各特征点的标识。
图4D描绘相对于HMD定位的终端用户的眼睛的3D模型。
图4E描绘使用与HMD集成的面向内的相机拍摄的第二图像对。
图4F描绘与终端用户的眼睛相对应的各特征点的标识。
图4G描绘相对于HMD定位的终端用户的眼睛的经更新的3D模型。
图4H描绘终端用户的眼睛位置随时间的改变的表示的一个实施例。
图5是描述用于跟踪HMD的终端用户相对于HMD的头部位置并基于相对于HMD的头部位置来调整虚拟对象的位置的方法的一个实施例的流程图。
图6是描述用于跟踪HMD的终端用户相对于HMD的头部位置的方法的替换实施例的流程图。
图7是移动设备的一个实施例的框图。
详细描述
描述了用于随时间跟踪头戴式显示设备(HMD)的终端用户相对于HMD的头部位置的技术。在一些实施例中，HMD可确定与终端用户相对于HMD的初始头部位置相关联的初始头部跟踪矢量，确定与终端用户相对于HMD的一个或多个后续头部位置相对应的一个或多个头部跟踪矢量，基于初始头部跟踪矢量和一个或多个头部跟踪矢量来跟踪终端用户随时间的头部移动，以及基于终端用户的头部移动来调整向终端用户显示的虚拟对象的位置。在该情况下，如果终端用户的头部位置(或眼睛位置)相对于与HMD有关的初始放置移位了(例如，由于在终端用户佩戴HMD时该终端用户在崎岖不平的道路上骑车或意外地碰到了HMD)，则HMD可调整向终端用户显示的虚拟对象的位置，使得虚拟对象表现为被固定在或其他方式被合适地定位在增强现实环境内。在一些实施例中，可基于相对于HMD的头部移动的程度来修改所生成的或向终端用户显示的虚拟对象的分辨率和/或数目。在一个示例中，如果头部移动的程度超过阈值(例如，如果终端用户的头部位置从初始头部位置相对于HMD移动了大于四厘米)，则可降低向终端用户显示的虚拟对象的分辨率和数目两者。如果头部移动的程度超过阈值，则HMD还可向终端用户提供通知(例如，显示通知或音频通知)。
在一些情况下，在终端用户正使用HMD查看增强现实环境时，HMD可捕捉终端用户的眼睛和/或终端用户眼睛周围的面部区域的各图像。图像可使用与HMD集成的一个或多个面向内的相机(例如，眼睛跟踪相机)来捕捉。由于终端用户的眼睛相对于其头部位置是固定的，与终端用户的眼睛相关联的固定特征点可被用来确定与终端用户相关联的头部位置。HMD可将图像处理技术应用到捕捉到的图像，以便检测和跟踪眼睛特征，诸如目内眦(即，眼睛最接近鼻梁的其中上眼皮和下眼皮汇合的内角或部分)以及目外眦(即，眼睛最远离鼻梁的其中上眼皮和下眼皮汇合的外角或部分)。也可标识和跟踪其他眼睛特征(诸如瞳孔和虹膜)，以便确定相对于HMD的眼睛位置。一旦与终端用户的一只或两只眼睛相关联的特征点被标识出，与终端用户的眼睛的3D模型相关联的位置和定向信息就可基于这些特征点来更新，并且头部位置矢量(例如，在与HMD有关的坐标空间内被表示成2D或3D矢量)可基于终端用户的眼睛的3D模型来确定。HMD还可检测和跟踪固定面部特征(诸如终端用户的鼻梁的各部分)以便确定终端用户的头部(或眼睛)相对于HMD的位置和/或定向。
在一个实施例中，表示终端用户相对于其中存在HMD的环境的头部位置的绝对头部位置矢量可通过确定与HMD在该环境内的姿态相关联的姿态矢量并随后基于终端用户相对于HMD的头部位置矢量添加矢量偏移来确定。绝对头部位置矢量可被HMD传输到(例如，与零售商店相关联的)服务器或被在HMD上运行的应用(例如，游戏应用)使用。在一些实施例中，HMD可使用从面向外的相机捕捉到的环境的图像，以便相对于该环境的3D图确定对应于这些图像的六自由度(6DOF)姿态。6DOF姿态可包括与HMD在该环境内的位置和定向相关联的信息。6DOF姿态可用于定位HMD并生成虚拟对象的图像，以使得这些虚拟对象看起来存在于该环境内的合适位置处。关于确定6DOF姿态的更多信息可在“DistributedAsynchronousLocalizationandMappingforAugmentedReality(增强现实的分布式异步定位和映射)”的美国专利申请13/152,220中找到。关于执行对移动设备的姿态估计和/或定位的更多信息可在题为“MobileCameraLocalizationUsingDepthMaps(使用深度图的移动相机定位)”的美国专利申请13/017,474中找到。
图1是可在其中实施所公开的技术的联网计算环境100的一个实施例的框图。联网计算环境100包括通过一个或多个网络180互连的多个计算设备。所述一个或多个网络180允许一特定计算设备连接到另一计算设备以及与其通信。所描绘的计算设备包括移动设备11、移动设备12、移动设备19和服务器15。在一些实施例中，所述多个计算设备可以包括未示出的其他计算设备。在一些实施例中，所述多个计算设备可以包括比图1所示的计算设备的数目更多或更少的计算设备。所述一个或多个网络180可以包括诸如企业专用网络之类的安全网络、诸如无线开放式网络之类的不安全网络、局域网(LAN)、广域网(WAN)、以及因特网。所述一个或多个网络180中的每个网络可以包括集线器、网桥、路由器、交换机、以及有线传输介质，比如有线网络或直接线连接。
可包括补充信息服务器或应用服务器的服务器15可允许客户机从该服务器下载信息(例如，文本、音频、图像和视频文件)或者执行与存储在该服务器上的特定信息相关的搜索查询。一般而言，“服务器”可以包括在客户端-服务器关系中充当主机的硬件设备、或者与一个或多个客户机共享资源或为所述一个或多个客户机执行工作的软件过程。客户端-服务器关系下的计算设备之间的通信可以通过由客户端向服务器发送要求访问特定资源或执行特定工作的请求来发起。服务器随后可以执行所请求的动作并且将响应发送回客户端。
服务器15的一个实施例包括网络接口155、处理器156、存储器157和翻译器158，所有这些都彼此通信。网络接口155允许服务器15连接到一个或多个网络180。网络接口155可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器156允许服务器15执行存储在存储器157中的计算机可读指令以执行在此讨论的过程。翻译器158可包括用于将第一文件格式的第一文件翻译成第二文件格式的对应第二文件的映射逻辑(即，第二文件可以是第一文件的经翻译的版本)。可使用文件映射指令来配置翻译器158，该文件映射指令提供用于将第一文件格式的文件(或其部分)映射成第二文件格式的对应文件的指令。
移动设备19的一个实施例包括网络接口145、处理器146、存储器147、相机148、传感器149、以及显示器150，所有这些都彼此通信。网络接口145允许移动设备19连接到一个或多个网络180。网络接口145可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器146允许移动设备19执行存储在存储器147中的计算机可读指令以执行在此讨论的过程。相机148可以捕捉环境的彩色图像和/或深度图像。移动设备19可包括捕捉环境的图像的面向外的相机以及捕捉移动设备的终端用户的图像的面向内的相机。传感器149可生成与移动设备19相关联的运动和/或朝向信息。在一些情况下，传感器149可包括惯性测量单元(IMU)。显示器150可显示数字图像和/或视频。显示器150可包括透视显示器。
在一些实施例中，包括网络接口145、处理器146、存储器147、相机148以及传感器149的移动设备19的各组件可被集成在单芯片基板上。在一示例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成成为片上系统(SOC)。在其他实施例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成在单个封装中。
在一些实施例中，通过采用相机148、传感器149、和处理器146上运行的姿势识别软件，移动设备19可提供自然用户界面(NUI)。使用自然用户界面，人的身体部位和移动可被检测、解释、以及用于控制计算应用的各方面。在一个示例中，利用自然用户界面的计算设备可推断与计算设备交互的人的意图(例如，终端用户执行了特定姿势来控制该计算设备)。
联网计算环境100可以为一个或多个计算设备提供云计算环境。云计算指的是基于因特网的计算，其中共享的资源、软件和/或信息通过因特网(或其他全局网络)被按需提供给一个或多个计算设备。基于在计算机网络图中使用的云图来将因特网描绘成对其所表示的底层基础设施的抽象，术语“云”被用作对因特网的比喻。
在一个示例中，移动设备19包括向头戴式显示设备(HMD)的终端用户提供增强现实环境或混合现实环境的头戴式显示设备。HMD可包括视频透视和/或光学透视系统。终端用户佩戴的光学透视HMD可允许(例如经由透明透镜)对现实世界环境的实际直接查看，并且同时可将虚拟对象的图像投影到终端用户的视野中，由此用虚拟对象来增强终端用户所感知的现实世界环境。
通过利用HMD，佩戴HMD的终端用户可在现实世界环境(例如，起居室)中四处移动，并感知覆盖有虚拟对象的图像的现实世界的视图。虚拟对象可以看起来保持与现实世界环境的相干空间关系(即，当终端用户在现实世界环境中转动他们的头或移动时，显示给该终端用户的图像将改变，使得虚拟对象看起来像被终端用户感知的那样存在于该现实世界环境内)。虚拟对象还可看起来相对于终端用户的视角是固定的(例如，无论终端用户如何在现实世界环境中转动他们的头或移动，总是出现在终端用户视角的右上角的虚拟菜单)。在一个实施例中，现实世界环境的环境映射可由服务器15(即，在服务器侧)来执行，而相机本地化可在移动设备19上(即，在客户机侧)执行。虚拟对象可包括与现实世界对象相关联的文本描述。
在一些实施例中，移动设备(诸如移动设备19)可与云中的服务器(诸如服务器15)通信，并可提供与移动设备相关联的服务器位置信息(例如，经由GPS坐标的移动设备的位置)和/或图像信息(例如，与在移动设备的视野内检测到的对象有关的信息)。作为响应，服务器可基于提供给该服务器的位置信息和/或图像信息向移动设备传送一个或多个虚拟对象。在一个实施例中，移动设备19可指定用于接收一个或多个虚拟对象的特定文件格式，并且服务器15可向移动设备19传送特定文件格式的文件内包含的一个或多个虚拟对象。
在一些实施例中，HMD(诸如移动设备19)可向HMD的终端用户提供包括虚拟对象的增强现实环境。HMD可周期性地(例如，每0.5ms)确定终端用户相对于HMD的头部位置，并调整与向终端用户显示的虚拟对象相关联的图像的位置，使得虚拟对象表现为被固定在增强现实环境内，即使终端用户相对于HMD的头部位置已经改变了。基于终端用户相对于HMD的头部位置来调整与虚拟对象相关联的图像的位置的能力允许HMD向终端用户提供一致的增强现实环境，即使终端用户的眼睛位置可随时间相对于HMD的透视显示器移位(例如，由于在终端用户佩戴HMD时该终端用户在崎岖不平的道路上骑车或意外地碰到了HMD)。
图2A描绘了与第二移动设备5通信的移动设备19的一个实施例。移动设备19可包括透视HMD。如所描绘的，移动设备19经由有线连接6与移动设备5通信。然而，移动设备19还可经由无线连接与移动设备5通信。移动设备5可被移动设备19用来卸载计算密集的处理任务(例如，呈现虚拟对象)，并将可被用来提供增强现实环境的虚拟对象信息和其他数据存储在移动设备19上。移动设备5还可向移动设备19提供与移动设备5相关联的运动和/或定向信息。在一个示例中，运动信息可包括与移动设备5相关联的速度或加速度，并且定向信息可包括欧拉角，其提供围绕特定坐标系统或参照系的转动信息。在一些情况中，移动设备5可包括运动和定向传感器，诸如惯性测量单元(IMU)，以便获得与移动设备5相关联的运动和/或定向信息。
图2B描绘了HMD(诸如图1的移动设备19)的一部分的一个实施例。仅描绘了HMD200的右侧。HMD200包括右镜腿202、鼻中204、镜片216、以及眼镜框214。右镜腿202包括与处理单元236通信的捕捉设备213(例如，前置相机和/或话筒)。捕捉设备213可包括用于记录数字图像和/或视频的一个或多个相机，并可将视觉记录传送到处理单元236。一个或多个相机可捕捉色彩信息、IR信息、和/或深度信息。捕捉设备213还可包括用于记录声音的一个或多个话筒，并可将音频记录传送到处理单元236。
右镜腿202还包括生物测定传感器220、眼睛跟踪系统221、耳机230、运动和定向传感器238、GPS接收器232、电源239、以及无线接口237，所有这些都与处理单元236通信。生物测定传感器220可包括用于确定与HMD200的终端用户相关联的脉搏或心率的一个或多个电极，以及用于确定与HMD200的终端用户相关联的体温的温度传感器。在一个实施例中，生物测定传感器220包括压着终端用户太阳穴的脉率测量传感器。运动和定向传感器238可以包括三轴磁力计、三轴陀螺仪、和/或三轴加速度计。在一个实施例中，运动和定向传感器238可包括惯性测量单元(IMU)。GPS接收器可确定与HMD200相关联的GPS位置。处理单元236可以包括一个或多个处理器和用于存储将要在所述一个或多个处理器上执行的计算机可读指令。存储器还可存储要在一个或多个处理器上执行的其它类型的数据。
在一个实施例中，眼睛跟踪系统221可包括一个或多个面向内的相机。在另一实施例中，眼睛跟踪系统221可包括眼睛跟踪照明源和相关联的眼睛跟踪图像传感器。在一个实施例中，眼睛跟踪照明源可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛跟踪传感器可包括用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。关于眼睛跟踪系统的更多信息可在2008年7月22提交的标题为“HeadMountedEyeTrackingandDisplaySystem(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920，以及2011年9月26日提交的标题为“IntegratedEyeTrackingandDisplaySystem(集成眼睛跟踪和显示系统)”的美国专利申请No.13/245,700中找到。
在一个实施例中，镜片216可包括透视显示器，处理单元236生成的图像由此可被投影和/或显示在透视显示器上。捕捉设备213可被校准，使得捕捉设备213所捕捉的视野对应于HMD200的终端用户所看到的视野。耳机230可用于输出与虚拟对象的投影图像相关联的声音。在一些实施例中，HMD200可包括两个或更多个前置相机(例如，每个镜腿上一个相机)，以便从与前置相机所捕捉的视野相关联的立体信息中获得深度。两个或更多个前置相机还可包括3D、IR、和/或RGB相机。也可从利用来自运动技术的深度的单个相机中获取深度信息。例如，可从单个相机获取两个图像，这两个图像与在不同的时间点的、两个不同的空间点相关联。然后，给定与两个不同空间点有关的位置信息的情况下，可执行视差计算。
在一些实施例中，HMD200可使用注视检测元件和与一个或多个人类眼睛元素(诸如角膜中心、眼球旋转的中心、或瞳孔中心)有关的三维坐标系，来为终端用户眼睛中的每只眼睛执行注视检测。注视检测可被用来标识终端用户正在关注视野内的何处。注视检测元件的示例可包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的传感器。在一些情况中，角膜中心可以基于两次闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼球的旋转中心，这可被当作用于确定处于某种注视或观看角度的终端用户的眼睛的光轴的固定位置。
图2C描绘了HMD2的一部分的一个实施例，其中延伸到注视点的注视矢量用于对准远瞳距(IPD)。HMD2是移动设备的一个示例，诸如图1中的移动设备19。如所描绘的，注视矢量180l和180r在远离终端用户的注视点处相交(即，当终端用户正在看远处的对象时，注视矢量180l和180r不相交)。基于Gullstrand示意眼模型示出了每只眼睛的眼球160l、160r的眼球模型。每只眼球被建模成具有旋转中心166的球体，并且包括被建模成具有中心164的球的角膜168。角膜168随着眼球旋转，并且眼球的旋转中心166可被当作固定点。角膜168覆盖虹膜170，瞳孔162处于虹膜170的中心。每个角膜的表面172上是闪光174和176。
如图2C所描绘的，传感器检测区域139(即分别是139l和139r)与眼镜架115内的每一显示光学系统14的光轴相对准。在一个示例中，与该检测区域相关联的传感器可包括能够捕捉表示分别由镜架115左侧的照明器153a和153b生成的闪光174l和176l的图像数据以及表示分别由镜架115右侧的照明器153c和153d生成的闪光174r和176r的数据的一个或多个相机。通过眼镜架115中的显示光学系统14l和14r，终端用户的视野包括现实对象190、192和194以及虚拟对象182和184两者。
从旋转中心166穿过角膜中心164到瞳孔162而形成的轴178包括眼睛的光轴。注视矢量180也被称为从中央凹穿过瞳孔中心162延伸的视线或视轴。在一些实施例中，光轴被确定，并且通过用户校准来确定小型校正以获得被选作注视矢量的视轴。对于每一终端用户，虚拟对象可被显示设备显示在不同的水平和垂直位置处的多个预先确定的位置中的每一位置处。在对象在每一位置处的显示期间可以计算每一眼睛的光轴，并且光线被建模成从该位置延伸到用户眼睛中。可以基于必须如何移动光轴以与所建模的光线相对准来确定与水平和垂直分量的注视偏移角。从不同的位置处，与水平或垂直分量的平均注视偏移角可被选作要被应用于每一计算出的光轴的小型校正。在一些实施例中，仅水平分量被用于注视偏移角校正。
如图2C所描绘的，由于当注视矢量180l和180r从眼球延伸到注视点处的视野中时这些注视矢量变得更加靠近在一起，因此这些注视矢量不是完全平行的。在每一显示光学系统14处，注视矢量180看起来与光轴相交，传感器检测区域139以这一交点为中心。在这一配置中，光轴与瞳距(IPD)对准。在终端用户看向正前方时，测得的IPD也被称为远IPD。
图2D描绘了HMD2的一部分的一个实施例，其中延伸到注视点的注视矢量用于对准近瞳距(IPD)。HMD2是移动设备的一个示例，诸如图1中的移动设备19。如所描绘的，左眼的角膜168l向右侧或朝向终端用户的鼻子旋转，并且右眼的角膜168r向左侧或朝向终端用户的鼻子旋转。两个瞳孔正在注视终端用户的特定距离内的现实对象194。始自每只眼睛的注视矢量180l和180r进入真实对象194所处的Panum汇合区域195。Panum汇合区域是像人类视觉那样的双眼观察系统中的单视觉的区域。注视矢量180l和180r的相交指示终端用户正在看现实对象194。在这样的距离处，随着眼球向内旋转，它们瞳孔之间的距离减少到近IPD。近IPD通常比远IPD小约4毫米。近IPD距离准则(例如，在距终端用户小于四英尺处的注视点)可用来将显示光学系统14的IPD对准切换或调整成近IPD的对准。对于近IPD，每一显示光学系统14可以朝向终端用户的鼻子移动，使得光轴以及检测区域139朝向鼻子移动几毫米，如检测区域139ln和139rn所表示的。
关于为HMD的终端用户确定IPD并由此调整显示光学系统的更多信息可在2011年9月30日提交的题为“PersonalAudio/VisualSystem(个人音频/视频系统)”的美国专利申请No.13/250,878中找到。
图3A描绘了具有包括注视检测元件的可移动显示光学系统的HMD2的一部分的一个实施例。表现为每只眼睛的透镜的事物表示每只眼睛的显示光学系统14(即14l和14r)。显示光学系统包括用于将虚拟内容与通过HMD的透镜看到的实际直接现实世界视图无缝地融合的透视透镜和光学元件(例如，反射镜、过滤器)。显示光学系统14具有一般处于透视透镜中心的光轴，其中光一般被校准来提供无失真视图。例如，在眼睛护理专业人员使一副普通眼镜适合于终端用户的脸部时，该眼睛通常是适合的，使得该眼镜在每一瞳孔与相应镜片的中心或光轴相对准的位置处落在终端用户的鼻子上，从而通常使得校准光到达终端用户的眼睛以得到清晰或无失真的视图。
如图3A所描绘的，至少一个传感器的检测区域139r、139l与其相应显示光学系统14r、14l的光轴相对准，使得检测区域139r、139l的中心捕捉沿着光轴的光。如果显示光学系统14与终端用户的瞳孔对准，则相应传感器134的每一检测区域139与终端用户的瞳孔相对准。检测区域139的反射光经由一个或多个光学元件被传送到相机的实际图像传感器134，在该实施例中传感器134由处于镜架115内部的虚线示出。在一些实施例中，传感器134可包括用于捕捉终端用户的眼睛或眼睛周围的面部特征的图像的图像传感器或RGB相机。其他面向内的图像传感器也可与镜架115集成以便捕捉与终端用户相关联的固定面部特征，诸如其鼻梁。
在一个实施例中，该至少一个传感器134可以是可见光相机(例如，RGB相机或彩色相机)。在一个示例中，光学元件或光引导元件包括是部分透射且部分反射的可见光反光镜。可见光相机提供终端用户的眼睛的瞳孔的图像数据，而IR光电探测器152捕捉作为频谱的IR部分中的反射的闪光。如果使用可见光相机，则虚拟图像的反射可以出现在该相机所捕捉的眼睛数据中。图像滤波技术可被用于按需移除虚拟图像反射。IR相机对眼睛上的虚拟图像反射可以是不敏感的。
在另一个实施例中，至少一个传感器134(即，134l和134r)是IR辐射可被定向到的IR相机或位置敏感检测器(PSD)。从眼睛反射的IR辐射可以来自照明器153、其他IR照明器(未示出)的入射辐射或者来自从眼睛反射的环境IR辐射。在一些情况中，传感器134可以是RGB和IR相机的组合，并且光引导元件可包括可见光反射或转向元件和IR辐射反射或转向元件。在一些情况中，传感器134可被嵌入在系统14的镜片中。另外，可以应用图像滤波技术来将相机混合到用户视野中以减轻对用户的任何干扰。
如图3A所描绘的，有四组照明器153，照明器153与光电检测器152配对并被屏障154隔开以避免照明器153所生成的入射光与在光电检测器152处接收到的反射光之间的干扰。为了在附图中避免不必要的混乱，附图标记就被示出了代表性的一对。每一照明器可以是生成大约预定波长的窄光束的红外(IR)照明器。光电检测器中的每一个可被选择来捕捉大约该预定波长的光。红外还可以包括近红外。因为照明器或光电检测器可能存在波长漂移或者关于波长的微小范围是可接受的，所以照明器和光电检测器可以具有与要生成或检测的波长有关的容限范围。在传感器是IR相机或IR位置敏感检测器(PSD)的一些实施例中，光电检测器可包括附加数据捕捉设备并且也可被用来监视照明器的操作，例如波长漂移、波束宽度改变等。该光电检测器还用作为传感器134的可见光相机来提供闪光数据。
如图3A所描绘的，每一显示光学系统14以及它面向每一眼睛的注视检测元件的安排(举例而言，诸如相机134及其检测区域139、照明器153以及光电检测器152)位于可移动的内镜架部分117l、117r上。在该示例中，显示调整机构包括具有附连到内镜架部分117的传动轴205的一个或多个马达203，内镜架部分117在由马达203驱动的传动轴205的引导和力量下在该镜架内从左向右滑动或反向滑动。在一些实施例中，一个马达203可以驱动两个内镜架。
图3B描绘了具有包括注视检测元件的可移动显示光学系统的HMD2的一部分的一个替换实施例。如所描绘的，每个显示光学系统14被封装在分开的镜架部分115l、115r中。镜架部分中的每一个可通过马达203分开地移动。在一些实施例中，此至少一个传感器134可包括用于捕捉终端用户的眼睛或眼睛周围的面部特征的图像的图像传感器或RGB相机。其他面向内的图像传感器也可与镜架115集成以便捕捉与终端用户相关联的固定面部特征，诸如其鼻梁。
图4A描绘了由终端用户佩戴的HMD402的一个实施例。HMD402可包括移动设备(诸如图1中的移动设备19)以及一个或多个面向内的相机，此一个或多个面向内的相机用于捕捉终端用户的眼睛或眼睛周围的面部特征。图4B描绘了使用与HMD402集成的面向内的相机拍摄的图像对406-407。图像406包括与终端用户的眼睛404相对应的信息。虽然描绘了一图像对，但与终端用户相关联的头部位置信息可使用单个图像(例如，图像406)或两个以上的图像(例如，捕捉终端用户的眼睛的各部分的四个图像的集合)来确定。在一些情况下，头部位置信息可通过对与图像对406-407中的每一图像相对应的头部位置确定求平均来确定。图像对406-407可与终端用户的初始头部位置相对应。
图4C描绘了包括与终端用户的眼睛404相对应的特征点(包括特征点412、414、415和416)的标识。特征点412可与终端用户的右眼的目外眦相对应，特征点414可与终端用户的右眼的目内眦相对应，并且特征点415可与终端用户的右眼的瞳孔中心相对应。目外眦和目内眦可被标识出，即使终端用户可随时间使其眼睛斜视(或眨眼)。特征点416可与终端用户的上眼皮的拐点(或最大曲率点)相对应。还可通过将各图像处理技术应用于图像406来标识包括终端用户的下眼皮的拐点(或最小曲率点)、终端用户的虹膜、终端用户的鼻梁的其他特征点。
图4D描绘相对于HMD402定位的终端用户的眼睛的3D模型。终端用户的眼睛中的每一眼睛可被建模成定位在与HMD有关的三维坐标空间内的球体418-419或椭球体。如所描绘的，第一球体418可与终端用户的右眼相对应，并且第二球体419可与终端用户的左眼相对应。球体418-419在三维坐标空间内的位置可基于特征点412、414、415和416来确定。此外，由于终端用户的眼睛位置相对于其头部是固定的，因此两个球体418-419之间的IPD可在初始化过程期间(例如，在终端用户第一次带上该HMD时)被确定，并被用来在三维坐标空间内定位球体418-419的位置。
图4E描绘了使用与HMD402集成的面向内的相机拍摄的第二图像对408-409。图像408包括与终端用户的眼睛404相对应的信息。虽然描绘了一图像对，但与终端用户相关联的头部位置信息可使用单个图像(例如，图像408)或两个或更多个图像来确定。在一些情况下，头部位置信息可通过对与图像对408-409中的每一图像相对应的头部位置确定求平均来确定。图像对408-409可与在图像406-407的捕捉之后的某个时间捕捉到的终端用户的后续头部位置相对应。在一个示例中，图像对408-409是在图像对406-407被捕捉之后的1ms被捕捉。
图4F描绘了包括与终端用户的眼睛404相对应的特征点(包括特征点422、424、425和426)的标识。特征点422可与终端用户的右眼的目外眦相对应，特征点424可与终端用户的右眼的目内眦相对应，并且特征点425可与终端用户的右眼的瞳孔中心相对应。目外眦和目内眦可被标识出，即使终端用户可随时间周期性地使其眼睛斜视。特征点426可与终端用户的上眼皮的拐点(或最大曲率点)相对应。还可通过将各图像处理技术应用于图像408来标识包括终端用户的下眼皮的拐点(或最小曲率点)以及终端用户的鼻梁的其他特征点。
图4G描绘了相对于HMD402定位的终端用户的眼睛的经更新的3D模型。终端用户的眼睛中的每一眼睛可被建模成定位在与HMD有关的三维坐标空间内的球体428-429或椭球体。如所描绘的，第一球体428可与终端用户的右眼相对应，并且第二球体429可与终端用户的左眼相对应。球体428-429在三维坐标空间内的位置可基于特征点422、424、425和426来确定。在一个实施例中，在经更新的3D模型内眼睛的位置可使用旋转和平移算法来确定，该旋转和平移算法用于发现与同终端用户的初始头部位置相关联的特征点412、414、415和416匹配的特征点422、424、425和426的最佳拟合3D旋转和平移。
图4H描绘了终端用户的眼睛位置随时间的改变的表示的一个实施例。如所描绘的，与球体418相对应的第一位置和定向432可移动到球体428的第二位置和定向434。表示终端用户的右眼的移动的球体418的中心的改变可使用矢量436来描述。类似地，与球体419相对应的第一位置和定向442可移动到球体429的第二位置和定向444。表示终端用户的左眼的移动的球体419的中心的改变可使用矢量446来描述。
在一个实施例中，头部位置矢量可包括与连接球体428-429的中心的线垂直并与连接终端用户的右眼的目内眦和终端用户的左眼的目内眦的线的中点相交的矢量。该头部位置矢量可包括在与HMD有关的三维坐标空间内的三维矢量。
在一些情况下，在终端用户正使用HMD查看增强现实环境时，HMD可捕捉终端用户的眼睛和/或终端用户眼睛周围的面部区域的多个图像。由于终端用户的眼睛相对于其头部位置是固定的，与终端用户的眼睛相关联的固定特征点可被用来确定与终端用户相关联的头部位置。HMD可将各图像处理技术应用于捕捉到的图像，以便检测和跟踪与终端用户的眼睛相对应的特征点。一旦标识出与终端用户的一只或两只眼睛相关联的特征点，与终端用户的眼睛的3D模型(例如，包括一对椭球体)相关联的位置和定向信息可基于这些特征点来更新，并且头部位置矢量(例如，被表示成3D矢量)可基于3D模型来确定。
图5是描述用于跟踪HMD的终端用户相对于HMD的头部位置并基于相对于HMD的头部位置来调整虚拟对象的位置的方法的一个实施例的流程图。在一个实施例中，图5的过程可由移动设备(诸如图1的移动设备19)执行。
在步骤502，检测HMD在终端用户上的定位。在HMD被放置在终端用户的头部之上或附近时可检测HMD的定位。在步骤504，向终端用户提供将HMD定位在终端用户上的向导。向终端用户提供的向导可包括对准标记向终端用户的显示以便允许终端用户将HMD合适地对准或适合于其头部。
在步骤506，在第一时间点前确定终端用户相对于HMD的初始头部位置。初始头部位置可响应于终端用户将HMD正确地定位在其头部而确定。在一个实施例中，初始头部位置可通过以下方式来确定：使用一个或多个面向内的相机来捕捉终端用户的眼睛或眼睛周围的面部特征的图像，通过将各图像处理技术应用于捕捉到的图像来标识与终端用户的眼睛相关联的特征点，以及随后使用标识出的特征点来确定与终端用户的眼睛的3D模型相关联的位置和定向。
在步骤508，在第一时间点之后的第二时间点确定终端用户相对于HMD的第二头部位置。第二头部位置可不同于初始头部位置。在一些情况下，可周期性地(例如，每1-2ms)确定后续头部位置。在一个实施例中，第二头部位置可通过以下方式来确定：使用一个或多个面向内的相机来捕捉终端用户的眼睛或眼睛周围的面部特征的附加图像，通过将各图像处理技术应用于捕捉到的图像来标识与终端用户的眼睛相关联的特征点，以及随后使用标识出的特征点来确定与终端用户的眼睛的3D模型相关联的经更新的位置和定向。在一个示例中，在经更新的3D模型内终端用户的眼睛的位置可使用旋转和平移算法来确定，该旋转和平移算法用于发现同与终端用户的初始头部位置相关联的特征点匹配的与第二头部位置相关联的特征点的最佳拟合3D旋转和平移。
在步骤510，基于第二头部位置确定一个或多个虚拟对象的一个或多个经更新的位置。在一些情况下，如果终端用户的头部位置(或眼睛位置)相对于初始头部位置移位了(例如，由于当终端用户佩戴着HMD时，终端用户在崎岖不平的道路上骑车或意外地触碰了HMD)，则HMD可调整向终端用户显示的虚拟对象的位置，使得虚拟对象表现为被固定在或以其他方式被合适地定位在增强现实环境内。
在步骤512，基于初始头部位置和第二头部位置确定相对于HMD的头部移动的程度。头部移动的程度可与终端用户的头部从初始头部位置到第二头部位置的位置和/或定向方面的改变相对应。在一些实施例中，头部移动的程度可与多个头部跟踪矢量之间的最大矢量差相对应。例如，在终端用户的头部位置每毫秒被确定和跟踪一次的情况下，头部移动的程度可与在一秒时间段期间头部位置的最大改变相对应(即，头部移动的程度可与在一秒时间段期间与每一头部位置相关联的一千个头部跟踪矢量之间的最大矢量差相对应)。
在步骤514，检测到相对于HMD的头部移动的程度超过阈值。在一个示例中，如果相对于HMD的头部移动的程度超过5cm，则该头部移动的程度可能是过度的。在步骤516，可基于相对于HMD的头部移动的程度是否超过阈值来调整一个或多个虚拟对象的分辨率。在一些实施例中，被生成并向终端用户显示的虚拟对象的分辨率和/或数目可基于相对于HMD的头部移动的程度来修改。在一个示例中，如果头部移动的程度超过阈值(例如，如果终端用户的头部位置从初始头部位置开始相对于HMD移动了多于4厘米)，则向终端用户显示的虚拟对象的分辨率和数目两者可被降低(例如，削减一半)。HMD还可在头部移动的程度超过阈值的情况下向终端用户提供通知(例如，显示通知或音频通知)，并向终端用户提供向导以将HMD重新对齐或重新定位到终端用户的头部。
在步骤518，渲染一个或多个虚拟对象。在步骤520，使用HMD来显示一个或多个虚拟对象。在一个实施例中，与一个或多个虚拟对象相对应的一个或多个图像可被渲染并被显示在HMD上，使得该一个或多个虚拟对象被感知为存在于向HMD的终端用户显示的增强现实环境内。
图6是描述用于跟踪HMD的终端用户相对于HMD的头部位置的方法的替换实施例的流程图。在一个实施例中，图6的过程可由移动设备(诸如图1中的移动设备19)执行。
在步骤602，在第一时间点使用HMD捕捉终端用户的第一图像集合。第一图像集合可使用与HMD集成的一个或多个面向内的相机来捕捉。在步骤604，基于第一图像集合确定终端用户相对于HMD的初始头部位置。初始头部位置可响应于终端用户将HMD准确地定位在其头部上而被确定。在一个实施例中，初始头部位置可通过以下方式来确定：使用一个或多个面向内的相机捕捉终端用户的眼睛或眼睛周围的面部特征的图像，通过将图像处理技术应用于捕捉到的图像来标识与终端用户的眼睛相关联的特征点，以及随后使用标识出的特征点来确定与终端用户的眼睛的3D模型相关联的位置和定向。
在步骤606，基于初始头部位置渲染并显示与虚拟对象相关联的第一图像。可将第一图像显示在HMD上的第一位置处。在步骤608，在第一时间点之后的第二时间点捕捉终端用户的第二图像集合。在步骤610，基于第二图像集合确定终端用户的经更新的头部位置。经更新的头部位置可不同于初始头部位置。在一些情况下，可周期性地(例如，每1-2ms)确定后续头部位置。在一个实施例中，经更新的头部位置可通过以下方式来确定：使用一个或多个面向内的相机捕捉终端用户的眼睛或眼睛周围的面部特征的附加图像，通过将图像处理技术应用于捕捉到的图像来标识与终端用户的眼睛相关联的特征点，以及随后使用标识出的特征点来确定与终端用户的眼睛的3D模型相关联的经更新的位置和定向。在一个示例中，在经更新的3D模型内终端用户的眼睛的位置可使用旋转和平移算法来确定，该旋转和平移算法用于发现与同终端用户的初始头部位置相关联的特征点匹配的、与经更新的头部位置相关联的特征点的最佳拟合3D旋转和平移。
在步骤612，基于经更新的头部位置渲染并显示与虚拟对象相关联的第二图像。可将第二图像显示在HMD上与第一位置不同的第二位置处。在一个示例中，如果终端用户的头部位置(或眼睛位置)相对于HMD的初始头部位置移位了(例如，由于当终端用户佩戴着HMD时，终端用户在崎岖不平的道路上骑车或意外地触碰了HMD)，则HMD可调整向终端用户显示的虚拟对象的位置，使得虚拟对象表现为被固定在或以其他方式被合适地定位在增强现实环境内。
在步骤614，基于初始头部位置和经更新的头部位置确定相对于HMD的头部移动的程度。头部移动的程度可与终端用户的头部从初始头部位置到经更新的头部位置的位置和/或定向方面的改变相对应。在一些实施例中，头部移动的程度可与多个头部跟踪矢量之间的最大矢量差相对应。例如，在终端用户的头部位置每0.2毫秒被确定和跟踪一次的情况下，头部移动的程度可与两秒时间段期间的头部位置的最大改变相对应。
在步骤616，检测到相对于HMD的头部移动的程度超过阈值。在一个示例中，如果相对于HMD的头部移动的程度超过2cm，则该头部移动的程度可能是过度的。在步骤618，如果相对于HMD的头部移动的程度超过阈值，则向终端用户显示警告。在一个实施例中，可将警告作为出现在增强现实环境内的虚拟文本向终端用户显示。
所公开的技术的一个实施例包括与透视显示器通信的一个或多个处理器。一个或多个处理器在第一时间点确定电子设备的终端用户相对于该电子设备的初始头部位置，并在第一时间点之后的第二时间点确定终端用户相对于该电子设备的第二头部位置。第二头部位置可不同于初始头部位置。一个或多个处理器基于第二头部位置渲染与虚拟对象相关联的第二图像。透视显示器显示第二图像，使得虚拟对象被感知为存在于向电子设备的终端用户显示的增强现实环境内。
所公开的技术的一个实施例包括在第一时间点确定终端用户相对于HMD的初始头部位置，并基于终端用户相对于HMD的初始头部位置来渲染并显示与虚拟对象相关联的第一图像。可将第一图像显示在HMD上的第一位置处。该方法还包括在第一时间点之后的第二时间点确定终端用户相对于HMD的第二头部位置。第二头部位置可不同于初始头部位置。该方法还包括基于终端用户相对于HMD的第二头部位置来渲染并显示与虚拟对象相关联的第二图像。将第二图像显示在HMD上与第一位置不同的第二位置处。
所公开的技术的一个实施例包括在第一时间点捕捉终端用户的第一图像集合。第一图像集合至少捕捉终端用户的眼睛的一部分。该方法还包括基于第一图像集合确定终端用户相对于HMD的初始头部位置，基于终端用户相对于HMD的初始头部位置渲染并显示与虚拟对象相关联的第一图像，在第一时间点之后的第二时间点捕捉终端用户的第二图像集合，以及基于第二图像集合确定终端用户相对于HMD的第二头部位置。第二头部位置不同于初始头部位置。该方法还包括基于终端用户相对于HMD的第二头部位置来渲染并显示与虚拟对象相关联的第二图像。
图7是移动设备8300(诸如图1中的移动设备19)的一个实施例的框图。移动设备可以包括已经整合了无线接收机/发射机技术的膝上型计算机、袖珍计算机、移动电话、HMD、个人数字助理、以及手持式媒体设备。
移动设备8300包括一个或多个处理器8312以及存储器8310。存储器8310包括应用8330和非易失性存储8340。存储器8310可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。移动设备操作系统处理移动设备8300的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用8330可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、闹钟应用、以及其它应用。存储器8310中的非易失性存储组件8340可以包含诸如音乐、照片、联系人数据、日程安排数据、以及其它文件之类的数据。
一个或多个处理器8312与透视显示器8309进行通信。透视显示器8309可显示与现实世界环境相关联的一个或多个虚拟对象。所述一个或多个处理器8312还与下列各项通信：RF发射机/接收机8306，其又耦合到天线8302；红外发射机/接收机8308；全球定位服务(GPS)接收器8365；以及移动/定向传感器8314，其可以包括加速度计和/或磁力计。RF发射机/接收机8308可以通过诸如或IEEE802.11标准之类的各种无线技术标准来实现无线通信。加速度计可能已经结合在移动设备中以实现诸如下列应用：智能用户界面应用，其让用户通过姿势输入命令；以及定向应用，其可以在移动设备被旋转时将显示自动地从竖向改变成横向。可以，例如，通过微机电系统(MEMS)来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械器件(微米尺寸)。可以感测加速度方向、以及定向、振动和震动。所述一个或多个处理器8312还与响铃器/振动器8316、用户界面小键盘/屏幕8318、扬声器8320、话筒8322、相机8324、光传感器8326和温度传感器8328进行通信。用户界面小键盘/屏幕可以包括触敏屏幕显示器。
所述一个或多个处理器8312控制无线信号的发射和接收。在发射模式期间，所述一个或多个处理器8312向RF发射机/接收机8306提供来自话筒8322的语音信号，或其它数据信号。发射机/接收机8306通过天线8302来发射信号。响铃器/振动器8316被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其它通知等信号。在接收模式期间，RF发射机/接收机8306通过天线8302接收来自远程站的语音信号或数据信号。所接收到的语音信号被提供给扬声器8320，而接收到的其它数据信号被适当地处理。
另外，可以使用物理连接器8388来将移动设备8300连接到诸如AC适配器或加电对接底座之类的外部电源，以便对电池8304进行再充电。物理连接器8388还可被用作到外部计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。
所公开的技术可用各种其它通用或专用计算系统环境或配置来操作。适合结合本技术中使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、包含上述系统或设备中的任一个的分布式计算环境等。
所公开的技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言，如此处所述的软件和程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构和其它类型的结构。硬件或硬件和软件的组合可以替代在此描述的软件模块。
所公开的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。
出于本文档的目的，与所公开的技术相关联的每个过程可以持续地并由一个或多个计算设备来执行。该过程中的每个步骤都可由与在其他步骤中所使用的那些计算设备相同或不同的计算设备来执行，且每个步骤不必由单个计算设备来执行。
出于本文的目的，说明书中引述的“一实施例”、“一个实施例”、“某些实施例”或“另一实施例”用于描述不同的实施例并且不必然指的是同一实施例。
出于本文的目的，连接可以是直接连接或间接连接(例如，经由另一方)。
出于本文的目的，术语对象的“集合”指的是一个或多个对象的“集合”。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述特定特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于显示增强现实环境的电子设备，包括：
一个或多个处理器，所述一个或多个处理器在第一点和时间确定所述电子设备的终端用户相对于所述电子设备的初始头部位置，所述一个或多个处理器在所述第一时间点之后的第二时间点确定所述终端用户相对于所述电子设备的第二头部位置，所述第二头部位置不同于所述初始头部位置，所述一个或多个处理器基于所述第二头部位置来渲染与虚拟对象相关联的第二图像；以及
与所述一个或多个处理器通信的透视显示器，所述透视显示器显示所述第二图像，使得所述虚拟对象被感知为存在于向所述电子设备的所述终端用户显示的增强现实环境内。
2.如权利要求1所述的电子设备，其特征在于：
所述电子设备包括HMD。
3.如权利要求2所述的电子设备，其特征在于：
所述一个或多个处理器基于所述初始头部位置和所述第二头部位置确定相对于所述HMD的头部移动的程度，所述一个或多个处理器确定相对于所述HMD的头部移动的程度是否超过阈值。
4.如权利要求3所述的电子设备，其特征在于：
所述一个或多个处理器在相对于所述HMD的头部移动的程度超过所述阈值的情况下，降低所述第二图像的分辨率。
5.如权利要求3所述的电子设备，其特征在于：
所述透视显示器在所述头部移动的程度超过所述阈值的情况下向所述终端用户显示警告。
6.如权利要求3所述的电子设备，其特征在于：
所述一个或多个处理器通过确定多个头部跟踪矢量之间的最大矢量差来确定相对于所述HMD的头部移动的程度，所述多个头部跟踪矢量中的第一头部跟踪矢量基于所述第二头部位置和所述初始头部跟踪位置之间的差。
7.如权利要求1-6中的任一项所述的电子设备，其特征在于：
所述一个或多个处理器确定表示所述终端用户相对于其中存在所述HMD的环境的头部位置的绝对头部位置矢量。
8.一种跟踪HMD的终端用户相对于所述HMD的头部位置的方法，包括：
在第一时间点确定所述终端用户相对于所述HMD的初始头部位置；
基于所述终端用户相对于所述HMD的所述初始头部位置渲染并显示与虚拟对象相关联的第一图像，所述第一图像被显示在所述HMD上的第一位置处；
在所述第一时间点之后的第二时间点确定所述终端用户相对于所述HMD的第二头部位置，所述第二头部位置不同于所述初始头部位置；以及
基于所述终端用户相对于所述HMD的所述第二头部位置渲染并显示与所述虚拟对象相关联的第二图像，所述第二图像被显示在所述HMD上与所述第一位置不同的第二位置处。
9.如权利要求8所述的方法，其特征在于，进一步包括：
基于所述初始头部位置和所述第二头部位置确定相对于所述HMD的头部移动的程度；以及
确定相对于所述HMD的头部移动的程度是否超过阈值。
10.如权利要求8-9中的任一项所述的方法，其特征在于，还包括：
在相对于所述HMD的头部移动的程度超过所述阈值的情况下，降低所述第二图像的分辨率。
CN201480036139.XA 2013-06-24 2014-06-18 在佩戴移动设备时跟踪头部移动 Active CN105431763B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/925,314 2013-06-24
US13/925,314 US9256987B2 (en) 2013-06-24 2013-06-24 Tracking head movement when wearing mobile device
PCT/US2014/042881 WO2014209709A1 (en) 2013-06-24 2014-06-18 Tracking head movement when wearing mobile device

Publications (2)

Publication Number Publication Date
CN105431763A true CN105431763A (zh) 2016-03-23
CN105431763B CN105431763B (zh) 2018-06-26

Family

ID=51210756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480036139.XA Active CN105431763B (zh) 2013-06-24 2014-06-18 在佩戴移动设备时跟踪头部移动

Country Status (5)

Country Link
US (1) US9256987B2 (zh)
EP (1) EP3014338B1 (zh)
KR (1) KR102213725B1 (zh)
CN (1) CN105431763B (zh)
WO (1) WO2014209709A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106597673A (zh) * 2017-02-28 2017-04-26 京东方科技集团股份有限公司 虚拟现实显示装置及其驱动方法和驱动模块
CN106970770A (zh) * 2017-03-31 2017-07-21 联想(北京)有限公司 一种显示调整方法、电子设备及装置
WO2017036429A3 (en) * 2016-12-01 2017-09-21 Viewtrix Technology Co., Ltd. Zone-based display data processing and transmission
WO2017190293A1 (zh) * 2016-05-04 2017-11-09 深圳动三帝虚拟现实互动科技有限公司 虚拟现实的显示方法、装置及终端
CN108427193A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 增强现实显示系统
CN108428375A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的教学辅助方法及设备
CN108446011A (zh) * 2017-02-14 2018-08-24 深圳梦境视觉智能科技有限公司 一种基于增强现实的医疗辅助方法及设备
CN108696740A (zh) * 2017-02-14 2018-10-23 深圳梦境视觉智能科技有限公司 一种基于增强现实的直播方法及设备
CN108762501A (zh) * 2018-05-23 2018-11-06 歌尔科技有限公司 Ar显示方法、智能终端、ar设备及系统
CN109106567A (zh) * 2018-08-29 2019-01-01 中国科学院长春光学精密机械与物理研究所 一种用于近视治疗的多视距显示系统
CN109313505A (zh) * 2016-06-13 2019-02-05 微软技术许可有限责任公司 经由控制点改变渲染对象的属性
CN109464236A (zh) * 2017-09-08 2019-03-15 拉碧斯半导体株式会社 护目镜式显示装置、视线检测方法以及视线检测系统
CN109495733A (zh) * 2017-09-12 2019-03-19 宏达国际电子股份有限公司 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
CN110134228A (zh) * 2018-02-09 2019-08-16 联想（新加坡）私人有限公司 信息处理方法、信息处理设备及用于信息处理的产品
TWI687088B (zh) * 2017-11-16 2020-03-01 宏達國際電子股份有限公司 適應性交錯影像捲繞的方法、系統以及記錄媒體
CN110968188A (zh) * 2018-09-28 2020-04-07 苹果公司 基于头部位置的应用程序放置
CN111183658A (zh) * 2017-10-12 2020-05-19 高通股份有限公司 用于计算机介导现实系统的渲染
CN112515625A (zh) * 2019-09-18 2021-03-19 苹果公司 使用眼睛测距仪跟踪眼睛
TWI783655B (zh) * 2020-09-01 2022-11-11 宏達國際電子股份有限公司 頭戴式裝置追蹤方法與頭戴式裝置追蹤系統
US11521581B2 (en) 2019-09-26 2022-12-06 Apple Inc. Controlling displays
US11800059B2 (en) 2019-09-27 2023-10-24 Apple Inc. Environment for remote communication
US20240012473A1 (en) * 2022-07-11 2024-01-11 Meta Platforms Technologies, Llc Methods, Apparatuses And Computer Program Products For Providing Multi-Functional Optical Modules With Micro-Light Emitting Diodes As Eye Tracking Illumination Sources

Families Citing this family (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9377852B1 (en) * 2013-08-29 2016-06-28 Rockwell Collins, Inc. Eye tracking as a method to improve the user interface
JP5993127B2 (ja) * 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
US10592064B2 (en) * 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
GB2523356A (en) * 2014-02-21 2015-08-26 Tobii Technology Ab Apparatus and method for robust eye/gaze tracking
US10572008B2 (en) 2014-02-21 2020-02-25 Tobii Ab Apparatus and method for robust eye/gaze tracking
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9459454B1 (en) 2014-05-23 2016-10-04 Google Inc. Interactive social games on head-mountable devices
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9965030B2 (en) 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
US20160048022A1 (en) * 2014-08-14 2016-02-18 Qualcomm Incorporated Management for wearable display
US9946361B2 (en) 2014-08-14 2018-04-17 Qualcomm Incorporated Management for wearable display
KR20160024168A (ko) * 2014-08-25 2016-03-04 삼성전자주식회사 전자 장치의 디스플레이 제어 방법 및 전자 장치
JP2016045874A (ja) * 2014-08-26 2016-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9934573B2 (en) * 2014-09-17 2018-04-03 Intel Corporation Technologies for adjusting a perspective of a captured image for display
US9977495B2 (en) * 2014-09-19 2018-05-22 Utherverse Digital Inc. Immersive displays
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
JP6476781B2 (ja) * 2014-11-17 2019-03-06 セイコーエプソン株式会社 情報処理装置、情報処理装置を制御する方法、コンピュータープログラム
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
WO2016092698A1 (ja) * 2014-12-12 2016-06-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) * 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US10426379B2 (en) * 2015-03-30 2019-10-01 Natus Medical Incorporated Vestibular testing apparatus
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
CN107431778B (zh) * 2015-04-22 2021-06-22 索尼公司 信息处理装置、信息处理方法和程序
CN108153424B (zh) * 2015-06-03 2021-07-09 塔普翊海（上海）智能科技有限公司 头显设备的眼动和头动交互方法
RU2719426C2 (ru) * 2015-07-17 2020-04-17 Конинклейке Филипс Н.В. Устройство и способ определения положения мобильного устройства относительно субъекта
CN106708249B (zh) * 2015-07-31 2020-03-03 北京智谷睿拓技术服务有限公司 交互方法、交互装置及用户设备
US10078218B2 (en) * 2016-01-01 2018-09-18 Oculus Vr, Llc Non-overlapped stereo imaging for virtual reality headset tracking
JP6845982B2 (ja) * 2016-01-13 2021-03-24 フォーブ インコーポレーテッド 表情認識システム、表情認識方法及び表情認識プログラム
US10565723B2 (en) * 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
CN115032795A (zh) 2016-03-22 2022-09-09 奇跃公司 被配置为交换生物测定信息的头戴式显示系统
EP3260040B1 (en) * 2016-06-03 2021-09-08 Nidek Co., Ltd. Ophthalmic apparatus
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
KR20180028211A (ko) * 2016-09-08 2018-03-16 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US9928660B1 (en) * 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
US10976549B2 (en) * 2016-09-28 2021-04-13 Magic Leap, Inc. Face model capture by a wearable device
JP7090601B2 (ja) * 2016-10-05 2022-06-24 マジック リープ， インコーポレイテッド 複合現実較正のための眼球周囲試験
US10395111B2 (en) * 2016-12-01 2019-08-27 Varjo Technologies Oy Gaze-tracking system and method
JP2020501265A (ja) 2016-12-05 2020-01-16 ケース ウェスタン リザーブ ユニバーシティＣａｓｅ Ｗｅｓｔｅｒｎ Ｒｅｓｅｒｖｅ Ｕｎｉｖｅｒｓｉｔｙ 対話型拡張現実表示を表示するためのシステム、方法、及び媒体
US10055028B2 (en) 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US10298840B2 (en) 2017-01-31 2019-05-21 Microsoft Technology Licensing, Llc Foveated camera for video augmented reality and head mounted display
US10354140B2 (en) 2017-01-31 2019-07-16 Microsoft Technology Licensing, Llc Video noise reduction for video augmented reality system
US11187909B2 (en) 2017-01-31 2021-11-30 Microsoft Technology Licensing, Llc Text rendering by microshifting the display in a head mounted display
US10504397B2 (en) 2017-01-31 2019-12-10 Microsoft Technology Licensing, Llc Curved narrowband illuminant display for head mounted display
US10467456B2 (en) 2017-04-17 2019-11-05 Htc Corporation Tracking system for tracking an object based on silhouette
TWI669657B (zh) * 2017-05-17 2019-08-21 宏碁股份有限公司 具自適性控制之主機、頭戴式顯示裝置、攜帶式裝置、虛擬實境系統及其控制方法
CN107172514B (zh) * 2017-05-18 2019-08-27 歌尔科技有限公司 呼叫处理方法和装置
US10747386B2 (en) * 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
GB201709752D0 (en) * 2017-06-19 2017-08-02 Advanced Risc Mach Ltd Graphics processing systems
IL253432A0 (en) 2017-07-11 2017-09-28 Elbit Systems Ltd System and method for correcting a rolling display effect
WO2019012522A1 (en) * 2017-07-11 2019-01-17 Elbit Systems Ltd. SYSTEM AND METHOD FOR CORRECTING A RUNNING DISPLAY EFFECT
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10395418B2 (en) 2017-08-18 2019-08-27 Microsoft Technology Licensing, Llc Techniques for predictive prioritization of image portions in processing graphics
KR101947372B1 (ko) 2017-09-04 2019-05-08 주식회사 그루크리에이티브랩 Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
CN111448497B (zh) 2017-12-10 2023-08-04 奇跃公司 光波导上的抗反射涂层
CN111712751B (zh) 2017-12-20 2022-11-01 奇跃公司 用于增强现实观看设备的插入件
JP7390297B2 (ja) 2018-01-17 2023-12-01 マジック リープ， インコーポレイテッド 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け
JP7291708B2 (ja) 2018-01-17 2023-06-15 マジック リープ， インコーポレイテッド ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
EP3766039A4 (en) 2018-03-15 2021-04-07 Magic Leap, Inc. IMAGE CORRECTION BY DEFORMING COMPONENTS OF A VIEWING DEVICE
US10695665B2 (en) * 2018-03-16 2020-06-30 Sony Interactive Entertainment America Llc Asynchronous virtual reality interactions
CN110488489B (zh) * 2018-05-15 2022-10-11 苹果公司 用于头戴式壳体的眼睛登记
TWI694271B (zh) * 2018-05-20 2020-05-21 宏達國際電子股份有限公司 操作方法、頭戴式裝置及追蹤系統
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
CN112400157A (zh) 2018-06-05 2021-02-23 奇跃公司 观看系统的基于单应性变换矩阵的温度校准
US10921595B2 (en) 2018-06-29 2021-02-16 International Business Machines Corporation Contextual adjustment to augmented reality glasses
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
WO2020023545A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
EP3831058A4 (en) 2018-08-02 2022-04-20 Magic Leap, Inc. VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT
JP7438188B2 (ja) 2018-08-03 2024-02-26 マジック リープ， インコーポレイテッド ユーザ相互作用システムにおけるトーテムの融合姿勢の非融合姿勢ベースのドリフト補正
EP3846161A4 (en) * 2018-08-29 2021-10-20 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US11416964B2 (en) 2018-10-26 2022-08-16 Samsung Electronics Co., Ltd. Method and device for adjusting resolution of HMD apparatus
EP3881279A4 (en) 2018-11-16 2022-08-17 Magic Leap, Inc. IMAGE SIZE-TRIGGERED CLARIFICATION TO MAINTAIN IMAGE SHARPNESS
CN113544766A (zh) 2019-03-12 2021-10-22 奇跃公司 在第一和第二增强现实观看器之间配准本地内容
US11749018B1 (en) 2019-05-28 2023-09-05 Apple Inc. Eye enrollment for head-mounted enclosure
US11868525B2 (en) * 2019-07-16 2024-01-09 Magic Leap, Inc. Eye center of rotation determination with one or more eye tracking cameras
JP2022542363A (ja) 2019-07-26 2022-10-03 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
US11526212B1 (en) * 2019-09-25 2022-12-13 Amazon Technologies, Inc. System to determine don/doff of wearable device
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
KR102305409B1 (ko) * 2019-12-10 2021-09-29 주식회사 피앤씨솔루션 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템
CN111415421B (zh) * 2020-04-02 2024-03-19 Oppo广东移动通信有限公司 虚拟物体控制方法、装置、存储介质及增强现实设备
US11828944B1 (en) * 2020-04-09 2023-11-28 Apple Inc. Head-mounted device with optical module illumination systems
US11042028B1 (en) * 2021-01-12 2021-06-22 University Of Central Florida Research Foundation, Inc. Relative pose data augmentation of tracked devices in virtual environments
US11796803B2 (en) * 2022-03-21 2023-10-24 Lenovo (Singapore) Pte. Ltd. Movement of graphical objects based on user moving between viewing display locations
US20230368403A1 (en) * 2022-05-16 2023-11-16 Microsoft Technology Licensing, Llc Systems and methods for facilitating display misalignment correction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566052A (zh) * 2010-12-29 2012-07-11 索尼公司 头戴式显示器
JP2012138654A (ja) * 2010-12-24 2012-07-19 Sony Corp ヘッド・マウント・ディスプレイ
WO2012172719A1 (ja) * 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
WO2013009047A2 (en) * 2011-07-11 2013-01-17 Korea Institute Of Science And Technology Head mounted display apparatus and contents display method
CN103018903A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 具有显示方位锁定装置的头戴式显示器及其显示方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2171395T3 (es) 1990-11-30 2002-09-16 Sun Microsystems Inc Dispositivo para efectuar el seguimiento de la posicion de una cabeza compacta para un sistema de realidad virtual de bajo coste.
US5267708A (en) 1992-09-28 1993-12-07 Rockwell International Corp. Head support apparatus
JP3724157B2 (ja) * 1997-10-30 2005-12-07 コニカミノルタホールディングス株式会社 映像観察装置
GB9917591D0 (en) 1999-07-28 1999-09-29 Marconi Electronic Syst Ltd Head tracker system
US7050078B2 (en) 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US7593026B2 (en) * 2005-05-11 2009-09-22 L-3 Communications Corporation Dynamic display optimization method and system with image motion
US7928926B2 (en) 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
JP2012203128A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
US8836771B2 (en) 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8629815B2 (en) * 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
WO2013028813A1 (en) 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US8223024B1 (en) * 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US20140160170A1 (en) * 2012-12-06 2014-06-12 Nokia Corporation Provision of an Image Element on a Display Worn by a User

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138654A (ja) * 2010-12-24 2012-07-19 Sony Corp ヘッド・マウント・ディスプレイ
CN102566052A (zh) * 2010-12-29 2012-07-11 索尼公司 头戴式显示器
WO2012172719A1 (ja) * 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
WO2013009047A2 (en) * 2011-07-11 2013-01-17 Korea Institute Of Science And Technology Head mounted display apparatus and contents display method
CN103018903A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 具有显示方位锁定装置的头戴式显示器及其显示方法

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109219789A (zh) * 2016-05-04 2019-01-15 深圳脑穿越科技有限公司 虚拟现实的显示方法、装置及终端
WO2017190293A1 (zh) * 2016-05-04 2017-11-09 深圳动三帝虚拟现实互动科技有限公司 虚拟现实的显示方法、装置及终端
CN109313505B (zh) * 2016-06-13 2022-03-29 微软技术许可有限责任公司 用于呈现渲染对象的设备以及相关联的计算机实现的方法
CN109313505A (zh) * 2016-06-13 2019-02-05 微软技术许可有限责任公司 经由控制点改变渲染对象的属性
WO2017036429A3 (en) * 2016-12-01 2017-09-21 Viewtrix Technology Co., Ltd. Zone-based display data processing and transmission
US10614764B2 (en) 2016-12-01 2020-04-07 Shanghai Yunyinggu Technology Co., Ltd. Zone-based display data processing and transmission
CN108428375A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的教学辅助方法及设备
CN108446011A (zh) * 2017-02-14 2018-08-24 深圳梦境视觉智能科技有限公司 一种基于增强现实的医疗辅助方法及设备
CN108427193A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 增强现实显示系统
CN108696740A (zh) * 2017-02-14 2018-10-23 深圳梦境视觉智能科技有限公司 一种基于增强现实的直播方法及设备
CN106597673B (zh) * 2017-02-28 2020-04-03 京东方科技集团股份有限公司 虚拟现实显示装置及其驱动方法和驱动模块
CN106597673A (zh) * 2017-02-28 2017-04-26 京东方科技集团股份有限公司 虚拟现实显示装置及其驱动方法和驱动模块
CN106970770A (zh) * 2017-03-31 2017-07-21 联想(北京)有限公司 一种显示调整方法、电子设备及装置
CN109464236A (zh) * 2017-09-08 2019-03-15 拉碧斯半导体株式会社 护目镜式显示装置、视线检测方法以及视线检测系统
CN109464236B (zh) * 2017-09-08 2022-08-02 拉碧斯半导体株式会社 护目镜式显示装置、视线检测方法以及视线检测系统
CN109495733A (zh) * 2017-09-12 2019-03-19 宏达国际电子股份有限公司 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
CN109495733B (zh) * 2017-09-12 2020-11-06 宏达国际电子股份有限公司 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
CN111183658B (zh) * 2017-10-12 2021-07-06 高通股份有限公司 用于计算机介导现实系统的渲染
CN111183658A (zh) * 2017-10-12 2020-05-19 高通股份有限公司 用于计算机介导现实系统的渲染
TWI687088B (zh) * 2017-11-16 2020-03-01 宏達國際電子股份有限公司 適應性交錯影像捲繞的方法、系統以及記錄媒體
US10742966B2 (en) 2017-11-16 2020-08-11 Htc Corporation Method, system and recording medium for adaptive interleaved image warping
CN110134228A (zh) * 2018-02-09 2019-08-16 联想（新加坡）私人有限公司 信息处理方法、信息处理设备及用于信息处理的产品
CN108762501A (zh) * 2018-05-23 2018-11-06 歌尔科技有限公司 Ar显示方法、智能终端、ar设备及系统
CN108762501B (zh) * 2018-05-23 2021-02-26 歌尔光学科技有限公司 Ar显示方法、智能终端、ar设备及系统
CN109106567A (zh) * 2018-08-29 2019-01-01 中国科学院长春光学精密机械与物理研究所 一种用于近视治疗的多视距显示系统
CN110968188A (zh) * 2018-09-28 2020-04-07 苹果公司 基于头部位置的应用程序放置
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US11960641B2 (en) 2018-09-28 2024-04-16 Apple Inc. Application placement based on head position
CN112515625A (zh) * 2019-09-18 2021-03-19 苹果公司 使用眼睛测距仪跟踪眼睛
CN112527099A (zh) * 2019-09-18 2021-03-19 苹果公司 低功率眼睛跟踪系统
US11521581B2 (en) 2019-09-26 2022-12-06 Apple Inc. Controlling displays
US11893964B2 (en) 2019-09-26 2024-02-06 Apple Inc. Controlling displays
US11800059B2 (en) 2019-09-27 2023-10-24 Apple Inc. Environment for remote communication
TWI783655B (zh) * 2020-09-01 2022-11-11 宏達國際電子股份有限公司 頭戴式裝置追蹤方法與頭戴式裝置追蹤系統
US20240012473A1 (en) * 2022-07-11 2024-01-11 Meta Platforms Technologies, Llc Methods, Apparatuses And Computer Program Products For Providing Multi-Functional Optical Modules With Micro-Light Emitting Diodes As Eye Tracking Illumination Sources

Also Published As

Publication number Publication date
KR102213725B1 (ko) 2021-02-05
EP3014338A1 (en) 2016-05-04
US9256987B2 (en) 2016-02-09
EP3014338B1 (en) 2018-07-25
US20140375680A1 (en) 2014-12-25
KR20160022921A (ko) 2016-03-02
CN105431763B (zh) 2018-06-26
WO2014209709A1 (en) 2014-12-31

Similar Documents

Publication Publication Date Title
CN105431763A (zh) 在佩戴移动设备时跟踪头部移动
US9384737B2 (en) Method and device for adjusting sound levels of sources based on sound source priority
US10643389B2 (en) Mechanism to give holographic objects saliency in multiple spaces
US9105210B2 (en) Multi-node poster location
US9035970B2 (en) Constraint based information inference
US9552060B2 (en) Radial selection by vestibulo-ocular reflex fixation
KR102482217B1 (ko) 3d 홀로그래픽 환경에서의 콘텐츠 관리
CN107111370B (zh) 现实世界对象的虚拟表示
JP6144681B2 (ja) 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ
CN105009039A (zh) 使用imu的直接全息图操纵
KR102300390B1 (ko) 착용식 식품 영양 피드백 시스템
CN105103082A (zh) 由人触发的全息提醒

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant