CN104067160A - 使用眼睛跟踪在显示屏中使图像内容居中的方法 - Google Patents
使用眼睛跟踪在显示屏中使图像内容居中的方法 Download PDFInfo
- Publication number
- CN104067160A CN104067160A CN201280067798.0A CN201280067798A CN104067160A CN 104067160 A CN104067160 A CN 104067160A CN 201280067798 A CN201280067798 A CN 201280067798A CN 104067160 A CN104067160 A CN 104067160A
- Authority
- CN
- China
- Prior art keywords
- image
- axle
- hmd
- central shaft
- destination object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Optics & Photonics (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种头戴式显示器(HMD)可包括眼睛跟踪系统、HMD跟踪系统和被配置为显示虚拟图像的显示屏。虚拟图像可向HMD的穿戴者呈现增强的现实并且虚拟图像可基于HMD跟踪数据来动态地调整。然而,位置和取向传感器误差可向显示的虚拟图像中引入漂移。通过包含眼睛跟踪数据,可以减小虚拟图像的漂移。在一个实施例中,眼睛跟踪数据可用于确定凝视轴和显示的虚拟图像中的目标对象。HMD随后可朝着中心轴移动目标对象。HMD还可基于凝视轴、中心轴和目标对象来记录数据以确定用户界面偏好。用户界面偏好可用于调整与HMD的类似交互。
Description
背景技术
可穿戴系统可将各种元件,例如微型计算机、输入设备、传感器、检测器、图像显示器、无线通信设备以及图像和音频处理器,集成到用户可以穿戴的设备中。这种设备对通信、计算和与人的环境的交互提供了一种移动且轻量的解决方案。随着与可穿戴系统和微型光学元件相关联的技术的进步,已经可能考虑增强穿戴者对真实世界的体验的可穿戴紧凑型光学显示器。
通过将图像显示元件放置得靠近穿戴者的眼睛(一眼或双眼),可以使人工图像覆盖穿戴者对真实世界的视图。这种图像显示元件被包含到也称为“近眼显示器”(near-eye display)、“头戴式显示器”(head-mounted display,HMD)或“抬头显示器”(heads-up display,HUD)的系统中。取决于显示元件的大小和与穿戴者眼睛的距离,人工图像可填满或几乎填满穿戴者的视野。
发明内容
在第一方面中,提供了一种方法。该方法包括在显示屏上显示图像,该显示屏具有中心轴;相对于中心轴确定凝视轴;以及基于凝视轴确定显示的图像中的目标对象。该方法还包括调整显示屏上显示的图像以朝着中心轴移动目标对象。
在第二方面中,提供了一种方法。该方法包括在显示屏上显示图像,该显示屏具有中心轴。该方法还包括相对于中心轴确定凝视轴,并且基于凝视轴确定显示的图像中的目标对象。该方法还包括基于中心轴、凝视轴、目标对象和显示的图像来记录数据。该方法还包括基于记录的数据来调整显示屏上显示的图像。
在第三方面中,提供了一种头戴式显示器(HMD)。该HMD包括头戴支撑物和安附到头戴支撑物的光学系统。光学系统包括具有中心轴的显示屏,并且显示屏被配置为显示可从观看位置观看的图像。HMD还包括红外光源,该红外光源被配置为以红外光对观看位置照明以使得红外光被从观看位置反射为反射的红外光。HMD还包括被配置为通过收集反射的红外光来对观看位置成像的相机和被配置为生成与HMD的运动有关的传感器数据的传感器。HMD还包括计算机,该计算机被配置为基于由相机获得的观看位置的一个或多个图像来确定凝视轴,控制显示屏基于传感器数据来显示图像,基于凝视轴确定显示的图像中的目标对象,以及控制显示屏来朝着中心轴移动目标对象。
在第四方面中,提供了一种存储有指令的非暂态计算机可读介质。这些指令可被计算设备执行来使得该计算设备执行功能。这些功能包括:(i)控制显示屏显示图像,该显示屏具有中心轴;(ii)相对于中心轴确定凝视轴;(iii)基于凝视轴确定显示的图像中的目标对象;以及(iv)控制显示屏调整显示的图像以朝着中心轴移动目标对象。
在第五方面中,提供了一种方法。该方法包括在头戴式显示器(HMD)的显示屏上显示图像。可在观看位置处观看显示的图像并且显示屏包括中心轴。该方法还包括获取与HMD的运动有关的传感器数据,并且控制显示屏基于传感器数据来显示图像。该方法还包括基于由相机获得的观看位置的一个或多个图像来确定凝视轴,并且基于凝视轴确定显示的图像中的目标对象。该方法还包括控制显示屏来朝着中心轴移动目标对象。
附图说明
图1是根据示例实施例的可穿戴计算设备的示意图。
图2是根据示例实施例的光学系统的顶视图。
图3A是根据示例实施例的头戴式显示器的正视图。
图3B是根据示例实施例的图3A的头戴式显示器的顶视图。
图3C是根据示例实施例的图3A和图3B的头戴式显示器的侧视图。
图4A是根据示例实施例的具有向前凝视轴的侧视图。
图4B是根据示例实施例的具有向上凝视轴的图4A的头戴式显示器的侧视图。
图5是根据示例实施例的方法的流程图。
图6是根据示例实施例的方法的流程图。
图7A根据示例实施例示出了HMD的视野。
图7B根据示例实施例示出了HMD的两个视野。
图8是根据示例实施例的方法的流程图。
具体实施方式
在以下详细描述中,参考了形成描述的一部分的附图。在附图中,相似的标号通常标识相似的组件,除非上下文另有规定。详细描述和附图中描述的说明性实施例并不打算进行限定。在不脱离本文给出的主题的精神或范围的情况下,可以利用其他实施例,并且可以进行其他改变。容易理解,本文概括描述并且在附图中图示的本公开的各方面可按许多种不同的配置来布置、替换、组合、分离和设计,所有这些在这里都已设想到。
1.概述
头戴式显示器(“HMD”)可使得其穿戴者能够观察穿戴者的真实世界周遭环境并且还能够观看显示的图像,例如计算机生成的图像或虚拟图像。在一些情况下,显示的图像可覆盖穿戴者的真实世界视野的一部分。从而,在HMD的穿戴者在从事着其日常活动,例如行走、驾驶、锻炼等等的同时,穿戴者可能够看到由HMD在穿戴者看着其真实世界周遭环境的同时生成的显示图像。
显示的图像可包括例如图形、文本和/或视频。显示的图像的内容可涉及任意数目的情境,包括但不限于穿戴者的当前环境、穿戴者当前从事的活动、穿戴者的生物计量状态、以及针对穿戴者的任何音频、视频或文本通信。HMD显示的图像也可以是交互式用户界面的一部分。例如,HMD可以是可穿戴计算设备的一部分。从而,HMD显示的图像可包括菜单、选择框、导航图标或者使得穿戴者能够调用可穿戴计算设备的功能或以其他方式与可穿戴计算设备交互的其他用户界面特征。
HMD显示的图像可出现在穿戴者的视野中的任何地方。例如,显示的图像可出现在穿戴者的视野的中心处或中心附近,或者显示的图像可局限于穿戴者的视野的顶部、底部或角落。或者,显示的图像可在穿戴者的正常视野的外围或者完全在穿戴者的正常视野之外。例如,显示的图像可被定位成使得其在穿戴者直向前看时不可见,而在穿戴者向特定方向,例如向上、向下或向一侧看时可见。此外,显示的图像可以仅覆盖穿戴者的视野的一小部分,或者显示的图像可以填满穿戴者的视野的大部分或全部。显示的图像可被连续地显示或仅在某些时间(例如仅当穿戴者从事某些活动时)显示。
可基于HMD的位置和取向(orientation)来显示虚拟图像。例如,HMD可包括位置和取向传感器,使得当用户移动其头部时,关于HMD的位置和取向的数据可被处理器接收。HMD可还包括可受处理器控制的显示屏,从而当用户移动其头部时,处理器可调整显示屏上显示的图像。具体地,显示的图像可在头部运动的相反方向上移动以创造环顾着叠覆有虚拟图像的世界的感觉。换言之,可以显示虚拟图像来创造图形图像是真实世界的一部分的幻觉。
然而,HMD位置和取向传感器不能无限快地处理信息并且至少受到传感器硬件的速度的限制。从而,当HMD在运动中时,一些感知数据可丢失。此外,因为硬件的不完善和其他因素,漂移、偏移和其他误差可被引入到传感器数据中。结果,处理器可能接收到错误的传感器数据。例如,当传感器静止时,其返回的数据可使得传感器看起来好像在运动,至少是轻微地运动。当传感器在运动时,可发生另外的误差。
传感器漂移问题可由例如可舍入或平均数据以减小传感器误差的软件算法来校正。当传感器静止时,这些技术可帮助解决漂移问题。然而,当传感器在运动时,这些算法可能不能校正该问题。
例如,考虑一乘火车出行的HMD穿戴者,其正面对火车的侧壁坐着。该HMD穿戴者在火车运动时可经历横向位移,并且在火车绕过拐角时也可经历逐渐的旋转变化。HMD的位置和取向传感器可测量这些运动并且可使得图像被不适当地显示。在此情形中通过舍入或数据平均可能不能适当地控制漂移误差。
以下描述的方法、非暂态计算机可读介质和装置可用来通过利用眼睛跟踪信息减小漂移误差和非故意HMD运动的影响。眼睛跟踪信息可允许对凝视轴的确定,该凝视轴可与HMD显示的图像中的目标对象相关。随后,可将目标对象朝着HMD的中心轴移动。
换言之,HMD一般可使用HMD运动数据来调整显示屏上的虚拟图像。例如,当HMD用户在真实世界环境中四处走动时,可基于HMD的取向来向穿戴者呈现虚拟图像。然而,当系统从眼睛跟踪系统检测到目标对象选择时(例如,HMD穿戴者凝视特定的对象达充分的一段时间),HMD可采取行动将目标对象移动到中心轴。这样,对凝视轴的确定可起到推翻HMD运动数据并将目标对象移动到中心轴附近或将目标对象保持在中心轴附近的作用。从而,可以减小或消除由于不完善的传感器数据和/或非故意的HMD运动引起的误差。
下面描述用于基于当前和记录的眼睛凝视信息来校正传感器漂移的系统和方法的某些说明性示例。然而,要理解,其他实施例是可能的并且在以下示例实施例的情境内隐含考虑到了。
2.具有眼睛跟踪功能的头戴式显示装置
图1是可包括若干个不同组件和子系统的可穿戴计算设备或头戴式显示器(HMD)100的示意图。HMD100的组件可包括眼睛跟踪系统102、HMD跟踪系统104、光学系统106、外围设备108、电源110、处理器112、存储器114和用户界面115。眼睛跟踪系统102可包括诸如红外相机116和至少一个红外光源118之类的硬件。HMD跟踪系统104可包括陀螺仪120、全球定位系统(global positioning system,GPS)122和加速度计124。光学系统106在一个实施例中可包括显示面板126、显示光源128和光学器件130。外围设备108可包括例如无线通信接口134、触摸板136、麦克风138、相机140和扬声器142。
在示例实施例中,HMD100包括透视型(see-through)显示器。从而,HMD100的穿戴者可观察真实世界环境的一部分,即,在由光学系统106提供的特定视野中观察。在示例实施例中,例如,HMD100可操作来显示叠覆在视野上的虚拟图像,以提供“增强的现实(augmented reality)”体验。HMD100显示的虚拟图像中的一些可被叠覆在视野中的特定对象上。HMD100也可显示看起来悬浮在视野内而不是与视野中的特定对象相关联的图像。
HMD100的组件可被配置为与其各自的系统内或外的其他组件以互连方式工作。例如,在示例实施例中,红外相机116可对HMD穿戴者的一只或两只眼睛成像。红外相机116可将图像信息递送到处理器112,处理器112可访问存储器114并且作出关于HMD穿戴者的凝视的方向的确定,其中凝视的方向也称为凝视轴。处理器112还可接受来自GPS单元122、陀螺仪120和/或加速度计124的输入以确定HMD100的位置和取向。随后,处理器112可控制用户界面115和显示面板126来基于HMD位置和取向以及HMD穿戴者的凝视轴向HMD穿戴者显示可包括情境特定信息的虚拟图像。
HMD100可被配置为例如眼镜、护目镜、头盔、帽子、帽舌、头带或者可在穿戴者的头部上支撑或从穿戴者的头部支撑的某种其他形式。另外,HMD100可被配置为例如利用两个透视型显示器向穿戴者的双眼显示图像。或者,HMD100可以仅包括单个透视型显示器,并且可以仅向穿戴者的一只眼睛——左眼或右眼——显示图像。HMD100还可表示被配置为在没有真实世界环境的视图的情况下向穿戴者的一只或两只眼睛显示图像的不透明显示器。另外,HMD100可以为穿戴者的第一眼睛提供不透明显示,并且为穿戴者的第二眼睛提供真实世界环境的视图。
电源110可向各种HMD组件提供电力并且可表示例如可再充电锂离子电池。本领域已知的各种其他电源材料和类型是可能的。
HMD100的功能可由处理器112来控制,处理器112执行存储在非暂态计算机可读介质例如存储器114中的指令。从而,处理器112与存储器114中存储的指令相结合可起到HMD100的控制器的作用。这样,处理器112可控制用户界面115调整HMD100显示的图像。处理器112还可控制无线通信接口134和HMD100的各种其他组件。处理器112还可表示可用来以分布方式控制HMD100的个体组件或子系统的多个计算设备。
除了处理器112可执行的指令以外,存储器114还可存储可以包括一组经校准的穿戴者眼睛瞳孔位置和过去眼睛瞳孔位置的集合在内的数据。从而,存储器114可起到与凝视方向有关的信息的数据库的作用。这种信息可被HMD100用来预期用户将看向何处并且确定要向穿戴者显示什么图像。经校准的穿戴者眼睛瞳孔位置可包括例如关于穿戴者的眼睛瞳孔运动的程度或范围(向右/向左和向上/向下)以及可与各种参考轴相关的穿戴者眼睛瞳孔位置的信息。
参考轴可表示例如从观看位置延伸经过目标对象或视野的表观中心(apparent center)的轴(即,可投影经过HMD的表观显示面板的中心点的中心轴)。参考轴的其他可能性是存在的。从而,参考轴还可表示用于确定动态凝视方向的基础。
此外,可在存储器114中存储关于可利用眼睛运动发生的可能控制指令的信息。例如,两次连续的穿戴者眨眼可表示指导HMD100利用外围相机140捕捉图像的控制指令。另一个可能的实施例可包括这样的配置:特定的眼睛运动可表示控制指令。例如,HMD穿戴者可利用一系列预定的眼睛运动来解锁用户界面115。
控制指令可基于对目标对象的基于停歇的选择(dwell-based selection)。例如,如果穿戴者从视觉上注视特定的虚拟图像或真实世界对象并且注视时间长于预定的时间段,则可生成控制指令来选择该虚拟图像或真实世界对象作为目标对象。许多其他控制指令是可能的。
除了上述特征以外,存储器114还可存储来自先前HMD/用户交互的各种记录数据。例如,HMD穿戴者的眼睛(一眼或两眼)的多个图像可被取平均以获得平均眼睛凝视轴。这可减轻跳动式眼睛运动或眼跳动的影响,在跳动式眼睛运动或眼跳动中眼睛以迅速且有些随机的方式在眼睛凝视轴周围运动。这些眼跳动帮助人类构建视野的精神图像并且该精神图像与眼睛保持静态的情况相比具有更好的分辨率,并且通过对特定时间段内的数个眼睛图像取平均,可以以更少的跳动“噪声”确定平均凝视轴。
此外,存储器114可以为各种基于应用的功能存储关于最近眼睛凝视轴的记录数据。例如,眼睛凝视轴的最近方差(recent variance)可被耦合到由HMD100生成的滚动图像。在此实施例中,如果最近眼睛凝视轴方差较高,则图像(例如文本或其他图像)可以更快地滚动。如果眼睛凝视轴方差较低,则图像可较慢地滚动或完全停止。在此情境中,眼睛凝视轴的较低方差可表明HMD穿戴者正集中于一个特定的凝视位置,而较高的眼睛凝视轴方差意味着相反情况——HMD穿戴者可能正在迅速扫描文档并希望有更快的滚动速度。
取决于在HMD显示屏上呈现的内容,方差可依据沿着其来测量方差的轴而不同。例如,HMD穿戴者的眼睛凝视的水平方差可能较高,而垂直方差可能相对较低。这可向HMD100表明穿戴者正在阅读文本。因此,与“非阅读”滚动/平移/分页情形相比,可以以不同的或更受控的方式来调整文本滚动/跟踪。
HMD100可包括用于向穿戴者提供信息或从穿戴者接收输入的用户界面115。用户界面115可与例如显示的虚拟图像、触摸板、小键盘、按钮、麦克风和/或其他外围输入设备相关联。处理器112可基于通过用户界面115接收的输入来控制HMD100的功能。例如,处理器112可利用来自用户界面115的用户输入来控制HMD100如何在视野内显示图像或者确定HMD100显示什么图像。
在HMD100中可包括眼睛跟踪系统102。在示例实施例中,眼睛跟踪系统102可向处理器112递送关于HMD100的穿戴者的眼睛位置的信息。眼睛跟踪数据可用于例如校正由传感器数据中的空缺(gap)和/或传感器噪声引起的传感器漂移误差。具体地,处理器112可基于来自眼睛跟踪系统102的信息来确定显示的图像中的目标对象。处理器112随后可控制用户界面115和显示面板126来以各种方式调整目标对象和/或其他显示的图像。例如,在显示面板126上可以使目标对象保持静态。或者,可以将目标对象朝着显示面板126的中心轴移动。
红外相机116可被眼睛跟踪系统102用来捕捉与HMD100相关联的观看位置的图像。从而,红外相机116可对可位于观看位置的HMD穿戴者的眼睛成像。观看位置可被红外光源118照明。图像可以是视频图像或静止图像。红外相机116获得的关于HMD穿戴者的眼睛的图像可帮助确定穿戴者在HMD视野内看着何处,例如通过允许处理器112查明HMD穿戴者的眼睛瞳孔的位置。对由红外相机116获得的图像的分析可由处理器112联合存储器114来执行。
对观看位置的成像可以连续地发生或者在离散的时间、取决于例如用户与用户界面115的交互而发生。红外相机116可被集成到光学系统106中或被安装在HMD100上。或者,红外相机可与HMD100完全分开定位。另外,红外相机116可以额外地表示具有红外波长中的感测能力的传统可见光相机。
红外光源118可表示可对观看位置照明的一个或多个红外发光二极管(light-emitting diode,LED)或红外激光二极管。HMD100的穿戴者的一眼或两眼可被红外光源118照明。红外光源118可沿着与红外相机116共同的光轴定位和/或红外光源118可被定位在别处。红外光源118可连续地对观看位置照明或者可在离散的时间被接通。此外,当照明时,红外光源118可被调制在特定的频率。红外光源118的其他类型的调制是可能的。
HMD跟踪系统104可被配置为向处理器112提供HMD位置和HMD取向。这个位置和取向数据可帮助确定要与凝视轴相比较的中心轴。例如,中心轴可对应于HMD的取向。
陀螺仪120可以是微机电系统(microelectromechanical system,MEMS)陀螺仪、光纤陀螺仪或本领域已知的另外类型的陀螺仪。陀螺仪120可被配置为向处理器112提供取向信息。GPS单元122可以是从GPS卫星获得时钟和其他信号的接收器并且可被配置为向处理器112提供实时位置信息。HMD跟踪系统104还可包括被配置为向处理器112提供运动输入数据的加速度计124。
光学系统106可表示被配置为向观看位置提供虚拟图像的组件。光学系统106的示例在下文参考图2详细描述。
各种外围设备108可被包括在HMD100中并且可用来向和从HMD100的穿戴者提供信息。在一个示例中,HMD100可包括无线通信接口134,用于直接地或经由通信网络与一个或多个设备无线地通信。例如,无线通信接口134可以使用3G蜂窝通信,例如CDMA、EVDO、GSM/GPRS,或者4G蜂窝通信,例如WiMAX或LTE。或者,无线通信接口134可例如利用WiFi与无线局域网(wireless local area network,WLAN)通信。在一些实施例中,无线通信接口134可例如利用红外链路、蓝牙或ZigBee与设备直接通信。
虽然图1示出了HMD100的各种组件(即,无线通信接口134、处理器112、存储器114、红外相机116、显示面板126、GPS122和用户界面115)被集成到HMD100中,但这些组件中的一个或多个可与HMD100物理上分离。例如,红外相机116可被安装在与HMD100分离的穿戴者上。从而,HMD100可以是采取可被穿戴者穿戴或携带的分离设备的形式的可穿戴计算设备的一部分。构成可穿戴计算设备的分离组件可以以有线或无线方式通信地耦合在一起。
图2图示出光学系统200的顶视图,该光学系统200被配置为显示被叠覆在可沿着观看轴204观看的真实世界场景上的虚拟图像。为了清晰起见,远端部(distal portion)232和近端部(proximal portion)234表示光学系统200的光学耦合的部分,这些部分可以是或不是物理上分离的。示例实施例包括可由光源208照明的显示面板206。从可见光源208发出的光入射在远端分束器210上。可见光源208可包括一个或多个发光二极管(LED)和/或激光二极管。可见光源208还可包括线性偏振器,其起到将一个特定的偏振传递到光学系统的其余部分的作用。
在示例实施例中,远端分束器210是依据入射在分束器上的光的偏振来反射光的偏振分束器。举例说明,来自可见光源208的S偏振光可被远端分束界面212优先朝着显示面板206反射。示例实施例中的显示面板206是硅基液晶(liquid crystal-on-silicon,LCOS)显示器。在界面212处的远端分束器涂层不是偏振分束器的替换实施例中,显示器可以是数字光投影仪(digitallight projector,DLP)微镜显示器,或其他类型的反射型显示面板。在任一实施例中,显示面板206起到对入射光进行空间调制以在显示器中的物平面处生成光图样(light pattern)的作用。或者,显示面板206可以是发射型显示器,例如有机发光二极管(organic light-emitting diode,OLED)显示器,并且在这种情况下,不需要分束器立方(cube)210。
在显示面板206是LCOS显示面板的示例中,显示面板206生成具有与最初入射在面板上的光的偏振垂直的偏振的光图样。在此示例实施例中,显示面板206把入射的S偏振光转换成具有p偏振的光图样。从显示面板206生成的光图样被引导向远端分束器210。p偏振的光图样经过远端分束器210并沿着光轴214被引导向光学系统200的近端区域。在示例实施例中,近端分束器216也是偏振分束器。光图样至少部分通过近端分束器216被透射到图像形成器218。在示例实施例中,图像形成器218包括凹透镜230和近端四分之一波片228。光图样经过近端四分之一波片228并被凹透镜230反射。
反射的光图样返回经过近端四分之一波片228。通过与近端四分之一波片228和凹透镜230的交互,光图样被转换成s偏振并形成为可观看图像。这个可观看图像入射在近端分束器216上并且可观看图像被从近端分束界面220沿着观看轴204朝着观看位置222反射。通过观看窗口224可观看真实世界场景。观看窗口224可包括线性偏振器以便减少光学系统内的杂散光。来自观看窗口224的光至少部分被透射过近端分束器216。从而,在观看位置222通过近端分束器216可观看虚拟图像和真实世界图像两者。
虽然图2描绘了当从上方看时光学系统壳体的远端部232在光学系统壳体的近端部234的左侧,但要理解,可以有其他实施例来物理地实现光学系统200,包括远端部232被配置为相对于近端部234在右侧、下方和上方。另外,虽然示例实施例描述了图像形成器218包括凹透镜230,但本领域技术人员要理解,图像形成器218可包括不同的光学元件,例如光学透镜或者衍射型光学元件。
在一个实施例中,近端分束器216、远端分束器210和光学系统200的其他组件由玻璃制成。或者,这种光学组件中的一些或全部可部分或全部是塑料的,这也可起到减轻光学系统200的重量的作用。适当的塑料材料是可从肯塔基州路易斯维尔的Zeon Chemicals L.P.获得的E48R环烯烃光学级聚合物。另一种适当的塑料材料是聚甲基丙烯酸甲酯(polymethylmethacrylate,PMMA)。
示例实施例可包括被配置为对观看位置222照明的红外光源226。虽然图2将红外光源226描绘为与观看窗口224相邻,但本领域技术人员将会理解,红外光源226可位于别处,例如在近端分束器216的与观看位置222相邻的那侧或者在光学系统200的远端部232中。红外光源226可表示例如一个或多个红外发光二极管(LED)。可以实现具有小尺寸的红外LED,例如Vishay Technology TSML1000产品。
本领域技术人员将会理解,为了获得最佳的眼睛跟踪精确度,利用从相对于观看轴204在轴外和/或轴上的位置对眼睛照明的光源获得眼睛瞳孔的红外图像可能是有利的。因此,红外光源226可包括位于光学系统200中的不同位置和/或与光学系统200分离的一个或多个LED。
从红外光源226生成的红外光被配置为入射在观看位置222上。从而,穿戴者的眼睛瞳孔可以被红外光照明。红外光可从穿戴者的眼睛沿着观看轴204被反射回到近端分束器216。反射的红外光的一部分可从分束界面220被反射向图像形成器218。
为了将红外光透射到红外相机202,图像形成器218可包括被配置为依据入射光的波长选择性地反射或透射入射光的二向色性薄膜。例如,该二向色性薄膜可被配置为在反射可见光的同时使红外光通过。在示例实施例中,由显示面板206生成的可见光图样可被凹透镜230反射并且该可见光图样可被形成为可观看图像。红外光从而可被优先地通过凹透镜230透射到红外相机202。二向色性薄膜涂层可从诸如JML Optical Industries和Precision Glass&Optics(PG&O)之类的公司购得并且包括多层电介质和/或金属膜。这些二向色性涂层也被称为“冷光镜”。
在示例实施例中,可向图像形成器218中引入小孔径,这可由凹透镜230的中心的小孔实现。在这个示例实施例中,大部分可见光和红外光被图像形成器218反射并被图像形成器218形成为HMD穿戴者可观看的图像。可见光和红外光中的一些通过该孔径并入射在红外相机202上。红外相机202可以从可见光和红外光的组合中选择性地过滤并检测出红外光以获得关于穿戴者的眼睛瞳孔位置的信息。替换地和/或额外地,可以相对于锁定放大器或锁相环的时钟信号来调制红外光源226以使得红外光信号被高效地换能。另外,可以调制可见光源208并且例如当可见光源208关闭时可以执行红外光检测。也可从离轴角度收集反射的红外光,并且从而红外相机也可位于光学系统200上的别处或位于与光学系统200分离之处。本领域技术人员将会理解,有利用红外相机来对与可见光信号混合的红外光信号进行换能的其他变体,并且这些变体被隐含地包括在本说明书中。
图3A呈现了示例实施例中的包括头戴支撑物309的头戴式显示器(HMD)300的正视图。图3B和3C分别呈现了图3A中的HMD的顶视图和侧视图。虽然此示例实施例是以眼镜形式提供的,但要理解可穿戴系统和HMD可采取其他形式,例如帽子、护目镜、面罩、头带或头盔。头戴支撑物309包括透镜框架314和316、中央框架支撑物318、透镜元件310和312以及延伸的侧臂320和322。中央框架支撑物318和侧臂320和322被配置为分别经由穿戴者的鼻子和耳朵将头戴支撑物309固定到穿戴者的头部。框架元件314、316和318以及延伸侧臂320和322中的每一个可由塑料或金属的实心结构形成,或者可由类似材料的中空结构形成,以允许配线和组件互连在内部按一定路线经过头戴支撑物309。替换地或额外地,头戴支撑物309可支撑外部配线。透镜元件310和312是至少部分透明的以允许穿戴者透视它们。具体地,穿戴者的左眼308可透视左透镜312,并且穿戴者的右眼306可透视右透镜310。可如图2所示那样配置的光学系统302和304可分别定位在透镜310和312的前方,如图3A、3B和3C所示。光学系统302和304可分别利用支撑底座324和326安附到头戴支撑物309。另外,光学系统302和304可以分别部分或完全地集成到透镜元件310和312中。
虽然此示例包括用于穿戴者的每只眼睛的光学系统,但要理解,HMD可以包括仅用于穿戴者的一只眼睛(左眼308或右眼306)的光学系统。如图2中所述,HMD穿戴者可以同时从光学系统302和304观察带有覆盖的虚拟图像的真实世界图像。HMD300可包括各种元件,例如处理器340、触摸板342、麦克风344和按钮346。计算机340可使用来自各种传感器和相机以及其他来源的数据来确定应当显示给用户的虚拟图像。在示例实施例中,如前所述,一个或多个红外光源可对(一个或多个)观看位置308和306亦即穿戴者的眼睛(一眼或两眼)照明,并且可以利用红外相机来收集反射的红外光。
本领域技术人员将会理解,在这种可穿戴计算系统中可合理地包括其他用户输入设备、用户输出设备、无线通信设备、传感器和相机。
图4A和4B描绘了在不同条件下眼睛的侧视图和正视图以及瞳孔位置信息的示意图。确定眼睛的凝视轴的一种方式是查明眼睛瞳孔相对于参考点的位置。在跟踪眼睛瞳孔位置的示例实施例中,红外光被人的眼睛反射。可以用红外相机来对反射的光成像。在对眼睛成像后,用处理器112进行图像处理以便确定例如人的瞳孔的范围和形心位置。其他已知的眼睛跟踪的手段和方法,包括使用可见光照明和/或其他成像技术,是可能的。
在实施例400中,一个人可以直向前看,如图4A中所示。眼睛412睁开并且瞳孔418的位置沿着中心轴410。在可包括边缘检测的图像处理之后,可确定瞳孔的位置在瞳孔位置422处。在此示例中,处理器112可随后基于瞳孔位置422确定凝视轴与中心轴410一致。可由于所确定的瞳孔位置422而调整虚拟图像显示位置和运动。例如,当凝视轴和中心轴等同或几乎等同时,处理器112可将跟踪速率调整到零。这例如可允许用户缓慢地阅读关键文本或者仔细查看虚拟图像。
在示例实施例424中,如图4B中所示,一个人可能相对于中心轴428在向上看。眼睛434睁开并且瞳孔位置大体上高于参考点440。在此情形中,利用红外光对人的瞳孔438成像可得到所确定的瞳孔位置442。处理器112可确定凝视轴430向中心轴428上方倾斜。角度差432可表示中心轴428与凝视轴430之间的角度的绝对差。处理器112可计算角度差432并且基于角度差432来调整跟踪速率。例如,大角度差432可表示对跟踪速率进行调整以使得跟踪速率更高,例如以更快的速率在视野上滚动虚拟图像。在其他实施例中,处理器112可计算角度差432并且在显示的图像中移动目标对象以便最大化角度差432。换言之,可以控制HMD显示屏以使得目标对象朝着HMD显示屏的中心移动。
其他实施例可包括使用不同的眼睛凝视确定技术。例如,取代使用眼睛瞳孔来确定凝视轴,可以利用巩膜和虹膜之间的边界来跟踪眼睛运动(该边界在图4A和4B中分别被标注为416和436)。为了确定眼睛凝视轴,找到巩膜/虹膜边缘(也称为异色边缘)的形心可等同于找到瞳孔的形心。
可确定眼睛上的不同参考点的用于眼睛跟踪的其他可能性是存在的并且在本发明的情境内可实现。例如,取代查明瞳孔形心来确定凝视轴,除了关于瞳孔位置的信息之外或取代关于瞳孔位置的信息,可以使用来自眼睛上的多个闪光反射的位置数据来确定凝视轴。
3.用于基于凝视轴和显示屏的中心轴调整显示屏上的虚拟图像的方法
提供了一种方法500,用于调整显示屏上显示的图像以将目标对象移动得更靠近中心轴。方法500可利用如图1至图3C的任何一幅中所示配置的或者以某种其他方式配置的HMD来执行。图5图示了示例方法中的步骤,然而,要理解在其他实施例中,这些步骤可以按不同的顺序出现并且可以添加或减除步骤。
步骤502包括在显示屏上显示图像。显示屏可具有中心轴,该中心轴可被认为是穿过显示屏的中心的线、与显示屏本身垂直。在替换实施例中,中心轴可经过显示屏上的可能不在显示屏的中心的其他位置,例如如果显示屏不是对称的话则是如此。
如上所述,显示屏可向用户呈现很多种虚拟图像,包括文本、形状、图片,等等。这些虚拟图像可允许HMD穿戴者体验增强的现实。
步骤504包括相对于中心轴确定凝视轴。对凝视轴的确定可通过眼睛跟踪来执行。例如,眼睛跟踪系统102可用于对HMD穿戴者的眼睛成像以确定其眼睛瞳孔的位置并因此确定凝视轴,例如图4A和4B中所示。
步骤506包括基于凝视轴确定显示的图像中的目标对象。在确定凝视轴之后,处理器112可确定穿戴者正凝视着该组显示的图像之中的特定目标对象。这个目标对象可以是来自显示屏上显示的图像之中的任何虚拟图像。例如,穿戴者可能正观看多行虚拟文本并且可能固定地凝视着特定的单词或短语。进而,该单词或短语可被确定为目标对象。
步骤508包括调整显示屏上显示的图像以朝着中心轴移动目标对象。这个步骤可包括使整组显示的图像(包括目标对象)朝着中心轴移动。例如,顺着特定单词或短语是目标对象的先前示例实施例,可以使整个格式化的文本体朝着中心轴移动。
或者,可以只有目标对象朝着中心轴移动。例如,如果表示一组图标之中的特定图标的虚拟图像被确定为是目标对象,则处理器112可以仅使该目标对象图标朝着显示屏的中心轴移动。其他移动也是可能的,包括在使目标对象朝着中心轴移动的同时对文本和其他虚拟图像的动态重格式化。
移动目标对象的速率或者说跟踪速率除了其他因素以外还可基于凝视轴与目标轴之间的角度。例如,如果HMD穿戴者正凝视着靠近HMD的视野的边缘的目标对象(因而,角度差较大),则可以按相对较快的跟踪速率来移动目标对象。相反,如果目标对象只是稍微离开中心轴,则跟踪速率可较慢。
方法500的示例在图7A和7B中图示。图7A示出了HMD视野700,其中虚拟文本704被呈现给HMD穿戴者。眼睛跟踪系统102可确定眼睛凝视轴可在中心眼睛凝视点706处穿过显示屏702。可确定目标对象是单词“of”。由于目标对象靠近显示屏的中心,所以凝视轴和中心轴是对齐或几乎对齐的。从而,处理器112可确定穿戴者正凝视着屏幕的中心并且不会发生虚拟图像移动。
在图7B中,可向HMD穿戴者呈现相关视野708。确定HMD穿戴者在一组虚拟文本704内具有凝视点710。在此示例中,眼睛跟踪系统102和处理器112可确定穿戴者正凝视着单词“hope”并且确定该单词是目标对象。因而,可以调整虚拟图像以使得单词“hope”朝着中心轴移动。可向HMD穿戴者呈现另一视野712,其中该组虚拟文本704已被向右和向上移动,使得目标对象(在此示例中是单词“hope”)的位置沿着显示屏的中心轴。
4.用于基于凝视轴、目标对象和显示屏的中心轴来记录数据并基于记录的数据来调整显示屏上显示的图像的方法
提供了一种方法600,用于基于中心轴、凝视轴和目标对象来记录数据并且调整显示屏上显示的图像以将目标对象移动得更靠近中心轴。方法600可利用如图1至图3C的任何一幅中所示配置的或者以某种其他方式配置的HMD来执行。图6图示了示例方法中的步骤,然而,要理解在其他实施例中,这些步骤可以按不同的顺序出现并且可以添加或减除步骤。
在第一步骤602中,在显示屏上显示图像。显示屏可具有中心轴,该中心轴可由以垂直入射穿过显示屏的线来表示。中心轴可经过显示屏上的可能不在显示屏的中心的其他位置,例如如果显示屏不是对称的话则是如此。
在第二步骤604中,可相对于中心轴确定凝视轴。例如,可以使用用于眼睛跟踪的手段,例如眼睛跟踪系统102,来获取HMD穿戴者的眼睛的图像。这些图像可被处理器112用来确定关于穿戴者的眼睛位置的信息,例如穿戴者的瞳孔的形心,并且从该信息进一步确定凝视轴。
在第三步骤606中,可基于凝视轴确定目标对象。例如,处理器112可确定特定的凝视轴可与来自显示屏上显示的虚拟图像之中的目标对象相关联。在一个实施例中,凝视轴可穿过显示的虚拟图像,该虚拟图像可被确定为是目标对象。在其他实施例中,如果凝视轴没有与相应的虚拟图像相交,则可从凝视轴确定目标对象。例如,HMD穿戴者可固定地凝视着显示屏上的特定虚拟图像。相应地,处理器112可确定不与感兴趣的虚拟图像空间相关的目标对象。
在第四步骤608中,可基于中心轴、凝视轴、目标对象和显示的图像来记录数据。例如,关于中心轴、HMD穿戴者的凝视轴、目标对象和显示的图像的数据可被存储在存储器114中。可以以连续的方式记录数据,或者仅在正执行特定任务时记录数据。替换地或额外地,可在有通过用户界面115的用户请求时或在其他HMD操作期间记录数据。
在第五步骤610中,基于记录的数据在显示屏上调整显示的图像。在一个示例实施例中,可在与HMD的正常穿戴者交互期间记录数据。该数据可包括例如关于HMD穿戴者的平均阅读速度的信息,该信息以后可用于在HMD穿戴者阅读文本时调整屏幕上显示的虚拟图像。例如,自动文本滚动的速率可由关于的穿戴者的平均阅读速度的预记录数据来控制。HMD可获得数据来确定可涵盖广泛的各种HMD用户交互和功能的用户偏好。
可如何使用这种记录的数据的其他示例是可能的。例如,记录的数据可用于HMD校准。由于用户之间的眼间距和脸部特征的差异,来自眼睛跟踪系统的信息在各个HMD穿戴者之间可略有变化,即使当用户在执行相同动作时也是如此。因而,眼睛凝视确定在个体之间也可变化。处理器112可分析存储器114中存储的数据来将用户眼睛凝视输入匹配到期望的用户输入。显示屏上显示的图像可至少取决于记录的数据和相应的用户定制的结果。通过记录关于与HMD的眼睛跟踪交互的数据,可以减少针对个体用户进行校准和定制的需要。
5.用于传感器漂移校正的非暂态计算机可读介质
以上描述和图5、图6、图7A和图7B中图示的功能中的一些或全部可由计算设备响应于对存储在非暂态计算机可读介质中的指令的执行而执行。非暂态计算机可读介质可以例如是随机访问存储器(random access memory,RAM)、只读存储器(read-only memory,ROM)、闪存存储器、缓存存储器、一个或多个磁编码盘、一个或多个光编码盘、或者任何其他形式的非暂态数据存储装置。非暂态计算机可读介质也可分布在多个数据存储元件之间,这些数据存储元件的位置可彼此远离。执行存储的指令的计算设备可以是可穿戴计算设备,例如图1中所示的可穿戴计算设备100。或者,执行存储的指令的计算设备可以是另一计算设备,例如服务器网络中的服务器。
参考图1,可对应于存储器114的非暂态计算机可读介质可存储可由处理器112执行来执行各种功能的指令。例如,在从眼睛跟踪系统102接收到凝视轴信息后,可指令处理器112控制显示面板126来基于例如凝视轴和中心轴来调整显示的图像。在另一实施例中,可基于凝视轴、中心轴和目标对象来记录数据以便调整显示屏上的目标对象或者确定用户界面偏好。用户界面偏好可用于调整将来与HMD的相似交互。本领域技术人员将会理解,可以合理地包括其他子功能或功能以指令处理器基于眼睛跟踪和其他传感器数据来调整显示屏上的虚拟图像。
6.用于基于HMD的运动和眼睛跟踪数据来在HMD中显示图像的方法
提供了一种方法800,用于基于HMD的运动和HMD穿戴者的眼睛跟踪数据在头戴式显示器(HMD)的显示屏上显示图像。方法800可利用如图1至图3C的任何一幅中所示配置的或者以某种其他方式配置的HMD来执行。图8图示了示例方法中的步骤,然而,要理解在其他实施例中,这些步骤可以按不同的顺序出现并且可以添加或减除步骤。
方法步骤802包括在HMD的显示屏上显示图像。在此实施例中,在观看位置处可观看显示的图像并且HMD显示屏具有中心轴。观看位置可以例如是HMD穿戴者的一只眼睛(或两只眼睛)的位置。与上述实施例类似,中心轴可以是从HMD显示屏的中心垂直伸出的轴。
方法步骤804包括获取与HMD的运动有关的传感器数据。传感器数据可例如由加速度计124和/或陀螺仪120生成。传感器数据可包括诸如HMD的角度和方位之类的信息,其中HMD的角度和方位可对应于中心轴的角度和方位。另外,传感器数据可包括关于HMD的位置的信息,例如可由GPS122获取。其他类型的传感器数据,例如HMD速度和加速度信息,是可能的并且可利用示例实施例来合理地应用。
方法步骤806包括控制显示屏基于传感器数据来显示图像。在示例实施例中,HMD可响应于HMD的运动而提供图形用户界面。图形用户界面可被配置为响应于任何HMD运动或者响应于预定的HMD运动而被显示。从而,处理器112可被配置为获取传感器数据。响应于适当的传感器数据输入,处理器112可控制光学系统106显示与图形用户界面相关联的图像。例如,如果HMD用户向上移动其头部,则可提供图形用户界面。
另外,在HMD提供图形用户界面的同时,用户可观看虚拟图像,这些虚拟图像看起来可以是覆盖在真实世界环境上的。这些虚拟图像可以被基本上锚定到真实世界对象和/或参考点。替换地或额外地,虚拟图像中的一些或全部在一个示例中可以相对于HMD的方位(水平面内的旋转角)保持基本固定。因而,HMD穿戴者可以通过旋转其头部和/或身体来观看图形用户界面的不同方面。
方法步骤808包括利用相机基于观看位置的一个或多个图像来确定凝视轴。在此步骤中,如以上实施例中所述,红外相机可与一个或多个红外光源一起工作来对HMD穿戴者的眼睛(一眼或两眼)成像。可以捕捉图像以努力查明HMD穿戴者的凝视方向或凝视轴。凝视方向/轴可与用户在看着的方向有关。
在方法步骤810中,可基于凝视轴在显示的图像内确定目标对象。因而,利用从方法步骤808获得的信息,处理器112可用于从该组当前显示的图像中确定特定目标对象。例如,可基于凝视方向与显示面板126的交点来确定目标对象。
方法步骤812包括控制显示屏来朝着中心轴移动目标对象。在此方法的情境内,用户可在可覆盖其对真实世界环境的视图的所建立的图形用户界面内交互。通过凝视图形用户界面内的特定元素可将其从该组当前显示的图像中选出。该特定元素从而可被选择来成为目标对象。目标对象选择可通过凝视该元素达预定的一段时间来执行。随后可以朝着HMD的中心轴移动目标对象。目标对象的这个移动可允许HMD穿戴者例如更容易地阅读一段文本或者集中于图像上的特定兴趣区域。此外,因为方法步骤812中的居中调整(centering)动作可独立于HMD运动,所以该方法对于减小传感器数据中的漂移上的噪声以及HMD的非故意运动的影响可能是有用的。实际上,当眼睛跟踪数据可指示目标对象时,可以“不顾(overridden)”基于HMD运动数据来移动显示的图像的命令。这样,图像的显示可与HMD运动基本上互不相干,这可减小或消除不想要的运动传感器漂移和HMD运动的影响。
本领域技术人员将会理解,存在利用HMD运动数据和眼睛跟踪数据来在HMD的显示屏上使目标对象居中的其他可能方式,并且上述示例实施例不打算排除任何其他这样的示例。
结论
以上详细描述参考附图描述了公开的系统、设备和方法的各种特征和功能。虽然本文已公开了各种方面和实施例,但本领域技术人员将清楚其他方面和实施例。本文公开的各种方面和实施例是用于说明的,而并不打算进行限定,真实的范围和精神由所附权利要求指示。
Claims (28)
1.一种方法,包括:
在显示屏上显示图像,所述显示屏具有中心轴;
相对于所述中心轴确定凝视轴;
基于所述凝视轴确定显示的图像中的目标对象;以及
调整所述显示屏上显示的图像以朝着所述中心轴移动所述目标对象。
2.如权利要求1所述的方法,其中,确定所述凝视轴包括:
获得眼睛瞳孔图像;
从所述眼睛瞳孔图像确定所述凝视轴。
3.如权利要求1所述的方法,其中,确定所述凝视轴包括:
获得多个眼睛瞳孔图像;以及
从所述多个眼睛瞳孔图像确定所述凝视轴。
4.如权利要求1所述的方法,其中,调整所述显示屏上显示的图像包括:
以跟踪速率移动所述目标对象。
5.如权利要求4所述的方法,其中,调整所述显示屏上显示的图像还包括:
基于所述凝视轴与所述中心轴之间的差别来调整所述跟踪速率。
6.一种方法,包括:
在显示屏上显示图像,所述显示屏具有中心轴;
相对于所述中心轴确定凝视轴;
基于所述凝视轴确定显示的图像中的目标对象;
基于所述中心轴、所述凝视轴、所述目标对象和所述显示的图像来记录数据;以及
基于记录的数据来调整所述显示屏上显示的图像。
7.如权利要求6所述的方法,还包括:
基于所述记录的数据来确定用户界面偏好;
基于所述用户界面偏好来调整所述显示屏上显示的图像。
8.一种头戴式显示器(HMD),包括:
头戴支撑物;
安附到所述头戴支撑物的光学系统,其中所述光学系统包括具有中心轴的显示屏,其中所述显示屏被配置为显示可从观看位置观看的图像;
红外光源,被配置为以红外光对所述观看位置照明以使得所述红外光被从所述观看位置反射为反射的红外光;
相机,被配置为通过收集所述反射的红外光来对所述观看位置成像;
传感器,被配置为生成与所述HMD的运动有关的传感器数据;以及
计算机,被配置为基于由所述相机获得的所述观看位置的一个或多个图像来确定凝视轴,控制所述显示屏基于所述传感器数据来显示图像,基于所述凝视轴确定显示的图像中的目标对象,以及控制所述显示屏来朝着所述中心轴移动所述目标对象。
9.如权利要求8所述的HMD,其中,所述观看位置对应于所述HMD的穿戴者的至少一只眼睛的位置。
10.如权利要求8所述的HMD,其中,所述计算机被配置为从接收到的图像确定所述HMD的穿戴者的至少一只眼睛的瞳孔位置。
11.如权利要求8所述的HMD,其中,所述光学系统还包括可见光源。
12.如权利要求11所述的HMD,其中,所述显示面板被配置为通过对来自所述可见光源的可见光进行空间调制来生成所述虚拟图像。
13.如权利要求8所述的HMD,其中,所述红外光源包括红外发光二极管(LED)。
14.如权利要求8所述的HMD,其中,所述相机包括红外相机。
15.如权利要求8所述的HMD,其中,所述计算机还被配置为基于所述中心轴、所述凝视轴、所述目标对象和所述显示的图像来记录数据,并且基于记录的数据来调整所述显示面板生成的显示的图像。
16.一种非暂态计算机可读介质,其中存储有指令,所述指令可被计算设备执行来使得该计算设备执行功能,所述功能包括:
控制显示屏显示图像,所述显示屏具有中心轴;
相对于所述中心轴确定凝视轴;
基于所述凝视轴确定显示的图像中的目标对象;以及
控制所述显示屏调整所述显示的图像以朝着所述中心轴移动所述目标对象。
17.如权利要求16所述的非暂态计算机可读介质,其中,确定凝视轴包括:
获得眼睛瞳孔图像;
从所述眼睛瞳孔图像确定所述凝视轴。
18.如权利要求16所述的非暂态计算机可读介质,其中,确定所述凝视轴包括:
获得多个眼睛瞳孔图像;以及
从所述多个眼睛瞳孔图像确定凝视轴。
19.如权利要求16所述的非暂态计算机可读介质,其中,控制所述显示屏调整所述显示的图像包括以跟踪速率移动所述目标对象。
20.如权利要求19所述的非暂态计算机可读介质,其中,控制所述显示屏调整所述显示的图像还包括基于所述凝视轴与所述中心轴之间的差别来调整所述跟踪速率。
21.如权利要求16所述的非暂态计算机可读介质,其中,所述功能还包括:
基于所述中心轴、所述凝视轴、所述目标对象和所述显示的图像来记录数据,并且基于记录的数据来调整所述显示屏上显示的图像。
22.一种方法,包括:
在头戴式显示器(HMD)的显示屏上显示图像,其中可在观看位置处观看显示的图像并且所述显示屏包括中心轴;
获取与所述HMD的运动有关的传感器数据;
控制所述显示屏基于所述传感器数据来显示图像;
基于由相机获得的所述观看位置的一个或多个图像来确定凝视轴;
基于所述凝视轴确定显示的图像中的目标对象;以及
控制所述显示屏来朝着所述中心轴移动所述目标对象。
23.如权利要求22所述的方法,其中,确定所述凝视轴包括:
获得眼睛瞳孔图像;
从所述眼睛瞳孔图像确定所述凝视轴。
24.如权利要求22所述的方法,其中,确定所述凝视轴包括:
获得多个眼睛瞳孔图像;以及
从所述多个眼睛瞳孔图像确定所述凝视轴。
25.如权利要求22所述的方法,其中,控制所述显示屏来朝着所述中心轴移动所述目标对象包括:
以跟踪速率移动所述目标对象。
26.如权利要求25所述的方法,其中,控制所述显示屏来朝着所述中心轴移动所述目标对象还包括:
基于所述凝视轴与所述中心轴之间的差别来调整所述跟踪速率。
27.如权利要求22所述的方法,还包括基于所述中心轴、所述凝视轴、所述目标对象和所述显示的图像来记录数据。
28.如权利要求27所述的方法,其中,控制所述显示屏来朝着所述中心轴移动所述目标对象还基于记录的数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/302,916 | 2011-11-22 | ||
US13/302,916 US8611015B2 (en) | 2011-11-22 | 2011-11-22 | User interface |
PCT/US2012/062933 WO2013077978A2 (en) | 2011-11-22 | 2012-11-01 | Method of using eye-tracking to center image content in a display |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104067160A true CN104067160A (zh) | 2014-09-24 |
CN104067160B CN104067160B (zh) | 2017-09-12 |
Family
ID=48426619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280067798.0A Active CN104067160B (zh) | 2011-11-22 | 2012-11-01 | 使用眼睛跟踪在显示屏中使图像内容居中的方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8611015B2 (zh) |
EP (1) | EP2783252B1 (zh) |
CN (1) | CN104067160B (zh) |
WO (1) | WO2013077978A2 (zh) |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104570366A (zh) * | 2015-01-16 | 2015-04-29 | 中国科学院上海光学精密机械研究所 | 一种具有手势识别功能的全息头盔显示器 |
CN104581126A (zh) * | 2014-12-16 | 2015-04-29 | 青岛歌尔声学科技有限公司 | 一种头戴显示设备的画面显示处理方法和处理装置 |
CN104717483A (zh) * | 2014-12-02 | 2015-06-17 | 上海理鑫光学科技有限公司 | 虚拟现实家居装潢体验系统 |
CN105301778A (zh) * | 2015-12-08 | 2016-02-03 | 北京小鸟看看科技有限公司 | 三维操控装置、头戴式装置及三维操控方法 |
CN105511618A (zh) * | 2015-12-08 | 2016-04-20 | 北京小鸟看看科技有限公司 | 三维输入装置、头戴式装置及三维输入方法 |
CN106131539A (zh) * | 2016-06-30 | 2016-11-16 | 乐视控股(北京)有限公司 | 一种虚拟现实vr设备及其视频播放方法 |
CN106265006A (zh) * | 2016-07-29 | 2017-01-04 | 维沃移动通信有限公司 | 一种主视眼的矫正方法及移动终端 |
CN106574847A (zh) * | 2014-09-24 | 2017-04-19 | 三星电子株式会社 | 用于获取传感器数据的方法及其电子设备 |
CN106796344A (zh) * | 2014-10-07 | 2017-05-31 | 艾尔比特系统有限公司 | 锁定在感兴趣对象上的放大图像的头戴式显示 |
CN107249497A (zh) * | 2015-02-20 | 2017-10-13 | 柯惠Lp公司 | 手术室和手术部位感知 |
CN108141559A (zh) * | 2015-09-18 | 2018-06-08 | Fove股份有限公司 | 影像系统 |
WO2018103072A1 (zh) * | 2016-12-09 | 2018-06-14 | 深圳市柔宇科技有限公司 | 用户界面的调整方法、调整系统及头戴显示设备 |
WO2018120554A1 (zh) * | 2016-12-26 | 2018-07-05 | 华为技术有限公司 | 图像显示方法和头戴显示设备 |
CN108352075A (zh) * | 2015-11-06 | 2018-07-31 | 欧库勒斯虚拟现实有限责任公司 | 使用光流的眼睛跟踪 |
CN109426342A (zh) * | 2017-08-29 | 2019-03-05 | 深圳市掌网科技股份有限公司 | 基于增强现实的文档阅读方法和装置 |
CN109901709A (zh) * | 2019-01-14 | 2019-06-18 | 北京七鑫易维信息技术有限公司 | 调节显示画面的方法、装置及vr设备 |
CN110088662A (zh) * | 2016-12-01 | 2019-08-02 | 阴影技术公司 | 成像系统和产生背景图像和聚焦图像的方法 |
CN110554771A (zh) * | 2018-05-31 | 2019-12-10 | 托比股份公司 | 虚拟现实和增强现实中的眼睛跟踪应用 |
CN110574099A (zh) * | 2017-05-01 | 2019-12-13 | 纯深度股份有限公司 | 基于头部跟踪的场序跳视分离减少 |
CN110603513A (zh) * | 2018-08-27 | 2019-12-20 | 深圳市汇顶科技股份有限公司 | 基于对眼睛特征进行成像和结构照明探测光帮助的眼睛跟踪 |
CN110753899A (zh) * | 2017-06-15 | 2020-02-04 | 微软技术许可有限责任公司 | 计算机介导现实中的位移取向交互 |
CN110799929A (zh) * | 2017-06-28 | 2020-02-14 | 通快光子元件有限公司 | 用于计算机媒介现实的显示设备 |
CN111095357A (zh) * | 2017-07-27 | 2020-05-01 | Mo-Sys工程有限公司 | 定位系统 |
US10642049B2 (en) | 2018-04-25 | 2020-05-05 | Apple Inc. | Head-mounted device with active optical foveation |
CN112181140A (zh) * | 2015-07-31 | 2021-01-05 | 谷歌有限责任公司 | 自动校准穿戴式眼睛跟踪系统的独特反射镜片 |
CN112639943A (zh) * | 2018-08-22 | 2021-04-09 | 微软技术许可有限责任公司 | 用于改善头戴式显示器的颜色均匀性的凹式颜色校正 |
CN113157084A (zh) * | 2020-01-14 | 2021-07-23 | 苹果公司 | 基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器 |
CN113519154A (zh) * | 2019-03-13 | 2021-10-19 | 惠普发展公司,有限责任合伙企业 | 检测眼睛跟踪校准误差 |
CN113589533A (zh) * | 2018-06-01 | 2021-11-02 | 脸谱科技有限责任公司 | 头戴式显示器及用于确定佩戴其的用户的视线的方法 |
CN114041101A (zh) * | 2019-07-11 | 2022-02-11 | 惠普发展公司,有限责任合伙企业 | 用于显示器的眼睛跟踪 |
CN114895471A (zh) * | 2016-02-18 | 2022-08-12 | 苹果公司 | 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 |
CN115038928A (zh) * | 2020-02-03 | 2022-09-09 | 贝以系统哈格伦斯公司 | 嵌入式目标跟踪训练 |
US11675427B2 (en) | 2018-08-27 | 2023-06-13 | Shenzhen GOODIX Technology Co., Ltd. | Eye tracking based on imaging eye features and assistance of structured illumination probe light |
Families Citing this family (265)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10073264B2 (en) | 2007-08-03 | 2018-09-11 | Lumus Ltd. | Substrate-guide optical device |
IL166799A (en) | 2005-02-10 | 2014-09-30 | Lumus Ltd | Aluminum shale surfaces for use in a conductive substrate |
US9158116B1 (en) | 2014-04-25 | 2015-10-13 | Osterhout Group, Inc. | Temple and ear horn assembly for headworn computer |
US9366867B2 (en) | 2014-07-08 | 2016-06-14 | Osterhout Group, Inc. | Optical systems for see-through displays |
US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
RU2621633C2 (ru) | 2011-10-28 | 2017-06-06 | Мэджик Лип, Инк. | Система и способ для дополненной и виртуальной реальности |
US8970452B2 (en) | 2011-11-02 | 2015-03-03 | Google Inc. | Imaging method |
US8611015B2 (en) * | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
US8235529B1 (en) * | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
CN104011707B (zh) * | 2011-12-30 | 2017-09-01 | 英特尔公司 | 用于数字文档的认知负荷评估 |
US9001030B2 (en) * | 2012-02-15 | 2015-04-07 | Google Inc. | Heads up display |
US9239415B2 (en) | 2012-03-08 | 2016-01-19 | Google Inc. | Near-to-eye display with an integrated out-looking camera |
US9691241B1 (en) | 2012-03-14 | 2017-06-27 | Google Inc. | Orientation of video based on the orientation of a display |
US10082863B2 (en) * | 2012-05-11 | 2018-09-25 | Umoove Services Ltd. | Gaze-based automatic scrolling |
IL219907A (en) * | 2012-05-21 | 2017-08-31 | Lumus Ltd | Integrated head display system with eye tracking |
US9146397B2 (en) * | 2012-05-30 | 2015-09-29 | Microsoft Technology Licensing, Llc | Customized see-through, electronic display device |
EP2899584B1 (en) * | 2012-09-19 | 2020-03-11 | Nikon Corporation | Spectacle lens design method, spectacle lens manufacturing method, spectacle lens selection method, measuring system and measuring method |
US10180715B2 (en) * | 2012-10-05 | 2019-01-15 | Elwha Llc | Correlating user reaction with at least an aspect associated with an augmentation of an augmented view |
US10713846B2 (en) | 2012-10-05 | 2020-07-14 | Elwha Llc | Systems and methods for sharing augmentation data |
US10269179B2 (en) | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
US9007301B1 (en) * | 2012-10-11 | 2015-04-14 | Google Inc. | User interface |
US8860634B2 (en) * | 2012-10-11 | 2014-10-14 | Sony Computer Entertainment Europe Limited | Head mountable display |
KR101978214B1 (ko) * | 2012-11-19 | 2019-05-14 | 엘지전자 주식회사 | 동영상 디스플레이 장치 및 그 방법 |
US20140191927A1 (en) * | 2013-01-09 | 2014-07-10 | Lg Electronics Inc. | Head mount display device providing eye gaze calibration and control method thereof |
US9619021B2 (en) | 2013-01-09 | 2017-04-11 | Lg Electronics Inc. | Head mounted display providing eye gaze calibration and control method thereof |
KR20140090552A (ko) | 2013-01-09 | 2014-07-17 | 엘지전자 주식회사 | 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법 |
JP6375591B2 (ja) * | 2013-01-15 | 2018-08-22 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム |
KR20160005013A (ko) | 2013-03-01 | 2016-01-13 | 토비 에이비 | 지연 워프 시선 상호작용 |
US9864498B2 (en) | 2013-03-13 | 2018-01-09 | Tobii Ab | Automatic scrolling based on gaze detection |
US10025486B2 (en) | 2013-03-15 | 2018-07-17 | Elwha Llc | Cross-reality select, drag, and drop for augmented reality systems |
US10109075B2 (en) | 2013-03-15 | 2018-10-23 | Elwha Llc | Temporal element restoration in augmented reality systems |
US9639964B2 (en) | 2013-03-15 | 2017-05-02 | Elwha Llc | Dynamically preserving scene elements in augmented reality systems |
JP6008309B2 (ja) * | 2013-03-29 | 2016-10-19 | パナソニックIpマネジメント株式会社 | 電子ミラー装置 |
US10137361B2 (en) * | 2013-06-07 | 2018-11-27 | Sony Interactive Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
GB201310376D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-mountable apparatus and systems |
GB201310364D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-mountable apparatus and systems |
US10175483B2 (en) * | 2013-06-18 | 2019-01-08 | Microsoft Technology Licensing, Llc | Hybrid world/body locked HUD on an HMD |
US20140375540A1 (en) * | 2013-06-24 | 2014-12-25 | Nathan Ackerman | System for optimal eye fit of headset display device |
US10408613B2 (en) * | 2013-07-12 | 2019-09-10 | Magic Leap, Inc. | Method and system for rendering virtual content |
KR20150026336A (ko) | 2013-09-02 | 2015-03-11 | 엘지전자 주식회사 | 웨어러블 디바이스 및 그 컨텐트 출력 방법 |
KR20150032019A (ko) * | 2013-09-17 | 2015-03-25 | 한국전자통신연구원 | 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치 |
EP3047361B1 (en) * | 2013-09-18 | 2019-04-24 | Intel Corporation | A method and device for displaying a graphical user interface |
KR102065417B1 (ko) * | 2013-09-23 | 2020-02-11 | 엘지전자 주식회사 | 웨어러블 이동단말기 및 그 제어방법 |
KR20150037254A (ko) * | 2013-09-30 | 2015-04-08 | 엘지전자 주식회사 | 착용형 디스플레이 디바이스 및 레이어 제어 방법 |
US10558262B2 (en) | 2013-11-18 | 2020-02-11 | Tobii Ab | Component determination and gaze provoked interaction |
US10317995B2 (en) | 2013-11-18 | 2019-06-11 | Tobii Ab | Component determination and gaze provoked interaction |
US20150169048A1 (en) * | 2013-12-18 | 2015-06-18 | Lenovo (Singapore) Pte. Ltd. | Systems and methods to present information on device based on eye tracking |
CN104731467B (zh) * | 2013-12-19 | 2018-02-27 | 联想(北京)有限公司 | 一种信息处理方法以及一种电子设备 |
US10180716B2 (en) | 2013-12-20 | 2019-01-15 | Lenovo (Singapore) Pte Ltd | Providing last known browsing location cue using movement-oriented biometric data |
US9633252B2 (en) | 2013-12-20 | 2017-04-25 | Lenovo (Singapore) Pte. Ltd. | Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data |
US9639152B2 (en) * | 2013-12-30 | 2017-05-02 | Lenovo (Singapore) Pte. Ltd. | Display alignment based on eye tracking |
US9600925B2 (en) * | 2014-01-06 | 2017-03-21 | Oculus Vr, Llc | Calibration of multiple rigid bodies in a virtual reality system |
US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US20150277118A1 (en) | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US20150228119A1 (en) | 2014-02-11 | 2015-08-13 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9671613B2 (en) | 2014-09-26 | 2017-06-06 | Osterhout Group, Inc. | See-through computer display systems |
US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
US9811159B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9523856B2 (en) | 2014-01-21 | 2016-12-20 | Osterhout Group, Inc. | See-through computer display systems |
US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
US9532714B2 (en) | 2014-01-21 | 2017-01-03 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US9311718B2 (en) * | 2014-01-23 | 2016-04-12 | Microsoft Technology Licensing, Llc | Automated content scrolling |
US20160018653A1 (en) | 2014-01-24 | 2016-01-21 | Osterhout Group, Inc. | See-through computer display systems |
US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
US20150241964A1 (en) | 2014-02-11 | 2015-08-27 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
KR102182161B1 (ko) | 2014-02-20 | 2020-11-24 | 엘지전자 주식회사 | Hmd 및 그 제어 방법 |
US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
US20150302422A1 (en) | 2014-04-16 | 2015-10-22 | 2020 Ip Llc | Systems and methods for multi-user behavioral research |
US9614724B2 (en) | 2014-04-21 | 2017-04-04 | Microsoft Technology Licensing, Llc | Session-based device configuration |
US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
US10424103B2 (en) * | 2014-04-29 | 2019-09-24 | Microsoft Technology Licensing, Llc | Display device viewer gaze attraction |
US20160137312A1 (en) | 2014-05-06 | 2016-05-19 | Osterhout Group, Inc. | Unmanned aerial vehicle launch system |
US9384334B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content discovery in managed wireless distribution networks |
US9384335B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content delivery prioritization in managed wireless distribution networks |
US10111099B2 (en) | 2014-05-12 | 2018-10-23 | Microsoft Technology Licensing, Llc | Distributing content in managed wireless distribution networks |
US9430667B2 (en) | 2014-05-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Managed wireless distribution network |
US9874914B2 (en) | 2014-05-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Power management contracts for accessory devices |
US10037202B2 (en) | 2014-06-03 | 2018-07-31 | Microsoft Technology Licensing, Llc | Techniques to isolating a portion of an online computing service |
US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9367490B2 (en) | 2014-06-13 | 2016-06-14 | Microsoft Technology Licensing, Llc | Reversible connector for accessory devices |
US10074003B2 (en) * | 2014-07-11 | 2018-09-11 | Intel Corporation | Dynamic control for data capture |
US10204658B2 (en) * | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
US10311638B2 (en) | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
US9904055B2 (en) | 2014-07-25 | 2018-02-27 | Microsoft Technology Licensing, Llc | Smart placement of virtual objects to stay in the field of view of a head mounted display |
US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
US10451875B2 (en) | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
US9865089B2 (en) | 2014-07-25 | 2018-01-09 | Microsoft Technology Licensing, Llc | Virtual reality environment with real world objects |
SG11201700790XA (en) | 2014-08-03 | 2017-02-27 | Pogotec Inc | Wearable camera systems and apparatus and method for attaching camera systems or other electronic devices to wearable articles |
US9952883B2 (en) | 2014-08-05 | 2018-04-24 | Tobii Ab | Dynamic determination of hardware |
US9779633B2 (en) | 2014-08-08 | 2017-10-03 | Greg Van Curen | Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same |
US9599821B2 (en) * | 2014-08-08 | 2017-03-21 | Greg Van Curen | Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space |
US9489739B2 (en) * | 2014-08-13 | 2016-11-08 | Empire Technology Development Llc | Scene analysis for improved eye tracking |
EP4032463A1 (en) * | 2014-08-20 | 2022-07-27 | California Baptist University | Systems and methods for monitoring eye health |
US10261579B2 (en) | 2014-09-01 | 2019-04-16 | Samsung Electronics Co., Ltd. | Head-mounted display apparatus |
US9798383B2 (en) * | 2014-09-19 | 2017-10-24 | Intel Corporation | Facilitating dynamic eye torsion-based eye tracking on computing devices |
CN105527825B (zh) * | 2014-09-28 | 2018-02-27 | 联想(北京)有限公司 | 电子设备和显示方法 |
US9984505B2 (en) * | 2014-09-30 | 2018-05-29 | Sony Interactive Entertainment Inc. | Display of text information on a head-mounted display |
CN104391567B (zh) * | 2014-09-30 | 2017-10-31 | 深圳市魔眼科技有限公司 | 一种基于人眼跟踪的三维全息虚拟物体显示控制方法 |
US10943395B1 (en) | 2014-10-03 | 2021-03-09 | Virtex Apps, Llc | Dynamic integration of a virtual environment with a physical environment |
US20160109943A1 (en) * | 2014-10-21 | 2016-04-21 | Honeywell International Inc. | System and method for controlling visibility of a proximity display |
US11372479B2 (en) | 2014-11-10 | 2022-06-28 | Irisvision, Inc. | Multi-modal vision enhancement system |
US11144119B2 (en) | 2015-05-01 | 2021-10-12 | Irisvision, Inc. | Methods and systems for generating a magnification region in output video images |
CA2971163A1 (en) | 2014-11-10 | 2016-05-19 | Visionize Corp. | Methods and apparatus for vision enhancement |
US11546527B2 (en) | 2018-07-05 | 2023-01-03 | Irisvision, Inc. | Methods and apparatuses for compensating for retinitis pigmentosa |
WO2016075782A1 (ja) * | 2014-11-12 | 2016-05-19 | 富士通株式会社 | ウェアラブルデバイス、表示制御方法、及び表示制御プログラム |
US9535497B2 (en) | 2014-11-20 | 2017-01-03 | Lenovo (Singapore) Pte. Ltd. | Presentation of data on an at least partially transparent display based on user focus |
US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
US9997199B2 (en) | 2014-12-05 | 2018-06-12 | Warner Bros. Entertainment Inc. | Immersive virtual reality production and playback for storytelling content |
US20160180798A1 (en) * | 2014-12-22 | 2016-06-23 | Elwha Llc | Systems, methods, and devices for controlling content update rates |
US20160180762A1 (en) * | 2014-12-22 | 2016-06-23 | Elwha Llc | Systems, methods, and devices for controlling screen refresh rates |
TWI596937B (zh) | 2014-12-23 | 2017-08-21 | 帕戈技術股份有限公司 | 穿戴式相機、用於提供無線電力之系統,用於以無線方式提供電力之方法及用於處理影像之方法 |
USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
US9846968B2 (en) | 2015-01-20 | 2017-12-19 | Microsoft Technology Licensing, Llc | Holographic bird's eye view camera |
KR101685105B1 (ko) * | 2015-01-27 | 2016-12-20 | 네이버 주식회사 | 만화 데이터 표시 방법 및 만화 데이터 표시 장치 |
US20160225191A1 (en) * | 2015-02-02 | 2016-08-04 | Daqri, Llc | Head mounted display calibration |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
CN104777912B (zh) * | 2015-04-29 | 2018-02-09 | 北京奇艺世纪科技有限公司 | 一种弹幕展示方法、装置及系统 |
US10254544B1 (en) * | 2015-05-13 | 2019-04-09 | Rockwell Collins, Inc. | Head tracking accuracy and reducing latency in dynamic environments |
JP6700310B2 (ja) | 2015-05-19 | 2020-05-27 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 二重混合光照射フィールドデバイス |
JP2018518709A (ja) * | 2015-05-28 | 2018-07-12 | サルミック ラブス インコーポレイテッド | 視標追跡及び走査レーザ投影をウェアラブルヘッドアップディスプレイに統合するシステム、デバイス、及び方法 |
JP6348665B2 (ja) * | 2015-06-10 | 2018-06-27 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、表示制御方法及びプログラム |
US10481417B2 (en) | 2015-06-10 | 2019-11-19 | PogoTec, Inc. | Magnetic attachment mechanism for electronic wearable device |
WO2016201261A1 (en) | 2015-06-10 | 2016-12-15 | PogoTec, Inc. | Eyewear with magnetic track for electronic wearable device |
WO2017003719A2 (en) | 2015-06-30 | 2017-01-05 | 3M Innovative Properties Company | Illuminator |
US10635189B2 (en) | 2015-07-06 | 2020-04-28 | RideOn Ltd. | Head mounted display curser maneuvering |
US10139966B2 (en) | 2015-07-22 | 2018-11-27 | Osterhout Group, Inc. | External user interface for head worn computing |
US11003246B2 (en) | 2015-07-22 | 2021-05-11 | Mentor Acquisition One, Llc | External user interface for head worn computing |
US10127725B2 (en) | 2015-09-02 | 2018-11-13 | Microsoft Technology Licensing, Llc | Augmented-reality imaging |
US10757399B2 (en) | 2015-09-10 | 2020-08-25 | Google Llc | Stereo rendering system |
KR102574490B1 (ko) * | 2015-10-12 | 2023-09-04 | 삼성전자주식회사 | 머리 장착형 전자 장치 |
US10466780B1 (en) * | 2015-10-26 | 2019-11-05 | Pillantas | Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor |
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
US10338677B2 (en) | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
CA3041583A1 (en) | 2015-10-29 | 2017-05-04 | PogoTec, Inc. | Hearing aid adapted for wireless power reception |
US9805512B1 (en) | 2015-11-13 | 2017-10-31 | Oculus Vr, Llc | Stereo-based calibration apparatus |
JP6494863B2 (ja) | 2015-11-25 | 2019-04-03 | グーグル エルエルシー | プリズムによる視線追跡 |
CN105869214A (zh) * | 2015-11-26 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 一种基于虚拟现实设备的视锥体裁剪方法及装置 |
US10229324B2 (en) | 2015-12-24 | 2019-03-12 | Intel Corporation | Video summarization using semantic information |
IL243400A (en) | 2015-12-29 | 2017-06-29 | Elbit Systems Ltd | Principles and applications of associating the symbol system in a reference locator view |
US10591728B2 (en) | 2016-03-02 | 2020-03-17 | Mentor Acquisition One, Llc | Optical systems for head-worn computers |
US10850116B2 (en) | 2016-12-30 | 2020-12-01 | Mentor Acquisition One, Llc | Head-worn therapy device |
US10667981B2 (en) | 2016-02-29 | 2020-06-02 | Mentor Acquisition One, Llc | Reading assistance system for visually impaired |
US9826299B1 (en) | 2016-08-22 | 2017-11-21 | Osterhout Group, Inc. | Speaker systems for head-worn computer systems |
US9880441B1 (en) | 2016-09-08 | 2018-01-30 | Osterhout Group, Inc. | Electrochromic systems for head-worn computer systems |
US11558538B2 (en) | 2016-03-18 | 2023-01-17 | Opkix, Inc. | Portable camera system |
CN107229122B (zh) * | 2016-03-23 | 2019-08-16 | 宏达国际电子股份有限公司 | 头戴式显示装置 |
US20170277259A1 (en) * | 2016-03-24 | 2017-09-28 | Daqri, Llc | Eye tracking via transparent near eye lens |
US10684478B2 (en) | 2016-05-09 | 2020-06-16 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
TW201810185A (zh) * | 2016-06-20 | 2018-03-16 | 帕戈技術股份有限公司 | 影像對準系統及方法 |
US10444509B2 (en) * | 2016-06-27 | 2019-10-15 | Daqri, Llc | Near eye diffractive holographic projection method |
US20180007422A1 (en) | 2016-06-30 | 2018-01-04 | Sony Interactive Entertainment Inc. | Apparatus and method for providing and displaying content |
KR102558473B1 (ko) * | 2016-09-30 | 2023-07-25 | 삼성전자주식회사 | 이미지를 표시하기 위한 방법 및 그 전자 장치 |
TW201830953A (zh) | 2016-11-08 | 2018-08-16 | 美商帕戈技術股份有限公司 | 用於電子可穿戴裝置之智慧外殼 |
EP3322186A1 (en) * | 2016-11-14 | 2018-05-16 | Thomson Licensing | Method and device for transmitting data representative of an image |
US11500143B2 (en) | 2017-01-28 | 2022-11-15 | Lumus Ltd. | Augmented reality imaging system |
TWI633336B (zh) * | 2017-02-24 | 2018-08-21 | 宏碁股份有限公司 | 頭戴式顯示器、其視野校正方法以及混合實境顯示系統 |
CA3058160A1 (en) | 2017-03-30 | 2018-10-04 | Magic Leap, Inc. | Non-blocking dual driver earphones |
US10977858B2 (en) | 2017-03-30 | 2021-04-13 | Magic Leap, Inc. | Centralized rendering |
CA3058669A1 (en) | 2017-04-14 | 2018-10-18 | Magic Leap, Inc. | Multimodal eye tracking |
US10319266B1 (en) * | 2017-04-24 | 2019-06-11 | Facebook Technologies, Llc | Display panel with non-visible light detection |
US11079522B1 (en) | 2017-05-31 | 2021-08-03 | Magic Leap, Inc. | Fiducial design |
CN110869839B (zh) | 2017-07-19 | 2022-07-08 | 鲁姆斯有限公司 | 通过光导光学元件的硅基液晶照明器 |
US10578869B2 (en) | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
US10422995B2 (en) | 2017-07-24 | 2019-09-24 | Mentor Acquisition One, Llc | See-through computer display systems with stray light management |
US11409105B2 (en) | 2017-07-24 | 2022-08-09 | Mentor Acquisition One, Llc | See-through computer display systems |
US10969584B2 (en) | 2017-08-04 | 2021-04-06 | Mentor Acquisition One, Llc | Image expansion optic for head-worn computer |
US10394034B2 (en) * | 2017-08-15 | 2019-08-27 | Microsoft Technology Licensing, Llc | Eye-tracking with MEMS scanning and optical relay |
US11157073B2 (en) * | 2017-10-04 | 2021-10-26 | Tectus Corporation | Gaze calibration for eye-mounted displays |
IL297445B2 (en) | 2017-10-17 | 2024-03-01 | Magic Leap Inc | Spatial audio for mixed reality |
WO2019108211A1 (en) * | 2017-11-30 | 2019-06-06 | Hewlett-Packard Development Company, L.P. | Augmented reality based virtual dashboard implementations |
US10506220B2 (en) | 2018-01-02 | 2019-12-10 | Lumus Ltd. | Augmented reality displays with active alignment and corresponding methods |
US20190212482A1 (en) * | 2018-01-10 | 2019-07-11 | Oculus Vr, Llc | Angle selective filter for near eye displays |
JP7390297B2 (ja) | 2018-01-17 | 2023-12-01 | マジック リープ, インコーポレイテッド | 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け |
CN111771179A (zh) | 2018-01-17 | 2020-10-13 | 奇跃公司 | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 |
JP2019133504A (ja) * | 2018-02-01 | 2019-08-08 | トヨタ自動車株式会社 | 配車サービス連携探索支援システム |
CA3091176A1 (en) | 2018-02-13 | 2019-08-22 | Frank Werblin | Methods and apparatus for contrast sensitivity compensation |
IL276510B2 (en) | 2018-02-15 | 2024-02-01 | Magic Leap Inc | Virtual reverberation in mixed reality |
WO2019161314A1 (en) | 2018-02-15 | 2019-08-22 | Magic Leap, Inc. | Dual listener positions for mixed reality |
WO2019161312A1 (en) | 2018-02-15 | 2019-08-22 | Magic Leap, Inc. | Mixed reality musical instrument |
JP6582205B2 (ja) * | 2018-02-28 | 2019-10-02 | 株式会社コナミデジタルエンタテインメント | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム |
KR20190118040A (ko) * | 2018-04-09 | 2019-10-17 | 삼성전자주식회사 | 웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법 |
WO2019226269A2 (en) | 2018-04-24 | 2019-11-28 | Mentor Acquisition One, Llc | See-through computer display systems with vision correction and increased content density |
CN108592865A (zh) * | 2018-04-28 | 2018-09-28 | 京东方科技集团股份有限公司 | 基于ar设备的几何量测量方法及其装置、ar设备 |
IL259518B2 (en) | 2018-05-22 | 2023-04-01 | Lumus Ltd | Optical system and method for improving light field uniformity |
EP3803541A1 (en) | 2018-06-11 | 2021-04-14 | Brainlab AG | Visualization of medical data depending on viewing-characteristics |
US10667072B2 (en) | 2018-06-12 | 2020-05-26 | Magic Leap, Inc. | Efficient rendering of virtual soundfields |
US10602292B2 (en) | 2018-06-14 | 2020-03-24 | Magic Leap, Inc. | Methods and systems for audio signal filtering |
US10810992B2 (en) | 2018-06-14 | 2020-10-20 | Magic Leap, Inc. | Reverberation gain normalization |
EP3808107A4 (en) | 2018-06-18 | 2022-03-16 | Magic Leap, Inc. | SPATIAL AUDIO FOR INTERACTIVE AUDIO ENVIRONMENTS |
JP7419270B2 (ja) | 2018-06-21 | 2024-01-22 | マジック リープ, インコーポレイテッド | ウェアラブルシステム発話処理 |
CA3105192A1 (en) | 2018-06-27 | 2020-01-02 | SentiAR, Inc. | Gaze based interface for augmented reality environment |
JP7382387B2 (ja) | 2018-07-24 | 2023-11-16 | マジック リープ, インコーポレイテッド | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 |
EP3827359B1 (en) | 2018-07-24 | 2024-04-03 | Magic Leap, Inc. | Application sharing using scenegraphs |
JP7316360B2 (ja) | 2018-09-25 | 2023-07-27 | マジック リープ, インコーポレイテッド | 拡張現実のためのシステムおよび方法 |
CN116320907A (zh) | 2018-10-05 | 2023-06-23 | 奇跃公司 | 近场音频渲染 |
CN116249053B (zh) | 2018-10-05 | 2024-07-19 | 奇跃公司 | 用于双耳音频渲染的耳间时间差交叉渐变器 |
US11315325B2 (en) | 2018-10-09 | 2022-04-26 | Magic Leap, Inc. | Systems and methods for artificial intelligence-based virtual and augmented reality |
EP3871062A4 (en) | 2018-10-24 | 2021-12-29 | Magic Leap, Inc. | Asynchronous asic |
CN109507686B (zh) * | 2018-11-08 | 2021-03-30 | 歌尔光学科技有限公司 | 一种控制方法、头戴显示设备、电子设备及存储介质 |
WO2020102237A1 (en) | 2018-11-13 | 2020-05-22 | Opkix, Inc. | Wearable mounts for portable camera |
CN113632030A (zh) | 2018-12-27 | 2021-11-09 | 奇跃公司 | 用于虚拟现实和增强现实的系统和方法 |
CN111506188A (zh) * | 2019-01-30 | 2020-08-07 | 托比股份公司 | 用于动态地调整hud的方法和hmd |
CN113748462A (zh) | 2019-03-01 | 2021-12-03 | 奇跃公司 | 确定用于语音处理引擎的输入 |
WO2020183229A1 (en) | 2019-03-12 | 2020-09-17 | Lumus Ltd. | Image projector |
WO2020247863A1 (en) | 2019-06-06 | 2020-12-10 | Magic Leap, Inc. | Photoreal character configurations for spatial computing |
US11328740B2 (en) | 2019-08-07 | 2022-05-10 | Magic Leap, Inc. | Voice onset detection |
US11704874B2 (en) | 2019-08-07 | 2023-07-18 | Magic Leap, Inc. | Spatial instructions and guides in mixed reality |
JP2022553202A (ja) | 2019-10-18 | 2022-12-22 | マジック リープ, インコーポレイテッド | 視覚的慣性オドメトリのための重力推定およびバンドル調整 |
WO2021081435A1 (en) | 2019-10-25 | 2021-04-29 | Magic Leap, Inc. | Reverberation fingerprint estimation |
US11488365B2 (en) | 2019-10-25 | 2022-11-01 | Magic Leap, Inc. | Non-uniform stereo rendering |
KR102593103B1 (ko) * | 2019-10-28 | 2023-10-24 | 주식회사 케이티 | 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램 |
US11959997B2 (en) | 2019-11-22 | 2024-04-16 | Magic Leap, Inc. | System and method for tracking a wearable device |
EP4070159A4 (en) | 2019-12-04 | 2023-01-18 | Magic Leap, Inc. | VARIABLE PITCH COLOR EMISSION DISPLAY DEVICE |
JP7481446B2 (ja) | 2019-12-06 | 2024-05-10 | マジック リープ, インコーポレイテッド | 環境音響持続性 |
CN115053270A (zh) | 2019-12-09 | 2022-09-13 | 奇跃公司 | 用于基于用户身份来操作头戴式显示系统的系统和方法 |
US11337023B2 (en) | 2019-12-20 | 2022-05-17 | Magic Leap, Inc. | Physics-based audio and haptic synthesis |
JP2021120693A (ja) * | 2020-01-30 | 2021-08-19 | シチズンファインデバイス株式会社 | 反射型液晶表示装置 |
US11910183B2 (en) | 2020-02-14 | 2024-02-20 | Magic Leap, Inc. | Multi-application audio rendering |
JP2023513747A (ja) | 2020-02-14 | 2023-04-03 | マジック リープ, インコーポレイテッド | 3dオブジェクト注釈 |
EP4103999A4 (en) | 2020-02-14 | 2023-08-02 | Magic Leap, Inc. | SESSION MANAGER |
US11778410B2 (en) | 2020-02-14 | 2023-10-03 | Magic Leap, Inc. | Delayed audio following |
CN118276683A (zh) | 2020-02-14 | 2024-07-02 | 奇跃公司 | 工具桥 |
EP4115633A4 (en) | 2020-03-02 | 2024-03-06 | Magic Leap, Inc. | IMMERSIVE AUDIO PLATFORM |
US11917384B2 (en) | 2020-03-27 | 2024-02-27 | Magic Leap, Inc. | Method of waking a device using spoken voice commands |
EP3941077A4 (en) * | 2020-05-22 | 2022-06-29 | Beijing Baidu Netcom Science and Technology Co., Ltd. | Method and apparatus for controlling video playing, and electronic device and storage medium |
EP4158908A4 (en) | 2020-05-29 | 2023-11-29 | Magic Leap, Inc. | SURFACE COLLISIONS |
US11561613B2 (en) | 2020-05-29 | 2023-01-24 | Magic Leap, Inc. | Determining angular acceleration |
US11806078B1 (en) | 2022-05-01 | 2023-11-07 | Globe Biomedical, Inc. | Tear meniscus detection and evaluation system |
CN116225209A (zh) * | 2022-11-03 | 2023-06-06 | 溥畅(杭州)智能科技有限公司 | 一种基于眼动追踪的人机交互方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030020755A1 (en) * | 1997-04-30 | 2003-01-30 | Lemelson Jerome H. | System and methods for controlling automatic scrolling of information on a display or screen |
US20060082542A1 (en) * | 2004-10-01 | 2006-04-20 | Morita Mark M | Method and apparatus for surgical operating room information display gaze detection and user prioritization for control |
US20060110008A1 (en) * | 2003-11-14 | 2006-05-25 | Roel Vertegaal | Method and apparatus for calibration-free eye tracking |
CN101943982A (zh) * | 2009-07-10 | 2011-01-12 | 北京大学 | 基于被跟踪的眼睛运动的图像操作 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5742264A (en) * | 1995-01-24 | 1998-04-21 | Matsushita Electric Industrial Co., Ltd. | Head-mounted display |
CA2310114A1 (en) | 1998-02-02 | 1999-08-02 | Steve Mann | Wearable camera system with viewfinder means |
US6578962B1 (en) * | 2001-04-27 | 2003-06-17 | International Business Machines Corporation | Calibration-free eye gaze tracking |
US6886137B2 (en) | 2001-05-29 | 2005-04-26 | International Business Machines Corporation | Eye gaze control of dynamic information presentation |
US7306337B2 (en) * | 2003-03-06 | 2007-12-11 | Rensselaer Polytechnic Institute | Calibration-free gaze tracking under natural head movement |
KR100749033B1 (ko) | 2004-03-03 | 2007-08-13 | 학교법인 한국정보통신학원 | 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치 |
US7542210B2 (en) | 2006-06-29 | 2009-06-02 | Chirieleison Sr Anthony | Eye tracking head mounted display |
KR101004930B1 (ko) | 2008-07-10 | 2010-12-28 | 성균관대학교산학협력단 | 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기 |
US8611015B2 (en) * | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
-
2011
- 2011-11-22 US US13/302,916 patent/US8611015B2/en active Active
-
2012
- 2012-11-01 EP EP12851095.5A patent/EP2783252B1/en active Active
- 2012-11-01 CN CN201280067798.0A patent/CN104067160B/zh active Active
- 2012-11-01 WO PCT/US2012/062933 patent/WO2013077978A2/en active Application Filing
-
2013
- 2013-11-05 US US14/071,974 patent/US8786953B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030020755A1 (en) * | 1997-04-30 | 2003-01-30 | Lemelson Jerome H. | System and methods for controlling automatic scrolling of information on a display or screen |
US20060110008A1 (en) * | 2003-11-14 | 2006-05-25 | Roel Vertegaal | Method and apparatus for calibration-free eye tracking |
US20060082542A1 (en) * | 2004-10-01 | 2006-04-20 | Morita Mark M | Method and apparatus for surgical operating room information display gaze detection and user prioritization for control |
CN101943982A (zh) * | 2009-07-10 | 2011-01-12 | 北京大学 | 基于被跟踪的眼睛运动的图像操作 |
Cited By (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106574847A (zh) * | 2014-09-24 | 2017-04-19 | 三星电子株式会社 | 用于获取传感器数据的方法及其电子设备 |
US10408616B2 (en) | 2014-09-24 | 2019-09-10 | Samsung Electronics Co., Ltd. | Method for acquiring sensor data and electronic device thereof |
CN106796344B (zh) * | 2014-10-07 | 2018-01-09 | 艾尔比特系统有限公司 | 锁定在感兴趣对象上的放大图像的系统、布置和方法 |
CN106796344A (zh) * | 2014-10-07 | 2017-05-31 | 艾尔比特系统有限公司 | 锁定在感兴趣对象上的放大图像的头戴式显示 |
CN104717483B (zh) * | 2014-12-02 | 2017-02-01 | 上海理鑫光学科技有限公司 | 虚拟现实家居装潢体验系统 |
CN104717483A (zh) * | 2014-12-02 | 2015-06-17 | 上海理鑫光学科技有限公司 | 虚拟现实家居装潢体验系统 |
CN104581126A (zh) * | 2014-12-16 | 2015-04-29 | 青岛歌尔声学科技有限公司 | 一种头戴显示设备的画面显示处理方法和处理装置 |
CN104570366A (zh) * | 2015-01-16 | 2015-04-29 | 中国科学院上海光学精密机械研究所 | 一种具有手势识别功能的全息头盔显示器 |
CN107249497A (zh) * | 2015-02-20 | 2017-10-13 | 柯惠Lp公司 | 手术室和手术部位感知 |
CN112181140A (zh) * | 2015-07-31 | 2021-01-05 | 谷歌有限责任公司 | 自动校准穿戴式眼睛跟踪系统的独特反射镜片 |
CN108141559A (zh) * | 2015-09-18 | 2018-06-08 | Fove股份有限公司 | 影像系统 |
CN108141559B (zh) * | 2015-09-18 | 2020-11-06 | Fove股份有限公司 | 影像系统、影像生成方法及计算机可读介质 |
CN108352075A (zh) * | 2015-11-06 | 2018-07-31 | 欧库勒斯虚拟现实有限责任公司 | 使用光流的眼睛跟踪 |
CN108352075B (zh) * | 2015-11-06 | 2020-01-21 | 脸谱科技有限责任公司 | 使用光流的眼睛跟踪 |
CN105301778A (zh) * | 2015-12-08 | 2016-02-03 | 北京小鸟看看科技有限公司 | 三维操控装置、头戴式装置及三维操控方法 |
CN105511618A (zh) * | 2015-12-08 | 2016-04-20 | 北京小鸟看看科技有限公司 | 三维输入装置、头戴式装置及三维输入方法 |
CN114895471B (zh) * | 2016-02-18 | 2024-04-09 | 苹果公司 | 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 |
CN114895471A (zh) * | 2016-02-18 | 2022-08-12 | 苹果公司 | 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 |
CN106131539A (zh) * | 2016-06-30 | 2016-11-16 | 乐视控股(北京)有限公司 | 一种虚拟现实vr设备及其视频播放方法 |
CN106265006A (zh) * | 2016-07-29 | 2017-01-04 | 维沃移动通信有限公司 | 一种主视眼的矫正方法及移动终端 |
CN106265006B (zh) * | 2016-07-29 | 2019-05-17 | 维沃移动通信有限公司 | 一种主视眼的矫正装置的控制方法及移动终端 |
CN110088662B (zh) * | 2016-12-01 | 2021-12-14 | 阴影技术公司 | 成像系统和产生背景图像和聚焦图像的方法 |
CN110088662A (zh) * | 2016-12-01 | 2019-08-02 | 阴影技术公司 | 成像系统和产生背景图像和聚焦图像的方法 |
WO2018103072A1 (zh) * | 2016-12-09 | 2018-06-14 | 深圳市柔宇科技有限公司 | 用户界面的调整方法、调整系统及头戴显示设备 |
CN108604015A (zh) * | 2016-12-26 | 2018-09-28 | 华为技术有限公司 | 图像显示方法和头戴显示设备 |
WO2018120554A1 (zh) * | 2016-12-26 | 2018-07-05 | 华为技术有限公司 | 图像显示方法和头戴显示设备 |
CN110574099A (zh) * | 2017-05-01 | 2019-12-13 | 纯深度股份有限公司 | 基于头部跟踪的场序跳视分离减少 |
CN110574099B (zh) * | 2017-05-01 | 2022-07-12 | 安波福技术有限公司 | 基于头部跟踪的场序跳视分离减少 |
CN110753899A (zh) * | 2017-06-15 | 2020-02-04 | 微软技术许可有限责任公司 | 计算机介导现实中的位移取向交互 |
CN110753899B (zh) * | 2017-06-15 | 2021-12-10 | 微软技术许可有限责任公司 | 计算机介导现实中的位移取向交互 |
CN110799929A (zh) * | 2017-06-28 | 2020-02-14 | 通快光子元件有限公司 | 用于计算机媒介现实的显示设备 |
CN110799929B (zh) * | 2017-06-28 | 2024-01-30 | 通快光电器件有限公司 | 用于计算机媒介现实的显示设备 |
CN111095357A (zh) * | 2017-07-27 | 2020-05-01 | Mo-Sys工程有限公司 | 定位系统 |
CN109426342B (zh) * | 2017-08-29 | 2022-04-01 | 深圳市掌网科技股份有限公司 | 基于增强现实的文档阅读方法和装置 |
CN109426342A (zh) * | 2017-08-29 | 2019-03-05 | 深圳市掌网科技股份有限公司 | 基于增强现实的文档阅读方法和装置 |
US10962788B2 (en) | 2018-04-25 | 2021-03-30 | Apple Inc. | Head-mounted device with active optical foveation |
US10642049B2 (en) | 2018-04-25 | 2020-05-05 | Apple Inc. | Head-mounted device with active optical foveation |
CN110554771B (zh) * | 2018-05-31 | 2023-06-02 | 托比股份公司 | 虚拟现实和增强现实中的眼睛跟踪应用 |
CN110554771A (zh) * | 2018-05-31 | 2019-12-10 | 托比股份公司 | 虚拟现实和增强现实中的眼睛跟踪应用 |
CN113589533A (zh) * | 2018-06-01 | 2021-11-02 | 脸谱科技有限责任公司 | 头戴式显示器及用于确定佩戴其的用户的视线的方法 |
CN112639943A (zh) * | 2018-08-22 | 2021-04-09 | 微软技术许可有限责任公司 | 用于改善头戴式显示器的颜色均匀性的凹式颜色校正 |
CN110603513B (zh) * | 2018-08-27 | 2023-08-29 | 深圳市汇顶科技股份有限公司 | 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法 |
CN110603513A (zh) * | 2018-08-27 | 2019-12-20 | 深圳市汇顶科技股份有限公司 | 基于对眼睛特征进行成像和结构照明探测光帮助的眼睛跟踪 |
US11675427B2 (en) | 2018-08-27 | 2023-06-13 | Shenzhen GOODIX Technology Co., Ltd. | Eye tracking based on imaging eye features and assistance of structured illumination probe light |
CN109901709B (zh) * | 2019-01-14 | 2022-06-14 | 北京七鑫易维信息技术有限公司 | 调节显示画面的方法、装置及vr设备 |
CN109901709A (zh) * | 2019-01-14 | 2019-06-18 | 北京七鑫易维信息技术有限公司 | 调节显示画面的方法、装置及vr设备 |
US11973927B2 (en) | 2019-03-13 | 2024-04-30 | Hewlett-Packard Development Company, L.P. | Detecting eye tracking calibration errors |
CN113519154A (zh) * | 2019-03-13 | 2021-10-19 | 惠普发展公司,有限责任合伙企业 | 检测眼睛跟踪校准误差 |
CN114041101A (zh) * | 2019-07-11 | 2022-02-11 | 惠普发展公司,有限责任合伙企业 | 用于显示器的眼睛跟踪 |
CN113157084A (zh) * | 2020-01-14 | 2021-07-23 | 苹果公司 | 基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器 |
CN115038928B (zh) * | 2020-02-03 | 2024-02-06 | 贝以系统哈格伦斯公司 | 嵌入式目标跟踪训练 |
CN115038928A (zh) * | 2020-02-03 | 2022-09-09 | 贝以系统哈格伦斯公司 | 嵌入式目标跟踪训练 |
Also Published As
Publication number | Publication date |
---|---|
EP2783252A2 (en) | 2014-10-01 |
US20140055846A1 (en) | 2014-02-27 |
CN104067160B (zh) | 2017-09-12 |
EP2783252A4 (en) | 2014-12-10 |
US8786953B2 (en) | 2014-07-22 |
US20130128364A1 (en) | 2013-05-23 |
WO2013077978A3 (en) | 2013-07-18 |
US8611015B2 (en) | 2013-12-17 |
WO2013077978A2 (en) | 2013-05-30 |
EP2783252B1 (en) | 2018-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104067160B (zh) | 使用眼睛跟踪在显示屏中使图像内容居中的方法 | |
US8970452B2 (en) | Imaging method | |
US10055642B2 (en) | Staredown to produce changes in information density and type | |
US11303880B2 (en) | Near eye wavefront emulating display | |
US8767306B1 (en) | Display system | |
US9213185B1 (en) | Display scaling based on movement of a head-mounted display | |
US10200680B2 (en) | Eye gaze responsive virtual reality headset | |
US8971570B1 (en) | Dual LED usage for glint detection | |
US8982471B1 (en) | HMD image source as dual-purpose projector/near-eye display | |
CN102928979B (zh) | 调整混合现实显示器以供瞳孔间距对准 | |
US8955973B2 (en) | Method and system for input detection using structured light projection | |
US20130241805A1 (en) | Using Convergence Angle to Select Among Different UI Elements | |
CN103917913B (zh) | 头戴式显示器、控制光学系统的方法及计算机可读介质 | |
US9261959B1 (en) | Input detection | |
US20160133170A1 (en) | High resolution perception of content in a wide field of view of a head-mounted display | |
WO2015183500A1 (en) | Relocated virtual retinal image system | |
KR20140059213A (ko) | 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이 | |
JP2023510459A (ja) | ヘッドマウントディスプレイデバイスのための視線追跡システム | |
JP2018141874A (ja) | 頭部搭載型表示装置及び画像形成光学系 | |
US20220377312A1 (en) | Autocalibrated near-eye display | |
US10620432B1 (en) | Devices and methods for lens position adjustment based on diffraction in a fresnel lens | |
US10520729B1 (en) | Light scattering element for providing optical cues for lens position adjustment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: American California Patentee after: Google limited liability company Address before: American California Patentee before: Google Inc. |
|
CP01 | Change in the name or title of a patent holder |