CN105026983A - 提供眼睛注视校准的头戴式显示器及其控制方法 - Google Patents

提供眼睛注视校准的头戴式显示器及其控制方法 Download PDF

Info

Publication number
CN105026983A
CN105026983A CN201380073850.8A CN201380073850A CN105026983A CN 105026983 A CN105026983 A CN 105026983A CN 201380073850 A CN201380073850 A CN 201380073850A CN 105026983 A CN105026983 A CN 105026983A
Authority
CN
China
Prior art keywords
hmd
user
eye gaze
path
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380073850.8A
Other languages
English (en)
Other versions
CN105026983B (zh
Inventor
赵殷亨
任廷彬
崔志镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/772,444 external-priority patent/US20140191927A1/en
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105026983A publication Critical patent/CN105026983A/zh
Application granted granted Critical
Publication of CN105026983B publication Critical patent/CN105026983B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

公开了一种头戴式显示器(HMD)的控制方法。HMD的控制方法包括检测HMD前方的第一移动物体的第一路径和第二移动物体的第二路径；检测用户的眼睛注视移动所沿顺的第三路径；如果检测到的第一路径与检测到的第三路径大致相同，则将第一移动物体设置为参照物；如果检测到的第二路径与检测到的第三路径大致相同，则将第二移动物体设置为参照物；以及基于所设置的参照物的路径和检测到的第三路径执行眼睛注视校准。

Description

提供眼睛注视校准的头戴式显示器及其控制方法
技术领域
本说明书涉及头戴式显示器(HMD)，更具体地涉及能够校准用户的眼睛注视方向的HMD及其控制方法。
背景技术
头戴式显示器(HMD)可以像眼镜一样被用户佩带。用户可以接收HMD上显示的数字信息。HMD可以校准用户的眼睛注视方向，以检测用户在注视什么。HMD可以基于用户的眼睛注视方向来调整在HMD上显示的数字信息的位置并且向用户提供包括调整后的显示位置的数字信息。
发明内容
技术问题
为了执行眼睛注视校准，HMD必须向用户提供眼睛注视校准画面，使得用户查看眼睛注视校准画面。并且，用户必须在使用HMD之前执行用于眼睛注视校准的过程。因此，用户必须有时间执行HMD的眼睛注视校准，这是令人烦恼的。
解决问题的方案
因此，本说明书致力于大致消除由于相关技术的局限和缺点导致的一个或更多个问题的提供眼睛注视校准的头戴式显示器(HMD)及其控制方法。
本说明书的目的是提供一种不需要时间来校准用户的眼睛注视方向的HMD的眼睛注视校准方法。
本说明书的附加优点、目的以及特征的一部分将在随后的说明中进行阐述，而一部分在由本领域普通技术人员研究了下面的内容后变得清楚，或可以通过实施本说明书而获知。本说明书的目的和其他优点可以由在书面描述及其权利要求书以及附图中具体指出的结构而实现并获得。
为了实现这些目的和其他优点并且根据本发明的目的，如这里具体实施并广泛描述的，一种HMD，该HMD包括摄像头单元，该摄像头单元被构造成检测HMD前方的第一移动物体的第一路径和第二移动物体的第二路径；眼睛注视检测单元，该眼睛注视检测单元被构造成检测用户的眼睛注视移动所沿顺的第三路径；以及控制器，该控制器被构造成基于参照物的路径和检测到的第三路径执行眼睛注视校准，其中，如果检测到的第一路径与检测到的第三路径大致相同，则该控制器将第一移动物体设置为参照物，并且如果检测到的第二路径与所检测到的第三路径大致相同，则该控制器将第二移动物体设置为参照物。
在本发明的另一方面中，一种HMD的控制方法，该方法包括以下步骤：检测该HMD前方的第一移动物体的第一路径和第二移动物体的第二路径；检测用户的眼睛注视移动所沿顺的第三路径；如果所检测到的第一路径与所检测到的第三路径大致相同，则将第一移动物体设置为参照物；如果所检测到的第二路径与所检测到的第三路径大致相同，则将第二移动物体设置为参照物；以及基于所设置的参照物的路径和所检测到的第三路径执行眼睛注视校准。
应当理解，上文对本说明书的概述与下文对本说明书的详述都是示例性和解释性的，并且旨在提供对如权利要求所述的说明书的进一步解释。
发明的有益效果
根据本说明书的实施方式，HMD可以在用户使用HMD的同时执行眼睛注视校准。
并且，根据本说明书的实施方式，HMD可以使用周围环境中包含的真实物体作为用于眼睛注视校准的参照物。
根据本说明书的实施方式，HMD可以识别用户身体的一部分并且将识别出的身体的一部分作为用于眼睛注视校准的参照物。
根据本说明书的实施方式，HMD可以使用用户的手作为用于眼睛注视校准的基准点。
根据本说明书的实施方式，HMD可以检测真实物体上的事件并且使用该真实物体作为用于眼睛注视校准的基准点。
根据本说明书的实施方式，HMD可以检测用户的眼睛注视方向并且在眼睛注视校准中使用所检测到的用户的眼睛注视方向。
根据本说明书的实施方式，HMD可以测量从HMD到基准点的距离并且基于测量得到的从HDM到基准点的距离确定在HMD上所显示的虚拟物体的深度。
附图说明
附图被包括进来以提供对本说明书的进一步理解，并且被并入且构成本申请的一部分，附图例示了本说明书的实施方式，并与描述一起用于解释本说明书的原理。附图中：
图1是示出根据本说明书的实施方式的头戴式显示器(HMD)的眼睛注视校准方法的图；
图2是示出根据本说明书的实施方式的使用基准点的HMD的眼睛注视校准方法的图；
图3是示出根据本说明书的实施方式的参照物和基准点的示例的图；
图4是示出根据本说明书的另一个实施方式的参照物和基准点的示例的图；
图5是示出根据本说明书的实施方式的使用眼睛注视校准来显示增强现实消息的方法的图；
图6是示出根据本说明书的实施方式的校正HMD的交叉点的方法的图；
图7是示出根据本说明书的实施方式的使用移动物体的HMD的眼睛注视校准方法的图；
图8是示出根据本说明书的另一个实施方式的使用移动物体的HMD的眼睛注视校准方法的图；
图9是示出使用基准点相对于用户的双眼来执行眼睛注视校准的方法的图；
图10是示出根据本说明书的实施方式的HMD的框图；
图11是示出根据本说明书的实施方式的眼睛注视校准方法的流程图；
图12是示出根据本说明书的实施方式的确定参照物的方法的流程图；
图13是示出根据本说明书的另一个实施方式的确定参照物的方法的流程图；以及
图14是示出根据本说明书的进一步的实施方式的确定参照物的方法的流程图。
具体实施方式
现在将详细谈及本说明书的优选实施方式，附图中例示了其示例。这里应当注意的是，这些实施方式仅用于例示性目的，并且本说明书的保护范围不限于或约束于此。
本说明书中所使用的术语是考虑到功能而选择的普通术语并且目前被广泛使用。然而，这种术语可以根据本说明书所属领域的技术人员的意图、习惯或新技术的出现而改变。在具体情况下，一些术语可以由本申请的申请人选择。在这种情况下，这种术语的含义将在本说明书的对应段落中描述。因此，应当注意的是，本说明书中使用的术语基于术语的真实含义和本说明书的公开而不是术语的简单名称来解释。
在本说明书的实施方式中，头戴式显示器(HMD)可以包括用户佩带在头上的计算机，即，可佩带式计算机。在本说明书的实施方式中，虚拟物体可以是显示在HMD的显示单元上的物体。例如，HMD可以在显示单元上显示诸如应用图标、告警消息、增强现实(AR)消息、导航方向指示符和通知消息等的虚拟物体。
并且，在本说明书的实施方式中，真实物体可以是被HMD的摄像头单元感测到的周围环境中包含的物体。例如，真实物体可以包括在用户佩带HMD的状态下用户的视野中包含的各种物体。HMD可以使用摄像头单元将与用户的视野对应的区域感测为图像。并且，HMD可以使用图像处理单元区分感测到的图像中包含的物体。
并且，在本说明书的实施方式中，参照物可以是当HMD校准用户的眼睛注视方向时用户所注视的物体。参照物可以是用于眼睛注视校准的标准。并且，基准点可以是参照物的一部分。基准点可以用于提高眼睛注视校准的精确度。
图1是示出根据本说明书的实施方式的HMD的眼睛注视校准方法的图。HMD可以将参照物和用户的眼睛注视方向检测为用于眼睛注视校准的基准点，以执行眼睛注视校准。根据实施方式，HMD可以将基准点确定为基准点而不是参照物。HMD可以使用图像处理单元检测周围环境中包含的至少一个真实物体或用户的身体的一部分。HMD可以检测真实物体上的事件。HMD可以将控制或指示真实物体的用户操作检测为真实物体上的事件。HMD可以将上面已经检测到事件的真实物体确定为眼睛注视校准的参照物。HMD可以基于参照物的位置和用户注视参照物所沿的用户眼睛注视方向，执行眼睛注视校准。
HMD 10可以检测周围环境中包含的至少一个真实物体11-1和11-2。并且，HMD10可以检测用户的身体的一部分。在图1中，用户的手12作为用户的身体的一部分的示例而示出。HMD 10可以使用用户的手的形状和用户的手的姿势中的至少一项来区分用户的手和另一个人的手。HMD 10可以经由用户的手检测真实物体上的事件。HMD 10可以将用手触摸真实物体或指示真实物体的用户操作检测为真实物体上的事件。HMD 10可以将上面已经检测到事件的真实物体11-1确定为眼睛注视校准的参照物。并且，HMD 10可以将上面已经检测到事件的参照物的一部分确定为基准点。HMD 10可以检测用户的眼睛注视方向。HMD 10可以检测用户的瞳孔13的位置，以确定用户的眼睛注视方向。
HMD 10可以基于所确定的参照物的位置和用户的瞳孔13的位置来执行眼睛注视校准。另选地，HMD 10可以基于所确定的基准点的位置和用户的瞳孔13的位置来执行眼睛注视校准。如果HMD 10基于基准点的位置执行眼睛注视校准，则可以以比HMD 10基于参照物的位置执行眼睛注视校准的情况高的精确度执行眼睛注视校准。
HMD 10可以设置将用户的瞳孔13链接至参照物的虚拟线并且计算虚拟线与HMD之间的交叉点14。另选地，HMD 10可以设置将用户的瞳孔13链接至基准点的虚拟线并且计算虚拟线与HMD之间的交叉点14。HMD 10可以基于计算出的交叉点14的位置来确定要显示在HMD上的数字信息的位置。
如上所述，HMD 10具有的效果在于HMD 10可以在用户佩带并使用HMD 10而不使用附加的校准画面或校准时间的同时执行眼睛注视校准。
图2的(a)和图2的(b)是示出根据本说明书的实施方式的使用基准点的HMD的眼睛注视校准方法的图。HMD 10可以将参照物的一部分确定为基准点，使得基准点用于执行眼睛注视校准。HMD 10可以经由用户的手检测参照物上的事件。HMD 10可以将上面已经生成事件的参照物的点确定为基准点。
参照图2的(a)，HMD 10可以如参照图1所述来确定参照物11。HMD 10可以检测用户的手12并且检测使用户的手12触摸参照物11的右侧上端的第一事件。HMD10可以使用摄像头单元21和图像处理单元将上面已经生成第一事件的参照物的右侧上端确定为第一基准点23-1。HMD 10可以使用眼睛注视检测单元22确定用户注视第一基准点23-1所沿的用户的眼睛注视方向。HMD 10可以检测用户的瞳孔13的位置，以确定用户的眼睛注视方向。HMD 10可以设置将用户的瞳孔13链接至第一基准点23-1的虚拟线25并且计算虚拟线25与HMD之间的第一交叉点24-1的位置。即，HMD 10可以基于用户的瞳孔13的位置和第一基准点23-1的位置，执行眼睛注视校准，并且如上所述计算第一交叉点24-1的位置，作为眼睛注视校准的结果。HMD10可以基于计算出的第一交叉点24-1的位置来确定要显示在HMD上的虚拟物体的位置。
在检测到的用户的手的位置改变的情况下，HMD 10可以将此检测为不同于现有事件的另一个事件。参照图2的(b)，HMD 10可以检测使用户的手12触摸参照物11的中下端的第二事件。HMD 10可以使用摄像头单元21和图像处理单元将上面已经生成第二事件的参照物11的中下端确定为第二基准点23-2。HMD 10可以使用眼睛注视检测单元22确定用户注视第二基准点23-2所沿的用户的眼睛注视方向。HMD10可以检测用户的瞳孔13的位置，以确定用户的眼睛注视方向。HMD 10可以设置将用户的瞳孔13链接至第二基准点23-2的虚拟线25并且计算虚拟线25与HMD之间的第二交叉点24-2。即，HMD 10可以基于用户的瞳孔13的位置和第二基准点23-2的位置执行眼睛注视校准并且如上所述计算第二交叉点24-2的位置，作为眼睛注视校准的结果。HMD 10可以基于计算出的第二交叉点24-2的位置确定要显示在HMD上的虚拟物体的位置。
图3的(a)和图3的(b)是示出根据本说明书的实施方式的参照物和基准点的示例的图。HMD 10可以检测真实物体和用户的手。HMD可以经由用户的手检测真实物体上的事件。HMD 10可以将上面已经检测到事件的真实物体确定为参照物。HMD 10可以将上面已经检测到事件的参照物的点确定为基准点。HMD 10可以使用所确定的参照物和所确定的基准点中的至少一项执行眼睛注视校准。
图3的(a)示出了使用由用户使用笔执行的书写操作的眼睛注视校准。HMD 10可以使用摄像头单元21和图像处理单元将笔31和笔记本32检测为真实物体。并且，HMD 10可以检测到用户的手12在握住笔31的同时执行书写操作。HMD 10可以将在用户的手12握住笔31的同时使用用户的手12执行书写操作的操作检测为事件。因此，HMD 10可以将笔31确定为参照物。并且，HMD 10可以将接触笔记本32的笔31的尖端或笔尖确定为基准点。
在使用参照物执行眼睛注视校准的情况下，HMD 10可以使用作为参照物的笔31的位置和用户的眼睛注视方向执行眼睛注视校准。HMD 10可以使用眼睛注视检测单元22检测用户的瞳孔13的位置并且基于此确定用户的眼睛注视方向。HMD 10可以设置将用户的瞳孔13链接至参照物31的虚拟线35并且计算虚拟线35与HMD之间的交叉点34的位置。即，HMD 10可以基于用户的瞳孔13的位置和参照物31的位置执行眼睛注视校准并且如上所述计算交叉点34的位置，作为眼睛注视校准的结果。HMD 10可以基于计算出的交叉点34的位置来确定要显示在HMD上的虚拟物体的位置。
在使用基准点执行眼睛注视校准的情况下，HMD 10可以将作为参照物的笔31的尖端或笔尖确定为基准点33。HMD 10可以使用基准点的位置和用户的眼睛注视方向执行眼睛注视校准。HMD 10可以使用眼睛注视检测单元22检测用户的瞳孔13的位置并且基于此确定用户的眼睛注视方向。HMD 10可以设置将用户的瞳孔13链接至基准点33的虚拟线35并且计算虚拟线35与HMD之间的交叉点34的位置。即，HMD 10可以基于用户的瞳孔13的位置和基准点33的位置执行眼睛注视校准并且如上所述计算交叉点34的位置，作为眼睛注视校准的结果。HMD 10可以基于计算出的交叉点34的位置来确定要显示在HMD上的虚拟物体的位置。
图3的(b)示出了使用控制便携式装置的用户操作的眼睛注视校准。HMD 10可以使用摄像头单元21和图像处理单元将便携式装置36检测为真实物体。并且，HMD 10可以检测到用户的手12-2抓住便携式装置36并且用户的手12-1触摸便携式装置36。HMD 10可以将使用用户的至少一只手12-1触摸便携式装置36的操作和使用用户的手12-2抓住便携式装置36的操作检测为事件。因此，HMD 10可以将便携式装置36确定为参照物。并且，HMD 10可以将该便携装置36的被用户的手12-1已经触摸的一部分确定为基准点。
在使用参照物执行眼睛注视校准的情况下，HMD 10可以使用作为参照物的便携式装置36的位置和用户的眼睛注视方向执行眼睛注视校准。HMD 10可以使用眼睛注视检测单元22检测用户的瞳孔13的位置并且基于此确定用户的眼睛注视方向。HMD 10可以设置将用户的瞳孔13链接至参照物36的虚拟线39并且计算虚拟线39与HMD之间的交叉点38的位置。即，HMD 10可以基于用户的瞳孔13的位置和参照物36的位置执行眼睛注视校准并且如上所述计算交叉点38的位置，作为眼睛注视校准的结果。HMD 10可以基于计算出的交叉点38的位置确定要显示在HMD上的虚拟物体的位置。
在使用基准点执行眼睛注视校准的情况下，HMD 10可以将上面已经生成事件的参照物(即，便携式装置36)的点确定为基准点37。例如，在用户的手触摸显示在便携式装置36上的物体的情况下，用户已经触摸的物体的点可以被确定为基准点37。HMD 10可以使用基准点的位置和用户的眼睛注视方向执行眼睛注视校准。HMD 10可以使用眼睛注视检测单元22检测用户的瞳孔13的位置并且基于此确定用户的眼睛注视方向。HMD 10可以设置将用户的瞳孔13链接至基准点37的虚拟线39并且计算虚拟线39与HMD之间的交叉点38。即，HMD 10可以基于用户的瞳孔13的位置和基准点37的位置执行眼睛注视校准并且如上所述计算交叉点38的位置，作为眼睛注视校准的结果。HMD 10可以基于计算出的交叉点38的位置确定要显示在HMD上的虚拟物体的位置。
图4的(a)和图4的(b)是示出根据本说明书的另一个实施方式的参照物和基准点的示例的图。HMD 10可以检测真实物体和用户的手。HMD可以经由用户的手检测真实物体上的事件。HMD 10可以将上面已经检测到事件的真实物体确定为参照物。HMD 10可以将上面已经检测到事件的参照物的点确定为基准点。HMD 10可以使用所确定的参照物和所确定的基准点中的至少一项执行眼睛注视校准。并且，HMD10可以将用户的手检测为真实物体。HMD 10可以检测用户的手的姿势和用户的手的形状中的至少一项并且将具有用户的手和用户的手的预定姿势或形状一起确定为参照物。并且，HMD 10可以将用户的手的一部分确定为基准点。
图4的(a)示出了使用控制开关的用户操作的眼睛注视校准。HMD 10可以使用摄像头单元21和图像处理单元将开关41检测为真实物体。并且，HMD 10可以检测用户的手12，以控制开关41。HMD 10可以将使用用户的手12控制开关41的操作检测为事件。因此，HMD 10可以将开关41确定为参照物。并且，HMD 10可以将用户的手12-1已经触摸的开关的一部分确定为基准点。
在使用参照物执行眼睛注视校准的情况下，HMD 10可以使用作为参照物的开关41的位置和用户的眼睛注视方向执行眼睛注视校准。HMD 10可以使用眼睛注视检测单元22检测用户的瞳孔13的位置并且基于此确定用户的眼睛注视方向。HMD 10可以设置将用户的瞳孔13链接至参照物41的虚拟线43并且计算虚拟线43与HMD之间的交叉点44的位置。即，HMD 10可以基于用户的瞳孔13的位置和参照物41的位置执行眼睛注视校准并且如上所述计算交叉点44的位置，作为眼睛注视校准的结果。HMD 10可以基于计算出的交叉点44的位置确定要显示在HMD上的虚拟物体的位置。
在使用基准点执行眼睛注视校准的情况下，HMD 10可以将作为参照物的、用户的手触摸的开关41的一部分作为基准点42。HMD 10可以使用基准点的位置和用户的眼睛注视方向执行眼睛注视校准。HMD 10可以使用眼睛注视检测单元22检测用户的瞳孔13的位置并且基于此确定用户的眼睛注视方向。HMD 10可以设置将用户的瞳孔13链接至基准点42的虚拟线43并且计算虚拟线43与HMD之间的交叉点44的位置。即，HMD 10可以基于用户的瞳孔13的位置和基准点42的位置执行眼睛注视校准并且如上所述计算交叉点44的位置，作为眼睛注视校准的结果。HMD 10可以基于计算出的交叉点44的位置确定要显示在HMD上的虚拟物体的位置。
并且，HMD 10可以将用户的手检测为真实物体。HMD 10可以检测用户的手的姿势和用户的手的形状中的至少一项并且将检测到的用户的手和用户的手的预定姿势和形状中的至少一项一起确定为参照物。并且，HMD 10可以将用户的手的一部分确定为基准点。
图4的(b)示出了使用用户的手作为参照物的眼睛注视校准。HMD 10可以使用摄像头单元21和图像处理单元将用户的手12检测为真实物体。HMD 10可以将经由用户的手12指示的姿势和形状中的至少一项检测为事件。HMD 10可以为眼睛注视校准存储用户的手的姿势和形状中的至少一项。HMD 10可以将经由用户的手12指示的姿势与所存储的姿势比较，以确定是否已经生成事件。在确定经由用户的手12指示的姿势与所存储的姿势匹配时，HMD 10可以将此检测为生成了事件。并且，HMD 10可以将经由用户的手12指示的形状与所存储的手的形状比较，以确定是否已经生成事件。在确定经由用户的手12指示的形状与所存储的手的形状匹配时，HMD10可以将此检测为生成了事件。
当HMD 10基于用户的手12的姿势或形状来检测事件时，HMD 10可以将用户的手12确定为参照物。并且，HMD 10可以将用户的手12的一部分确定为基准点。例如，HMD 10可以将用户的手指的尖端确定为基准点45。HMD 10可以确定用户的手的哪部分变为相对于多个姿势或手形状的基准点。即，在已经检测到第一姿势的情况下，HMD 10可以将用户的手的第一部分确定为基准点，并且在已经检测到第二姿势的情况下，HMD 10可以将用户的手的第二部分确定为基准点。并且，在已经检测到第一手形状的情况下，HMD 10可以将用户的手的第一部分确定为基准点，并且在已经检测到第二手形状的情况下，HMD 10可以将用户的手的第二部分确定为基准点。例如，在HMD 10已经检测到如图4的(b)所示的V形手姿势的情况下，HMD10可以将食指的尖端确定为基准点。另一方面，在HMD 10已经检测到只有拇指向上伸出的手的情况下，HMD 10可以将拇指的指甲确定为基准点。
HMD 10可以使用基准点的位置和用户的眼睛注视方向执行眼睛注视校准。HMD10可以使用眼睛注视检测单元22检测用户的瞳孔13的位置并且基于此确定用户的眼睛注视方向。HMD 10可以设置将用户的瞳孔13链接至基准点45的虚拟线46并且计算虚拟线46与HMD之间的交叉点47的位置。即，HMD 10可以基于用户的瞳孔13的位置和基准点45的位置执行眼睛注视校准并且如上所述计算交叉点47的位置，作为眼睛注视校准的结果。HMD 10可以基于计算出的交叉点47的位置来确定要显示在HMD上的虚拟物体的位置。
图5的(a)和图5的(b)是示出根据本说明书的实施方式的使用眼睛注视校准来显示增强现实(AR)消息的方法的图。HMD可以使用眼睛注视校准来显示增强现实消息。HMD可以将分别提供给用户的左眼和右眼左图像和右图像，以显示具有深度的图像。即，HMD可以使用左图像与右图像之间的双眼视差提供给用户三维图像。
当基准点经由用户的手确定时，HMD可以使用距离测量单元测量从HMD到基准点的距离。HMD可以基于测量得的从HMD到基准点的距离确定增强现实消息的深度。因此，HMD可以基于基准点的深度显示增强现实消息。
图5的(a)是示出使用基准点相对于用户的双眼执行眼睛注视校准的方法的图。HMD可以包括向用户的左眼提供图形用户接口的左子单元10-1和向用户的右眼提供图形用户接口的右子单元10-2。HMD的各个子单元可以包括摄像头单元和眼睛注视检测单元。在下文中，将在HMD方面描述左子单元和右子单元共用的细节。
HMD 10-1和10-2可以检测参照物51和用户的手12。HMD 10-1和10-2可以检测用户的手12触摸参照物51的一部分的事件。HMD 10-1和10-2可以使用摄像头单元和图像处理单元将上面已经生成事件的参照物的点确定为基准点52。HMD 10-1和10-2可以使用眼睛注视检测单元确定用户注视基准点52的用户的眼睛注视方向。HMD可以检测用户的瞳孔13的位置，以确定用户的眼睛注视方向。
HMD 10的左子单元10-1可以设置将用户的左眼的瞳孔13-1链接至基准点52的虚拟线54-1并且计算该虚拟线54-1与左子单元10-1之间的第一交叉点53-1的位置。即，HMD可以基于用户的左眼的瞳孔13-1的位置和基准点52的位置执行眼睛注视校准并且如上所述计算第一交叉点53-1的位置，作为眼睛注视校准的结果。HMD可以基于计算出的第一交叉点53-1的位置来确定要显示在左子单元10-1上的左图像的位置。
HMD 10的右子单元10-2可以设置将用户的右眼的瞳孔13-2链接至基准点52的虚拟线54-2并且计算虚拟线54-2与右子单元10-2之间的第二交叉点53-2的位置。即，HMD可以基于用户的右眼的瞳孔13-2的位置和基准点52的位置执行眼睛注视校准并且如上所述计算第二交叉点53-2的位置，作为眼睛注视校准的结果。HMD可以基于计算出的第二交叉点53-2的位置来确定要显示在右子单元10-2上的右图像的位置。
HMD可以使用距离测量单元测量从HMD到基准点的距离。距离测量单元可以使用从超声波传感器、激光传感器和红外线传感器中选择的至少一个来测量从HMD到基准点的距离。HMD可以基于从测量得的HMD到基准点的距离确定增强现实消息的深度。例如，HMD可以设置增强现实消息的深度，使得增强现实消息的深度与基准点的深度相等。因此，HMD可以显示增强现实消息，使得增强现实消息位于与基准点相同的平面中。
图5的(b)是示出使用左图像与右图像之间的双眼视差显示增强现实消息的方法的图。HMD的左子单元10-1可以显示左图像，而HMD的右子单元10-2可以显示右图像。HMD可以显示与第一交叉点53-1对应的左图像和与第二交叉点53-2对应的右图像。
HMD可以将深度应用于要显示的增强现实消息。即，HMD可以生成要显示为左图像和右图像的增强现实消息，并且应用左图像与右图像之间的双眼视差，以将该增强现实消息转换成三维图像。因此，HMD可以显示具有深度的增强现实消息55。例如，HMD可以向用户提供与基准点位于同一平面中的增强现实消息55。
图6的(a)和图6的(b)是示出根据本说明书的实施方式的校正HMD的交叉点的方法的图。参照图6的(a)，HMD 10可以检测参照物61和用户的手12。HMD可以检测到用户的手12触摸参照物61的一部分的事件。HMD 10可以使用摄像头单元21和图像处理单元将上面已经生成事件的参照物的点确定为基准点62。HMD 10可以使用眼睛注视检测单元22确定用户注视基准点62所沿的用户的眼睛注视方向。HMD 10可以检测用户的瞳孔13的位置，以确定用户的眼睛注视方向。
HMD 10可以设置将用户的瞳孔13链接至基准点62的第一虚拟线63-1并且计算第一虚拟线63-1与HMD 10之间的第一交叉点64-1的位置。即，HMD 10可以基于用户的瞳孔13的位置和基准点62的位置执行眼睛注视校准并且如上所述计算第一交叉点64-1的位置，作为眼睛注视校准的结果。HMD 10可以基于计算出的第一交叉点64-1的位置确定要显示在HMD上的虚拟物体的位置。
HMD 10与用户的瞳孔之间的相对位置可以由于用户的移动而改变。在这种情况下，HMD 10可以检测到需要执行或重新执行眼睛注视校准。HMD 10可以检测HMD10与用户的瞳孔之间的相对位置的变化，以借助眼睛注视校准来校正交叉点的位置。HMD 10可以使用摄像头单元22检测HMD 10与用户的瞳孔之间的相对位置的变化。在这种情况下，HMD 10可以借助眼睛注视校准校正交叉点的位置。并且，HMD 10可以基于校正后的交叉点的位置改变要显示的虚拟物体的位置。
参照图6的(b)，HMD 10与用户的瞳孔之间的相对位置低于HMD 10与图6的(a)示出的用户的瞳孔之间的相对位置。在HMD 10与用户的瞳孔之间的相对位置改变的情况下，HMD 10可以设置将用户的瞳孔13链接至基准点62的第二虚拟线63-2并且计算第一虚拟线63-2与HMD 10之间的第二交叉点64-2的位置。即，HMD10可以基于用户的瞳孔13的位置和基准点62的位置执行眼睛注视校准并且如上所述计算第二交叉点64-2的位置，作为眼睛注视校准的结果。HMD 10可以基于计算出的第二交叉点64-2的位置确定要显示在HMD 10上的虚拟物体的位置。借助上述过程，HMD 10可以校正从第一交叉点64-1到第二交叉点64-2的交叉点位置，以确定要显示的虚拟物体的位置，使得虚拟物体的位置对应于用户的眼睛注视。因此，本说明书的实施方式具有基于HMD与用户的瞳孔之间的相对位置适应性地确定虚拟物体的位置的效果。
图7是示出根据本说明书的实施方式的使用移动物体的HMD的眼睛注视校准方法的图。HMD可以检测作为眼睛注视校准的基准的参照物和执行眼睛注视校准的用户的眼睛注视方向。HMD可以使用摄像头单元检测在HMD前方具有移动性的移动物体。HMD可以将移动物体的路径与用户的眼睛注视移动所沿顺的路径进行比较，以确定参照物，然后执行眼睛注视校准。根据实施方式，HMD可以将作为参照物的一部分的基准点确定为眼睛注视校准的基准。在下文中，将描述参照物。然而，这样的描述将可以类似地应用于作为参照物的一部分的基准点。
HMD 10可以检测HMD前方的至少一个移动物体。移动物体是具有移动性的物体，其位置随时间的推移而改变。移动物体可以是现实世界中存在的真实物体，而不是在显示装置上显示的虚拟物体。如图7所示，HMD可以借助摄像头单元73检测第一移动物体71和第二移动物体72。第一移动物体71可以沿着第一路径移动，并且第二移动物体72可以沿着第二路径移动。HMD可以借助摄像头单元73检测第一移动物体71的移动所沿顺的第一路径和第二移动物体的移动所沿顺的第二路径。如图7的上端所示，第一移动物体71和第二移动物体72可以沿相反方向移动。因此，第一移动物体71的第一路径和第二移动物体72的第二路径可以沿相反方向延伸。
当借助摄像头单元73检测到多个移动物体时，HMD可以只包括参照物候选组中满足从速率条件、尺寸条件、移动方向条件和颜色条件中选择的至少一项的移动物体。速率条件可以包括速率阈值范围。在移动物体的速率过快或过慢的情况下，HMD可能难以确定运动物体的路径。因此，HMD可以只包括参照物候选组中速率在速率阈值范围内的移动物体。另外，尺寸条件可以包括尺寸阈值范围。因此，HMD可以只包括参照物候选组中尺寸在尺寸阈值范围内的移动物体。另外，移动方向条件可以包括方向阈值范围。在移动物体朝向HMD或远离HMD移动的情况下，HMD可能难以正确地确定移动物体的路径。因此，HMD可以只包括参照物候选组中沿方向阈值范围内的方向移动的移动物体。另外，颜色条件可以是为特定颜色执行眼睛注视校准的条件。因此，HMD可以只包括参照物候选组中具有颜色条件中包括的颜色的移动物体。例如，HMD可以只包括参照物候选组中吸引用户注意力的红色移动物体。在这种情况下，用户可以识别出要注视什么颜色的物体，以便进行眼睛注视校准，然后执行眼睛注视校准。
在图7中，在第一移动物体和第二移动物体满足从速率条件、尺寸条件、移动方向条件和颜色条件中选择的至少一项的情况下，HMD可以包括参照物候选组中的第一移动物体和第二移动物体并且从参照物候选组中包括的移动物体中确定参照物。
HMD可以借助眼睛注视检测单元74检测用户的眼睛注视方向。HMD可以检测用户的眼睛注视移动所沿顺的第三路径。在图7的上端，HMD可以使用眼睛注视检测单元74检测HMD与用户的眼睛注视方向相交的第一交叉点75-1。另外，在图7的下端，HMD可以使用眼睛注视检测单元74检测HMD与用户的眼睛注视方向相交的第二交叉点75-2。HMD可以基于第一交叉点75-1已经移动到第二交叉点75-2的事实来确定用户的眼睛注视移动所沿顺的第三路径。
HMD可以使用图像处理单元将检测到的第一路径和检测到的第二路径与用户的眼睛注视移动所沿顺的第三路径进行比较。在存在具有与第三路径通常一致的路径的移动物体的情况下，HMD可以确定用户注视着相应的移动物体。因此，HMD可以将具有与用户的眼睛注视所沿顺的第三路径通常一致的路径的移动物体设置为参照物。在图7中，HMD可以确定第一移动物体的第一路径与用户的眼睛注视的第三路径大致相同。除了两条路径彼此完全相同的情况之外，两条路径之间的一致可以包括两条路径在方向和移动速率方面彼此大致相同的情况。因此，HMD可以将沿着与第三路径一致的第一路径移动的第一移动物体确定为参照物。
HMD 10可以基于检测到的参照物的位置和用户的瞳孔的位置执行眼睛注视校准。另选地，HMD 10可以基于检测到的基准点的位置和用户的瞳孔的位置执行眼睛注视校准。在HMD 10基于基准点的位置执行眼睛注视校准的情况下，与在HMD 10基于参照物的位置执行眼睛注视校准的情况下相比，可以以更高得精确度执行眼睛注视校准。
HMD 10可以设置将用户的瞳孔13链接至参照物71的虚拟线76并且计算虚拟线76与HMD之间的交叉点75-1或75-2。HMD 10可以基于计算出的交叉点的位置执行眼睛注视校准。在参照物从第一位置移动到第二位置的情况下，HMD可以在参照物处于第一位置时检测用户的第一眼睛注视方向，在参照物处于第二位置时检测用户的第二眼睛注视方向，并且基于参照物的第一位置、参照物的第二位置、第一眼睛注视方向和第二眼睛注视方向执行眼睛注视校准。在另一个实施方式中，在参照物从第一位置移动到第二位置的情况下，HMD可以基于参照物的位置和沿着参照物移动的用户的眼睛注视连续执行眼睛注视校准。
HMD可以根据眼睛注视校准的结果确定要显示在HMD上的数字信息的位置。另外，HMD 10可以根据眼睛注视校准的结果移动HMD上显示的数字信息的位置，然后显示数字信息。
这样，HMD 10可以使用用户的眼睛注视的路径和现实世界中的真实物体中具有移动性的移动物体的路径执行眼睛注视校准。因此，HMD 10可以在用户佩带并使用HMD 10而不使用附加的校准画面或校准时间的同时，执行眼睛注视校准。
图8是示出根据本说明书的另一个实施方式的使用移动物体的HMD的眼睛注视校准方法的图。HMD可以检测作为眼睛注视校准的基准的参照物和执行眼睛注视校准的用户的眼睛注视方向。HMD可以使用摄像头单元检测在HMD前方具有移动性的移动物体。HMD可以将移动物体的路径与用户的眼睛注视移动所沿顺的路径进行比较，以确定参照物。HMD可以确定作为参照物的一部分的基准点，作为眼睛注视校准的基准。HMD可以根据点优先信息将参照物的一部分确定为基准点。例如，在参照物为动物的情况下，动物的脸可以被确定为基准点。特别地，在参照物为人的情况下，人的脸可以被确定为基准点。另一方面，在参照物为汽车的情况下，汽车的车牌号、标徽或前灯可以被确定为基准点。另外，在执行眼睛注视校准的地方昏暗的条件下，参照物的明亮部分可以被确定为基准点。
HMD 10可以检测HMD前方的至少一个移动物体。移动物体是具有移动性的物体，该物体的位置随时间的推移而改变。移动物体可以是现实世界中存在的真实物体而不是显示装置上显示的虚拟物体。如图8的上端所示，HMD可以借助摄像头单元83检测第一移动物体81。另外，HMD可以检测作为第一移动物体的一部分的第一移动点82。第一移动点82可以沿着第一路径移动。HMD可以借助摄像头单元83检测第一移动点82移动所沿顺的第一路径。
HMD可以借助眼睛注视检测单元84检测用户的眼睛注视方向。HMD可以检测用户的眼睛注视移动所沿顺的第二路径。如之前参照图7所述，HMD可以检测HMD与用户的眼睛注视方向相交的交叉点的移动，以确定第二路径。
HMD可以将检测到的第一移动点82的第一路径与用户的眼睛注视移动所沿顺的第二路径进行比较。在第一路径与第二路径通常大致相同的情况下，HMD可以确定用户注视着第一移动点82。因此，HMD可以将具有与用户的眼睛注视移动所沿顺的第二路径一致的路径的第一移动点82设置为基准点。除了两条路径彼此完全一致的情况之外，两条路径之间的一致可以包括两条路径在方向和移动速率方面彼此通常一致的情况。因此，HMD可以将沿着与第二路径一致的第一路径移动的第一移动点82确定为基准点。
HMD 10可以基于检测到的基准点的位置和用户的瞳孔的位置执行眼睛注视校准。在HMD 10基于基准点的位置执行眼睛注视校准的情况下，与在HMD 10基于参照物的位置执行眼睛注视校准的情况下相比，可以以更高的精确度执行眼睛注视校准。
HMD 10可以将用户的瞳孔13链接至第一移动点82的虚拟线86设置为基准点并且计算虚拟线86与HMD之间的交叉点85。HMD 10可以基于计算出的交叉点的位置执行眼睛注视校准。HMD可以根据眼睛注视校准的结果确定要显示在HMD上的数字信息的位置。另外，HMD 10可以根据眼睛注视校准的结果移动HMD上显示的数字信息的位置，然后显示数字信息。
这样，HMD 10可以使用用户的眼睛注视的路径和现实世界中的真实物体中具有移动性的移动物体的路径执行眼睛注视校准。因此，HMD 10可以在用户佩带并使用HMD 10而不使用附加的校准画面或校准时间的同时，执行眼睛注视校准。
图8的下端示出了在多个移动物体沿着相同路径移动的情况下确定参照物的方法。HMD 10可以使用摄像头单元83检测多个移动物体。在具有相同路径的多个移动物体由摄像头单元检测的情况下，HMD可以根据物体优先信息从检测到的移动物体中设置参照物。物体优先信息可以包括关于用户的品味和倾向的信息。例如，在用户对汽车有浓厚兴趣的情况下，当HMD检测到沿着相同路径移动的汽车和卡车时，HMD可以将汽车确定为参照物。另外，在检测到如图8的下端所示沿着相同路径移动的狗87和人81的情况下，HMD 10可以将人确定为参照物。
这样，HMD可以核查用户的品味和倾向，以将预计用户会注视的移动物体提前确定为参照物，然后可以执行眼睛注视校准。因此，HMD可以准确且快速地确定参照物，作为眼睛注视校准的基准。
图9是示出使用基准点相对于用户的双眼来执行眼睛注视校准的方法的图。HMD可以包括向用户的左眼提供图形用户接口的左子单元10-1和向用户的右眼提供图形用户接口的右子单元10-2。HMD的各个子单元可以包括从摄像头单元与眼睛注视检测单元之间选择的至少一个单元。在下文中，将在HMD方面描述左子单元和右子单元共用的细节。
如之前参照图8描述的，HMD 10-1和10-2可以检测参照物91。HMD可以识别出参照物91是人并且检测出人脸为基准点92。HMD 10-1和10-2可以使用眼睛注视检测单元确定用户注视第一基准点92所沿的用户的眼睛注视方向。HMD 10-1和10-2可以检测用户的瞳孔的位置，以确定用户的眼睛注视方向。HMD可以基于参照物91的位置和用户的眼睛注视方向执行眼睛注视校准。在参照物91从第一位置移动到第二位置的情况下，HMD可以在第一位置执行对于参照物的眼睛注视校准，然后在第二位置对于参照物执行眼睛注视校准。另外，HMD可以在参照物从第一位置移动到第二位置的同时连续执行眼睛注视校准。另外，HMD可以根据眼睛注视校准的结果显示虚拟物体。当参照物从第一位置移动到第二位置时，所显示的虚拟物体可以根据参照物的移动从第一位置移动到第二位置，然后被显示。
在图9的上端，HMD 10的左子单元10-1可以设置将用户的左眼的瞳孔13-1链接至第一位置的参照物91的基准点92的第一虚拟线并且计算第一虚拟线与左子单元10-1之间的第一交叉点93-1。即，HMD可以基于用户的左眼的瞳孔13-1的位置和基准点92的位置执行眼睛注视校准并且如上所述计算第一交叉点93-1，作为眼睛注视校准的结果。HMD可以基于计算出的第一交叉点93-1的位置确定要显示在左子单元10-1上的左图像的位置。即，HMD可以根据眼睛注视校准的结果移动左图像的位置然后显示左图像。
HMD 10的右子单元10-2可以设置将用户的右眼的瞳孔13-2链接至第一位置的参照物91的基准点92的第二虚拟线以及计算第二虚拟线与右子单元10-2之间的第二交叉点93-2。即，HMD可以基于用户的右眼的瞳孔13-2的位置和基准点92的位置执行眼睛注视校准并且如上所述计算第二交叉点93-2，作为眼睛注视校准的结果。HMD可以基于计算出的第二交叉点93-2的位置确定要显示在右子单元10-2上的右图像的位置。即，HMD可以根据眼睛注视校准的结果移动右图像的位置，然后显示右图像的位置。
HMD可以使用距离测量单元测量从HMD到基准点92的距离。距离测量单元可以使用从超声波传感器、激光传感器和红外线传感器中选择的至少一个测量从HMD到基准点的距离。HMD可以基于测量得的从HMD到基准点的距离确定增强现实消息的深度。例如，HMD可以设置增强现实消息的深度，使得增强现实消息的深度与基准点的深度相等。因此，HMD可以显示增强现实消息，使得增强现实消息位于与深度与基准点的深度相同的基准点相同的平面中。
HMD可以使用左图像与右图像之间的双眼视差显示增强现实消息。HMD的左子单元10-1可以显示左图像，并且HMD的右子单元10-2可以显示右图像。HMD可以显示与第一交叉点93-1对应的左图像以及与第二交叉点93-2对应的右图像。
HMD可以将深度应用到要显示的增强现实消息。即，HMD可以生成要显示为左图像和右图像的增强现实消息，并且应用左图像与右图像之间的双眼视差，以将增强现实消息转换成三维图像。因此，HMD可以显示具有深度的增强现实消息94。例如，在位于第一位置的参照物的基准点的深度为第一深度的情况下，HMD可以将位于第一深度的增强现实消息94提供给用户。
在图9的下端，HMD 10的左子单元10-1可以设置将用户的左眼的瞳孔13-1链接至第二位置的参照物91的基准点92的第一虚拟线并且计算第一虚拟线与左子单元10-3之间的第三交叉点93-3。即，HMD可以基于用户的左眼的瞳孔13-1的位置和基准点92的位置执行眼睛注视校准并且如上所述计算第三交叉点93-3，作为眼睛注视校准的结果。HMD可以基于计算出的第三交叉点93-3的位置确定要显示在左子单元10-1上的左图像的位置。即，HMD可以根据眼睛注视校准的结果移动左图像的位置然后显示左图像。
HMD的右子单元10-2可以设置将用户的右眼的瞳孔13-2链接至第二位置的参照物91的基准点92的第二虚拟线并且计算第二虚拟线与右子单元10-2之间的第四交叉点93-4。即，HMD可以基于用户的右眼的瞳孔13-2的位置和基准点92的位置执行眼睛注视校准并且如上所述计算第四交叉点93-4，作为眼睛注视校准的结果。HMD可以基于计算出的第四交叉点93-4的位置确定要显示在右子单元10-2上的右图像的位置。即，HMD可以根据眼睛注视校准的结果移动右图像的位置，然后显示右图像。
HMD可以使用左图像与右图像之间的双眼视差显示增强现实消息。HMD的左子单元10-1可以显示左图像，并且HMD的右子单元10-2可以显示右图像。HMD可以显示与第三交叉点93-3对应的左图像和与第四交叉点93-4对应的右图像。
HMD可以将深度应用到要显示的增强现实消息。即，HMD可以生成要显示为左图像和右图像的增强现实消息，并且应用左图像与右图像之间的双眼视差，以将增强现实消息转换成三维图像。因此，HMD可以显示具有深度的增强现实消息94。例如，在已经移动至第二位置的参照物的基准点的深度为第二深度的情况下，HMD可以将位于第一深度的增强现实消息94移动至第二深度，然后将位于第二深度的增强现实消息94提供给用户。
图10是示出根据本说明书的实施方式的HMD的框图。HMD可以包括摄像头单元101、图像处理单元102、眼睛注视检测单元103、显示单元104和控制器105。另外，HMD可以进一步包括距离测量单元。
摄像头单元101可以感测位于HMD前方的周围环境的图像。摄像头单元101可以包括图像传感器。图像传感器可以将光学信号转换成电信号。摄像头单元101可以将感测到的周围环境的图像转换成电信号并且向控制器发送电信号。摄像头单元101可以感测具有对应于用户的视野的范围的图像。因此，HMD可以基于感测到的图像和用户的瞳孔的位置确定用户注视周围环境中包含的哪个真实物体。
图像处理单元102可以将真实物体与感测到的周围环境的图像中包含的其他物体区分。图像处理单元102可以将周围环境的图像中包含的至少一个真实物体检测为物体单元。并且，图像处理单元102可以从感测到的周围环境的图像检测到用户的手。图像处理单元102可以使用用户的手的形状和姿势中的至少一项来区分用户的手和另一个人的手。图像处理单元102可以检测真实物体上的用户的手的事件，并且将上面已经检测到事件的真实物体确定为参照物。并且，图像处理单元102可以将上面已经检测到事件的参照物的一部分确定为基准点。图像处理单元102可以向控制器发送关于所确定的参照物和所确定的基准点中的至少一个的信息。
眼睛注视检测单元103可以检测用户的眼睛注视方向。眼睛注视检测单元103可以基于用户的瞳孔的移动检测用户的眼睛注视方向。并且，眼睛注视检测单元103可以基于HMD与用户的瞳孔之间的相对位置检测是否重新执行眼睛注视校准。眼睛注视检测单元103可以向控制器提供关于用户的眼睛注视方向的信息。
显示单元104可以显示虚拟物体。虚拟物体可以包括由显示单元提供给用户的图形用户接口。显示单元104可以分别在用户的左眼和右眼上显示左图像和右图像。显示单元104可以使用双眼视差显示具有深度的虚拟物体。显示单元104可以控制要显示的虚拟物体的位置并且根据眼睛注视校准的结果显示虚拟物体。显示单元104可以包括透明光学显示单元。因此，用户可以从借助显示单元104透射的可见光识别周围环境。
距离测量单元可以测量从HMD到参照物的距离。并且，距离测量单元可以测量从HMD到基准点的距离。HMD可以基于由距离测量单元测量得的、从HMD到参照物或基准点的距离来确定要显示的虚拟物品的深度。距离测量单元可以使用超声波传感器、激光传感器和红外线传感器中选择的至少一个测量从HMD到参照物或基准点的距离。距离测量单元可以向控制器发送关于测量得的从HMD到参照物或基准点的距离的信息。在本说明书的实施方式中，距离测量单元可以是HMD的光学元件。
控制器105可以执行应用并处理HMD中的数据。控制器105可以控制摄像头单元101、图像处理单元102、眼睛注视检测单元103和显示单元104。并且，控制器105可以控制数据在上述单元之间的发送和接收。在本说明书的实施方式中，控制器105可以从摄像头单元101接收周围环境的图像。并且，控制器105可以从图像处理单元102接收关于参照物、基准点、生成了事件和用户的手的位置的信息。并且，控制器105可以从眼睛注视检测单元103接收关于用户的眼睛注视方向的信息。控制器105可以使用关于参照物和用户的眼睛注视方向的信息执行眼睛注视校准。并且，控制器105可以使用关于基准点和用户的眼睛注视方向的信息执行眼睛注视校准。控制器105可以根据眼睛注视校准的结果控制显示在显示单元104上的虚拟物体的位置。
图10是根据本说明书的实施方式的框图。各个框指示HMD的相互逻辑区分的元件。因此，HMD的元件可以根据HMD的设计合并成单个芯片或多个芯片。
图11是示出根据本说明书的实施方式的眼睛注视校准方法的流程图。HMD可以使用摄像头单元感测位于HMD前方的周围环境的图像(S10)。HMD可以感测对应于用户的视野的范围。
HMD可以使用图像处理单元从感测到的周围环境的图像检测参照物(S20)。如之前参照图1到图4描述的，HMD可以将感测到的周围环境的图像中包含的至少一个真实物体区分为物体单元。HMD可以从被区分为物体单元的至少一个真实物体检测参照物。下文中将根据图9和图10详细地描述HMD检测参照物的方法。并且，HMD可以将参照物的一部分检测为基准点。在这种情况下，HMD可以使用基准点的位置而不是参照物的位置来执行眼睛注视校准，使得精确执行眼睛注视校准。
HMD可以使用眼睛注视检测单元确定用户注视检测到的参照物所沿的用户的眼睛注视方向(S30)。HMD可以检测佩带HMD的用户的瞳孔的位置，以确定用户的眼睛注视方向。HMD可以基于HMD与用户的瞳孔之间的相对位置和HMD与用户的瞳孔之间的距离中的至少一项校正用户的眼睛注视方向。
HMD可以使用控制器基于检测到的参照物和检测到的用户的眼睛注视方向执行眼睛注视校准(S40)。在如之前参照图1至图4描述的使用参照物执行眼睛注视校准的情况下，HMD可以使用检测到的参照物的位置和检测到的用户的眼睛注视方向设置将用户的瞳孔链接至参照物的虚拟线。HMD可以计算位于虚拟线与HMD之间的交叉点的位置。即，HMD可以基于用户的瞳孔的位置和参照物的位置执行眼睛注视校准并且如上所述计算交叉点的位置，作为眼睛注视校准的结果。HMD可以基于计算出的交叉点的位置确定要显示在HMD上的虚拟物体的位置。
在作为另一个实施方式使用基准点执行眼睛注视校准的情况下，HMD可以使用检测到的基准点的位置和检测到的用户的眼睛注视方向设置将用户的瞳孔链接至基准点的虚拟线。HMD可以计算虚拟线与HMD之间的交叉点的位置。即，HMD可以基于用户的瞳孔的位置和基准点的位置执行眼睛注视校准并且如上所述计算交叉点的位置，作为眼睛注视校准的结果。HMD可以基于计算出的交叉点的位置确定要显示在HMD上的虚拟物体的位置。
虚拟物体可以包括显示在HMD的显示单元上的物体。例如，HMD可以在显示单元上显示诸如应用图标、告警消息、导航方向指示符和通知消息以及参照图5描述的增强现实(AR)消息等的虚拟物体。
根据实施方式，HMD可以仅在参照物的方向与用户注视参照物所沿的用户的眼睛注视方向之间的差在可允许误差范围内的情况下执行眼睛注视校准。另一方面，在参照物的方向与用户注视参照物所沿的用户的眼睛注视方向之间的差在可允许误差范围外的情况下，HMD可以暂停眼睛注视标准，以便防止眼睛注视校准误差的发生。
图12是示出根据本说明书的实施方式的确定参照物的方法的流程图。HMD可以将感测到的周围环境的图像中包含的至少一个物体检测为第一物体(S110)。如之前参照图1至图4描述的，HMD可以使用图像处理单元从周围环境的图像提取至少一个真实物体。HMD可以将提取到的至少一个真实物体检测为第一物体。另选地，HMD可以将两个或更多个真实物体检测为第一物体。
HMD可以将感测到的周围环境的图像中包含的用户的手检测为第二物体(S120)。如之前参照图1至图4描述的，HMD可以使用图像处理单元从周围环境的图像检测用户的手。并且，HMD可以将检测到的用户的的手检测为第二物体。HMD可以使用用户的手的形状和用户的手的姿势中的至少一项来在用户的手与另一个人的手之间进行区分。例如，当HMD已检测到用户的V形手姿势时，HMD可以将用户的手检测为第二物体。在另一个实施方式中，HMD可以基于用户的手掌的线或用户的手背上的血管的形状来在用户的手与另一个人的手之间区分。
HMD可以检测第二物体相对于第一物体的事件(S130)。如之前参照图1至图4描述的，HMD可以借助图像处理单元使用被检测为第二物体的用户的手来检测控制被检测为第一物体的真实物体的操作。HMD可以将上述操作检测为第二物体相对于第一物体的事件。
例如，HMD可以将外部装置检测为第一物体并且将用户的手指的尖端检测为第二物体。在第一物体是键盘输入装置的情况下，HMD可以将按压键盘的按键的操作检测为事件。并且，在第一物体是笔的情况下，HMD可以将使用笔的书写操作检测为事件。并且，在第一物体是包括触敏显示器的情况下，HMD可以将触摸触敏显示器的操作检测为事件。并且，在第一物体是电子仪器的情况下，HMD可以将控制电子仪器的控制按钮的操作检测为事件。电子仪器的控制按钮可以包括从电源按钮、音量控制按钮和频道控制按钮中选择的至少一个。
HMD可以将上面已经检测到事件的第一物体确定为参照物(S140)。如之前参照图1至图4描述的，HMD可以使用图像处理单元将上面已经检测到事件的第一物体确定为参照物。即，HMD可以将上面已经检测到事件的一个检测到的第一物体(即，第一物体)检测为参照物。
例如，在用户按压键盘的按键的情况下，HMD可以将键盘检测为参照物。并且，在用户用笔执行书写操作的情况下，HMD可以将笔检测为参照物。并且，在用户触摸触敏显示器的情况下，HMD可以将包括触敏显示器的装置检测为参照物。并且，在用户控制电子仪器的控制按钮的情况下，HMD可以将电子仪器检测为参照物。
并且，HMD可以将上面已经生成事件的参照物的点检测为基准点。在这种情况下，HMD可以使用基准点的位置而不是参照物的位置来执行眼睛注视校准，使得精确地执行眼睛注视校准。
例如，在参照物是键盘输入装置的情况下，HMD可以将键盘的被用户按压的按键检测为基准点。例如，在参照物是笔的情况下，HMD可以将笔的被用户抓住的尖端检测为基准点。并且，在参照物是包括触敏显示器的装置的情况下，HMD可以将用户触摸的触敏显示器的软按钮检测为参照物。并且，在参照物是电子仪器的情况下，HMD可以将被用户控制的电子仪器的控制按钮检测为参照物。
HMD可以基于检测到的参照物和检测到的基准点中的至少一项执行眼睛注视校准。
图13是示出根据本说明书的另一个实施方式的确定参照物的方法的流程图。HMD可以将感测到的周围环境的图像中包含的用户的手检测为第一物体(S210)。HMD可以在检测真实物体之前检测用户的手。如之前参照图1至图4描述的，HMD可以使用图像处理单元从周围环境的图像检测用户的手。并且，HMD可以将检测到的用户的手检测为第一物体。HMD可以使用用户的手的形状和用户的手的姿势中的至少一项在用户的手与另一个人的手之间进行区分。例如，当HMD已经检测到用户的V形手姿势时，HMD可以将用户的手检测为第一物体。在另一个实施方式中，HMD可以基于用户的手掌的线或用户的手背的血管的形状在用户的手与另一个人的手之间进行区分。
HMD可以将感测到的周围环境的图像中包含的至少一个物体检测为第二物体(S220)。如之前参照图1至图4描述的，HMD可以使用图像处理单元从周围环境的图像提取至少一个真实物体。HMD可以将提取到的至少一个真实物体检测为第二物体。另选地，HMD可以将两个或更多个真实物体检测为第二物体。
HMD可以检测第一物体相对于第二物体的事件(S230)。如之前参照图1至图4描述的，HMD可以借助图像处理单元使用被检测为第一物体的用户的手来检测控制被检测为第二物体的真实物体的操作。HMD可以将上述操作检测为第一物体相对于第二物体的事件。
例如，HMD可以将用户的手指的尖端检测为第一物体并且将外部设备检测为第二物体。在第二物体是键盘输入装置的情况下，HMD可以将按压键盘的按键的操作检测为事件。并且，在第二物体是笔的情况下，HMD可以将使用笔的书写操作检测为事件。并且，在第二物体是包括触敏显示器的装置的情况下，HMD可以将触摸触敏显示器的操作检测为事件。并且，在第二物体是电子仪器的情况下，HMD可以将控制电子仪器的控制按钮的操作检测为事件。电子仪器的控制按钮可以包括从电源按钮、音量控制按钮和频道控制按钮中选择的至少一个。
HMD可以将上面已经检测到事件的第二物体确定为参照物(S240)。如之前参照图1至图4描述的，HMD可以使用图像处理单元将上面已经检测到事件的第二物体确定为参照物。即，HMD可以将上面已经检测出事件的一个检测到的第二物体(即，第二物体)检测为参照物。
例如，在用户按压键盘的按键的情况下，HMD可以将键盘检测为参照物。并且，在用户用笔执行书写操作的情况下，HMD可以将笔检测为参照物。并且，在用户触摸触敏显示器的情况下，HMD可以将包括触敏显示器的装置检测为参照物。并且，在用户控制电子仪器的控制按钮的情况下，HMD可以将电子仪器检测为参照物。
并且，HMD可以将上面已经生成事件的参照物的点检测为基准点。在这种情况下，HMD可以使用基准点的位置而不是参照物的位置来执行眼睛注视校准，使得精确地执行眼睛注视校准。
例如，在参照物是键盘输入装置的情况下，HMD可以将键盘的被用户按压的按键检测为基准点。并且，在参照物是笔的情况下，HMD可以将笔的被用户抓住的尖端检测为基准点。并且，在参照物是包括触敏显示器的装置的情况下，HMD可以将用户触摸的触敏显示器的软按钮检测为参照物。并且，在参照物是电子仪器的情况下，HMD可以将被用户控制的电子仪器的控制按钮检测为参照物。
HMD可以基于检测到的参照物和检测到的基准点中的至少一项执行眼睛注视校准。HMD可以根据眼睛注视校准的结果移动要显示的图像或虚拟物体的位置。
图14是示出根据本说明书的进一步的实施方式的确定参照物的方法的流程图。HMD可以检测HMD前方的第一移动物体的第一路径和第二移动物体的第二路径(S310)。如之前参照图7描述的，HMD可以检测具有移动性的移动物体的路径。当借助摄像头单元检测到多个移动物体时，HMD可以只包括参照物候选组中满足从速率条件、尺寸条件、移动方向条件和颜色条件中选择的至少一项的移动物体。摄像头单元可以检测具有与用户的视野相同范围的图像。在第一移动物体和第二移动物体满足上述条件中的至少一个条件的情况下，HMD可以包括参照物候选群中的第一移动物体和第二移动物体。另外，HMD可以检测包括第一移动物体的移动方向和位移的第一移动物体的第一路径和包括第二移动物体的移动方向和位移的第二移动物体的第二路径。
HMD可以检测用户的眼睛注视移动所沿顺的第三路径(S320)。HMD可以基于用户的瞳孔的移动检测用户的眼睛注视方向。HMD可以追踪随时间推移而移动的用户的眼睛注视，以检测用户的眼睛注视移动所沿顺的第三路径。HMD可以使用眼睛注视检测单元检测用户的眼睛注视的第三路径。HMD可以将检测到的第一路径和检测到的第二路径与第三路径进行比较。
在检测到的第一路径与检测到的第三路径大致相同的情况下，HMD可以将第一移动物体设置为参照物(S330)。HMD可以将沿着第一路径移动的第一移动物体的方向、速率和移动距离与用户的眼睛注视的方向、速率和移动距离进行比较，以确定第一路径是否与第三路径大致相同。除了第一路径和第三路径彼此完全一致的情况之外，即使在参照物的第一路径以第一比率或更大比率与用户的眼睛注视的第三路径彼此大致相同的情况下，HMD可以确定第一路径与第三路径大致相同。仅当第一路径以第一比率或更大比率与第三路径彼此一致时，HMD才可以执行以下的眼睛注视校准。
在检测到的第二路径与检测到的第三路径大致相同的情况下，HMD可以将第二移动物体设置为参照物(S340)。HMD可以将沿着第二路径移动的第二移动物体的方向、速率和移动距离与用户的眼睛注视的方向、速率和移动距离进行比较，以确定第二路径是否与第三路径大致相同。除了第二路径和第三路径彼此完全一致的情况之外，即使在参照物的第二路径以第一比率或更大比率与用户的眼睛注视的第三路径彼此相同的情况下，HMD可以确定第二路径与第三路径大致相同。仅当第二路径以第一比率或更大比率与第三路径彼此一致时，HMD才可以执行以下的眼睛注视校准。
HMD可以基于设置的参照物的路径和检测到的第三路径执行眼睛注视校准(S350)。在改变HMD的佩带位置的情况下或在用户的眼睛注视的改变超过阈值水平的情况下，HMD可以执行眼睛注视校准。HMD可以根据眼睛注视校准的结果移动已显示的虚拟物体或虚拟信息的位置。另外，HMD可以在通过反映眼睛注视校准的结果而获取的位置处显示尚未显示的虚拟物体或视觉信息。
对于本领域技术人员来说显而易见的是，可以在不偏离本说明书的精神或范围的情况下对本说明书进行各种修改和变型。因此，本说明书旨在涵盖本说明书的落入所附权利要求书和它们的等同物的范围之内的修改例和变型例。
发明模式
在具体实施方式中已经描述了各种实施方式。
对于本领域技术人员来说显而易见的是，可以在不偏离本发明的精神或范围的情况下对本发明进行各种修改和变型。因此，本发明旨在涵盖本发明的落入所附权利要求书和它们的等同物的范围之内的修改例和变型例。
工业实用性
如上所述，本发明可全部或部分应用于电子装置。

Claims (20)

1.一种头戴式显示器HMD，该头戴式显示器包括：
摄像头单元，该摄像头单元被构造成检测所述HMD前方的第一移动物体的第一路径和第二移动物体的第二路径；
眼睛注视检测单元，该眼睛注视检测单元被构造成检测用户的眼睛注视移动所沿顺的第三路径；以及
控制器，该控制器被构造成基于参照物的路径和所检测到的第三路径执行眼睛注视校准，其中，所述控制器被进一步构造成：
如果所检测到的第一路径与所检测到的第三路径大致相同，则将所述第一移动物体设置成所述参照物，并且如果所检测到的第二路径与所检测到的第三路径大致相同，则将所述第二移动物体设置成所述参照物。
2.根据权利要求1所述的HMD，该HMD还包括：
显示单元，该显示单元被构造成显示视觉信息，
其中，所述控制器进一步根据所述眼睛注视校准的结果而改变所显示的视觉信息的位置。
3.根据权利要求2所述的HMD，其中，所述视觉信息显示在所述用户的眼睛与所述参照物之间，并且所述参照物是真实物体而不是所显示的图像。
4.根据权利要求1的所述HMD，其中，如果具有相同路径的多个移动物体被所述摄像头单元检测到，则所述控制器根据物体优先信息从所检测到的所述多个移动物体中设置所述参照物。
5.根据权利要求1所述的HMD，其中，
所述参照物的所述路径是位于所检测到的参照物上的基准点的路径，并且
所述基准点是所述参照物的一部分。
6.根据权利要求5所述的HMD，其中，
根据点优先信息，所述基准点被确定为所述参照物的一部分，并且
如果所述参照物是人，则所述人的脸被确定为所述基准点。
7.根据权利要求1所述的HMD，其中，如果所述参照物从第一位置移动到第二位置，则所述控制器：
在所述参照物处于所述第一位置时检测用户的第一眼睛注视方向，
在所述参照物处于所述第二位置时检测用户的第二眼睛注视方向，并且
基于所述第一位置、所述第二位置、所述第一眼睛注视方向和所述第二眼睛注视方向执行所述眼睛注视校准。
8.根据权利要求1所述的HMD，其中，如果所述参照物的位置从第一位置移动到第二位置，则所述控制器基于所述参照物的位置和沿着所述参照物的用户的眼睛注视移动连续地执行所述眼睛注视校准。
9.根据权利要求1所述的HMD，其中，如果多个移动物体被所述摄像头单元检测到，则所述控制器将满足从速率条件、尺寸条件、移动方向条件和颜色条件中选择的至少一项的所述移动物体中的至少一个置于参照物候选组中。
10.根据权利要求1所述的HMD，所述HMD还包括：
显示单元，该显示单元被构造成显示虚拟物体，其中，
所述控制器根据所述眼睛注视校准的结果进一步控制所显示的虚拟物体的位置，并且
所述虚拟物体是借助所述显示单元提供给所述用户的图形用户接口。
11.根据权利要求10所述的HMD，其中，所述显示单元使用增强现实技术基于所述参照物的位置来显示所述虚拟物体。
12.根据权利要求10所述的HMD，所述HMD还包括：
距离测量单元，该距离测量单元被构造成测量从所述HMD到所检测到的参照物的第一距离，其中，
所述控制器响应于所测量到的第一距离进一步确定所述虚拟物体的显示深度。
13.根据权利要求12所述的HMD，其中，
所述显示单元向所述用户的左眼和右眼分别提供左图像和右图像，并且
所述显示单元使用所述左图像与所述右图像之间的双眼视差来表达所述虚拟物体的深度。
14.根据权利要求12所述的HMD，其中，如果所述参照物移动，则所述显示单元响应于所述参照物的移动后的位置改变所述虚拟物体的深度。
15.根据权利要求1所述的HMD，其中，当所述HMD的佩带位置改变时或当所述用户的眼睛注视的变化超过阈值水平时，执行所述眼睛注视校准。
16.根据权利要求1所述的HMD，其中，所述眼睛注视检测单元基于所述用户的瞳孔的移动来检测用户的眼睛注视方向。
17.根据权利要求1所述的HMD，其中，所述摄像头单元感测具有与所述用户的视野相同范围的图像。
18.根据权利要求1所述的HMD，其中，所述控制器仅当所述参照物的路径和所述用户的眼睛注视的所述第三路径以第一比率或更大比率而彼此大致相同时，才执行所述眼睛注视校准。
19.根据权利要求1的所述HMD，其中，所述控制器将沿着所述第一路径移动的所述第一移动物体的方向、速率和移动距离与所述用户的眼睛注视的方向、速率和移动距离进行比较以确定所检测到的第一路径与所检测到的第三路径大是否致相同。
20.一种HMD的控制方法，该控制方法包括以下步骤：
检测所述HMD前方的第一移动物体的第一路径和第二移动物体的第二路径；
检测用户的眼睛注视移动所沿顺的第三路径；
如果所检测到的第一路径与所检测到的第三路径大致相同，则将所述第一移动物体设置为参照物；
如果所检测到的第二路径与所检测到的第三路径大致相同，则将所述第二移动物体设置为所述参照物；以及
基于所设置的参照物的路径和所检测到的第三路径执行眼睛注视校准。
CN201380073850.8A 2013-01-09 2013-12-24 提供眼睛注视校准的头戴式显示器及其控制方法 Expired - Fee Related CN105026983B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR1020130002558 2013-01-09
KR10-2013-0002558 2013-01-09
US13/772,444 2013-02-21
US13/772,444 US20140191927A1 (en) 2013-01-09 2013-02-21 Head mount display device providing eye gaze calibration and control method thereof
KRPCT/KR2013/001655 2013-02-28
PCT/KR2013/001655 WO2014109430A1 (en) 2013-01-09 2013-02-28 Head mount display device providing eye gaze calibration and control method thereof
KR10-2013-0153840 2013-12-11
KR1020130153840A KR20140090552A (ko) 2013-01-09 2013-12-11 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
PCT/KR2013/012093 WO2014109498A1 (en) 2013-01-09 2013-12-24 Head mounted display providing eye gaze calibration and control method thereof

Publications (2)

Publication Number Publication Date
CN105026983A true CN105026983A (zh) 2015-11-04
CN105026983B CN105026983B (zh) 2017-07-25

Family

ID=51167102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380073850.8A Expired - Fee Related CN105026983B (zh) 2013-01-09 2013-12-24 提供眼睛注视校准的头戴式显示器及其控制方法

Country Status (5)

Country Link
US (1) US9529442B2 (zh)
EP (1) EP2943835B1 (zh)
KR (1) KR20140090552A (zh)
CN (1) CN105026983B (zh)
WO (1) WO2014109498A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105739096A (zh) * 2016-03-08 2016-07-06 苏州佳世达电通有限公司 一种智能眼镜及智能投影显示方法
CN105955456A (zh) * 2016-04-15 2016-09-21 深圳超多维光电子有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN107233731A (zh) * 2016-03-28 2017-10-10 株式会社万代南梦宫娱乐 模拟控制装置
CN108474950A (zh) * 2016-01-20 2018-08-31 三星电子株式会社 Hmd设备及其控制方法
CN108700915A (zh) * 2016-05-17 2018-10-23 谷歌有限责任公司 用于虚拟现实显示器的自动对准器
CN111417885A (zh) * 2017-11-07 2020-07-14 大众汽车有限公司 用于确定增强现实眼镜的姿态的系统和方法、用于校准增强现实眼镜的系统和方法、用于支持增强现实眼镜的姿态确定的方法以及适用于该方法的机动车
CN112149453A (zh) * 2019-06-26 2020-12-29 北京七鑫易维科技有限公司 眼球追踪的校准方法、装置及系统
US11596301B2 (en) * 2017-09-29 2023-03-07 Motognosis Ug Device for the determination and analysis of the motor skill and the oculomotor skill of a person

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130127620A1 (en) 2011-06-20 2013-05-23 Cerner Innovation, Inc. Management of patient fall risk
US9377852B1 (en) * 2013-08-29 2016-06-28 Rockwell Collins, Inc. Eye tracking as a method to improve the user interface
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
WO2015034561A1 (en) 2013-09-03 2015-03-12 Tobii Technology Ab Portable eye tracking device
US10310597B2 (en) 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
CN103501406B (zh) * 2013-09-16 2017-04-12 北京智谷睿拓技术服务有限公司 图像采集系统及图像采集方法
KR20150083553A (ko) * 2014-01-10 2015-07-20 삼성전자주식회사 입력 처리 방법 및 장치
JP2015153302A (ja) * 2014-02-18 2015-08-24 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US20150241984A1 (en) * 2014-02-24 2015-08-27 Yair ITZHAIK Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities
US10503249B2 (en) * 2014-07-03 2019-12-10 Topcon Positioning Systems, Inc. Method and apparatus for construction machine visualization
EP3170061A1 (en) * 2014-07-16 2017-05-24 Sony Corporation Apparatus for presenting a virtual object on a three-dimensional display and method for controlling the apparatus
KR101535032B1 (ko) 2014-07-17 2015-07-07 현대자동차주식회사 차량 인터페이스 확장 방법
JP2016033759A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US9547365B2 (en) * 2014-09-15 2017-01-17 Google Inc. Managing information display
KR20160033376A (ko) 2014-09-18 2016-03-28 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
US9936195B2 (en) * 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
KR102309281B1 (ko) 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
JP6459421B2 (ja) * 2014-11-17 2019-01-30 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
EP3267295B1 (en) * 2015-03-05 2021-12-29 Sony Group Corporation Information processing device, control method, and program
US10342478B2 (en) 2015-05-07 2019-07-09 Cerner Innovation, Inc. Method and system for determining whether a caretaker takes appropriate measures to prevent patient bedsores
DE102015115526A1 (de) * 2015-09-15 2017-03-16 Visteon Global Technologies, Inc. Verfahren zur Zielerfassung von Zielobjekten, insbesondere zur Zielerfassung von Bedienelementen in einem Fahrzeug
US9892311B2 (en) 2015-12-31 2018-02-13 Cerner Innovation, Inc. Detecting unauthorized visitors
EP3563217A1 (en) * 2016-09-27 2019-11-06 Tobii AB Portable eye tracking device
US10643446B2 (en) 2017-12-28 2020-05-05 Cerner Innovation, Inc. Utilizing artificial intelligence to detect objects or patient safety events in a patient room
US10482321B2 (en) 2017-12-29 2019-11-19 Cerner Innovation, Inc. Methods and systems for identifying the crossing of a virtual barrier
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3749172B1 (en) 2018-02-09 2022-03-30 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US10755676B2 (en) * 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US10831265B2 (en) * 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
KR102559203B1 (ko) 2018-10-01 2023-07-25 삼성전자주식회사 포즈 정보를 출력하는 방법 및 장치
US10922936B2 (en) * 2018-11-06 2021-02-16 Cerner Innovation, Inc. Methods and systems for detecting prohibited objects
US11113842B2 (en) 2018-12-24 2021-09-07 Samsung Electronics Co., Ltd. Method and apparatus with gaze estimation
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US11475639B2 (en) * 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
WO2024076009A1 (ko) * 2022-10-06 2024-04-11 삼성전자주식회사 사용자의 시선 정보를 조정하기 위한 웨어러블 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062393A (ja) * 2002-07-26 2004-02-26 Japan Science & Technology Corp 注目判定方法及び注目判定装置
CN101163236A (zh) * 2006-10-10 2008-04-16 Itt制造企业公司 用于动态地校正头戴视频系统中的视差的系统和方法
US20110170065A1 (en) * 2009-11-12 2011-07-14 Toshiyasu Sugio Electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, electro-oculography measuring method, and recording medium
US20110234619A1 (en) * 2008-12-16 2011-09-29 Brother Kogyo Kabushiki Kaisha Head-mounted display
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2001227914A (ja) 2000-02-15 2001-08-24 Matsushita Electric Ind Co Ltd 物体監視装置
US7369101B2 (en) 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
WO2010071928A1 (en) 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour
EP2441383B1 (en) * 2009-06-08 2015-10-07 Panasonic Intellectual Property Corporation of America Gaze target determination device and gaze target determination method
JP5141672B2 (ja) 2009-11-30 2013-02-13 ブラザー工業株式会社 ヘッドマウントディスプレイ装置、及びヘッドマウントディスプレイ装置を用いた画像共有システム
US20110214082A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
JP5428943B2 (ja) 2010-03-02 2014-02-26 ブラザー工業株式会社 ヘッドマウントディスプレイ
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8514295B2 (en) * 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
DE112012001032T5 (de) 2011-02-28 2014-01-30 Osterhout Group, Inc. Lichtsteuerung in am Kopf zu tragenden Displays
KR101252169B1 (ko) 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120323515A1 (en) 2011-06-14 2012-12-20 Microsoft Corporation User-mounted device calibration using external data
US8724853B2 (en) 2011-07-18 2014-05-13 Google Inc. Identifying a target object using optical occlusion
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US20150084864A1 (en) * 2012-01-09 2015-03-26 Google Inc. Input Method
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9292085B2 (en) * 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US9264702B2 (en) * 2013-08-19 2016-02-16 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062393A (ja) * 2002-07-26 2004-02-26 Japan Science & Technology Corp 注目判定方法及び注目判定装置
CN101163236A (zh) * 2006-10-10 2008-04-16 Itt制造企业公司 用于动态地校正头戴视频系统中的视差的系统和方法
US20110234619A1 (en) * 2008-12-16 2011-09-29 Brother Kogyo Kabushiki Kaisha Head-mounted display
US20110170065A1 (en) * 2009-11-12 2011-07-14 Toshiyasu Sugio Electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, electro-oculography measuring method, and recording medium
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108474950A (zh) * 2016-01-20 2018-08-31 三星电子株式会社 Hmd设备及其控制方法
US11164546B2 (en) 2016-01-20 2021-11-02 Samsung Electronics Co., Ltd. HMD device and method for controlling same
CN105739096A (zh) * 2016-03-08 2016-07-06 苏州佳世达电通有限公司 一种智能眼镜及智能投影显示方法
CN105739096B (zh) * 2016-03-08 2018-12-11 苏州佳世达电通有限公司 一种智能眼镜及智能投影显示方法
CN107233731A (zh) * 2016-03-28 2017-10-10 株式会社万代南梦宫娱乐 模拟控制装置
CN107233731B (zh) * 2016-03-28 2022-06-07 株式会社万代南梦宫娱乐 模拟控制装置
CN105955456A (zh) * 2016-04-15 2016-09-21 深圳超多维光电子有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN108700915A (zh) * 2016-05-17 2018-10-23 谷歌有限责任公司 用于虚拟现实显示器的自动对准器
CN108700915B (zh) * 2016-05-17 2021-11-12 谷歌有限责任公司 用于虚拟现实显示器的自动对准器
US11596301B2 (en) * 2017-09-29 2023-03-07 Motognosis Ug Device for the determination and analysis of the motor skill and the oculomotor skill of a person
CN111417885A (zh) * 2017-11-07 2020-07-14 大众汽车有限公司 用于确定增强现实眼镜的姿态的系统和方法、用于校准增强现实眼镜的系统和方法、用于支持增强现实眼镜的姿态确定的方法以及适用于该方法的机动车
CN112149453A (zh) * 2019-06-26 2020-12-29 北京七鑫易维科技有限公司 眼球追踪的校准方法、装置及系统

Also Published As

Publication number Publication date
US9529442B2 (en) 2016-12-27
US20140191946A1 (en) 2014-07-10
EP2943835A4 (en) 2016-10-26
WO2014109498A1 (en) 2014-07-17
EP2943835A1 (en) 2015-11-18
EP2943835B1 (en) 2017-09-13
KR20140090552A (ko) 2014-07-17
CN105026983B (zh) 2017-07-25

Similar Documents

Publication Publication Date Title
CN105026983A (zh) 提供眼睛注视校准的头戴式显示器及其控制方法
KR102191870B1 (ko) 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US9619021B2 (en) Head mounted display providing eye gaze calibration and control method thereof
KR102083963B1 (ko) 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
CN110310288B (zh) 用于混合现实环境中的对象分割的方法和系统
KR101284797B1 (ko) 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
US9658765B2 (en) Image magnification system for computer interface
CN110488974B (zh) 用于提供虚拟输入界面的方法和可穿戴装置
US9001006B2 (en) Optical-see-through head mounted display system and interactive operation
EP2817693B1 (en) Gesture recognition device
US20150323998A1 (en) Enhanced user interface for a wearable electronic device
CN114127669A (zh) 无源指示笔的可跟踪性增强
US20120299848A1 (en) Information processing device, display control method, and program
US11009949B1 (en) Segmented force sensors for wearable devices
CN104254816A (zh) 数据输入装置
US11144113B2 (en) System and method for human interaction with virtual objects using reference device with fiducial pattern
CN109316740B (zh) 检测手指的电子装置、方法及系统以及非暂态可读取媒体
CN108073432A (zh) 一种头戴式显示设备的用户界面显示方法
US20160104322A1 (en) Apparatus for generating a display control signal and a method thereof
WO2019039065A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Lee et al. A new eye tracking method as a smartphone interface
WO2019032014A1 (en) TACTILE INTERACTION SYSTEM IN VIRTUAL REALITY
US20170139545A1 (en) Information processing apparatus, information processing method, and program
WO2023020691A1 (en) An arrangement and a method for providing text input in virtual reality
WO2023234822A1 (en) An extended-reality interaction system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170725

Termination date: 20201224

CF01 Termination of patent right due to non-payment of annual fee