CN110554771B - 虚拟现实和增强现实中的眼睛跟踪应用 - Google Patents

虚拟现实和增强现实中的眼睛跟踪应用 Download PDF

Info

Publication number
CN110554771B
CN110554771B CN201910464092.1A CN201910464092A CN110554771B CN 110554771 B CN110554771 B CN 110554771B CN 201910464092 A CN201910464092 A CN 201910464092A CN 110554771 B CN110554771 B CN 110554771B
Authority
CN
China
Prior art keywords
user
hmd
visual indication
real space
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910464092.1A
Other languages
English (en)
Other versions
CN110554771A (zh
Inventor
安德鲁·拉特克利夫
杰弗里·库珀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Publication of CN110554771A publication Critical patent/CN110554771A/zh
Application granted granted Critical
Publication of CN110554771B publication Critical patent/CN110554771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了一种用于在使用头戴式显示器(HMD)的虚拟现实(VR)/增强现实(AR)系统中减轻晕动症的方法和相应设备。该方法包括从传感器接收数据，该数据指示HMD在真实空间中的当前取向，并将视觉指示叠加在HMD的显示器上。该视觉指示向使用者提供HMD在真实空间中的当前取向的视觉信息。此外，公开了计算眼睛跟踪系统中的注视会聚距离以及执行基于注视的虚拟现实(VR)/增强现实(AR)菜单扩展的方法和相应装置。

Description

虚拟现实和增强现实中的眼睛跟踪应用
背景技术
晕动症的减轻
在虚拟现实(VR)和增强现实(AR)应用中，对于在虚拟和/或真实空间中具有视觉和/或物理运动的应用中的用户可能出现问题，因为这种运动可能引起晕动症。
期望提供相对于已知方法减轻晕动症的VR/AR技术。
鲁棒会聚信号
在比如虚拟现实(VR)和增强现实(AR)的应用中，注视会聚距离是来自眼睛跟踪系统的重要输入。
当在已知的眼睛跟踪系统中计算注视会聚距离时，计算来自右眼的注视向量以及来自左眼的注视向量，并且使用这些向量之间的交点以确定会聚距离。这种计算会聚距离的方法产生的问题在于，与两只眼睛相关的注视向量都包括噪声并且注视向量中的小角度误差都将导致注视会聚距离中的较大误差。
期望提供一种减少用已知方法计算出的注视会聚距离的误差的眼睛跟踪技术。
基于注视的对象扩展
在虚拟现实(VR)和增强现实(AR)应用中，存在一些情况，在这些情况下访问可视菜单或其它对象是有益的。访问菜单需要通过用户输入装置进行用户输入。在已知的系统中，这种输入装置通常基于触摸控制或使用手、臂等的其它基于指示物的输入手段来控制按钮或执行手势以访问菜单。已知系统的其它示例使用语音控制或注视停留来激活菜单。这种输入手段的问题是它们中的一些可能要求动作的组合和/或与所执行的其它动作冲突或至少难以与所执行的其它动作组合的动作。
相对于已知的方法和系统，期望为虚拟现实和增强现实技术提供用于激活和观看菜单或其它对象的替代解决方案。优选地，该技术应该是简化的和/或更直观的。
技术领域
本公开总体上涉及眼睛跟踪领域。特别地，本公开涉及用于识别来自眼睛跟踪系统中的光学装置的反射的系统和方法。
发明内容
晕动症减轻
当人的眼睛根据内耳中的前庭传感器提供的信号提供关于运动和取向的冲突信号时，通常会发生真实世界的晕动症。在现实生活中，例如在乘船旅行时注视地平线或在开车时看向前方道路是已证明有效缓解晕动症症状的方法。
在AR和VR中，在每个场景图像中找到这样的“地平线”是不可行的，其中，场景图像显示在AR/VR HMD的显示装置上。为了减轻VR/AR用户的晕动症，提供了根据独立权利要求的用于减轻晕动症的方法。根据从属权利要求提供了进一步的实施例。
建议将视觉指示进行叠加，所述视觉指示向使用者提供HMD在真实空间中的当前取向的视觉信息，该视觉信息包括例如网格状(或其他图形)图像，该图像具有特定大小和形状并且至少环绕基于HMD的运动(由陀螺仪和/或加速度计检测)与场景图像的特征之间的相对运动的中间凹区域。
根据第一方面，提供了一种在使用VR或AR的头戴式显示器(HMD)的系统中减轻晕动症的方法。在该方法中，从传感器接收数据，所述数据指示HMD在真实空间中的当前取向。接着在HMD的显示器上叠加视觉指示，该视觉指示向使用者提供HMD在真实空间中的当前取向的视觉信息。
在一些实施例中，从注视跟踪功能接收数据，所述数据指示使用者的当前注视点。此外，该视觉指示可以包括遮挡区域，该遮挡区域包括使用者的当前注视点，使得该视觉指示在该遮挡区域中不显露。
可以在当前注视点周围引入遮挡区域以避免该视觉指示模糊了使用者当前正在看的内容。遮挡区域优选地与使用者眼睛的视网膜的中央凹部分(即，视网膜的提供最清晰视觉的部分)至少大致匹配。
遮挡区域的大小通常是减轻晕动症的功效与限制使用者分心的之间的权衡。减小遮挡区域的大小通常会增大减轻晕动症的功效、并且同时增加使用者分心，因为通常引入所使用的视觉指示来关联于真实空间的水平和竖直方向确定使用者的视觉感知的取向。
此外，视觉指示的透明度(不透明度)，或者换句话说，视觉指示覆盖或模糊使用者视野中的其他视觉信息的程度，通常也是减轻晕动症的功效与限制使用者分心的功效之间的权衡。降低遮挡区域的透明度通常增大减轻晕动症的功效，但同时会增加使用者的分心，因为通常引入所使用的视觉指示来仅用于确定使用者的视觉感知关于与真实空间相关的水平和竖直方向的取向。
在一些实施例中，相比离遮挡区域较远的区域，在最接近遮挡区域的区域中该视觉指示具有更高的透明度。因此，正好在遮挡区域之外的区域处，视觉指示较为透明，或者换句话说，与离遮挡区域更远的视觉信息相比，该视觉指示将较少地覆盖或模糊使用者视野中的其他视觉信息。例如，在正好在遮挡区域外的区域中，透明度可以根据与遮挡区域的距离而逐渐减小。这将减少由于在遮挡区域的边界处具有锐边而造成的使用者分心，例如从遮挡区域中被遮挡的视觉指示到正好在遮挡区域之外的非透明视觉指示，因为锐边往往比较为柔和的过渡更容易让使用者分心。
在一些实施例中，在一段时间段内测量HMD在真实空间中的竖直方向与使用者的视觉印象的竖直方向之间的角度差，并且确定该时间段内的最大角度差。在所确定的最大角度差大于预定阈值的情况下，减小遮挡区域的大小。
HMD在真实空间中的竖直方向总体上是使用者的头部在真实空间中的竖直方向、并且被使用者的内耳中的前庭传感器感测到。使用者的视觉印象的竖直方向是基于使用者大脑中所识别的视觉线索。这些视觉线索用于猜测什么东西被认为(解释)是固定到地面上的、并且因此猜测什么是竖直的以及什么是水平的。例如，大面积地板(或船的甲板)或大型建筑物的侧面将是很好的猜测。这是决定视觉空间背景的因素。
虽然在上文中提及了HMD在真实空间中的竖直方向与使用者的视觉印象的竖直方向，但是在两个空间背景(视觉和内耳背景)下的任何参考方向(3D向量)和这些参考方向之间随时间推移的相对角度变化或方向变化可以与预定阈值一起使用，以确定是否应该采取用于减轻晕动症的进一步措施，例如减小遮挡区域的大小。
如所指示的，遮挡区域的大小通常是减轻晕动症的功效与限制使用者分心之间的权衡。针对晕动症风险变大的情况，关于减轻晕动症与限制使用者分心之间的权衡的决定可以导致希望例如通过减小遮挡区域的大小来增加晕动症的减轻。
如所指示的，视觉指示的透明度通常也是减轻晕动症的功效与限制使用者分心之间的权衡。针对晕动症风险变大的情况，关于减轻晕动症与限制使用者分心之间的权衡的决定可以导致例如通过降低视觉指示的透明度来决定增加晕动症的减轻。
例如，如果使用者在船上使用HMD并且该船摇晃得厉害，例如使得HMD在真实空间中的竖直方向与使用者的视觉印象的竖直方向之间的角度在一时间段内变得大于预定阈值，则晕动症的风险也可能较高。在这样的情况下，可以减小遮挡区域的大小。作为减小遮挡区域的大小的替代或附加，可以降低视觉指示的透明度。
例如，如果使用者正在使用VR的HMD，其中使用者的视觉印象的竖直方向变化很大而HMD在真实空间中的竖直方向没有改变，使得HMD在真实空间中的竖直方向与使用者的视觉印象的竖直方向之间的角度在一时间段内变得大于预定阈值，则晕动症的风险也可能较高。
可以通过测量除了HMD在真实空间中的竖直方向与使用者的视觉印象的竖直方向之间的角度之外的其他参数，来识别晕动症风险可能较高的其他情形。对于此类情形，确定所测量的其他参数的阈值，并且关联于这些其他参数来设置遮挡区域的大小。
通常引入视觉指示来确定使用者关于与真实空间相关的水平和竖直方向的视觉感知的取向。这样做的一种方式是视觉指示指示了相对于真实空间保持水平的表面。该表面被叠加在使用者的视野中。该表面可以例如是网格状图形。
除了相对于真实空间是水平的、即指示在使用者的视野中相对于真实空间的水平方向，该视觉指示可以指示与模仿真实空间地平线且相对于真实空间是水平的虚拟地平线相关的视角。
该视觉指示还可以包括增强的水平线。
根据第二方面，提供了一种在使用VR或AR的头戴式显示器(HMD)的系统中减轻晕动症的设备。该设备包括接收器，用于接收来自传感器的、指示HMD在真实空间中的当前取向的数据。该设备进一步包括处理电路系统，以用于在HMD的显示上叠加视觉指示。该视觉指示向使用者提供HMD在真实空间中的当前取向的视觉信息。
在一些实施例中，该接收器进一步用于从注视跟踪功能接收数据，该数据指示使用者的当前注视点。此外，该视觉指示包括遮挡区域，该遮挡区域包含使用者的当前注视点，使得该视觉指示不显露在该遮挡区域中。
根据第三方面，提供了一种设备，该设备包括被配置为执行第一方面的任何方法的电路系统。
根据第三方面的设备的实施例可以例如包括与根据第一方面的方法的任何实施例的特征相对应的特征。
根据第四方面，提供了存储计算机可执行指令的一种或多种计算机可读存储介质，这些指令在被设备执行时致使该设备执行第一方面的方法。
根据第四方面的一种或多种计算机可读存储介质的实施例例如可以包括与根据第一方面的方法的任何实施例的特征相对应的特征。
该一种或多种计算机可读存储介质可以例如是一种或多种非暂时计算机可读介质。
鲁棒会聚信号
根据第五方面，提供了一种在眼睛跟踪系统中计算注视会聚距离的方法。在该方法中，当使用者聚焦在第一已知景深处时，接收使用者的左眼和右眼的第一图像。在第一图像中识别左眼的瞳孔和右眼的瞳孔，并且在第一图像中确定左眼的瞳孔位置和右眼的瞳孔位置。计算第一图像中、在第一图像中的左眼瞳孔位置与第一图像中的右眼瞳孔位置之间的第一瞳孔间距离。当使用者聚焦在第二已知景深处时，接收使用者的左眼和右眼的第二图像。在第二图像中识别左眼的瞳孔和右眼的瞳孔，并且在第二图像中确定左眼的瞳孔位置和右眼的瞳孔位置。计算在第二图像中的左眼瞳孔位置与第二图像中的右眼瞳孔位置之间的第二图像中的第二瞳孔间距离。基于第一景深和第一瞳孔间距离以及第二景深和第二瞳孔间距离来将景深(即注视会聚距离)定义为瞳孔间距离的线性函数。
在将注视会聚距离定义为瞳孔间距离的线性函数之后，可以根据当使用者聚焦在第三未知景深处时接收到的使用者的左眼和右眼的第三图像、通过识别第三图像中的左眼瞳孔和第三图像中的右眼瞳孔、并且确定第三图像中的左眼瞳孔位置以及第三图像中的右眼瞳孔位置，来确定注视会聚距离。计算在第三图像中的左眼瞳孔位置与第三图像中的右眼瞳孔位置之间的第三图像中的瞳孔间距离，并且根据所定义的线性函数来确定注视会聚距离。
根据第六方面，提供了一种设备，该设备包括被配置为执行第五方面的方法的电路系统。
根据第六方面的设备的实施例可以例如包括与根据第五方面的方法的任何实施例的特征相对应的特征。
根据第七方面，提供了存储计算机可执行指令的一种或多种计算机可读存储介质，这些指令在被设备执行时致使该设备执行第五方面的方法。
根据第七方面的一种或多种计算机可读存储介质的实施例例如可以包括与根据第五方面的方法的任何实施例的特征相对应的特征。
第七方面的一种或多种计算机可读存储介质可以例如是一种或多种非暂时计算机可读介质。
基于注视的对象扩展
根据第八方面，提供了一种基于注视的虚拟现实(VR)菜单扩展的方法。在该方法中，在VR中提供菜单，使得仅该菜单的一部分在使用者视野的中心区域外可见。菜单的这部分在VR空间中相对于使用者的头部是固定的。在使用者的注视朝向菜单的这部分的情况下，使菜单相对于真实空间固定(不动)，使得当使用者的头部朝菜单的之前不可见部分的方向移动时，菜单的此类之前不可见部分将变得可见。
当整个菜单可见时，可以使整个菜单相对于使用者的头部固定(不动)。在使用者的注视离开该菜单的情况下，视野返回至仅在使用者视野的中心区域外可见的菜单部分。
根据第九方面，提供了一种设备，该设备包括被配置为执行第八方面的方法的电路系统。
根据第九方面的设备的实施例可以例如包括与根据第八方面的方法的任何变化的特征相对应的特征。
根据第十方面，提供了存储计算机可执行指令的一种或多种计算机可读存储介质，这些指令在被设备执行时致使该设备执行第八方面的方法。
根据第十方面的一种或多种计算机可读存储介质的实施例例如可以包括与根据第八方面的方法的任何实施例的特征相对应的特征。
该第十方面的一种或多种计算机可读存储介质可以例如是一种或多种非暂时计算机可读介质。
根据第十一方面，提供了一种基于注视的增强现实(AR)菜单扩展的方法。在该方法中，在AR中提供菜单，使得菜单的仅一部分在使用者视野的中心区域外可见。菜单的这部分在虚拟空间中相对于使用者的头部是固定的。在使用者的注视朝向菜单的这部分的情况下，使菜单相对于真实空间在虚拟空间中固定(不动)，从而使得当使用者的头部朝菜单的之前不可见部分的方向移动时，菜单的此类之前不可见部分将变得可见。
该方法可进一步包括，当整个菜单可见时，使整个菜单相对于使用者的头部固定。于是菜单可以相对于使用者的头部固定，只要使用者的注视朝向菜单即可。在使用者的注视离开该菜单的情况下，视野返回至仅在使用者视野的中心区域外可见的菜单部分。
根据第十二方面，提供了一种设备，该设备包括被配置为执行第十一方面的方法的电路系统。
根据第十二方面的设备的实施例可以例如包括与根据第十一方面的方法的任何实施例的特征相对应的特征。
根据第十三方面，提供了存储计算机可执行指令的一种或多种计算机可读存储介质，这些指令在被设备执行时致使该设备执行第十一方面的方法。
根据第十三方面的一种或多种计算机可读存储介质的实施例例如可以包括与根据第十一方面的方法的任何实施例的特征相对应的特征。
该第十三方面的一种或多种计算机可读存储介质可以例如是一种或多种非暂时计算机可读介质。
附图说明
现在将参考附图在以下说明性和非限制性的详细描述中更详细地描述这个和其他方面。
图1a示出了在VR视野中的视觉指示的实例的示意图。
图1b和图1c示出了HMD(使用者的头部)在真实空间中的竖直方向与使用者的视觉印象的竖直方向之间的角度差的实例的示意图。
图2是用于减轻晕动症的方法的流程图。
图3是用于减轻晕动症的设备的示意图。
图4是示出了用于基于瞳孔间距离来确定注视会聚距离的函数的实例的图。
图5是用于确定注视会聚距离的方法的流程图。
图6是用于基于注视的菜单扩展的方法的流程图。
图7a至图7d示出了基于注视的菜单扩展的实例的示意图。
所有图都是示意性的、不一定按比例绘制、并且仅概括示出了为了阐明相应实例而必需的部分，而其他部分可以省略或仅仅被提出。
具体实施方式
晕动症减轻
图1a示出了在使用包括眼睛/注视跟踪功能的头戴式显示器(HMD)的系统的虚拟现实(VR)视图100中的视觉指示的实例的示意图。在VR视图100中，包括网格110的视觉指示已经叠加在VR视图100上。眼睛/注视跟踪功能提供关于HMD的使用者的当前注视点的信息。在VR视图100中提供了用圆120指示的遮挡区域120。在遮挡区域120内，网格110是完全透明的，并且正好在遮挡区域外，网格110的透明度逐渐减小。圆120通常不在HMD的视图中示出，但是出于说明的目的包含在图1的VR视图100中。传感器(未示出)提供关于HMD在真实空间中的取向(例如，与图像中用箭头130指示的真实空间的水平方向所成的角度)的信息。该传感器可以例如是陀螺仪和/或加速度计。除了指示真实空间的水平方向的箭头130之外，还示出了指示HMD的使用者在视觉上感受到的水平方向的箭头140。箭头130、140通常不在HMD的视图中示出、但是出于说明的目的包含在图1的VR视图100中。除了网格110之外，视觉指示还包括增强显示的水平线150。
网格110和增强显示的水平线150通过概括地指示相对于真实空间为水平的表面向使用者提供了HMD在真实空间中的当前取向的视觉信息。
应注意的是，指示了网格110在遮挡区域120外具有不同程度的透明度。这旨在表示网格线本身是透明的。在另一方面，网格本身相对于背景是透明的，因为它由网格线构成并且与网格线一起指示了表面，并且在网格线之间，VR视图是可见的而根本没有被网格覆盖。
还应进一步注意的是，离增强显示的水平线150越近，网格线的透明度进一步变得更透明。与正好在遮挡区域外的网格线的透明度相比，这是不同的特征。
当人的眼睛根据内耳中的前庭传感器提供的信号提供关于运动和取向的冲突信号时，通常会发生真实世界晕动症。在现实生活中，例如在乘船旅行时注视地平线或在驾车时看向前方道路是已证明有效缓解晕动症症状的方法。
在AR和VR的使用中，在每个场景中找到这样的“地平线”可能并不可行。因此引入网格110和增强显示的水平线150，以减轻VR/AR使用者的晕动症。
可以在当前注视点周围入引遮挡区域120以避免该视觉指示模糊了使用者当前正在看的内容。遮挡区域优选地与使用者眼睛的视网膜的中央凹部分(即，视网膜的提供最清晰视觉的部分)至少大致匹配。遮挡区域120在图1a的视图100中被显示为圆形、但可以具有其他形状，比如矩形、卵形等。
遮挡区域的大小通常是减轻晕动症的功效与限制使用者分心之间的权衡。减小遮挡区域的大小通常会增大减轻晕动症的功效、并且同时增大使用者分心，因为通常引入所使用的视觉指示来确定使用者关于与真实空间相关的水平和竖直方向的视觉感知的取向。
此外，视觉指示的透明度(不透明度)，或者换句话说，视觉指示覆盖或模糊使用者视野中的其他视觉信息的程度，通常也是减轻晕动症的功效与限制使用者分心之间的权衡。降低遮挡区域的透明度通常将增大减轻晕动症的功效、并且同时会增加使用者的分心，因为通常引入所使用的视觉指示来仅用于确定使用者关于与真实空间相关的水平和竖直方向的视觉感知的取向。
使在遮挡区域外最接近的区域中相比在离遮挡区域较远的区域具有更高的透明度，并且使透明度在遮挡区域之外的区域中随着离遮挡区域的距离而逐渐减小，这样做将减少使用者对于具有锐边的实例、在遮挡区域的边界处的透明度方面的分心，因为锐边往往比更柔和的过渡更容易让使用者分心。
在一时间段内测量由箭头130指示的HMD在真实空间中的竖直方向与由箭头140指示的使用者的视觉印象的竖直方向之间的角度差，并且确定该时间段期间的最大角度差。如果所确定的最大角度差大于预定阈值，则减小遮挡区域的大小。
作为在一时间段期间仅测量最大角度差的替代方案，可以测量角度差的变化大小，并且可以确定在一段时间内的最大角度变化。如果所确定的最大角度差变化大于预定阈值，则减小遮挡区域的大小。
如所指示的，遮挡区域的大小通常是减轻晕动症的功效与限制使用者分心之间的权衡。针对晕动症风险变大的情况，关于减轻晕动症与限制使用者分心之间的权衡的决定可以导致期望例如通过减小遮挡区域的大小来减轻晕动症。
例如，如果使用者在船上使用HMD并且该船摇晃得厉害，例如使得HMD在真实空间中的竖直方向与使用者的视觉印象的竖直方向之间的角度(或角度变化)在一时间段内变得大于预定阈值，则晕动症的风险也可能较高。在这样的情况下，可以减小遮挡区域的大小。作为减小遮挡区域的大小的替代或附加，可以降低视觉指示的透明度。
例如，如果使用者正在使用VR的HMD，其中使用者的视觉印象的竖直方向变化很大而HMD在真实空间中的竖直方向没有改变，使得HMD在真实空间中的竖直方向与使用者的视觉印象的竖直方向之间的角度在一时间段内变得大于预定阈值，则晕动症的风险也可能较高。
可以通过测量除了HMD在真实空间中的竖直方向与使用者的视觉印象的竖直方向之间的角度之外的其他参数，来确认晕动症风险可能较高的其他情形。对于此类情形，确定所测量的其他参数的阈值，并且关于这些其他参数来设置遮挡区域的大小。
通常引入视觉指示来确定使用者关于与真实空间相关的水平和竖直方向的视觉感知的取向。这样做的一种方式是视觉指示包括指示相对于真实空间为水平的表面的事物。该表面被叠加在使用者的视野中。
除了相对于真实空间是水平的、即指示在使用者的视野中相对于真实空间的水平方向，该视觉指示可以指示与模仿真实空间地平线且相对于真实空间是水平的虚拟地平线相关的视角。
该视觉指示可以例如包括网格状图形110以及增强显示的水平线。一般而言，视觉指示中包括的所指示表面越不重复且对比度越高，则越好。一种有效减轻晕动症的图形例如是报纸印刷品。然而，其代价是分心。
图1a示出了VR HMD系统的视图。然而，上文关于VR的描述同样适用于AR HMD系统。例如，如果AR HMD系统用于交通工具内，比如火车、汽车或船内(其中使用者不能容易地看到交通工具外并且因此不能看到地平线等)，则可以如上文关于VR所披露的那样在AR HMD的显示上在其他虚拟对象和使用者的真实生活视图上叠加视觉指示。
图1b和图1c示出了在HMD(使用者的头部)在真实空间中的竖直方向130与使用者的视觉印象的竖直方向140之间的角度差的实例的示意图。
HMD在真实空间中的竖直方向总体上是使用者的头部在真实空间中的竖直方向、并且将被使用者的内耳中的前庭传感器感测到。使用者的视觉印象的竖直方向基于使用者大脑中所识别的视觉线索。这些视觉线索用于解释什么是竖直的和什么是水平的。例如，根据使用者的视觉印象，可以将图1b中在使用者170后方的墙壁上的平行线160解释成是水平的。其他实例是大面积地板(或船的甲板)或大型建筑物的侧面。这是决定视觉空间背景的因素。
虽然在上文中提及了HMD在真实空间中的竖直方向与使用者的视觉印象的竖直方向，但是在两个空间背景(视觉和内耳背景)下的任何参考方向(3D向量)和这些参考方向之间随时间推移的相对角度变化或方向变化可以与预定阈值一起使用，以确定是否应该采取减轻晕动症的进一步措施，例如减小遮挡区域的大小。
图2是用于在使用头戴式显示器(HMD)的系统中减轻晕动症的方法的流程图。在该方法中，从传感器接收210数据，该数据指示HMD在真实空间中的当前取向。接着在HMD的显示器上叠加220视觉指示，该视觉指示向使用者提供HMD在真实空间中的当前取向的视觉信息。
该方法可以进一步包括从注视跟踪功能接收数据，该数据指示使用者的当前注视位置。该视觉指示于是可以包括遮挡区域，该遮挡区域包含使用者的当前注视位置，使得该视觉指示不显露在该遮挡区域中。
相比在离遮挡区域较远的区域中，该视觉指示在最接近遮挡区域的区域中可以具有更高的透明度。
该方法可以进一步包括：测量在一时间段内HMD在真实空间中的竖直方向与使用者的视觉印象的竖直方向之间的角度差，并且确定该时间段期间的最大角度差。如果所确定的最大角度差大于预定阈值，则减小遮挡区域的大小。
图3示出了在使用VR或AR的头戴式显示器(HMD)的系统中减轻晕动症的设备300的示意图。设备300包括接收器310，用于接收来自传感器230的指示HMD在真实空间中的当前取向的数据。设备300进一步包括处理电路系统330，以用于在HMD的显示器340上叠加视觉指示。该视觉指示向使用者提供HMD在真实空间中的当前取向的视觉信息。
接收器进一步从注视跟踪电路系统350接收指示使用者的当前注视位置的数据。该视觉指示可以包括遮挡区域，该遮挡区域包含使用者的当前注视位置，使得该视觉指示在该遮挡区域中的透明度比在该视图的在遮挡区域外的其他区域中的透明度更高。
本文披露的用于在使用头戴式显示器(HMD)的系统中减轻晕动症的方法可以在包括被配置为执行该方法的电路系统的设备中、和/或在例如存储在一种或多种计算机可读存储介质上的软件中实施，该一种或多种计算机可读介质包括计算机可执行指令，这些指令在被设备执行时致使该设备执行该方法。第七方面的一种或多种计算机可读介质可以例如是一种或多种非暂时计算机可读介质。
鲁棒会聚信号
图4是示出了在包括眼睛/注视跟踪功能的虚拟现实(VR)系统或增强现实AR系统中基于瞳孔间距离来确定注视会聚距离的函数的实例的图。当使用者聚焦在第一已知景深y1时，确定第一瞳孔间距离x1，其中，第一已知景深y1优选地较短。当使用者聚焦在第二已知景深y2时，确定第二瞳孔间距离x2，其中，第二已知景深y2优选地较长。第二景深y2与第一景深y1之间的差异优选地较大。接着，将景深近似为经过点(x1，y1)和(x2，y2)的线性函数。
图5是用于在虚拟现实(VR)系统或增强现实AR系统中确定注视会聚距离的方法的流程图。当使用者聚焦在第一已知景深处时，接收510使用者的左眼和右眼的第一图像。在第一图像中识别520左眼的瞳孔和右眼的瞳孔，并且在第一图像中确定530左眼的瞳孔位置和右眼的瞳孔位置。计算540在第一图像中的左眼瞳孔位置与第一图像中的右眼瞳孔位置之间的第一图像中的第一瞳孔间距离。当使用者聚焦在第二已知景深处时，接收550使用者的左眼和右眼的第二图像。在第二图像中识别560左眼的瞳孔和右眼的瞳孔，并且在第二图像中确定570左眼的瞳孔位置和右眼的瞳孔位置。计算580在第二图像中的左眼瞳孔位置与第二图像中的右眼瞳孔位置之间的第二图像中第二瞳孔间距离。基于第一景深和第一瞳孔间距离以及第二景深和第二瞳孔间距离来将景深(即注视会聚距离)定义590为瞳孔间距离的线性函数。
在将注视会聚距离定义为瞳孔间距离的线性函数之后，可以根据当使用者聚焦在第三未知景深处时接收到的使用者的左眼和右眼的第三图像、通过识别第三图像中的左眼瞳孔和第三图像中的右眼瞳孔、并且确定第三图像中的左眼瞳孔位置以及第一图像中的右眼瞳孔位置，来确定注视会聚距离。计算在第三图像中的左眼瞳孔位置与第三图像中的右眼瞳孔位置之间的第三图像中的瞳孔间距离，并且根据所定义的线性函数来确定注视会聚距离。
本文所披露的用于在眼睛跟踪系统中计算注视会聚距离的方法可以在包括被配置为执行该方法的电路系统的设备中、和/或在例如存储在一种或多种计算机可读存储介质上的软件中实施，该计算机可读存储介质包括计算机可执行指令，这些指令在被设备执行时致使该设备执行该方法。第七方面的一种或多种计算机可读存储介质可以例如是一种或多种非暂时计算机可读介质。
基于注视的对象扩展
图6是用于在包括眼睛/注视跟踪功能的虚拟现实(VR)系统中进行基于注视的VR菜单扩展的方法的流程图。在VR中提供610菜单，使得当使用者的眼睛笔直向前看、即不是向上、向下、向右或左侧看时，该菜单的仅一部分在使用者视野的中心区域外可见。菜单的这部分在VR空间中相对于使用者的头部是固定的。如果通过使眼睛朝向菜单的这部分引导来使得使用者的注视朝向菜单的这部分，则使菜单相对于真实空间固定(不动)620，从而使得当使用者的头部朝菜单的之前不可见部分的方向移动时，菜单的此类之前不可见部分变得可见。
该方法可以进一步包括：当整个菜单可见时，只要使用者的注视朝向菜单，就再次使整个菜单在VR空间中相对于使用者的头部固定。在使用者的注视离开该菜单的条件下，视野返回至这样的状态：菜单的仅一部分在使用者视野的中心区域外可见、并且在VR空间中相对于使用者的头部固定。
图7a至图7d示出了在包括眼睛/注视跟踪功能的VR系统中进行基于注视的菜单扩展的实例的示意图。在图7a中，在VR中提供菜单710，使得当使用者的眼睛笔直地向前看、即不向上、向下、向右或向左看时，仅菜单710的一部分在使用者视野的中心区域下方可见。菜单710的这部分在VR空间中相对于使用者的头部是固定的，即无论使用者的头部如何转动，菜单710的这部分都位于VR中使用者视野的底部。在图7a中用指针720指示了使用者注视方向。
在图7b中，通过使眼睛朝向菜单710的这部分来使得使用者的注视方向如指针720所示移动至菜单710的这部分。接着，使菜单710相对于真实空间固定(不动)。
在图7c中，使用者的头部朝菜单的之前不可见部分的方向向下朝向，使得菜单710的这些之前不可见部分变得可见。指针720所示的使用者的注视方向仍然朝向菜单710、但是现在朝向菜单710的之前不可见部分。
在图7d中，使用者的头部的朝向已经向下改变很多，使得整个菜单710可见。接着，只要指针720指示的使用者注视方向朝向菜单720，就再次使整个菜单720在VR空间中相对于使用者的头部固定。如果使用者的注视方向移离菜单710，则视野返回至这样的状态：菜单710的仅一部分在使用者视野的中心区域外可见、并且在VR空间中相对于使用者的头部固定，如图7a所示。
在图7a中，菜单的这部分被示出在该视图的底部。应注意的是，菜单的这部分在视图的任一侧(左侧或右侧)或在顶部是固定的。在这种情况下，通过使视野朝向菜单的那部分并使视野固定于该部分并且将头部朝某个方向转动而使得菜单的之前不可见部分变得可见(例如如果菜单的这部分是菜单的右手部分则向左、或者如果菜单的这部分是菜单的下部部分则向上)，从而整个菜单可以变得可见。
此外，应注意的是，虽然已经关于图6和图7a至7d描述了VR中的菜单，但是这部分可以是任何VR对象，使得VR对象的仅一部分是可见的并且可以根据上文所述的扩展方法使其变得可见。
本文所披露的在VR系统中进行基于注视的VR菜单扩展的方法可以在包括被配置为执行该方法的电路系统的设备中、和/或在例如存储在一种或多种计算机可读存储介质上的软件中实施，该一种或多种计算机可读存储介质包括计算机可执行指令，这些指令在被设备执行时致使该设备执行该方法。第七方面的一种或多种计算机可读介质可以例如是一种或多种非暂时计算机可读介质。
图6和图7a至图7d披露了VR系统中基于注视的VR菜单。然而，上文关于VR的描述同样适用于AR系统。如果使用了AR系统，则菜单710的这部分相对于使用者的头部在虚拟空间中/相对于AR系统的虚拟表面是固定的。如果使用者的注视朝向菜单的这部分，则使菜单相对于真实空间在虚拟空间中/相对于虚拟空间固定(不动)，从而使得当使用者的头部朝菜单的之前不可见部分的方向移动时，菜单的此类之前不可见部分变得可见。
本文所披露的在增强现实(AR)系统中进行基于注视的AR菜单扩展的方法可以在包括被配置为执行该方法的电路系统的设备中、和/或在例如存储在一种或多种计算机可读存储介质上的软件中实施，该一种或多种计算机可读存储介质包括计算机可执行指令，这些指令在被设备执行时致使该设备执行该方法。第七方面的一种或多种计算机可读介质可以例如是一种或多种非暂时计算机可读介质。
此外，应注意的是，虽然已经关于图6和图7a至图7d描述了菜单，但是用于AR的应用可以涉及任何AR对象，使得仅AR对象的一部分是可见的并且可以根据上文所述的扩展方法使其可见。

Claims (14)

1.一种用于减轻使用头戴式显示器(HMD)的系统中的晕动症的方法，所述方法包括：
从传感器(320)接收数据(210)，所述数据指示所述头戴式显示器(HMD)在真实空间中的当前取向；
在所述头戴式显示器(HMD)的显示器(340)上叠加视觉指示(220)，所述视觉指示向使用者提供所述头戴式显示器(HMD)在真实空间中的当前取向的视觉信息；其中所述视觉指示包括遮挡区域(120)，使得所述视觉指示在所述遮挡区域(120)中不被显露；以及
从注视跟踪功能接收数据，所述数据指示对应所述使用者的中央凹区域的所述使用者的当前注视点；
其中所述遮挡区域(120)包含所述使用者的所述当前注视点，以避免所述视觉指示模糊所述使用者当前正在看的内容，并且
其中所述遮挡区域与所述使用者的所述中央凹区域大致匹配。
2.如权利要求1所述的方法，其中所述视觉指示在最接近所述遮挡区域(120)的区域中比在离所述遮挡区域(120)较远的区域中具有更高的透明度。
3.如权利要求1或2所述的方法，进一步包括：
在一段时间内，确定在真实空间中所述头戴式显示器(HMD)的垂直方向和所述使用者的视觉印象的垂直方向之间的最大角度差；以及
完成以下步骤中的一个或多个：
在所确定的角度差大于预定阈值的情况下，减小所述遮挡区域(120)的大小；
在所确定的角度差大于预定阈值的情况下，减小所述视觉指示(120)的透明度。
4.如权利要求1所述的方法，其中所述视觉指示指示相对于真实空间的水平表面。
5.如权利要求4所述的方法，其中所述视觉指示还指示相对于真实空间的视角。
6.如权利要求1所述的方法，其中所述视觉指示包括网格图形。
7.如权利要求1所述的方法，其中，所述视觉指示包括增强显示的水平线，所述增强显示的水平线相对于真实空间水平。
8.一种用于减轻使用头戴式显示器(HMD)的系统中的晕动症的设备(300)，包括：
接收器(310)，其用于接收来自传感器(320)的数据，所述数据指示所述头戴式显示器(HMD)在真实空间中的当前取向；以及
处理电路系统(330)，其在所述头戴式显示器(HMD)的显示器(340)上叠加视觉指示，所述视觉指示向使用者提供所述HMD在真实空间中的所述当前取向的视觉信息；其中所述视觉指示包括遮挡区域(120)，使得所述视觉指示在所述遮挡区域(120)中不被显露；
所述接收器进一步用于从注视跟踪功能接收数据，所述数据指示对应所述使用者的中央凹区域的所述使用者的当前注视点，其中所述遮挡区域(120)包含所述使用者的所述当前注视点，以避免所述视觉指示模糊所述使用者当前正在看的内容，并且
其中所述遮挡区域与所述使用者的所述中央凹区域大致匹配。
9.一种用于减轻使用头戴式显示器(HMD)的系统中的晕动症的设备，包括配置为执行权利要求1至7中任一项的方法的电路系统。
10.存储有计算机可执行指令的一种或多种计算机可读存储介质，所述指令在被设备执行时致使所述设备执行如权利要求1至7中任一项所述的方法。
11.一种用于减轻使用头戴式显示器(HMD)的系统中的晕动症的方法，包括权利要求1-7中的任意一项技术特征或技术特征的任意组合。
12.一种用于减轻使用头戴式显示器(HMD)的系统中的晕动症的设备，包括权利要求8中的任意一项技术特征或技术特征的任意组合。
13.一种用于减轻使用头戴式显示器(HMD)的系统中的晕动症的设备，包括权利要求9中的任意一项技术特征或技术特征的任意组合。
14.一种包含指令的计算机程序，当计算机执行所述程序时，所述指令使得所述计算机执行一种用于减轻使用头戴式显示器(HMD)的系统中的晕动症的方法，所述方法包括：
从传感器(320)接收数据(210)，所述数据指示所述头戴式显示器(HMD)在真实空间中的当前取向；
在所述头戴式显示器(HMD)的显示器(340)上叠加视觉指示(220)，所述视觉指示向使用者提供所述头戴式显示器(HMD)在真实空间中的当前取向的视觉信息；其中所述视觉指示包括遮挡区域(120)，使得所述视觉指示在所述遮挡区域(120)中不被显露；以及
从注视跟踪功能接收数据，所述数据指示对应所述使用者的中央凹区域的所述使用者的当前注视点；
其中所述遮挡区域(120)包含所述使用者的所述当前注视点，以避免所述视觉指示模糊所述使用者当前正在看的内容，并且
其中所述遮挡区域与所述使用者的所述中央凹区域大致匹配。
CN201910464092.1A 2018-05-31 2019-05-30 虚拟现实和增强现实中的眼睛跟踪应用 Active CN110554771B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862678539P 2018-05-31 2018-05-31
US62/678,539 2018-05-31

Publications (2)

Publication Number Publication Date
CN110554771A CN110554771A (zh) 2019-12-10
CN110554771B true CN110554771B (zh) 2023-06-02

Family

ID=64949040

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811522439.5A Pending CN110547759A (zh) 2018-05-31 2018-12-13 鲁棒会聚信号
CN201910464092.1A Active CN110554771B (zh) 2018-05-31 2019-05-30 虚拟现实和增强现实中的眼睛跟踪应用

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811522439.5A Pending CN110547759A (zh) 2018-05-31 2018-12-13 鲁棒会聚信号

Country Status (4)

Country Link
US (2) US10809800B2 (zh)
EP (2) EP3575926B1 (zh)
CN (2) CN110547759A (zh)
ES (2) ES2916408T3 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256086B2 (en) 2018-05-18 2022-02-22 Facebook Technologies, Llc Eye tracking based on waveguide imaging
US11366298B1 (en) * 2019-02-11 2022-06-21 Facebook Technologies, Llc Eye tracking based on telecentric polarization sensitive grating
JP7346135B2 (ja) * 2019-07-30 2023-09-19 キヤノン株式会社 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JP2021086552A (ja) * 2019-11-29 2021-06-03 三菱電機株式会社 情報処理装置、表示方法、及び表示プログラム
US11829529B2 (en) 2021-07-13 2023-11-28 Meta Platforms Technologies, Llc Look to pin on an artificial reality device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法
CN105324738A (zh) * 2013-06-07 2016-02-10 索尼电脑娱乐公司 在头戴式显示器中切换操作模式
CN106502395A (zh) * 2016-10-18 2017-03-15 深圳市火花幻境虚拟现实技术有限公司 一种在虚拟现实应用中避免用户眩晕的方法及装置
JP2018072604A (ja) * 2016-10-31 2018-05-10 株式会社コロプラ Ｖｒ酔いを抑制するための方法、当該方法をコンピュータに実行させるためのプログラムおよび、情報処理装置

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574836A (en) * 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
US5966680A (en) * 1996-02-15 1999-10-12 Butnaru; Hanan Motion sickness/vertigo prevention device and method
US6577249B1 (en) * 1999-10-19 2003-06-10 Olympus Optical Co., Ltd. Information display member, position detecting method using the same, apparatus and method of presenting related information, and information presenting apparatus and information presenting method
EP1840627B1 (de) * 2000-10-07 2012-12-12 metaio GmbH Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
US6497649B2 (en) 2001-01-21 2002-12-24 University Of Washington Alleviating motion, simulator, and virtual environmental sickness by presenting visual scene components matched to inner ear vestibular sensations
US6932090B1 (en) * 2003-02-06 2005-08-23 The United States Of America As Represented By The United States National Aeronautics And Space Administration Motion sickness treatment apparatus and method
US6879443B2 (en) * 2003-04-25 2005-04-12 The Microoptical Corporation Binocular viewing system
KR100820639B1 (ko) * 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
FR2957511B1 (fr) * 2010-03-19 2021-09-24 Fittingbox Procede et dispositif de mesure de distance inter-pupillaire
US9994228B2 (en) 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US8888287B2 (en) * 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US8638223B2 (en) * 2011-05-18 2014-01-28 Kodak Alaris Inc. Mobile communicator with orientation detector
US8892252B1 (en) * 2011-08-16 2014-11-18 The Boeing Company Motion capture tracking for nondestructive inspection
JP6014931B2 (ja) * 2012-09-06 2016-10-26 公立大学法人広島市立大学 視線計測方法
US8708884B1 (en) * 2013-03-11 2014-04-29 The United States Of America As Represented By The Secretary Of The Army Systems and methods for adaptive mitigation of motion sickness
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US10430150B2 (en) * 2013-08-23 2019-10-01 Tobii Ab Systems and methods for changing behavior of computer program elements based on gaze input
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
US9080868B2 (en) * 2013-09-06 2015-07-14 Wesley W. O. Krueger Mechanical and fluid system and method for the prevention and control of motion sickness, motion-induced vision sickness, and other variants of spatial disorientation and vertigo
US10099030B2 (en) * 2013-09-06 2018-10-16 Iarmourholdings, Inc. Mechanical and fluid system and method for the prevention and control of motion sickness, motion-induced vision sickness, and other variants of spatial disorientation and vertigo
US20150104757A1 (en) 2013-10-15 2015-04-16 Mbfarr, Llc Driving assessment and training method and apparatus
US9313481B2 (en) * 2014-02-19 2016-04-12 Microsoft Technology Licensing, Llc Stereoscopic display responsive to focal-point shift
US9547365B2 (en) * 2014-09-15 2017-01-17 Google Inc. Managing information display
US9829976B2 (en) * 2015-08-07 2017-11-28 Tobii Ab Gaze direction mapping
US9870051B2 (en) * 2015-08-07 2018-01-16 Tobii Ab Gaze direction mapping
US9972215B2 (en) * 2015-08-18 2018-05-15 Lincoln Global, Inc. Augmented reality interface for weld sequencing
KR102433833B1 (ko) * 2015-09-23 2022-08-17 매직 립, 인코포레이티드 오프-축 영상기를 이용한 눈 영상화
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US20170263017A1 (en) * 2016-03-11 2017-09-14 Quan Wang System and method for tracking gaze position
US10192528B2 (en) * 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US9600939B1 (en) * 2016-05-19 2017-03-21 Augmently, LLC Augmented reality platform using captured footage from multiple angles
US10545344B2 (en) * 2016-05-20 2020-01-28 Kent State University Stereoscopic display with reduced accommodation fatique
CN109803574B (zh) * 2016-07-27 2022-05-27 托比股份公司 具有显示器、透镜、照明器和图像传感器的可穿戴设备
ES2659087B1 (es) * 2016-08-12 2019-01-15 Univ Murcia Instrumento binocular optoelectrónico para la corrección de la presbicia
US20180123813A1 (en) * 2016-10-31 2018-05-03 Bragi GmbH Augmented Reality Conferencing System and Method
EP3551145B1 (en) * 2016-12-06 2024-04-24 Nocira, LLC Systems and methods for treating neurological disorders
CN106534882B (zh) * 2016-12-29 2019-06-14 北京爱奇艺科技有限公司 虚拟现实全景视频的编解码方法及装置
JP2018148257A (ja) * 2017-03-01 2018-09-20 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
CN106886604B (zh) * 2017-03-03 2020-04-24 东南大学 一种适用于车道级导航定位的交叉路口路网模型
WO2018232184A1 (en) * 2017-06-14 2018-12-20 Hadal, Inc. Systems and methods for virtual reality motion sickness prevention
US9940518B1 (en) * 2017-09-11 2018-04-10 Tobii Ab Reliability of gaze tracking data for left and right eye
US10534982B2 (en) * 2018-03-30 2020-01-14 Tobii Ab Neural network training for three dimensional (3D) gaze prediction with calibration parameters
US10558895B2 (en) * 2018-03-30 2020-02-11 Tobii Ab Deep learning for three dimensional (3D) gaze prediction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法
CN105324738A (zh) * 2013-06-07 2016-02-10 索尼电脑娱乐公司 在头戴式显示器中切换操作模式
CN106502395A (zh) * 2016-10-18 2017-03-15 深圳市火花幻境虚拟现实技术有限公司 一种在虚拟现实应用中避免用户眩晕的方法及装置
JP2018072604A (ja) * 2016-10-31 2018-05-10 株式会社コロプラ Ｖｒ酔いを抑制するための方法、当該方法をコンピュータに実行させるためのプログラムおよび、情報処理装置

Also Published As

Publication number Publication date
EP3575929A1 (en) 2019-12-04
US20210034152A1 (en) 2021-02-04
EP3575926B1 (en) 2022-04-27
US10809800B2 (en) 2020-10-20
ES2926035T3 (es) 2022-10-21
CN110554771A (zh) 2019-12-10
ES2916408T3 (es) 2022-06-30
US20190369719A1 (en) 2019-12-05
CN110547759A (zh) 2019-12-10
EP3575926A1 (en) 2019-12-04
US11275437B2 (en) 2022-03-15
EP3575929B1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
CN110554771B (zh) 虚拟现实和增强现实中的眼睛跟踪应用
US11386626B2 (en) Information processing apparatus, information processing method, and program
CN104765445B (zh) 显示器上的眼睛聚散检测
US9766697B2 (en) Method of providing a virtual space image, that is subjected to blurring processing based on displacement of a HMD and system therefor
US9756319B2 (en) Virtual see-through instrument cluster with live video
US20230008291A1 (en) Application placement based on head position
EP3605279A1 (en) Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
WO2017183346A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN107533364B (zh) 用于运行虚拟现实系统的方法和虚拟现实系统
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
US11068048B2 (en) Method and device for providing an image
KR101921969B1 (ko) 차량용 증강현실 헤드업 디스플레이 장치 및 방법
US9870064B2 (en) System and method for blended reality user interface and gesture control system
JP2017021680A (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
JP2023052450A (ja) 頭部着用型の電子表示装置の操作方法および仮想コンテンツを表示する表示システム
US10573083B2 (en) Non-transitory computer-readable storage medium, computer-implemented method, and virtual reality system
WO2019142560A1 (ja) 視線を誘導する情報処理装置
KR20180059366A (ko) 가상 현실 기기 상에서의 이미지 줌인 및 줌아웃을 위한 방법 및 장치
KR20200135352A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP6784289B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6972789B2 (ja) ヘッドアップディスプレイ装置
KR20160039939A (ko) 헤드 마운티드 디스플레이 및 그 제어 방법
JP6216851B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN115698923A (zh) 信息处理装置、信息处理方法和程序
KR20190046387A (ko) Hmd 영상 보정 방법 및 hmd에 보정 영상을 표시하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant