CN113196136A - 虚拟现实头戴送受话器中的动态会聚调整 - Google Patents

虚拟现实头戴送受话器中的动态会聚调整 Download PDF

Info

Publication number
CN113196136A
CN113196136A CN201980081841.0A CN201980081841A CN113196136A CN 113196136 A CN113196136 A CN 113196136A CN 201980081841 A CN201980081841 A CN 201980081841A CN 113196136 A CN113196136 A CN 113196136A
Authority
CN
China
Prior art keywords
virtual
display
distance
depth
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980081841.0A
Other languages
English (en)
Other versions
CN113196136B (zh
Inventor
Y-J·林
P·J·戈尔根
M·E·格雷厄姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universal City Studios LLC
Original Assignee
Universal City Studios LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universal City Studios LLC filed Critical Universal City Studios LLC
Publication of CN113196136A publication Critical patent/CN113196136A/zh
Application granted granted Critical
Publication of CN113196136B publication Critical patent/CN113196136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了系统和方法，所述系统和方法在相应虚拟对象被显示为将虚拟深度从第一虚拟深度改变成第二虚拟深度时，动态地和横向地将由增强现实头戴送受话器显示的每个虚拟对象移位相应距离。可以基于沿着显示器的用户的眼睛与第一虚拟深度处的相应虚拟对象的第一会聚向量和用户的眼睛与第二虚拟深度处的相应虚拟对象的第二会聚向量之间的横向距离、并且可以基于瞳孔间距离来确定相应距离。以此方式，可以调整虚拟对象的显示，使得用户的眼睛的注视可以会聚在虚拟对象看来似乎所在的位置。

Description

虚拟现实头戴送受话器中的动态会聚调整
相关申请的交叉引用
本申请要求2018年12月10日提交的题为“DYNAMIC CONVERGENCE ADJUSTMENT INAUGMENTED REALITY HEADSETS”的美国临时申请No. 62/777,545的权益，所述申请出于所有目的以其整体通过引用并入本文中。
背景技术
本公开总体上涉及在模拟环境内发生的增强现实、虚拟现实、混合现实或任何其他合适的交互式计算机生成的体验。更具体地，本公开的某些实施例涉及提供交互式计算机生成的体验的头戴送受话器（headset）的操作特征。
作为示例，增强现实系统越来越受欢迎。现在认识到的是，用于提供增强现实系统（诸如增强现实头戴送受话器）的常规技术将受益于对系统部件和功能性的改进。特别地，现在认识到的是，用于提供增强现实视觉效果的某些传统系统和技术能够引起感官冲突。因此，存在提供被配置成限制或防止这样的传感器冲突的改进的增强现实系统的需要。
本部分旨在向读者介绍可能与本技术的各个方面相关的领域的各个方面，其在下面描述和/或要求保护。相信该讨论有助于向读者提供背景信息，以促进对本公开的各个方面的更好的理解。因此，应当理解的是，要就此而论而不是作为对现有技术的承认来阅读这些陈述。
发明内容
下面概述了与原始要求保护的主题在范围上相称的某些实施例。这些实施例不旨在限制本公开的范围，而是这些实施例仅旨在提供某些所公开的实施例的简要概述。实际上，本公开可以涵盖可以与以下阐述的实施例类似或不同的多种形式。
特别地，在一个实施例中，增强现实系统包括具有左显示器的增强现实头戴送受话器，所述左显示器向用户的左眼显示左虚拟图像。增强现实头戴送受话器还包括右显示器，所述右显示器向用户的右眼显示右虚拟图像。当用户观看左虚拟图像和右虚拟图像时，左虚拟图像和右虚拟图像对于用户而言作为单个虚拟图像出现。增强现实头戴送受话器还包括瞳孔跟踪传感器，其检测用户的瞳孔位置并提供用户的瞳孔位置的指示。增强现实系统还包括具有瞳孔间距离确定引擎的会聚调整系统，所述瞳孔间距离确定引擎基于接收瞳孔位置的指示来确定用户的瞳孔间距离。会聚调整系统还包括显示调整引擎，其基于瞳孔间距离和虚拟对象正在改变虚拟深度的指示来提供对虚拟图像的虚拟对象的显示的调整。会聚调整系统还包括基于来自显示调整引擎的调整来显示虚拟对象的处理器。
在另一个实施例中，一种有形的、非暂时性的、计算机可读介质，其具有用于调整虚拟对象的显示的指令，所述指令当由处理器执行时，使得处理器接收虚拟对象要被显示为从相应第一虚拟深度移动到相应第二虚拟深度的指示。所述指令还使得处理器确定瞳孔间距离，以及基于瞳孔间距离动态地确定与在相应第一虚拟深度处的每个虚拟对象相关联的相应第一注视线和与在相应第二虚拟深度处的虚拟对象相关联的相应第二注视线之间的相应横向距离。所述指令还使得处理器基于相应横向距离将每个虚拟对象显示为从相应第一虚拟深度移动到相应第二虚拟深度。
在又一个实施例中，一种用于调整虚拟对象的显示的方法包括接收一个或多个所显示对象要被显示为从第一虚拟深度移动到第二虚拟深度的指示。所述方法还包括确定瞳孔间距离，以及基于瞳孔间距离确定与在第一虚拟深度处的所显示对象相关联的第一会聚向量和与在第二虚拟深度处的所显示对象相关联的第二会聚向量之间的横向距离。所述方法还包括基于横向距离将所显示对象显示为从第一虚拟深度移动到第二虚拟深度。
附图说明
当参考附图阅读以下详细描述时，本公开的这些和其他特征、方面和优点将变得更好理解，其中，贯穿附图，相同的字符表示相同的部分，在所述附图中：
图1是根据本公开的实施例的用户佩戴增强现实头戴送受话器的透视图；
图2是根据本公开的实施例的从用户的视角的图1的增强现实头戴送受话器的透视图；
图3是根据本公开的实施例的并入图1的增强现实头戴送受话器的增强现实系统的框图；
图4是用户通过图1的增强现实头戴送受话器观看虚拟对象的示意性平面视图；
图5是根据本公开的实施例的通过增强现实头戴送受话器正在被观看的图4的虚拟对象的用户的视角的示意性表示；
图6是根据本公开的实施例的在图4的虚拟对象改变虚拟深度时的用户通过增强现实头戴送受话器观看图4的虚拟对象的示意性平面视图；
图7是根据本公开的实施例的在虚拟对象改变虚拟深度时的当通过增强现实头戴送受话器观看时图6的虚拟对象的用户的视角的示意性表示；以及
图8是根据本公开的实施例的用于调整虚拟对象的显示的过程的流程图。
具体实施方式
在现实世界中，当人观看其正前面的对象时，此人同时将他们的眼睛在朝向彼此的相反方向上移动，使得每只眼睛的注视会聚在该对象上或者每只眼睛的瞳孔与对象成一直线（被称为聚散的过程），并改变他们眼睛的光学功率（optical power）以维持对象的清晰图像或对象上的聚焦（被称为适应的过程）。因此，人习惯于将他们的注视指向同一固定点处，他们同时将他们的眼睛聚焦在该点处以维持清晰图像。如果人在对象移动得更靠近时观看对象，则每只眼睛的注视进一步会聚在一起，并且眼睛的光学功率改变以维持对象的清晰图像。如果人在对象移动地离开更远时观看对象，则每只眼睛的注视发散，并且眼睛的光学功率改变以维持对象的清晰图像。增强现实头戴送受话器通常使用模拟景深的显示器。特别地，可以将显示器分成用于右眼观看的右显示器和用于左眼观看的左显示器。假设显示器通常是矩形的，增强现实头戴送受话器可以通过在右显示器和左显示器中的每个上显示具有虚拟对象的虚拟图像（例如，具有右虚拟对象的右虚拟图像和具有左虚拟对象的左虚拟图像）而在用户正前面显示具有虚拟对象的虚拟图像，其中相应虚拟对象的相应参考点（例如，中心或近似中心）比起外侧边缘更靠近每个显示器的内侧边缘。此外，虚拟对象的相应参考点可以离开每个显示器的内侧边缘相等距离。这是因为，在观看现实世界对象时，每个人的眼睛的注视将会聚到该人正在观看的对象。
为了使虚拟对象看来似乎更靠近用户，增强现实头戴送受话器可以放大显示器上的虚拟对象，同时维持从虚拟对象的相应参考点到每个显示器的内侧边缘的相等距离。为了使虚拟对象看来似乎更远离用户，增强现实头戴送受话器可以缩小显示器上的虚拟对象，同时维持从虚拟对象的相应参考点到每个显示器的内侧边缘的相等距离。然而，现在认识到的是，由于虚拟对象的相应参考点在看来似乎移动地更靠近以及更远离用户时维持与每个显示器的内侧边缘的相等距离，因此用户的眼睛在其处会聚的点可能不是虚拟对象看来似乎所在的位置。也就是说，用户的眼睛在其处会聚的点可能在虚拟对象看来似乎所在的位置前面或后面。这可能在观看虚拟对象时引起模糊或双重图像效果，从而导致负面的用户体验。
同时，用户的焦点可能指向虚拟对象看来似乎所在的位置。因此，用户可以将他们的注视指向与他们聚焦他们的眼睛的位置不同的点以维持清晰图像。这可能创建聚散适应冲突，该冲突可能导致不适、疲劳、持续的头痛和/或恶心。
根据本实施例，虚拟现实头戴送受话器的显示器可以呈现/显示虚拟对象。这样的对象的参考点（例如，沿着对象的特定维度的几何中心点）可用于描述本实施例的操作特征。特别地，根据本实施例控制这样的参考点之间的距离和增强现实头戴送受话器的特征以改进用户体验。例如，当虚拟对象被呈现为从第一虚拟深度改变成第二虚拟深度时，代替维持从虚拟对象的中心到增强现实头戴送受话器的显示器的内侧边缘的距离，在相应虚拟对象被呈现为从第一虚拟深度改变成第二虚拟深度时，本实施例动态地和横向地将每个虚拟对象移位相应距离。可以基于沿着显示器的用户的眼睛与在第一虚拟深度处的相应虚拟对象的第一会聚向量和用户的眼睛与在第二虚拟深度处的相应虚拟对象的第二会聚向量之间的横向距离、并且可以基于瞳孔间距离来动态地确定相应距离。以此方式，可以调整虚拟对象的显示，使得用户的眼睛的注视可以会聚在虚拟对象看来似乎所在的位置。因此，用户可以将他们的注视指向与他们将他们的眼睛聚焦的位置相同的点，以维持清晰图像。因此，当前公开的系统和方法可以减少或消除当显示虚拟对象的虚拟深度的改变时的聚散适应冲突，从而减少或避免当观看虚拟对象时的可能的模糊或双重图像效果、不适、疲劳、持续的头痛和/或恶心，从而产生更好的用户体验。
虽然本公开讨论了增强现实和增强现实头戴送受话器的使用，但应当理解的是，所公开的技术还可以应用于虚拟现实、混合现实或在模拟环境内发生的任何其他合适的交互式计算机生成的体验。此外，关于虚拟对象的术语“深度”的使用应当被理解为指代虚拟对象的虚拟深度。也就是说，术语“深度”和“虚拟深度”指代基于通过增强现实头戴送受话器观看虚拟对象，虚拟对象（例如，从用户的视角）看来似乎被定位或设置在的深度。
考虑到这一点，图1是根据本公开的实施例的佩戴增强现实头戴送受话器12的用户10的透视图。增强现实头戴送受话器12可以提供与现实世界环境重叠或结合的模拟视觉环境。如所图示，增强现实头戴送受话器12可以包括前置摄像头14，其向用户10提供现实世界环境的显示。在附加或可替代实施例中，增强现实头戴送受话器12可以代替地包括透镜或透明显示器，其中用户10直接观看现实世界环境。也就是说，增强现实头戴送受话器12可以被提供给用户10而不经由显示器再现现实世界环境。
图2是根据本公开的实施例的从用户10的视角的增强现实头戴送受话器12的透视图。如所图示，增强现实头戴送受话器12包括显示器20，其可以被分成两个单独的显示器22、24。特别地，左显示器22可以被用户的左眼观看并且右显示器24可以被用户的右眼观看。在一些实施例中，左显示器22和右显示器24可以是两个不同的物理显示器，而不是单个显示器20的部分。显示器20可以包括不透明屏幕，其通过经由图1中所示的前置摄像头14接收的图像向用户10再现现实世界环境。例如，显示器20可以是智能电话或平板电脑，其可以被插入到增强现实头戴送受话器12中或者可移除地耦合（例如，能够反复分离和耦合）到增强现实头戴送受话器12。在一些实施例中，显示器20可以是增强现实头戴送受话器12的固定部件。此外，在附加或可替代实施例中，显示器20包括使用户10能够通过屏幕或透镜直接观看现实环境的透明或半透明屏幕或透镜。模拟的视觉环境然后可以结合可视的现实世界环境被叠加或以其他方式被显示。在一些实施例中，增强现实头戴送受话器12可以包括眼睛或瞳孔跟踪传感器26，其确定用户的眼睛或瞳孔的位置和/或发送指示用户的眼睛或瞳孔的位置的一个或多个信号。
图3是根据本公开的实施例的增强现实系统38的框图。如所图示，增强现实系统38包括具有控制器42的会聚调整系统40，该控制器42包括一个或多个处理器44和一个或多个存储器设备46。处理器44可以执行软件程序和/或指令以调整虚拟对象的显示。此外，处理器44可以包括多个微处理器、一个或多个“通用”微处理器、一个或多个专用微处理器、和/或一个或多个专用集成电路（ASICS）、和/或一个或多个精简指令集（RISC）处理器。存储器设备46可以包括一个或多个存储设备，并且可以存储机器可读和/或处理器可执行指令（例如，固件或软件）以供处理器44执行，所述指令诸如与调整虚拟对象的显示有关的指令。因此，存储器设备46可以存储例如控制软件、查找表、配置数据等，以促进调整虚拟对象的显示。在一些实施例中，处理器44和存储器设备46可以在控制器42的外部。存储器设备46可以包括有形的、非暂时性的、机器可读介质，诸如易失性存储器（例如，随机存取存储器（RAM））和/或非易失性存储器（例如，只读存储器（ROM）、闪速存储器、硬盘驱动器和/或任何其他合适的光学、磁性或固态存储介质）。
会聚调整系统40还可以包括动态地确定用户10的瞳孔间距离的瞳孔间距离确定引擎48。瞳孔间距离可以是用户的瞳孔之间的距离。在一些实施例中，瞳孔间距离确定引擎48可以从增强现实头戴送受话器12的瞳孔跟踪传感器26接收指示瞳孔间距离的信号。瞳孔间距离确定引擎48然后可以基于接收的信号确定瞳孔间距离。
在附加或可替代实施例中，瞳孔间距离确定引擎48可以基于校准过程来估计瞳孔间距离。也就是说，当用户10首次装备增强现实头戴送受话器12时，会聚调整系统40的控制器42可以执行校准过程。校准过程可以包括在不同的虚拟深度处显示多个虚拟对象，并且当用户10看到相应虚拟对象的单个图像相对双重图像时提示用户10来响应。通过将用户的眼睛的估计位置与在其处显示虚拟对象的不同虚拟深度进行三角测量，可以使用与看到单个图像对应的用户的响应来估计用户的眼睛的位置。瞳孔间距离确定引擎48可以基于用户的眼睛的估计位置来确定不同虚拟深度处的瞳孔间距离的集合。因此，可以保存瞳孔间距离确定，并且瞳孔间距离确定引擎48可以执行回归分析或任何其他合适形式的估计分析以生成数学模型或表达式，该数学模型或表达式基于保存的瞳孔间距离确定的集合来预测取决于虚拟对象的虚拟深度的瞳孔间距离。瞳孔间距离确定引擎48可以动态地确定或估计用户10的瞳孔间距离，因为瞳孔间距离可以在用户10观看不同对象（虚拟或现实）时改变。因此，不断地、周期性地或在某些时间或兴趣点（例如，当显示不同的虚拟对象或现实对象进入视野时）更新用户10的瞳孔间距离可以是有用的。应当理解的是，如在本公开中使用的术语“引擎”可以包括硬件（诸如电路）、软件（诸如存储在存储器设备46中以供由处理器44执行的指令）或两者的组合。例如，瞳孔间距离确定引擎48可以包括瞳孔跟踪传感器26和耦合到瞳孔跟踪传感器26的电路，其从瞳孔跟踪传感器26接收瞳孔跟踪信息并基于瞳孔跟踪信息确定用户10的瞳孔间距离。
会聚调整系统40还可以包括显示调整引擎50，其基于用户10的瞳孔间距离调整虚拟对象的显示和/或提供对虚拟对象的显示的调整。特别地，显示调整引擎50可以接收输入图像数据52，其可以包括一个或多个虚拟对象54。每个虚拟对象54可以在相应虚拟深度处被显示。显示调整引擎50还可以接收如由瞳孔间距离确定引擎48确定的瞳孔间距离。显示调整引擎50然后可以基于瞳孔间距离调整每个虚拟对象54的显示。
在一些情况下，会聚调整系统40可以是增强现实头戴送受话器12的部分。在附加或可替代实施例中，会聚调整系统40可以在增强现实头戴送受话器12的外部，并且经由任何合适的通信网络和/或协议与增强现实头戴送受话器12通信。例如，增强现实头戴送受话器12和会聚调整系统40中的每个可以包括通信接口，并且通信接口可以连接到通信网络。通信网络可以是有线和/或无线的，诸如移动网络、WiFi、LAN、WAN、英特网和/或类似物，并且使增强现实头戴送受话器12和会聚调整系统40能够彼此通信。
作为示例，图4是根据本公开的实施例的用户10通过增强现实头戴送受话器12观看虚拟对象54的示意性平面视图。虚拟对象54被显示在虚拟位置68和一虚拟深度处，该虚拟深度模拟沿着中心线70的虚拟距离DOBJ1，该中心线70穿过用户的瞳孔72、74之间的中心点C和虚拟对象54的参考点（例如，中心）71。中心点C可以是用户10作为视觉源体验的任何合适的点（诸如用户的瞳孔72、74之间的点），使得点C和第一用户的瞳孔72之间的距离近似等于点C和第二用户的瞳孔74之间的距离。虽然本公开将虚拟对象的参考点图示为虚拟对象的中心，但是应当理解的是，可以使用除了虚拟对象的中心之外的参考点（例如，诸如沿着虚拟对象的表面、内部、主体或边缘的任何合适的点），特别是在虚拟对象可能是不规则或不对称形状的情况下。
用户的瞳孔72、74之间的瞳孔间距离沿着穿过用户的瞳孔72、74的瞳孔间线76被指示为图4中的IPD，以及中心点C和用户的瞳孔70、72中的任一个之间的、沿着瞳孔间线76的距离被指示为图4中的IPD/2。附加地，如图4中所示，用户的瞳孔72、74中的任一个和虚拟对象54之间的注视线或会聚向量78与中心线70成角度θ1。图4还图示了穿过显示器22、24增强现实头戴送受话器12（例如，通常穿过其中心）的显示线80。用户的瞳孔72、74中的任一个和显示线80之间的显示距离DDISP沿着与显示线80相交的显示距离线82指示。因为显示距离线82和中心线70是平行的，所以显示距离线82和注视线78也以角度θ1相交，如图4中所图示。沿着显示线80的显示距离线82和注视线78之间的距离被指示为X1（其可以被称为观看位置68处的虚拟对象54的横向瞳孔距离），并且可以基于相似三角形法则来确定。特别地，X1可以使用以下等式来确定：
Figure DEST_PATH_IMAGE001
（等式1）
图5是根据本公开的实施例的通过增强现实头戴送受话器12正在被观看的图4的虚拟对象54的用户的视角的示意性表示。会聚调整系统40的控制器42将虚拟对象54显示为左显示器22上左边位置101处的左虚拟对象100以供用户的左眼观看，以及显示为右显示器24上右边位置103处的右虚拟对象102以供用户的右眼观看。增强现实头戴送受话器12将虚拟对象54显示为表现为在用户10的正前面（例如，沿着图4的中心线70）。因此，控制器42可以显示比起外侧（例如，最左）边缘108更靠近左显示器22的内侧（例如，最右）边缘106的左虚拟对象100的参考点（例如，中心）104，并且可以显示比起外侧（例如，最右）边缘114更靠近右显示器24的内侧（例如，最左）边缘112的右虚拟对象102的参考点（例如，中心）110。此外，虚拟对象100、102的参考点104、110可以离开每个显示器22、24的内侧边缘106、112相等距离Y1。这是为了在用户的眼睛的注视线或会聚向量78的会聚点处显示虚拟对象100、102，因此使虚拟对象100、102能够作为单个虚拟对象（在图4中被标识为虚拟对象54）出现。因此，控制器42可以将虚拟对象100、102显示为离开每个显示器22、24的内侧边缘106、112距离Y1，以使虚拟对象54看来似乎在用户的瞳孔72、74的注视线78的会聚点处的虚拟位置68处。
作为进一步示例，图6是根据本公开的实施例的在图4的虚拟对象54改变深度时的用户10通过增强现实头戴送受话器12观看图4的虚拟对象54的示意性平面视图。特别地，会聚调整系统40的控制器42可以看来似乎将虚拟对象54的深度从模拟沿着中心线70的第一虚拟距离DOBJ1的第一深度处的原始位置68改变成模拟第二虚拟距离DOBJ2的第二深度处的第二位置128。为了使虚拟对象54看来似乎改变深度，控制器42可以改变虚拟对象54的大小。在这种情况下，控制器42缩小虚拟对象54以使虚拟对象54似乎比当虚拟对象54在原始位置68处时离开更远。在控制器42看来似乎使虚拟对象54从更远离的深度移动到更靠近的深度的情况下，控制器42可以代替地从当虚拟对象54在原始位置68处时放大虚拟对象54。
在虚拟对象54改变深度时，用户的瞳孔72、74中的任一个和在第一虚拟距离DOBJ1处的虚拟对象54的参考点71之间的第一注视线或会聚向量78（其与中心线70成角度θ1）改变成用户的瞳孔72、74中的任一个和在第二虚拟距离DOBJ2处的虚拟对象54的参考点132之间的第二注视线或会聚向量130（其与中心线70成角度θ2）。沿着显示线80的显示距离线82和第二注视线130之间的距离被指示为X2（其可以被称为观看位置128处的虚拟对象54的第二横向瞳孔距离），并且可以基于相似三角形法则来确定。特别地，X2可以使用以下等式来确定：
Figure DEST_PATH_IMAGE002
（等式2）
因此，瞳孔由于虚拟对象54的深度的改变而在显示线80处移动的距离可以表达为沿着显示线80的显示距离线82和注视线78之间的距离（例如，X1）以及沿着显示线80的显示距离线82和第二注视线130之间的距离（例如，X2）之间的差，使用以下等式，其可以用XDIFF来指代：
Figure DEST_PATH_IMAGE003
（等式3）
因为图6中图示的改变深度的示例将虚拟对象54从较靠近的深度移动到较远离的深度，所以沿着显示线8 0的对应于较靠近的深度的显示距离线82和注视线78之间的距离（例如，X1）可以大于沿着显示线80的对应于较远离的深度的显示距离线82和第二注视线130之间的距离（例如，X2）。因此，两者之间的差（例如，XDIFF）可能为正。然而，当虚拟对象54从较远离的深度移动到较靠近的深度时，两者之间的差（例如，XDIFF）可能为负。因此，可以采用绝对值（如等式3中所示）以获得正值。
图7是根据本公开的实施例的在虚拟对象改变深度时的当通过增强现实头戴送受话器12观看时图6的虚拟对象54的用户的视角的示意性表示。会聚调整系统40的控制器42在左显示器22上显示从原始左边位置101移动到第二左边位置140的左虚拟对象100以供用户的左眼观看，并在右显示器24上显示从原始右边位置103移动到第二右边位置142的右虚拟对象102以供用户的右眼观看。增强现实头戴送受话器12将虚拟对象54显示为表现为用户10的正前面（例如，沿着图6的中心线70）。因此，控制器42可以显示比起外侧（例如，最左）边缘108更靠近左显示器22的内侧（例如，最右）边缘106的（在第二左边位置140处的）左虚拟对象100的参考点（例如，中心）144，并且可以显示比起外侧（例如，最右）边缘114更靠近右显示器24的内侧（例如，最左）边缘112的（在第二右边位置142处的）右虚拟对象102的参考点（例如，中心）146。此外，（在第二左边位置140和第二右边位置142处的）虚拟对象100、102的参考点144、146可以离开每个显示器22、24的内侧边缘106、112相等距离Y2。这是为了在用户的眼睛的注视线或会聚向量78的会聚点处显示虚拟对象100、102，因此使虚拟对象100、102能够作为单个虚拟对象（在图4中标识为虚拟对象54）出现。因此，控制器42可以将虚拟对象100、102显示为离开每个显示器22、24的内侧边缘106、112距离Y2，以使虚拟对象54看来似乎在用户的瞳孔72、74的注视线130的会聚点处的第二虚拟位置128处。
为了确定从每个显示器22、24的内侧边缘106、112到左虚拟对象100和右虚拟对象102的参考点144、146的距离Y2，控制器42可以确定从虚拟对象100、102的参考点104、110从每个显示器22、24的内侧边缘106、112的距离Y1。控制器42还可以确定沿着显示线80的显示距离线82和注视线78之间的距离X1与沿着显示线的显示距离线82和第二注视线130之间的距离X2之间的差XDIFF。特别地，在这种情况下，在控制器42使虚拟对象54似乎比当虚拟对象54在原始位置68处时离开更远的情况下，控制器42可以将左虚拟对象100和右虚拟对象102中的每个朝向每个显示器22、24的外边缘108、114移动。因此，控制器42可以将差XDIFF加到距离Y1以确定距离Y2。在控制器42使虚拟对象54似乎比当虚拟对象54在原始位置68处时更靠近的情况下，控制器42可以将左虚拟对象100和右虚拟对象102中的每个朝向每个显示器22、24的内边缘106、112移动。因此，控制器42可以从距离Y1中减去差XDIFF以确定距离Y2。
因此，控制器42可以将虚拟对象100、102显示为离开一位置差XDIFF，所述位置离开每个显示器22、24的内侧边缘106、112距离Y1，以使虚拟对象54看来似乎在用户的瞳孔72、74的注视线或会聚向量130的会聚点处在第二虚拟位置128处。
针对多个虚拟对象54，控制器42可以确定沿着显示线80的对应于较靠近深度的显示距离线82和注视线78之间的距离（例如，X1）与沿着显示线80的对应于较远离深度的显示距离线82和第二注视线130之间的距离（例如，X2）之间的差XDIFF，并且基于每个相应差XDIFF显示多个虚拟对象54的深度的改变。实际上，在一些情况下，如果在不同深度处的多个虚拟对象54改变它们的相应深度并且没有针对每个虚拟对象54确定和应用相应差XDIFF（例如，相同的差XDIFF被应用于每个虚拟对象54），则由于多个虚拟对象54中的至少一些的不自然和不现实的移位，用户10可能体验到多个虚拟对象54中的至少一些的“跳变”效果。因此，在控制器42接收到相应虚拟对象54正在改变深度的指示时，控制器42可以动态地分别针对每个虚拟对象54来确定差XDIFF。
此外，如所图示，控制器42缩小第二位置140、142处的虚拟对象100、102以使虚拟对象100、102似乎比当虚拟对象100、102在它们的相应原始位置101、103时离开更远。在控制器42看来似乎使虚拟对象100、102从较远离的深度移动到较靠近的深度的情况下，控制器42可以代替地从当虚拟对象100、102在它们的相应原始位置101、103时放大虚拟对象100、102。
横向距离XDIFF的确定可以取决于垂直于瞳孔间线76的中心线70和显示线80，因为可以假设用户10主要期待观看虚拟对象54。代替移动用户10的眼睛来看其他对象，可以假设用户10可以转动他或她的头来看其他对象。因此，在相同深度处的所有虚拟对象可以朝向相同方向横向移位相同的横向距离XDIFF。在不假设用户10主要期待观看虚拟对象54的情况下，控制器42可以对调整虚拟对象54的显示应用移位变形和/或逐步地调整虚拟对象54的显示，这是基于虚拟对象54的不同焦距和/或为了补偿虚拟对象54的不同焦距。
图8是根据本公开的实施例的用于调整虚拟对象54的显示的过程160的流程图。特别地，会聚调整系统40可以实施过程160来调整虚拟对象54的显示。过程160可以具有一个或多个软件应用的形式，该软件应用包括由至少一个合适的处理器（诸如控制器42的处理器44）经由瞳孔间距离确定引擎48和/或显示器调整引擎50执行的指令。所图示的过程160仅作为示例提供，并且在其他实施例中，根据本公开，过程160的某些所图示的步骤可能以其他顺序执行、被跳过、被重复或未示出。
如所图示，在过程块162中，处理器44接收一个或多个显示对象要被显示为从第一深度移动到第二深度的指示。例如，处理器44可以确定显示器20正在显示一个或多个虚拟对象54。处理器44可以接收输入图像数据52，其可以包括改变深度的一个或多个虚拟对象54。因此，处理器44可以确定一个或多个虚拟对象54正在将它们的相应深度从相应第一深度改变成相应第二深度。在附加或可替代实施例中，处理器44可以接收直接指示一个或多个虚拟对象54正在改变它们的相应深度的一个或多个输入信号（例如，一个或多个改变深度指示信号）。参考图6，处理器44可以接收虚拟对象54正在将深度从第一深度处的第一位置68改变成第二深度处的第二位置128的指示。
在过程块164中，处理器44确定用户的瞳孔间距离。例如，处理器44可以从图3中所示的瞳孔跟踪传感器26接收瞳孔位置信息，并指示瞳孔间距离确定引擎48基于瞳孔位置信息确定瞳孔间距离（例如，如图4中所示的IPD）。在附加或可替代实施例中，处理器44可以指示瞳孔间距离确定引擎48基于校准过程和/或执行回归分析或任何其他合适形式的估计分析来估计瞳孔间距离。也就是说，处理器44可以在显示器20上显示不同虚拟深度处的多个虚拟对象，并且提示用户10在用户10看到相应虚拟对象的单个图像相对双重图像时做出响应。通过将用户的眼睛的估计位置与在其处显示虚拟对象的不同虚拟深度进行三角测量，可以使用与看到单个图像对应的用户的响应来估计用户的眼睛的位置。处理器44可以基于用户的眼睛的估计位置来确定不同虚拟深度处的瞳孔间距离的集合。可以保存瞳孔间距离确定，并且处理器44可以执行回归分析或任何其他合适形式的估计分析以生成数学模型或表达式，该数学模型或表达式基于保存的瞳孔间距离确定的集合来预测取决于虚拟对象的虚拟深度的瞳孔间距离。瞳孔间距离确定引擎48可以动态地确定或估计用户10的瞳孔间距离，因为瞳孔间距离可以在用户10观看不同对象（虚拟或现实）时改变。因此，不断地、周期性地或在某些时间或兴趣点（例如，当显示不同的虚拟对象或现实对象进入视野时）更新用户10的瞳孔间距离可能是有用的。
在过程块166中，处理器44基于瞳孔间距离确定沿着显示器的与在第一深度处的所显示对象相关联的第一会聚向量和与在第二深度处的所显示对象相关联的第二会聚向量之间的横向距离。参考图6，第一会聚向量或注视线78与第一深度处的第一位置68处的虚拟对象54相关联。第二会聚向量或注视线130与第二深度处的第二位置128处的虚拟对象54相关联。
横向距离XDIFF是沿着显示线80的第一会聚向量78和第二会聚向量130之间的差。处理器44可以通过确定沿着显示线80的显示距离线82和第一会聚向量78之间的距离X1来确定横向距离XDIFF。特别地，处理器44可以通过将瞳孔间距离的一半（IPD/2）除以用户的瞳孔72、74之间的中心点C与第一位置68处的虚拟对象54的参考点（例如，中心）71之间的第一虚拟距离（DOBJ1）、并将结果乘以用户的瞳孔72、74中的任一个和显示线80之间的显示距离DDISP来确定X1，如以上等式1中所表达。处理器44可以通过将瞳孔间距离的一半（IPD/2）除以用户的瞳孔72、74之间的中心点C与第二位置128处的虚拟对象54的参考点（例如，中心）132之间的第二虚拟距离（DOBJ2）、并将结果乘以用户的瞳孔72、74中的任一个和显示线80之间的显示距离DDISP来确定X2，如以上等式2中所表达。在一些实施例中，可以采用X1和X2之间的差的绝对值来确保正值，如以上等式3中所示。处理器44可以将横向距离XDIFF保存在任何合适的存储器或存储设备（诸如存储器设备46）中。
在判定块168中，处理器44确定是否存在另一个要被显示为从相应第一深度移动到相应第二深度的所显示对象。如果是，则处理器44重复过程块166以基于瞳孔间距离确定沿着显示器20的与在相应第一深度处的附加虚拟对象相关联的第一会聚向量和与在相应第二深度处的附加虚拟对象相关联的第二会聚向量之间的横向距离XDIFF。因此，处理器44可以分别动态地确定每个虚拟对象54的差XDIFF，使得每个虚拟对象54可以对应于不同的横向差XDIFF值。
如果处理器44确定不存在另一个要被显示为从相应第一深度移动到相应第二深度的所显示对象，则处理器44在过程块170中基于相应横向距离将每个所显示对象显示为从相应第一深度移动到相应第二深度。特别地，处理器44可以将显示器22、24上显示的每个虚拟对象100、102的参考点144、146移位横向距离XDIFF。例如，如图7中所示，在第一深度比第二深度靠近用户10的情况下，处理器44可以将左虚拟对象100和右虚拟对象102中的每个朝向每个显示器22、24的外边缘108、114移动横向差XDIFF（因此将横向差XDIFF加到距离Y1以确定距离Y2）。在第一深度比第二深度远离用户10的情况下，处理器44可以将左虚拟对象100和右虚拟对象102中的每个朝向每个显示器22、24的内边缘106、112移动横向差XDIFF（因此从距离Y1中减去横向差XDIFF以确定距离Y2）。以此方式，处理器44可以实施过程160以调整虚拟对象54的显示，以使虚拟对象54出现在用户的瞳孔72、74的会聚向量130的会聚点处，从而减少或避免当观看虚拟对象54时可能的模糊或双重图像效果、不适、疲劳、持续的头痛和/或恶心，从而产生更好的用户体验。
本文中呈现和要求保护的技术被引用和应用于材料对象和实际性质的具体示例，其确然地改进了本技术领域，并且因此不是抽象的、无形的或纯粹理论的。此外，如果附到本说明书结尾的任何权利要求包含一个或多个被指定为“用于[执行]……[功能]的装置”或者“用于[执行]……[功能]的步骤”的元件，则旨在要根据35 U.S.C. 112（f）来解释这样的元件。然而，对于包含以任何其他方式指定的元件的任何权利要求，旨在不要根据35U.S.C. 112（f）来解释这样的元件。

Claims (21)

1.一种增强现实系统，包括：
增强现实头戴送受话器，包括：
左显示器，其配置为向用户的左眼显示左虚拟图像；
右显示器，其配置为向所述用户的右眼显示右虚拟图像，其中当所述用户观看所述左虚拟图像和所述右虚拟图像时，所述左虚拟图像和所述右虚拟图像对于所述用户而言出现为虚拟图像；和
瞳孔跟踪传感器，其配置为检测所述用户的瞳孔位置并提供所述用户的瞳孔位置的指示；以及
会聚调整系统，包括：
瞳孔间距离确定引擎，其配置为基于所述瞳孔位置的所述指示确定所述用户的瞳孔间距离；
显示调整引擎，其配置为基于所述瞳孔间距离和所述虚拟对象正在改变虚拟深度的指示来提供调整以显示所述虚拟图像的虚拟对象；和
处理器，其配置为基于来自所述显示调整引擎的所述调整来显示所述虚拟对象。
2.根据权利要求1所述的增强现实系统，其中所述虚拟对象是所述虚拟图像的多个虚拟对象中的一个，其中所述处理器被配置为：
确定所述多个虚拟对象中的每个虚拟对象是否正在改变虚拟深度；
基于所述虚拟对象中的每个的相应虚拟深度改变，接收针对所述多个虚拟对象中的所述虚拟对象中的每个的相应调整；以及
基于来自所述显示调整引擎的所述相应调整，显示所述多个虚拟对象中的所述虚拟对象中的每个。
3.根据权利要求1所述的增强现实系统，其中所述虚拟对象被配置为将虚拟深度从第一虚拟深度改变成第二虚拟深度，其中所述处理器被配置为通过在所述左显示器上显示左虚拟对象并且在所述右显示器上显示右虚拟对象来显示所述虚拟对象，其中所述左虚拟对象和右虚拟对象在所述用户观看所述左虚拟对象和所述右虚拟对象时对于所述用户而言出现为所述虚拟对象。
4.根据权利要求3所述的增强现实系统，其中所述调整包括距离，其中所述处理器被配置为通过将所述左虚拟对象和所述右虚拟对象横向地移位所述距离来显示所述虚拟对象。
5.根据权利要求4所述的增强现实系统，其中所述处理器被配置为当所述第二虚拟深度大于所述第一虚拟深度时，通过将所述左虚拟对象朝向所述左显示器的外侧边缘横向地移位所述距离来显示所述虚拟对象。
6.根据权利要求4所述的增强现实系统，其中所述处理器被配置为当所述第二虚拟深度小于所述第一虚拟深度时，通过将所述左虚拟对象朝向所述左显示器的内侧边缘横向地移位所述距离来显示所述虚拟对象。
7.根据权利要求4所述的增强现实系统，其中所述处理器被配置为当所述第二虚拟深度大于所述第一虚拟深度时，通过将所述右虚拟对象朝向所述右显示器的外侧边缘横向地移位所述距离来显示所述虚拟对象。
8.根据权利要求4所述的增强现实系统，其中所述处理器被配置为当所述第二虚拟深度小于所述第一虚拟深度时，通过将所述右虚拟对象朝向所述右显示器的内侧边缘横向地移位所述距离来显示所述虚拟对象。
9.一种有形的、非暂时性的、计算机可读介质，包括用于调整虚拟对象的显示的指令，所述指令当由处理器执行时使得所述处理器：
接收多个虚拟对象要被显示为从相应第一虚拟深度移动到相应第二虚拟深度的指示；
确定瞳孔间距离；
基于所述瞳孔间距离动态地确定与在所述相应第一虚拟深度处的所述多个虚拟对象中的每个虚拟对象相关联的相应第一注视线和与在所述相应第二虚拟深度处的所述虚拟对象相关联的相应第二注视线之间的相应横向距离；
基于所述相应横向距离将所述多个虚拟对象中的每个虚拟对象显示为从所述相应第一虚拟深度移动到所述相应第二虚拟深度。
10.根据权利要求9所述的有形的、非暂时性的、计算机可读介质，其中使得所述处理器动态地确定所述相应横向距离的所述指令包括使得所述处理器：
将所述瞳孔间距离的一半除以用户的瞳孔之间的中心点与所述第一相应虚拟深度处的每个虚拟对象的参考点之间的相应第一虚拟距离，以确定相应第一商；以及
将所述相应第一商乘以所述用户的瞳孔和增强现实头戴送受话器的显示器之间的相应第一显示距离以确定相应第一横向瞳孔距离。
11.根据权利要求10所述的有形的、非暂时性的、计算机可读介质，其中所述参考点是所述相应虚拟对象的近似中心点。
12.根据权利要求10所述的有形的、非暂时性的、计算机可读介质，其中使得所述处理器动态地确定所述相应横向距离的所述指令包括使得所述处理器：
将所述瞳孔间距离的一半除以用户的瞳孔之间的所述中心点与所述第二相应虚拟深度处的每个虚拟对象的所述参考点之间的相应第二虚拟距离，以确定相应第二商；以及
将所述相应第二商乘以所述用户的瞳孔和所述增强现实头戴送受话器的所述显示器之间的相应第二显示距离以确定相应第二横向瞳孔距离。
13.根据权利要求12所述的有形的、非暂时性的、计算机可读介质，其中相应横向距离包括所述相应第一横向瞳孔距离与所述相应第二横向瞳孔距离之间的差。
14.一种用于调整虚拟对象的显示的方法，包括：
接收一个或多个所显示对象要被显示为从第一虚拟深度移动到第二虚拟深度的指示；
确定瞳孔间距离；
基于所述瞳孔间距离确定与在所述第一虚拟深度处的所述一个或多个所显示对象中的所显示对象相关联的第一会聚向量和与在所述第二虚拟深度处的所述所显示对象相关联的第二会聚向量之间的横向距离；以及
基于所述横向距离将所述所显示对象显示为从所述第一虚拟深度移动到所述第二虚拟深度。
15.根据权利要求14所述的方法，其中所述第一会聚向量穿过用户的眼睛和在所述第一虚拟深度处的所述所显示对象的参考点，其中所述第二会聚向量穿过所述用户的所述眼睛到在所述第二虚拟深度处的所述所显示对象的所述参考点。
16.根据权利要求14所述的方法，其中在增强现实头戴送受话器的显示器处测量所述横向距离。
17.根据权利要求14所述的方法，其中所述所显示对象在增强现实头戴送受话器的左显示器上部分地显示为左边所显示对象，并且在所述增强现实头戴送受话器的右显示器上部分地显示为右边所显示对象。
18.根据权利要求17所述的方法，其中将所述所显示对象显示为从所述第一虚拟深度移动到所述第二虚拟深度包括当所述第二虚拟深度大于所述第一虚拟深度时，将所述左边所显示对象朝向所述左显示器的外侧边缘横向地移位所述横向距离。
19.根据权利要求17所述的方法，其中将所述所显示对象显示为从所述第一虚拟深度移动到所述第二虚拟深度包括当所述第二虚拟深度小于所述第一虚拟深度时，将所述左边所显示对象朝向所述左显示器的内侧边缘横向地移位所述横向距离。
20.根据权利要求17所述的方法，其中将所述所显示对象显示为从所述第一虚拟深度移动到所述第二虚拟深度包括当所述第二虚拟深度大于所述第一虚拟深度时，将所述右边所显示对象朝向所述右显示器的外侧边缘横向地移位所述横向距离。
21.根据权利要求17所述的方法，其中将所述所显示对象显示为从所述第一虚拟深度移动到所述第二虚拟深度包括当所述第二虚拟深度小于所述第一虚拟深度时，将所述右边所显示对象朝向所述右显示器的内侧边缘横向地移位所述横向距离。
CN201980081841.0A 2018-12-10 2019-12-09 增强现实头戴送受话器中的动态会聚调整 Active CN113196136B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862777545P 2018-12-10 2018-12-10
US62/777545 2018-12-10
US16/226471 2018-12-19
US16/226,471 US10778953B2 (en) 2018-12-10 2018-12-19 Dynamic convergence adjustment in augmented reality headsets
PCT/US2019/065184 WO2020123357A1 (en) 2018-12-10 2019-12-09 Dynamic convergence adjustment in virtual reality headsets

Publications (2)

Publication Number Publication Date
CN113196136A true CN113196136A (zh) 2021-07-30
CN113196136B CN113196136B (zh) 2024-05-07

Family

ID=70970302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980081841.0A Active CN113196136B (zh) 2018-12-10 2019-12-09 增强现实头戴送受话器中的动态会聚调整

Country Status (8)

Country Link
US (3) US10778953B2 (zh)
EP (1) EP3894935A1 (zh)
JP (1) JP7491926B2 (zh)
KR (1) KR20210100690A (zh)
CN (1) CN113196136B (zh)
CA (1) CA3121182A1 (zh)
SG (1) SG11202105492TA (zh)
WO (1) WO2020123357A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
US20200275087A1 (en) * 2019-02-25 2020-08-27 Kazuhiro Asakura Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance
CN111929893B (zh) * 2020-07-24 2022-11-04 闪耀现实(无锡)科技有限公司 一种增强现实显示装置及其设备
US11249314B1 (en) * 2020-08-04 2022-02-15 Htc Corporation Method for switching input devices, head-mounted display and computer readable storage medium
US11808939B2 (en) * 2021-11-30 2023-11-07 Heru Inc. Pupil characteristic detection and spectacles correction/adjustment based thereon

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070248260A1 (en) * 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
CN104641635A (zh) * 2012-05-09 2015-05-20 诺基亚公司 用于提供对显示信息的聚焦校正的方法和装置
CN105992965A (zh) * 2014-02-19 2016-10-05 微软技术许可有限责任公司 响应于焦点移位的立体显示

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
AU2011348122A1 (en) 2010-12-24 2013-07-11 Magic Leap Inc. An ergonomic head mounted display device and optical system
JP6225546B2 (ja) 2013-08-02 2017-11-08 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
WO2015184409A1 (en) 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US10397539B2 (en) * 2014-08-25 2019-08-27 Schepens Eye Research Institute Compensating 3D stereoscopic imagery
US9489044B2 (en) 2014-11-07 2016-11-08 Eye Labs, LLC Visual stabilization system for head-mounted displays
EP3234920A1 (en) 2014-12-23 2017-10-25 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
CN105072436A (zh) 2015-08-28 2015-11-18 胡东海 虚拟现实及增强现实成像景深自动调节方法以及调节装置
US10147235B2 (en) 2015-12-10 2018-12-04 Microsoft Technology Licensing, Llc AR display with adjustable stereo overlap zone
CN105629475A (zh) 2016-03-16 2016-06-01 成都理想境界科技有限公司 一种增强现实显示设备
KR102379691B1 (ko) 2016-04-08 2022-03-25 매직 립, 인코포레이티드 가변 포커스 렌즈 엘리먼트들을 가진 증강 현실 시스템들 및 방법들
IL264690B (en) * 2016-08-11 2022-06-01 Magic Leap Inc Automatic positioning of a virtual object in 3D space
US9983412B1 (en) 2017-02-02 2018-05-29 The University Of North Carolina At Chapel Hill Wide field of view augmented reality see through head mountable display with distance accommodation
US10488920B2 (en) 2017-06-02 2019-11-26 Htc Corporation Immersive headset system and control method thereof
CN109491087B (zh) 2017-09-11 2022-09-20 杜比实验室特许公司 用于ar/vr/mr的模块化拆卸式可穿戴装置
CN207663150U (zh) 2017-12-25 2018-07-27 歌尔科技有限公司 激光束扫描显示设备及增强现实眼镜
CN107861248B (zh) 2017-12-25 2023-12-26 歌尔光学科技有限公司 激光束扫描显示设备及增强现实眼镜

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070248260A1 (en) * 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
CN104641635A (zh) * 2012-05-09 2015-05-20 诺基亚公司 用于提供对显示信息的聚焦校正的方法和装置
CN105992965A (zh) * 2014-02-19 2016-10-05 微软技术许可有限责任公司 响应于焦点移位的立体显示

Also Published As

Publication number Publication date
US20210400250A1 (en) 2021-12-23
JP2022511571A (ja) 2022-01-31
US20200413023A1 (en) 2020-12-31
JP7491926B2 (ja) 2024-05-28
US11736674B2 (en) 2023-08-22
US10778953B2 (en) 2020-09-15
US20200186775A1 (en) 2020-06-11
US11122249B2 (en) 2021-09-14
KR20210100690A (ko) 2021-08-17
SG11202105492TA (en) 2021-06-29
WO2020123357A1 (en) 2020-06-18
CN113196136B (zh) 2024-05-07
EP3894935A1 (en) 2021-10-20
CA3121182A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
CN113196136B (zh) 增强现实头戴送受话器中的动态会聚调整
WO2018008232A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20150187115A1 (en) Dynamically adjustable 3d goggles
JP2019091051A (ja) 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法
EP3409013B1 (en) Viewing device adjustment based on eye accommodation in relation to a display
US10321820B1 (en) Measuring optical properties of an eyewear device
WO2015167905A2 (en) Stereoscopic rendering to eye positions
US10553014B2 (en) Image generating method, device and computer executable non-volatile storage medium
US9681122B2 (en) Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort
US11570426B2 (en) Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance
US11474594B2 (en) Virtual reality display method, device and apparatus, and computer storage medium
JP2015164235A (ja) 画像処理装置、方法、プログラム、および記録媒体
US11543655B1 (en) Rendering for multi-focus display systems
US11237413B1 (en) Multi-focal display based on polarization switches and geometric phase lenses
US10602116B2 (en) Information processing apparatus, information processing method, and program for performing display control
CN112578558B (zh) 用于头戴式装置的、用于更新眼睛追踪模型的方法和系统
JP3325323B2 (ja) 表示装置
US20170302904A1 (en) Input/output device, input/output program, and input/output method
KR20230065846A (ko) 스마트안경
EP4167826A1 (en) Visual assistance
US20170310944A1 (en) Input/output device, input/output program, and input/output method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40058405

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant