CN113010125B - 方法、计算机程序产品和双目式头戴装置控制器 - Google Patents

方法、计算机程序产品和双目式头戴装置控制器 Download PDF

Info

Publication number
CN113010125B
CN113010125B CN202011486973.2A CN202011486973A CN113010125B CN 113010125 B CN113010125 B CN 113010125B CN 202011486973 A CN202011486973 A CN 202011486973A CN 113010125 B CN113010125 B CN 113010125B
Authority
CN
China
Prior art keywords
user
computer
image data
per
generated image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011486973.2A
Other languages
English (en)
Other versions
CN113010125A (zh
Inventor
马丽亚·戈登
埃里克·林登
理查德·伦达尔
杰弗里·库珀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Publication of CN113010125A publication Critical patent/CN113010125A/zh
Application granted granted Critical
Publication of CN113010125B publication Critical patent/CN113010125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在假设用户(U)的左眼和右眼分别相对于双目式头戴装置(100)的第一显示器和第二显示器(110，120)位于第一位置和第二位置(PLE，PRE)的情况下，将计算机生成的图像数据呈现在该第一显示器和该第二显示器(110，120)上。呈现该图像数据(DL，DR)的至少一个更新版本，该至少一个更新版本是在假设该用户的左眼和右眼中的至少一只眼睛在至少一个空间维度(x，y，z)上位于分别与该第一位置和该第二位置(PLE，PRE)不同的位置的情况下被渲染的。响应于此，接收表示以下各项中的任一项的用户生成的反馈信号(sUFB)：该计算机生成的图像数据(DL，DR)的更新版本相对于先前呈现的计算机生成的图像数据(DL，DR)的质量度量；或者确认命令。呈现该计算机生成的图像数据(DL，DR)的更新版本的步骤和接收该用户生成的反馈信号(sUFB)的步骤被重复，直到接收到该确认命令为止。基于该用户生成的反馈信号(sUFB)来定义该第一位置和该第二位置(PLE，PRE)。

Description

方法、计算机程序产品和双目式头戴装置控制器
技术领域
本发明总体上涉及经由头戴式显示器向用户呈现虚拟或增强现实图形。特别地，本发明涉及一种用于对计算机图形呈现进行校准以使计算机图形与佩戴双目式头戴装置的用户的具体眼睛位置相匹配的方法以及一种被配置为实施这种方法的控制器。本发明还涉及一种计算机程序产品和一种非易失性数据载体。
背景技术
头戴式显示器(HMD)包含两个显示器——用户双眼中的每只眼睛一个显示器。然而，从系统的角度来看，HMD可以被视为包含两个虚拟相机，通过这两个虚拟相机来观察虚拟环境。在此，一个虚拟相机代表用户的右眼，而另一个虚拟相机代表用户的左眼。为了渲染图形并以完全一致且连贯的方式将该图形呈现给用户，必须将每个虚拟相机定位在用户的对应眼睛实际所在的位置。为了使虚拟对象在呈现给用户的环境中出现在它们应当出现的位置，这是必要条件。
在单焦平面头戴装置中——当今大多数HMD都是这种类型的头戴装置——不正确的虚拟相机位置会导致被渲染的对象在至少一个维度(即竖直、水平和/或深度方向)上始终偏移。通常，在封闭的虚拟现实头戴装置中，这不是引起关注的主要原因。然而，在用户应该与虚拟环境进行交互(例如在近眼交互中使用他/她的手)的应用场合中，位置失配的风险会导致错误的运动、眼睛疲劳和/或眼睛疲倦。
在增强现实(AR)应用场合中，其中用户通过透视显示器观察现实世界以及各种计算机渲染的虚拟对象，如果虚拟相机位置相对于用户眼睛的位置是偏离的，则用户将不会感受到这些虚拟对象是与现实世界对象对准的觉察。
在具有两个焦平面的AR HMD中，计算机渲染的内容或者被显示在近焦平面或远焦平面上。这增强了用户对深度的印象。为了进一步增进这种体验，可以应用所谓的变焦技术。变焦显示器具有单个焦平面，该单个焦平面根据用户当前正将视线焦点放在哪里来调整其焦距。这两种类型的多焦距技术都存在以上关于单个焦平面的失准所描述的问题。除此之外，如果在多焦距设计中虚拟相机位置不正确，则当焦平面的位置变化时，虚拟内容也将会四处移动。这在图9a和图9b中进行展示，并且将在以下的详细描述中进行讨论。
单焦平面显示器与变焦平面显示器之间的区别在于，对于用户聚焦在的给定立体距离——所谓的虚拟图像距离——在变焦情况下，焦距适应于虚拟图像距离；而在单焦情况下，焦距保持不变。即使用户可能没有有清楚地知道这种差异，但随着时间的推移，与单焦设计进行交互的用户通常将会感受到眼睛疲倦和眼睛疲劳。
取决于虚拟相机相对于眼睛位置偏移的空间方向，将发生虚拟内容的不同失准和运动。例如，如果水平和/或竖直位置不正确，则将在竖直和/或水平方向上发生失准和运动。相反，如果位置在深度上不正确，则失准的(多个)方向将取决于所渲染的虚拟对象相对于眼睛在屏幕上显示的位置。虚拟相机的错误空间位置也可以按照眼睛的不正确瞳孔间距离(IPD)来表示，即，表示为眼睛之间的距离矢量。
对于用户而言，不正确的虚拟相机位置会以失准的虚拟对象的形式变得明显。在变焦或多焦平面设计中，当焦平面变化时，不正确的虚拟相机位置会将自身表示为虚拟对象的无意移动。参考图5和图6，我们将在以下描述这两种效果。
当虚拟相机的位置对于用户的双眼都是正确的时，可以在不同的距离上渲染两个虚拟对象以使这两个虚拟对象彼此完全重叠。例如，可以在较短距离上渲染第一立方体，以使用户看不见在较长距离处渲染的第二立方体的视图。如果较短距离和较长距离的大小与(例如，呈第一立方体500/501和第二立方体600/601的形式的)两个虚拟对象的尺寸之间存在特定的关系，则可以将虚拟对象渲染为可被用户觉察为彼此完美重叠的。然而，如果虚拟相机的位置中的至少一个位置相对于显示器在水平方向x上是不正确的，则在虚拟对象500与501之间将存在水平失准dx。类似地，如果虚拟相机的位置中的至少一个位置相对于显示器在竖直方向y上是不正确的，则在虚拟对象600与601之间将存在竖直失准dy。
如果在渲染虚拟图形时使用的模型假定眼睛的旋转中心与瞳孔之间的距离是不正确的，则用户将感受到周边视场中的失准。以下将在参考图4和图8的详细描述中讨论该效果。
US 10,416,766描述了一种用于改变VR和AR系统中的聚焦和指示校正的解决方案。在此，HMD包括被配置为发出图像光的电子显示器、向图像光提供光学校正的光学组件、眼睛跟踪系统以及变焦模块。该光学组件包括背部光学元件和耦接组件，该背部光学元件被配置为接收来自电子显示器的图像光，该耦接组件被配置为将前部光学元件耦接到光学组件内的某个位置，使得前部光学元件接收由背部光学元件透射的光。光学校正部分地由可更换的前部光学元件的光学特性确定。眼睛跟踪系统确定HMD的用户的第一只眼睛的眼睛跟踪信息。变焦模块基于眼睛跟踪信息和光学校正来调整在电子显示器上显示的图像的聚焦。
US 2019/0179409公开了一种HMD设计，该HMD设计为用户提供宽视场和高图像分辨率，同时还为具有足够眼睛间距的眼睛布局提供较大的出射瞳径。解决了各个用户关于一般手头任务、视觉聚焦以及他们视场内的各个感兴趣区域的各种需求。特别地，在HMD的适应期间，可以向用户呈现参考图像，其中，对所谓的微型显示器位置进行调整，并且采用用户反馈来建立优选位置。
前述文档涉及VR/AR系统的不同方面，并且涉及如何调整HMD以适应特定用户。然而，仍没有任何解决方案使得用户能够向系统通告知为了最小化可避免的渲染伪像并减轻所呈现图形的任何眼睛疲劳行为所要使用的虚拟相机位置。
发明内容
因此，本发明的目的是提供一种高效且用户友好的解决方案，该解决方案用于针对用户的特定眼睛位置来校准VR/AR系统中的图形渲染引擎，经由该双目式头戴装置向用户呈现VR/AR环境。
根据本发明的一个方面，该目的通过一种在至少一个处理器中执行的方法来实现，该方法包括在双目式头戴装置的第一显示器和第二显示器上呈现计算机生成的图像数据。在假设用户的左眼相对于第一显示器位于第一位置并且用户的右眼相对于第二显示器位于第二位置的情况下，对计算机生成的图像数据进行渲染。进一步假设计算机生成的图像数据包含分别在第一显示器和第二显示器上示出的至少一个图形元素。该方法还包括呈现计算机生成的图像数据的至少一个更新版本，该至少一个更新版本是在假设用户的左眼和/或右眼位于在至少一个空间维度上分别与第一位置和第二位置不同的位置的情况下被渲染的。接收用户生成的反馈信号，该用户生成的反馈信号包含质量度量或确认命令中的任一项。该质量度量表示用户对计算机生成的图像数据的更新版本相对于先前在第一显示器和第二显示器上呈现的计算机生成的图像数据的觉察。该质量度量可以例如表示计算机生成的图像数据与其更新版本之间的失准程度，和/或表示计算机生成的图像数据与其更新版本之间的失真程度(a degree of skewedness)。可以经由响应于对按钮、按键或触摸传感器的操纵、控制定点设备、与手势界面的交互和/或与语音界面的交互而产生的用户输入来生成用户生成的反馈信号。对呈现计算机生成的图像数据的更新版本的步骤和接收用户生成的反馈信号的步骤进行循环，直到接收到包含确认命令的用户生成的反馈信号为止。基于用户生成的反馈信号，将用户眼睛的第一位置和第二位置优选地定义为在接收到确认命令之前最新假设的对应位置。
该方法是有利的，因为能引导用户以直观且省时的方式识别出虚拟相机的合适位置。
根据本发明这一方面的一个实施例，该方法包括在接收到用户生成的反馈信号之前呈现计算机生成的图像数据的两个或更多个更新版本。例如，可以呈现计算机生成的图像数据的反复更新的版本，并且用户经由反馈信号指示这些更新是否开始产生改进的结果，或反之亦然。如果能相对直接地预见虚拟相机位置的哪些修改将得到改善的用户体验，则这可能是有利的。
根据本发明的这一方面的另一实施例，对计算机生成的图像数据的更新版本的后继呈现是基于接收到的质量度量，其方式为使得该后继呈现可望导致之后接收到的包含进一步改进的质量度量或确认命令的用户生成的反馈信号。换句话说，生成计算机生成的图像数据的这种更新版本，该更新版本被估计为改进用户眼睛位置与虚拟相机位置之间的匹配。可替代地，对计算机生成的图像数据的更新版本的后继呈现可以替代地基于质量度量，其方式为使得该后继呈现可望导致之后接收到的包含较低质量度量的用户生成的反馈信号。该策略可以适用于调查点的位置，超出该点的位置将不再得到进一步改善。
根据本发明的这一方面的又另一实施例，基于在接收到确认命令之前渲染计算机生成的图像数据时假设的最新第一位置，为用户指配估计的左眼位置；并且基于在接收到确认命令之前渲染计算机生成的图像数据时假设的最新第二位置，为用户指配估计的右眼位置。这意味着在确定右眼位置之前确定了左眼位置。当然，可以以相反的顺序一样好地确定眼睛位置。在任何情况下，针对用户的左眼和右眼中的一只眼睛，对呈现计算机生成的图像数据的更新版本的步骤和接收用户生成的反馈信号的步骤进行循环，直到接收到包含确认命令的用户生成的反馈信号为止；然后针对用户的左眼和右眼中的另一只眼睛，开始对呈现计算机生成的图像数据的更新版本的步骤和接收用户生成的反馈信号的步骤进行循环。这种连续方法在某些情况下可能是有益的。
例如，可以以时间并行的方式为用户的左眼和右眼呈现计算机生成的图像数据。可替代地，可以以时间交错的方式为用户的左眼和右眼呈现计算机生成的图像数据，其中，针对用户的左眼和右眼中的第一只眼睛，完成对呈现计算机生成的图像数据的更新版本和接收用户生成的反馈信号的至少一次循环，并且此后，针对用户的左眼和右眼中的第二只眼睛，完成对呈现计算机生成的图像数据的更新版本和接收用户生成的反馈信号的至少一次循环。然后，针对第一只眼睛，再次完成对呈现计算机生成的图像数据的更新版本和接收用户生成的反馈信号的至少一次循环。取决于必须将虚拟相机位置调整多少，此策略可能是有利的。
呈现计算机生成的图像数据的至少一个更新版本的步骤可以包括在第一空间维度上的分别与第一位置和第二位置不同的位置呈现图形元素。类似地，呈现计算机生成的图像数据的至少一个更新版本的步骤可以涉及在正交于第一空间维度的第二空间维度上的分别与第一位置和第二位置不同的位置呈现图形元素。这些策略是在水平方向和竖直方向上为虚拟相机寻找合适位置的内容丰富的方法。
根据本发明的这一方面的另一实施例，在第一显示器和第二显示器上呈现计算机生成的图像数据的步骤包括：分别在第一显示器和第二显示器上的第一焦平面处呈现第一图形元素；并且分别在第一显示器和第二显示器上的第二焦平面处呈现第二图形元素。在此，用户生成的反馈信号中的质量度量被配置为：指示分别在第一焦平面和第二焦平面处对第一图形元素和第二图形元素的呈现是否被用户觉察为第一图形元素和第二图形元素的位置变化。因此，可以在多焦距实施方式中调查眼睛位置与虚拟相机位置之间的水平失准和竖直失准。
根据本发明的这一方面的实施例，呈现给用户的图形元素可以具有在分别跨第一显示器和第二显示器中的每个显示器在两个维度上延伸的直线构成的形状或另一种类型的形状。如果呈现多个图形元素，其中每个图形元素具有直线构成的形状并在两个维度上延伸，则该方法可以包括将该多个图形元素呈现为例如呈水平行、竖直行形式的至少一个阵列的元素或元素矩阵。此外，在这种情况下，该方法可以包括将该多个图形元素呈现为关于至少两个相互正交的轴线镜像对称的几何标志中的元素。即，这有助于确定虚拟相机位置与眼睛位置之间的水平偏移和竖直偏移。
根据本发明的这一方面的又另一实施例，在接收到确认命令之后，该方法进一步包括计算估计的用户的左眼位置与右眼位置之间的估计的瞳孔间距离(IPD)。该估计的IPD被计算为第一坐标与第二坐标之间的绝对距离，其中，第一坐标表示用户的左眼的瞳孔相对于第一显示器的第一位置，并且第二坐标表示用户的右眼的瞳孔相对于第二显示器的第二位置。当考虑到用户眼睛之间的空间相互关系时，该估计的IPD可能是实践中的度量。
根据本发明的这一方面的再一个实施例，在第一显示器和第二显示器上呈现计算机生成的图像数据的步骤包括在第一显示器和第二显示器上在一个且相同的第一焦距上呈现图形元素的二维图案。该二维图案是在假设针对用户的左眼和右眼中的至少一只眼睛，眼睛旋转中心的位置与用户的眼睛的瞳孔的位置相隔中心-瞳孔距离的情况下呈现的。在此，质量度量反映的是：在用户将他/她的视线聚焦在二维图案中的预定点上时，该用户觉察到的在第一显示器上呈现的二维图案与在第二显示器上呈现的二维图案之间的失配程度。响应于质量度量，呈现计算机生成的图像数据的更新版本的步骤包括在假设中心-瞳孔距离不同于(例如，稍短于)针对该距离的先前指配度量的情况下呈现图形元素的二维图案。该方法在不同的所假设中心-瞳孔距离下继续以重复更新的二维图案来执行，直到接收到用户生成的反馈信号为止。在接收到该信号之后，该方法包括将针对用户的左眼和右眼中的至少一只眼睛的估计的中心-瞳孔距离指配为在接收到确认命令之前最新假设的中心-瞳孔距离。因此，可以以高效且直接的方式确定用户的中心-瞳孔距离。
根据本发明的这一方面的另一实施例，以时间并行的方式或以时间交错的方式为用户的左眼和右眼呈现计算机生成的图像数据。在后一种情况下，针对第一只眼睛，完成对呈现计算机生成的图像数据的更新版本和接收用户生成的反馈信号的至少一次循环，并且此后，针对第二只眼睛，完成对呈现计算机生成的图像数据的更新版本和接收用户生成的反馈信号的至少一次循环。然后，针对第一只眼睛，再次完成对呈现计算机生成的图像数据的更新版本和接收用户生成的反馈信号的至少一次循环。如果一开始假设的眼睛位置与实际眼睛位置之间的距离相对较大，则这种交替进行的方法可能特别有利。
根据本发明的这一方面的再一个实施例，在第一显示器和第二显示器上呈现计算机生成的图像数据的步骤涉及在第一显示器和第二显示器上在一个且相同的第二焦距上呈现图形元素的二维图案，该焦距不同于以上所提及的相同的第一焦距。该二维图案是在假设针对用户的左眼和右眼中的至少一只眼睛，眼睛旋转中心的位置与用户的眼睛的瞳孔的位置相隔所指配的估计的中心-瞳孔距离的情况下呈现的。响应于质量度量，呈现计算机生成的图像数据的更新版本的步骤包括在假设中心-瞳孔距离不同于先前指配的估计的中心-瞳孔距离的情况下呈现图形元素的二维图案。该方法继续在不同的所假设中心-瞳孔距离下重复更新二维图案，直到接收到用户生成的反馈信号为止。在接收到确认命令之后，为用户的左眼和右眼中的至少一只眼睛指配增强的估计的中心-瞳孔距离，该增强的估计的中心-瞳孔距离被设置为在接收到确认命令之前最新假设的值。因此，可以关于另一焦距精细地校准一开始指配的中心-瞳孔距离。
根据本发明的另一个方面，该目的通过计算机程序产品来实现，该计算机程序产品可加载到通信地连接到至少一个处理器的非易失性数据载体中。该计算机程序产品包含软件，该软件被配置为当在该至少一个处理电路系统上运行该计算机程序产品时使该至少一个处理电路系统在双目式头戴装置的第一显示器和第二显示器上呈现计算机生成的图像数据，该计算机生成的图像数据是在假设用户的左眼相对于第一显示器位于第一位置并且用户的右眼相对于第二显示器位于第二位置的情况下被渲染的。计算机生成的图像数据包含分别在第一显示器和第二显示器上示出的至少一个图形元素。当在该至少一个处理电路系统上运行该计算机程序产品时，该软件进一步被配置为使该至少一个处理电路系统呈现计算机生成的图像数据的至少一个更新版本，该至少一个更新版本是在假设用户的左眼和右眼中的至少一只眼睛在至少一个空间维度上位于分别与第一位置和第二位置不同的位置的情况下被渲染的。此外，当在该至少一个处理电路系统上运行该计算机程序产品时，该软件被配置为接收用户生成的反馈信号，该反馈信号包含质量度量或确认命令中的任一项。该质量度量表示用户对计算机生成的图像数据的更新版本相对于先前在第一显示器和第二显示器上呈现的计算机生成的图像数据的觉察如何。当在该至少一个处理电路系统上运行该计算机程序产品时，该软件被配置为对呈现计算机生成的图像数据的更新版本的步骤和接收用户生成的反馈信号的步骤进行循环，直到接收到包含确认命令的用户生成的反馈信号为止。最后，当在该至少一个处理电路系统上运行该计算机程序产品时，该软件被配置为基于用户生成的反馈信号分别定义针对用户的左眼和右眼的第一位置和第二位置。该计算机程序产品和非易失性数据载体的优点从前面参考在至少一个处理器中执行的方法的讨论中变得显而易见。
根据本发明的又另一方面，上述目的是通过包含至少一个处理器的双目式头戴装置控制器来实现的，该至少一个处理器被配置为：在双目式头戴装置的第一显示器和第二显示器上呈现计算机生成的图像数据，该计算机生成的图像数据是在假设用户的左眼相对于第一显示器位于第一位置并且用户的右眼相对于第二显示器位于第二位置的情况下被渲染的，并且该计算机生成的图像数据包括分别在第一显示器和第二显示器上示出的至少一个图形元素；呈现该计算机生成的图像数据的至少一个更新版本，该至少一个更新版本是在假设用户的左眼和右眼中的至少一只眼睛在至少一个空间维度上位于分别与第一位置和第二位置不同的位置的情况下被渲染的；接收用户生成的反馈信号，该用户生成的反馈信号包含以下各项中的任一项：该计算机生成的图像数据的更新版本相对于先前在第一显示器和第二显示器上呈现的计算机生成的图像数据的质量度量，或者确认命令；对呈现该计算机生成的图像数据的更新版本的步骤和接收用户生成的反馈信号的步骤进行循环，直到接收到包含确认命令的用户生成的反馈信号为止；并且基于用户生成的反馈信号来定义第一位置和第二位置。通过前面参考所提出的方法进行的讨论，该双目式头戴装置控制器的优点是显而易见的。
根据以下描述和从属权利要求，本发明的进一步的优点、有益特征、以及应用将变得显而易见。
附图说明
现在将通过作为示例被披露的优选实施例并参考附图更详细地解释本发明。
图1展示了可以在其中实施本发明的呈HMD形式的双目式头戴装置；
图2示出了关于根据本发明的一个实施例的双目式头戴装置控制器的框图；
图3示意性地展示了用户的眼睛相对于HMD中的一对显示器的位置；
图4展示了用户的眼睛旋转中心与同一只眼睛的瞳孔之间的距离；
图5示出了一对虚拟图形立方体，该对虚拟图形立方体展示了在渲染虚拟图形时水平虚拟相机位置不正确的效果；
图6示出了一对虚拟图形立方体，该对虚拟图形立方体展示了在渲染虚拟图形时竖直虚拟相机位置不正确的效果；
图7a至图7b展示了在渲染虚拟图形时由于虚拟相机在深度方向上的位置不正确而产生的效果；
图8展示了在渲染虚拟图形时眼睛旋转中心与瞳孔之间的假设距离不正确的效果；
图9a至图9b展示了在渲染虚拟图形时由于瞳孔间距离不正确而产生的效果；
图10a至图10b展示了在双焦平面设计中渲染虚拟图形时由于水平和/或竖直位置不正确而产生的效果；
图11示出了根据本发明的一个实施例的多个图形元素，该多个图形元素要被呈现给用户，以测试虚拟相机在水平方向上的位置是否正确；
图12示出了根据本发明的一个实施例的多个图形元素，该多个图形元素要被呈现给用户，以测试虚拟相机在竖直方向上的位置是否正确；
图13a至图14b示出了根据本发明的实施例的图形元素的不同示例，这些图形元素要被呈现给用户，以测试虚拟相机在水平方向和竖直方向上的位置是否正确；以及
图15通过流程图展示了根据本发明的用于将虚拟相机位置校准至用户眼睛的实际位置的一般方法。
具体实施方式
图1展示了可以在其中实施本发明的呈HMD形式的双目式头戴装置100。所展示的双目式头戴装置100在此是最适用于VR应用场合的封闭类型的双目式头戴装置。然而，本发明当然同样很好地适用于其他类型的双目式头戴装置，例如主要旨在用于AR应用场合的透视型的双目式头戴装置。
在任何情况下，双目式头戴装置100具有被配置为分别向用户U的左眼和右眼呈现视觉信息的第一显示器110和第二显示器120。该视觉信息进而可以基于如下所描述的计算机生成的图像数据。
图2示出了关于根据本发明的一个实施例的双目式头戴装置控制器210的框图。双目式头戴装置控制器210可以例如被实施为可以附接到如图1中所展示的双目式头戴装置100的单独的单元。然而，可替代地，双目式头戴装置控制器210可以被实施为例如包括在通用计算机中的另一处理电路的一部分。双目式头戴装置控制器210包含至少一个处理器220，该至少一个处理器被配置为在双目式头戴装置100的第一显示器110和第二显示器120上呈现计算机生成的图像数据DL和DR。
现在参考图3，我们看到双目式头戴装置100的示意性展示。至少一个处理器220被配置为：在假设用户U的左眼相对于第一显示器110位于第一位置PLE并且用户U的右眼相对于第二显示器120位于第二位置PRE的情况下，渲染计算机生成的图像数据DL和DR。第一位置PLE和第二位置PRE分别由相对于双目式头戴装置100的坐标系x，y，z的空间坐标xLE，yLE，zLE和xRE，yRE，zRE来定义。
如将在下文中进一步详细地讨论的，计算机生成的图像数据包含分别在第一显示器110和第二显示器120上示出的至少一个图形元素。
至少一个处理器220进一步被配置为呈现计算机生成的图像数据DL和DR的至少一个更新版本。该更新版本是在假设用户的左眼和用户的右眼中的至少一只眼睛在至少一个空间维度x、y和/或z上位于分别与第一位置PLE和第二位置PRE不同的位置的情况下被渲染的。
如图1所展示的，至少一个处理器220还被配置为例如通过无线接口来接收用户生成的反馈信号sUFB，该无线接口可以通过光学技术或无线电技术(例如，Wi-Fi、蓝牙、BLE等)来实施。用户生成的反馈信号sUFB包含质量度量或确认命令中的任一项。该质量度量表示用户U对计算机生成的图像数据DL和DR的更新版本相对于先前在第一显示器110和第二显示器120上呈现的计算机生成的图像数据DL和DR的质量的体验如何。更确切地，质量度量可以表示计算机生成的图像数据DL和DR与其更新版本之间的失准程度。可替代地或附加地，质量度量可以表示计算机生成的图像数据DL和DR与其更新版本之间的失真程度。
用户生成的反馈信号sUFB及其任何更新可以由用户输入所引起的，该用户输入是响应于对按钮、按键或触摸传感器的操纵、对定点设备的控制、与手势界面的交互和/或与语音界面的交互而产生的。
至少一个处理器220被配置为对呈现计算机生成的图像数据DL和DR的更新版本的步骤和接收用户生成的反馈信号sUFB的步骤进行循环，直到接收到作为用户生成的反馈信号sUFB的一部分的确认命令为止。向用户U发出指示：当他/她感觉到计算机生成的图像数据DL和DR是最佳的或者至少达到用户可接受的质量标准时产生确认命令。
在一些情况下，可能有利的是，在接收到用户生成的反馈信号sUFB之前，呈现计算机生成的图像数据DL和DR的两个或更多个更新版本。例如，至少一个处理器220可以重复地生成计算机生成的图像数据DL和DR的不同版本。然后，在用户U发现图像数据质量可接受时，他/她输入确认命令。
根据本发明的一个实施例，以时间并行的方式为用户U的左眼和右眼呈现计算机生成的图像数据DL和DR，即提示用户U并行地评估这两组图像数据DL和DR的觉察质量。
根据本发明的另一实施例，以时间交错的方式为用户U的左眼和右眼呈现计算机生成的图像数据DL和DR。这意味着，针对用户U的双眼中的一只眼睛(比如说，他/她的左眼)，完成对呈现计算机生成的图像数据DL的更新版本和接收用户生成的反馈信号sUFB的至少一次循环。此后，针对用户U的另一只眼睛(比如说，他/她的右眼)，完成对呈现计算机生成的图像数据DR的更新版本和接收用户生成的反馈信号sUFB的至少一次循环。
然后，针对左眼，完成对呈现计算机生成的图像数据DL的更新版本和接收用户生成的反馈信号sUFB的至少一次循环。自然地，在这之后，可以进行另一轮循环，在该另一轮循环中，针对右眼，完成对呈现计算机生成的图像数据DL的更新版本和接收用户生成的反馈信号sUFB的至少一次循环，依此类推。
响应于接收到确认命令，至少一个处理器220被配置为定义第一位置PLE和第二位置PRE。优选地，这些位置被指配为等于在接收到确认命令之前最新假设的眼睛位置。根据本发明的一个实施例，基于在接收到包含确认命令的用户生成的信号sUFB之前渲染计算机生成的图像数据DL时假设的最新第一位置PLE，为用户U指配估计的左眼位置。类似地，基于在接收到包含确认命令的用户生成的信号sUFB之前渲染计算机生成的图像数据DR时假设的最新第二位置PRE，为用户U指配估计的右眼位置。
然而，如果用户U经由用户生成的反馈信号sUFB指示所感受的图像质量，则优选的是，在对计算机生成的图像数据DL和DR的更新版本的后继呈现中，该数据是基于用户生成的反馈信号sUFB中包括的质量度量，其方式为使得预期该后继呈现可望导致之后接收到的包括进一步改进的质量度量或甚至是确认命令的用户生成的反馈信号sUFB。例如，如果已经发现减小水平距离x已经得到逐渐改善的质量度量，则在假设又稍微减小了水平距离x的情况下，渲染计算机生成的图像数据DL和DR的后续更新。
相反，在某些情况下，可能有利的是，在对计算机生成的图像数据DL和DR的更新版本的后继呈现中，使渲染基于质量度量，其方式为使得该后继呈现可望导致之后接收到的包括更低质量度量的用户生成的反馈信号sUFB。即，由此可以得出在一个或多个维度上哪个是最佳位置PRE和/或PRE的结论。
此外，根据本发明的实施例，确定最佳或足够好的位置PRE和/或PRE的顺序可能变化。
例如，可以先指配其中的一个位置，然后开始寻找另一个位置。这可能意味着，针对用户U的双眼中的一只眼睛(比如说，左眼)，对呈现计算机生成的图像数据DL的更新版本的步骤和接收用户生成的反馈信号sUFB的步骤进行循环，直到接收到包含确认命令的用户生成的反馈信号sUFB为止；然后针对另一只眼睛(比如说，右眼)，开始对呈现计算机生成的图像数据DR的更新版本的步骤和接收用户生成的反馈信号sUFB的步骤进行循环。
可替代地，可以以时间并行的方式指配位置PRE和PRE。这意味着，针对用户U的双眼，对呈现计算机生成的图像数据DL和DR的更新版本的步骤和接收用户生成的反馈信号sUFB的步骤进行循环，直到接收到包含确认命令的用户生成的反馈信号sUFB为止，
当然，同样可以应用混合方式，其中，以时间交错的方式为用户U的左眼和右眼呈现计算机生成的图像数据DL和DR。特别地，这可能意味着，针对第一只眼睛(比如说，右眼)，完成对呈现计算机生成的图像数据DR的更新版本和接收用户生成的反馈信号sUFB的至少一次循环。此后，针对第二只眼睛(比如说，左眼)，完成对呈现计算机生成的图像数据DL的更新版本和接收用户生成的反馈信号sUFB的至少一次循环。然后，再次针对第一只眼睛(在此，即右眼)，完成对呈现计算机生成的图像数据DR的更新版本和接收用户生成的反馈信号sUFB的至少一次循环。
参考图5，将分别关于第一虚拟图形立方体500和第二虚拟图形立方体501描述在渲染虚拟图形时水平虚拟相机位置不正确的效果。如前面所提及的，如果虚拟相机的位置PRE和PRE对于用户U的眼睛都是正确的，则可以以使两个虚拟图形立方体500和501彼此完全重叠的方式在不同距离处渲染这两个虚拟图形立方体。
在此，让我们假设在较短距离处渲染第一立方体500，而在较长距离处渲染第二立方体501，并且立方体500和501的尺寸、角位置以及所述距离被配置成：如果虚拟相机的位置PRE和PRE对于用户U的眼睛都是正确的，则第一立方体500将被觉察为与第二立方体501完全重叠。
然而，如果虚拟相机的位置中的一个或两个位置相对于对应的显示器110和/或120在水平方向x上是不正确的，则用户将感觉到第一立方体500与第二立方体501之间存在水平失准dx，如图5中所展示的。为了减小这种效果，在假设用户U的双眼中的至少一只眼睛位于稍微偏离水平方向x的位置的情况下，应当渲染对呈现计算机生成的图像数据DL和DR的随后循环。关于该偏离的正负性和大小以及所涉及的(多只)眼睛的信息优选地通过对呈现计算机生成的图像数据DL和DR的进一步循环得出。
类似地，如果虚拟相机的位置中的至少一个位置相对于对应的显示器110和/或120在竖直方向y上是不正确的，则用户将感觉到在虚拟图形对象600与601之间存在竖直失准dy，如图6中所展示的。在这种情况下，为了减小这种不期望的效果，在假设用户U的眼睛中的至少一只眼睛位于稍微偏离竖直方向y的位置的情况下，应当渲染对呈现计算机生成的图像数据DL和DR的随后循环。同样，关于该偏离的正负性和大小以及所涉及的(多只)眼睛的信息可以通过执行对呈现计算机生成的图像数据DL和DR的进一步循环得出。
参照图7a、图7b和图8，将讨论当在不同的焦平面上渲染虚拟图形时，虚拟相机在深度方向z上的位置不正确的效果。我们还将描述根据本发明的实施例如何补偿这种效果。
在图7a中，虚拟相机的位置与用户右眼的位置PRE一致。因此，如果是在第二焦平面FP2上渲染虚拟图形对象702，则在第一焦平面FP1上渲染的虚拟图形对象701也将被觉察为位于同一位置(即，在将点701与702相互连接的直线上的位置P)。
然而，在图7b中，虚拟相机的位置与用户右眼的位置PRE不一致。在此，虚拟相机的位置相对于位置PRE在深度方向z上有稍微偏离。结果，当虚拟图形对象701停止在第一焦平面FP1上被渲染，而是被作为在第二焦平面FP2上的虚拟图形对象702被渲染时，用户U将觉察到虚拟图形对象从第一位置P’至第二位置P”的移动。这种移动看起来是向上/向下还是向左/向右取决于虚拟图形对象在显示器上相对于用户U的眼睛的位置。
根据本发明的一个实施例，在多焦平面实施方式中，眼睛的位置与虚拟相机的位置之间在深度方向z上的失准是通过应用以下过程来估计和补偿的。
在第一显示器110和第二显示器120上呈现计算机生成的图像数据DL和DR的步骤包括分别在第一显示器110和第二显示器120上的第一焦平面FP1处呈现第一图形元素701。分别在第一显示器110和第二显示器120上的第二焦平面FP2处呈现第二图形元素702。在此，用户生成的反馈信号sUFB中的质量度量被配置为：指示分别在第一焦平面FP1和第二焦平面FP2处对第一图形元素701和第二图形元素702的呈现是否被用户觉察为第一图形元素701和第二图形元素702的位置变化。例如，质量度量可以指示发生的任何运动的大小和/或方向。如果用户U没有觉察到运动或觉察到可接受地少量的运动，则他/她生成包含确认命令的反馈信号sUFB。
图4展示了用户U的眼睛400的眼睛旋转中心PERC与瞳孔PPC之间的距离dCP。为了以完全正确且无失真的方式在双目式头戴装置100的第一显示器110和第二显示器120上渲染计算机生成的虚拟图形，重要的是对于所讨论的用户U，距离dCP也要是准确的。即，在每个时间点，要渲染的特定内容取决于来自特定显示器的哪些光线投射到用户的视网膜上。对于给定的注视点，这进而取决于距离dCP。应当注意，距离dCP对于特定用户U不是固定的度量。距离dCP取决于调节。因此，优选地，应该关于距离dCP来校准双目式头戴装置100，以允许调节。
图8通过示例展示了当渲染计算机生成的虚拟图形时在眼睛400的旋转中心PERC与瞳孔PPC之间的假定距离dCP被指配不正确的值的情况下，由用户U觉察到的可能效果。在此，我们假设用户U被指示将他/她的注视点GP放在呈正方形800形状的一组虚拟图形元素的右上角，该一组虚拟图形元素是分别在显示器110和120中的每一个上被渲染的，其方式为使得：如果假定的距离dCP是正确的，则无论用户U将他/她的注视点放在哪里，这些虚拟图形元素都会被该用户觉察为以完全重叠的投影位于彼此的顶部上。换句话说，用户U在此将看到排列成三个直列的九个正方形的矩阵，其中，在每个对应的直行中具有三个正方形。
然而，如果假定的距离dCP被指配不正确的值，即假定的距离dCP太长或太短，则用户U将感觉到周围视场中的失准。这在图8中展示出，其中位置最靠近注视点GP的正方形PER11没有展现出可辨别的失准，位置相对靠近注视点GP的正方形PER12和PER21展现出相对较小的失准，并且位置相对远离注视点GP的正方形PER23和PER21展现出相对较大的失准。应当注意的是，失准程度取决于与注视点GP的角度关系，因此在包含注视点GP的列中，基本上仅存在竖直失准；并且类似地，在包含注视点GP的行中，基本上仅存在水平失准。因此，关于位置最远离注视点GP的正方形PER33，在竖直方向和水平方向上都出现了最大失准。
根据本发明的一个实施例，分别在第一显示器110和第二显示器120上呈现计算机生成的图像数据DL和DR的步骤因此包括分别在第一显示器110和第二显示器120上在相同的第一焦距FP1处呈现图形元素的二维图案800。二维图案800是在假设针对用户U的左眼和右眼中的至少一只眼睛，用户U的眼睛的眼睛旋转中心的位置PERC与瞳孔的位置PPC相隔中心-瞳孔距离dCP的情况下呈现的。在此，用户生成的反馈信号sUFB中的质量度量反映的是在用户U将他/她的视线聚焦在二维图案800中的预定点GP上时，用户U觉察到的在第一显示器110上呈现的二维图案800与在第二显示器120上呈现的二维图案800之间的失配程度。
响应于质量度量，呈现计算机生成的图像数据DL和DR的更新版本的步骤包括在假设中心-瞳孔距离dCP不同于先前针对该距离指配的度量情况下呈现图形元素的二维图案800。然后，在接收到包含确认命令的用户生成的反馈信号sUFB之后，该方法进一步涉及将针对用户U的左眼和右眼中的至少一只眼睛的估计的中心-瞳孔距离dCP指配为在接收到确认命令之前最新假设的中心-瞳孔距离dCP。
根据本发明的另一实施例，分别在第一显示器110和第二显示器120上呈现计算机生成的图像数据DL和DR的步骤包括分别在第一显示器110和第二显示器120上在相同的第二焦距FP2处呈现例如呈正方形形状的图形元素的二维图案800。在此，相同的第二焦距FP2不同于相同的第一焦距FP1。二维图案800是在假设对于用户U的左眼和右眼中的至少一只眼睛，用户U眼睛的眼睛旋转中心的位置PERC与瞳孔的位置PPC相隔前面指配的估计的中心-瞳孔距离dCP的情况下呈现的。
响应于质量度量，分别在显示器110和120上呈现计算机生成的图像数据DL和DR的更新版本的步骤包括在假设中心-瞳孔距离dCP不同于先前指配的估计的中心-瞳孔距离dCP的情况下呈现图形元素的二维图案800。
最后，在接收到包含确认命令的用户生成的反馈信号sUFB之后，该方法包括将针对用户U的左眼和右眼中的至少一只眼睛的增强的估计的中心-瞳孔距离dCP指配为在接收到确认命令之前最新假设的指配的中心-瞳孔距离dCP。由此，可以以高效且直接的方式非常准确地确定用户的中心-瞳孔距离dCP。
为了能够快速且方便地估计关键参数以便在例如VR系统、AR系统或混合现实(MR)系统中提供高质量的计算机图形渲染，有益的是，在校准过程期间利用不同的虚拟相机位置选择来渲染不同的图形对象或整个场景，并且允许用户U选择具有最佳觉察质量的图形对象/场景，即在不同焦平面与视点之间的觉察到的失准和/或运动程度最小的图形对象/场景。所述关键参数包括第一位置PLE和第二位置PRE各自的空间坐标xLE，yLE，zLE和xRE，yRE，zRE。优选地，眼睛400的旋转中心PERC与瞳孔PPC之间的距离dCP以及以下将参考图9a和图9b描述的瞳孔间距离dIP也包括在关键参数中。
可以向用户U呈现虚拟相机位置的各方面的不同子集，并且可以向用户U提供针对不同方面的不同选择。通常，用户U针对虚拟相机位置的不同方面做出的选择的组合为所讨论的用户U提供了期望的/经调整的/经校准的虚拟相机位置。
可以强加呈现虚拟图形对象/场景的某一顺序。此外，可以在同一过程中为两只眼睛指配一个且相同的经调整值，或者可以通过例如使显示器110或120之一黑屏(blackingout)并且一次仅考虑一只眼睛来对双眼单独地进行校准。当然，可选地，可以通过呈现两个不同的虚拟相机位置并且独立地改变两只眼睛的虚拟相机参数来对双眼单独地进行校准。
根据本发明的实施例，许多不同类型的虚拟图形对象可以用于前面所提及的校准目的。
基本虚拟图形对象的一个示例是利用某一虚拟相机位置来渲染的立方体。可以在用户U的视场中的居中位置渲染该基本虚拟图形对象，并且可以为用户U提供对虚拟相机位置的水平分量x和竖直分量y的不同选择。进一步地，可以在用户U的视场中偏离中心的位置渲染虚拟图形对象，以向用户U提供对虚拟相机位置的深度分量z的不同选择。即，通常，深度方向上的偏移在虚拟图形对象的偏离中心位置处比在中心位置处更明显。
可以使用不同的虚拟相机位置来渲染例如呈立方体形状的多个图形元素，并且其中，这些图形元素以有组织的方式呈现在显示器110和120上。由此，可以立即向用户U呈现对虚拟相机位置的多个选择，因此帮助用户U快速识别出他/她找到的、与其他替代选择相比最佳的虚拟相机位置。
通过例如首先呈现在水平方向上延伸的虚拟图形对象、并且然后呈现在竖直方向上延伸的虚拟图形对象(反之亦然)，可以彼此独立地确定水平位置xLE和/或xRE以及竖直位置yLE和/或yRE。
根据本发明的一个实施例，通过具有在分别在第一显示器110和第二显示器120中的每个显示器上在两个维度上延伸的直线形状的至少一个图形元素来表示虚拟图形对象。图11和图12分别以适用于确定虚拟相机的水平位置xLE和/或xRE的水平行的立方体1101的形式、适用于确定虚拟相机的竖直位置yLE和/或yRE的竖直行的立方体1201的形式示出了两个这样的示例。
根据本发明的一个实施例，至少一个图形元素包含各自具有直线构成的形状并且在两个维度上延伸的多个图形元素，例如，如由图13a中的立方体环1301和图13b中的立方体矩阵1302所展示的。因此，确定虚拟相机位置的方法可以包括将多个图形元素呈现为至少一个阵列(如由水平行的立方体1101、竖直行的立方体1201和立方体矩阵1302例示的)形式的元素。
在许多情况下，期望至少一个图形元素包括多个图形元素，该多个图形元素中的每个图形元素具有直线构成的形状并且在两个维度上延伸。确定虚拟相机位置的方法因此可以包括将多个图形元素呈现为几何标志(如由图13a中的关于至少两个相互正交的轴线镜像对称的立方体环1301例示的)形式的元素。
然而，虚拟图形对象不需要满足任何这种几何要求。相反，根据本发明的实施例，该至少一个图形元素可以包含分布在显示器110和120上的某个区域上的任意形状的多个(优选地相同的)图形元素，例如，分别由图14a和图14b中的圆形排列1401和星形排列1402例示的。
现在参考图9a和图9b，我们将解释当在例如形成VR、AR或MR系统或其组合的一部分的双目式头戴装置100的显示器110和120上渲染虚拟图形时，由于瞳孔间距离dIP不正确而产生的效果。
图9a展示了使用用户的瞳孔PLE与PRE之间的正确的瞳孔间距离dIP的情况。这意味着，特定的虚拟图形对象将被用户U觉察为位于固定位置P，而无论用户U将视线聚焦在对应的第一焦平面FP1L和FP1R上还是聚焦在第二焦平面FP2L和FP2R上。
然而，如果用户的瞳孔PLEe与PREe之间的瞳孔间距离dIP不正确，则当用户U在第一焦平面FP1L和FP1R与对应的第二焦平面FP2L和FP2R之间转移视线焦点时，该用户将在深度方向上体验到跳变效果，如图9b中所展示的。
为了校正虚拟相机位置的这种失准，根据本发明的一个实施例，在接收到包含确认命令的用户生成的反馈信号sUFB之后，该方法进一步包括计算估计的用户U的左眼位置与右眼位置之间的估计的瞳孔间距离dIP。瞳孔间距离dIP被计算为第一坐标与第二坐标之间的绝对距离，其中，第一坐标表示用户U的左眼的瞳孔PPC相对于第一显示器110的第一位置PLE，并且第二坐标表示用户U右眼的瞳孔PPC相对于第二显示器120的第二位置PRE。
图10a展示了当在分别包括第一焦平面FP1和第二焦平面FP2的设计中渲染虚拟图形时，分别正确地假设了水平/竖直位置x或y的场景。因此，无论用户U的视线是聚焦在第一焦平面FP1上还是聚焦在第二焦平面FP2上，虚拟图形对象都将看起来被固定在某一位置P处。
图10b展示了当在分别包括第一焦平面FP1和第二焦平面FP2的设计中渲染虚拟图形时，由于水平和/或竖直位置不正确而产生的效果。在此，当用户U将视线焦点从第一平面FP1改变到第二焦平面FP2时，虚拟图形对象将看起来从第一位置P’移动到第二位置P”。
为了总结，并参考图15中的流程图，我们现在将描述根据本发明的用于将虚拟相机位置校准至用户眼睛的实际位置的一般方法。
在第一步骤1510中，将计算机生成的图像数据呈现在例如形成VR系统、AR系统、MR系统或其某种组合的一部分的双目式头戴装置的第一显示器和第二显示器上。在假设用户的左眼相对于第一显示器位于第一位置并且用户的右眼相对于第二显示器位于第二位置的情况下，对计算机生成的图像数据进行渲染。计算机生成的图像数据包含至少一个图形元素，该至少一个图形元素在第一显示器和第二显示器上均被示出。
在随后的步骤1520中，将计算机生成的图像数据的至少一个更新版本呈现在第一显示器和第二显示器上。该至少一个更新版本是在假设用户的一只眼睛或两只眼睛在至少一个空间维度上位于与步骤1510中的第一位置和第二位置不同的位置的情况下被渲染的。
此后，在步骤1530中，接收用户生成的反馈信号，该用户生成的反馈信号包含质量度量或者确认命令中的任一项。质量度量表示用户对计算机生成的图像数据的该至少一个更新版本相对于先前在第一显示器和第二显示器上呈现的(例如，在步骤1510中或在步骤1520的更早实例中呈现的)计算机生成的图像数据的感觉。确认命令指示用户对通过计算机生成的图像数据的该至少一个更新版本感觉到的质量感到满意。随后的步骤1540检查用户生成的反馈信号是否包含确认命令。如果是，则接下来进行步骤1550；否则，过程循环回到步骤1520。
在步骤1550中，基于用户生成的反馈信号分别定义针对左眼和右眼的第一位置和第二位置。具体地，这优选地意味着将第一位置和第二位置被设置为在接收到确认命令之前渲染计算机生成的图像数据的最新版本时假设的位置。此后，过程结束。
前面参考图15描述的所有过程步骤以及步骤的任何子序列可以通过至少一个编程处理器来控制。此外，尽管前面参考附图描述的本发明的实施例包括处理器和在至少一个处理器中执行的过程，但是本发明因此也涉及计算机程序，尤其是载体上或载体中的计算机程序，其适于将本发明付诸实践。该程序可以是源代码、目标代码、源代码和目标代码中间的代码的形式，比如部分编译的形式，或者是适用于实施根据本发明的过程的任何其他形式。该程序可以是操作系统的一部分，或是单独的应用程序。载体可以是能够承载程序的任何实体或设备。例如，载体可以包括存储介质，比如闪存、ROM(只读存储器)(例如DVD(数字视频/多功能盘))、CD(光盘)、或半导体ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、或磁性记录介质(例如软盘或硬盘)。进一步，载体可以是可传输的载体，比如电信号或光信号，该电信号或光信号可以经由电缆或光缆或通过无线电或通过其他手段传送。当程序体现在可以通过电缆或其他设备或器件直接传送的信号中时，载体可以由这种电缆或设备或器件构成。可替代地，载体可以是其中嵌入程序的集成电路，该集成电路适于执行相关过程或适于在相关过程的执行中使用。
当在本说明书中使用时，术语“包括(comprises/comprising)”用来指定所陈述的特征、整体、步骤、或部件的存在。然而，该术语不排除一个或多个附加特征、整体、步骤、或部件或其组合的存在或附加。
本发明不限于附图中描述的实施例，而是可以在权利要求的范围内自由变化。

Claims (22)

1.一种在至少一个处理器(220)中执行的方法，所述方法包括以下步骤：
在双目式头戴装置(100)的第一显示器和第二显示器(110，120)上呈现计算机生成的图像数据(DL，DR)，所述计算机生成的图像数据(DL，DR)是在假设用户(U)的左眼相对于所述第一显示器(110)位于第一位置(PLE)并且所述用户(U)的右眼相对于所述第二显示器(120)位于第二位置(PRE)的情况下被渲染的，并且所述计算机生成的图像数据包括分别在所述第一显示器和所述第二显示器(110，120)上示出的至少一个图形元素(500，600，701，702，800，PER11，PER12，PER13，PER23，PER33，PER21，PER31)；
呈现所述计算机生成的图像数据(DL，DR)的至少一个更新版本，所述至少一个更新版本是在假设所述用户的左眼和右眼中的至少一只眼睛在至少一个空间维度(x，y，z)上位于分别与所述第一位置和所述第二位置(PLE，PRE)不同的位置的情况下被渲染的；
接收用户生成的反馈信号(sUFB)，所述用户生成的反馈信号包括以下各项中的任一项：
所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本相对于先前在所述第一显示器和所述第二显示器(110，120)上呈现的所述计算机生成的图像数据(DL，DR)的质量度量，或者
确认命令；
对呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本的步骤和接收所述用户生成的反馈信号(sUFB)的步骤进行循环，直到接收到包括所述确认命令的所述用户生成的反馈信号(sUFB)为止；以及
基于所述用户生成的反馈信号(sUFB)来定义所述第一位置和所述第二位置(PLE，PRE)。
2.根据权利要求1所述的方法，包括：
在接收到所述用户生成的反馈信号(sUFB)之前，呈现所述计算机生成的图像数据(DL，DR)的两个或更多个更新版本。
3.根据权利要求1或2中任一项所述的方法，其中，对所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本的后继呈现是基于所述用户生成的反馈信号(sUFB)中包括的所述质量度量，使得所述后继呈现导致之后接收到的用户生成的反馈信号(sUFB)包括(i)进一步改善的质量度量或所述确认命令，或者(ii)更低的质量度量。
4.根据权利要求1所述的方法，进一步包括：
基于在接收到包括所述确认命令的所述用户生成的信号(sUFB)之前渲染所述计算机生成的图像数据时假设的最新第一位置(PLE)，为所述用户(U)指配估计的左眼位置；以及
基于在接收到包括所述确认命令的所述用户生成的信号(sUFB)之前渲染所述计算机生成的图像数据时假设的最新第二位置(PRE)，为所述用户(U)指配估计的右眼位置。
5.根据权利要求4所述的方法，包括：
针对所述用户(U)的左眼和右眼中的一只眼睛，对呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本的步骤和接收所述用户生成的反馈信号(sUFB)的步骤进行循环，直到接收到包括所述确认命令的用户生成的反馈信号(sUFB)为止；然后针对所述用户(U)的左眼和右眼中的另一只眼睛，开始对呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本的步骤和接收所述用户生成的反馈信号(sUFB)的步骤进行循环。
6.根据权利要求4所述的方法，其中，(i)以时间并行的方式或(ii)以时间交错的方式为所述用户(U)的左眼和右眼呈现所述计算机生成的图像数据(DL，DR)，其中：
针对所述用户(U)的左眼和右眼中的第一只眼睛，完成对呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本和接收所述用户生成的反馈信号(sUFB)的至少一次循环，此后
针对所述用户(U)的左眼和右眼中的第二只眼睛，完成对呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本和接收所述用户生成的反馈信号(sUFB)的至少一次循环，并且然后
针对所述第一只眼睛，完成对呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本和接收所述用户生成的反馈信号(sUFB)的至少一次循环。
7.根据权利要求1所述的方法，其中，呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本的步骤包括：
在第一空间维度(dx)上，在分别与所述第一位置和所述第二位置(PLE，PRE)不同的位置呈现图形元素(500)。
8.根据权利要求7所述的方法，其中，呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本的步骤包括：
在正交于所述第一空间维度(dx)的第二空间维度(dy)上，分别在与所述第一位置和所述第二位置(PLE，PRE)不同的位置呈现图形元素(600)。
9.根据权利要求1所述的方法，其中，在所述第一显示器和所述第二显示器(110，120)上呈现所述计算机生成的图像数据(DL，DR)的步骤包括：
分别在所述第一显示器和所述第二显示器(110，120)上在第一焦平面(FP1)处呈现第一图形元素(701)，以及
分别在所述第一显示器和所述第二显示器(110，120)上在第二焦平面(FP2)处呈现第二图形元素(702)，并且其中，
所述用户生成的反馈信号(sUFB)中包括的所述质量度量被配置为：指示分别在所述第一焦平面和所述第二焦平面(FP1；FP2)处对所述第一图形元素和所述第二图形元素(701，702)的呈现何时被所述用户(U)觉察为所述第一图形元素和所述第二图形元素(701，702)的位置变化。
10.根据权利要求1所述的方法，其中，所述至少一个图形元素(500，600，701，702)具有分别在所述第一显示器和所述第二显示器(110，120)中的每个显示器上在两个维度上延伸的直线构成的形状。
11.根据权利要求10所述的方法，其中，多个图形元素被呈现为：
至少一个阵列(1101，1201，1302)中的元素，或者
关于至少两个相互正交的轴线镜像对称的几何标志(1301)中的元素。
12.根据权利要求1所述的方法，其中，所述至少一个图形元素包括分布在某个区域上的多个相同的图形元素(1401，1402)。
13.根据权利要求1所述的方法，在接收到包括所述确认命令的所述用户生成的反馈信号(sUFB)之后，所述方法进一步包括：
将所述用户(U)的所估计的左眼位置与右眼位置之间的估计的瞳孔间距离(dIP)计算为第一坐标与第二坐标之间的绝对距离，所述第一坐标表示所述用户(U)的左眼的瞳孔(PPC)相对于所述第一显示器(110)的所述第一位置(PLE)，并且所述第二坐标表示所述用户(U)的右眼的瞳孔(PPC)相对于所述第二显示器(120)的所述第二位置(PRE)。
14.根据权利要求13所述的方法，其中，在所述第一显示器和所述第二显示器(110，120)上呈现所述计算机生成的图像数据(DL，DR)的步骤包括：
在所述第一显示器和所述第二显示器(110，120)上在相同的第一焦距(FP1)上呈现图形元素(PER11，PER12，PER13，PER23，PER33，PER21，PER31)的二维图案(800)，所述二维图案(800)是在假设针对所述用户(U)的左眼和右眼中的至少一只眼睛，所述用户(U)眼睛的眼睛旋转中心的位置(PERC)与瞳孔的位置(PPC)相隔中心-瞳孔距离(dCP)的情况下呈现的，所述用户生成的反馈信号(sUFB)中包括的所述质量度量反映的是在所述用户(U)使他/她的视线聚焦在所述二维图案(800)中的预定点(GP)上时，所述用户(U)觉察到的在所述第一显示器(110)上呈现的所述二维图案(800)与在所述第二显示器(120)上呈现的所述二维图案(800)之间的失配程度；
其中，响应于所述质量度量，呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本的步骤包括：
在假设所述中心-瞳孔距离(dCP)不同于该距离的先前指配度量的情况下，呈现图形元素(PER11，PER12，PER13，PER23，PER33，PER21，PER31)的所述二维图案(800)；并且
在接收到包括所述确认命令的所述用户生成的反馈信号(sUFB)之后，所述方法进一步包括：
将针对所述用户(U)的左眼和右眼中的所述至少一只眼睛的估计的中心-瞳孔距离(dCP)指配为在接收到包括所述确认命令的所述用户生成的反馈信号(sUFB)之前最新假设的中心-瞳孔距离(dCP)。
15.根据权利要求14所述的方法，其中，以时间并行的方式为所述用户(U)的左眼和右眼呈现所述计算机生成的图像数据(DL，DR)。
16.根据权利要求14所述的方法，包括：以时间交错的方式为所述用户(U)的左眼和右眼呈现所述计算机生成的图像数据(DL，DR)，其中：
针对所述用户(U)的左眼和右眼中的第一只眼睛，完成对呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本和接收所述用户生成的反馈信号(sUFB)的至少一次循环，此后
针对所述用户(U)的左眼和右眼中的第二只眼睛，完成对呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本和接收所述用户生成的反馈信号(sUFB)的至少一次循环，并且然后
针对所述第一只眼睛，完成对呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本和接收所述用户生成的反馈信号(sUFB)的至少一次循环。
17.根据权利要求14至16中任一项所述的方法，其中，在所述第一显示器和所述第二显示器(110，120)上呈现所述计算机生成的图像数据(DL，DR)的步骤包括：
在所述第一显示器和所述第二显示器(110，120)上在相同的第二焦距(FP2)上呈现图形元素(PER11，PER12，PER13，PER23，PER33，PER21，PER31)的二维图案(800)，所述相同的第二焦距(FP2)与所述相同的第一焦距(FP1)不同，所述二维图案(800)是在假设针对所述用户(U)的左眼和右眼中的至少一只眼睛，所述用户(U)眼睛的眼睛旋转中心的位置(PERC)与瞳孔的位置(PPC)相隔所述指配的估计的中心-瞳孔距离(dCP)的情况下呈现的；
其中，响应于所述质量度量，呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本的步骤包括：
在假设所述中心-瞳孔距离(dCP)不同于先前指配的估计的中心-瞳孔距离(dCP)的情况下，呈现图形元素(PER11，PER12，PER13，PER23，PER33，PER21，PER31)的二维图案(800)；并且在接收到包括所述确认命令的所述用户生成的反馈信号(sUFB)之后，所述方法进一步包括：
将针对所述用户(U)的左眼和右眼中的所述至少一只眼睛的增强的估计的中心-瞳孔距离(dCP)指配为在接收到包括所述确认命令的所述用户生成的反馈信号(sUFB)之前最新假设的所述指配的中心-瞳孔距离(dCP)。
18.根据权利要求1所述的方法，进一步包括：
在假设所述用户的左眼和右眼中的至少一只眼睛在两个或更多个空间维度(x，y，z)上位于分别与所述第一位置和所述第二位置(PLE，PRE)不同的位置的情况下，渲染所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本。
19.根据权利要求1所述的方法，其中，由所述用户生成的反馈信号(sUFB)反映的所述质量度量表示以下各项中的至少一项：
所述计算机生成的图像数据(DL，DR)与其所述更新版本之间的失准程度，以及
所述计算机生成的图像数据(DL，DR)与其所述更新版本之间的失真程度。
20.一种计算机程序产品(235)，所述计算机程序产品(235)可加载到通信地连接到至少一个处理器(220)的非易失性数据载体(230)中，所述计算机程序产品(235)包括软件，所述软件被配置为当在至少一个处理器(220)上运行所述计算机程序产品(235)时使所述至少一个处理器(220)进行以下操作：
在双目式头戴装置(100)的第一显示器和第二显示器(110，120)上呈现计算机生成的图像数据(DL，DR)，所述计算机生成的图像数据(DL，DR)是在假设用户(U)的左眼相对于所述第一显示器(110)位于第一位置(PLE)并且所述用户(U)的右眼相对于所述第二显示器(120)位于第二位置(PRE)的情况下被渲染的，并且所述计算机生成的图像数据包括分别在所述第一显示器和所述第二显示器(110，120)上示出的至少一个图形元素(500，600，701，702，800，PER11，PER12，PER13，PER23，PER33，PER21，PER31)；
呈现所述计算机生成的图像数据(DL，DR)的至少一个更新版本，所述至少一个更新版本是在假设所述用户的左眼和右眼中的至少一只眼睛在至少一个空间维度(x，y，z)上位于分别与所述第一位置和所述第二位置(PLE，PRE)不同的位置的情况下被渲染的；
接收用户生成的反馈信号(sUFB)，所述用户生成的反馈信号包括以下各项中的任一项：
所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本相对于先前在所述第一显示器和所述第二显示器(110，120)上呈现的所述计算机生成的图像数据(DL，DR)的质量度量，或者
确认命令；
对呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本的步骤和接收所述用户生成的反馈信号(sUFB)的步骤进行循环，直到接收到包括所述确认命令的所述用户生成的反馈信号(sUFB)为止；以及
基于所述用户生成的反馈信号(sUFB)来定义所述第一位置和所述第二位置(PLE，PRE)。
21.一种非易失性数据载体(230)，所述非易失性数据载体包含如权利要求20所述的计算机程序产品(235)。
22.一种双目式头戴装置控制器(210)，所述双目式头戴装置控制器包括至少一个处理器(220)，所述至少一个处理器被配置为：
在双目式头戴装置(100)的第一显示器和第二显示器(110，120)上呈现计算机生成的图像数据(DL，DR)，所述计算机生成的图像数据(DL，DR)是在假设用户(U)的左眼相对于所述第一显示器(110)位于第一位置(PLE)并且所述用户(U)的右眼相对于所述第二显示器(120)位于第二位置(PRE)的情况下被渲染的，并且所述计算机生成的图像数据包括分别在所述第一显示器和所述第二显示器(110，120)上示出的至少一个图形元素(500，600，701，702，800，PER11，PER12，PER13，PER23，PER33，PER21，PER31)；
呈现所述计算机生成的图像数据(DL，DR)的至少一个更新版本，所述至少一个更新版本是在假设所述用户的左眼和右眼中的至少一只眼睛在至少一个空间维度(x，y，z)上位于分别与所述第一位置和所述第二位置(PLE，PRE)不同的位置的情况下被渲染的；
接收用户生成的反馈信号(sUFB)，所述用户生成的反馈信号包括以下各项中的任一项：
所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本相对于先前在所述第一显示器和所述第二显示器(110，120)上呈现的所述计算机生成的图像数据(DL，DR)的质量度量，或者
确认命令；
对呈现所述计算机生成的图像数据(DL，DR)的所述至少一个更新版本的步骤和接收所述用户生成的反馈信号(sUFB)的步骤进行循环，直到接收到包括所述确认命令的所述用户生成的反馈信号(sUFB)为止；以及
基于所述用户生成的反馈信号(sUFB)来定义所述第一位置和所述第二位置(PLE，PRE)。
CN202011486973.2A 2019-12-20 2020-12-16 方法、计算机程序产品和双目式头戴装置控制器 Active CN113010125B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE1951542-8 2019-12-20
SE1951542 2019-12-20

Publications (2)

Publication Number Publication Date
CN113010125A CN113010125A (zh) 2021-06-22
CN113010125B true CN113010125B (zh) 2024-03-19

Family

ID=76383496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011486973.2A Active CN113010125B (zh) 2019-12-20 2020-12-16 方法、计算机程序产品和双目式头戴装置控制器

Country Status (2)

Country Link
US (1) US11650425B2 (zh)
CN (1) CN113010125B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11431952B2 (en) * 2020-05-11 2022-08-30 Sony Interactive Entertainment Inc. User selection of virtual camera location to produce video using synthesized input from multiple cameras
CN115190284B (zh) * 2022-07-06 2024-02-27 敏捷医疗科技(苏州)有限公司 一种图像处理方法
CN114859561B (zh) * 2022-07-11 2022-10-28 泽景(西安)汽车电子有限责任公司 一种可穿戴显示设备及其控制方法、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139801A (zh) * 2015-12-22 2018-06-08 谷歌有限责任公司 用于经由保留光场渲染来执行电子显示稳定的系统和方法
CN108780223A (zh) * 2016-03-11 2018-11-09 欧库勒斯虚拟现实有限责任公司 用于生成眼睛模型的角膜球跟踪

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824501B1 (ko) * 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
US9089702B2 (en) * 2011-10-03 2015-07-28 Second Sight Medical Products, Inc. Hybrid fitting for a visual prosthesis
US10137363B2 (en) * 2013-06-20 2018-11-27 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
US20190265802A1 (en) * 2013-06-20 2019-08-29 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
US10012506B1 (en) * 2014-06-01 2018-07-03 DNP Technology Navigation guidance system and method of use
WO2016073986A1 (en) 2014-11-07 2016-05-12 Eye Labs, LLC Visual stabilization system for head-mounted displays
CN105872526B (zh) * 2015-01-21 2017-10-31 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
US10271042B2 (en) * 2015-05-29 2019-04-23 Seeing Machines Limited Calibration of a head mounted eye tracking system
AU2016291660B2 (en) * 2015-07-15 2021-10-21 15 Seconds of Fame, Inc. Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams
US10630965B2 (en) 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
EP4380150A3 (en) 2015-10-08 2024-07-24 InterDigital VC Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
WO2017079329A1 (en) 2015-11-04 2017-05-11 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
JP6623077B2 (ja) * 2016-02-19 2019-12-18 株式会社Ｓｃｒｅｅｎホールディングス 基板処理装置及び基板処理方法
US11112784B2 (en) * 2016-05-09 2021-09-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for communications in an industrial internet of things data collection environment with large data sets
US20170336631A1 (en) * 2016-05-18 2017-11-23 Rockwell Collins, Inc. Dynamic Vergence for Binocular Display Device
US20170344107A1 (en) * 2016-05-25 2017-11-30 Intel Corporation Automatic view adjustments for computing devices based on interpupillary distances associated with their users
US20190333480A1 (en) 2017-01-05 2019-10-31 Philipp K. Lang Improved Accuracy of Displayed Virtual Data with Optical Head Mount Displays for Mixed Reality
US10365710B2 (en) 2017-06-23 2019-07-30 Seiko Epson Corporation Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration
EP3531244A1 (en) 2018-02-26 2019-08-28 Thomson Licensing Method, apparatus and system providing alternative reality environment
US11442445B2 (en) * 2017-08-02 2022-09-13 Strong Force Iot Portfolio 2016, Llc Data collection systems and methods with alternate routing of input channels
AU2019209950A1 (en) 2018-01-17 2020-07-09 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
EP3827585A4 (en) 2018-07-24 2022-04-27 Magic Leap, Inc. DISPLAY SYSTEMS AND METHODS FOR DETERMINING THE VERTICAL ALIGNMENT BETWEEN LEFT AND RIGHT DISPLAYS AND A USER'S EYES
US20220079675A1 (en) 2018-11-16 2022-03-17 Philipp K. Lang Augmented Reality Guidance for Surgical Procedures with Adjustment of Scale, Convergence and Focal Plane or Focal Point of Virtual Data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139801A (zh) * 2015-12-22 2018-06-08 谷歌有限责任公司 用于经由保留光场渲染来执行电子显示稳定的系统和方法
CN108780223A (zh) * 2016-03-11 2018-11-09 欧库勒斯虚拟现实有限责任公司 用于生成眼睛模型的角膜球跟踪

Also Published As

Publication number Publication date
US20210255462A1 (en) 2021-08-19
US11650425B2 (en) 2023-05-16
CN113010125A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113010125B (zh) 方法、计算机程序产品和双目式头戴装置控制器
US11386572B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US10271042B2 (en) Calibration of a head mounted eye tracking system
CN105190427B (zh) 数字瞳孔间距离调节
KR102077105B1 (ko) 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
CN104253990B (zh) 用车辆视野显示装置的成像器显示三维图像的方法和设备
US9191658B2 (en) Head-mounted display and position gap adjustment method
JP2023027369A (ja) 操作可能な中心窩ディスプレイ
CN110447224B (zh) 在显示器中控制虚像的方法
KR102596880B1 (ko) 3d 이미지 정보를 생성하기 위한 헤드 마운티드 디스플레이 장치 및 그 방법
US9703400B2 (en) Virtual plane in a stylus based stereoscopic display system
CN108596854A (zh) 图像畸变校正方法及装置、计算机可读介质、电子设备
JP2016018213A (ja) 直接幾何学的モデル化によるｈｍｄのキャリブレーション
US20190392636A1 (en) Method and apparatus for displaying a bullet
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
JP2013232744A (ja) ディスプレイシステム、ディスプレイ調整システム、ディスプレイ調整方法、およびプログラム
Ferrari et al. Parallax free registration for augmented reality optical see-through displays in the peripersonal space
US20200275087A1 (en) Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance
KR101818839B1 (ko) 스테레오 삼차원 영상 콘텐츠 디스플레이 제작 및 재생 방법
EP3841425B1 (en) Apparatus and method for displaying image and computer program thereof
JP2020154567A (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP2023164451A (ja) 表示装置、表示システム、表示調整方法及び表示調整プログラム
US11442541B1 (en) Color-based calibration for eye-tracking
JP4504160B2 (ja) 合成表示装置
US10326976B2 (en) Method and apparatus for providing personal 3-dimensional image using convergence matching algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant