CN111492405A - 头戴式显示设备及其方法 - Google Patents

头戴式显示设备及其方法 Download PDF

Info

Publication number
CN111492405A
CN111492405A CN201780097808.8A CN201780097808A CN111492405A CN 111492405 A CN111492405 A CN 111492405A CN 201780097808 A CN201780097808 A CN 201780097808A CN 111492405 A CN111492405 A CN 111492405A
Authority
CN
China
Prior art keywords
calibration
display device
display
calibration object
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780097808.8A
Other languages
English (en)
Other versions
CN111492405B (zh
Inventor
何塞·阿劳若
索马·塔亚门
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN111492405A publication Critical patent/CN111492405A/zh
Application granted granted Critical
Publication of CN111492405B publication Critical patent/CN111492405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种被配置为由用户(121)穿戴的头戴式显示设备(HMD)(100)。该HMD包括至少部分透视的显示器(101)、面向前方的摄像头(102)和处理装置(104)，该面向前方的摄像头(102)可操作为捕捉现实世界场景的第一图像，该处理装置可操作为从在第一图像中可见的一个或多个现实世界对象或其一部分(130～135)中选择校准对象，并基于现实世界位置导出用于计算显示位置的校准变换，使得在显示器上的显示位置处显示的虚拟对象与用户看到的位于现实世界位置处的相应现实世界对象对齐。

Description

头戴式显示设备及其方法
技术领域
本发明涉及头戴式显示设备、由头戴式显示设备执行的方法、相应的计算机程序和相应的计算机可读存储介质。
背景技术
混合现实(MR)预计会成为网络社会中一项不可或缺的技术，并且会给消费电子市场带来剧变。混合现实包括增强现实(AR)和增强虚拟(AV)。
AR经常是经由诸如智能电话和平板电脑之类的手持设备或者经由诸如MicrosoftHoloLens之类的头戴式显示器(HMD)(也被称为头戴式显示设备)来执行。经由HMD进行的AR意味着经由透视显示器在用户的现实世界视图上分层显示诸如文本、图像或视频之类的信息。
为了提供沉浸式的用户体验，带透视显示器的显示设备(如HMD)需要进行校准。校准的目的是能够在HMD的透视显示器上显示虚拟对象(如文本、图像和视频)，使得所显示的虚拟对象与用户通过透视显示器看到的现实世界对象正确地对齐。在实践时，除了显示器的姿态和HMD中包括的任何摄像头(例如，用于捕捉现实世界的图像和/或跟踪现实世界对象的面向前方的摄像头、以及用于跟踪用户眼睛的面向眼睛的摄像头)的各自姿态之外，还必须知晓用户眼睛的姿态。
J.Grubert、Y.Itoh、K.Moser和J.E.Swan II(“光学透视头戴式显示器的校准方法调查”，arXiv：1709.04299v1，2017年9月13日)给出了对HMD的已知校准方法的概述。这种校准方法通常在使用HMD时手动地执行，而某些校准方法可以实现自动化。一些已知校准方法的共同点在于：它们依赖于非实用型校准台(calibration rig)和/或昂贵的校准设备。
例如，在WO 2016/191043 A1中公开了一种用于建立被校准为用户的特定眼睛特征的视图矩阵的手动校准过程。
还已知的是基于角膜成像的校准方法，其依赖于面向眼睛的摄像头来对用户角膜对现实世界场景的反射进行成像，如在A.Plopski、C.Nitschke、K.Kiyokawa、D.Schmalstieg和H.Takemura的“混合眼动跟踪：结合虹膜轮廓和角膜成像”(关于人工现实的国际会议以及关于虚拟环境的远程存在欧洲图形研讨会，欧洲图形学会，2015年)中所述。
发明内容
本发明的目的是提供一种针对上述技术和现有技术的改进备选方案。
更具体地，本发明的目的是提供用于校准透视头戴式显示设备的改进解决方案。特别地，本发明的目的是提供用于自动选择在校准过程中使用的校准对象的解决方案。
本发明的这些目的及其他目的是通过如独立权利要求所定义的本发明的不同方面来实现的。本发明的实施例由从属权利要求来表征。
根据本发明的第一方面，提供了一种头戴式显示设备。该显示设备被配置为由用户穿戴，并且包括至少部分透视的显示器、面向前方的摄像头、以及处理装置。面向前方的摄像头可操作为捕捉现实世界场景的第一图像。通常，当由用户穿戴时，所捕捉的现实世界场景是用户前面的场景。处理装置可操作为从在第一图像中可见的一个或多个现实世界对象或其一部分中选择校准对象。处理装置还可操作为基于现实世界位置来导出用于计算显示位置的校准变换，使得在显示器上的显示位置处显示的虚拟对象与用户看到的位于现实世界位置处的相应现实世界对象对齐。校准变换可以例如由矩阵或适合于描述两个坐标系之间的变换的其他数学表示形式来表示。
根据本发明的第二方面，提供了一种由头戴式显示设备执行的方法。该显示设备被配置为由用户穿戴。该方法包括：从在现实世界场景的第一图像中可见的一个或多个现实世界对象或其一部分中选择校准对象。第一图像由显示设备中包括的面向前方的摄像头捕捉。该方法还包括：基于现实世界位置来导出用于计算显示位置的校准变换，使得在至少部分透视的显示器上的显示位置处显示的虚拟对象与用户看到的位于现实世界位置处的相应现实世界对象对齐。至少部分透视的显示器被包括在显示设备中。
根据本发明的第三方面，提供了一种计算机程序。该计算机程序包括计算机可执行指令，当计算机可执行指令在头戴式显示设备中包括的处理单元上执行时，计算机可执行指令使得该显示设备执行根据本发明的第二方面的实施例的方法。
根据本发明的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质具有存储在其上的根据本发明的第三方面的计算机程序。
本发明利用了以下理解：通过在一个或多个现实世界对象中自动选择在校准过程(例如，本领域已知的任何校准过程)中使用的校准对象，实现了用于透视头戴式显示器或显示设备(HMD)的改进校准过程。由此，HMD的用户不必保留或携带专用校准对象。本发明的实施例在一个或多个现实世界对象中(即，用户周围环境中的物理对象)选择适合的校准对象，这些物理对象在由面向前方的摄像头捕捉的第一图像中是可见的。这些对象是面向前方的摄像头的视野中的现实世界对象，比如，家具、家用电器、建筑物、门、窗户、车辆、路牌、平板电脑、智能电话、笔记本电脑、棋盘等。
根据本发明的实施例，该显示设备还包括面向眼睛的摄像头，该面向眼睛的摄像头可操作为捕捉用户的角膜对现实世界场景的反射的第二图像。处理装置可操作为从在第一图像和第二图像中均可见的一个或多个现实世界对象或其一部分中选择校准对象，并使用第一图像和第二图像来导出校准变换。本发明的该实施例涉及依赖于角膜成像的校准方法。可选地，校准对象选自一个或多个现实世界对象或其一部分，该一个或多个现实世界对象或其一部分在第一图像的与面向眼睛的摄像头的视野相对应的区域中是可见的。通常，面向眼睛的摄像头的视野小于面向前方的摄像头的视野。由于校准对象需要在第一图像和第二图像中均可见，因此，为了导出作为依赖于角膜成像的校准过程的一部分的校准变换，有利地是在现实世界对象中选择校准对象，这些现实世界对象在第一图像的与面向眼睛的摄像头的视野相对应的部分中是可见的。在实践时，这些对象是在由面向眼睛的摄像头捕捉的第二图像中也可见的对象。有利地，由于角膜存在瑕疵，(由面向前方的摄像头捕捉的)第一图像通常优于(由面向眼睛的摄像头捕捉的)第二图像，因此与第二图像相比，通过对第一图像进行图像处理来识别现实世界对象更容易、更可靠、且所消耗得资源也更少。
根据本发明的实施例，与第一图像相比，可以基于第二图像中的校准对象的失真来选择校准对象。这就是在采用依赖于角膜成像的校准方法时会出现的情况。优选地，选择失真最小的对象。这样做是有利的，因为校准变换是通过比较第一图像和第二图像所捕捉的相同对象而导出的。
根据本发明的实施例，基于校准对象的视觉外观来选择校准对象。例如，优选地选择清楚可见的和/或具有高对比度的并且由此易于通过图像处理或对象识别来检测到的现实世界对象。
根据本发明的实施例，在一个或多个现实世界对象中将先前选择的校准对象选择作为校准对象。这可以通过对使用过的校准对象的数据库进行维护来实现。
根据本发明的实施例，显示设备包括一个或多个运动传感器，其可操作为跟踪显示设备的运动。处理装置可操作为估计一个或多个现实世界对象在第一图像中保持可见的持续时间，并基于所估计的校准对象在第一图像中保持可见的持续时间来选择校准对象。基于所跟踪的显示设备的运动，估计一个或多个现实世界对象在第一图像中可见的持续时间。优选地，选择在第一图像中且可选地在第二图像中可见的持续时间足以执行校准过程的现实世界对象。作为备选，可以选择相对于视野缓慢移动或者根本没有移动的现实世界对象。
根据本发明的实施例，通过如下方式来选择校准对象：通过将一个或多个现实世界对象的视觉特征与数据库中存储的与现实世界对象的视觉特征有关的信息进行匹配来识别一个或多个现实世界对象，并基于从数据库获得的信息来选择校准对象。从数据库获得的信息可以指示所识别的现实世界对象或其一部分作为校准对象的各自适合性。例如，该信息可以涉及视觉外观、尺寸、就几何形状而言的现实世界对象的组成等。在这一点上，如果现实世界对象的视觉外观的特征在于高对比度或者在于易于通过图像处理检测到的几何形状，那么就认为该现实世界对象更适合作为校准对象。例如，棋盘的特征在于由简单的几何形状组成以及高对比度。优选地，选择最适合的校准对象。
根据本发明的实施例，该显示设备还包括无线通信接口。处理装置可操作为通过如下方式来选择校准对象：使用无线通信接口在一个或多个现实世界对象中识别包括显示器在内的通信设备，并将通信设备的显示器和在其上显示的图形内容中的至少一项选择作为校准对象。包括显示器在内的通信设备可以例如通过与附近通信设备建立无线通信、通过查询附近通信设备的类型、能力或品牌/型号来识别。有利地，在面向前方的摄像头的视野内的附近通信设备可以以专用校准图案的形式来显示图形内容，该专用校准图案的特征在于高对比度并且由简单的几何形状组成，例如矩形、正方形、圆形等。可选地，该显示设备可以经由无线通信接口从通信设备接收所显示的图形内容的表示。换言之，该通信设备可以向显示设备报告当前显示了什么图形内容，使得显示设备可以将所显示的图形内容用作校准对象。作为备选，显示设备可以经由无线通信接口向通信设备发送指令，从而在通信设备的显示器上显示图形内容。该指令可以是请求，例如消息或信号，通信设备响应于该请求来显示图形内容。可选地，显示设备可以经由无线通信接口向通信设备发送图形内容的表示。
根据本发明的实施例，该显示设备还可操作为接收用于显示虚拟对象的指令，该指令包括在向用户显示时虚拟对象的相应现实世界位置。该现实世界位置是现实世界场景中虚拟对象看上去将要被放置的位置。例如，该指令可以从由显示设备执行的AR应用接收的，或者从利用显示设备向用户显示虚拟对象的AR应用接收的。显示设备还可操作为通过将校准变换应用于接收到的现实世界位置来计算出虚拟对象的显示位置，并在显示器上的计算出的显示位置处显示虚拟对象。
尽管在某些情况下已经参考本发明的第一方面的实施例描述了本发明的优点，但是相应的推理也适用于本发明的其他方面的实施例。
在研究以下的详细公开内容、附图和所附权利要求时，本发明的其他目的、特征和优点将变得显而易见。本领域的技术人员认识到的是：可以将本发明的不同特征进行组合，以创建与以下所述实施例不同的实施例。
附图说明
通过以下参考附图对本发明实施例的说明性且非限制性的详细描述，将更好地理解本发明的上述以及其他目的、特征和优点，在附图中：
图1示出了根据本发明的实施例的头戴式显示设备。
图2示出了根据本发明的实施例的图1的显示设备的至少部分透视的显示器的视图。
图3示出了图1的显示设备中包括的处理装置的实施例。
图4示出了图1的显示设备中包括的处理装置的另一实施例。
图5示出了根据本发明的实施例的由头戴式显示设备执行的方法的流程图。
所有附图都是示意性的，不必按比例绘制，并且通常仅示出了阐明本发明所必需的部分，其中，可以省略掉或仅暗示其他部分。
具体实施方式
现在将在下文中参考附图来更全面地描述本发明，在附图中，示出了本发明的某些实施例。然而，本发明可以以许多不同的形式来体现，而不应被解释为局限于在本文中阐述的实施例。相反，这些实施例是通过示例的方式来提供的以使得本公开内容将是彻底和完整的，并且这些实施例将本发明的范围充分地传达给本领域技术人员。
在下文中，参考图1来描述头戴式显示设备(HMD)的实施例，图1示出了被配置为由用户穿戴的HMD 100。HMD 100可以例如使用带子或类似物附接到用户的头部121上。HMD100包括至少部分透视的显示器101，通过该部分透视的显示器101，用户可以用眼睛122观看到在用户前方的现实世界场景。显示器101可以用于向用户显示虚拟对象(如文本、图像、视频或其他类型的图形内容)，使得所显示的虚拟对象重叠到现实世界场景上。HMD 100还包括：可操作为捕捉现实世界场景的第一图像的面向前方的摄像头102、以及可操作为使HMD 100根据本文阐述的本发明实施例来发挥作用的处理装置104。
更具体地，HMD 100可操作为从一个或多个现实世界对象或其一部分130～135中选择校准对象，这些现实世界对象或其一部分130～135在由面向前方的摄像头102捕捉的第一图像中是可见的。第一图像表示面向前方的摄像头102的视野112内的现实世界场景的视图。在当前上下文中，现实世界对象可以是任何物理对象，例如家具、家用电器、建筑物、门、窗户、车辆、路牌、平板电脑、智能电话、膝上型计算机、棋盘等。在图1中，一些现实世界对象被例示为平板电脑130、盒子133和汽车134。本发明的实施例可以选择整个现实世界对象(例如盒子133)作为校准对象，或者选择现实世界对象的一部分(例如平板电脑130的显示器131或在其上显示的图形内容132)作为校准对象。在图1中，图形内容132被例示为棋盘，由于棋盘具有高对比度并由简单的几何形状组成(这便于进行图像处理和对象识别)，因此它是本领域中常用的校准图案。
HMD 100还可操作为基于现实世界位置来导出用于计算显示位置的校准变换。计算出显示位置，使得相对于显示器101的坐标系在显示器101上的显示位置处显示的虚拟对象与(用户在通过显示器101用他/她的眼睛122观看现实世界场景时可以看到的)相对于面向前方的摄像头102的坐标系的位于现实世界位置的相应现实世界对象对齐。
在依赖诸如HMD 100之类的透视显示器的AR中，重要的任务是对HM进行校准，以建立不同坐标系的相对取向和位置，即姿态。出于阐明本发明的目的，若干坐标系可以与HMD100相关联。第一坐标系可以与显示器101相关联，第二坐标系可以与面向前方的摄像头102相关联，第三坐标系可以与可选的面向眼睛的摄像头103(下面进一步描述)相关联，而第四坐标系可以与用户的眼睛122相关联。虚拟对象仅在正确校准之后才能在显示器101上显示，使得其看上去像放置在现实世界场景中的期望位置处，从而实现沉浸式的用户体验。在WO 2016/191043 A1中概述了当前的问题，并提出了手动校准过程。在J.Grubert、Y.Itoh、K.Moser和J.E.Swan II的“光学透视头戴式显示器的校准方法调查”中可以找到对不同的校准过程的概述(arXiv：1709.04299v1，2017年9月13日)。
在图2中示出了将虚拟对象重叠到现实世界场景上，图2示出了用户通过显示器101用眼睛122看到的现实世界场景的视图。在图2中，通过显示器101看到了现实世界对象或其一部分130～135，而虚拟对象232(在此示为棋盘，其与在平板电脑130的显示器131上作为图形内容显示的棋盘132相同)通过在显示器101上显示而重叠在现实世界场景上。假设棋盘232将在显示位置处显示以使其看起来像放置在棋盘132(其在平板电脑130的显示器131上显示)的现实世界位置处，HMD 100需要校正显示位置来使棋盘232发生位移，使其与眼睛122所看到的平板电脑130上显示的棋盘132对齐(即重叠)。棋盘232需要进行的位移(在图2中用箭头240表示)就是校准过程的目的。
HMD 100可以可选地包括面向眼睛的摄像头103，其可操作为捕捉用户的角膜123对现实世界场景的反射的第二图像。角膜成像是这样一种技术：其利用摄像头对人的角膜(特别是HM的用户的角膜)进行成像，以收集与此人前方的事物有关的信息，并且还因为人类眼球的球形性质的缘故收集与可能比观看视野宽的视野内的对象有关的信息。这样的对象可能是位于摄像头的视野之外，甚至可能位于摄像头后方。由于人类角膜具有高度反射性并且在诸如HMD之类的消费类设备中也可以使用高清摄像头，因此使得该技术成为可能。
如果校准过程依赖于角膜成像，则HMD 100可操作为从在第一图像和第二图像中均可见的一个或多个现实世界对象或其一部分130～135中选择校准对象，并使用第一图像和第二图像来导出校准变换。进一步可选地，HMD 100可以可操作为从一个或多个现实世界对象或其一部分130～135中选择校准对象，该一个或多个现实世界对象或其一部分130～135在第一图像中的与面向眼睛的摄像头103的视野113相对应的区域中是可见的。由于在从角膜123的瑕疵表面产生反射的情况下，(由具有视野112的面向前方的摄像头102捕捉的)第一图像通常优于(由具有视野113的面向眼睛的摄像头103捕捉的)第二图像，因此与第二图像相比，使用第一图像通过图像处理和对象识别来识别现实世界对象更加容易、更可靠消耗资源更少。通过限制为了识别适合用作校准对象的现实世界对象而需要处理的第一图像的区域，本发明的实施例所需的计算资源更少且因此所需的功率更少。
校准过程本身(即，建立与HMD相关联的不同坐标系的相对姿态)不在本公开的范围之内。这足以说明现实世界校准对象是用于导出校准变换的，例如，矩阵或者适合于描述两个坐标系之间的坐标变换的任何其他数学表示形式。应当理解，根据HMD的设计，一个或多个坐标系可以相对于彼此和/或相对于HMD 100具有固定姿态。例如，对于显示器101、面向前方的摄像头102以及可选地面向眼睛的摄像头103被包含在单个单元中的HMD而言情况就是如此，使得这些不同的组件在正常使用期间无法相对于彼此移动。
本领域中使用的校准对象通常是专用校准对象，如棋盘或校准台(例如，参见A.Plopski、C.Nitschke、K.Kiyokawa、D.Schmalstieg和H.Takemura的“混合眼动跟踪：结合虹膜轮廓和角膜成像”，关于人工现实的国际会议及关于虚拟环境的远程存在欧洲图形研讨会，欧洲图形学会，2015年)。本发明的实施例不是使用HMD 100的用户必须保留并且可能随身携带的专用校准对象，而是依靠于利用在HMD 100需要进行校准时用户附近可用的现实世界对象。根据HMD的设计及其用途，如果眼睛122的姿态(即眼睛122相对于HMD 100的取向和/或位置)已经发生了改变，则通常需要进行校准。此外，如果显示器101、面向前方的摄像头102和面向眼睛的摄像头103中的一个或多个相对于彼此和/或相对于HMD 100已经发生了位移，则可能需要进行校准。
更具体地，HMD 100可以可操作为响应于以下任何一项而发起或触发校准过程(即，选择校准对象和导出校准变换)：从用户接收用于发起校准过程的指令，HMD 100上电，检测到所显示的虚拟对象相对于现实世界场景未对齐，检测到用户与HMD 100的先前用户不同，检测到HMD 100相对于用户的至少一只眼睛122已经发生了位移，以及检测到显示器101、面向前方的摄像头102和面向眼睛的摄像头103中的一个或多个相对于彼此和/或相对于HMD 100已经发生了位移。
在实践时，可以通过在与特定现实世界对象的现实世界位置相对应的显示位置处显示虚拟对象来检测所显示的虚拟对象相对于现实世界场景的未对齐。特别地，所显示的虚拟对象可以具有与现实世界对象相同的形状，也就是说，它可以是现实世界对象的虚拟表示(或虚拟副本)。如果所显示的虚拟对象和现实世界对象至少在一定程度上是未对齐的，则触发校准过程。未对齐可以由用户检测到或通过角膜成像检测到，通过对面向眼睛的摄像头103所捕捉的第二图像(其中现实世界对象和重叠的虚拟对象都是可见的)进行图像处理来检测到。
例如，HMD 100相对于用户的至少一只眼睛122的位移可以使用面向眼睛的摄像头103来检测到。这可以通过随时间推移跟踪用户的眼睛122的位置来实现。如果用户眼睛122的位置与历史平均值的偏差超过了阈值，则触发校准过程。该阈值可以由用户来设置，由HMD 100的制造商来设置，或由利用HMD 100向用户显示虚拟对象的AR应用程序来设置。
显示器101、面向前方的摄像头102和面向眼睛的摄像头103中的一个或多个相对于彼此和/或相对于HMD 100的位移可以通过利用显示器101、面向前方的摄像头102和面向眼睛的摄像头103中包括的运动传感器来检测到。
在下文中，描述了在一个或多个现实世界对象或其一部分130～135中选择校准对象的不同备选方案。
例如，HMD 100可以操作为基于校准对象的视觉外观来选择校准对象。优选地，选择清楚可见的、具有良好照明条件和/或高对比度的和/或由简单的几何形状组成的现实世界对象。这样的现实世界对象通常易于通过图像处理和对象识别而检测到，例如，采用尺度不变特征变换(SIFT)(例如参见US 6,711,293 B1)或本领域已知的类似算法。
备选地，HMD 100可以操作为在一个或多个现实世界对象或其一部分130～135中将先前选择的校准对象选择作为校准对象。为此，HMD 100可以在HMD 100所包括的存储器(例如，图3中所示的存储器303)中或者HMD 100通过通信网络(经由无线通信接口105)可访问的存储器中对数据库进行维护，例如基于云的数据库。在该数据库中，可以存储可以用于在一个或多个现实世界对象中识别校准对象的信息，例如，与它们的视觉外观或视觉特征有关的信息、图片或者与它们的形状、几何形状的组成和尺寸有关的信息。
作为另一备选，HMD 100可以附加地包括一个或多个运动传感器106，其可操作为跟踪HMD 100的运动。例如，该一个或多个运动传感器106可以是基于加速度计、陀螺仪、全球定位系统(GPS)传感器、磁力计、摄像头等，它们在本领域中是已知的并且配备有常规智能电话。HMD 100可操作为基于所跟踪的HMD 100的运动来估计一个或多个现实世界对象在第一图像中保持可见(即，保持在面向前方的摄像头102的视野112内)的持续时间，并且基于所估计的校准对象在第一图像中保持可见的持续时间来选择校准对象。如果HMD 100采用的是依靠面向前方的摄像头102跟踪所选择的校准对象的校准过程，那么就会出现这种情况。优选地，将在第一图像中可见的持续时间足以执行校准的现实世界对象或其一部分130～135选择作为校准对象。作为备选，可以将相对于视野102缓慢移动或根本没有移动的现实世界对象或其一部分130～135选择作为校准对象。例如，如果HMD 100或多或少是静止的，则可以选择静止的现实世界对象，例如盒子133。另一方面，如果HMD 100例如由于用户转动他/她的头部121而发生移动，则可以选择发生类似移动的现实世界对象，例如汽车134。
还应当理解的是，如果在第一图像的与面向眼睛的摄像头103的视野113相对应的区域中是可见的一个或多个现实世界对象或其一部分130～135中选择校准对象，那么可以基于所估计的校准对象在第二图像中(即在面向眼睛的摄像头103的视野113内)保持可见的持续时间来选择校准对象。
作为又一备选，HMD 100可以操作为通过如下方式来选择校准对象：通过将一个或多个现实世界对象130～135的视觉特征与数据库中存储的与现实世界对象的视觉特征有关的信息进行匹配来识别一个或多个现实世界对象130～135(例如，使用SIFT或类似算法)，并基于从数据库获得的信息来选择校准对象。所获得的信息可以指示所识别的现实世界对象或其一部分130～135作为校准对象的各自适合性。例如，该信息可以涉及视觉外观、形状、几何形状的组成、尺寸等，其用来导出校准变换。优选地，选择最适合的校准对象。
作为又一备选，如果通过依赖于角膜成像使用第一图像和第二图像这两者来导出校准变换，则HMD 100可以操作为基于第二图像中的校准对象与第一图像相比的失真来选择校准对象。第二图像中的校准对象的失真可以源自形状为球形的角膜123的反射，并且可以受到角膜132外表面的瑕疵以及角膜132外表面上的眼泪或污垢的影响。另外，HMD 100的光学元件(用户通过其观看现实世界场景)可能会导致第二图像的失真。优选地，选择失真最小的对象，以便于导出校准变换。
本发明的实施例还可以在一个或多个现实世界对象中选择通信设备作为校准对象，例如，图1和图2所示的平板电脑130、智能电话、移动电话、计算机显示器、电视等。为此，HMD 100可以包括无线通信接口105，其可以基于任何已知的无线通信技术。例如，无线通信接口105可以基于诸如无线局域网(WLAN)/WiFi或蓝牙之类的短程无线电技术，也可以基于诸如全球移动通信系统(GSM)、通用移动电信系统(UMTS)、长期演进(LTE)或基于NR/NX的5G技术之类的蜂窝无线电技术。HMD 100与通信设备(包括与无线通信接口105兼容的无线通信接口)之间的通信(即数据交换)可以使用任何适合的协议来开始，例如，超文本传输协议(HTTP)、约束应用协议(CoAP)等。
更具体地，HMD 100可操作为通过如下方式来选择校准对象：使用无线通信接口105在一个或多个现实世界对象中识别包括显示器在内的通信设备(例如，平板电脑130)，并将以下至少一项选择作为校准对象：平板电脑130的显示器131和在其上显示的图形内容132。例如，在一个或多个现实世界对象中识别无线通信设备可以依赖于根据蓝牙和其他无线通信技术的已知的发现过程来实现。作为发现过程的一部分或者在发现过程之后，HMD100可以操作为与所识别的通信设备建立无线通信和/或获取关于通信设备的类型或其能力的信息，特别是与其显示器131有关的信息。将具有显示器的通信设备(如平板电脑130)用作校准对象是有利的，这是因为：显示器具有简单的几何形状和高对比度(如果足够亮的话)，因此往往易于通过图像处理和对象识别来识别。
将包括显示器在内的通信设备用作校准对象的另一优势在于：在校准过程期间，与在通信设备的显示器上显示的图形内容有关的信息可以在HMD 100与通信设备之间交换。所显示的图形内容可以例如是专用校准图案，其特征在于高对比度并且由简单的几何形状(矩形、正方形、圆形)组成，例如，图1和图2所示的棋盘132。
更具体地，HMD 100可以操作为经由无线通信接口105从平板电脑130接收所显示的图形内容132的表示。也就是说，平板电脑130报告当前在显示器131上显示的内容。所显示的图形内容可以是当前由平板电脑130执行的一个或多个app(应用)所显示的任何图形内容，但也可以有利地是专用校准图案，如棋盘132。平板电脑130可以例如操作为：响应于建立与HMD 100的通信或者响应于从HMD 100接收到对“校准正在进行”的指示，显示专用校准图案。
作为备选，HMD 100可以操作为经由无线通信接口105向平板电脑130发送用于在显示器131上显示图形内容132的指令。该指令可以例如是请求、消息或信号，平板电脑130响应于此而显示图形内容132。所显示的图形内容可以是预定义的，例如专用校准图案。可选地，HMD 100可以操作为经由无线通信接口105向平板电脑130发送图形内容132的表示。这样，HMD 100可以控制由平板电脑132显示的图形内容的细节，并且可以有利地将向平板电脑132发送专用校准图案。例如，图形内容的表示可以具有已知计算机图形格式或图像格式的形式。
HMD 100还可以操作为：响应于选择校准对象，调整用户用眼睛122看到的与所选择的校准对象重叠的一个或多个所显示的虚拟对象。这在采用基于角膜成像的校准方法时是特别有利的(例如，如在A.Plopski、C.Nitschke、K.Kiyokawa、D.Schmalstieg和H.Takemura的“混合眼动跟踪：结合虹膜轮廓和角膜成像”中所述，关于人工现实的国际会议及关于虚拟环境的远程存在欧洲图形研讨会，欧洲图形学会，2015年)。由此避免了所显示的虚拟对象遮挡住校准对象，而这可能会阻止校准过程。
HMD 100还可以操作为：响应于选择校准对象，通知用户校准正在进行中。可选地，HMD 100可以操作为通过在显示器101上向用户显示用于识别所选择的校准对象(在这种情况下是盒子133)的标记250来通知用户校准正在进行中。由此，可以请求用户凝视所选择的校准对象的方向，或者调整他/她的移动以便于进行校准过程。备选地，可以请求用户改变他/她的头部姿态，从而最小化第二图像中所选择的校准对象的失真(前提是使用了依赖于角膜成像的校准过程)，或者可以请求用户更靠近所选择的校准对象。
一旦导出了校准变换，就可以将导出的校准变换的表示(例如，矩阵或具有电子格式的其他合适数学表示)存储在HMD 100的存储器(如图3所示的存储器303)中，并且后续可用于以提供沉浸式用户体验的方式来显示虚拟对象。为此，HMD 100可以操作为接收用于显示虚拟对象的指令。该指令可以例如从由HMD 100执行的AR应用接收，或者从利用HMD 100向用户显示虚拟对象的AR应用接收。例如，HMD 100可以使用任何合适的协议(例如，HTTP或CoAP)有线地或无线地连接到执行AR应用程序的计算设备，例如计算机、膝上型计算机、智能电话、平板电脑或游戏机。所接收的指令包括在向用户显示时虚拟对象的相应现实世界位置，即，在显示器101上向用户显示(用眼睛122看到)时虚拟对象看上去要放置的现实世界中的位置。HMD 100还可操作为通过对接收到的现实世界位置应用校准变换来计算出虚拟对象的显示位置，并在显示器101上的计算出的显示位置处显示虚拟对象。
在下文中，参考图3和图4描述了HMD 100中包括的处理装置104的实施例。
图3中示出了处理装置104的实施例300。处理装置300包括处理单元302(如通用处理器或处理电路)以及计算机可读存储介质303(如随机存取存储器(RAM)、闪存等)。另外，处理装置300包括一个或多个接口301(图3中的“I/O”)，用于控制HMD 100中包括的其他组件和/或从其接收信息，所述其他组件例如显示器101、面向前方的摄像头102、面向眼睛的摄像头103、无线通信接口105以及一个或多个运动传感器106，它们中的一些可以是可选的。存储器303包含计算机可执行指令304，即计算机程序或软件，当在处理单元302上执行计算机可执行指令304时，其使得HMD 100根据本文所述的本发明实施例来发挥作用。
图4示出了处理装置104的备选实施例400。类似于处理装置300，处理装置400包括一个或多个接口401(图4中的“I/O”)，用于控制HMD 100中包括的其他组件和/或从其接收信息，所述其他组件例如显示器101、面向前方的摄像头102、面向眼睛的摄像头103、无线通信接口105以及一个或多个运动传感器106，它们中的一些可以是可选的。处理装置400还包括选择模块402、校准模块403、可选的触发模块404和可选的显示模块405，这些模块被配置为使得HMD 100根据本文所述的本发明实施例发挥作用。
特别地，选择模块402被配置为从一个或多个现实世界对象或其一部分中选择校准对象，该一个或多个现实世界对象或其一部分在现实世界场景的第一图像中是可见的，该第一图像由显示设备中包括的面向前方的摄像头捕捉。校准模块403被配置为基于现实世界位置来导出用于计算显示位置的校准变换，使得在显示设备包括的至少部分透视的显示器上的显示位置处显示的虚拟对象与用户看到的位于现实世界位置的相应现实世界对象对齐。
例如，选择模块402可以被配置为从一个或多个现实世界对象或其一部分中选择校准对象，该一个或多个现实世界对象或其一部分在第一图像和用户的角膜对现实世界场景的反射的第二图像中均是可见的，该第二图像由显示设备中包括的面向眼睛的摄像头捕捉。校准模块403可以被配置为使用第一图像和第二图像来导出校准变换。
备选地，选择模块402可以被配置为从一个或多个现实世界对象或其一部分中选择校准对象，该一个或多个现实世界对象或其一部分在第一图像的与面向眼睛的摄像头的视野相对应的区域中是可见的。
作为另一备选，选择模块402可以被配置为基于第二图像中的校准对象与第一图像相比的失真来选择校准对象。
作为再一备选，选择模块402可以被配置为基于校准对象的视觉外观来选择校准对象。
作为又一备选，选择模块402可以被配置为在一个或多个现实世界对象中将先前选择的校准对象选择作为校准对象。
作为又一备选，选择模块402还可以被配置为：使用显示设备中包括的一个或多个运动传感器来跟踪显示设备的运动；基于所跟踪的显示设备的运动，估计一个或多个现实世界对象在第一图像中保持可见的持续时间；并且基于所估计的校准对象在第一图像中保持可见的持续时间来选择校准对象。
作为又一备选，选择模块402可以被配置为通过如下方式来选择校准对象：通过将一个或多个现实世界对象的视觉特征与数据库中存储的与现实世界对象的视觉特征有关的信息进行匹配来识别一个或多个现实世界对象，并基于从数据库获得的信息来选择校准对象，该信息指示所识别的现实世界对象或其一部分作为校准对象的各自适合性。
作为又一备选，选择模块402可以被配置为通过如下方式来选择校准对象：使用显示设备中包括的无线通信接口在一个或多个现实世界对象中识别包括显示器在内的通信设备，并将以下至少一项选择作为校准对象：通信设备的显示器和在其上显示的图形内容。可选地，选择模块402还可以被配置为经由无线通信接口从通信设备接收所显示的图形内容的表示。备选地，选择模块402还可以被配置为经由无线通信接口向通信设备发送用于在通信设备的显示器上显示图形内容的指令。可选地，选择模块402还可以被配置为经由无线通信接口向通信设备发送图形内容的表示。
可选的触发模块404可以被配置为响应于以下任何一项来触发选择模块402选择校准对象以及校准模块403导出校准变换：从用户接收到用于发起校准过程的指令，显示设备上电，检测到所显示的虚拟对象相对于现实世界场景未对齐，检测到用户与显示设备的先前用户不同，检测到显示设备相对于用户的至少一只眼睛已经发生了位移，以及检测到显示器101、面向前方的摄像头102和面向眼睛的摄像头103中的任何一个相对于显示设备已经发生了位移。
可选的显示模块405可以被配置为：响应于选择模块402选择校准对象，调整用户看到的与所选择的校准对象重叠的一个或多个所显示的虚拟对象。
可选地，选择模块402还可以被配置为：响应于选择校准对象，通知用户校准正在进行中。可选地，通过在显示器上向用户显示用于识别所选择的校准对象的标记来通知用户校准正在进行中。
可选的显示模块405还可以被配置为：接收用于显示虚拟对象的指令，该指令包括在向用户显示时虚拟对象的相应现实世界位置；通过对所接收的现实世界位置应用校准模块403导出的校准变换来计算出虚拟对象的显示位置；并且在显示器上的计算出的显示位置处显示虚拟对象。
如本文所述，处理装置400中包括的模块402～405还可以被配置为执行根据本发明的实施例的附加或备选操作。
接口301和401和模块402～405以及处理装置400中包括的任何附加模块可以由任何种类的电子电路来实现，例如，模拟电子电路、数字电子电路和执行合适的计算机程序(即软件)的处理装置中的任何一个或组合。
在下文中，参考图5描述了由被配置为由用户穿戴的头戴式显示设备执行的方法的实施例500。
方法500包括：从一个或多个现实世界对象或其一部分中选择504校准对象，该一个或多个现实世界对象或其一部分在现实世界场景的第一图像中是可见的，该第一图像由显示设备中包括的面向前方的摄像头捕捉；基于现实世界位置导出507用于计算显示位置的校准变换，使得在显示设备包括的至少部分透视的显示器上的显示位置处显示的虚拟对象与用户看到的位于现实世界位置的相应现实世界对象对齐。
例如，可以从一个或多个现实世界对象或其一部分中选择504校准对象，该一个或多个现实世界对象或其一部分在第一图像和用户的角膜对现实世界场景的反射的第二图像中均是可见的，该第二图像由显示设备中包括的面向眼睛的摄像头捕捉，并且可以使用第一图像和第二图像来导出507校准变换。
备选地，可以从一个或多个现实世界对象或其一部分中选择504校准对象，该一个或多个现实世界对象或其一部分在第一图像中的与面向眼睛的摄像头的视野相对应的区域中是可见的。
作为另一备选，可以基于第二图像中的校准对象与第一图像相比的失真来选择504校准对象。
作为再一备选，可以基于校准对象的视觉外观来选择504校准对象。
作为又一备选，可以在一个或多个现实世界对象中将先前选择的校准对象选择504作为校准对象。
作为又一备选，方法500还可以包括：使用显示设备中包括的一个或多个运动传感器来跟踪502显示设备的运动；并且基于所跟踪的显示设备的运动，估计503一个或多个现实世界对象在第一图像中保持可见的持续时间。基于所估计的校准对象在第一图像中保持可见的持续时间，选择504校准对象。
作为又一备选，选择504校准对象可以包括：通过将一个或多个现实世界对象的视觉特征与数据库中存储的与现实世界对象的视觉特征有关的信息进行匹配来识别一个或多个现实世界对象，并基于从数据库获得的信息来选择校准对象，该信息指示所识别的现实世界对象或其一部分作为校准对象的各自适合性。
作为又一备选，选择504校准对象可以包括：使用显示设备中包括的无线通信接口在一个或多个现实世界对象中识别包括显示器在内的通信设备，并将以下至少一项选择作为校准对象：通信设备的显示器和在其上显示的图形内容。可选地，选择504校准对象还可以包括：经由无线通信接口从通信设备接收所显示的图形内容的表示。备选地，选择504校准对象还可以包括：经由无线通信接口向通信设备发送用于在通信设备的显示器上显示图形内容的指令。可选地，选择504校准对象还可以包括：经由无线通信接口向通信设备发送图形内容的表示。
可选地，响应于由以下任何一项触发501校准来选择504校准对象和导出507校准变换：从用户接收到用于发起校准过程的指令，显示设备上电，检测到所显示的虚拟对象相对于现实世界场景未对齐，检测到用户与显示设备的先前用户不同，检测到显示设备相对于用户的至少一只眼睛已经发生了位移，以及检测到显示器101、面向前方的摄像头102和面向眼睛的摄像头103中的任何一个相对于显示设备已经发生了位移。
可选地，方法500还可以包括：响应于选择504校准对象，调整505用户看到的与所选择的校准对象重叠的一个或多个所显示的虚拟对象。
可选地，方法500还可以包括：响应于选择504校准对象，通知506用户校准正在进行中。可选地，通过在显示器上向用户显示用于识别所选择的校准对象的标记来通知506用户校准正在进行中。
可选地，方法500还可以包括：接收508用于显示虚拟对象的指令，该指令包括在向用户显示时虚拟对象的相应现实世界位置；通过对所接收的现实世界位置应用校准变换来计算509虚拟对象的显示位置；并且在显示器上的计算出的显示位置处显示510虚拟对象。
应当理解，方法500可以包括根据在整个公开内容中所描述内容的附加或修改步骤。方法500的实施例可以实现为由头戴式显示设备中包括的处理单元执行的软件(如计算机程序304)，由此显示设备根据本文描述的本发明实施例发挥作用。计算机程序304可被存储在计算机可读存储介质上，如存储器303、光盘(CD)、数字多功能盘(DVD)、记忆棒等。计算机程序304也可以由数据载波信号携带。例如，计算机程序304可以经由无线通信接口105通过诸如互联网之类的通信网络传送到存储器303。
本领域技术人员认识到的是，本发明决不局限于上述实施例。相反，在所附权利要求的范围内可以做出许多修改和变化。

Claims (36)

1.一种被配置为由用户(121)穿戴的头戴式显示设备(100)，所述显示设备包括：
至少部分透视的显示器(101)，
面向前方的摄像头(102)，其能够操作为捕捉现实世界场景的第一图像，以及
处理装置(104)，其能够操作为：
从在所述第一图像中可见的一个或多个现实世界对象或其一部分(130～135)中选择校准对象，以及
基于现实世界位置来导出用于计算显示位置的校准变换，使得在所述显示器上的所述显示位置处显示的虚拟对象与所述用户看到的位于所述现实世界位置处的相应现实世界对象对齐。
2.根据权利要求1所述的显示设备，还包括：
面向眼睛的摄像头(103)，其能够操作为捕捉所述用户的角膜(123)对所述现实世界场景的反射的第二图像，
所述处理装置能够操作为：
从在所述第一图像和所述第二图像中均可见的一个或多个现实世界对象或其一部分中选择所述校准对象，以及
使用所述第一图像和所述第二图像来导出所述校准变换。
3.根据权利要求2所述的显示设备，所述处理装置能够操作为从一个或多个现实世界对象或其一部分中选择所述校准对象，所述一个或多个现实世界对象或其一部分在所述第一图像中的与所述面向眼睛的摄像头(103)的视野(113)相对应的区域中是可见的。
4.根据权利要求2或3所述的显示设备，所述处理装置能够操作为基于所述第二图像中的所述校准对象的与所述第一图像相比的失真来选择所述校准对象。
5.根据权利要求1至3中任一项所述的显示设备，所述处理装置能够操作为基于所述校准对象的视觉外观来选择所述校准对象。
6.根据权利要求1至3中任一项所述的显示设备，所述处理装置能够操作为在所述一个或多个现实世界对象中将先前选择的校准对象选择作为所述校准对象。
7.根据权利要求1至3中任一项所述的显示设备，还包括一个或多个运动传感器(106)，其能够操作为跟踪所述显示设备的运动，所述处理装置能够操作为：
基于所跟踪的所述显示设备的运动，估计所述一个或多个现实世界对象在所述第一图像中保持可见的持续时间，以及
基于所估计的所述校准对象在所述第一图像中保持可见的持续时间，选择所述校准对象。
8.根据权利要求1至3中任一项所述的显示设备，所述处理装置能够操作为通过如下方式来选择所述校准对象：
通过将一个或多个现实世界对象的视觉特征与数据库中存储的与现实世界对象的视觉特征有关的信息进行匹配来识别所述一个或多个现实世界对象，以及
基于从所述数据库获得的信息来选择所述校准对象，所述信息指示所识别的现实世界对象或其一部分作为校准对象的各自适合性。
9.根据权利要求1至3中任一项所述的显示设备，还包括无线通信接口(105)，所述处理装置能够操作为通过如下方式来选择所述校准对象：
使用所述无线通信接口在所述一个或多个现实世界对象中识别包括显示器(131)在内的通信设备(130)，以及
将以下至少一项选择作为所述校准对象：所述通信设备的所述显示器(131)和在其上显示的图形内容(132)。
10.根据权利要求9所述的显示设备，所述处理装置还能够操作为经由所述无线通信接口从所述通信设备(130)接收所显示的图形内容(132)的表示。
11.根据权利要求9所述的显示设备，所述处理装置还能够操作为经由所述无线通信接口向所述通信设备(130)发送用于在所述通信设备的所述显示器(131)上显示所述图形内容(132)的指令。
12.根据权利要求11所述的显示设备，所述处理装置还能够操作为经由所述无线通信接口向所述通信设备(130)发送所述图形内容(132)的表示。
13.根据权利要求1至12中任一项所述的显示设备，所述处理装置能够操作为响应于以下任何一项来选择所述校准对象并导出所述校准变换：
从所述用户接收到用于发起校准过程的指令，
所述显示设备上电，
检测到所显示的虚拟对象相对于所述现实世界场景未对齐，
检测到所述用户与所述显示设备的先前用户不同，
检测到所述显示设备相对于所述用户的至少一只眼睛(122)已经发生了位移，以及
检测到所述显示器(101)和所述面向前方的摄像头(102)中的任何一个相对于所述显示设备已经发生了位移。
14.根据权利要求1至13中任一项所述的显示设备，所述处理装置能够操作为：响应于选择所述校准对象，调整所述用户看到的与所选择的校准对象重叠的一个或多个所显示的虚拟对象。
15.根据权利要求1至14中任一项所述的显示设备，所述处理装置还能够操作为：响应于选择所述校准对象，通知所述用户校准正在进行中。
16.根据权利要求15所述的显示设备，所述处理装置还能够操作为：通过在所述显示器上向所述用户显示用于识别所选择的校准对象的标记(250)来通知所述用户校准正在进行中。
17.根据权利要求1至16中任一项所述的显示设备，所述处理装置还能够操作为：
接收用于显示虚拟对象的指令，所述指令包括在向所述用户显示时所述虚拟对象的相应现实世界位置；
通过对所接收的现实世界位置应用所述校准变换来计算所述虚拟对象的显示位置；以及
在所述显示器上的所计算出的显示位置处显示所述虚拟对象。
18.一种由被配置为由用户穿戴的头戴式显示设备执行的方法(500)，所述方法包括：
从一个或多个现实世界对象或其一部分中选择(504)校准对象，所述一个或多个现实世界对象或其一部分在现实世界场景的第一图像中是可见的，所述第一图像由所述显示设备中包括的面向前方的摄像头捕捉；以及
基于现实世界位置来导出(507)用于计算显示位置的校准变换，使得在所述显示设备包括的至少部分透视的显示器上的所述显示位置处显示的虚拟对象与所述用户看到的位于所述现实世界位置处的相应现实世界对象对齐。
19.根据权利要求18所述的方法，其中，从一个或多个现实世界对象或其一部分中选择(504)所述校准对象，所述一个或多个现实世界对象或其一部分在所述第一图像中和在所述用户的角膜对所述现实世界场景的反射的第二图像中均是可见的，所述第二图像由所述显示设备中包括的面向眼睛的摄像头捕捉，以及使用所述第一图像和所述第二图像来导出(507)所述校准变换。
20.根据权利要求19所述的方法，其中，从一个或多个现实世界对象或其一部分中选择(504)所述校准对象，所述一个或多个现实世界对象或其一部分在所述第一图像中的与所述面向眼睛的摄像头的视野相对应的区域中是可见的。
21.根据权利要求19或20所述的方法，其中，基于所述第二图像中的所述校准对象的与所述第一图像相比的失真来选择(504)所述校准对象。
22.根据权利要求18至20中任一项所述的方法，其中，基于所述校准对象的视觉外观来选择(504)所述校准对象。
23.根据权利要求18至20中任一项所述的方法，其中，在所述一个或多个现实世界对象中将先前选择的校准对象选择(504)作为所述校准对象。
24.根据权利要求18至20中任一项所述的方法，还包括：
使用所述显示设备中包括的一个或多个运动传感器来跟踪(502)所述显示设备的运动，以及
基于所跟踪的所述显示设备的运动，估计(503)所述一个或多个现实世界对象在所述第一图像中保持可见的持续时间，
其中，基于所估计的所述校准对象在所述第一图像中保持可见的持续时间，选择(504)所述校准对象。
25.根据权利要求18至20中任一项所述的方法，其中，选择(504)所述校准对象包括：
通过将一个或多个现实世界对象的视觉特征与数据库中存储的与现实世界对象的视觉特征有关的信息进行匹配来识别所述一个或多个现实世界对象，以及
基于从所述数据库获得的信息来选择所述校准对象，所述信息指示所识别的现实世界对象或其一部分作为校准对象的各自适合性。
26.根据权利要求18至20中任一项所述的方法，其中，选择(504)所述校准对象包括：
使用所述显示设备中包括的无线通信接口在所述一个或多个现实世界对象中识别包括显示器在内的通信设备，以及
将以下至少一项选择作为所述校准对象：所述通信设备的所述显示豁和在其上显示的图形内容。
27.根据权利要求26所述的方法，其中，选择(504)所述校准对象还包括：经由所述无线通信接口从所述通信设备接收所显示的图形内容的表示。
28.根据权利要求26所述的方法，其中，选择(504)所述校准对象还包括：经由所述无线通信接口向所述通信设备发送用于在所述通信设备的所述显示器上显示所述图形内容的指令。
29.根据权利要求28所述的方法，其中，选择(504)所述校准对象还包括：经由所述无线通信接口向所述通信设备发送所述图形内容的表示。
30.根据权利要求18至29中任一项所述的方法，其中，响应于以下任何一项来选择(504)所述校准对象并导出(507)所述校准变换：
从所述用户接收到用于发起校准过程的指令，
所述显示设备上电，
检测到所显示的虚拟对象相对于所述现实世界场景未对齐，
检测到所述用户与所述显示设备的先前用户不同，
检测到所述显示设备相对于所述用户的至少一只眼睛(122)已经发生了位移，以及
检测到所述显示器(101)和所述面向前方的摄像头(102)中的任何一个相对于所述显示设备已经发生了位移。
31.根据权利要求18至30中任一项所述的方法，还包括：响应于选择(504)所述校准对象，调整(505)所述用户看到的与所选择的校准对象重叠的一个或多个所显示的虚拟对象。
32.根据权利要求18至31中任一项所述的方法，还包括：响应于选择(504)所述校准对象，通知(506)所述用户校准正在进行中。
33.根据权利要求32所述的方法，其中，通过在所述显示器上向所述用户显示用于识别所选择的校准对象的标记来通知(506)所述用户校准正在进行中。
34.根据权利要求18至33中任一项所述的方法，还包括：
接收(508)用于显示虚拟对象的指令，所述指令包括在向所述用户显示时所述虚拟对象的相应现实世界位置，
通过对所接收的现实世界位置应用所述校准变换来计算(509)所述虚拟对象的显示位置，以及
在所述显示器上的所计算出的显示位置处显示(510)所述虚拟对象。
35.一种计算机程序(304)，包括计算机可执行指令，当所述计算机可执行指令在头戴式显示设备中包括的处理单元(302)上执行时，所述计算机可执行指令使得所述显示设备执行根据权利要求18至34中任一项所述的方法。
36.一种具有存储在其上的根据权利要求35所述的计算机程序(304)的计算机可读存储介质(303)。
CN201780097808.8A 2017-12-19 2017-12-19 头戴式显示设备及其方法 Active CN111492405B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2017/083600 WO2019120488A1 (en) 2017-12-19 2017-12-19 Head-mounted display device and method thereof

Publications (2)

Publication Number Publication Date
CN111492405A true CN111492405A (zh) 2020-08-04
CN111492405B CN111492405B (zh) 2023-09-05

Family

ID=60957276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780097808.8A Active CN111492405B (zh) 2017-12-19 2017-12-19 头戴式显示设备及其方法

Country Status (15)

Country Link
US (3) US11380018B2 (zh)
EP (2) EP3729378B1 (zh)
JP (1) JP7012163B2 (zh)
KR (1) KR102465654B1 (zh)
CN (1) CN111492405B (zh)
BR (1) BR112020012291A8 (zh)
CA (1) CA3084686C (zh)
DK (1) DK3729378T3 (zh)
ES (1) ES2890428T3 (zh)
IL (1) IL275047B2 (zh)
MA (1) MA54342B1 (zh)
MX (1) MX2020006407A (zh)
PL (1) PL3729378T3 (zh)
RU (1) RU2749643C1 (zh)
WO (1) WO2019120488A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253840A (zh) * 2021-05-06 2021-08-13 青岛小鸟看看科技有限公司 多参与模式的人工现实系统
CN113566847A (zh) * 2021-07-22 2021-10-29 北京百度网讯科技有限公司 导航校准方法和装置、电子设备、计算机可读介质
CN114366330A (zh) * 2022-01-13 2022-04-19 北京歌锐科技有限公司 一种混合现实系统及基于混合现实的标识物配准方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6410987B2 (ja) * 2016-02-25 2018-10-24 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
JP2022539603A (ja) * 2019-07-12 2022-09-12 マジック リープ， インコーポレイテッド ディスプレイシステム較正のための眼球カメラシステムおよび方法
CN110766094B (zh) * 2019-10-31 2022-07-26 联想(北京)有限公司 用于评估增强现实设备标定准确性的方法和装置
GB2609009B (en) * 2021-07-16 2024-01-03 Sony Interactive Entertainment Inc Head-mountable display systems and methods
US20230245345A1 (en) * 2022-02-02 2023-08-03 Varjo Technologies Oy Object-based camera calibration

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170099481A1 (en) * 2015-10-02 2017-04-06 Robert Thomas Held Calibrating a near-eye display
US20170295360A1 (en) * 2016-04-07 2017-10-12 Seiko Epson Corporation Head-mounted display device and computer program

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2130980A1 (en) 1994-08-26 1996-02-27 Carl Treftlin Control apparatus for a video display or virtual reality system
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP2012203823A (ja) * 2011-03-28 2012-10-22 Kddi Corp 画像認識装置
US20140176609A1 (en) * 2011-08-09 2014-06-26 Pioneer Corporation Mixed reality apparatus
US9311883B2 (en) 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
WO2013179427A1 (ja) 2012-05-30 2013-12-05 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
US9239460B2 (en) 2013-05-10 2016-01-19 Microsoft Technology Licensing, Llc Calibration of eye location
TWI505260B (zh) 2013-07-30 2015-10-21 Univ Nat Chiao Tung 頭戴式人眼追蹤系統
US20150193980A1 (en) * 2014-01-06 2015-07-09 Qualcomm Incorporated Calibration of augmented reality (ar) optical see-through display using shape-based alignment
IL232853A (en) * 2014-05-28 2015-11-30 Elbit Systems Land & C4I Ltd Imaging Georegistration System and Method
WO2016013634A1 (ja) * 2014-07-24 2016-01-28 国立研究開発法人科学技術振興機構 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム
EP3230825B1 (en) * 2014-12-10 2019-05-29 Telefonaktiebolaget LM Ericsson (publ) Device for and method of corneal imaging
US20170061700A1 (en) 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US9746675B2 (en) 2015-05-28 2017-08-29 Microsoft Technology Licensing, Llc Alignment based view matrix tuning
AU2016359149B2 (en) 2015-11-25 2018-08-23 Google Llc Prism-based eye tracking
IL252582A0 (en) 2017-05-29 2017-08-31 Eyeway Vision Ltd A method and system for registration between the outside world and a virtual image
GB201709199D0 (en) 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US11650426B2 (en) * 2019-05-09 2023-05-16 Meta Platforms Technologies, Llc Holographic optical elements for eye-tracking illumination
CN111147834A (zh) 2019-12-31 2020-05-12 深圳疆程技术有限公司 一种基于增强现实抬头显示的虚拟图像标定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170099481A1 (en) * 2015-10-02 2017-04-06 Robert Thomas Held Calibrating a near-eye display
US20170295360A1 (en) * 2016-04-07 2017-10-12 Seiko Epson Corporation Head-mounted display device and computer program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253840A (zh) * 2021-05-06 2021-08-13 青岛小鸟看看科技有限公司 多参与模式的人工现实系统
CN113566847A (zh) * 2021-07-22 2021-10-29 北京百度网讯科技有限公司 导航校准方法和装置、电子设备、计算机可读介质
CN114366330A (zh) * 2022-01-13 2022-04-19 北京歌锐科技有限公司 一种混合现实系统及基于混合现实的标识物配准方法

Also Published As

Publication number Publication date
EP3729378B1 (en) 2021-07-21
KR102465654B1 (ko) 2022-11-09
EP3901915A2 (en) 2021-10-27
IL275047A (en) 2020-07-30
RU2749643C1 (ru) 2021-06-16
MA54342A (fr) 2020-10-28
MX2020006407A (es) 2020-09-07
WO2019120488A1 (en) 2019-06-27
CA3084686C (en) 2024-01-02
US20240185463A1 (en) 2024-06-06
US11380018B2 (en) 2022-07-05
BR112020012291A2 (pt) 2020-11-24
US20220301226A1 (en) 2022-09-22
ES2890428T3 (es) 2022-01-19
IL275047B1 (en) 2023-12-01
JP7012163B2 (ja) 2022-01-27
EP3729378A1 (en) 2020-10-28
IL275047B2 (en) 2024-04-01
US20200388054A1 (en) 2020-12-10
CA3084686A1 (en) 2019-06-27
KR20200094767A (ko) 2020-08-07
PL3729378T3 (pl) 2022-01-10
BR112020012291A8 (pt) 2023-04-04
MA54342B1 (fr) 2021-09-30
CN111492405B (zh) 2023-09-05
US11935267B2 (en) 2024-03-19
EP3901915A3 (en) 2022-01-26
JP2021508109A (ja) 2021-02-25
DK3729378T3 (da) 2021-09-20

Similar Documents

Publication Publication Date Title
CN111492405B (zh) 头戴式显示设备及其方法
EP3571673B1 (en) Method for displaying virtual image, storage medium and electronic device therefor
US10795435B2 (en) System and method for hybrid eye tracker
WO2020216054A1 (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
CN110488977B (zh) 虚拟现实显示方法、装置、系统及存储介质
US9401050B2 (en) Recalibration of a flexible mixed reality device
US20140160170A1 (en) Provision of an Image Element on a Display Worn by a User
US10999412B2 (en) Sharing mediated reality content
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US10867174B2 (en) System and method for tracking a focal point for a head mounted device
CN111651051B (zh) 一种虚拟沙盘展示方法及装置
KR20160060582A (ko) 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품
AU2016100369A4 (en) Method and system for providing position or movement information for controlling at least one function of a vehicle
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
WO2020044916A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10402939B2 (en) Information processing device, information processing method, and program
US10186016B2 (en) Image processing device, image display device, image processing system, and image processing method
KR102262019B1 (ko) 네트워크 속도 반응형 확장현실(xr) 커뮤니케이션 방법 및 시스템
US20170147177A1 (en) Method of transmitting information via a video channel between two terminals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant