CN114895471A - 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 - Google Patents

具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 Download PDF

Info

Publication number
CN114895471A
CN114895471A CN202210642767.9A CN202210642767A CN114895471A CN 114895471 A CN114895471 A CN 114895471A CN 202210642767 A CN202210642767 A CN 202210642767A CN 114895471 A CN114895471 A CN 114895471A
Authority
CN
China
Prior art keywords
hmd
tracking
image
rgb
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210642767.9A
Other languages
English (en)
Other versions
CN114895471B (zh
Inventor
S·弗丁-德施尼斯
V·查普德莱恩-库图尔
Y·科特
A·甘努姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202210642767.9A priority Critical patent/CN114895471B/zh
Publication of CN114895471A publication Critical patent/CN114895471A/zh
Application granted granted Critical
Publication of CN114895471B publication Critical patent/CN114895471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本公开涉及具有内‑外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器。公开了一种头戴式显示器系统连同用于针对虚拟或混合现实来执行准确和自动的内‑外位置跟踪、用户身体跟踪和环境跟踪的相关联的技术。该系统使用计算机视觉方法和来自多个传感器的数据融合来实现实时跟踪。通过对HMD本身执行处理的一部分来实现高帧率和低延迟。

Description

具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现 实和混合现实的头戴式显示器
本申请是申请号为201780009450.9、申请日为2017年2月20日、发明名称为“具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器”的发明专利申请的分案申请。
相关专利申请的交叉引用
本专利申请要求于2016年2月18日提交的美国临时专利申请No.62/296,829的权益，该专利申请以引用方式并入本文。
技术领域
本公开涉及用于使用户沉浸在虚拟现实(VR)或增强/混合现实(MR)环境中的应用的头戴式显示器(HMD)的领域。
背景技术
沉浸在虚拟世界中的目标是说服用户的思想以感知非物理世界，好像非物理世界是真实的那样。这里现实的概念更多地是指感知似真性的概念，而不是表示真实世界。在虚拟现实(VR)中，通过显示用于模拟真实或想象世界的视觉体验的计算机生成的图形来实现沉浸。沉浸的质量受限于若干个重要因素。例如，显示器的特性，诸如图像质量、帧率、像素分辨率、高动态范围(HDR)、持久性和纱窗效应(即，屏幕上的像素之间的可见线)。当所显示的视场太窄或如果各种跟踪功能太慢和/或不准确(导致定向障碍和恶心；以其他方式被称为模拟疾病)时，沉浸体验的质量降低。也由相机系统性能诸如图像质量(噪声、动态范围、分辨率、不存在伪像)以及虚拟图形(3D建模、纹理和照明)与直通图像之间的一致性来影响沉浸。在混合现实(MR)中，虚拟元素实时合成到被用户看到的真实世界环境中。虚拟元素和真实世界表面以及对象之间的物理交互可被模拟和实时显示。
各种元素的跟踪通常被认为是用于实现高端VR和MR应用体验的基本先决条件。在这些元素中，位置头部跟踪、用户身体跟踪和环境跟踪在实现很好的沉浸中起着关键作用。
目标在于估计HMD在环境中的位置和取向的位置头部跟踪(此后被称为位置跟踪)必须低延迟和准确。这样做的原因是经呈现的图形必须与用户的头部运动紧密匹配，以便在VR中产生很好的沉浸，并且产生在MR中正确对齐真实世界中的虚拟内容的需要。一些方法试图通过使用HMD外部的设置来解决其尺寸为大约为5米×5米或更小的房间中的位置跟踪。例如，静止红外(IR)或彩色(RGB)相机可被定位成看到位于HMD的表面上的将用于估计头部位置的IR或RGB发光二极管(LED)阵列。其他方法基于利用由与精确定位在HMD上的多个IR光电传感器同步的一个或两个基站生成的IR光来淹没和扫掠房间。通过考虑光电传感器的检测时间，可以高帧率实时计算头部姿势。需注意，这些方法均限制用户为了维持跟踪而可在其内移动的区域。用户必须对IR或RGB相机可见，或者作为另外一种选择可由基站IR发射器覆盖。遮挡可导致跟踪不准确。
用户身体跟踪估计用户的身体相对于HMD的位置和取向(具体地，但不限于手和手指)。可在VR和MR两者中提供使得能够与虚拟元素进行交互的用户输入的手段(例如，手势)。虽然一些位置跟踪方法也可用于手跟踪(例如，手持控制器上的具有LED阵列的IR相机)，但是其他方法利用较小的分析空间(通常在距HMD一米内)来增加手和手指跟踪算法的稳健性。例如，近距离飞行时间(ToF)相机可与HMD集成在一起或被集成在HMD中。这些相机可产生可根据其而构造手的骨骼模型的手的深度图。另一方法使用IRLED泛光灯以及相机来分割且估计手和手指上的3D点。
环境跟踪意味着非常普遍并且涉及识别和跟踪环境中的对象。对象的概念的范围从简单的平坦表面到更复杂的形状，包括移动对象诸如人、半透明对象和光源。环境跟踪估计HMD附近的表面和对象的位置和形状。虚拟元素然后可与所检测的(所估计的)对象进行交互。可从跟踪信息提取遮挡掩模，以避免其中真实对象可无意中被应远离对象被进一步定位或被进一步定位在对象后方的虚拟元素隐藏的情况。在实践中，计算机视觉方法用于恢复特征(角点、边缘等)和场景深度，它们然后用于学习和识别对象描述。
对用于跟踪目的的外部部件的使用通常对用户在空间中移动的自由施加限制，并且经常在可使用HMD之前添加校准步骤。
因此，需要一种HMD，该HMD将所有所需的跟踪部件集成在紧凑的用户友好的产品中，从而实现该应用的移动性。
发明内容
根据本公开的方面，提供了一种在其中集成所有所需的跟踪部件从而允许更紧凑的用户友好的设备的可穿戴头戴式显示器(HMD)。
根据本公开的方面，提供了一种用于使用户沉浸在虚拟现实(VR)或增强/混合现实(MR)环境中的应用的头戴式显示器(HMD)设备，该HMD设备包括：
一对RGB相机传感器和具有红外(IR)截止滤波器的相关联的透镜；
一对黑白(mono)相机传感器，该一对黑白相机传感器具有近红外(NIR)带通滤波器和相关联的透镜；
惯性测量单元(IMU)；
飞行时间(ToF)相机传感器，该飞行时间(ToF)相机传感器具有相关联的IR发射器；
斑纹图案投影仪；
显示器；和
至少一个处理单元，该至少一个处理单元经由至少一个通信链路而被操作地连接到一对RGB相机传感器、一对黑白相机传感器、IMU、ToF相机传感器和相关联的IR发射器、斑纹投影仪和显示器，该至少一个处理单元使用来自一对RGB相机传感器、一对黑白相机传感器、IMU和ToF相机传感器的数据流来生成图形内容，并且通过显示器来显示图形内容。
根据本公开的方面，提供了一种如上所公开的HMD设备，其中该一对RGB相机传感器和一对黑白相机传感器被组合成具有相关联的透镜的一对RGB/IR相机，该一对RGB/IR相机使用具有R-G-IR-B图案而不是标准R-G-G-B图案的拜耳格式。
根据本公开的方面，提供了一种如上所公开的HMD设备，其中至少一个处理单元具有包括存储在其上的指令的相关联的存储器，该指令当在至少一个处理单元上执行时执行以下步骤：
从一对RGB相机传感器获取直通立体视图图像；
从一对黑白相机传感器获取立体图像；
获取密集深度图；
从IMU获取惯性测量；
使用直通立体视图图像、立体图像、密集深度图和惯性测量来执行嵌入式跟踪；
对直通立体视图图像和立体图像执行图像处理；
基于位置跟踪来生成呈现图形；
对呈现图形执行图形图像处理；
将处理图像和经处理的呈现图形混合，从而产生图形内容；以及
将图形内容提供给显示器。
根据本公开的方面，提供了一种如上所公开的HMD设备，其中执行嵌入式跟踪的步骤包括执行位置跟踪和用户身体跟踪，并且也可包括执行环境跟踪。
根据本公开的方面，提供了一种如上所公开的HMD，其中：
执行位置跟踪的步骤包括：
检测直通立体视图图像和立体图像中的旋转和缩放不变的2D图像特征；
使用体视匹配来估计每个所检测的特征的深度，从而产生3D点的云；以及
实时跟踪3D点的云，以推断头部位置变化；
执行位置跟踪的步骤还可包括当直通立体视图图像和立体图像没有提供足够的信息时，使用惯性测量来暂时计算位置变化；
执行用户身体跟踪的步骤包括：
在密集深度图上执行身体分割；
从密集深度图和身体分割提取身体网格；
提取身体网格的骨骼模型；以及
通过跟踪用户的身体运动并且将用户的骨骼模型和身体运动与姿态模型进行匹配来识别预定义的姿态；
并且执行环境跟踪的步骤包括：
使用直通立体视图图像、立体图像和位置跟踪来生成运动模型；
检测关键点；
使用稳健特征描述符来提取关键点局部的特征；以及
通过将密集深度图与所提取的特征融合在一起来估计表面描述符。
根据本公开的方面，也提供了一种用于使用户沉浸在虚拟现实(VR)或增强/混合现实(MR)环境中的方法，该方法包括由HMD设备实施的步骤。
附图说明
将参考附图仅以举例的方式描述本公开的实施方案，其中：
图1为根据本公开的示例性实施方案的佩戴设置有若干个相机和红外(IR)发射器的头戴式显示器(HMD)的用户的示意性表示；
图2A为用于实现虚拟现实和混合现实的光学器件、显示器和相机的示例性实施方案的示意性顶视图；
图2B为近距离视图中的光学器件的示例性实施方案的示意图，该示意图示出了显示器的光线如何聚焦在用户的眼睛的视网膜上；
图3为HMD的视觉感官生成过程连同每种能力的示例性实施方案的流程图；
图4A示出HMD设备的第一示例性实施方案的前视图，HMD设备具有针对直通目的(MR)优化的两个RGB相机和提供用于跟踪的视觉数据的两个IR相机；
图4B示出了HMD设备的第二示例性实施方案的前视图，HMD设备具有实现MR跟踪和位置跟踪两者的两个RGB/IR相机；
图5为利用位置跟踪和用户身体跟踪来实现VR的处理步骤的流程图；
图6为利用位置跟踪、用户身体跟踪和环境跟踪来实现MR的处理步骤的流程图；
图7为实现位置跟踪的示例性过程的流程图；
图8为实现用户身体跟踪的示例性过程的流程图；
图9为实现环境跟踪的示例性过程的流程图；
图10为实现图形呈现和合成的示例性过程的流程图；
图11为斑纹投影仪的示意性表示；
图12A为时间复用设置的示例性实施方案的示意性表示；以及
图12B为时间复用设置的时序图。
用于不同图中的类似的附图标记指代类似的部件。
具体实施方式
总的说来，本公开的非限制性示例性实施方案提供了在虚拟现实(VR)和混合现实(MR)两者的背景下提高用户体验的头戴式显示器(HMD)。HMD为相对较轻的、在人体工程学上舒适的，并且提供具有低延迟的高分辨率内容。HMD支持来自配备有高性能图形处理单元(GPU)的外部计算机的图形内容或来自嵌入式GPU的图形内容，并且通过使HMD执行一些处理诸如在对透镜失真和色差进行校正的情况下进行的嵌入式视频直通以及用于保证低延迟的图形/直通合成来实现低延迟MR。通过独特的内-外方法来实现位置跟踪、用户身体跟踪和环境跟踪，针对该独特的内-外方法，所有所需的跟踪部件被集成在HMD中，从而避免设置和使用外部输入部件的需要。该方法允许用户在大环境内自由地移动。
在VR和MR应用中，一些实施方案在沉浸式游戏或娱乐应用中特别有用，其中一些控制或交互可通过跟踪玩家的头部和手移动以及外部环境对象来实现。可能的应用通常为模拟、协同训练、销售、协助制造、维护和修复。
所提出的HMD系统通过使用户通过广角目镜查看显示器来实现虚拟现实。所提出的实施方案使用单个有机发光二极管(OLED)显示器，然而可采用其他类型的显示器解决方案，诸如两个较小的显示器、微型显示器或柔性显示器等。对于MR，最低限度地，两个前向相机从位于尽可能靠近用户眼睛的视点捕获环境(可采用或不采用棱镜和/或反射镜，由此可需要相机取向不是前向)。相机图像然后与计算机生成的图像实时合并，并在显示系统上被示出。该方法不允许用户透视不透明显示器，而是捕获在用户的眼睛没有被不透明显示器遮挡的情况下的用户的眼睛将看到的图像。另选的方法是使用允许用户看到虚拟内容同时仍能够看到环境的透视显示器(例如，由眼镜、反射镜和/或棱镜组成)。然而，这些通常具有狭窄的视场，这大大减小可信的沉浸感。
相机的目的不仅仅限于提供直通视图。相机图像和集成的惯性测量单元(IMU)提供可通过计算机视觉方法处理以自动分析和理解环境的数据。还有，HMD被设计成不仅支持无源计算机视觉分析，而且还支持有源计算机视觉分析。无源计算机视觉方法分析从环境中捕获的图像信息。这些方法可为单视场的(来自单个相机的图像)或体视的(来自两个相机的图像)。它们包括但不限于特征跟踪、对象识别和深度估计。有源计算机视觉方法通过投影对于相机可见但不一定对人视觉系统可见的图案来将信息添加到环境。此类技术包括飞行时间(ToF)相机、激光扫描或结构光，以简化立体匹配问题。有源计算机视觉用于实现场景深度重构。红外(IR)投影仪被用于将随机IR斑纹图案投影到环境上，从而添加纹理信息，以便在不明确的地方(例如，均匀纹理或表面)更容易地进行立体匹配。在一些实施方案中也可包括ToF相机。对于低光条件或无光条件，有源计算机视觉用于支持利用IR泛光灯来进行跟踪。
前述能力使得HMD为独特的并且适用于宽泛的应用范围。例如，HMD可用作用于记录目的或实时视觉处理的立体相机。其也可用作环境扫描仪(有源立体)。在HMD的背景下，计算机视觉方法使用来自异类传感器的数据来自动跟踪头部位置、用户身体和环境。然而，实现具有实现无源特征跟踪和有源立体视觉的能力的此类产品装配在性能方面具有挑战性。当考虑到需要低延迟系统以便实现良好沉浸且重量/人体工程学必须被优化以另外确保用户舒适度和易用性时尤其如此。HMD背景下的延迟为所捕获的数据(IMU、图像)和对应的显示内容之间的时间间隔。必须实现小于20ms的延迟，以产生很好的沉浸，并避免疾病和恶心。借助于更多处理能力可用的外部计算机，通过在HMD本身上实施/嵌入处理来实现低延迟。随着处理单元通过变得较小并消耗较少的功率而演进，所有处理可在HMD本身上完成。嵌入式处理避免将高分辨率相机图像传输到外部计算机，因此减少了传输带宽和延迟要求。在实践中(具体地)，计算机视觉处理和图形呈现可主要在外部计算机上完成，但是HMD必须最低限度地执行相机图像信号处理(ISP)功能，诸如同步、组合、拜耳解码、对图像失真的校正，以用于进行显示以及呈现图形和相机图像的MR合成。
因此，HMD被设计成包括应用无源或有源立体视觉方法以实现位置跟踪、用户身体跟踪和环境跟踪的必要部件。HMD也可与将视觉信息添加到环境上的一些第三方外部发射器兼容。例如，纹理图案到环境上的任何投影可帮助进行立体匹配。实际的跟踪算法通常涉及立体匹配、IMU数据集成、特征检测/跟踪、对象识别和表面拟合。然而，HMD使数据流对第三方软件开发者有用，使得可实施定制算法。
参考图1，图1示出了根据本公开的示例性实施方案的头戴式显示器(HMD)(7)。HMD(7)经由束具(4)而被附接到用户的头部(1)上，并且集成多个传感器以实现混合现实(MR)以及内-外位置跟踪、用户身体跟踪和环境跟踪，即两个RGB相机(11,12)用于直通目的，两个红外(IR)相机(2,9)用于立体视觉分析，惯性测量单元(IMU)(图中未示出)和具有其IR发射器(14)的飞行时间(ToF)相机(13)用于密集深度感测。IR发光二极管(LED)发射器(5,8,10,15)的集合也被集成，以在低光条件下照亮该环境。HMD(7)也配备有IR斑纹投影仪(6)，以实现有源立体计算机视觉并提取三维(3D)密集图。各种数据流(相机图像、IMU数据)被捕获，可选地被压缩，并且然后被传输到可为HMD(7)的一部分或外部计算机的一部分的处理单元(21)。HMD(7)和处理单元(21)之间的通信通过通信链路(17,18)来执行，该通信链路(17,18)可为有线的、无线的或两者的组合。在处理单元(21)为HMD(7)的一部分的另选实施方案中，通信链路(17,18)可被省略。处理单元(21)呈现将在HMD(7)中显示的图形内容(游戏视图、视频、虚拟对象等)。HMD(7)经由电力线(19)通过电源(20)供电。在另选的实施方案中，电源(20)可被集成在HMD(7)内。
现在参考图2A，图2A示出了用于实现VR和MR的示例性HMD(7)。佩戴HMD(7)的用户(1)通过广角目镜(26,35)来查看显示器(27)。位于眼睛(22,38)前方的两个RGB相机(28,34)捕获在用户的眼睛没有被HMD(7)遮挡的情况下用户的眼睛将看到的环境。需注意，该图仅包括HMD(7)所需的相机并且不包括用于计算机视觉分析的其他相机。在示例性实施方案中，相机(28,34)的基线(39)为64mm、平均人眼间隔(需注意，相机基线可为除64mm之外的值)，并且相机(28,34)的位置有利地与用户的眼睛(22,38)对齐，以便使用户视觉感知的不一致性最小化。相机(28,34)的视场(29,30,32,33)必须与眼睛(22,38)的视场(23,25,36,37)紧密匹配。
图2B示出了由显示器(27)发射的光线(44,46,48)如何穿过目镜(26,35)以再次聚焦(52,54,55)在视网膜(53)上。瞳孔(51)相对于目镜(26,35)的位置以及从目镜(26,35)到显示器(27)的距离需要被调整，以得到正确的焦距(即，分别为距离50和距离57)。需注意，该图示出单个波长，而目镜(26,35)通常引起需要被补偿的色差。
HMD提供视觉数据流以允许以下能力：用于显示系统的立体图像(我们称立体图像为直通立体视图)、用于跟踪目的的立体图像、密集深度感测(近距离和中距离)、以及惯性测量。在示例性实施方案中，近距离深度感测被视为小于1.5m；而中距离深度感测被视为覆盖比1米更远(最多至约4米-5米)的深度。
图3示出了HMD的示例性实施方案的视觉感官生成过程。由RGB立体相机(104)捕获直通立体视图(102)。用于跟踪的立体图像(106)也可由RGB立体相机(104)捕获，更确切地说由在用于弱光条件的IR泛光灯(110)的协助下的IR立体相机(108)捕获。当不存在足够的视觉信息以实施立体匹配时，密集深度感测(112)需要添加经投影的IR信息，以恢复深度。在示例性实施方案中，两种解决方案被用于提供深度密集图。首先，ToF相机(114)基于光线离开其相关联的IR发射器(110)并且反射回到ToF相机传感器(108)上所花费的时间来恢复深度。其次，将IR斑纹图案(116)投影到环境上并由IR立体相机(108)看到。虽然后者需要计算昂贵的立体匹配，但是其通常提供比前者的解决方案更高分辨率的深度图。根据成本目标、市场类型、技术方法、设备分辨率、性能和特征集合，可作出对实施方案的不同选择，并且可组合若干个功能块。由IMU(120)所采取的惯性测量(118)也被捕获并提供给嵌入式跟踪模块(122)。虽然计算机视觉处理和图形呈现(124)的部分可在外部计算机上完成，但是图像处理步骤中的一些图像处理步骤需要在HMD本身中完成，以便减少总体系统延迟。在图3中，相机图像处理模块(126)执行一些任务诸如触发控制、拜耳解码、自动白平衡、缺陷像素替换、平场校正、过滤(降噪、边缘增强)、失真校正和像差校正。图形图像处理模块(128)执行解码(例如，颜色和阿尔法通道)、失真校正和像差校正。合成模块(130)将呈现图形和相机图像混合，所得的图像被显示在显示器(27)上。
在图4A和图4B中更详细地示出了HMD(7)的示例性实施方案。在图4A所示的第一示例性实施方案中，HMD(7)为了更好的直通质量而具有两个RGB相机传感器(62,64)以及具有IR截止滤波器的透镜(63,65)。其也集成具有近红外(NIR)带通滤波器(66,68)和被优化用于计算机视觉分析的透镜(67,69)的两个黑白相机传感器。其他部件包括显示器(27)、9自由度IMU(70)(由陀螺仪、加速度计和磁力仪组成)和ToF相机传感器72、以及相关联的IR发射器73。LED泛光灯(74,75,76,77)用于提高低光条件下的位置跟踪。斑纹投影仪(78)用于将纹理添加到环境中，以改善来自立体匹配的密集深度图结果。在图4B所示的第二示例性实施方案中，HMD(7)仅使用三种相机，即具有透镜(83,85)和LED泛光灯(86,87,88,89)的两个RGB/IR相机(82,84)(RGB/IR传感器使用具有R-G-IR-B图案而不是标准R-G-G-B图案的拜耳格式)，以及ToF相机传感器(72)、及其相关联的IR发射器(73)。虽然可能仅利用两个RGB/IR相机(82,84)实现所有四种所需能力，但结果经常不是最佳的，因为需求根据目的而变化。具体地，当使用RGB/IR传感器时，尤其是当存在像素饱和时，并不总是有可能清晰地使RGB和IR信号分离。如在图4A的示例性实施方案中所描述的，使用两个相机对(62,64,66,68)(一个用于直通目的，并且一个用于跟踪)允许对使用说明书的优化。例如，RGB和IR带通滤波器可分别安装在直通(62,64)和跟踪(66,68)传感器上，以便提高图像质量。还有，直通相机需要使用鱼眼透镜来捕获宽视场，从而匹配人视觉系统。然而，这些透镜减小得到高跟踪精度所需的角度分辨率。跟踪传感器和有源深度图传感器两者需要具有高信噪比(SNR)，以提高在有源立体视觉方法中匹配斑纹图案的能力。为了更好地达到该目标，HMD(7)上的传感器放置也可被优化。需注意，跟踪传感器(66,68)被放置在大于人眼间隔的基线上，以增加通过对立体匹配进行三角测量所执行的环境中的深度估计的精度。沿与直通传感器(62,64)的公共轴线来放置跟踪传感器(66,68)使得更容易地将来自一个传感器对的数据组合或重新映射到另一个传感器对。
图5和图6分别示出了实现VR和MR所需的数据和处理步骤。链路L表示受控的低延迟数据流和具有最低限度的延迟抖动的处理。根据实施方案，跟踪部分和呈现部分(142,144)可部分地或完全地在HMD(7)本身中或在外部计算机上执行。需要注意的是，根据实施方案使用哪个深度感测部件(即，ToF相机、IR立体匹配或两者)，深度计算(156)可或多或少为计算密集的。
将另外描述跟踪过程(142,144)中的每个跟踪过程(即，位置(154)(包括取向确定(152))、用户身体(158)和环境(160)跟踪)、图形呈现(124)、深度图估计(156)、IR时间复用，以及硬件部件中的一些硬件部件(即斑纹投影仪(78)和IR滤波器IR相机传感器(66,68))。应当理解，在此描述的跟踪过程(142,144)为给定输入数据的示例性跟踪过程。使数据流(IMU数据、图像)对第三方软件开发者可用，使得第三方软件开发者可设计和实施他们自身的跟踪算法。
位置跟踪
图7示出了实现位置跟踪(154)的示例性过程的流程图。该过程属于同时定位和映射(SLAM)算法的类别。虽然由有源立体给出的密集深度图可用于检测和跟踪3D特征(需要注意的是，2D特征基于纹理，而3D特征基于深度并且可从点云中提取)，但是本文描述了稀疏匹配方法，因为其更好地适合具有实时约束的场景。该算法的输入为IMU数据(204)和用于跟踪的立体图像(202)。首先，该过程在立体图像中检测旋转(206)和缩放的不变2D图像特征(208)。接下来，通过使用体视匹配来估计每个特征的深度(210)。该过程产生3D点的云(212)，继而实时跟踪3D点的云，以推断头部位置变化(214)。当环境被假设为静态时，移动的人或对象上的任何特征通过具有刚性运动假设的RANSAC方法而被过滤掉。当跟踪图像不提供足够的信息时，陀螺仪和加速度计数据用于暂时计算位置变化(216)。
用户身体跟踪
图8示出了实现用户身体跟踪(158)的示例性过程的流程图。在虚拟现实中，用户的身体需要被绘制并被看到实现沉浸。为此，执行跟踪的视场应该与直通相机的视场匹配。ToF相机传感器(72)提供低分辨率，但是直接解决方案在相对较小的视场(例如，水平90度)中得到近深度数据。从这个立场来说，利用LED泛光灯(74,75,76,77)所支持的立体相机(66,68)以更多图像处理计算时间为代价来提供更好的分辨率。在示例性过程中，通过检测近3D数据(更确切地说通过在使用LED泛光灯(74,75,76,77)时对强度施加阈值)来从深度(156)和身体分割(302)信息提取身体网格(304)。接下来，从网格中提取骨骼模型(306)。最后，通过跟踪身体运动并将骨骼形状和运动与姿态模型进行匹配来最终识别预定义的姿态(308)。所识别的姿态类型、位置和身体立体掩模(310)被提供用于图形呈现(124)。
环境跟踪
图9示出了实现环境跟踪的示例性过程的流程图。至跟踪框架的输入为彩色立体图像(106)、由有源立体方法和/或ToF相机(72)估计的深度图(112)，以及来自位置跟踪(154)的输出的XYZ位置。该过程涵盖运动模型(402)，以通过利用位置跟踪输出并且采用先前推断的对象位置来提高效率。例如，可通过使用颗粒滤波器或卡尔曼滤波器来构造运动模型(402)。接下来，该过程检测感兴趣的关键点，诸如Harris角点、基于不变Hu矩或Hessians的行列式的局部极值点(404)。通过稳健特征描述符诸如梯度直方图或类Haar特征描述符来提取此类关键点的局部特征(406)。很像位置跟踪，假设环境为静止的。因此，任何正在移动的特征通过具有刚性运动假设的RANSAC方法而被过滤掉。分类算法诸如支持向量机被用于指导模型跟踪并识别那些特征(408)。最后，通过将密集深度图(112)与特征识别阶段的输出(410)融合在一起来估计(414)表面描述符。
混合现实合成
为了实现立体直通相机(62,64)和虚拟图像元素的实时融合，合成在HMD(7)上完成。这避免将高分辨率直通相机流发送到外部计算机。这倾向于减少所需的传输带宽，继而减少总体延迟。8位阿尔法掩模A用于指定以下情况：
(i)如果虚拟图形为不透明的A＝255；
(ii)如果它们具有一定量的透明度0<A<255；以及
(iii)如果它们不可见(A＝0)。
需要注意的是，如果虚拟对象被用户的手(16)或环境中的其他对象遮挡，则虚拟对象应为不可见的。可通过将每个像素的计算深度与一个或多个虚拟对象的计算深度进行比较来找到遮挡掩模。相机图像遵循以下线性模型相应地按像素通道而被共混：Ik[R,G,B]*Ak[R,G,B]+Jk[R,G,B]*(1-Ak[R,G,B])，其中Ik为像素k处的虚拟颜色，并且Jk为像素k处的相机颜色。需注意，在每个颜色通道[R,G,B]中，阿尔法掩模A需要为不同的，因为每个通道被重新映射以校正目镜的色差。如果在外部计算机上完成该重新映射，则每个像素的总共6个通道(也就是，R、G、B、Ar、Ag和Ab)需要被发送到HMD(7)。图10示出了实现图形呈现和合成的示例性过程的流程图(130)。数据在主机(90)上编码，以标准24位/像素格式发送，并且被解码回到HMD(7)上。三个颜色通道使用YUV422格式而被编码为两个通道，并且两个阿尔法通道被映射在单个拜耳通道中。需要注意的是，因为当呈现虚拟场景时使用了阿尔法混合，所以输出颜色实际上是Ik[R,G,B]*Ak[R,G,B]，而不是实际的颜色Ik[R,G,B]。然而，这不是问题，因为其在合成相机图像时对应于混合公式的第一项。
IR斑纹投影仪
HMD(7)包括将固定图案投射/投影到场景上以提高根据有源立体匹配估计的密集深度图的质量的斑纹投影仪(78)。虽然基站(在HMD外部)提供在环境中投影一些静止纹理点的优点，但是由于遮挡，所以利用单个基站覆盖整个房间可为困难的。作为解决方案，将投影仪嵌入HMD(7)中提供在任何房间中四处移动的灵活性(而无需设置基站)，同时总是在用户在查看的地方进行投影。呈现斑纹投影仪(78)的两个实施方案。在图11所示的第一实施方案中，斑纹投影仪(78)生成穿过表面漫射器的激光束的干涉图案。在这种情况下，由斑纹投影仪(78)生成的图案为随机的，并且图案的粒度可通过将光束聚焦在漫射表面上的不同尺寸的斑点上或通过改变漫射表面来调整。在第二实施方案中，斑纹投影仪(78)通过穿过一个或多个衍射光学元件的激光束的远场衍射来生成斑纹图案。信噪比(SNR)通过添加偏光器显著提高。若干个折射光学元件、反射光学元件或吸收光学元件可被添加用于波束成形。通常，透镜将总是存在的。保护性外壳可被添加以抑制进入高激光功率区。
密集深度图
标准立体深度图方法针对第一图像中的每个像素找到第二图像中的最好的像素匹配。也可考虑像素周围的邻域而不是仅考虑单个像素。匹配通常涉及找到最低像素强度差值(或当使用邻域时的差值的总和)。作为预处理步骤，图像被纠正，使得匹配的搜索空间为单个水平线。使用立体视觉来计算深度图通常导致不存在可用于特有立体匹配的足够纹理的场景的区域中的误差或间隙(例如，白色墙壁或表面上的均匀特征或块)。为了克服该问题，使用随机红外(IR)斑纹图案投影仪(78)。斑纹投影仪(78)将纹理添加到场景，以产生密集深度图。如果使用RGB/IR传感器(82,84)，则RGB-D输出(颜色+深度)为直接可用的。否则，直通视图的颜色可映射到深度图上。
时间复用
如果该对IR立体相机用于立体跟踪和密集深度感测(即，RGB/IR相机(82,84))两者，则存在冲突，因为在跟踪环境特征时不能使用斑纹图案。投影在HMD(7)前方的所添加的斑纹图案创建两个重叠信号：固定斑纹图案和根据用户(1)的头部运动在图像中移动的环境特征。为了克服这一点，可使用时间复用方法，其中斑纹图案投影仪(78)和可选的IR泛光灯以交错方式选通而不是连续照射，从而将输出速率减小一半。图12A示出了时间复用设置(使用两个相机(82,84)、IR斑纹投影仪(78)、IR泛光灯(79)以及触发和选通控制器(91)的示例性设置)的示例性实施方案的示意性表示。控制器(91)用于使相机(82,84)的曝光与投影仪(78)和泛光灯(79)的选通同步。图12B示出了时间复用设置的时序图。分别以虚线和虚线示出斑纹图案投影仪(78)和泛光灯(79)被激活的帧。时间复用方法使得HMD(7)能够以最大帧率(例如，90fps)从视觉传感器获取图像，使得HMD(7)能够以最大帧率的一半(例如，45fps)来提取密集深度图和2维(2D)特征描述符。相机(82,84)的时间复用或交织输出因此提供可用于2D特征提取、3D特征提取和密集深度图估计的信息。
IR波长和滤波器
在图4A中所示的HMD(7)的示例性实施方案由若干个IR发射器和传感器(即斑纹投影仪(78)、LED泛光灯(74,75,76,77)、ToF相机传感器(72)和IR相机传感器(66,68))组成。为了使信号干扰和饱和最小化，ToF相机传感器(72)有利地使用与其他发射器不同的波长。例如，ToF相机传感器(72)可使用850nm或940nm的波长，而斑纹投影仪(78)和LED泛光灯(74,75,76,77)使用808nm的波长。IR相机传感器(66,68)具有以相同波长为中心的IR带通滤波器。应当注意的是，相机曝光时间、传感器增益以及LED泛光灯(74,75,76,77)和斑纹投影仪(78)的斑纹图案两者的强度被实时调制，以避免图像饱和并使动态范围最大化。
虽然已通过具体非限制性示例性实施方案及其示例的方式描述了本公开，但应当注意的是，对于本领域技术人员而言将显而易见的是，可在不脱离如下文要求保护的本公开的范围的情况下对本具体实施方案施加修改。

Claims (22)

1.一种方法，包括：
在头戴式设备(HMD)处，所述头戴式设备(HMD)包括非暂态存储器、一个或多个处理器、以及用于与第一RGB立体相机和第二RGB立体相机、红外(IR)投射仪、一个或多个IR传感器和显示器通信的通信接口；
经由第一RGB立体相机获取物理环境的第一立体图像；
经由第二RGB立体相机获取所述物理环境的第二立体图像；
经由IR投影仪将IR电磁辐射的IR图案投射到物理环境上；
经由一个或多个IR传感器获取与IR图案的反射相关联的物理环境的纹理信息；
通过至少部分地基于所述纹理信息将第一立体图像中的每个像素与第二立体图像中的不同像素匹配来生成密集深度图；
通过基于密集深度图将虚拟内容与第一立体图像和第二立体图像合成来生成显示图像；以及
经由显示器显示所述显示图像。
2.根据权利要求1所述的方法，其中所述第一RGB立体相机和第二RGB立体相机以及所述一个或多个IR相机传感器共用公共轴线。
3.根据权利要求1所述的方法，进一步包括：
经由所述IR投影仪根据随机算法或伪随机算法之一生成IR图案。
4.根据权利要求1所述的方法，其中IR图案的粒度通过以下之一被调整：
(A)将IR图案聚焦在漫射表面上的不同尺寸的斑点上，或(B)改变漫射表面。
5.根据权利要求1所述的方法，其中IR图案对应于穿过表面漫射器的激光束的干涉图案。
6.根据权利要求1所述的方法，其中IR图案对应于穿过一个或多个衍射光学元件的激光束的远场衍射。
7.根据权利要求1所述的方法，其中IR斑纹投影仪包括偏光器。
8.根据权利要求1所述的方法，其中HMD的通信接口还与一个或多个IR泛光灯通信，并且所述方法进一步包括：
根据时间复用方案操作所述IR投影仪和所述一个或多个IR泛光灯。
9.根据权利要求8所述的方法，进一步包括：
实时调制所述IR投影仪和所述一个或多个IR泛光灯的强度、传感器增益和曝光时间中的至少一者，以减少图像饱和并提高动态范围。
10.根据权利要求1所述的方法，其中所述第一RGB立体相机包括所述一个或多个IR传感器中的第一IR传感器，并且所述第一IR传感器对应于近IR带通滤波器。
11.一种头戴式设备(HMD)，包括：
通信接口，用于与第一RGB立体相机和第二RGB立体相机、红外(IR)投射仪、一个或多个IR传感器和显示器通信；
一个或多个处理器；以及
非暂态存储器，存储有一个或多个程序，所述一个或多个程序在由所述一个或多个处理器执行时使得HMD：
经由第一RGB立体相机获取物理环境的第一立体图像；
经由第二RGB立体相机获取所述物理环境的第二立体图像；
经由IR投影仪将IR电磁辐射的IR图案投射到物理环境上；
经由一个或多个IR传感器获取与IR图案的反射相关联的物理环境的纹理信息；
通过至少部分地基于所述纹理信息将第一立体图像中的每个像素与第二立体图像中的不同像素匹配来生成密集深度图；
通过基于密集深度图将虚拟内容与第一立体图像和第二立体图像合成来生成显示图像；以及
经由显示器显示所述显示图像。
12.根据权利要求11所述的HMD，其中所述第一RGB立体相机和第二RGB立体相机以及所述一个或多个IR相机传感器共用公共轴线。
13.根据权利要求11所述的HMD，其中所述第一RGB立体相机包括所述一个或多个IR传感器中的第一IR传感器，并且其中所述第一IR传感器对应于近IR带通滤波器。
14.根据权利要求11所述的HMD，其中HMD的通信接口还与一个或多个IR泛光灯通信，并且
其中所述一个或多个程序进一步使得HMD：
根据时间复用方案操作所述IR投影仪和所述一个或多个IR泛光灯。
15.根据权利要求14所述的HMD，其中所述一个或多个程序进一步使得HMD：
实时调制所述IR投影仪和所述一个或多个IR泛光灯的强度、传感器增益和曝光时间中的至少一者，以减少图像饱和并提高动态范围。
16.一种非暂态计算机可读介质，其上编码有指令，所述指令在由头戴式设备(HMD)的一个或多个处理器执行时使得HMD执行以下操作，所述头戴式设备(HMD)包括用于与第一RGB立体相机和第二RGB立体相机、红外(IR)投射仪、一个或多个IR传感器和显示器通信的通信接口：
经由第一RGB立体相机获取物理环境的第一立体图像；
经由第二RGB立体相机获取所述物理环境的第二立体图像；
经由IR投影仪将IR电磁辐射的IR图案投射到物理环境上；
经由一个或多个IR传感器获取与IR图案的反射相关联的物理环境的纹理信息；
通过至少部分地基于所述纹理信息将第一立体图像中的每个像素与第二立体图像中的不同像素匹配来生成密集深度图；
通过基于密集深度图将虚拟内容与第一立体图像和第二立体图像合成来生成显示图像；以及
经由显示器显示所述显示图像。
17.根据权利要求16所述的非暂态计算机可读介质，其中所述第一RGB立体相机和第二RGB立体相机以及所述一个或多个IR相机传感器共用公共轴线。
18.根据权利要求16所述的非暂态计算机可读介质，其中所述第一RGB立体相机包括所述一个或多个IR传感器中的第一IR传感器，并且所述第一IR传感器对应于近IR带通滤波器。
19.根据权利要求16所述的非暂态计算机可读介质，其中HMD的通信接口还与一个或多个IR泛光灯通信，并且
其中所述一个或多个程序进一步使得HMD：
根据时间复用方案操作所述IR投影仪和所述一个或多个IR泛光灯。
20.根据权利要求19所述的非暂态计算机可读介质，其中所述指令进一步使得HMD：
实时调制所述IR投影仪和所述一个或多个IR泛光灯的强度、传感器增益和曝光时间中的至少一者，以减少图像饱和并提高动态范围。
21.一种头戴式设备(HMD)，包括：
通信接口，用于与第一RGB立体相机和第二RGB立体相机、第一黑白相机传感器和第二黑白相机传感器、以及显示器通信；
一个或多个传感器；以及
非暂态存储器，存储有一个或多个程序，所述一个或多个程序在由所述一个或多个处理器执行时使得所述HMD：
经由第一RGB相机传感器和第二RGB相机传感器获取物理环境的直通立体视图图像；
经由第一黑白相机传感器和第二黑白相机传感器获取立体图像；
获取与物理环境相关联的密集深度图；
基于来自第一RGB相机传感器和第二RGB相机传感器的所述直通立体视图图像、来自第一黑白相机传感器和第二黑白相机传感器的所述立体图像、和所述密集深度图，执行嵌入式跟踪；
基于所述嵌入式跟踪来生成与虚拟内容相关联的呈现图形；
通过基于所述密集深度图将所述呈现图形与来自第一RGB相机传感器和第二RGB相机传感器的所述直通立体视图图像和来自第一黑白相机传感器和第二黑白相机传感器的所述立体图像混合，生成显示图像；以及
经由所述显示器显示所述显示图像。
22.根据权利要求21所述的HMD，其中，执行所述嵌入式跟踪包括执行以下中的至少一者：HMD的位置跟踪、HMD的用户的用户身体跟踪、或者物理环境中的一个或多个物理对象上的环境跟踪。
CN202210642767.9A 2016-02-18 2017-02-20 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 Active CN114895471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210642767.9A CN114895471B (zh) 2016-02-18 2017-02-20 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662296829P 2016-02-18 2016-02-18
US62/296,829 2016-02-18
CN201780009450.9A CN109477966B (zh) 2016-02-18 2017-02-20 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
CN202210642767.9A CN114895471B (zh) 2016-02-18 2017-02-20 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
PCT/CA2017/000033 WO2017139871A1 (en) 2016-02-18 2017-02-20 Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780009450.9A Division CN109477966B (zh) 2016-02-18 2017-02-20 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器

Publications (2)

Publication Number Publication Date
CN114895471A true CN114895471A (zh) 2022-08-12
CN114895471B CN114895471B (zh) 2024-04-09

Family

ID=59624674

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210642767.9A Active CN114895471B (zh) 2016-02-18 2017-02-20 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
CN201780009450.9A Active CN109477966B (zh) 2016-02-18 2017-02-20 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780009450.9A Active CN109477966B (zh) 2016-02-18 2017-02-20 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器

Country Status (9)

Country Link
US (4) US10838206B2 (zh)
EP (1) EP3417337A4 (zh)
JP (1) JP6824279B2 (zh)
KR (4) KR102658303B1 (zh)
CN (2) CN114895471B (zh)
AU (1) AU2017220404B2 (zh)
BR (1) BR112018016726B1 (zh)
MX (1) MX2018008945A (zh)
WO (1) WO2017139871A1 (zh)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10151606B1 (en) 2016-02-24 2018-12-11 Ommo Technologies, Inc. Tracking position and movement using a magnetic field
US11054899B2 (en) * 2017-06-28 2021-07-06 Halliburton Energy Services, Inc. Interactive virtual reality manipulation of downhole data
US11145124B2 (en) 2017-08-30 2021-10-12 Ronald H. Winston System and method for rendering virtual reality interactions
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
JP2019080223A (ja) * 2017-10-26 2019-05-23 株式会社ソニー・インタラクティブエンタテインメント カメラシステム
US10816807B2 (en) * 2017-11-01 2020-10-27 Vrgineers, Inc. Interactive augmented or virtual reality devices
US10514545B2 (en) 2017-12-08 2019-12-24 Facebook Technologies, Llc Selective tracking of a head-mounted display
US11156753B2 (en) * 2017-12-18 2021-10-26 Viavi Solutions Inc. Optical filters
CN111602082B (zh) * 2018-01-18 2023-01-17 威尔乌集团 用于包括传感器集成电路的头戴式显示器的位置跟踪系统
US10706813B1 (en) 2018-02-03 2020-07-07 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10559276B2 (en) 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10497179B2 (en) 2018-02-23 2019-12-03 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
US10643341B2 (en) 2018-03-22 2020-05-05 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning
US10728518B2 (en) 2018-03-22 2020-07-28 Microsoft Technology Licensing, Llc Movement detection in low light environments
US10944957B2 (en) * 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
US10565678B2 (en) * 2018-03-23 2020-02-18 Microsoft Technology Licensing, Llc Asynchronous camera frame allocation
US10565720B2 (en) * 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
KR102202239B1 (ko) * 2018-04-02 2021-01-13 엘지전자 주식회사 헤드마운트디스플레이 분석 시스템
EP3557531A1 (en) * 2018-04-18 2019-10-23 Vision RT Limited Camera monitoring system for monitoring a patient in a bore based medical system
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US10678325B2 (en) * 2018-05-22 2020-06-09 Facebook Technologies, Llc Apparatus, system, and method for accelerating positional tracking of head-mounted displays
CN108805917B (zh) * 2018-05-25 2021-02-23 杭州易现先进科技有限公司 空间定位的方法、介质、装置和计算设备
US10276289B1 (en) 2018-06-01 2019-04-30 Ommo Technologies, Inc. Rotating a permanent magnet in a position detection system
JP7396691B2 (ja) * 2018-07-13 2023-12-12 ラブラドール システムズ インコーポレイテッド 様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション
US10867408B1 (en) 2018-07-23 2020-12-15 Apple Inc. Estimation of spatial relationships between sensors of a multi-sensor device
US20200097707A1 (en) * 2018-09-20 2020-03-26 XRSpace CO., LTD. Camera Module and Extended Reality System Using the Same
US11187914B2 (en) 2018-09-28 2021-11-30 Apple Inc. Mirror-based scene cameras
CN112752992B (zh) 2018-09-28 2023-10-31 苹果公司 混合现实或虚拟现实相机系统
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10902250B2 (en) 2018-12-21 2021-01-26 Microsoft Technology Licensing, Llc Mode-changeable augmented reality interface
TWI715903B (zh) 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
KR20200087399A (ko) 2019-01-11 2020-07-21 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
US10585194B1 (en) 2019-01-15 2020-03-10 Shenzhen Guangjian Technology Co., Ltd. Switchable diffuser projection systems and methods
CN111322961B (zh) * 2019-03-21 2021-04-06 深圳市光鉴科技有限公司 用于增强飞行时间分辨率的系统和方法
CN109613706B (zh) 2019-01-28 2021-05-07 京东方科技集团股份有限公司 针对智能头戴设备的调整方法、设备及存储介质
US10885710B2 (en) 2019-03-14 2021-01-05 Microsoft Technology Licensing, Llc Reality-guided roaming in virtual reality
EP4235381A3 (en) 2019-03-18 2023-11-01 Apple Inc. Virtual paper
TWI691738B (zh) * 2019-03-20 2020-04-21 宏碁股份有限公司 近眼顯示裝置
CN110139028B (zh) * 2019-03-25 2020-07-07 华为技术有限公司 一种图像处理的方法及头戴式显示设备
JP7365185B2 (ja) * 2019-03-29 2023-10-19 株式会社ソニー・インタラクティブエンタテインメント 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム
US11727646B2 (en) * 2019-04-10 2023-08-15 Trimble Inc. Augmented reality image occlusion
US10937220B2 (en) 2019-04-22 2021-03-02 Disney Enterprises, Inc. Animation streaming for media interaction
GB201906420D0 (en) 2019-05-07 2019-06-19 Farley Adam Virtual augmented and mixed reality systems with physical feedback
CN110148330A (zh) * 2019-05-09 2019-08-20 中国民航大学 一种基于虚拟现实的飞机航前绕机检查培训系统
CN110221690B (zh) * 2019-05-13 2022-01-04 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
WO2021040106A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법
US11320667B2 (en) * 2019-09-27 2022-05-03 Snap Inc. Automated video capture and composition system
KR20210051759A (ko) 2019-10-31 2021-05-10 삼성중공업 주식회사 오염물질 저감 장치
KR20210051816A (ko) 2019-10-31 2021-05-10 삼성중공업 주식회사 오염물질 저감 장치
KR102125267B1 (ko) * 2019-11-14 2020-06-23 (주)토핀스 이동형 적외선 카메라장치
US11128817B2 (en) * 2019-11-26 2021-09-21 Microsoft Technology Licensing, Llc Parallax correction using cameras of different modalities
CN110969905A (zh) * 2019-11-29 2020-04-07 塔普翊海（上海）智能科技有限公司 混合现实的远程教学互动、教具互动系统及其互动方法
US11158108B2 (en) * 2019-12-04 2021-10-26 Microsoft Technology Licensing, Llc Systems and methods for providing a mixed-reality pass-through experience
CN111028597B (zh) * 2019-12-12 2022-04-19 塔普翊海（上海）智能科技有限公司 混合现实的外语情景、环境、教具教学系统及其方法
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11217024B2 (en) * 2019-12-26 2022-01-04 Facebook Technologies, Llc Artificial reality system with varifocal display of artificial reality content
KR20210085256A (ko) 2019-12-30 2021-07-08 삼성전자주식회사 사용자의 위치를 제공하기 위한 전자 장치 및 방법
US11340696B2 (en) * 2020-01-13 2022-05-24 Sony Interactive Entertainment Inc. Event driven sensor (EDS) tracking of light emitting diode (LED) array
KR102327304B1 (ko) * 2020-02-25 2021-11-17 광운대학교 산학협력단 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법
US11153555B1 (en) * 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11032530B1 (en) * 2020-05-15 2021-06-08 Microsoft Technology Licensing, Llc Gradual fallback from full parallax correction to planar reprojection
NL2025627B1 (en) 2020-05-20 2021-12-07 Adjuvo Motion B V A virtual or augmented reality training system
US11579449B2 (en) * 2020-05-29 2023-02-14 Microsoft Technology Licensing, Llc Systems and methods for providing mixed-reality experiences under low light conditions
KR102321359B1 (ko) * 2020-06-02 2021-11-02 국민대학교산학협력단 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템
CN115552356A (zh) * 2020-06-05 2022-12-30 Oppo广东移动通信有限公司 头戴式显示装置的跟踪方法和头戴式显示系统
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US11568555B2 (en) 2020-06-22 2023-01-31 Microsoft Technology Licensing, Llc Dense depth computations aided by sparse feature matching
US11212503B1 (en) * 2020-07-14 2021-12-28 Microsoft Technology Licensing, Llc Dual camera HMD with remote camera alignment
CN112437213A (zh) * 2020-10-28 2021-03-02 青岛小鸟看看科技有限公司 图像采集方法、手柄设备、头戴设备及头戴系统
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11663792B2 (en) * 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11836862B2 (en) * 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US20230140170A1 (en) * 2021-10-28 2023-05-04 Samsung Electronics Co., Ltd. System and method for depth and scene reconstruction for augmented reality or extended reality devices
US11995228B2 (en) * 2022-01-11 2024-05-28 Rockwell Collins, Inc. Head tracking system with extended kalman filter combining absolute and relative navigation
US20240121370A1 (en) * 2022-09-30 2024-04-11 Samsung Electronics Co., Ltd. System and method for parallax correction for video see-through augmented reality
WO2024081154A1 (en) * 2022-10-12 2024-04-18 Snap Inc. Energy-efficient adaptive 3d sensing
US12001024B2 (en) 2022-10-12 2024-06-04 Snap Inc. Energy-efficient adaptive 3D sensing
US11983337B1 (en) 2022-10-28 2024-05-14 Dell Products L.P. Information handling system mouse with strain sensor for click and continuous analog input
US11983061B1 (en) 2022-10-28 2024-05-14 Dell Products L.P. Information handling system peripheral device sleep power management
US11914800B1 (en) 2022-10-28 2024-02-27 Dell Products L.P. Information handling system stylus with expansion bay and replaceable module

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604014A (zh) * 2003-09-30 2005-04-06 佳能株式会社 图像显示装置和方法
JP2011118724A (ja) * 2009-12-04 2011-06-16 Nippon Hoso Kyokai <Nhk> カメラ姿勢推定装置およびカメラ姿勢推定プログラム
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN102591016A (zh) * 2010-12-17 2012-07-18 微软公司 用于扩展现实显示的优化聚焦区
US20120200667A1 (en) * 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content
US20130120224A1 (en) * 2011-11-11 2013-05-16 Elmer S. Cajigas Recalibration of a flexible mixed reality device
CN104062759A (zh) * 2013-03-22 2014-09-24 精工爱普生株式会社 信息显示系统、信息显示方法、以及头戴式显示装置
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法
US20140292811A1 (en) * 2013-03-29 2014-10-02 Canon Kabushiki Kaisha Mixed reality image processing apparatus and mixed reality image processing method
US20150043770A1 (en) * 2013-08-09 2015-02-12 Nicholas Yen-Cherng Chen Speckle sensing for motion tracking
CN104756045A (zh) * 2012-10-04 2015-07-01 微软公司 用于跟踪由关节连接的身体部位的可佩戴传感器
US20150325052A1 (en) * 2014-05-08 2015-11-12 Audi Ag Image superposition of virtual objects in a camera image
CN105143817A (zh) * 2013-04-15 2015-12-09 微软技术许可有限责任公司 通过移动图案投影仪对深度图进行超解析
CN105320279A (zh) * 2014-07-31 2016-02-10 三星电子株式会社 可穿戴眼镜和利用其提供内容的方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003091741A (ja) 2001-09-17 2003-03-28 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
CN100432744C (zh) * 2005-09-26 2008-11-12 大学光学科技股份有限公司 具有手机功能的焦距可调整的头戴式显示器
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
WO2013054728A1 (ja) * 2011-10-11 2013-04-18 ソニー株式会社 ヘッド・マウント・ディスプレイ及び表示制御方法
US9646522B2 (en) * 2012-06-29 2017-05-09 Intel Corporation Enhanced information delivery using a transparent display
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
US20140152676A1 (en) 2012-11-30 2014-06-05 Dave Rohn Low latency image display on multi-display device
EP2967322A4 (en) * 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
JP6137910B2 (ja) 2013-03-29 2017-05-31 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US9878235B2 (en) * 2013-06-07 2018-01-30 Sony Interactive Entertainment Inc. Transitioning gameplay on a head-mounted display
US20140362110A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US9630098B2 (en) * 2013-06-09 2017-04-25 Sony Interactive Entertainment Inc. Head mounted display
US20140375540A1 (en) 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
US9495801B2 (en) 2014-05-01 2016-11-15 Microsoft Technology Licensing, Llc Pose tracking an augmented reality device
US9727136B2 (en) * 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
CN104077741B (zh) * 2014-05-27 2017-05-10 武汉兆图科技有限公司 一种基于渲染到纹理的三维场景无损放大方法
US9473764B2 (en) * 2014-06-27 2016-10-18 Microsoft Technology Licensing, Llc Stereoscopic image display
US20150379772A1 (en) 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
US10416760B2 (en) * 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
CN104281266B (zh) * 2014-10-17 2017-10-27 深圳鼎界科技有限公司 头戴式显示设备
GB2532465B (en) * 2014-11-19 2021-08-11 Bae Systems Plc Interactive control station
US10235806B2 (en) * 2014-11-21 2019-03-19 Rockwell Collins, Inc. Depth and chroma information based coalescence of real world and virtual world images
US10127725B2 (en) * 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604014A (zh) * 2003-09-30 2005-04-06 佳能株式会社 图像显示装置和方法
JP2011118724A (ja) * 2009-12-04 2011-06-16 Nippon Hoso Kyokai <Nhk> カメラ姿勢推定装置およびカメラ姿勢推定プログラム
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN102591016A (zh) * 2010-12-17 2012-07-18 微软公司 用于扩展现实显示的优化聚焦区
US20120200667A1 (en) * 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content
US20130120224A1 (en) * 2011-11-11 2013-05-16 Elmer S. Cajigas Recalibration of a flexible mixed reality device
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法
CN104756045A (zh) * 2012-10-04 2015-07-01 微软公司 用于跟踪由关节连接的身体部位的可佩戴传感器
CN104062759A (zh) * 2013-03-22 2014-09-24 精工爱普生株式会社 信息显示系统、信息显示方法、以及头戴式显示装置
US20140292811A1 (en) * 2013-03-29 2014-10-02 Canon Kabushiki Kaisha Mixed reality image processing apparatus and mixed reality image processing method
CN105143817A (zh) * 2013-04-15 2015-12-09 微软技术许可有限责任公司 通过移动图案投影仪对深度图进行超解析
US20150043770A1 (en) * 2013-08-09 2015-02-12 Nicholas Yen-Cherng Chen Speckle sensing for motion tracking
US20150325052A1 (en) * 2014-05-08 2015-11-12 Audi Ag Image superposition of virtual objects in a camera image
CN105320279A (zh) * 2014-07-31 2016-02-10 三星电子株式会社 可穿戴眼镜和利用其提供内容的方法

Also Published As

Publication number Publication date
KR20180101496A (ko) 2018-09-12
CN109477966B (zh) 2022-06-03
BR112018016726A2 (pt) 2018-12-26
AU2017220404B2 (en) 2019-06-06
CN109477966A (zh) 2019-03-15
BR112018016726B1 (pt) 2023-03-14
CN114895471B (zh) 2024-04-09
JP2019516261A (ja) 2019-06-13
MX2018008945A (es) 2018-11-09
JP6824279B2 (ja) 2021-02-03
KR102417177B1 (ko) 2022-07-05
US20220050290A1 (en) 2022-02-17
US20210011289A1 (en) 2021-01-14
KR20240051334A (ko) 2024-04-19
US11199706B2 (en) 2021-12-14
AU2017220404A1 (en) 2018-07-12
US20190258058A1 (en) 2019-08-22
KR20200012043A (ko) 2020-02-04
US20230324684A1 (en) 2023-10-12
KR102658303B1 (ko) 2024-04-18
EP3417337A4 (en) 2019-10-23
US10838206B2 (en) 2020-11-17
US11693242B2 (en) 2023-07-04
EP3417337A1 (en) 2018-12-26
KR20220099580A (ko) 2022-07-13
WO2017139871A1 (en) 2017-08-24

Similar Documents

Publication Publication Date Title
CN109477966B (zh) 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
US9710973B2 (en) Low-latency fusing of virtual and real content
JP7007396B2 (ja) 拡張現実データを記録するための手法
CN108307675B (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
US9740298B2 (en) Adaptive projector for projecting content into a three-dimensional virtual space
KR102281026B1 (ko) 홀로그램 앵커링 및 동적 포지셔닝 기법
US20140176591A1 (en) Low-latency fusing of color image data
US20190371072A1 (en) Static occluder
CN106168855B (zh) 一种便携式mr眼镜、手机和mr眼镜系统
EP4158447A1 (en) Systems and methods for providing mixed-reality experiences under low light conditions
US11089279B2 (en) 3D image processing method, camera device, and non-transitory computer readable storage medium
CN116612234A (zh) 基于增强或虚拟现实应用程序内立体视觉的高效动态遮挡

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant