CN110651467B - 基于非视觉姿势数据的深度数据调整 - Google Patents

基于非视觉姿势数据的深度数据调整 Download PDF

Info

Publication number
CN110651467B
CN110651467B CN201880033335.XA CN201880033335A CN110651467B CN 110651467 B CN110651467 B CN 110651467B CN 201880033335 A CN201880033335 A CN 201880033335A CN 110651467 B CN110651467 B CN 110651467B
Authority
CN
China
Prior art keywords
ray
adjusted
original image
depth
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880033335.XA
Other languages
English (en)
Other versions
CN110651467A (zh
Inventor
米尔科·施密特
伊万·德亚诺夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110651467A publication Critical patent/CN110651467A/zh
Application granted granted Critical
Publication of CN110651467B publication Critical patent/CN110651467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

HMD基于系统的检测到的运动而调整调整深度信息。HMD包括深度相机，所述深度相机收集在所述HMD的本地环境中的对象的深度数据。HMD还包括惯性测量单元(IMU)，所述惯性测量单元包括诸如一个或多个加速计、陀螺仪等的非视觉运动传感器。HMD基于由IMU提供的运动数据而调整接收到的深度信息，由此提高深度信息的准确度，并且进而减少可能由于深度信息不准确而产生的视觉伪像。

Description

基于非视觉姿势数据的深度数据调整
背景技术
本公开的领域
本公开大体上涉及头戴式显示器以及其它虚拟现实(VR)和增强现实(AR)显示系统，并且更具体来说，涉及VR和AR显示系统的深度数据。
相关技术的描述
可以通过使用机器视觉和显示技术，诸如同时定位与建图(SLAM)、运动恢复结构(SFM)、视觉惯性里程计(VIO)和视觉惯性建图来识别本地环境的特征而加强增强现实(AR)和虚拟现实(VR)应用。为了支持这些技术，诸如头戴式显示器(HMD)的VR显示系统可以在环境中导航，同时基于非视觉传感器数据、本地环境的所捕获图像的分析，或其组合而构建环境的地图(3D视觉表示)。可以基于从VR显示系统的深度相机收集的深度信息而进一步增强地图。然而，深度信息可能不可靠或不准确，从而导致显示不利于用户体验的伪像。
附图说明
通过参考附图可以更好地理解本公开，并且其多个特征和优点对于本领域技术人员显而易见。相同参考符号在不同图式中的使用指示相似或相同项。
图1A是根据本公开的至少一个实施例的基于检测到的运动而调整深度信息的HMD的示意图。
图1B是根据本公开的至少一个实施例的图1的HMD的替代视图的示意图。
图2是根据本公开的至少一个实施例的基于检测到的运动而调整深度信息的图1的HMD的方面的框图。
图3是示出根据本公开的至少一个实施例的基于检测到的运动而调整深度信息的图1的HMD的示例的示意图。
图4是根据本公开的至少一个实施例的基于检测到的运动而调整深度信息的图1的HMD的方法的流程图。
具体实施方式
图1至图4示出用于基于系统的检测到的运动而调整在HMD或其它VR和AR显示系统处接收到的深度信息的技术。在至少一个实施例中，HMD包括深度相机，所述深度相机收集在HMD的本地环境中的对象的深度数据。HMD还包括惯性测量单元(IMU)，所述惯性测量单元包括非视觉运动传感器，诸如一个或多个加速计、陀螺仪等。HMD基于由IMU提供的运动数据而调整接收到的深度信息，由此提高深度信息的准确度，进而减少可能由于深度信息不准确而产生的视觉伪像。因此，HMD能够提供改进的VR或AR体验。
具体而言，常规深度相机通常基于一组原始图像而通过创建深度图或图像来生成深度信息(本文中一般称为深度信息)。深度相机在相对较短的时间跨度内捕获图像。然而，HMD可能会在所述时间跨度内经历运动，从而导致该组原始图像之间的变化。这些变化又会导致深度信息中的错误。此外，当HMD基于深度信息而生成VR环境或AR环境时，这些错误会导致分散用户注意力的视觉伪像的生成。因此，通过基于由IMU指示的运动而调整深度信息，HMD可以减少或消除视觉伪像并且增强用户体验。
出于描述的目的，关于VR显示系统的示例以及关于VR内容的生成的示例描述图1至图4。然而，应了解，本文所描述的技术也适用于AR显示系统和AR内容的生成，并且可以在AR显示系统中实施并用于AR内容的生成而实施。
图1A和图1B示出根据本公开的至少一个实施例的可以基于检测到的运动而调整所捕获的深度信息的HMD 100的不同视图。应了解，HMD 100仅仅是可以实施本文所描述的技术的电子装置的一个示例，并且在不脱离本公开的范围的情况下，这些技术可以在多个电子装置中的任一个中实施。这些电子装置的示例包括但不限于其它VR显示装置，诸如平板计算机、支持计算的蜂窝电话(例如，“智能电话”)、笔记本计算机、个人数字助理(PDA)、游戏控制台系统等。在其它实施例中，电子装置可以包括固定装置，诸如医学成像设备、安全成像传感器系统、工业机器人控制系统、无人机控制系统等。
图1A示出根据本公开的说明性实施例HMD 100形状因数。HMD100可以用诸如智能电话形状因数、平板计算机形状因数等其它形状因数实施，所述形状因数实施与示出的配置类似的配置。在所描绘示例中，HMD 100具有外壳102，该外壳通过一组系带118或保护带安装在用户的头上，使得安装在外壳102上或外壳102内的显示装置布置在用户的眼睛前方。如本文进一步描述，耦合到外壳102或嵌入外壳102内的处理器生成VR内容以显示在显示装置处，由此使用户沉浸在与VR内容相关联的VR环境中。
在至少一个实施例中并且如本文中进一步描述，HMD 100包括多个传感器，用于捕获关于HMD 100的姿势(位置和定向)的信息、关于HMD 100的运动的信息(例如，如通过随时间变化的不同姿势指示)，以及关于HMD 100的本地环境中的对象的信息。HMD 100可以采用此信息来生成更多沉浸式VR内容。例如，当用户围绕本地环境移动时，HMD 100可以采用所捕获信息来改变VR内容，使得用户感觉他们似乎在虚拟环境中移动。
在至少一个实施例中，HMD 100的上文所提及传感器包括：深度相机，用于捕获本地环境的深度信息；以及惯性测量单元(IMU)，用于捕获在用户移动例如其头部时指示HMD100的移动的信息。如本文中进一步描述，HMD 100可以基于由IMU提供的运动信息而调整所捕获的深度信息，由此提高所捕获的深度信息的准确度，进而减少由HMD100生成的VR环境中的视觉伪像。
图1B示出根据本公开的至少一个实施例的图1A的HMD 100的说明性实施例的后视图101。如通过图1B的后视图100示出，HMD 100包括安置于表面104处的显示装置108、用于将电子装置100固定到用户面部的面部衬垫110(与系带或保护带一起使用)，以及目镜116和118，用户110的左眼和右眼各一个。如后视图101中所描绘，目镜116与显示装置108的显示区域中的左侧区112对准，同时目镜118与显示装置108的显示区域中的右侧区114对准。因此，在立体显示模式中，成像传感器(未示出)所捕获的图像可以显示在左侧区112中并经由目镜116由用户的左眼观看，并且成像传感器所捕获的图像可以显示在右侧区114中并经由目镜118由用户的右眼观看。在所描绘示例中，目镜116和118关于中心线201对称，以减少显示VR内容时的潜在失真。
图2示出根据本公开的至少一个实施例的HMD 100的方面的框图。在所描绘示例中，HMD 100包括IMU 202、深度调整模块205、深度相机210和VR内容生成器225。应了解，图2的示例仅示出HMD100的方面的一部分，并且HMD 100可以包括图2所示出的部分的附加模块和功能。例如，在至少一个实施例中，HMD 100可以包括一个或多个图像捕获装置(例如，相机)，用于捕获HMD 100的本地环境的图像，从而支持生成更多沉浸式VR内容。
IMU 202是包括一个或多个传感器的模块，所述一个或多个传感器感测HMD 100的运动的一个或多个方面，诸如角速度、线性或其组合。例如，在至少一个实施例中，IMU 202包括一个或多个加速计以感测HMD 100的线性运动，并且还包括一个或多个陀螺仪以感测HMD100的角速度。在图2的示例中，IMU 202编译由传感器生成的信息，以生成非图像传感器数据215，所述非图像传感器数据215指示在对应时刻检测到的HMD 100的运动。在至少一个实施例中，HMD 100以指定频率周期性地更新非图像传感器数据215，使得非图像传感器数据215反映HMD 100随时间的运动。
深度相机210是通常被配置成捕获HMD 100周围的环境图像的装置，并且基于图像而生成深度数据220。在至少一个实施例中，深度相机210是飞行时间(TOF)相机，所述相机通过发射光脉冲，随时间捕获示出为原始图像220的环境的多个图像来生成深度数据。在其它实施例中，深度相机210发射一系列光脉冲来捕获原始图像220。又在其它实施例中，深度相机随时间发射调制光来捕获原始图像220。
然而，如上文所说明，在一些情形下，在通过深度相机210捕获原始图像220时，HMD100的用户可能会移动。如果HMD 100静止，则这种运动可能会相对于像素值而改变与给定深度点对应的像素值。像素值的这种变化又可能在基于原始图像210而生成深度数据时产生错误。为了解决这些错误，HMD 100包括深度调整模块205。具体而言，深度调整模块205一般被配置成接收非图像传感器数据215和原始图像220，并且还被配置成基于非图像传感器数据215而调整原始图像220，以生成一组调整后图像222。深度调整模块205生成调整后图像以说明在深度相机210捕获图像时HMD 100的运动。也就是说，深度调整模块205生成调整后图像222，以在捕获多个图像时HMD 100没有移动的情况下，相对于原始图像220更接近地反映将由深度相机210生成的图像。随后，使用常规的深度信息生成技术，深度调整模块205基于调整后图像222而生成调整后深度数据221。
在至少一个实施例中，深度调整模块205如下生成调整后深度数据221：深度相机210在时间t1,t2,…,tn处获取原始数据帧f1,f2,…,fn，其在时间tn处被处理成单个深度图像dn。两个原始帧fi和fn之间的相机位置和定向的改变通过非图像传感器数据215指示并且通过转换
Figure BDA0002280629270000061
给定，即，该转换是参考fi的相机的帧所表达的从fi到fn的相机的转换。
深度调整模块205将由深度相机生成的给定原始图像fi转换成校正后的原始图像f'i，其中f'i与fn使用相同相机。对于具有坐标(u,v)的帧fi的每个像素pi(u,v)，深度调整模块205根据以下公式计算射线ri,(u,v)：
x＝(u-Cx)/fx
y＝(v-Cy)/fy
ri，(u，v)＝[x，y，1.0]T
其中(u,v)是pi(u,v)的像素坐标，x、y是归一化图像坐标，Cx、Cy是投影中心，并且fx、fy是水平/垂直焦距。
深度调整模块205根据以下公式将射线转换成帧fn的相机：
Figure BDA0002280629270000062
深度调整模块205随后根据以下公式将转换后的射线投影到新像素中：
p′i，(u，v)＝PointToPixel(r′i，(u，v))
其中可以根据以下公式实施PointToPixel：
u′＝fx·r′i[0]/r′i[2]+Cx
v′＝fy·r′i[1]/r′i[2]+Cy
p′i，(u，v)＝[u′，v′]T
深度调整模块205检查以确定新位置p’i,(u,v)是否在图像边界内。如果不是，则深度调整模块205将像素值设定成无效状态。如果新像素在图像边界内，则深度调整模块205用图像fi的位置pi,(u,v)处的像素值更新位置p’i,(u,v)处的像素数据。
对于除了最后一个帧之外的所有原始帧，深度调整模块205校正fi的像素。在一些实施例中，校正图像fi的所有像素。在其它实施例中，HMD 100可以基于例如用户的注视方向而识别“感兴趣区域”，并且仅校正位于感兴趣区域内的那些像素。又在其它实施例中，HMD 100可以例如基于HMD 100的运动程度而识别各个帧以进行校正，并且仅调整所捕获帧的子集，诸如，仅调整具有阈值量的运动、与阈值量的运动相关联、大于阈值量的运动或不同于先前帧的那些帧。在校正原始帧中的一个或多个之后，深度调整模块205随后根据以下公式使用校正后的原始帧以及最后一个未校正的原始帧来计算时间tn的校正后深度图像：
[f’1,f’2,…,f’n-1,f’n]→d’n
深度调整模块205将校正后的深度图像存储在调整后的深度数据221处。如上文所说明，从已校正其相对运动的原始帧中计算校正后的深度图像。因此，校正后的深度图像d’n显示比原始深度图像dn少的运动伪像。
VR内容生成器225被配置成基于调整后的深度数据221而生成VR内容230。因此，VR内容生成器225可以是在HMD 100的处理器处执行以生成VR内容的软件，可以是专门设计或配置成生成VR内容的一个或多个硬件模块，或其组合。在至少一个实施例中，VR内容生成器225采用调整后的深度数据来生成虚拟对象，所述虚拟对象表示或另外基于由调整后的深度数据221指示的HMD 100的本地环境中的对象。例如，基于调整后的深度数据221的深度点的不同深度值，VR内容生成器225可以确定HMD 100的本地环境中的对象的轮廓。VR内容生成器225可以生成VR内容230以包括具有轮廓的虚拟对象，所述轮廓与由调整后的深度数据221指示的对象的轮廓匹配，或另外基于由调整后的深度数据221指示的对象的轮廓。在至少一个实施例中，VR内容生成器225基于除了调整后的深度数据221之外的其它信息而生成VR内容230。例如，VR内容生成器可以采用所捕获视觉图像、3D对象的所存储特征描述符、本地环境的所存储地图、地理位置信息等来生成VR内容230。
因为基于非图像传感器数据215所指示的HMD 100的运动而调整深度数据220(也就是说，因为VR内容生成器225采用调整后的深度数据221)，所以VR内容230可能相对于直接从深度数据220生成的VR内容具有较少视觉伪像。具体而言，由于深度数据220中的错误，直接从深度数据220生成的VR内容可能包括视觉伪像，诸如失真的虚拟对象、在本地环境中的对应对象移动或改变之后“漂浮”在虚拟环境中或持续存在于虚拟环境中的虚拟对象。通过采用调整后的深度数据221来生成VR内容230，VR内容生成器221能够支持降低的此种伪像水平，由此改进用户体验。
图3示出根据本公开的至少一个实施例的深度调整模块205基于非图像传感器数据215而调整深度数据的示例。图3描绘相对于参考帧330的原始图像数据220，其中参考帧330包括x轴和y轴。在所描绘示例中，点331和333表示原始图像220中的一个的像素位置。也就是说，点331和333是未调整的像素位置。
为了调整原始图像，深度调整模块205改变图像的像素值以有效地将一个或多个像素从一个位置图像平移到另一位置图像，其中，每个像素的平移基于上述非图像传感器数据215。在所描绘示例中，基于非图像传感器数据215，深度调整模块205将点331平移到点332并且将点333平移到点334。在平移每个像素之后，深度调整模块205将所得像素存储为调整后图像222的帧。
在至少一个实施例中，深度调整模块205将通过不同量、以不同方向上，或其组合，来平移不同点。因此，例如，基于非图像传感器数据215，深度调整模块205可以在给定方向上(例如，沿着给定向量)将点331平移给定量，并且可以在不同方向上(例如，沿着不同向量)将点332平移不同量。另外，深度调整模块205可以确定将不调整深度数据220的一个或多个点，因为非图像数据205指示那些点不受HMD100的运动影响。因此，对于这些点，调整后的深度数据221将与深度数据220的对应点匹配。
图4示出根据本公开的至少一个实施例的HMD 100基于检测到的运动而调整深度信息的方法400的流程图。在框402处，深度相机210捕获HMD 100的本地环境的一组原始图像。在框404处，IMU 202捕获非图像传感器数据215，从而指示在深度相机210捕获原始图像220时HMD 100的运动。
在框406处，深度调整模块205基于非图像传感器数据215而调整原始图像220，以生成调整后图像222。在框408处，深度调整模块205基于调整后图像222而生成深度数据221。在框410处，VR内容生成器225基于调整后的深度数据221而生成VR内容430。
在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器实施。软件包括存储于或以其它方式有形地体现于非暂时性计算机可读存储介质上的可执行指令的一个或多个集合。软件可以包括指令和某些数据，所述指令和某些数据在由一个或多个处理器执行时控制一个或多个处理器，以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可以包括，例如，磁盘或光盘存储装置，诸如快闪存储器、高速缓冲存储器、随机存取存储器(RAM)的固态存储装置，或一个或多个其它非易失性存储器装置等。存储于非暂时性计算机可读存储介质上的可执行指令可以呈源代码、汇编语言代码、目标代码，或可由一个或多个处理器执行的解释或其它方式的其它指令格式。
计算机可读存储介质可以包括任何存储介质，或在使用期间可由计算机系统访问以将指令和/或数据提供到计算机系统的存储介质的组合。这种存储介质可以包括但不限于，光学介质(例如，光盘(CD)、数字多功能光盘(DVD)、蓝光光盘)、磁性介质(例如，软盘、磁带或磁性硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或高速缓冲存储器)、非易失性存储器(例如，只读存储器(ROM)或快闪存储器)，或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入计算系统(例如，系统RAM或ROM)中，固定地附接到计算系统(例如，磁性硬盘驱动器)，可移动地附接到计算系统(例如，光盘或基于通用串行总线(USB)的快闪存储器)，或经由有线或无线网络耦合到计算机系统(例如，网络可访问存储装置(NAS))。
应注意，并非需要一般描述中的上述所有活动或元件，可能不需要特定活动或装置的一部分，以及可以执行一个或多个其它活动，或包括除了所描述那些元件之外的元件。更进一步，列出活动的次序未必是执行活动的次序。而且，已参考具体实施例描述概念。然而，本领域普通技术人员将了解，在不脱离所附权利要求书中所阐述的本公开的范围的情况下，可以作出各种修改和变化。因此，说明书和附图视为说明性而不是限制性意义，并且所有此类修改旨在包括在本公开的范围内。
上文已关于具体实施例描述益处、其它优点以及问题的解决方案。然而，可能导致任何益处、优点或解决方案发生或变得更明显的益处、优点、问题的解决方案以及任何特征不应被解释为任何或所有权利要求的关键、必需或基本特征。此外，上文所公开的具体实施例仅仅是说明性的，因为受益于本文教示的本领域技术人员将明白，可以不同但等效的方式修改和实践所公开的主题。除了所附权利要求中所述的之外，并不旨在局限于本文所示的结构或设计的细节。因此，显然可以改变或修改上文所公开的具体实施例，并且所有此类变化都视为在所公开主题的范围内。因此，本文寻求的保护内容如所附权利要求所阐述。

Claims (19)

1.一种用于调整深度数据的方法，包括：
识别头戴式显示器HMD[100]的运动；
基于所述运动而调整从所述HMD的深度相机[210]接收的原始图像[220]，以生成调整后图像[222]；
基于投影中心和所述深度相机的焦距而生成第一射线；
基于所述运动而转换所述第一射线以生成第二射线；
基于包括所述调整后图像的多个图像而生成调整后的深度数据[221]，其中，所述调整后的深度数据是使用所述第二射线的点到像素表示而生成的，所述点到像素表示是基于所述第二射线的第一索引表示、所述第二射线的第二索引表示以及所述第二射线的第三索引表示；
基于所述调整后的深度数据[221]来确定本地环境中的对象的第一轮廓；
生成包括具有第二轮廓的虚拟对象的虚拟现实VR内容[230]，所述第二轮廓与所述第一轮廓匹配；以及
基于所述调整后的深度数据而在所述HMD处提供所述VR内容[230]。
2.根据权利要求1所述的方法，其中，识别所述运动包括：
基于从所述HMD的传感器[202]接收的非视觉传感器数据[215]而识别所述运动。
3.根据权利要求2所述的方法，其中，所述HMD的所述传感器包括所述HMD的惯性测量单元(IMU)。
4.根据权利要求1所述的方法，其中，调整所述原始图像包括：
基于所述投影中心和所述焦距而调整所述原始图像。
5.根据权利要求4所述的方法，其中，调整所述原始图像还包括：
基于所述第二射线而调整所述原始图像。
6.根据权利要求5所述的方法，其中，调整所述原始图像还包括：
基于所述第二射线而生成一组调整后的像素值；以及
将所述一组调整后的像素值存储为所述调整后图像的帧。
7.根据权利要求1所述的方法，其中，调整所述原始图像包括：
将所述原始图像的帧的第一像素调整第一量；以及
将所述原始图像的所述帧的第二像素调整第二量，所述第二量不同于所述第一量。
8.一种头戴式显示器[100]，包括：
运动检测模块[202]，所述运动检测模块[202]用于识别所述头戴式显示器的运动；
深度相机[210]，所述深度相机[210]用于生成原始图像[220]；
深度调整模块[205]，所述深度调整模块[205]用于基于所述运动而调整所述原始图像以生成调整后图像[222]，并且用于通过以下来基于所述调整后图像而生成调整后的深度数据[221]：
基于投影中心和所述深度相机的焦距而生成第一射线；
基于所述运动而转换所述第一射线以生成第二射线，其中，所述调整后的深度数据是使用第二射线的点到像素表示而生成的，所述点到像素表示是基于所述第二射线的第一索引表示、所述第二射线的第二索引表示以及所述第二射线的第三索引表示；以及虚拟现实VR内容生成器[225]，所述虚拟现实VR内容生成器[225]用于基于所述调整后的深度数据而确定本地环境中的对象的第一轮廓，生成包括具有第二轮廓的虚拟对象的VR内容[230]，所述第二轮廓与所述第一轮廓匹配，以及基于所述调整后的深度数据而生成所述VR内容[230]。
9.根据权利要求8所述的头戴式显示器，其中，所述运动检测模块基于非视觉传感器数据[215]而识别所述运动。
10.根据权利要求9所述的头戴式显示器，其中，所述运动检测模块是惯性测量单元(IMU)。
11.根据权利要求8所述的头戴式显示器，其中，所述深度调整模块通过以下来调整所述原始图像：
基于所述投影中心和所述焦距而调整所述原始图像。
12.根据权利要求11所述的头戴式显示器，其中，所述深度调整模块通过以下来调整所述原始图像：
基于所述第二射线而调整所述原始图像。
13.根据权利要求12所述的头戴式显示器，其中，所述深度调整模块通过以下来调整所述原始图像：
基于所述第二射线而生成一组调整后的像素值；以及
将所述一组调整后的像素值存储为所述调整后的深度数据的帧。
14.根据权利要求8所述的头戴式显示器，其中，所述深度调整模块通过以下来调整所述原始图像：
将所述原始图像的帧的第一像素[331]调整第一量；以及
将所述原始图像的所述帧的第二像素[333]调整第二量，所述第二量不同于所述第一量。
15.一种包含指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时使得所述处理器执行方法，所述方法包括：
识别头戴式显示器HMD[100]的运动；
基于所述运动而调整从所述HMD的深度相机[210]接收的原始图像[220]，以生成调整后图像[222]；
基于投影中心和所述深度相机的焦距而生成第一射线；
基于所述运动而转换所述第一射线以生成第二射线；
基于所述调整后图像而生成调整后的深度数据[221]，其中，所述调整后的深度数据是使用第二射线的点到像素表示而生成的，所述点到像素表示是基于所述第二射线的第一索引表示、所述第二射线的第二索引表示以及所述第二射线的第三索引表示；
基于所述调整后的深度数据[221]来确定本地环境中的对象的第一轮廓；
生成包括具有第二轮廓的虚拟对象的虚拟现实VR内容[230]，所述第二轮廓与所述第一轮廓匹配；以及
基于所述调整后的深度数据而在所述HMD处提供所述VR内容[230]。
16.根据权利要求15所述的非暂时性计算机可读存储介质，其中，识别所述运动包括：
基于从所述HMD的传感器接收的非视觉传感器数据[215]而识别所述运动。
17.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述HMD的所述传感器包括所述HMD的惯性测量单元(IMU)。
18.根据权利要求17所述的非暂时性计算机可读存储介质，其中，调整所述原始图像包括：
基于所述投影中心和所述焦距而调整所述原始图像。
19.根据权利要求18所述的非暂时性计算机可读存储介质，其中，调整所述原始图像还包括：
基于所述第二射线而调整所述原始图像。
CN201880033335.XA 2017-07-26 2018-04-13 基于非视觉姿势数据的深度数据调整 Active CN110651467B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/659,971 2017-07-26
US15/659,971 US10992916B2 (en) 2017-07-26 2017-07-26 Depth data adjustment based on non-visual pose data
PCT/US2018/027569 WO2019022802A1 (en) 2017-07-26 2018-04-13 DEPTH DATA SETTINGS BASED ON NON-VISUAL POSITION DATA

Publications (2)

Publication Number Publication Date
CN110651467A CN110651467A (zh) 2020-01-03
CN110651467B true CN110651467B (zh) 2022-03-01

Family

ID=62116576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880033335.XA Active CN110651467B (zh) 2017-07-26 2018-04-13 基于非视觉姿势数据的深度数据调整

Country Status (4)

Country Link
US (2) US10992916B2 (zh)
EP (1) EP3533219B1 (zh)
CN (1) CN110651467B (zh)
WO (1) WO2019022802A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
CN110189399B (zh) * 2019-04-26 2021-04-27 浙江大学 一种室内三维布局重建的方法及系统
EP4005201A1 (en) * 2019-07-28 2022-06-01 Google LLC Methods, systems, and media for rendering immersive video content with foveated meshes
US11150470B2 (en) * 2020-01-07 2021-10-19 Microsoft Technology Licensing, Llc Inertial measurement unit signal based image reprojection

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757446B1 (en) * 2000-11-27 2004-06-29 Microsoft Corporation System and process for image-based relativistic rendering
CN104137150B (zh) * 2011-07-04 2016-12-28 李·文森特·斯特里特 测距成像中的运动补偿
US20130107066A1 (en) * 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided video stabilization
US20140191927A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
JP5794705B2 (ja) * 2013-02-01 2015-10-14 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US9432636B2 (en) * 2013-11-26 2016-08-30 Microsoft Technology Licensing, Llc Large-scale surface reconstruction that is robust against tracking and mapping errors
US11138793B2 (en) * 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
CN106062862B (zh) * 2014-10-24 2020-04-21 杭州凌感科技有限公司 用于沉浸式和交互式多媒体生成的系统和方法
CN105872526B (zh) * 2015-01-21 2017-10-31 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
EP3274986A4 (en) * 2015-03-21 2019-04-17 Mine One GmbH METHODS, SYSTEMS, AND SOFTWARE FOR VIRTUAL 3D
JP6570296B2 (ja) * 2015-04-09 2019-09-04 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10192361B2 (en) * 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10341633B2 (en) * 2015-11-20 2019-07-02 Qualcomm Incorporated Systems and methods for correcting erroneous depth information
US20180045960A1 (en) * 2015-12-02 2018-02-15 Augmenteum, LLC. System for and method of projecting augmentation imagery in a head-mounted display
US10241569B2 (en) * 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
TWI553591B (zh) 2015-12-28 2016-10-11 緯創資通股份有限公司 深度影像處理方法及深度影像處理系統
US10302768B2 (en) * 2016-05-09 2019-05-28 Microsoft Technology Licensing, Llc Multipath signal removal in time-of-flight camera apparatus
US10114454B2 (en) * 2016-06-22 2018-10-30 Microsoft Technology Licensing, Llc Velocity and depth aware reprojection
US20170374256A1 (en) * 2016-06-24 2017-12-28 Qualcomm Incorporated Method and apparatus for rolling shutter compensation
EP3750004A1 (en) * 2017-01-05 2020-12-16 Philipp K. Lang Improved accuracy of displayed virtual data with optical head mount displays for mixed reality
US10242454B2 (en) * 2017-01-25 2019-03-26 Google Llc System for depth data filtering based on amplitude energy values

Also Published As

Publication number Publication date
US10992916B2 (en) 2021-04-27
CN110651467A (zh) 2020-01-03
EP3533219B1 (en) 2022-02-16
WO2019022802A1 (en) 2019-01-31
US20190037194A1 (en) 2019-01-31
EP3533219A1 (en) 2019-09-04
US20210185293A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
CN110651467B (zh) 基于非视觉姿势数据的深度数据调整
US8970495B1 (en) Image stabilization for color-sequential displays
US10373334B2 (en) Computer program, object tracking method, and object tracking device
EP3301545B1 (en) Computer program, object tracking method, and display device
US10410372B1 (en) Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration
US12010288B2 (en) Information processing device, information processing method, and program
US20210118090A1 (en) Error concealment for a head-mountable device
CN110214300B (zh) 相位对准的凹形渲染
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
EP3779959B1 (en) Information processing device, information processing method, and program
EP3349101B1 (en) Movement tracking method and movement tracking system
US20230047470A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
US11430086B2 (en) Upsampling low temporal resolution depth maps
US20180356883A1 (en) High speed, high-fidelity face tracking
US10915169B2 (en) Correcting method and device for eye-tracking
US20220413295A1 (en) Electronic device and method for controlling electronic device
KR20170079845A (ko) 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치 및 디스플레이 보정 방법
EP4384976A1 (en) Foveated anti-aliasing
US20210390928A1 (en) Information processing apparatus, information processing method, and recording medium
JP2023543046A (ja) ウェアラブル光学デバイスを使用する大空間追跡

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant