CN108986223A - 一种三维场景重建的方法与装置 - Google Patents

一种三维场景重建的方法与装置 Download PDF

Info

Publication number
CN108986223A
CN108986223A CN201710398721.6A CN201710398721A CN108986223A CN 108986223 A CN108986223 A CN 108986223A CN 201710398721 A CN201710398721 A CN 201710398721A CN 108986223 A CN108986223 A CN 108986223A
Authority
CN
China
Prior art keywords
image
depth
scene
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710398721.6A
Other languages
English (en)
Inventor
张雷
黄柴铭
李辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Mdt Infotech Ltd
Original Assignee
Shanghai Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Mdt Infotech Ltd filed Critical Shanghai Mdt Infotech Ltd
Priority to CN201710398721.6A priority Critical patent/CN108986223A/zh
Publication of CN108986223A publication Critical patent/CN108986223A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种三维场景重建的方法与装置，用于完成室内环境中有限范围内的场景重建，利用高精度的外部定位方式(包括但不限于激光扫描方式、摄像头定位方式)，定位图像‑深度传感器的姿态信息，实时重建三维场景。本发明技术方案的优点在于能够更快更稳定地重建三维场景，同时解决重建场景和实际场景缩放比例(scaling)的偏差问题。

Description

一种三维场景重建的方法与装置
技术领域
本发明涉及一种三维场景重建的方法与装置，尤其是一种应用于虚拟现实、增强现实或混合现实的三维场景重建的方法与装置。
背景技术
虚拟现实(virtual reality，VR)技术是利用电脑模拟产生一个三维空间的虚拟世界，通过头戴显示设备(Head Mounted Display，HMD)提供给用户关于视觉等感官的模拟，让用户仿佛身临其境，由于其逼真的效果，被广泛应用于教育、医学、交通等领域，引起越来越多的关注。
增强现实(Augmented Reality，AR)，是一种实时地计算头戴显示设备位置及角度并增加待显示图像的技术，此项技术可以在头戴显示设备屏幕上将虚拟世界与现实世界融合并实现交互。
混合现实(Mixed Reality，MR)指的是结合真实和虚拟世界创造了新的环境和可视化，物理实体和数字对象共存并能实时相互作用，以用来模拟真实物体。
三维场景重建(3D reconstruction)技术是指通过计算机视觉和计算机绘图重现真实物体形状与姿态的过程。为了使虚拟现实、增强现实和混合现实场景更加逼真或需要将现实场景投射入虚拟现实、增强现实和混合现实场景中，需要精确、高效的三维场景重建技术。
现有技术中三维场景重建常采用彩色图像重建方法或深度图像重建方法，随着技术的发展，出现了将二者结合的图像-深度信息的3D重建算法，比如RGB-D SLAM(Simultaneous Localization And Mapping)等算法，需要同时计算图像-深度传感器的姿态和待重建场景，场景重建的准确性直接受到传感器姿态估计结果的影响；也有些方法在SLAM算法基础上加入了IMU(惯性测量单元)，用以辅助图像-深度传感器的姿态估计，IMU可以提供图像-深度传感器的角速度和加速度信息，经过积分之后便可以得到图像-深度传感器的旋转角度和移动距离，然而由于惯性传感器本身的测量误差，使得其获得的角速度与加速度信息也存在误差，特别是移动距离，往往和实际位移存在较大偏差，从而使重建场景和实际场景存在偏差，同时还可能存在缩放比例(scaling)上的差异，比如单目SLAM算法(Monocular SLAM)。
在实际应用中，现有技术需要同时计算图像-深度传感器的姿态和待重建场景，因此存在复杂度高和稳定性差的问题，例如基于图像的算法要求待重建场景中有足够的特征点，对于缺乏特征点的场景(白色墙面等)，效果较差；基于深度传感器的算法要求传感器的运动不能过于剧烈；基于多传感器融合的算法，计算复杂度较高。
为了解决上述问题，本发明设计了一种三维场景重建的方法与装置，用于解决室内环境中，有限范围内的场景重建，利用高精度的外部定位方式，配合图像-深度传感器的IMU定位信息，能够更快更稳定地重建3D场景，同时解决重建场景和实际场景缩放比例(scaling)上的偏差。
发明内容
本发明目的是：本发明设计了一种三维场景重建的方法与装置，用于完成室内环境中，有限范围内的场景重建，解决重建场景和实际场景缩放比例(scaling)的偏差，保证重建3D场景的实时性与稳定性。
本发明的技术方案是：设计一种三维场景重建的方法与装置，利用高精度的外部定位方式，所述外部定位方式包括但不限于激光扫描方式(Lighthouse)、摄像头定位方式，配合头戴显示设备的IMU定位信息以及图像-深度传感器，用于完成室内环境中有限范围内的场景重建；
具体三维场景重建方法技术路线如下：
1.根据外部定位方式和头戴显示设备上的惯性测量模块计算头戴显示设备的姿态，包括在待重建空间中的位置和朝向。
2.图像-深度传感器获取待重建场景的深度图像和彩色图像。
3.标定头戴显示设备和图像-深度传感器之间的相对位置：通过拍摄标定工具的图像，比如棋盘格，重建出图像-深度传感器的运动轨迹；再将其与同一时间段内头戴显示设备的定位姿态轨迹进行对比，可获得两者之间的相对位置；
即PHMD＝TPCamera，其中PHMD表示头戴显示设备的姿态，PCamera表示相机的姿态，T表示两者之间的转换算法。
4.预处理深度图像：对深度图像进行去畸变，降噪等处理，然后将深度图像从相机坐标系转换到头戴显示设备的坐标系。
5.通过头戴显示设备的定位信息，将深度图像逐帧融合起来，结合彩色图像重建出三维场景。
本发明技术方案中具体三维场景重建装置结构如下：
1.外部定位单元，用于采集虚拟现实、增强现实和混合现实头戴显示设备姿态信息。
2.IMU惯性测量单元，用于辅助估算虚拟现实、增强现实和混合现实头戴显示设备的姿态。
3.图像-深度传感器单元，用于采集彩色和深度图像数据。
4.计算分析单元，用于计算彩色和深度图像数据，完成三维重建。
与现有技术相比，本发明技术方案创新点在于：
1.创新的引入外部定位方式来定位虚拟现实、增强现实和混合现实头戴显示设备，结合IMU惯性测量单元所采集的姿态信息，判断图像-深度传感器设备姿态信息，保证了三维重建的精确度与准确度；
2.采用相机姿态和头戴显示设备姿态联合标定算法(HMD-Camera JointCalibration)，精确标定虚拟现实、增强现实和混合现实头戴显示设备与图像-深度传感器的相对位置；
3.创新的采用头戴显示设备的定位信息，提高了三维场景重建的效率，可以根据用户所处的现实环境，实时重建虚拟现实、增强现实和混合现实场景，增强虚拟现实、增强现实和混合现实的沉浸感，并且帮助用户实时避障。
与现有技术相比，本发明技术方案具有以下有益效果：本发明方案结合了图像-深度传感器重建的优势，根据高精度的外部定位，准确获得虚拟现实、增强现实和混合现实设备的姿态信息，以校正虚拟现实、增强现实和混合现实设备自带IMU所采集的姿态信息，来实现三维场景重建，本发明方案弥补了基于深度图的定位方案的不足，可获取精确的图像-深度传感器姿态，提高三维重建质量，保证了三维场景重建过程的稳定性和实时性。
附图说明
图1为本发明技术方案三维场景重建方法流程图；
图2为本发明技术方案三维场景重建装置结构示意图；
具体实施方式
如背景技术中所述，现有技术的三维场景重建方法存在复杂度高和稳定性差等问题。
在本发明方案中，设计了一种三维场景重建的方法与装置，利用高精度的外部定位方式，配合图像-深度传感器的IMU定位信息，完成室内环境中有限范围内的场景重建。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1为本发明技术方案三维场景重建方法流程图；
具体三维场景重建方法步骤如下：
步骤101：标定虚拟现实、增强现实或混合现实头戴显示设备与图像-深度传感器的相对位置；
所述相对位置的标定是指建立头戴显示设备姿态信息与图像-深度传感器姿态之间的数学模型关系，本实施例中采用相机姿态和头戴显示设备姿态联合标定算法(HMD-Camera Joint Calibration)；
步骤102：图像-深度传感器获取待重建场景的深度图像和彩色图像；
步骤103：根据外部定位方式和IMU所采集的信息计算图像-深度传感器姿态；
所述外部定位方式用于采集头戴显示设备运动图像，通过定位算法可得到头戴显示设备姿态信息，从而根据步骤101所建立的数学模型关系，计算出图像-深度传感器姿态信息；
步骤104：计算各帧图像的深度信息；
所述图像的深度信息由图像-深度传感器采集得到，深度传感器因其测量原理的不同，可以分为TOF(Time of flight)摄像头、激光扫描测距仪、结构光深度测量传感器等；
步骤105：综合深度信息与彩色图像信息，重建3D场景。
通过算法，计算定位摄像头获得的虚拟现实、增强现实和混合现实头戴显示设备的运动图像，结合IMU惯性测量单元测得的设备姿态信息，计算图像-深度传感器姿态；
得到所述图像-深度传感器姿态信息后，结合其所采集到的深度图像和彩色图像，进行三维场景重建。
图2为本发明技术方案三维场景重建装置结构示意图；
图2所示的三维场景重建装置可以包括：外部定位单元201、头戴显示设备单元202和计算分析单元205；
所述虚拟现实头戴显示设备202可以包括：IMU惯性测量单元203、图像-深度传感器单元204。
其中，外部定位单元201用于采集头戴显示设备单元202姿态信息；所述虚拟现实、增强现实和混合现实头戴显示设备单元202中带有IMU惯性测量单元203，单元203可以实时采集单元202的运动角速度和加速度信息，再根据标定后的单元202与图像-深度传感器单元204的相对位置信息，由计算分析单元205计算并分析单元204采集到的深度图像与彩色图像，从而进行三维场景重建。
所述外部定位单元包括但不限于扫描灯塔(Lighthouse)、定位摄像头等装置。
具体而言，本发明方案所公开的虚拟现实、增强现实和混合现实设备包括但不限于虚拟现实、增强现实和混合现实头戴显示设备与操作控制设备；
以上所述，仅为本发明具体实施方式。本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (6)

1.一种三维场景重建的方法，其特征在于，包括：
标定头戴显示设备与图像-深度传感器的相对位置；
图像-深度传感器获取待重建场景的彩色图像和深度图像；
根据外部定位方式和惯性测量单元所采集的信息计算图像-深度传感器姿态；
计算各帧图像的深度信息；
综合分析彩色图像与深度图像的信息，重建三维场景。
2.根据权利要求1所述的一种三维场景重建的方法，其特征在于，所述标定头戴显示设备与图像-深度传感器的相对位置步骤，采用联合标定算法；
所述头戴显示设备包括但不限于虚拟现实、增强现实和混合现实头戴显示设备。
3.根据权利要求1所述的一种三维场景重建的方法，其特征在于，所述图像-深度传感器的姿态信息由外部定位方式和惯性测量单元所采集的信息通过计算获得；
所述外部定位方式包括但不限于激光扫描方式、摄像头定位方式。
4.一种三维场景重建的装置，其特征在于，包括；
外部定位单元，用于采集头戴显示设备姿态信息；
惯性测量单元，用于实时采集头戴显示设备的角速度和线加速度信息；
图像-深度传感器单元，用于采集彩色图像与深度图像；
计算分析单元，用于计算图像数据，完成三维重建。
5.根据权利要求4所述的一种三维场景重建的装置，其特征在于，所述外部定位单元包括但不限于激光扫描灯塔、定位摄像头等装置。
6.根据权利要求4所述的一种三维场景重建的装置，其特征在于，所述计算分析单元，通过逐帧计算所述图像-深度传感器单元采集到的彩色图像与深度图像数据，完成三维重建。
CN201710398721.6A 2017-05-31 2017-05-31 一种三维场景重建的方法与装置 Pending CN108986223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710398721.6A CN108986223A (zh) 2017-05-31 2017-05-31 一种三维场景重建的方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710398721.6A CN108986223A (zh) 2017-05-31 2017-05-31 一种三维场景重建的方法与装置

Publications (1)

Publication Number Publication Date
CN108986223A true CN108986223A (zh) 2018-12-11

Family

ID=64501243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710398721.6A Pending CN108986223A (zh) 2017-05-31 2017-05-31 一种三维场景重建的方法与装置

Country Status (1)

Country Link
CN (1) CN108986223A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801314A (zh) * 2019-01-17 2019-05-24 同济大学 一种基于深度学习的双目动态视觉传感器立体匹配方法
CN109887096A (zh) * 2019-01-24 2019-06-14 深圳职业技术学院 利用虚拟现实技术的教育教学信息处理系统及其教学方法
CN109978931A (zh) * 2019-04-04 2019-07-05 北京悉见科技有限公司 三维场景重建方法及设备、存储介质
WO2020228644A1 (zh) * 2019-05-13 2020-11-19 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN112312113A (zh) * 2020-10-29 2021-02-02 贝壳技术有限公司 用于生成三维模型的方法、装置和系统
CN112988020A (zh) * 2021-04-20 2021-06-18 湖南航天捷诚电子装备有限责任公司 一种头戴式增强现实显示方法及设备
CN114219900A (zh) * 2022-02-21 2022-03-22 北京影创信息科技有限公司 基于混合现实眼镜的三维场景重建方法、重建系统和应用

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801314A (zh) * 2019-01-17 2019-05-24 同济大学 一种基于深度学习的双目动态视觉传感器立体匹配方法
CN109887096A (zh) * 2019-01-24 2019-06-14 深圳职业技术学院 利用虚拟现实技术的教育教学信息处理系统及其教学方法
CN109978931A (zh) * 2019-04-04 2019-07-05 北京悉见科技有限公司 三维场景重建方法及设备、存储介质
CN109978931B (zh) * 2019-04-04 2021-12-31 中科海微(北京)科技有限公司 三维场景重建方法及设备、存储介质
WO2020228644A1 (zh) * 2019-05-13 2020-11-19 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
US11762475B2 (en) 2019-05-13 2023-09-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. AR scenario-based gesture interaction method, storage medium, and communication terminal
CN112312113A (zh) * 2020-10-29 2021-02-02 贝壳技术有限公司 用于生成三维模型的方法、装置和系统
CN112988020A (zh) * 2021-04-20 2021-06-18 湖南航天捷诚电子装备有限责任公司 一种头戴式增强现实显示方法及设备
CN112988020B (zh) * 2021-04-20 2021-09-07 湖南航天捷诚电子装备有限责任公司 一种头戴式增强现实显示方法及设备
CN114219900A (zh) * 2022-02-21 2022-03-22 北京影创信息科技有限公司 基于混合现实眼镜的三维场景重建方法、重建系统和应用
CN114219900B (zh) * 2022-02-21 2022-07-01 北京影创信息科技有限公司 基于混合现实眼镜的三维场景重建方法、重建系统和应用

Similar Documents

Publication Publication Date Title
CN108986223A (zh) 一种三维场景重建的方法与装置
Ramezani et al. The newer college dataset: Handheld lidar, inertial and vision with ground truth
US11481024B2 (en) Six degree of freedom tracking with scale recovery and obstacle avoidance
CN104658012B (zh) 一种基于惯性与光学测量融合的运动捕捉方法
CN108022302B (zh) 一种Inside-Out空间定位的AR立体显示装置
JP4667111B2 (ja) 画像処理装置、画像処理方法
CN109643014A (zh) 头戴式显示器追踪
US20110292036A1 (en) Depth sensor with application interface
US10205929B1 (en) Methods and systems for creating real-time three-dimensional (3D) objects from two-dimensional (2D) images
CN105824417B (zh) 一种采用虚拟现实技术的人与物的结合方法
JPH09330424A (ja) ３次元骨格構造の動き変換装置
CN109242887A (zh) 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
WO2022000713A1 (zh) 一种基于航空装配的增强现实自定位方法
CN109166181A (zh) 一种基于深度学习的混合动作捕捉系统
CN106123802A (zh) 一种自主流动式三维形貌测量方法
CN109284006A (zh) 一种人体运动捕获装置和方法
CN115128965A (zh) 面向数字孪生场景现实轨迹仿真及视角捕捉内容推荐方法
Li et al. Visual-Inertial Fusion-Based Human Pose Estimation: A Review
Jansen et al. Automatic calibration of a six-degrees-of-freedom pose estimation system
CN112486331A (zh) 基于imu的三维空间手写输入方法和装置
CN108932353A (zh) 应用混合现实技术实现建筑模型与实体间的定位方法
CN110728054A (zh) 一种大型游乐设施乘客位姿数据提取方法及应用方法
CN208314856U (zh) 一种用于单目机载目标检测的系统
Lukosiunas et al. An ultrasonic tracking method for augmented reality
Yang 3D Sensing and Tracking of Human Gait

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181211

WD01 Invention patent application deemed withdrawn after publication