CN112150609A - 一种基于室内实时稠密三维重建技术的vr系统 - Google Patents

一种基于室内实时稠密三维重建技术的vr系统 Download PDF

Info

Publication number
CN112150609A
CN112150609A CN202010948469.3A CN202010948469A CN112150609A CN 112150609 A CN112150609 A CN 112150609A CN 202010948469 A CN202010948469 A CN 202010948469A CN 112150609 A CN112150609 A CN 112150609A
Authority
CN
China
Prior art keywords
real
user
dimensional reconstruction
dimensional
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010948469.3A
Other languages
English (en)
Inventor
刘帆
甘思静
简晟
潘逸煬
徐聿智
朱星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010948469.3A priority Critical patent/CN112150609A/zh
Publication of CN112150609A publication Critical patent/CN112150609A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于室内实时稠密三维重建方法的VR系统，通过安装在VR一体机前端的深度相机采集图像，然后通过RGB‑D深度相机将图像变成深度图像，将其导入实时稠密三维重建模块，经过一系列的算法以及数据重组之后，建立三维模型并导入到游戏引擎，通过GPU实时渲染到OLED显示屏上；同时使用者还可以通过UI界面自主增加内容，与三维模型一起通过GPU实时渲染，在OLED显示屏上显示用户添加的内容以及周围环境的三维模型；当使用者身体移动或者旋转视角的时候，通过传感器模块获得的数据导入CPU进行计算，将结果导入RGB‑D深度相机，判断是否再次采集图像，重复上一过程。本系统最终解决了以往的VR系统的使用者移动身体无法改变场景的局限性，同时可以让用户添加的内容与周围环境一同显示，系统响应速度快，精度高。

Description

一种基于室内实时稠密三维重建技术的VR系统
技术领域
本发明涉及室内实时稠密三维重建技术，尤其涉及一种基于室内实时稠密三维重建技术的VR系统。
背景技术
由于计算机图形学、计算机视觉、计算机图像处理和计算机辅助设计的发展，三维重建技术也得到了飞速的提升，所谓的三维重建，从广义上来讲就是指对某些三维物体或者三维的场景的一种恢复和重构，重建出来的模型，方便计算机表示和处理。在某种程度上来说，三维重建即是一个对于真实环境的还原的一个过程，也是对三维物体或者场景图像描述的一种逆过程，在这个过程中，想要实现精确的还原，就需要复杂的视觉算法以及图形学的支持，同时对于装置设备也有一定的要求。
而随着各种消费级RGB-D传感器的出现，基于这种传感器，实时稠密三维重建方法也应运而生，其中以微软的Kinect、华硕的Xtion以及英特尔的RealSenced等为代表的RGB-D 传感器为代表，随后又有许多算法专家,Newcombe,Davison等人分别提出了单目稠密重建算法DTAM以及KinectFusion算法，KinectFusion算法之后，陆续出现了Kintinuous，ElasticFusion，InfiniTAM，BundleFusion这些算法，目前，由斯坦福大学提出的BundleFusion算法效果较好，正是这些算法的出现极大的促进了这种实时稠密三维重建方法的具体运用。
而传统的VR显示，移动身体，不会使虚拟场景发生变化，即没有对于现实环境的反馈效果，同时，VR所显示的都是录制好的内容，无法根据现实场景实时同步更新，用户也不能轻易改变这些虚拟场景。
发明内容
有鉴于这种情况，在本发明中，主要将这种室内实时稠密三维重建技术用于VR系统进行显示，解决了传统的VR一体机无法与现实环境同步反馈，同时身体移动无法改变虚拟场景这些局限性，一定程度上弥补了VR的不足之处，通过这种室内实时稠密三维重建方法的运用，结合了VR和AR两者之间的优势，形成了本发明这一种基于室内实时稠密三维重建技术的VR系统。
本发明的目的通过以下技术方案实现：
一种基于室内实时稠密三维重建方法的VR系统，首先通过安装在VR一体机前端的深度相机对周围环境进行图像采集，然后通过RGB-D深度相机的工作原理，将图像变成深度图像，将其导入实时稠密三维重建模块，经过一系列的算法以及数据重组之后，建立起三维纹理模型，再将这个模型导入到游戏引擎，通过GPU实时渲染到OLED显示屏上；同时使用者还可以通过UI界面自主增加内容，与三维模型一起通过GPU实时渲染，在OLED显示屏上显示用户添加的内容以及周围环境的三维纹理模型；当使用者身体移动或者旋转视角的时候，通过测距传感器以及IMU模块获得改变的数据导入CPU进行计算，将运算结果导入RGB-D深度相机，判断是否使其再次采集图像，重复上一过程。
本发明采用RGB-D深度相机，实时稠密三维重建模块，VR一体机模块，测距传感器以及IMU模块实现：一种基于室内实时稠密三维重建技术的VR系统，具体包括以下步骤：
步骤S1：RGB-D深度相机采集周围环境图像。
步骤S2：RGB-D深度相机将图像处理成深度图像。
步骤S3：将深度图像进行实时稠密三维重建。
步骤S4：将实时稠密三维重建之后的数据重组，建立三维纹理模型。
步骤S5：将三维纹理模型导入游戏引擎。
步骤S6：通过GPU对三维模型进行实时渲染显示到OLED显示屏。
步骤S7：使用者通过UI界面增加用户内容。
步骤S8：增加的用户内容与周围环境的三维模型一起通过GPU实时渲染到OLED显示屏。
步骤S9：使用者身体移动或者旋转视角。
步骤S10：测距传感器和IMU模块同时测量得出数据。
步骤S11：测距传感器和IMU模块将数据输入到CPU。
步骤S12：CPU对数据进行处理。
步骤S13：CPU将数据输入到判断条件。
步骤S14：如果有数据输入，那么将数据输送到深度相机。
步骤S15：深度相机再次采集图像，重复以上步骤。
本发明与现有的VR系统相比具有以下优点和有益效果：
(1)本发明采用RGB-D深度相机，能够根据使用者的身体移动以及视角旋转来改变VR 场景；
(2)现实环境的变化能够反馈到VR场景里面；
(3)用户能够添加自己想要的内容与现实环境的场景一同虚拟显示；
附图说明
图1为本发明所述一种基于室内实时稠密三维重建技术的VR系统的流程图。
图2双目相机确定深度示意图.
图3理想双目成像模型图。
图4极线约束示意图。
图5非理想情况下的极线图。
图6图像矫正示意图。
图7为本发明实时稠密三维重建流程图。
图8为本发明实时重建算法具体流程图。
具体实施方式
本发明是为解决传统VR眼镜无法反馈使用者移动，同时无法实时三维重建现实环境的局限性，为增强用户的沉浸感以及与现实场景交互的效果，为此提供了一种基于基于室内实时稠密三维重建技术的VR系统。
如图1所示，是一种基于室内实时稠密三维重建技术的VR系统流程图，其中主要包括 VR一体机模块，实时三维重建模块，RGB-D深度相机模块以及测距传感器和IMU模块。
步骤S1：由RGB-D深度相机上的红外传感器，采集周围环境的图像。
步骤S2：通过深度相机实现调幅连续波(AMCW)时差测距(ToF)原理。该相机将近红外(NIR)频谱中的调制光投射到场景中。然后，它会记录光线从相机传播到场景，然后从场景返回到相机所花费的时间测量值，根据这些测量值，便可以生成深度图像。
步骤S2.1：如图2所示，一般通过使用双目相机来判断成像的点的远近，并因此测量深度值。
步骤S2.2：理想双目成像模型如图3所示，假设左右两个相机位于同一个平面，且相机参数(如焦距f)一致，那么深度值的推导原理和公式如下:
Figure RE-GDA0002787053180000021
深度值
Figure RE-GDA0002787053180000022
Figure RE-GDA0002787053180000023
Figure RE-GDA0002787053180000031
其中，Y轴是平面的垂线。
根据上述推导，空间P点距离相机的距离(深度)
Figure RE-GDA0002787053180000032
因此若要计算深度z，必须要指导相机的焦距f，左右相机基线b，以及视差d。
其中焦距f和左右相机基线b都可以预先知道，视差d则需要知道左相机的每个像素点 (xl,yl)和右相机中对应的(xr,yr)的对应关系。
步骤S2.3：一般通过极线约束求解图像中像素点的对应关系，参见图4，C1,C2是两个相机，P是空间中的一个点，P和两个相机中心点C1、C2形成了三维重建中的一个平面PC1C2，称为极平面。极平面和两幅图像相交于两条直线，这两条直线称为极线。P在相机C1中的成像点是P1，在相机C2中的成像点是P2，但是P的位置事先是未知的。
极线约束就是指当同一个空间点在两幅图像上分别成像时，已知左图投影点p1，那么对应右图投影点p2一定在相对于p1的极线上，这样可以极大的缩小匹配范围。
但一般来说，两个相机的极线不仅不平行，还不共面，参见图5，而上述则是理想情况下的极线约束。
步骤S2.4：由于一般不少理想的极线情况，所以通过图像矫正技术，便可以把非理想的极线变为理想的极线，参见图6。
图像矫正是通过分别对两张图片用单应矩阵变化得到的，把两个不同方向的图像平面重新投影到同一个平面且光轴互相平行，这样就可以使用前面步骤S2.3里面的理想情况下的模型。
步骤S2.5：
目前一般都是基于能量优化的方法来实现匹配的，定义能量函数如下公式(1),其中反映图像的灰度值越近越好即为下面公式(2)，两个相邻的像素点(深度值)也应该相近，也就是下图公式(3)。
energy＝mathCost+smoothnessCost (1)
Figure RE-GDA0002787053180000033
Figure RE-GDA0002787053180000034
步骤S3：通过前面获取的深度图像进行实时稠密三维重建，参见图7。
步骤S3.1：首先，将深度图像导入人工神经网络校正模型，获取校正后的深度图像。
步骤S3.2：其次，将校正后的深度图像，通过深度图像增强，进行预处理。
步骤S3.3：将经过预处理的图像，采用点云计算，并进行点云校准。
步骤S3.3.1：通过点云计算，获取原始三维点云。
步骤S3.3.2：将原始三维点云里面的离群点云去除。
步骤S3.3.3：完成利群点云去除之后，获得周围环境的真实点云。
步骤S3.3.4：对周围环境的真实点云，进行点云平滑处理。
步骤S3.4：将经过上述点云校准(步骤S3.3.1-S3.3.4)之后的点云数据进行融合。
步骤S3.5：通过不含冗余的网络模型，进行曲面重建。
步骤S3.6：通过纹理映射生成模型表面，组成三维几何模型。
步骤S3.7：参见图8，为本发明实时重建算法具体流程图。
步骤S3.7.1：通过RGB-D传感器获取深度图像，然后经过RGB-D框架，进行对应搜索。
步骤S3.7.2：需要分别经过特征提取，特征匹配，对应校准才能完成对应搜索。
步骤S3.7.3：在通过稀疏/稠密对应，进行局部姿态优化，通过GN解算器完成，并将数据块导入数据高速缓存。
步骤S3.7.4：将数据块导入全局姿态优化，通过GN解算器完成。
步骤S3.7.5：将姿态估计导入数据高数缓存，由数据块得到相机姿态。
步骤S3.7.6：数据高速缓存将反馈给对应搜索模块和全局姿态优化。
步骤S3.7.7：经过数据块更新以及姿态更新，数据高速缓存将数据导入一体化模块。
步骤S4：将实时稠密三维重建之后的数据重组，建立三维纹理模型。
步骤S5：将三维纹理模型导入游戏引擎。
步骤S6：通过GPU对三维模型进行实时渲染显示到OLED显示屏。
步骤S7：使用者通过UI界面增加用户内容。
步骤S8：增加的用户内容与周围环境的三维模型一起通过GPU实时渲染到OLED显示屏。
步骤S9：使用者身体移动或者旋转视角。
步骤S10：测距传感器和IMU模块同时测量得出数据。
步骤S11：测距传感器和IMU模块将数据输入到CPU。
步骤S12：CPU对数据进行处理。
步骤S13：CPU将数据输入到判断条件。
步骤S14：如果有数据输入，那么将数据输送到深度相机。
步骤S15：深度相机再次采集图像，重复以上步骤。

Claims (5)

1.一种基于室内实时稠密三维重建方法技术的VR系统，其特征在于它包括如下步骤：
步骤S1：通过RGB-D深度相机获取深度图像；
步骤S2：通过实时稠密三维重建模块实现实时三维重建；
步骤S3：通过VR一体机模块显示重建的三维模型，使用者使用UI界面调整；
步骤S4：通过测距传感器以及IMU模块反馈使用者的移动。
2.根据权利要求1所述的一种基于室内实时稠密三维重建方法技术的VR系统，其特征在于所述的步骤S1为：
1）所采用的RGB-D深度相机为双目深度相机，由消费级RGB-D传感器为主要构成部件；
2）深度相机通过近红外线感知周围环境，获取深度图像；
3）所使用的算法框架包括但不限于Kintinuous，ElasticFusion，InfiniTAM，BundleFusion等视觉算法。
3.根据权利要求2所述的一种基于室内实时稠密三维重建方法技术的VR系统，其特征在于所述的步骤S2为：
1)使用人工神经网络校正模型处理深度图像；
2）采用深度图像增强，对深度图像进行预处理；
3）通过点云计算处理深度图像的数据；
4）通过点云校准的一系列过程优化点云数据；
5）数据融合之后经过不含冗余的网络模型进行曲面重建；
6）通过纹理映射生成表面；
7）得到三维几何模型。
4.根据权利要求3所述的一种基于室内实时稠密三维重建方法技术的VR系统，其特征在于所述的步骤S3为：
1）将实时重建的三维模型导入VR一体机中进行渲染显示；
2）使用者可以通过UI界面增加定制内容；
3）能够对使用者进行手势识别。
5.根据权利要求4所述的一种基于室内实时稠密三维重建方法技术的VR系统，其特征在于所述的步骤S4为：
1）使用者身体移动或者旋转视角，能够通过测距传感器和IMU模块感知，获取移动以及旋转的数据；
2）CPU对这些数据进行处理判断；
3）一旦使用者移动或者旋转视角，RGB-D深度相机再次采集图像，系统再次进行实时稠密三维重建。
CN202010948469.3A 2020-09-10 2020-09-10 一种基于室内实时稠密三维重建技术的vr系统 Withdrawn CN112150609A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010948469.3A CN112150609A (zh) 2020-09-10 2020-09-10 一种基于室内实时稠密三维重建技术的vr系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010948469.3A CN112150609A (zh) 2020-09-10 2020-09-10 一种基于室内实时稠密三维重建技术的vr系统

Publications (1)

Publication Number Publication Date
CN112150609A true CN112150609A (zh) 2020-12-29

Family

ID=73890979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010948469.3A Withdrawn CN112150609A (zh) 2020-09-10 2020-09-10 一种基于室内实时稠密三维重建技术的vr系统

Country Status (1)

Country Link
CN (1) CN112150609A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269859A (zh) * 2021-06-09 2021-08-17 中国科学院自动化研究所 面向执行器操作空间的rgbd视觉实时重建方法及系统
CN115345923A (zh) * 2022-10-19 2022-11-15 佛山科学技术学院 一种用于脑功能康复训练的虚拟场景三维重建方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269859A (zh) * 2021-06-09 2021-08-17 中国科学院自动化研究所 面向执行器操作空间的rgbd视觉实时重建方法及系统
CN113269859B (zh) * 2021-06-09 2023-11-24 中国科学院自动化研究所 面向执行器操作空间的rgbd视觉实时重建方法及系统
CN115345923A (zh) * 2022-10-19 2022-11-15 佛山科学技术学院 一种用于脑功能康复训练的虚拟场景三维重建方法
CN115345923B (zh) * 2022-10-19 2022-12-27 佛山科学技术学院 一种用于脑功能康复训练的虚拟场景三维重建方法

Similar Documents

Publication Publication Date Title
Newcombe et al. Live dense reconstruction with a single moving camera
US9235928B2 (en) 3D body modeling, from a single or multiple 3D cameras, in the presence of motion
Wu et al. Fusing multiview and photometric stereo for 3d reconstruction under uncalibrated illumination
Pujades et al. The virtual caliper: rapid creation of metrically accurate avatars from 3D measurements
CN108053437B (zh) 基于体态的三维模型获取方法及装置
US20210241495A1 (en) Method and system for reconstructing colour and depth information of a scene
US10750157B1 (en) Methods and systems for creating real-time three-dimensional (3D) objects from two-dimensional (2D) images
Ye et al. Free-viewpoint video of human actors using multiple handheld kinects
US11922562B2 (en) Methods and systems for rendering view-dependent images using 2D images
CN114450719A (zh) 人体模型重建方法、重建系统及存储介质
US20220335637A1 (en) Systems and methods for low compute high-resolution depth map generation using low-resolution cameras
CN112150609A (zh) 一种基于室内实时稠密三维重建技术的vr系统
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
Deng et al. Registration of multiple rgbd cameras via local rigid transformations
CN116612256B (zh) 一种基于NeRF的实时远程三维实景模型浏览方法
KR20030054360A (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법
Kang et al. Progressive 3D model acquisition with a commodity hand-held camera
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法
WO2022240745A1 (en) Methods and systems for representing a user
Daniilidis et al. Real-time 3d-teleimmersion
WO2022208497A1 (en) Surface texturing from multiple cameras
Ferstl et al. aTGV-SF: Dense variational scene flow through projective warping and higher order regularization
Wang et al. Markerless body motion capturing for 3d character animation based on multi-view cameras
Melendez et al. Relightable Buildings from Images.
Park et al. 3D pose estimation using joint-based calibration in distributed RGB-D camera system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201229