CN113920254A - 一种基于单目rgb的室内三维重建方法及其系统 - Google Patents

一种基于单目rgb的室内三维重建方法及其系统 Download PDF

Info

Publication number
CN113920254A
CN113920254A CN202111527159.5A CN202111527159A CN113920254A CN 113920254 A CN113920254 A CN 113920254A CN 202111527159 A CN202111527159 A CN 202111527159A CN 113920254 A CN113920254 A CN 113920254A
Authority
CN
China
Prior art keywords
depth map
indoor
dimensional reconstruction
points
reconstruction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111527159.5A
Other languages
English (en)
Other versions
CN113920254B (zh
Inventor
颜青松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qiyu Innovation Technology Co ltd
Original Assignee
Shenzhen Qiyu Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qiyu Innovation Technology Co ltd filed Critical Shenzhen Qiyu Innovation Technology Co ltd
Priority to CN202111527159.5A priority Critical patent/CN113920254B/zh
Publication of CN113920254A publication Critical patent/CN113920254A/zh
Application granted granted Critical
Publication of CN113920254B publication Critical patent/CN113920254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及三维建模技术领域，特别涉及一种基于单目RGB的室内三维重建方法及其系统；本发明先进行数据采集，采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧，并且得到关键帧实时的位姿信息；再用预先训练好的深度神经网络从获取的关键帧中预测出深度图；然后利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；最后将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型；本发明使用简单的RGB传感器即可快速高效的进行室内三维重建，而且本发明不仅对硬件具有较低要求，也具有更低的计算量，能够被广泛应用到各种移动设备进行三维重建。

Description

一种基于单目RGB的室内三维重建方法及其系统
技术领域
本发明涉及三维建模技术领域，特别涉及一种基于单目RGB的室内三维重建方法及其系统。
背景技术
随着VR/AR的快速发展，室内三维重建需求越来越大，然而目前主流的室内重建方案都需要使用配合特殊传感器或复杂计算，才能完成室内场景的三维重建。
专利名称为一种基于移动激光测量点云进行室内结构化三维重建方法（专利号ZL201711218661）的中国发明专利，其首先基于激光扫描点云证据栅格地图进行房间分割；然后基于矢量墙面投影线段进行空间划分；最后基于矢量和栅格叠加构建矢量房间平面图和室内三维模型。本发明充分利用室内空间的语义信息和结构化元素，将室内三维重建问题转化为房间分割和基于GIS的叠加分析问题，利用分割的房间作为先验知识解决建模过程中激光测量的遮挡和数据不完整的问题，可以快速高效的构建具有拓扑一致性的室内建筑物三维模型，也就是说，使用激光传感器作为三维数据获取手段，进而基于矢量和栅格叠加构建矢量房间平面图和室内三维模型，需要大量复杂的计算。
专利名称为一种快速鲁棒的RGB-D室内三维场景重建方法（专利号ZL201810213575），其采用RGB-D相机实时扫描室内场景；基于点线融合相机跟踪算法进行相机实时跟踪；通过检测相机状态对相机轨迹进行约减；利用约减后的相机轨迹信息对RGB-D图像进行多尺度体数据融合，生成完整的场景三维模型；简单的说，使用RGBD获取三维数据，利用相机轨迹信息对RGBD图像进行多尺度体数据融合，生成完整的场景三维模型，其计算量也比较。
发明内容
本发明主要解决的技术问题是提供了一种基于单目RGB的室内三维重建方法，其使用简单的RGB传感器即可快速高效的进行室内三维重建。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于单目RGB的室内三维重建方法，其中，包括如下步骤：
步骤S1、进行数据采集，采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧，并且得到关键帧实时的位姿信息；
步骤S2、用预先训练好的深度神经网络从获取的关键帧中预测出深度图；
步骤S3、利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；
步骤S4、将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型。
作为本发明的一种改进，在步骤S1内，从经过高斯平滑的原始影像上提取灰度变化较快的角点作为特征点进行提取。
作为本发明的进一步改进，在步骤S1内，利用光流跟踪进行特征跟踪，进而完成特征的匹配，提取特征匹配点。
作为本发明的更进一步改进，在步骤S1内，基于特征匹配点，利用多视觉立体几何获取影像的影像初始位姿和稀疏点。
作为本发明的更进一步改进，在步骤S3内，利用稀疏点从预测的深度图上进行采样，然后将采样得到的深度值与稀疏点本身的深度值进行比较，得到深度图的尺度矫正参数，再对预测的深度图进行缩放，得到矫正后的深度图。
作为本发明的更进一步改进，以步骤S1内，构建优化方程式对误差进行消除，获取没有误差的位姿和稀疏点。
作为本发明的更进一步改进，在步骤S2内，构建深度神经网络，利用数据集对获取的关键帧进行训练，得到预测值，从而预测出深度图。
作为本发明的更进一步改进，在步骤S4内，根据需求分辨率将待重建区域切分成规定的尺寸的体素，再将每一个体素投影到影像上，采用均值计算，计算出体素到真实表面的距离。
一种基于单目RGB的室内三维重建系统，其中，包括：
采集模块，用于采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧；
训练模块，用于将预先训练好的深度神经网络从获取的关键帧中预测出深度图；
深度图尺度矫正模块，利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；
重建模块，用于将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型。
本发明的有益效果是：本发明先进行数据采集，采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧，并且得到关键帧实时的位姿信息；再用预先训练好的深度神经网络从获取的关键帧中预测出深度图；然后利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；最后将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型。
与现有技术相比，本发明使用简单的RGB传感器即可快速高效的进行室内三维重建，而且本发明不仅对硬件具有较低要求，也具有更低的计算量，能够被广泛应用到各种移动设备进行三维重建。
附图说明
图1为本发明的步骤框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有技术中一种室内三维布局重建的方法（专利号ZL 201910343315），其公开了，其包括：1)采集室内场景的图像序列数据及惯性测量数据，同时对室内场景进行实时三维重建，得到关键帧图像序列及其实时重建的位置与姿态；2)利用所述关键帧图像序列及其对应的实时重建的位置与姿态，进行离线三维重建，得到室内场景的稠密三维点云；3)从所述室内场景的稠密三维点云中抽取平面结构，对平面结构进行筛选和分类，得到房顶平面、地面平面和候选墙面平面，同时得到楼层高度；4)根据所述房顶平面、地面平面、候选墙面平面及楼层高度，构造所述室内场景的三维布局；5)输出三维布局重建结果；其在获取RGB影像位姿后，然后在关键帧之间进行计算量较大的稠密重建，进而完成室内三维重建；该现有技术应用传感器多且有的比较特殊，而且计算比较复杂。
请参照图1所示，本发明提供了一种基于单目RGB的室内三维重建方法，包括如下步骤：
步骤S1、进行数据采集，采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧，并且得到关键帧实时的位姿信息；
步骤S2、用预先训练好的深度神经网络从获取的关键帧中预测出深度图；
步骤S3、利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；
步骤S4、将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型。
本发明使用简单的RGB传感器即可快速高效的进行室内三维重建，而且本发明不仅对硬件具有较低要求，也具有更低的计算量，能够被广泛应用到各种移动设备进行三维重建。
在步骤S1内，从经过高斯平滑的原始影像上提取灰度变化较快的角点作为特征点进行提取；利用光流跟踪进行特征跟踪，进而完成特征的匹配，提取特征匹配点；基于特征匹配点，利用多视觉立体几何获取影像的影像初始位姿和稀疏点。
具体地说，采集连续的影像视频流，并通过提取影像特征点和特征匹配来获取每张影像之间的点对关系，并通过多视立体几何恢复三维位姿信息，作为后续重建的依据;与此同时，还需要从连续的视频流中选取一定的关键帧，作为后续重建的依据。
在进行特征提取时，为保证SLAM的实时性，直接从经过高斯平滑的原始影像上提取灰度变化较快的角点作为特征点，其规则如下，即在窗口大小为
Figure 668575DEST_PATH_IMAGE001
的范围里像素亮度差异大于阈值
Figure 523399DEST_PATH_IMAGE002
的像素的数量大于
Figure 240819DEST_PATH_IMAGE003
的点为特征点。下式描述了特征提取过程，其中
Figure 573712DEST_PATH_IMAGE004
表示在影像上一点的像素坐标，
Figure 653663DEST_PATH_IMAGE005
表示该像素点的灰度值。完成特征提取后即可利用光流跟踪进行特征跟踪，进而完成特征的匹配。
Figure 679388DEST_PATH_IMAGE006
；
基于匹配的特征，可以利用多视觉立体几何获取影像的影像初始位姿
Figure 87367DEST_PATH_IMAGE007
和稀疏点
Figure 223950DEST_PATH_IMAGE008
，但是由于误差累计等原因，还需要构建优化方程对误差进行消除，最终获取全局一致性的位姿和稀疏点。下式描述了上述过程，其中
Figure 768195DEST_PATH_IMAGE009
表示某张影像的初始位姿，
Figure 699242DEST_PATH_IMAGE010
表示某个稀疏点的初始位置，
Figure 391254DEST_PATH_IMAGE011
表示点
Figure 65949DEST_PATH_IMAGE012
在影像
Figure 527018DEST_PATH_IMAGE013
上的特征点提取坐标，
Figure 691283DEST_PATH_IMAGE014
表示点
Figure 605012DEST_PATH_IMAGE012
在影像
Figure 489923DEST_PATH_IMAGE013
上的投影坐标。
Figure 805497DEST_PATH_IMAGE015
。
在步骤S2内，基于关键帧的深度估计，在步骤S1运行的同时，每获取一张关键帧，即利用预先训练好的深度神经网络从该关键帧中预测出无绝对尺度的深度图。
构建深度神经网络，利用数据集对获取的关键帧进行训练，得到预测值，从而预测出深度图；基于深度神经网络进行深度图估计的核心是构建网络
Figure 78347DEST_PATH_IMAGE016
，利用数据集
Figure 744952DEST_PATH_IMAGE017
对其进行训练，使得其满足以下条件，及最小化
Figure 558187DEST_PATH_IMAGE016
预测值
Figure 728268DEST_PATH_IMAGE018
与真实深度图之间的差异，其中
Figure 437598DEST_PATH_IMAGE019
为训练数据集中的真实深度，
Figure 325920DEST_PATH_IMAGE018
表示经过深度神经网络在影像
Figure 411687DEST_PATH_IMAGE020
的预测深度。
Figure 701854DEST_PATH_IMAGE021
；
为达成此目的，使用Huber-Loss对网络进行训练，当差异较大时使用L2范数，提高收敛速度；当差异较小时使用L1范数，保证收敛到最佳值，其中
Figure 785348DEST_PATH_IMAGE022
为真实值与预测值的差异，
Figure 160966DEST_PATH_IMAGE023
为差异阈值用于选择合适的损失函数。
Figure 784845DEST_PATH_IMAGE024
。
在步骤S3内，利用稀疏点从预测的深度图上进行采样，然后将采样得到的深度值与稀疏点本身的深度值进行比较，得到深度图的尺度矫正参数，再对预测的深度图进行缩放，得到矫正后的深度图。
具体地讲，由于深度神经网络计算获取的深度图并不具备真实的尺度信息，因此通过多张关键帧获取的深度图的尺度并不是一致的。因此，需要利用第一步骤中提取的特征匹配点作为依据，对关键帧的深度图进行尺度矫正，保证尺度的一致性。尺度矫正的大致思路是，利用稀疏点从预测深度图上进行采样，然后将采样得到的深度与稀疏点本身的深度值进行比较，构建出优化方程，计算出深度图的尺度矫正参数。
记预测深度图为
Figure 522994DEST_PATH_IMAGE025
，从SLAM系统获取的影像位姿为
Figure 839706DEST_PATH_IMAGE026
，稀疏点为
Figure 905882DEST_PATH_IMAGE027
。由于
Figure 67873DEST_PATH_IMAGE025
缺少尺度信息，则显然存在稀疏点投影深度和预测深度图不一致情况；以下公式中第一行表示稀疏点投影到深度图对应影像上，第二行表示稀疏点投影深度
Figure 168570DEST_PATH_IMAGE028
与预测深度图
Figure 718500DEST_PATH_IMAGE025
的采样值并不相同，其中
Figure 334289DEST_PATH_IMAGE011
表示点
Figure 503233DEST_PATH_IMAGE012
在影像
Figure 888078DEST_PATH_IMAGE013
上的特征点提取坐标，
Figure 343330DEST_PATH_IMAGE029
表示点
Figure 180836DEST_PATH_IMAGE012
的投影深度，
Figure 950209DEST_PATH_IMAGE030
表示点
Figure 392823DEST_PATH_IMAGE012
在影像
Figure 691080DEST_PATH_IMAGE013
上的投影坐标处的预测深度。
Figure 281462DEST_PATH_IMAGE031
；
为此需要为每个深度图设定一个缩放尺度
Figure 916842DEST_PATH_IMAGE032
，使其满足以下条件，其中参数定义如上所示：
Figure 10700DEST_PATH_IMAGE033
；
获取尺度矫正参数
Figure 948700DEST_PATH_IMAGE032
后，即可对预测深度图进行缩放，使其保证全局尺度的一致性，其中
Figure 495219DEST_PATH_IMAGE034
为原始深度图，
Figure 871974DEST_PATH_IMAGE035
为经过尺度矫正后的深度图：
Figure 148235DEST_PATH_IMAGE036
。
在步骤S4内，根据需求分辨率将待重建区域切分成规定的尺寸的体素，再将每一个体素投影到影像上，采用均值计算，计算出体素到真实表面的距离。
具体地讲，完成数据采集后，即可同时获得关键帧的位姿信息和经过尺度校正后的深度图，此时即可通过t-SDF(阶段符号距离函数)来融合深度图，并重建出室内三维模型。
首先根据需求分辨率将大小为
Figure 319453DEST_PATH_IMAGE037
的待重建区域切分成尺寸为
Figure 556530DEST_PATH_IMAGE038
的体素
Figure 471397DEST_PATH_IMAGE039
。对于每一个
Figure 602164DEST_PATH_IMAGE040
，逐个其投影到影像上，并通过
Figure 678704DEST_PATH_IMAGE041
计算体素到真实表面的距离，其中
Figure 465395DEST_PATH_IMAGE042
表示体素
Figure 856056DEST_PATH_IMAGE043
投影到影像
Figure 44592DEST_PATH_IMAGE044
的三维坐标，
Figure 292033DEST_PATH_IMAGE045
表示对应的投影深度，
Figure 628337DEST_PATH_IMAGE046
表示体素
Figure 885006DEST_PATH_IMAGE043
投影坐标处在矫正深度图
Figure 865731DEST_PATH_IMAGE047
上的深度值，
Figure 549653DEST_PATH_IMAGE048
为对应的sdf值：
Figure 107674DEST_PATH_IMAGE049
；
由于每个体素在多个影像上可见，因此还需要融合多个
Figure 902454DEST_PATH_IMAGE050
距离，直接采用均值，其中
Figure 800003DEST_PATH_IMAGE051
表示体素
Figure 592510DEST_PATH_IMAGE043
被观测次数：
Figure 841089DEST_PATH_IMAGE052
；
完成计算所有体素的
Figure 173981DEST_PATH_IMAGE050
距离后，即可利用Marching Cube完成表面重建。
本发明还提供了一种基于单目RGB的室内三维重建系统，包括：
采集模块，用于采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧；
训练模块，用于将预先训练好的深度神经网络从获取的关键帧中预测出深度图；
深度图尺度矫正模块，利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；
重建模块，用于将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型。
本发明简化了进行室内重建时对传感器的过高要求，使得仅使用简单的RGB传感器即可快速高效的进行室内三维重建；相比于其他方法，本发明不仅对硬件具有较低要求，也具有更低的计算量，能够被广泛应用到各种移动设备进行三维重建。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于单目RGB的室内三维重建方法，其特征在于，包括如下步骤：
步骤S1、进行数据采集，采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧，并且得到关键帧实时的位姿信息；
步骤S2、用预先训练好的深度神经网络从获取的关键帧中预测出深度图；
步骤S3、利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；
步骤S4、将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型。
2.根据权利要求1所述的一种基于单目RGB的室内三维重建方法，其特征在于，在步骤S1内，从经过高斯平滑的原始影像上提取灰度变化较快的角点作为特征点进行提取。
3.根据权利要求2所述的一种基于单目RGB的室内三维重建方法，其特征在于，在步骤S1内，利用光流跟踪进行特征跟踪，进而完成特征的匹配，提取特征匹配点。
4.根据权利要求3所述的一种基于单目RGB的室内三维重建方法，其特征在于，在步骤S1内，基于特征匹配点，利用多视觉立体几何获取影像的影像初始位姿和稀疏点。
5.根据权利要求4所述的一种基于单目RGB的室内三维重建方法，其特征在于，在步骤S3内，利用稀疏点从预测的深度图上进行采样，然后将采样得到的深度值与稀疏点本身的深度值进行比较，得到深度图的尺度矫正参数，再对预测的深度图进行缩放，得到矫正后的深度图。
6.根据权利要求4所述的一种基于单目RGB的室内三维重建方法，其特征在于，以步骤S1内，构建优化方程式对误差进行消除，获取没有误差的位姿和稀疏点。
7.根据权利要求1所述的一种基于单目RGB的室内三维重建方法，其特征在于，在步骤S2内，构建深度神经网络，利用数据集对获取的关键帧进行训练，得到预测值，从而预测出深度图。
8.根据权利要求1所述的一种基于单目RGB的室内三维重建方法，其特征在于，在步骤S4内，根据需求分辨率将待重建区域切分成规定的尺寸的体素，再将每一个体素投影到影像上，采用均值计算，计算出体素到真实表面的距离。
9.一种基于单目RGB的室内三维重建系统，其特征在于，包括：
采集模块，用于采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧；
训练模块，用于将预先训练好的深度神经网络从获取的关键帧中预测出深度图；
深度图尺度矫正模块，利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；
重建模块，用于将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型。
CN202111527159.5A 2021-12-15 2021-12-15 一种基于单目rgb的室内三维重建方法及其系统 Active CN113920254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111527159.5A CN113920254B (zh) 2021-12-15 2021-12-15 一种基于单目rgb的室内三维重建方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111527159.5A CN113920254B (zh) 2021-12-15 2021-12-15 一种基于单目rgb的室内三维重建方法及其系统

Publications (2)

Publication Number Publication Date
CN113920254A true CN113920254A (zh) 2022-01-11
CN113920254B CN113920254B (zh) 2022-03-22

Family

ID=80737826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111527159.5A Active CN113920254B (zh) 2021-12-15 2021-12-15 一种基于单目rgb的室内三维重建方法及其系统

Country Status (1)

Country Link
CN (1) CN113920254B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824067A (zh) * 2023-08-24 2023-09-29 成都量芯集成科技有限公司 一种室内三维重建方法及其装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193938A1 (en) * 2014-01-06 2015-07-09 Microsoft Corporation Fast general multipath correction in time-of-flight imaging
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN108564616A (zh) * 2018-03-15 2018-09-21 中国科学院自动化研究所 快速鲁棒的rgb-d室内三维场景重建方法
CN109087394A (zh) * 2018-08-02 2018-12-25 福州大学 一种基于低成本rgb-d传感器的实时室内三维重建方法
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
CN109961506A (zh) * 2019-03-13 2019-07-02 东南大学 一种融合改进Census图的局部场景三维重建方法
CN110120093A (zh) * 2019-03-25 2019-08-13 深圳大学 一种多元特征混合优化的rgb-d室内三维测图方法及系统
CN113362247A (zh) * 2021-06-11 2021-09-07 山东大学 一种激光融合多目相机的语义实景三维重建方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193938A1 (en) * 2014-01-06 2015-07-09 Microsoft Corporation Fast general multipath correction in time-of-flight imaging
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN108564616A (zh) * 2018-03-15 2018-09-21 中国科学院自动化研究所 快速鲁棒的rgb-d室内三维场景重建方法
CN109087394A (zh) * 2018-08-02 2018-12-25 福州大学 一种基于低成本rgb-d传感器的实时室内三维重建方法
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
CN109961506A (zh) * 2019-03-13 2019-07-02 东南大学 一种融合改进Census图的局部场景三维重建方法
CN110120093A (zh) * 2019-03-25 2019-08-13 深圳大学 一种多元特征混合优化的rgb-d室内三维测图方法及系统
CN113362247A (zh) * 2021-06-11 2021-09-07 山东大学 一种激光融合多目相机的语义实景三维重建方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EDER, M.等: ""Pano Popups: Indoor 3D Reconstruction with a Plane-Aware Network"", 《2019 INTERNATIONAL CONFERENCE ON 3D VISION (3DV)》 *
刘三毛 等: ""基于ＲGB-D单目视觉的室内场景三维重建"", 《微型机与应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824067A (zh) * 2023-08-24 2023-09-29 成都量芯集成科技有限公司 一种室内三维重建方法及其装置
CN116824067B (zh) * 2023-08-24 2023-11-24 成都量芯集成科技有限公司 一种室内三维重建方法及其装置

Also Published As

Publication number Publication date
CN113920254B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN108596974B (zh) 动态场景机器人定位建图系统及方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109598794B (zh) 三维gis动态模型的构建方法
CN113168717B (zh) 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达
Tsai et al. Real-time indoor scene understanding using bayesian filtering with motion cues
CN113139453B (zh) 一种基于深度学习的正射影像高层建筑基底矢量提取方法
CN113450408B (zh) 一种基于深度相机的非规则物体位姿估计方法及装置
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN111126304A (zh) 一种基于室内自然场景图像深度学习的增强现实导航方法
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN107481279A (zh) 一种单目视频深度图计算方法
CN112258658B (zh) 一种基于深度相机的增强现实可视化方法及应用
US11367195B2 (en) Image segmentation method, image segmentation apparatus, image segmentation device
CN114424250A (zh) 结构建模
CN105809716B (zh) 融合超像素与三维自组织背景减除法的前景提取方法
CN112233177A (zh) 一种无人机位姿估计方法及系统
CN110516639B (zh) 一种基于视频流自然场景的人物三维位置实时计算方法
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其系统
Deng et al. Binocular video-based 3D reconstruction and length quantification of cracks in concrete structures
El Ansari et al. Temporal consistent fast stereo matching for advanced driver assistance systems (ADAS)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Yan Qingsong

Inventor after: Zhao Kaiyong

Inventor before: Yan Qingsong

CB03 Change of inventor or designer information