CN110349249B - 基于rgb-d数据的实时稠密重建方法及系统 - Google Patents

基于rgb-d数据的实时稠密重建方法及系统 Download PDF

Info

Publication number
CN110349249B
CN110349249B CN201910557680.XA CN201910557680A CN110349249B CN 110349249 B CN110349249 B CN 110349249B CN 201910557680 A CN201910557680 A CN 201910557680A CN 110349249 B CN110349249 B CN 110349249B
Authority
CN
China
Prior art keywords
frame
current frame
rgb
registration
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910557680.XA
Other languages
English (en)
Other versions
CN110349249A (zh
Inventor
陶文兵
魏凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910557680.XA priority Critical patent/CN110349249B/zh
Publication of CN110349249A publication Critical patent/CN110349249A/zh
Application granted granted Critical
Publication of CN110349249B publication Critical patent/CN110349249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGB‑D数据的实时稠密重建方法及系统，属于计算机视觉领域，包括：利用RGB‑D相机实时获取一帧RGB‑D图像作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目
Figure DDA0002107341110000011
和像素匹配数目
Figure DDA0002107341110000012
根据点云匹配数目
Figure DDA0002107341110000013
和像素匹配数目
Figure DDA0002107341110000014
确定联合配准的加权值
Figure DDA0002107341110000015
并根据该加权值
Figure DDA0002107341110000016
进行联合配准，以估计当前帧的相机姿态Pi；加权值
Figure DDA0002107341110000017
与像素匹配数目
Figure DDA0002107341110000018
和点云匹配数目
Figure DDA0002107341110000019
的比值正相关；根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以更新场景模型；重复上述步骤直至完成对三维场景的稠密重建。本发明能够提高对相机轨迹的跟踪精度，以提高实时稠密重建的重建精度。

Description

基于RGB-D数据的实时稠密重建方法及系统
技术领域
本发明属于计算机视觉领域，更具体地，涉及一种基于RGB-D数据的实时稠密重建方法及系统。
背景技术
稠密重建，是指根据输入数据获得场景的稠密模型的过程。目前实时稠密重建方法中使用较多的是视觉传感器和深度传感器，相比雷达、声呐等传感器来说，视觉传感器和深度传感器功耗低、价格便宜，并且视觉传感器可获取丰富的场景纹理信息，深度传感器可获取丰富的场景结构信息。RGB-D相机是一类同时集成了视觉传感器和深度传感器的传感器，目前使用较多的RGB-D相机主要有Kinect v1、Kinect v2、RealSense等。利用RGB-D相机获取的RGB-D数据中同时包含场景纹理信息和场景结构信息，并且根据相机内参可以直接得到场景的三维信息，相比于单目相机或双目相机需要通过复杂计算获得空间三维信息的方式来说，RGB-D相机获取场景三维信息的难度较小，可以更加有效地跟踪和重建，因此，RGB-D数据可以应用于很多领域，如室内三维建模、AR/VR、机器人室内定位导航、三维游戏、高精地图、自动驾驶、无人机避障与测图等，RGB-D数据在实时稠密重建方法中也获得了广泛的应用。
目前，在基于RGB-D数据的实时稠密重建方法中，一般会通过彩色图像提供的光度信息和深度图像提供的几何信息联合估计以获得相机姿态，从而实现对相机轨迹的跟踪，但是在不同场景下，光度一致性和几何一致性对于联合估计相机姿态起到的作用不同，如果只采用定值加权无法有效的表达这种联合估计时各种信息实际所占的比重，因此配准误差较大。同时在跟踪结束之后，没有有效的方法判断跟踪结果的好坏，在跟踪结果出现较大偏差时也无法及时进行更正。此外，在稠密重建的过程中，由于跟踪误差的积累会导致轨迹漂移的问题，现有的基于RGB-D数据的实时稠密重建方法会在跟踪的同时检测闭环，通过闭环约束调整整个场景的相机姿态，但是在非闭环场景中，轨迹漂移问题仍然得不到缓解。
总体而言，现有的基于RGB-D数据的实时稠密重建方法，对相机轨迹的跟踪精度仍有待提高。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于RGB-D数据的实时稠密重建方法及系统，其目的在于，提高对相机轨迹的跟踪精度，以提高实时稠密重建的重建精度。
为实现上述目的，按照本发明的一个方面，提供了一种基于RGB-D数据的实时稠密重建方法，包括：
(1)利用RGB-D相机实时获取一帧RGB-D图像，将其作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目
Figure BDA0002107341090000021
和像素匹配数目
Figure BDA0002107341090000022
(2)根据点云匹配数目
Figure BDA0002107341090000023
和像素匹配数目
Figure BDA0002107341090000024
确定联合配准的加权值
Figure BDA0002107341090000025
并根据该加权值
Figure BDA0002107341090000026
进行联合配准，以估计当前帧的相机姿态Pi；加权值
Figure BDA0002107341090000027
与像素匹配数目
Figure BDA0002107341090000028
和点云匹配数目
Figure BDA0002107341090000029
的比值正相关；
(3)根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以更新场景模型；
(4)重复执行步骤(1)～(3)，直至完成对三维场景的稠密重建；
其中，场景模型用于描述待重建的三维场景。
本发明在利用相邻两帧进行联合配准的过程中，根据RGB-D数据中深度图像和彩色图像的配准结果确定联合配准的加权值，实现了自适应调节配准时深度信息和彩色信息的所占比重，因此，本发明能够在不同场景下，保证对相机轨迹的跟踪精度，从而提高了实时稠密重建的重建精度。
进一步地，步骤(2)还包括：
获得当前帧中深度图像配准的点云配准误差
Figure BDA0002107341090000035
和彩色图像配准的像素配准误差
Figure BDA0002107341090000036
并获得上一帧中深度图像配准的点云匹配数目
Figure BDA0002107341090000037
和点云配准误差
Figure BDA0002107341090000038
以及上一帧中彩色图像配准的像素匹配数目
Figure BDA0002107341090000039
和像素配准误差
Figure BDA00021073410900000310
若各参数同时满足：
Figure BDA0002107341090000031
Figure BDA0002107341090000032
且
Figure BDA0002107341090000033
则保持所估计的当前帧的相机姿态Pi不变；
否则，分别对当前帧及上一帧的彩色图像进行特征提取和特征匹配，并根据特征匹配结果和特征所对应的深度值计算当前帧及上一帧的相对相机姿态，以重新估计当前帧的相机姿态Pi；
其中，Thdcount、Thderror、Thrgbcount和Thrgberror均为预设的阈值。
本发明在每一帧的跟踪结束之后，根据相邻两帧配准结果的变化量判断跟踪结果的好坏，并在跟踪结果出现较大偏差时，及时更正所估计的当前帧的相机姿态，因此，本发明能够有效提高对相机轨迹的跟踪精度，从而提高了实时稠密重建的重建精度。
进一步地，加权值
Figure BDA0002107341090000034
根据该表达式对加权值进行自适应调节，能够在大部分场景下表达联合配准时各种信息所占的比重。
进一步地，步骤(3)还包括：
若当前帧满足关键帧选择条件，则将其标记为关键帧，并作为当前关键帧；
分别将当前关键帧的深度图像和彩色图像配准到其前第n帧关键帧所对应的场景模型中，以分别获得点云匹配数目
Figure BDA0002107341090000042
和像素匹配数目
Figure BDA0002107341090000043
根据点云匹配数目
Figure BDA0002107341090000044
和像素匹配数目
Figure BDA0002107341090000045
确定联合配准的加权值
Figure BDA0002107341090000046
并根据该加权值
Figure BDA0002107341090000047
进行联合配准，以估计当前关键帧的相机姿态Pkf；加权值
Figure BDA0002107341090000048
与像素匹配数目
Figure BDA0002107341090000049
和点云匹配数目
Figure BDA00021073410900000410
的比值正相关；
根据相机姿态Pkf相对于相机姿态Pi的变化，调整相机姿态和场景模型。
本发明在检测到关键帧时，利用当前关键帧及其前的一帧关键帧进行联合配准，以估计得到当前关键帧的相机姿态，并根据配准前后相机姿态的变化优化相机姿态和调整场景模型，从而由当前关键帧及其前的一帧关键帧形成一个小的闭环，由此能够有效缓解实时稠密重建中的轨迹漂移问题，提高对相机轨迹的跟踪精度，进而提高实时稠密重建的重建精度。
进一步地，加权值
Figure BDA0002107341090000041
根据该表达式对加权值进行自适应调节，能够在大部分场景下表达联合配准时各种信息所占的比重。
进一步地，进行关键帧联合配准时，当前关键帧前第n帧关键帧为当前关键帧的上上一帧关键帧；利用当前关键帧及上上一帧关键帧构成闭环，能够最大程度上缓解实时稠密重建中的轨迹漂移问题。
进一步地，将深度图像配准到场景模型的方法为ICP配准方法。
进一步地，将彩色图像配准到场景模型的方法为直接配准法。
优选地，在将深度图像或彩色图像配准到场景模型时，可通过由粗到精的金字塔策略加速配准收敛。
按照本发明的另一个方面，提供了一种基于RGB-D数据的实时稠密重建系统，包括：帧配准模块、联合配准模块以及场景融合模块；
帧配准模块，用于利用RGB-D相机实时获取一帧RGB-D图像，将其作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目
Figure BDA0002107341090000051
和像素匹配数目
Figure BDA0002107341090000052
联合配准模块，用于根据点云匹配数目
Figure BDA0002107341090000056
和像素匹配数目
Figure BDA0002107341090000055
确定联合配准的加权值
Figure BDA0002107341090000053
并根据该加权值
Figure BDA0002107341090000054
进行联合配准，以估计当前帧的相机姿态Pi；加权值
Figure BDA0002107341090000057
与像素匹配数目
Figure BDA0002107341090000058
和点云匹配数目
Figure BDA0002107341090000059
的比值正相关；
场景融合模块，用于根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以更新场景模型；
其中，场景模型用于描述待重建的三维场景。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明所提供的基于RGB-D数据的实时稠密重建方法及系统，在利用相邻两帧进行联合配准的过程中，根据RGB-D数据中深度图像和彩色图像的配准结果确定联合配准的加权值，实现了自适应调节配准时深度信息和彩色信息的所占比重，因此，本发明能够在不同场景下，保证对相机轨迹的跟踪精度，从而提高了实时稠密重建的重建精度。
(2)本发明所提供的基于RGB-D数据的实时稠密重建方法及系统，在每一帧的跟踪结束之后，根据相邻两帧配准结果的变化量判断跟踪结果的好坏，并在跟踪结果出现较大偏差时，及时更正所估计的当前帧的相机姿态，因此，本发明能够有效提高对相机轨迹的跟踪精度，从而提高了实时稠密重建的重建精度。
(3)本发明所提供的基于RGB-D数据的实时稠密重建方法及系统，在检测到关键帧时，利用当前关键帧及其前的一帧关键帧进行联合配准，以估计得到当前关键帧的相机姿态，并根据配准前后相机姿态的变化优化相机姿态和调整场景模型，从而由当前关键帧及其前的一帧关键帧形成一个小的闭环，由此能够有效缓解实时稠密重建中的轨迹漂移问题，提高对相机轨迹的跟踪精度，进而提高实时稠密重建的重建精度。
(4)本发明所提供的基于RGB-D数据的实时稠密重建方法及系统，在其优选方案中，根据
Figure BDA0002107341090000061
和
Figure BDA0002107341090000062
对加权值进行自适应调节，能够在大部分场景下表达联合配准时各种信息所占的比重。
(5)本发明所提供的基于RGB-D数据的实时稠密重建方法及系统，利用当前关键帧及上上一帧关键帧构成闭环，能够最大程度上缓解实时稠密重建中的轨迹漂移问题，从而最大程度地提高稠密重建的重建精度。
附图说明
图1为本发明实施例提供的基于RGB-D数据的实时稠密重建方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为提高对相机轨迹的跟踪精度，以提高实时稠密重建的重建精度，本发明提供的基于RGB-D数据的实时稠密重建方法，如图1所示，包括：
(1)利用RGB-D相机实时获取一帧RGB-D图像，将其作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目
Figure BDA0002107341090000078
和像素匹配数目
Figure BDA0002107341090000079
场景模型用于描述待重建的三维场景，某一帧RGB-D图像对应的场景模型具体是指将该帧的深度信息和彩色信息融合到场景模型中后所得到的模型；在本发明中，对场景模型的具体类型不做限制，可以是常用的面元(surfel)或截断符号距离函数(TSDF)，也可以是任意一种其他的场景模型；
每一帧RGB-D图像中，同时包含一幅RGB三通道彩色图像和一幅深度图像；本发明中，可以采用任意一种RGB-D相机获取RGB-D数据；在本实施例中，具体使用Kinect；
在一个可选的实施方式中，将深度图像配准到场景模型的方法为ICP(IterativeClosest Point，迭代最近点)配准方法，配准的具体过程为：先对深度图像进行采样，然后利用ICP配准方法进行配准，配准过程中，可通过由粗到精的金字塔策略加速配准收敛；
在一个可选的实施方式中，将彩色图像配准到场景模型的方法为直接配准法，配准的具体过程为：先对彩色图像进行采样，然后利用直接配准法进行配准，配准过程中，可通过由粗到精的金字塔策略加速配准收敛；
上述将深度图像和彩色图像配准到场景模型的具体方法仅为本发明的优选实例，不应理解为对本发明的唯一限定；在实际应用中，也可以采用其他的配准方法；
(2)根据点云匹配数目
Figure BDA0002107341090000071
和像素匹配数目
Figure BDA0002107341090000072
确定联合配准的加权值
Figure BDA0002107341090000073
并根据该加权值
Figure BDA0002107341090000074
进行联合配准，以估计当前帧的相机姿态Pi；加权值
Figure BDA0002107341090000075
与像素匹配数目
Figure BDA0002107341090000076
和点云匹配数目
Figure BDA0002107341090000077
的比值正相关；
作为一种优选地实施方式，在本发明实施例中，加权值
Figure BDA0002107341090000081
根据该表达式对加权值进行自适应调节，能够在大部分场景下表达联合配准时各种信息所占的比重；
应当理解的是，表达式仅为本发明的一种优选实例，不应理解为对本发明的唯一限定；在实际应用中，也可以根据实际情况进行调整；
确定加权值
Figure BDA0002107341090000083
后，进行联合配准可得到当前帧及上一帧的相对相机姿态Etrack，具体为：
Figure BDA0002107341090000082
其中，Ed表示两个深度图像的3D反投影顶点之间的点到平面距离的误差，一个深度图像为当前帧的深度图像，另一个深度图像为上一帧对应的场景模型重投影生成的深度图像；Ergb表示两个彩色图像对应像素的光度误差，一个彩色图像为当前帧的彩色图像，另一个彩色图像为上一帧的彩色图像或者上一帧对应的场景模型重投影生成的深度图像；
由于上一帧的相机姿态已知，通过联合配准得到相对相机姿态Etrack后，即可估计得到当前帧的相机姿态Pi；
(3)根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以得更新场景模型；
不同的场景模型，有相应的信息融合方法，在此步骤中，根据所选用的场景模型完成信息融合即可；
(4)重复执行步骤(1)～(3)，直至完成对三维场景的稠密重建；通常情况下，停止实时获取RGB-D数据时，方法终止。
本发明在利用相邻两帧进行联合配准的过程中，根据RGB-D数据中深度图像和彩色图像的配准结果确定联合配准的加权值，实现了自适应调节配准时深度信息和彩色信息的所占比重，因此，本发明能够在不同场景下，保证对相机轨迹的跟踪精度，从而提高了实时稠密重建的重建精度。
为了进一步提高对相机轨迹的跟踪精度以提高实时稠密重建的重建精度，上述基于RGB-D数据的实时稠密重建方法，如图1所示，步骤(2)还可包括：
获得当前帧中深度图像配准的点云配准误差
Figure BDA0002107341090000094
和彩色图像配准的像素配准误差
Figure BDA0002107341090000095
并获得上一帧中深度图像配准的点云匹配数目
Figure BDA0002107341090000096
和点云配准误差
Figure BDA0002107341090000097
以及上一帧中彩色图像配准的像素匹配数目
Figure BDA0002107341090000098
和像素配准误差
Figure BDA0002107341090000099
若各参数同时满足：
Figure BDA0002107341090000091
Figure BDA0002107341090000092
且
Figure BDA0002107341090000093
则保持所估计的当前帧的相机姿态Pi不变；
否则，分别对当前帧及上一帧的彩色图像进行特征提取和特征匹配，并根据特征匹配结果和特征所对应的深度值计算当前帧及上一帧的相对相机姿态，以重新估计当前帧的相机姿态Pi；所提取的彩色图像的特征可以是ORB特征、SIFT特征或其他特征；
其中，Thdcount、Thderror、Thrgbcount和Thrgberror均为预设的阈值；各阈值的具体取值可根据实际应用需求设定，在本实施例中，各阈值的具体设置为Thdcount＝Thderror＝Thrgbcount＝Thrgberror＝20％；
本发明在每一帧的跟踪结束之后，根据相邻两帧配准结果的变化量判断跟踪结果的好坏，并在跟踪结果出现较大偏差时，及时更正所估计的当前帧的相机姿态，因此，本发明能够有效提高对相机轨迹的跟踪精度，从而提高了实时稠密重建的重建精度。
为了缓解实时稠密重建中存在的轨迹漂移问题，提高对相机轨迹的跟踪精度，以提高实时稠密重建的重建精度，上述基于RGB-D数据的实时稠密重建方法，如图1所示，步骤(3)还可包括：
若当前帧满足关键帧选择条件，则将其标记为关键帧，并作为当前关键帧；根据实际的应用需求，关键帧选择条件可以是当前帧与上一个关键帧之间彩色图像的相似程度小于一定阈值，或者是当前帧与上一个关键帧之间的平移旋转大于一定阈值，也可以是其他条件，在此不做一一列举；在本发明中，具体选择当前关键帧及上上一帧关键帧进行关键帧的联合配准；利用当前关键帧及上上一帧关键帧构成闭环，能够最大程度上缓解实时稠密重建中的轨迹漂移问题；
分别将当前关键帧的深度图像和彩色图像配准到其前第n帧关键帧所对应的场景模型中，以分别获得点云匹配数目
Figure BDA0002107341090000102
和像素匹配数目
Figure BDA0002107341090000103
此处深度图像和彩色图像到场景模型的配准，具体方法及过程，可参考上述步骤(1)中的描述；
根据点云匹配数目
Figure BDA0002107341090000104
和像素匹配数目
Figure BDA0002107341090000105
确定联合配准的加权值
Figure BDA0002107341090000106
并根据该加权值
Figure BDA0002107341090000107
进行联合配准，以估计当前关键帧的相机姿态Pkf；加权值
Figure BDA0002107341090000108
与像素匹配数目
Figure BDA0002107341090000109
和点云匹配数目
Figure BDA00021073410900001010
的比值正相关；作为一种优选地实施方式，在本发明实施例中，加权值
Figure BDA0002107341090000101
根据该表达式对加权值进行自适应调节，能够在大部分场景下表达联合配准时各种信息所占的比重；同样地，在实际应用中，也可以根据实际情况进行调整；
根据相机姿态Pkf相对于相机姿态Pi的变化，调整相机姿态和场景模型；调整相机姿态和场景模型时，可以只调整当前帧的相机姿态和对应的场景模型，也可以调整两个关键帧之间所有帧的相机姿态和对应的场景模型，前者速度快，后者更加精确；具体在每一种场景模型中，有对应的优化方式，如果以面元(surfel)的方式表示场景，可以利用变形图的方法进行优化，这样可以对这两个关键帧之间每一帧的相机姿态和场景模型都进行调整；如果用截断符号距离函数(TSDF)表示场景，为了在时间和精度方面加以平衡，可以只调整关键帧对应的场景模型。
本发明在检测到关键帧时，利用当前关键帧及其前的一帧关键帧进行联合配准，以估计得到当前关键帧的相机姿态，并根据配准前后相机姿态的变化优化相机姿态和调整场景模型，从而由当前关键帧及其前的一帧关键帧形成一个小的闭环，由此能够有效缓解实时稠密重建中的轨迹漂移问题，提高对相机轨迹的跟踪精度，进而提高实时稠密重建的重建精度。
本发明还提供了一种基于RGB-D数据的实时稠密重建系统，用于实现上述基于RGB-D数据的实时稠密重建方法，该系统包括：帧配准模块、联合配准模块以及场景融合模块；
帧配准模块，用于利用RGB-D相机实时获取一帧RGB-D图像，将其作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目
Figure BDA0002107341090000111
和像素匹配数目
Figure BDA0002107341090000112
联合配准模块，用于根据点云匹配数目
Figure BDA0002107341090000113
和像素匹配数目
Figure BDA0002107341090000114
确定联合配准的加权值
Figure BDA0002107341090000115
并根据该加权值
Figure BDA0002107341090000116
进行联合配准，以估计当前帧的相机姿态Pi；加权值
Figure BDA0002107341090000117
与像素匹配数目
Figure BDA0002107341090000118
和点云匹配数目
Figure BDA0002107341090000119
的比值正相关；
场景融合模块，用于根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以更新场景模型；
其中，场景模型用于描述待重建的三维场景；
在本发明实施例中，各模块的具体实施方式，可参考上述方法实施例中的描述，在此将不作复述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于RGB-D数据的实时稠密重建方法，其特征在于，包括：
(1)利用RGB-D相机实时获取一帧RGB-D图像，将其作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目
Figure FDA0002803450450000011
和像素匹配数目
Figure FDA0002803450450000012
(2)根据所述点云匹配数目
Figure FDA0002803450450000013
和像素匹配数目
Figure FDA0002803450450000014
确定联合配准的加权值
Figure FDA0002803450450000015
并根据该加权值
Figure FDA0002803450450000016
进行联合配准，以估计当前帧的相机姿态Pi；加权值
Figure FDA0002803450450000017
与像素匹配数目
Figure FDA0002803450450000018
和点云匹配数目
Figure FDA0002803450450000019
的比值正相关；
(3)根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以更新场景模型；
(4)重复执行步骤(1)～(3)，直至完成对三维场景的稠密重建；
其中，所述场景模型用于描述待重建的三维场景；
所述步骤(2)中，根据该加权值
Figure FDA00028034504500000110
进行联合配准，以估计当前帧的相机姿态Pi，包括：
根据
Figure FDA00028034504500000111
计算当前帧与上一帧的相对相机姿态Etrack；Ed表示两个深度图像的3D反投影顶点之间的点到平面距离的误差，其中一个深度图像为当前帧的深度图像，另一个深度图像为上一帧对应的场景模型重投影生成的深度图像；Ergb表示两个彩色图像对应像素的光度误差，一个彩色图像为当前帧的彩色图像，另一个彩色图像为上一帧的彩色图像或者上一帧对应的场景模型重投影生成的深度图像；
根据上一帧的相机姿态，以及当前帧与上一帧的相对相机姿态Etrack，估计当前帧的相机姿态Pi。
2.如权利要求1所述的基于RGB-D数据的实时稠密重建方法，其特征在于，所述步骤(2)还包括：
获得当前帧中深度图像配准的点云配准误差
Figure FDA0002803450450000021
和彩色图像配准的像素配准误差
Figure FDA0002803450450000022
并获得上一帧中深度图像配准的点云匹配数目
Figure FDA0002803450450000023
和点云配准误差
Figure FDA0002803450450000024
以及上一帧中彩色图像配准的像素匹配数目
Figure FDA0002803450450000025
和像素配准误差
Figure FDA0002803450450000026
若各参数同时满足：
Figure FDA0002803450450000027
Figure FDA0002803450450000028
且
Figure FDA0002803450450000029
则保持所估计的当前帧的相机姿态Pi不变；
否则，分别对当前帧及上一帧的彩色图像进行特征提取和特征匹配，并根据特征匹配结果和特征所对应的深度值计算当前帧及上一帧的相对相机姿态，以重新估计当前帧的相机姿态Pi；
其中，Thdcount、Thderror、Thrgbcount和Thrgberror均为预设的阈值。
3.如权利要求1或2所述的基于RGB-D数据的实时稠密重建方法，其特征在于，所述加权值
Figure FDA00028034504500000210
4.如权利要求1或2所述的基于RGB-D数据的实时稠密重建方法，其特征在于，所述步骤(3)还包括：
若当前帧满足关键帧选择条件，则将其标记为关键帧，并作为当前关键帧；
分别将当前关键帧的深度图像和彩色图像配准到其前第n帧关键帧所对应的场景模型中，以分别获得点云匹配数目
Figure FDA00028034504500000211
和像素匹配数目
Figure FDA00028034504500000212
根据所述点云匹配数目
Figure FDA00028034504500000213
和像素匹配数目
Figure FDA00028034504500000214
确定联合配准的加权值
Figure FDA0002803450450000031
并根据该加权值
Figure FDA0002803450450000032
进行联合配准，以估计当前关键帧的相机姿态Pkf；加权值
Figure FDA0002803450450000033
与像素匹配数目
Figure FDA0002803450450000034
和点云匹配数目
Figure FDA0002803450450000035
的比值正相关；
根据相机姿态Pkf相对于相机姿态Pi的变化，调整相机姿态和场景模型。
5.如权利要求4所述的基于RGB-D数据的实时稠密重建方法，其特征在于，所述加权值
Figure FDA0002803450450000036
6.如权利要求4所述的基于RGB-D数据的实时稠密重建方法，其特征在于，进行关键帧联合配准时，当前关键帧前第n帧关键帧为当前关键帧的上上一帧关键帧。
7.如权利要求1所述的基于RGB-D数据的实时稠密重建方法，其特征在于，将深度图像配准到场景模型的方法为ICP配准方法。
8.如权利要求1所述的基于RGB-D数据的实时稠密重建方法，其特征在于，将彩色图像配准到场景模型的方法为直接配准法。
9.一种基于RGB-D数据的实时稠密重建系统，其特征在于，包括：帧配准模块、联合配准模块以及场景融合模块；
所述帧配准模块，用于利用RGB-D相机实时获取一帧RGB-D图像，将其作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目
Figure FDA0002803450450000037
和像素匹配数目
Figure FDA0002803450450000038
所述联合配准模块，用于根据所述点云匹配数目
Figure FDA0002803450450000039
和像素匹配数目
Figure FDA00028034504500000310
确定联合配准的加权值
Figure FDA00028034504500000311
并根据该加权值
Figure FDA00028034504500000312
进行联合配准，以估计当前帧的相机姿态Pi；加权值
Figure FDA00028034504500000313
与像素匹配数目
Figure FDA00028034504500000314
和点云匹配数目
Figure FDA00028034504500000315
的比值正相关；
所述场景融合模块，用于根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以更新场景模型；
其中，所述场景模型用于描述待重建的三维场景；
所述联合配准模块根据加权值
Figure FDA0002803450450000041
进行联合配准，以估计当前帧的相机姿态Pi，包括：
根据
Figure FDA0002803450450000042
计算当前帧与上一帧的相对相机姿态Etrack；Ed表示两个深度图像的3D反投影顶点之间的点到平面距离的误差，其中一个深度图像为当前帧的深度图像，另一个深度图像为上一帧对应的场景模型重投影生成的深度图像；Ergb表示两个彩色图像对应像素的光度误差，一个彩色图像为当前帧的彩色图像，另一个彩色图像为上一帧的彩色图像或者上一帧对应的场景模型重投影生成的深度图像；
根据上一帧的相机姿态，以及当前帧与上一帧的相对相机姿态Etrack，估计当前帧的相机姿态Pi。
CN201910557680.XA 2019-06-26 2019-06-26 基于rgb-d数据的实时稠密重建方法及系统 Active CN110349249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910557680.XA CN110349249B (zh) 2019-06-26 2019-06-26 基于rgb-d数据的实时稠密重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910557680.XA CN110349249B (zh) 2019-06-26 2019-06-26 基于rgb-d数据的实时稠密重建方法及系统

Publications (2)

Publication Number Publication Date
CN110349249A CN110349249A (zh) 2019-10-18
CN110349249B true CN110349249B (zh) 2021-04-06

Family

ID=68183049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910557680.XA Active CN110349249B (zh) 2019-06-26 2019-06-26 基于rgb-d数据的实时稠密重建方法及系统

Country Status (1)

Country Link
CN (1) CN110349249B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260765B (zh) * 2020-01-13 2023-04-28 浙江未来技术研究院(嘉兴) 一种显微手术术野的动态三维重建方法
CN112862959B (zh) * 2021-03-23 2022-07-12 清华大学 基于语义先验的实时概率单目稠密重建方法及系统
CN113240813B (zh) * 2021-05-12 2023-05-16 北京三快在线科技有限公司 三维点云信息确定方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346608B (zh) * 2013-07-26 2017-09-08 株式会社理光 稀疏深度图稠密化方法和装置
WO2017003424A1 (en) * 2015-06-29 2017-01-05 Siemens Aktiengesellschaft Metric 3d stitching of rgb-d data
CN105867841B (zh) * 2016-03-24 2019-01-15 浙江宇视科技有限公司 一种数据重建方法及装置
US20180053040A1 (en) * 2016-08-19 2018-02-22 Umm Al-Qura University System and method for 3d local surface matching
CN106875482B (zh) * 2017-01-13 2020-04-28 浙江大学 一种同时定位与稠密三维重建方法
CN108447097B (zh) * 2018-03-05 2021-04-27 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110349249A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
CN108682026B (zh) 一种基于多匹配基元融合的双目视觉立体匹配方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN108537848B (zh) 一种面向室内场景重建的两级位姿优化估计方法
US9613420B2 (en) Method for locating a camera and for 3D reconstruction in a partially known environment
CN110349249B (zh) 基于rgb-d数据的实时稠密重建方法及系统
CN108010081B (zh) 一种基于Census变换和局部图优化的RGB-D视觉里程计方法
CN110176032B (zh) 一种三维重建方法及装置
CN112102458A (zh) 基于激光雷达点云数据辅助的单镜头三维图像重构方法
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
CN111141264B (zh) 一种基于无人机的城市三维测绘方法和系统
CN110942477B (zh) 一种利用双目相机和激光雷达深度图融合的方法
WO2024045632A1 (zh) 基于双目视觉和imu的水下场景三维重建方法及设备
CN110375765B (zh) 基于直接法的视觉里程计方法、系统及存储介质
CN111524194A (zh) 一种激光雷达和双目视觉相互融合的定位方法及终端
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
CN116309813A (zh) 一种固态激光雷达-相机紧耦合位姿估计方法
CN110515088B (zh) 一种智能机器人的里程计估计方法及系统
CN113240597B (zh) 基于视觉惯性信息融合的三维软件稳像方法
CN116740488B (zh) 一种用于视觉定位的特征提取模型的训练方法及装置
CN116147618B (zh) 一种适用动态环境的实时状态感知方法及系统
Buck et al. Capturing uncertainty in monocular depth estimation: Towards fuzzy voxel maps
CN111899277A (zh) 运动目标检测方法及装置、存储介质、电子装置
CN112767481B (zh) 一种基于视觉边缘特征的高精度定位及建图方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant