CN110349249A - 基于rgb-d数据的实时稠密重建方法及系统 - Google Patents

基于rgb-d数据的实时稠密重建方法及系统 Download PDF

Info

Publication number
CN110349249A
CN110349249A CN201910557680.XA CN201910557680A CN110349249A CN 110349249 A CN110349249 A CN 110349249A CN 201910557680 A CN201910557680 A CN 201910557680A CN 110349249 A CN110349249 A CN 110349249A
Authority
CN
China
Prior art keywords
frame
rgb
matching number
real
present frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910557680.XA
Other languages
English (en)
Other versions
CN110349249B (zh
Inventor
陶文兵
魏凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910557680.XA priority Critical patent/CN110349249B/zh
Publication of CN110349249A publication Critical patent/CN110349249A/zh
Application granted granted Critical
Publication of CN110349249B publication Critical patent/CN110349249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本发明公开了一种基于RGB‑D数据的实时稠密重建方法及系统，属于计算机视觉领域，包括：利用RGB‑D相机实时获取一帧RGB‑D图像作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目和像素匹配数目根据点云匹配数目和像素匹配数目确定联合配准的加权值并根据该加权值进行联合配准，以估计当前帧的相机姿态Pi；加权值与像素匹配数目和点云匹配数目的比值正相关；根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以更新场景模型；重复上述步骤直至完成对三维场景的稠密重建。本发明能够提高对相机轨迹的跟踪精度，以提高实时稠密重建的重建精度。

Description

基于RGB-D数据的实时稠密重建方法及系统
技术领域
本发明属于计算机视觉领域，更具体地，涉及一种基于RGB-D数据的实时稠密重建方法及系统。
背景技术
稠密重建，是指根据输入数据获得场景的稠密模型的过程。目前实时稠密重建方法中使用较多的是视觉传感器和深度传感器，相比雷达、声呐等传感器来说，视觉传感器和深度传感器功耗低、价格便宜，并且视觉传感器可获取丰富的场景纹理信息，深度传感器可获取丰富的场景结构信息。RGB-D相机是一类同时集成了视觉传感器和深度传感器的传感器，目前使用较多的RGB-D相机主要有Kinect v1、Kinect v2、RealSense等。利用RGB-D相机获取的RGB-D数据中同时包含场景纹理信息和场景结构信息，并且根据相机内参可以直接得到场景的三维信息，相比于单目相机或双目相机需要通过复杂计算获得空间三维信息的方式来说，RGB-D相机获取场景三维信息的难度较小，可以更加有效地跟踪和重建，因此，RGB-D数据可以应用于很多领域，如室内三维建模、AR/VR、机器人室内定位导航、三维游戏、高精地图、自动驾驶、无人机避障与测图等，RGB-D数据在实时稠密重建方法中也获得了广泛的应用。
目前，在基于RGB-D数据的实时稠密重建方法中，一般会通过彩色图像提供的光度信息和深度图像提供的几何信息联合估计以获得相机姿态，从而实现对相机轨迹的跟踪，但是在不同场景下，光度一致性和几何一致性对于联合估计相机姿态起到的作用不同，如果只采用定值加权无法有效的表达这种联合估计时各种信息实际所占的比重，因此配准误差较大。同时在跟踪结束之后，没有有效的方法判断跟踪结果的好坏，在跟踪结果出现较大偏差时也无法及时进行更正。此外，在稠密重建的过程中，由于跟踪误差的积累会导致轨迹漂移的问题，现有的基于RGB-D数据的实时稠密重建方法会在跟踪的同时检测闭环，通过闭环约束调整整个场景的相机姿态，但是在非闭环场景中，轨迹漂移问题仍然得不到缓解。
总体而言，现有的基于RGB-D数据的实时稠密重建方法，对相机轨迹的跟踪精度仍有待提高。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于RGB-D数据的实时稠密重建方法及系统，其目的在于，提高对相机轨迹的跟踪精度，以提高实时稠密重建的重建精度。
为实现上述目的，按照本发明的一个方面，提供了一种基于RGB-D数据的实时稠密重建方法，包括：
(1)利用RGB-D相机实时获取一帧RGB-D图像，将其作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目和像素匹配数目
(2)根据点云匹配数目和像素匹配数目确定联合配准的加权值并根据该加权值进行联合配准，以估计当前帧的相机姿态Pi；加权值与像素匹配数目和点云匹配数目的比值正相关；
(3)根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以更新场景模型；
(4)重复执行步骤(1)～(3)，直至完成对三维场景的稠密重建；
其中，场景模型用于描述待重建的三维场景。
本发明在利用相邻两帧进行联合配准的过程中，根据RGB-D数据中深度图像和彩色图像的配准结果确定联合配准的加权值，实现了自适应调节配准时深度信息和彩色信息的所占比重，因此，本发明能够在不同场景下，保证对相机轨迹的跟踪精度，从而提高了实时稠密重建的重建精度。
进一步地，步骤(2)还包括：
获得当前帧中深度图像配准的点云配准误差和彩色图像配准的像素配准误差并获得上一帧中深度图像配准的点云匹配数目和点云配准误差以及上一帧中彩色图像配准的像素匹配数目和像素配准误差
若各参数同时满足： 且则保持所估计的当前帧的相机姿态Pi不变；
否则，分别对当前帧及上一帧的彩色图像进行特征提取和特征匹配，并根据特征匹配结果和特征所对应的深度值计算当前帧及上一帧的相对相机姿态，以重新估计当前帧的相机姿态Pi；
其中，Thdcount、Thderror、Thrgbcount和Thrgberror均为预设的阈值。
本发明在每一帧的跟踪结束之后，根据相邻两帧配准结果的变化量判断跟踪结果的好坏，并在跟踪结果出现较大偏差时，及时更正所估计的当前帧的相机姿态，因此，本发明能够有效提高对相机轨迹的跟踪精度，从而提高了实时稠密重建的重建精度。
进一步地，加权值根据该表达式对加权值进行自适应调节，能够在大部分场景下表达联合配准时各种信息所占的比重。
进一步地，步骤(3)还包括：
若当前帧满足关键帧选择条件，则将其标记为关键帧，并作为当前关键帧；
分别将当前关键帧的深度图像和彩色图像配准到其前第n帧关键帧所对应的场景模型中，以分别获得点云匹配数目和像素匹配数目
根据点云匹配数目和像素匹配数目确定联合配准的加权值并根据该加权值进行联合配准，以估计当前关键帧的相机姿态Pkf；加权值与像素匹配数目和点云匹配数目的比值正相关；
根据相机姿态Pkf相对于相机姿态Pi的变化，调整相机姿态和场景模型。
本发明在检测到关键帧时，利用当前关键帧及其前的一帧关键帧进行联合配准，以估计得到当前关键帧的相机姿态，并根据配准前后相机姿态的变化优化相机姿态和调整场景模型，从而由当前关键帧及其前的一帧关键帧形成一个小的闭环，由此能够有效缓解实时稠密重建中的轨迹漂移问题，提高对相机轨迹的跟踪精度，进而提高实时稠密重建的重建精度。
进一步地，加权值根据该表达式对加权值进行自适应调节，能够在大部分场景下表达联合配准时各种信息所占的比重。
进一步地，进行关键帧联合配准时，当前关键帧前第n帧关键帧为当前关键帧的上上一帧关键帧；利用当前关键帧及上上一帧关键帧构成闭环，能够最大程度上缓解实时稠密重建中的轨迹漂移问题。
进一步地，将深度图像配准到场景模型的方法为ICP配准方法。
进一步地，将彩色图像配准到场景模型的方法为直接配准法。
优选地，在将深度图像或彩色图像配准到场景模型时，可通过由粗到精的金字塔策略加速配准收敛。
按照本发明的另一个方面，提供了一种基于RGB-D数据的实时稠密重建系统，包括：帧配准模块、联合配准模块以及场景融合模块；
帧配准模块，用于利用RGB-D相机实时获取一帧RGB-D图像，将其作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目和像素匹配数目
联合配准模块，用于根据点云匹配数目和像素匹配数目确定联合配准的加权值并根据该加权值进行联合配准，以估计当前帧的相机姿态Pi；加权值与像素匹配数目和点云匹配数目的比值正相关；
场景融合模块，用于根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以更新场景模型；
其中，场景模型用于描述待重建的三维场景。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明所提供的基于RGB-D数据的实时稠密重建方法及系统，在利用相邻两帧进行联合配准的过程中，根据RGB-D数据中深度图像和彩色图像的配准结果确定联合配准的加权值，实现了自适应调节配准时深度信息和彩色信息的所占比重，因此，本发明能够在不同场景下，保证对相机轨迹的跟踪精度，从而提高了实时稠密重建的重建精度。
(2)本发明所提供的基于RGB-D数据的实时稠密重建方法及系统，在每一帧的跟踪结束之后，根据相邻两帧配准结果的变化量判断跟踪结果的好坏，并在跟踪结果出现较大偏差时，及时更正所估计的当前帧的相机姿态，因此，本发明能够有效提高对相机轨迹的跟踪精度，从而提高了实时稠密重建的重建精度。
(3)本发明所提供的基于RGB-D数据的实时稠密重建方法及系统，在检测到关键帧时，利用当前关键帧及其前的一帧关键帧进行联合配准，以估计得到当前关键帧的相机姿态，并根据配准前后相机姿态的变化优化相机姿态和调整场景模型，从而由当前关键帧及其前的一帧关键帧形成一个小的闭环，由此能够有效缓解实时稠密重建中的轨迹漂移问题，提高对相机轨迹的跟踪精度，进而提高实时稠密重建的重建精度。
(4)本发明所提供的基于RGB-D数据的实时稠密重建方法及系统，在其优选方案中，根据和对加权值进行自适应调节，能够在大部分场景下表达联合配准时各种信息所占的比重。
(5)本发明所提供的基于RGB-D数据的实时稠密重建方法及系统，利用当前关键帧及上上一帧关键帧构成闭环，能够最大程度上缓解实时稠密重建中的轨迹漂移问题，从而最大程度地提高稠密重建的重建精度。
附图说明
图1为本发明实施例提供的基于RGB-D数据的实时稠密重建方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为提高对相机轨迹的跟踪精度，以提高实时稠密重建的重建精度，本发明提供的基于RGB-D数据的实时稠密重建方法，如图1所示，包括：
(1)利用RGB-D相机实时获取一帧RGB-D图像，将其作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目和像素匹配数目
场景模型用于描述待重建的三维场景，某一帧RGB-D图像对应的场景模型具体是指将该帧的深度信息和彩色信息融合到场景模型中后所得到的模型；在本发明中，对场景模型的具体类型不做限制，可以是常用的面元(surfel)或截断符号距离函数(TSDF)，也可以是任意一种其他的场景模型；
每一帧RGB-D图像中，同时包含一幅RGB三通道彩色图像和一幅深度图像；本发明中，可以采用任意一种RGB-D相机获取RGB-D数据；在本实施例中，具体使用Kinect；
在一个可选的实施方式中，将深度图像配准到场景模型的方法为ICP(IterativeClosest Point，迭代最近点)配准方法，配准的具体过程为：先对深度图像进行采样，然后利用ICP配准方法进行配准，配准过程中，可通过由粗到精的金字塔策略加速配准收敛；
在一个可选的实施方式中，将彩色图像配准到场景模型的方法为直接配准法，配准的具体过程为：先对彩色图像进行采样，然后利用直接配准法进行配准，配准过程中，可通过由粗到精的金字塔策略加速配准收敛；
上述将深度图像和彩色图像配准到场景模型的具体方法仅为本发明的优选实例，不应理解为对本发明的唯一限定；在实际应用中，也可以采用其他的配准方法；
(2)根据点云匹配数目和像素匹配数目确定联合配准的加权值并根据该加权值进行联合配准，以估计当前帧的相机姿态Pi；加权值与像素匹配数目和点云匹配数目的比值正相关；
作为一种优选地实施方式，在本发明实施例中，加权值根据该表达式对加权值进行自适应调节，能够在大部分场景下表达联合配准时各种信息所占的比重；
应当理解的是，表达式仅为本发明的一种优选实例，不应理解为对本发明的唯一限定；在实际应用中，也可以根据实际情况进行调整；
确定加权值后，进行联合配准可得到当前帧及上一帧的相对相机姿态Etrack，具体为：其中，Ed表示两个深度图像的3D反投影顶点之间的点到平面距离的误差，一个深度图像为当前帧的深度图像，另一个深度图像为上一帧对应的场景模型重投影生成的深度图像；Ergb表示两个彩色图像对应像素的光度误差，一个彩色图像为当前帧的彩色图像，另一个彩色图像为上一帧的彩色图像或者上一帧对应的场景模型重投影生成的深度图像；
由于上一帧的相机姿态已知，通过联合配准得到相对相机姿态Etrack后，即可估计得到当前帧的相机姿态Pi；
(3)根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以得更新场景模型；
不同的场景模型，有相应的信息融合方法，在此步骤中，根据所选用的场景模型完成信息融合即可；
(4)重复执行步骤(1)～(3)，直至完成对三维场景的稠密重建；通常情况下，停止实时获取RGB-D数据时，方法终止。
本发明在利用相邻两帧进行联合配准的过程中，根据RGB-D数据中深度图像和彩色图像的配准结果确定联合配准的加权值，实现了自适应调节配准时深度信息和彩色信息的所占比重，因此，本发明能够在不同场景下，保证对相机轨迹的跟踪精度，从而提高了实时稠密重建的重建精度。
为了进一步提高对相机轨迹的跟踪精度以提高实时稠密重建的重建精度，上述基于RGB-D数据的实时稠密重建方法，如图1所示，步骤(2)还可包括：
获得当前帧中深度图像配准的点云配准误差和彩色图像配准的像素配准误差并获得上一帧中深度图像配准的点云匹配数目和点云配准误差以及上一帧中彩色图像配准的像素匹配数目和像素配准误差
若各参数同时满足： 且则保持所估计的当前帧的相机姿态Pi不变；
否则，分别对当前帧及上一帧的彩色图像进行特征提取和特征匹配，并根据特征匹配结果和特征所对应的深度值计算当前帧及上一帧的相对相机姿态，以重新估计当前帧的相机姿态Pi；所提取的彩色图像的特征可以是ORB特征、SIFT特征或其他特征；
其中，Thdcount、Thderror、Thrgbcount和Thrgberror均为预设的阈值；各阈值的具体取值可根据实际应用需求设定，在本实施例中，各阈值的具体设置为Thdcount＝Thderror＝Thrgbcount＝Thrgberror＝20％；
本发明在每一帧的跟踪结束之后，根据相邻两帧配准结果的变化量判断跟踪结果的好坏，并在跟踪结果出现较大偏差时，及时更正所估计的当前帧的相机姿态，因此，本发明能够有效提高对相机轨迹的跟踪精度，从而提高了实时稠密重建的重建精度。
为了缓解实时稠密重建中存在的轨迹漂移问题，提高对相机轨迹的跟踪精度，以提高实时稠密重建的重建精度，上述基于RGB-D数据的实时稠密重建方法，如图1所示，步骤(3)还可包括：
若当前帧满足关键帧选择条件，则将其标记为关键帧，并作为当前关键帧；根据实际的应用需求，关键帧选择条件可以是当前帧与上一个关键帧之间彩色图像的相似程度小于一定阈值，或者是当前帧与上一个关键帧之间的平移旋转大于一定阈值，也可以是其他条件，在此不做一一列举；在本发明中，具体选择当前关键帧及上上一帧关键帧进行关键帧的联合配准；利用当前关键帧及上上一帧关键帧构成闭环，能够最大程度上缓解实时稠密重建中的轨迹漂移问题；
分别将当前关键帧的深度图像和彩色图像配准到其前第n帧关键帧所对应的场景模型中，以分别获得点云匹配数目和像素匹配数目此处深度图像和彩色图像到场景模型的配准，具体方法及过程，可参考上述步骤(1)中的描述；
根据点云匹配数目和像素匹配数目确定联合配准的加权值并根据该加权值进行联合配准，以估计当前关键帧的相机姿态Pkf；加权值与像素匹配数目和点云匹配数目的比值正相关；作为一种优选地实施方式，在本发明实施例中，加权值根据该表达式对加权值进行自适应调节，能够在大部分场景下表达联合配准时各种信息所占的比重；同样地，在实际应用中，也可以根据实际情况进行调整；
根据相机姿态Pkf相对于相机姿态Pi的变化，调整相机姿态和场景模型；调整相机姿态和场景模型时，可以只调整当前帧的相机姿态和对应的场景模型，也可以调整两个关键帧之间所有帧的相机姿态和对应的场景模型，前者速度快，后者更加精确；具体在每一种场景模型中，有对应的优化方式，如果以面元(surfel)的方式表示场景，可以利用变形图的方法进行优化，这样可以对这两个关键帧之间每一帧的相机姿态和场景模型都进行调整；如果用截断符号距离函数(TSDF)表示场景，为了在时间和精度方面加以平衡，可以只调整关键帧对应的场景模型。
本发明在检测到关键帧时，利用当前关键帧及其前的一帧关键帧进行联合配准，以估计得到当前关键帧的相机姿态，并根据配准前后相机姿态的变化优化相机姿态和调整场景模型，从而由当前关键帧及其前的一帧关键帧形成一个小的闭环，由此能够有效缓解实时稠密重建中的轨迹漂移问题，提高对相机轨迹的跟踪精度，进而提高实时稠密重建的重建精度。
本发明还提供了一种基于RGB-D数据的实时稠密重建系统，用于实现上述基于RGB-D数据的实时稠密重建方法，该系统包括：帧配准模块、联合配准模块以及场景融合模块；
帧配准模块，用于利用RGB-D相机实时获取一帧RGB-D图像，将其作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目和像素匹配数目
联合配准模块，用于根据点云匹配数目和像素匹配数目确定联合配准的加权值并根据该加权值进行联合配准，以估计当前帧的相机姿态Pi；加权值与像素匹配数目和点云匹配数目的比值正相关；
场景融合模块，用于根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以更新场景模型；
其中，场景模型用于描述待重建的三维场景；
在本发明实施例中，各模块的具体实施方式，可参考上述方法实施例中的描述，在此将不作复述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于RGB-D数据的实时稠密重建方法，其特征在于，包括：
(1)利用RGB-D相机实时获取一帧RGB-D图像，将其作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目和像素匹配数目
(2)根据所述点云匹配数目和像素匹配数目确定联合配准的加权值并根据该加权值进行联合配准，以估计当前帧的相机姿态Pi；加权值与像素匹配数目和点云匹配数目的比值正相关；
(3)根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以更新场景模型；
(4)重复执行步骤(1)～(3)，直至完成对三维场景的稠密重建；
其中，所述场景模型用于描述待重建的三维场景。
2.如权利要求1所述的基于RGB-D数据的实时稠密重建方法，其特征在于，所述步骤(2)还包括：
获得当前帧中深度图像配准的点云配准误差和彩色图像配准的像素配准误差并获得上一帧中深度图像配准的点云匹配数目和点云配准误差以及上一帧中彩色图像配准的像素匹配数目和像素配准误差
若各参数同时满足： 且则保持所估计的当前帧的相机姿态Pi不变；
否则，分别对当前帧及上一帧的彩色图像进行特征提取和特征匹配，并根据特征匹配结果和特征所对应的深度值计算当前帧及上一帧的相对相机姿态，以重新估计当前帧的相机姿态Pi；
其中，Thdcount、Thderror、Thrgbcount和Thrgberror均为预设的阈值。
3.如权利要求1或2所述的基于RGB-D数据的实时稠密重建方法，其特征在于，所述加权值
4.如权利要求1或2所述的基于RGB-D数据的实时稠密重建方法，其特征在于，所述步骤(3)还包括：
若当前帧满足关键帧选择条件，则将其标记为关键帧，并作为当前关键帧；
分别将当前关键帧的深度图像和彩色图像配准到其前第n帧关键帧所对应的场景模型中，以分别获得点云匹配数目和像素匹配数目
根据所述点云匹配数目和像素匹配数目确定联合配准的加权值并根据该加权值进行联合配准，以估计当前关键帧的相机姿态Pkf；加权值与像素匹配数目和点云匹配数目的比值正相关；
根据相机姿态Pkf相对于相机姿态Pi的变化，调整相机姿态和场景模型。
5.如权利要求4所述的基于RGB-D数据的实时稠密重建方法，其特征在于，所述加权值
6.如权利要求4所述的基于RGB-D数据的实时稠密重建方法，其特征在于，进行关键帧联合配准时，当前关键帧前第n帧关键帧为当前关键帧的上上一帧关键帧。
7.如权利要求1或4所述的基于RGB-D数据的实时稠密重建方法，其特征在于，将深度图像配准到场景模型的方法为ICP配准方法。
8.如权利要求1或4所述的基于RGB-D数据的实时稠密重建方法，其特征在于，将彩色图像配准到场景模型的方法为直接配准法。
9.一种基于RGB-D数据的实时稠密重建系统，其特征在于，包括：帧配准模块、联合配准模块以及场景融合模块；
所述帧配准模块，用于利用RGB-D相机实时获取一帧RGB-D图像，将其作为当前帧，分别将当前帧的深度图像和彩色图像配准到上一帧所对应的场景模型中，以分别得到当前帧的点云匹配数目和像素匹配数目
所述联合配准模块，用于根据所述点云匹配数目和像素匹配数目确定联合配准的加权值并根据该加权值进行联合配准，以估计当前帧的相机姿态Pi；加权值与像素匹配数目和点云匹配数目的比值正相关；
所述场景融合模块，用于根据当前帧的相机姿态Pi分别将当前帧的深度信息和彩色信息融合到场景模型中，以更新场景模型；
其中，所述场景模型用于描述待重建的三维场景。
CN201910557680.XA 2019-06-26 2019-06-26 基于rgb-d数据的实时稠密重建方法及系统 Active CN110349249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910557680.XA CN110349249B (zh) 2019-06-26 2019-06-26 基于rgb-d数据的实时稠密重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910557680.XA CN110349249B (zh) 2019-06-26 2019-06-26 基于rgb-d数据的实时稠密重建方法及系统

Publications (2)

Publication Number Publication Date
CN110349249A true CN110349249A (zh) 2019-10-18
CN110349249B CN110349249B (zh) 2021-04-06

Family

ID=68183049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910557680.XA Active CN110349249B (zh) 2019-06-26 2019-06-26 基于rgb-d数据的实时稠密重建方法及系统

Country Status (1)

Country Link
CN (1) CN110349249B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260765A (zh) * 2020-01-13 2020-06-09 浙江未来技术研究院(嘉兴) 一种显微手术术野的动态三维重建方法
CN112862959A (zh) * 2021-03-23 2021-05-28 清华大学 基于语义先验的实时概率单目稠密重建方法及系统
CN113240813A (zh) * 2021-05-12 2021-08-10 北京三快在线科技有限公司 三维点云信息确定方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346608A (zh) * 2013-07-26 2015-02-11 株式会社理光 稀疏深度图稠密化方法和装置
CN105867841A (zh) * 2016-03-24 2016-08-17 浙江宇视科技有限公司 一种数据重建方法及装置
WO2017003424A1 (en) * 2015-06-29 2017-01-05 Siemens Aktiengesellschaft Metric 3d stitching of rgb-d data
CN106875482A (zh) * 2017-01-13 2017-06-20 浙江大学 一种同时定位与稠密三维重建方法
US20180053040A1 (en) * 2016-08-19 2018-02-22 Umm Al-Qura University System and method for 3d local surface matching
CN108447097A (zh) * 2018-03-05 2018-08-24 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346608A (zh) * 2013-07-26 2015-02-11 株式会社理光 稀疏深度图稠密化方法和装置
WO2017003424A1 (en) * 2015-06-29 2017-01-05 Siemens Aktiengesellschaft Metric 3d stitching of rgb-d data
CN105867841A (zh) * 2016-03-24 2016-08-17 浙江宇视科技有限公司 一种数据重建方法及装置
US20180053040A1 (en) * 2016-08-19 2018-02-22 Umm Al-Qura University System and method for 3d local surface matching
CN106875482A (zh) * 2017-01-13 2017-06-20 浙江大学 一种同时定位与稠密三维重建方法
CN108447097A (zh) * 2018-03-05 2018-08-24 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHAO WANG 等: "Feature-based RGB-D camera pose optimization for real-time 3D reconstruction", 《COMPUTATIONAL VISUAL MEDIA》 *
JIEFEI WANG 等: "Real-time dense scene flow estimation using a RGB-D camera", 《2015 INTERNATIONAL CONFERENCE ON ADVANCED MECHATRONICS, INTELLIGENT MANUFACTURE, AND INDUSTRIAL AUTOMATION (ICAMIMIA)》 *
KHALID YOUSIF 等: "A Real-Time RGB-D Registration and Mapping Approach by Heuristically Switching Between Photometric and Geometric Information", 《17TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION (FUSION)》 *
林金花 等: "全局相机姿态优化下的快速表面重建", 《吉林大学学报(工学版)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260765A (zh) * 2020-01-13 2020-06-09 浙江未来技术研究院(嘉兴) 一种显微手术术野的动态三维重建方法
CN111260765B (zh) * 2020-01-13 2023-04-28 浙江未来技术研究院(嘉兴) 一种显微手术术野的动态三维重建方法
CN112862959A (zh) * 2021-03-23 2021-05-28 清华大学 基于语义先验的实时概率单目稠密重建方法及系统
CN112862959B (zh) * 2021-03-23 2022-07-12 清华大学 基于语义先验的实时概率单目稠密重建方法及系统
CN113240813A (zh) * 2021-05-12 2021-08-10 北京三快在线科技有限公司 三维点云信息确定方法及装置
CN113240813B (zh) * 2021-05-12 2023-05-16 北京三快在线科技有限公司 三维点云信息确定方法及装置

Also Published As

Publication number Publication date
CN110349249B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN106504284B (zh) 一种基于立体匹配与结构光相结合的深度图获取方法
CN108765498B (zh) 单目视觉跟踪方法、装置及存储介质
CN108682026B (zh) 一种基于多匹配基元融合的双目视觉立体匹配方法
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
CN105809687B (zh) 一种基于图像中边沿点信息的单目视觉测程方法
CN102369413B (zh) 用于确定第一和第二成像设备相对位置的方法及设备
CN103955920B (zh) 基于三维点云分割的双目视觉障碍物检测方法
US9058661B2 (en) Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose
CN105956539B (zh) 一种应用背景建模和双目视觉原理的人体身高测量方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN109741405A (zh) 一种基于对偶结构光rgb-d相机的深度信息采集系统
CN110349249A (zh) 基于rgb-d数据的实时稠密重建方法及系统
CN106408513B (zh) 深度图超分辨率重建方法
CN109087382A (zh) 一种三维重构方法及三维成像系统
CN105608417B (zh) 交通信号灯检测方法及装置
CN105006021A (zh) 一种适用于快速点云三维重建的颜色映射方法及装置
CN102509348A (zh) 一种共享增强现实场景的真实物体多方位表示方法
KR20200071293A (ko) 3차원 컬러 맵 기반의 측위 방법 및 장치
CN110942477B (zh) 一种利用双目相机和激光雷达深度图融合的方法
CN109544599A (zh) 一种基于相机位姿估计的三维点云配准方法
CN107527366A (zh) 一种面向深度相机的相机跟踪方法
CN106875437A (zh) 一种面向rgbd三维重建的关键帧提取方法
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN105243653A (zh) 一种基于动态匹配的无人机遥感影像快速拼接技术
CN113888639A (zh) 基于事件相机与深度相机的视觉里程计定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant