CN117237553A - 一种基于点云图像融合的三维地图测绘系统 - Google Patents

Abstract

本发明公开了一种基于点云图像融合的三维地图测绘系统，包括：图像采集模块获取二维图像与激光点云数据；预处理模块对二维图像与激光点云数据进行处理；特征提取模块用于对预处理后的二维图像进行特征提取，获得关键帧与特征信息；图像融合模块根据特征信息将关键帧进行匹配融合，获取地图的位置与姿态信息；配准优化模块根据位置与姿态信息、关键帧将点云图像进行拼接获得三维地图并进行优化。本发明采用无人机搭载设备同时获取深度图像与彩色图像，收集到稳定的连续的图像数据集；对图像进行分析筛选，根据获得的信息将多种图像进行匹配融合，使用选择式图像间匹配策略，有效降低了三维地图构建过程中图像间匹配的时间消耗，提高效率。

Description

一种基于点云图像融合的三维地图测绘系统

技术领域

本发明属于三维地图测绘技术领域，特别是涉及一种基于点云图像融合的三维地图测绘系统。

背景技术

测绘是指对自然地理因素或者地表人工设施的形状、大小、空间位置及其属性等进行测定、采集、表述以及对获取数据、信息、成果进行处理和提供的活动。实时测绘是指借助实时图像传输系统，实时接收测绘信息，动态构建地理信息图的过程。

传统三维测绘方法主要依靠人工手段，工期时间长，成本较高且成果形式单一。近年来，随着小型无人机与摄像机产品性能的提高，基于航空摄影图像的摄影测量技术得以广泛的应用。它以小型无人机拍摄到的图像为输入，对图像进行分析，通过计算机视觉的方法计算出城市的三维信息。包括倾斜摄影在内的基于无人机的三维测绘技术简化了测绘的操作复杂度、节约了人力成本。

现有的方法中，是将三维点云数据根据坐标转换关系投影到二维平面中进行融合，该类方法丢失了三维点云数据的空间分布特征，影响了点云数据之间的空间关系，使得投影结果出现较大的误差。

发明内容

本发明的目的是提供一种基于点云图像融合的三维地图测绘系统，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于点云图像融合的三维地图测绘系统，包括：

图像采集模块、预处理模块、特征提取模块、图像融合模块、配准优化模块；

所述图像采集模块用于获取二维图像与激光点云数据；

所述预处理模块用于对所述二维图像与所述激光点云数据进行处理；

所述特征提取模块用于对预处理后的二维图像进行特征提取，获得关键帧与特征信息；

所述图像融合模块用于根据特征信息将关键帧进行匹配融合，获取地图的位置与姿态信息；

所述配准优化模块根据位置与姿态信息、所述关键帧将点云图像进行拼接获得三维地图并进行优化；

所述图像采集模块、所述预处理模块、所述特征提取模块、所述图像融合模块、所述配准优化模块依次连接。

可选的，图像采集模块包括第一采集单元、第二采集单元；

所述第一采集单元用于通过无人机搭载RGB-D相机获取二维图像，二维图像包括彩色图像和深度图像；

所述第二采集单元用于同步采集激光点云数据。

可选的，所述预处理模块包括第一处理单元、第二处理单元、第三处理单元；

第一处理单元用于通过相机标定数据对所述二维图像进行去畸变处理，获得去畸变的图像；

第二处理单元用于将去畸变后的彩色图像与深度图像进行合成，获得合成图像；

第三处理单元采用里程计方法对激光点云数据进行运动畸变补偿，并进行滤波处理。

可选的，所述特征提取模块用于结合RGB-D相机内参与ORB算法获得所述合成图像的特征点与特征点对应的特征信息,根据特征信息对每对相邻帧合成图像进行匹配，获得平移量与旋转量，并根据平移量与旋转量判断各帧合成图像是否为关键帧。

可选的，所述特征提取模块中将合成图像的首帧图像作为关键帧与参考帧，遍历全部合成图像，若当前帧与参考帧的平移量大于或者等于第一预设阈值，或旋转量大于或者等于第二预设阈值，将当前帧标为关键帧并作为新的参考帧，直至遍历结束。

可选的，所述图像融合模块包括关键帧匹配单元、位姿获取单元；

所述关键帧匹配单元用于根据特征信息，按照时间顺序将所述关键帧转换为点云图像后插入值地图对应位置中；

所述位姿获取单元用于获取进行处理后地图的位置与姿态信息。

可选的，所述配准优化模块包括配准单元、优化单元；

所述配准单元采用时间差值法，根据所述位置与姿态信息以及经过预处理的激光点云图像，确定经过预处理的激光点云图像中每一帧点云图像对应的位置与姿态信息；提取与合成图像的首帧图像对应的激光点云图像作为关键帧点云图像，插入至与首帧图像相同的位置，并对与下一帧对应的点云图像进行优化，优化后作为关键帧插入至对应位置，直至从所有点云图像中获取所有关键帧后，获得初始三维地图；

所述优化单元用于采用BA算法对所述初始三维地图进行闭环优化，完成三维地图测绘。

本发明的技术效果为：

本发明获取采用无人机搭载设备同时获取深度图像与彩色图像，并将深度图像与彩色图像融合，能够收集到稳定的连续的图像数据集，根据各帧图像的特点进行筛选，获得关键帧，并根据关键帧与图像特征信息将深度图像、彩色图像与点云图像进行匹配融合，使用选择式图像间匹配策略，可以有效地降低三维地图构建系统中不必要的图像间匹配的时间消耗，构建效率更高。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的系统结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1所示，本实施例中提供一种基于点云图像融合的三维地图测绘系统，包括：

图像采集模块、预处理模块、特征提取模块、图像融合模块、配准优化模块；

图像采集模块用于获取二维图像与激光点云数据；

预处理模块用于对二维图像与激光点云数据进行处理；

特征提取模块用于对预处理后的二维图像进行特征提取，获得关键帧与特征信息；

图像融合模块用于根据特征信息将关键帧进行匹配融合，获取地图的位置与姿态信息；

配准优化模块根据位置与姿态信息、关键帧将点云图像进行拼接获得三维地图并进行优化；

图像采集模块、预处理模块、特征提取模块、图像融合模块、配准优化模块依次连接。

在一些实施例中，图像采集模块包括第一采集单元、第二采集单元；

第一采集单元用于通过无人机搭载RGB-D相机获取二维图像，二维图像包括彩色图像和深度图像；

第二采集单元用于同步采集激光点云数据。

在一些实施例中，预处理模块包括第一处理单元、第二处理单元、第三处理单元；

第一处理单元用于通过相机标定数据对二维图像进行去畸变处理，获得去畸变的图像；

第二处理单元用于将去畸变后的彩色图像与深度图像进行合成，获得合成图像；

第三处理单元采用里程计方法对激光点云数据进行运动畸变补偿，并进行滤波处理。

标定是多传感器信息融合的准备条件，不同传感器有着独立的坐标系和不同的采集频率，必须把不同坐标系的数据转换到同一坐标系并进行时间配准，才能实现融合。对于激光雷达和相机的联合标定，其目的就是得到激光雷达和相机数据之间的转换关系，即找到同一时刻激光点云数据和图像中对应的像素点。

在一些实施例中，特征提取模块用于结合RGB-D相机内部参数与ORB算法获得合成图像的特征点与特征点对应的特征信息,根据特征信息对每对相邻帧合成图像进行匹配，获得平移量与旋转量，并根据平移量与旋转量判断各帧合成图像是否为关键帧。

ORB首先会从图像中查找特殊区域，称为关键点。关键点即图像中突出的小区域，比如角点，比如它们具有像素值急剧的从浅色变为深色的特征。然后ORB会为每个关键点计算相应的特征向量。ORB算法创建的特征向量只包含1和0，称为二元特征向量。1和0的顺序会根据特定关键点和其周围的像素区域而变化。该向量表示关键点周围的强度模式，因此多个特征向量可以用来识别更大的区域，甚至图像中的特定对象。ORB的特点是速度非常快，而且在一定程度上不受噪点和图像变换的影响，例如旋转和缩放变换等。

在一些实施例中，特征提取模块中将合成图像的首帧图像作为关键帧与参考帧，遍历全部合成图像，若当前帧与参考帧的平移量大于或者等于第一预设阈值，或旋转量大于或者等于第二预设阈值，将当前帧标为关键帧并作为新的参考帧，直至遍历结束。

在一些实施例中，图像融合模块包括关键帧匹配单元、位姿获取单元；

关键帧匹配单元用于根据特征信息，按照时间顺序将关键帧转换为点云图像后插入值地图对应位置中；

位姿获取单元用于获取进行处理后地图的位置与姿态信息。

当确定现有对应的地图中插入新的关键帧后，在当前已获取的地图中选择与新的关键帧满足共视关系的其他关键帧；利用局部光束法平差对所有满足共视关系的关键帧之间的残差进行最小二乘估计；当确定残差落入预设空间范围时，获取一次地图位姿，直至关键帧遍历结束。

在一些实施例中，配准优化模块包括配准单元、优化单元；

配准单元采用时间差值法，根据位置与姿态信息以及经过预处理的激光点云图像，确定经过预处理的激光点云图像中每一帧点云图像对应的位置与姿态信息；提取与合成图像的首帧图像对应的激光点云图像作为关键帧点云图像，插入至与首帧图像相同的位置，并对与下一帧对应的点云图像进行优化，优化后作为关键帧插入至对应位置，直至从所有点云图像中获取所有关键帧后，获得初始三维地图；

优化单元用于采用BA算法对初始三维地图进行闭环优化，完成三维地图测绘。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于点云图像融合的三维地图测绘系统，其特征在于，包括以下步骤：

图像采集模块、预处理模块、特征提取模块、图像融合模块、配准优化模块；

所述图像采集模块用于获取二维图像与激光点云数据；

所述预处理模块用于对所述二维图像与所述激光点云数据进行处理；

所述特征提取模块用于对预处理后的二维图像进行特征提取，获得关键帧与特征信息；

所述图像融合模块用于根据特征信息将关键帧进行匹配融合，获取地图的位置与姿态信息；

所述配准优化模块根据位置与姿态信息、所述关键帧将点云图像进行拼接获得三维地图并进行优化；

所述图像采集模块、所述预处理模块、所述特征提取模块、所述图像融合模块、所述配准优化模块依次连接。

2.根据权利要求1所述的基于点云图像融合的三维地图测绘系统，其特征在于，

图像采集模块包括第一采集单元、第二采集单元；

所述第一采集单元用于通过无人机搭载RGB-D相机获取二维图像，二维图像包括彩色图像和深度图像；

所述第二采集单元用于同步采集激光点云数据。

3.根据权利要求1所述的基于点云图像融合的三维地图测绘系统，其特征在于，

所述预处理模块包括第一处理单元、第二处理单元、第三处理单元；

第一处理单元用于通过相机标定数据对所述二维图像进行去畸变处理，获得去畸变的图像；

第二处理单元用于将去畸变后的彩色图像与深度图像进行合成，获得合成图像；

第三处理单元采用里程计方法对激光点云数据进行运动畸变补偿，并进行滤波处理。

4.根据权利要求3所述的基于点云图像融合的三维地图测绘系统，其特征在于，

所述特征提取模块用于结合RGB-D相机内参与ORB算法获得所述合成图像的特征点与特征点对应的特征信息,根据特征信息对每对相邻帧合成图像进行匹配，获得平移量与旋转量，并根据平移量与旋转量判断各帧合成图像是否为关键帧。

5.根据权利要求4所述的基于点云图像融合的三维地图测绘系统，其特征在于，

所述特征提取模块中将合成图像的首帧图像作为关键帧与参考帧，遍历全部合成图像，若当前帧与参考帧的平移量大于等于第一预设阈值，或旋转量大于等于第二预设阈值，将当前帧标为关键帧并作为新的参考帧，直至遍历结束。

6.根据权利要求4所述的基于点云图像融合的三维地图测绘系统，其特征在于，

所述图像融合模块包括关键帧匹配单元、位姿获取单元；

所述关键帧匹配单元用于根据特征信息，按照时间顺序将所述关键帧转换为点云图像后插入值地图对应位置中；

所述位姿获取单元用于获取进行处理后地图的位置与姿态信息。

7.根据权利要求6所述的基于点云图像融合的三维地图测绘系统，其特征在于，

所述配准优化模块包括配准单元、优化单元；

所述配准单元采用时间差值法，根据所述位置与姿态信息以及经过预处理的激光点云图像，确定经过预处理的激光点云图像中每一帧点云图像对应的位置与姿态信息；提取与合成图像的首帧图像对应的激光点云图像作为关键帧点云图像，插入至与首帧图像相同的位置，并对与下一帧对应的点云图像进行优化，优化后作为关键帧插入至对应位置，直至从所有点云图像中获取所有关键帧后，获得初始三维地图；

所述优化单元用于采用BA算法对所述初始三维地图进行闭环优化，完成三维地图测绘。