CN110969650B - 一种基于中心投影的强度图像与纹理序列间的配准方法 - Google Patents

Abstract

本发明属于点云数据与纹理序列间配准的技术领域，特别涉及一种基于中心投影的强度图像与纹理序列间的配准方法。本发明基于中心投影的强度图像与纹理序列间的配准方法，采用了NDT与ICP匹配结合的方法来配准采集到的三幅局部点云，最后利用SIFT把纹理影像和配准后的点云进行特征匹配，同时采用融合预处理算法解决了重叠问题。通过共线方程实现了多幅点云数据与纹理序列的自动配准，并保证了算法的稳健性和可靠性。

Description

一种基于中心投影的强度图像与纹理序列间的配准方法

技术领域

本发明属于点云数据与纹理序列间配准的技术领域，特别涉及一种基于中心投影的强度图像与纹理序列间的配准方法。

背景技术

传感器技术、算法与数据处理能力日渐强大，激光雷达测量技术(Lidar MappingTechnology)应用广泛。激光扫描仪以自动高效的方式提供精确的测量；摄像机提供大量的光谱信息数据，其中，激光扫描仪数据和相机数据的特性相互补充，这对于集成数据处理方案很有价值。目前，国内外学者提出了不同的方法配准两种异源数据。Aguilera和Laho利用图像建模的方法，基于单个图像得到激光扫描仪和未校准数字相机的自动配准，其中，配准的问题通过2D图像和3D点云对应自动解决，2D和3D点的对应是基于两个距离和一个角度的空间不变量的搜索进行匹配，但是该方法必须考虑几个输入因素，例如特殊目标，消失点和几何约束等，以至于其算法复杂度高，时间效率低。Al-Manasir和Fraser针对研究对象上的编码目标提出了一种策略，该目标由校准的数码相机记录，刚性连接到激光扫描仪，使用全自动的处理方法解决激光扫描仪坐标系内相机的空间位置和方向的问题。被识别的编码目标则被应用到3D相似性变换上。然而这种方法需要一台连接到激光扫描仪上的相机和放置在研究对象上的一些编码目标，导致算法的鲁棒性较差。Gaurav Pandey提出了一种激光雷达和相机系统的自动、无目标、外部校准的算法，适用于现场校准，并且使用基于互信息(Mutual Information，MI)的框架来交叉记录由相机和激光模态测量的强度和反射率信息，以至于算法对硬件的要求较高，时间效率低。闫利等提出一种基于互信息的车载激光雷达点云数据与全景图的配准算法。通过使用统一的球面全景成像模型，将车载激光雷达点云数据生成的深度图与互信息提取后的全景图进行匹配，但是该方法采用球面全景成像模式，导致配准精度较低。

发明内容

为了解决地面激光扫描仪在大场景扫描中无法一次性采集到完整点云数据以及点云数据与单张纹理影像配准无法得到完整的RGB信息的问题，本发明提出了一种多幅点云数据与纹理序列间的自动配准方法。

为了达到上述目的，本发明采用了下列技术方案：

一种基于中心投影的强度图像与纹理序列间的配准方法，将多幅点云进行配准，包含以下步骤：

步骤1，多幅局部点云数据预处理；

步骤2，局部点云数据的配准；

步骤3，强度图像的生成与处理；

步骤4，纹理序列畸变矫正；

步骤5，强度图像与纹理序列的特征匹配与优化；

步骤6，消除多张纹理影像与强度图像匹配的重叠；

步骤7，得到带有纹理的点云数据，完成配准。

进一步地，所述步骤1中多幅局部点云数据预处理的具体方法为：利用PCL(PointCloud Library)中的体素滤波器对每一幅点云数据进行滤波处理；通过对输入的三维局部点云数据创建一个三维的体素栅格，然后在每个体素栅格内，用体素中可以近似表示其他点的重心点来描述该体素内的所有点，即完成多幅局部点云数据预处理。相对于其他方法，该方法不仅减少了点云数据，还保持了点云的形状特性，对于采样点对应曲面的表示更为准确。

再进一步地，所述步骤2中局部点云数据的配准的具体方法为：对采集获得的旋转错位、平移错位、以及不完整的局部点云进行配准；参考点云所占空间将其划分成指定大小的网格或者体素，并计算每个网格的多维正态分布参数，利用多维正态分布参数计算出配准点云变换到参考点云网格中的变换矩阵，最后将变换矩阵作为一个良好的迭代初值提供给ICP；ICP算法则利用NDT算法得到初值，并经过多次迭代，得到最优的匹配结果。

更进一步地，所述步骤3中强度图像的生成与处理的具体方法为：将每个激光扫描仪点的笛卡尔坐标采用中心投影的方式投影到虚拟图像平面，即完成强度图像的生成；在生成强度图像后，采用消隐算法解决同一束光线上存在两个或多个三维激光点在同一个图像格网上投影的问题；即遍历生成的强度图像，距离扫描仪扫描中心偏近的原始激光点作为该图像格网的投影点，并且记录每一个格网点对应的三维激光点的坐标；用了反权距离插值方法(Inverse Distance Weighted，IDW)来解决生成的强度图像中有像素值为0的问题，即完成强度图像的处理。虽然地面激光扫描仪大多采用球面投影方法获取三维点云数据，但是，直接利用球面投影方法生成强度图像，会在之后的特征匹配中存在较大的形变，最终导致两种异源数据配准失败。而中心投影的方法和数码相机的投影方法相同，减少了两种非同源数据间的差别，增加了配准成功的概率，因此本发明采用中心投影的方法生成强度图像。

更进一步地，所述步骤4中纹理序列畸变矫正的具体方法为：对一幅退化图像的恢复，有空间坐标变换、像素灰度级确定两个主要工作部分，将每个激光扫描仪扫描点的笛卡尔坐标采用中心投影的方式投影到虚拟图像平面，先假设激光扫描仪光轴中心为图像中心求畸变系数的粗略值，计算光轴中心，再求畸变系数，然后利用双线性插值法对像素点灰度进行恢复，完成畸变矫正；

所述空间坐标变换是让像素落在正确的位置；所述像素灰度级确定是对纹理影像进行视觉上的修正。

更进一步地，所述步骤5中强度图像与纹理序列的特征匹配与优化的具体方法为：采用SIFT实现强度图像和纹理影像的匹配：首先，实现SIFT特征检测要通过连续应用高斯低通滤波器构建图像尺度空间金字塔，在被检测的图像中，金字塔局部极值被检测为关键点，并使用泰勒展开来计算它们的准确位置；随后，分析所选关键点的两个稳定性标准；如果校正位置处的泰勒展开小于峰值阈值，则丢弃具有低对比度的关键点，相反，则丢弃位于边缘上的极值，小于定义的边缘阈值表示主曲率，手动优化这些阈值来检索最佳候选对应集；引入了极线几何并采用RANSAC算法对SIFT技术提供的候选对应点进行优化。

更进一步地，所述步骤6中消除多张纹理影像与强度图像匹配的重叠的具体方法为：首先采用SIFT方法对纹理序列进行特征检测，并得到对应的不变矩阵；然后，利用加权融合方法得到加权系数；最后通过加权系数对待处理的纹理序列进行融合预处理，即完成多张纹理影像与强度图像匹配的重叠的消除。

更进一步地，所述步骤7中得到带有纹理的点云数据的具体方法为：将步骤5中，强度图像与纹理序列的特征匹配与优化后得到的参数值代入共线方程(1)中，即将纹理影像序列的纹理信息赋给点云数据，实现点云数据与纹理序列的配准；

其中，x，y是已知的图像坐标，X,Y,Z表示构成对象的相应的已知激光扫描仪坐标，矩阵r是组成未知的旋转矩阵的元素，是步骤5中得到的参数值，X₀,Y₀,Z₀表示未知的相机位置，f则表示主焦距。

与现有技术相比本发明具有以下优点：异源数据配准的研究虽然解决了一些问题，但是并没有在多幅局部点云与多张纹理影像方面展开研究。因此，为了解决地面激光扫描仪在大场景扫描中无法一次性采集到完整点云数据以及点云数据与单张纹理影像配准无法得到完整的RGB信息的问题，本文提出了一种多幅点云数据与纹理序列间的自动配准方法。首先对局部点云进行3D-3D的配准来得到完整的点云数据，进而采用中心投影方式生成强度图像，然后利用SIFT算法将强度图像与矫正过的纹理影像进行匹配，最后对纹理影像进行融合预处理操作，解决了配准过程中纹理重叠的问题，并保证算法的稳健性和可靠性。

附图说明

图1是第一幅局部点云数据效果图；

图2是第二幅局部点云数据效果图；

图3是第三幅局部点云数据效果图；

图4局部点云配准效果图；

图5中心投影生成的强度图像效果图；

图6球面投影和纹理序列1生成的强度图像匹配效果图；

图7球面投影和纹理序列1生成的强度图像匹配效果图；

图8是中心投影生成的强度图像和纹理序列1匹配效果图；

图9是中心投影生成的强度图像和纹理序列2匹配效果图；

图10是点云数据与纹理影像配准效果图。

具体实施方式

本发明采用反权距离插值方法(Inverse Distance Weighted，IDW)来解决生成的强度图像中有像素值为0的问题。

实施例1

将球面投影与中心投影生成的强度图像分别直接和纹理序列1进行匹配：

本发明一种基于中心投影的强度图像与纹理序列间的配准方法，将多幅点云进行配准，具体步骤如下：

步骤1，多幅局部点云数据预处理；通过对输入的三维局部点云数据创建一个三维的体素栅格，然后在每个体素栅格内，用体素中可以近似表示其他点的重心点来描述该体素内的所有点，采集到的3幅原始点云分别如图1，图2，图3所示，原始点云的点的个数分别为1282418个，2264397个，11559732个，通过设置函数setLeafSize(0.1,0.1,0.1)的中的参数值，预处理后的点云数量分别为59073个，98354个，56637个，完成多幅局部点云数据预处理。

步骤2，局部点云数据的配准；参考点云所占空间将其划分成指定大小的网格或者体素，并计算每个网格的多维正态分布参数，利用多维正态分布参数计算出配准点云变换到参考点云网格中的变换矩阵，变换矩阵的计算函数为：

guess＝(translation*rotation) (1)

其中translation为平移参数，rotation为旋转参数。最后将变换矩阵guess作为一个良好的迭代初值提供给ICP；ICP算法则利用NDT算法得到的初值guess，设置函数icp.setMaximumIterations(2000)的中的参数值，经过2000次迭代，如图4局部点云配准效果图所示，得到的配准后的点云数量为214064个。

步骤3，强度图像的生成与处理；将每个激光扫描仪扫描点的笛卡尔坐标采用中心投影的方式投影到虚拟图像平面，根据cp＝[Xs Ys Zs]确定投影中心，设置Xs＝-70；Ys＝0；Zs＝30，其中cp为投影中心，Xs Ys Zs分别是投影中心的三维空间坐标。中心投影后可以得到如图5中心投影生成的强度图像效果图所示的效果，完成强度图像的生成。

在生成强度图像后，采用消隐算法解决同一束光线上存在两个或多个三维激光点在同一个图像格网上投影的问题。遍历生成的强度图像，距离扫描仪扫描中心偏近的原始激光点作为图像格网的投影点，并且记录每一个格网点对应的三维激光点的坐标。

步骤4，纹理序列畸变矫正：将每个激光扫描仪扫描点的笛卡尔坐标采用中心投影的方式投影到虚拟图像平面，先假设激光扫描仪光轴中心为图像中心求畸变系数的粗略值，计算光轴中心，再求畸变系数，然后利用双线性插值法对像素点灰度进行恢复。

步骤5，强度图像与纹理序列的特征匹配与优化；采用SIFT实现强度图像和纹理影像的匹配：首先，连续应用高斯低通滤波器构建图像尺度空间金字塔实现SIFT特征检测，在被检测的图像中，金字塔局部极值被检测为关键点，并使用泰勒展开来计算准确位置。随后，分析所选关键点的两个稳定性标准。如果校正位置处的泰勒展开小于峰值阈值，则丢弃具有低对比度的关键点，相反，则丢弃位于边缘上的极值，小于定义的边缘阈值表示主曲率，手动优化这些阈值来检索最佳候选对应集。引入了极线几何并采用RANSAC算法对SIFT技术提供的候选对应点进行优化。获取到的最好的匹配对的个数，来得到最终的匹配结果。

步骤6，消除多张纹理影像与强度图像匹配的重叠；首先采用SIFT方法对纹理序列进行特征检测，并得到对应的不变矩阵；然后利用加权融合方法得到加权系数；其中加权系数f的计算方法为：

f＝max(0，min(1，F*(W/2-x)+0.5)) (3)

其中F为构造加权因子，W为重叠部分的宽度，x为横坐标。最后通过加权系数对待处理的纹理序列进行融合预处理。完成多张纹理影像与强度图像匹配的重叠的消除。

步骤7，得到带有纹理的点云数据完成配准；将步骤5中，强度图像与纹理序列的特征匹配与优化后得到的参数值代入共线方程(4)中，

完成点云数据与纹理序列的配准。

图6球面投影和纹理序列1生成的强度图像匹配效果图，图6中左图为纹理序列1，右图为球面投影；图8是中心投影生成的强度图像和纹理序列1匹配效果图，图8中左图为纹理序列1，右图为中心投影，完成点云数据与纹理序列的配准。

实施例2

将球面投影与中心投影生成的强度图像分别直接和纹理序列2进行匹配：

本发明一种基于中心投影的强度图像与纹理序列间的配准方法，将多幅点云进行配准，具体步骤如下：

步骤1，多幅局部点云数据预处理；通过对输入的三维局部点云数据创建一个三维的体素栅格，然后在每个体素栅格内，用体素中可以近似表示其他点的重心点来描述该体素内的所有点，采集到的3幅原始点云分别如图1，图2，图3所示，原始点云的点的个数分别为1282418个，2264397个，11559732个，通过设置函数setLeafSize(0.1,0.1,0.1)的中的参数值，预处理后的点云数量分别为59073个，98354个，56637个，完成多幅局部点云数据预处理。

步骤2，局部点云数据的配准；参考点云所占空间将其划分成指定大小的网格或者体素，并计算每个网格的多维正态分布参数，利用多维正态分布参数计算出配准点云变换到参考点云网格中的变换矩阵，变换矩阵的计算函数为：

guess＝(translation*rotation) (1)

其中translation为平移参数，rotation为旋转参数。最后将变换矩阵guess作为一个良好的迭代初值提供给ICP；ICP算法则利用NDT算法得到的初值guess，设置函数icp.setMaximumIterations(2000)的中的参数值，经过2000次迭代，如图4局部点云配准效果图所示，得到的配准后的点云数量为214064个。

步骤3，强度图像的生成与处理；将每个激光扫描仪扫描点的笛卡尔坐标采用中心投影的方式投影到虚拟图像平面，根据cp＝[Xs Ys Zs]确定投影中心，设置Xs＝-70；Ys＝0；Zs＝30，其中cp为投影中心，Xs Ys Zs分别是投影中心的三维空间坐标。中心投影后可以得到如图5中心投影生成的强度图像效果图所示的效果，完成强度图像的生成。

在生成强度图像后，采用消隐算法解决同一束光线上存在两个或多个三维激光点在同一个图像格网上投影的问题。遍历生成的强度图像，距离扫描仪扫描中心偏近的原始激光点作为图像格网的投影点，并且记录每一个格网点对应的三维激光点的坐标。

步骤4，纹理序列畸变矫正：将每个激光扫描仪扫描点的笛卡尔坐标采用中心投影的方式投影到虚拟图像平面，先假设激光扫描仪光轴中心为图像中心求畸变系数的粗略值，计算光轴中心，再求畸变系数，然后利用双线性插值法对像素点灰度进行恢复。

步骤5，强度图像与纹理序列的特征匹配与优化；采用SIFT实现强度图像和纹理影像的匹配：首先，连续应用高斯低通滤波器构建图像尺度空间金字塔实现SIFT特征检测，在被检测的图像中，金字塔局部极值被检测为关键点，并使用泰勒展开来计算准确位置。随后，分析所选关键点的两个稳定性标准。如果校正位置处的泰勒展开小于峰值阈值，则丢弃具有低对比度的关键点，相反，则丢弃位于边缘上的极值，小于定义的边缘阈值表示主曲率，手动优化这些阈值来检索最佳候选对应集。引入了极线几何并采用RANSAC算法对SIFT技术提供的候选对应点进行优化。获取到的最好的匹配对的个数，来得到最终的匹配结果。

步骤6，消除多张纹理影像与强度图像匹配的重叠；首先采用SIFT方法对纹理序列进行特征检测，并得到对应的不变矩阵；然后利用加权融合方法得到加权系数；其中加权系数f的计算方法为：

f＝max(0，min(1，F*(W/2-x)+0.5)) (3)

其中F为构造加权因子，W为重叠部分的宽度，x为横坐标。最后通过加权系数对待处理的纹理序列进行融合预处理。完成多张纹理影像与强度图像匹配的重叠的消除。

步骤7，得到带有纹理的点云数据完成配准；将步骤5中，强度图像与纹理序列的特征匹配与优化后得到的参数值代入共线方程(4)中，

完成点云数据与纹理序列的配准。

图7球面投影和纹理序列2生成的强度图像匹配效果图，图7中左图为纹理序列2，右图为球面投影；图9是中心投影生成的强度图像和纹理序列2匹配效果图，图9中左图为纹理序列2，右图为中心投影。

两种方法特征匹配的结果对比中可以看出，采用中心投影方法比球面投影得到的强度图像与纹理序列匹配的可靠性和稳定性更好。图10是点云数据与纹理影像配准效果图。

表1，不同投影方式匹配结果对比

从表1可以看出，采用中心投影方法，在很大程度上减少了两种异源数据的差异性，提高了两种数据自动配准的准确率。

表2，配准结果对比对比表

本发明缩短了计算时间，从而提高了算法的效率，同时均方跟误差3.4个像素,也增加了配准的精度。在多幅点云数据与纹理序列间的配准问题上，本发明方法可以获得较好的配准结果。

上述内容对实施例做了详细的说明，但本发明不受上述实施方式和实施例的限制，在不脱离本发明宗旨的前提下，在本领域技术人员所具备的知识范围内还可以对其进行各种变化和改进，这些变化和改进均落入本发明要保护的范围之内。

Claims (6)

1.一种基于中心投影的强度图像与纹理序列间的配准方法，其特征在于：将多幅点云进行配准，包含以下步骤：

步骤1，多幅局部点云数据预处理；

步骤2，局部点云数据的配准；

步骤3，强度图像的生成与处理；

步骤4，纹理序列畸变矫正；

步骤5，强度图像与纹理序列的特征匹配与优化；

步骤6，消除多张纹理影像与强度图像匹配的重叠；

步骤7，得到带有纹理的点云数据，完成配准；

所述步骤3中强度图像的生成与处理的具体方法为：将每个激光扫描仪点的笛卡尔坐标采用中心投影的方式投影到虚拟图像平面，即完成强度图像的生成；在生成强度图像后，采用消隐算法解决同一束光线上存在两个或多个三维激光点在同一个图像格网上投影的问题；即遍历生成的强度图像，距离扫描仪扫描中心偏近的原始激光点作为该图像格网的投影点，并且记录每一个格网点对应的三维激光点的坐标；用了反权距离插值方法IDW来解决生成的强度图像中有像素值为0的问题，即完成强度图像的处理；

所述步骤5中强度图像与纹理序列的特征匹配与优化的具体方法为：采用SIFT实现强度图像和纹理影像的匹配：首先，实现SIFT特征检测要通过连续应用高斯低通滤波器构建图像尺度空间金字塔，在被检测的图像中，金字塔局部极值被检测为关键点，并使用泰勒展开来计算它们的准确位置；随后，分析所选关键点的两个稳定性标准；如果校正位置处的泰勒展开小于峰值阈值，则丢弃具有低对比度的关键点，相反，则丢弃位于边缘上的极值，小于定义的边缘阈值表示主曲率，手动优化这些阈值来检索最佳候选对应集；引入了极线几何并采用RANSAC算法对SIFT技术提供的候选对应点进行优化。

2.根据权利要求1所述的一种基于中心投影的强度图像与纹理序列间的配准方法，其特征在于：所述步骤1中多幅局部点云数据预处理的具体方法为：利用PCL中的体素滤波器对每一幅点云数据进行滤波处理；通过对输入的三维局部点云数据创建一个三维的体素栅格，然后在每个体素栅格内，用体素中可以近似表示其他点的重心点来描述该体素内的所有点，即完成多幅局部点云数据预处理。

3.根据权利要求1所述的一种基于中心投影的强度图像与纹理序列间的配准方法，其特征在于：所述步骤2中局部点云数据的配准的具体方法为：对采集获得的旋转错位、平移错位、以及不完整的局部点云进行配准；参考点云所占空间将其划分成指定大小的网格或者体素，并计算每个网格的多维正态分布参数，利用多维正态分布参数计算出配准点云变换到参考点云网格中的变换矩阵，最后将变换矩阵作为一个良好的迭代初值提供给ICP；ICP算法则利用NDT算法得到初值，并经过多次迭代，得到最优的匹配结果。

4.根据权利要求1所述的一种基于中心投影的强度图像与纹理序列间的配准方法，其特征在于：所述步骤4中纹理序列畸变矫正的具体方法为：对一幅退化图像的恢复，有空间坐标变换、像素灰度级确定两个主要工作部分，将每个激光扫描仪扫描点的笛卡尔坐标采用中心投影的方式投影到虚拟图像平面，先假设激光扫描仪光轴中心为图像中心求畸变系数的粗略值，计算光轴中心，再求畸变系数，然后利用双线性插值法对像素点灰度进行恢复，完成畸变矫正；

所述空间坐标变换是让像素落在正确的位置；所述像素灰度级确定是对纹理影像进行视觉上的修正。

5.根据权利要求1所述的一种基于中心投影的强度图像与纹理序列间的配准方法，其特征在于：所述步骤6中消除多张纹理影像与强度图像匹配的重叠的具体方法为：首先采用SIFT方法对纹理序列进行特征检测，并得到对应的不变矩阵；然后，利用加权融合方法得到加权系数；最后通过加权系数对待处理的纹理序列进行融合预处理，即完成多张纹理影像与强度图像匹配的重叠的消除。

6.根据权利要求1所述的一种基于中心投影的强度图像与纹理序列间的配准方法，其特征在于：所述步骤7中得到带有纹理的点云数据的具体方法为：将步骤5中，强度图像与纹理序列的特征匹配与优化后得到的参数值代入共线方程(1)中，即将纹理影像序列的纹理信息赋给点云数据，实现点云数据与纹理序列的配准；

其中，x，y是已知的图像坐标，X,Y,Z表示构成对象的相应的已知激光扫描仪坐标，矩阵r是组成未知的旋转矩阵的元素，是步骤5中得到的参数值，X₀,Y₀,Z₀表示未知的相机位置，f则表示主焦距。

Images