CN114463522A - 一种激光点云与密集匹配点云融合方法 - Google Patents

Abstract

本发明针对地面激光扫描点云和航摄影像密集匹配点云融合存在质量退化与分层问题，在空地异源点云配准的基础上，对混合点云进行数据去冗余和质量改善，公开了一种激光点云与密集匹配点云融合方法。本发明首先根据密集点云与激光点云的距离和法向量夹角构建能量函数数据项，同时利用密集点云内的几何邻域关系和颜色差异构建平滑项，采用图割算法优化得到密集点云的二分类标签集，根据标签去除两类点云之间的重叠冗余区域；最后根据一种邻域点选择策略对边界附近的密集匹配点进行以表面曲率加权的引导点云滤波，合并异源点云得到融合点云。

Description

一种激光点云与密集匹配点云融合方法

技术领域

本发明涉及一种城市场景三维重建中的异源点云融合算法，属于遥感测绘领域。

背景技术

点云是三维数字模型重建的重要数据源。为了获取城市场景表面的点云，当前主要有两类测量技术，分别是基于主动视觉的激光扫描法或结构光扫描法和基于被动匹配算法的运动恢复结构、多视立体视觉算法。激光雷达扫描技术被广泛应用于城市场景重建中，但是受传感器视场和遮挡的限制，地面激光扫描系统单次扫描甚至多次扫描都不能保证点云模型的完整性，扫描点云中通常缺少建筑物屋顶点云。运动恢复结构和多视立体匹配算法可从航摄倾斜影像序列中自动恢复大尺度的三维点云模型。航摄影像密集匹配点云具有颜色、纹理信息，点云密度高，但匹配精度很大程度上取决于光照条件和场景纹理的丰富程度。城市场景中存在大量的规则建筑，针对地面激光扫描点云和航摄影像密集匹配点云融合存在质量退化与分层问题，需要对不同精度的空地异源点云数据进行高质量的融合，以提高城市场景重建的精度和完整性。

多源点云融合可发挥多源点云的优势互补特性，是提高模型重建质量，解决单一数据缺失的有效方法之一。待融合的异源点云数据由于获取途径和设备误差等问题存在诸多差异，如点云密度、分布均匀性、精度、噪声、覆盖范围和遮挡。当前的点云融合算法通过异源点云配准获得了拼接点云，拼接点云一方面提高了场景点云的完整性，但也不可避免地存在分层的冗余点，并且点云拼接的边缘不平滑。在点云配准基础上，有些工作针对提高拼接点云的精度和完整性提出了一些方法，如利用渐进迁移方法实现拼接点云边界的平滑连接，但间距较大的缝隙附近的点云无法有效移动；或者利用多视点投影方法检测激光点云中的孔洞，从配准后的密集匹配点云中提取相应数据填补孔洞，并利用基于微分域的拉普拉斯融合方法增强合并点云的表面细节，但是该算法无法实现激光点云边界外的点云融合。由于直接混合的场景点云复杂且庞大，上述方法未能在保持混合点云数据唯一性的前提下，对异源点云的混合边界进行平滑处理从而达到点云精度融合的结果。

发明内容

本发明要解决的技术问题是在保持点云数据唯一性的前提下，对异源点云的混合边界进行平滑处理从而达到点云精度融合的结果。

本发明针对地面激光扫描点云和航摄影像密集匹配点云融合存在质量退化与分层问题，在空地异源点云配准的基础上，对混合点云进行数据去冗余和质量改善，提供了一种基于图割算法和引导点云滤波算法的异源点云融合方法。该方法首先利用一种结合几何和颜色信息的图割算法分割密集点云，然后利用分割后的密集点云填补激光点云的孔洞和遮挡区域，接着采用以表面曲率加权的引导点云滤波算法消除混合边界处的缝隙以及纠正混合点云中的平面错层。

为了达到上述目的，本发明首先根据密集点云与激光点云的距离和法向量夹角构建能量函数数据项，同时利用密集点云内的几何邻域关系和颜色差异构建平滑项，采用图割算法优化得到密集点云的二分类标签集，根据标签去除两类点云之间的重叠冗余区域；最后根据一种邻域点选择策略对边界附近的密集匹配点进行以表面曲率加权的引导点云滤波，合并异源点云得到融合点云。

本发明采用的技术方案为一种激光点云与密集匹配点云融合方法，包括如下步骤：

步骤1，以激光点云和密集匹配点云作为输入，首先对两类点云进行去噪和配准；

步骤2，采用基于PCA的点云法向量估计方法为两类点云计算法向量，并进一步计算表面曲率；

步骤3，以激光点云为基准，利用图割优化的点云分割算法去除两类异源点云之间的冗余和分层，并通过最小化能量函数获得密集匹配点云的二分类标签集L，删除标签为0的密集匹配点；

步骤4，采用引导滤波邻域点选择策略，为待处理点选择恰当比例的密集匹配点和激光点作为几何邻域点集；

步骤5，基于步骤2中的表面曲率和步骤4中得到的几何邻域点集，采用表面曲率加权的引导点云滤波算法对靠近两类点云的交界处的密集匹配点云进行平滑处理，将激光点云与平滑后的密集匹配点云合并即可得到融合点云。

进一步的，步骤2的具体实现方式如下；

对于地面激光扫描点云或影像密集匹配点中的任一采样点p_i，查找其k个局部近邻点，对局部邻域协方差矩阵

进行特征值分解，协方差矩阵

的最小特征值对应的特征向量即为点p_i的法向量；

其中，k是点p_i的局部邻域内的点数，

是局部邻域的质心，λ_j、v_j分别是协方差矩阵

的第j个特征值和对应的特征向量，定义特征值满足λ₀≤λ₁≤λ₂，则点p_i的表面曲率δ为

进一步的，步骤3的具体实现方式如下；

给定两类异源点云，即密集匹配点云

和激光点云

经过配准可得到混合点云，根据密集匹配点云与激光点云的相似程度和密集匹配点云邻域之间的几何和颜色关系，定义能量函数如下：

其中，L＝{l_i}是密集匹配点云

的二分类标签集，且l_i∈{0,1}，标签为0表示该密集匹配点存在替代激光点，需删除，反之则保留；λ是正则化因子，

是判别函数，

能量函数的数据项体现了密集匹配点在激光点云中有替代点的可能性，

其中，φ∈[0,1]，φ_i越接近1表示密集匹配点存在替代点，点p_i越可能被删除，σ_b是调节点云邻近距离的参数，d_i是密集匹配点p_i和最近邻激光点q_i之间的欧氏距离，θ_i是点p_i和最近邻激光点q_i之间的法向量夹角，点p_i获得标签l_i的惩罚项定义如下：

为了平滑分割，根据点p_i与其k近邻内点之间的几何与颜色信息定义能量函数的平滑项为，

其中，d_ij是密集匹配点p_i与最邻近密集匹配点p_j之间的几何欧氏距离，medd_ij是点p_i与其k个近邻域点的距离中值，d(c_i,c_j)是点p_i与p_j之间的RGB颜色欧氏距离，σ_c是调节RGB差异的参数。

进一步的，使用基于α扩张的图割算法最小化能量函数。

进一步的，步骤4的具体实现方式如下；

根据下式计算待处理点p_i的激光邻域点数N₁和密集点云内部邻域点数N₂，然后为点p_i选择距离最近的N₁个激光点和N₂个密集匹配点组成邻域点集；

N₂＝Max(N-N₁,10)

其中N是K近邻算法的最大邻居个数，α_i是点p_i的法向量和该点与最近邻激光点q_i的连线向量之间的夹角；d_i是点p_i和最近邻激光点q_i之间的欧氏距离，λ₁和λ₂分别是几何方向和距离的权重，且满足λ₁+λ₂＝1，T是距离阈值。

进一步的，步骤5的具体实现方式如下；

步骤2计算的表面曲率δ越小表明点云邻域越平坦，δ越大则表明邻域的起伏变化较大，在高噪声、边缘和具有尖锐特征的点云区域中，表面曲率较大，可使引导点云滤波的关键控制参数∈减少，避免过度平滑造成信息丢失；在低噪声的平坦区域中，表面曲率相对较小，可使∈大一些，从而提高平滑程度，因此定义加权系数为：

其中，|N(p_i)|是几何邻域点集的基数，常数ε保证分母不为0；当处理不同特征区域的点云时，根据Γ_i自适应调整∈；

根据局部线性假设，点p_i和它的几何邻域点集N(p_i)＝{p_ij∈P}平滑处理前后有以下线性关系：

p′_ij＝a_ip_ij+b_i

其中，p_ij表示是点p_i的邻域点，p′_ij是滤波平滑后的点，a_i和b_i是线性模型的待求参数，可通过最小化几何邻域点集N(p_i)的重建误差函数求得，误差函数如下：

其中∈是控制平滑效果的设置参数，计算得到上式的解为，

其中

是邻域点的质心，最后利用点p_i自身邻域计算的线性模型计算平滑后的输出点云位置p′_i，由此得到了平滑后的密集匹配点云；

p′_i＝a_i·p_i+b_i

将激光点云与平滑后的密集匹配点云合并即可得到融合点云。

与现有技术相比，本发明的优点和有益效果：

本发明能实现地面激光扫描点云和影像密集匹配点云的高质量融合，且能在保持点云数据唯一性下，实现异源点云的混合边界平滑。本发明提出一种结合几何和颜色信息的图割算法分割密集点云，用邻域点选择策略辅助引导点云滤波实现了混合点云边界的平滑过渡，解决了异源点云配准后出现的双墙分层等数据冗余问题。本发明提出一种引导滤波邻域点选择策略和以表面曲率加权的引导点云滤波算法，可用于减少混合点云的缝隙和纠正分层平面。该方法可根据点云邻域的平整度自适应调整平滑参数，从而提高平滑效果且不破坏原有的点云结构。所提方法能够较好的支撑激光点云与密集匹配点云的高质量融合，具有良好的应用前景。

附图说明

图1为本发明方法流程图。

图2为基于图割算法的点云分割图示，(a)为配准后的两类异源点云示意图；(b)分割后的结果示意图。

图3为异源混合点云的引导点云滤波平滑图示，其中(a)(b)为单一采用激光点云作为引导点对密集匹配点云进行平滑；(c)(d)为本发明所提方法。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

由于室外场景结构复杂，高层建筑与地面植被、地物存在层叠遮挡，单一传感器获得的点云难以充分展现目标对象的细节。因此，需要考虑融合不同传感器的点云数据来重建更精确的三维场景。传统的点云融合算法大多是通过配准算法实现两类异源点云拼接，但是密集点云与激光点云的重叠部分存在点位偏移，即拼接点云容易出现“双墙”分层问题。此类带有噪声和冗余信息的点云对后续网格重建造成了很大挑战，会直接导致重建三维模型的质量下降。由于场景的复杂性，混合点云在复杂的建筑区域仍有分层平面存在，分割后的密集匹配点云与激光点云的交界处出现了许多断裂和噪声。采用引导点云滤波算法对两类点云的交界处进行平滑处理，由于城市场景点云中存在大量规整的建筑物平面，传统的引导点云滤波不能自适应调整引导点云滤波平滑效果；并且单一采用激光点作引导点，会导致距离较近的密集点云移动位置后过度贴近激光点云，混合点云内部移动后的密集点云和未移动的密集点云之间出现更加明显的割裂。

本发明的目的是去除密集匹配点云与激光点云的重叠冗余部分，并以激光点云为基准通过引导点云滤波提高密集匹配点云的精度和完整性，由此实现异源点云的高质量融合，最终提高城市场景表面重建精度和完整性。

本发明提出一种基于图割算法和引导点云滤波算法的异源点云融合方法，包括以下步骤：

步骤1，本发明以地面激光扫描点云和影像密集匹配点云作为输入，首先对两类点云进行去噪和配准，去噪算法和配准方法可采用通用的算法，如统计滤波，ICP配准。

步骤2，为了构造图割算法的能量函数以及计算表面曲率，本发明采用基于PCA的点云法向量估计方法为两类点云计算法向量。具体方法如下：

对于地面激光扫描点云或影像密集匹配点中的任一采样点p_i，查找其k个局部近邻点，对局部邻域协方差矩阵

进行特征值分解，协方差矩阵

的最小特征值对应的特征向量即为点p_i的法向量；

其中，k是点p_i的局部邻域内的点数，

是局部邻域的质心，λ_j、v_j分别是协方差矩阵

的第j个特征值和对应的特征向量；定义特征值满足λ₀≤λ₁≤λ₂，则点p_i的表面曲率δ为

步骤3，本发明以激光点云为基准，利用图割优化的点云分割算法去除两类异源点云之间的冗余和分层，并通过最小化能量函数获得密集匹配点云的二分类标签集L，删除标签为0的密集匹配点，如图2所示。具体方法如下：

给定两类异源点云，即密集匹配点云

和激光点云

经过配准可得到混合点云。根据密集匹配点云与激光点云的相似程度和密集匹配点云邻域之间的几何和颜色关系定义能量函数如下：

其中，L＝{l_i}是密集匹配点云P的二分类标签集，且l_i∈{0,1}，标签为0表示该密集匹配点存在替代激光点，需删除，反之则保留。λ是正则化因子，

是判别函数，

能量函数的数据项体现了密集匹配点在激光点云中有替代点的可能性，

其中，φ∈[0,1]，φ_i越接近1表示密集匹配点存在替代点，点p_i越可能被删除。σ_b是调节点云邻近距离的参数。d_i是密集匹配点p_i和最近邻激光点q_i之间的欧氏距离，θ_i是点p_i和最近邻激光点q_i之间的法向量夹角。点p_i获得标签l_i的惩罚项定义如下。

为了平滑分割，根据点p_i与其k近邻内点之间的几何与颜色信息定义能量函数的平滑项为，

其中，d_ij是密集匹配点p_i与最邻近密集匹配点p_j之间的几何欧氏距离，medd_ij是点p_i与其k个近邻域点的距离中值，d(c_i,c_j)是点p_i与p_j之间的RGB颜色欧氏距离，σ_c是调节RGB差异的参数。本发明使用基于α扩张的图割算法最小化能量函数，该算法可通过多次图割迭代快速找到近似解，即密集匹配点云的二分类标签集L。标签为0表示该点有替代的激光点，需删除，反之则保留。

步骤4，本发明采用一种引导滤波邻域点选择策略为待处理点云寻找合适的邻域点集，即为待处理点选择恰当比例的密集匹配点和激光点作为几何邻域点集，具体方法如下：

如图3(a)(b)所示，单一采用激光点作引导点，会导致距离较近的密集点云移动位置后过度贴近激光点云，混合点云内部移动后的密集点云和未移动的密集点云之间出现更加明显的割裂。因此，本发明提出了一种引导滤波邻域点选择策略，为待处理点选择恰当比例的密集匹配点和激光点作为几何邻域点集，根据下式计算点p_i的激光邻域点数N₁和密集点云内部邻域点数N₂，然后为点p_i选择距离最近的N₁个激光点和N₂个密集匹配点组成邻域点集。

N₂＝Max(N-N₁,10)

其中N是K近邻算法的最大邻居个数，α_i是点p_i的法向量和该点与最近邻激光点q_i的连线向量之间的夹角。d_i是点p_i和最近邻激光点q_i之间的欧氏距离，λ₁和λ₂分别是几何方向和距离的权重，且满足λ₁+λ₂＝1，T是距离阈值。

如图3(c)(d)所示，α_i较小表明两类点云的几何结构较相似，可适当增加激光引导点的比例；随着d_i增加，激光引导点数N₁应逐渐减少，从而达到渐进平滑的效果。考虑到α_i更加体现异源点云的几何差异，对邻域点选择起决定性作用，本发明设置λ₁＝0.8，λ₂＝0.2。

步骤5，基于步骤2中的表面曲率和步骤4中得到的几何邻域点集，本发明采用一种基于表面曲率加权的引导点云滤波算法对靠近两类点云的交界处的密集匹配点云进行平滑处理，以进一步减少混合点云中的缝隙，融合分层平面，最终得到融合点云。根据步骤(4)计算和挑选引导滤波几何邻域点集，引导滤波平滑的具体方法如下：

步骤(2)计算的表面曲率δ越小表明点云邻域越平坦，δ越大则表明邻域的起伏变化较大。在高噪声、边缘和具有尖锐特征的点云区域中，表面曲率较大，本发明可使引导点云滤波的关键控制参数∈减少，避免过度平滑造成信息丢失；在低噪声的平坦区域中，表面曲率相对较小，可使∈大一些，从而提高平滑程度。本发明定义加权系数为

其中，|N(p_i)|是步骤4中得到的几何邻域点集的基数。常数ε保证分母不为0。表面曲率是体现点云平整度的一种指标，且计算较为方便。利用以表面曲率加权的引导点云滤波，可适当提高影响引导点云滤波效果的关键参数∈。当处理不同特征区域的点云时，本发明可根据Γ_i自适应调整∈。根据局部线性假设，点p_i和它的几何邻域点集N(p_i)＝{p_ij∈P}平滑处理前后有以下线性关系：

p′_ij＝a_ip_ij+b_i

其中，p_ij表示是点p_i的邻域点，p′_ij是滤波平滑后的点，a_i和b_i是线性模型的待求参数，可通过最小化几何邻域点集N(p_i)的重建误差函数求得，误差函数如下

其中∈是控制平滑效果的设置参数，计算得到上式的解为，

其中

是邻域点的质心。最后利用点p_i自身邻域计算的线性模型计算平滑后的输出点云位置p′_i，由此得到了平滑后的密集匹配点云。

p′_i＝a_i·p_i+b_i

将激光点云与平滑后的密集匹配点云合并即可得到融合点云。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种激光点云与密集匹配点云融合方法，其特征在于，包括如下步骤：

步骤1，以激光点云和密集匹配点云作为输入，首先对两类点云进行去噪和配准；

步骤2，采用基于PCA的点云法向量估计方法为两类点云计算法向量，并进一步计算表面曲率；

步骤3，以激光点云为基准，利用图割优化的点云分割算法去除两类异源点云之间的冗余和分层，并通过最小化能量函数获得密集匹配点云的二分类标签集L，删除标签为0的密集匹配点；

步骤4，采用引导滤波邻域点选择策略，为待处理点选择恰当比例的密集匹配点和激光点作为几何邻域点集；

步骤5，基于步骤2中的表面曲率和步骤4中得到的几何邻域点集，采用表面曲率加权的引导点云滤波算法对靠近两类点云的交界处的密集匹配点云进行平滑处理，将激光点云与平滑后的密集匹配点云合并即可得到融合点云。

2.如权利要求1所述的一种激光点云与密集匹配点云融合方法，其特征在于：

步骤2的具体实现方式如下；

对于地面激光扫描点云或影像密集匹配点中的任一采样点p_i，查找其k个局部近邻点，对局部邻域协方差矩阵

进行特征值分解，协方差矩阵

的最小特征值对应的特征向量即为点p_i的法向量；

其中，k是点p_i的局部邻域内的点数，

是局部邻域的质心，λ_j、v_j分别是协方差矩阵

的第j个特征值和对应的特征向量，定义特征值满足λ₀≤₁≤λ₂，则点p_i的表面曲率δ为

3.如权利要求1所述的一种激光点云与密集匹配点云融合方法，其特征在于：

步骤3的具体实现方式如下；

给定两类异源点云，即密集匹配点云

和激光点云

经过配准可得到混合点云，根据密集匹配点云与激光点云的相似程度和密集匹配点云邻域之间的几何和颜色关系，定义能量函数如下：

其中，L＝{l_i}是密集匹配点云

的二分类标签集，且l_i∈{0,1}，标签为0表示该密集匹配点存在替代激光点，需删除，反之则保留；λ是正则化因子，

是判别函数，

能量函数的数据项体现了密集匹配点在激光点云中有替代点的可能性，

其中，φ∈[0,1]，φ_i越接近1表示密集匹配点存在替代点，点p_i越可能被删除，σ_b是调节点云邻近距离的参数，d_i是密集匹配点p_i和最近邻激光点q_i之间的欧氏距离，θ_i是点p_i和最近邻激光点q_i之间的法向量夹角，点p_i获得标签l_i的惩罚项定义如下：

为了平滑分割，根据点p_i与其k近邻内点之间的几何与颜色信息定义能量函数的平滑项为，

其中，d_ij是密集匹配点p_i与最邻近密集匹配点p_j之间的几何欧氏距离，med d_ij是点p_i与其k个近邻域点的距离中值，d(c_i,c_j)是点p_i与p_j之间的RGB颜色欧氏距离，σ_c是调节RGB差异的参数。

4.如权利要求1或3所述的一种激光点云与密集匹配点云融合方法，其特征在于：使用基于α扩张的图割算法最小化能量函数。

5.如权利要求1所述的一种激光点云与密集匹配点云融合方法，其特征在于：

步骤4的具体实现方式如下；

根据下式计算待处理点p_i的激光邻域点数N₁和密集点云内部邻域点数N₂，然后为点p_i选择距离最近的N₁个激光点和N₂个密集匹配点组成邻域点集；

N₂＝Max(N-N₁，10)

其中N是K近邻算法的最大邻居个数，α_i是点p_i的法向量和该点与最近邻激光点q_i的连线向量之间的夹角；d_i是点p_i和最近邻激光点q_i之间的欧氏距离，λ₁和λ₂分别是几何方向和距离的权重，且满足λ₁+λ₂＝1，T是距离阈值。

6.如权利要求1所述的一种激光点云与密集匹配点云融合方法，其特征在于：

步骤5的具体实现方式如下；

步骤2计算的表面曲率δ越小表明点云邻域越平坦，δ越大则表明邻域的起伏变化较大，在高噪声、边缘和具有尖锐特征的点云区域中，表面曲率较大，可使引导点云滤波的关键控制参数∈减少，避免过度平滑造成信息丢失；在低噪声的平坦区域中，表面曲率相对较小，可使∈大一些，从而提高平滑程度，因此定义加权系数为：

其中，|N(p_i)|是几何邻域点集的基数，常数ε保证分母不为0；当处理不同特征区域的点云时，根据Γ_i自适应调整∈；

根据局部线性假设，点p_i和它的几何邻域点集N(p_i)＝{p_ij∈P}平滑处理前后有以下线性关系：

p′_ij＝a_ip_ij+b_i

其中，p_ij表示是点p_i的邻域点，p′_ij是滤波平滑后的点，a_i和b_i是线性模型的待求参数，可通过最小化几何邻域点集N(p_i)的重建误差函数求得，误差函数如下：

其中∈是控制平滑效果的设置参数，计算得到上式的解为，

其中

是邻域点的质心，最后利用点p_i自身邻域计算的线性模型计算平滑后的输出点云位置p′_i，由此得到了平滑后的密集匹配点云；

p′_i＝a_i·p_i+b_i

将激光点云与平滑后的密集匹配点云合并即可得到融合点云。

Images