CN115861666B

CN115861666B - 一种3d图像点云匹配方法、系统、设备及介质

Info

Publication number: CN115861666B
Application number: CN202211653754.8A
Authority: CN
Inventors: 马丽涛; 陈继强
Original assignee: Hebei University of Engineering
Current assignee: Hebei University of Engineering
Priority date: 2022-12-22
Filing date: 2022-12-22
Publication date: 2023-06-27
Anticipated expiration: 2042-12-22
Also published as: CN115861666A

Abstract

本发明公开一种3D图像点云匹配方法、系统、设备及介质，涉及数字图像处理领域，包括：获取室内真实场景的3D图像点云数据集，包括：待匹配的第一点云和第二点云；根据第一点云和第二点云，以最小化点云指派代价为目标函数，构建基于最优传输的点云匹配模型；点云指派代价由正交变换矩阵、拉伸变换矩阵和点云间指派矩阵确定；采用交替迭代求解算法，对点云匹配模型进行求解，得到最优解，包括：最优正交变换矩阵、最优拉伸变换矩阵和最优点云间指派矩阵；根据最优点云间指派矩阵，对第一点云和第二点云进行匹配，得到匹配后点云；匹配后点云用于重建室内真实场景的3D图像。本发明能够提高室内真实场景3D图像点云匹配的精确性和鲁棒性。

Description

一种3D图像点云匹配方法、系统、设备及介质

技术领域

本发明涉及数字图像处理领域，特别是涉及一种3D图像点云匹配方法、系统、设备及介质。

背景技术

在室内3D场景建模、室内机器人空间定位等实际问题中，3D图像点云匹配技术得到了广泛应用。尽管3D图像点云匹配方法的研究取得了显著进展，但大多数方法对3D图像点云特征具有较高的要求，如旋转不变、高输出维度等，否则难以取得良好的效果。然而，在室内3D场景建模等实际问题中，由于3D图像点云数据无序、不规则等特性，以及扫描过程中传感器自身的旋转、平移等变换，容易使图像点云产生密度(density)失真、噪音(noise)失真以及变换(transformation)失真等问题，难以满足3D图像点云特征旋转不变、高输出维度等具体要求，给室内3D场景图像点云匹配方法的精确性和鲁棒性带来了严重挑战。

发明内容

本发明的目的是提供一种3D图像点云匹配方法、系统、设备及介质，以提高室内真实场景3D图像点云匹配的精确性和鲁棒性。

为实现上述目的，本发明提供了如下方案：

一种3D图像点云匹配方法，所述方法包括：

获取室内真实场景的3D图像点云数据集；所述3D图像点云数据集包括待匹配的第一点云和第二点云；所述第一点云与所述第二点云部分重叠；

根据所述第一点云和所述第二点云，以最小化点云指派代价为目标函数，构建基于最优传输的点云匹配模型；所述点云指派代价由正交变换矩阵、拉伸变换矩阵和点云间指派矩阵确定；

采用交替迭代求解算法，对所述点云匹配模型进行求解，得到最优解；所述最优解包括：最优正交变换矩阵、最优拉伸变换矩阵和最优点云间指派矩阵；

根据所述最优点云间指派矩阵，对所述第一点云和所述第二点云进行匹配，得到匹配后点云；所述匹配后点云用于重建所述室内真实场景的3D图像。

可选地，所述点云匹配模型的具体公式为：

B∈∧(3)＝{diag(λ₁,λ₂,λ₃)|λ_q∈[-1,1]}

其中：A为正交变换矩阵；B为拉伸变换矩阵；γ为点云间指派矩阵；γ_ij为第一点云X中的第i个点X_i与第二点云Y中的第j个点Y_j的匹配程度，i＝1,…,n，n为第一点云X中点的总数，j＝1,…,m，m为第二点云Y中点的总数；Ω(γ)为正则项，且

ε为正则化系数，且ε＞0；O(3)为3阶正交矩阵的集合；∧(3)为3阶对角矩阵的集合；Π为点云间指派矩阵的集合；I为分量全为1的列向量；/>

为3×3的实矩阵的集合；/>

为n×m的正实矩阵的集合；μ为第一点云X的概率分布；ν为第二点云Y的概率分布；λ_q为对角矩阵中第q行第q列元素的值，且q＝1,2,3。

可选地，所述采用交替迭代求解算法，对所述点云匹配模型进行求解，得到最优解，具体包括：

根据拉伸变换矩阵第k-1次迭代的迭代解和点云间指派矩阵第k-1次迭代的迭代解确定正交变换矩阵第k次迭代的迭代解；其中，k为从1开始的整数；当k＝1时，拉伸变换矩阵第k-1次迭代的迭代解为初始拉伸变换矩阵，点云间指派矩阵第k-1次迭代的迭代解为初始点云间指派矩阵；

对正交变换矩阵第k次迭代的迭代解进行变形和奇异值分解，得到正交变换矩阵第k次迭代的显示解；

根据正交变换矩阵第k次迭代的显示解和点云间指派矩阵第k-1次迭代的迭代解确定拉伸变换矩阵第k次迭代的迭代解；

对拉伸变换矩阵第k次迭代的迭代解进行变形，得到拉伸变换矩阵第k次迭代的显示解；

采用Sinkhorn-knopp算法，根据正交变换矩阵第k次迭代的显示解和拉伸变换矩阵第k次迭代的显示解，确定点云间指派矩阵第k次迭代的迭代解；

判断k是否达到设定迭代次数，得到判断结果；

若所述判断结果为否，则更新k的值，并返回“根据拉伸变换矩阵第k-1次迭代的迭代解确定正交变换矩阵第k次迭代的迭代解”的步骤；

若所述判断结果为是，则将点云间指派矩阵第k次迭代的迭代解确定为最优点云间指派矩阵，将正交变换矩阵第k次迭代的显示解确定为最优正交变换矩阵，将拉伸变换矩阵第k次迭代的显示解确定为最优拉伸变换矩阵。

可选地，所述根据拉伸变换矩阵第k-1次迭代的迭代解和点云间指派矩阵第k-1次迭代的迭代解确定正交变换矩阵第k次迭代的迭代解，具体公式为：

其中：A为正交变换矩阵，A^k为正交变换矩阵A第k次迭代的迭代解；O(3)为3阶正交矩阵的集合；

为第一点云X中的第i个点X_i与第二点云Y中的第j个点Y_j的匹配程度γ_ij的第k-1次迭代的迭代解；X_i为第一点云X中的第i个点，i＝1,…,n，n为第一点云X中点的总数；Y_j为第二点云Y中的第j个点，j＝1,…,m，m为第二点云Y中点的总数；B^k-1为拉伸变换矩阵第k-1次迭代的迭代解。

可选地，所述根据正交变换矩阵第k次迭代的显示解和点云间指派矩阵第k-1次迭代的迭代解确定拉伸变换矩阵第k次迭代的迭代解，具体公式为：

其中：B为拉伸变换矩阵，B^k为拉伸变换矩阵B第k次迭代的迭代解；∧(3)为3阶对角矩阵的集合；

为第一点云X中的第i个点X_i与第二点云Y中的第j个点Y_j的匹配程度γ_ij的第k-1次迭代的迭代解；X_i为第一点云X中的第i个点，i＝1,…,n，n为第一点云X中点的总数；Y_j为第二点云Y中的第j个点，j＝1,…,m，m为第二点云Y中点的总数；A^k'为正交变换矩阵第k次迭代的显示解。

可选地，所述采用Sinkhorn-knopp算法，根据正交变换矩阵第k次迭代的显示解和拉伸变换矩阵第k次迭代的显示解，确定点云间指派矩阵第k次迭代的迭代解，具体公式为：

其中：γ为点云间指派矩阵，γ^k为点云间指派矩阵γ第k次迭代的迭代解；Π为点云间指派矩阵的集合；C由正交变换矩阵第k次迭代的显示解和拉伸变换矩阵第k次迭代的显示解确定，且C＝||A^k'X_i-B^k'Y_j||²；A^k'为正交变换矩阵第k次迭代的显示解；B^k'为拉伸变换矩阵第k次迭代的显示解；X_i为第一点云X中的第i个点，i＝1,…,n，n为第一点云X中点的总数；Y_j为第二点云Y中的第j个点，j＝1,…,m，m为第二点云Y中点的总数；Ω(γ)为正则项；ε为正则化系数，且ε＞0。

可选地，所述拉伸变换矩阵第k次迭代的显示解的具体公式为：

其中：B^k'为拉伸变换矩阵B第k次迭代的显示解；

为点/>

的第l个分量，且/>

n为第一点云X中点的总数；/>

y_jl为点Y_j的第l个分量，Y_j为第二点云Y中的第j个点，j＝1,…,m，m为第二点云Y中点的总数；Π为点云间指派矩阵的集合；/>

为第一点云X中的第i个点X_i与第二点云Y中的第j个点Y_j的匹配程度γ_ij的第k-1次迭代的迭代解；

所述正交变换矩阵第k次迭代的显示解的具体公式为：

A^k'＝UV^T

其中：A^k'为正交变换矩阵A第k次迭代的显示解；U、V分别为对A^k'进行奇异值分解后得到的两个标准正交矩阵。

一种3D图像点云匹配系统，所述系统包括：

数据获取模块，用于获取室内真实场景的3D图像点云数据集；所述3D图像点云数据集包括待匹配的第一点云和第二点云；所述第一点云与所述第二点云部分重叠；

模型构建模块，用于根据所述第一点云和所述第二点云，以最小化点云指派代价为目标函数，构建基于最优传输的点云匹配模型；

模型求解模块，用于采用交替迭代求解算法，对所述点云匹配模型进行求解，得到最优解；所述最优解包括：最优正交变换矩阵、最优拉伸变换矩阵和最优点云间指派矩阵；

点云匹配模块，用于根据所述最优点云间指派矩阵，对所述第一点云和所述第二点云进行匹配，得到匹配后点云；所述匹配后点云用于重建所述室内真实场景的3D图像。

一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的3D图像点云匹配方法。

一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的3D图像点云匹配方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明通过以最小化点云指派代价为目标函数，构建基于最优传输的点云匹配模型，并采用交替迭代求解算法，对构建的点云匹配模型进行求解，能够更准确地确定两个点云间的匹配关系，提高点云匹配精度；在构建点云匹配模型的过程中，通过引入性能良好的正交变换矩阵和拉伸变换矩阵，使得对室内真实场景3D图像点云的大尺度形变、噪声等影响具有较高的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的3D图像点云匹配方法的流程图；

图2为本发明提供的3D图像点云匹配系统的模块图；

图3为本发明提供的3DMatch点云数据集在不同旋转角度下的匹配误差图；

图4为采用3DMatch点云数据集时，本发明提供的方法与其他方法在不同旋转角度下的运行时间对比图；

图5为本发明提供的3DMatch图像点云数据集在不同噪声水平下的匹配误差图；

图6为采用3DMatch点云数据集时，本发明提供的方法与其他方法在不同噪声水平下的运行时间对比图；

图7为本发明提供的Modelnet40图像点云数据集在不同旋转角度下的匹配误差图；

图8为采用Modelnet40图像点云数据集时，本发明提供的方法与其他方法在不同旋转角度下的运行时间对比图；

图9为本发明提供的Modelnet40图像点云数据集在不同噪声水平下的匹配误差图；

图10为采用Modelnet40图像点云数据集时，本发明提供的方法与其他方法在不同噪声水平下的运行时间对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

具体地，为了解决室内真实场景三维(3D)图像点云数据集的复杂变形和含有噪声而带来的挑战，本发明提出了一种基于正则化最优传输(Regularized Discrete OptimalTransport，RDOT)的3D图像点云匹配方法。通过与迭代最近点(Iterative Closest Point，ICP)、相干点漂移(Coherent Point Drift，CPD)、非对称点匹配(Asymmetric PointMatch，APM)、经典的DOT方法等点云匹配方法进行对比，发现本发明可有效提高室内真实场景3D图像点云匹配的精确性和鲁棒性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图1所示，本发明提供一种3D图像点云匹配方法，所述方法包括：

步骤101：获取室内真实场景的3D图像点云数据集；所述3D图像点云数据集包括待匹配的第一点云和第二点云；所述第一点云与所述第二点云部分重叠。

具体地，获取室内真实场景(如厨房)的3DMatch、Model40图像点云数据集，记输入点云坐标分别为X,Y,其中

步骤102：根据所述第一点云和所述第二点云，以最小化点云指派代价为目标函数，构建基于最优传输的点云匹配模型；所述点云指派代价由正交变换矩阵、拉伸变换矩阵和点云间指派矩阵确定。

具体地，为提高对室内真实场景下受复杂变形和噪声影响的3D图像点云匹配的鲁棒性，针对步骤101中获取的室内真实场景的3D图像点云数据集，引入正交变换(一种特殊的旋转变换)矩阵A和拉伸变换矩阵B，以获得具有非刚体变换和拉伸变换不变性的点云匹配模型。为得到更精确的室内真实场3D图像点云匹配关系，提高模型对3D图像点云的匹配精度，设计正则项

以最小化点云指派代价为目标函数，构建基于最优传输的点云匹配模型。所述点云匹配模型的具体公式为：

B∈∧(3)＝{diag(λ₁,λ₂,λ₃)|λ_q∈[-1,1]}

为3×3的实矩阵的集合；/>

步骤103：采用交替迭代求解算法，对所述点云匹配模型进行求解，得到最优解；所述最优解包括：最优正交变换矩阵、最优拉伸变换矩阵和最优点云间指派矩阵。

进一步地，步骤103具体包括：

步骤103.1：根据拉伸变换矩阵第k-1次迭代的迭代解和点云间指派矩阵第k-1次迭代的迭代解确定正交变换矩阵第k次迭代的迭代解(其中，k为从1开始的整数；当k＝1时，拉伸变换矩阵第k-1次迭代的迭代解为初始拉伸变换矩阵，点云间指派矩阵第k-1次迭代的迭代解为初始点云间指派矩阵)，具体公式为：

其中：A为正交变换矩阵；A^k为正交变换矩阵A第k次迭代的迭代解；O(3)为3阶正交矩阵的集合；

步骤103.2：对正交变换矩阵第k次迭代的迭代解进行变形和奇异值分解，得到正交变换矩阵第k次迭代的显示解。

所述正交变换矩阵第k次迭代的显示解的具体公式为：

A^k'＝UV^T

步骤103.3：根据正交变换矩阵第k次迭代的显示解和点云间指派矩阵第k-1次迭代的迭代解确定拉伸变换矩阵第k次迭代的迭代解，具体公式为：

步骤103.4：对拉伸变换矩阵第k次迭代的迭代解进行变形，得到拉伸变换矩阵第k次迭代的显示解。

所述拉伸变换矩阵第k次迭代的显示解的具体公式为：

其中：B^k'为拉伸变换矩阵B第k次迭代的显示解；

为点/>

的第l个分量，且/>

n为第一点云X中点的总数；/>

为第一点云X中的第i个点X_i与第二点云Y中的第j个点Y_j的匹配程度γ_ij的第k-1次迭代的迭代解。

步骤103.5：采用Sinkhorn-knopp算法，根据正交变换矩阵第k次迭代的显示解和拉伸变换矩阵第k次迭代的显示解，确定点云间指派矩阵第k次迭代的迭代解，具体公式为：

步骤103.6：判断k是否达到设定迭代次数，得到判断结果。

步骤103.7：若所述判断结果为否，则更新k的值，并返回“根据拉伸变换矩阵第k-1次迭代的迭代解确定正交变换矩阵第k次迭代的迭代解”的步骤。

步骤103.8：若所述判断结果为是，则将点云间指派矩阵第k次迭代的迭代解确定为最优点云间指派矩阵，将正交变换矩阵第k次迭代的显示解确定为最优正交变换矩阵，将拉伸变换矩阵第k次迭代的显示解确定为最优拉伸变换矩阵。

作为一种具体的实施方式，针对步骤102中构建的基于最优传输的点云匹配模型，设计如下交替迭代求解算法，给定初始化参数A⁰、B⁰、γ⁰，设定迭代次数为K：

(1)记B^k-1为拉伸变换矩阵B第k-1次迭代的迭代解，对正交变换矩阵A第k次迭代的迭代解

进行变形得到A^k＝Proj_O(3)(X(γ^k-1)^TY^TB^k-1)。对矩阵X(γ^k-1)^TY^TB^k-1进行SVD分解X(γ^k-1)^TY^TB^k-1＝UDV^T，进而得到正交变换矩阵A第k次迭代的显示解A^k'＝UV^T，U、V分别为对A^k'进行SVD分解后得到的标准正交矩阵，D为奇异值矩阵。

(2)在步骤(1)的基础上，记

其中

y_jl分别为点/>

Y_j的第l个分量。对拉伸变换矩阵B第k次迭代的迭代解

进行变形得到显示解/>

其中/>

为点云X中第i个点X_i与点云Y中第j个点Y_j的匹配程度γ_ij的第k-1次迭代的迭代解。

(3)考虑到该优化问题目标函数为强凸的，在步骤(2)的基础上，令矩阵C＝||A^k'X_i-B^k'Y_j||²，使用Sinkhorn-knopp算法对指派矩阵

进行求解，得到最优的室内真实场景3D图像点云匹配关系的第k次迭代的迭代解γ^k。

(4)循环迭代步骤(1)-(3)，直至找到室内真实场景3D图像的点云匹配模型的最优解A、B、γ。最优解A、B体现了两个图像点云数据集存在的非刚体变换和拉伸变换不变性，有助于更准确地找到点云间的匹配关系γ，进而更精确地重建室内真实场景图像，解决由于点云的复杂变形和噪声而产生的匹配精确性和鲁棒性不高等问题。

步骤104：根据所述最优点云间指派矩阵，对所述第一点云和所述第二点云进行匹配，得到匹配后点云；所述匹配后点云用于重建所述室内真实场景的3D图像。

实施例二

为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种3D图像点云匹配系统。如图2所示，所述系统包括：

数据获取模块201，用于获取室内真实场景的3D图像点云数据集；所述3D图像点云数据集包括待匹配的第一点云和第二点云；所述第一点云与所述第二点云部分重叠。

模型构建模块202，用于根据所述第一点云和所述第二点云，以最小化点云指派代价为目标函数，构建基于最优传输的点云匹配模型。

模型求解模块203，用于采用交替迭代求解算法，对所述点云匹配模型进行求解，得到最优解；所述最优解包括：最优正交变换矩阵、最优拉伸变换矩阵和最优点云间指派矩阵。

点云匹配模块204，用于根据所述最优点云间指派矩阵，对所述第一点云和所述第二点云进行匹配，得到匹配后点云；所述匹配后点云用于重建所述室内真实场景的3D图像。

实施例三

本实施例通过采用3DMatch、Modelnet40等室内不同角度拍摄的真实场景3D图像数据集，将本发明提供的方法(Herein)与迭代最近点(ICP)、相干点漂移(CPD)、非对称点匹配(APM)、经典的DOT方法等点云匹配方法进行对比，以验证并发现本发明可有效提高3D图像点云匹配的精确性和鲁棒性。

1、3DMatch数据集

1.1、旋转形变情况

参见图3及图4，其中，图3中箱线图中间的线为各种方法的匹配误差。从图3中可以发现，当3D图像点云数据集从30度到180度不等的大尺度旋转变化，本发明提出的方法Herein的匹配误差小、精度高，方差小(旋转90度的除外)、鲁棒性强。从图4中可以发现，本发明提出的方法Herein比APM方法运行时间低。

1.2、含噪声情况

参见图5及图6，其中，图5中箱线图中间的线为各种方法的匹配误差。从图5中可以发现，当3D图像点云数据集噪声水平从0.01变化到0.05的不同情况下，本发明提出的方法Herein的匹配误差小、精度高，方差小、鲁棒性强。从图6中可以发现，本发明提出的方法Herein比APM、TPS-RPM方法的运行时间低。

2、Modelnet40图像点云数据集

2.1、旋转形变情况

参见图7及图8，其中，图7中箱线图中间的线为各种方法的匹配误差。从图7中可以发现，当3D图像点云数据集从30度到180度不等的大尺度旋转变化，本发明提出的方法Herein的匹配误差小、精度高，方差小、鲁棒性强。从图8中可以发现本发明提出的方法Herein比APM、TPS-ICP方法的运行时间低，与经典DOT方法的运行时间相当。

2.2、含噪声情况

参见图9及图10，其中，图9中箱线图中间的线为各种方法的匹配误差。从图9中可以发现，当3D图像点云数据集噪声水平从0.01变化到0.05的不同情况下，本发明提出的方法Herein的匹配误差小、精度高，方差小、鲁棒性强。从图10中可以发现本发明提出的方法Herein比APM、TPS-RPM、TPS-ICP方法的运行时间低。

实施例四

本发明实施例还提供一种电子设备，包括存储器和处理器，该存储器用于存储计算机程序，该处理器用于运行计算机程序以使电子设备执行实施例一中的3D图像点云匹配方法。

优选地，所述电子设备可以是服务器。

另外，本发明还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一中的3D图像点云匹配方法。

综上所述，本发明提出了一种基于最优传输的3D点云匹配方法、系统、设备及介质，解决了室内3D场景建模存在的由于点云的复杂变形和噪声而产生的精确性和鲁棒性不高等问题。本发明具有以下优点：

(1)本发明通过设计性能优良的正则项Ω(γ)以及构造性能良好的正交变换矩阵A和拉伸变换对角矩阵B，提高了室内真实场景三维(3D)图像点云的匹配精度。

(2)本发明通过引入构造的性能良好的正交变换矩阵A和拉伸变换对角矩阵B，对室内真实场景3D图像点云的大尺度形变、噪声等影响具有较高的鲁棒性。

(3)本发明通过对矩阵X(γ^k-1)^TY^TB^k-1进行SVD分解X(γ^k-1)^TY^TB^k-1＝UDV^T，在后续设计求解算法时，由于优化问题目标函数为强凸的，结合Sinkhorn-knopp算法求解出最优的3D图像点云匹配关系γ，在提高室内真实场景3D图像点云匹配精度和鲁棒性的同时，保证了没有增加该方法的时间消耗。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。