CN111429494A - 一种基于生物视觉的点云高精度自动配准方法 - Google Patents

Abstract

本发明公开了一种基于生物视觉的点云高精度自动配准方法，包括以下步骤：从不同视角对目标进行多次观测，将观测到的三维点云映射到平面上，生成对应的二维模拟图像；并对图像上含圆锥顶点的特征点进行检测，将检测出的特征点反向投影至目标表面，得到对应的三维特征点；融合不同视角下三维特征点检测结果，利用目标表面特征点邻域点云进行形状拟合；以旋转估计误差构造代价函数，通过最小化代价函数确定参考点云和测试点云中的圆锥点对应关系，计算参考点云和测试点云之间的旋转矩阵和平移矢量，完成三维点云的自动配准。本发明的基于生物视觉的点云高精度自动配准方法具有可自动完成参考点云和测试点云之间的配准，精度高、稳定性好的优点。

Description

一种基于生物视觉的点云高精度自动配准方法

技术领域

本发明属于三维重建技术领域，具体涉及一种基于生物视觉的点云高精度自动配准方法。

背景技术

点云配准的目的是求解一个由旋转矩阵和平移矢量组成的刚体变换矩阵，使得两组点云之间的重叠部分配准误差最小，其相关研究成果已应用于SLAM、多视点云拼接、目标识别等领域。以表面变形测量为例，将变形前的点云标记为参考点云、变形后的点云标记为测试点云，利用参考点云和测试点云中未发生变形的部分进行点云配准，然后通过比较采样点的三维坐标，实现对表面变形的密集测量。与传统稀疏点测量方法相比，上述密集测量方法可以为材料烧蚀性能评价、软物质特性分析等提供更全面的实验数据，具有重要的理论研究意义和工程应用价值。

为了上述方案的自动化水平，发明了一种基于生物视觉的点云高精度自动配准方法：将三个或三个以上的圆锥作为合作标志与目标固连，通过圆锥顶点计算变换矩阵初值，并在此基础上利用圆锥顶点邻域点云进行ICP迭代，以获取高精度的点云配准结果。

发明内容

本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。

为了实现根据本发明的这些目的和其它优点，提供了一种基于生物视觉的点云高精度自动配准方法，包括以下步骤：

步骤一、多视角观测：从不同视角对目标进行独立多次的观测，将观测到的三维点云映射到平面上，生成对应的二维模拟图像；

步骤二、圆锥顶点识别：在二维模拟图像上，对含圆锥顶点的特征点进行检测，并将检测出的特征点反向投影至目标表面，得到对应的三维特征点，经分析后去除伪特征点，提升三维特征点检测精度；

步骤三、圆锥拟合：融合不同视角下三维特征点检测结果，利用目标表面特征点邻域点云进行形状拟合；

步骤四、三维点云自动配准：以旋转估计误差构造代价函数，通过最小化代价函数确定参考点云和测试点云中的圆锥点对应关系，计算参考点云和测试点云之间的旋转矩阵和平移矢量初值，并进行ICP迭代，获取更高精度的旋转矩阵和平移矢量，提高点云配准精度，完成三维点云的自动配准。

优选的是，在步骤一中以三个独立的基平面XOY、YOZ、ZOX作为观测平面，并在每一个观测平面内对目标进行独立多次的观测，模拟视网膜生成具有宽和高的二值图像，对二值图像约束二值化后，得到3s幅约束二值化后的二维模拟图像I^u(u＝1，2，...，3s-1，3s)，其中s为整数。

优选的是，在步骤二中对含圆锥顶点的特征点进行检测的具体方法为：使用Harris算子对二维模拟图像进行角点检测。

优选的是，在步骤二中分析去除伪特征点的具体方法为：基于欧式距离，通过聚类原理分析去除伪特征点，其中，圆锥顶点作为一个稳健的特征，从不同视角的多个视角中均能被观测到，因此通过设置角点可被观测次数阈值，判定观测次数小于阈值的点为伪特征点，并删除小于阈值的伪特征点。

优选的是，在步骤三中圆锥拟合包括：不失一般性，以三维特征点χ₁为例；记

为特征点χ₁的邻域三维点，ξ为邻域点数量；

圆锥曲面的一般二次型表示如下：

矩阵形式可表示为：

其中：

对E进行奇异值分解得到：

即为V_E的最后一列；

将圆锥曲面的一般二次型改写为矩阵形式：

其中：

对F进行奇异值分解：

F＝U_FD_FV_F

V_F的最后一列即为圆锥顶点的齐次坐标，记为[v₁ v₂ v₃ v₄]^T，则圆锥顶点坐标χ′₁为：

同理，可得所有圆锥顶点坐标χ′_i＝(x_i，y_i，z_i)(i＝1，2，...，ρ-1，ρ)。

优选的是，步骤四的具体步骤为：以三维特征点χ₁为例，{¹χ′_i}(i＝1，2，...，ρ₁-1，ρ₁)作为参考点云中检测到的圆锥顶点，{²χ′_i}(i＝1，2，...，ρ₂-1，ρ₂)作为测试点云中检测到的圆锥顶点，ρ为三维特征点数量，由于两者之间的对应关系未知，所以无法直接用于计算参考点云和测试点云之间的刚体变换矩阵，包括3×3的旋转矩阵R和3×1的平移矢量T；针对上述问题，为了提高算法鲁棒性，采用随机策略计算{¹χ′_i}和{²χ′_i}之间的对应关系。构造如下两组数列，其元素取值概率符合均值分布：

¹Γ＝[1，2，...，ρ₁-1，ρ₁]

²Γ＝[1，2，...，ρ₂-1，ρ₂]

分别从¹Γ和²Γ中随机取三个不同的元素，记为¹τ_j(j＝1，2，3)和²τ_j(j＝1，2，3)，对应的圆锥顶点为：

刚体变换关系如下式所示：

利用圆锥顶点坐标构造矩阵¹M和²M：

其中心点坐标为：

将坐标系原点分别平移至¹M和²M中心点：

则

和

之间只存在旋转变换：

对矩阵

进行SVD分解：

记U_Ω(i)(i＝1，2，3)表示矩阵U_Ω的第i列，则R的解必然为以下八种形式之一：

对应的旋转估计误差为：

式中，右侧第一项为数据项，表征旋转估计的几何误差；第二项为约束项，并将参与刚体变换的坐标系约束为右手坐标系；trace(·)为矩阵对角线元素求和函数，ζ_p为惩罚系数，则得到：

记

ε_e为旋转估计误差阈值：当e_min＜ε_e时，表明¹M和²M为正确对应点，R、T解算结果可信；否则，重复如下操作：从¹Γ和²Γ中随机取三个不同的元素，依次执行以上等式，直到满足e_min＜ε_e或超过重复次数阈值N_max；由于¹Γ和²Γ中元素取值概率符合均值分布，因此N_max可设置为：

{¹χ′_i}和{²χ′_i}之间的匹配点对记为

则

应满足如下关系式：

其中，δ_d为距离阈值；

记{¹P_j}(j＝1，2.，...，n₁-1，n₁)为参考点云中圆锥顶点

的领域点云集合，{²P_j}(j＝1，2.，...，n₂-1，n₂)为测试点云中圆锥顶点

的领域点云集合；将式

的解算结果作为初值，利用圆锥顶点匹配点对

及其邻域点云{¹P_j}和{²P_j}进行ICP迭代，获取更高精度的旋转矩阵

和平移矢量

完成三维点云的自动配准。

本发明至少包括以下有益效果：

本发明的基于生物视觉的点云高精度自动配准方法，通过聚类原理，去除伪特征点，提升三维特征点检测精度，并以旋转估计误差构造代价函数，通过最小化代价函数确定参考点云和测试点云中的圆锥点对应关系，计算参考点云和测试点云之间的旋转矩阵和平移矢量初值，并进行ICP迭代，提高点云配准精度，实现自动完成参考点云和测试点云之间的配准，精度高、稳定性好，可应用于物体表面形貌变化测量、多视点云拼接等领域。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明：

图1为本发明提供的多视角观测时不同位置观测示意图；

图2为本发明提供的图像约束二值化原理示意图；

图3为本发明提供的约束二值化后的图像；

图4为本发明提供的圆锥顶点识别中角点检测原理图；

图5为本发明提供的圆锥顶点识别中三维点聚类原理图；

图6为本发明提供的圆锥顶点识别中数据筛选原理图；

图7为本发明提供的圆锥顶点识别中特征点粗定位原理图；

图8为本发明提供的三维点云自动配准算法流程图。

具体实施方式：

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。

如图1-8所示的一种基于生物视觉的点云高精度自动配准方法，包括以下步骤：

步骤一、多视角观测：由于测量空间为三维空间，因此为了实现对目标的全方位观测，需要选择三个独立的基平面XOY、YOZ、ZOX作为观测平面，并在每一个观测平面内对目标进行独立多次的观测，不失一般性，以观测平面XOY为例，如图1所示；

在如图1所示的位置1处，将观测到的三维点云坐标记为

n为三维点数目，其投影至YOZ平面后得到的二维点云记为

其中：

二维点云中心点坐标为

二维点云对应的最小外接矩宽w₁和高h₁：

在YOZ平面，模拟视网膜生成宽、高分别为W₁和H₁的二值图像I¹：

k为放大系数，则图像中心点

的像素坐标为：

将二维点云

平移至图像像素坐标系中：

即为二维点云

在图像I¹中对应的像素点；若直接将像素点

的灰度置为255，其余像素点灰度置为0，则得到的二值化图像中目标区域并不是连通域，而是离散点集合，无法进行有效的检测。

如图2所示，A、B、C为目标表面上任一三角化面片T_j(j＝1，2，...，t-1，t)的三个顶点，其在图像中对应的三角形为

t为目标表面三角化面片的数量，T_j和

均为连通区域。A、B、C的坐标分别记为

的坐标分别记为

为图像I¹中任一像素点，其坐标记为

m为图像I¹的像素点个数，则向量：

三个向量夹角之和为β_j：

若

位于

内，则β_j＝360°，基于上述原理对图像I¹进行约束二值化：

表示将图像I¹中像素点

的灰度置为g，约束二值化后的图像I¹如图3所示，此时，完成一次观测。

如图1所示，将点云

绕Z轴旋转α角后，即为在位置2处观测得到的点云

P_i ²＝R_Z(α)P_i ¹ (10)

由公式(1)～(9)即可得到位置2处生成的模拟图像I²，同理可得I^u(u＝1，2，...，s-1，s)，其中s为整数：

因此，分别以XOY、YOZ、ZOX作为观测平面进行观测，可得到3s幅约束二值化后的二维模拟图像I^u(u＝1，2，...，3s-1，3s)。

步骤二、圆锥顶点识别：利用Harris算子对模拟图像进行角点检测，

表示在图像I^u中检测到的第v个角点，其图像像素坐标记为

r_u为图像I^u中检测到的角点总数。根据下式(12)将

转换为二维点云坐标

在二维点云上搜索

的最近点

为

在二维点云中对应点的索引，由于在三维点云投影生成二维点云的过程中，索引关系并未发生改变，以位置1处的三维点云为基准，则模拟图像中检测到的角点

在三维点云中对应点为

如图4所示；

如图5所示，基于欧式距离按照表1的聚类原理对

进行聚类，以保证类与类之间的中心距离均大于设定的阈值λ，类中心坐标可通过类中成员的均值计算得到；

表1 聚类原理

记ψ_i为类C_i中的成员个数，即类C_i中包含的角点个数。圆锥顶点作为一个稳健的特征，应当从多个视角均能被观测到，因此删除ψ_i≤κ的类C_i，κ为角点可被观测次数阈值，判定观测次数小于阈值的点为伪特征点，并删除小于阈值的伪特征点，如图6所示；图7为对特征点的粗定位结果，记为χ_i(i＝1，2，...，ρ-1，ρ)，其中ρ为特征点数量。

步骤三、圆锥拟合：不失一般性，以三维特征点χ₁为例。记

为特征点χ₁的邻域三维点，ξ为邻域点数量。

圆锥曲面的如下一般二次型表示：

矩阵形式可写为：

其中：

对E进行奇异值分解(SVD)：

即为V_E的最后一列。

将圆锥曲面的一般二次型改写为矩阵形式：

其中：

对F进行奇异值分解(SVD)：

F＝U_FD_FV_F (18)

V_F的最后一列即为圆锥顶点的齐次坐标，记为[v₁ v₂ v₃ v₄]^T，则圆锥顶点坐标χ′₁为：

同理，可得到所有圆锥顶点坐标χ′_i＝(x_i，y_i，z_i)(i＝1，2，...，ρ-1，ρ)。

步骤四、三维点云自动配准：{¹χ′_i}(i＝1，2，...，ρ₁-1，ρ₁)为参考点云中检测到的圆锥顶点，{²χ′_i}(i＝1，2，...，ρ₂-1，ρ₂)为测试点云中检测到的圆锥顶点，由于两者之间的对应关系未知，所以无法直接用于计算参考点云和测试点云之间的刚体变换矩阵，包括3×3的旋转矩阵R和3×1的平移矢量T。针对上述问题，为了提高算法鲁棒性，采用随机策略计算{¹χ′_i}和{²χ′_i}之间的对应关系，构造两组数列，其元素取值概率符合均值分布：

¹Γ＝[1，2，...，ρ₁-1，ρ₁]

²Γ＝[1，2，...，ρ₂-1，ρ₂]

分别从¹Γ和²Γ中随机取三个不同的元素，记为¹τ_j(j＝1，2，3)和²τ_j(j＝1，2，3)，对应的圆锥顶点为：

刚体变换关系如下式(20)所示：

利用圆锥顶点坐标构造矩阵¹M和²M：

其中心点坐标为：

将坐标系原点分别平移至¹M和²M中心点：

则

和

之间只存在旋转变换：

对矩阵

进行SVD分解：

记U_Ω(i)(i＝1，2，3)表示矩阵U_Ω的第i列，则R的解必然为以下八种形式之一：

对应的旋转估计误差为：

等式(26)右侧的第一项为数据项，表征旋转估计的几何误差；第二项为约束项，并将参与刚体变换的坐标系约束为右手坐标系；trace(·)为矩阵对角线元素求和函数，ζ_p为惩罚系数，则：

记

ε_e为旋转估计误差阈值：当e_min＜ε_e时，表明¹M和²M为正确对应点，R、T解算结果可信；否则，重复如下操作：从¹Γ和²Γ中随机取三个不同的元素，执行式(21)～(27)，直到满足e_min＜ε_e或超过重复次数阈值N_max。由于¹Γ和²Γ中元素取值概率符合均值分布，因此N_max可设置为：

{¹χ′_i}和{²χ′_i}之间的匹配点对记为

则

应满足如下关系式：

其中，δ_d为距离阈值；

记{¹P_j}(j＝1，2.，...，n₁-1，n₁)为参考点云中圆锥顶点

的领域点云集合，{²P_j}(j＝1，2.，...，n₂-1，n₂)为测试点云中圆锥顶点

的领域点云集合。将式(27)中的解算结果作为初值，利用圆锥顶点匹配点对

及其邻域点云{¹P_j}和{²P_j}进行ICP(Iterative Closest Point)迭代，以获取更高精度的旋转矩阵

和平移矢量

按照如图8所示的算法流程图，完成三维点云的自动配准。

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的基于生物视觉的点云高精度自动配准方法的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种基于生物视觉的点云高精度自动配准方法，其特征在于，包括以下步骤：

步骤一、多视角观测：从不同视角对目标进行独立多次的观测，将观测到的三维点云映射到平面上，生成对应的二维模拟图像；

步骤二、圆锥顶点识别：在二维模拟图像上，对含圆锥顶点的特征点进行检测，并将检测出的特征点反向投影至目标表面，得到对应的三维特征点，经分析后去除伪特征点，提升三维特征点检测精度；

步骤三、圆锥拟合：融合不同视角下三维特征点检测结果，利用目标表面特征点邻域点云进行形状拟合；

步骤四、三维点云自动配准：以旋转估计误差构造代价函数，通过最小化代价函数确定参考点云和测试点云中的圆锥点对应关系，计算参考点云和测试点云之间的旋转矩阵和平移矢量初值，并进行ICP迭代，获取更高精度的旋转矩阵和平移矢量，提高点云配准精度，完成三维点云的自动配准。

2.如权利要求1所述的基于生物视觉的点云高精度自动配准方法，其特征在于，在步骤一中以三个独立的基平面XOY、YOZ、ZOX作为观测平面，并在每一个观测平面内对目标进行独立多次的观测，模拟视网膜生成具有宽和高的二值图像，对二值图像约束二值化后，得到3s幅约束二值化后的二维模拟图像I^u(u＝1,2,...,3s-1,3s)，其中s为整数。

3.如权利要求1所述的基于生物视觉的点云高精度自动配准方法，其特征在于，在步骤二中对含圆锥顶点的特征点进行检测的具体方法为：使用Harris算子对二维模拟图像进行角点检测。

4.如权利要求1所述的基于生物视觉的点云高精度自动配准方法，其特征在于，在步骤二中分析去除伪特征点的具体方法为：基于欧式距离，通过聚类原理分析去除伪特征点，其中，圆锥顶点作为一个稳健的特征，从不同视角的多个视角中均能被观测到，因此通过设置角点可被观测次数阈值，判定观测次数小于阈值的点为伪特征点，并删除小于阈值的伪特征点。

5.如权利要求1所述的基于生物视觉的点云高精度自动配准方法，其特征在于，在步骤三中圆锥拟合包括：不失一般性，以三维特征点χ₁为例；记

为特征点χ₁的邻域三维点，ξ为邻域点数量；

圆锥曲面的一般二次型表示如下：

矩阵形式可表示为：

其中：

对E进行奇异值分解得到：

即为V_E的最后一列；

将圆锥曲面的一般二次型改写为矩阵形式：

其中：

对F进行奇异值分解：

F＝U_FD_FV_F

V_F的最后一列即为圆锥顶点的齐次坐标，记为[v₁ v₂ v₃ v₄]^T，则圆锥顶点坐标χ′₁为：

同理，可得所有圆锥顶点坐标χ′_i＝(x_i,y_i,z_i)(i＝1,2,...,ρ-1,ρ)。

6.如权利要求1所述的基于生物视觉的点云高精度自动配准方法，其特征在于，步骤四的具体步骤为：以三维特征点χ₁为例，{¹χ′_i}(i＝1,2,...,ρ₁-1,ρ₁)作为参考点云中检测到的圆锥顶点，{²χ′_i}(i＝1,2,...,ρ₂-1,ρ₂)作为测试点云中检测到的圆锥顶点，ρ为三维特征点数量，由于两者之间的对应关系未知，所以无法直接用于计算参考点云和测试点云之间的刚体变换矩阵，包括3×3的旋转矩阵R和3×1的平移矢量T；针对此问题，为了提高算法鲁棒性，采用随机策略计算{¹χ′_i}和{²χ′_i}之间的对应关系，构造如下两组数列，其元素取值概率符合均值分布：

¹Γ＝[1,2,...,ρ₁-1,ρ₁]

²Γ＝[1,2,...,ρ₂-1,ρ₂]

分别从¹Γ和²Γ中随机取三个不同的元素，记为¹τ_j(j＝1,2,3)和²τ_j(j＝1,2,3)，对应的圆锥顶点为：

刚体变换关系如下式所示：

利用圆锥顶点坐标构造矩阵¹M和²M：

其中心点坐标为：

将坐标系原点分别平移至¹M和²M中心点：

则

和

之间只存在旋转变换：

对矩阵

进行SVD分解：

记U_Ω(i)(i＝1,2,3)表示矩阵U_Ω的第i列，则R的解必然为以下八种形式之一：

对应的旋转估计误差为：

式中，右侧第一项为数据项，表征旋转估计的几何误差；第二项为约束项，并将参与刚体变换的坐标系约束为右手坐标系；trace(·)为矩阵对角线元素求和函数，ζ_p为惩罚系数，则得到：

记

ε_e为旋转估计误差阈值：当e_min＜ε_e时，表明¹M和²M为正确对应点，R、T解算结果可信；否则，重复如下操作：从¹Γ和²Γ中随机取三个不同的元素，依次执行等式，直到满足e_min＜ε_e或超过重复次数阈值N_max；由于¹Γ和²Γ中元素取值概率符合均值分布，因此N_max可设置为：

{¹χ′_i}和{²χ′_i}之间的匹配点对记为

则

应满足如下关系式：

其中，δ_d为距离阈值；

记{¹P_j}(j＝1,2.,...,n₁-1,n₁)为参考点云中圆锥顶点

的领域点云集合，{²P_j}(j＝1,2.,...,n₂-1,n₂)为测试点云中圆锥顶点

的领域点云集合；将式

的解算结果作为初值，利用圆锥顶点匹配点对

及其邻域点云{¹P_j}和{²P_j}进行ICP迭代，获取更高精度的旋转矩阵

和平移矢量

完成三维点云的自动配准。

Images