CN105488535A - 一种三维点云匹配方法 - Google Patents

Abstract

本发明公布了一种三维点云匹配方法。在逆向工程、人脸识别和现代制造业中，解决通过光栅投影到物体表面由摄像机获得物体两组三维点云的对应匹配问题。将两组三维点云输入到目标函数中，将目标函数中的对应矩阵进行归一化处理，再将目标函数中的旋转和平移用对偶数表示形成新的目标函数，然后通过对该新目标函数进行最小化目标，找到点云之间的对应矩阵，即完成三维点云的匹配，使用该方法能够提高三维点云匹配的准确率。

Description

一种三维点云匹配方法

技术领域

本发明涉及计算机视觉和模式识别领域，特指数字图像处理中三维点云匹配。

背景技术

三维点云匹配是研制视觉三维测量系统的第一关键技术步骤，点云匹配配准可以为后续的三维重构提供精确的匹配，提高视觉三维测量的精度，用于开发实用的三维测量系统。一方面是用于逆向工程等工业生产的漫反射表面的准静态测量三维测量系统，另一方面是用于人脸等生活中的准静态三维测量系统，还可以开发多种复杂零部件测量专用设备，达到降低成本，提升制造业水平的目标。因此，找到一种三维点云匹配准确率高的方法，成为当前该研究领域急待解决的问题。

发明内容

本发明的目的在于：提供一种仿射变换下三维点云匹配的新方法，在逆向工程、人脸识别和现代制造业中，解决通过光栅投影到物体表面由摄像机获得物体两组三维点云的对应匹配问题。该发明的技术方案如下：通过光栅投影到物体表面，由摄像机拍摄获得物体的两组三维点云{X_j}和{Y_k}，第一组三维点云{X_j}在坐标系X′Y′Z′下，具体表示为(x′(j),y′(j),z′(j))，第二组三维点云{Y_k}在坐标系X″Y″Z″下，具体表示为(x″(k),y″(k),z″(k))，其中j,k均为正整数，由于光栅投影和摄像机拍摄时受到噪声的影响，使得三维点云{X_j}与三维点云{Y_k}中对应点的位置发生了变化，即三维点云{X_j}到三维点云{Y_k}中点的位置对应关系发生了变化，这个变化是由平移、尺度、旋转和变形产生的；将三维点云{X_j}与三维点云{Y_k}输入到下面的目标函数式(1)中：

在式(1)中，E_3D(m,T,A)表示关于变量m,T,A的期望值；T＝[t_x,t_y,t_z]ⁱ是平移矩阵，t_x、t_y、t_z分别表示在x轴、y轴、z轴上的平移，i表示矩阵的转置，t_x、t_y、t_z的值来源于均匀分布U[2.5,7.5]，表示旋转，r_x、r_y、r_z分别表示在x轴、y轴、z轴上的旋转，其值来源于均匀分布U[20,70]；α与匹配目标有关的参数，其取值为0.2≤α≤0.5；是一个从三维点云{X_j}到三维点云{Y_k}的对应矩阵，矩阵m的行不等式约束为矩阵m的列不等式约束为

式(1)中的旋转和平移写成如下形式：

利用对偶数的性质将式(1)中的旋转和平移可以分别记作：

R＝(r₄ ²-(r_x,r_y,r_z)ⁱ(r_x,r_y,r_z))I

+2(r_x,r_y,r_z)(r_x,r_y,r_z)ⁱ+2r₄K(r_x,r_y,r_z)

其中，I表示单位矩阵，表示变形。

进一步，将旋转和平移写成如下形式：

R＝W(r)ⁱQ(r)，T＝W(r)ⁱs

其中， d为坐标系X′Y′Z′和X″Y″Z″的原点在世界坐标系下的距离，n为旋转轴的单位方向向量，θ为点{X_j}在沿着向量n的旋转角度。

因此，将目标函数式(1)写成下式：

式(2)中，x_j＝(X_j,0)ⁱ，y_k＝(Y_k,0)ⁱ分别表示式(1)中的点X_j和Y_k；利用矩阵变换的性质，目标函数式(2)写成下式：

E_3D＝rⁱC₁r+sⁱC₂s+sⁱC₃r+λ₁(rⁱr-1)+λ₂(sⁱr)(3)

其中： λ₁，λ₂为拉格朗日乘数。

式(3)中的对应矩阵m_jk有三种取值：第一种，m_jk＝1，表示三维点云{X_j}中的一个点与三维点云{Y_k}中最多只有1个点是完全匹配；第二种，0＜m_jk＜1，表示三维点云{X_j}中的一个点与三维点云{Y_k}中的点是部分匹配；第三种，m_jk＝0，表示三维点云{X_j}中的一个点与三维点云{Y_k}中的点是空匹配。

目标函数式(3)的对应矩阵m中每个m_jk值的过程如下：

步骤一：通过对矩阵m进行初始化；

步骤二：对目标函数式(3)中的矩阵m进行归一化处理，得到新的矩阵m；

步骤三：将步骤二中得到的新的矩阵m代入到目标函数式(3)中，对目标函数式(3)中的参数r、s、λ₁和λ₂求偏导数，得到r、s、λ₁和λ₂的新值，并将r、s、λ₁和λ₂的新值代入到目标函数式(3)中；

步骤四：重复进行步骤二～步骤三，直到对应矩阵m中的元素m_jk＝1或m_jk＝0，即此时对应矩阵m中只有完全匹配和空匹配，已经没有了部分匹配；因此，对应矩阵m完成了两组三维点云的匹配。

使用该三维点云匹配方法能够提高三维点云的匹配准确率，在此通过实验验证，将通过摄像机获得物体的两幅三维点云图像，分别使用该三维点云匹配方法和现有的特征点匹配方法进行匹配，比较两个方法的点云匹配准确率，如附图1所示。

本发明相对于现有技术的有益效果是：使用本发明提供的三维点云匹配方法，解决逆向工程、人脸识别和现代制造业中，通过光栅投影获得物体两组三维点云的对应匹配问题，在三维点云匹配的准确率上，该三维点云匹配方法要好于特征点三维点云匹配方法。

附图说明

图1表示比较该三维点云匹配方法和现有的特征点匹配方法的三维点云匹配准确率示意图。

具体实施方式

通过光栅投影到物体表面，由摄像机拍摄获得物体的两组三维点云{X_j}和{Y_k}，第一组三维点云{X_j}在坐标系X′Y′Z′下，具体表示为(x′(j),y′(j),z′(j))，第二组三维点云{Y_k}在坐标系X″Y″Z″下，具体表示为(x″(k),y″(k),z″(k))，其中j,k均为正整数，由于光栅投影和摄像机拍摄时受到噪声的影响，使得三维点云{X_j}与三维点云{Y_k}中对应点的位置发生了变化，即三维点云{X_j}到三维点云{Y_k}中点的位置对应关系发生了变化，这个变化是由平移、尺度、旋转和变形产生的；将三维点云{X_j}与三维点云{Y_k}输入到下面的目标函数式(1)中：

在式(1)中，E_3D(m,T,A)表示关于变量m,T,A的期望值；T＝[t_x,t_y,t_z]ⁱ是平移矩阵，t_x、t_y、t_z分别表示在x轴、y轴、z轴上的平移，i表示矩阵的转置，t_x、t_y、t_z的值来源于均匀分布U[2.5,7.5]，表示旋转，r_x、r_y、r_z分别表示在x轴、y轴、z轴上的旋转，其值来源于均匀分布U[20,70]；α与匹配目标有关的参数，其取值为0.2≤α≤0.5；是一个从三维点云{X_j}到三维点云{Y_k}的对应矩阵，矩阵m的行不等式约束为矩阵m的列不等式约束为

式(1)中的旋转和平移写成如下形式：

利用对偶数的性质将式(1)中的旋转和平移可以分别记作：

R＝(r₄ ²-(r_x,r_y,r_z)ⁱ(r_x,r_y,r_z))I

+2(r_x,r_y,r_z)(r_x,r_y,r_z)ⁱ+2r₄K(r_x,r_y,r_z)

其中，I表示单位矩阵，表示变形。

进一步，将旋转和平移写成如下形式：

R＝W(r)ⁱQ(r)，T＝W(r)ⁱs

其中， d为坐标系X′Y′Z′和X″Y″Z″的原点在世界坐标系下的距离，n为旋转轴的单位方向向量，θ为点{X_j}在沿着向量n的旋转角度。

因此，将目标函数式(1)写成下式：

式(2)中，x_j＝(X_j,0)ⁱ，y_k＝(Y_k,0)ⁱ分别表示式(1)中的点X_j和Y_k；利用矩阵变换的性质，目标函数式(2)写成下式：

E_3D＝rⁱC₁r+sⁱC₂s+sⁱC₃r+λ₁(rⁱr-1)+λ₂(sⁱr)(3)

其中： λ₁，λ₂为拉格朗日乘数。

式(3)中的对应矩阵m_jk有三种取值：第一种，m_jk＝1，表示三维点云{X_j}中的一个点与三维点云{Y_k}中最多只有1个点是完全匹配；第二种，0＜m_jk＜1，表示三维点云{X_j}中的一个点与三维点云{Y_k}中的点是部分匹配；第三种，m_jk＝0，表示三维点云{X_j}中的一个点与三维点云{Y_k}中的点是空匹配。

目标函数式(3)的对应矩阵m中每个m_jk值的过程如下：

步骤一：按照均匀分布U[2.5,7.5]给定T＝(t_x,t_y,t_z)的值，按照均匀分布U[20,70]给定R的值，再使用对矩阵m进行初始化。

步骤二：对目标函数式(3)中的矩阵m分别按照行和列进行归一化处理得到新的矩阵m。

步骤三：将步骤二中得到的新的矩阵m代入到目标函数式(3)中，对目标函数式(3)中的参数r、s、λ₁和λ₂求偏导数，得到如下方程组(4)：

这是关于参数r、s、λ₁和λ₂的方程组，解该方程组(4)得到r、s、λ₁和λ₂的新值，将r、s、λ₁和λ₂的新值代入到目标函数式(3)中。

(四)重复进行步骤二～步骤三，直到对应矩阵m中的元素m_jk＝1或m_jk＝0，即此时对应矩阵m中只有完全匹配和空匹配，已经没有了部分匹配。具体解释为：如果m₁₁＝1，则表示三维点云{X_j}中的点X₁与三维点云{Y_k}中的点Y₁是完全匹配，如果m₁₁＝0，则表示三维点云{X_j}中的点X₁与三维点云{Y_k}中的点Y₁是空匹配，因此，对应矩阵m完成了两组三维点云的匹配。

从附图1可以看出，两种方法在三维点云匹配上，都是随着三维点云数目的增加，而使得三维点云的匹配准确率降低，但是，该三维点云匹配方法的点云匹配准确率始终要高于使用特征点匹配方法的点云匹配准确率。

以上所述，仅为本发明的较佳的具体实现方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化和替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围对象为准。

Claims (3)

1.一种三维点云匹配方法，其特征在于：该方法具体为：

通过光栅投影到物体表面，由摄像机拍摄获得物体的两组三维点云{X_j}和{Y_k}，第一组三维点云{X_j}在坐标系X′Y′Z′下，具体表示为(x′(j),y′(j),z′(j))，第二组三维点云{Y_k}在坐标系X″Y″Z″下，具体表示为(x″(k),y″(k),z″(k))，其中j,k均为正整数，由于光栅投影和摄像机拍摄时受到噪声的影响，使得三维点云{X_j}与三维点云{Y_k}中对应点的位置发生了变化，即三维点云{X_j}到三维点云{Y_k}中点的位置对应关系发生了变化，这个变化是由平移、尺度、旋转和变形产生的；将三维点云{X_j}与三维点云{Y_k}输入到下面的目标函数式(1)中：

$E_{3D}(m,T,R)=\underset{j=1}{\overset{J}{\Σ}}\underset{k=1}{\overset{K}{\Σ}}{m}_{jk}\left|\right|{\mathrm{RX}}_j+T-Y_k|{|}^2-\mathrm{\α}\underset{j=1}{\overset{J}{\Σ}}\underset{k=1}{\overset{K}{\Σ}}{m}_{jk}---\left(1\right)$

在式(1)中，E_3D(m,T,A)表示关于变量m,T,A的期望值；T＝[t_x,t_y,t_z]ⁱ是平移矩阵，t_x、t_y、t_z分别表示在x轴、y轴、z轴上的平移，i表示矩阵的转置，t_x、t_y、t_z的值来源于均匀分布U[2.5,7.5]， $R=\left[\begin{array}{ccc}{r}_x& 0& 0\\ 0& r_y& 0\\ 0& 0& r_z\end{array}\right]$ 表示旋转，r_x、r_y、r_z分别表示在x轴、y轴、z轴上的旋转，其值来源于均匀分布U[20,70]；α与匹配目标有关的参数，其取值为0.2≤α≤0.5；是一个从三维点云{X_j}到三维点云{Y_k}的对应矩阵，矩阵m的行不等式约束为矩阵m的列不等式约束为

式(1)中的旋转和平移写成如下形式：

$\left[\begin{array}{cccc}& R& & T\\ 0& 0& 0& 1\end{array}\right]$

利用对偶数的性质将式(1)中的旋转和平移可以分别记作：

$\begin{array}{c}R=\left(r_4^2-{\left(r_x,r_y,r_z\right)}^i\left(r_x,r_y,r_z\right)\right)I\\ +2\left(r_x,r_y,r_z\right){\left(r_x,r_y,r_z\right)}^i+2r_{4}K\left(r_x,r_y,r_z\right)\end{array}$

其中，I表示单位矩阵， $K\left(R\right)=\left[\begin{array}{ccc}0& -r_z& r_y\\ r_z& 0& -r_x\\ -r_y& r_x& 0\end{array}\right]$ 表示变形；

进一步，将旋转和平移写成如下形式：

R＝W(r)ⁱQ(r)，T＝W(r)ⁱs

其中， $s=\left[\begin{array}{c}(d/2)cos(\mathrm{\θ}/2)n+sin(\mathrm{\θ}/2)(X_j\×n)\\ -(d/2)\sin (\mathrm{\θ}/2)\end{array}\right],$ $r=\left[\begin{array}{c}sin(\mathrm{\θ}/2)n\\ cos(\mathrm{\θ}/2)\end{array}\right],$ $W\left(r\right)=\left[\begin{array}{cc}{r}_{4}I-K\left(R\right)& R\\ -R^i& r_4\end{array}\right],$ $Q\left(r\right)=\left[\begin{array}{cc}{r}_{4}I+K\left(R\right)& R\\ -R^i& r_4\end{array}\right],$ d为坐标系X′Y′Z′和X″Y″Z″的原点在世界坐标系下的距离，n为旋转轴的单位方向向量，θ为点{X_j}在沿着向量n的旋转角度；

因此，将目标函数式(1)写成下式：

$E_{3D}(m,T,R)=\underset{j=1}{\overset{J}{\Σ}}\underset{k=1}{\overset{K}{\Σ}}{m}_{jk}\left|\right|W{\left(r\right)}^{i}Q\left(r\right)x_j+W{\left(r\right)}^{i}s-y_k|{|}^2-\mathrm{\α}\underset{j=1}{\overset{J}{\Σ}}\underset{k=1}{\overset{K}{\Σ}}{m}_{jk}---\left(2\right)$

式(2)中，x_j＝(X_j,0)ⁱ，y_k＝(Y_k,0)ⁱ分别表示式(1)中的点X_j和Y_k；利用矩阵变换的性质，目标函数式(2)写成下式：

E_3D＝rⁱC₁r+sⁱC₂s+sⁱC₃r+λ₁(rⁱr-1)+λ₂(sⁱr)(3)

其中： $C_1=-\underset{j=1}{\overset{J}{\Σ}}\underset{k=1}{\overset{K}{\Σ}}{m}_{jk}Q{\left(y_k\right)}^{i}W\left(x_j\right),$ $C_2=\frac{1}{2}\underset{j=1}{\overset{J}{\Σ}}\underset{k=1}{\overset{K}{\Σ}}{m}_{jk}I,$ $C_3=\underset{j=1}{\overset{J}{\Σ}}\underset{k=1}{\overset{K}{\Σ}}{m}_{jk}\left(W\left(x_j\right)-Q\left(y_k\right)\right),$ λ₁，λ₂为拉格朗日乘数；

式(3)中的对应矩阵m_jk有三种取值：第一种，m_jk＝1，表示三维点云{X_j}中的一个点与三维点云{Y_k}中最多只有1个点是完全匹配；第二种，0＜m_jk＜1，表示三维点云{X_j}中的一个点与三维点云{Y_k}中的点是部分匹配；第三种，m_jk＝0，表示三维点云{X_j}中的一个点与三维点云{Y_k}中的点是空匹配；

目标函数式(3)的对应矩阵m中每个m_jk值的过程如下：

步骤一：通过对矩阵m进行初始化；

步骤二：对目标函数式(3)中的矩阵m进行归一化处理，得到新的矩阵m；

步骤三：将步骤二中得到的新的矩阵m代入到目标函数式(3)中，对目标函数式(3)中的参数r、s、λ₁和λ₂求偏导数，得到r、s、λ₁和λ₂的新值，并将r、s、λ₁和λ₂的新值代入到目标函数式(3)中；

步骤四：重复进行步骤二～步骤三，直到对应矩阵m中的元素m_jk＝1或m_jk＝0，即此时对应矩阵m中只有完全匹配和空匹配，已经没有了部分匹配；因此，对应矩阵m完成了两组三维点云的匹配。

2.根据权利要求1所述的一种三维点云匹配方法，其特征在于：

步骤一的具体实现方式为：按照均匀分布U[2.5,7.5]给定T＝(t_x,t_y,t_z)的值，按照均匀分布U[20,70]给定R的值，再使用对矩阵m进行初始化。

3.根据权利要求1所述的一种三维点云匹配方法，其特征在于：

步骤三的具体实现方式为：将步骤二中得到的新的矩阵m代入到目标函数式(3)中，对目标函数式(3)中的参数r、s、λ₁和λ₂求偏导数，得到如下方程组(4)：

$\left\{\begin{array}{c}\frac{\∂E_{3D}}{\∂r}=0\\ \frac{\∂E_{3D}}{\∂s}=0\\ \frac{\∂E_{3D}}{\∂{\mathrm{\λ}}_1}=0\\ \frac{\∂E_{3D}}{\∂{\mathrm{\λ}}_2}=0\end{array}\right.---\left(4\right)$

这是关于参数r、s、λ₁和λ₂的方程组，解该方程组(4)得到r、s、λ₁和λ₂的新值，并将r、s、λ₁和λ₂的新值代入到目标函数式(3)中。