CN103236081B - 一种彩色点云的配准方法 - Google Patents

Abstract

本发明公开了一种彩色点云的配准方法，包括五个步骤。第一步：获取待配准的两幅图像Ｍ、Ｎ各自的点集m_i、n_j，所述点集包含几何信息和纹理信息；第二步：根据点集m_i、n_j的几何信息计算得到所述图像Ｍ、Ｎ初步对应点集；第三步：根据步骤Ｂ计算得到的初步对应点集，利用几何、纹理信息，计算图像Ｍ、Ｎ最终对应点集{C₁}、{C₂}；第四步：利用{C₁},{C₂}计算得出待配准图像Ｍ、Ｎ对应的旋转矩阵与平移向量；第五步.在对所有待配准图像进行上述步骤的两两配准后，同时利用几何、纹理信息计算残差，最终得到各幅图像对应的变换参数。本发明在配准过程中同时利用了彩色点云中的几何及纹理信息，具有效率高，配准精度好的优点。

Description

一种彩色点云的配准方法

技术领域：

本发明涉及利用点云所构成的深度图像进行三维重建的领域，具体涉及一种一种彩色点云的配准方法。

背景技术：

利用点云所构成的深度图像进行三维重建是计算机视觉中的一个重要研究方向，在诸如虚拟现实、医学成像、逆向工程、文物保护、机器人技术等领域有着广泛的应用。现在的图像获取设备能同时扫描获取物体的深度信息与纹理信息，重建包含纹理信息的三维模型逐渐成为三维建模领域新的研究方向，目前这一领域应用的技术主要是ICP（IterativeClosestPoint,最近迭代法），色彩-最近迭代（Color_ICP），几何包含纹理-最近迭代（ICP_GCT）方法。

ICP是采用迭代方法进行计算机视觉中三维点集数据的精确拼合，通过不断迭代最小化源数据与目标数据对应点来达到图像配准的目的，这种方法的运行效率较低。

色彩-最近迭代（Color_ICP）法在具体的参数尺度量化设定方面有较大的困难，比如：当几何信息的分辨率为厘米，RGB纹理信息量化到[0,1]时，计算得到的两点距离纹理信息的影响过小；反之，如果几何信息的分辨率为毫米，而纹理信息量化到[0,255]时，纹理信息的影响又过大。没有一个规则化的方法来统一量化尺度以达到较好的效果。其次，在如何选择权重参数的问题上，目前也没有比较系统的方法证明，一般都是根据具体的待配准图像和经验来设置。

几何包含纹理-最近迭代（ICP_GCT）法分别计算深度图像的几何信息与纹理信息，将几何信息用于两幅待配准图像的匹配点集搜索，而纹理信息则被单独用于移除错误匹配点集。由于分开利用纹理以及几何信息，ICP_GCT能有效地提高算法效率，但在移除错误匹配点对时，该法只利用了纹理信息，导致对于表面纹理简单、色调变化小的模型，可能存在大量的错误匹配点对被带入计算，从而使得配准误差增大。

因此有必要探索一种效率高，且配准效果好的方法。

发明内容:

本发明阐述了一种配准多视角深度图像的方法。在传统ICP法以及Color_ICP、ICP_GCT法的基础上，将纹理信息用于匹配点的搜索阶段，解决了上述算法存在的问题。因此，本发明提出了一种彩色点云的配准方法，包含以下步骤：

步骤Ａ：获取待配准的两幅图像Ｍ、Ｎ各自的点集m_i={v_i1,v_i2,v_i3,R_i1,G_i2,B_i3}、n_j={v_j1,v_j2,v_j3,R_j1,G_j2,B_j3}，所述点集包含几何信息和纹理信息；

步骤Ｂ：将所述点集m_i、n_j的纹理信息转转化至YIQ色彩空间，每个顶点对应的I值和Q值被量化到[0,100]根据点集m_i、n_j的几何信息计算得到所述图像Ｍ、Ｎ初步对应点集；

步骤Ｃ：利用所述初步对应点集中各个点的几何、纹理信息，计算图像Ｍ、Ｎ最终对应点集{C₁}、{C₂}，采用的是方法是：

设图像M,N的初步对应点集中对应两点为P_i、P_j，计算所述两点的欧式距离d和纹理距离当d或大于阈值设定时，相应点对作为错误匹配点予以移除，阈值设为所有对应点d和的均值；其中纹理距离中C的计算式为

C=α₁(c_i1-c_j1)²+α₂(c_i2-c_j2)²+α₃(c_i3-c_j3)²

其中α₁、α₂、α₃为权重参数，式子右边的c表示单个点的纹理信息值，所述纹理信息值根据所取色彩空间不同而不同。

步骤Ｄ：利用最终对应点集{C₁}、{C₂}计算得出待配准图像Ｍ、Ｎ对应的旋转矩阵与平移向量，完成所述图像Ｍ、Ｎ的两两配准；步骤Ｅ：在对所有待配准图像进行上述步骤的两两配准后，同时利用几何、纹理信息计算残差，残差的计算公式是：

$r_i^{\mathrm{\μ}}={\left|\right|(R^{\mathrm{\α}\left(\mathrm{\μ}\right)}{x}_i^{\mathrm{\μ}}+T^{\mathrm{\α}\left(\mathrm{\μ}\right)},c_{\mathrm{xi}})-(R^{\mathrm{\β}\left(\mathrm{\μ}\right)}{y}_i^{\mathrm{\μ}}+T^{\mathrm{\β}\left(\mathrm{\μ}\right)},c_{\mathrm{yi}})\left|\right|}^2$

其中，对每一个几何坐标对应点对{x_i,y_i}是所取点的几何坐标；C_xi、C_yi是所述点的对应的纹理信息值；R是旋转矩阵，T是平移向量；μ是重叠区域的数字编号；α(μ)、β(μ)是μ对应的两幅图像的数字编号。

再利用最小二乘法迭代法计算得到各幅图像对应的变换参数，完成全局配准。

本发明提供了在配准过程中，同时利用了图像的几何和纹理信息，计算所有待配准图像的重叠区域，两两配准阶段将纹理信息用于初选两幅图像的匹配点对，在全局配准阶段将纹理信息用于计算残差。采用本发明，配准效率和精确度上都有明显提高,能从多个视角得到一个完整的包含纹理的三维模型。

附图说明：

图1是多视重叠情况示意图。

具体实施方式：

在阐述本发明之前，先对以下术语进行说明：

RGB：代表RGB色彩模式。RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，

YIQ色彩空间：通常被北美的电视系统所采用，属于NTSC（NationalTelevisionStandardsCommittee）系统。在YIQ系统中，Y分量代表图像的亮度信息，I、Q两个分量则携带颜色信息，I分量代表从橙色到青色的颜色变化，而Q分量则代表从紫色到黄绿色的颜色变化。

本发明提出了一种基于深度图像的三维配准方法，主要分为两个步骤：两两配准、全局配准。与现有配准方法的区别点是，本发明在配准过程中同时利用了彩色点云中的几何及纹理信息。

两两配准阶段将纹理信息用于初选两幅图像的匹配点对，在全局配准阶段将纹理信息用于计算残差，并据此更新对应点对的权重值用于下一次迭代计算。下面对本方法的步骤进行详细说明。

步骤一：两两配准

考虑两幅深度图像M={m_i,i=1,2,…,m}、N={n_j,j=1,2,…,n}，在现有技术中，对于M中的每一点m_i，在查找最近点，会对N中的所有点进行一次计算，再取最小值作为最近匹配点。在考虑纹理信息的情况下，这显然是不必要的，原因是：两个视角的深度图像，如果具有重叠区域，在光照影响较小的情况下，对应的几何点必定具有相同或相似的纹理信息（例如：点m_i位于图像M中红色纹理的区域，那么其在图像N中的对应点也必定位于红色纹理区域，而不可能位于蓝色纹理区域），因此，在为点m_i选择图像N中的最近点时，在不考虑光照的情况下，可以不将与m_i点具有较大纹理差别的点纳入考虑，这样可以有效地提高匹配精度并减少运算复杂度，将纹理信息转换至YIQ空间，不考虑Y值以移除光照影响。

本发明此步具体描述如下：

a.给定两幅深度图像M,N，其点集分别为m_i={v_i1,v_i2,v_i3,R_i1,G_i2,B_i3}和n_j={v_j1,v_j2,v_j3,R_j1,G_j2,B_j3}，其中v和{R,G,B}分别表示几何信息以及纹理R,G,B值。根据公式(1)将纹理信息转换至YIQ色彩空间。为了移除光照影响，YIQ色彩空间中的Y值在接下来不纳入考虑，然后，将每个顶点对应的I值按如下公式(2)量化到[0,100]。

$\left\{\begin{array}{c}I=\mathrm{Round}\left(\begin{array}{c}\frac{100}{I_{\max }-I_{\min }}*I\\ -\frac{100}{I_{\max }-I_{\min }}*I_{\min }\end{array}\right)\\ Q=\mathrm{Round}\left(\begin{array}{c}\frac{100}{Q_{\max }-Q_{\min }}*Q-\\ \frac{100}{Q_{\max }-Q_{\min }}*Q_{\min }\end{array}\right)\end{array}\right.---\left(2\right)$

当然，只要能移除亮度因子,也可以将RGB纹理信息转换至其它色彩空间。

b.对图像M中的一点m_i，设其经过步骤a转换后的I,Q值为I_i,Q_i，查找N中与其具有相同I,Q值的点集N＇，利用m_i和n_j中点的几何信息按公式(3)计算欧氏距离d:

$d=\sqrt{{(v_{i1}-v_{j1})}^2+{(v_{i2}-v_{j2})}^2+{(v_{i3}-v_{j3})}^2}---\left(3\right)$

使d取得最小值的点p_j为点m_i在图像N中的最近对应点。假设图像M、N的初步对应点集为{D₁}、{D₂}。由于现实中要受到光照因素的影响，点集{D₁}、{D₂}存在一定的误差。

c.按公式(3)和(4)计算点集{D₁}、{D₂}对应点对的欧氏距离d和纹理距离。其中根号里的C指的是公式（4）左边的C；公式（4）右边的c表示单个点的纹理信息值，所述纹理信息值根据所取色彩空间的不同而不同。

C=α₁(c_i1-c_j1)²+α₂(c_i2-c_j2)²+α₃(c_i3-c_j3)²(4)

当d或大于阈值设定时，相应点对作为错误匹配点予以移除,得到最终对应点集{C₁},{C₂}，阈值设为所有最近点对欧氏距离d和的均值。

其中，α₁、α₂、α₃为权重参数，当纹理信息用RGB空间描述时，一般取

α₁=α₂=α₃=1。

d.利用最终的对应点集{C₁},{C₂}，按照SVD（SingularValueDecomposition,奇异值分解法）方法计算R,T值，得到最后的配准结果。其中R,T分别表示旋转矩阵与平移向量。

步骤二：全局配准

在配准前，先建立一个多视序号查找表。列出每个不同视角图各自的重叠区域，并编号，方便计算机进行查找。现举例说明。

如图1所示，是多视重叠示意图，其中V1，V2，V3分别表示三个视角图像，S1、S2分别是V1与V2、V2与V3的重叠区域。预先建立了一个多视序号查找表1。假定一个参数μ初始值为0，当两幅图有重叠区域，则μ=μ+1。当发现图1中第一个重叠区域S1，则μ=μ+1，即μ=1,将V1与V2两幅图像序号分别赋值给α(μ)，β(μ)，即α(μ)=1,β(μ)=2。接着发现第二个重叠区域S2，则μ=μ+1，即μ=2，将V2与V3两幅图像序号分别赋值给α(μ),β(μ)，即α(μ)=2,β(μ)=3……依次类推,由此可建立多视序号查找表。图1所示例子可建立查找表为：

表1多视序号查找表

现考虑多幅图的情况：设有k副待配准图像以I_j表示，j=1,2,…,k。查找的过程可以用类似下列的循环式来表示：

Initialize:μ=0;

Fori=1:k-1

Forj=i+1:k

1.计算I_i与I_j是否存在重叠区域，若存在，μ=μ+1，α(μ)=i,β(μ)=j;

2.按照本发明前述方法进行两两配准，计算得到初始变换参数R,T；

EndFor

EndFor

记所有重合区域的数目为P，即μ=1,2,...,P，第μ个重合区域中匹配点的数目为N^μ，考虑对应点集中的几何信息，则全局配准的目标在于找出每个视所对应的R,T，使得公式(5)取得最小值：

$\mathrm{\Φ}=\underset{\mathrm{\μ}=1}{\overset{P}{\mathrm{\Σ}}}\underset{i=1}{\overset{N^{\mathrm{\μ}}}{\mathrm{\Σ}}}{\mathrm{\ω}}_i^{\text{\μ}}{\left|\right|(R^{\mathrm{\α}\left(\mathrm{\μ}\right)}{x}_i^{\mathrm{\μ}}+T^{\mathrm{\α}\left(\mathrm{\μ}\right)})-(R^{\mathrm{\β}\left(\mathrm{\μ}\right)}{y}_i^{\mathrm{\μ}}+T^{\mathrm{\β}\left(\mathrm{\μ}\right)})\left|\right|}^2---\left(5\right)$

在本发明中，ω_i被初始化为1，在每次迭代计算后，重新估计ω_i的值，对残差较小的点对，可以认为是高可信度的，而对残差较大的则予以移除。

对每一个几何坐标对应点对{x_i,y_i}，C_xi,C_yi是对应的纹理信息值，利用公式（6），通过几何、纹理距离计算残差。

$r_i^{\mathrm{\μ}}={\left|\right|(R^{\mathrm{\α}\left(\mathrm{\μ}\right)}{x}_i^{\mathrm{\μ}}+T^{\mathrm{\α}\left(\mathrm{\μ}\right)},c_{\mathrm{xi}})-(R^{\mathrm{\β}\left(\mathrm{\μ}\right)}{y}_i^{\mathrm{\μ}}+T^{\mathrm{\β}\left(\mathrm{\μ}\right)},c_{\mathrm{yi}})\left|\right|}^2---\left(6\right)$

通过M-估计算法逐次迭代更新ω_i的值直到算法收敛。本发明中，利用各几何顶点的纹理信息，按下述方法初始化ω_i(公式7)：

${\mathrm{\ω}}_i=\left\{\begin{array}{cc}{[1-{\left(\frac{r_i^{\mathrm{\μ}}}{C_B\widehat{\mathrm{\σ}}}\right)}^2]}^2& \left|r_i^{\mathrm{\μ}}\right|\≤C_B\widehat{\mathrm{\σ}}\\ 0& \left|r_i^{\mathrm{\μ}}\right|>C_B\widehat{\mathrm{\σ}}\end{array}\right.---\left(7\right)$

其中由公式(8)计算得到，C_B取值为2。

$\widehat{\mathrm{\σ}}=1.4826\mathrm{med}|r_i-{\mathrm{medr}}_i|---\left(8\right)$

具体实施步骤如下：

a.计算获取所有重叠区域，得到相应的μ,α(μ),β(μ)。

b.对每两幅有重叠区域的图像，进行两两配准，并以得到的R,T对相应的图像集合坐标进行转换。

c.进过两两配准后，根据μ,α(μ),β(μ)所建立的查找表，最小化公式(5)，得到每幅图像对应的R,T值。

d.更新几何坐标值和权重值ω_i，重复c步骤直到达到预设迭代次数。其中预设的迭代次数根据图像不同而不同，一般为十次左右。

经本发明配准方法配准后最终得到的模型四周及局部区域取得了良好的配准效果。

本发明提供了一种从多视彩色点云重建三维模型的方法，在配准过程中，同时考虑了图像的几何和纹理信息，计算所有待配准图像的重叠区域，同时调整图像的几何信息和重叠区域的纹理。本发明在效率上要优于Color_ICP以及ICP法；从最终重建效果来看，对于表面纹理较为简单、色调变化不多的模型，本发明要明显优于Color_ICP以及ICP_GCT法，能从多个视角得到一个完整的包含纹理的三维模型。

Claims (8)

1.一种彩色点云的配准方法,其特征在于，包括以下步骤：

步骤A：获取待配准的两幅图像M、N各自的点集m_i＝{v_i1,v_i2,v_i3,R_i1,G_i2,B_i3}、n_j＝{v_j1,v_j2,v_j3,R_j1,G_j2,B_j3}，所述点集包含几何信息和纹理信息；

步骤B：根据点集m_i、n_j的几何信息计算得到所述图像M、N初步对应点集；步骤C：利用所述初步对应点集中各个点的几何、纹理信息，计算图像M、N最终对应点集{C₁}、{C₂}；

具体为：

设图像M,N的初步对应点集中对应两点为P_i、P_j，计算所述两点的欧式距离d和纹理距离当d或大于设定的阈值时，相应点对作为错误匹配点予以移除，阈值设为所有对应点欧氏距离d的均值和纹理距离的均值；其中纹理距离中C的计算式为

C＝α₁(C_i1-C_j1)²+α₂(C_i2-C_j3)²+α₃(C_i3-C_j3)²

其中，α₁、α₂、α₃为权重参数，式子右边的C_i1、C_j1、C_i2、C_j2、C_i3、C_j3表示单个点的纹理信息值，所述纹理信息值根据所取色彩空间不同而不同；移除了错误匹配点的初步对应点集为最终对应点集{C₁}、{C₂}；

步骤D：利用最终对应点集{C₁}、{C₂}计算得出待配准图像M、N对应的旋转矩阵与平移向量，完成所述图像M、N的配准；

步骤E：在对所有待配准图像进行上述步骤的两两配准后，同时利用几何、纹理信息计算残差，并计算得到各幅图像对应的变换参数。

2.根据权利要求1所述的一种彩色点云的配准方法,其特征在于，所述点集m_i、n_j的纹理信息需要转换至具有亮度因子的色彩空间，移除亮度因子。

3.根据权利要求2所述的一种彩色点云的配准方法,其特征在于，所述具有亮度因子的色彩空间为YIQ色彩空间。

4.根据权利要求3所述的一种彩色点云的配准方法,其特征在于，所述点集m_i、n_j在转化至YIQ色彩空间后，每个顶点对应的I值和Q值被量化到[0,100]。

5.根据权利要求3所述的一种彩色点云的配准方法,其特征在于，得到所述图像M、N初步对应点集的方法是：

对图像M中的一点m_i，设其转换至YIQ色彩空间的I,Q值为I_i,Q_i，查找图像N中与所述点m_i具有相同I,Q的点集N＇，利用m_i和N＇中点的几何信息计算欧氏距离,点集N＇中与点m_i欧式距离最小的点为点m_i在图像N中的最近对应点。

6.根据权利要求1所述的一种彩色点云的配准方法,其特征在于，当纹理信息用RGB空间描述时，所述权重参数α₁＝α₂＝α₃＝1。

7.根据权利要求1所述的一种彩色点云的配准方法,其特征在于，所述步骤E中同时利用几何、纹理信息计算残差的计算公式是：

r_i ^μ＝||(R^α(μ)X_i ^μ+T^α(μ),C_Xi)-(R^β(μ)y_i ^μ+T^β(μ),C_yi)||²

其中，对每一个几何坐标对应点对,{x_i,y_i}是所取点的几何坐标；C_xi、C_yi是对应的纹理信息值；R是旋转矩阵，T是平移向量；μ是重叠区域的数字编号；α(μ)、β(μ)是μ对应的两副图像的数字编号，R^α(μ)、R^β(μ)分别是数字编号为α(μ)、β(μ)的图像的旋转矩阵，T^α(μ)、T^β(μ)分别是数字编号为α(μ)、β(μ)的图像的平移向量，x_i ^μ.及y_i ^μ是代表数字标号为μ的重叠区域内所取点的几何坐标。

8.根据权利要求1所述的一种彩色点云的配准方法,其特征在于，所述步骤E中采用最小二乘迭代法计算得到各幅图像对应的变换参数。