CN100468457C - 一种深度像匹配方法 - Google Patents

Abstract

本发明公开了一种深度像匹配方法，包括如下步骤：选取三维物体的两个视场的深度像和纹理图，并分别得到两个视场的深度像和纹理图的对应关系；在所述两个视场的纹理图中选取纹理特征点对集；根据所述深度像和纹理图的对应关系和所述纹理特征点对集获得与所述纹理特征点对集相对应的深度点对集，并根据深度点对集计算出旋转矩阵和平移矩阵。本发明完全利用纹理信息来求得旋转矩阵和平移矩阵，得到深度像的粗匹配。由于纹理特征容易识别、受噪声影响小，计算简便，所以本发明的深度像匹配方法对噪声不敏感，计算简便。

Description

一种深度像匹配方法

技术领域

本发明涉及三维数字化成像及造型，尤其涉及一种深度像匹配方法。

背景技术

实体的三维数字化成像及造型在计算机视觉、模式识别、三维动画等领域具有重要的研究和应用价值。一般来说，真实感的三维造型包括以下4个主要步骤：(1)不同视场下深度像和纹理图的采集。其中，纹理图即通常所说的光学图像，每个像素的值表示物体表面各点反射光的强度。深度像(Range Image)与光学图像不同，深度像中每个像素的值不是表示物体表面各点反射光的强度，而是物体各点离传感器的距离。通常三维测量系统通过一个图像传感器来采集三维物体信息，单个视场只能采集到物体一个角度的信息，所以需要在多个视场下采集。(2)不同视场的深度像的空间匹配。(3)匹配好的深度像的融合。(4)纹理图的合成和纹理映射关系的确定。其中，深度像的匹配是三维造型的关键，它直接影响了深度像融合结果的质量和精度。

现有的、应用较广泛的深度像匹配方法是迭代最近点(ICP)算法。该算法由需要估计两个深度像的初始位置，以作为迭代的初值。在每次迭代过程中寻找两个深度像中的对应点对，即寻找最近欧氏距离点，通过最小化对应点间的平均距离来获得两个深度像的相对位置变换。该算法的不足之处是需要给出两个深度像的初始位置估计，并且容易陷入局部最优。

深度像的粗匹配就是得到两个深度像的初始位置估计。目前深度像粗匹配的方法大致可分为三类：(1)基于特殊的测量设备。如用机械手臂来控制被测物体的旋转平移。虽然这类方法可以给出高精度的初值，但精密的测量设备价格昂贵，而且应用中需要反复调试。(2)人机交互。这类方法通过人工来找到深度像上的对应点对，计算初始的位置转换。该类方法比较繁冗耗时，而且视觉误差和手动操作均会影响结果的精确性。(3)基于几何特征的方法。此方法通常是利用不同深度像上对应的特征点或特征区域，来估计深度像的位置变换关系。该方法对于形状较复杂的自由曲面显示了其优越性。然而，对于形状比较规则或对称的物体，基于几何特征的粗匹配，特征识别比较困难，而且算法容易陷入局部最优。此外，在实际三维测量中采集到的三维深度数据往往存在较多的几何噪声，而这些几何噪声很大程度上影响几何特征的识别。

因此，研究人员开始尝试结合纹理特征来进行深度像的匹配。经检索发现，在1999年渥太华(Ottawa)召开的“三维数字成像及造型国际会议”(“International Conference on 3D Digital Imaging and Modeling”)上有一篇文章“两幅深度数据的匹配”(“Registering two overlapping range images”)阐述了一种结合几何与纹理信息的粗匹配方法：首先提取纹理图上的哈里斯(Harris)角点，寻找Harris角点对应的深度像上的点，然后将这些深度点三角化，通过匹配三角形来估计初始变换矩阵。该方法仅仅利用纹理图的Harris角点来寻找特征点，其匹配关系还是通过几何特征来完成的，并没有应用纹理信息找匹配关系。

发明内容

本发明就是为了克服以上的不足，提出了一种深度像匹配方法，该方法真正结合纹理信息，受噪声影响小。

本发明的技术问题通过以下的技术方案予以解决：一种深度像匹配方法，其特征在于：包括如下步骤：选取三维物体的两个视场的深度像和纹理图，并分别得到两个视场的深度像和纹理图的对应关系；在所述两个视场的纹理图中选取纹理特征点对集，选取纹理特征点对集的方法为：在一个纹理图中选择第一纹理特征点集，再利用图像的相关性，在另一纹理图中找到与第一纹理特征点集相对应的第二纹理特征点集；判断所述选取的纹理特征点对集中的纹理特征点对的有效性，删除无效点对；根据所述深度像和纹理图的对应关系和有效的纹理特征点对集获得与所述纹理特征点对集相对应的深度点对集，并根据深度点对集计算出旋转矩阵和平移矩阵；利用所述旋转矩阵和平移矩阵作为迭代最近点算法的初值来迭代求解两个深度像的精匹配。

本发明的技术问题通过以下的技术方案进一步予以解决：

所述第一纹理特征点集满足如下条件：所述第一纹理特征点集中的特征点为两个纹理图共有；所述第一纹理特征点集中每个点的局部灰度梯度最大。

判断所述纹理特征点对的有效性的方法如下：分别对以第一、二纹理特征点集中的特征点为中心大小相同的矩形邻域进行边缘提取，获得所有的边缘点组成的集合并计算它们的Hausdorff距离，如果所述纹理特征点对的Hausdorff距离大于预设值，则所述纹理特征点对无效。

本发明与现有技术对比的有益效果是：

本发明完全利用纹理信息来求得旋转矩阵和平移矩阵，得到深度像的粗匹配。由于纹理特征容易识别、受噪声影响小，计算简便，所以本发明的深度像匹配方法对噪声不敏感，计算简便。

本发明还利用带纹理的ICP算法进行深度像的精匹配，可以处理形状规则对称物体的深度像匹配和自由曲面物体在不同视角深度像的匹配，避免陷入局部最优。

附图说明

图1是本发明一种具体实施方式的流程图；

图2a是本发明具体实施方式一所采集的第一纹理图；

图2b是本发明具体实施方式一所采集的第二纹理图；

图3a是本发明具体实施方式一所采集的第一深度像；

图3b是本发明具体实施方式一所采集的第二深度像；

图4是本发明具体实施方式一的第一纹理图和第二纹理图的矩形重合区域的示意图；

图5是本发明具体实施方式一对矩形重合区域进行边缘提取后的示意图；

图6a是本发明具体实施方式一的第一纹理特征点的示意图；

图6b是本发明具体实施方式一的第二纹理特征点的示意图；

图7是本发明具体实施方式一的深度像精匹配后的效果示意图；

图8a是本发明具体实施方式二所采集的第一纹理图；

图8b是本发明具体实施方式二所采集的第二纹理图；

图9a是本发明具体实施方式二所采集的第一深度像；

图9b是本发明具体实施方式二所采集的第二深度像；

图10a是本发明具体实施方式二的第一纹理特征点的示意图；

图10b是本发明具体实施方式二的第二纹理特征点的示意图；

图11是本发明具体实施方式二的深度像精匹配后的效果示意图；

具体实施方式

如图1所示，一种深度像匹配方法，包括如下步骤：

第一步：获取两个视场的深度像和纹理图，并得到所述两个视场的深度像和纹理图的相对应关系。

利用可同时采集深度像和纹理图的三维数字化系统从两个视场分别采集了待匹配物的第一深度像P₁、第二深度像P₂和第一纹理图T₁、第二纹理图T₂。对于可同时采集深度像和纹理图的系统，其深度像和纹理图的对应关系很容易得到；例如采用三维数字化系统利用同一个电荷藕合器件(Charge Coupled Device，简称CCD)图像传感器同时采集深度像和纹理图。采集到的深度像和纹理图分辨率相同，而且深度像的深度数据点与纹理图的纹理坐标点一一对应。即存在从三维到二维(3D→2D)的映射Γ₁和Γ₂，使得Γ₁(P₁)＝T₁，Γ₂(P₂)＝T₂。其对应关系可以通过一个索引表来表达，该索引表类似纹理映射，例如：对于第一深度像P₁中一点p_i对应一个纹理坐标(u_i，v_i)。

而对于不能同时采集深度像和纹理图的激光点扫描或线扫描的三角测量系统等，深度像和纹理图的对应关系可通过摄像机标定技术获得。即假设：采集到两个视场的深度像，即第一深度像P₁、第二深度像P₂；和两个视场的纹理图，即第一纹理图T₁、第二纹理图T₂，则第一深度像P₁和第一纹理图T₁之间及其第二深度像P₂和第二纹理图T₂之间，可通过摄像机标定找到两者对应关系。即存在从三维到二维(3D→2D)的第一映射Γ₁和第二映射Γ₂，使得Γ₁(P₁)＝T₁，Γ₂(P₂)＝T₂。

所述两个视场为视场角不同的、但有部分重叠区域的视场。所述两个视场的夹角优选小于60度。

第二步：在所述两个视场的纹理图中选取纹理特征点对集；即先在第一纹理图T₁中选择第一纹理特征点集S¹，再利用图像的相关性在第二纹理图T₂中选取与第一纹理特征点集S¹相对应的第二纹理特征点集S²，从而形成在两个深度像所对应的纹理图中的纹理特征点对集(S¹，S²)。具体包括如下步骤：a)在第一纹理图T₁中，选择第一纹理特征点集 $S^1=\{s_1^1,s_2^1,\·\·\·s_n^1|s_i^1\∈T_1\},$ 其中 $s_i^1=(u_i^1,v_i^1)$ 为纹理图T₁的一个像素点。

第一纹理特征点集S¹需要满足以下两个条件：(1)第一纹理特征点集S¹中的特征点为第一纹理图T₁和第二纹理图T₂共有，即落在第一纹理图T₁和第二纹理图T₂的重叠区域内；(2)第一纹理特征点集S¹中每个点

邻域内的纹理变化大，即局部灰度梯度最大。

所以，第一纹理特征点集S¹的选择方法如下：在第一纹理图T₁中选择出第一纹理图T₁和第二纹理图T₂的矩形重合区域R。为了保证第一纹理特征点

在矩形重合区域R上均匀分布，对矩形重合区域R进行一次高斯滤波，并应用索贝尔(Sobel)算子进行边缘提取。将矩形重合区域R划分为均匀的l个单元。对每个单元进行逐行扫描，定义扫描到的第一个边缘点为该单元的纹理特征点。这样就可以得到第一纹理图T₁上的第一纹理特征点集 $S^1=\{s_1^1,s_2^1,\·\·\·s_n^1|s_i^1\∈T_1\},$ 其中(n≤l)。

b)利用图像的相关性原理，在第二纹理图T₂中找到与第一纹理特征点集S¹相对应的纹理特征点集 $S^2=\{s_1^2,s_2^2,\·\·\·s_n^2|s_i^2\∈T_2\},$ 其中

与

相对应；

以第一纹理特征点集S¹中的一个纹理特征点

为例，在第一纹理图T₁中，选取以像素点为中心的一个矩形邻域优选矩形邻域

大小为40×40像素，利用图像的相关性在T₂中逐行寻找与之相关性最大的区域

的中心点

即为

的对应点。

其中，所述图像相关性的定义如下：设参考图像

大小为m×n，目标图像T₂大小为M×N，其中M>m，N>n。与

相对应的图像区域为

(i，j)代表

中心像素点的坐标，则归一化的相关函数为：

$r(i,j)=\frac{\underset{k=1}{\overset{m}{\mathrm{\Σ}}}\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{T}_2^{(i,j)}(k,l)D_i^1(k,l)}{\sqrt{\underset{k=1}{\overset{m}{\mathrm{\Σ}}}\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{\left[T_2^{(i,j)}(k,l)\right]}^2}\·\sqrt{\underset{k=1}{\overset{m}{\mathrm{\Σ}}}\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{\left[D_i^1(k,l)\right]}^2}},$

对第一纹理特征点集S¹中的每个特征点分别求其邻域块

与T₂的归一化相关值，取r(i，j)最大值对应的(i，j)为

像素点的坐标。这样，得到与第一纹理特征点集S¹相对应的第二纹理特征点集S²，

第三步：判断第一纹理特征点集S¹与第二纹理特征点集S²中相对应点对

的有效性，删除无效点对。

判断S¹与S²中相对应点对

的有效性的一种方法如下：

首先，分别对以

为中心大小相同的矩形邻域

进行边缘提取，并定义

和

中所有的边缘点组成的集合为A₁，A₂，然后计算它们的豪斯多夫(Hausdorff)距离H(A₁，A₂)。若H(A₁，A₂)>h，其中h是预先设定的阈值( $h\≈\frac{1}{3}\max (a,b),$ a，b分别为

的长和宽)，则认为该点对

无效。其中，Hausdorff距离定义如下：

H(A₁，A₂)＝max(h(A₁，A₂)，h(A₂，A₁))

$h(A_1,A_2)=\underset{a\∈A_1}{\max }\underset{b\∈A_2}{\min }\left|\right|a-b\left|\right|,$ $h(A_2,A_1)=\underset{b\∈A_2}{\max }\underset{a\∈A_1}{\min }\left|\right|b-a\left|\right|.$

‖·‖定义为点集A₁、A₂间的欧氏距离。

显然，也可以通过点对的相关系数来判断点对的有效性。

第四步：根据第一映射Γ₁和第二映射Γ₂，得到与有效的第一纹理特征点集S¹、第二纹理特征点集S²所对应的第一深度点集V¹和第二深度点集V²：

$V^1=\{v_1^1,v_2^1,\·\·\·v_m^1|v_i^1\∈P_1\}=\{{\mathrm{\Γ}}_1^{-1}\left(s_1^1\right),{\mathrm{\Γ}}_1^{-1}\left(s_2^1\right),\·\·\·{\mathrm{\Γ}}_1^{-1}\left(s_m^1\right)|s_i^1\∈T_1\},$

$=\left\{{\mathrm{\Γ}}_1^{-1}(s_1^1,s_2^1,\·\·\·s_m^1)\right|s_i^1\∈T_1\}={\mathrm{\Γ}}_1^{-1}\left(S^1\right)$

同理， $V^2=\{v_1^2,v_2^2,\·\·\·v_m^2|v_i^2\∈P_2\}={\mathrm{\Γ}}_2^{-1}\left(S^2\right),$ 其中，m为有效点对的个数，m≥3。

由于对应关系Γ₁和Γ₂是由纹理坐标的索引表来实现的，故由S¹、S²直接遍历纹理坐标的索引表很容易得到其对应的深度点集V¹和V²。

根据三维点对集V¹，V²，利用最小二乘法，通过求解下式：

$\min f(R,t)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left|\right|v_i^2-(R{v}_i^1+t)\left|\right|,$ 计算出初始的旋转矩阵R和平移矩阵t。这样就得到了深度像的粗匹配

第五步：利用带纹理的ICP算法实现两个深度像的精匹配。

以第四步所得到的旋转矩阵R和平移矩阵t作为带纹理ICP算法的初值来迭代求解两个深度像的精匹配。ICP算法由一个初始的相对位置变换开始进行迭代，在每次迭代过程中寻找两个深度像中的对应点对，通过最小化对应点间的误差函数来获得两个深度像间的新的相对位置变换，并由新的位置变换开始下一次迭代，直到收敛。传统ICP算法迭代过程中，点对的确定与误差测度的确定均是基于三维几何空间的。而本发明将三维的几何空间扩展到带纹理的六维空间，点到点之间距离函数变为六维空间中几何与纹理的混和距离函数。在ICP算法迭代的过程中，点对的确定与误差值的计算均是基于六维空间的距离函数。该距离函数定义如下：

设p¹、p²是一个对应点对，其坐标为v¹＝(x₁，y₁，z₁)、v²＝(x₂，y₂，z₂)，纹理为c¹＝(Y₁，I₁，Q₁)、c²＝(Y₂，I₂，Q₂)，则两点的距离函数为：

$d(p^1,p^2)=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2+{\mathrm{\α}}_1{(Y_1-Y_2)}^2+{\mathrm{\α}}_2{(I_1-I_2)}^2+{\mathrm{\α}}_3{(Q_1-Q_2)}^2}$ 其中(α₁，α₂，α₃)为三个系数，实验中取(0.1，1，1)，c¹、c²所在的颜色空间为YIQ空间。由于空间位置和YIQ之间的量纲存在差异，这样就可将YIQ的误差变化范围与空间位置的变化范围控制在一个水平内。

本发明仅用纹理信息来完成深度像的粗匹配，由于纹理图具有分辨率高、不受几何噪声影响等优点，使得粗匹配避免了几何特征的计算搜索的繁冗过程。在奔腾IV、主频为2.8GHz、512M内存的条件下，现有技术利用几何点的曲率和法矢等几何特征对两个5万象素左右的点云进行粗匹配耗时169秒，而本发明的方法对两个25万象素(512×512)的纹理图进行计算耗时仅7秒。

具体实施方式一

本具体实施方式的待匹配物为形状规则的花瓶，如图2a、2b、3a、3b所示，从夹角为36°的两个视场分别采集了花瓶的第一纹理图T₁、第二纹理图T₂和第一深度像P₁、第二深度像P₂。并得到第一纹理图T₁与第一深度像P₁的相对应关系和第二纹理图T₂与第二深度像P₂的相对应关系。

如图4所示，在第一纹理图T₁中选择出第一纹理图T₁和第二纹理图T₂的矩形重合区域R。如图5所示，对矩形重合区域R进行一次高斯滤波，并应用Sobel算子进行边缘提取。

如图6a所示，将矩形重合区域R划分为均匀的多个单元。对每个单元进行逐行扫描，定义扫描到的第一个边缘点为该单元的纹理特征点。这样就可以得到第一纹理图T₁上的8个第一纹理特征点，形成第一纹理特征点集 $S^1=\{s_1^1,s_2^1,\·\·\·s_n^1|s_i^1\∈T_1\}$ (n＝8)；如图6b所示，利用图像的相关性原理，在第二纹理图T₂中找到与第一纹理特征点集S¹相对应的第二纹理特征点集 $S^2=\{s_1^2,s_2^2,\·\·\·s_n^2|s_i^2\∈T_2\},$ 其中

与

相对应。第一纹理特征点集S¹和第二纹理特征点集S²的具体坐标值(单位：像素)如下：

S¹(在第一纹理图T₁中坐标)         S²(在第二纹理图T₂中坐标)

特征点对1    (287，204)               (241，203)

特征点对2    (309，239)               (253，241)

特征点对3    (270，259)               (212，259)

特征点对4    (288，299)               (218，299)

特征点对5    (294，339)               (216，339)

特征点对6    (298，399)               (216，399)

特征点对7    (279，419)               (198，418)

特征点对8    (289，459)               (211，459)

        表1

 

特征点对	1	2	3	4	5	6	7	8
									相关系数	0.9545	0.9272	0.8861	0.8259	0.8236	0.7803	0.7513	0.7365
Hausdorff距离	3.00	8.2462	2.8284	12.00	8.0623	4.4721	11.00	12.5300

上面8个特征点的Hausdorff距离都小于预设值h(13.34像素)，但为了使匹配效果更好，本具体实施方式选取相关系数最大的前5个点作为有效点对来寻找对应的深度点对。其纹理坐标为：

S¹(在第一纹理图T₁中坐标)       S²(在第二纹理图T₂中坐标)

(298，399)                          (216，399)

(279，419)                          (198，418)

(270，259)                          (212，259)

(289，459)                          (211，459)

(309，239)                          (253，241)

根据纹理图与深度像的对应关系和有效的第一纹理特征点集和第二纹理特征点集得到对应的第一深度点集V¹和第二深度点集V²。并通过求解 $\min f(R,t)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left|\right|v_i^2-(R{v}_i^1+t)\left|\right|,$ 计算出初始的旋转矩阵R和平移矩阵t。这样就得到了深度像的粗匹配。

利用上述旋转矩阵R和平移矩阵t作为带纹理ICP算法的初值来迭代即可得到两个深度像的精匹配。本具体实施方式选取相关系数最大的前5个点对来寻找对应的深度点对。由于选择的重叠区域不同，使得计算出来的纹理点对不同，从而，初始变换关系可能会存在一些差异。但是这些差异都是在ICP算法允许范围内的波动。也就是说，即使所选的重叠区域不完全一样，利用本发明的方法都可以得到比较精确的匹配结果。图7就是利用本发明的方法对深度像进行精确匹配后的结果。

具体实施方式二

本具体实施方式与具体实施方式一的不同之处在于：

本具体实施方式的待匹配物为自由曲面物体小塑胶人，从夹角30°的两个视场采集其深度数据和纹理数据，利用本发明的方法完成了深度像的匹配。图8a、8b分别是两个视场的纹理图，图9a、9b分别是两个视场的深度像。如图10a、10b所示，本具体实施方式采集了10个纹理特征点对。这些纹理特征点对的相关系数和Hausdorff距离如表2所示：

                  表2

表2中的第5、8、10个特征点对的Hausdorff距离大于阈值h(13.34像素)，认为无效。选出相关系数较大的5个值，求得旋转矩阵R和平移矩阵t，以得到深度像的粗匹配。如图11所示，再利用旋转矩阵R和平移矩阵t作为带纹理ICP算法的初值来迭代即可得到两个深度像的精匹配。

此外，从表1和表2中，可以看到相关系数普遍小于1，可以知道，由于采集设备的视场变化，即使是三维物体上同一个纹理特征在不同视场下的纹理图上不可能完全一样，而是存在一定的扭曲。现有技术通过复杂的摄像机标定技术来补偿这种扭曲，再寻找纹理的特征点对。本发明的方法不需要复杂的摄像机标定技术，而是利用Hausdorff距离来验证对应纹理点对的有效性，实验结果表明在存在图像扭曲的情况下，本发明的方法依然可以得到很好的匹配结果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (3)

1.一种深度像匹配方法，其特征在于：包括如下步骤：

选取三维物体的两个视场的深度像和纹理图，并分别得到两个视场的深度像和纹理图的对应关系；

在所述两个视场的纹理图中选取纹理特征点对集，选取纹理特征点对集的方法为：在一个纹理图中选择第一纹理特征点集，再利用图像的相关性，在另一纹理图中找到与第一纹理特征点集相对应的第二纹理特征点集；

判断所述选取的纹理特征点对集中的纹理特征点对的有效性，删除无效点对；

根据所述深度像和纹理图的对应关系和有效的纹理特征点对集获得与所述纹理特征点对集相对应的深度点对集，并根据所述深度点对集获得旋转矩阵和平移矩阵；

利用所述旋转矩阵和平移矩阵作为迭代最近点算法的初值来迭代求解两个深度像的精匹配。

2.根据权利要求1所述的深度像匹配方法，其特征在于：

所述第一纹理特征点集满足如下条件：所述第一纹理特征点集中的特征点为两个纹理图共有；所述第一纹理特征点集中每个点的局部灰度梯度最大。

3.根据权利要求1或2所述的深度像匹配方法，其特征在于：

判断所述纹理特征点对的有效性的方法如下：分别对以第一、二纹理特征点集中的特征点为中心大小相同的矩形邻域进行边缘提取，获得所有的边缘点组成的集合并计算它们的Hausdorff距离，如果所述纹理特征点对的Hausdorff距离大于预设值，则所述纹理特征点对无效。

Images