CN104167000A - 一种仿射不变的宽基线图像密集匹配方法 - Google Patents

Abstract

本发明涉及一种仿射不变的宽基线图像密集匹配方法，该方法用可靠匹配对作为参考建立新匹配对，逐步计算出待匹配图像中点和点的对应关系，所述方法具体包括以下步骤：1)读取待匹配的宽基线立体图像对：基准图像I和参考图像I′，对这两幅图像进行初始稀疏匹配；2)利用初始稀疏匹配得到扩展稀疏匹配；3)以扩展匹配结果作为种子，在它们的相邻像素建立新匹配，采用区域增长策略逐渐传播到整幅图像，实现密集匹配；4)输出匹配结果。与现有技术相比，本发明具有匹配结果更密集，精度更高等优点。

Description

一种仿射不变的宽基线图像密集匹配方法

技术领域

本发明涉及一种图像处理技术，尤其是涉及一种仿射不变的宽基线图像密集匹配方法。

背景技术

图像匹配是计算机视觉领域的基本问题，也是三维重建、图像拼接、目标跟踪、运动估计等应用的核心技术。图像匹配的目的是在两幅或者多幅图像中建立点和点的对应关系。D.Scharstein和R.Szeliski总结了传统的双目视觉密集匹配算法(D.Scharstein，R.Szeliski.“A Taxonomy and Evaluation of Dense Two-Frame StereoCorrespondence Algorithms.”IJCV，2002，pp.7-42.)，这些算法主要针对窄基线图像，即输入图像对大致相同，通常只存在一个方向的微小视差(如Middlebury数据库中的图像)。当图像视角变化较大时，待匹配图像中存在明显的几何形变，这给匹配带来了困难。传统的宽基线图像匹配算法主要基于鲁棒的局部图像特征，可分为三步：首先检测关键点，然后在关键点邻域内提取特征描述子，最后通过比较特征描述子的相似度建立匹配关系。T.Tuytelaars和K.Mikolajczyk比较了具有局部不变性的检测子(T.Tuytelaars，K.Mikolajczyk.“Local Invariant Feature Detectors：ASurvey.”Foundations and Trends in Computer Graphics and Vision，2008，3(3)：pp.177-280.)，认为DoG和SURF检测子计算效率较高，而Harris-Affine、Hessian-Affine和MSER检测子适用于存在明显几何形变的图像，因为它们具有仿射不变性。在匹配中，SIFT特征描述子被广泛应用，该特征的可区分性强，并且具有尺度和旋转不变性，能够鲁棒地表达图像中的局部结构。虽然基于局部不变性特征的匹配方法取得了巨大的成功，但是这类方法只能建立可靠的稀疏匹配，却无法实现密集匹配，因为在图像的低纹理区域很难提取出关键点，而且对于重复纹理区域，匹配存在较大的不确定性，因此无法获得准确而稠密的匹配。

Kannala J.和Brandt S.S.提出了一种基于“匹配传播”策略的匹配方法(KannalaJ.，Brandt S.S..“Quasi-dense wide baseline matching using match propagation.”CVPR，2007pp.2126-2133.)。其思想是先利用局部不变性特征进行稀疏匹配，然后以它们为参考在相邻像素点建立新的匹配，循环往复直到遍历整幅图像。这类算法能够获得较为稠密的匹配结果，精度较高，然而有些区域依然无法找到匹配，因为这些区域的稀疏匹配对数量稀少，而且传播在物体边缘难以继续。

宽基线图像的匹配技术还很不成熟，发明一种具有仿射不变性的宽基线密集匹配方法具有十分重要的意义，有利于把图像匹配技术更好地应用到实际问题中去。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种仿射不变的宽基线图像密集匹配方法。

本发明的目的可以通过以下技术方案来实现：

一种仿射不变的宽基线图像密集匹配方法，该方法用可靠匹配作为参考建立新匹配，逐步计算出待匹配图像中点和点的对应关系，所述方法具体包括以下步骤：

1)读取待匹配的宽基线立体图像对：基准图像I和参考图像I′，对这两幅图像进行初始稀疏匹配；

2)利用初始稀疏匹配结果得到扩展稀疏匹配结果；

3)以扩展匹配结果作为种子，在它们的相邻像素建立新匹配，采用区域增长策略逐渐传播到整幅图像，实现密集匹配；

4)输出匹配结果。

所述步骤1)具体包括步骤：

101)读取待匹配的宽基线立体图像对：基准图像I和参考图像I′，分别提取两幅图像的仿射不变特征，构建仿射不变的特征描述子，所述特征描述子包括Hessian-Affine关键点的坐标、类SIFT特征向量和二阶矩矩阵M；

102)比较特征向量之间的欧氏距离，采用最近邻方法进行初始关键点匹配得到初始稀疏匹配结果。

所述步骤2)具体包括步骤：

201)对每一对初始稀疏匹配，计算与相关联的仿射变换矩阵，利用仿射变换矩阵A归一化邻域窗口，计算归一化窗口图像的匹配代价，将初始稀疏匹配结果中匹配代价低于阈值T₁的匹配对加入种子点集合S；

202)对集合S中的匹配按匹配代价进行排序，取出匹配代价最小的匹配作为种子匹配，在该匹配周围寻找新的匹配；

203)确定新的匹配的传播范围，该范围是以种子为中心的椭圆内部，具体为：

x^TCx＜D

其中：传播范围中的点的坐标，椭圆参数C由二阶矩矩阵M求得，椭圆大小由阈值D确定；

204)对传播范围内所有Hessian-Affine关键点进行匹配，关键点匹配代价综合考虑特征向量的相似度和关键点空间位置的一致性，具体为：

Cost(p₁，p₁′)＝spacial_err.*feature_err

其中：Cost(p₁，p₁′)为传播范围内一对候选匹配的匹配代价，feature_err为特征向量的欧式距离，spacial_err为空间不一致性，具体为：

$\mathrm{spacial}\_\mathrm{err}=|{p_1}^{\′}-{{\tilde{p}}_1}^{\′}|$

其中：p₁′为候选匹配在参考图像I′中的点，

其中：是种子匹配，p₀和p₀′分别为基准图像I和参考图像I′中的点，A₀是与种子匹配关联的仿射变换矩阵；

205)对每一个基准图像I中传播范围内的关键点p，在参考图像I′中寻找对应的关键点p’，p’为使匹配代价最小的关键点，如果Cost(p，p′)＜T₂，则把加入种子点集合S，并计算与这对匹配关联的仿射变换矩阵，阈值T₂控制匹配对的数量和匹配的准确性；

206)判断S是否为空集，若不是空集，则执行步骤202)，若为空集，则执行步骤3)。

所述步骤3)具体包括步骤：

301)将步骤2)中得到的所有稀疏匹配加入种子点集合；

302)计算种子点集合中所有匹配的可靠性，取出可靠性最高的匹配提取以它为中心的图像块，并用仿射变换矩阵归一化；

303)对基准图像I中每一个与p₀相邻的像素点p₁，根据仿射变换矩阵得到它在参考图像I′中的中心对应点p₁′，记p₁′附近的点为p₁的可能对应点，计算p₁与所有对应点的匹配代价；

304)选择匹配代价最小的可能对应点，判断其对应匹配代价是否小于阈值T，若为是，则接受为新的匹配对加入种子点集合，同时加入密集匹配结果，若为否，则不加入；

305)计算与新匹配对相关联的仿射变换矩阵，并计算该新匹配的可靠性；

306)判断种子点集合是否为空集，若为否，则执行步骤302)，若为是，执行步骤4)。

所述可靠性R具体为：

R(p)＝0.5×[s(p)+s(p′)]×[1-Cost(p，p′)]

其中：R(p)为匹配的可靠性，Cost(p，p′)为匹配的匹配代价，s(p)＝mean{n(p，q)，q∈N₂(p)}，

其中：N₂(p)为与p距离为2以内的像素，N₂(p′)为与p’距离为2的像素，n(p，q)＝0.299|r_p-r_q|+0.587|g_p-g_q|+0.114|b_p-b_q|，

其中，r_p，g_p，b_p为像素P的颜色。

所述步骤303)中p₁为与p₀距离为2以内的像素点，所述可能对应点为与p₁′距离为2以内的像素点。

所述步骤304)中，所述p₁′若已存在与稀疏匹配或密集匹配中，则此处不加入种子点集合，也不加入密集匹配结果。

所述匹配结果包括稀疏匹配和密集匹配。

与现有技术相比，本发明具有以下优点：

1)优化了稀疏匹配的结果，通过扩展稀疏匹配过程，相比只有初始稀疏匹配而言，大大增加了可靠匹配对的数量。

2)通过了密集匹配过程，使匹配结果更密集，精度更高，具有鲁棒可靠、匹配精度高、设计简单等特点，能较好地处理存在仿射变换的宽基线图像，得到准确、稠密的匹配结果。

3)本发明提出的仿射不变的宽基线密集匹配方法，可广泛应用于三维重建、图像拼接、目标跟踪、运动估计等技术领域，具有较高的实用价值。

附图说明

图1为本发明的总技术方案流程图；

图2为本发明一个实施例的输入图像；

图3为稀疏匹配过程中由一个关键点匹配产生新匹配的示意图；

图4为本发明一个实施例的稀疏匹配结果；

图5为用仿射变换矩阵归一化对应的图像块的示意图；

图6为本发明一个实施例的密集匹配结果。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种仿射不变的宽基线图像密集匹配方法，该方法用可靠匹配对作为参考建立新匹配对，逐步计算出待匹配图像中点和点的对应关系，如图1所示，方法具体包括以下步骤：

1)读取待匹配的宽基线立体图像对：基准图像I和参考图像I′，对这两幅图像进行初始稀疏匹配；

2)利用初始稀疏匹配得到扩展稀疏匹配；

3)以扩展匹配结果作为种子，在它们的相邻像素建立新匹配，采用区域增长策略逐渐传播到整幅图像，实现密集匹配；

4)输出匹配结果

步骤1)具体包括步骤：

101)读取待匹配的宽基线立体图像对：基准图像I和参考图像I′，如图2所示，左图为基准图像I，右图为参考图像I′，分别提取两幅图像的仿射不变特征，构建仿射不变的特征描述子，特征描述子包括Hessian-Affine关键点的坐标、类SIFT特征向量和二阶矩矩阵M；

102)比较特征向量之间的欧氏距离，采用最近邻方法进行初始关键点匹配。

3.根据权利要求1的一种仿射不变的宽基线图像密集匹配方法，其特征在于，步骤2)具体包括步骤：

201)对每一对初始稀疏匹配，计算与相关联的仿射变换矩阵，利用仿射变换矩阵A归一化邻域窗口，计算归一化窗口图像的匹配代价，将初始稀疏匹配中匹配代价低于阈值T₁的匹配加入种子点集合S。

本实施例给出了一种仿射不变矩阵的得到方法，方法如下：

关键点的图像坐标记为x₀，二阶矩矩阵M，在椭圆区域内在椭圆区域内计算方向梯度直方图，建立类SIFT特征描述子，椭圆方程为：(x-x₀)^TM(x-x₀)＝1，用一个2×2对称矩阵C代替M，改写成标准形式：x^TCx＝1，对于一组对应点对应的椭圆区域分别为x^TC₁x＝1和x^TC₂x＝1，它们可以用一个仿射变换矩阵联系起来：

C₁＝A^TC₂A

于是：其中R为旋转矩阵，旋转角度由对应的SIFT特征向量的主方向σ₁和σ₂确定，具体为：

$R=\left[\begin{array}{cc}\cos ({\mathrm{\σ}}_2-{\mathrm{\σ}}_1)& -\sin ({\mathrm{\σ}}_2-{\mathrm{\σ}}_1)\\ \sin ({\mathrm{\σ}}_2-{\mathrm{\σ}}_1)& c\mathrm{os}({\mathrm{\σ}}_2-{\mathrm{\σ}}_1)\end{array}\right]$

利用仿射变换矩阵A归一化邻域图像块，记I中图像块为P₁，则I′中的图像块P₂＝{q₂|q₂＝A*q₁，q₁∈P₁}；计算归一化窗口图像的匹配代价SSD，将初始稀疏匹配中匹配代价低于阈值T₁的匹配加入种子点集合S，经过实验测试，设置阈值T₁＝0.4效果较好；

归一化前的窗口一般是矩形，窗口大小根据图像分辨率等因素设定，建议是5*5或者7*7，也就是以匹配点为中心，距离2-3像素之内的范围作为邻域窗口：(2W+1)*(2W+1)，其中窗口大小由W确定，W＝2或3可以人为设定；

例如原窗口为矩形，矩形的四个顶点分别是p₁，p₂，p₃，p₄归一化后窗口的四个顶点是q₁，q₂，q₃，q₄，则：

q_i＝A*p_i，i＝1，2，3，4

202)对集合S中的匹配按匹配代价进行排序，取出匹配代价最小的匹配，在该匹配周围寻找新的匹配；

203)确定新的匹配的传播范围，该范围是以种子为中心的椭圆内部，具体为：

x^TCx＜D

其中：传播范围中的点的坐标，椭圆参数由二阶矩矩阵M求得，椭圆大小由阈值D确定，经过实验测试，设置阈值D＝8较好；

204)对传播范围内所有关键点进行匹配，匹配代价综合考虑特征向量相似度和关键点空间位置的一致性，对传播范围内的所有关键点进行匹配，匹配代价综合考虑特征向量相似度和关键点空间位置的一致性：设是种子匹配对，A₀是与该匹配关联的仿射变换矩阵，是传播范围内的一对候选匹配，v₁，v₁′是对应的特征向量，feature_err表示特征向量的欧式距离，spacial_err表示空间位置的不一致性，匹配代价由它们两者决定，具体计算如下：

feature_err＝|v₁-v₁|

${{\tilde{p}}_1}^{\′}={p_0}^{\′}+A_0^{-1}(p_1-p_0)$

$\mathrm{spacial}\_\mathrm{err}=|{p_1}^{\′}-{{\tilde{p}}_1}^{\′}|$

Cost(p₁，p₁′)＝spacial_err.*feature_err

其中：Cost(p₁，p₁′)为传播范围内一对候选匹配的匹配代价；

205)对每一个基准图像I中传播范围内的关键点p，在参考图像I′中寻找对应的关键点p’，使匹配代价最小，如果Cost(p，p′)＜T₂，则把加入种子点集合S，并计算与这对匹配关联的仿射变换矩阵，阈值T₂控制匹配对的数量和匹配的准确性，为0.2-0.4，具体视情况而定。

由一个关键点建立新匹配的过程如图3所示，图3示意性示出了稀疏匹配过程中由一个关键点(两个椭圆的中心店)匹配产生的新匹配(每个椭圆内另外三个点)，椭圆区域表示产生新匹配的区域，在区域外的点不能用于建立新匹配；

206)判断S是否为空集，若不是空集，则执行步骤202)，若为空集，则执行步骤3)，稀疏匹配结果如图4所示。

步骤3)具体包括步骤：

301)将步骤2)中得到的所有稀疏匹配加入种子点集合，记Map为密集匹配结果同时也将所有技术匹配加入Map；

302)计算种子点集合中所有匹配的可靠性，

可靠性R由匹配代价Cost(p，p′)和可区分性决定，高纹理区域可区分性强，具体为：

R(p)＝0.5×[s(p)+s(p′)]×[1-Cost(p，p′)]

其中：R(p)为匹配的可靠性，Cost(p，p′)为匹配的匹配代价，s(p)＝mean{n(p，q)，q∈N₂(p)}，s(p′)的计算与s(p)类似，

其中：N₂(p)为与p距离为2以内的像素，N₂(p′)为与p’距离为2的像素，n(p，q)＝0.299|r_p-r_q|+0.587|g_p-g_q|+0.114|b_p-b_q|

其中，r_p，g_p，b_p为像素P的颜色，

取出可靠性最高的匹配提取以它为中心的图像块，并用仿射变换矩阵A₀归一化，如图5所示。设V₁，V₂，V₃，V₄是图像I中以p₀为中心的图像块的四个顶点，V₁′，V₂′，V₃′，V₄′是图像I′中对应图像块的顶点，则：

${V_i}^{\′}={p_0}^{\′}+A_0^{-1}(V_i-p_0),i-\mathrm{1,2,3,4}$

303)对基准图像I中每一个与p₀相邻的像素点p₁，即p₁为与p₀距离为2以内的像素点，如果计算它在参考图像I′中所有可能对应点p_1i′的匹配代价Mathch_cost(p₁，p_1i′)；候选对应点p_1i′这样确定：使用A₀预测p₁在右图中的对应点为：真实对应点很可能在p₁₀′附近，把它们列为候选对应点：p_1i′为与p₁′距离为2以内的像素点，逐一计算匹配代价Mathch_cost(p₁，p_1i′)＝SSD(P₁，P₂)，P₁，P₂是以p₁，p_1i′为中心的归一化后的图像块；

304)选择匹配代价最小的可能对应点，判断其对应匹配代价是否小于阈值T，若为是，且则接受为新的匹配对加入种子点集合和Map，否则不加入，本实施例中T＝0.2；

305)根据原匹配对的放射变换矩阵A₀计算与新匹配对相关联的仿射变换矩阵A₁，记在A₀上加微笑扰动量δ：

$\mathrm{\δ}=\left[\begin{array}{cc}{\mathrm{\δ}}_{11}& {\mathrm{\δ}}_{12}\\ {\mathrm{\δ}}_{21}& {\mathrm{\δ}}_{22}\end{array}\right]$

选取使匹配代价最小的δ更新A₁：

$A_1=\arg \underset{A_0+\mathrm{\δ}}{\min }\mathrm{Cost}(p_1,{p_1}^{\′})$

同时计算该新匹配的可靠性；

306)判断种子点集合是否为空集，若为否，则执行步骤302)，若为是，执行步骤4)。

步骤4)：输出密集匹配结果，以实施例中左图为基准图像，右图为参考图像，左视图中每一个像素点在右图中的对应点存储在Map中，没有对应点的记为遮挡点，输出准确、稠密的匹配结果，如图6所示。

Claims (8)

1.一种仿射不变的宽基线图像密集匹配方法，其特征在于，该方法用可靠匹配作为参考建立新匹配，逐步计算出待匹配图像中点和点的对应关系，所述方法具体包括以下步骤：

1)读取待匹配的宽基线立体图像对：基准图像I和参考图像I′，对这两幅图像进行初始稀疏匹配；

2)利用初始稀疏匹配结果得到扩展稀疏匹配结果；

3)以扩展匹配结果作为种子，在它们的相邻像素建立新匹配，采用区域增长策略逐渐传播到整幅图像，实现密集匹配；

4)输出匹配结果。

2.根据权利要求1所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述步骤1)具体包括步骤：

101)读取待匹配的宽基线立体图像对：基准图像I和参考图像I′，分别提取两幅图像的仿射不变特征，构建仿射不变的特征描述子，所述特征描述子包括Hessian-Affine关键点的坐标、类SIFT特征向量和二阶矩矩阵M；

102)比较特征向量之间的欧氏距离，采用最近邻方法进行初始关键点匹配得到初始稀疏匹配结果。

3.根据权利要求1所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述步骤2)具体包括步骤：

201)对每一对初始稀疏匹配，计算与之相关联的仿射变换矩阵，利用仿射变换矩阵A归一化邻域窗口，计算归一化窗口图像的匹配代价，将初始稀疏匹配结果中匹配代价低于阈值T₁的匹配对加入种子点集合S；

202)对集合S中的匹配按匹配代价进行排序，取出匹配代价最小的匹配作为种子匹配，在该匹配周围寻找新的匹配；

203)确定新的匹配的传播范围，该范围是以种子为中心的椭圆内部，具体为：

x^TCx＜D

其中：传播范围中的点的坐标，椭圆参数C由二阶矩矩阵M求得，椭圆大小由阈值D确定；

204)对传播范围内所有Hessian-Affine关键点进行匹配，关键点匹配代价综合考虑特征向量的相似度和关键点空间位置的一致性，具体为：

Cost(p₁，p₁′)＝spacial_err.*feature_err

其中：Cost(p₁，p₁′)为传播范围内一对候选匹配的匹配代价，feature_err为特征向量的欧式距离，spacial_err为空间不一致性，具体为：

$\mathrm{spacial}\_\mathrm{err}=|{p_1}^{\′}-{{\tilde{p}}_1}^{\′}|$

其中：p₁′为候选匹配在参考图像I′中的点，

其中：是种子匹配，p₀和p₀′分别为基准图像I和参考图像I′中的点，A₀是与种子匹配关联的仿射变换矩阵；

205)对每一个基准图像I中传播范围内的关键点p，在参考图像I′中寻找对应的关键点p’，p’为使匹配代价最小的关键点，如果Cost(p，p′)＜T₂，则把加入种子点集合S，并计算与这对匹配关联的仿射变换矩阵，阈值T₂控制匹配对的数量和匹配的准确性；

206)判断S是否为空集，若不是空集，则执行步骤202)，若为空集，则执行步骤3)。

4.根据权利要求1所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述步骤3)具体包括步骤：

301)将步骤2)中得到的所有稀疏匹配加入种子点集合；

302)计算种子点集合中所有匹配的可靠性，取出可靠性最高的匹配提取以它为中心的图像块，并用仿射变换矩阵归一化；

303)对基准图像I中每一个与p₀相邻的像素点p₁，根据仿射变换矩阵得到它在参考图像I′中的中心对应点p₁′，记p₁′附近的点为p₁的可能对应点，计算p₁与所有对应点的匹配代价；

304)选择匹配代价最小的可能对应点，判断其对应匹配代价是否小于阈值T，若为是，则接受为新的匹配对加入种子点集合，同时加入密集匹配结果，若为否，则不加入；

305)计算与新匹配对相关联的仿射变换矩阵，并计算该新匹配的可靠性；

306)判断种子点集合是否为空集，若为否，则执行步骤302)，若为是，执行步骤4)。

5.根据权利要求4所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述可靠性R具体为：

R(p)＝0.5×[s(p)+s(p′)]×[1-Cost(p，p′)]

其中：R(p)为匹配的可靠性，Cost(p，p′)为匹配的匹配代价，s(p)＝mean{n(p，q)，q∈N₂(p)}，

其中：N₂(p)为与p距离为2以内的像素，N₂(p′)为与p’距离为2的像素，n(p，q)＝0..299|r_p-r_q|+0.587|g_p-g_q|+|b_p-b_q|，

其中，r_p，g_p，b_p为像素P的颜色。

6.根据权利要求4所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述步骤303)中p₁为与p₀距离为2以内的像素点，所述可能对应点为与p₁′距离为2以内的像素点。

7.根据权利要求4所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述步骤304)中，所述p₁′若已存在与稀疏匹配或密集匹配中，则此处不加入种子点集合，也不加入密集匹配结果。

8.根据权利要求1所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述匹配结果包括稀疏匹配和密集匹配。