CN103700099B

CN103700099B - 一种旋转和尺度不变的宽基线立体匹配方法

Info

Publication number: CN103700099B
Application number: CN201310697413.5A
Authority: CN
Inventors: 石繁槐; 高健
Original assignee: Tongji University
Current assignee: Tongji University
Priority date: 2013-12-18
Filing date: 2013-12-18
Publication date: 2017-05-17
Anticipated expiration: 2033-12-18
Also published as: CN103700099A

Abstract

本发明涉及一种旋转和尺度不变的宽基线立体匹配方法，包括：S1、对基准图像和参考图像进行初始的旋转和尺度不变的稀疏特征匹配；S2、对基准图像中的当前像素点，先计算局部几何变换矩阵和初始匹配点，然后选取方形匹配窗口，根据几何变换矩阵得到归一化后的匹配窗口；S3、在参考图像中搜索当前像素点的最佳匹配点，并记录匹配的可信度；S4、重复步骤S2至S3，直至遍历图像的所有像素点，并按照可信度将得到的匹配点分类；S5、输出稠密视差图，显示立体匹配结果。与现有技术相比，本发明能较好地处理存在旋转和尺度变化的宽基线立体图像匹配，得到准确、稠密的视差图，具有鲁棒可靠、匹配精度高、设计简单等特点以及较高的实用价值。

Description

一种旋转和尺度不变的宽基线立体匹配方法

技术领域

本发明涉及计算机视觉与图像处理领域，尤其是涉及一种旋转和尺度不变的宽基线立体匹配方法，可广泛应用于三维重建、立体显示、目标跟踪以及图像拼接等领域。

背景技术

立体匹配是计算机视觉领域的热点问题，也是三维重建、立体显示、目标跟踪、图像拼接等应用的核心技术。它的目标是在两幅或者多幅同一场景的图像中寻找对应点，最终得到匹配图像的视差图。视差图是以图像对中的任意一幅图像为基准，大小为该基准图像的大小，元素值为视差值的图像。稠密、准确的视差图能为后续应用提供可靠的数据支持。

D.Scharstein和R.Szeliski总结了传统的双目视觉立体匹配算法(D.Scharstein,R.Szeliski.“A Taxonomy and Evaluation of Dense Two-Frame StereoCorrespondence Algorithms.”IJCV,2002,pp.7-42.)，并将其分为两类：全局方法和局部方法。在全局方法中，立体匹配通常被转化为一个全局代价函数最小化的问题，通过例如信念传播、图割等优化方法寻找全局最优解。全局方法的匹配精度较高，能较好地处理遮挡、物体边缘和低纹理区域。但是全局代价函数构造复杂、难以控制，尤其是当约束项增加时，优化问题难以处理，计算结果通常依赖初值、容易陷入局部最优，计算复杂度随搜索范围的扩大而显著增加。在局部方法中，通常先为候选匹配对选择匹配窗口，然后基于窗口图像的相似度在一定视差范围内搜索最佳对应点，逐点计算获取稠密视差图。其中匹配区域的选择和区域图像相似度函数的设计是两大难点问题。基于窗口匹配的局部方法设计简单、计算速度快，在立体匹配中得到了广泛的应用。2006年，K.Yoon提出加权窗的方法(K.J.Yoon,I.S.Kweon.“Adaptive Support-Weight Approach for Correspondence Search.”TPAMI,2006,pp.650-656.)，在不改变窗口形状的情况下，基于颜色相似性和空间距离对窗口中像素的匹配代价加权，增加了窗口选择的灵活性，并显著提高了匹配精度。

传统的立体匹配算法侧重于研究窄基线的双目图像(如Middlebury数据库中的图像)，即要求输入图像对大致相同，通常只存在一个方向的微小视差，这对相机的空间配置提出了较高的要求，即要求光轴平行且基线距离较小，在实际应用中存在局限性。近年来，宽基线图像的稀疏匹配取得了较大的成功，大量关键点检测算法(K.Mikolajczyk,T.Tuytelaars.“A Comparison of Affine Region Detectors.”IJCV,2005.pp.43-72.)和特征描述子的构造方法(K.Mikolajczyk,C.Schmid.“A performance evaluation oflocal descriptors”.TPAMI,2005,pp.1615-1630.)被提出。这些算法的抗噪能力强，对图像的旋转和尺度变化具有不变性，甚至在图像经过仿射变换和视角变化后依然能找到可靠的匹配。但是在低纹理区域或者高重复纹理区域，很难提取出这样的特征，因此无法获得稠密的匹配。

在宽基线立体视觉系统的图像匹配领域，一种基于“种子点-传播”策略的准密集匹配方法(J.Kannala,S.Brandt.“Quasi-Dense Wide Baseline Matching Using MatchPropagation.”CVPR.2007,pp.2126-2133.)被提出。其思想是先利用局部不变性特征进行稀疏匹配，作为种子点，然后以它为参考在相邻像素点搜索新的匹配，并加入到种子点中，循环往复，进行传播，直到传遍整幅图像。这类算法能够得到准稠密的视差图，匹配精度较高，然而有些区域依然无法找到匹配，这是因为这些区域的种子点数量稀少，或者传播在物体边缘难以继续。

宽基线立体视觉系统的图像匹配技术还很不成熟，发明一种旋转和尺度不变的宽基线立体匹配方法具有十分重要的意义，有利于把立体匹配技术应用到实际问题中去。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种旋转和尺度不变的宽基线立体匹配方法。

本发明的目的可以通过以下技术方案来实现：一种旋转和尺度不变的宽基线立体匹配方法，其特征在于，包括以下步骤：

S1、读取待匹配的宽基线立体图像对：基准图像I_l和参考图像I_r，对这两幅图像进行初始的旋转和尺度不变的稀疏特征匹配；

S2、对基准图像I_l中的当前像素点p_l，先利用初始稀疏匹配结果计算局部几何变换矩阵H，再计算当前像素点p_l在参考图像I_r中的初始匹配点p_r0，即p_r0＝H*p_l，然后选取方形匹配窗口N_l，根据局部几何变换矩阵H归一化该窗口，使归一化后的匹配窗口N_r能根据两幅图像之间的几何变换自适应地调整大小、方向及形状，捕捉相同场景的图像内容，其中p_l，p_r0是齐次坐标，即p_l＝(x_l,y_l,1)^T,p_r0＝(x_r0,y_r0,1)^T；

S3、对基准图像I_l中的像素点p_l，在参考图像I_r中以p_l+d₀为中心选取邻域N_pr0内的若干个候选匹配点p_r，采用加权的零均值归一化互相关算法计算窗口图像的匹配代价C_WMZNCC(p_l,p_r)，搜索匹配代价最小的候选匹配点p_r作为像素点p_l的最佳匹配点，并记录匹配的可信度S，

其中，d₀为当前像素点p_l与其初始匹配点p_r0的初始视差，即d₀＝(x_r0-x_l，y_r0-y_l)^T，

式中，I_l(q_l)表示图像I_l中位置为q_l的像素点的灰度值，I_r(q_r)表示图像I_r中位置为q_r的像素点的灰度值，是窗口N_l中所有像素点灰度值的均值，是窗口N_r中所有像素点灰度值的均值，权值w_l(p_l,q_l)、w_r(p_r,q_r)由下式给出：

其中，表示q点和p点在Lab颜色空间的颜色相似度，即欧几里德距离，表示q点和p点在空间位置上的欧几里德距离，γ_c、γ_p是根据经验设定的比例常数，分别用来调节颜色相似度和几何接近性对权值大小的影响；

S4、重复步骤S2至S3，直至遍历图像I_l的所有像素点，并按照可信度S将得到的匹配点分为可靠匹配点、不可靠匹配点和遮挡点，即

其中S₁为遮挡点阈值，S₂为可靠匹配点阈值；

S5、先以不可靠匹配点周围区域内的可靠匹配点作为参考，校正当前像素点的视差，再由遮挡点周围可靠匹配点的视差插值得到该遮挡点的视差，最后输出稠密视差图，显示立体匹配结果。

实施步骤S1所述的初始的旋转和尺度不变的稀疏特征匹配具体为：

11)分别提取两幅图像中具有局部不变性特征的SIFT关键点，构建旋转和尺度不变的特征描述子，并根据特征描述子的相似度完成初始关键点匹配；

12)分别提取两幅图像中的角点，以步骤11)中的关键点为参考进行角点匹配；

13)采用RANSAC方法和外极线约束优化关键点匹配和角点匹配，最终得到可靠的稀疏匹配。

获得步骤S2所述的归一化后的匹配窗口N_r具体为：

21)对基准图像I_l中的当前像素点p_l，选取一个距离最近的SIFT匹配对，利用SIFT特征描述子的尺度和角度信息计算局部几何变换矩阵H，它包含四个自由度，其形式是：

式中，(x_s1,y_s1)为SIFT关键点在基准图像I₁中的位置信息，(x_s2,y_s2)为SIFT关键点在参考图像I_r中的位置信息，σ＝σ₂/σ₁，θ＝θ₂-θ₁，

其中，(σ₁,θ₁)为SIFT关键点在基准图像I₁中的尺度和角度信息，(σ₂,θ₂)为SIFT关键点在参考图像I_r中的尺度和角度信息；

22)在基准图像I_l中以点p_l为中心选取方形匹配窗口N_l，对窗口中的所有像素点即q_l∈N_l，应用矩阵H进行变换，得到：

q_r＝H*q_l

23)在参考图像I_r中得到归一化后的匹配窗口N_r，N_r＝∪q_r。

步骤S3所述的邻域的大小为距离中心点5-10像素。

步骤S4所述的可靠匹配点阈值S₂参考范围是0.6-0.9。

所述的方形匹配窗口N_l的边长为10-20像素。

与现有技术相比，本发明融合了基于局部不变性特征的稀疏匹配算法和基于加权窗的窄基线立体匹配方法，根据初始稀疏匹配的结果，计算待匹配点处的局部几何变换矩阵，用变换矩阵归一化图像窗口，使匹配窗口能够根据图像的旋转、缩放等几何变换自适应地调整大小、方向和形状，从而捕捉到相同场景的图像内容。使用自适应加权的方法计算窗口图像的匹配相似度，能在遮挡或者视差不连续的物体边缘处得到较好的匹配效果。本发明具有鲁棒可靠、匹配精度高、设计简单等特点，能较好地处理存在旋转和尺度变化的宽基线立体图像匹配，得到准确、稠密的视差图，本发明方法，可广泛应用于三维重建、立体显示、目标跟踪、图像拼接等技术领域，具有较高的实用价值。

附图说明

图1为本发明的流程图；

图2为本发明获取归一化后的匹配窗口的流程图；

图3为本发明实施例的输入图像；

图4为本发明实施例中稀疏匹配的结果；

图5为本发明实施例中归一化后的窗口中的图像内容；

图6为本发明实施例的匹配结果与基准图像的对比图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

一种旋转和尺度不变的宽基线立体匹配方法，其目的是计算出待匹配图像对的高精度稠密视差图。

本实施例以手机拍摄的室内场景图像作为实验对象，如图3所示，图像具有明显的尺度和旋转角度变化，其中以左视图为基准图像，右视图为参考图像，为左视图中的每一个待匹配像素点在右视图中寻找对应点，最后输出左视图的稠密视差图和立体匹配结果。

本实施例的实现步骤根据流程图1所示，需采取如下步骤：

S1、读取待匹配的宽基线立体图像对：左视图I_l和右视图I_r，对这两幅图像进行初始的旋转和尺度不变的稀疏特征匹配，具体过程如下，

13)采用RANSAC方法和外极线约束优化关键点匹配和角点匹配，最终得到可靠的稀疏匹配，匹配结果如图4所示。

S2、对基准图像I_l中的当前像素点p_l，先利用初始稀疏匹配结果计算局部几何变换矩阵H，再应用变换矩阵H得到当前像素点p_l在参考图像I_r中的初始匹配点p_r0，即p_r0＝H*p_l，然后选取方形匹配窗口N_l，根据局部几何变换矩阵H归一化该窗口，使归一化后的匹配窗口N_r能根据两幅图像之间的几何变换自适应地调整大小、方向及形状，捕捉相同场景的图像内容，p_l，p_r0是齐次坐标，即p_l＝(x_l,y_l,1)^T,p_r0＝(x_r0,y_r0,1)^T；

获得步骤S2所述的归一化后的匹配窗口N_r具体步骤根据图2所示，具体为：

式中，(x_s1,y_s1)为SIFT关键点在基准图像I_l中的位置信息，(x_s2,y_s2)为SIFT关键点在参考图像I_r中的位置信息，σ＝σ₂/σ₁，θ＝θ₂-θ₁，

其中，(σ₁,θ₁)为SIFT关键点在基准图像I_l中的尺度和角度信息，(σ₂,θ₂)为SIFT关键点在参考图像I_r中的尺度和角度信息；

22)在基准图像I_l中以点p_l为中心选取方形匹配窗口N_l，本实施例中，N_l的边长为11像素，对窗口中的所有像素点即q_l∈N_l，应用矩阵H进行变换，得到：

q_r＝H*q_l

23)在参考图像I_r中得到归一化后的匹配窗口N_r，N_r＝∪q_r，再用线性插值的方法提取窗口N_r中的图像内容，生成可用于匹配的局部窗口图像，如图5所示。

S3、对基准图像I_l中的像素点p_l，在参考图像I_r中以p_l+d₀为中心选取邻域内的若干个候选匹配点p_r，其中，d₀为当前像素点p_l与其初始匹配点p_r0的初始视差，即d₀＝(x_r0-x_l，y_r0-y_l)^T，采用加权的零均值归一化互相关算法计算窗口图像的匹配代价C_WMZNCC(p_l,p_r)，搜索匹配代价最小的候选匹配点p_r作为像素点pl的最佳匹配点，本实施例中，搜索范围即邻域为15*15的矩形区域，区域中到外极线距离大于3像素的点不予搜索，记录匹配的可信度S，

其中，表示q点和p点在Lab颜色空间的颜色相似度，即欧几里德距离，表示q点和p点在空间位置上的欧几里德距离，γ_c、γ_p是根据经验设定的比例常数，分别用来调节颜色相似度和几何接近性对权值大小的影响，本实施例中，γ_c＝10,γ_p＝5；

其中S₁为遮挡点阈值，S₂为可靠匹配点阈值，本实施例中，S₁＝0.4，S₂＝0.8；

S5、先以不可靠匹配点周围区域内的可靠匹配点作为参考，校正当前像素点的视差，再由遮挡点周围可靠匹配点的视差插值得到该遮挡点的视差，最后输出稠密视差图，显示立体匹配结果，如图6所示。

Claims

1.一种旋转和尺度不变的宽基线立体匹配方法，其特征在于，包括以下步骤：

S3、对基准图像I_l中的像素点p_l，在参考图像I_r中以p_l+d₀为中心选取邻域N_pr0内的若干个候选匹配点p_r，采用加权的零均值归一化互相关算法计算窗口图像的匹配代价C_WMZNCC(p_l，p_r)，搜索匹配代价最小的候选匹配点p_r作为像素点p_l的最佳匹配点，并记录匹配的可信度S，

S = 1 - \min_{p_{r} &Element; N_{p_{r 0}}} (C_{W M Z N C C} (p_{l}, p_{r}))

\begin{matrix} C_{W M Z N C C} (p_{l}, p_{r}) \\ = 1 - \frac{2 Σ_{q_{l} &Element; N_{l}, q_{r} &Element; N_{r}} w_{l} (p_{l}, q_{l}) w_{r} (p_{r}, q_{r}) (I_{l} (q_{l}) - \overset{&OverBar;}{I_{l}} (q_{l})) (I_{r} (q_{r}) - \overset{&OverBar;}{I_{r}} (q_{r}))}{Σ_{q_{l} &Element; N_{l}} w_{l} (p_{l}, q_{l}) (I_{l} (q_{l}) - \overset{&OverBar;}{I_{l}} (q_{l})) + Σ_{q_{r} &Element; N_{r}} w_{r} (p_{r}, q_{r}) (I_{r} (q_{r}) - \overset{&OverBar;}{I_{r}} (q_{r}))} \end{matrix}

w (p, q) = \exp (- (\frac{Δ_{c_{p q}}}{γ_{c}} + \frac{Δ_{g_{p q}}}{γ_{p}}))

其中S₁为遮挡点阈值，S₂为可靠匹配点阈值；

2.根据权利要求1所述的一种旋转和尺度不变的宽基线立体匹配方法，其特征在于，实施步骤S1所述的初始的旋转和尺度不变的稀疏特征匹配具体为：

3.根据权利要求1所述的一种旋转和尺度不变的宽基线立体匹配方法，其特征在于，获得步骤S2所述的归一化后的匹配窗口N_r具体为：

H = [\begin{matrix} σ * R & t \\ 0^{T} & 1 \end{matrix}], R = [\begin{matrix} c o s θ & - s i n θ \\ s i n θ & \cos θ \end{matrix}], t = [\begin{matrix} t_{x} \\ t_{y} \end{matrix}] = - σ * R * [\begin{matrix} x_{s 1} \\ y_{s 1} \end{matrix}] + [\begin{matrix} x_{s 2} \\ y_{s 2} \end{matrix}]

q_r＝H*q_l

23)在参考图像I_r中得到归一化后的匹配窗口N_r，N_r＝∪q_r。

4.根据权利要求1所述的一种旋转和尺度不变的宽基线立体匹配方法，其特征在于，步骤S3所述的邻域的大小为距离中心点5-10像素。

5.根据权利要求1所述的一种旋转和尺度不变的宽基线立体匹配方法，其特征在于，步骤S4所述的可靠匹配点阈值S₂参考范围是0.6-0.9。

6.根据权利要求1或3所述的一种旋转和尺度不变的宽基线立体匹配方法，其特征在于，所述的方形匹配窗口N_l的边长为10-20像素。