CN102881014B - 一种基于图割的快速立体匹配方法 - Google Patents

Abstract

一种基于图割的快速立体匹配方法，用于对至少两幅图像进行立体匹配的方法。本发明所述的方法主要包括以下四个步骤：获取已进行外极线校准的图像对并进行预处理、分别对第一图像和第二图像构建多分辨率金字塔、对高层金字塔(低分辨率)图像对进行立体匹配、将高层金字塔图像对的匹配结果逐层传递到低层图像。本发明用图割全局立体匹配算法估计第一图像中的至少一个点与第二图像中的至少一个对应点的视差，并用多分辨率金字塔加速。本发明具有精度高，运行效率快的优点，适用于在三维测量上应用。

Description

一种基于图割的快速立体匹配方法

技术领域

本发明涉及一种基于图割的快速立体匹配方法，属于计算机视觉技术领域。

背景技术

立体匹配是立体视觉系统中最重要也是最复杂的部分，主要通过一系列算法在立体图像对中找出匹配点并得到视差图，然后利用三角几何关系计算空间中点的深度，生成图像的深度图。当空间中物体被投影成平面图像时，物体的全部光学信息都由图像中的灰度值来表示，也就是说立体匹配要利用空间中物体的小部分光学信息来完成像素点的匹配，这是非常困难的。

按参与计算的图像像素范围，立体匹配方法可分为局部匹配法和全局匹配法。其中局部匹配法计算快速，但对低纹理区域往往有较高误匹配率，从而导致边界模糊，同时对遮挡的区域也很难进行处理，其最典型的方法是区域匹配法；全局匹配法由于是全局寻优，所以匹配准确性较高，但计算量过大，运算时间长，其最典型的方法是图割法(graph cuts)。

发明内容

本发明的技术解决问题：克服现有技术的不足，提出一种基于图割的快速立体匹配方法，用于实现立体图像对的高效率高准确性匹配。该方法在用图割法准确匹配立体图像对的基础上，用多分辨率金字塔方法加速，使运行效率大大加快。该方法可用于三维测量。

本发明的实现步骤如下：

一种基于图割的快速立体匹配方法，步骤如下：

(1)对第一图像和第二图像进行外极线校准处理，之后分别对两个图像进行灰度化处理，再之后通过自适应中值滤波对图像噪声进行抑制，接下来通过直方图均衡化对两个图像的亮度差异进行均衡，最后应用拉普拉斯算法锐化图像；

(2)分别对第一图像和第二图像构建多分辨率金字塔，形成第一金字塔和第二金字塔；

(3)对处于第一金字塔最高层的图像和第二金字塔最高层的图像进行立体匹配，所述最高层即为第k层；

(4)对步骤(3)中的匹配结果进行线性插值，得到第k-1层的匹配点搜索范围，根据第k-1层的匹配点搜索范围对该层图像进行立体匹配，之后进入步骤(5)；

(5)对第k-1层的匹配结果进行线性插值得到第k-2层的匹配点搜索范围，根据第k-2层的匹配点搜索范围对第k-2层图像进行立体匹配，之后循环进行，直到对第2层的匹配结果进行线性插值得到第1层的匹配点搜索范围，根据第1层的匹配点搜索范围对第1层图像进行立体匹配，最终得到的匹配结果即为视差图，到此匹配完成。

步骤(1)中所述通过自适应中值滤波对图像噪声进行抑制，其具体方法如下：

将图像分为若干子块，通过对各子块中的像素进行噪声检测，根据预设的阈值将各子块中的像素分为受噪声污染像素和未受噪声污染像素两类；统计受噪声污染像素的个数以确定子图像中噪声干扰大小，根据噪声干扰大小调整滤波窗口的尺寸；最后根据调整尺寸之后得到的滤波窗口，通过中值滤波方法对子图像中的噪声点进行滤波处理。

步骤(1)中所述通过直方图均衡化对两个图像的亮度差异进行均衡，其具体方法如下：

在图像中挑选任意一个像素点，关于该像素点确定一个矩形区域，该矩形区域的大小为预设值，计算该矩形区域内部和外部的加权归一化直方图；对该矩形区域内的直方图进行均衡化，实现对该矩形区域中心像素的处理；移动该矩形区域到下一个相邻的像素点，重复上面的过程，直至处理完整幅图像。

所述步骤(2)分别对第一图像和第二图像构建多分辨率金字塔具体为：

对步骤(1)中的锐化过的第一图像和第二图像均进行k次缩放，缩放比例为r，各自得到k个不同分辨率的图像，即k层的第一金字塔和第二金字塔；

第一图像为第一金字塔的最低层，即第一层，第二图像为第二金字塔的最低层，即第一层，高层的金字塔图像像素值可以通过低层的图像r×r区域的像素值进行平均而获得；缩放次数k和缩放比例r均为预设值。

所述步骤(3)中进行立体匹配采用图割法进行。

本发明与现有技术相比带来的有益效果为：

在实现图像对间的立体匹配时，除具备极好的鲁棒性外，还有以下优点：

(1)匹配精度高：由于采用基于图割的立体匹配算法，在整个像素范围内全局寻优，使得视差图的质量得到了明显的提高，并能解决低纹理区域和遮挡区域像素的准确匹配问题，能得到高精度的稠密视差图。大量实验表明，本发明的平均匹配精度达到98％以上，大大优于区域匹配法。

(2)运行效率快：本发明构建了多分辨率金字塔，通过金字塔方法加速，大大缩小了视差搜索范围，减小了匹配计算时间。大量实验表明，本发明的平均运行时间为图割法的25％，运行效率大大加快。

附图说明

图1为本发明方法流程图；

图2为本发明方法的步骤一中图像处理流程图；

图3为本发明方法的步骤二中构建多分辨率金字塔示意图；

图4为本发明方法立体匹配中网格图构造示意图；

图5为本发明方法的高层金字塔图像对的立体匹配结果向低层金字塔逐层传递示意图。

具体实施方式

本发明方法能取得图割法匹配准确性高的特点的同时，通过多分辨率金字塔方法加速，运行效率大大加快。

立体匹配的计算复杂度与视差搜索范围成正比，而视差搜索范围与图像分辨率大小直接相关，因此缩小视差搜索范围可以大大减少计算时间。基于多分辨率金字塔的立体匹配方法是建立在多分辨率基础上的由粗到精的立体匹配方法，它产生的低分辨率匹配结果可以逐级传播，用以指导高分辨率的匹配过程。其加速的质是减少了视差的搜索范围，同时由于视差搜索范围的减少，也降低了误匹配的发生概率。

如图1所示，本发明提供了一种基于图割的快速立体匹配方法，其特征在于步骤如下：

(1)对第一图像和第二图像进行外极线校准处理，之后分别对两个图像进行灰度化处理，再之后通过自适应中值滤波对图像噪声进行抑制，接下来通过直方图均衡化对两个图像的亮度差异进行均衡，最后应用拉普拉斯算法锐化图像；

按下式进行灰度化处理：

Y＝0.299R+0.596G+0.211B

将获取的彩色图像转化为灰度图像Y，式中R、G、B分别表示红、绿、蓝三种颜色分量。

对灰度化处理之后的图像处理称为预处理，如图2所示，

可将图像中的噪声近似为高斯白噪声，通过自适应中值滤波对图像噪声进行抑制，其具体方法如下：

将图像分为若干子块，通过对各子块中的像素进行噪声检测，根据预设的阈值将各子块中的像素分为受噪声污染像素和未受噪声污染像素两类；统计受噪声污染像素的个数以确定子图像中噪声干扰大小，根据噪声干扰大小调整滤波窗口的尺寸；最后根据调整尺寸之后得到的滤波窗口，通过中值滤波方法对子图像中的噪声点进行滤波处理。

应用直方图均衡化来平衡图像对间的亮度差异，其首先对图像局部块进行直方图均衡化，而不是全局，然后利用双线性插值方法把各个小块拼接起来，以消除局部块造成的边界。这种方法既考虑窗口内也考虑矩形区域外的直方图，既由矩形区域内的直方图和矩形区域外的直方图两部分构成，其具体方法如下：

a)在图像中挑选任意一个像素点，关于该像素点确定一个矩形区域，该矩形区域的大小为预设值；

b)计算该矩形区域内部和外部的加权归一化直方图；

h(r)＝αh_W(r)+(1-α)h_B(r)，0≤α≤1

其中，h_W(r)是矩形区域内的归一化直方图，h_B(r)是矩形区域外的归一化直方图，α为加权因子。

c)对该矩形区域内的直方图进行均衡化，实现对该矩形区域中心像素的处理；

d)移动该矩形区域到下一个相邻的像素点，重复上面的过程，直至处理完整幅图像；

应用Laplace(拉普拉斯)算法锐化图像，以提高图像的边缘和细节的清晰度。其中Laplace算子定义为：

${\▿}^{2}f=\frac{{\∂}^{2}f}{{\∂x}^2}+\frac{{\∂}^{2}f}{{\∂y}^2}$

上式中，f为连续的图像模型，对于数字图像而言，上式离散化为：

$\frac{{\∂}^{2}f}{{\∂x}^2}=f(i,j+1)-2f(i,j)+f(i,j-1)$

$\frac{{\∂}^{2}f}{{\∂y}^2}=f(i+1,j)-2f(i,j)+f(i-1,j)$

(2)分别对第一图像和第二图像构建多分辨率金字塔，形成第一金字塔和第二金字塔；如图3所示，具体为：

对步骤(1)中的锐化过的第一图像和第二图像均进行k次缩放，缩放比例为r，各自得到k个不同分辨率的图像，即k层的第一金字塔和第二金字塔；

第一图像为第一金字塔的最低层，即第一层，第二图像为第二金字塔的最低层，即第一层，高层的金字塔图像像素值可以通过低层的图像r×r区域的像素值进行平均而获得；缩放次数k和缩放比例r均为预设值。

(3)对处于第一金字塔最高层的图像和第二金字塔最高层的图像进行立体匹配，所述最高层即为第k层；

立体匹配采用图割法进行：把图像的视差看成标号，对高层金字塔图像建立标号的能量函数，把匹配问题转化为能量函数的最小化问题，并通过能量函数创建相应的网格图，通过求解网格图的最小割/最大流来求得能量函数的最优解，从而完成立体匹配；

其中，立体匹配中对于能量函数的建立，其具体方法为：

对于待匹配图像I₁和I₂，将I₁中像素p在I₂中的可能视差记为f(p)，p×p相邻像素对集合记为M，则能量函数可以表示为：

$E\left(f\right)=\underset{p\∈I_1}{\mathrm{\Σ}}{D}_p\left(f_p\right)+\underset{p,q\∈M}{\mathrm{\Σ}}{V}_{p,q}(f_p,f_q)$

其中

D_p(f_p)＝(I₁(p)-I₂(p+f_p))²

$V_{p,q}(f_p,f_q)=\left\{\begin{array}{cc}\mathrm{\λ},& f_p\≠f_q\\ 0,& f_p=f_q\end{array}\right.$

立体匹配中，对于网格图的构造，其具体方法为：

建立三维坐标系O-XYZ，把图像I₁置于OXY平面，使得I₁的原点、X轴、Y轴与OXY平面的原点以及相应的轴重合。在Z的正半轴上，从原点开始，等距离地放置向量l₁，l₂，...，l_n。在I₁即原点O的地方放置q₀，对于i＝1，2，...，n-1，在l_i和l_i+1的中点放置点q_i，最后在l_n处放置q_n。至此，由OXY平面中像素点p＝(p_x，p_y)以及Z的正半轴上的点q₀，q₁，...，q_n构成了一个正方体网格。可以看出，对i＝1，2，...，n-1，Z轴上每个区间[q_i，q_i+1]恰好包含一个l_i+1。记(p；q_i)＝：(p_x，p_y，q_i)为立方体网格上节点，在立方体网格的上下方添加两个点：源点s，汇点t。并在s到l₁每个像素点之间添加一个边，在T到集合{(p_x，p_y，q_n)|(p_x，p_y)∈I₁}中的每个点，即立方体网格上与OXY平面相对应的另一个面上的节点，添加一个边。由此，获得一个无向图G＝(V，E)，即

V＝{s，t}∪{(p；q₁)|p∈I₁，i＝0，1，...，n}

E＝{(s，(p；q₀))，(t，(p；q_n))|p∈I₁}∪E_s∪E_d

其中E_s为光滑边构成的集合，E_d为视差边构成的集合，其表示式分别为：

E_s＝{(p；q_i)，(q；q_i)|q∈N(p)，p∈I₁，i＝0，1，...，n}

E_d＝{(p；q_i)，(p；q_i+1)|p∈I₁，i＝0，1，...，n}

设H＝(V，E\E_s)，即H为G＝(V，E)删除光滑边之后的图。定义H中各边的容量如下：

1)源点、汇点连接边的容量：{(s，(p；q₀))|p∈I₁}，{(t，(p；q_n))|p∈I₁}中边的容量为+∞或者充分大的正数；

2)视差边的容量为：对任意p∈I₁，i＝0，1，...，n-1，边e_p，i+1＝：((p；q₁)，(p；q₁₊₁))的容量为：

c(e_p，i+1)＝(I₁(p)-I₂(p+l_i+1))²

3)光滑边的容量：p，q为一幅图像中相邻两像素：

c(p，q)＝||G₁(p)-G₂(p+l_i+1)||²

由此，网格N＝(H，s，t，c)图构建完成，如图4所示。

立体匹配中，对于网格图最小割/最大流的求解，可使用Dinic算法，其具体方法如下：

1)从剩余图中寻找一条从源点到汇点的最短路径；

2)增加该路径最大可能得流量Δf，在剩余图中减去Δf，总流量增加Δf；

3)循环执行上面的步骤，直到从源点到汇点所有的路径都被充满。

以上方法得到的流量即为最大流，最大流对应的充满边组成了图像的最小割。

(4)对步骤(3)中的匹配结果进行线性插值，得到第k-1层的匹配点搜索范围，根据第k-1层的匹配点搜索范围对该层图像进行立体匹配，之后进入步骤(5)；

(5)对第k-1层的匹配结果进行线性插值得到第k-2层的匹配点搜索范围，根据第k-2层的匹配点搜索范围对第k-2层图像进行立体匹配，之后循环进行，直到对第2层的匹配结果进行线性插值得到第1层的匹配点搜索范围，根据第1层的匹配点搜索范围对第1层图像进行立体匹配，最终得到的匹配结果即为视差图，到此匹配完成。

如图5所示，对于高层图像s⁽³⁾中的p₃点，其立体匹配的结果为视差c₃，通过线性插值得到低层图像s⁽²⁾中的匹配点搜索范围w(p₂)，其大小为n×n，通过图割法立体匹配得到p₂点的视差，即c₂，再通过线性插值到s⁽¹⁾层图像中的匹配点搜索范围w(p₁)，其大小为n×n，通过图割法立体匹配得到p₁点的视差，即c₁，如此循环处理，直到金字塔所有层的图像均处理完毕。

Claims (2)

1.一种基于图割的快速立体匹配方法，其特征在于步骤如下： 

(1)对第一图像和第二图像进行外极线校准处理，之后分别对两个图像进行灰度化处理，再之后通过自适应中值滤波对图像噪声进行抑制，接下来通过直方图均衡化对两个图像的亮度差异进行均衡，最后应用拉普拉斯算法锐化图像； 

进行灰度化处理通过公式 

Y＝0.299R+0.596G+0.211B 

将获取的彩色图像转化为灰度图像Y，式中R、G、B分别表示红、绿、蓝三种颜色分量； 

(2)分别对第一图像和第二图像构建多分辨率金字塔，形成第一金字塔和第二金字塔； 

(3)对处于第一金字塔最高层的图像和第二金字塔最高层的图像进行立体匹配，所述最高层即为第k层； 

(4)对步骤(3)中的匹配结果进行线性插值，得到第k-1层的匹配点搜索范围，根据第k-1层的匹配点搜索范围对该层图像进行立体匹配，之后进入步骤(5)； 

(5)对第k-1层的匹配结果进行线性插值得到第k-2层的匹配点搜索范围，根据第k-2层的匹配点搜索范围对第k-2层图像进行立体匹配，之后循环进行，直到对第2层的匹配结果进行线性插值得到第1层的匹配点搜索范围，根据第1层的匹配点搜索范围对第1层图像进行立体匹配，最终得到的匹配结果即为视差图，到此匹配完成； 

步骤(1)中所述通过自适应中值滤波对图像噪声进行抑制，其具体方法如下： 

将图像分为若干子块，通过对各子块中的像素进行噪声检测，根据预设的阈值将各子块中的像素分为受噪声污染像素和未受噪声污染像素两类；统计受噪声污染像素的个数以确定子图像中噪声干扰大小，根据噪声干扰大小调整滤波窗口的尺寸；最后根据调整尺寸之后得到的滤波窗口，通过中值滤波方法对子图像中的噪声点进行滤波处理； 

步骤(1)中所述通过直方图均衡化对两个图像的亮度差异进行均衡，其具体方法如下： 

在图像中挑选任意一个像素点，关于该像素点确定一个矩形区域，该矩形区域的大小为预设值，计算该矩形区域内部和外部的加权归一化直方图；对该矩形区域内的直方图进行均衡化，实现对该矩形区域中心像素的处理；移动该矩形区域到下一个相邻的像素点，重复上面的过程，直至处理完整幅图像； 

所述步骤(2)分别对第一图像和第二图像构建多分辨率金字塔具体为： 

对步骤(1)中的锐化过的第一图像和第二图像均进行k次缩放，缩放比例为r，各自得到k个不同分辨率的图像，即k层的第一金字塔和第二金字塔； 

第一图像为第一金字塔的最低层，即第一层，第二图像为第二金字塔的最低层，即第一层，高层的金字塔图像像素值可以通过低层的图像r×r区域的像素值进行平均而获得；缩放次数k和缩放比例r均为预设值。 

2.根据权利要求1所述的一种基于图割的快速立体匹配方法，其特征在于：所述步骤(3)中进行立体匹配采用图割法进行。