CN103049903B - 一种用于立体视觉系统的双目立体匹配方法 - Google Patents

Abstract

本发明公开了一种用于立体视觉系统的双目立体匹配方法，包括：计算左右视图的初始视差图并获取图像的GCP点；确定图像GCP点的控制区域，并估计控制区域内非遮挡点的视差范围；对每个GCP控制区域，构造能量函数，利用GC求取能量函数极小值，获取非遮挡点的可信视差值；利用局部信息对视差图进行后处理，得到优化的视差图。本发明通过寻找视差图像的GCP点，利用GCP点估计其控制区像素点的视差范围，利用GC优化方法求解能量函数的极值问题，为GCP控制区像素点分配合理的视差值，最后用局部信息对视差图进行后处理。本发明提出一种利用GCP点进行半全局优化求取视差图的算法，可以获取质量较好的结果。

Description

一种用于立体视觉系统的双目立体匹配方法

技术领域

本发明涉及计算机立体视觉领域，具体涉及一种用于立体视觉系统的双目立体匹配方法。

背景技术

在计算机立体视觉领域，双目立体匹配主要是通过找出每对图像间的对应关系，根据三角测量原理，得到视差图；在获得了视差信息后，根据投影模型很容易地可以得到原始图像的深度信息和三维信息。双目立体匹配技术被普遍认为是立体视觉中最困难也是最关键的问题。每年都有许多新的双目立体匹配算法被提出来。但是由于该问题本身就是一个病态问题，这使得双目立体匹配成为一个较难解决的问题。现有的双目立体匹配算法分为两大类，全局立体匹配算法和局部立体匹配算法，但很难有一种算法能解决所有的实际问题。

双目立体匹配算法的一般流程为，左右视图的获取，视图的校正，立体匹配。视图校正以后，使得匹配点寻找可以在一维搜索空间实现。局部立体匹配算法大都建立支持窗口，实现匹配点在极线上一维搜素，算法复杂度小，但匹配精确度差。相比而言，全局立体匹配算法利用整幅图像的信息，构造具有数据项和平滑项的能量函数，数据项表征图像像素点相似程度，而平滑项表征图像的结构信息，所以全局立体匹配算法获取的视差图是全局优化的结果，匹配精度较高，相应的其算法复杂度较大。

发明内容

为了解决现有技术中全局立体匹配算法计算复杂度较高的问题，本发明提供了以下的技术方案：

一种用于立体视觉系统的双目立体匹配方法，包括以下步骤：

A计算左右视图的初始视差图并确定GCP点(ground control points路径控制点地面控制点)；

B确定图像每个GCP点的控制区，并估计控制区非遮挡点的视差范围；

C对GCP区非遮挡点，构造能量函数，求取能量函数极小值，获得非遮挡点的可信视差值；

D利用局部信息对视差图进行后处理，得到优化视差图；

优选的，所述步骤B包括以下步骤：

B1确定GCP点的控制区。对于GCP点，考虑其水平方向上左边和右边的点，当其周围的点和该GCP点的测地距离大于某一个阈值的时候，即找到GCP点控制区的左右边界。边界所界定的区域即为该GCP点的控制区域。根据以下公式计算GCP点的控制区域。

D_X-GCP<λ_distance

其中D_X-GCP代表GCP左右点到GCP点的测地距离。测地距离表示当前点和GCP点的色彩差异，但是要保证当前点到GCP点的水平路径上没有色彩的阶跃变化。

λ_distance代表测地距离的阈值。若测地距离足够小则表示该点属于GCP点的控制区。反之，不属于该点的控制区。

若当前点同时满足两个GCP点的控制区域要求，则选择测地距离较小所对应的那个GCP点。若当前点没有被分配到GCP控制区，则暂时不处理。

B2估计GCP点控制区非遮挡点的视差值。左右图中相匹配的GCP点都有一个相应的控制区域，得到两个控制区域以后，利用其控制区域的边界点坐标，估计GCP控制区内像素点的视差范围。实现方法如下。

假设P_GCPL,P_GCPR分别代表左右图中匹配的GCP点，两个控制区域的坐标差值有一个变化范围，这个变化范围作为当前GCP控制区像素点的视差范围，还可以再加上一个浮动范围d，构成了GCP控制区的弹性视差范围。

优选的，所述步骤C包括以下步骤：

C1构造能量函数的数据项部分。能量函数的数据项部分是GCP控制区内以每个像素点为中心生成的测地距离区域的匹配代价和。

构建的匹配代价方法如下：

对左图中GCP的控制区域，在视差估计的范围内，选取一个视差值，找到其在右图中的匹配点，以这两个匹配对点建立测地距离区域，将测地区域内像素点的色彩差异作为匹配代价。

C2构造能量函数的平滑项部分。获取全局GCP点的拓扑结构，转化为对每一个像素点位置进行定位的结构信息。结构信息的差异构成了平滑项。具体实现方法如下：

对于GCP控制区域的每一个点，其相对于全局GCP点的位置是唯一的。这样统计控制区域中一个点在各个方向上GCP点的数目，结果可以作为该点的特征。同样的方法找到右图中匹配点GCP分布特征。这两个特征的差异即为平滑项的一部分。

C3利用GC优化方法求解构造的能量函数，获取GCP控制区点的可信视差值。GC优化算法为控制区域内的所有点整体分配合适的视差值。

本发明的有益效果是：

本发明，提出一种基于GCP控制区的半全局优化立体匹配算法，利用局部立体匹配算法的结果，得到视差值可信的GCP点，结合全局立体匹配算法的思想，合理地利用局部数据信息和全局结构信息对每一个GCP控制区域构造新的能量优化函数，完成多GCP控制区域像素点的视差值分配。本发明很好的融合了两种算法的特点，既减小了算法的复杂度，又保证了算法的精确度。有效解决了局部立体匹配算法精度低的和全局算法复杂度高的问题。

附图说明

图1是本发明具体实施例的流程图。

图2是图1实施例的步骤结构流程图。

图3是图2初始视差图获取及GCP点确定的流程图。

图4是图2 GCP点控制区获取以及控制区内非遮挡点视差估计流程图。

图5是图2基于GCP控制区半全局优化算法的流程图。

图6是图2视差图后处理流程图。

图7是测地生成区域示意图。

图8是全局GCP信息统计示意图。

具体实施方式

以下结合附图对本发明作进一步详细的说明。

如图1所示，用于立体视觉系统的双目立体匹配方法的一个实施例包括以下步骤：

A计算左右视图的初始视差图并获取图像的GCP点；

B确定图像每个GCP点的控制区，并估计控制区像素点视差范围；

C对GCP区内像素点，构造能量函数，求取能量函数极小值，使得控制区内像素点获取可信视差值；

D利用局部信息对视差图进行后处理，得到优化视差图；

更具体的，如图2所示，本发明的实施例中包括以下四个处理步骤：

100获取初始视差图，标记图像GCP点；

200确定图像每个GCP点的控制区，并估计控制区非遮挡点的视差范围步骤；

300对GCP区非遮挡点，构造能量函数，求取能量函数极小值，获得非遮挡点的可信视差值步骤；

400利用局部信息对视差图进行后处理，得到优化视差图步骤；

100计算左右视图的初始视差图并确定GCP点步骤：

101获取左右视图的初始视差图。以左图为参考图，利用基于SAD的局部立体匹配算法(该算法可参考例如文献：T.Kanade.Development of a video-ratestereo machine.In Image Understanding Workshop,pages 549–557,Monterey,CA,1994.Morgan Kaufmann Publishers.)计算右图的初始视差值。同理以右图为参考图，利用局部立体匹配算法计算左图的视差图。这样得到左右图的初始视差图。

102对左右初始视差图进行左右一致性检测，不满足左右一致性检测的点被标记为遮挡点。假设初始左右视差图分别为D_L,D_R,x_L表示为左视差图中的一像素点，如公式(1)所示：

D_L(x_L)＝D_R(x_L+D_L(x_L))   (1)

左视差图中的像素点x_L若等于右视差图中与其匹配的像素点的视差值，则表示左视差图中该点满足左右一致性检测。

同样，对于右时差图中的一像素点x_R，如公式(2)所示：

D_R(x_R)＝D_L(x_R-D_R(x_R))   (2)

右视差图中的像素点x_R若等于左视差图中与其匹配的像素点的视差值，则表示右时差图中该点满足左右一致性检测。

103对于满足左右一致性检测的点，根据公式(3)求出GCP点：

${\mathrm{\&lambda;}}_{\mathrm{threshold}}=\frac{|C_{\min }-C_{\sec \min }|}{|C_{\min }+C_{\sec \min }|}---\left(3\right)$

公式中Cmin和Csecmin分别为在初始视差图求解过程中某一像素点匹配代价的最小值和次小值，设定λ_stable为GCP点阈值，这个阈值可以自己设定，用来控制GCP点的多少，该阈值的大小会影响GCP点的数目。阈值越大，表示匹配代价的最小值和次小值差距较大，反之，最小值和次小值差距不大。对于实际的左右视图，可以先假定一个比值，笔直的大小可以随意设定，在该比值下观看GCP点的多少，若GCP点过少，则减小阈值，反之，则增大阈值。λ_threshold大于λ_stable时该像素点为GCP点，λ_threshold小于λ_stable时不是GCP点。

200确定图像每个GCP点的控制区，并估计控制区非遮挡点的视差范围步骤；

201确定图像每个GCP点的控制区。

对于GCP点，考虑其水平方向上左边和右边的点，当其周围的点和该GCP点的测地距离(测地距离是指连接两个像素点，在其连接的路径上，路径上的像素点色彩差异在一定范围内，而这两个像素点之间的距离叫做测地距离)大于某一个阈值的时候，即找到GCP点控制区的左右边界。此阈值应当根据实际的图像对进行选择，不能过大或者过小。阈值过小的时候，GCP控制区内像素点过少，处理像素点数有限，若阈值过大，则GCP控制区重复区域较多。边界所界定的区域即为该GCP点的控制区域。根据以下公式计算GCP点的控制区域。

D_X-GCP<λ_distance    (4)

其中D_X-GCP代表GCP左右点到GCP点的测地距离。λ_distance是用像素点位置差异表征的距离，例如相邻的两个像素点其距离为1。λ_distance可以随意设定初值，然后根据图像的GCP控制区结果来调整它的值。若GCP控制区较小，则增大λ_distance的值，反之，则减小该值。测地距离表示当前点和GCP点的像素位置距离，但是要保证当前点到GCP点的水平路径上没有色彩的阶跃变化。即路径上相邻像素点之间没有色彩阶跃。在确定GCP控制区的路径上(当前路径是GCP点水平向左或向右)，相邻两个像素点间的色彩差异若大于值Diff_Color，就认为相邻两像素点之间有阶跃。如果两点色彩差异小于Diff_Color，则认为两点之间没有阶跃。Diff_Color是一个常数值，表征像素点之间的色彩差异。若以两幅灰度图为例，像素点的色彩差异用灰度值的差值表示即可。若该点还和GCP点的位置距离小于测地距离阈值，就认为该点在GCP点的控制区。若在路径上碰到阶跃，阶跃点位置即为控制区域的边界。

λ_distance代表测地距离的阈值，是一个单位，是像素点的距离数值。若测地距离满足(4)式，则表示该点属于GCP点的控制区。反之，不属于该点的控制区。

若当前点同时满足两个GCP点的控制区域要求，则选择测地距离较小所对应的那个GCP点。若当前点没有被分配到GCP控制区，则暂时不处理。

202估计控制区非遮挡点的视差范围。

左右图中相匹配的GCP点都有一个相应的控制区域，得到两个控制区域以后，利用其控制区域的边界点坐标，估计GCP控制区内像素点的视差范围。实现方法如下：

假设P_GCPL,P_GCPR分别代表左右图中匹配的GCP点，两个控制区域的水平坐标差值有一个变化范围，这个变化范围作为当前GCP控制区像素点的视差范围，还可以再加上一个浮动范围d，构成了GCP控制区的弹性视差范围。浮动范围d随实际场景而定，一般是一个比较小的整数值。浮动范围可以随意假定，但不宜过大，一般可在0～15之间取值。假设匹配的GCP点所在控制区内的像素点水平坐标的差值范围为[-d₁,d₂]，则认为两个GCP点对应的控制区的视差范围也为[-d₁,d₂]，若考虑弹性范围，考虑d，其弹性视差范围是[-d₁-d,d₂+d]。300对GCP区非遮挡点，构造能量函数(能量函数的物理意义是点的匹配代价，如果是全局能量函数，表示为全局像素点找匹配点的匹配代价，匹配代价越小，表示点匹配的准确度越高。因为能量函数是基于相似性建立起来的，相似性越大，能量函数越小。后面给出了能量函数的两个组成部分)，求取能量函数极小值(能量函数值小，表示匹配点的寻找准确)，获得非遮挡点的可信视差值步骤；

301构造能量函数的数据项。

能量函数的数据项部分是GCP控制区内以每个像素点为中心生成的测地距离区域的匹配代价和。

构建匹配代价方法如下：

对左图中GCP的控制区域，在视差估计的范围内，选取一个视差值，找到其在右图中的匹配点，以这两个匹配对点建立测地区域，测地区域建立的方法如下：根据测地距离的概念，将与当前点的测地距离小于一个值λ_d的所有点所组成的区域成为该点的测地区域。λ_d表示距离，和测地距离的物理意义一致，用像素点位置差异表示，确定该值的，可参考步骤201中确定λ_distance之方法。将测地区域内像素点的色彩差异作为匹配代价。如下公式表示数据项：

其中绝对值内的项表示对应像素点的色彩差异。图7是测地区域生成示意图。深色代表匹配的GCP点。而浅色区域代表P，Q两点的测地区域。如果两个点所形成的测地区域不一样，即绝对值中有一项不存在，则将另一项赋为0。

302构造能量函数的平滑项。

对于GCP控制区域的每一个点，其相对于全局GCP点的位置是唯一的。这样统计控制区域中一个点在各个方向上GCP点的数目，结果可以作为该点的特征。同样的方法找到右图中匹配点GCP分布特征。这两个特征的差异即为平滑项的一部分。

如图8所示，深色表示控制区内的点，而浅色表示图像中的GCP点，可见，全局的GCP点唯一的确定了GCP内每一个像素点的位置(GCP点是位置确定的点，那么图像中其他的点相对于这些确定位置的点位置是唯一的)。对于红色像素点，考虑其周围360度范围内GCP点的分布情况，并转化为特征向量。左右图中匹配点的特征向量的差异即为二者的匹配代价。

按照图8所示，将GCP点按照方向和距离分类。统计不同方向上随距离变化不同区域内GCP点的个数。上下左右以及对角线共八个方向，算上他们之间的区域，一共有16个方向区域。以红色像素点为圆心，不同的距离作为半径，将图片分为M层，则当前红色像素点的位置可用一个16M维的特征向量来表征。而平滑项则可表示为特征向量之间的距离。两个特征向量分别为：

α_left＝(x₁,x₂,...x_16M)^T

α_rightt＝(y₁,y₂,...y_16M)^T

距离计算公式如下示：

$E_{\mathrm{smooth}}=D_{\mathrm{dis}\tan \mathrm{ce}}=\sqrt{{(x_1-y_1)}^2+{(x_2-y_2)}^2+...+{(x_{16M}-y_{16M})}^2}$

303利用GC优化能量函数。

经过301与302步骤后，可以获得构造的能量函数。

E＝E_data+E_smooth

本步骤中也利用GC(Graph Cut)对能量函数进行优化。即利用图割的方法求取函数的极小值[(GC是成熟算法.算法原理复杂，可参考文献：[2]V.Kolmogorov andR.Zabih.Computing visual correspon-dence with occlusions using graph cuts.InICCV,volume II,pages 508–515,2001)。得到控制区域每个像素点的视差值。

400利用局部信息对视差图进行后处理，得到优化视差图步骤；

401对遮挡点进行处理

对于遮挡点，向其左右方向分别寻找GCP点，选取距离较近的那一个GCP点作为参考，在该GCP控制区内，选取接近遮挡点的像素点，计算视差均值(求算数均值，相加的和除以基数)，赋给遮挡点。

402区域投票优化

对size*size(固定大小一般根据要处理图像对来确定)大小的窗口中的像素点进行分析，用区域视差值的众数(一个集合中，数据重复出现次数最多的那个数据为整个集合的众数)代替“毛刺”像素点(毛刺就是整个集合中，与其他数值相差较大数目又少的一些数值)。这些像素点在区域中数目小，且视差值与区域视差值相差较大。Size一般取大于3的任意整数。

403双边滤波

对视差图进行双边滤波(可参考文献：C.Tomasi and R.Manduchi.BilateralFiltering for Gray and Color Images.IEEE International Conference on ComputerVision pages 839–846,1998)，使得图像较为平滑并保留较好的边缘信息。本发明得到视差图，如果已知相机和系统的一些参数，可以求出场景的深度信息。

Claims (3)

1.一种用于立体视觉系统的双目立体匹配方法，其特征在于包括以下步骤：

A.获取左右视图的初始视差图并确定图像的GCP点；

B.确定图像每个GCP点的控制区，并估计控制区非遮挡点的视差范围；

C.对GCP区非遮挡点，构造能量函数，求取能量函数极小值，获得非遮挡点的可信视差值；

D.利用局部信息对视差图进行后处理，得到优化视差图；利用优化视差图，实现立体匹配；

在所述步骤A中，根据如下公式求出GCP点：

公式中C_min和C_sec min分别为在初始视差图求解过程中某一像素点匹配代价的最小值和次小值，设定λ_stable为GCP点阈值，当λ_threshold大于λ_stable时该像素点为GCP点，当λ_threshold小于λ_stable时不是GCP点；

所述步骤B包括以下步骤：

B1.确定GCP点的控制区：对于GCP点，考虑其水平方向上左边和右边的点，当其周围的点和该GCP点的测地距离大于阈值的时候，即找到GCP点控制区的左右边界；边界所界定的区域即为该GCP点的控制区域；即根据以下公式计算GCP点的控制区域：

D_X-GCP<λ_distance

其中D_X-GCP代表GCP左右点到GCP点的测地距离，测地距离表示当前点和GCP点的色彩差异，但是要保证当前点到GCP点的水平路径上没有色彩的阶跃变化；若在路径上碰到阶跃，阶跃点位置即为控制区域的边界；其中λ_distance代表测地距离的阈值；若测地距离足够小则表示该点属于GCP点的控制区，反之，不属于该点的控制区；若当前点同时满足两个GCP点的控制区域要求，则选择测地距离较小所对应的那个GCP点；若当前点没有被分配到GCP控制区，则暂时不处理；

所述步骤B还包括以下步骤：

B2.估计GCP点控制区非遮挡点的视差值:得到左右图中相匹配的GCP点相应的控制区域以后，利用其控制区域的边界点坐标，估计GCP控制区内像素点的视差范围，实现方法如下：

两个控制区域的坐标差值的变化范围作为当前GCP控制区像素点的视差范围；再加上一个浮动范围d，构成GCP控制区的弹性视差范围；

所述C步骤包括以下步骤：

C1构造能量函数的数据项部分：能量函数的数据项部分是GCP控制区内以每个像素点为中心生成的测地距离区域的匹配代价和；

C2构造能量函数的平滑项部分:获取全局GCP点的拓扑结构，转化为对每一个像素点位置进行定位的结构信息,该结构信息的差异构成了平滑项；

C3利用GC优化方法求解构造的能量函数，获取GCP控制区点的可信视差值；所述GC优化方法为控制区域内的所有点整体分配合适的视差值。

2.如权利要求1中所述的用于立体视觉系统的双目立体匹配方法，其特征在于所述C步骤包括以下步骤：步骤C1中构建的匹配代价方法如下：

对左图中GCP的控制区域，在视差估计的范围内，选取一个视差值，找到其在右图中的匹配点，以这两个匹配对点建立测地距离区域，将测地区域内像素点的色彩差异作为匹配代价。

3.如权利要求1或2中所述的用于立体视觉系统的双目立体匹配方法，其特征在于步骤C2具体实现方法如下：

对于GCP控制区域的每一个点，其相对于全局GCP点的位置是唯一的，这样统计控制区域中一个点在各个方向上GCP点的数目，结果可以作为该点的特征，同样的方法找到右图中匹配点GCP分布特征，这两个特征的差异即为平滑项的一部分。