CN108460792B - 一种基于图像分割的高效聚焦立体匹配方法 - Google Patents

Abstract

本发明提出一种基于图像分割的高效聚焦立体匹配方法。首先利用图像分割方法把参考图像分割成不同的图像块，对参考图像和待匹配图像同时进行Census变换得到序列值，然后利用邻域像素视差对待匹配像素视差范围进行动态矫正，最后采用匹配代价函数，以分割块作为支撑窗口，利用序列值进行代价计算，通过窗口在水平方向上的移动计算每个分割块内的代价聚合值，最小的代价聚合值对应的水平偏移量表示该分割块的最佳视差值。本发明不仅可以提高深度不连续区域的匹配精度，同时也具有较高的计算效率，此外，在不同的光照环境下也具有很好的鲁棒性。

Description

一种基于图像分割的高效聚焦立体匹配方法

技术领域

本发明属于立体视觉技术领域，具体涉及一种基于图像分割的高效聚焦立体匹配方法。

背景技术

立体匹配是计算机视觉中最重要的领域之一，它的主要目的是从立体图像对中找出对应的点并计算出稠密视差图。最近几十年已经提出了许多算法，基于代价聚合过程的不同可以分为全局匹配算法和局部匹配算法(参见文献一D.Scharstein andR.Szeliski.A taxonomy and evaluation of dense two-frame stereo correspondencealgorithms[J].

IJCV,47(1/2/3：7-42，2002.)。全局匹配算法通常先根据各自约束条件建立一个能量函数，然后通过对能量函数进行多次迭代和优化得到视差结果。全局匹配算法的视差结果比较精确，但是计算时间太长，因此并不适合实时处理。与全局匹配算法相比，局部匹配算法更加简单和快速。然而对于相似区域的像素，利用基于窗口的局部匹配算法来计算出待匹配图像中的对应像素也是比较困难的。此外，局部匹配算法在深度不连续区域的误匹配率较高。因此研究出一种可以同时提高匹配精度和计算效率的匹配算法是目前的主流方向。

目前匹配精度较高的局部匹配算法都是基于图像分割(参见文献二F.Tombari，S.Mattoccia，and L.Di Stefano.Segmentation-based adaptive support for accuratestereo correspondence.In Proc.IEEE Pacific-Rim Symposium on Image and VideoTechnology，2007.)或者自适应权重(参见文献三K.Yoon and I.Kweon.Adaptivesupport-weight approach for correspondence search.IEEE Trans.PAMI，28(4)：650-656,2006.)。与基于自适应窗口的局部匹配算法不同，自适应权重算法利用固定尺寸大小的矩形窗口，通过计算窗口中每个像素与中心像素的颜色相似性和空间邻近性来分配支撑权值。实验结果表明自适应权重算法在深度不连续区域以及颜色相似区域都可以取得精确的匹配结果，唯一不足的是处理时间过于漫长，不适合实时匹配。

文献四F.Tombari，S.Mattoccia，and L.Di Stefano，E.Addimanda.Near real-time stereo based on effective cost aggregation.International Conference OnPattern Recognition.

ICPR(2008).提出的也是基于图像分割的方法，该算法提高了计算效率，近于实时处理。由于高纹理区域的分割块面积很小，对这一部分的匹配会有误差，因此在代价聚合过程中又增加了矩形固定窗口。然而矩形固定窗口会带来边界模糊问题，导致深度不连续区域的误匹配。同时对于存在光照变化和噪声的图像，该算法也存在误匹配。

文献五Man Li，Jing Han，Yi Zhang，Lianfa Bai:An improved stereo based oneffective cost aggregation.Proc.SPIE9675AOPC 2015:Image Processing andAnalysis，2015在已有基础上进行改进，并没有明显降低深度不连续区域的误匹配率。

发明内容

本发明提出一种基于图像分割的高效聚焦立体匹配方法，提高了深度不连续区域的匹配精度，减小了存在光照变化的图像的误匹配率。

为了解决上述技术问题，本发明提供一种。。

本发明与现有技术相比，其显著优点在于：

(1)本发明在匹配之前对左右图像进行Census变换，不仅可以解决光照前度以及曝光时间带来的幅度失真问题，还有效抑制了噪声带来的误匹配。

(2)本发明利用邻域像素视差值对待匹配像素的视差范围进行动态矫正，有效缩短了匹配时间，使之更适用于实时匹配应用场景。

(3)本发明中的代价聚合函数充分考虑了Census变换后序列值的灰度分布和结构变化，将代价值大于固定阈值的像素点置为1，代价值小于固定阈值的像素点置为0，大大提高了深度不连续区域的匹配精确度。

(4)传统的局部立体匹配算法是利用固定窗口逐个像素计算其匹配代价从而得到相应的视差结果，本发明利用分割块作为聚焦区域，将窗口内具有相同视差值的像素聚集起来，能够直接计算出整个分割块内所有像素的视差值，大大提高了运算效率。

附图说明

图1是本发明基于图像分割的高效聚焦立体匹配方法的流程图。

图2是采用国际标准middlebury网站的图像对已有技术进行测试的匹配结果示意图。

图3是本发明对原始图像进行Census变换前后的窗口示意图。

图4是本发明对视差范围进行动态矫正示意图。

图5是采用国际标准middlebury网站的图像对本发明方法进行测试的匹配结果示意图。

图6是采用存在光照变化的图像对本发明方法进行测试的匹配结果示意图。

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明基于图像分割的高效聚焦立体匹配方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。

结合附图，本发明基于图像分割的高效聚焦立体匹配方法，步骤如下：

步骤一，极线矫正。

通过相机标定获得相机的内外参数，进而得到相机的变换矩阵。利用左图像I_L(i,j)的相机变换矩阵H_L和右图像I_R(i,j)的相机变换矩阵H_R分别对左图像和右图像进行极线矫正，使两幅图像中的对应匹配点在垂直方向上的视差值为零。这样在立体匹配的过程中，只需要在同一行上搜索对应的匹配点，大大提高了匹配的精度和速度。极线矫正的计算方法如公式(1)所示：

式(1)中，(x_L,y_L)为左图像的横、纵坐标，(x_R,y_R)为右图像的横、纵坐标，X_L0为原始左图像的坐标向量，X_L为极线矫正后左图像的坐标向量，X_R0为原始右图像的坐标向量，X_R为极线矫正后右图像的坐标向量，T为转置运算符。

步骤二，图像分割。

假设：视差值在颜色相似区域内是一致的或是平滑变化的，深度不连续只发生在物体边缘区域。基于该假设，本发明把左图像分割成不同的区域块，每个分割块具有相同的颜色。为了获得显著的分割结果，本发明采用了一种经典和高效的图像分割方法——Mean-Shift方法。在本发明中，作为一个实施例，Mean-Shift方法的常量设置如下：h_s＝10(坐标窗口半径)，h_r＝7(颜色窗口半径)，M＝30(最小区域尺寸)。

步骤三，Census变换。

对步骤一进行极线矫正之后的左右图像分别进行Census变换。在立体图像的拍摄过程中，由于左右摄像机所处的位置不同以及摄像机本身探测器的差异，所拍摄到的图像可能会受光照和噪声的影响，空间中某一点在两幅图像上成像的两个像素点所对应的灰度值可能相差很大。为了消除光照等其他因素对匹配结果的影响，对参考图像和待匹配图像先进行Census变换，如图3所示。

步骤四，动态视差范围矫正。

如图4所示，i为当前像素。若要求当前像素i的视差值，应该先确定视差搜索范围。以框内的10个像素点为参考对象，它们的视差值分别为d_i-1,d_i-2,...d_i-10，求这10个参考像素点视差平均值E，如公式(2)所示：

利用邻域像素视差最大值和最小值，求参考像素视差的动态范围δ，如公式(3)：

δ＝max(d_n)-min(d_n)n＝i-1,i-2,...,i-10 (3)

利用参考像素的视差平均值E和动态范围δ，将待匹配像素的视差搜索范围更新为：

d_i＝(E-δ,E+δ) (4)

以标准图片“Teddy”为例，默认视差搜索范围为0-59。若对于某个像素i，根据其参考像素计算得到的E＝20，δ＝10，那么d_i＝20±10，即像素i的搜索范围将矫正为10-30，这样计算效率将提高一倍以上。

步骤五，高效聚焦策略。

以步骤二得到的图像分割块作为匹配窗口，对步骤三进行Census变换后的左图像和右图像进行匹配代价计算，匹配代价函数如公式(5)所示：

δ(p,q)＝1-cos(I_p,I_q)+λdis(I_p,I_q) (5)

设定右图为参考图像，左图为待匹配图像，p和q分别为参考图像和待匹配图像中的一对待匹配点，δ(p,q)表示像素p和像素q之间的相似性，I_p表示像素p的序列值，I_q表示像素q的序列值，cos(I_p,I_q)表示I_p和I_q的余弦相似度，反应了向量间的空间结构相似性，如公式(6)所示：

dis(I_p,I_q)表示I_p和I_q的模的绝对值差，反应了向量间的灰度相似性，如公式(7)所示：

dis(I_p，I_q)＝||I_p|-|I_q|| (7)

λ为固定常数，因为0≤1-cos(I_p,I_q)≤1，0≤dis(I_p,I_q)≤80且为正整数，为了平衡两者的权重，对dis(I_p,I_q)进行归一化，取λ＝1/80。

将式(5)的计算结果δ(p,q)与经验阈值Th进行比较，若δ(p,q)＜Th，则说明像素q为像素p的对应点，将比较结果置为0；若δ(p,q)≥Th，则说明q为误匹配点，比较结果置为1，如式(8)所示：

n(p,q)为δ(p,q)与经验阈值Th的比较值。

最后将窗口内所有像素的比较值聚合起来，如公式(9)所示：

C_s(p,q,d)为像素p所在分割块总的聚合值，C_s(p,q,d)越小表示像素p所在的分割块和像素q所在的分割块越相似，即像素p和像素q正确匹配的可能性越高。d为像素p和像素q的视差值，S_p为像素p所在的分割块，p_i为p所在分割块内所有的像素，q_i为q所在分割块内所有的像素。在视差搜索范围内通过改变d的值计算不同的d所对应的C_s(p,q,d)，根据WTA视差计算原则，当C_s(p,q,d)取最小值时所对应的d就是像素p的最佳视差值。

本发明方法与背景技术中文献四和文献五所提方法做了对比，如表1所示，可以看出，本发明减小误匹配率。

表1现有方法与本发明方法对标准图库进行测试时的误匹配率

Claims (4)

1.一种基于图像分割的高效聚焦立体匹配方法，其特征在于，包括以下步骤：

步骤1：对左右两幅图像进行极线矫正，使左右两幅图像中的对应匹配点在垂直方向上的视差值为零；

步骤2：对步骤一进行极线矫正之后的右图像进行图像分割，得到不同的分割块，分割块内的像素具有相同或相近的颜色；

步骤3：对步骤一进行极线校正之后的左右图像分别进行Census变换，Census变换结果用序列值表示；

步骤4：对于当前待匹配像素，分别计算邻域像素视差值的平均值以及动态范围，根据所述平均值和动态范围对当前待匹配像素的视差范围进行动态矫正，得到当前待匹配像素的视差搜索范围；

步骤5：以步骤二分割出来的分割块作为匹配窗口，对步骤三的序列值进行匹配代价计算，将计算出来的匹配代价值与固定阈值进行比较，最后将窗口内所有像素的比较值聚合起来，根据WTA视差计算准则寻找最优视差值；步骤5中，

设定右图为参考图像、左图为待匹配图像，则匹配代价值时使用的匹配代价函数如公式(5)所示：

δ(p，q)＝1-cos(I_p，I_q)+λdis(I_p，I_q) (5)

其中，p和q分别为参考图像和待匹配图像中的一对待匹配点，δ(p，q)表示像素p和像素q之间的相似性，I_p表示像素p的序列值，I_q表示像素q的序列值，cos(I_p，I_q)表示I_p和I_q的余弦相似度，其如公式(6)所示：

dis(I_p，I_q)表示I_p和I_q的模的绝对值差，其如公式(7)所示：

dis(I_p，I_q)＝||I_p|-|I_q|| (7)

λ为固定常数；

将匹配代价值δ(p，q)与经验阈值Th进行比较的方法如式(8)所示，

若δ(p，q)＜Th，则说明像素q为像素p的对应点，将比较结果置为0；若δ(p，q)≥Th，则说明q为误匹配点，比较结果置为1；

根据匹配窗口在待匹配图像中的移动，计算每次平移窗口内所对应的聚合值，将最小的聚合值所对应的偏移量作为最优视差值。

2.根据权利要求1所述高效聚焦立体匹配方法，其特征在于，步骤1中图像极线矫正的计算方法如公式(1)所示：

式(1)中，(x_L，y_L)为左图像的横、纵坐标，(x_R，y_R)为右图像的横、纵坐标，X_L0为原始左图像的坐标向量，X_L为极线矫正后左图像的坐标向量，X_R0为原始右图像的坐标向量，X_R为极线矫正后右图像的坐标向量，T为转置运算符。

3.根据权利要求1 所述高效聚焦立体匹配方法，其特征在于，步骤2中，使用Mean-Shift方法对右图像进行图像分割，Mean-Shift方法中的常量设置如下：

坐标窗口半径h_s＝10；

颜色窗口半径h_r＝7；

最小区域尺寸M＝30。

4.根据权利要求1 所述高效聚焦立体匹配方法，其特征在于，步骤4中，

邻域像素视差值的平均值E的计算方式如式(2)所示，

其中，i为当前像素，以当前像素i的10个邻域像素视差值作为参考对象，n＝i-1，… ，i-10，则d_i-1，d_i-2，...d_i-10分别为当前像素i的10个邻域像素视差值；

参考像素视差的动态范围δ的计算方法如公式(3)所示，

δ＝max(d_n)-min(d_n) n＝i-1，i-2，...，i-10 (3)

视差搜索范围的更新方法如式(4)所示，

d_i＝(E-δ，E+δ) (4)。

Images