CN106709948A - 一种基于超像素分割的快速双目立体匹配方法 - Google Patents

Abstract

本发明公开了一种基于超像素分割的快速双目立体匹配方法。(1)采用SLIC(Simple Linear Iterative Clustering)超像素分割方法将原始的参考图及目标图进行区域划分；(2)基于自适应权重的局部匹配算法来计算原始视差空间图；(3)基于置信点的区域视差平面拟合；(4)运用聚类算法来进行相邻区域视差平面的合并；(5)基于超像素区域构建能量代价函数进行立体匹配。本发明的立体匹配单元是基于图像的边缘信息合并而成的超像素区域，因此确保了该算法能适用于大块无纹理区域，而且还以精确定位深度界限，获得了比传统立体匹配方法更好的匹配代价，结合视差的后处理方法，可有效获得高精度的视差图，并具有较好的实时性。

Description

一种基于超像素分割的快速双目立体匹配方法

技术领域

本发明涉及双目立体视觉图像处理技术领域，尤其涉及一种基于超像素分割的快速双目立体匹配方法。

背景技术

双目立体视觉是模拟人类双目视觉系统，基于视差原理并利用成像设备从不同位置获得被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体的三维几何信息的方法。双目立体视觉算法主要包括图像获取、摄像机标定、图像校正、立体匹配和三维重建等五个部分。其中立体匹配是整个算法的核心部分，匹配产生的视差图的优劣直接影响到三维重建的效果。由于场景中诸多因素，如光照、噪声及摄像机内部特性等外界环境的干扰，对立体匹配的精度提出了挑战。目前，传统的立体匹配的方法主要分为三大类：基于特征的匹配算法、基于局部的匹配算法和基于全局的匹配算法。基于特征的匹配算法得到的是稀疏的视差图，要得到致密的视差图，必须通过插值得到。基于局部的匹配算法运算速度快，但在低纹理和深度不连续区域匹配效果差。基于全局的匹配算法能够得到较高精度的匹配结果，但计算速度慢。

发明内容

为了在大块无纹理区域的立体匹配中获得高精度的致密视差图和较好的实时性，本发明提供了一种基于超像素分割的快速双目立体匹配方法，以实现匹配精度和运行速度的平衡。

本发明的目的是通过以下技术方案来实现的：一种基于超像素分割的快速双目立体匹配方法，包括以下步骤：

1)图像预处理，对立体图像对的参考图像和目标图像分别进行Z-score标准化处理。

2)采用SLIC超像素分割方法将原始的参考图像及目标图像进行区域划分。

3)基于自适应权重的局部匹配算法来计算原始视差空间图。

4)进行左右一致性检测，标记置信点，基于置信点进行区域视差的平面拟合。

5)运用聚类算法来进行相邻区域视差平面的合并。

6)基于超像素区域，考虑置信区域提供的数据项、遮挡区域提供的惩罚项和相邻区域之间提供的平滑项，构建能量代价函数，从而实现参考图像和目标图像的匹配。

进一步地，所述步骤2)中，分别对立体图像对的参考图像和目标图像进行SLIC超像素分割，首先以步长：

的距离来划分超像素，式(1)中N为图像中像素点的个数，k为预分割成相同尺寸的超像素个数。然后计算距离，对于CIELAB颜色空间中的彩色图像，每个像素点用一个五维的向量[l_i,a_i,b_i,x_i,y_i]表示，其中l，a，b表示的是颜色信息，x，y表示的是空间信息。对于两个像素点之间的距离，定义：

式(4)中，m为一常数参数，用来表示空间和像素颜色的相对重要性的度量。

对输入的长宽分别为Width和Height的二维图像，分别在X方向和Y方向以S个像素为步长初始化簇块,得到BlockWidth*BlockHeight个尺寸为S²的簇，其中， 定义每个S²块内的中心坐标点为簇心，即种子坐标。对种子坐标为中心的2S*2S范围内所有像素，求这些像素到种子坐标像素的距离度量因子D，相邻簇之间的重叠区域的像素分配到最小距离度量因子D对应的簇类，用BlockIndex标记。整幅图像扫描一遍之后，每个像素点都对应一个BlockIndex，相同BlockIndex的像素属于同一个簇。接下来用kMeans算法进行迭代，对上一次划分的每一个簇，求出每一个簇的五维坐标labxy均值，作为新的簇心(种子)，按照上述规则重新标记，当迭代达到kMeans算法的收敛条件，迭代结束，划分完成。

进一步地，所述步骤3)中，所述基于自适应权重的匹配算法(Adaptive SupportWeights Self-Adaptation)，每个像素分配权重w(x,y,d)，其中(x,y)表示像素坐标，d表示该像素对应的视差，权重取值由当前像素与中央像素的空间欧氏距离和颜色欧氏距离组合的二维高斯加权函数决定，该高斯加权函数采用固定宽度的支持窗，在所有像素点上都采用该支持窗。高斯加权函数(the 2D Gaussian function)如下：

式(5)中，d_s为目标图像中当前像素点与支持窗中央像素点在图像坐标平面的欧氏距离，d_c为当前像素点与中央像素点在CIELAB颜色空间的欧氏距离。r_s与r_c是两个固定参数，分别表征了距离相近性阈值和颜色相似性阈值。自适应权重调节函数(theSelfAdaptation dissimilarity algorithm function)公式如下：

式(6)中，t是平衡两个像素间强度差异及强度梯度差异的参数。I(x,y)与I‘(x,y)分别表示参考图与匹配图中中心像素的强度。因此，基于自适应权重的局部匹配代价函数(the ASW-SelfAd local cost function)可写作：

式(7)中，N(x,y)是一个围绕中心坐标(x,y)的n*n的窗口(n为大于1的奇数)，然后用WTA(Winner-Takes-All)方法选取最小代价值，得到原始视差空间图。

进一步地，所述步骤4)中，所述基于置信点进行区域视差的平面拟合，每一个区域模型可表示如下：

d(x,y)＝ax+by+c (8)

式(8)中，a，b，c是平面表达式中的参数，d(x,y)是图像坐标点(x,y)对应的视差值。可以用一个线性方程来表征该区域，即

A[a,b,c]^T＝B (9)

式(9)中矩阵A的第i列为[x_iy_i,1]，向量B的第i个元素为d(x_i,y_i)。则上式可写为：

A^TA[a,b,c]^T＝A^TB (10)

求方程(10)的a，b，c，可用奇异值分解(Singular Value Decomposition，SVD)方法来解最小二乘方程：

[a,b,c]^T＝(AA^T)⁺A^TB (11)

式(11)中，(AA^T)⁺是AA^T的伪逆，(AA^T)⁺可用SVD来求解。

进一步地，所述步骤5)中，所述基于聚类算法来进行相邻区域视差平面的合并。考虑邻近平面之间只有两种位置关系：平行或相交。定义θ为两相交平面的角度，d为两平行平面相隔的距离。用高斯函数来表征两个区域平面的相似性

式(12)中给定一个常数阈值γ，如果则认为这两个区域是相同的，并将它们合并为一个区域。

进一步地，所述步骤6)中，设一个区域s∈R，它对应的视差为f(s)∈D，其中R为步骤2超像素分割后的图像域，D为图像域R中所有的区域对应的视差集合。则对应某一个区域，其视差为f的能量代价函数E(f)为：

E(f)＝E_d(f)+E_occ(f)+E_sm(f) (13)

式(13)中，E_d(f)为数据项提供的能量值，用来约束超像素在偏移前后的变化尽量小；E_occ(f)为惩罚项，被遮挡的超像素提供的能量值；E_sm(f)为平滑项提供的能量值。

数据项E_d(f)的表达式为：

式(15)中，U_r为s区域内所有置信点的集合。

惩罚项E_occ(f)的表达式为：

式(16)中，ω_occ是遮挡情况下的惩罚因子。N_occ为s区域内所有的被遮挡点的个数。

平滑项E_sm(f)的表达式为：

式(17)中，S_N为所有相邻区域的集合；s_i,s_j为邻近的区域；ε_disc(s_i,s_j)为非连续的代价函数。

然后用WTA(Winner-Takes-All)方法从视差集合D中选取最优视差，从而实现参考图像和目标图像的立体匹配。

本发明的有益效果是：本发明首先采用了SLIC超像素分割方法对参考图像和目标图像进行区域分割，并且进一步将相似区域合并，这样大大减少了后续进行的立体匹配代价计算过程中的运算基元的个数，提高了算法的时间效率。并且在匹配代价能量函数的建立上也是基于区域而非像素，还考虑了遮挡情况及相邻区域视差的过渡约束，使得能量函数更加全面且对孤立点不敏感，因此获得了比传统立体匹配方法更好的匹配代价，结合一些视差的后处理方法，有效的获得了高精度的视差图，并且大大减少了运算时间。

附图说明

图1为SLIC分割示意图；

图2为置信点集获取流程图；

图3为区域平面表达算法流程示意图。

具体实施方式

以下结合附图和实施实例对本发明作进一步说明。

本发明提供的一种基于超像素分割的快速双目立体匹配方法，包括以下步骤：

1)图像预处理。对带参考图和目标图的每个像素的五维向量[l_i,a_i,b_i,x_i,y_i]分别做Z-score标准化处理：分别计算图像中所有像素的均值x_avg和标准差σ，比如对于图像X做预处理：

对每个像素的每一维进行归一化，得到新图像X′：

2)SLIC超像素分割。初始化聚类中心，算法的初始中心为所划分区域的中心，即根据所给定的区域数量k＝1000，划定所属类别的初始区域，然后以一定步长来划分超像素，将中心位置的结点为超像素的中心结点。在CIELAB颜色空间中的彩色图像，每个像素点用一个五维的向量[l_i,a_i,b_i,x_i,y_i]，两个像素点之间的距离：

式(4)中，m表示空间和像素颜色的相对重要性的度量，取值在5-40之间是有效的。对输入的长宽分别为Width和Height的二维图像，分别在X方向和Y方向以S个像素为步长初始化簇块,得到BlockWidth*BlockHeight个尺寸为S²的簇，其中，定义每个S²块内的中心坐标点为簇心，即种子坐标。各个物理量的描述及SLIC分割示意图如图1所示。对种子坐标为中心的2S*2S范围内所有像素，求这些像素到种子坐标像素的距离度量因子D，相邻簇之间的重叠区域的像素分配到最小距离度量因子D对应的簇类，用BlockIndex标记。整幅图像扫描一遍之后，每个像素点都对应一个BlockIndex，相同BlockIndex的像素属于同一个簇。接下来用kMeans算法进行迭代，对上一次划分的每一个簇，求出每一个簇的五维坐标labxy均值，作为新的簇心(种子)，按照上述规则重新标记，当迭代达到kMeans算法的收敛条件(最大迭代次数设为10)，迭代结束，划分完成。

3)计算原始视差空间图，使用基于自适应权重的局部匹配算法来计算匹配代价。每个像素分配权重w(x,y,d)，其中(x,y)表示像素坐标，d表示该像素对应的视差，权重取值由固定宽度的支持窗决定：

式(5)中，d_s为目标图像中当前像素点与支持窗中央像素点在图像坐标平面的欧氏距离，d_c为当前像素点与中央像素点在CIELAB颜色空间的欧氏距离。r_s与r_c是两个固定参数，分别表征了相近性阈值和相似性阈值。自适应权重调节函数如下：

式(6)中，t是平衡两个像素间强度差异及强度梯度差异的参数，取值0.3。I(x,y)与I‘(x,y)分别表示参考图与匹配图中中心像素的强度。因此，基于自适应权重的局部匹配代价函数：

式(7)中，N(x,y)是一个围绕中心坐标的5*5支持窗口，然后用胜者为王方法选取最小代价值，得到了初始的视差空间图。

4)基于置信点进行区域视差的平面拟合。图像经过超像素分割之后，在相同的色彩分区内各像素不存在太大的深度差异，因此一个小区域内像素的深度可以用同一个小平面表示，只要一个曲面可以用一个平面模型高度近似地表达，那么该表面下的不同颜色区域的平面模型应该是相似的。为了获得高精度的视差，可使用鲁棒的平面模型来拟合区域，每一个区域对应的平面模型可表示如下：

d(x,y)＝ax+by+c (8)

式(8)中，a，b，c是平面表达式中的参数，d是图像坐标点(x,y)对应的视差值。可以用一个线性方程来表征该区域，即：

A[a,b,c]^T＝B (9)

式(9)中矩阵A的第i列为[x_iy_i,1]，向量B的第i个元素为d(x_i,y_i)。则上式可写为：

A^TA[a,b,c]^T＝A^TB (10)

展开形式为：

求方程(11)的a，b，c，可用SVD方法来解最小二乘方程：

[a,b,c]^T＝(AA^T)⁺A^TB (12)

式(12)中，(AA^T)⁺是AA^T的伪逆，(AA^T)⁺可用SVD来求解。关键点如下：

a)设点集U为该区域内的所有像素点的集合，U_r为置信像素点的集合；

b)对两幅图像进行视差的左右一致性检测，以此得到置信点、左右遮挡点及视差不准确的低纹理区域；

c)用D_L表示以右图为参考图所计算出的左视差图，D_R表示以左图为参考图所计算出的右视差图，置信点应满足：

|D_L(x_L)-D_R(x_L-D_L(x_L))|＜1 (13)

d)如果像素点的左右视差满足上式，则该点为置信点，否则为遮挡点；

e)在该区域上定义一个置信度ρ，表示置信点个数与同一区域U中所有基元个数的比值，若区域满足ρ＞τ的条件，(τ为一个常数阈值，取值0.5)，则被定义为置信区域，否则为非置信区域。非置信区域表示当前区域缺乏足够的数据来支持平面表达式，因此可以跳过这小块区域；

f)在得到区域支持平面之后，定义一个过滤奇异值的条件：

|d_i-(ax_i+by_i+c)|≤t_outlier (14)

式(14)中，t_outlier为一个常数阈值，取值为10^‐4。

g)然后，对估算出的平面参数a，b，c进行不断的迭代运算直到：

e^-(|a-a′|+|b-b′|+|c-c′|＞ε (15)

式(15)中，a′，b′，c′为新平面的表达式参数，a，b，c为上一次迭代完成后得到的平面的参数，ε为迭代过程的收敛阈值，取值为0.99。置信点集的获取流程图见图2。

5)视差平面的合并，对于相邻的两个平面，有两种位置关系：平行或者相交。定义θ为两相交平面的角度，d为两平行平面相隔的距离。用高斯函数来表征两个区域平面的相似性。

式(16)中给定一个常数阈值γ，取0.99，如果则认为这两个区域是相同的，并将它们合并为一个区域。区域平面表达算法流程示意图见图3。

6)基于超像素区域定义能量代价函数，用图割算法来为每个视差平面设定视差。设一个区域s∈R，它对应的视差为f(s)∈D，其中R为图像域，D为图像域中所有的区域对应的视差集合。则对应某一个区域，其视差为f的能量代价函数定义为：

E(f)＝E_d(f)+E_occ(f)+E_sm(f) (17)

式(17)中，E(f)为整个区域的代价函数；E_d(f)为数据项提供的能量值，用来约束像素点在偏移前后的变化尽量小；E_occ(f)为惩罚项，被遮挡的像素提供的能量值；E_sm(f)为平滑项提供的能量值。数据项E_d(f)对区域内所有像素的匹配代价求和：

式(18)中，C_data(x,y,d)为前面提及的自适应权重的局部匹配代价；U_r为s区域内所有置信点的集合。对于被遮挡的像素，惩罚项E_occ(f)的表达式为：

式(20)中，ω_occ是遮挡情况下的惩罚因子。N_occ为s区域内所有的被遮挡点的个数。平滑项E_sm(f)用来约束两个相邻区域间的视差变化尽量小，其表达式为：

式(21)中，S_N为所有相邻区域的集合；s_i,s_j为邻近的区域；ε_disc(s_i,s_j)是一个非连续的代价函数，它包含了共同的边界长度及平均颜色相似度的测量。

以上所述仅为本发明的优选实施方式，但本发明保护范围并不局限于此。任何本领域的技术人员在本发明公开的技术范围内，均可对其进行适当的改变或变化，而这种改变或变化都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于超像素分割的快速双目立体匹配方法，其特征在于，包括以下步骤：

1)图像预处理，对立体图像对的参考图像和目标图像分别进行Z-score标准化处理。

2)采用SLIC超像素分割方法将原始的参考图像及目标图像进行区域划分。

3)基于自适应权重的局部匹配算法来计算原始视差空间图。

4)进行左右一致性检测，标记置信点，基于置信点进行区域视差的平面拟合。

5)运用聚类算法来进行相邻区域视差平面的合并。

6)基于超像素区域，考虑置信区域提供的数据项、遮挡区域提供的惩罚项和相邻区域之间提供的平滑项，构建能量代价函数，从而实现参考图像和目标图像的匹配。

2.根据权利要求1所述的一种基于超像素分割的快速双目立体匹配方法，其特征在于，所述步骤2)中，分别对立体图像对的参考图像和目标图像进行SLIC超像素分割，首先以步长：

$S=\sqrt{\frac{N}{k}}---\left(1\right)$

的距离来划分超像素，式(1)中N为图像中像素点的个数，k为预分割成相同尺寸的超像素个数。然后计算距离，对于CIELAB颜色空间中的彩色图像，每个像素点用一个五维的向量[l_i,a_i,b_i,x_i,y_i]表示，其中l，a，b表示的是颜色信息，x，y表示的是空间信息。对于两个像素点之间的距离，定义：

$d_c=\sqrt{{(l_j-l_i)}^2+{(a_j-a_i)}^2+{(b_j-b_i)}^2}---\left(2\right)$

$d_s=\sqrt{{(x_j-x_i)}^2+{(y_j-y_i)}^2}---\left(3\right)$

$D=\sqrt{{\left(d_c\right)}^2+{\left(\frac{d_s}{S}\right)}^2\·m^2}---\left(4\right)$

式(4)中，m为一常数参数，用来表示空间和像素颜色的相对重要性的度量。

对输入的长宽分别为Width和Height的二维图像，分别在X方向和Y方向以S个像素为步长初始化簇块,得到BlockWidth*BlockHeight个尺寸为S²的簇，其中， 定义每个S²块内的中心坐标点为簇心，即种子坐标。对种子坐标为中心的2S*2S范围内所有像素，求这些像素到种子坐标像素的距离度量因子D，相邻簇之间的重叠区域的像素分配到最小距离度量因子D对应的簇类，用BlockIndex标记。整幅图像扫描一遍之后，每个像素点都对应一个BlockIndex，相同BlockIndex的像素属于同一个簇。接下来用kMeans算法进行迭代，对上一次划分的每一个簇，求出每一个簇的五维坐标labxy均值，作为新的簇心(种子)，按照上述规则重新标记，当迭代达到kMeans算法的收敛条件，迭代结束，划分完成。

3.根据权利要求1所述的一种基于超像素分割的快速双目立体匹配方法，其特征在于，所述步骤3)中，所述基于自适应权重的匹配算法(Adaptive Support Weights Self-Adaptation)，每个像素分配权重w(x,y,d)，其中(x,y)表示像素坐标，d表示该像素对应的视差，权重取值由当前像素与中央像素的空间欧氏距离和颜色欧氏距离组合的二维高斯加权函数决定，该高斯加权函数采用固定宽度的支持窗，在所有像素点上都采用该支持窗。高斯加权函数(the 2D Gaussian function)如下：

$w(x,y,d)=\exp (-(\frac{d_s}{r_s}+\frac{d_c}{r_c}\left)\right)---\left(5\right)$

式(5)中，d_s为目标图像中当前像素点与支持窗中央像素点在图像坐标平面的欧氏距离，d_c为当前像素点与中央像素点在CIELAB颜色空间的欧氏距离。r_s与r_c是两个固定参数，分别表征了距离相近性阈值和颜色相似性阈值。自适应权重调节函数(theSelfAdaptation dissimilarity algorithm function)公式如下：

$\begin{array}{c}SelfAd(x,y,d)\\ =(1-t)|I(x,y)-I^{\′}(x,y)|\\ +t\left(\right|{\▿}_{x}I\left(x,y\right)-{\▿}_x{I}^{\′}\left(x+d,y\right)|+|{\▿}_{y}I\left(x,y\right)-{\▿}_y{I}^{\′}\left(x+d,y\right)\left|\right)\end{array}---\left(6\right)$

式(6)中，t是平衡两个像素间强度差异及强度梯度差异的参数。I(x,y)与I‘(x,y)分别表示参考图与匹配图中中心像素的强度。因此，基于自适应权重的局部匹配代价函数(theASW-SelfAd local cost function)可写作：

$C_{data}(x,y,d)=\underset{(i,j)\∈N(x,y)}{\Σ}w(i,j,d)\·SelfAd(x,y,d)---\left(7\right)$

式(7)中，N(x,y)是一个围绕中心坐标(x,y)的n*n的窗口(n为大于1的奇数)，然后用WTA(Winner-Takes-All)方法选取最小代价值，得到原始视差空间图。

4.根据权利要求1所述的一种基于超像素分割的快速双目立体匹配方法，其特征在于，所述步骤4)中，所述基于置信点进行区域视差的平面拟合，每一个区域模型可表示如下：

d(x,y)＝ax+by+c (8)

式(8)中，a，b，c是平面表达式中的参数，d(x,y)是图像坐标点(x,y)对应的视差值。可以用一个线性方程来表征该区域，即

A[a,b,c]^T＝B (9)

式(9)中矩阵A的第i列为[x_iy_i,1]，向量B的第i个元素为d(x_i,y_i)。则上式可写为：

A^TA[a,b,c]^T＝A^TB (10)

求方程(10)的a，b，c，可用奇异值分解(Singular Value Decomposition，SVD)方法来解最小二乘方程：

[a,b,c]^T＝(AA^T)⁺A^TB (11)

式(11)中，(AA^T)⁺是AA^T的伪逆，(AA^T)⁺可用SVD来求解。

5.根据权利要求1所述的一种基于超像素分割的快速双目立体匹配方法，其特征在于，所述步骤5)中，所述基于聚类算法来进行相邻区域视差平面的合并。考虑邻近平面之间只有两种位置关系：平行或相交。定义θ为两相交平面的角度，d为两平行平面相隔的距离。用高斯函数来表征两个区域平面的相似性

式(12)中给定一个常数阈值γ，如果则认为这两个区域是相同的，并将它们合并为一个区域。

6.根据权利要求1所述的一种基于超像素分割的快速双目立体匹配方法，其特征在于，所述步骤6)中，设一个区域s∈R，它对应的视差为f(s)∈D，其中R为步骤2超像素分割后的图像域，D为图像域R中所有的区域对应的视差集合。则对应某一个区域，其视差为f的能量代价函数E(f)为：

E(f)＝E_d(f)+E_occ(f)+E_sm(f) (13)

式中，E_d(f)为数据项提供的能量值，用来约束超像素在偏移前后的变化尽量小；E_occ(f)为惩罚项，被遮挡的超像素提供的能量值；E_sm(f)为平滑项提供的能量值。

数据项E_d(f)的表达式为：

$E_d\left(f\right)=\underset{s\∈R}{\Σ}C(s,f(s\left)\right)---\left(14\right)$

$C(s,f(s\left)\right)=\underset{(x,y)\∈U_r}{\Σ}{C}_{data}(x,y,d)---\left(15\right)$

式(15)中，U_r为s区域内所有置信点的集合。

惩罚项E_occ(f)的表达式为：

$E_{occ}\left(f\right)=\underset{s\∈R}{\Σ}{\mathrm{\ω}}_{occ}\·N_{occ}---\left(16\right)$

式(16)中，ω_occ是遮挡情况下的惩罚因子。N_occ为s区域内所有的被遮挡点的个数。

平滑项E_sm(f)的表达式为：

$E_{sm}\left(f\right)=\underset{\left(\right(s_i,s_j)\∈S_N|f\left(s_i\right)\≠f\left(s_j\right))}{\Σ}{\mathrm{\ϵ}}_{disc}(s_i,s_j)---\left(17\right)$

式(17)中，S_N为所有相邻区域的集合；s_i,s_j为邻近的区域；ε_disc(s_i,s_j)为非连续的代价函数。

然后用WTA(Winner-Takes-All)方法从视差集合D中选取最优视差，从而实现参考图像和目标图像的立体匹配。