CN114862926A - 融合ad代价和多模局部特征代价的立体匹配方法及系统 - Google Patents

Abstract

本发明公开了一种融合AD代价和多模局部特征代价的立体匹配方法及系统，方法包括：获取图像对，将左图像L作为目标图像，右图像R作为参考图像以及将右图像R作为目标图像，左图像L作为参考图像，分别通过立体匹配得到视差图；对两次匹配得到的视差图进行优化，得到精确的视差图；其中，立体匹配过程包括分别计算目标图像在参考图像中的像素点的AD代价和多模局部特征代价，将其加权融合后得到相应的初始匹配代价，基于所述初始匹配代价计算对应的聚合代价，在聚合区域内，计算目标图像的视差图。本发明在设计匹配代价时，通过引入多模局部特征代价，充分考虑了匹配代价对纹理信息的感知性，从而改善了弱纹理区域和边缘处的匹配效果，提高了立体匹配精度。

Description

融合AD代价和多模局部特征代价的立体匹配方法及系统

技术领域

本发明属于图像匹配技术领域，更具体地，涉及一种融合AD代价和多模局部特征代价的立体匹配方法及系统。

背景技术

在虚拟现实、无人驾驶、三维重建等诸多领域中，双目立体匹配是将图像从二维空间恢复到三维空间的关键步骤。

现有技术路径主要分为基于深度学习的立体匹配方法和基于传统图像处理的立体匹配方法。基于深度学习的立体匹配方法大多依赖于数据集，在某些场景下不能取得较好的匹配结果；基于传统图像处理的立体匹配方法，通过构造匹配代价来刻画待匹配像素间的相似性，利用相似性的大小进行立体匹配。

然而，现有的匹配代价多从像素的灰度值的差异性进行刻画，忽略了待匹配像素与其邻域像素之间的结构信息的刻画，导致在图像弱纹理区域和边缘处的匹配效果不佳。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种融合AD代价和多模局部特征代价的立体匹配方法及系统，其目的在于提升立体匹配方法在弱纹理区域和边缘处的匹配精度。

为实现上述目的，按照本发明的一个方面，提供了一种融合AD代价和多模局部特征代价的立体匹配方法，包括：

数据获取步骤：获取图像对，所述图像对包括左图像L和右图像R；

立体匹配步骤：将左图像L作为目标图像，右图像R作为参考图像，通过立体匹配得到视差图；将右图像R作为目标图像，左图像L作为参考图像，通过立体匹配得到视差图；

视差优化步骤：对两次匹配得到的视差图进行一致性比对，对不一致的像素点及遮挡区域的像素点进行优化，获得最终视差图；

其中，所述立体匹配过程包括：

代价计算步骤：将目标图像中的任一像素点(x,y)作为待匹配像素点，在视差搜索范围内，分别计算所述像素点(x,y)在参考图像中的像素点的AD 代价和多模局部特征代价；将所述AD代价和多模局部特征代价加权融合，获得所述像素点(x,y)在参考图像视差范围内对应像素点的初始匹配代价；其中，所述多模局部特征代价用于表征所述待匹配像素与其邻域像素之间的相对大小关系；

代价聚合步骤：在所述目标图像中，设定聚合窗口，在所述聚合窗口内，通过空间距离和颜色距离加权，对所述初始匹配代价聚合，得到所述像素点(x,y)的聚合代价；

视差计算步骤：将所述像素点(x,y)聚合代价的最小值所对应的视差作为该像素点的视差，得到目标图像的视差图。

进一步地，所述多模局部特征代价通过如下子步骤获得：

分别将所述左图像及右图像灰度化，对灰度化后的图像进行多模局部特征编码，其中，所述多模局部特征编码包括中心梯度特征编码、角度特征编码和径向梯度特征编码；

计算所述多模局部特征编码对应的二进制串的汉明距离，得到相应的多模局部特征代价，其中，所述多模局部特征代价包括中心梯度代价、角度代价及径向梯度代价，分别用于表征待匹配像素与其邻域像素之间的梯度变化、角度变化及径向梯度变化。

进一步地，所述中心梯度代价C_center(x,y,d)、角度代价C_angle(x,y,d)及径向梯度代价C_radial(x,y,d)为：

其中，T₁ ^center(x,y)、

T₁ ^angle(x,y)、

T₁ ^radial(x,y)、

分别表示目标图像中像素点(x,y)和参考图像中像素点 (x+d,y)在其对应的匹配窗口内的中心梯度特征编码、角度特征编码、径向梯度特征编码，d表示视差范围内的任意视差值，Hamming()表示汉明距离计算算子。

进一步地，所述初始匹配代价C(x,y,d)为：

C(x,y,d)＝ρ(C_AD(x,y,d),λ_AD)+ρ(C_Center(x,y,d),λ_Center) +ρ(C_Angle(x,y,d),λ_Angle)+ρ(C_Radial(x,y,d),λ_Radial)

式中，C_AD(x,y,d)表示表示AD代价，λ_AD、λ_Center、λ_Angle和λ_Radial分别表示AD代价、中心梯度代价、角度代价和径向梯度代价的归一化加权系数，ρ为归一化函数；其中，AD代价C_AD(x,y,d)表示为：

式中，

表示目标图像在(x,y)处的像素值，

表示参考图像在(x+d,y)的像素值，i＝R,G,B表示R、G、B三个通道。

进一步地，所述代价聚合步骤中，包括子步骤：

在聚合代价窗口内，通过空间距离和颜色距离加权，计算所述初始匹配代价的聚合权重w_p；

用所述聚合权重w_p对聚合窗口内的所述初始匹配代价进行加权平均，得到所述像素(x,y)的聚合代价。

进一步地，所述聚合权重w_p与聚合区域内像素点之间的空间距离和颜色距离的关系为：

式中，(x,y)是聚合区域内待匹配像素点p的坐标，(x_other,y_other)是聚合区域内其它任一像素点p_other的坐标，α和β分别为表征空间距离和颜色距离重要性的参数，D(p,p_other)表示像素点p与像素点p_other之间的颜色距离，表示两个像素点直接R、G、B三个通道之间的最大灰度距离。

进一步地，所述视差优化步骤包括如下子步骤：

分别用目标图像中每个像素点的聚合代价对视差图中的每个视差值进行插值，得到以左图像为目标图像的亚像素视差值d_l及以右图像为目标图像的亚像素视差值d_r；

在给定的误差范围内，针对同一个像素点，比较对应的亚像素视差值d_l与亚像素视差值d_r是否相等，若相等，则该像素点在视差图上对应的视差是准确，若不相等，记该像素点为误匹配点，并在相应的视差图上去除该误匹配点；

用邻域视差值的中值对所述误匹配点进行填充，用邻域视差值的最小值对遮挡区域的像素点进行填充，得到最终视差图。

按照本发明的另一方面，提供了一种融合AD代价和多模局部特征代价的立体匹配系统，包括：

数据获取模块，用于获取匹配图像对，所述匹配图像对包括左图像L和右图像R；

立体匹配模块，用于将左图像L作为目标图像，右图像R作为参考图像，通过立体匹配子模块得到视差图；将右图像R作为目标图像，左图像L作为参考图像，通过立体匹配子模块得到视差图；

视差优化模块，用于对两次匹配得到的视差图进行一致性比对，对不一致的像素点及遮挡区域的像素点进行优化，获得最终视差图；

其中，所述立体匹配子模块包括：

代价计算单元，用于将目标图像中的任一像素点(x,y)作为待匹配像素，在视差搜索范围内，分别计算所述像素点(x,y)在参考图像中的像素点的AD 代价和多模局部特征代价；将所述AD代价和多模局部特征代价加权融合，获得所述像素点(x,y)在参考图像视差范围内对应像素点的初始匹配代价；其中，所述多模局部特征代价用于表征所述待匹配像素与其邻域像素之间的相对大小关系；

代价聚合单元，用于在所述目标图像中，设定聚合窗口，在所述聚合窗口内，通过空间距离和颜色距离加权，对所述初始匹配代价聚合，得到所述像素点(x,y)的聚合代价；

视差计算单元，用于将所述像素点(x,y)聚合代价的最小值所对应的视差作为该像素点的视差，得到目标图像的视差图。

进一步地，所述多模局部特征代价包括：

多模局部特征编码结构，用于分别将所述左图像及右图像灰度化，对灰度化后的图像进行多模局部特征编码，其中，所述多模局部特征编码包括中心梯度特征编码、角度特征编码和径向梯度特征编码；

汉明距离计算结构，用于计算所述多模局部特征编码对应的二进制串的汉明距离，得到相应的多模局部特征代价；其中，所述多模局部特征代为中心梯度代价、角度代价及径向梯度代价，分别用于表征待匹配像素与其邻域像素之间的梯度变化、角度变化及径向梯度变化。

进一步地，所述代价聚合单元包括：

聚合权重计算结构，用于在聚合代价窗口内，通过空间距离和颜色距离加权，计算所述初始匹配代价的聚合权重w_p；

加权平均运算结构，用于用所述聚合权重w_p对聚合窗口内的所述初始匹配代价进行加权平均，得到所述像素(x,y)的聚合代价；

其中，所述聚合权重w_p为：

式中，(x,y)是聚合区域内待匹配像素点p的坐标，(x_other,y_other)是聚合区域内其它任一像素点p_other的坐标，α和β分别为表征空间距离和颜色距离重要性的参数，D(p,p_other)表示像素点p与像素点p_other之间的颜色距离，表示两个像素点直接R、G、B三个通道之间的最大灰度距离。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明的立体匹配方法，用AD代价表征像素点之间的灰度相似性，用多模局部特征代价表征待匹配像素与其邻域像素之间的相对大小关系，该相对大小关系反应了像素点之间的结构相似性，即本发明创造性的将待匹配像素与其邻域像素之间的结构性信息引入匹配代价，充分考虑了对像素点之间的灰度相似性和结构相似性的刻画，改善了现有方法设计的匹配代价受光照影响大，在弱纹理区域和边缘处的匹配精度低的问题，提升了立体匹配方法在弱纹理区域和边缘处的匹配精度。

(2)进一步地，本发明在计算聚合代价时，聚合过程中引入空间距离和颜色距离影响因子，综合考虑了聚合区域内像素点的空间位置和颜色相似性对中心像素匹配代价权重分配的影响，改善了现有方法在代价聚合过程中只考虑颜色相似性所导致的深度不连续区域聚合代价计算不准确的问题。

附图说明

图1为本发明提供的融合AD代价和多模局部特征代价的立体匹配方法流程图；

图2为本发明实施例的中心梯度特征编码示意图；

图3是本发明实施例的角度特征编码示意图；

图4是本发明实施例的径向梯度特征编码示意图；

图5是本发明实施例的亚像素优化示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供的融合AD代价和多模局部特征代价的双目立体匹配方法，主要包括如下步骤：

数据获取步骤：获取双目立体视觉传感器的左图像L和右图像R，将其作为匹配图像对；

立体匹配步骤：将左图像L作为目标图像，右图像R作为参考图像，通过立体匹配得到左图像的视差图；将右图像R作为目标图像，左图像L作为参考图像，通过立体匹配得到右图像的视差图；

视差优化步骤：通过对左图像的视差图和右图像的视差图进行优化，去除误匹配点，提高匹配精度，获得最终视差图。

其中，立体匹配步骤中的立体匹配过程包括：

代价计算步骤：以目标图像中的任一像素点(x,y)作为待匹配像素点，分别计算该像素点(x,y)在视差搜索范围{d₀,d₁,...,d_n}内，在对应的参考图像中的像素点{(x+d₀,y),(x+d₁,y),...,(x+d_n,y)}的AD代价和多模局部特征代价；将AD代价和多模局部特征代价加权融合，获得目标图像中每个像素点(x,y)在参考图像中的视差范围内对应像素的初始匹配代价

其中，视差范围根据图像的最大视差决定，本实施例中，最大视差取值为64。

代价聚合步骤：在目标图像中，获取聚合窗口，在该聚合窗口内，通过空间距离和颜色距离加权，对每个像素的初始匹配代价进行聚合，得到目标图像中每个像素的聚合代价

视差计算步骤：将目标图像中每个像素的聚合代价的最小值

所对应的视差值作为该像素点的视差，得到目标图像的视差图。

具体地，本实施例中，双目立体视觉传感器为双目立体相机。

具体地，上述的立体匹配过程中，代价计算步骤中，对于目标图像中的任一像素点(x,y)，其在视差搜索范围内，在对应的参考图像中的像素点的AD代价C_AD(x,y,d)为：

其中，

表示目标图像在像素点(x,y)位置处的像素值，

表示参考图像在(x+d,y)位置处的像素值，i＝R,G,B表示R、G、B 三个通道。

多模局部特征代价表征待匹配像素与其邻域像素之间的结构性信息，包括：中心梯度代价、角度代价及径向梯度代价，分别表征待匹配像素与其邻域像素之间的梯度变化、角度变化及径向梯度变化。

中心梯度代价、角度代价及径向梯度代价根据如下子步骤获取：

分别对左、右图像进行灰度化，对灰度化后的图像中每个像素点进行多模局部特征编码，其中，多模局部特征编码包括中心梯度特征编码、角度特征编码和径向梯度特征编码；

计算多模局部特征编码对应的二进制串的汉明距离，得到相应的多模局部特征代价。

其中，中心梯度特征编码方式为在设定的匹配窗口内按照一定的次序进行遍历，以待匹配像素为参考像素，如果当前像素灰度值大于或等于参考像素灰度值，则将当前像素位置编码为1，如果当前像素灰度值小于参考像素灰度值，则将当前像素位置编码为0，得到表示窗口中心像素的中心梯度特征的二进制串。

角度特征编码方式为在相同的匹配窗口内，按照和中心梯度特征编码方式相同的次序进行遍历，选择遍历次序的下一个像素为参考像素，如果当前像素灰度值大于或等于参考像素灰度值，则将当前像素位置编码为1，如果当前像素灰度值小于参考像素灰度值，则将当前像素位置编码为0，得到表示窗口中心像素的角度特征的二进制串。

径向梯度特征编码方式为在相同的匹配窗口内，按照和中心梯度特征编码方式相同的次序进行遍历，比较待遍历像素点与其径向向外方向的相邻像素的灰度值大小关系。如果该像素的灰度值大于或等于径向相邻像素的灰度值，该像素位置编码为1；如果该像素灰度值小于径向相邻像素的灰度值，该像素位置编码为0，得到表示窗口中心像素的径向梯度特征的二进制串。

具体地，如图2所示，本实施例中，中心梯度特征编码方式取匹配窗口左上角行列坐标最小值为起始像素点，按照顺时针顺序依次遍历，图2 中的数字45、150、……110分别表示匹配窗口中的像素灰度值，中心处的 81为待匹配像素，编号①、②……、⑧分别表示顺时针的匹配次序，按照中心梯度特征编码方式，得到的中心梯度特征二进制编码为01110110。

如图3所示，本实施例中，角度特征编码方式取窗口左上角行列坐标最小值为起始像素点，按照顺时针顺序依次遍历，选取顺时针次序下一个像素为参考像素，按照角度特征编码方式，得到的角度特征二进制编码为 11001000。

如图4所示，本实施例中，径向梯度特征编码方式取匹配窗口内左上角行列坐标最小值为起始像素，按照顺时针方向次序，比较其与径向向外方向的相邻像素的灰度值大小关系。按照径向梯度特征编码方式，得到的径向梯度特征二进制编码为01010010。

计算中心梯度特征编码二进制串的汉明距离，得到对应的中心梯度代价C_center(x,y,d)：

式中，T₁ ^center(x,y)与

分别代表目标图像中像素(x,y)和参考图像中像素(x+d,y)在其对应的匹配窗口内的中心梯度特征的二进制编码，d表示视差范围内的任意取值，即d∈{d₀,d₁,...,d_n}，Hamming()表示汉明距离计算算子。

角度代价C_angle(x,y,d)是通过计算角度特征编码二进制串的汉明距离得到，如下式：

式中，T₁ ^angle(x,y)与

分别代表目标图像中像素(x,y)和参考图像中像素(x+d,y)在其对应的匹配窗口内的角度特征的二进制编码。

径向梯度代价C_radial(x,y,d)是通过计算径向梯度特征编码二进制串的汉明距离得到，如下式：

式中,T₁ ^radial(x,y)与

分别代表目标图像中像素(x,y)和参考图像中像素(x+d,y)在其对应的匹配窗口内的径向梯度特征的二进制编码。

具体地，代价计算步骤中，将AD代价和多模局部特征代价加权融合，得到的代价C(x,y,d)为：

C(x,y,d)＝ρ(C_AD(x,y,d),λ_AD)+ρ(C_Center(x,y,d),λ_Center) +ρ(C_Angle(x,y,d),λ_Angle)+ρ(C_Radial(x,y,d),λ_Radial)

式中，C_AD(x,y,d)表示AD代价，C_center(x,y,d)表示以中心梯度代价， C_angle(x,y,d)表示角度代价，C_radial(x,y,d)表示径向梯度代价，λ_AD、λ_Center、λ_Angle和λ_Radial分别表示AD代价、中心梯度代价、角度代价和径向梯度代价的归一化加权系数，本实施例中，λ_AD和λ_Radial的取值为10，λ_Center、λ_Angle的一般取值为30，ρ为归一化函数，如下式：

其中，c,λ分别表示代价、归一化加权系数。

具体地，代价聚合步骤中，获取聚合窗口包括：

通过像素灰度值的大小差异按照自适应十字窗的方式，获取聚合代价窗口区域，自适应十字窗构建方式如下：

其中，p表示十字臂中心参考像素，p_next表示下一个待拓展像素，D_c表示像素间的颜色距离，即D_c(p_next,p)＝max_i＝R,G,B|I_i(p_next)-I_i(p)|，D_s表示像素点之间的位置距离，即D_s(p_next,p)＝|p_next-p|，上述扩展规则主要包括三个约束：①需要保证待扩展的下一个像素和中心像素的颜色距离与待拓展像素的前一个像素的颜色距离和中心像素颜色距离小于阈值τ₁，这保证了扩展区域的像素颜色的同质性；②需要扩展十字臂的臂长小于L₁，避免了十字臂长度过长；③当臂长到达L₂长度后，需要减小颜色阈值τ₁为τ₂。在本发明中L₁取值为34，L₂取值为14，τ₁取值为20，τ₂取值为6。

得到目标图像中每个像素的聚合代价

包括：

在聚合代价窗口内，通过空间距离和颜色距离加权，计算上述得到的每个像素的初始匹配代价的聚合权重w_p；

用该聚合权重w_p对聚合窗口内的每个像素的初始匹配代价进行加权平均，得到目标图像中每个像素的聚合代价

具体地，聚合权重w_p通过引入颜色距离和空间距离影响因子确定，表示为：

式中，(x,y)是聚合区域内待匹配像素点p的坐标，(x_other,y_other)是聚合区域内其它任一像素点p_other的坐标，D(p,p_other)表示聚合区域内像素点p与像素点p_other之间的颜色距离，表示两个像素点直接R、G、B三个通道之间的最大灰度距离，D(p,pother)＝max_i＝R,G,B|I(p)-I(pother)|，α和β分别为表征空间距离和颜色距离重要性的参数，一般取值10到30之间，当图像中出现较多颜色同质性区域时，应该弱化颜色而凸显距离的影响，即增大距离权重α。

其中，窗口内聚合代价C_d为：

式中，R为自适应十字窗确定的聚合窗口区域，w_p是聚合窗口内的像素所对应的权重的大小，n表示聚合窗口内的像素点数量。

视差优化步骤中，可以通过以下方法进行视差优化：

亚像素优化：以左图像为目标图像，用目标图像中每个像素点的聚合代价对视差图中的每个视差值进行插值，得到左图像每个像素点对应的亚像素视差值d_l，以右图像为目标图像，用目标图像中每个像素点的聚合代价对视差图中的每个视差值进行插值，得到右图像每个像素点对应的亚像素视差值d_r；

具体地，如图5所示，取视差d所对应的聚合代价的C_d'的相邻代价值 C_d-1'和C_d+1'，利用C_d-1'和C_d+1'按照下式进行二次拟合插值，获得亚像素视差值：

一致性检查：在给定的误差范围内，针对同一个像素点，比较该像素点对应的亚像素视差值d_l和亚像素视差值d_r是否相等，若相等，则该像素点在视差图上对应的视差是准确，若不相等，记该像素点为误匹配点，并在相应的视差图上去除该误匹配点；在实际应用中，由于遮挡在左图像的视差图和右图像的视差图上同时出现的空白点，记为未定义视差点。

视差填充：使用邻域视差值的中值对上述误匹配点进行填充，使用邻域视差值的最小值对未定义视差点进行填充，得到最终视差图。

在视差优化的过程中，通过亚像素视差优化提高匹配精度，通过一致性检查去除误匹配点，通孔洞填充弥补误匹配点和遮挡点，最终得到精确的视差图。

在一致性检查时，针对左右图像分别进行立体匹配后，得到左图像中的像素(x,y)的视差为d_l，右图像中像素(x+d,y)的视差d_r，若|d_r-d_l|＞T，则设左图像中像素(x,y)为误匹配点，视差d_l为无效视差，本实施例中，T为设定的误差，取值为1。

在上述实施例中，由于在匹配代价的构建过程中引入中心梯度代价、角度代价和径向梯度代价，即将待匹配像素与其邻域像素之间的结构性信息引入匹配代价，增强了匹配代价对结构性纹理的感知性，改善了弱纹理区域和边缘处的匹配效果，表现为立体匹配算法能够在弱纹理区域和边缘处取得较高的匹配精度。

此外，由于在代价聚合过程中引入颜色距离和空间距离影响因子，降低了低颜色相似度和远距离像素在代价聚合过程中的权重，表现最后的匹配结果视差图能够在视差变化大的区域获得较好的匹配效果。

本实施例在专业立体匹配测试平台Middlebury V3的Training Dense数据集对常用的IGF算法、ADSG算法和SGBM1算法进行对比实验。评价指标采用平均误差(Avgerr)和bad1.0，平均误差度量了立体匹配算法计算视差与真实视差之间的误差均值，其值越小表示算法越优秀，bad 1.0描述了计算视差与真实视差计算差值大于一个像素的比率，其值越小表示算法越优秀，实验结果见表1。由实验结果可知，本发明提出的立体匹配算法在平均误差和bad 1.0指标上都低于传统的立体匹配方法，说明本发明提出的立体匹配方法具有一定的先进性。

表1不同算法的立体匹配精度对比

本发明还提供了一种融合AD代价和多模局部特征代价的立体匹配系统，包括：

数据获取模块，用于获取匹配图像对，匹配图像对包括左图像L和右图像R；

立体匹配模块，用于将左图像L作为目标图像，右图像R作为参考图像，通过立体匹配子模块得到视差图；将右图像R作为目标图像，左图像L作为参考图像，通过立体匹配子模块得到视差图；

视差优化模块，用于对两次匹配得到的视差图进行一致性比对，对不一致的像素点及遮挡区域的像素点进行优化，获得最终视差图；

其中，立体匹配子模块包括：

代价计算单元，用于将目标图像中的任一像素点(x,y)作为待匹配像素，在视差搜索范围内，分别计算像素点(x,y)在参考图像中的像素点的AD代价和多模局部特征代价；将AD代价和多模局部特征代价加权融合，获得像素点(x,y)在参考图像视差范围内对应像素点的初始匹配代价；其中，多模局部特征代价用于表征待匹配像素与其邻域像素之间的相对大小关系；

代价聚合单元，用于在目标图像中，设定聚合窗口，在聚合窗口内，通过空间距离和颜色距离加权，对初始匹配代价聚合，得到像素点(x,y)的聚合代价；

视差计算单元，用于将像素点(x,y)聚合代价的最小值所对应的视差作为该像素点的视差，得到目标图像的视差图。

其中，多模局部特征代价包括：

多模局部特征编码结构，用于分别将左图像及右图像灰度化，对灰度化后的图像进行多模局部特征编码，其中，多模局部特征编码包括中心梯度特征编码、角度特征编码和径向梯度特征编码；

汉明距离计算结构，用于计算多模局部特征编码对应的二进制串的汉明距离，得到相应的多模局部特征代价；其中，多模局部特征代为中心梯度代价、角度代价及径向梯度代价，分别用于表征待匹配像素与其邻域像素之间的梯度变化、角度变化及径向梯度变化。

代价聚合单元包括：

聚合权重计算结构，用于在聚合代价窗口内，通过空间距离和颜色距离加权，计算初始匹配代价的聚合权重w_p；

加权平均运算结构，用于用聚合权重w_p对聚合窗口内的初始匹配代价进行加权平均，得到像素(x,y)的聚合代价；

其中，聚合权重w_p为：

式中，(x,y)是聚合区域内待匹配像素点p的坐标，(x_other,y_other)是聚合区域内其它任一像素点p_other的坐标，α和β分别为表征空间距离和颜色距离重要性的参数，D(p,p_other)表示像素点p与像素点p_other之间的颜色距离，表示两个像素点直接R、G、B三个通道之间的最大灰度距离。

视差优化模块，包括：

亚像素优化单元，用于分别用目标图像中每个像素点的聚合代价对视差图中的每个视差值进行插值，得到以左图像为目标图像的亚像素视差值d_l及以右图像为目标图像的亚像素视差值d_r；

一致性检查单元，用于在给定的误差范围内，针对同一个像素点，比较对应的亚像素视差值d_l与亚像素视差值d_r是否相等，若相等，则该像素点在视差图上对应的视差是准确，若不相等，记该像素点为误匹配点，并在相应的视差图上去除该误匹配点；

视差填充单元，用于用邻域视差值的中值对误匹配点进行填充，用邻域视差值的最小值对遮挡区域的像素点进行填充，得到最终视差图。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种融合AD代价和多模局部特征代价的立体匹配方法，其特征在于，包括：

数据获取步骤：获取图像对，所述图像对包括左图像L和右图像R；

立体匹配步骤：将左图像L作为目标图像，右图像R作为参考图像，通过立体匹配得到视差图；将右图像R作为目标图像，左图像L作为参考图像，通过立体匹配得到视差图；

视差优化步骤：对两次匹配得到的视差图进行一致性比对，对不一致的像素点及遮挡区域的像素点进行优化，获得最终视差图；

其中，所述立体匹配过程包括：

代价计算步骤：将目标图像中的任一像素点(x,y)作为待匹配像素点，在视差搜索范围内，分别计算所述像素点(x,y)在参考图像中的像素点的AD代价和多模局部特征代价；将所述AD代价和多模局部特征代价加权融合，获得所述像素点(x,y)在参考图像视差范围内对应像素点的初始匹配代价；其中，所述多模局部特征代价用于表征所述待匹配像素与其邻域像素之间的相对大小关系；

代价聚合步骤：在所述目标图像中，设定聚合窗口，在所述聚合窗口内，通过空间距离和颜色距离加权，对所述初始匹配代价聚合，得到所述像素点(x,y)的聚合代价；

视差计算步骤：将所述像素点(x,y)聚合代价的最小值所对应的视差作为该像素点的视差，得到目标图像的视差图。

2.根据权利要求1所述的方法，其特征在于，所述多模局部特征代价通过如下子步骤获得：

分别将所述左图像及右图像灰度化，对灰度化后的图像进行多模局部特征编码，其中，所述多模局部特征编码包括中心梯度特征编码、角度特征编码和径向梯度特征编码；

计算所述多模局部特征编码对应的二进制串的汉明距离，得到相应的多模局部特征代价，其中，所述多模局部特征代价包括中心梯度代价、角度代价及径向梯度代价，分别用于表征待匹配像素与其邻域像素之间的梯度变化、角度变化及径向梯度变化。

3.根据权利要求2所述的方法，其特征在于，所述中心梯度代价C_center(x,y,d)、角度代价C_angle(x,y,d)及径向梯度代价C_radial(x,y,d)为：

其中，T₁ ^center(x,y)、

T₁ ^angle(x,y)、

T₁ ^radial(x,y)、

分别表示目标图像中像素点(x,y)和参考图像中像素点(x+d,y)在其对应的匹配窗口内的中心梯度特征编码、角度特征编码、径向梯度特征编码，d表示视差范围内的任意视差值，Hamming()表示汉明距离计算算子。

4.根据权利要求3所述的方法，其特征在于，所述初始匹配代价C(x,y,d)为：

C(x,y,d)＝ρ(C_AD(x,y,d),λ_AD)+ρ(C_Center(x,y,d),λ_Center)+ρ(C_Angle(x,y,d),λ_Angle)+ρ(C_Radial(x,y,d),λ_Radial)

式中，C_AD(x,y,d)表示表示AD代价，λ_AD、λ_Center、λ_Angle和λ_Radial分别表示AD代价、中心梯度代价、角度代价和径向梯度代价的归一化加权系数，ρ为归一化函数；其中，AD代价C_AD(x,y,d)表示为：

式中，

表示目标图像在(x,y)处的像素值，

表示参考图像在(x+d,y)的像素值，i＝R,G,B表示R、G、B三个通道。

5.根据权利要求4所述的方法，其特征在于，所述代价聚合步骤中，包括子步骤：

在聚合代价窗口内，通过空间距离和颜色距离加权，计算所述初始匹配代价的聚合权重w_p；

用所述聚合权重w_p对聚合窗口内的所述初始匹配代价进行加权平均，得到所述像素(x,y)的聚合代价。

6.根据权利要求5所述的方法，其特征在于，所述聚合权重w_p与聚合区域内像素点之间的空间距离和颜色距离的关系为：

式中，(x,y)是聚合区域内待匹配像素点p的坐标，(x_other,y_other)是聚合区域内其它任一像素点p_other的坐标，α和β分别为表征空间距离和颜色距离重要性的参数，D(p,p_other)表示像素点p与像素点p_other之间的颜色距离，表示两个像素点直接R、G、B三个通道之间的最大灰度距离。

7.根据权利要求1-6任意一项所述的方法，其特征在于，所述视差优化步骤包括如下子步骤：

分别用目标图像中每个像素点的聚合代价对视差图中的每个视差值进行插值，得到以左图像为目标图像的亚像素视差值d_l及以右图像为目标图像的亚像素视差值d_r；

在给定的误差范围内，针对同一个像素点，比较对应的亚像素视差值d_l与亚像素视差值d_r是否相等，若相等，则该像素点在视差图上对应的视差是准确，若不相等，记该像素点为误匹配点，并在相应的视差图上去除该误匹配点；

用邻域视差值的中值对所述误匹配点进行填充，用邻域视差值的最小值对遮挡区域的像素点进行填充，得到最终视差图。

8.一种融合AD代价和多模局部特征代价的立体匹配系统，其特征在于，包括：

数据获取模块，用于获取匹配图像对，所述匹配图像对包括左图像L和右图像R；

立体匹配模块，用于将左图像L作为目标图像，右图像R作为参考图像，通过立体匹配子模块得到视差图；将右图像R作为目标图像，左图像L作为参考图像，通过立体匹配子模块得到视差图；

视差优化模块，用于对两次匹配得到的视差图进行一致性比对，对不一致的像素点及遮挡区域的像素点进行优化，获得最终视差图；

其中，所述立体匹配子模块包括：

代价计算单元，用于将目标图像中的任一像素点(x,y)作为待匹配像素，在视差搜索范围内，分别计算所述像素点(x,y)在参考图像中的像素点的AD代价和多模局部特征代价；将所述AD代价和多模局部特征代价加权融合，获得所述像素点(x,y)在参考图像视差范围内对应像素点的初始匹配代价；其中，所述多模局部特征代价用于表征所述待匹配像素与其邻域像素之间的相对大小关系；

代价聚合单元，用于在所述目标图像中，设定聚合窗口，在所述聚合窗口内，通过空间距离和颜色距离加权，对所述初始匹配代价聚合，得到所述像素点(x,y)的聚合代价；

视差计算单元，用于将所述像素点(x,y)聚合代价的最小值所对应的视差作为该像素点的视差，得到目标图像的视差图。

9.根据权利要求8所述的系统，其特征在于，所述多模局部特征代价包括：

多模局部特征编码结构，用于分别将所述左图像及右图像灰度化，对灰度化后的图像进行多模局部特征编码，其中，所述多模局部特征编码包括中心梯度特征编码、角度特征编码和径向梯度特征编码；

汉明距离计算结构，用于计算所述多模局部特征编码对应的二进制串的汉明距离，得到相应的多模局部特征代价；其中，所述多模局部特征代为中心梯度代价、角度代价及径向梯度代价，分别用于表征待匹配像素与其邻域像素之间的梯度变化、角度变化及径向梯度变化。

10.根据权利要求8所述的系统，其特征在于，所述代价聚合单元包括：

聚合权重计算结构，用于在聚合代价窗口内，通过空间距离和颜色距离加权，计算所述初始匹配代价的聚合权重w_p；

加权平均运算结构，用于用所述聚合权重w_p对聚合窗口内的所述初始匹配代价进行加权平均，得到所述像素(x,y)的聚合代价；

其中，所述聚合权重w_p为：

式中，(x,y)是聚合区域内待匹配像素点p的坐标，(x_other,y_other)是聚合区域内其它任一像素点p_other的坐标，α和β分别为表征空间距离和颜色距离重要性的参数，D(p,p_other)表示像素点p与像素点p_other之间的颜色距离，表示两个像素点直接R、G、B三个通道之间的最大灰度距离。

Images