CN103971366A - 一种基于双权重聚合的立体匹配方法 - Google Patents

Abstract

本发明公开了一种基于双权重聚合的立体匹配方法，涉及立体匹配领域，所述方法包括：获取参考图、目标图中每个参考像素点的亮度匹配代价、梯度匹配代价；根据每个参考像素点的亮度匹配代价、梯度匹配代价获取视差空间；对所述视差空间求取最小值分别得到以左图为参考图的左图初始视差图、以右图为参考图的右图初始视差图；对左右初始视差图进行一致性校验，得到一幅精确的左图视差图；对所述视差空间采用双曲线联合抛物线方法平滑获得精度更高的亚像素级别的视差图。本发明能够得到更准确的视差图，对图像的鲁棒性增强，具有准确率高、扩展性强等优点，有着广泛的应用前景。

Description

一种基于双权重聚合的立体匹配方法

技术领域

本发明涉及计算机立体视觉领域中的立体匹配，尤其涉及一种基于双权重聚合的立体匹配方法，可用于图像的三维重建，在医学图像、媒体设备等中提供指导。

背景技术

立体匹配是根据同一场景内多幅不同视角的二维图像，来获得该场景内各物体的深度信息，该技术是计算机视觉领域的研究热点，近年来得到广泛的关注。局部立体匹配方法利用兴趣点周围的局部信息进行相关计算，涉及信息量较少，相应的计算复杂度较低，具有速度快、效率高的优点。

传统的局部立体匹配方法，一般采用基于窗口聚合的匹配方法获得初始视差图，然后对初始视差图进行优化得到最终视差图。例如，有的科研人员提出基于固定窗口的匹配方法获取视差图，此方法虽然计算简便，但由于低纹理区域应该采用大尺寸窗口进行匹配，高纹理区域应该采用小尺寸窗口进行匹配，所以采用固定窗口的匹配方法对于不同场景的匹配缺乏自适应性。也有一些科研人员提出自适应权重匹配方法，但由于此方法只涉及到单一的权重，导致匹配效果不理想。上述方法只是对于某一类的图像匹配效果较为理想，不适用于普通图像的立体匹配，难以满足实际应用的需要。

目前，在低纹理及高纹理交替出现的图像中误匹配率较高，难以获得较高的立体匹配精度，这也是众多科研人员在立体匹配中所面临的问题。随着电子科技的发展，立体匹配在军事、工业、医疗器材、监控系统、视觉导航、人机交互、虚拟现实和无人机等方面都有非常广泛的应用背景，具有很大的商业价值、使用价值和研究意义。近年来，计算机立体视觉理论的发展为获得高精度的立体匹配提供了理论依据。

发明内容

本发明提供了一种基于双权重聚合的立体匹配方法，本发明从改进匹配代价聚合的方式出发获取初始视差图，同时在视差优化阶段改进视差平滑的策略以此来解决传统局部立体匹配方法在匹配过程中所出现的误匹配率较高的问题，详见下文描述：

一种基于双权重聚合的立体匹配方法，所述方法包括以下步骤：

获取参考图、目标图中每个参考像素点的亮度匹配代价、梯度匹配代价；

根据每个参考像素点的亮度匹配代价、梯度匹配代价获取视差空间；

对所述视差空间求取最小值分别得到以左图为参考图的左图初始视差图、以右图为参考图的右图初始视差图；

对左右初始视差图进行一致性校验，得到一幅精确的左图视差图；

对所述视差空间采用双曲线联合抛物线方法平滑获得精度更高的亚像素级别的视差图。

所述获取参考图、目标图中每个参考像素点的亮度匹配代价、梯度匹配代价的步骤具体为：

选取预处理后的左图作为参考图，预处理后的右图为目标图；

对参考图、目标图分别提取各自RGB三个通道的亮度信息并运用截断绝对亮度差值方法获得每个参考像素点的亮度匹配代价，同时对参考图，目标图分别提取各自RGB三个通道的水平、竖直方向梯度信息并运用截断绝对梯度差值方法获得每个参考像素点的梯度匹配代价。

所述根据每个参考像素点的亮度匹配代价、梯度匹配代价获取视差空间的步骤具体为：

采用指数函数结合对数函数的方法对每个参考像素点的亮度匹配代价和梯度匹配代价设置相应的亮度聚合权重和梯度聚合权重，然后分别进行权重匹配代价聚合获得每个参考像素点的总亮度匹配代价和总梯度匹配代价，将总亮度匹配代价和总梯度匹配代价赋以相应的权重组成视差空间。

本发明提供的技术方案的有益效果是：本发明针对传统局部立体匹配方法的不足，在原有方法上进行改进，首先采用截断绝对亮度差值（TAD）和截断绝对梯度差值方法（TAG）分别获得亮度匹配代价和梯度匹配代价，并类比双边滤波特性采用指数函数结合对数函数的方法设置相应的亮度聚合权重和梯度聚合权重，结合最小化视差空间方法以获得原始视差图；然后通过对左、右视差图进行一致性检测，提取出有效的像素点集，提高视差图的准确性；最后采用双曲线联合抛物线方法平滑视差空间的方法以提高视差图的精度。本发明与现有技术相比的优点在于：

(1)将两种不同聚合匹配代价的权重分开来考虑，即TAD匹配代价的聚合权重依赖于亮度信息的差异，TAG匹配代价的聚合权重依赖于梯度信息的差异，这样的聚合权重设置更能反映不同权重对不同匹配代价的影响，且权重的设置使用RGB三个通道的信息，较使用单一通道信息更为可靠。

(2)在视差优化阶段采用新的曲线平滑视差空间的策略，获得更高精度的视差图,在低纹理和视差连续区域都能获得更准确的视差图，在遮挡区域也取得了比较理想的效果。。

总之，本发明将原有的局部立体匹配方法进行改进，提出一种基于双权重聚合的立体匹配方法，类比双边滤波器的特性采用指数函数结合对数函数的方法设置匹配代价聚合的权重获得每一点的聚合匹配代价，并将匹配代价聚合过程分离开来，利用不同聚合权重进行匹配代价聚合。在视差优化阶段，采用双曲线联合抛物线对视差空间平滑，得到亚像素精度视差。本发明能够得到更准确的视差图，对图像的鲁棒性增强，具有准确率高、扩展性强等优点，有着广泛的应用前景。

附图说明

图1本发明的基于双权重聚合的立体匹配方法流程图；

图2为本发明与传统局部立体匹配算法对同一幅标准测试图像匹配效果对比，(a)、(b)

图为矫正过的测试图像；(c)为经过视差优化后的传统方法最终匹配效果图；(d)为经过视差优化后的本发明最终匹配效果图。

图3为本发明与传统局部立体匹配算法对同一幅实际拍得的图像匹配效果对比，(a)、(b)图为矫正过的测试图像；(c)为经过视差优化后的传统方法最终匹配效果图；(d)为经过视差优化后的本发明最终匹配效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了解决传统局部立体匹配方法在匹配过程中所出现的误匹配率较高的问题，本发明实施例提供了一种基于双权重聚合的立体匹配方法，参见图1，详见下文描述：

101：对左右两幅图像进行矫正预处理；

102：预处理后，选取左图作为参考图，右图为目标图（参考图与目标图的概念是相对的，选择一方为参考图，另一方即为目标图），做匹配之时以参考图为基准，在目标图上进行对应点的匹配搜索；

103：对参考图、目标图分别提取各自RGB三个通道的亮度信息并运用截断绝对亮度差值方法获得每个参考像素点的亮度匹配代价，同时对参考图，目标图分别提取各自RGB三个通道的水平、竖直方向梯度信息并运用截断绝对梯度差值方法获得每个参考像素点的梯度匹配代价；

$e_D(x,y,d)=\min \left[\underset{n=1}{\overset{3}{\mathrm{\Σ}}}\right|I_{\mathrm{Rn}}(x,y)-I_{\mathrm{Tn}}(x+d,y)|,T_D]$

$e_G(x,y,d)=\min \left[\underset{n=1}{\overset{3}{\mathrm{\Σ}}}\right|{\▿}_x{I}_{\mathrm{Rn}}(x,y)-{\▿}_x{I}_{\mathrm{Tn}}(x+d,y)|+\underset{n=1}{\overset{3}{\mathrm{\Σ}}}|{\▿}_y{I}_{\mathrm{Rn}}(x,y)-{\▿}_y{I}_{\mathrm{Tn}}(x+d,y)|,T_G]$

其中，n代表图像R、G、B三个通道；记(x,y)为参考图上的任意一像素点P，(x+d,y)为与点P待匹配的目标图上的像素点P'；即x、y分别为P点的列坐标（第x列）、行坐标（第y行）；d为视差搜索值，即P'与P的列坐标差值；I_Rn(x,y)为P点的RGB通道的像素值，I_Tn(x+d,y)为P'点的RGB通道的像素值；表示取x方向的梯度值，表示取y方向的梯度值；分别代表参考图上P点RGB通道的水平、竖直方向梯度；分别代表目标图上P'点RGB通道的水平、竖直方向梯度；T_D、T_G是截断阈值。T_D＝25，T_G＝20。e_D(x,y,d)代表参考像素点P在视差搜索值为d时的亮度匹配代价，e_G(x,y,d)代表参考像素点P在视差搜索值为d时的梯度匹配代价。

104：类比双边滤波特性，采用指数函数结合对数函数的方法对每个参考像素点的亮度匹配代价和梯度匹配代价设置相应的亮度聚合权重和梯度聚合权重，然后分别进行权重匹配代价聚合获得每个参考像素点的总亮度匹配代价和总梯度匹配代价，将总亮度匹配代价和总梯度匹配代价赋以相应的权重组成视差空间；

为了提高匹配精度，采用一定的权重匹配代价方法进行聚合。

$W_{\mathrm{ix}}=\left\{\begin{array}{c}\underset{k=i+1}{\overset{x}{\mathrm{\&Pi;}}}\frac{1}{{\log }_b(b-1+\exp \left(\frac{\sqrt{\underset{n=1}{\overset{3}{\mathrm{\&Sigma;}}}{[I_{\mathrm{Rn}}(k,y)-I_{\mathrm{Tn}}(k-1,y)]}^2}}{2\mathrm{\&alpha;}}\right))},i<x\\ 1,i=x\\ \underset{k=x+1}{\overset{i}{\mathrm{\&Pi;}}}\frac{1}{{\log }_b(b-1+\exp \left(\frac{\sqrt{\underset{n=1}{\overset{3}{\mathrm{\&Sigma;}}}{[I_{\mathrm{Rn}}(k,y)-I_{\mathrm{Tn}}(k-1,y)]}^2}}{2\mathrm{\&alpha;}}\right))},i>x\end{array}\right.$

$T_{\mathrm{ix}}=\left\{\begin{array}{c}\underset{k=i+1}{\overset{x}{\mathrm{\&Pi;}}}\frac{1}{{\log }_b(b-1+\exp \left(\frac{\sqrt{\underset{n=1}{\overset{3}{\mathrm{\&Sigma;}}}{[{\&dtri;}_x{I}_{\mathrm{Rn}}(k,y)-{\&dtri;}_x{I}_{\mathrm{Tn}}(k-1,y)]}^2}}{2\mathrm{\&beta;}}\right))},i<x\\ 1,i=x\\ \underset{k=x+1}{\overset{i}{\mathrm{\&Pi;}}}\frac{1}{{\log }_b(b-1+\exp \left(\frac{\sqrt{\underset{n=1}{\overset{3}{\mathrm{\&Sigma;}}}{[{\&dtri;}_x{I}_{\mathrm{Rn}}(k,y)-{\&dtri;}_x{I}_{\mathrm{Tn}}(k-1,y)]}^2}}{2\mathrm{\&beta;}}\right))},i>x\end{array}\right.$

$W_{\mathrm{jy}}=\left\{\begin{array}{c}\underset{k=j+1}{\overset{y}{\mathrm{\&Pi;}}}\frac{1}{{\log }_b(b-1+\exp \left(\frac{\sqrt{\underset{n=1}{\overset{3}{\mathrm{\&Sigma;}}}{[I_{\mathrm{Rn}}(x,k)-I_{\mathrm{Tn}}(x,k-1)]}^2}}{2\mathrm{\&alpha;}}\right))},j<y\\ 1,j=y\\ \underset{k=y+1}{\overset{j}{\mathrm{\&Pi;}}}\frac{1}{{\log }_b(b-1+\exp \left(\frac{\sqrt{\underset{n=1}{\overset{3}{\mathrm{\&Sigma;}}}{[I_{\mathrm{Rn}}(x,k)-I_{\mathrm{Tn}}(x,k-1)]}^2}}{2\mathrm{\&alpha;}}\right))},j>y\end{array}\right.$

$T_{\mathrm{jy}}=\left\{\begin{array}{c}\underset{k=j+1}{\overset{y}{\mathrm{\&Pi;}}}\frac{1}{{\log }_b(b-1+\exp \left(\frac{\sqrt{\underset{n=1}{\overset{3}{\mathrm{\&Sigma;}}}{[{\&dtri;}_x{I}_{\mathrm{Rn}}(x,k)-{\&dtri;}_x{I}_{\mathrm{Tn}}(x,k-1)]}^2}}{2\mathrm{\&beta;}}\right))},j<y\\ 1,j=y\\ \underset{k=y+1}{\overset{j}{\mathrm{\&Pi;}}}\frac{1}{{\log }_b(b-1+\exp \left(\frac{\sqrt{\underset{n=1}{\overset{3}{\mathrm{\&Sigma;}}}{[{\&dtri;}_x{I}_{\mathrm{Rn}}(x,k)-{\&dtri;}_x{I}_{\mathrm{Tn}}(x,k-1)]}^2}}{2\mathrm{\&beta;}}\right))},j>y\end{array}\right.$

$\stackrel{\&OverBar;}{C}(x,y,d)=\mathrm{\&lambda;}{\hat{C}}_{\mathrm{TAD}}(x,y,d)+(1-\mathrm{\&lambda;}){\hat{G}}_{\mathrm{TAG}}(x,y,d)$

${\hat{C}}_{\mathrm{TAD}}(x,y,d)=\underset{i=1}{\overset{s}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{t}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ix}}{W}_{\mathrm{jy}}{e}_D(i,j,d)$

${\hat{C}}_{\mathrm{TAG}}(x,y,d)=\underset{i=1}{\overset{s}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{t}{\mathrm{\&Sigma;}}}{T}_{\mathrm{ix}}{T}_{\mathrm{jy}}{e}_G(i,j,d)$

其中，为参考像素点P在视差搜索值为d时的总聚合匹配代价又称视差空间，为点P在视差搜索值为d时的总亮度匹配代价，简称为TAD聚合匹配代价；为点P在视差搜索值为d时的总梯度匹配代价，简称为TAG聚合匹配代价；λ为总亮度匹配代价在总匹配代价中占的权重，(1-λ)为总梯度匹配代价在总匹配代价中占的权重，本发明中λ取为0.6；s、t分别为参考图像的宽度、高度；α、β为权重平滑因子，α＝3.5，β＝2.5。W_ix、W_jy分别代表点P的TAD聚合的横向、纵向权重，T_ix、T_jy分别为点P的TAG合的横向、纵向权重，b为对数权重函数的底数，b＝10。

记点(i,j)为（参考图上）点P_nb，即i、j分别为P_nb点的列坐标（第i列）、行坐标（第j行）。P_nb（遍历整个参考图上的像素点包括P点）为P的任意一个邻近点；e_D(i,j,d)代表参考像素点P_nb在视差搜索值为d时的亮度匹配代价，e_G(i,j,d)代表点P_nb在视差搜索值为d时的梯度匹配代价；k为坐标变量，k的变化范围已在W_ix、W_jy、T_ix、T_jy各自表达式中给出；I_Rn(x,k)为参考图像素点(x,k)的RGB通道的像素值，I_Tn(x,k-1)为目标图像素点(x,k-1)的RGB通道的像素值，I_Rn(k,y)为参考图像素点(k,y)的RGB通道的像素值，I_Tn(k-1,y)为目标图像素点(k-1,y)的RGB通道的像素值，代表参考图像素点(k,y)的RGB通道的水平方向梯度，代表目标图像素点(k-1,y)的RGB通道的水平方向梯度，代表参考图像素点(x,k)的RGB通道的水平方向梯度，代表目标图像素点(x,k-1)的RGB通道的水平方向梯度。

聚合权重的设置类比双边滤波的原则，即与参考像素亮度越相近的像素，TAD聚合代价权重W_ix、W_jy设置的越大；与参考像素梯度值越相近的像素，TAG聚合代价权重T_ix、T_jy设置的越大，因此采用指数函数结合对数函数的方法设计聚合权重。

将两种不同聚合匹配代价的权值分开来考虑，即TAD匹配代价的聚合权重依赖于亮度信息的差异，TAG匹配代价的聚合权重依赖于梯度信息的差异，这样的聚合权重设置更能反映不同权值对不同匹配代价的影响，且权重的设置使用RGB三个通道的信息，较使用单一通道信息更为可靠。

105：对视差空间求取最小值得到参考图的初始视差图；

视差值的计算采用WTA（Winner Takes All）策略，即为

$D(x,y)=\arg \underset{d\&Element;S\left(d\right)}{\min }\stackrel{\&OverBar;}{C}(x,y,d)$

其中，D为参考图的初始视差图，D(x,y)为参考像素点(x,y)即P点的初始视差值，S(d)＝{d_min,1,2...,d_max}为视差搜索范围，d_min、d_max分别代表最小、最大的视差搜索值。

106：选取右图为参考图，左图为目标图，重复步骤103-105；最终得到以左图为参考图的左图初始视差图记作D_rl，得到以右图为参考图的右图初始视差图记作D_lr。

107：对左右初始视差图进行一致性校验，剔除视差异常值点，得到一幅较为精确的左图视差图；

即在得到初始视差图后，利用左右一致性检测方法检测视差异常值点，不满足下式的P点(x,y)即为视差异常值点。

|D_rl(x,y)-D_lr(x-D_rl(x,y),y)|＜1

式中D_rl是以左图为参考图得到的左图初始视差图，D_lr是以右图为参考图得到的右图初始视差图。根据视差值的定义可知左图上的点(x,y)对应右图上的匹配点为(x-D_rl(x,y),y)，故通过对左右视差图进行一致性校验，可以将初始匹配中的错误视差值剔除。

108：对视差空间采用双曲线联合抛物线方法平滑获得精度更高的亚像素级别的视差图；在初始视差图中，每个像素点对应的视差值均为离散的整数，将这些离散值直接用于三维重建会导致重建场景表面出现断层，因此，必须对每个像素点视差空间进行平滑，以得到连续变化的视差值。

将记为C_d、记为C_d-1、记为C_d+1。传统视差优化方法假设在(d,C_d)附近的视差过渡呈现抛物线特性，因此利用抛物线函数进行视差平滑。而事实上，在(d,C_d)附近视差过渡特性并不只呈现某个单一曲线规律，为此，本发明提出了一种新的平滑函数，在采用抛物线平滑视差空间的同时，采用下式所示的双曲线函数对视差空间进行平滑。

k₁,k₂,k₃∈R,R为实数且k₁＞0,k₂＞0

f(z)为双曲线的函数表达式即z为自变量，f(z)为因变量，用以平滑视差空间。

将点(d-1,C_d-1)、(d,C_d)、(d+1,C_d+1)带入上式中，可得到方程组：

$\left[\begin{array}{ccc}d-1& \frac{1}{d-1}& 1\\ d& \frac{1}{d}& 1\\ d+1& \frac{1}{d+1}& 1\end{array}\right]\left[\begin{array}{c}{k}_1\\ k_2\\ k_3\end{array}\right]=\left[\begin{array}{c}{C}_{d-1}\\ C_d\\ C_{d+1}\end{array}\right]$

根据双曲线函数的性质可知：f(d)在处取得极小值。由上式可解得：

${d_1}^{*}=\sqrt{\frac{(d^3-d)(C_{d+1}+C_{d-1}-2C_d)}{d(C_{d+1}+C_{d-1}-2C_d)+C_{d+1}-C_{d-1}}}$

d₁ ^*为采用双曲线平滑视差空间得到的优化视差值

同时采用抛物线对视差空间进行平滑

g(z)＝t₁z²+t₂z+t₃,t₁,t₂,t₃∈R,R为实数且t₁＞0,t₂＜0

g(z)为抛物线函数表达式即z为自变量，g(z)为因变量，用以平滑视差空间。

将点(d-1,C_d-1)、(d,C_d)、(d+1,C_d+1)带入上式中，可得到方程组：

$\left[\begin{array}{ccc}{(d-1)}^2& d-1& 1\\ d^2& d& 1\\ {(d+1)}^2& d+1& 1\end{array}\right]\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right]=\left[\begin{array}{c}{C}_{d-1}\\ C_d\\ C_{d+1}\end{array}\right]$

根据抛物线函数的性质可知：g(d)在处取得极小值。由上式可解得：

${d_2}^{*}=d-\frac{C_{d+1}-C_{d-1}}{{2C}_{d+1}+{2C}_{d-1}-{4C}_d}$

d₂ ^*为采用抛物线平滑视差空间得到的优化视差值，最终优化后的视差值为d^*。

d^*＝0.5*(d₁ ^*+d₂ ^*)

下面以具体的试验来验证本方法的可行性，详见下文描述：

试验结果均为本方法在CPU为Intel i3-3110M，2.4GHz，内存为4G的笔记本电脑上运行所得，操作系统为Windows7，仿真软件为32位Matlab R2013a。试验采用的图对‘Cones’为标准测试图来源于http://vision.middlebury.edu/stereo/data/，试验采用的图对‘animal’为（实际操作）采用双PTZ相机（一种可以进行左右旋转以及上下旋转的相机）拍摄得到的。图对‘Cones’、‘animal’主要试验参数设定为{λ，T_D，T_G，α，β}={0.6,25,50,3.5,2.5}。从图2可以看出，对于标准测试图‘Cones’，本方法在视差不连续处（如圆锥体边界附近）误匹配点明显少于传统局部立体匹配方法，且在低纹理处获得较好的匹配效果，整体视差图效果较好。从图3可以看出，对于实际拍得的图‘animal’，本方法在背景地图处、前景动物与背景地图边界交接位置处误匹配点明显少于传统局部立体匹配方法，整体视差图效果较好。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于双权重聚合的立体匹配方法，其特征在于，所述方法包括以下步骤：

获取参考图、目标图中每个参考像素点的亮度匹配代价、梯度匹配代价；

根据每个参考像素点的亮度匹配代价、梯度匹配代价获取视差空间；

对所述视差空间求取最小值分别得到以左图为参考图的左图初始视差图、以右图为参考图的右图初始视差图；

对左右初始视差图进行一致性校验，得到一幅精确的左图视差图；

对所述视差空间采用双曲线联合抛物线方法平滑获得精度更高的亚像素级别的视差图。

2.根据权利要求1所述的一种基于双权重聚合的立体匹配方法，其特征在于，所述获取参考图、目标图中每个参考像素点的亮度匹配代价、梯度匹配代价的步骤具体为：

选取预处理后的左图作为参考图，预处理后的右图为目标图；

对参考图、目标图分别提取各自RGB三个通道的亮度信息并运用截断绝对亮度差值方法获得每个参考像素点的亮度匹配代价，同时对参考图，目标图分别提取各自RGB三个通道的水平、竖直方向梯度信息并运用截断绝对梯度差值方法获得每个参考像素点的梯度匹配代价。

3.根据权利要求1所述的一种基于双权重聚合的立体匹配方法，其特征在于，所述根据每个参考像素点的亮度匹配代价、梯度匹配代价获取视差空间的步骤具体为：

采用指数函数结合对数函数的方法对每个参考像素点的亮度匹配代价和梯度匹配代价设置相应的亮度聚合权重和梯度聚合权重，然后分别进行权重匹配代价聚合获得每个参考像素点的总亮度匹配代价和总梯度匹配代价，将总亮度匹配代价和总梯度匹配代价赋以相应的权重组成视差空间。