CN103310421A - 针对高清图像对的快速立体匹配方法及视差图获取方法 - Google Patents

Abstract

本发明涉及一种针对高清图像对的立体匹配方法，及基于该方法的高精度视差图获取方法。针对高清的左右目图像，提出了的快速的立体匹配方法和高精度视差图获取方法，由于通过估计视差值的范围，匹配对点的搜索范围大幅度降低，带来该方法中计算冗余度和计算量的降低，并且由于针对候选的匹配点对，构造合理的匹配代价函数，挑选出正确的匹配对，最后对视差图进行后处理，可以针对视差图中一些常见的问题作出改进，得到平滑精确的视差图。

Description

针对高清图像对的快速立体匹配方法及视差图获取方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种针对高清图像对的立体匹配方法，及基于该方法的高精度视差图获取方法。

背景技术

立体匹配是双目立体视觉中的一个难点和热点，也是基于图像进行三维重建的一种重要方法。当前的立体匹配方法主要分为两大类，一类是基于局部约束的局部立体匹配方法，该类方法根据局部相似性度量值计算结果来确定匹配点，各像素点寻找匹配点的过程是相互独立的。该类方法复杂度低，可以达到实时处理，但是获得的视差图质量不高。另一类是基于全局约束的全局立体匹配配方法。该类方法认为全局的像素点相互关联，在匹配时加入了多个全局性约束条件，建立起全局匹配代价函数，将立体匹配转变为匹配准则下求解匹配代价函数最优化问题。典型的方法有置信传播方法（BP）和图割方法（GC）。该类方法可以获得高质量的视差图，但是方法复杂度高，耗时较多。如何才能更快速地获取高质量的视差图，一直是研究的热点。

注：立体匹配是在左右图中寻找匹配点,这两幅图一般是平行配置的双路摄像头在某一时刻同时采集到的图像，图像内容差别不大，但是包含了深度信息。立体匹配即是根据左图中的一个点（作为参考点），找出该点在右图中的最相似的点，认为他们是一个点在两个摄像头中不同投影。立体匹配是双目立体视觉研究中的一个课题。双目立体视觉是指针对双目图像源（双目摄像头或者人眼）获取立体信息的研究，立体匹配是其中的一种方法，其最终目的是获取高质量的视差图。

当前的立体匹配方法大都是针对非高清图像对的，高清视频或高清图片是未来主流的媒体，由于高清图像的像素数显著增多，对双目采集的高清图像进行立体匹配，是一个更大的挑战，视差图的快速获取和高质量之间的矛盾就更加突出。

发明内容

基于以上问题，本发明提出了一种针对高清图像对的快速立体匹配方法,以及基于该方法获得高质量的视差图的方法。

其中，针对高清图像对的快速立体匹配方法包括以下步骤：A、侯选点选取：在寻找匹配对之前，先用估计法获取候选的匹配对，候选的匹配对中与参考点侯选匹配的点称为侯选点；B、匹配代价函数构造：构造合理的匹配代价函数，从侯选点中选出正确的匹配点；所述匹配代价函数是一种利用局部色彩、局部结构和局部梯度信息的匹配代价函数，以有效地确定正确的匹配点对，从而实现立体匹配。

优选地，所述步骤A中侯选点的选取方法是：直接利用色彩信息，对每一个像素点，在其对应极线上搜素色彩相近的像素点，取一定数目的像素点作为候选匹配点，具体而言，在目标图中，和参考图中像素点的色彩差异构成一条曲线，寻找曲线的较小值点，从而获取相应的候选点。

优选地，所述步骤A中侯选点的选取方法是：遍历目标图中该行像素点，求出匹配代价函数cost（p）值小于阈值时对应的视差值的范围，落在此范围内的点即为侯选点。

优选地，所述步骤B中匹配代价函数cost_All可用如下公式求得：

cost_ALL=cost_AD-RT+cost_NG

${\cos t}_{\mathrm{AD}-\mathrm{RT}}=\underset{q\∈Q}{\underset{p\∈P}{\mathrm{\Σ}}}{C}_{\mathrm{RT}}\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}\mathrm{abs}(I_c\left(p\right)-I_c\left(q\right))$

${\cos t}_{\mathrm{NG}}=\underset{i=1}{\overset{8}{\mathrm{\Σ}}}\underset{q\∈Q}{\underset{p\∈P}{\mathrm{\Σ}}}(n_i\left(p\right)\·n_i\left(q\right))$

其中，I_c(p)和I_c(q)分别表示像素点p和像素点q在RGB色彩空间单通道的色彩强度值；

上述公式中，P表示左图中以p点为中心建立的支持窗口，Q表示右图中以q点为中心建立的支持窗口，n_i(p),n_i(q)表示p,q两点的在第i个方向上的梯度信息；C_RT表示秩变换获得的权值矩阵，是根据以下公式计算M*N窗口经秩变换得到新的矩阵：

$\underset{p_i\&Element;N_1\left(P\right)}{C_{p_i}}=\left\{\begin{array}{cc}0& |g\left(p_i\right)-g\left(P\right)|>T_2\\ p_1& |g\left(p_i\right)-g\left(P\right)|<T_2\\ p_2& |g\left(p_i\right)-g\left(P\right)|>T_1\\ 1& |g\left(p_i\right)<g\left(P\right)|<T_1\end{array}\right.;$

T₂>T₁

其中，g(p_i)和g(P)分别表示像素点p_i和像素点P的灰度值。

优选地，每个像素点的灰度强度p_i按下式计算：

g(p_i)=I_r(p_i)*0.299+I_g(p_i)*0.587+I_b(p_i)*0.114

                                                         ；

p_i∈N₁(p)

其中I_r(p_i)、I_g(p_i)和I_b(p_i)分别表示像素点p_i在r分量颜色值、g分量颜色值和b分量颜色值。

本发明还包括一种针对高清图像对的视差图获取方法，其特征是包括如下步骤：A、侯选点选取：在寻找匹配对之前，先用估计法获取候选的匹配对，候选的匹配对中与参考点侯选匹配的点称为侯选点；B、匹配代价函数构造：构造合理的匹配代价函数，从侯选点中选出正确的匹配点；所述匹配代价函数是一种利用局部色彩、局部结构和局部梯度信息的匹配代价函数，以有效地确定正确的匹配点对，从而实现立体匹配；B’、匹配点对中的两个点在x方向上的偏移量即为视差值大小；计算全部点的视差，即构成初始视差图；C、视差图后处理：获取初始视差图后，通过对视差图进行噪点视别和噪点滤波，获取高质量的视差图。

优选地，所述步骤C中噪点识别包括如下步骤：对得到的左右视差图进行一致性检测，把不符合一致性检测的点标记出来，认为它们是噪点。

优选地，所述步骤C中噪点滤波包括如下步骤：统计像素点周围的点视差值的取值范围，并判断当前处理的噪点与统计的像素点之间的色彩差异和距离差异,构造差异函数如下式所示：

cost=cost_color+cost_distance

${\cos t}_{\mathrm{color}}=\mathrm{abs}(\stackrel{\&OverBar;}{I_d}-I_{\mathrm{outlier}})$

${\cos t}_{\mathrm{dis}\tan \mathrm{ce}}=\min (\mathrm{abs}(\stackrel{\&OverBar;}{x_d}-x_{\mathrm{outlier}}),\mathrm{abs}(\stackrel{\&OverBar;}{y_d}-y_{\mathrm{outlier}}))$

其中，

表示色彩均值，I_outlier表示噪点的色彩强度值，

表示视差值相同点的横坐标均值，X_outlier表示噪点横坐标值，

表示视差值相同点纵坐标均值，Y_outlier表示噪点纵坐标差值。

A.第一项cost_color就用视差值相同的像素点的色彩均值

和噪点的色彩差值I_outlier作比较，第二项cost_distance需要求出视差值相同像素点的组成区域的中心点坐标，判断其和当前噪点的距离，这个距离值取x和y方向距离的较小者，构造出差异函数后，选取差异函数值较小的视差值为当前噪点的视差值，从而获取较为平滑的视差图。

本方法针对高清的左右目图像，提出了快速的立体匹配方法和高精度视差图获取方法，由于通过估计视差值的范围，匹配对点的搜索范围大幅度降低，带来该方法中计算冗余度和计算量的降低，并且由于针对候选的匹配点对，构造合理的匹配代价函数，挑选出正确的匹配对，最后对视差图进行后处理，可以针对视差图中一些常见的问题作出改进，得到平滑精确的视差图。

附图说明

图1是本发明具体实施例的流程图。

图2是侯选点选取示意图。

图3是局部梯度信息示意图。

图4是视差图后处理步骤图。

具体实施方式

以下结合实施例附图对本发明作进一步详细的说明。

本发明实施例立体匹配方法，如图1所示，包括步骤：

S101:侯选点选取。由于立体匹配的对象是高清图像对，利用原有在极线上一维搜素的方法会带来较大的计算量。实际上，每一个像素点的视差是在一定的范围的，可以对像素点的视差值做一个估计。本方法中，不再建立以像素点为中心的支持窗口，而是直接利用色彩信息，对每一个像素点，在其对应极线上搜素色彩相近的像素点，取一定数目的像素点作为候选匹配点。如图2所示，在目标图中，和参考图中像素点的色彩差异是一条曲线，寻找曲线的较小值点，可以获取相应的候选点。如公式（1）所示

$\cos t\left(p\right)=\underset{c\&Element;\{r,g,b\}}{\mathrm{\&Sigma;}}\mathrm{abs}(I_c\left(p\right)-I_c\left(q\right))---\left(1\right)$

p表示左图中像素点，q为右图中位于同一水平线上的像素点，上述公式(1)表示像素点对三通道的色彩差异之和，作为评价像素点对之间的相似程度。代价函数值越小，表示像素点对越相似。遍历右图中该行像素点，求出代价函数cost（p）值小于阈值T_Τ时对应的视差值的范围。T_Τ的值可以随实际需要来选取，若想提高精度，可将该值变大一些，这样候选的匹配点增多，减小了误匹配的可能性。反之，若想提高算法的速度，可以适当减小T_Τ的值，以提高算法的运行速度。图像每个通道灰度值的范围是0～255，三个通道的差异和，理论上有个范围，本文选定阈值是根据选取候选点多少来调整的，最少要保证有一个侯选点，最多不能把所有点都列为侯选点，在符合这一条件的基础上，原则上阈值T_Τ的值可以任意选取。

现有技术中的局部立体匹配方法，对参考图的像素点，在目标图中的极线上进行一维搜索。对于高清图像对，搜素的范围增大，这就加大了计算量的冗余。相反，本实施例则进行了改进，在寻找匹配对之前，先进行视差值的估计，获取候选的匹配对，再在候选的匹配对中应用更为精确的匹配函数，求得正确的视差信息。该方法有效地降低了方法的冗余。

S102：匹配代价函数构造。确定候选匹配点后，可以构造合适的匹配代价函数，正确的找出匹配点对。本实施例利用AD-RT-NG构造匹配代价函数。AD（Absolute Difference）表示像素点之间的色彩差异，RT（Rank Transform）表示秩变换，NG(Neighbouring Gratitude)表示是局部梯度信息。如果单计算两个像素点间的色彩差异，结果误差会比较大。常用的做法是对矩形窗口内所有像素点计算色彩差异，并将其和作为匹配代价的一部分。这是基于相近的像素点视差值相近的假设，但是这一假设在深度不连续处，遮挡区不成立，故基于AD的匹配算法在这些区域会有“前景膨胀”效应。设p，q两点分别为参考图和目标图中的两点，且两点位于同一极线上（校正好的图像对中，p,q位于图像的同一行中）。

本方法构造的匹配代价函数有两项，第一项是Cost_AD-RT，用如下公式表示：

${\cos t}_{\mathrm{AD}-\mathrm{RT}}=\underset{q\&Element;Q}{\underset{p\&Element;P}{\mathrm{\&Sigma;}}}{C}_{\mathrm{RT}}\underset{c\&Element;\{r,g,b\}}{\mathrm{\&Sigma;}}\mathrm{abs}(I_c\left(p\right)-I_c\left(q\right))---\left(2\right)$

上述公式中，P表示左图中以p点为中心建立的支持窗口，Q表示右图中以q点为中心建立的支持窗口。

其中C_RT表示秩变换获得的权值矩阵。每个点的影响权重不一样，C_RT矩阵相当于是权值矩阵，用来调整每个像素点的权重，一般位置上相近且颜色相近的像素点，彼此之间相关性大，利用这些点可以很好地提高匹配的鲁棒性，即稳定性。秩变换反映当前窗口的局部结构信息。改进的秩变换方法如下：分别以p,q两点为中心，建立变换尺寸为M*N的变换窗口(M，N表示窗口的长度和宽度，都是以像素点作为单位的)。建立变换窗口后，首先将支持窗口中的各个像素化成灰度表示，其中N₁(p)表示以P点为中心选定的秩变换的窗口，大小设为M*N,对于其中每个像素点p_i，计算灰度强度。

g(p_i)=I_r(p_i)*0.299+I_g(p_i)*0.587+I_b(p_i)*0.114,

p_i∈N₁(p)

                                         （3）

秩变换窗口中各像素点的灰度强度值通过上式计算，根据以下公式计算M*N窗口经秩变换得到新的矩阵：

$\underset{p_i\&Element;N_1\left(P\right)}{C_{p_i}}=\left\{\begin{array}{cc}0& |g\left(p_i\right)-g\left(P\right)|>T_2\\ p_1& |g\left(p_i\right)-g\left(P\right)|<T_2\\ p_2& |g\left(p_i\right)-g\left(P\right)|>T_1\\ 1& |g\left(p_i\right)<g\left(P\right)|<T_1\end{array}\right.---\left(4\right)$

T₂>T₁

T₁和T₂是阈值，表示灰度强度之间的差异。上述公式是表示在以P点为中心建立的窗口中，P点周围像素点灰度值和P点灰度值差异越大，权重C_pi越小，反之，该值越大。通过上述公式，可以得到支持窗口中每一个像素点相对中心点P的权值，C_RT即表示这个支持窗口的权值矩阵。公式（4）计算的是一个像素点的权重，整个支持窗口内的权重作为一个矩阵，表示支持权重矩阵。p₁,p₂及T₁，T₂的选择将会影响权值矩阵，进而影响像素点周围像素对像素点的支持。试验中四个参数可以调整，以获取最有的参数值调整时保证0<p₁<p₂<1,T₁<T₂。本实施例试验时，选择p₂=0.8，p₁=0.3，这两个值大小可以调整，一般二者p₂=2~3p₁即可。T₁，T₂参数的选取和第一项中的阈值选取用相似的方法。实际中，T₁=5，T₂=10，T₂=1~2T₁,具体数值可以调整。

第二项是局部梯度信息。这时就需要求出像素点在八个方向（前后，上下，左上，右上，左下，右下）上的梯度向量，作为局部的梯度信息。

${\cos t}_{\mathrm{NG}}=\underset{i=1}{\overset{8}{\mathrm{\&Sigma;}}}\underset{q\&Element;Q}{\underset{p\&Element;P}{\mathrm{\&Sigma;}}}(n_i\left(p\right)\&CenterDot;n_i\left(q\right))---\left(5\right)$

n_i(p),n_i(q)表示p,q两点的在第i个方向上的梯度信息。

总的匹配代价函数

cost_All=cost_AD-RT+cost_NG   （6）

得到匹配代价函数后，利用WTA(Winner-Take-All赢家通吃)选取匹配代价最小的匹配对，二者在x方向上的偏移量即为视差值大小（计算x方向上的差异为视差值，在本发明中，认为像素点对在y方向是相同的）。通过这种方法，获取全局的稠密视差图。

S103：视差图后处理步骤。该步骤主要分为两部分，如图4所示。第一部分是对得到的左右视差图进行一致性检测，把不符合一致性检测的点标记出来，认为它们是噪点，而后对噪点进行后处理。通常将噪点的视差值用周围出现次数较多的视差值来代替即传统中值滤波。但是中值滤波没有考虑实际视差值的分布，可能会带来错误的处理。故该步骤使用改进的中值滤波方法。方法如下：

统计像素点周围的点视差值的取值范围，并判断当前处理的噪点与统计的像素点之间的色彩差异和距离差异。构造差异函数如公式（7）所示：

cost=cost_color+cost_distance

${\cos t}_{\mathrm{color}}=\mathrm{abs}(\stackrel{\&OverBar;}{I_d}-I_{\mathrm{outlier}})$

${\cos t}_{\mathrm{dis}\tan \mathrm{ce}}=\min (\mathrm{abs}(\stackrel{\&OverBar;}{x_d}-x_{\mathrm{outlier}}),\mathrm{abs}(\stackrel{\&OverBar;}{y_d}-y_{\mathrm{outlier}}))$

                                                      （7）

其中，

表示色彩均值，I_outlier表示噪点的色彩强度值，

表示视差值相同点横坐标均值，X_outlier表示噪点横坐标值，

表示视差值相同点纵坐标均值，Y_outlier表示噪点纵坐标差值。

第一项cost_color就用视差值相同的像素点的色彩均值

和噪点的色彩强度I_outlier作比较。第二项cos_distance需要求出视差值相同像素点的组成区域的中心点坐标，判断其和当前噪点的距离。这个距离值取x和y方向距离的较小者。构造出差异函数(即代价函数，差异就表示代价。如果差异越大，即表示匹配二者的代价较大，所以实际选择匹配点时，就选取匹配代较小的，表示二者之间的差异较小）。后，选取差异函数值较小的视差值为当前噪点的视差值。

通过以上两步，可以获取较为平滑的视差图。

Claims (9)

1.一种针对高清图像对的快速立体匹配方法，其特征是包括如下步骤：

A、侯选点选取：在寻找匹配对之前，先用估计法获取候选的匹配对，候选的匹配对中与参考点侯选匹配的点称为侯选点；

B、匹配代价函数构造：构造合理的匹配代价函数，从侯选点中选出正确的匹配点；所述匹配代价函数是一种利用局部色彩、局部结构和局部梯度信息的匹配代价函数，以有效地确定正确的匹配点对，从而实现立体匹配。

2.如权利要求1所述的针对高清图像对的快速立体匹配方法，其特征是：所述步骤A中侯选点的选取方法是：直接利用色彩信息，对每一个像素点，在其对应极线上搜素色彩相近的像素点，取一定数目的像素点作为候选匹配点。

3.如权利要求2所述的针对高清图像对的快速立体匹配方法，其特征是：所述步骤A中侯选点的选取方法是：在目标图中，和参考图中像素点的色彩差异构成一条曲线，寻找曲线的较小值点，从而获取相应的候选点。

4.如权利要求3所述的针对高清图像对的快速立体匹配方法，其特征是：所述步骤A中侯选点的选取方法是：遍历目标图中该行像素点，求出匹配代价函数cost（p）值小于阈值时对应的视差值的范围，落在此范围内的点即为侯选点。

5.如权利要求1所述的针对高清图像对的快速立体匹配方法，其特征是：所述步骤B中匹配代价函数COST_ALL可用如下公式求得：

cost_ALL=cost_AD-RT+cost_NG

${\cos t}_{\mathrm{AD}-\mathrm{RT}}=\underset{q\&Element;Q}{\underset{p\&Element;P}{\mathrm{\&Sigma;}}}{C}_{\mathrm{RT}}\underset{c\&Element;\{r,g,b\}}{\mathrm{\&Sigma;}}\mathrm{abs}(I_c\left(p\right)-I_c\left(q\right))$

${\cos t}_{\mathrm{NG}}=\underset{i=1}{\overset{8}{\mathrm{\&Sigma;}}}\underset{q\&Element;Q}{\underset{p\&Element;P}{\mathrm{\&Sigma;}}}(n_i\left(p\right)\&CenterDot;n_i\left(q\right));$

其中，I_c(p)和I_c(q)分别表示像素点p和像素点q在RGB色彩空间单通道的色彩强度值；

上述公式中，P表示左图中以p点为中心建立的支持窗口，Q表示右图中以q点为中心建立的支持窗口，n_i(p),n_i(q)表示p,q两点的在第i个方向上的梯度信息；C_RT表示秩变换获得的权值矩阵，是根据以下公式计算M*N窗口经秩变换得到新的矩阵：

$\underset{p_i\&Element;N_1\left(P\right)}{C_{p_i}}=\left\{\begin{array}{cc}0& |g\left(p_i\right)-g\left(P\right)|>T_2\\ p_1& |g\left(p_i\right)-g\left(P\right)|<T_2\\ p_2& |g\left(p_i\right)-g\left(P\right)|>T_1\\ 1& |g\left(p_i\right)<g\left(P\right)|<T_1\end{array}\right.;$

T₂>T₁

其中，g(p_i)和g(P)分别表示像素点p_i和像素点P的灰度值。

6.如权利要求5所述的针对高清图像对的快速立体匹配方法，其特征是：其中，每个像素点的灰度强度p_i按下式计算：

g(p_i)=I_r(p_i)*0.299+I_g(p_i)*0.587+I_b(p_i)*0.114,

                                                       ；

p_i∈N₁(p)

其中I_r(p_i)、I_g(p_i)和I_b(p_i)分别表示像素点p_i在r分量颜色值、g分量颜色值和b分量颜色值。

7.一种针对高清图像对的视差图获取方法，其特征是包括如下步骤：

A、侯选点选取：在寻找匹配对之前，先用估计法获取候选的匹配对，候选的匹配对中与参考点侯选匹配的点称为侯选点；

B、匹配代价函数构造：构造合理的匹配代价函数，从侯选点中选出正确的匹配点；所述匹配代价函数是一种利用局部色彩、局部结构和局部梯度信息的匹配代价函数，以有效地确定正确的匹配点对，从而实现立体匹配；

B’、匹配点对中的两个点在横坐标x方向上的偏移量即为视差值大小；计算全部点的视差，即构成初始视差图；

C、视差图后处理：获取初始视差图后，通过对视差图进行噪点视别和噪点滤波，获取高质量的视差图。

8.如权利要求7所述的针对高清图像对的快速立体匹配方法，其特征是：所述步骤C中噪点识别包括如下步骤：对得到的左右视差图进行一致性检测，把不符合一致性检测的点标记出来，认为它们是噪点。

9.如权利要求7所述的针对高清图像对的快速立体匹配方法，其特征是：所述步骤C中噪点滤波包括如下步骤：

统计像素点周围的点视差值的取值范围，并判断当前处理的噪点与统计的像素点之间的色彩差异和距离差异,构造差异函数如下式所示：

cost=cost_color+cost_distance

${\cos t}_{\mathrm{color}}=\mathrm{abs}(\stackrel{\&OverBar;}{I_d}-I_{\mathrm{outlier}}$

${\cos t}_{\mathrm{dis}\tan \mathrm{ce}}=\min (\mathrm{abs}(\stackrel{\&OverBar;}{x_d}-x_{\mathrm{outlier}}),\mathrm{abs}(\stackrel{\&OverBar;}{y_d}-y_{\mathrm{outlier}}));$

第一项cost_color就用视差值相同的像素点的色彩均值

和噪点的色彩差值I_outlier作比较，第二项cost_distance需要求出视差值相同像素点的组成区域的中心点坐标，判断其和当前噪点的距离，这个距离值取x和y方向距离的较小者，其中，表示色彩均值，I_outlier表示噪点的色彩强度值，

表示视差值相同点的横坐标均值，X_outlier表示噪点横坐标值，

表示视差值相同点纵坐标均值，Y_outlier表示噪点纵坐标差值。

构造出差异函数后，选取差异函数值较小的视差值为当前噪点的视差值，从而获取较为平滑的视差图。

Images