CN108010075A - 一种基于多特征联合的局部立体匹配方法 - Google Patents

Abstract

本发明公开了一种基于多特征联合的局部立体匹配方法，首先对输入图像提取Harris特征点，通过特征匹配得到精确度较高的匹配特征点，计算匹配特征点的视差并估计出视差范围。对于非特征点，结合图像LAB色彩空间信息、图像的不变矩以及图像梯度信息构造联合匹配代价，利用已计算出的视差搜索范围进行区域匹配，得到整体稠密的视差图。本发明方法复杂度低，匹配精度高，适合实时性要求高的场合。

Description

一种基于多特征联合的局部立体匹配方法

技术领域

本发明涉及数字图像处理技术，更具体的涉及基于多特征联合的局部立体匹配方法。

背景技术

立体匹配(Stereo Matching)在双目立体视觉中一直是一个技术难点。双目立体视觉目的在于模拟人类双眼获取三维场景信息，从两个角度获取场景的二维图像，进行立体匹配并重建三维模型。立体匹配的目标是从不同视点图像中找到匹配的对应点得到视差图，然后通过三角测量关系得到物体的景深，它被广泛的应用于医学影像、三维重构、机器人视觉导航和目标跟踪等诸多领域。

目前大部分立体匹配算法都包括四个步骤：(1)匹配代价计算，(2)代价聚合(costaggregation)，(3)视差计算和优化，(4)视差细化求精。总体来说，立体匹配算法根据优化方式的不同，可以分为两类：局部立体匹配算法和全局立体匹配算法。局部立体匹配算法利用待匹配点周围的局部信息来确定每个点的视差值。而全局立体匹配算法采用了全局的优化理论方法将对应点的匹配问题转化为寻找某一能量函数最优的问题，从而估计出视差。

全局立体匹配算法精度较高，但是计算繁琐，参数设定复杂，不适合实时系统。代表的有动态规划法、图割法、置信度传播算法等。其中动态规划算法复杂度相对较低，速度快，但容易产生条状瑕疵问题，置信传播算法和图割算法匹配精度高，得到的视差图在边缘区域和深度不连续区域的效果较好，但算法的复杂度高。

局部立体匹配算法的难点在于匹配代价和支持窗口的选取。可作匹配代价的常用相似性测度包括灰度差绝对值之和SAD(sum of absolute difference)、灰度差平方之和SSD(sum of squared differences)、基于梯度的度量。其中，SAD和SSD建立在图像的灰度差异上，对光照变化和噪声敏感。基于梯度的度量建立在图像的梯度差异上，能够更好的突出图像的边缘，但对噪声和光照变化依然敏感。LAB颜色空间中，一种颜色由L(明度)、a颜色、b颜色三种参数表征，明度和颜色是分开的，更符合人眼在视觉上的特性。区域的矩是由所有区域内的像素点计算出来的，受光照不均和其他噪声等的干扰较小，同时计算量少，较为便捷。

局部算法中的另一个重要问题就是匹配窗口的选择。支持窗口的大小影响着匹配精度，若窗口太大，则匹配代价的聚集过程中会包含不具有指导意义的邻域信息，导致视差不连续区域的误匹配，若窗口太小，则匹配代价区分度过低，会增加弱纹理区域的误匹配。

目前双目立体匹配技术的缺陷主要体现在匹配的精度和实时性不足，很多算法难以兼顾精度与实时性的双重要求。

发明内容

本发明的目的在于克服现有技术存在的上述不足，提供一种兼顾匹配效率与匹配精度的局部立体匹配方法。

为实现上述目的，本发明采用的技术方案是基于多特征联合的局部立体匹配方法，包括以下步骤：

步骤1：对输入的左右图像采用Harris特征提取算法提取图像特征点。

步骤2：在外极线约束的条件下通过特征点值、邻域特征点数及归一化互相关系数(Normalized cross-correlation,NCC)等3个指标对步骤1中左右图像的特征点进行匹配。

步骤3：计算匹配点对应的视差值，计算出视差搜索范围。

步骤4：结合图像LAB色彩空间信息、图像的不变矩信息以及图像梯度信息构造联合匹配代价，以左图像为基准图像，右图像为配准图像，计算匹配代价并对匹配代价进行滤波，然后在视差搜索范围下，采用赢者通吃WTA策略选择最优视差值，结合特征点与非特征点对应的视差值，得到左视差图；再以右图像为基准图像，左图像为配准图像，采取同样的策略，得到右视差图。

步骤5：采用左右一致性检验(LRC)方法剔除误匹配像素，即如果左右视差图中匹配点的视差值不相等，则认为是误匹配点；对于误匹配点，首先利用同一行扫描线上距离它最近的像素的有效的最小视差值来代替，再采用双边滤波器对整幅图像进行滤波处理，得到精确的稠密视差图。

进一步地，步骤1中，所述输入的左右图像为根据双目相机参数校正后的左右图像。

进一步地，步骤2的具体过程如下：

步骤2.1:提取左右两幅图像的特征点之后，接下来进行特征点匹配，设左右图像的Harris特征点集分别为C_L＝{c_i|i＝1,…,n}和C_R＝{c_j|j＝1,…,n}；将左图像作为基准图像，选择一个特征点C_i作为候选点，在右图像中寻找匹配点C_j(j＝1,…,n)；首先检测点C_i与C_j(i＝1,…,n)是否满足极线约束，若满足则依次分别检测两个特征点的特征值，邻域特征点数是否匹配；步骤2.2：对剩下的待匹配点和候选点进行归一化互相关系数NCC的计算；选择与特征点C_i具有最大互相关系数的右图像中的点即为与之相匹配的特征点C_j；

步骤2.3：继续选取左图像的下一个候选点，重复步骤2.1，得到匹配点集S_L，将左右两幅图像互换，对于右图像中所有的特征点，采用同样的步骤，找到其在左图像中相应的匹配点，组成匹配点集S_R；

步骤2.4：综合比较两个匹配点集，剔除S_L和S_R中不一致的匹配点对，得到公共匹配点集S_A。

进一步地，所述步骤3中的视差搜索范围为D＝[d_min,d_max],

其中d_min与d_max为公共匹配点集S_A中的最小视差和最大视差。

进一步地，所述步骤4中构造联合匹配代价的具体过程如下：

步骤4.1：设左图像为I_L，右图像为I_R，定义LAB色彩空间信息的匹配代价为C_Lab(p,d):

其中，p是I_L中的一个像素点，p_d是I_R中与之对应的一个像素点且d＝p-p_d， 分别为左右图像LAB色彩空间中某一通道的像素值，T_LAB为LAB色彩信息的截断阈值；

定义梯度匹配代价为C_Grad(p,d)：

其中，与分别为左图像和右图像的梯度幅值图像， G_x为图像水平方向的梯度幅值，G_y为图像垂直方向的梯度幅值，T_GRAD为梯度信息的截断阈值；的含义分别是像素点p和pd的梯度幅值；

步骤4.2：计算灰度图像I_L和I_R的不变矩空间图像I_LI、I_RI，定义基于不变矩的匹配代价为C_Im(p,d)：

C_Im(p,d)＝min(|I_LI(p)-I_RI(p_d)|,T_IM)

其中，I_LI(p)为不变矩空间图像I_LI中待匹配像素点p的值，I_RI(p_d)为不变矩空间图像I_RI中待匹配像素点p_d的值，T_IM为不变矩信息的截断阈值；

步骤4.3：计算多特征联合的匹配代价C(p,d)，公式如下：

C(p,d)＝α₁C_Lab(p,d)+α₂C_Grad(p,d)+(1-α₁-α₂)C_Im(p,d)

其中，参数α₁、α₂用于平衡LAB色彩空间信息匹配代价C_Lab(p,d)、梯度匹配代价C_Grad(p,d)、不变矩匹配代价C_Im(p,d)之间的比例关系。

与现有技术相比，本发明具有如下优点：

1、通过特征点值、邻域特征点数及归一化互相关系数(Normalized cross-correlation,NCC)等3个指标对匹配点集进行逐级筛选，保证了匹配精度。

2、通过已匹配的特征点的视差估计出非特征点的视差搜索范围，提高了匹配效率。

3、构造多特征联合的匹配代价能够提高匹配的准确率，在弱纹理区域、重复纹理区域，倾斜面区域也能获得较好的匹配效果。其中LAB颜色空间中亮度和颜色相互独立，能够弥补RGB颜色空间中色彩分布不均的不足；图像的梯度信息能够更好的突出图像的边缘；而不变矩受光照不均和噪声的干扰较小，能够改善因受光照不均或噪声干扰区域的匹配效果。

附图说明

图1示出了本发明的局部立体匹配方法的流程示意图；

图2示出了非特征点匹配方法的流程示意图。

具体实施方式

下面结合附图对本发明的实施做进一步说明，但本发明的实施和保护不限于此，需指出的是，以下若有未特别详细说明之处，均是本领域技术人员可参照现有技术实现的。

如图1所示的本发明所述匹配方法包括以下步骤：

步骤一：根据双目摄像机的参数对输入的左右图像进行校正，采用Harris特征提取算法提取左右图像的特征点。

Harris特征提取算法是1988年由Harris和Stephens提出的一种基于信号的特征点提取算子，它的原理是：以图像中的某特征点P(x,y)为中心，创建一个局部窗口W，如果窗口W向任意方向的微小移动都导致图像灰度的明显变化，则认为该点是图像的一个特征点，定义图像亮度的自相关矩阵为：

其中，为高斯函数，为卷积运算符，I_x和I_y分别为图像在x和y方向上的导数。

对图像亮度的自相关矩阵M的特征值进行求解，如果两个特征值λ₁、λ₂足够大，则该点被检测为图像的特征点。Harris对特征点定义了响应函数如下：

R＝Det(M)-k(trace(M))²＞T_R

其中，Det(M)＝λ₁λ₂为矩阵M的秩，trace(M)＝λ₁+λ₂为矩阵M的特征值之和，k为给定的常数，本实施例中k取0.04当图像上的像素点的R值大于给定的某个阈值T_R时，则认为该点是图像的特征点。

步骤二：在外极线约束的条件下通过特征点值、邻域特征点数及归一化互相关系数(Normalized cross-correlation,NCC)等3个指标对步骤1中左右图像的特征点进行匹配。

设左右图像的Harris特征点集分别为C_L＝{c_i|i＝1,…,n}和C_R＝{c_j|j＝1,…,n}。将左图像作为基准图像，选择一个特征点C_i作为候选点，在右图像中寻找匹配点C_j(j＝1,…,n)。首先检测点C_i与C_j(j＝1,…,n)是否满足极线约束，若满足则依次分别检测两个特征点的特征值，邻域特征点数是否匹配。

特征点相匹配需要满足两个特征点的特征值相同，但由于图像在获取过程中会受到光照不均以及噪声的影响，匹配点的特征值不一定完全相同，故对特征值的约束需要放宽，满足以下条件则可认为两个特征点的特征值匹配：

|R_L(c_i)-R_R(c_j)|≤δ

其中，R_L(c_i)为左图像中特征点的特征值，R_R(c_j)为右图像中特征点的特征值，δ为允许的误差，本实施例中δ取2。

邻域特征点相匹配需要满足：

其中，r为邻域半径，这里被设为13，表示左图像中特征点c_i邻域内的特征点数，表示右图像中特征点c_j邻域内的特征点数，即要求邻域内的特征点数要相等。

对剩下的待匹配点C_j(1≤j≤n)和候选点C_i进行归一化互相关系数NCC的计算。

其中w表示固定窗口的大小，这里设为9*9的窗口，(u,v)表示固定窗口内的像素相对于中心像素(i,j)的偏移。

选择与特征点C_i具有最大互相关系数的右图像中的点即为与之相匹配的特征点C_j。

继续选取左图像的下一个候选点，重复步骤3.1，得到匹配点集S_L，将左右两幅图像互换，对于右图像中所有的特征点，采用同样的步骤，找到其在左图像中相应的匹配点，组成匹配点集S_R。

综合比较两个匹配点集，剔除S_L和S_R中不一致的匹配点对，得到公共匹配点集S_A。

步骤三：计算步骤二所得公共匹配点集S_A对应的视差值，计算出视差搜索范围D。

D＝[d_min,d_max],

其中d_min与d_max为公共匹配点集S_A中的最小视差和最大视差。

步骤四：如图2所示，结合图像LAB色彩空间信息、图像的不变矩以及图像梯度信息构造联合匹配代价。

定义LAB色彩空间信息的匹配代价为C_Lab(p,d):

其中，p是I_L中的一个像素点，p_d是I_R中与之对应的一个像素点且d＝p-p_d， 分别为左右图像LAB色彩空间中某一通道的像素值，T_LAB为LAB色彩信息的截断阈值。

定义梯度匹配代价为C_Grad(p,d)：

其中，与分别为左图像和右图像的梯度幅值图像， G_x为图像水平方向的梯度幅值，G_y为图像垂直方向的梯度幅值，T_GRAD为梯度信息的截断阈值。

计算灰度图像I_L和I_R的不变矩空间图像I_LI、I_RI。定义基于不变矩的匹配代价为C_Im(p,d)：

C_Im(p,d)＝min(|I_LI(p)-I_RI(p_d)|,T_IM)

其中，I_LI(p)为不变矩空间图像I_LI中待匹配像素点p的值，I_RI(p_d)为不变矩空间图像I_RI中待匹配像素点p_d的值，T_IM为不变矩信息的截断阈值。

计算多特征联合的匹配代价C(p,q,d)，计算公式如下：

C(p,q,d)＝α₁C_Lab(p,q,d)+α₂C_Grad(p,q,d)+(1-α₁-α₂)C_Im(p,q,d)

其中，参数α₁、α₂用于平衡LAB色彩空间信息匹配代价C_Lab(p,q,d)、梯度匹配代价C_Grad(p,q,d)、不变矩匹配代价C_Im(p,q,d)之间的比例关系，本实施例α₁取0.45，α₂取0.3。

对每个像素取固定窗口，使用导滤波器对匹配代价进行滤波，这里采用9*9的滤波窗口，滤波后的匹配代价为

其中W_p,q为核函数，

其中，w_k是图像中以p为中心点的窗口，|w|是窗口w_k中像素的个数，∑_k表示3*3的协方差矩阵，U为3*3的单位矩阵，I_p，I_q，μ_k为表示颜色信息的3*1向量，q为p的邻域像素。

以左图像为基准，按行扫描，在右图中以搜索范围D＝[d_min,d_max]按照赢者通吃WTA策略寻找非特征点对应的匹配点，得到左视差图；以右图像为基准，采取同样的策略，得到右视差图。

其中，d_L(p)表示左图像中像素点p的初始视差值，d_R(p_d)表示右图像中像素点p_d的初始视差值。

计算灰度图像I_L和I_R的不变矩空间图像I_LI、I_RI的具体过程如下：

(1)以灰度图像I_L和I_R中的像素点为中心，设搜索窗口的大小为M×M，计算二阶中心矩μ₂₀、μ₀₂以及零阶中心距μ₀₀，p+q阶中心距的计算公式为：

其中I(x,y)为变换窗口中像素点的灰度值，为变换窗口的质心，

(2)计算归一化的二阶中心矩η₂₀和η₀₂：

其中

计算不变矩φ₁＝η₂₀+η₀₂，替代搜索窗口中的中心像素。

步骤五：对步骤四得到的左右视差图采用左右一致性检验(LRC)方法剔除误匹配像素，如果左右视差图中匹配点的视差值不相等，则认为是误匹配点；对于误匹配点，首先利用同一行扫描线上距离它最近的像素的有效的最小视差值来代替，再采用双边滤波器对整幅图像进行滤波处理，最终得到稠密视差图。

Claims (5)

1.一种基于多特征联合的局部立体匹配方法，其特征在于包括以下步骤：

步骤1：对输入的左右图像采用Harris特征提取算法提取图像特征点；

步骤2：在外极线约束的条件下通过特征点值、邻域特征点数及归一化互相关系数3个指标对步骤1中左右图像的特征点进行匹配；

步骤3：计算匹配点对应的视差值，计算出视差搜索范围；

步骤4：结合图像LAB色彩空间信息、图像的不变矩信息以及图像梯度信息构造联合匹配代价，以左图像为基准图像，右图像为配准图像，计算匹配代价并对匹配代价进行滤波，然后在视差搜索范围下，采用赢者通吃WTA策略选择最优视差值，结合特征点与非特征点对应的视差值，得到左视差图；再以右图像为基准图像，左图像为配准图像，采取同样的策略，得到右视差图；

步骤5：采用左右一致性检验(LRC)方法剔除误匹配像素；对于误匹配点，首先利用同一行扫描线上距离误匹配点最近的像素的有效的最小视差值来代替，再采用双边滤波器对整幅图像进行滤波处理，得到精确的稠密视差图。

2.如权利要求1所述基于多特征联合的局部立体匹配方法，其特征在于，在步骤1中，所述输入的左右图像为根据双目相机参数校正后的左右图像。

3.如权利要求1所述基于多特征联合的局部立体匹配方法，其特征在于，所述步骤2的具体过程如下：

步骤2.1:提取左右两幅图像的特征点之后，接下来进行特征点匹配，设左右图像的Harris特征点集分别为C_L＝{c_i|i＝1,…,n}和C_R＝{c_j|j＝1,…,n}；将左图像作为基准图像，选择一个特征点C_i作为候选点，在右图像中寻找匹配点C_j(j＝1,…,n)；首先检测点C_i与C_j(i＝1,…,n)是否满足极线约束，若满足则依次分别检测两个特征点的特征值，邻域特征点数是否匹配；其中n为经步骤1提取到的图像特征点的数量；

步骤2.2：对剩下的待匹配点C_j和候选点C_i进行归一化互相关系数NCC的计算；选择与特征点C_i具有最大互相关系数的右图像中的点即为与之相匹配的特征点C_j；

步骤2.3：继续选取左图像的下一个候选点，重复步骤2.1，得到匹配点集S_L，将左右两幅图像互换，对于右图像中所有的特征点，采用同样的步骤，找到其在左图像中相应的匹配点，组成匹配点集S_R；

步骤2.4：综合比较两个匹配点集，剔除S_L和S_R中不一致的匹配点对，得到公共匹配点集S_A。

4.如权利要求1所述基于多特征联合的局部立体匹配方法，其特征在于，所述步骤3中的视差搜索范围为D＝[d_min,d_max],

其中d_min与d_max为公共匹配点集S_A中的最小视差和最大视差。

5.如权利要求1所述基于多特征联合的局部立体匹配方法，其特征在于，所述步骤4中构造联合匹配代价的具体过程如下：

步骤4.1：设左图像为I_L，右图像为I_R，定义LAB色彩空间信息的匹配代价为C_Lab(p,d):

<mrow> <msub> <mi>C</mi> <mrow> <mi>L</mi> <mi>a</mi> <mi>b</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <mn>1</mn> <mn>3</mn> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>L</mi> <mo>,</mo> <mi>A</mi> <mo>,</mo> <mi>B</mi> <mo>}</mo> </mrow> </munder> <mo>|</mo> <msubsup> <mi>I</mi> <mi>L</mi> <mi>i</mi> </msubsup> <mo>(</mo> <mi>p</mi> <mo>)</mo> <mo>-</mo> <msubsup> <mi>I</mi> <mi>R</mi> <mi>i</mi> </msubsup> <mo>(</mo> <msub> <mi>p</mi> <mi>d</mi> </msub> <mo>)</mo> <mo>|</mo> <mo>,</mo> <msub> <mi>T</mi> <mrow> <mi>L</mi> <mi>A</mi> <mi>B</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>

其中，p是I_L中的一个像素点，p_d是I_R中与之对应的一个像素点且d＝p-p_d， 分别为左右图像LAB色彩空间中某一通道的像素值，T_LAB为LAB色彩信息的截断阈值；

定义梯度匹配代价为C_Grad(p,d)：

<mrow> <msub> <mi>C</mi> <mrow> <mi>G</mi> <mi>r</mi> <mi>a</mi> <mi>d</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <mo>|</mo> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>L</mi> </msub> <mo>(</mo> <mi>p</mi> <mo>)</mo> <mo>-</mo> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>R</mi> </msub> <mo>(</mo> <msub> <mi>p</mi> <mi>d</mi> </msub> <mo>)</mo> <mo>|</mo> <mo>,</mo> <msub> <mi>T</mi> <mrow> <mi>G</mi> <mi>R</mi> <mi>A</mi> <mi>D</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>

其中，与分别为左图像和右图像的梯度幅值图像， G_x为图像水平方向的梯度幅值，G_y为图像垂直方向的梯度幅值，T_GRAD为梯度信息的截断阈值；的含义分别是像素点p和pd的梯度幅值；

步骤4.2：计算灰度图像I_L和I_R的不变矩空间图像I_LI、I_RI，定义基于不变矩的匹配代价为C_Im(p,d)：

C_Im(p,d)＝min(|I_LI(p)-I_RI(p_d)|,T_IM)

其中，I_LI(p)为不变矩空间图像I_LI中待匹配像素点p的值，I_RI(p_d)为不变矩空间图像I_RI中待匹配像素点p_d的值，T_IM为不变矩信息的截断阈值；

步骤4.3：计算多特征联合的匹配代价C(p,d)，公式如下：

C(p,d)＝α₁C_Lab(p,d)+α₂C_Grad(p,d)+(1-α₁-α₂)C_Im(p,d)

其中，参数α₁、α₂用于平衡LAB色彩空间信息匹配代价C_Lab(p,d)、梯度匹配代价C_Grad(p,d)、不变矩匹配代价C_Im(p,d)之间的比例关系。