CN112308897A - 一种基于邻域信息约束与自适应窗口的立体匹配方法 - Google Patents

Abstract

本发明公开了一种基于邻域信息约束与自适应窗口的立体匹配方法，涉及机器视觉领域，具体包括如下步骤：输入图像，自适应权重代价计算与代价融合，自适应窗口代价聚合，视差计算与优化，最终视差图。针对传统Census算法对中心像素依赖高的问题，采用邻域窗口的加权平均和的方式对中心像素进行赋值。然后，通过设置自适应阈值，将支持窗口的邻域像素与中心像素进行相似性的二次代价计算并与初始代价进行融合，对匹配结果进行进一步约束。在代价聚合阶段，采用颜色阈值不断变化的四约束法进行窗口的构建，并结合梯度信息进一步提高匹配精度；在视差优化阶段采用左右一致性检测与WTA相结合的方法对视差图进一步优化。本技术方案有效提高了三位重建的精度。

Description

一种基于邻域信息约束与自适应窗口的立体匹配方法

技术领域

本发明涉及机器视觉领域，尤其涉及到一种基于邻域信息约束与自适应窗口的立体匹配方法。

背景技术

立体匹配(Stereo Matching)是计算机视觉领域的研究难点与热点之一，是一种从二维平面图像对中获取视差值进而恢复深度信息的一门技术，立体匹配的精度直接影响到深度计算的精度和场景三维重建的效果。其用处涉及三维环境感知与建模、机器人导航、无人驾驶汽车、物体跟踪与检测等。

依据最优化理论方法的不同，主要有局部的和全局的两大类匹配算法。全局算法通过能量函数最小化获得匹配结果，精度较高，效率较低。局部算法利用窗口内的邻域信息来进行单像素的匹配。速度快，容易实现。

虽然局部立体匹配算法速度快，容易实现，但还是存在对噪声敏感，窗口大小难以做合适的选择和在视差不连续区域容易出现误匹配的问题。

发明内容

针对现有技术中存在不足，本发明提供了一种基于邻域信息约束与自适应窗口的立体匹配方法，通过在匹配代价计算阶段将传统Census算法进行改进，针对传统Census算法对中心像素依赖性高的问题，采用自适应加权模板重新给中心像素进行赋值，根据平滑区域与非平滑区域建立代价融合模型，求取匹配代价值；在代价聚合阶段采用颜色阈值不断变化的四约束自适应窗口构建法，进一步提高匹配的精度；采用WTA算法计算最优视差；采用左右一致性原则对视差进行优化。该算法在不显著增加原始算法复杂度的情况下，提高了匹配精度。相对传统Census算法对噪声敏感，本算法能够有效降低图像对高斯噪声的敏感性，并且误匹配更低。

本发明是通过以下技术手段实现上述技术目的的。

一种基于邻域信息约束与自适应窗口的立体匹配方法，包括如下步骤：

S1：输入图像；

S2：自适应权重代价计算与代价融合；

S3：自适应窗口代价聚合；

S4：视差计算与优化；

S5：最终视差图。

进一步的，步骤S1中输入图像为输入左相机和右相机拍摄的图像，分别为左图像和右图像，设定其中一个为参考图像，另一个为目标图像；根据左图像、右图像建立初始局部匹配窗口。

进一步的，步骤S2中自适应权重代价计算与代价融合具体包括计算初始代价值和代价融合；

其中，计算初始代价值的步骤为：计算窗口内所有像素的均值，中心像素重新赋值和利用Census算法计算匹配代价值；

代价融合的步骤为：区分平滑区域与非平滑区域，建立代价融合模型，按Census方法计算加权后的代价值和匹配代价融合。

进一步的，区分平滑区域与非平滑区域的方法：计算窗口内像素与中心像素的灰度差绝对值，将其与给定的阈值进行比较，如果大于阈值的个数超过总数的1/3，则认定为非平滑区域；反之则认为是平滑区域。

进一步的，步骤S4中视差计算与优化方法：采用WTA算法计算最优视差；采用左右一致性原则，找到遮挡区域的误匹配点，找到误匹配点后，再利用邻点法，以误匹配为中心，找出距离误匹配点最近的正确匹配点，将正确匹配点的视差值作为遮挡点的视差值。

进一步的，步骤S3中自适应窗口代价聚合采用四约束自适应窗口构建法。

进一步的，计算初始代价值中：

中心像素重新赋值计算的方式为：

其中，P_Center-中心像素最新的赋值，P_C-原始中心像素的值；P_Average-素值的平均值；

利用Census算法计算匹配代价值公式为：

利用Census算法计算匹配代价值，判断支持窗口内周围像素与中心像素的大小，如果大于中心像素则记为1，反之则标记为0；其中，C_Census-计算的Census代价；P_Center-窗口中心像素，P′-周围像素；W(u,v)-中心像素所在的支持窗口，λ-得到的二进制字符串；P_Center-中心像素最新的赋值。

进一步的，代价融合中：

自适应权重计算方式为：

其中，w_pq-各个邻域像素的权重；β-空间控制参数；l_x，l_y分别为中心像素p与像素q的横向、纵向距离；I_pm-中心像素p点加权后的参考像素值，W-窗口内所有权重之和；N_p表示中心像素所在支持窗口，I_q-q点像素值。

进一步的，建立代价融合模型具体公式为：

其中，C(p，D)-代价融合后的匹配代价值；C_Census-初步代价计算的Census代价值；C_g-基于邻域信息约束后计算的新匹配代价值，λ_c、λ_g-控制异常值的经验参数；f_c(p，D)和f_g(p，D)通过指数形式将计算的代价值映射到[0,1]区间内；W(u，v)-窗口所在区域，W(u，v)时表示平滑区域，W(u，v)＝0时表示非平滑区域。

进一步的，步骤S3自适应窗口代价聚合中，在构建窗口时，当从p点开始延伸仍满足第1个约束条件，即像素p₁与中心像素p的像素差小于给定的阈值τ₁时，则降低颜色阈值为τ_1′，其颜色阈值应该呈现不断减小的趋势，具体公式为：

其中，τ_1′-新定义的阈值，l(p₁，p)-像素p₁与p点距离，γ-经验参数，L₁-距离阈值。

与现有技术相比，本发明至少具有以下效益：

1.本发明在匹配代价计算阶段，在传统Census算法的基础上，将像素均值与基于邻域信息的自适应权重约束相结合，重新给中心像素进行赋值；根据划分不同的区域建立代价融合模型，能够较大程度的提高匹配的精度，减少误匹配和视差不连续的影响。

2.本发明在代价聚合阶段，采用四约束自适应窗口构建法，结合距离信息与梯度信息，进一步对匹配代价进行优化，大大提高了匹配的准确度。

3.针对传统Census算法对中心像素依赖高的问题，采用邻域窗口的加权平均和的方式对中心像素进行赋值。然后，通过设置自适应阈值，将支持窗口的邻域像素与中心像素进行相似性的二次代价计算并与初始代价进行融合，对匹配结果进行进一步约束。在代价聚合阶段，采用颜色阈值不断变化的四约束法进行窗口的构建，并结合梯度信息进一步提高匹配精度；在视差优化阶段采用左右一致性检测与WTA相结合的方法对视差图进一步优化。本技术方案有效提高了三位重建的精度。

附图说明

图1为本发明实施例涉及到的基于邻域信息约束与自适应窗口的立体匹配方法流程示意图；

图2为本发明图1中涉及到的自适应权重代价计算与代价融合阶段具体的流程示意图；

图3为本发明图1中涉及到的自适应窗口中代价聚合阶段与自适应窗口构建方式的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面首先结合附图具体描述根据本发明实施例的

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细说明。

一种基于邻域信息约束与自适应窗口的立体匹配方法，包括如下步骤：

S1：输入图像为左右两个相机拍摄的图像，分别为左图像以及右图像，设定其中一个为参考图像，另一个为目标图像；左、右图像建立初始局部匹配窗口。

S2：为匹配代价计算的过程，区别于传统的Census算法，本算法首先在匹配窗口内计算所有像素的均值，将计算得到的均值与中心像素值求取平均数再重新赋值给中心像素值，计算Census代价值；

其中，针对非平滑区域误匹配问题，提出一种基于邻域信息的自适应权重约束算法，具体步骤为：计算窗口内像素与中心像素的灰度差绝对值，将其与给定的阈值进行比较，如果大于阈值的个数超过总数的1/3，则认定为非平滑区域；反之则认为是平滑区域；建立一个自适应权重的加权模板，对窗口内的像素进行加权求和。将求得的均值重新赋值给中心像素，可以降低对中心像素的依赖性；根据非平滑区域与平滑区域建立一个代价融合的模型，求取匹配代价值。

S3：代价聚合过程，本算法采用颜色阈值不断变化的四约束自适应窗口构建法，对窗口内部所有代价值进行进一步的优化。

S4：视差计算及优化的过程，采用WTA算法计算最优视差；采用左右一致性原则，找到遮挡区域的误匹配点，找到误匹配点后，再利用邻点法，以误匹配为中心，找出距离误匹配点最近的正确匹配点，将正确匹配点的视差值作为遮挡点的视差值。

S5：最后获取的视差图。

结合附图1所，本发明实例中一种基于邻域信息约束与自适应窗口的立体匹配方法的流程示意图。结合附图1，图像立体匹配方法包括如下步骤：

步骤S1：输入图像为左右两个相机拍摄的图像，分别为左图像以及右图像，设定其中一个为参考图像，另一个为目标图像。

步骤S2：参考图2，左、右图像建立初始局部匹配窗口，计算窗口内所有像素值的平均值，得到P_Average；

参考图2，重新给中心像素赋值，其计算的方式为：

其中P_Center为中心像素最新的赋值，P_C为原始中心像素的值；P_Average为素值的平均值。

参考图2，利用Census算法计算匹配代价值，其主要原理是判断支持窗口内周围像素与中心像素的大小，如果大于中心像素则记为1，反之则标记为0。具体公式为：

其中，C_Census为计算的Census代价；P_Center为窗口中心像素，P′为周围像素；W(u,v)表示的是中心像素所在的支持窗口，λ表示得到的二进制字符串。

参考图2，计算支持窗口内邻域像素与中心像素的灰度差绝对值，将其与设定的合适阈值进行比较，如果大于该阈值，则标记为1；反之，则标记为0。

计算上诉窗口内1的总数，如果超过了总数的1/3，则认定该区域为非平滑区域，W(u，v)＝0；反之则认为是平滑区域，W(u，v)＝1。

参考图2，建立一个自适应权重的加权模板，将均值重新赋值给中心像素可以降低对中心像素的依赖性，其计算方式为：

其中，w_pq为各个邻域像素的权重；β为空间控制参数；l_x，l_y分别为中心像素p与像素q的横向、纵向距离；I_pm为中心像素p点加权后的参考像素值，W为窗口内所有权重之和，N_p表示中心像素所在支持窗口，I_q表示q点像素值。

参考图2，按Census算法计算加权后的匹配代价值，得到C_g。

将上述公式(1)(4)、(5)中所得到的Census代价值进行融合，建立代价融合模型，具体公式为：

其中，C(p，D)为代价融合后的匹配代价值；C_Census为公式(1)中计算的代价值；C_g为基于邻域信息约束后计算的新匹配代价值，λ_c、λ_g为控制异常值的经验参数；f_c(p，D)和f_g(p，D)通过指数形式将计算的代价值映射到[0,1]区间内；W(u，v)表示窗口所在区域，W(u，v)＝1时表示平滑区域，W(u，v)＝0时表示非平滑区域。

根据上述代价融合模型，求取融合后的匹配代价值C(p，D)。

步骤S3：代价聚合是立体匹配关键一步；本算法采用四约束自适应窗口构建法,约束条件如下:

D_c(p，p₁)＜τ₁ (9)

{D_c(p₁，p₁+(1，0))＜τ₂|D_c(p₁，p₁+(0，1))＜τ₂} (10)

{G_cx(p₁，p₁+(1，0))＜τ₃|G_cy(p₁，p₁+(0，1))＜τ₃} (11)

D_s(p₁，p)＜L₁ (12)

其中，D_c、D_s分别表示像素p₁与中心像素p的像素差和距离差；τ₁、τ₂表示颜色阈值；τ₃表示梯度阈值；L₁表示距离阈值。

参考图3，其窗口构建方式如下：

从p点开始分别向4个方向进行延伸构建.用p₂表示横轴延伸点[p₁+(1，0)]]和纵轴延伸点[p₁+(0，1)]；

其中，D_c(p，p₁)＜τ₁和{D_C(p₁，p₁+(1，0))＜τ₂|D_c(p₁，p₁+(0，1))＜τ₂}表示如果p₁与点p的像素差的绝对值大于设定的阈值τ₁或p₂与点p₁像素差的绝对值大于设定的阈值τ₂则停止延伸；

其中，{G_cx(p₁，p₁+(0，1))＜τ₃|G_cy(p₁，p₁+(0，1))＜τ₃}表示若p₂与p₁的梯度值大于设定的阈值τ₃，则停止延伸；D_s(p₁，p)＜L₁表示若p₁与p的距离大于设定的阈值L₁，则停止延伸。

其中，梯度的求取公式为：

G_cx(p₁，p₁+(1，0))＝f(x+1，y)-f(x，y) (13)

G_cy(p₁，p₁+(0，1))＝f(x，y+1)-f(x，y) (14)

上述中，f(x，y)表示p₁点的坐标，f(x+1，y)表示p₁右相邻点的坐标，f(x，y+1)表示p₁上相邻点的坐标。

在构建窗口时，考虑到当从p点开始延伸较长后仍满足第1个约束条件，则降低颜色阈值为τ_1′，其颜色阈值应该呈现不断减小的趋势，具体公式为：

其中，τ_1′为新定义的阈值，l(p₁，p)为像素p₁与p点距离，γ为经验参数。

步骤S4：采用胜者为王(Winner-Takes-All，WTA)算法计算最优视差。

假设视差范围是0～255，E₀，E₁，E₂～E_n是在视差范围内搜索到的像素点的匹配代价，取代价最小值

所在的点作为待匹配点的最优匹配点，则该点视差为

得到初始视差图后，仍存在一些遮挡区域的误匹配点。用左右一致性原则，找到遮挡区域的误匹配点，具体的公式为：

其中，点

是p的匹配点，d(x，y)为p点所在图像的视差图，d_p为p点的视差值，d_p为

点的视差值。

如果两点的视差差分小于或等于给定的阈值T，则认为是正确的匹配点；如果两点的视差差分大于T，则认为是误匹配点。

得到遮挡区域的误匹配点后，再利用邻点法，以误匹配为中心，对四个方向进行搜寻，找出距离误匹配点最近的正确匹配点，将正确匹配点的视差值作为遮挡点的视差值。具体公式为：

其中，d_f为误匹配点的视差值，d_a，d_b，d_l，d_r和d_a-d，d_b-d，d_l-d，d_r-d分别为上下左右方向上的最近正确视差点的视差值以及最近像素距离。

通过上述步骤，本发明能够解决传统Census算法对噪声敏感性强的问题，解决图像在非平滑区域处容易出现误匹配的问题，大大提高了立体匹配的精度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于邻域信息约束与自适应窗口的立体匹配方法，其特征在于，包括如下步骤：

S1：输入图像；

S2：自适应权重代价计算与代价融合；

S3：自适应窗口代价聚合；

S4：视差计算与优化；

S5：最终视差图。

2.根据权利要求1所述的基于邻域信息约束与自适应窗口的立体匹配方法，其特征在于，步骤S1中输入图像为输入左相机和右相机拍摄的图像，分别为左图像和右图像，设定其中一个为参考图像，另一个为目标图像；根据左图像、右图像建立初始局部匹配窗口。

3.根据权利要求1所述的基于邻域信息约束与自适应窗口的立体匹配方法，其特征在于，步骤S2中自适应权重代价计算与代价融合具体包括计算初始代价值和代价融合；

其中，计算初始代价值的步骤为：计算窗口内所有像素的均值，中心像素重新赋值和利用Census算法计算匹配代价值；

代价融合的步骤为：区分平滑区域与非平滑区域，建立代价融合模型，按Census方法计算加权后的代价值和匹配代价融合。

4.根据权利要求3所述的基于邻域信息约束与自适应窗口的立体匹配方法，其特征在于，区分平滑区域与非平滑区域的方法：计算窗口内像素与中心像素的灰度差绝对值，将其与给定的阈值进行比较，如果大于阈值的个数超过总数的1/3，则认定为非平滑区域；反之则认为是平滑区域。

5.根据权利要求1所述的基于邻域信息约束与自适应窗口的立体匹配方法，其特征在于，步骤S4中视差计算与优化方法：采用WTA算法计算最优视差；采用左右一致性原则，找到遮挡区域的误匹配点，找到误匹配点后，再利用邻点法，以误匹配为中心，找出距离误匹配点最近的正确匹配点，将正确匹配点的视差值作为遮挡点的视差值。

6.根据权利要求1所述的基于邻域信息约束与自适应窗口的立体匹配方法，其特征在于，步骤S3中自适应窗口代价聚合采用四约束自适应窗口构建法。

7.根据权利要求3所述的基于邻域信息约束与自适应窗口的立体匹配方法，其特征在于，计算初始代价值中：

中心像素重新赋值计算的方式为：

其中，P_Center-中心像素最新的赋值，P_C-原始中心像素的值；P_Average-素值的平均值；

利用Census算法计算匹配代价值公式为：

利用Census算法计算匹配代价值，判断支持窗口内周围像素与中心像素的大小，如果大于中心像素则记为1，反之则标记为0；其中，C_Census-计算的Census代价；P_Center-窗口中心像素，P′-周围像素；W(u，v)-中心像素所在的支持窗口，λ-得到的二进制字符串；P_Center-中心像素最新的赋值。

8.根据权利要求3所述的基于邻域信息约束与自适应窗口的立体匹配方法，其特征在于，代价融合中：

自适应权重计算方式为：

其中，w_pq-各个邻域像素的权重；β-空间控制参数；l_x，l_y分别为中心像素p与像素q的横向、纵向距离；I_pm-中心像素p点加权后的参考像素值，W-窗口内所有权重之和；N_p表示中心像素所在支持窗口，I_q-q点像素值。

9.根据权利要求8所述的基于邻域信息约束与自适应窗口的立体匹配方法，其特征在于，建立代价融合模型具体公式为：

其中，C(p，D)-代价融合后的匹配代价值；C_Census-初步代价计算的Census代价值；C_g-基于邻域信息约束后计算的新匹配代价值，λ_c、λ_g-控制异常值的经验参数；f_c(p，D)和f_g(p，D)通过指数形式将计算的代价值映射到[0，1]区间内；W(u，v)-窗口所在区域，W(u，v)＝1时表示平滑区域，W(u，v)＝0时表示非平滑区域。

10.根据权利要求1所述的基于邻域信息约束与自适应窗口的立体匹配方法，其特征在于，步骤S3自适应窗口代价聚合中，在构建窗口时，当从p点开始延伸仍满足第1个约束条件，即像素p₁与中心像素p的像素差小于给定的阈值τ₁时，则降低颜色阈值为τ₁’，其颜色阈值应该呈现不断减小的趋势，具体公式为：

其中，τ₁’-新定义的阈值，l(p₁，p)-像素p₁与p点距离，γ-经验参数，L₁-距离阈值。

Images