CN111260711B - 一种弱监督可信代价传播的视差估计方法 - Google Patents

Abstract

本发明公开了一种弱监督可信代价传播的视差估计方法，利用深度学习方法对传统方法获得的初始代价进行优化。通过结合，充分利用各自优势，解决了传统方法中误匹配、无纹理区域匹配难等问题，同时弱监督的可信代价传播方法避免了深度学习方法数据标签依赖的问题。

Description

一种弱监督可信代价传播的视差估计方法

技术领域

本发明属于图像处理和计算机视觉领域，涉及双目视差估计，并利用深度学习方法对传统方法获得的初始代价进行优化。具体涉及一种弱监督可信代价传播的视差估计方法。

背景技术

深度即目标到观察者的距离作为一种重要的空间信息，可用来提取目标的一些重要属性(如速度、三维位置)和关系(如遮挡、越界)，对于目标跟踪及行为感知具有重要意义。双目深度感知利用立体匹配求出两幅图像对应点间的视差，根据三角测量原理，用双目相机内外参求得场景内相应点的深度值。现有的双目视差估计方法主要有三大类：第一类是传统双目视差估计方法，主要基于几何约束，通常分为匹配代价计算、代价聚合、视差估计、视差优化等过程。其中最经典的是SGM(半全局匹配)算法，其特点是每个像素点的代价用其对应位置八个方向路径上的像素代价做优化，在一定程度上解决了无纹理区域的匹配问题。传统方法对稀疏视差估计较准确，但估计稠密视差时局限性很大，如参数多，调参适配不同场景耗时耗力，特征设计难，能量传播不充分，特别是在镜面反射、低光、透明、无纹理区域仍存在较大缺陷。第二类是基于深度学习的视差估计方法，如用网络得到的特征进行搜索匹配，用左右一致性约束实现视差优化、学习的监督等。近两年研究者提出用3D卷积实现能量传播过程的方法，进一步提高了网络的可解释性。为解决数据依赖问题，研究者提出了利用左右重建一致性的无监督方法、基于域适应思想的迁移学习方法等。上述基于数据驱动的学习的方法，可得到表达能力更强的特征模型，一方面能充分考虑语义信息，另一方面能学到像素间的更丰富的关系特征，因此最终视差图较传统方法结果更准确、平滑，但存在着数据依赖强、场景泛化能力差的问题。第三类为深度学习与传统方法相结合的估计方法。如针对SGM算法，利用网络对不同场景、不同像素自动分配惩罚系数，可显著提升SGM稠密视差估计效果。针对能量传播，文献利用网络估计出每个像素点的置信度，根据置信度进行能量传播过程。这些深度学习与传统方法结合的方法虽然可解释性更强，但仍未充分利用两类方法各自的优势，因此相对于端到端的学习方法未能在精度上体现出优势，而相较于稀疏匹配方法未在泛化能力及数据依赖程度上体现出优势。

本发明基于以上问题，提出一种将深度学习与传统方法相结合的双目视差估计法，充分利用传统方法与深度学习方法各自优势，利用弱监督深度学习对传统方法获取的粗糙初始代价进行优化，获得精确代价图，解决真实视差数据标签难获取、跨数据集泛化能力差、无纹理及重复纹理区域误匹配等稠密视差图获取过程中的一系列难题。

发明内容

本发明旨在克服现有技术的不足，提供了弱监督可信代价传播视差估计方法，即将深度学习与传统方法结合，利用弱监督深度学习方法优化传统方法获取的初始代价图，有效利用传统方法和深度学习方法各自的优势，得到更精确的视差图。

具体方案包括下列步骤：

一种基于弱监督可信代价传播的双目视差估计方法

第一步，采用传统特征匹配方法即非深度学习方法，得到稀疏精确的初始代价图；

第二步，进行能量传；采用三维卷积网络对初始代价图进行优化；

第三步，进行视差回归；利用优化后的初始代价图转化为概率图，所述概率图为每个像素属于每个视差的概率，再通过Soft Argmax得到亚像素视差，最终获得稠密视差图。

本发明的有益效果是：

本发明提出一种传统视差估计与深度学习结合的双目视差估计方法。通过结合，充分利用各自优势，解决了传统方法中误匹配、无纹理区域匹配难等问题，同时弱监督的可信代价传播方法避免了深度学习方法数据标签依赖的问题。

附图说明

图1为方案的整体流程图；

图2为视差估计的效果图；(a)左图，(b)右图，(c)视差图。

具体实施方式

为克服视差估计中，真实视差数据标签难获取、跨数据集泛化能力差、无纹理及重复纹理区域易误匹配等难题，本发明提出基于弱监督可信代价传播的双目视差估计方案(图1)，其主要步骤为：

第一步，采用传统特征匹配方法得到稀疏精确的代价图，本发明以基于Census特征的匹配方法为例，具体步骤如下：

1.1采用高斯滤波算法对输入图像进行降噪滤波处理。高斯滤波窗口权值由高斯函数(式1)决定。

其中(x,y)是点坐标，σ是标准差。通过对高斯函数离散化，得到权值矩阵，即为高斯滤波器。

经过高斯滤波处理，能够有效的抑制噪声，平滑图像。防止噪声造成后续的匹配误差。

1.2对输入图像进行匹配，获得视差稀疏准确的初始代价图。。

进行初始代价计算。这里以基于Census特征的滑动窗口匹配为例描述匹配代价计算流程。

获取每个像素的Census特征描述子。利用滑动窗口，在扫描线上进行搜索，计算每个像素可能视差对应的代价(式2)：

式中HD(·)表示汉明距离，CensusL、CensusR为分别为左图、右图像素的Census特征描述子。代价计算的输出为高(H)×宽(W)×最大视差(D)大小的张量，即代价图。

第二步，进行能量传播。传统能量传播模型基于手工先验特征，描述能力有限，无法对同一平面内纹理过于丰富或场景包含大片无纹理、弱纹理区域进行有效能量传播，极易出现误匹配。本发明将利用深度学习强大的特征表征和上下文学习优势，采用三维卷积网络对代价图进行优化。输入为1.2的中间输出，即每个像素相对于每个可能匹配点的相似性特征向量组成的四维张量。能量传播网络对应的损失函数为：

其中Ω为除稀疏点集之外的点，

为左图上一点x，

为根据右图与视差重构的左图上一点x。

第三步，进行视差回归。利用网络将相似性张量转换为概率张量(即每个像素属于每个视差的概率)，并通过Soft Argmax得到亚像素视差。实际应用中该方法仅需输入左图和右图，根据需要可输出稀疏视差图或稠密视差图。

Claims (2)

1.一种基于弱监督可信代价传播的双目视差估计方法，其特征在于，包括步骤如下：

第一步，采用传统特征匹配方法即非深度学习方法，得到稀疏精确的初始代价图；

第二步，进行代价传播；采用三维卷积网络对初始代价图进行优化；

输入为第一步的初始代价图，即每个像素相对于每个可能匹配点的相似性特征向量组成的四维张量；代价传播网络对应的损失函数为：

其中Ω为除稀疏点集之外的点，

为左图上一点x，

为根据右图与视差重构的左图上一点x；

第三步，进行视差回归；利用优化后的初始代价图转化为概率图，所述概率图为每个像素属于每个视差的概率，再通过Soft Argmax得到亚像素视差，最终获得稠密视差图。

2.根据权利要求1所述的基于弱监督可信代价传播的双目视差估计方法，其特征在于，第一步，采用传统特征匹配方法为基于Census特征的匹配方法，具体步骤如下：

1)采用高斯滤波算法对输入图像进行降噪滤波处理，高斯滤波窗口权值由高斯函数，式(1)决定；

其中(x,y)是点坐标，σ是标准差；通过对高斯函数离散化，得到权值矩阵，即为高斯滤波器；

2)对输入图像进行匹配，获得视差稀疏准确的初始代价图；

进行初始代价计算；获取每个像素的Census特征描述子，利用滑动窗口，在扫描线上进行搜索，计算每个像素可能视差对应的代价

式中HD(·)表示汉明距离，CensusL、CensusR为分别为左图、右图像素的Census特征描述子；代价计算的输出为高×宽×最大视差大小的张量，即初始代价图。

Images