CN112150531A - 一种鲁棒的自监督学习单帧图像深度估计方法 - Google Patents

Abstract

本发明提供了一种鲁棒的自监督学习单帧图像深度估计方法，首先生成单帧深度及帧间相对运动数据，然后依次计算光照鲁棒性损失函数、相对运动区域掩膜和环路一致性损失，最终得到网络最终损失函数。本发明能够有效提升自监督学习的深度估计方法在复杂场景下的鲁棒性以及学习能力，从而使得方法可以更好适应真实世界中光照变化剧烈、物体运动复杂的场景中，具有很强的应用价值。

Description

一种鲁棒的自监督学习单帧图像深度估计方法

技术领域

本发明涉及一种图像深度估计方法，特别是一种自监督单帧图像深度估计方法。

背景技术

基于自监督学习深度估计方法突破了基于深度学习的一般方法需要带标签数据的限制，具有重要的研究意义。文献“Godard C,Mac Aodha O,Firman M,et al.Digginginto self-supervised monocular depth estimation[C]//Proceedings of the IEEEinternational conference on computer vision.2019:3828-3838.”提出了一种基于自监督估计的深度估计方法，利用帧间残差函数最小值来处理自监督学习中场景的遮挡；并提出基于损失值的二元掩膜降低相对静止场景带来的监督信号偏差；最后采用多层级深度图升采样的方式提升多层级自监督效果。该方法有效提升了自监督估计的精度。然而，自监督深度估计方法利用图像损失函数作为监督信号，这要求相邻帧之间图像亮度稳定，且图像中不能存在相对运动的物体，如汽车、行人等。而在真实场景中，这两种要求往往难以直接满足，使得深度估计网络训练情况容易受到训练集中序列图像光照变化、物体相对运动的影响；同时，主流的自监督深度估计方法往往只利用了序列图像中相邻两帧之间的几何相关关系，而多帧帧间相关关系挖掘不足，这都阻碍了了深度估计性能的进一步提升。因此，文献所采用的方法在处理真实场景情况下的鲁棒性有所不足。文献采用图像像素值差异作为直接监督信号，未能考虑自然场景中帧间存在光照变化时对模型训练产生的影响；同时，方法提出的二元掩膜未能全面解决场景中存在的不同速运动物体导致的训练误差增大的现象；最后，包括文献方法在内的自监督学习深度估计方法未能有效挖掘多帧之间的相关信息，序列相关信息的缺乏应用限制了相关方法性能的进一步提升。

发明内容

为了克服现有技术的不足，本发明提供一种基于鲁棒约束的自监督单帧图像深度估计方法，采用一系列鲁棒的自监督深度估计损失函数，消除帧间光照变化、场景包含相对运动区域以及多帧相关关系挖掘不足对自监督深度估计造成的不利影响，采用本方法获取的场景深度信息在权威评估数据集上达到了当时最优的效果。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤一，在序列图像中截取相邻的三帧图像(I_t-1,I_t,I_t+1)作为一个训练样本，依次截取序列图像中所有相邻三帧图像组成训练样本集，其中，设I_t为目标图像，设I_t′∈(I_t-1,I_t+1)为两帧源图像；将I_t输入到深度估计网络f_D中获取深度图

并将两个图像对(I_t,I_t′)分别输入到运动估计网络f_M中，获取两对帧间运动参数(R_t→t′,t_t→t′)，其中R_t→t′和t_t→t′分别为目标图像到源图像视角位姿变化的3*3旋转矩阵以及3*1的相对平移向量；

步骤二，将两帧源图像I_t′∈(I_t-1,I_t+1)生成仿真的目标图像I_t′→t，源图像I_t′上的像素p_t′在目标图I_t上的对应点p_t′＝K[R_t→t′|t_t→t′]D_t(p_t)K^-1p_t，其中，D_t(p_t)为像素p_t位置上的深度，K为拍摄相机的内参数；计算仿真的目标图像I_t′→t与真实目标图像间的损失图L_p(I_t,I_t′→t)＝min(r(I_t,I_t′→t))，其中min(·)为逐像素求取最小值操作，r(I_t,I_t′→t)为两帧图像间像素误差值；

步骤三，采用掩膜与损失图逐像素相乘的方法剔除相对运动区域；

步骤四，计算环路一致性损失

其中I为单位矩阵，R_t-1→t,R_t→t+1,R_t+1→t-1分别为三张输入图(I_t-1,I_t,I_t+1)两两输入运动估计网络中得到的旋转矩阵，

为矩阵乘法，避免估计退化的正则项

||R′_i→j||为矩阵R_i→j非对角线元素绝对值之和；

步骤五，计算网络最终输入的损失

其中L_p为损失图，

为运动区域掩膜，L_c为环路一致性损失，λ、μ为权重参数，深度图平滑性约束

为I_t深度图估计结果，|·|为取绝对值操作。

所述的深度估计网络f_D是以ResNet18为编码器的UNet结构。

所述的运动估计网络f_M以ResNet18为编码器。

所述的

其中，SSIM为图像质量评估算法，α为权重参数，||·||₁代表求取L1范数，图像梯度值

所述的权重参数α设为0.85。

所述的掩膜

其中，残差一致掩膜

β、ε为控制阈值超参数，

为Iverson括号操作，L_disp＝||L_p(I_t,I_t-1→t)-L_p(I_t,I_t+1→t)||₁；残差-梯度一致掩膜

ξ为阈值参数，残差-梯度一致性计算值

所述的控制阈值超参数β、ε分别为3.5和0.06。

所述的阈值参数ξ设置为0.45。

本发明的有益效果是：针对当前自监督深度估计方法在面对光照变化、物体相对运动等复杂场景时鲁棒性不足的问题，从算法损失图计算、相对运动区域掩膜设计以及鲁棒损失设计等方向入手，全面提升了自监督深度估计方法的鲁棒性和有效性：

1)本发明提出了一种优选的基于光照不变性像素误差r_IL(I_t,I_t′→t)的损失图计算方法，通过求取梯度操作有效抑制和消除了邻域的光照变化，从而克服了现有技术未考虑场景光照变化从而导致模型训练产生偏差的问题，有效抑制场景中光照对损失图计算的不利影响。

2)本发明提出了一种优选的综合运动区域掩膜

通过结合残差一致和残差-梯度一致约束，从而克服了现有方法的二元掩膜无法全面定位场景中存在的不同速运动物体的缺陷，从而更全面、准确对场景中相对运动区域进行估计，降低运动区域对于网络训练的负面影响。

3)本发明提出了一种基于环路一致性的损失，此损失利用帧间环路运动参数构成的一致性约束，有效填补了自监督深度估计现有方法未能有效挖掘多帧相关信息的技术空白，进而全面提升了深度图的估计效果。

基于以上提出的整体框架以及重点技术手段，本发明可有效提升自监督学习的深度估计方法在复杂场景下的鲁棒性以及学习能力，从而使得方法可以更好适应真实世界中光照变化剧烈、物体运动复杂的场景中，具有很强的应用价值。

具体实施方式

下面结合实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明的实施例包括以下步骤：

步骤一：单帧深度及帧间相对运动数据生成。

本方法训练样本为序列图像数据，输入数据分辨率为192*640像素。在序列图像中截取相邻的三帧图像(I_t-1,I_t,I_t+1)作为一个训练样本，进而按顺序截取序列中的所有相邻三帧图像组成训练样本集。其中设I_t为目标图像，设I_t′∈(I_t-1,I_t+1)为两帧源图像。进而将I_t输入到深度估计网络f_D中获取深度图

其中深度估计网络利用经典的UNet结构，其编码器采用ResNet18网络，并由多个卷积层以及上采样层构成解码器，编码器与解码器之间构建4个跳层连接。同时，将目标图与两帧源图像构成的两个图像对(I_t,I_t′)分别输入到运动估计网络f_M中，从而获取两对帧间运动参数。其中运动网络采用与深度估计网络结构一致的独立编码器网络，其输出的一系列运动参数(R_t→t′,t_t→t′)描述了图像对(I_t,I_t′)帧间的立体运动。其中R_t→t′和t_t→t′分别为目标图像到源图像的3*3旋转矩阵，以及3*1的相对平移向量。

步骤二：光照鲁棒性损失函数计算。

依赖上一步骤获取的I_t的深度值以及(I_t,I_t′)之间的运动参数(R_t→t′,t_t→t′)，可以依据如下公知公式将两帧源图像直接生成仿真的目标图像I_t′→t：

p_t′＝K[R_t→t′|t_t→t′]D_t(p_t)K^-1p_t (1)

其中p_t为源图像I_t′上的像素p_t′在目标图I_t上的对应点，D_t(p_t)为像素p_t位置上的深度，K为拍摄相机的已知的内参数。[R_t→t′|t_t→t′]为图像I_t到I_t′的帧间运动参数。计算仿真的目标图像I_t′→t与真实目标图像I_t间的损失图L_p(I_t,I_t′→t)，用以作为监督深度估计网络f_D以及运动估计网络f_M的信号：

L_p(I_t,I_t′→t)＝min(r(I_t,I_t′→t)) (2)

其中，min(·)为帧间求取最小值操作，r(I_t,I_t′→t)为两帧图像间像素误差值，常规方法中误差值计算如下：

其中，SSIM为已有经典的图像质量评估算法，α为权重参数，其值设为0.85。||·||₁代表求取L1范数。

本发明为避免因相邻帧因光照变化导致像素误差r(I_t,I_t′→t)难以准确训练神经网络的问题，发明了一种优选的基于梯度的光照鲁棒性像素误差r_IL(I_t,I_t′→t)：

其中，G(I)为图像梯度值，分别在x,y方向上计算目标的梯度值并相加：

和

为在x,y方向求取梯度操作。方法通过求取图像邻域的梯度信息，从而抵消相邻像素间存在的加性光照变化，并消除图像中低梯度区域上的乘性光照变化，进而有效抑制光照变化对损失图造成的影响。

步骤三：相对运动区域掩膜计算。

上一步生成损失图L_p(I_t,I_t′→t)后，开展相对运动区域剔除。相对运动区域的剔除采用掩膜

与损失图L_p(I_t,I_t′→t)逐像素相乘的方法，设图像中不存在相对运动区域的掩膜值为1，存在相对运动区域的掩膜值为0，从而运用损失图L_p(I_t,I_t′→t)与掩膜值

逐像素相乘的方式滤除损失函数中因相对运动区域导致误差错误区域，即滤除运动后的残差值为：

本发明中，为更加全面、准确的提取场景中的相对运动区域，发明了一种优选的综合运动区域掩膜

来代替常规的运动区域掩膜

此掩膜由两子掩膜构成：残差一致掩膜

及残差-梯度一致掩膜

其中，⊙代表逐像素相乘的矩阵Hadamard乘积。

(1)残差一致子掩膜

计算。

对于残差一致子掩膜

其利用静态场景中相邻损失图之间的一致性特点，进而定位相邻损失图之间不一致的部位作为运动区域来剔除，其计算方式为：

其中β为损失图差异容忍度超参数，其值为3.5，ε用以处理损失图某区域值为0导致掩膜失效情况，其值设为0.06。

为Iverson括号，其输出结果为与输入L尺寸相同的0-1二值图，当L中像素满足L＜ω时，输出图对应位置的值为1，否则为0。L_disp为两帧损失图间的差异图：

L_disp＝||L_p(I_t,I_t-1→t)-L_p(I_t,I_t+1→t)||₁ (9)

其中，||·||₁代表对差异值求取矩阵L1范数。

(2)残差-梯度一致子掩膜M_GL计算。

对于残差-梯度一致子掩膜M_GL，其立足静态场景中，图像低梯度区域的损失值也较低的特点，从而提取场景中低梯度但高损失的区域作为运动区域剔除。其计算方式为：

其中ξ为阈值参数，在本发明中设置为0.45；C为残差-梯度一致性值，用以衡量图像区域中梯度与损失图的一致性。在本发明中的计算方式为：

步骤四：环路一致性损失计算。

常规自监督深度估计方法并未考虑序列图像环路一致性信息，为了更好利用图像序列的关联关系，提升网络学习能力，本发明提出了自监督网络训练中的环路一致性损失L_c。获取相对运动区域剔除处理后的残差图后，利用理想状态下，帧间旋转运动矩阵叠加后与单位矩阵一致的约束设计一致性损失。其计算方法为：

其中I为单位矩阵，R_t-1→t,R_t→t+1,R_t+1→t-1分别为图(I_t-1,I_t)，(I_t,I_t+1)，(I_t+1,I_t-1)输入运动估计网络中得到的旋转矩阵，

为矩阵乘法操作，L_reg为避免旋转运动矩阵R估计退化为单位矩阵的正则项：

其中||R′_i→j||为矩阵R_i→j非对角线元素绝对值之和。

步骤五：网络最终损失函数计算。

本发明中，网络最终输入的损失函数L_final为：

其中L_p为加入基于梯度的光照鲁棒性像素误差r_IL(I_t,I_t′→t)后的损失图，

运动区域剔除掩膜，L_c为环路一致性损失，λ＝0.1,μ＝0.01为权重参数。L_s为自监督深度估计方法中常用的深度图平滑性约束：

其中

为I_t深度图估计结果，|·|为取绝对值操作。

本发明提出了一系列基于图像以及几何的鲁棒约束。发明提出了一种基于梯度信息的光照鲁棒损失函数，可有效降低帧间光照变化对网络训练产生的不利影响；提出了一种运动区域滤除掩膜，可基于损失图一致性与梯度-损失一致性对场景中相对运动区域精准定位及剔除；提出一种基于环路一致性约束的损失函数，将环路一致性引入网络训练，从而提升运动估计网络及深度估计网络的学习能力。本发明提出的方法有效提升了基于自监督学习的估计效果，在权威评估数据集上取得当时最好的估计结果。

Claims (8)

1.一种鲁棒的自监督学习单帧图像深度估计方法，其特征在于包括以下步骤：

步骤一，在序列图像中截取相邻的三帧图像(I_t-1,I_t,I_t+1)作为一个训练样本，依次截取序列图像中所有相邻三帧图像组成训练样本集，其中，设I_t为目标图像，设I_t′∈(I_t-1,I_t+1)为两帧源图像；将I_t输入到深度估计网络f_D中获取深度图

并将两个图像对(I_t,I_t′)分别输入到运动估计网络f_M中，获取两对帧间运动参数(R_t→t′,t_t→t′)，其中R_t→t′和t_t→t′分别为目标图像到源图像视角位姿变化的3*3旋转矩阵以及3*1的相对平移向量；

步骤二，将两帧源图像I_t′∈(I_t-1,I_t+1)生成仿真的目标图像I_t′→t，源图像I_t′上的像素p_t′在目标图I_t上的对应点p_t′＝K[R_t→t′|t_t→t′]D_t(p_t)K^-1p_t，其中，D_t(p_t)为像素p_t位置上的深度，K为拍摄相机的内参数；计算仿真的目标图像I_t′→t与真实目标图像间的损失图L_p(I_t,I_t′→t)＝min(r(I_t,I_t′→t))，其中min(·)为逐像素求取最小值操作，r(I_t,I_t′→t)为两帧图像间像素误差值；

步骤三，采用掩膜与损失图逐像素相乘的方法剔除相对运动区域；

步骤四，计算环路一致性损失

其中I为单位矩阵，R_t-1→t,R_t→t+1,R_t+1→t-1分别为三张输入图(I_t-1,I_t,I_t+1)两两输入运动估计网络中得到的旋转矩阵，

为矩阵乘法，避免估计退化的正则项

||R′_i→j||为矩阵R_i→j非对角线元素绝对值之和；

步骤五，计算网络最终输入的损失

其中L_p为损失图，

为运动区域掩膜，L_c为环路一致性损失，λ、μ为权重参数，深度图平滑性约束

为I_t深度图估计结果，|·|为取绝对值操作。

2.根据权利要求1所述的鲁棒的自监督学习单帧图像深度估计方法，其特征在于：所述的深度估计网络f_D是以ResNet18为编码器的UNet结构。

3.根据权利要求1所述的鲁棒的自监督学习单帧图像深度估计方法，其特征在于：所述的运动估计网络f_M以ResNet18为编码器。

4.根据权利要求1所述的鲁棒的自监督学习单帧图像深度估计方法，其特征在于：所述的

其中，SSIM为图像质量评估算法，α为权重参数，||·||₁代表求取L1范数，图像梯度值

5.根据权利要求4所述的鲁棒的自监督学习单帧图像深度估计方法，其特征在于：所述的权重参数α设为0.85。

6.根据权利要求1所述的鲁棒的自监督学习单帧图像深度估计方法，其特征在于：所述的掩膜

其中，残差一致掩膜

β、ε为控制阈值超参数，

为Iverson括号操作，L_disp＝||L_p(I_t,I_t-1→t)-L_p(I_t,I_t+1→t)||₁；残差-梯度一致掩膜

ξ为阈值参数，残差-梯度一致性计算值

7.根据权利要求6所述的鲁棒的自监督学习单帧图像深度估计方法，其特征在于：所述的控制阈值超参数β、ε分别为3.5和0.06。

8.根据权利要求6所述的鲁棒的自监督学习单帧图像深度估计方法，其特征在于：所述的阈值参数ξ设置为0.45。