CN113436254B - 一种级联解耦的位姿估计方法 - Google Patents

Abstract

本发明公开了一种级联解耦的位姿估计方法。首先基于位姿解耦公式，设计级联解耦位姿估计网络；然后设计基于级联解耦位姿估计的迭代网络；最后定义级联解耦位姿估计网络和基于级联解耦位姿估计的迭代网络的损失函数。本发明从相机位姿估计的级联解耦结构设计开始，首先提出了一种位姿级联解耦估计网络和位姿级联解耦优化网络，之后又提出了一种基于级联解耦位姿估计的迭代网络，以实现更高精度的位姿估计；最后将其扩展到无监督单目视觉里程计，实现相邻帧间相机位姿的旋转矩阵和平移矩阵解耦估计，得到更高精度的结果。

Description

一种级联解耦的位姿估计方法

技术领域

本发明属于深度学习与计算机视觉领域，特别涉及了一种级联解耦的位姿估计网络。

背景技术

来自图像序列的相机自运动估计或视觉里程计(Visual Odometry)因其在许多视觉任务中的关键作用而引起了研究人员的极大关注。在过去的二十年中，基于多视图几何理论的传统方法在条件良好的环境中表现出了极佳的性能，然而，它们的性能和鲁棒性很容易受到无纹理区域或图像质量低的影响。此外，传统方法由于复杂的计算使得在优化方面也不占优势。

随着深度神经网络(DNN)的快速发展，基于学习的相机自运动估计方法近年来取得了重大进展。它们通常利用基于卷积神经网络(CNN)的相机位姿预测模块来预测相邻帧之间的相机位姿。它们中的大多数方法都是有监督学习的网络。受益于DNN的学习能力，这些方法与传统方法相比，实验结果已经大幅提升。然而，有监督学习的性能在很大程度上取决于可用Ground Truth的数量和质量。

无监督方法可以有效地避免Ground Truth的限制。无监督方法的原理是利用相邻帧之间三维投影的光度一致性作为自运动学习的监督信号，而不是直接用真实相机位姿训练网络。由于缺少Ground Truth的引导，无监督方法的结果远不如有监督方法准确。为了提高无监督位姿估计的准确性，现有方法通常侧重于具有回环优化的各种长短期序列学习方案，而忽略了位姿估计网络的改进。因此，针对位姿估计网络本身，提出一种高精度位姿的网络是十分必要的。

此外，亮度一致性约束普遍应用于视觉里程计中，可以用于判断图像之间的亮度差异，刚性流图可以描述静止物体的差异，但是由于图像中普遍存在着运动对象，刚体流图无法正确描述运动对象的像素点变换关系，这会对图像之间的亮度一致性差异造成影响。目前大多数方法通过掩膜将遮挡区域排除在亮度一致性约束之外。

平移估计网络T-Net和旋转估计网络R-Net采用了Lili Lin，Weisheng Wangetc.Unsupervised monocular visual odometry with decoupled camera poseestimation.中的结构。

Yang Wang,Peng Wang.UnOS:Unified Unsupervised Optical-flow andStereo-depth Estimation by Watching Videos.2019。

发明内容

针对现有技术中存在的不足，本发明提供了一种级联解耦的位姿估计方法。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤S1：基于位姿解耦公式，设计级联解耦位姿估计网络；

步骤S2：设计基于级联解耦位姿估计的迭代网络；

步骤S3：定义级联解耦位姿估计网络和基于级联解耦位姿估计的迭代网络的损失函数；

本发明有益效果如下：

本发明从相机位姿估计的级联解耦结构设计开始，首先提出了一种位姿级联解耦估计网络和位姿级联解耦优化网络，之后又提出了一种基于级联解耦位姿估计的迭代网络，以实现更高精度的位姿估计；最后将其扩展到无监督单目视觉里程计，实现相邻帧间相机位姿的旋转矩阵和平移矩阵解耦估计，得到更高精度的结果；

附图说明

图1为级联解耦位姿估计网络框图；

图2为基于级联解耦位姿估计的迭代网络框图；

图3为迭代网络中的级联解耦优化结构框图；

图4为本发明的主要步骤流程示意图。

具体实施方式

以下结合附图与实施例对本发明方案进行进一步描述。

如图4所示，一种级联解耦的位姿估计方法，步骤如下：

所述步骤S1基于位姿解耦公式，设计级联解耦位姿估计网络，具体方法如下：

所述的位姿解耦公式具体表述为：

对于相邻两帧图像I_g和I_s，场景点在图像I_g上的投影像素点为p_g，在图像I_s上的投影像素点为p_s，根据相机内参矩阵K、相机位姿矩阵P_g→s、像素点p_g在相机坐标系下的深度值z_g和像素点p_s在相机坐标系下的深度值z_s，像素点p_g和像素点p_s满足刚性运动的投影公式，具体为：

其中P_g→s为相机从第g帧到第s帧的相机位姿矩阵，P_g→s由一个3×3的旋转矩阵R和一个3×1的平移矩阵T组成，它能够转化为解耦平移矩阵和解耦旋转矩阵的级联相乘，具体为：

其中，

其中，P_T为4×4的解耦平移矩阵，P_R为4×4的解耦旋转矩阵，E_3×3为3×3的单位矩阵。

将公式(1)代入公式(2)可得：

根据公式(4)，能够得到像素点p_g和像素点p_s的级联相乘的公式：

其中公式(4)的第一行为解耦平移矩阵P_T的投影公式，公式(4)的第二行为解耦旋转矩阵P_R的投影公式。公式(4)称为位姿解耦估计公式，将相机位姿矩阵P_g→s估计分解为解耦平移矩阵P_T和解耦旋转矩阵P_R的级联估计。

所述的级联解耦位姿估计网络(DecoupledPoseNet)包括四个子网络，分别是平移估计网络T-Net、平移优化网络T-RefineNet、旋转估计网络R-Net和旋转优化网络R-RefineNet。其中T-Net和R-Net的结构采用了Lili Lin，Weisheng Wang etc.Unsupervisedmonocular visual odometry with decoupled camera pose estimation.中的结构，为现有成熟技术。T-RefineNet和R-RefineNet分别与T-Net和R-Net的结构相同。

级联解耦位姿估计网络(DecoupledPoseNet)的具体结构如图1所示，它的具体表述为：

在公式(2)的基础上，对旋转矩阵和平移矩阵进一步优化，公式如下所示：

其中，

将公式(6)代入公式(1)，将公式(1)划分成四个级联部分，然后设计一个级联解耦位姿估计网络，即DecoupledPoseNet。它的网络输入为连续两帧的左相机图像I_t和I_t+1，输出为t时刻相对于t+1时刻的相机位姿P_t→t+1，为了得到更加准确的结果，这里同时输出了一个中间结果P_t'_→t+1，并且：

所述步骤S2设计基于级联解耦位姿估计的迭代网络，具体方法如下：

所述的基于级联解耦位姿估计的迭代网络包括一个视差估计网络(UnDispNet)，一个光流估计网络(UnFlowNet)和一个级联解耦的位姿迭代网络(DecoupledPoseNet_1&DecoupledPoseNet_2)，通过视差估计网络(UnDispNet)和光流估计网络(UnFlowNet)的输出结果得到用于处理图像中的运动对象的掩膜。步骤S2的结构如图2所示。

所述的视差估计网络(UnDispNet)和光流估计网络(UnFlowNet)采用了与UnOS中DispNet和FlowNet相同的网络结构；

所述的视差估计网络(UnDispNet)的结构为一个包含了编码子网和解码子网的U型网络；编码子网的输入为连续两帧的左相机图像I_t和I_t+1，通过卷积和下采样提取深层特征信息；解码子网通过卷积和上采样将深层特征信息图尺寸恢复到输入图像尺寸，并得到连续两帧的视差图d_t和d_t+1。对于视差图d，u为图像空间的水平方向坐标，v为图像空间的垂直方向坐标，则像素点(u,v)的视差值为d(u,v)，其深度值z的计算公式为：

其中B为车载双目立体相机的基线，f为车载双目立体相机的焦距。

所述的光流估计网络(UnFlowNet)的结构为一个包含了编码子网和解码子网的U型网络；编码子网由六层光流特征抽取层构成，每一层的光流特征抽取层是由一个步长为2，大小为3×3的卷积核和一个步长为1，大小为4×4的卷积核以及两个Leaky ReLU激活函数构成。光流特征抽取层的第一层是步长为2的卷积层，其作用是特征信息抽取和降采样作用，第二层是步长为1的卷积层，其作用为了对降采样后的特征块信息作细化处理。每一张图像经过六层光流特征抽取层处理获得一个六层的特征金字塔。编码子网的输入是连续两帧的左相机图像I_t和I_t+1，输出是两帧的特征金字塔。

解码子网利用六层光流特征金字塔结构逐级优化光流，使用了由粗到细(Fromcoarse to fine)的方式来优化光流结果。解码子网能够拆分为六层子网络结构，每层子网络结构中包含了图像特征代价空间生成器和光流估计网络。第一层子网络用来获取初始小尺寸光流图，第二层至第六层逐级扩大光流图尺寸，并以残差形式优化光流图。

所述的用于处理图像中的运动对象的掩膜具体表述为：

t+1时刻的图像I_t+1通过warp(可微分双线性插值,为成熟技术)得到t时刻的合成图像。图像I_t和I_t+1之间存在遮挡区域，遮挡区域会导致合成图无法和原图像I_t保持一致。根据视差估计网络(UnDispNet)输出的视差图和相机位姿能够获得图像I_t和I_t+1之间对应的刚性流图，刚性流图能够描述图像I_t中静态对象区域和图像I_t+1中对应区域的像素位移。由于刚性流图无法正确描述运动对象的像素点变换关系，通过刚性流获得的合成图无法正确表示运动对象区域。因此，针对运动对象，使用反向光流图生成光流遮挡图用来解决运动对象导致的遮挡区域在原图上不一致的问题。

首先根据光流估计网络(UnFlowNet)得到光流图，然后通过刚性流图和光流图进行差异比较，得到运动对象区域掩膜。首先，比较获取的刚性流和光流的差异获得F_diff，具体公式为：

其中

和

分别表示x轴和y轴上的光流，

和

分别表示x轴和y轴上的刚性流。F_diff中大于阈值的区域表示刚性流和光流不一致的区域，F_diff中小于阈值的区域表示刚性流和光流一致的区域。F_diff在阈值λ_diff下进行二值化，得到的二值化图M_diff分成一致区域和非一致区域，具体公式为：

M_region是二值化后的遮挡掩膜图，其为了将M_diff中错误的掩盖区域去除，使得M_motion仅包含了非刚体部分的二值化运动分割掩膜，具体公式为：

所述的基于级联解耦的位姿迭代网络(DecoupledPoseNet_1&DecoupledPoseNet_2)的具体表述为：

基于级联解耦的位姿迭代网络包括级联解耦优化结构DecoupledPoseNet_1和级联解耦优化结构DecoupledPoseNet_2，这两个结构与上述的DecoupledPoseNet结构相同，它们的结构如图3所示。为了叙述方便，此处采用step1和step2代替。通过step1结构和step2结构获得四个相机位姿。通过step1结构获得

和

两个相机位姿，此处将

记为

将

记为

step2结构将step1结构得到的相机位姿

作为输入，获得

和

两个相机位姿，此处将

记为

将

记为

所述的步骤S3定义级联解耦位姿估计网络和基于级联解耦位姿估计的迭代网络的损失函数，具体方法如下：

所述的级联解耦位姿估计网络结构的损失L_total包括光流损失L_flow、双目视差损失L_disparity、刚体一致性损失L_rigid，具体公式为：

L_total＝λ_fL_flow+λ_dL_disparity+λ_rL_rigid (14)

其中λ_f、λ_d和λ_r为权重，用于调整不同损失在整个损失函数中的作用。

所述的光流损失L_flow，表示为光流图与原图的光流亮度一致性损失，具体公式为：

其中β为权重；SSIM(·)为两幅图像的结构相似性计算函数，其计算方法为现有成熟方法；||·||₁为计算L1距离，Warp为可微分双线性插值方法，为现有成熟方法。

所述的双目视差损失L_disparity由三个约束条件组成：图像亮度一致性损失L_p，视差图几何一致性损失L_g，视差边缘感知平滑损失L_s，具体公式为：

L_disparity＝λ₁L_p+λ₂L_g+λ₃L_s (16)

其中λ₁＝λ₃＝1，λ₂＝10。

所述的相机的亮度一致性损失L_p，级联解耦优化结构能够获得P_ΔTP_TP_R和P_ΔTP_TP_RP_ΔR两个位姿变换，具体公式为：

所述的视差图几何一致性损失L_g，是比较左右视差图之间的视差值差异，其先对右视差图D_r使用Warp操作获得合成视差图

通过

和左视差图D_l相加后计算L1距离，来计算双目视差的差异，具体公式为：

所述的视差边缘感知平滑损失L_s，具体公式为：

所述的基于级联解耦位姿估计的迭代网络的损失函数由多视点损失L_multi、双目视差损失L_disparity、光流损失L_optical组成，具体公式为：

L_total＝L_optical+L_disparity+L_multi (20)

其中双目视差损失L_disparity与上述的基于无监督学习的级联解耦位姿估计网络结构的双目视差损失一致。

所述的多视点损失L_multi具体公式为：

L_multi＝L_TTR,step1+L_TTRR,step1+L_TTR,step2+L_TTRR,step2 (21)

其中L_TTR,step1是针对

的多视点亮度一致性损失，L_TTRR,step1是针对

的多视点亮度一致性损失，L_TTR,step2是针对

的多视点亮度一致性损失，L_TTRR,step2是针对

的多视点亮度一致性损失。由于在多视点亮度一致性损失中，运动对象掩膜M_region能够将运动对象排除在多视点亮度一致性损失之外，并且四个位姿

都需要加入到亮度一致性约束中，其具体公式为：

其中λ_TTR和λ_TTRR都是超参数，它们的值分别是0.4和0.6，M_occu·M_motion作用于多视点的亮度一致性损失，

是由

经过视点合成生成的合成图。

所述的光流损失L_optical，由于引入了运动对象掩膜，针对刚性区域使用了光流和刚性流一致性损失L_consistent，在非刚性区域使用了边缘感知平滑损失L_smooth，光流的损失公式具体为：

L_optical＝L_image+L_consistent+L_smooth (23)

其中L_image为光流的亮度一致性损失，它的计算公式为：

其中

为图片Warp操作后的合成图，它的计算公式为：

其中D_l为像素点的视差值。

所述的光流和刚性流一致性损失L_consistent，刚性流通过视差图和相机位姿能够获得刚性区域对应像素运动，并且其刚性区域的精度高于光流，但是刚性流无法描述非刚体区域的像素位置变化。因此使用运动对象掩膜将运动对象排除在光流和刚性流一致性约束之外。光流与刚性流一致性损失的公式如下所示：

所述的边缘感知平滑损失L_smooth，亮度一致性约束中存在模糊性和任意性问题，而边缘感知平滑约束基于来自边缘检测的边缘图梯度，能够提高边缘感知的平滑度，并且比像素级约束具有更强的语义性。光流的边缘感知平滑损失能够提高光流估计的准确率，也使得光流图在边缘部分与场景中的边缘轮廓一致。由于边缘的模糊性主要来源于运动对象，因此只对运动对象区域使用了边缘感知平滑约束，对应公式如下所示：

进一步的，步骤3中的λ_f＝λ_d＝λ_r＝1，β为0.8。

Claims (3)

1.一种级联解耦的位姿估计方法，其特征在于，包括如下步骤：

步骤S1：基于位姿解耦公式，设计级联解耦位姿估计网络；

步骤S2：设计基于级联解耦位姿估计的迭代网络；

步骤S3：定义级联解耦位姿估计网络和基于级联解耦位姿估计的迭代网络的损失函数；

所述步骤S1具体方法如下：

所述的位姿解耦公式具体表述为：

对于相邻两帧图像I_g和I_s，场景点在图像I_g上的投影像素点为p_g，在图像I_s上的投影像素点为p_s，根据相机内参矩阵K、相机位姿矩阵P_g→s、像素点p_g在相机坐标系下的深度值z_g和像素点p_s在相机坐标系下的深度值z_s，像素点p_g和像素点p_s满足刚性运动的投影公式，具体为：

其中P_g→s为相机从第g帧到第s帧的相机位姿矩阵，P_g→s由一个3×3的旋转矩阵R和一个3×1的平移矩阵T组成，它能够转化为解耦平移矩阵和解耦旋转矩阵的级联相乘，具体为：

其中，

其中，P_T为4×4的解耦平移矩阵，P_R为4×4的解耦旋转矩阵，E_3×3为3×3的单位矩阵；

将公式(1)代入公式(2)可得：

根据公式(4)，能够得到像素点p_g和像素点p_s的级联相乘的公式：

其中公式(5)的第一行为解耦平移矩阵P_T的投影公式，公式(5)的第二行为解耦旋转矩阵P_R的投影公式；公式(5)称为位姿解耦估计公式，将相机位姿矩阵P_g→s估计分解为解耦平移矩阵P_T和解耦旋转矩阵P_R的级联估计；

所述的级联解耦位姿估计网络包括四个子网络，分别是平移估计网络T-Net、平移优化网络T-RefineNet、旋转估计网络R-Net和旋转优化网络R-RefineNet；T-RefineNet和R-RefineNet分别与T-Net和R-Net的结构相同；

级联解耦位姿估计网络的具体表述为：

在公式(2)的基础上，对旋转矩阵和平移矩阵进一步优化，公式如下所示：

其中，

将公式(6)代入公式(1)，将公式(1)划分成四个级联部分，然后设计一个级联解耦位姿估计网络，即DecoupledPoseNet；它的网络输入为连续两帧的左相机图像I_t和I_t+1，输出为t时刻相对于t+1时刻的相机位姿P_t→t+1，为了得到更加准确的结果，这里同时输出了一个中间结果P′_t→t+1，并且：

所述步骤S2具体方法如下：

所述的基于级联解耦位姿估计的迭代网络包括一个视差估计网络UnDispNet，一个光流估计网络UnFlowNet和一个级联解耦的位姿迭代网络DecoupledPoseNet_1&DecoupledPoseNet_2，通过视差估计网络UnDispNet和光流估计网络UnFlowNet的输出结果得到用于处理图像中的运动对象的掩膜；

所述的视差估计网络UnDispNet和光流估计网络UnFlowNet采用了与UnOS中DispNet和FlowNet相同的网络结构；

所述的视差估计网络UnDispNet的结构为一个包含了编码子网和解码子网的U型网络；编码子网的输入为连续两帧的左相机图像I_t和I_t+1，通过卷积和下采样提取深层特征信息；解码子网通过卷积和上采样将深层特征信息图尺寸恢复到输入图像尺寸，并得到连续两帧的视差图d_t和d_t+1；对于视差图d，u为图像空间的水平方向坐标，v为图像空间的垂直方向坐标，则像素点(u,v)的视差值为d(u,v)，其深度值z的计算公式为：

其中B为车载双目立体相机的基线，f为车载双目立体相机的焦距；

所述的光流估计网络的结构为一个包含了编码子网和解码子网的U型网络；编码子网由六层光流特征抽取层构成，每一层的光流特征抽取层是由一个步长为2，大小为3×3的卷积核和一个步长为1，大小为4×4的卷积核以及两个Leaky ReLU激活函数构成；光流特征抽取层的第一层是步长为2的卷积层，其作用是特征信息抽取和降采样作用，第二层是步长为1的卷积层，其作用为了对降采样后的特征块信息作细化处理；每一张图像经过六层光流特征抽取层处理获得一个六层的特征金字塔；编码子网的输入是连续两帧的左相机图像I_t和I_t+1，输出是两帧的特征金字塔；

解码子网利用六层光流特征金字塔结构逐级优化光流，使用了由粗到细(From coarseto fine)的方式来优化光流结果；解码子网能够拆分为六层子网络结构，每层子网络结构中包含了图像特征代价空间生成器和光流估计网络；第一层子网络用来获取初始小尺寸光流图，第二层至第六层逐级扩大光流图尺寸，并以残差形式优化光流图；

所述的用于处理图像中的运动对象的掩膜具体表述为：

t+1时刻的图像I_t+1通过warp得到t时刻的合成图像；图像I_t和I_t+1之间存在遮挡区域，遮挡区域会导致合成图无法和原图像I_t保持一致；根据视差估计网络输出的视差图和相机位姿能够获得图像I_t和I_t+1之间对应的刚性流图，刚性流图能够描述图像I_t中静态对象区域和图像I_t+1中对应区域的像素位移；由于刚性流图无法正确描述运动对象的像素点变换关系，通过刚性流获得的合成图无法正确表示运动对象区域；因此，针对运动对象，使用反向光流图生成光流遮挡图用来解决运动对象导致的遮挡区域在原图上不一致的问题；

首先根据光流估计网络UnFlowNet得到光流图，然后通过刚性流图和光流图进行差异比较，得到运动对象区域掩膜；首先，比较获取的刚性流和光流的差异获得F_diff，具体公式为：

其中

和

分别表示x轴和y轴上的光流，

和

分别表示x轴和y轴上的刚性流；F_diff中大于阈值的区域表示刚性流和光流不一致的区域，F_diff中小于阈值的区域表示刚性流和光流一致的区域；F_diff在阈值λ_diff下进行二值化，得到的二值化图M_diff分成一致区域和非一致区域，具体公式为：

M_region是二值化后的遮挡掩膜图，其为了将M_diff中错误的掩盖区域去除，使得M_motion仅包含了非刚体部分的二值化运动分割掩膜，具体公式为：

所述的基于级联解耦的位姿迭代网络DecoupledPoseNet_1&DecoupledPoseNet_2的具体表述为：

基于级联解耦的位姿迭代网络包括级联解耦优化结构DecoupledPoseNet_1和级联解耦优化结构DecoupledPoseNet_2，这两个结构与上述的DecoupledPoseNet结构相同；为了叙述方便，此处采用step1和step2代替；通过step1结构和step2结构获得四个相机位姿；通过step1结构获得

和

两个相机位姿，此处将

记为

将

记为

step2结构将step1结构得到的相机位姿

作为输入，获得

和

两个相机位姿，此处将

记为

将

记为

2.根据权利要求1所述的一种级联解耦的位姿估计方法，其特征在于，所述的步骤S3具体方法如下：

所述的级联解耦位姿估计网络结构的损失L_total包括光流损失L_flow、双目视差损失L_disparity、刚体一致性损失L_rigid，具体公式为：

L_total＝λ_fL_flow+λ_dL_disparity+λ_rL_rigid (14)

其中λ_f、λ_d、和λ_r为权重，用于调整不同损失在整个损失函数中的作用；

所述的光流损失L_flow，表示为光流图与原图的光流亮度一致性损失，具体公式为：

其中β为权重；SSIM(·)为两幅图像的结构相似性计算函数；||·||₁为计算L1距离，Warp为可微分双线性插值方法；

所述的双目视差损失L_disparity由三个约束条件组成：图像亮度一致性损失L_p，视差图几何一致性损失L_g，视差边缘感知平滑损失L_s，具体公式为：

L_disparity＝λ₁L_p+λ₂L_g+λ₃L_s (16)

其中λ₁＝λ₃＝1，λ₂＝10；

所述的相机的亮度一致性损失L_p，级联解耦优化结构能够获得

和

两个位姿变换，具体公式为：

所述的视差图几何一致性损失L_g，是比较左右视差图之间的视差值差异，其先对右视差图D_r使用Warp操作获得合成视差图

通过

和左视差图D_l相加后计算L1距离，来计算双目视差的差异，具体公式为：

所述的视差边缘感知平滑损失L_smooth，具体公式为：

所述的基于级联解耦位姿估计的迭代网络的损失函数由多视点损失L_multi、双目视差损失L_disparity、光流损失L_optical组成，具体公式为：

L_total＝L_optical+L_disparity+L_multi (20)

其中双目视差损失L_disparity与上述的基于无监督学习的级联解耦位姿估计网络结构的双目视差损失一致；

所述的多视点损失L_multi具体公式为：

L_multi＝L_TTR,step1+L_TTRR,step1+L_TTR,step2+L_TTRR,step2 (21)

其中L_TTR,step1是针对

的多视点亮度一致性损失，L_TTRR,step1是针对

的多视点亮度一致性损失，L_TTR,step2是针对

的多视点亮度一致性损失，L_TTRR,step2是针对

的多视点亮度一致性损失；由于在多视点亮度一致性损失中，运动对象掩膜M_region能够将运动对象排除在多视点亮度一致性损失之外，并且四个位姿

都需要加入到亮度一致性约束中，其具体公式为：

其中γ_TTR和γ_TTRR都是超参数，它们的值分别是0.4和0.6，M_occu(p)·M_motion(p)作用于多视点的亮度一致性损失，

是由

经过视点合成生成的合成图；

所述的光流损失L_optical，由于引入了运动对象掩膜，针对刚性区域使用了光流和刚性流一致性损失L_consistent，在非刚性区域使用了边缘感知平滑损失L_smooth，光流的损失公式具体为：

L_optical＝L_image+L_consistent+L_smooth (23)

其中L_image为光流的亮度一致性损失，它的计算公式为：

其中

为图片Warp操作后的合成图，它的计算公式为：

所述的光流和刚性流一致性损失L_consistent，刚性流通过视差图和相机位姿能够获得刚性区域对应像素运动，并且其刚性区域的精度高于光流，但是刚性流无法描述非刚体区域的像素位置变化；因此使用运动对象掩膜将运动对象排除在光流和刚性流一致性约束之外；光流与刚性流一致性损失的公式如下所示：

所述的边缘感知平滑损失L_smooth，亮度一致性约束中存在模糊性和任意性问题，而边缘感知平滑约束基于来自边缘检测的边缘图梯度，能够提高边缘感知的平滑度，并且比像素级约束具有更强的语义性；光流的边缘感知平滑损失能够提高光流估计的准确率，也使得光流图在边缘部分与场景中的边缘轮廓一致；由于边缘的模糊性主要来源于运动对象，因此只对运动对象区域使用了边缘感知平滑约束，对应公式如下所示：

3.根据权利要求2所述的一种级联解耦的位姿估计方法，其特征在于，步骤3中的λ_f＝λ_d＝λ_r＝1，β为0.8。

Images