CN115018888A - 一种基于Transformer的光流无监督估计方法 - Google Patents

Abstract

本发明公开了一种基于Transformer的光流无监督估计方法。具体来说，本发明引入Transformer作为光流估计的特征编码器，利用其完全的自注意力机制，实现具有全局感受野的特征编码，有利于光流估计精度的提升。其次，在基于特征金字塔的光流解码器中，提出归一化互相关模块来计算两幅特征图之间的相关性，以使网络更加关注前景运动物体，弱化背景噪声对光流的干扰。同时，引入基于注意力的中间光流估计模块，对物体边界光流进行细化，进一步提升光流估计精度。最后，在光度一致损失和平滑损失函数的基础上，引入静态光流损失函数作为网络无监督的伪标签，为网络提供更加明确的训练方向。此方法可用于视觉导航、运动估计和图像分割等计算机视觉领域。

Description

一种基于Transformer的光流无监督估计方法

技术领域

本发明属于光流无监督估计领域，涉及一种基于Transformer的光流无监督估计方法，该方法无需利用获取较为繁琐的光流真值作为监督信息即可实现对网络的训练，进而实现对输入两幅图像的光流估计。

背景技术

光流是指连续两帧图像中对应运动物体的像素移动，其作为一种计算机视觉基础任务，在导航、运动估计、图像分割等领域发挥了重要作用。目前光流估计主要分为两类，即传统的光流估计方法和基于深度学习的光流估计方法。传统的光流估计是以HS和LK为代表的变分模型优化方法，虽然传统方法可以取得较为准确的光流估计，但该类方法在大位移运动、运动遮挡或者背景光照变化等情况下会导致估计精度衰退较大，同时，由于该类方法通过迭代优化一个复杂的能量函数来实现较高的光流估计精度，导致其计算量较大，进而实时性较差。随着图形处理单元(Graphic Processing Unit，GPU)的发展，为深度学习提供了算力硬件支撑，使得越来越多的大规模网络被提出并用来进行光流估计。虽然基于深度学习的方法可以实现实时、高精度和端到端的光流估计，但目前大多数光流估计是基于有监督训练的，即需要大规模的真实光流数据(Ground Truth,GT)作为监督信息对网络进行训练。而真实世界中逐像素的光流真值获取是异常繁琐的，获取能够训练深度网络的真实世界的大规模光流真值是不现实的。因此，目前有监督网络大多利用合成数据集进行训练。而合成数据集又与现实世界中的运动存在差异，因此往往导致有监督网络在现实世界中表现不佳。因此，本发明提出的无监督光流估计方法具有重要的实用意义。

Transformer是一种完全基于自注意力机制的深度网络，相比较于传统的卷积神经网络，Transformer可提取到具有全局感受野的特征，在获取长距离的特征依赖上具有先天的优势，这对光流估计是至关重要的。因此，本发明提出利用Transformer作为特征编码器，对输入图像进行全局范围内的特征提取，而后对特征进行解码以实现光流估计。同时，为提升光流估计的精度，本发明还提出了在解码器中利用归一化互相关模块(NormalizedCross Correlation Module,NCCM)和基于注意力的中间光流估计模块(Attention basedIntermediate Flow Estimation module，AIFE)来对光流进行解码，以使得Transformer适用于光流估计任务。

发明内容

针对上述问题，本发明提供了一种基于Transformer的光流无监督估计方法，克服了有监督光流估计网络需要真值的弊端，且网络可以端到端的形式进行训练。与目前已有的基于卷积的光流估计网络不同，本发明提出的方法利用基于自注意力机制的Transformer作为特征编码器，来获取输入图像对的全局感受野，进而提升光流估计的精度。同时，在网络的解码器中引入归一化互相关模块(Normalized Cross CorrelationModule,NCCM)来计算两幅特征图之间的相关性，并将其作为输入特征的空间注意力图(Spatial Attention Map)，使网络更加关注于显著性的前景物体，降低对背景物体的关注权重，来提高光流估计的精度。其次，引入基于注意力的中间光流估计模块(Attentionbased Intermediate Flow Estimation module，AIFE)来进一步提升光流估计精度。最后，在基于Census光度一致损失和平滑损失函数的基础上，通过引入静态光流损失函数(Static Optical Flow Loss Function)作为网络无监督的伪标签，为网络提供更加明确的训练方向。通过以上的改进，提高对运动物体光流的估计效果，进而获得精确、鲁棒的光流场。

为实现上述目的，本发明采取的技术方案是：

一种基于Transformer的光流无监督估计方法，其特征在于，包括以下步骤：

(1)训练阶段：

用于训练网络的数据仅为待求解光流的图片对，将训练图像对在通道维度进行拼接后，训练图像首先将被缩放到固定大小并输入给无监督光流估计网络，而后经Transformer编码器对图像特征进行全局编码，而后经过一个基于特征金字塔的改进光流解码器对特征解码，同时在每个金字塔层上求解光流，并将粗尺度L_i上的求解的光流作为细尺度L_i-1上的输入，直至在金字塔最细尺度L₀上解算出光流W₀后完成迭代，而后利用所估计的光流在改进的无监督损失函数上进行梯度回传，更新网络层参数，以使得损失函数趋向最优，直至完成训练；

所述步骤(1)中无监督光流估计网络的具体工作步骤如下：

首先，引入Transformer作为光流估计的特征编码器，获得具有全局感受野的光流特征编码，然后，在改进的特征金字塔解码器中引入归一化互相关模块NCCM来计算两幅特征图之间的相关性，并将该相关性作为空间注意力施加在输入特征上，进而获取输入特征中共同目标主体的显著性图，利用NCC计算两特征的相关性公式如下所示；

其中，F₁ ^(i,j)代表在特征图F₁的空间位置(i,j)处的特征描述，

为特征图F₂内所有特征的描述，1≤h≤H，1≤w≤W，h和w代表特征图的尺寸，NCC计算公式如下：

其中，N为输入特征的通道维数，即经特征降维后的输入的通道数，μ_A和μ_B分别代表特征A和B的均值，σ_A和σ_B代表各特征的标准差；

其次，在解码器中引入中间光流估计模块AIFE来利用额外估计的中间光流对初始光流进行修正，得到细化后的精确光流，在光流边界细化模块处所进行的计算如下；

mask用来指示运动物体的边界位置，而中间光流

则为边界处的清晰光流；

最后，在基于Census光度一致损失和平滑损失函数的基础上，引入静态光流损失函数，通过将静态光流作为伪标签，通过总损失函数对网络训练方向进行明确指引，进而更新网络自身各层参数，直至训练完成；

(2)预测阶段：

训练完成后，将测试图像输入到参数固定的网络中，首先，测试图像会被缩放到与训练阶段相同的尺寸，而后经过Transformer编码器和特征金字塔解码器对光流进行逐层估计，在得到最细尺度上的光流W₀后，利用双线性插值对W₀进行上采样至输入图像大小，即得到最终的光流结果。

作为本发明进一步改进，所述静态光流损失函数如下所示：

L_Static＝Θ(I₁,I₁,θ)-α

其中，Θ代表所提出的光流估计网络，I₁代表网络的输入，其维度可表示为[B,C,H,W]，θ代表网络的参数，α代表与输入I₁具有相同大小的零光流矩阵，其尺寸为[B,2,H,W]；

作为本发明进一步改进，所述Census光度损失函数如下所示：

L_p＝∑(1-O_f)·φ(Census(I₁)-Census(x+U_f))

+(1-O_b)·φ(Census(I₂)-Census(x+U_b))

其中，O_f，O_b分别代表前向和反向光流遮挡掩膜，φ(x)＝(x²+0.01²)^0.4为惩罚函数，U_f和U_b则分别代表网络所估计出的前向和反向光流。

作为本发明进一步改进，所述平滑损失函数如下所示：

其中，N_x由水平、垂直和x周围的两个对角线邻域共4个组成，s和r为x的邻域坐标。

5、根据权利要求1所述的一种基于Transformer的光流无监督估计方法，其特征在于：所述总损失函数为：

L_total＝λ₁L_Static+λ₂L_p+λ₃L_s

其中λ_1-3为各项的平衡权重。

有益效果：

(1)本发明创新性的引入Transformer结构作为光流估计的特征编码器，通过获取输入图像对的全局感受野上的特征表示，提升光流的估计精度。

(2)本发明通过在光流解码器中引入归一化互相关模块NCCM来获取输入中的共同目标的显著性图，进而使网络关注于运动的前景目标，降低背景无用信息对光流求解的影响。

(3)本发明通过在光流估计层中引入中间光流估计模块AIFE来细化运动物体的轮廓，使得估计出的光流具有更明确且清晰的边界信息。

(4)本发明通过引入静态光流作为伪标签来为网络提供更加明确的训练方向，利用静态光流损失函数和Census光度一致损失以及平滑损失函数来完成所提出网络的无监督训练，摆脱对GT真值的依赖。

附图说明

图1是本发明所提出的基于Transformer的光流无监督估计网络的整体框架；

图2为本发明所提出的特征解码器网络结构；

图3为本发明所提出的归一化互相关模块NCCM；

图4为本发明所提出的中间光流估计模块AIFE；

图5为本发明所提出的空间注意力和通道注意力模块CSAM；

图6为本发明光流估计的一个实施例。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明面向在无法大规模获取光流真值条件下对深度学习网络的训练需求，利用无监督学习技术实现对输入图片对的光流估计。具体来说，光流估计作为机器视觉中一项重要的基础任务，其地面真值(Ground Truth,GT)获取异常困难，尤其是稠密光流估计所需的现实世界的真值，更是几乎不可能直接获取得到。因此，利用光流的无监督估计技术在应用层面具有重要的意义。为实现更精准和更鲁棒的光流估计，本发明提出了一种基于Transformer的光流无监督估计方法。首先，本发明引入完全基于自注意力机制的Transformer作为特征编码器，对输入光流图像对进行特征编码，获取具有全局感受野的特征，Transformer的这种自注意力机制对稠密光流这种逐像素预测任务具有先天性的优势。其次，在特征金字塔解码器中，引入归一化互相关模块NCCM来获取输入中的共同目标的显著性图，达到突出前景运动物体，弱化背景干扰噪声的作用，进而提升光流估计的精度。然后，提出了一种新型的光流估计器，通过整合通道和空间注意力模块CSAM和中间光流估计模块AIFE来估计光流，突出运动物体的边界信息，达到细化运动物体的轮廓的目的。最后，提出利用静态光流来作为伪标签，对网络进行明确的指导，同时结合Census光度一致损失和平滑损失函数，实现网络的无监督学习。此方法可用于以无人机、无人车以及水下无人潜器等为载体的，易受光照变化、阴雨天等恶劣条件影响的基于光流的自主导航任务。

本发明所提出的基于Transformer的光流无监督估计网络的整体框架如图1所示。首先，将待求解光流图像对(图片1和图片2，大小为w,h)按通道维度进行拼接，然后将其进行下采样至固定尺寸w₀,h₀后进行分块处理，将分块后的图像进行展平处理，完成线性映射并加入位置嵌入后直接输入给Transformer光流特征编码器，在完成对输入的全局感受野的特征编码后，与原始输入图像对(图片1和图片2)一并输入给基于特征金字塔的光流解码器，而后即可得到尺寸为w₀,h₀的稠密光流矩阵，最后利用双线性插值即可得到与原始输入大小w,h相同的光流矩阵。

下面将对本发明改进之处进行详细说明。

在光流特征编码器方面，本发明采用Transformer作为光流特征编码器，对输入图像进行特征提取与编码。Transformer是基于自注意机制的一种新型深度网络结构，最先应用于自然语言处理(Natural language processing，NLP)领域。因其可并行运算，且具有较高的精度和性能，使其迅速替代了在NLP领域中流行已久的循环神经网络(RecurrentNeural Network，RNN)。而ViT模型(Visual Transformer)则是首次将Transformer应用于计算机视觉领域的成功范例。因此，本发明所采用的Transformer是基于ViT设计，所不同之处在于，本发明所使用的Transformer的输出维度变为[B,2,w₀,h₀],其中，B为Batch size，w₀,h₀为图像下采样的固定尺寸。这样做可以在降低后续计算量的同时，保留Transformer所提取的具有全局感受野的特征表示。因经Transformer编码后的特征具有全局感受野，因此，通道为2的特征即可具有较好的特征表示。

在光流特征解码器方面，本发明在特征金字塔的基础上搭建光流解码器，用以对Transformer编码的特征进行解码并逐层细化光流估计。本发明设计的光流解码器如图2所示。光流特征解码器同时将Transformer的编码输出和原始图像对(图片1和图片2)作为输入，而后进行特征金字塔计算，随着层数的加深，特征尺寸不断降低，但通道数不断增多。为平衡计算量与精度，本发明采用4层金字塔结构(第0层代表最细尺度，第3层代表最粗尺度)。在金字塔的每层上，都包含一个光流估计器，用以进行光流估计，来获得当前层尺度的光流矩阵。除最顶层(第3层)外，每层光流估计器都将采用上一层的光流估计和当前层的特征作为输入。最顶层光流估计器则仅以当前层的特征作为输入。可以注意到，在第3和第2层上，加入了归一化互相关模块NCCM来加强输入特征的相关性，使得解码器更加关注于运动的前景物体，而忽略背景信息的干扰。

下面对归一化互相关模块NCCM进行说明。如图3所示，计算NCC的过程本质上是通过两个特征获取空间注意力的过程。特征1和特征2同时经过特征降维后，将特征1进行维度上的调整(特征1由[B,C,W,H]调整为[B,H*W,C/r],特征2由[B,C,W,H]调整为[B,C/r,H*W],其中B代表batch_size,C为通道数，r为降维倍率，H和W代表特征的尺寸)，经过特征维度调整后，即可进行NCC的计算，两特征的相关性计算公式如下所示。

其中，F₁ ^(i,j)代表在特征图F₁的空间位置(i,j)处的特征描述，

为特征图F₂内所有特征的描述，1≤h≤H，1≤w≤W，h和w代表特征图的尺寸。NCC计算公式如下：

其中，N为输入特征的通道维数，即经特征降维后的输入的通道数，在本发明中N为C/r，μ_A和μ_B分别代表特征A和B的均值，σ_A和σ_B代表各特征的标准差。

经过NCC计算后，即可得到一个大小为[B,H*W,H*W]的相关性矩阵，代表了特征1中的每个元素与特征2中的所有元素的相关性。而后经过维度调整和激活后即可得到一个[B,1,H,W]的空间注意力矩阵，将该矩阵与特征1相乘即可得到最终的输出。这样即可使网络关注于前景运动目标，而忽略背景噪声信息的干扰。

下面对光流估计模块AIFE进行说明。如图4所示，以正向光流估计为例，在金字塔最顶层(L＝3)，光流估计器仅以金字塔提取到的当前层特征作为输入，而后经过通道和空间注意力模块CSAM来使网络专注于运动物体的边界，而后利用一层卷积进行光流估计。而在金字塔其它层，除了当前层的输入特征外，光流估计器还以上一层估计的光流结果U_L+1作为输入，然后将U_L+1进行二倍上采样后得到当前层的临时光流

而后利用

将特征

进行warp操作映射到特征

后与特征

输入到CSAM计算特征的通道和空间注意力，通过注意力的计算使得网络可以专注于物体的边界轮廓。而后将获取注意力后的两个特征输入到中间光流估计模块中，该模块可以同时预测一个掩膜mask和中间光流

mask用来指示运动物体的边界位置，而中间光流

则为边界处的清晰光流。而后将mask和

一同输入到光流边界细化模块中，即可得到当前层的最终光流。在光流边界细化模块处所进行的计算如下。

本发明所提出的通道和空间注意力模块CSAM如图5所示，首先对尺寸为[B,C,H,W]的输入特征计算通道注意力，即利用平均池化和最大池化对特征进行处理，得到两个大小为[B,C,1,1]的特征表示，而后经过一个卷积后进行求和，即可得到一个大小为[B,C,1,1]的通道注意力，将该注意力与输入进行相乘之后得到一个尺寸为[B,C,H,W]的特征，将该特征继续利用平均和最大化处理即可得到两个大小为[B,1,H,W]的矩阵，将两个特征矩阵在通道维度进行拼接，而后进行卷积，归一化和sigmoid激活处理，即可得到一个大小为[B,1,H,W]的空间注意力权重矩阵，将该矩阵与经通道注意力后得到的特征进行相乘，即可得到CSAM模块最终的输出，该输出同时加入了通道注意力和空间注意力，有助于使网络更加专注于对物体边界的提取，有利于估计出更为清晰且明确的光流边界轮廓信息。

下面对光流损失函数进行说明。为给网络提供更加明确的训练方向，本发明创新性地提出了将静态光流作为伪标签来对网络进行训练。本发明中的静态光流定义为两张完全相同的图片所对应的光流，此时的光流应为与输入图像尺寸完全一致的零矩阵，这可为无监督光流网络提供难能可贵的明确的训练信息。静态光流损失函数如下所示。

L_Static＝Θ(I₁,I₁,θ)-α (4)

其中，Θ代表本发明所提出的光流估计网络，I₁代表网络的输入，其维度可表示为[B,C,H,W]，θ代表网络的参数。α代表与输入I₁具有相同大小的零光流矩阵，其尺寸为[B,2,H,W]。静态光流损失函数可以给网络一条明确的学习线索，即所估计的结果与输入图像中的所包含的内容无关，只与运动的物体相关。这样有利于网络对光流的学习。

本发明所采用的第二个损失函数是Census光度一致损失函数。该损失函数来源于经典的变分光流法。即将输入的目标图像利用所求到的光流warp变换到参考图像后，两图像中每个对应点的亮度应该是一致的。但这只在光流无遮挡的部分生效，因此，本发明利用了前后一致性检验，以获得光流遮挡部分，并只在光流无遮挡部分计算光度一致性损失。同时，由于光度一致损失易受光照变化影响，因此，本发明利用Census增强该损失对于光照变化的鲁棒性。具体公式如下所示。

其中，O_f，O_b分别代表前向和反向光流遮挡掩膜，φ(x)＝(x²+0.01²)^0.4为惩罚函数，U_f和U_b则分别代表网络所估计出的前向和反向光流。光流遮挡掩膜是利用光流的前向后向一致性检验得到的。当不满足下式时，则认为所对应区域为遮挡区域，并在mask中将该位置标记为1.

其中，α₁和α₂分别取0.005和1.0。同理可计算得到O_b。

本发明所采用的第三个损失函数是平滑损失。平滑损失规定了每个光流值应与一个局部内的邻域内是相似的。其表达式如下所示。

其中，N_x由水平、垂直和x周围的两个对角线邻域组成(共4个)。s和r为x的邻域坐标。

综上，本发明提出的总损失函数为。

L_total＝λ₁L_Static+λ₂L_p+λ₃L_s (8)

其中λ_1-3为各项的平衡权重。

在本发明提出的基于Transformer的光流估计网络训练阶段，两幅待求解光流的图像首先按通道维度直接进行拼接，缩放到固定尺寸后直接输入给光流估计网络的编码器。编码器在完成对输入图像的分块处理，图像块编码和位置编码后，直接输入给Transformer进行特征编码，以获取具有全局感受野的特征表示。而后将该特征表示输入给基于金字塔的光流解码器中，解码器利用归一化互相关模块NCCM来获取输入中的共同目标的显著性图，以突出前景运动物体，弱化静态背景信息的影响。随后在光流估计器中，通过整合通道和空间注意力模块CSAM和中间光流估计模块AIFE来估计光流，突出运动物体的边界信息，达到细化运动物体的轮廓的目的。在利用Census光度损失和平滑损失实现对网络无监督训练的基础上，引入静态光流损失，来为网络提供更为明确的指导信息。

在本发明提出的光流估计网络的测试阶段，两幅待求解的光流图首先按照通道维度进行拼接，并缩放到固定大小后，直接输入给光流估计网络，即可得到缩放尺寸的光流矩阵，而后经过双线性插值的上采样即可得到与原始图像大小一致的光流矩阵，即可完成光流的最终估计。

根据本发明的一个实例，详细的训练设备信息以及参数信息如下。训练设备上，本发明所采用的服务器的GPU为2块Nvidia RTX3090，单卡显存为24GB，整机内存为128GB，CPU为2块英特尔至强E5-2698 V4。在训练参数方面，本发明所采用的Transformer是在Imag-net数据集中进行预训练后得到的权重，整个光流估计网络在FlyingChairs数据集上以无监督学习的方式微调100个epoch，初始学习率为0.001，且学习率以余弦退火的方式进行衰减。batch size为32。损失函数中权重λ_1-3分别为2,1,1。以上述配置训练一个epoch大约需要105分钟。在图6中可以看出，只利用Transformer进行光流估计时，网络所产生的光流轮廓较为模糊，且结果不准确。当引入本发明提出的归一化互相关模块NCCM和基于注意力的中间光流估计模块AIFE后，光流估计精度明显提高，在运动物体的边界处具有更为清晰的表现。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (5)

1.一种基于Transformer的光流无监督估计方法，其特征在于，包括以下步骤：

(1)训练阶段：

用于训练网络的数据仅为待求解光流的图片对，将训练图像对在通道维度进行拼接后，训练图像首先将被缩放到固定大小并输入给无监督光流估计网络，而后经Transformer编码器对图像特征进行全局编码，而后经过一个基于特征金字塔的改进光流解码器对特征解码，同时在每个金字塔层上求解光流，并将粗尺度L_i上的求解的光流作为细尺度L_i-1上的输入，直至在金字塔最细尺度L₀上解算出光流W₀后完成迭代，而后利用所估计的光流在改进的无监督损失函数上进行梯度回传，更新网络层参数，以使得损失函数趋向最优，直至完成训练；

所述步骤(1)中无监督光流估计网络的具体工作步骤如下：

首先，引入Transformer作为光流估计的特征编码器，获得具有全局感受野的光流特征编码，然后，在改进的特征金字塔解码器中引入归一化互相关模块NCCM来计算两幅特征图之间的相关性，并将该相关性作为空间注意力施加在输入特征上，进而获取输入特征中共同目标主体的显著性图，利用NCC计算两特征的相关性公式如下所示；

其中，F₁ ^(i,j)代表在特征图F₁的空间位置(i,j)处的特征描述，

为特征图F₂内所有特征的描述，1≤h≤H，1≤w≤W，h和w代表特征图的尺寸，NCC计算公式如下：

其中，N为输入特征的通道维数，即经特征降维后的输入的通道数，μ_A和μ_B分别代表特征A和B的均值，σ_A和σ_B代表各特征的标准差；

其次，在解码器中引入中间光流估计模块AIFE来利用额外估计的中间光流对初始光流进行修正，得到细化后的精确光流，在光流边界细化模块处所进行的计算如下；

mask用来指示运动物体的边界位置，而中间光流

则为边界处的清晰光流；

最后，在基于Census光度一致损失和平滑损失函数的基础上，引入静态光流损失函数，通过将静态光流作为伪标签，通过总损失函数对网络训练方向进行明确指引，进而更新网络自身各层参数，直至训练完成；

(2)预测阶段：

训练完成后，将测试图像输入到参数固定的网络中，首先，测试图像会被缩放到与训练阶段相同的尺寸，而后经过Transformer编码器和特征金字塔解码器对光流进行逐层估计，在得到最细尺度上的光流W₀后，利用双线性插值对W₀进行上采样至输入图像大小，即得到最终的光流结果。

2.根据权利要求1所述的一种基于Transformer的光流无监督估计方法，其特征在于：

所述静态光流损失函数如下所示：

L_Static＝Θ(I₁,I₁,θ)-α

其中，Θ代表所提出的光流估计网络，I₁代表网络的输入，其维度可表示为[B,C,H,W]，θ代表网络的参数，α代表与输入I₁具有相同大小的零光流矩阵，其尺寸为[B,2,H,W]。

3.根据权利要求1所述的一种基于Transformer的光流无监督估计方法，其特征在于：

所述Census光度损失函数如下所示：

L_p＝∑(1-O_f)·φ(Census(I₁)-Census(x+U_f))+(1-O_b)·φ(Census(I₂)-Census(x+U_b))

其中，O_f，O_b分别代表前向和反向光流遮挡掩膜，φ(x)＝(x²+0.01²)^0.4为惩罚函数，U_f和U_b则分别代表网络所估计出的前向和反向光流。

4.根据权利要求1所述的一种基于Transformer的光流无监督估计方法，其特征在于：所述平滑损失函数如下所示：

其中，N_x由水平、垂直和x周围的两个对角线邻域共4个组成，s和r为x的邻域坐标。

5.根据权利要求1所述的一种基于Transformer的光流无监督估计方法，其特征在于：所述总损失函数为：

L_total＝λ₁L_Static+λ₂L_p+λ₃L_s

其中λ_1-3为各项的平衡权重。

Images