CN115761594B - 一种基于全局与局部耦合的光流计算方法 - Google Patents

Abstract

本发明公开了一种基于全局与局部耦合的光流计算方法，输入连续两帧图像，构建运动特征提取网络，构建匹配代价体积，构建空洞卷积残差块的上下文编码器，将匹配代价体积与初始光流场输入到运动特征编码器中，进行运动特征的循环迭代编码，构建运动特征编码器，将运动特征和上下文信息输入GRU单元进行迭代优化，输出光流计算结果。利用卷积的局部建模能力和混合Transformer的远距离建模能力来提升对运动特征的捕获能力，以及由空洞卷积组带来的更丰富的上下文信息，为光流解码提供更丰富的上下文信息，从而优化弱纹理图像区域以及遮挡区域的光流估计准确度，保证了光流估计的可靠性和鲁棒性。

Description

一种基于全局与局部耦合的光流计算方法

技术领域

本发明涉及光流处理技术，特别涉及一种基于全局与局部耦合的光流计算方法。

背景技术

光流是运动物体或场景表面像素点在投影平面的二维瞬时速度，其不仅包含了图像中运动目标与场景的运动参数，更携带了目标与场景的结构信息。传统光流计算被认为是一对图像之间密集位移场空间上的手工优化问题，这种方法已经取得了相当大的成功，但进一步的进展具有挑战性，因为手工设计一个能够适应各种极端情况的优化目标非常困难。近年来，深度学习的成功使得利用神经网络直接进行光流计算成为可能，基于深度学习的方法比传统的基于优化的方法表现出更强的性能和更快的推理速度，光流是一种早期任务，可以为下游任务提供充分的运动信息，例如:动作识别，视频插帧，自动驾驶和无人机导航。

近年来，基于深度学习的光流估计网络框架通常是通过一个编码器提取特征，再进行视觉相似度匹配得到代价体积。之后通过对代价体积中的运动信息进行解码得到光流。其中在编码器中通常使用3x3的残差块和7x7的卷积进行搭配提取两幅图的特征。但是，仅仅只通过小卷积核来对物体的局部信息进行建模是不够的。空洞卷积和深度可分离卷积是两种不错的选择，可以在提升感受野的同时平衡模型的参数量，可以消除由局部特征带来的歧义。因此针对现有模型的特征提取能力不足问题，引入深度可分离残差块以及空洞卷积组残差块用于增大感受野，并借助卷积的局部特性和Transformer的全局特性构造一个全局与局部耦合的运动信息编码器以及局部扩张的上下文编码器，有望提高弱纹理图像区域和遮挡区域的光流计算的精度与鲁棒性。

发明内容

本发明提供一种全局与局部耦合的光流计算方法，利用卷积的局部特性和Transformer的全局特性来提高模型提取图像特征的能力，优化遮挡区域和弱纹理图像区域提取的特征信息，减少代价体积构建误差，从而提高光流估计的精度与鲁棒性。

为了实现上述目的，提出一种基于全局与局部耦合的光流计算方法，其步骤如下：

1)输入连续两帧图像；

2)构建运动特征提取网络：

将深度可分离卷积残差块和由高效自注意力和交叉注意力构建的混合Transformer相结合，对图像序列中的连续两帧图像I₁和I₂进行运动特征提取，分为两步，计算公式如下:

式(1)代表深度可分离残差块提取图像特征的过程，其中I_i表示输入的第i帧图像，DwConvs(·)表示深度可分离卷积残差块，Conv_2x2(·)表示步长为2、卷积核大小为2的卷积，DwConv_7x7(·)表示步长为1、卷积核大小为3的深度卷积，Norm表示归一化操作，GELU表示非线性激活函数，PwConv(·)表示逐点卷积，f_i表示经过深度可分离卷积残差块后提取到的第i帧图像特征图；

式(2)代表混合Transformer中提取图像特征的过程，其中：

第一个等式代表将经过深度可分离残差块提取到的第i帧图像特征图f_i通过Conv_7x7(·)进行下采样，其中Conv_7x7(·)表示步长为2、卷积核大小为7的卷积；

第二个等式代表使用DwConv_3x3(·)对上步下采样的特征再次进行逐层局部特征提取，其中DwConv_3x3(·)表示步长为1、卷积核大小为3的深度卷积；

第三个等式代表Patch Embedding过程，利用深度卷积提取出的局部特征使用Sigmoid函数进行映射，再与下采样过后的图像特征相乘，得到局部位置增强的特征F_i；

第四个等式代表经过Patch Embedding得到的F_i分别通过线性映射到q_i,k_i,v_i三个向量，其中q_i,k_i,v_i分别表示第i帧图像的查询向量(query)、键向量(key)、值向量(vaule)，当使用自注意力时，q_i,k_i,v_i由同一特征产生，使用交叉注意力时，q_i由前一帧特征产生，k_i,v_i由其余特征产生；

第五个等式代表注意力操作，其中k_i ^T表示k_i向量的转置向量，表示k_i向量维度的开方，softmax表示归一化指数函数，将q_i和k_i ^T相乘并乘以缩放因子/>后再进行softmax操作后得到自注意力的权重系数，然后乘以权值v_i得到第i帧图像特征图Attention_i；

第六个等式代表前馈神经网络操作，其中Linear(·)代表线性映射，GELU表示非线性激活函数，DwConv_3x3(·)表示步长为1、卷积核大小为3的深度卷积，从而将第i帧图像特征图Attention_i经过该网络后得到后第i帧图像特征图MLP_i；

第七、八等式代表混合注意力提取图像特征的整体过程，是式(2)中前三个等式的一个整体概括，表示将经过深度可分离残差块后提取到的第i帧图像特征图f_i再经过PatchEmbedding后第i帧图像特征图F_i输入混合注意力块得到特征图T_i，其中Norm表示归一化操作，Attention和MLP分别代表第五个和第六个等式的操作过程；

3)构建匹配代价体积：

网络将运动特征提取网络提取出来的两个特征图上的特征向量进行点积相似性运算，获取两个特征图上所有特征向量对的匹配代价信息，然后采用池化操作对计算出来的匹配代价体积进行下采样，从而将大位移的匹配代价信息转化为小位移的匹配代价信息，计算公式如下：

式(3)中，l表示匹配代价金字塔的层数，F₁,F₂分别表示对图像I₁,I₂进行特征提取后的特征图，⊙表示矩阵乘法操作，Cost为计算出来的匹配代价体积，AvgPool表示平均池化操作，Cost_l表示将匹配代价体积下采样后得到匹配代价金字塔的第l层，从而得到多尺度匹配代价信息，以更好的进行大、小位移光流估计；

4)构建空洞卷积残差块的上下文编码器：

利用空洞卷积构建了一种空洞卷积残差块用来提取丰富的上下文信息以供光流解码部分使用，计算公式如下：

式(4)代表空洞卷积残差块提取图像特征的过程，其中I₁表示输入的第1帧图像，DiConvs(·)表示空洞卷积残差块，DiConv_3x3,d＝n(·)表示步长为1、卷积核大小为3、空洞率为n的卷积，其中n＝1，2，3，Norm表示归一化操作，RELU表示非线性激活函数，c_i表示经过空洞卷积残差块后提取到的第1帧图像特征图；

5)运动编码器：

将匹配代价体积与初始光流场输入到运动特征编码器中，进行运动特征的循环迭代编码，计算公式如下：

式(4)中，l表示代价体积的层数，j表示相关性查找表循环次数，共有n次迭代，在第一个等式中，Cost_l表示代价体积的第l层相似度度量特征图，Flow_j表示第j次光流结果图，Conv表示卷积操作，Cat表示拼接特征图操作，F_Cost表示将代价体积中所有层按通道维度拼接进行卷积操作后得到的特征图，表示将第j次光流迭代结果图Flow_j进行卷积操作后的特征图；在第二个等式中，Conv表示卷积操作，Cat表示在特征图的通道维度进行拼接操作，/>表示第j次运动编码特征图；

6)构建卷积GRU单元：

将运动特征编码器的运动特征以及上下文特征编码器的上下文特征输入到卷积GRU单元进行光流的循环迭代提取，计算公式如下：

式(5)中，j表示迭代次数，共有n次迭代过程，表示第j次运动特征编码器输出的特征图，F_context表示GRU中的隐状态，ConvGRU表示卷积GRU操作，Conv表示利用卷积提取特征，Flow_j+1表示第j+1次迭代并输出的光流结果；

7)输出光流场：

重复步骤5)和步骤6)来循环迭代优化光流场，共迭代n次，并将最后一次迭代优化后的光流上采样到与输入图像同等分辨率大小，从而得到最终的光流结果。

本发明利用卷积的局部建模能力和混合Transformer的远距离建模能力来提升对运动特征的捕获能力，以及由空洞卷积组带来的更丰富的上下文信息，为光流解码提供更丰富的上下文信息，从而优化弱纹理图像区域以及遮挡区域的光流估计准确度，保证了光流估计的可靠性和鲁棒性。

附图说明

图1为本发明实施例中temple_1图像序列中的第二十四帧图像；

图2为本发明实施例中temple_1图像序列中的第二十五帧图像；

图3为本发明实施例中提取模块构成的编码器以及构建匹配代价体积和光流解码的结构图；

图4为本发明实施例中temple_1图像序列最终的光流估计结果可视化图。

具体实施方式

以下结合附图和实施例对本发明做进一步说明。参见图1至图4，一种基于全局与局部耦合的光流计算方法，其步骤如下：

1)选择temple_1图像序列中连续的第二十四帧和第二十五帧图像，并输入该连续的两帧图像(如图1和图2所示)；

2)构建运动特征提取网络：

将深度可分离卷积残差块和由高效自注意力和交叉注意力构建的混合Transformer相结合，通过运动特征提取模块(Global-Local Motion Feature Encoder)对图像序列中的连续两帧图像I₁和I₂进行运动特征提取(如图3所示)，分为两步。

首先通过Stage1和Stage2提取低级特征，每个Stage中包含一层下采样层(Downsampling)以及四个深度可分离残差块(DwConv Residual Block)。然后通过Stage3，将提取出的低级特征输入混合Transformer(Mixed Transformer)中，依次通过PatchEmbedding，混合注意力以及MLP，最终通过1x1卷积调整通道数输出连续两帧图像的运动特征。各个模块的计算公式如下：

式(1)代表深度可分离残差块提取图像特征的过程，其中：I_i表示输入的第i帧图像，DwConvs(·)表示深度可分离卷积残差块，Conv_2x2(·)表示步长为2、卷积核大小为2的卷积，DwConv_7x7(·)表示步长为1、卷积核大小为3的深度卷积，Norm表示归一化操作，GELU表示非线性激活函数，PwConv(·)表示逐点卷积，f_i表示经过深度可分离卷积残差块后提取到的第i帧图像特征图；

式(2)代表混合Transformer中提取图像特征的过程，其中：

第一个等式代表将经过深度可分离残差块提取到的第i帧图像特征图f_i通过Conv_7x7(·)进行下采样，其中：Conv_7x7(·)表示步长为2、卷积核大小为7的卷积；

第二个等式代表使用DwConv_3x3(·)对上步下采样的特征再次进行逐层局部特征提取，其中：DwConv_3x3(·)表示步长为1、卷积核大小为3的深度卷积；

第三个等式代表Patch Embedding过程，利用深度卷积提取出的局部特征使用Sigmoid函数进行映射，再与下采样过后的图像特征相乘，得到局部位置增强的特征F_i；

第四个等式代表经过Patch Embedding得到的F_i分别通过线性映射到q_i,k_i,v_i三个向量，其中：q_i,k_i,v_i分别表示第i帧图像的查询向量(query)、键向量(key)、值向量(vaule)，当使用自注意力时，q_i,k_i,v_i由同一特征产生，使用交叉注意力时，q_i由前一帧特征产生，k_i,v_i由其余特征产生；

第五个等式代表注意力操作，其中：k_i ^T表示k_i向量的转置向量，表示k_i向量维度的开方，softmax表示归一化指数函数，将q_i和k_i ^T相乘并乘以缩放因子/>后再进行softmax操作后得到自注意力的权重系数，然后乘以权值v_i得到第i帧图像特征图Attention_i；

第六个等式代表前馈神经网络操作，其中：Linear(·)代表线性映射，GELU表示非线性激活函数，DwConv_3x3(·)表示步长为1、卷积核大小为3的深度卷积，从而将第i帧图像特征图Attention_i经过该网络后得到后第i帧图像特征图MLP_i；

第七、八等式代表混合注意力提取图像特征的整体过程，是式(2)中前三个等式的一个整体概括，表示将经过深度可分离残差块后提取到的第i帧图像特征图f_i再经过PatchEmbedding后第i帧图像特征图F_i输入混合注意力块得到特征图T_i，其中：Norm表示归一化操作，Attention和MLP分别代表第五个和第六个等式的操作过程；

3)构建匹配代价体积(如图3所示)：

网络将运动特征提取网络提取出的两帧图像的特征向量进行点积相似性运算，获取两个特征图上所有特征向量对的匹配代价信息，然后采用平均池化(AvgPooling)操作对计算出来的匹配代价体积进行下采样，从而将大位移的匹配代价信息转化为小位移的匹配代价信息以构建如图3所示的CostVolumes。计算公式如下：

式(3)中，l表示匹配代价金字塔的层数，F₁,F₂分别表示对图像I₁,I₂进行特征提取后的特征图，⊙表示点乘操作，Cost为计算出来的匹配代价体积，AvgPool表示平均池化操作，Cost_l表示将匹配代价体积下采样后得到匹配代价金字塔的第l层，从而得到多尺度匹配代价信息，以更好的进行大、小位移光流估计；

4)构建空洞卷积残差块的上下文编码器(如图3所示)：

利用空洞卷积构建了局部扩张的上下文信息提取模块(Local-ExtentContextFeature Encoder)用来提取图像I₁中丰富的上下文信息以供光流解码部分使用。

首先在Stage1阶段使用卷积核大小为7x7，步长为2的卷积对图像I₁进行低级提取，然后分别在Stage1，Stage2，Stage3阶段各使用2个连续的空洞卷积残差块(DilatedConv Residual Block)用于提取丰富的上下文特征信息，最终通过1x1卷积调整通道数输出第一帧图像的上下文信息用于光流解码部分。计算公式如下：

式(4)代表空洞卷积残差块提取图像特征的过程，其中：I₁表示输入的第1帧图像，DiConvs(·)表示空洞卷积残差块，DiConv_3x3,d＝n(·)表示步长为1、卷积核大小为3、空洞率为n的卷积，其中：n＝1，2，3，Cat表示将所有通道维度上由不同空洞率提取的特征进行拼接，Norm表示归一化操作，RELU表示非线性激活函数，c_i表示经过空洞卷积残差块后提取到的第1帧图像特征图；

5)构建运动编码器：

将匹配代价金字塔与初始光流场输入到运动特征编码器中，进行运动特征的循环迭代编码，提取细化的运动特征，计算公式如下：

式(4)中，l表示代价体积的层数，j表示相关性查找表循环次数，共有n次迭代，在第一个等式中，Cost_l表示代价体积的第l层相似度度量特征图，Flow_j表示第j次光流结果图，Conv表示卷积操作，Cat表示拼接特征图操作，F_Cost表示将代价体积中所有层按通道维度拼接进行卷积操作后得到的特征图，表示将第j次光流迭代结果图Flow_j进行卷积操作后的特征图；在第二个等式中，Conv表示卷积操作，Cat表示在特征图的通道维度进行拼接操作，/>表示第j次运动编码特征图；

6)构建卷积GRU单元：

将运动特征编码器的运动特征以及上下文特征编码器的上下文特征输入到卷积GRU单元进行光流的循环迭代提取，计算公式如下：

式(5)中，j表示迭代次数，共有n次迭代过程，表示第j次运动特征编码器输出的特征图，F_context表示GRU中的隐状态，ConvGRU表示卷积GRU操作，Conv表示利用卷积提取特征，Flow_j+1表示第j+1次迭代并输出的光流结果；

7)输出光流场(如图3，4所示)：

重复步骤5)和步骤6)来循环迭代优化光流场，共迭代n次，并将最后一次迭代优化后的光流上采样到与输入图像同等分辨率大小，从而得到最终的光流结果。

本发明首先将输入连续两帧图像到由深度可分离卷积残差块和由高效自注意力和交叉注意力构建的混合Transformer构成的运动特征提取网络提取运动特征，再将第一帧图像输入由空洞卷积组组成的上下文信息提取网络提取上下文信息；其次通过点积相似度计算将两帧图像的运动特征映射为匹配代价体积，再由匹配代价体积构建多尺度匹配金字塔；然后构建运动特征编码器，将匹配代价金字塔中的特征匹配信息与光流编码为运动特征，并与上下文信息聚合输出全局运动特征；最后将运动特征、全局运动特征和上下文信息输入GRU循环单元进行迭代优化，输出最终的光流计算结果。

Claims (1)

1.一种基于全局与局部耦合的光流计算方法，其特征在于，其步骤如下：

1)输入连续两帧图像；

2)构建运动特征提取网络：

将深度可分离卷积残差块和由高效自注意力和交叉注意力构建的混合Transformer相结合，对图像序列中的连续两帧图像I₁和I₂进行运动特征提取，分为两步，计算公式如下:

式(1)代表深度可分离残差块提取图像特征的过程，其中I_i表示输入的第i帧图像，DwConvs(·)表示深度可分离卷积残差块，Conv_2x2(·)表示步长为2、卷积核大小为2的卷积，DwConv_7x7(·)表示步长为1、卷积核大小为7的深度卷积，Norm表示归一化操作，GELU表示非线性激活函数，PwConv(·)表示逐点卷积，f_i表示经过深度可分离卷积残差块后提取到的第i帧图像特征图；

式(2)代表混合Transformer中提取图像特征的过程，其中：

第一个等式代表将经过深度可分离残差块提取到的第i帧图像特征图f_i通过Conv_7x7(·)进行下采样，其中Conv_7x7(·)表示步长为2、卷积核大小为7的卷积；

第二个等式代表使用DwConv_3x3(·)对上步下采样的特征再次进行逐层局部特征提取，其中DwConv_3x3(·)表示步长为1、卷积核大小为3的深度卷积；

第三个等式代表Patch Embedding过程，利用深度卷积提取出的局部特征使用Sigmoid函数进行映射，再与下采样过后的图像特征相乘，得到局部位置增强的特征F_i；

第四个等式代表经过Patch Embedding得到的F_i分别通过线性映射到q_i,k_i,v_i三个向量，其中q_i,k_i,v_i分别表示第i帧图像的查询向量、键向量、值向量，当使用自注意力时，q_i,k_i,v_i由同一特征产生，使用交叉注意力时，q_i由前一帧特征产生，k_i,v_i由其余特征产生；

第五个等式代表注意力操作，其中k_i ^T表示k_i向量的转置向量，表示k_i向量维度的开方，softmax表示归一化指数函数，将q_i和k_i ^T相乘并乘以缩放因子/>后再进行softmax操作后得到自注意力的权重系数，然后乘以权值v_i得到第i帧图像特征图Attention_i；

第六个等式代表前馈神经网络操作，其中Linear(·)代表线性映射，GELU表示非线性激活函数，DwConv_3x3(·)表示步长为1、卷积核大小为3的深度卷积，从而将第i帧图像特征图Attention_i经过该网络后得到后第i帧图像特征图MLP_i；

第七、八等式代表混合注意力提取图像特征的整体过程，是式(2)中前三个等式的一个整体概括，表示将经过深度可分离残差块后提取到的第i帧图像特征图f_i再经过PatchEmbedding后第i帧图像特征图F_i输入混合注意力块得到特征图T_i，其中Norm表示归一化操作，Attention和MLP分别代表第五个和第六个等式的操作过程；

3)构建匹配代价体积：

网络将运动特征提取网络提取出来的两个特征图上的特征向量进行点积相似性运算，获取两个特征图上所有特征向量对的匹配代价信息，然后采用池化操作对计算出来的匹配代价体积进行下采样，从而将大位移的匹配代价信息转化为小位移的匹配代价信息，计算公式如下：

式(3)中，l表示匹配代价金字塔的层数，F₁,F₂分别表示对图像I₁,I₂进行特征提取后的特征图，⊙表示矩阵乘法操作，Cost为计算出来的匹配代价体积，AvgPool表示平均池化操作，Cost_l表示将匹配代价体积下采样后得到匹配代价金字塔的第l层，从而得到多尺度匹配代价信息，以更好的进行大、小位移光流估计；

4)构建空洞卷积残差块的上下文编码器：

利用空洞卷积构建空洞卷积残差块用来提取丰富的上下文信息以供光流解码部分使用，计算公式如下：

式(4)代表空洞卷积残差块提取图像特征的过程，其中I₁表示输入的第1帧图像，DiConvs(·)表示空洞卷积残差块，DiConv_3x3,d＝n(·)表示步长为1、卷积核大小为3、空洞率为n的卷积，其中n＝1，2，3，Norm表示归一化操作，RELU表示非线性激活函数，c_i表示经过空洞卷积残差块后提取到的第1帧图像特征图；

5)运动编码器：

将匹配代价体积与初始光流场输入到运动特征编码器中，进行运动特征的循环迭代编码，计算公式如下：

式(5)中，l表示代价体积的层数，j表示相关性查找表循环次数，共有n次迭代，在第一个等式中，Cost_l表示代价体积的第l层相似度度量特征图，Flow_j表示第j次光流结果图，Conv表示卷积操作，Cat表示拼接特征图操作，F_Cost表示将代价体积中所有层按通道维度拼接进行卷积操作后得到的特征图，表示将第j次光流迭代结果图Flow_j进行卷积操作后的特征图；在第二个等式中，Conv表示卷积操作，Cat表示在特征图的通道维度进行拼接操作，/>表示第j次运动编码特征图；

6)构建卷积GRU单元：

将运动特征编码器的运动特征以及上下文特征编码器的上下文特征输入到卷积GRU单元进行光流的循环迭代提取，计算公式如下：

式(6)中，j表示迭代次数，共有n次迭代过程，表示第j次运动特征编码器输出的特征图，F_context表示GRU中的隐状态，ConvGRU表示卷积GRU操作，Conv表示利用卷积提取特征，Flow_j+1表示第j+1次迭代并输出的光流结果；

7)输出光流场：

重复步骤5)和步骤6)来循环迭代优化光流场，共迭代n次，并将最后一次迭代优化后的光流上采样到与输入图像同等分辨率大小，从而得到最终的光流结果。