CN111612825A - 基于光流与多尺度上下文的图像序列运动遮挡检测方法 - Google Patents

Abstract

本发明公开了一种基于光流与多尺度上下文的图像序列运动遮挡检测方法，通过选择输入图像序列中的任意连续两帧图像；对选择的两帧图像进行特征金字塔下采样分层；在每层金字塔中对当前层中的连续帧图像特征计算相关度；构建基于光流和多尺度上下文的遮挡检测模块，为遮挡检测模块输入光流和特征图相关度的叠加，在金字塔各层中进行相同的遮挡检测，在到达金字塔顶层时，输出最终遮挡检测结果。本发明基于光流与多尺度上下文的图像序列运动遮挡检测方法，采用多尺度上下文获取更大范围图像信息，优化非刚性运动和大位移区域的遮挡信息，对于非刚性运动和大位移等图像序列具有更高的计算精度和更好的适用性。

Description

基于光流与多尺度上下文的图像序列运动遮挡检测方法

技术领域

本发明涉及图像序列光流计算技术领域，具体涉及一种基于光流与多尺度上下文的图像序列运动遮挡检测方法。

背景技术

运动遮挡是由图像序列中物体和场景相互运动引起的像素点遮挡现象，通过定位遮挡像素点提取运动遮挡区域是图像处理、计算机视觉等领域的热点问题。近年来，随着深度学习理论与技术的快速发展，卷积神经网络模型被广泛应用于遮挡检测技术研究，由于该类方法具有计算速度快、稳定性高等显著优点，因此逐渐成为遮挡检测研究领域的热点，研究成果被广泛应用于动作识别、人体姿态识别、光流估计、人脸识别、目标跟踪和三维重建等更高级视觉任务。

目前，基于光流前后一致性的遮挡检测技术是图像序列光流计算技术中最常采用的一类遮挡检测方法，该类方法能够计算得到较为粗糙的遮挡图。由于此类方法精度较低，并且对于包含非刚性运动和大位移的图像序列鲁棒性较差，限制了此类方法在各个领域的应用。

发明内容

本发明的目的在于针对现有技术的缺陷和不足，提供一种基于光流与多尺度上下文的图像序列运动遮挡检测方法，利用多尺度上下文优化金字塔各层的遮挡检测结果，以提高图像序列金字塔分层模型遮挡检测的精度和鲁棒性。

为实现上述目的，本发明采用的技术方案是这样的。基于光流与多尺度上下文的图像序列运动遮挡检测方法，包含如下步骤：

1)选择输入图像序列中的任意连续两帧图像；

2)对选择的两帧图像进行特征金字塔下采样分层，获取三层分辨率不同的特征图；

3)在每层金字塔中对当前层中的连续帧图像特征计算相关度，然后使用相关度计算光流；

4)构建基于光流和多尺度上下文的遮挡检测模块，模块中包括一个前置3×3卷积，四条平行分支，每条分支包含三个具有不同扩展率的3×3卷积，二个聚合3×3卷积，除去最后一个卷积外，每个卷积后的激活函数均为Leaky ReLU，计算公式如下：

式中：F_i代表了第i＝{1,2,3,4}条分支的输出，运算符号Conv_ij代表了第i＝{1,2,3,4}条分支的第j＝{1,2,3}个卷积运算；

多尺度上下文的遮挡检测模块的最终输出可以表示为：

F_out＝(Conv_S2(Conv_S1(concatenate(F₁,F₂,F₃,F₄)))) (2)

式中：Conv_S1和Conv_S2是具有相同扩展率的两个3×3卷积，代表最终聚合信息的卷积操作，concatenate是通道叠加运算；

5)为遮挡检测模块输入光流和特征图相关度的叠加，即可得到遮挡特征图；在遮挡特征图中，像素点的值越高，代表此像素点在第二帧中发生遮挡的概率越大，而像素点的值越低，代表此像素点在第二帧中发生遮挡的概率越小；

6)在金字塔各层中进行相同的遮挡检测，在到达金字塔顶层时，输出最终遮挡检测结果。

本发明基于光流与多尺度上下文的图像序列运动遮挡检测方法，采用多尺度上下文获取更大范围图像信息，优化非刚性运动和大位移区域的遮挡信息，对于非刚性运动和大位移等图像序列具有更高的计算精度和更好的适用性。

附图说明

图1是本发明实施例Markt5图像序列第一帧图像；

图2是本发明实施例Markt5图像序列第二帧图像；

图3是本发明实施例图像序列金字塔分层模型总体图；

图4是本发明实施例中多尺度上下文遮挡检测模块结构图；

图5是本发明实施例计算所得的Markt5图像序列遮挡检测特征图；

图6是本发明实施例计算所得的Markt5图像序列二值化遮挡检测特征图。

具体实施方式

下面结合附图，对本发明作进一步的说明。参看图1至图6所示，以下列举本发明的一个的实施例，基于特征变形误差遮挡检测的图像序列光流计算方法，使用Markt5图像序列光流计算实验进行说明：

它包含如下步骤：

一、输入Markt5图像序列第一帧图像和Markt5图像序列第二帧图像(如图1和图2所示)；

二、对输入的Temple3图像序列进行特征金字塔下采样分层(如图3所示)；第一帧图像I_t指的是Markt5图像序列第一帧图像，第一帧图像I_t+1指的是Markt5图像序列第二帧图像。分别对I_t和I_t+1进行下采样，建立特征金字塔，分层数为三层，得到三层分辨率不同的特征图。

三、在特征金字塔的每层中对相邻的两帧连续帧图像特征计算相关度，然后使用相关度计算光流(如图3所示)；

四、构建基于光流和多尺度上下文遮挡检测模块(如图4所示)，基于光流和多尺度上下文遮挡检测模块中包括一个前置3×3卷积，四条平行分支——每条分支包含三个具有不同扩展率的3×3卷积，二个聚合3×3卷积，除去最后一个卷积外，每个卷积后的激活函数均为Leaky ReLU，计算公式如下：

式中，F_i代表了第i＝{1,2,3,4}条分支的输出，运算符号Conv_ij代表了第i＝{1,2,3,4}条分支的第j＝{1,2,3}个卷积运算；

多尺度上下文的遮挡检测模块的最终输出可以表示为：

F_out＝(Conv_S2(Conv_S1(concatenate(F₁,F₂,F₃,F₄)))) (2)

式中，Conv_S1和Conv_S2是具有相同扩展率的两个3×3卷积，代表最终聚合信息的卷积操作，concatenate是通道叠加运算。

五、为遮挡检测模块输入光流和特征图相关度的叠加，即可得到Markt5图像序列遮挡特征图(如图5所示)；图中像素点的值越高，代表此像素点在第二帧中发生遮挡的概率越大，而像素点的值越低，代表此像素点在第二帧中发生遮挡的概率越小。

六、在金字塔各层中进行相同的遮挡检测，在到达金字塔顶层时，输出最终Markt5图像序列二值化遮挡检测特征图(如图6所示)。

以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.基于光流与多尺度上下文的图像序列运动遮挡检测方法，包含如下步骤：

1)选择输入图像序列中的任意连续两帧图像；

2)对选择的两帧图像进行特征金字塔下采样分层，获取三层分辨率不同的特征图；

3)在每层金字塔中对当前层中的连续帧图像特征计算相关度，然后使用相关度计算光流；

4)构建基于光流和多尺度上下文的遮挡检测模块，模块中包括一个前置3×3卷积，四条平行分支，每条分支包含三个具有不同扩展率的3×3卷积，二个聚合3×3卷积，除去最后一个卷积外，卷积后的激活函数均为Leaky ReLU，计算公式如下：

式中：F_i代表了第i＝{1,2,3,4}条分支的输出，运算符号Conv_ij代表了第i＝{1,2,3,4}条分支的第j＝{1,2,3}个卷积运算；

多尺度上下文的遮挡检测模块的最终输出可以表示为：

F_out＝(Conv_S2(Conv_S1(concatenate(F₁,F₂,F₃,F₄)))) (2)

式中：Conv_S1和Conv_S2是具有相同扩展率的两个3×3卷积，代表最终聚合信息的卷积操作，concatenate是通道叠加运算；

5)为遮挡检测模块输入光流和特征图相关度的叠加，即可得到遮挡特征图；在遮挡特征图中，像素点的值越高，代表此像素点在第二帧中发生遮挡的概率越大，而像素点的值越低，代表此像素点在第二帧中发生遮挡的概率越小；

6)在金字塔各层中进行相同的遮挡检测，在到达金字塔顶层时，输出最终遮挡检测结果。

Images