CN109784183A - 基于级联卷积网络和光流的视频显著性目标检测方法 - Google Patents

Abstract

本发明涉及一种基于级联卷积网络和光流的视频显著性目标检测方法，利用级联网络结构，在高、中、低三个尺度上分别对当前帧的图像进行像素级的显著性预测。使用MSAR10K图像数据集训练级联网络结构，显著性标注图作为训练的监督信息，损失函数为交叉熵损失函数。训练终止后，利用训练好的级联网络对视频中的每一帧图像进行静态显著性预测。利用经典的Locus‑Kanada算法进行光流场提取。然后使用三层卷积网络结构构建动态优化网络结构。将每一帧图像的静态检测结果和光流场检测结果进行拼接得到优化网络的输入数据。使用Davis视频数据集优化网络，利用静态检测结果和光流信息对视频帧进行像素点级的显著性分类。

Description

基于级联卷积网络和光流的视频显著性目标检测方法

技术领域

本发明属于图像处理领域，涉及一种基于级联卷积网络和光流的视频显著性目标检测方法。

背景技术

近年来所提出的大量图像显著性目标检测的算法都是基于一种自底向上或自顶向下的框架且主要依赖人工特征，但是基于视频显著性目标检测的算法相对较少。视频显著性目标检测与图像显著性目标检测的最大不同是：图像显著性目标检测可以假设人眼视觉注意力机制的焦点位于图像中心，但是对于视频显著性目标检测而言，人的视觉注意力会随着显著性目标的移动而变化。如果简单地把图像显著性目标检测的算法用于处理视频显著性目标检测，无法充分利用视频中显著性目标的运动信息。

文献“deep learning based video salient object detection”提出一种基于深度学习的视频显著性目标检测算法。作者利用全卷积网络提取帧内的显著性信息和帧间运动信息，对静态图像的检测结果进行优化。该算法的主要优势是：1)利用深度学习的特征代替人工特征；2)通过迁移学习的思想解决训练数据缺乏的问题。但此方法中，静态与动态显著性目标检测均使用同样的深层全卷积网络结构，计算复杂性高，速度慢；且显著性图粒度不够精细，容易丢失边缘信息。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，提高视频显著性目标检测的高效性和准确性，本发明提出了一种基于级联卷积网络和光流的视频显著性目标检测方法。

技术方案

一种基于级联卷积网络和光流的视频显著性目标检测方法，其特征在于步骤如下：

步骤1：构建级联网络结构

对原始图像进行下采样，得到三个不同尺度的图像，分别是高尺度-原图像，中尺度-下采样2倍的图像，和低尺度-下采样4倍的图像；低尺度图像，经过5个卷积块，每个卷积块包含3个卷积层，前三个卷积块最后一层各包含一个步长为2的池化层，得到下采样32倍的特征图F1，F1经过2倍上采样和SoftMax层得到低尺度图像的显著性图S1；中尺度的图像，经过3个卷积块，每个卷积块包含3个卷积层和一个步长为2的池化层，再经过一个步长为2的空洞卷积层，得P2，将P2与特征图F1相加得一个下采样16倍的特征图F2，F2经过2倍上采样和SoftMax层得到中尺度图像的显著性图S2；原图像经过3个步长为2的卷积层和一个步长为2的空洞卷积层，得到P3，将P3与特征图F2相加得到一个8倍下采样的特征图F3，F3经过一个2倍的上采样层和SoftMax层得到一个高尺度的显著性图S3；最后，对S3进行4倍上采样得到与原图相同大小的预测结果；

步骤2：训练网络结构

将MSRA10K数据集作为训练数据，对每一幅图像从低、中、高三个尺度上进行分类，得到下采样为16倍、8倍、4倍的特征图，再通过上采样的4倍、2倍、2倍得到对应的显著性图；然后分别计算这些显著性图与显著性标注图、标注图、标注图之间的误差，最后利用反向传播算法更新模型的参数；采用分批次进行训练，每一批次称作一个batch，计算误差时所用的代价函数如下：

其中，N表示样本个数，y_i表示第i个像素点对应的真值，s_i表示网络的输入，θ表示网络的参数；首先，分别在高、中、低三个尺度上计算损失L₁、L₂、L₃，总的损失函数表示为：

L＝λ₁L₁+λ₂L₂+λ₃L₃ (2)

其中，λ1、λ2、λ3分别为1、0.4、0.16；其次，使用梯度下降法更新模型参数，先求代价函数L对卷积核W及偏置b的偏导数，再对卷积核和偏置按如下公式进行调整：

其中，η₁，η₂为学习率，最后，在模型训练过程中，当验证集的误差开始由逐渐减小变成逐渐增大时，即可视为整个网络已经过拟合，此时停止训练；

步骤3：静态显著性检测结果

利用训练好的级联网络对待测样本I_m×n中的每个像素点进行显著或非显著的二分类，得到静态的显著性检测结果S_m×n，其中m，n分别对应图像的长和宽；

步骤4：利用光流法提取运动信息

先对图像进行2倍下采样，然后使用经典的Locus-Kanada算法进行光流信息提取；

步骤5：动静信息融合

构建一个三层卷积网络融合静态和动态信息，其中网络的输入为静态显著性检测图S_m×n和动态光流图G_m×n×3的拼接结果S·G_m×n×4；

步骤6：训练动态优化网络

使用Davis2017训练数据集中的80个片段作为训练数据，将训练样本送入网络得到显著性预测图，计算显著性预测图和显著性标注图之间的误差，利用步骤2中的方法更新模型参数；

步骤7：得到动态优化的显著性检测结果

使用级联网络对测试视频的每一帧图像进行静态显著性检测，并通过Locus-Kanada方法计算相邻两帧之间的光流信息，将得到的静态显著性检测结果和动态光流图作为动态优化网络的输入，对每一个像素点进行二分类，得到显著性分类的概率，即可视为显著性预测值。

步骤2中的η₁＝0.0001，η₂＝0.0001。

有益效果

本发明提出的一种基于级联卷积网络和光流的视频显著性目标检测方法，本发明使用级联网络结构的多尺度特点，对视频的每帧图像进行静态预测，提高了检测速度；又通过构建动态优化网络，将静态预测结果和视频运动的光流信息充分结合，使得到的显著性图粒度更细，边缘更加清晰。

附图说明

图1基于卷积网络的视频显著性目标检测流程图

图2静态检测结构图

图3动态优化检测结构图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

步骤1构建级联网络结构

对原始图像进行下采样，得到三个不同尺度的图像，分别是原图像(高尺度)，下采样2倍的图像(中尺度)，和下采样4倍的图像(低尺度)。低尺度图像，经过5个卷积块，每个卷积块包含3个卷积层，前三个卷积块最后一层各包含一个步长为2的池化层，得到下采样32倍的特征图F1，F1经过2倍上采样和SoftMax层得到低尺度图像的显著性图S1；中尺度的图像，经过3个卷积块，每个卷积块包含3个卷积层和一个步长为2的池化层，再经过一个步长为2的空洞卷积层，得到P2。将P2与特征图F1相加得一个下采样16倍的特征图F2，F2经过2倍上采样和SoftMax层得到中尺度图像的显著性图S2；原图像经过3个步长为2的卷积层和一个步长为2的空洞卷积层，得到P3，将P3与特征图F2相加得到一个8倍下采样的特征图F3，F3经过一个2倍的上采样层和SoftMax层得到一个高尺度的显著性图S3。最后，对S3进行4倍上采样得到与原图相同大小的预测结果。

步骤2训练网络结构

将MSRA10K数据集作为训练数据，对每一幅图像从低、中、高三个尺度上进行分类，得到下采样为16倍、8倍、4倍的特征图，再通过上采样的4倍、2倍、2倍得到对应的显著性图；然后分别计算这些显著性图与显著性标注图、标注图、标注图之间的误差，最后利用反向传播算法更新模型的参数。由于训练样本量较大，采用分批次进行训练，每一批次称作一个batch。计算误差时所用的代价函数如下：

其中，N表示样本个数，y_i表示第i个像素点对应的真值，s_i表示网络的输入，θ表示网络的参数。首先，分别在高、中、低三个尺度上计算损失L₁、L₂、L₃，总的损失函数表示为：

L＝λ₁L₁+λ₂L₂+λ₃L₃ (2)

其中，λ1、λ2、λ3分别为1、0.4、0.16。其次，使用梯度下降法更新模型参数，先求代价函数L对卷积核W及偏置b的偏导数，再对卷积核和偏置按如下公式进行调整：

其中η₁，η₂为学习率，在本方法中η₁＝0.0001，η₂＝0.0002。最后，在模型训练过程中，当验证集的误差开始由逐渐减小变成逐渐增大时，即可视为整个网络已经过拟合，此时停止训练。

步骤3静态显著性检测结果

模型训练终止后，利用训练好的级联网络对待测样本I_m×n中的每个像素点进行显著或非显著的二分类，得到静态的显著性检测结果S_m×n，其中m，n分别对应图像的长和宽。

步骤4利用光流法提取运动信息

由于提取光流信息耗时较大，本发明中先对图像进行2倍的下采样，然后使用经典的Locus-Kanada算法进行光流信息提取。

步骤5动静信息融合

构建一个三层卷积网络融合静态和动态信息，其中网络的输入为静态显著性检测图S_m×n和动态光流图G_m×n×3的拼接结果S·G_m×n×4。

步骤6训练动态优化网络

使用Davis2017训练数据集中的80个片段作为训练数据，将训练样本送入网络得到显著性预测图，计算显著性预测图和显著性标注图之间的误差，利用步骤2中的方法更新模型参数。

步骤7得到动态优化的显著性检测结果

使用级联网络对测试视频的每一帧图像进行静态显著性检测，并通过Locus-Kanada方法计算相邻两帧之间的光流信息，将得到的静态显著性检测结果和动态光流图作为动态优化网络的输入，对每一个像素点进行二分类，得到显著性分类的概率，即可视为显著性预测值。

Claims (2)

1.一种基于级联卷积网络和光流的视频显著性目标检测方法，其特征在于步骤如下：

步骤1：构建级联网络结构

对原始图像进行下采样，得到三个不同尺度的图像，分别是高尺度-原图像，中尺度-下采样2倍的图像，和低尺度-下采样4倍的图像；低尺度图像，经过5个卷积块，每个卷积块包含3个卷积层，前三个卷积块最后一层各包含一个步长为2的池化层，得到下采样32倍的特征图F1，F1经过2倍上采样和SoftMax层得到低尺度图像的显著性图S1；中尺度的图像，经过3个卷积块，每个卷积块包含3个卷积层和一个步长为2的池化层，再经过一个步长为2的空洞卷积层，得P2，将P2与特征图F1相加得一个下采样16倍的特征图F2，F2经过2倍上采样和SoftMax层得到中尺度图像的显著性图S2；原图像经过3个步长为2的卷积层和一个步长为2的空洞卷积层，得到P3，将P3与特征图F2相加得到一个8倍下采样的特征图F3，F3经过一个2倍的上采样层和SoftMax层得到一个高尺度的显著性图S3；最后，对S3进行4倍上采样得到与原图相同大小的预测结果；

步骤2：训练网络结构

将MSRA10K数据集作为训练数据，对每一幅图像从低、中、高三个尺度上进行分类，得到下采样为16倍、8倍、4倍的特征图，再通过上采样的4倍、2倍、2倍得到对应的显著性图；然后分别计算这些显著性图与显著性标注图、标注图、标注图之间的误差，最后利用反向传播算法更新模型的参数；采用分批次进行训练，每一批次称作一个batch，计算误差时所用的代价函数如下：

其中，N表示样本个数，y_i表示第i个像素点对应的真值，s_i表示网络的输入，θ表示网络的参数；首先，分别在高、中、低三个尺度上计算损失L₁、L₂、L₃，总的损失函数表示为：

L＝λ₁L₁+λ₂L₂+λ₃L₃ (2)

其中，λ1、λ2、λ3分别为1、0.4、0.16；其次，使用梯度下降法更新模型参数，先求代价函数L对卷积核W及偏置b的偏导数，再对卷积核和偏置按如下公式进行调整：

其中，η₁，η₂为学习率，最后，在模型训练过程中，当验证集的误差开始由逐渐减小变成逐渐增大时，即可视为整个网络已经过拟合，此时停止训练；

步骤3：静态显著性检测结果

利用训练好的级联网络对待测样本I_m×n中的每个像素点进行显著或非显著的二分类，得到静态的显著性检测结果S_m×n，其中m，n分别对应图像的长和宽；

步骤4：利用光流法提取运动信息

先对图像进行2倍下采样，然后使用经典的Locus-Kanada算法进行光流信息提取；

步骤5：动静信息融合

构建一个三层卷积网络融合静态和动态信息，其中网络的输入为静态显著性检测图S_m×n和动态光流图G_m×n×3的拼接结果S·G_m×n×4；

步骤6：训练动态优化网络

使用Davis2017训练数据集中的80个片段作为训练数据，将训练样本送入网络得到显著性预测图，计算显著性预测图和显著性标注图之间的误差，利用步骤2中的方法更新模型参数；

步骤7：得到动态优化的显著性检测结果

使用级联网络对测试视频的每一帧图像进行静态显著性检测，并通过Locus-Kanada方法计算相邻两帧之间的光流信息，将得到的静态显著性检测结果和动态光流图作为动态优化网络的输入，对每一个像素点进行二分类，得到显著性分类的概率，即可视为显著性预测值。

2.根据权利要求1所述的一种基于级联卷积网络和光流的视频显著性目标检测方法，其特征在于步骤2中的η₁＝0.0001，η₂＝0.0001。