CN110580472A - 一种基于全卷积网络和条件对抗网络的视频前景检测方法 - Google Patents

Abstract

本发明公开了一种基于全卷积网络和条件对抗网络的视频前景检测方法，综合考虑了视频中的空间和时间特性，其步骤包括：1、获取具有前景标注的视频集，并预处理；2、建立基于全卷积网络静态检测网络，取视频中的单帧图片作为输入，以监督的方式训练静态检测网络，使其生成静态检测结果；3、建立基于条件生成对抗网络动态对抗网络，结合静态检测结果及其临近帧作为输入，以对抗学习的形式训练动态对抗网络的生成器和判别器，使生成器可以生成精确的检测结果；4、利用训练好的模型在CDnet2014公开数据集上进行测试实验。本发明通过对视频中的静态信息和动态信息的联合提取，完成对复杂视频场景中前景目标的精确检测。

Description

一种基于全卷积网络和条件对抗网络的视频前景检测方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于全卷积网络和条件对抗网络的视频前景检测技术。

背景技术

视频前景检测是计算机视觉领域的一个重要研究方向，其检测过程是从给定视频场景的背景中区分出运动前景对象，该过程可以被认为是以背景或前景的值为标签的二进制像素级的分类。在显著性检测、目标跟踪、人群分析、交通流、自动异常检测等视频监控领域中，视频前景检测发挥着重要的作用。目前，针对视频前景检测的算法主要分为两大类：基于背景建模的传统算法和基于深度学习模型的监督算法。

传统的视频前景检测方一般利用手工设计的特征来进行背景建模，通过对比输入图片与背景模型区分出前景和背景。常用的手工视觉特征包括颜色、纹理、光流、边缘等。手工视觉特征由手动设计的滤波器来提取，且针对不同的场景滤波器是固定不变的。然而，真实视频中会存在动态背景、阴影、抖动、相机运动等复杂多变的场景。因此，在处理复杂的视频场景时，手动设计的滤波器提取的特征会存在大量噪声，使得建立的背景模型不能完全区分前景与背景。另外，背景建模过程中有大量超参数，针对不同场景都有不同的最优超参数。

近年来，深度学习模型在计算机视觉各个领域中取得的显著的效果，一些研究人员已经将卷积神经网络(CNN)和生成对抗网络(GAN)应用于视频前景检测任务中。典型的基于CNN的视频前景检测方法有DeepBS和CascadeCNN，它们仅仅利用神经网络提取单帧图片的空间语义信息，而忽略了相邻帧之间的时间信息。

视频中的前景目标往往具有劣化的外观(例如：运动模糊，相机失焦)，仅仅从空间语义信息不能准确分割出前景目标。典型的基于GAN的方法有FgGAN和BScGAN,它们将背景图片视为特征提取的重要的先验，同样忽略了相邻帧之间的时间信息。另外，从非静止相机拍摄的视频场景中很难重构高质量的背景图片，这将影响检测结果的准确性。

上述视频前景检测方法实现了运动目标的检测，然而在复杂场景下的检测精度均不高。

发明内容

本发明为克服现有技术的不足之处，提出一种基于全卷积神经网络和条件对抗网络的视频前景检测方法，旨在解决视频场景下前景与背景分割问题，通过构建静态检测网络和动态对抗网络，得到在复杂视频场景下检测精度良好的视频前景检测模型，从而实现视频中前景目标的自动检测。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于全卷积网络和条件对抗网络的视频前景检测方法的的包括如下步骤：

步骤1、视频数据收集和预处理：

获取真实场景视频数据并进行归一化预处理，得到预处理后的视频序列，记为I＝{I₁,I₂,…,I_t,…,I_T}，其中，I_t表示第t帧视频图像，并记第t帧视频图像I_t所对应的前景标注为G_t，t＝1,2,…,T；

步骤2、建立基于全卷积网络的静态检测网络，将所述第t帧视频图像I_t所对应的前景标注G_t作为检测目标，以交叉商损失函数监督训练所述静态检测网络，从而生成静态检测结果；

所述静态检测网络由编码器和解码器构成，所述编码器使用w个卷积层，所述解码器使用w个对应反卷积层；并将编码器每层的输出特征图映射到对称解码器的输入中，然后通过通道维度连接起来，从而构建跳跃连接结构；

以第t帧视频图像I_t为静态检测网络的输入，经一层一通道卷积层和一层sigmoid层后得到第t帧视频图像的静态检测结果S_t；

根据式(1)计算第t帧视频图像的静态检测结果S_t与对应前景标注G_t之间交叉商损失函数并作为训练所述静态检测网络的像素级监督损失，使用自适应矩估计优化方法以学习率lr_s来更新所述静态检测网络的权值，并在损失值趋于稳定时完成对所述静态检测网络的训练；

式(1)中，a_t为第t帧视频图像I_t中前景像素占总像素的比重；G_t(n)表示前景标注G_t中第n个像素值；S_t(n)表示静态预测结果S_t中第n个像素值；

步骤3、建立基于条件生成对抗网络的动态对抗网络，结合静态检测结果S_t及第t帧视频图像I_t的临近帧作为输入用于训练所述动态对抗网络，从而生成最终的检测结果；

步骤3.1、所述动态对抗网络的生成器由第一编码模块、静态转换模块、静态解码模块构成；

所述第一编码模块由c₁个卷积层构成，卷积核大小为均为ks₁，步长均为s₁，且在各卷积层之间采用LeakRelu层和批归一化层；

所述静态转换模块由c₂个残差模块构成，并设置所述替残差模块中的卷积为空洞卷积；

所述静态解码模块由c₃个转置卷积层构成，转置卷积核大小为均为ks₃，步长均为s₃，且在各转置卷积层之间采用LeakRelu层和批归一化层；

将所述静态检测结果S_t及第t帧视频图像I_t的前后临近帧作为所述动态对抗网络的输入，输出的特征图经一层一通道卷积层和一层tanh层后得到第t帧图像的最终检测结果D_t；

根据式(2)计算最终检测结果D_t与前景标注G_t之间均方误差并作为生成器的像素级监督损失：

式(2)中，D_t(n)表示最终检测结果D_t中第n个像素值；

步骤3.2、所述动态对抗网络的判别器由第二静态编码模块组成，所述第二静态编码模块包含d₁个卷积层和d₂个全连接层；

将第t帧视频图像I_t的前景标注G_t与第t帧视频图像I_t的前后临近帧组合成正样本，并输入到所述判别器中，得到前景标注G_t为真的概率值

将第t视频图像I_t的静态检测结果D_t与第t帧视频图像I_t的前后临近帧组合后组成负样本，并输入到所述判别器，得到静态检测结果D_t为真的概率值

根据式(3)计算动态生成网络的最小二乘对抗损失

式(3)中，E表示期望；

根据式(4)计算动态判别网络的最小二乘对抗损失

根据式(5)计算动态对抗网络的最终对抗损失L_t，通过自适应矩估计优化方法以学习率lr_d对L_t进行优化求解，使得值、值和值在相互对抗中均收敛到最优，当值和值达到最优时，所述动态对抗网络的生成器达到最优，并生成最终的前景掩码图，当值达到最优时，所述动态对抗网络的判别器达到最优；

式(5)中，λ表示权重系数，用于平衡均方误差损失项和对抗损失项；

步骤4、利用训练好的静态检测网络和动态对抗网络模型对具有前景标注的视频数据集进行检测，从而得到相应的检测结果。

与已有技术相比，本发明具有如下优点：

1.本发明利用全卷积神经网络和条件对抗网络进行视频前景检测，在不需要任何背景图像重构和后端处理的情况下，以高达到23fps的帧率完成端到端检测，并且较现有的视频前景检测方法，具有更好的鲁棒性。

2.本发明将整个视频前景检测过程视为简单像素级二分类过程，不需要任何复杂的背景建模过程，也不需要手动设计固定的卷积核提取低级视觉特征，通过训练使网络具有特征提取能力。

3.本发明中的静态检测网络是基于跳连结构组成的编解码网络，以监督训练的方式学习高层和底层的空间特征融合提取，达到了空间特征充分的利用；结合了高低层的空间特征，静态检测网络能生成较为精确的静态检测结果；

4.本发明中的动态对抗网络是基于条件对抗网络设计，以对抗训练的方式的学习静态检测结果及其临近帧之间的动态时间信息的高效提取，通过临近帧的聚合来增强静态检测结果，纠正了静态检测结果上分类错误的像素点，使分类边缘更加平滑，提高了分类的准确度。

附图说明

图1为本发明中静态检测网络的结构图；

图2为本发明动态对抗网络的结构示意图；

图3a为本发明测试集中部分输入图像；

图3b为本发明测试集中部分输入图像所对应的标签图像；

图3c为本发明最终的二值化分割图像；

图3d为本发明使用静态检测网络得到的二值化分割图像；

具体实施方式

本实施例中，一种基于全卷积神经网络和条件对抗网络的视频前景检测方法，利用静态检测网络生成初步的静态检测结果，以静态检测结果及其临近帧作为动态对抗网络的输入先验，以生成最终的检测结果，通过对视频中的静态信息和动态信息的联合提取，从而完成对复杂视频场景中前景目标的精确检测，具体步骤如下：

步骤1、视频数据收集和预处理：

获取真实场景视频数据并进行归一化预处理，得到预处理后的视频序列，记为I＝{I₁,I₂,…,I_t,…,I_T}，其中，I_t表示第t帧视频图像，并记第t帧视频图像I_t所对应的前景标注为G_t，t＝1,2,…,T；本实例采用CDnet-2014数据集训练和评估模型，CDnet-2014数据集有53个不同场景的视频序列，包含了11类不同的挑战因素：Dynamic Background,Thermal,PTZ,Camera Jitter,Baseline,Bad Weather,Shadow,Low Frame Rate,Turbulence,NightVideos,Intermittent Object Motion；在本实例中，每个视频场景选取600帧用于训练模型，其余的用于评估模型；

步骤2、建立基于全卷积网络的静态检测网络，将第t帧视频图像I_t所对应的前景标注G_t作为检测目标，以交叉商损失函数监督训练静态检测网络，从而生成静态检测结果；

静态检测网络由编码器和解码器构成，编码器使用w个卷积层，解码器使用w个对应的转置卷积层；如图1所示，本实例中w取6，编码器中卷积核大小为3*3、步长为2，每层卷积核数分别为64、128、256、512、512、512；编码器中转置卷积核大小均为2*2、步长均为2的卷积层，每层转置卷积核数分别为512、512、512、256、128、64；并将编码器每层的输出特征图映射到对称解码器的输入中，然后通过通道维度连接起来，从而构建跳跃连接结构；在编码器和解码器的卷积层之间通过跳连结构实现不同层之间的空间信息共享，使得高层输出图像带有低级的细节特征，充分提取特征图的空间尺度特征，提升静态检测结果的质量，为动态对抗网络提供较高质量的先验输入；

以第t帧视频图像I_t为静态检测网络的输入，经一层一通道卷积层和一层sigmoid层后得到第t帧视频图像的静态检测结果S_t；

根据式(1)计算第t帧视频图像的静态检测结果S_t与对应前景标注G_t之间交叉商损失函数以作为训练静态检测网络的像素级监督损失，并使用自适应矩估计优化方法以学习率lr_s来更新静态检测网络权值，本实例中学习率lr_s取5e-5，并在损失值趋于稳定时完成对静态检测网络的训练；

式(1)中，a_t为第t帧视频图像I_t中前景像素占总像素的比重，解决了前景与背景的类不平衡问题；G_t(n)表示前景标注G_t中第n个像素值；S_t(n)表示静态预测结果S_t中第n个像素值；

步骤3、建立基于条件生成对抗网络的动态对抗网络，结合静态检测结果S_t及第t帧视频图像I_t的临近帧作为输入用于训练动态对抗网络，从而生成最终的检测结果；

步骤3.1、如图2所示，动态对抗网络的生成器由第一编码模块、静态转换模块、静态解码模块构成；

第一编码模块由c₁个卷积层构成，卷积核大小为均为ks₁，步长均为s₁，且在各卷积层之间采用了LeakRelu层和批归一化层；本实例中c₁取3，ks₁取3，s₁取2；

静态转换模块由c₂个残差模块构成，并设置替残差模块中的卷积为空洞卷积；本实例中c₂取6，采用渐进式膨胀因子来增加感受野，6个残差模块的膨胀因子依次取2，3，4，5，6，7，并提供更宽的输入视角来捕捉输入图像的整体结构；

静态解码模块由c₃层转置卷积层构成，转置卷积核大小为均为ks₃，步长均为s₃，且在各转置卷积层之间采用了LeakRelu层和批归一化层；本实例中c₃取3，ks₃取2，s₃取2；

将静态检测结果S_t及第t帧视频图像I_t的前临近帧I_t-1以及后临近帧I_t+1作为动态对抗网络的输入，输出的特征图经一层一通道卷积层和一层tanh层后输出第t帧图像的最终检测结果D_t；

根据式(2)计算最终检测结果D_t与前景标注G_t之间均方误差并作为生成器的像素级监督损失，使得生成器的生成结果不仅能够混淆判别器，还在二范数空间中最小化生成结果与真实前景标注图像之间的损失，在低频信息段提高生成结果的质量；

式(2)中，D_t(n)表示最终检测结果D_t中第n个像素值；

步骤3.2、如图2所示，动态对抗网络的判别器由第二静态编码模块组成，第二静态编码模块包含d₁个卷积步长为2的卷积层和d₂个全连接层，本实例中d₁取5，d₂取2；

将第t帧视频图像I_t的前景标注G_t与第t帧视频图像I_t的前临近帧I_t-1以及后临近帧I_t+1组合成正样本，并输入到判别器中，得到前景标注G_t为真的概率值

将第t视频图像I_t的静态检测结果D_t与第t帧视频图像I_t的前临近帧I_t-1以及后临近帧I_t+1组合后组成负样本，并输入到判别器，得到静态检测结果D_t为真的概率值

根据式(3)计算动态生成网络的最小二乘对抗损失

式(3)中，E表示期望；

根据式(4)计算动态判别网络的最小二乘对抗损失

根据式(5)计算动态对抗网络的最终对抗损失L_t，通过自适应矩估计优化方法以学习率lr_d对L_t进行优化求解，本实例中学习率lr_d取5e-5，使得值、值和值在相互博弈中学习，生成器学习的目的是欺骗判别器让其认为生成的前景掩码图是真实的前景标注，而判别器学习的目的是区分出真实前景标注鱼生成的前景掩码图，最终收敛到最优；当值和值达到最优时，动态对抗网络的生成器达到最优，生成准确的前景掩码图；当值达到最优时，动态对抗网络的判别器达到最优。

式(5)中，λ表示权重系数，用于平衡均方误差损失项和对抗损失项，本实例中λ取100；由于生成对抗网络不仅在训练中不稳定，还存在模式崩溃问题，将对抗损失与均方误差损失相结合使得生成器不仅被训练以欺骗判别器而且还生成尽可能接近真实标注的图像；

步骤4、利用训练好的静态检测网络和动态对抗网络模型对具有前景标注的视频数据集进行检测，从而得到相应的检测结果。

实施例：

为了验证本发明方法的有效性，本实施例从CDnet2014数据集选取Baseline，Camera Jitter，Dynamic Background，Intermittent Object，Shadow，Thermal，BadWeather六种典型的挑战性场景作为测试视频，并采用F值作为定量评价标准。

本实施例中选用四种方法和本发明方法进行效果对比，所选方法分别是BScGAN、FgGAN、CascadeCNN和DeepBS，BScGAN和FgGAN为基于生成对抗网络的方法，CascadeCNN和DeepBS为基于2D卷积神经网络的方法；根据实验结果可得出结果如表1所示：

表1本发明方法与选用的四种对比方法在六种场景视频数据集上进行前景检测的实验结果

实验结果显示本发明方法与其它四种方法相比效果都要更好，从而证明了本发明提出方法的可行性。

另外，为了验证本发明中动态对抗网络的重要作用，本实例对静态检测网络的检测结果与动态对抗网络的检测结果作了定性比较，待检测输入图像如图3a所示，前景标注如图3b所示，图3c为动态对抗网络的检测结果，图3d为静态网络的检测结果，实验结果显示静态检测网络能较为准确地检测出前景区域，但检测结果出现了较多的误检测背景，前景中存在大量孔洞背景，而动态对抗网络的检测结果边缘清晰，更接近标注图像；实验表明本发明提出方法能有效利用单帧图像的空间特性及相邻帧之间的动态时间特性，完成视频前景目标精确检测。

Claims (1)

1.一种基于全卷积网络和条件对抗网络的视频前景检测方法，其特征包括如下步骤：

步骤1、视频数据收集和预处理：

获取真实场景视频数据并进行归一化预处理，得到预处理后的视频序列，记为I＝{I₁,I₂,…,I_t,…,I_T}，其中，I_t表示第t帧视频图像，并记第t帧视频图像I_t所对应的前景标注为G_t，t＝1,2,…,T；

步骤2、建立基于全卷积网络的静态检测网络，将所述第t帧视频图像I_t所对应的前景标注G_t作为检测目标，以交叉商损失函数监督训练所述静态检测网络，从而生成静态检测结果；

所述静态检测网络由编码器和解码器构成，所述编码器使用w个卷积层，所述解码器使用w个对应反卷积层；并将编码器每层的输出特征图映射到对称解码器的输入中，然后通过通道维度连接起来，从而构建跳跃连接结构；

以第t帧视频图像I_t为静态检测网络的输入，经一层一通道卷积层和一层sigmoid层后得到第t帧视频图像的静态检测结果S_t；

根据式(1)计算第t帧视频图像的静态检测结果S_t与对应前景标注G_t之间交叉商损失函数并作为训练所述静态检测网络的像素级监督损失，使用自适应矩估计优化方法以学习率lr_s来更新所述静态检测网络的权值，并在损失值趋于稳定时完成对所述静态检测网络的训练；

式(1)中，a_t为第t帧视频图像I_t中前景像素占总像素的比重；G_t(n)表示前景标注G_t中第n个像素值；S_t(n)表示静态预测结果S_t中第n个像素值；

步骤3、建立基于条件生成对抗网络的动态对抗网络，结合静态检测结果S_t及第t帧视频图像I_t的临近帧作为输入用于训练所述动态对抗网络，从而生成最终的检测结果；

步骤3.1、所述动态对抗网络的生成器由第一编码模块、静态转换模块、静态解码模块构成；

所述第一编码模块由c₁个卷积层构成，卷积核大小为均为ks₁，步长均为s₁，且在各卷积层之间采用LeakRelu层和批归一化层；

所述静态转换模块由c₂个残差模块构成，并设置所述替残差模块中的卷积为空洞卷积；

所述静态解码模块由c₃个转置卷积层构成，转置卷积核大小为均为ks₃，步长均为s₃，且在各转置卷积层之间采用LeakRelu层和批归一化层；

将所述静态检测结果S_t及第t帧视频图像I_t的前后临近帧作为所述动态对抗网络的输入，输出的特征图经一层一通道卷积层和一层tanh层后得到第t帧图像的最终检测结果D_t；

根据式(2)计算最终检测结果D_t与前景标注G_t之间均方误差并作为生成器的像素级监督损失：

式(2)中，D_t(n)表示最终检测结果D_t中第n个像素值；

步骤3.2、所述动态对抗网络的判别器由第二静态编码模块组成，所述第二静态编码模块包含d₁个卷积层和d₂个全连接层；

将第t帧视频图像I_t的前景标注G_t与第t帧视频图像I_t的前后临近帧组合成正样本，并输入到所述判别器中，得到前景标注G_t为真的概率值

将第t视频图像I_t的静态检测结果D_t与第t帧视频图像I_t的前后临近帧组合后组成负样本，并输入到所述判别器，得到静态检测结果D_t为真的概率值

根据式(3)计算动态生成网络的最小二乘对抗损失

式(3)中，E表示期望；

根据式(4)计算动态判别网络的最小二乘对抗损失

根据式(5)计算动态对抗网络的最终对抗损失L_t，通过自适应矩估计优化方法以学习率lr_d对L_t进行优化求解，使得值、值和值在相互对抗中均收敛到最优，当值和值达到最优时，所述动态对抗网络的生成器达到最优，并生成最终的前景掩码图，当值达到最优时，所述动态对抗网络的判别器达到最优；

式(5)中，λ表示权重系数，用于平衡均方误差损失项和对抗损失项；

步骤4、利用训练好的静态检测网络和动态对抗网络模型对具有前景标注的视频数据集进行检测，从而得到相应的检测结果。