CN115909160A - 深度视频插帧检测方法、装置及计算机可读存储介质 - Google Patents

深度视频插帧检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN115909160A
CN115909160A CN202211480029.5A CN202211480029A CN115909160A CN 115909160 A CN115909160 A CN 115909160A CN 202211480029 A CN202211480029 A CN 202211480029A CN 115909160 A CN115909160 A CN 115909160A
Authority
CN
China
Prior art keywords
frame
network
video
features
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211480029.5A
Other languages
English (en)
Inventor
熊义毛
丁湘陵
谷庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Science and Technology
Zhengzhou Xinda Institute of Advanced Technology
Original Assignee
Hunan University of Science and Technology
Zhengzhou Xinda Institute of Advanced Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Science and Technology, Zhengzhou Xinda Institute of Advanced Technology filed Critical Hunan University of Science and Technology
Priority to CN202211480029.5A priority Critical patent/CN115909160A/zh
Publication of CN115909160A publication Critical patent/CN115909160A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种深度视频插帧检测方法，包括如下步骤：提取视频帧序列中的双向光流及帧间运动异常区域，将双向光流输入ParNet网络提取局部特征，利用运动注意力机制关注帧间运动异常区域，增强篡改特征；提取视频帧序列中的单帧运动异常区域输入Transformer网络进行信息重组，将关联较强的信息聚合以凸显篡改痕迹，提取全局特征；将所述局部特征和所述全局特征聚合后输入全连接层进行分类，输出真假帧的分类结果。本申请可以对深度帧率上转换篡改进行有效的检测，可以满足视频真实性和完整性的验证要求，具备较高的判别精度。本申请还提供一种深度视频插帧检测装置及一种计算机可读存储介质。

Description

深度视频插帧检测方法、装置及计算机可读存储介质
技术领域
本申请属于视频信息安全技术领域，具体涉及一种深度视频插帧检测方法、装置及计算机可读存储介质。
背景技术
视频帧率上转换也称视频插帧，通过在相邻视频帧之间生成插值帧提高原始视频的帧率，增加原始视频的运动连续性。随着深度学习的火热，深度插帧算法逐渐成为主流，深度插帧算法能够保证插帧与相邻帧在时域上保持较高的一致性，使得帧率上转换后的视频依然自然、流畅,让观察者无法仅靠视觉直接察觉曾经插值的痕迹。
相关技术中，通过将双向光流输入卷积网络中，提取增强运动矢量上的判别特征，突出残差，然后融合学习到的特征，得到最终的检测结果。但是这种检测方法由于重编码操作消除干扰模块后的压缩工件混合了插帧篡改留下的痕迹，也会受到双重压缩或多重压缩效应的影响，使得判别的精度较低。因此，实有必要提供一种深度视频插帧检测方法、装置及计算机可读存储介质以解决上述问题。
发明内容
本申请实施例的目的是提供一种深度视频插帧检测方法、装置及计算机可读存储介质，从运动区域捕捉篡改视频中遗留的微弱篡改痕迹，采用ParNet网络提取局部特征，采用Transformer提取全局特征，最后利用全连接层实现对样本的分类检测，实现真假帧的判别，具备较高的判别精度。
为了解决上述技术问题，本申请是这样实现的：
一种深度视频插帧检测方法，包括如下步骤：
S1:提取视频帧序列中的双向光流及帧间运动异常区域，将双向光流输入ParNet网络提取局部特征，利用运动注意力机制关注帧间运动异常区域，增强篡改特征；
S2:提取视频帧序列中的单帧运动异常区域输入Transformer网络进行信息重组，将关联较强的信息聚合以凸显篡改痕迹，提取全局特征；
S3:将所述局部特征和所述全局特征聚合后输入全连接层进行分类，输出真假帧的分类结果。
优选的，所述步骤S1中，视频帧序列表示为：{F1,F2…Fi…FN}，其中Fi表示第i个视频帧，N表示视频帧总数。
优选的，视频帧序列中双向光流的提取过程为：
采用PWC-Net网络获取时序上连续两帧的光流，运算的过程为：
Figure BDA0003961078740000021
Figure BDA0003961078740000022
Figure BDA0003961078740000023
式中，j∈{1,2…N-1}，
Figure BDA0003961078740000024
表示第j个视频帧的前向光流，
Figure BDA0003961078740000025
表示第j个视频帧的后向光流,
Figure BDA0003961078740000026
表示第j个视频帧的双向光流，Net(·)表示采用PWC-Net网络进行光流提取操作。
优选的，帧间运动异常区域的提取过程为：
构建ConvGRU_Z网络，对所述视频帧序列{F1,F2…Fi…FN}中每一帧的下一帧进行预测，得到预测帧序列{F′1，F′2…F′i…F′N}；
将所述预测帧序列{F′1，F′2…F′i…F′N}中的最后一帧F′N与所述视频帧序列{F1,F2…Fi…FN}中的第一帧F1作差，得到帧间异常区域，运算过程表示为：
EME＝(F′N-F1)
式中，EME表示帧间运动异常区域。
优选的，所述ConvGRU_Z网络包括多个依次连接的预测单元，所述预测单元包括编码器和解码器，所述编码器包括四个依次设置的编码单元，每个所述编码单元均包括一个卷积模块及一个第一GRU模块，所述卷积模块和所述GRU模块的核尺寸均为3×3，步长为2，填充为1；所述解码器包括四个依次设置的解码单元，每个所述解码单元均包括一个第二GRU模块和一个反卷积模块，所述第二GRU模块和所述反卷积模块的核尺寸为4×4，步长为2，填充为1。
优选的，所述ConvGRU_Z网络的预测过程为：
选取所述视频帧序列{F1,F2…Fi…FN}中的连续多帧{Fn,Fn+1…Fn+k…Fn+m}作为输入帧，送入所述ConvGRU_Z网络；
将所述输入帧中的帧Fn作为第一个所述预测单元的输入，输出对下一帧Fn+1的预测帧F′n；
计算预测帧F′n关于帧Fn+1的对称扭曲帧
Figure BDA0003961078740000031
将对称扭曲帧
Figure BDA0003961078740000032
作为第二个所述预测单元的输入，输出对下一帧Fn+2的预测帧F′n+1，其中，
Figure BDA0003961078740000033
以此类推，计算前一个预测单元输出的预测帧F′n+k-1关于帧Fn+k的对称扭曲帧
Figure BDA0003961078740000034
将对称扭曲帧
Figure BDA0003961078740000035
作为当前预测单元的输入，输出对下一帧的预测帧F′n+k，其中，
Figure BDA0003961078740000036
多次迭代，直至输出对Fn+m帧下一帧的预测，完成对连续多帧{Fn,Fn+1…Fn+k…Fn+m}的预测；
调整连续多帧{Fn,Fn+1…Fn+k…Fn+m}的取值范围，完成对整个视频帧序列{F1,F2…Fi…FN}的预测。
优选的，所述ParNet网络包括三个并行的子网络，每个子网络用于处理不同分辨率的特征，每个所述子网络的末端连接一个运动注意力机制，所述运动注意力机制由两个卷积层串联而成，第一个卷积层的卷积核尺寸为3×3、步长为1、填充为1，由Relu函数激活；第二个卷积层的卷积核尺寸为1×1、步长为1、填充为0，由Sigmoid函数激活；三个所述子网络在所述ParNet网络的后期融合；
三个所述子网络末端的运动注意力机制的特征图的通道数分别为90、180、180。
优选的，单帧运动异常区域的提取过程为：
利用所述ConvGRU_Z网络进行预测，将任意视频帧Fi与对下一帧的预测帧F′i作差获得单帧运动异常区域Si，运算过程表示为：
Si＝Fi-Fi′。
本申请还提供一种深度视频插帧检测装置，其特征在于，包括：
局部特征提取模块:提取视频帧序列中的双向光流及帧间运动异常区域，将双向光流输入ParNet网络提取局部特征，利用运动注意力机制关注帧间运动异常区域，增强篡改特征；
全局特征提取模块:提取视频帧序列中的单帧运动异常区域输入Transformer网络进行信息重组，将关联较强的信息聚合以凸显篡改痕迹，提取全局特征；
判别模块:将所述局部特征和所述全局特征聚合后输入全连接层进行分类，输出真假帧的分类结果。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如上述的方法。
在本申请实施例中，利用ParNet网络提取局部特征，采用ConvGRU_Z加强对运动区域的关注，可以增强篡改特征；然后利用Transformer网络将图像分块，利用自注意力机制对图像进行重组，提取输入帧的全局信息，凸显篡改痕迹，然后局部特征和全局特征聚合后，利用全连接层输出真假帧的分类结果，可以对视频插帧篡改进行有效的检测，满足视频真实性和完整性的验证要求，具备较高的判别精度。
附图说明
图1是本申请提供的一种深度视频插帧检测方法的流程框图；
图2是ConvGRU_Z网络的架构图；
图3是Transformer网络的架构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1表示的是本申请提供的一种深度视频插帧检测方法的流程框图；本申请提供的一种深度视频插帧检测方法，包括如下步骤：
S1:提取视频帧序列中的双向光流及帧间运动异常区域，将双向光流输入ParNet网络提取局部特征，利用运动注意力机制关注帧间运动异常区域，增强篡改特征。
在本实施例中，定义视频帧序列{F1,F2…Fi…FN}，其中Fi表示第i个视频帧，N表示视频帧总数。
视频帧序列中双向光流的提取过程为：
采用PWC-Net网络获取时序上连续两帧的光流，运算的过程为：
Figure BDA0003961078740000051
Figure BDA0003961078740000052
Figure BDA0003961078740000053
式中，j∈{1,2…N-1}，
Figure BDA0003961078740000054
表示第j个视频帧的前向光流，
Figure BDA0003961078740000055
表示第j个视频帧的后向光流,
Figure BDA0003961078740000056
表示第j个视频帧的双向光流，Net(·)表示采用PWC-Net网络进行光流提取操作。
需要说明的是，PWC-Net网络提取光流属于本领域的常规技术，提取的原理为：首先通过CNN卷积得到多层的特征，然后从低分辨率开始估计光流，并将低分辨率的光流上采样到高分辨率，同时构建costvolume和预测当前分辨率的光流，最后逐步得到最终分辨率的光流结果。
帧间运动异常区域的提取过程为：
构建ConvGRU_Z网络，对所述视频帧序列{F1,F2…Fi…FN}中每一帧的下一帧进行预测，得到预测帧序列{F′1，F′2…F′i…F′N}；
将所述预测帧序列{F′1，F′2…F′i…F′N}中的最后一帧F′N与所述视频帧序列{F1,F2…Fi…FN}中的第一帧F1作差，得到帧间异常区域，运算过程表示为：EME＝(F′N-F1)
式中，EME表示帧间运动异常区域。
如图2所示，图2表示的是所述ConvGRU_Z网络的架构图，如图2所示，所述ConvGRU_Z网络100包括多个依次连接的预测单元10，所述预测单元10包括编码器11和解码器12，所述编码器11包括四个依次设置的编码单元(Ecell)111，每个所述编码单元111均包括一个卷积模块及一个第一GRU模块，所述卷积模块和所述GRU模块的核尺寸均为3×3，步长为2，填充为1；所述解码器12包括四个依次设置的解码单元(Dcell)121，每个所述解码单元121均包括一个第二GRU模块和一个反卷积模块，所述第二GRU模块和所述反卷积模块的核尺寸为4×4，步长为2，填充为1。
所述ConvGRU_Z网络的预测过程为：
选取所述视频帧序列{F1,F2…Fi…FN}中的连续多帧{Fn,Fn+1…Fn+k…Fn+m}作为输入帧，送入所述ConvGRU_Z网络；
将所述输入帧中的帧Fn作为第一个所述预测单元的输入，输出对下一帧Fn+1的预测帧F′n；
计算预测帧F′n关于帧Fn+1的对称扭曲帧
Figure BDA0003961078740000061
将对称扭曲帧
Figure BDA0003961078740000062
作为第二个所述预测单元的输入，输出对下一帧Fn+2的预测帧F′n+1，其中，
Figure BDA0003961078740000063
以此类推，计算前一个预测单元输出的预测帧F′n+k-1关于帧Fn+k的对称扭曲帧
Figure BDA0003961078740000064
将对称扭曲帧
Figure BDA0003961078740000065
作为当前预测单元的输入，输出对下一帧的预测帧F′n+k，其中，
Figure BDA0003961078740000066
多次迭代，直至输出对Fn+m帧下一帧的预测，完成对连续多帧{Fn,Fn+1…Fn+k…Fn+m}的预测；
调整连续多帧{Fn,Fn+1…Fn+k…Fn+m}的取值范围，完成对整个视频帧序列{F1,F2…Fi…FN}的预测。
传统的ConvGRU网络只能通过更新网络参数来训练网络，而忽视了视频在时域上的内在联系。在极短的时间内，同一视频帧序列预测具有相同的运动趋势，本申请提出的ConvGRU_Z网络利用这个趋势，计算原始帧的对称扭曲帧作为网络输入，从时域上考虑，使得预测帧与真实帧更加逼近。
具体的，在本实施方式中，所述ConvGRU_Z网络100包括四个所述预测单元10，可以输出对连续四帧的预测，所述ConvGRU_Z网络100的网络参数如表1所示：
表1ConvGRU_Z网络的网络参数
Figure BDA0003961078740000071
如图2所示，展示的是对连续四帧{Fn,Fn+1,Fn+2,Fn+3}的预测结果。
所述ParNet网络100属于本领域的常规技术，如图1所示，图1展示了所述ParNet网络的架构图，所述ParNet网络包括三个并行的子网络，每个子网络用于处理不同分辨率的特征，三个所述子网络在所述ParNet网络100的后期融合，每个所述子网络的末端连接一个运动注意力机制，所述运动注意力机制由两个卷积层串联而成，第一个卷积层的卷积核尺寸为3×3、步长为1、填充为1，由Relu函数激活；第二个卷积层的卷积核尺寸为1×1、步长为1、填充为0，由Sigmoid函数激活；
三个所述子网络末端的运动注意力机制的特征图的通道数分别为90、180、180。
如图1所示，所述ParNet网络200的三个子网络分别为第一子网络210、第二子网络220及第三子网络230，第一子网络210的末端连接第一运动注意力机制211，第二子网络220的末端连接运动第二运动注意力机制221，第三子网络230的末端连接第三运动注意力机制231。
对于局部特征提取，以ParNet网络作为主干网络，ParNet网络是基于卷积的特征提取网络，通过设计的步长从左至右，从上到下进行卷积。传统的神经网络通常通过增强网络的深度来达到更好的性能，但这会带来更大的计算量和更高的延迟。ParNet提出了一种深度较低的并行子网架构，通过拓展网络的“宽度”达到高性能，可以有效的减少计算量并迅速响应。
视频插帧篡改检测主要的取证线索集中在运动区域。而ParNet网络提取特征主要模块是卷积，对于视频帧而言，卷积没有针对性，也就是说，缺乏对运动区域的关注。本申请的技术方案中，将运动注意力机制集成到ParNet网络上，让网络更加关注运动区域，从而提高网络性能。同时，所述运动注意力机制的添加为所述ParNet网络引入了Relu函数，在预防过拟合的同时，也避免了梯度消失。
S2:提取视频帧序列中的单帧运动异常区域输入Transformer网络进行信息重组，将关联较强的信息聚合以凸显篡改痕迹，提取全局特征；
单帧运动异常区域同样通过所述ConvGRU_Z网络来提取，将任意视频帧Fi与对下一帧的预测帧F′i作差获得单帧运动异常区域Si，运算过程表示为：Si＝Fi-F′i。
所述Transformer网络采用本领域的常规技术，如图3所示，图3表示的是Transformer网络300的架构图，图3中Conv表示的是普通2D卷积，S是步长，GELU表示GELU激活函数，BN表示批归一化，DW Conv表示是深度可分离卷积。
如图3所示，所述Transformer网络包括数据增强模块、Transformer模块及特征增强模块，其中，所述Transformer模块中的运算过程为：I+P＝PatchEmbed(image)+PositionEmbed(image)
式中，I表示图片块信息，P表示图片块位置编码，PatchEmbed(image)表示对图片进行块编码操作，PositionEmbed(image)表示图片位置编码操作；
Figure BDA0003961078740000081
式中，I′表示经过自注意力机制后重组后的块信息；
I2＝Norm(I+P+I′)
式中，Norm(·)表示归一化处理，I2表示归一化处理后的特征；
I3＝Feedforward(I2)
式中，I3表示对重组后的块信息进行信息增强的特征；Feedforward(·)表示前向传播。
fglobalfeature＝Norm(I2+I3)
式中，fglobalfeature表示进行信息重组后的特征。
所述Transformer网络中图像的块尺寸为2×2，每一个块的编码维度为45；所述Transformer网络采用多头注意力机制，头数设置为2，块数设置为2。
对于全局特征提取，以Transformer为主干网络，首先对视频帧进行分块，通过自注意力机制计算块与块之间的关联程度，将关联性较强的信息聚合在一起。对于插帧而言，其与相邻帧的时空域具有高度的一致性，其与真实帧的主要不同点集中在运动区域。Transformer网络的机制在于计算块与块之间的相关性，那么合成的运动区域必然和其余的区域相差较大，也就是说关联性较低，那么在进行信息重组后，其提取的特征也会有较大差异，这就可以作为一种篡改痕迹进行检测。相较于卷积，Transformer网络是基于整个的特征图进行操作，而并非是关注于特征图中的某个区域。
S3:将所述局部特征和所述全局特征聚合后输入全连接层进行分类，输出真假帧的分类结果。
在网络的训练过程中，设置CrossEntropyLoss损失函数以保证网络在训练中以较快的速度稳定收敛。
本申请还提供一种深度视频插帧检测装置，包括：
局部特征提取模块:提取视频帧序列中的双向光流及帧间运动异常区域，将双向光流输入ParNet网络提取局部特征，利用运动注意力机制关注帧间运动异常区域，增强篡改特征；
全局特征提取模块:提取视频帧序列中的单帧运动异常区域输入Transformer网络完成信息重组，将关联较强的信息进行聚合以凸显篡改痕迹，提取全局特征；
判别模块:将所述局部特征和所述全局特征聚合后输入全连接层进行分类，输出真假帧的分类结果。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如上述的方法。
实施例1
选择视频集合DANVIS，该数据集共有210个视频，将210个原始视频送入深度视频帧率上转换方法，例如AdaCoF算法，进行视频帧率上转换篡改。训练集和测试集按照9:1的比例进行划分，即190个视频作为训练集，20个视频作为测试集。为了提高模型训练的时间，帧的分辨率转换成224×224。为了获得视频间的时序信息，网络输入利用时序上完全连续的4帧获得4组双向光流，将双向光流进行拼接后作为局部特征提取网络的输入，利用ConvGRU-Z网络预测的连续4帧作为全局特征提取网络的输入。
实验过程：
将4个连续帧的4组双向光流和预测的连续4帧作为一组训练数据，训练集中共有25660组数据用于训练，测试集中共有2760组数据进行测试。训练的过程中采用CrossEntropyLoss作为损失函数。
为验证所提网络的有效性，设置以下对比实验方案：
方案一：以双向光流作为ParNet网络的输入，提取特征后输入全连接层进行真假帧的判别；
方案二：以双向光流作为ResNet18网络的输入，提取特征后输入全连接层进行真假帧的判别；
方案三：采用本申请的技术方案；
不同方案的检测精度如表1所示：
表1不同方案的检测精度(％)
方案一 方案二 方案三
检测精度 80.69 89.22 99.26
从表1可以看出，采用本申请的技术方案可以获得更优的检测精度。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种深度视频插帧检测方法，其特征在于，包括如下步骤：
S1:提取视频帧序列中的双向光流及帧间运动异常区域，将双向光流输入ParNet网络提取局部特征，利用运动注意力机制关注帧间运动异常区域，增强篡改特征；
S2:提取视频帧序列中的单帧运动异常区域输入Transformer网络进行信息重组，将关联较强的信息聚合以凸显篡改痕迹，提取全局特征；
S3:将所述局部特征和所述全局特征聚合后输入全连接层进行分类，输出真假帧的分类结果。
2.根据权利要求1所述的深度视频插帧检测方法，其特征在于，视频帧序列表示为：{F1,F2…Fi…FN}，其中Fi表示第i个视频帧，N表示视频帧总数。
3.根据权利要求2所述的深度视频插帧检测方法，其特征在于，视频帧序列中双向光流的提取过程为：
采用PWC-Net网络获取时序上连续两帧的光流，运算的过程为：
Figure FDA0003961078730000011
Figure FDA0003961078730000012
Figure FDA0003961078730000013
式中，j∈{1,2…N-1}，
Figure FDA0003961078730000014
表示第j个视频帧的前向光流，
Figure FDA0003961078730000015
表示第j个视频帧的后向光流,
Figure FDA0003961078730000016
表示第j个视频帧的双向光流，Net(·)表示采用PWC-Net网络进行光流提取操作。
4.根据权利要求2所述的深度视频插帧检测方法，其特征在于，帧间运动异常区域的提取过程为：
构建ConvGRU_Z网络，对所述视频帧序列{F1,F2…Fi…FN}中每一帧的下一帧进行预测，得到预测帧序列{F1′，F2′…Fi′…F′N}；
将所述预测帧序列{F1′，F2′…Fi′…F′N}中的最后一帧F′N与所述视频帧序列{F1,F2…Fi…FN}中的第一帧F1作差，得到帧间异常区域，运算过程表示为：EME＝(F′N-F1)
式中，EME表示帧间运动异常区域。
5.根据权利要求4所述的深度视频插帧检测方法，其特征在于，所述ConvGRU_Z网络包括多个依次连接的预测单元，所述预测单元包括编码器和解码器，所述编码器包括四个依次设置的编码单元，每个所述编码单元均包括一个卷积模块及一个第一GRU模块，所述卷积模块和所述GRU模块的核尺寸均为3×3，步长为2，填充为1；所述解码器包括四个依次设置的解码单元，每个所述解码单元均包括一个第二GRU模块和一个反卷积模块，所述第二GRU模块和所述反卷积模块的核尺寸为4×4，步长为2，填充为1。
6.根据权利要求5所述的深度视频插帧检测方法，其特征在于，所述ConvGRU_Z网络的预测过程为：
选取所述视频帧序列{F1,F2…Fi…FN}中的连续多帧{Fn,Fn+1…Fn+k…Fn+m}作为输入帧，送入所述ConvGRU_Z网络；
将所述输入帧中的帧Fn作为第一个所述预测单元的输入，输出对下一帧Fn+1的预测帧F′n；
计算预测帧F′n关于帧Fn+1的对称扭曲帧
Figure FDA0003961078730000021
将对称扭曲帧
Figure FDA0003961078730000022
作为第二个所述预测单元的输入，输出对下一帧Fn+2的预测帧F′n+1，其中，
Figure FDA0003961078730000023
以此类推，计算前一个预测单元输出的预测帧F′n+k-1关于帧Fn+k的对称扭曲帧
Figure FDA0003961078730000024
将对称扭曲帧
Figure FDA0003961078730000025
作为当前预测单元的输入，输出对下一帧的预测帧F′n+k，其中，
Figure FDA0003961078730000026
多次迭代，直至输出对Fn+m帧下一帧的预测，完成对连续多帧{Fn,Fn+1…Fn+k…Fn+m}的预测；
调整连续多帧{Fn,Fn+1…Fn+k…Fn+m}的取值范围，完成对整个视频帧序列{F1,F2…Fi…FN}的预测。
7.根据权利要求1所述的深度视频插帧检测方法，其特征在于，所述ParNet网络包括三个并行的子网络，每个子网络用于处理不同分辨率的特征，每个所述子网络的末端连接一个运动注意力机制，所述运动注意力机制由两个卷积层串联而成，第一个卷积层的卷积核尺寸为3×3、步长为1、填充为1，由Relu函数激活；第二个卷积层的卷积核尺寸为1×1、步长为1、填充为0，由Sigmoid函数激活；三个所述子网络在所述ParNet网络的后期融合；
三个所述子网络末端的运动注意力机制的特征图的通道数分别为90、180、180。
8.根据权利要求6所述的深度视频插帧检测方法，其特征在于，单帧运动异常区域的提取过程为：
利用所述ConvGRU_Z网络进行预测，将任意视频帧Fi与对下一帧的预测帧Fi′作差获得单帧运动异常区域Si，运算过程表示为：
Si＝Fi-Fi′。
9.一种深度视频插帧检测装置，其特征在于，包括：
局部特征提取模块:提取视频帧序列中的双向光流及帧间运动异常区域，将双向光流输入ParNet网络提取局部特征，利用运动注意力机制关注帧间运动异常区域，增强篡改特征；
全局特征提取模块:提取视频帧序列中的单帧运动异常区域输入Transformer网络进行信息重组，将关联较强的信息聚合以凸显篡改痕迹，提取全局特征；
判别模块:将所述局部特征和所述全局特征聚合后输入全连接层进行分类，输出真假帧的分类结果。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-8任一项所述的方法。
CN202211480029.5A 2022-11-24 2022-11-24 深度视频插帧检测方法、装置及计算机可读存储介质 Pending CN115909160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211480029.5A CN115909160A (zh) 2022-11-24 2022-11-24 深度视频插帧检测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211480029.5A CN115909160A (zh) 2022-11-24 2022-11-24 深度视频插帧检测方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115909160A true CN115909160A (zh) 2023-04-04

Family

ID=86489162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211480029.5A Pending CN115909160A (zh) 2022-11-24 2022-11-24 深度视频插帧检测方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115909160A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524408A (zh) * 2023-05-09 2023-08-01 山东省人工智能研究院 基于面部特征增强以及光流评估的虚假视频检测方法
CN117409354A (zh) * 2023-12-11 2024-01-16 山东建筑大学 基于三路视频流和上下文感知的视频异常检测方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524408A (zh) * 2023-05-09 2023-08-01 山东省人工智能研究院 基于面部特征增强以及光流评估的虚假视频检测方法
CN116524408B (zh) * 2023-05-09 2024-02-02 山东省人工智能研究院 基于面部特征增强以及光流评估的虚假视频检测方法
CN117409354A (zh) * 2023-12-11 2024-01-16 山东建筑大学 基于三路视频流和上下文感知的视频异常检测方法及系统
CN117409354B (zh) * 2023-12-11 2024-03-22 山东建筑大学 基于三路视频流和上下文感知的视频异常检测方法及系统

Similar Documents

Publication Publication Date Title
Sabir et al. Recurrent convolutional strategies for face manipulation detection in videos
CN115909160A (zh) 深度视频插帧检测方法、装置及计算机可读存储介质
CN111260560B (zh) 一种融合注意力机制的多帧视频超分辨率方法
CN112150450B (zh) 一种基于双通道U-Net模型的图像篡改检测方法及装置
Yang et al. NTIRE 2022 challenge on super-resolution and quality enhancement of compressed video: Dataset, methods and results
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN112434608B (zh) 一种基于双流结合网络的人体行为识别方法及系统
CN111787187B (zh) 利用深度卷积神经网络进行视频修复的方法、系统、终端
CN113538243B (zh) 基于多视差注意力模块组合的超分辨图像重建方法
WO2024040973A1 (zh) 一种基于堆叠沙漏网络的多尺度融合去雾方法
CN112507920A (zh) 一种基于时间位移和注意力机制的考试异常行为识别方法
CN114092774A (zh) 基于信息流融合的rgb-t图像显著性检测系统及检测方法
Jeong et al. Visual comfort assessment of stereoscopic images using deep visual and disparity features based on human attention
CN114912575B (zh) 基于连接Swin Transformer通路的医学图像分割模型及方法
CN115713680A (zh) 一种基于语义引导的人脸图像身份合成方法
Dai et al. HEVC video steganalysis based on PU maps and multi-scale convolutional residual network
Liu et al. When epipolar constraint meets non-local operators in multi-view stereo
CN113034401A (zh) 视频去噪方法及装置、存储介质及电子设备
US20240062347A1 (en) Multi-scale fusion defogging method based on stacked hourglass network
Yang et al. Blind VQA on 360° video via progressively learning from pixels, frames, and video
CN115984106B (zh) 一种基于双边生成对抗网络的线扫描图像超分辨率方法
Liu et al. Progressive knowledge transfer based on human visual perception mechanism for perceptual quality assessment of point clouds
Lu et al. BH-VQA: Blind High Frame Rate Video Quality Assessment
CN114596609A (zh) 一种视听伪造检测方法及装置
CN112132835A (zh) 基于SeFa和人工智能的光伏轨道相机果冻效应分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination