CN111212291A - 基于dfl-cnn网络的视频帧内对象移除篡改检测方法 - Google Patents
基于dfl-cnn网络的视频帧内对象移除篡改检测方法 Download PDFInfo
- Publication number
- CN111212291A CN111212291A CN202010038350.2A CN202010038350A CN111212291A CN 111212291 A CN111212291 A CN 111212291A CN 202010038350 A CN202010038350 A CN 202010038350A CN 111212291 A CN111212291 A CN 111212291A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- dfl
- cnn network
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于DFL‑CNN网络的视频帧内对象移除篡改检测方法,通过构建DFL‑CNN网络,DFL‑CNN网络整合视频的全局卷积特征以及二次滤波分别得到的局部卷积特征用于进行视频帧内对象移除篡改检测;获取视频训练集及视频测试集,输入视频训练集到DFL‑CNN网络进行训练,得到训练完毕的DFL‑CNN网络;输入视频测试集到训练完毕的DFL‑CNN网络进行检测,输出视频帧内对象移除篡改检测结果。本发明方法降低了预处理过程的复杂度,通过构建DFL‑CNN网络提取视频更有判决力的局部特征进行预测分类从而提高视频帧内对象移除篡改检测结果的准确度。本发明方法具有计算度简单、检测准确率高的优点。
Description
技术领域
本发明涉及视频标注技术领域,尤其涉及基于DFL-CNN网络的视频帧内对象移除篡改检测方法。
背景技术
随着互联网技术和移动终端设备的快速发展,数字视频在人们的生活中已经必不可少,数据量已呈现爆炸式增长,且司法证据已经越来越受到重视。然而,随着各种视频编辑软件等多媒体处理技术的发展,使得人们更容易的篡改数字视频和图像,导致多媒体信息的不可靠。考虑到人眼对视频中的运动物体更为敏感,因而篡改的常见形式是基于运动物体的篡改,例如对视频中某一帧帧内区域复制-粘贴到同一段视频中的某一帧或连续多帧的某一区域这种篡改模式,即单帧同源视频复制-粘贴篡改方法。
目前,在Tan等人提出的方法中,Tan等人采用共谋残差算法得到视频帧序列的运动残差图像,将基于对象的视频篡改检测巧妙地转化为基于运动残差的图像篡改检测。Tan使用了最初为频域图像隐写分析而构建的CC-PEV特征提取器来提取运动残差图像中的隐写特征,利用图像隐写算法来检测运动残差图像是否被篡改,以此达到检测篡改视频帧的目的。但Tan等人的方法存在计算度复杂且检测准确率偏低的缺点。
接着,Yao等人提出一种基于深度学习的视频对象移除篡改检测方法,该方法对视频序列进行预处理时,首先将视频序列经过前处理转换为灰度差分图像,通过最大值池化减小卷积的计算量、通过高通滤波增强图像的差值信号;然后用非对称的图像子块划分策略得到数量相近的正样本和负样本;最后基于深度学习理论训练CNN神经网络模型。用训练得到的网络模型,测试待检测的视频序列的每一个视频图像帧,得出待检测视频序列每一帧是否存在视频对象移除篡改的判定结果。然而,该方法采用的网络结构为较为简单基础的传统CNN网络模型,且预处理过程较为复杂,适用性较低。
综上所述,现有的视频对象移除篡改检测方法存在准确度低及适用性差的问题。
发明内容
本发明为解决现有的视频对象移除篡改检测方法存在准确度低及适用性差的问题,提供了一种基于DFL-CNN网络的视频帧内对象移除篡改检测方法。
为实现以上发明目的,而采用的技术手段是:
基于DFL-CNN(Discriminative Filter Learning-Convolutional NeuralNetworks)网络的视频帧内对象移除篡改检测方法,包括以下步骤:
S1.构建DFL-CNN网络,所述DFL-CNN网络整合视频的全局卷积特征以及二次滤波分别得到的局部卷积特征用于进行视频帧内对象移除篡改检测;
S2.获取视频训练集及视频测试集,输入所述视频训练集到DFL-CNN网络进行训练,得到训练完毕的DFL-CNN网络;
S3.输入所述视频测试集到训练完毕的DFL-CNN网络进行检测,输出视频帧内对象移除篡改检测结果。
优选的,步骤S1所述的DFL-CNN网络具体为:所述DFL-CNN网络为不对称多分支结构,包括依次连接的卷积层一至卷积层四,卷积层四的输出端分别连接有卷积层五以及卷积层六的输入端,所述卷积层五的输出端依次连接有全连接层一和损失层一,所述卷积层六的输出端依次连接有全局最大池化层、全连接层二和损失层二;所述全局最大池化层的输出端还依次连接有跨多通道池化层、全连接层三和损失层三;所述损失层一至损失层三输出的损失值求和得到总损失作为所述DFL-CNN网络的输出。
在本优选方案中,DFL-CNN网络是一个端到端的弱监督网络,它具有以下优点:(1)结构简单,易于搭建、训练;(2)集成的特征二次滤波方式大大增强了传统的CNN网络的特征提取能力;(3)整体的非对称多分支网络结构同时组合了模型的局部和全局信息,使检测更加精确。由于视频篡改检测往往只对视频中某一段视频帧进行篡改,篡改区域通常出现在篡改视频帧的局部区域,因此提取更有判决力的局部特征是提高视频篡改检测准确率的关键。
优选的,步骤S2所述获取视频训练集及视频测试集包括以下步骤:
S21.获取视频数据集,采用帧间差分法获取视频的灰度差分图像帧;
S22.采用共谋算法消除灰度差分图像帧中的随机噪声,得到去噪灰度差分图像帧序列;
S23.统计所述视频数据集中各视频的去噪灰度差分图像帧序列的平均像素值,当一个视频的去噪灰度差分图像帧序列的平均像素值大于等于预设阈值T时,则判定该视频为原始视频,反之则判定为篡改视频;
S24.将判定得到的篡改视频划分为视频训练集及视频测试集,并采用非对称图像分块方法对篡改视频的去噪灰度差分图像帧序列进行数据增强处理,从而将篡改视频的每个图像帧划分为多个具有预设定尺寸大小的图像子块;所述篡改视频的去噪灰度差分图像帧序列中每个图像帧标记为未篡改视频帧或篡改视频帧,每个未篡改视频帧包含的图像子块均赋予负标签,每个篡改视频帧包含的图像子块均赋予正标签。
优选的,所述步骤S21具体为:
设待预处理视频为Q,则其图像帧序列定义为:
Q={F1,…,Fi,…,FN}
其中i∈{1,2,3,…,N},Fi表示第i个图像帧,N表示视频Q所包含的图像帧总数量;
采用帧间差分法获取图像帧的灰度差分图像帧:
Aj=abs(Gray(Fj)-Gray(Fj-1))
其中j∈{2,3,…,N},Aj表示第j个灰度差分图像帧,abs(·)表示绝对值操作,Gray(·)表示图像灰度化操作。
由于视频帧内篡改往往是对视频序列中的某一区域进行擦除、复制和掩盖等操作,因此在视频序列中,两帧之间往往存在大量的冗余信息,这些冗余信息会增加算法复杂度,妨碍算法挖掘篡改特征。因此在本优选方案中采用帧间差分法去除帧间冗余信息,提高算法性能。
优选的,所述步骤S22具体为:
设通过高通滤波器后的灰度差分图像帧序列表示如下式:
B={V1,…,Vi,…,VN}
其中i∈{1,2,3,…,N},Vi表示第i个灰度差分图像帧,N表示灰度差分图像帧的总数目;设共谋窗口大小为L=2s+1,s为以Vi为中心点的左右两边的图像帧数;
采用共谋算法消除随机噪声表示为:
Ci=θ(Vi-s,…,Vi,…,Vi+s)
其中θ(·)为共谋运算,Ci为第i帧共谋运算后的结果,将Ci通过一个3×3的平滑滤波器,并做二值化处理,以此得到去噪灰度差分图像帧序列D:
D={E1,E2,E3,…,EN};
其中表示EN第N个去噪灰度差分图像帧。
视频在拍摄、压缩的过程中会引入随机噪声,因此,经过高通滤波器后的灰度差分图像帧会存在噪声空洞。原始视频的灰度差分图像帧的噪声空洞数量少、面积小,而篡改视频的灰度差分图像帧噪声空洞数量多且面积大。由于篡改视频帧中的某一区域经过篡改或修复等操作,其灰度差分图像帧往往存在大片的连通空洞。显然,不同类型的灰度差分图像帧在经过高通滤波后,其空洞数量、大小以及分布状况均存在着明显的差异。为了进一步突出篡改痕迹,清除篡改区域以外的黑色空洞,在本优选方案中采用了共谋算法来消除这种随机噪声。
优选的,步骤S24所述采用非对称图像分块方法对篡改视频的图像帧序列进行数据增强处理具体为:
对于篡改视频中的每个未篡改视频帧,将其去噪灰度差分图像帧划分为左、中、右三个预设大小的图像子块,分别为第一图像子块,第二图像子块,第三图像子块;对于篡改视频中的每个篡改视频帧,将其中的被篡改区域用矩形块标记,点R为矩形中心点,然后将每个篡改视频帧的去噪灰度差分图像帧剪切为M个图像子块,分别为第一图像子块,第二图像子块,...,第M图像子块;其中每一图像子块必须包含所述矩形中心点R。
由于对每个篡改视频进行篡改操作时,只对视频中某一段视频帧进行篡改,因此每个篡改视频帧序列中包含了两类帧——未篡改视频帧和篡改视频帧。每段篡改视频大约有250帧,而篡改帧往往只有100帧,约占总帧数的40%。训练样本中未篡改帧与篡改帧的分布不均衡,将会导致网络欠拟合,降低识别准确率。为了获得相似数量的正负样本,在本优选方案中采用非对称图像分块方法对数据集进行数据增强。
优选的,步骤S2所述的输入所述视频训练集到DFL-CNN网络进行训练,得到训练完毕的DFL-CNN网络具体为:输入所述视频训练集到DFL-CNN网络,所述DFL-CNN网络的全连接层一至全连接三分别输出两个分类概率值,一个是视频训练集中图像子块属于正标签的概率值,另一个是该图像子块属于负标签的概率值,所述总损失输出该图像子块的真实标签与全连接层输出的分类概率值的差异值;图像子块的正负标签和全连接层输出的图像子块所属的分类概率值之间的差异值;当所述差异值在预设阈值范围内时,得到训练完毕的DFL-CNN网络。
优选的,所述步骤S3具体为:
将所述视频测试集中划分好的图像子块依次输入到训练完毕的DFL-CNN网络中进行检测,用全连接层依次计算各图像子块属于正标签、负标签的概率值;若该图像子块属于正标签的概率值大于属于负标签的概率值时,则判定该图像子块为被篡改块;若该图像子块属于正标签的概率值小于属于负标签的概率值时,则判定该图像子块为未篡改块;
对于视频测试集中每一图像帧被划分好的三个图像子块,只要其中有一个被判定为被篡改块,则该图像帧被标记为篡改视频帧;若三个图像子块都被判定为未篡改块,则该图像帧被标记为未篡改视频帧;
所述视频测试集中每个图像帧包含的每个图像子块依次完成判别后,输出视频测试集中每个图像帧是否为被篡改视频帧的预测分类结果,即为视频帧内对象移除篡改检测结果。
优选的,所述步骤S3还包括对输出视频帧内对象移除篡改检测结果进行后处理操作:设置大小为P的滑动窗口,在同一滑动窗口中标记为被篡改视频帧的数量用Q表示,则P-Q为同一滑动窗口中未篡改视频帧数量;在后处理过程中,若Q≥q,则把滑动窗口中标记为未篡改视频帧的所有视频帧改变为被篡改视频帧;相反,若Q≤P-q,则滑动窗口中标记为被篡改视频帧改变为未篡改视频帧;其中q为正整数;
对视频测试集中每个图像帧依次执行上述后处理操作,输出所述DFL-CNN网络对每一图像帧的最终判定结果,并与其真实标签进行比对,输出最终的视频篡改检测准确率。
优选的,所述视频篡改检测准确率的计算包括:
其中Tp表示被DFL-CNN网络判定为正标签的正样本,即判断为真的准确率;TN表示被DFL-CNN网络判定为负标签的负样本,即判断为假的准确率;Fp表示被DFL-CNN网络判定为正标签的负样本,即误报率;FN表示被DFL-CNN网络判定为负标签的正样本,即漏报率;Precision表示被DFL-CNN网络判定为正标签中的正样本的比例,即精确度;Recall表示被DFL-CNN网络判定为正标签的占总的正样本的比例,即召回率;Accuracy表示DFL-CNN网络的总检测准确率。
与现有技术相比,本发明技术方案的有益效果是:
本发明的基于DFL-CNN网络的视频帧内对象移除篡改检测方法通过采用帧间差分法去除帧间冗余信息,降低了预处理过程的复杂度,通过构建DFL-CNN网络提取视频更有判决力的局部特征进行预测分类从而提高视频帧内对象移除篡改检测结果的准确度。本发明方法具有计算度简单、检测准确率高的优点。
附图说明
图1为本发明的流程图。
图2为实施例中DFL-CNN网络的模型结构图。
图3为实施例中未篡改视频的剪切分块方法示意图。
图4为实施例中篡改视频的剪切分块方法示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
本实施例提供了一种基于DFL-CNN网络的视频帧内对象移除篡改检测方法,如图1所示,包括以下步骤:
S1.构建DFL-CNN网络,所述DFL-CNN网络整合视频的全局卷积特征以及二次滤波分别得到的局部卷积特征用于进行视频帧内对象移除篡改检测;
S2.获取视频训练集及视频测试集,输入所述视频训练集到DFL-CNN网络进行训练,得到训练完毕的DFL-CNN网络;
S3.输入所述视频测试集到训练完毕的DFL-CNN网络进行检测,输出视频帧内对象移除篡改检测结果。
下面对以上各个步骤进行详细说明。
在步骤S1中:
所构建的DFL-CNN网络为不对称多分支结构,如图2所示,包括依次连接的卷积层一至卷积层四,卷积层四的输出端分别连接有卷积层五以及卷积层六的输入端,所述卷积层五的输出端依次连接有全连接层一和损失层一,所述卷积层六的输出端依次连接有全局最大池化层、全连接层二和损失层二;所述全局最大池化层的输出端还依次连接有跨多通道池化层、全连接层三和损失层三;所述损失层一至损失层三输出的损失值求和得到总损失作为所述DFL-CNN网络的输出。(图2中标示的卷积层1即对应卷积层一,全连接层1即对应全连接层一,损失层1即对应损失层一,以此类推)。
如图2所示,在本实施例中运用VGG-16作为骨干网络线性组合整个卷积特征图来编码全局信息,即图2中的左分支网络结构;与此同时,采用了集成的特征二次滤波方式来逐层次提取和编码局部信息。首先选取VGG-16较高层卷积层提取的特征块作为图2中的中间分支网络结构的输入,通过多个1×1卷积核生成注意力特征图进行全局特征的首次滤波,最后通过全局最大池化层整合注意力特征图得到首次滤波后的局部特征。然后构建跨多通道池化层对首次滤波后的局部特征进行二次滤波,再次提高局部特征的精细度。综上,整合全局卷积特征和二次滤波分别得到的局部卷积特征用于视频篡改检测。
在步骤S2中:
首先要对用于训练或检测的视频进行如下的预处理:
S21.获取视频数据集,采用帧间差分法获取视频的灰度差分图像帧。
这是由于视频帧内篡改往往是对视频序列中的某一区域进行擦除、复制和掩盖等操作。因此在视频序列中,两帧之间往往存在大量的冗余信息。这些冗余信息会增加算法复杂度,妨碍算法挖掘篡改特征。在预处理阶段,采用帧间差分法获取视频的灰度差分图像帧,以去除帧间冗余信息,提高算法性能。
摄像机采集的视频序列具有连续性的特点。若场景内没有运动目标,则连续帧的变化很微弱,若存在运动目标,则连续的帧和帧之间会有明显地变化。帧间差分法就是借鉴了上述思想。由于场景中的目标在运动,目标的影像在不同图像帧中的位置不同。帧间差分法对时间上连续的两帧图像进行差分运算,不同帧对应的像素点相减,判断灰度差的绝对值,以此获得视频帧差图像。即步骤S21具体为:
设待预处理视频为Q,则其图像帧序列定义为:
Q={F1,…,Fi,…,FN}
其中i∈{1,2,3,…,N},Fi表示第i个图像帧,N表示视频Q所包含的图像帧总数量;
采用帧间差分法获取图像帧的灰度差分图像帧:
Aj=abs(Gray(Fj)-Gray(Fj-1))
其中j∈{2,3,…,N},Aj表示第j个灰度差分图像帧,abs(·)表示绝对值操作,Gray(·)表示图像灰度化操作。
S22.采用共谋算法消除灰度差分图像帧中的随机噪声,得到去噪灰度差分图像帧序列。
由于视频在拍摄、压缩的过程中会引入随机噪声,因此,经过高通滤波器后的灰度差分图像帧会存在噪声空洞。原始视频的灰度差分图像帧的噪声空洞数量少、面积小,而篡改视频的灰度差分图像帧噪声空洞数量多且面积大。由于篡改视频帧中的某一区域经过篡改或修复等操作,其灰度差分图像帧往往存在大片的连通空洞。显然,不同类型的灰度差分图像帧在经过高通滤波后,其空洞数量、大小以及分布状况均存在着明显的差异。为了进一步突出篡改痕迹,清除篡改区域以外的黑色空洞,该步骤采用了共谋算法来消除这种随机噪声。在本实施例中,步骤S22具体为:
设通过高通滤波器后的灰度差分图像帧序列表示如下式:
B={V1,…,Vi,…,VN}
其中i∈{1,2,3,…,N},Vi表示第i个灰度差分图像帧,N表示灰度差分图像帧的总数目;设共谋窗口大小为L=2s+1,s为以Vi为中心点的左右两边的图像帧数;
采用共谋算法消除随机噪声表示为:
Ci=θ(Vi-s,…,Vi,…,Vi+s)
其中θ(·)为共谋运算,Ci为第i帧共谋运算后的结果,将Ci通过一个3×3的平滑滤波器,并做二值化处理,以此得到去噪灰度差分图像帧序列D:
D={E1,E2,E3,…,EN};
其中表示EN第N个去噪灰度差分图像帧。
S23.统计所述视频数据集中各视频的去噪灰度差分图像帧序列的平均像素值,当一个视频的去噪灰度差分图像帧序列的平均像素值大于等于预设阈值T时,则判定该视频为原始视频,反之则判定为篡改视频;在本实施例中,阈值T预设为230。
数据集的大小是决定模型性能的关键因素。原则上,训练数据量越大,网络模型拟合非线性函数的能力越强,识别准确率越高。在本实施例的数据库中,由于对每个篡改视频进行篡改操作时,只对视频中某一段视频帧进行篡改,因此每个篡改视频帧序列中包含了两类帧——未篡改视频帧和篡改视频帧。每段篡改视频大约有250帧,而篡改帧往往只有100帧,约占总帧数的40%。训练样本中未篡改帧与篡改帧的分布不均衡,将会导致网络欠拟合,降低识别准确率。为了获得相似数量的正负样本,本实施例进行以下步骤S24的数据增强处理。
S24.将判定得到的篡改视频划分为视频训练集及视频测试集,对于篡改视频中的每个未篡改视频帧,将其去噪灰度差分图像帧划分为左、中、右三个预设大小的图像子块,分别为第一图像子块,第二图像子块,第三图像子块;在本实施例中,每个去噪灰度差分图像帧的尺寸为1280×720,则可划分为3个等大的图像子块。对于篡改视频中的每个篡改视频帧,将其中的被篡改区域用矩形块标记,点R为矩形中心点,然后将每个篡改视频帧的去噪灰度差分图像帧剪切为M个图像子块,分别为第一图像子块,第二图像子块,...,第M图像子块;其中每一图像子块必须包含所述矩形中心点R。对未篡改视频帧与篡改视频帧的剪切分块方式分别如图3和图4所示(图中标示的图像子块1即对应第一图像子块,图像子块2即对应第二图像子块,以此类推)。
另外,对于篡改视频的去噪灰度差分图像帧序列中每个图像帧标记为未篡改视频帧或篡改视频帧,每个未篡改视频帧包含的图像子块均赋予负标签,每个篡改视频帧包含的图像子块均赋予正标签。
在本实施例中,共选用100个篡改视频作为数据集,其中50个视频作为视频训练集,其余50个视频作为视频测试集。
输入视频训练集到DFL-CNN网络,所述DFL-CNN网络的全连接层一至全连接三分别输出两个分类概率值,其中一个分类概率值是视频训练集中图像子块属于正标签的概率值,另一个分类概率值是该图像子块属于负标签的概率值,所述总损失输出该图像子块的真实标签与全连接层输出的分类概率值的差异值;图像子块的正负标签和全连接层输出的图像子块所属的分类概率值之间的差异值;当所述差异值在预设阈值范围内时,得到训练完毕的DFL-CNN网络。
在步骤S3中:
将所述视频测试集中划分好的图像子块依次输入到训练完毕的DFL-CNN网络中进行检测,用全连接层依次计算各图像子块属于正标签、负标签的概率值;若该图像子块属于正标签的概率值大于属于负标签的概率值时,则判定该图像子块为被篡改块;若该图像子块属于正标签的概率值小于属于负标签的概率值时,则判定该图像子块为未篡改块;
对于视频测试集中每一图像帧被划分好的三个图像子块,只要其中有一个被判定为被篡改块,则该图像帧被标记为篡改视频帧;若三个图像子块都被判定为未篡改块,则该图像帧被标记为未篡改视频帧;
所述视频测试集中每个图像帧包含的每个图像子块依次完成判别后,输出视频测试集中每个图像帧是否为被篡改视频帧的预测分类结果,即为视频帧内对象移除篡改检测结果。
为了获得更准确的分类结果,本实施例中对输出的检测结果进行了一个简单的后处理操作,该后处理操作采用不重叠的滑动窗口来精确分类判定,具体如下:
设置大小为P=10的滑动窗口,在同一滑动窗口中标记为被篡改视频帧的数量用Q表示,则P-Q为同一滑动窗口中未篡改视频帧数量;在后处理过程中,若Q≥7,则把滑动窗口中标记为未篡改视频帧的所有视频帧改变为被篡改视频帧;相反,若Q≤3,则滑动窗口中标记为被篡改视频帧改变为未篡改视频帧;对视频测试集中每个图像帧依次执行上述后处理操作,输出所述DFL-CNN网络对每一图像帧的最终判定结果,并与其真实标签进行比对,输出最终的视频篡改检测准确率;
视频篡改检测准确率公式包括:
其中Tp表示被DFL-CNN网络判定为正标签的正样本,即判断为真的准确率;TN表示被DFL-CNN网络判定为负标签的负样本,即判断为假的准确率;Fp表示被DFL-CNN网络判定为正标签的负样本,即误报率;FN表示被DFL-CNN网络判定为负标签的正样本,即漏报率;Precision表示被DFL-CNN网络判定为正标签中的正样本的比例,即精确度;Recall表示被DFL-CNN网络判定为正标签的占总的正样本的比例,即召回率;Accuracy表示DFL-CNN网络的总检测准确率。
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.基于DFL-CNN网络的视频帧内对象移除篡改检测方法,其特征在于,包括以下步骤:
S1.构建DFL-CNN网络,所述DFL-CNN网络整合视频的全局卷积特征以及二次滤波分别得到的局部卷积特征用于进行视频帧内对象移除篡改检测;
S2.获取视频训练集及视频测试集,输入所述视频训练集到DFL-CNN网络进行训练,得到训练完毕的DFL-CNN网络;
S3.输入所述视频测试集到训练完毕的DFL-CNN网络进行检测,输出视频帧内对象移除篡改检测结果。
2.根据权利要求1所述的基于DFL-CNN网络的视频帧内对象移除篡改检测方法,其特征在于,步骤S1所述的DFL-CNN网络具体为:所述DFL-CNN网络为不对称多分支结构,包括依次连接的卷积层一至卷积层四,卷积层四的输出端分别连接有卷积层五以及卷积层六的输入端,所述卷积层五的输出端依次连接有全连接层一和损失层一,所述卷积层六的输出端依次连接有全局最大池化层、全连接层二和损失层二;所述全局最大池化层的输出端还依次连接有跨多通道池化层、全连接层三和损失层三;所述损失层一至损失层三输出的损失值求和得到总损失作为所述DFL-CNN网络的输出。
3.根据权利要求2所述的基于DFL-CNN网络的视频帧内对象移除篡改检测方法,其特征在于,步骤S2所述获取视频训练集及视频测试集包括以下步骤:
S21.获取视频数据集,采用帧间差分法获取视频的灰度差分图像帧;
S22.采用共谋算法消除灰度差分图像帧中的随机噪声,得到去噪灰度差分图像帧序列;
S23.统计所述视频数据集中各视频的去噪灰度差分图像帧序列的平均像素值,当一个视频的去噪灰度差分图像帧序列的平均像素值大于等于预设阈值T时,则判定该视频为原始视频,反之则判定为篡改视频;
S24.将判定得到的篡改视频划分为视频训练集及视频测试集,并采用非对称图像分块方法对篡改视频的去噪灰度差分图像帧序列进行数据增强处理,从而将篡改视频的每个图像帧划分为多个具有预设定尺寸大小的图像子块;所述篡改视频的去噪灰度差分图像帧序列中每个图像帧标记为未篡改视频帧或篡改视频帧,每个未篡改视频帧包含的图像子块均赋予负标签,每个篡改视频帧包含的图像子块均赋予正标签。
4.根据权利要求3所述的基于DFL-CNN网络的视频帧内对象移除篡改检测方法,其特征在于,所述步骤S21具体为:
设待预处理视频为Q,则其图像帧序列定义为:
Q={F1,…,Fi,…,FN}
其中i∈{1,2,3,…,N},Fi表示第i个图像帧,N表示视频Q所包含的图像帧总数量;
采用帧间差分法获取图像帧的灰度差分图像帧:
Aj=abs(Gray(Fj)-Gray(Fj-1))
其中j∈{2,3,…,N},Aj表示第j个灰度差分图像帧,abs(·)表示绝对值操作,Gray(·)表示图像灰度化操作。
5.根据权利要求4所述的基于DFL-CNN网络的视频帧内对象移除篡改检测方法,其特征在于,所述步骤S22具体为:
设通过高通滤波器后的灰度差分图像帧序列表示如下式:
B={V1,…,Vi,…,VN}
其中i∈{1,2,3,…,N},Vi表示第i个灰度差分图像帧,N表示灰度差分图像帧的总数目;设共谋窗口大小为L=2s+1,s为以Vi为中心点的左右两边的图像帧数;
采用共谋算法消除随机噪声表示为:
Ci=θ(Vi-s,…,Vi,…,Vi+s)
其中θ(·)为共谋运算,Ci为第i帧共谋运算后的结果,将Ci通过一个3×3的平滑滤波器,并做二值化处理,以此得到去噪灰度差分图像帧序列D:
D={E1,E2,E3,…,EN};
其中表示EN第N个去噪灰度差分图像帧。
6.根据权利要求5所述的基于DFL-CNN网络的视频帧内对象移除篡改检测方法,其特征在于,步骤S24所述采用非对称图像分块方法对篡改视频的图像帧序列进行数据增强处理具体为:
对于篡改视频中的每个未篡改视频帧,将其去噪灰度差分图像帧划分为左、中、右三个预设大小的图像子块,分别为第一图像子块,第二图像子块,第三图像子块;对于篡改视频中的每个篡改视频帧,将其中的被篡改区域用矩形块标记,点R为矩形中心点,然后将每个篡改视频帧的去噪灰度差分图像帧剪切为M个图像子块,分别为第一图像子块,第二图像子块,...,第M图像子块;其中每一图像子块必须包含所述矩形中心点R。
7.根据权利要求6所述的基于DFL-CNN网络的视频帧内对象移除篡改检测方法,其特征在于,步骤S2所述的输入所述视频训练集到DFL-CNN网络进行训练,得到训练完毕的DFL-CNN网络具体为:输入所述视频训练集到DFL-CNN网络,所述DFL-CNN网络的全连接层一至全连接三分别输出两个分类概率值,一个是视频训练集中图像子块属于正标签的概率值,另一个是该图像子块属于负标签的概率值,所述总损失输出该图像子块的真实标签与全连接层输出的分类概率值的差异值;图像子块的正负标签和全连接层输出的图像子块所属的分类概率值之间的差异值;当所述差异值在预设阈值范围内时,得到训练完毕的DFL-CNN网络。
8.根据权利要求7所述的基于DFL-CNN网络的视频帧内对象移除篡改检测方法,其特征在于,所述步骤S3具体为:
将所述视频测试集中划分好的图像子块依次输入到训练完毕的DFL-CNN网络中进行检测,用全连接层依次计算各图像子块属于正标签、负标签的概率值;若该图像子块属于正标签的概率值大于属于负标签的概率值时,则判定该图像子块为被篡改块;若该图像子块属于正标签的概率值小于属于负标签的概率值时,则判定该图像子块为未篡改块;
对于视频测试集中每一图像帧被划分好的三个图像子块,只要其中有一个被判定为被篡改块,则该图像帧被标记为篡改视频帧;若三个图像子块都被判定为未篡改块,则该图像帧被标记为未篡改视频帧;
所述视频测试集中每个图像帧包含的每个图像子块依次完成判别后,输出视频测试集中每个图像帧是否为被篡改视频帧的预测分类结果,即为视频帧内对象移除篡改检测结果。
9.根据权利要求8所述的基于DFL-CNN网络的视频帧内对象移除篡改检测方法,其特征在于,所述步骤S3还包括对输出视频帧内对象移除篡改检测结果进行后处理操作:设置大小为P的滑动窗口,在同一滑动窗口中标记为被篡改视频帧的数量用Q表示,则P-Q为同一滑动窗口中未篡改视频帧数量;在后处理过程中,若Q≥q,则把滑动窗口中标记为未篡改视频帧的所有视频帧改变为被篡改视频帧;若Q≤P-q,则滑动窗口中标记为被篡改视频帧改变为未篡改视频帧;其中q为正整数;
对视频测试集中每个图像帧依次执行上述后处理操作,输出所述DFL-CNN网络对每一图像帧的最终判定结果,并与其真实标签进行比对,输出最终的视频篡改检测准确率。
10.根据权利要求9所述的基于DFL-CNN网络的视频帧内对象移除篡改检测方法,其特征在于,所述视频篡改检测准确率的计算包括:
其中Tp表示被DFL-CNN网络判定为正标签的正样本,即判断为真的准确率;TN表示被DFL-CNN网络判定为负标签的负样本,即判断为假的准确率;Fp表示被DFL-CNN网络判定为正标签的负样本,即误报率;FN表示被DFL-CNN网络判定为负标签的正样本,即漏报率;Precision表示被DFL-CNN网络判定为正标签中的正样本的比例,即精确度;Recall表示被DFL-CNN网络判定为正标签的占总的正样本的比例,即召回率;Accuracy表示DFL-CNN网络的总检测准确率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010038350.2A CN111212291A (zh) | 2020-01-14 | 2020-01-14 | 基于dfl-cnn网络的视频帧内对象移除篡改检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010038350.2A CN111212291A (zh) | 2020-01-14 | 2020-01-14 | 基于dfl-cnn网络的视频帧内对象移除篡改检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111212291A true CN111212291A (zh) | 2020-05-29 |
Family
ID=70787428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010038350.2A Pending CN111212291A (zh) | 2020-01-14 | 2020-01-14 | 基于dfl-cnn网络的视频帧内对象移除篡改检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111212291A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112785480A (zh) * | 2021-03-15 | 2021-05-11 | 河北工业大学 | 基于频域变换和残差反馈模块的图像拼接篡改检测方法 |
CN112883890A (zh) * | 2021-03-02 | 2021-06-01 | 中山大学 | 基于ACBlock的深度卷积神经网络信息取证方法 |
CN116912184A (zh) * | 2023-06-30 | 2023-10-20 | 哈尔滨工业大学 | 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统 |
JP7441815B2 (ja) | 2020-08-28 | 2024-03-01 | アクシス アーベー | ビデオの真正性を判定するための方法およびデバイス |
CN117911410A (zh) * | 2024-03-19 | 2024-04-19 | 华南农业大学 | 一种视频对象移除篡改检测方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180101751A1 (en) * | 2016-10-10 | 2018-04-12 | Insurance Services Office Inc. | Systems and methods for detection and localization of image and document forgery |
CN108961243A (zh) * | 2018-07-05 | 2018-12-07 | 广东工业大学 | 一种基于机器学习的篡改视频标注方法及装置 |
CN109191444A (zh) * | 2018-08-29 | 2019-01-11 | 广东工业大学 | 基于深度残差网络的视频区域移除篡改检测方法及装置 |
CN109657600A (zh) * | 2018-12-14 | 2019-04-19 | 广东工业大学 | 一种视频区域移除篡改检测方法和装置 |
KR101993266B1 (ko) * | 2018-12-19 | 2019-06-26 | 주식회사 로민 | 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법 |
CN110009621A (zh) * | 2019-04-02 | 2019-07-12 | 广东工业大学 | 一种篡改视频检测方法、装置、设备及可读存储介质 |
CN110610185A (zh) * | 2018-06-15 | 2019-12-24 | 阿里巴巴集团控股有限公司 | 图像的显著目标的检测方法、装置及设备 |
-
2020
- 2020-01-14 CN CN202010038350.2A patent/CN111212291A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180101751A1 (en) * | 2016-10-10 | 2018-04-12 | Insurance Services Office Inc. | Systems and methods for detection and localization of image and document forgery |
CN110610185A (zh) * | 2018-06-15 | 2019-12-24 | 阿里巴巴集团控股有限公司 | 图像的显著目标的检测方法、装置及设备 |
CN108961243A (zh) * | 2018-07-05 | 2018-12-07 | 广东工业大学 | 一种基于机器学习的篡改视频标注方法及装置 |
CN109191444A (zh) * | 2018-08-29 | 2019-01-11 | 广东工业大学 | 基于深度残差网络的视频区域移除篡改检测方法及装置 |
CN109657600A (zh) * | 2018-12-14 | 2019-04-19 | 广东工业大学 | 一种视频区域移除篡改检测方法和装置 |
KR101993266B1 (ko) * | 2018-12-19 | 2019-06-26 | 주식회사 로민 | 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법 |
CN110009621A (zh) * | 2019-04-02 | 2019-07-12 | 广东工业大学 | 一种篡改视频检测方法、装置、设备及可读存储介质 |
Non-Patent Citations (3)
Title |
---|
YAMING WANG等: "Learning a Discriminative Filter Bank Within a CNN for Fine-Grained Recognition", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
YE YAO ET AL.: "Deep Learning for Detection of Object-Based Forgery in Advanced Video", 《SYMMETRY-BASEL》 * |
危博: "基于Inception-V3网络的双阶段数字视频篡改检测算法", 《广东工业大学学报》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7441815B2 (ja) | 2020-08-28 | 2024-03-01 | アクシス アーベー | ビデオの真正性を判定するための方法およびデバイス |
CN112883890A (zh) * | 2021-03-02 | 2021-06-01 | 中山大学 | 基于ACBlock的深度卷积神经网络信息取证方法 |
CN112883890B (zh) * | 2021-03-02 | 2022-08-12 | 中山大学 | 基于ACBlock的深度卷积神经网络信息取证方法 |
CN112785480A (zh) * | 2021-03-15 | 2021-05-11 | 河北工业大学 | 基于频域变换和残差反馈模块的图像拼接篡改检测方法 |
CN112785480B (zh) * | 2021-03-15 | 2022-05-03 | 河北工业大学 | 基于频域变换和残差反馈模块的图像拼接篡改检测方法 |
CN116912184A (zh) * | 2023-06-30 | 2023-10-20 | 哈尔滨工业大学 | 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统 |
CN116912184B (zh) * | 2023-06-30 | 2024-02-23 | 哈尔滨工业大学 | 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统 |
CN117911410A (zh) * | 2024-03-19 | 2024-04-19 | 华南农业大学 | 一种视频对象移除篡改检测方法及系统 |
CN117911410B (zh) * | 2024-03-19 | 2024-06-14 | 华南农业大学 | 一种视频对象移除篡改检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111212291A (zh) | 基于dfl-cnn网络的视频帧内对象移除篡改检测方法 | |
CN111353395B (zh) | 一种基于长短期记忆网络的换脸视频检测方法 | |
CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
CN111445454B (zh) | 一种图像真伪鉴别方法及其在证照识别中的应用 | |
CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
CN112907598B (zh) | 一种基于注意力cnn文档证件类图像篡改检测方法 | |
CN111339883A (zh) | 复杂场景下基于人工智能的变电站内异常行为识别与检测方法 | |
CN113536972B (zh) | 一种基于目标域伪标签的自监督跨域人群计数方法 | |
CN101971190A (zh) | 实时身体分割系统 | |
CN109982071B (zh) | 基于时空复杂性度量及局部预测残差分布的hevc双压缩视频检测方法 | |
CN112597928B (zh) | 一种事件检测方法及相关装置 | |
Zhu et al. | Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks | |
CN110569755A (zh) | 一种基于视频的智能积水检测方法 | |
CN112561951A (zh) | 一种基于帧差绝对误差和sad的运动和亮度检测方法 | |
CN112801037A (zh) | 一种基于连续帧间差异的人脸篡改检测方法 | |
CN110121109A (zh) | 面向监控系统数字视频实时溯源方法、城市视频监控系统 | |
CN109660814B (zh) | 一种视频前景删除篡改的检测方法 | |
CN110223273A (zh) | 一种结合离散余弦变换与神经网络的图像修复取证方法 | |
CN114005019A (zh) | 一种翻拍图像识别方法及其相关设备 | |
CN113869433A (zh) | 一种对混凝土损伤进行快速检测和分类的深度学习方法 | |
CN102592151B (zh) | 一种数字图像中值滤波的盲检测方法 | |
Xia et al. | Abnormal event detection method in surveillance video based on temporal CNN and sparse optical flow | |
CN111008601A (zh) | 一种基于视频的打架斗殴检测方法 | |
CN115984378A (zh) | 一种轨道异物检测方法、装置、设备及介质 | |
CN112183310B (zh) | 冗余监控画面过滤及无效监控画面筛选的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200529 |