CN109657600B - 一种视频区域移除篡改检测方法和装置 - Google Patents

一种视频区域移除篡改检测方法和装置 Download PDF

Info

Publication number
CN109657600B
CN109657600B CN201811533691.6A CN201811533691A CN109657600B CN 109657600 B CN109657600 B CN 109657600B CN 201811533691 A CN201811533691 A CN 201811533691A CN 109657600 B CN109657600 B CN 109657600B
Authority
CN
China
Prior art keywords
video
image
tampered
network model
gin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811533691.6A
Other languages
English (en)
Other versions
CN109657600A (zh
Inventor
翁韶伟
易林
危博
叶武剑
刘怡俊
张子文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201811533691.6A priority Critical patent/CN109657600B/zh
Publication of CN109657600A publication Critical patent/CN109657600A/zh
Application granted granted Critical
Publication of CN109657600B publication Critical patent/CN109657600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请公开了一种视频区域移除篡改检测方法和装置，通过构建七层结构的GIN网络模型，对GIN网络模型进行训练优化，再将待检测视频数据集输入到优化GIN网络模型中检测，检测结果准确度高，适用性强，解决了现有的视频篡改检测方法检测准确性不高和适用性较低的技术问题。

Description

一种视频区域移除篡改检测方法和装置
技术领域
本申请涉及多媒体信息安全技术领域，尤其涉及一种视频区域移除篡改检测方法和装置。
背景技术
随着计算机和互联网技术的快速发展，越来越多越来越快速的各类视频传播软件和视频编辑软件得到普及使用，篡改视频的方法和途径也越来越多样化，而在保护个人隐私和法律取证等方面，视频被篡改将起到不利的作用，因此，对视频篡改检测技术的研究是本领域技术人员的一个重要方向。
现有技术中对视频篡改检测的方法是对视频进行解析并提取帧信息，将帧信息与数据库中的对比帧信息进行比对，以实现对被篡改视频的检测，但是这种检测方式虽然比较简单，但是检测准确度不高；或者是通过光流法计算视频帧图像的每个相邻帧间运动信息，再计算相邻帧光流变化率，并利用快速傅里叶变换进行频谱分析，根据频谱图的最大幅值与平均幅值的比值判别视频是否经过帧率上转篡改的方式来实现对篡改检测，这种检测方式虽然能保证一定的准确性，但是算法复杂，适用性较低。
发明内容
本申请实施例提供了一种视频区域移除篡改检测方法和装置，解决了现有的视频篡改检测方法检测准确性不高和适用性较低的技术问题。
有鉴于此，本申请第一方面提供了一种视频区域移除篡改检测方法，包括：
构建GIN网络模型，所述GIN网络模型包括七层，依次为：第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、Inception块层、均值池化层和全连接层；
根据视频训练集和视频测试集对所述GIN网络模型进行模型训练，输出优化后的优化GIN网络模型；
将待检测视频数据集输入所述优化GIN网络模型进行检测，输出检测结果，所述检测结果包括：未被篡改和被篡改。
优选地，所述第一卷积层包括三个第一图像卷积层，所述第一图像卷积层的卷积核大小为3×3，三个所述图像卷积层的步长分别为3、1和1；
所述第一最大池化层的卷积核大小为3×3，步长为2；
所述第二卷积层包括两个第二图像卷积层，两个所述第二图像卷积层的卷积核大小分别为1×1和3×3，步长均为1；
所述第二最大池化层的卷积核大小为3×3，步长为1；
所述Inception块层包括11个Inception结构块；
所述均值池化层的卷积核大小为13×13，步长为1。
优选地，所述根据视频训练集和视频测试集对所述GIN网络模型进行模型训练，输出优化后的优化GIN网络模型，之前还包括：
获取原始视频数据集和篡改视频数据集，对所述原始视频数据集和所述篡改视频数据集进行预处理后，将所述原始视频数据集和所述篡改视频数据集分为视频训练集和视频测试集，对所述预处理后的所述原始视频数据集赋予负标签，对所述预处理后的所述篡改数据集赋予正标签，其中，所述篡改视频数据集与所述原始视频数据集一一对应。
优选地，所述预处理具体包括：
将视频中的图像数据帧转换为灰度图像帧，图像尺寸规范化为M×N，其中，M为图像的宽度，N为图像的高度；
根据帧间差分法，将所述灰度图像帧转换为对应的灰度差分图像帧；
根据非对称图像分块法，将每个所述灰度差分图像帧划分为若干个具有预置尺寸大小的图像子块。
优选地，所述对所述预处理后的所述原始视频数据集赋予负标签，对所述预处理后的所述篡改数据集赋予正标签，具体包括：
将所述原始视频数据集的多个原始视频序列对应的所述灰度差分图像帧均标记为原始视频帧，将所述篡改视频数据集的多个篡改视频序列对应的所述灰度差分图像帧均标记为篡改视频帧，每个所述原始视频帧包含的所述图像子块均赋予负标签，每个所述篡改视频帧包含的所述图像子块均赋予正标签。
优选地，所述根据视频训练集和视频测试集对所述GIN网络模型进行模型训练，输出优化后的优化GIN网络模型，具体包括：
根据所述视频训练集对所述GIN网络模型进行训练，输出检测分类的损失值，根据所述损失值判定当前的所述GIN网络模型的检测效果，调整所述GIN网络模型的网络参数优化所述GIN网络模型，直至所述检测分类的准确度大于等于预设阈值时，停止训练并输出训练后的训练GIN网络模型；
根据所述视频测试集对所述训练GIN网络模型进行测试，输出篡改检测准确率，判断所述篡改检测准确率是否大于等于准确率阈值，若是，停止测试并输出优化GIN网络模型，否则，重复对所述GIN网络模型进行训练和测试。
优选地，所述篡改检测准确率的计算公式为：
其中，Accuracy为网络模型的总检测准确率，即篡改检测准确率；Tp为被网络模型判定为正的正样本，即判断为真的准确率；TN为被网络模型判定为负的负样本，即判断为假的准确率；Fp为被网络模型判定为正的负样本，即误报率；FN为被网络模型判定为负的正样本，即漏报率。
优选地，所述将待检测视频数据集输入所述优化GIN网络模型进行检测，输出检测结果，之后还包括：
计算预设窗口大小的滑动窗口内所述篡改视频帧的数量和所述原始视频帧的数量，若所述篡改视频帧的数量大于等于预置数量，将所述滑动窗口中标记为原始视频帧的所有帧更换为篡改视频帧，对所述滑动窗口中每个所述篡改视频帧包含的所述图像子块均赋予新正标签，否则，将所述滑动窗口中标记为篡改视频帧的所有帧更换为原始视频帧，对所述滑动窗口中每个所述原始视频帧包含的所述图像子块均赋予新负标签；
输出每一图像帧的判定结果，将所述新正标签与所述正标签进行比对，将所述新负标签与所述负标签进行比对，输出新视频篡改检测准确率。
本申请第二方面还提供了一种视频区域移除篡改检测装置，包括：
建模模块，用于构建GIN网络模型，所述GIN网络模型包括七层，依次为：第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、Inception块层、均值池化层和全连接层；
优化模块，用于根据视频训练集和视频测试集对所述GIN网络模型进行模型训练，输出优化后的优化GIN网络模型；
检测模块，用于将待检测视频数据集输入所述优化GIN网络模型进行检测，输出检测结果，所述检测结果包括：未被篡改和被篡改。
优选地，所述装置还包括：
获取模块，用于获取原始视频数据集和篡改视频数据集，对所述原始视频数据集和所述篡改视频数据集进行预处理后，将所述原始视频数据集和所述篡改视频数据集分为视频训练集和视频测试集，对所述预处理后的所述原始视频数据集赋予负标签，对所述预处理后的所述篡改数据集赋予正标签，其中，所述篡改视频数据集与所述原始视频数据集一一对应；
第一后处理模块，用于计算预设窗口大小的滑动窗口内所述篡改视频帧的数量和所述原始视频帧的数量，若所述篡改视频帧的数量大于等于预置数量，将所述滑动窗口中标记为原始视频帧的所有帧更换为篡改视频帧，对所述滑动窗口中每个所述篡改视频帧包含的所述图像子块均赋予新正标签，否则，将所述滑动窗口中标记为篡改视频帧的所有帧更换为原始视频帧，对所述滑动窗口中每个所述原始视频帧包含的所述图像子块均赋予新负标签；
第二后处理模块，用于输出每一图像帧的判定结果，将所述新正标签与所述正标签进行比对，将所述新负标签与所述负标签进行比对，输出新视频篡改检测准确率。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请中，提供了一种视频区域移除篡改检测方法，包括：构建GIN网络模型，GIN网络模型包括七层，依次为：第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、Inception块层、均值池化层和全连接层；根据视频训练集和视频测试集对GIN网络模型进行模型训练，输出优化后的优化GIN网络模型；将待检测视频数据集输入优化GIN网络模型进行检测，输出检测结果，检测结果包括：未被篡改和被篡改。GIN网络模型是深度学习的神经网络模型，能够高效地利用计算资源，在相同的计算量下提取到更多的特征，提升训练结果，本申请提供的方法，通过构建七层结构的GIN网络模型，对GIN网络模型进行训练优化，再将待检测视频数据集输入到优化GIN网络模型中检测，检测结果准确度高，适用性强，解决了现有的视频篡改检测方法检测准确性不高和适用性较低的技术问题。
附图说明
图1为本申请实施例中的一种视频区域移除篡改检测方法的流程示意图；
图2为本申请实施例中的一种视频区域移除篡改检测方法另一流程示意图；
图3为本申请实施例中的一种视频区域移除篡改检测装置的结构示意图；
图4为本申请实施例中的未篡改图像帧分块方法示意图；
图5为本申请实施例中的被篡改图像帧分块方法示意图；
图6为本申请实施例中GIN网络模型的结构示意图；
图7为本申请实施例中Inception块1或块2或块3的结构示意图；
图8为本申请实施例中Inception块4的结构示意图；
图9为本申请实施例中Inception块5或块6或块7或块8的结构示意图；
图10为本申请实施例中Inception块9的结构示意图；
图11为本申请实施例中Inception块10或块11的结构示意图；
图12为本申请实施例中第一卷积层的结构示意图；
图13为本申请实施例中第二卷积层的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请实施例中一种视频区域移除篡改检测方法，包括：
步骤101、构建GIN网络模型，GIN网络模型包括七层，依次为：第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、Inception块层、均值池化层和全连接层。
需要说明的是，GIN(Google Inception Net)网络模型主要由很多个Inception结构层层堆叠而成，Google团队提出利用Inception结构来将稀疏矩阵聚类为较为密集的子矩阵，以此来提高计算性能。本申请实施例中，首先建立具有七层结构的GIN网络模型。
步骤102、根据视频训练集和视频测试集对GIN网络模型进行模型训练，输出优化后的优化GIN网络模型。
需要说明的是，本申请实施例中，视频训练集和视频测试集包含多个原始视频序列和篡改视频序列，原始视频序列和篡改视频序列一一对应。
步骤103、将待检测视频数据集输入优化GIN网络模型进行检测，输出检测结果，检测结果包括：未被篡改和被篡改。
需要说明的是，本申请实施例中，完成GIN网络模型优化之后，可以将待检测视频数据集输入优化GIN网络模型进行检测，输出检测结果，若待检测视频数据被篡改，则输出结果为被篡改，若待检测视频数据未被篡改，则输出结果为未被篡改。
本申请实施例中，提供了一种视频区域移除篡改检测方法，包括：构建GIN网络模型，GIN网络模型包括七层，依次为：第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、Inception块层、均值池化层和全连接层；根据视频训练集和视频测试集对GIN网络模型进行模型训练，输出优化后的优化GIN网络模型；将待检测视频数据集输入优化GIN网络模型进行检测，输出检测结果，检测结果包括：未被篡改和被篡改。GIN网络模型是深度学习的神经网络模型，能够高效地利用计算资源，在相同的计算量下提取到更多的特征，提升训练结果，本申请提供的方法，通过构建七层结构的GIN网络模型，对GIN网络模型进行训练优化，再将待检测视频数据集输入到优化GIN网络模型中检测，检测结果准确度高，适用性强，解决了现有的视频篡改检测方法检测准确性不高和适用性较低的技术问题。
为了便于理解，请参阅图2，本申请实施例中另一种视频区域移除篡改检测方法，包括：
步骤201、获取原始视频数据集和篡改视频数据集，对原始视频数据集和篡改视频数据集进行预处理后，将原始视频数据集和篡改视频数据集分为视频训练集和视频测试集，对预处理后的原始视频数据集赋予负标签，对预处理后的篡改数据集赋予正标签，其中，篡改视频数据集与原始视频数据集一一对应。
进一步地，预处理具体包括：
将视频中的图像数据帧转换为灰度图像帧，图像尺寸规范化为M×N，其中，M为图像的宽度，N为图像的高度；
根据帧间差分法，将灰度图像帧转换为对应的灰度差分图像帧；
根据非对称图像分块法，将每个灰度差分图像帧划分为若干个具有预置尺寸大小的图像子块。
需要说明的是，本申请实施例中，获取100个原始视频作为原始视频数据集和与之对应的100个篡改视频作为篡改视频数据集，将这100对视频全部转换为视频序列，视频序列指的是有时空联系的多个视频图像按照一定顺序的排列，每幅图像为该视频序列的一帧X，共有Y帧，即Y＝{Xi}，i∈{1…n}，其中n为帧数。将视频图像帧转换为灰度图像帧，图像尺寸规范化为1280×720：视频序列中的图像帧均为彩色图像，为了提高运算速度降低计算量，则需对视频图像帧进行灰度化处理。灰度化处理过程就是使彩色图像的R、G、B分量值相等的过程，由于R、G、B分量的取值范围是0～255，所以灰度的级别只有256级，即灰度图像仅能表现256种颜色。在本实施例中采用加权平均值法对视频图像帧进行灰度化：根据重要性或其他指标给R、G、B赋予不同的权值，并使R、G、B的值加权平均，即：
R＝G＝B＝(WrR+WgG+WbB)/3；
其中Wr、Wg、Wb分别为R、G、B的权值，Wr、Wg、Wb取不同的值就会形成不同的灰度图像。
完成预处理之后，在100个原始视频和100个篡改视频中，各选取50个视频作为视频训练集，剩余的50对视频作为视频测试集，使用帧间差分法将视频序列中的每一灰度图像帧转换为灰度差分图像帧：帧间差分法是一种通过对视频图像序列的连续两帧图像做差分运算获取运动目标轮廓的方法。当监控场景中出现异常目标运动时，相邻两帧之间会出现较为明显的差别，两帧相减，求得图像对应位置像素值差的绝对值，进而分析视频或图像序列的物体运动特性。其数学公式描述如下：
R(x,y)＝|I(x,y)-B(x,y)|
其中R(x,y)为灰度差分图像帧，I(x,y)为当前图像帧，B(x,y)为当前图像帧的前一帧。
使用非对称图像分块方法对数据集进行数据增强：由于原始视频序列中的所有视频帧均为原始视频帧，但在篡改视频序列中存在原始视频帧和篡改视频帧，因此原始视频帧的数量会远远多于被篡改的视频帧数量，为了在网络训练过程中获得相似数量的正负样本，本申请实施例采用非对称图像分块方法对数据集进行数据增强。将每个灰度图像帧转换为相对应的灰度差分图像帧后，对视频训练集和视频测试集分别进行分块处理：对于视频训练集中的原始视频序列和所有视频测试集，如图4所示，将视频训练集中的原始视频序列和所有视频测试集中的每个灰度差分图像帧划分为左、中、右三个等大的图像子块，分别为图像子块1，图像子块2，图像子块3。在本实施例中，每个灰度差分图像帧的尺寸为1280×720，则可划分为三个等大的720×720的图像子块；对于视频训练集中的篡改视频序列，如图5所示，将视频训练集中的篡改视频序列中每个灰度差分图像帧的被篡改区域用矩形块R标记，然后将被篡改图像视频帧剪切为m个图像子块，分别为图像子块1，图像子块2，…，图像子块m，每一图像子块必须包含矩形中心点。
步骤202、将原始视频数据集的多个原始视频序列对应的灰度差分图像帧均标记为原始视频帧，将篡改视频数据集的多个篡改视频序列对应的灰度差分图像帧均标记为篡改视频帧，每个原始视频帧包含的图像子块均赋予负标签，每个篡改视频帧包含的图像子块均赋予正标签。
需要说明的是，本申请实施例中，将数据集中的每个视频序列划分为多个具有设定尺寸大小的图像子块，每个原始视频序列中的每个灰度差分图像帧均标记为原始视频帧，每个篡改视频序列中的每个灰度差分图像帧标记为原始视频帧或者被篡改视频帧，每个原始视频帧包含的图像子块均赋予负标签，每个被篡改视频帧包含的图像子块均赋予正标签。
步骤203、构建GIN网络模型，GIN网络模型包括七层，依次为：第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、Inception块层、均值池化层和全连接层。
进一步地，第一卷积层包括三个第一图像卷积层，第一图像卷积层的卷积核大小为3×3，三个图像卷积层的步长分别为3、1和1；
第一最大池化层的卷积核大小为3×3，步长为2；
第二卷积层包括两个第二图像卷积层，两个第二图像卷积层的卷积核大小分别为1×1和3×3，步长均为1；
第二最大池化层的卷积核大小为3×3，步长为1；
Inception块层包括11个Inception结构块；
均值池化层的卷积核大小为13×13，步长为1
需要说明的是，本申请实施例中，GIN网络模型的结构示意图如图6所示，第一层为第一卷积层，如图12所示，共包含三个图像卷积层，卷积核大小均为3×3，步长分别为3、1、1。经过卷积后，输出的图像子块大小由原来的720×720变为120×120，特征图(FeatureMap)的数量为64；第二层为第一最大值池化层，将经过卷积后的视频训练集进行最大值池化处理，最大值池化层指的是在接收到的输入数据上进行一个取最大值的处理，目的是使得特征减少，参数减少，降低计算量。在本实施例中，最大值池化层卷积核大小为3×3，步长为2，经过该最大值池化操作后，输出的图像子块大小由原来的120×120变为60×60；第三层为第二卷积层，如图13所示，共包含两个图像卷积层，卷积核大小分别为1×1、3×3，步长均为1，经过卷积后，输出的图像子块大小仍为60×60，输出特征图数量为192；第四层为第二最大值池化层，卷积核大小为3×3，步长为1；第五层为Inception块层，共包含11个Inception结构块，如图7至图11所示，经过Inception块层操作后，输出特征图数量为2048；第六层为均值池化层。在本实施例中，均值池化层卷积核尺寸为13×13，步长为1，经过均值池化操作之后输出2048维的特征向量；第七层为全连接层，用全连接层依次计算输入的每个2048维的特征向量分别属于正标签和负标签的概率值。
步骤204、根据视频训练集对GIN网络模型进行训练，输出检测分类的损失值，根据损失值判定当前的GIN网络模型的检测效果，调整GIN网络模型的网络参数优化GIN网络模型，直至检测分类的准确度大于等于预设阈值时，停止训练并输出训练后的训练GIN网络模型。
需要说明的是，本申请实施例中，将全连接层输出的概率值同视频训练集的真实标签进行比对，计算网络模型输出分类的损失，损失值指的是图像子块的正负标签和全连接层输出的图像子块所属的分类概率值之间的差异。网络模型根据这些损失值判定当前的GIN网络模型的检测效果，并以此来调整网络中的参数达到优化模型的目的。当模型达到设定的分类精确度时，则停止训练，输出训练好的GIN网络模型。
步骤205、根据视频测试集对训练GIN网络模型进行测试，输出篡改检测准确率，判断篡改检测准确率是否大于等于准确率阈值，若是，停止测试并输出优化GIN网络模型，否则，重复对GIN网络模型进行训练和测试。
进一步地，篡改检测准确率的计算公式为：
其中，Accuracy为网络模型的总检测准确率，即篡改检测准确率；Tp为被网络模型判定为正的正样本，即判断为真的准确率；TN为被网络模型判定为负的负样本，即判断为假的准确率；Fp为被网络模型判定为正的负样本，即误报率；FN为被网络模型判定为负的正样本，即漏报率。
需要说明的是，本申请实施例中，将视频测试集中划分好的图像子块依次输入到训练好的GIN网络模型中进行检测，输出每个图像子块所对应的2048维特征向量，全连接层依次计算视频测试集中每个图像子块所对应的2048维特征向量属于每个分类的概率值。对于每个图像子块，全连接层会输出两个概率值，一个是该图像子块属于正样本标签的概率值，另一个是该图像子块属于负样本标签的概率值。若该图像子块属于正样本标签的概率值大于属于负样本标签的概率值，则判定该图像子块为被篡改块；若该图像子块属于正样本标签的概率值小于属于负样本标签的概率值，则判定该图像子块为未篡改块。
若视频测试集中的某一视频图像帧被划分好的三个图像子块中，只要有一个被判定为被篡改块，则该视频图像帧被标记为被篡改视频帧；相反，若三个都被判定为未篡改块，则该视频图像帧被标记为原始视频帧。
本申请实施例中，可以计算被网络模型判定为正例中的正样本的比例，即精确度为：计算被网络模型判定为正例中的占总的正样本的比例，即召回率为/>篡改检测准确率，即网络模型的总检测准确率的计算公式为其中Tp为被网络模型判定为正的正样本，即判断为真的准确率；TN为被网络模型判定为负的负样本，即判断为假的准确率；Fp为被网络模型判定为正的负样本，即误报率；FN为被网络模型判定为负的正样本，即漏报率；Precision为被网络模型判定为正例中的正样本的比例，即精确度；Recall为被网络模型判定为正例的占总的正样本的比例，即召回率；Accuracy为网络模型的总检测准确率。
步骤206、计算预设窗口大小的滑动窗口内篡改视频帧的数量和原始视频帧的数量，若篡改视频帧的数量大于等于预置数量，将滑动窗口中标记为原始视频帧的所有帧更换为篡改视频帧，对滑动窗口中每个篡改视频帧包含的图像子块均赋予新正标签，否则，将滑动窗口中标记为篡改视频帧的所有帧更换为原始视频帧，对滑动窗口中每个原始视频帧包含的图像子块均赋予新负标签。
步骤207、输出每一图像帧的判定结果，将新正标签与正标签进行比对，将新负标签与负标签进行比对，输出新视频篡改检测准确率。
需要说明的是，本申请实施例中，为了获得更准确的分类结果，本实施例中对输出的篡改检测准确率进行了一个简单的后处理操作。滑动窗口的大小用L表示，在同一滑动窗口中标记为被篡改视频帧的数量用T表示，因此L-T为同一滑动窗口中原始视频帧数量。在此实施例中，设L＝10，在后处理过程中，如果T≥7，则把滑动窗口中标记为原始视频帧的所有视频帧改变为被篡改视频帧；相反，如果T≤3，则滑动窗口中标记为被篡改视频帧改变为原始视频帧。依次执行上述步骤，输出优化GIN网络模型对每一图像帧的最终判定结果，并同初始正负标签进行比对，输出最终的视频篡改检测准确率。
本申请实施例还提供了一种视频区域移除篡改检测装置，包括：
建模模块301，用于构建GIN网络模型，GIN网络模型包括七层，依次为：第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、Inception块层、均值池化层和全连接层。
优化模块302，用于根据视频训练集和视频测试集对GIN网络模型进行模型训练，输出优化后的优化GIN网络模型。
检测模块303，用于将待检测视频数据集输入优化GIN网络模型进行检测，输出检测结果，检测结果包括：未被篡改和被篡改。
获取模块304，用于获取原始视频数据集和篡改视频数据集，对原始视频数据集和篡改视频数据集进行预处理后，将原始视频数据集和篡改视频数据集分为视频训练集和视频测试集，对预处理后的原始视频数据集赋予负标签，对预处理后的篡改数据集赋予正标签，其中，篡改视频数据集与原始视频数据集一一对应。
第一后处理模块305，用于计算预设窗口大小的滑动窗口内篡改视频帧的数量和原始视频帧的数量，若篡改视频帧的数量大于等于预置数量，将滑动窗口中标记为原始视频帧的所有帧更换为篡改视频帧，对滑动窗口中每个篡改视频帧包含的图像子块均赋予新正标签，否则，将滑动窗口中标记为篡改视频帧的所有帧更换为原始视频帧，对滑动窗口中每个原始视频帧包含的图像子块均赋予新负标签。
第二后处理模块306，用于输出每一图像帧的判定结果，将新正标签与正标签进行比对，将新负标签与负标签进行比对，输出新视频篡改检测准确率。
进一步地，第一卷积层包括三个第一图像卷积层，第一图像卷积层的卷积核大小为3×3，三个图像卷积层的步长分别为3、1和1；
第一最大池化层的卷积核大小为3×3，步长为2；
第二卷积层包括两个第二图像卷积层，两个第二图像卷积层的卷积核大小分别为1×1和3×3，步长均为1；
第二最大池化层的卷积核大小为3×3，步长为1；
Inception块层包括11个Inception结构块；
均值池化层的卷积核大小为13×13，步长为1。
进一步地，预处理具体包括：
将视频中的图像数据帧转换为灰度图像帧，图像尺寸规范化为M×N，其中，M为图像的宽度，N为图像的高度；
根据帧间差分法，将灰度图像帧转换为对应的灰度差分图像帧；
根据非对称图像分块法，将每个灰度差分图像帧划分为若干个具有预置尺寸大小的图像子块。
进一步地，对预处理后的原始视频数据集赋予负标签，对预处理后的篡改数据集赋予正标签，具体包括：
将原始视频数据集的多个原始视频序列对应的灰度差分图像帧均标记为原始视频帧，将篡改视频数据集的多个篡改视频序列对应的灰度差分图像帧均标记为篡改视频帧，每个原始视频帧包含的图像子块均赋予负标签，每个篡改视频帧包含的图像子块均赋予正标签。
进一步地，优化模块302具体包括：第一优化模块3021和第二优化模块3022；
第一优化模块3021，用于根据视频训练集对GIN网络模型进行训练，输出检测分类的损失值，根据损失值判定当前的GIN网络模型的检测效果，调整GIN网络模型的网络参数优化GIN网络模型，直至检测分类的准确度大于等于预设阈值时，停止训练并输出训练后的训练GIN网络模型。
第二优化模块3022，用于根据视频测试集对训练GIN网络模型进行测试，输出篡改检测准确率，判断篡改检测准确率是否大于等于准确率阈值，若是，停止测试并输出优化GIN网络模型，否则，重复对GIN网络模型进行训练和测试。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种视频区域移除篡改检测方法，其特征在于，包括：
构建GIN网络模型，所述GIN网络模型包括七层，依次为：第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、Inception块层、均值池化层和全连接层；
根据视频训练集和视频测试集对所述GIN网络模型进行模型训练，输出优化后的优化GIN网络模型；
将待检测视频数据集输入所述优化GIN网络模型进行检测，输出检测结果，所述检测结果包括：未被篡改和被篡改；
所述根据视频训练集和视频测试集对所述GIN网络模型进行模型训练，输出优化后的优化GIN网络模型，之前还包括：
获取原始视频数据集和篡改视频数据集，对所述原始视频数据集和所述篡改视频数据集进行预处理；
所述预处理具体包括：
将视频中的图像数据帧转换为灰度图像帧，图像尺寸规范化为M×N，其中，M为图像的宽度，N为图像的高度；
根据帧间差分法，将所述灰度图像帧转换为对应的灰度差分图像帧；
根据非对称图像分块法，将每个所述灰度差分图像帧划分为若干个具有预置尺寸大小的图像子块；
所述根据非对称图像分块法，将每个所述灰度差分图像帧划分为若干个具有预置尺寸大小的图像子块，具体包括：将所述视频训练集中的原始视频序列和所有所述视频测试集中的每个灰度差分图像帧划分为左、中和右三个等大的图像子块；将所述视频测试集中的篡改视频序列中的每个灰度差分图像帧的被篡改区域用矩形块标记；
所述将待检测视频数据集输入所述优化GIN网络模型进行检测，输出检测结果，之后还包括：
计算预设窗口大小的滑动窗口内所述篡改视频帧的数量和所述原始视频帧的数量，若所述篡改视频帧的数量大于等于预置数量，将所述滑动窗口中标记为原始视频帧的所有帧更换为篡改视频帧，对所述滑动窗口中每个所述篡改视频帧包含的所述图像子块均赋予新正标签，否则，将所述滑动窗口中标记为篡改视频帧的所有帧更换为原始视频帧，对所述滑动窗口中每个所述原始视频帧包含的所述图像子块均赋予新负标签；
输出每一图像帧的判定结果，将所述新正标签与所述正标签进行比对，将所述新负标签与所述负标签进行比对，输出新视频篡改检测准确率。
2.根据权利要求1所述的视频区域移除篡改检测方法，其特征在于，所述第一卷积层包括三个第一图像卷积层，所述第一图像卷积层的卷积核大小为3×3，三个所述图像卷积层的步长分别为3、1和1；
所述第一最大池化层的卷积核大小为3×3，步长为2；
所述第二卷积层包括两个第二图像卷积层，两个所述第二图像卷积层的卷积核大小分别为1×1和3×3，步长均为1；
所述第二最大池化层的卷积核大小为3×3，步长为1；
所述Inception块层包括11个Inception结构块；
所述均值池化层的卷积核大小为13×13，步长为1。
3.根据权利要求1所述的视频区域移除篡改检测方法，其特征在于，所述根据视频训练集和视频测试集对所述GIN网络模型进行模型训练，输出优化后的优化GIN网络模型，之前还包括：
将所述原始视频数据集和所述篡改视频数据集分为视频训练集和视频测试集，对所述预处理后的所述原始视频数据集赋予负标签，对所述预处理后的所述篡改视频数据集赋予正标签，其中，所述篡改视频数据集与所述原始视频数据集一一对应。
4.根据权利要求1所述的视频区域移除篡改检测方法，其特征在于，所述对所述预处理后的所述原始视频数据集赋予负标签，对所述预处理后的所述篡改视频数据集赋予正标签，具体包括：
将所述原始视频数据集的多个原始视频序列对应的所述灰度差分图像帧均标记为原始视频帧，将所述篡改视频数据集的多个篡改视频序列对应的所述灰度差分图像帧均标记为篡改视频帧，每个所述原始视频帧包含的所述图像子块均赋予负标签，每个所述篡改视频帧包含的所述图像子块均赋予正标签。
5.根据权利要求4所述的视频区域移除篡改检测方法，其特征在于，所述根据视频训练集和视频测试集对所述GIN网络模型进行模型训练，输出优化后的优化GIN网络模型，具体包括：
根据所述视频训练集对所述GIN网络模型进行训练，输出检测分类的损失值，根据所述损失值判定当前的所述GIN网络模型的检测效果，调整所述GIN网络模型的网络参数优化所述GIN网络模型，直至所述检测分类的准确度大于等于预设阈值时，停止训练并输出训练后的训练GIN网络模型；
根据所述视频测试集对所述训练GIN网络模型进行测试，输出篡改检测准确率，判断所述篡改检测准确率是否大于等于准确率阈值，若是，停止测试并输出优化GIN网络模型，否则，重复对所述GIN网络模型进行训练和测试。
6.根据权利要求5所述的视频区域移除篡改检测方法，其特征在于，所述篡改检测准确率的计算公式为：
；
其中，为网络模型的总检测准确率，即篡改检测准确率；/>为被网络模型判定为正的正样本，即判断为真的准确率；/>为被网络模型判定为负的负样本，即判断为假的准确率；/>为被网络模型判定为正的负样本，即误报率；/>为被网络模型判定为负的正样本，即漏报率。
7.一种视频区域移除篡改检测装置，其特征在于，包括：
建模模块，用于构建GIN网络模型，所述GIN网络模型包括七层，依次为：第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、Inception块层、均值池化层和全连接层；
优化模块，用于根据视频训练集和视频测试集对所述GIN网络模型进行模型训练，输出优化后的优化GIN网络模型；
检测模块，用于将待检测视频数据集输入所述优化GIN网络模型进行检测，输出检测结果，所述检测结果包括：未被篡改和被篡改；
获取模块，用于获取原始视频数据集和篡改视频数据集，对所述原始视频数据集和所述篡改视频数据集进行预处理；
所述预处理具体包括：
将视频中的图像数据帧转换为灰度图像帧，图像尺寸规范化为M×N，其中，M为图像的宽度，N为图像的高度；
根据帧间差分法，将所述灰度图像帧转换为对应的灰度差分图像帧；
根据非对称图像分块法，将每个所述灰度差分图像帧划分为若干个具有预置尺寸大小的图像子块；
所述根据非对称图像分块法，将每个所述灰度差分图像帧划分为若干个具有预置尺寸大小的图像子块，具体包括：将所述视频训练集中的原始视频序列和所有所述视频测试集中的每个灰度差分图像帧划分为左、中和右三个等大的图像子块；将所述视频测试集中的篡改视频序列中的每个灰度差分图像帧的被篡改区域用矩形块标记；
第一后处理模块，用于计算预设窗口大小的滑动窗口内所述篡改视频帧的数量和所述原始视频帧的数量，若所述篡改视频帧的数量大于等于预置数量，将所述滑动窗口中标记为原始视频帧的所有帧更换为篡改视频帧，对所述滑动窗口中每个所述篡改视频帧包含的所述图像子块均赋予新正标签，否则，将所述滑动窗口中标记为篡改视频帧的所有帧更换为原始视频帧，对所述滑动窗口中每个所述原始视频帧包含的所述图像子块均赋予新负标签；
第二后处理模块，用于输出每一图像帧的判定结果，将所述新正标签与所述正标签进行比对，将所述新负标签与所述负标签进行比对，输出新视频篡改检测准确率。
8.根据权利要求7所述的视频区域移除篡改检测装置，其特征在于，
获取模块，还用于将所述原始视频数据集和所述篡改视频数据集分为视频训练集和视频测试集，对所述预处理后的所述原始视频数据集赋予负标签，对所述预处理后的所述篡改视频数据集赋予正标签，其中，所述篡改视频数据集与所述原始视频数据集一一对应。
CN201811533691.6A 2018-12-14 2018-12-14 一种视频区域移除篡改检测方法和装置 Active CN109657600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811533691.6A CN109657600B (zh) 2018-12-14 2018-12-14 一种视频区域移除篡改检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811533691.6A CN109657600B (zh) 2018-12-14 2018-12-14 一种视频区域移除篡改检测方法和装置

Publications (2)

Publication Number Publication Date
CN109657600A CN109657600A (zh) 2019-04-19
CN109657600B true CN109657600B (zh) 2024-02-27

Family

ID=66114063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811533691.6A Active CN109657600B (zh) 2018-12-14 2018-12-14 一种视频区域移除篡改检测方法和装置

Country Status (1)

Country Link
CN (1) CN109657600B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895811B (zh) * 2019-11-05 2023-05-09 泰康保险集团股份有限公司 一种图像篡改检测方法和装置
CN111212291A (zh) * 2020-01-14 2020-05-29 广东工业大学 基于dfl-cnn网络的视频帧内对象移除篡改检测方法
CN111325687B (zh) * 2020-02-14 2022-10-14 上海工程技术大学 一种基于端对端深度网络的平滑滤波取证方法
CN112261390B (zh) * 2020-08-20 2022-02-11 深圳市豪恩汽车电子装备股份有限公司 车载摄像设备及其图像优化装置和优化方法
CN112116577B (zh) * 2020-09-21 2024-01-23 公安部物证鉴定中心 一种基于深度学习的篡改人像视频检测方法及系统
CN113158818B (zh) * 2021-03-29 2023-04-07 青岛海尔科技有限公司 用于识别伪造视频的方法、装置和设备
CN113723186B (zh) * 2021-07-27 2023-06-27 北京航空航天大学 基于时空三叉戟网络的监控视频篡改检测系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839255A (zh) * 2013-12-05 2014-06-04 福建师范大学 视频抠像篡改检测方法及装置
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN107527337A (zh) * 2017-08-07 2017-12-29 杭州电子科技大学 一种基于深度学习的视频对象移除篡改检测方法
CN107657259A (zh) * 2017-09-30 2018-02-02 平安科技（深圳）有限公司 图像篡改检测方法、电子装置及可读存储介质
CN107944442A (zh) * 2017-11-09 2018-04-20 北京智芯原动科技有限公司 基于改进卷积神经网络的对象检测装置及方法
CN108320297A (zh) * 2018-03-09 2018-07-24 湖北工业大学 一种视频目标实时跟踪方法及系统
CN108492319A (zh) * 2018-03-09 2018-09-04 西安电子科技大学 基于深度全卷积神经网络的运动目标检测方法
CN108961243A (zh) * 2018-07-05 2018-12-07 广东工业大学 一种基于机器学习的篡改视频标注方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839255A (zh) * 2013-12-05 2014-06-04 福建师范大学 视频抠像篡改检测方法及装置
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN107527337A (zh) * 2017-08-07 2017-12-29 杭州电子科技大学 一种基于深度学习的视频对象移除篡改检测方法
CN107657259A (zh) * 2017-09-30 2018-02-02 平安科技（深圳）有限公司 图像篡改检测方法、电子装置及可读存储介质
CN107944442A (zh) * 2017-11-09 2018-04-20 北京智芯原动科技有限公司 基于改进卷积神经网络的对象检测装置及方法
CN108320297A (zh) * 2018-03-09 2018-07-24 湖北工业大学 一种视频目标实时跟踪方法及系统
CN108492319A (zh) * 2018-03-09 2018-09-04 西安电子科技大学 基于深度全卷积神经网络的运动目标检测方法
CN108961243A (zh) * 2018-07-05 2018-12-07 广东工业大学 一种基于机器学习的篡改视频标注方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
公安网络视频监控系统 数据挖掘改进算法研究;唐德权等;《警察技术》;20131107(第06期);全文 *

Also Published As

Publication number Publication date
CN109657600A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN109657600B (zh) 一种视频区域移除篡改检测方法和装置
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN108492319B (zh) 基于深度全卷积神经网络的运动目标检测方法
CN108052980B (zh) 基于图像的空气质量等级检测方法
CN106599789A (zh) 视频类别识别方法和装置、数据处理装置和电子设备
CN111353395A (zh) 一种基于长短期记忆网络的换脸视频检测方法
CN110880172A (zh) 基于循环卷积神经网络的视频人脸篡改检测方法及系统
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN114359283A (zh) 基于Transformer的缺陷检测方法和电子设备
CN111027377B (zh) 一种双流神经网络时序动作定位方法
CN110853074B (zh) 一种利用光流增强目标的视频目标检测网络系统
CN112329656B (zh) 一种视频流中人体动作关键帧的特征提取方法
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN109858570A (zh) 图像分类方法及系统、计算机设备及介质
CN110751644A (zh) 道路表面裂纹检测方法
CN112070720A (zh) 一种基于深度学习模型的变电站设备缺陷识别方法
CN111833347A (zh) 一种输电线路防振锤缺陷检测方法及相关装置
Yeh et al. Using convolutional neural network for vibration fault diagnosis monitoring in machinery
CN116910752A (zh) 一种基于大数据的恶意代码检测方法
CN114724218A (zh) 视频检测方法、装置、设备及介质
CN110751191A (zh) 一种图像的分类方法及系统
CN108154199B (zh) 一种基于深度学习的高精度快速单类目标检测方法
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant