CN110430339B - 数字视频帧内篡改检测方法及系统 - Google Patents

Abstract

本发明公开一种数字视频帧内篡改检测方法及系统，包括以下步骤：获取待检测数字视频；将待检测数字视频转换为按时间排序的视频帧序列；将视频帧序列中的每一张视频帧图像以相同的方式分割为n张子视频帧图像；将位于各视频帧图像中相同位置的子视频帧图像作为一个子视频帧序列，获得n个子视频帧序列；根据每一个子视频帧序列获得各子视频帧序列中的子帧间相似度‑时间散点图。通过将待检测数字视频的视频帧序列中的每一个视频帧图像分割成若干子视频帧图像来获得若干子视频帧序列后获得子视频帧图像的篡改情况，即能在判断该数字视频是否存在帧间篡改的同时根据所发生篡改的具体子视频帧图像获得帧间篡改位置。

Description

数字视频帧内篡改检测方法及系统

技术领域

本发明涉及视频检测技术领域，具体是一种数字视频帧内篡改检测方法及系统。

背景技术

目前数字视频在社会各领域被广泛使用，数字视频已经成为一种强大的信息传播方式。随着计算机软件应用技术的飞速发展，各种视频编辑软件层出不穷，视频篡改操作变得越来越傻瓜化，以至于没有任何专业知识的人只需要根据操作教程就能使用数字视频编辑软件能对视频进行随心所欲的篡改。一些目的性的篡改库被用在诸如事故鉴定司法取证、自媒体导向性宣传、大数据计算有效样本选择等方面。恶意篡改往往会带来一些严重的后果，破坏司法公正，损害新闻权威，影响社会稳定性。

常见的数字视频内容篡改方法主要有以下几类：

(1)删除。删除操作主要是通过将数字视频中的一部分帧序列移除或者切割帧，达到掩盖视频部分数据反映出的信息的目的。例如：从视频监控中删除某人路过的一段视频序列，实现视频场景中删除某人经过的所有信息。

(2)替换。替换操作主要通过选取数字视频本身或者其他数字视频的一小部分，对被目标视频进行成段或局部内容替换。例如将视频中某人的脸替换为另一个人的脸，或者是选取视频的某一帧或多帧，替换掉相应长度的视频帧序列。

(3)复制。复制操作会增加某一个物品在数字视频中出现的次数，通过选取某一特定区域或特定物品，进行复制-粘贴操作，让该物品出现在视频帧内的其他位置。或者是将某一帧复制多次，达到一个画面静止，掩盖某一事件发生事实的效果。

不同的篡改操作，在不同的处理方式下，也会产生不同的篡改效果，篡改者往往会根据其目的采用不同的篡改方式。视频篡改相对于静态图片的篡改，尽管篡改难度更加大，技术要求更高，由于互联网以及软件行业的发展，更丰富的操作简便的视频编辑软件却使得人们对视频的篡改变得越来越容易。由于视频的真实性变得不再可靠，视频篡改检测研究也就变得十分必要。

基于视频帧的篡改通常是复制、删除或移动视频帧。这种篡改会破坏原视频帧的相似度匹配，破坏相邻帧之间的连续性，使相邻帧与未篡改帧之间的差异明显。视频帧间的相似性匹配可以作为判断视频篡改的一个重要因素。汤超提出了一套基于视频帧全局纹理特征的帧间篡改检测方法。该方法利用一维Haar小波变换提取视频帧图像的低频分量作为测试帧序列。利用GIST的特征描述提取视频帧的全局纹理特征，针对视频帧复制、帧插入、帧删除篡改等问题，分别利用欧氏距离、相关系数和局部异常因子构造检测算法，设置识别规则，实现视频帧复制检测、帧插入检测和帧删除篡改检测。但其实施过程较为繁琐，检测速度较慢；在视频帧的全局纹理特征的提取过程容易受到噪声的影响，进而影响检测结果的精确度。

发明内容

本发明提供一种数字视频帧内篡改检测方法及系统，为数字视频篡改帧内检测提供更加高效、精确的可行性方案。

为实现上述目的，本发明提供一种数字视频帧内篡改检测方法，包括以下步骤：

步骤101，获取待检测数字视频；

步骤102，将待检测数字视频转换为按时间排序的视频帧序列；

步骤103，将视频帧序列中的每一张视频帧图像以相同的方式分割为n张子视频帧图像；

步骤104，将位于各视频帧图像中相同位置的子视频帧图像作为一个子视频帧序列，获得n个子视频帧序列；

步骤105，根据每一个子视频帧序列获得各子视频帧序列中的子帧间相似度-时间散点图，进而判断该数字视频是否存在帧内篡改并输出检测结果。

进一步优选的，步骤105具体包括：

步骤201，将每一个子视频帧序列中所有相邻的两个视频帧相减，获得n个按时间排序的子差量矩阵序列；

步骤202，计算每一个子差量矩阵序列中所有相邻或相隔的两个子差量矩阵之间的相似度，根据每一个子差量矩阵序列中的所有相似度获得待检测数字视频的n个子帧间相似度-时间散点图；

步骤203，在待检测数字视频的子帧间相似度-时间散点图出现跳变时，认为该数字视频存在帧间篡改并输出检测结果。

进一步优选的，步骤202中，所述计算每一个子差量矩阵序列中所有相邻或相隔的两个差量矩阵之间的相似度，具体为：

计算每一个子差量矩阵序列中所有间隔为1的两个子差量矩阵之间的相似度。

进一步优选的，步骤202中，所述计算每一个子差量矩阵序列中所有相邻或相隔的两个差量矩阵之间的相似度，具体为：

计算每一个子差量矩阵序列中所有间隔为2的两个子差量矩阵之间的相似度。

进一步优选的，步骤202中，两个子差量矩阵之间相似度的计算过程为：

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ

式中，SSIM(x,y)表示子差量矩阵x与子差量矩阵y之间相似度；l(x,y)表示子差量矩阵x与子差量矩阵y的亮度比较、c(x,y)表示子差量矩阵x与子差量矩阵y的对比度比较、s(x,y)表示子差量矩阵x与子差量矩阵y的结构比较；μ_x与μ_y分别为子差量矩阵x与子差量矩阵y的平均值；σ_x与σ_y分别为子差量矩阵x与子差量矩阵y的标准差、σ_xy为子差量矩阵x与子差量矩阵y的协方差；α、β、γ、c₁、c₂、c₃均为常数。

进一步优选的，步骤203具体为：检测待检测数字视频的各子帧间相似度-时间散点图中发生跳变的帧数与位置，根据上述结果识别发生帧内篡改的类型与位置。

进一步优选的，所述步骤106包括：

若检测到某一子帧间相似度-时间散点图中平滑的区段出现连续的多帧相似度值突然变小的跳变然后恢复平滑,则判断该跳变位置处的子视频帧图像发生单帧删除或单帧替换或单帧插入中的一种或多种篡改；

若检测到某一子帧间相似度-时间散点图中平滑的区段出现连续的多帧相似度值突然变大的跳变然后恢复平滑,则判断该跳变位置处的子视频帧图像发生帧连续复制的篡改。

进一步优选的，步骤102与步骤103中，所述视频帧序列中各视频帧图像以及各子视频帧序列中的各子视频帧图像均以字符串处理、字符串编号的方式实现逐帧存储。

为实现上述目的，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

本发明提供的一种数字视频帧内篡改检测方法、计算机设备及存储介质，通过将待检测数字视频的视频帧序列中的每一个视频帧图像分割成若干子视频帧图像来获得若干子视频帧序列后获得子视频帧图像的篡改情况，即能在判断该数字视频是否存在帧间篡改的同时根据所发生篡改的具体子视频帧图像获得帧间篡改位置，能够更加高效、精确的对数字视频的篡改情况进行检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例中数字视频帧内篡改检测方法的流程示意图；

图2为本发明实施例中步骤105的具体实施流程图；

图3为本发明实施例中视频帧序列的存储/提取示意图；

图4本发明实施例中分割视频帧图像的示意图；

图5为本发明实施例中相邻帧相减获得子差量矩阵的示意图；

图6为本发明实施例中第一组实验过程中所采用的视频的单针图像示意图；

图7为本发明实施例中第一组实验过程中所采用的视频的单针图像篡改前示意图；

图8为本发明实施例中第一组实验过程中所采用的视频的单针图像篡改后示意图；

图9为本发明实施例中第一组实验过程中视频篡改前帧间相似度-时间散点图；

图10为本发明实施例中第一组实验过程中视频篡改后帧间相似度-时间散点图；

图11为本发明实施例中第二组实验过程中所采用的视频的单针图像示意图；

图12为本发明实施例中第二组实验过程中所采用的视频的单针图像篡改前示意图；

图13为本发明实施例中第二组实验过程中所采用的视频的单针图像篡改后示意图；

图14为本发明实施例中第二组实验过程中视频篡改前帧间相似度-时间散点图；

图15为本发明实施例中第二组实验过程中视频篡改后帧间相似度-时间散点图；

图16为本发明实施例中图15中第④区块的分段示意图；

图17为本发明实施例中图16中第(3)段的放大示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

如图1所示的一种数字视频帧内篡改检测方法，包括以下步骤：

步骤101，获取待检测数字视频；

步骤102，将待检测数字视频转换为按时间排序的视频帧序列；

步骤103，将视频帧序列中的每一张视频帧图像以相同的方式分割为n张子视频帧图像；

步骤104，将位于各视频帧图像中相同位置的子视频帧图像作为一个子视频帧序列，获得n个子视频帧序列；

步骤105，根据每一个子视频帧序列获得各子视频帧序列中的子帧间相似度-时间散点图，进而判断该数字视频是否存在帧内篡改并输出检测结果，参考图2，其过程具体包括：

步骤201，将每一个子视频帧序列中所有相邻的两个视频帧相减，获得n个按时间排序的子差量矩阵序列；

步骤202，计算每一个子差量矩阵序列中所有相邻或相隔的两个子差量矩阵之间的相似度，根据每一个子差量矩阵序列中的所有相似度获得待检测数字视频的n个子帧间相似度-时间散点图；

步骤203，在待检测数字视频的子帧间相似度-时间散点图出现跳变时，认为该数字视频存在帧间篡改并输出检测结果。

步骤101中，待检测数字视频输入采用的是在Visual studio 2015下安装的OpenCV 4.0.0的计算机视觉库，通过VideoCapture类(视频流捕捉器)对视频流进行获取操作以及获取摄像头，在程序中可以分别通过以下代码来实现对视频文件的读取或打开摄像头，实现该功能的代码为：

代码功能：利用视频流捕捉器打开视频文件或摄像头

VideoCapture cpt；

cpt.open("D:\\video\\5-9.mp4")；//打开路径为"D:\\video\\5-9.mp4"的视频文件

cpt.open(0)；//打开设备id为0的摄像头

本实施例的目的为检测数字视频是否被篡改，所以未使用即时采集的视频来进行操作，所以代码中均为打开视频文件的方法实现。

步骤102中，通过VideoCapture类中的各种API(Application ProgrammingInterface，应用程序编程接口)对待检测数字视频进行信息提取，将将待检测数字视频的每一帧分别写入到Mat(基本图像容器)容器中，通过字符串处理和imwrite()函数的搭配使用将视频处输出为如图3所示的按时间排序的JEPG格式图片序列，即视频帧序列。

步骤103中，将视频帧序列中的每一张视频帧图像进行分割时需要对视频帧序列的每一张视频帧图像进行提取，一个视频有数百帧甚至是上千帧，将这些帧进行分别保存是一个编程较难操作的地方，因此本实施例中通过字符串处理、字符串编号等操作来实现的逐帧编号保存以及逐帧读取文件的功能，具体的实现代码为：

在上面代码中，get_str()函数是获取视频帧图像文件路径字符串，通过将预先设置好的保存路径和文件名前缀和当前视频帧图像序号以及文件后缀格式字符串拼接起来，保存到arr_name字符串中，arr_name最终就是目标视频帧图像文件的路径。其中get_arr_str()函数是将当前的整形的序号转换为字符串类型保存在arr数组中，具体实现代码如下：

因此在对视频帧序列中的指定视频帧图像进行读取时，写入操作只需要通过mat＝imread(arr_name)和imwriter(arr_name,mat)这两个API接口即可将实现。

本实施例中将每一个视频帧图像分割为6个区域。由于本实施例所采用的待检测数字视频的分辨率为1080*720，需要将整个图片分割成六块，所以对每一帧进行了如下分割，如图4所示：

将坐标为(0，0)到(360,360)的像素分割为①号区域；

将坐标为(0，360)到(360,720)的像素分割为②号区域；

将坐标为(0，720)到(360,1080)的像素分割为③号区域；

将坐标为(360，0)到(720,360)的像素分割为④号区域；

将坐标为(360，720)到(720,720)的像素分割为⑤号区域；

将坐标为(360，720)到(720,1080)的像素分割为⑥号区域。

将视频帧图像六分的代码如下：

在代码中get_str_2()函数与之前个get_str()函数功能一致，也是获取文件路径，只是稍作了功能修改，Mat打开的“D:\\size360_360.jpg”文件是大小控制的图片文件，目的是为了让Mat的数据类型与帧内的数据类型一致，可以消除由于数据类型不一致导致的to6和stand图片中的赋值失败情况。经过上述代码后则将视频帧序列分割成6个按时间排序的视频帧序列，并将其分别存储，随后只需获得各子视频帧图像的篡改情况，即能在判断该数字视频是否存在帧间篡改的同时根据所发生篡改的具体子视频帧图像获得帧间篡改位置。

步骤201中将每个子视频帧序列中相邻的子视频帧图像相减的方式获得差量矩阵，进而对子视频帧图像中的运动目标达到追踪效果，而未被篡改的数字视频中子视频帧图像特征是具有连续性的，无论帧内对象的运动快慢，连续的视频的特征运动也会呈现连续性。由于视频帧删除篡改往往通过删除某一个或某一段帧，或是修改某一个或某一段帧内某个部分的图像，以此来达到隐藏某一事件发生的目的，视频帧删除篡改与部分修改篡改都会破坏掉这一特征运动的连续性，会使得修改的子视频帧序列的连续性出现阶梯式的断层。视频帧替换与视频帧插入，可以理解为将一段视频帧删除，替换为后续的帧序列，其体现的特征与帧删除相同。视频帧复制是将某一帧多次进行重复，使某一段视频序列均变为同一帧，以此来给人一种此状态为视频中未出现运动目标的认知。但是此操作会使得前后两帧完全一致，可以以此来作为判断数字视频是否被篡改依据。

如图5所示，将第一个子视频帧序列中的第一个子视频帧图像与第二个子视频帧图像相减得到第一个子差量矩阵序列中的第一个子差量矩阵，将第一个子视频帧序列中的第二个子视频帧图像与第三个子视频帧图像相减得到第一个子差量矩阵序列中的第二个子差量矩阵，将第一个子视频帧序列中的第三个子视频帧图像与第四个子视频帧图像相减得到第三个子差量矩阵序列中的第一个子差量矩阵，依次类推直至得到每一个子视频帧序列完整的子差量矩阵序列。

步骤202中，计算每一个子差量矩阵序列中所有相邻或相隔的两个差量矩阵之间的相似度，具体为：计算每一个子差量矩阵序列中所有间隔为1的两个子差量矩阵之间的相似度；或者计算每一个子差量矩阵序列中所有间隔为2的两个子差量矩阵之间的相似度。本实施例中通过计算子差量矩阵序列中所有间隔为1的两个子差量矩阵之间的相似度进而得到待检测数字视频中各子视频帧序列的的帧间相似度-时间散点图，有效的保证后续判断的精确性，避免因偶然情况导致误判。

其中，步骤104中，两个子差量矩阵之间相似度的计算过程为：

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ

式中，SSIM(x,y)表示子差量矩阵x与子差量矩阵y之间相似度；l(x,y)表示子差量矩阵x与子差量矩阵y的亮度比较、c(x,y)表示子差量矩阵x与子差量矩阵y的对比度比较、s(x,y)表示子差量矩阵x与子差量矩阵y的结构比较；μ_x与μ_y分别为子差量矩阵x与子差量矩阵y的平均值；σ_x与σ_y分别为子差量矩阵x与子差量矩阵y的标准差、σ_xy为子差量矩阵x与子差量矩阵y的协方差；α、β、γ、c₁、c₂、c₃均为常数。

优选的，设定α＝β＝γ＝1，c3＝c2/2，因此两个子差量矩阵之间相似度的计算过程可以简化为：

由上述公式可知SSIM有对称性，即SSIM(x,y)＝SSIM(y,x)。SSIM的值域为[0,1]，越大表示图片相似度越高，当SSIM等于1时，表示x与y两幅图片完全一致。

步骤104中，相似度的计算过程的代码为：

在上述代码是利用getMSSIM()函数为计算两帧图片相似度值编写的函数，其函数声明如下，返回的值即为两个子视频帧图像的SSIM值：double getMSSIM(const Mat&i1,const Mat&i2)；再将计算出来的SSIM值保存到文本“out.txt”中。

获取了全部的SSIM值之后绘制帧间相似度-时间散点图，首先绘制画布与坐标，其代码为：

在绘制完画布与坐标轴之后，通过读取文件“out.txt”然后将数据在图中以点的形式绘制出来，由于在画布上进行绘图是以像素点的形式绘制的，一个像素点在图上无法很明显的表示，所以本实施例通过绘制十字架来让散点在画布上更清晰。

步骤203中，根据待检测数字视频的每一个子帧间相似度-时间散点图判断该数字视频是否存在帧内篡改以及获得帧内篡改的位置的具体过程为：

当篡改量为一帧且为该帧内的某一个局部位置时，帧修改会在该局部位置对应的子视频帧序列的帧间相似度-时间散点图中平滑的区段出现连续的两帧跳变(SSIM值突然变小)然后恢复平滑。而篡改量为连续多针时，会导致两相邻帧完全相同，进而计算出来的子差量矩阵为0矩阵，两个差量矩阵之间进行SSIM值计算，计算过程中的结构相似度值会增大，所以会导致连续的两帧跳变(SSIM值突然变大)然后恢复平滑；由此可以对几种篡改进行识别。

为了验证设计的效果，本实施例通过对输入视频进行相应篡改，然后使用程序同时对原始视频和篡改后的视频进行篡改检测。原始视频是人物从镜头右侧走向镜头左侧，然后停在镜头内，即图6所示，其中图6(a)表示原始视频第25帧的视频帧图像,图6(b)表示原始视频第26帧的视频帧图像,图6(c)表示原始视频第210帧的视频帧图像,图6(d)表示原始视频第215帧的视频帧图像,图6(e)表示原始视频第220帧的视频帧图像,图6(f)表示原始视频第225帧的视频帧图像。将该视频进行如下篡改：

从第230帧开始，将窗户处的像素替换为第230帧窗口处的像素，篡改前如图7所示，篡改后如图8所示，从图7与图8中可以很明显看出篡改前在270帧窗口有人影，而篡改后的窗口处无法看到人影，而且此篡改用肉眼很难看出篡改痕迹。

使用本实施例中的方法对原始的输入视频与篡改后的视频分别进行SSIM值计算，将计算的数值保存下来，通过SSIM/时间坐标系绘制出散点图，如图9-10所示的切割后每个区域的SSIM/时间散点图。对比图9和图10，可以看出，①、④、⑤、⑥的散点图曲线，完全一致，并且都有连续性，而且在每一个曲线中都能看到，由于帧压缩产生的完整的周期序列。而受到篡改的②、③两个散点图则有明显的区别。其中，帧压缩指的是图9和图10中呈现周期性两帧的SSIM值会跳变，跳变周期为30帧一个周期。这个周期信号是由于硬件产生的，其原因就是相机拍摄的视频的帧率并不是完全的30帧/s，而是30.088帧/s，而在处理的时候是以30帧/s是一个近似值来进行处理的，所以对原视频有一些压缩，将多出的部分帧压缩到了第30帧上，所以出现了这个跳变信号。这个信号也能作为判断篡改的依据。

仅从图10视频篡改后帧间SSIM/时间散点图中进行分析，①、④、⑤、⑥SSIM值都有连续性，而且在每一个曲线中都能看到，由于帧压缩产生的完整的周期序列。所以给出判断这几个区块未进行篡改。

从②、③两个散点图特征可以看出：

散点图②在第230帧的时候出现了一个非周期的SSIM值跳变，从这之后的SSIM值的周期序列开始变得不明显；所以可以判断出该区块发生了篡改行为；

散点图③则更为明显，可以非常明显的看出在第230帧出现了阶梯跳跃的情况，而且此后的SSIM值与整个SSIM散点图呈现出异常的断层，并且在序列中再也无法捕获到由于帧压缩而出现的特定周期序列了。所以可以判断出，该区发生了篡改行为。

上述测试样例，如果从240帧开始进行SSIM值计算，也就是无法从散点图中看到跳变现象，此时，由于③散点图可以明显看到没有了由于拍摄硬件产生的周期信号，②散点图的信号变得不明显，而①、④、⑤、⑥的这个周期信号则非常明显，所以也可以判断，②、③两个区域处有帧内篡改的行为。

由于上述实验使用的静态篡改，即使用某一帧的特定区域将一整段进行覆盖，以达到掩盖目标区域发生过的动作的目的，因此本发明方法对静态区域篡改可以实现较好的检测。为了进一步对本发明方法进行验证，本实施例还进行了另外一组篡改检测试验，此素材选取的为学校的某路段，车辆来往的一个场景，即如图11所示，其中图11(a)表示该素材视频第100帧的视频帧图像,图11(b)表示该素材视频第110帧的视频帧图像,图11(c)表示该素材视频第120帧的视频帧图像。

针对这组实验仅进行下列篡该：将视频中，其他时间车辆经过的车辆部分像素，全部复制到没有车经过时间段的相应位置，这样篡改肉眼几乎无法鉴别出是否被篡改，篡改后能够造成车辆在这个时间经过的错误认知。具体的篡改方法将视频中第167帧到227帧的部分像素替换为同一场景拍摄的，一段车辆从右向左行驶过程的像素。篡改效果如图12和13所示，从图12和13中可以看到，原本的第170帧至210帧期间是没有车辆经过的，经过篡改后视频中多了车辆经过的信息。

使用本实施例中的方法对本次实验中原始的输入视频与篡改后的视频分别进行SSIM值计算，将计算的数值保存下来，通过SSIM/时间坐标系绘制出散点图，如图14-15所示的切割后每个区域的SSIM/时间散点图。

从图14可以看出整个散点图呈现的形状是连贯的，六个图的SSIM值都有连续性，而且在每一个曲线中都能清晰的看到由于帧压缩产生的完整的周期序列。图④的第105帧左右开始有一个SSIM值急速下降部分，再急速回升，图⑤则是在第110帧左右开始有一个SSIM值急速下降部分，再急速回升，图⑥则是在第115帧左右。这三个急速变化，是由于有一辆黑色车辆快速经过导致的，非常明显的呈现出连续性。从三个剧烈变化的时间顺序可以看出，运动目标是进入④开始进行运动，运动到⑤，在进入到⑥，最后运动出视频的场景的。而①、②尾部的小幅度波动，为风吹动树叶的抖动，影响可以不计。对于图15，其中因为①、②、③没有经过篡改，和图14的①、②、③曲线完全一致，而④、⑤、⑥三个区块则分别在第190帧、第185帧、第180帧左右出现了明显的SSIM值波动，但是整体波动呈现出连续性。因为此处进行篡改，添加了一段从右往左车辆经过的篡改。从波动出现的时间顺序可以判断出，运动目标是进入⑥开始进行运动，运动到⑤，在进入到④，最后运动出视频的场景的。

单独对图15所示的篡改后的SSIM/时间散点图进行分析过程为：

①、②、③整体上SSIM值都有明显的连续性，而且在每一个曲线中都能看到，由于帧压缩产生的完整的周期序列，周期稳定。所以可以给出判断视频的①、②、③区块，没有进行过篡改。

参考图16，可以看出图15中第④区块一共呈现出五段特征:

第(1)段，该段范围为第1帧到第100帧，该段SSIM值曲线较为平稳，能明显看出由于帧压缩产生的完整的周期序列，判断为无篡改。

第(2)段，该段范围为第100帧到第130帧，该段SSIM值曲线出现了明显的波动，但是波动产生的SSIM值曲线形状非常平滑，且波动前后均能看到两个由于帧压缩产生的完整的周期序列标志，与已经判断为无篡改的①、②、③区块周期特征一致，所以判断为无篡改。

第(3)段，参考图17，该段范围为为第130帧到第190帧，该段整体看起来比较平滑，但是在第160帧到第180帧的20帧内出现了三次SSIM值的跳变，从同①、②、③区块对比可以看出第一个跳变点是由于帧压缩产生的周期跳变，而第二个和第三个跳变，从第段中无法做出准确的判断，故先判断为第一个异常点。

第(4)段，该段范围为为第190帧到第230帧，该段SSIM值曲线出现了明显的波动，但是波动产生的SSIM值曲线形状非常平滑，但是在227帧的时候出现了非常明显的且幅度很大的跳变，跳变特征为成段帧复制或帧替换，而与前面第(3)段的异常点相进行联系，判断改区块发生了局部或全部的替换行为，替换区间为第167帧到227帧。(3)中的第三个跳变为替换段的周期特征点。

第(5)段，该段为第230帧到400帧，该段SSIM值曲线较为平稳，能明显看出由于帧压缩产生的完整的周期序列，判断为无篡改。

分析图15中第⑤、⑥两区块的散点图，也是五段，与第④区块的分段结构一致，特征分析及判断相同。

总结上述的分析，可以做出下列判断，该段视频发生了帧内篡改，篡改区域为④、⑤、⑥三个区域对应的子视频帧图像位置，篡改区间均为第167帧到第227帧，篡改内容为替换，替换内容为车辆从右向左驶过摄像机场景

本实施例还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (7)

1.一种数字视频帧内篡改检测方法，其特征在于，包括以下步骤：

步骤101，获取待检测数字视频；

步骤102，将待检测数字视频转换为按时间排序的视频帧序列；

步骤103，将视频帧序列中的每一张视频帧图像以相同的方式分割为n张子视频帧图像；

步骤104，将位于各视频帧图像中相同位置的子视频帧图像作为一个子视频帧序列，获得n个子视频帧序列；

步骤105，根据每一个子视频帧序列获得各子视频帧序列中的子帧间相似度-时间散点图，进而判断该数字视频是否存在帧内篡改并输出检测结果；

步骤105具体包括：

步骤201，将每一个子视频帧序列中所有相邻的两个视频帧相减，获得n个按时间排序的子差量矩阵序列；

步骤202，计算每一个子差量矩阵序列中所有相邻或相隔的两个子差量矩阵之间的相似度，根据每一个子差量矩阵序列中的所有相似度获得待检测数字视频的n个子帧间相似度-时间散点图；

步骤203，在待检测数字视频的子帧间相似度-时间散点图出现跳变时，认为该数字视频存在帧间篡改并输出检测结果，具体为：检测待检测数字视频的各子帧间相似度-时间散点图中发生跳变的帧数与位置，根据上述结果识别发生帧内篡改的类型与位置；

步骤203包括：

若检测到某一子帧间相似度-时间散点图中平滑的区段出现连续的多帧相似度值突然变小的跳变然后恢复平滑,则判断跳变位置处的子视频帧图像发生单帧删除或单帧替换或单帧插入中的一种或多种篡改；

若检测到某一子帧间相似度-时间散点图中平滑的区段出现连续的多帧相似度值突然变大的跳变然后恢复平滑,则判断跳变位置处的子视频帧图像发生帧连续复制的篡改。

2.根据权利要求1所述数字视频帧内篡改检测方法，其特征在于，步骤202中，所述计算每一个子差量矩阵序列中所有相邻或相隔的两个差量矩阵之间的相似度，具体为：

计算每一个子差量矩阵序列中所有间隔为1的两个子差量矩阵之间的相似度。

3.根据权利要求1所述数字视频帧内篡改检测方法，其特征在于，步骤202中，所述计算每一个子差量矩阵序列中所有相邻或相隔的两个差量矩阵之间的相似度，具体为：

计算每一个子差量矩阵序列中所有间隔为2的两个子差量矩阵之间的相似度。

4.根据权利要求1至3任一项所述数字视频帧内篡改检测方法，其特征在于，步骤202中，两个子差量矩阵之间相似度的计算过程为：

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ

式中，SSIM(x,y)表示子差量矩阵x与子差量矩阵y之间相似度；l(x,y)表示子差量矩阵x与子差量矩阵y的亮度比较、c(x,y)表示子差量矩阵x与子差量矩阵y的对比度比较、s(x,y)表示子差量矩阵x与子差量矩阵y的结构比较；μ_x与μ_y分别为子差量矩阵x与子差量矩阵y的平均值；σ_x与σ_y分别为子差量矩阵x与子差量矩阵y的标准差、σ_xy为子差量矩阵x与子差量矩阵y的协方差；α、β、γ、c₁、c₂、c₃均为常数。

5.根据权利要求1至3任一项所述数字视频帧内篡改检测方法，其特征在于，步骤102与步骤103中，所述视频帧序列中各视频帧图像以及各子视频帧序列中的各子视频帧图像均以字符串处理、字符串编号的方式实现逐帧存储。

6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images