CN111652875B - 一种视频伪造检测方法、系统、存储介质、视频监控终端 - Google Patents

Abstract

本发明属于视频监控信息处理技术领域，公开了一种视频伪造检测方法、系统、存储介质、视频监控终端，将视频帧序列划分为重叠子帧组，并将每个子帧组作为查询片段进行相似性检查；将子帧组组内的相邻帧相关关系作为子帧组特征，计算子帧组之间的相似性；如果相相似性大于阈值，则选择相应子帧组作为伪造帧组候选；通过检测子帧组组内的相邻帧时间关系确定伪造类型和位置。本发明对样本视频进行两种帧复制伪造，用所提出方法进行检测，将所有样本视频的结果进行平均得到最终结果，实验结果表明，本发明的方法能够有效检测视频中的复制伪造，对两种类型的复制伪造都能有效检测并确定位伪造位置，与文献算法相比，查准率和查全率更高。

Description

一种视频伪造检测方法、系统、存储介质、视频监控终端

技术领域

本发明属于视频监控信息处理技术领域，尤其涉及一种视频伪造检测方法、系统、存储介质、视频监控终端。

背景技术

目前，视频监控不仅是社会安防领域的重要手段，还是司法取证的重要途径。由于视频监控系统的广泛应用，视频监控摄像机数量不断增长，海量监控视频数据面临着被篡改的安全挑战。确保监控视频数据的完整性和真实性至关重要。视频监控是预防违法犯罪、保障社会和谐稳定的有力手段。在司法取证领域，监控视频是法庭和调查人员了解真相的重要依据。然而，快速发展的视频编辑技术使得监控视频内容的真实性备受质疑。为了保证监控视频的真实性和可靠性，需要对监控视频进行伪造检测，以辨别视频的真伪。视频伪造目前主要分为两种类型：帧内伪造和帧间伪造。前者发生在空域或时空域中，对视频帧内内容进行伪造，例如将视频帧中的一部分替换成其他视频帧的内容等；后者发生在时域，以视频帧为最小单位进行伪造，例如插入帧、复制帧和删除帧。帧间伪造由于其方便性和隐蔽性而常用于监视视频。

主动检测技术和被动检测技术是视频进行真实性取证的主要技术。主动技术需要在伪造发生之前嵌入先验信息，这种技术需要软件和摄像机制造商支持，以便在分发之前将身份验证信息插入视频图像中。被动技术则跟踪视频内容和结构的属性来验证真实性，相比主动技术更实用。被动技术多停留在图像层面，虽然数字图像和视频被动检测技术有了长足的发展，但尽管如此，数字视频伪造检测技术并没有像数字图像伪造检测技术那样发展成熟。由于视频中相邻帧在时间域和空间域高度相关，视频帧间伪造操作会改变视频相邻帧之间的相关性，研究人员多以此为基础判断视频是否被伪造。先前的基于相邻帧相关性的检测方法需要比较任意长度和位置中所有可能的帧来搜索重复项，计算复杂度高，尤其是在对于相关性伪造程度较高以及数据帧数较多时，针对两种帧间重复伪造的查准率和查重率都比较低。

通过上述分析，现有技术存在的问题及缺陷为：目前基于相邻帧相关性的检测方法需要比较任意长度和位置中所有可能的帧来搜索重复项，计算复杂度高，针对两种帧间重复伪造的查准率和查重率都比较低。

解决以上问题及缺陷的难度为：在和数字图像相比具有时间域和空间域的视频检测难度很高，技术也不成熟，而传统基于相关性的检测方法计算复杂度很高，在复杂条件如相关性伪造程度高以及数据帧较多时，可靠性比较低。

解决以上问题及缺陷的意义为：视频监控作为重要取证手段，如果视频伪造监测技术的可靠性不高，那么通过各种摄像设备采集到的视频数据的可信性将会受到严重影响。在视频被伪造后却难以检测，或者查准率和查重率较低时，司法的公正性和正确性将会受到严重影响。因此，提高视频伪造检测技术的可靠性，非常有意义。

发明内容

针对现有技术存在的问题，本发明提供了一种视频伪造检测方法、系统、存储介质、视频监控终端。

本发明是这样实现的，一种视频伪造检测方法，所述视频伪造检测方法将视频帧序列划分为重叠子帧组，并将每个子帧组作为查询片段进行相似性检查；将子帧组组内的相邻帧相关关系作为子帧组特征，计算子帧组之间的相似性；如果相相似性大于阈值，则选择相应子帧组作为伪造帧组候选；通过检测子帧组组内的相邻帧时间关系确定伪造类型和位置。本方法经过试验后，能明显地提高对帧间重复伪造的查准率和查重率，确保了检测的可靠性。

进一步，所述视频伪造检测方法包括：

第一步，将视频帧组为单元构建相关性矩阵，确定可疑复制帧组后再对组内帧序列进行下一步检测；

第二步，以视频帧组为单位进行视频伪造检测，确定可疑的视频帧组；

第三步，确定视频帧组后需要对多个视频帧组进行合并，以还原完整的视频序列；

第四步，根据视频帧组组内相关性对视频复制伪造类型进行分析，定位复制视频帧位置。

进一步，所述第一步将视频帧组为单元构建相关性矩阵，确定可疑复制帧组后再对组内帧序列进行下一步检测包括：

(1)划分视频帧组，将待测试的长度为n的视频分解为视频帧，通过滑动窗口将视频划分为多个长度为l的视频重叠帧组，长度为n的视频被划分为n-l+1个视频帧组，用m表示n-l+1。用sw_i表示从第i帧开始的长度为l的帧组，sw_i(k)表示该视频帧组中的第k帧，其中i∈[1,m]，k∈[1,l]；

(2)组内相邻视频帧相关性表示，使用PRNU噪声的NCC关联值反映相邻视频帧的相关性；使用基于小波去噪的方法获取视频帧的PRNU噪声，从每个颜色通道对视频帧进行去噪，从原始帧中减去降噪帧得到的PRNU，分配每个通道的不同权重，将得到的PRNU串联起来形成最终估计PRNU；相邻视频帧的PRNU噪声关联值计算公式：

其中，r代表视频帧r，

代表在视频帧r上的像素(x,y)处的噪声残留，uW^r表示视频帧r的噪声残差的平均值；

用e_i表示第i个视频帧组的组内相邻帧间相关关系，对视频帧组组内的每一对相邻帧进行相似性计算，其中i∈[1,m]，e_i组合在一起形成数组E：

(3)视频帧组间相似性表示，视频帧组划分完毕后，计算每个组和其他所有组之间的相似性c_i，j，并将值组合以形成m×m维的相关矩阵C，在矩阵C的每一行中，保持子帧组与其他子帧组的相似值c_i,j；计算完所有视频帧组之间的相似性之后，对矩阵C进行进一步简化得到最终矩阵。

进一步，如果相似值c_i,j大于指定阈值，则令c_i,j＝1，相关的两个视频帧组都被视为重复伪造候选，否则，令c_i,j＝0；将使用相关系数作为相似度的度量，两个向量

和

之间的相关系数由下式给出：

其中u_i和v_i是

和

的第i个元素，而γ_u和γ_v分别为

和

的均值。

进一步，所述第二步确定视频帧组，视频中复制的一段视频帧序列被定义的滑动窗口分割成多部分时，对包含重复帧的多个视频帧组进行合并以获得完整的视频复制片段；采用合并策略对视频帧组进行合并，如果判定重复的两个视频帧组与另外两个判定重复的视频帧组的对应序列差值相等，则将视频帧组进行去重合并。

进一步，所述第三步帧间复制伪造判断，当一组帧被复制时，帧间相似关系也被复制；当某个视频帧被伪造时，视频帧中的噪声残差的相关值通常根据所使用的的伪造方式而改变；若伪造类型是连续帧复制伪造，则在其伪造序列中不存在单帧重复，伪造序列连续帧间的相似性处于合理阈值之内；若伪造类型是单帧多次重复伪造，则其连续帧之间的相似性会增加。

进一步，所述第四步对伪造帧组进行定位，提取视频帧组与原始视频序列拼接位置的视频帧，计算其与相邻帧的相似性，选取相似度低的一组作为伪造帧组，另一组作为原始帧组，确定伪造区域。

本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤：将视频帧序列划分为重叠子帧组，并将每个子帧组作为查询片段进行相似性检查；将子帧组组内的相邻帧相关关系作为子帧组特征，计算子帧组之间的相似性；如果相相似性大于阈值，则选择相应子帧组作为伪造帧组候选；通过检测子帧组组内的相邻帧时间关系确定伪造类型和位置。

本发明的另一目的在于提供一种实施所述视频伪造检测方法的视频伪造检测系统，所述视频伪造检测系统包括：

相关性矩阵构建模块，用于将视频帧组为单元构建相关性矩阵，确定可疑复制帧组后再对组内帧序列进行下一步检测；

可疑视频帧组确定模块，用于以视频帧组为单位进行视频伪造检测，确定可疑的视频帧组；

还原视频序列模块，用于确定视频帧组后需要对多个视频帧组进行合并，以还原完整的视频序列；

视频帧位置定位复制模块，用于根据视频帧组组内相关性对视频复制伪造类型进行分析，定位复制视频帧位置。

本发明的另一目的在于提供一种安装有所述视频伪造检测系统的视频监控终端。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明对样本视频进行两种帧复制伪造，用所提出方法进行检测，将所有样本视频的结果进行平均得到最终结果，并与已有的经典方法进行比较；检测结果如下表2、表3所示。如图8所示，实验结果表明，本发明的方法能够有效检测视频中的复制伪造，对两种类型的复制伪造都能有效检测并确定位伪造位置，与文献算法相比，查准率和查全率更高。

附图说明

图1是本发明实施例提供的视频伪造检测方法流程图。

图2是本发明实施例提供的视频伪造检测系统的结构示意图；

图中：1、相关性矩阵构建模块；2、可疑视频帧组确定模块；3、还原视频序列模块；4、视频帧位置定位复制模块。

图3是本发明实施例提供的视频伪造检测方法的实现流程图。

图4是本发明实施例提供的划分视频帧组示意图。

图5是本发明实施例提供的视频初始序列示意图。

图6是本发明实施例提供的视频伪造序列示意图。

图7是本发明实施例提供的相邻帧相关值的直方图。

图8是本发明实施例提供的不同方法对比图；

图中：(a)单帖多次复制伪造检测方法对比；(b)连续帖复制伪造检测结果对比。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种视频伪造检测方法、系统、存储介质、视频监控终端，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的视频伪造检测方法包括以下步骤：

S101：将视频帧组为单元构建相关性矩阵，确定可疑复制帧组后再对组内帧序列进行下一步检测；

S102：以视频帧组为单位进行视频伪造检测，确定可疑的视频帧组；

S103：确定视频帧组后需要对多个视频帧组进行合并，以还原完整的视频序列；

S104：根据视频帧组组内相关性对视频复制伪造类型进行分析，定位复制视频帧位置。

如图2所示，本发明提供的视频伪造检测系统包括：

相关性矩阵构建模块1，用于将视频帧组为单元构建相关性矩阵，确定可疑复制帧组后再对组内帧序列进行下一步检测。

可疑视频帧组确定模块2，用于以视频帧组为单位进行视频伪造检测，确定可疑的视频帧组。

还原视频序列模块3，用于确定视频帧组后需要对多个视频帧组进行合并，以还原完整的视频序列。

视频帧位置定位复制模块4，用于根据视频帧组组内相关性对视频复制伪造类型进行分析，定位复制视频帧位置。

下面结合附图对本发明的技术方案作进一步的描述。

本发明提供的视频伪造检测方法包括以下步骤：

1、构建相关性矩阵

本发明为了确保监控视频的清晰度，视频监控设备通常每秒产生25-30帧，监控人员在不借助技术工具的情况下无法观察到视频帧间停顿。帧复制伪造通常需要在监控视频中伪造一系列视频帧以到达掩盖行径的目的，单纯的单帧伪造人眼基本无法察觉，难以掩盖真实场景。因此，本发明将视频帧组为单元构建相关性矩阵，确定可疑复制帧组后再对组内帧序列进行下一步检测。具体过程如下：

(1)划分视频帧组，如图4所示，本发明将待测试的长度为n的视频分解为视频帧，通过滑动窗口将视频划分为多个长度为l的视频重叠帧组，长度为n的视频被划分为n-l+1个视频帧组，用m表示n-l+1。用sw_i表示从第i帧开始的长度为l的帧组，sw_i(k)表示该视频帧组中的第k帧，其中i∈[1,m]，k∈[1,l]。

(2)组内相邻视频帧相关性表示，视频内容由一系列连续的视频帧组成，帧在时间序列上的组合描述了视频的动态场景。每个视频帧都具有可以代表的特征属性，例如运动特征、时域特征等。相邻视频帧之间具有相似性，通过计算特征间的相关程度，可以验证视频是否被伪造。关联是检测视频帧伪造的有用技术，并且在帧间伪造检测的多数工作中都使用了关联。NCC(归一化互相关)和其他信号处理技术使研究人员能够以尺寸较小的形式表示视频，并使得进行进一步处理的时间更短，从而获得良好的分类结果。本发明使用PRNU噪声的NCC关联值反映相邻视频帧的相关性。

视频噪声是由于传感器硬件存在生产缺陷，在视频图像采集过程中的各个阶段产生随机偏差，进而在视频图像中引入的特征。本发明使用基于小波去噪的方法获取视频帧的PRNU噪声，具体过程需要分别从每个颜色通道对视频帧进行去噪，然后从原始帧中减去降噪帧得到的PRNU，最后分配每个通道的不同权重，将得到的PRNU串联起来形成最终估计PRNU。相邻视频帧的PRNU噪声关联值计算公式如下：

其中，r代表视频帧r，

代表在视频帧r上的像素(x,y)处的噪声残留，uW^r表示视频帧r的噪声残差的平均值。

用e_i表示第i个视频帧组的组内相邻帧间相关关系，即对视频帧组组内的每一对相邻帧进行相似性计算，其中i∈[1,m]。e_i组合在一起形成数组E：

(3)视频帧组间相似性表示，视频帧组划分完毕后，为了确定所获得的视频帧组之间的相似性，计算每个组和其他所有组之间的相似性c_i，j，并将这些值组合以形成m×m维的相关矩阵C。因此，在矩阵C的每一行中，保持子帧组与其他子帧组的相似值c_i,j。计算完所有视频帧组之间的相似性之后，对矩阵C进行进一步简化得到最终矩阵。如果相似值c_i,j大于指定阈值，则令c_i,j＝1，相关的两个视频帧组都被视为重复伪造候选。否则，令c_i,j＝0。主要过程伪代码如下算法所示。在整个过程中，本发明将使用相关系数作为相似度的度量。两个向量

和

(或向量形式的矩阵)之间的相关系数由下式给出：

其中u_i和v_i是

和

的第i个元素，而γ_u和γ_v分别为

和

的均值。

2、视频伪造检测定位，首先以视频帧组为单位进行视频伪造检测，确定可疑的视频帧组。正常情况下，如果没有伪造区域，矩阵E中的数值除对角线位置以外预计全为零。矩阵中某一位置数值为1，意味着该位置代表的两个视频帧组出现了帧复制伪造。确定视频帧组后需要对多个视频帧组进行合并，以还原完整的视频序列。最后根据视频帧组组内相关性对视频复制伪造类型进行分析，定位复制视频帧位置。具体过程如下：

(1)确定视频帧组，若视频中复制的一段视频帧序列被定义的滑动窗口分割成多部分时，会出现多个重复情况，需要对包含重复帧的多个视频帧组进行合并以获得完整的视频复制片段。本发明采用简单的合并策略对视频帧组进行合并，如果判定重复的两个视频帧组与另外两个判定重复的视频帧组的对应序列差值相等，则将视频帧组进行去重合并。例如，若视频帧组划分时，选取滑动窗口大小l＝3，在视频相关性矩阵中c_i,j＝1且c_i+1,j+1＝1，代表视频帧组[帧i，帧i+1，帧i+2]和视频帧组[帧j+1,帧j+2,帧j+3]、视频帧组[帧i+1，帧i+2，帧i+3]和视频帧组[帧j+2,帧j+3,帧j+4]存在重复伪造。由于伪造帧序号对应差值均为1，对两组伪造进行合并，最终重复帧组为视频帧组[帧i，帧i+1，帧i+2，帧i+3]和视频帧组[帧j，帧j+1，帧j+2，帧j+3]。

(2)帧间复制伪造判断，当一组帧被复制时，它们的帧间相似关系也被复制。当某个视频帧被伪造时，该视频帧中的噪声残差的相关值通常根据所使用的的伪造方式而改变(增加或减少)。若伪造类型是连续帧复制伪造，则在其伪造序列中不存在单帧重复，因此，伪造序列连续帧间的相似性处于合理阈值之内。若伪造类型是单帧多次重复伪造，则其连续帧之间的相似性会增加。

在确定伪造的视频帧组后，本发明依据视频组组内相邻帧的相似关系进行帧间复制伪造类型判断。对c_i，j＝1，i≠j的情况，即判定为重复的两组不同视频帧组，判断其组内相邻帧的相关性e_i。若组内所有的相邻帧之间的相似性大于最大阈值，则判定为单帧多次复制伪造；若组内所有的相邻帧之间的相似性处于合理阈值内，判定其为连续帧复制伪造。此外，还需对组内存在两种复制伪造类型的情况进行分析，通过逐一判断相关性向量e_i的值进行具体分析。对c_i，j＝1，i＝j的情况，即同一帧组的情况下，只判断视频组内连续帧的相似性是否存在大于最大阈值的情况，以检测复制序列长度不大于视频帧组长度情况下的单帧多次复制伪造。

(3)定位伪造区域，发生帧间复制伪造的两对视频帧组中，其中一个是原始帧组，另一个是伪造帧组。基于上述结果无法对两个帧组进行真伪辨别。连续帧复制伪造是将一组视频序列插入或替换到原始视频的某个位置，必然会破坏原始视频相邻帧间的相似性，伪造帧组与原始视频序列的拼接位置相似性会降低。本发明利用这一特点对伪造帧组进行定位。提取视频帧组与原始视频序列拼接位置的视频帧，计算其与相邻帧的相似性，选取相似度低的一组作为伪造帧组，另一组作为原始帧组，确定伪造区域。例如，若要对两个存在重复伪造的长度为n的视频帧组sw(i)和sw(j)进行区分，通过公式(4-1)来计算拼接位置相邻帧的相似度，若s_i-1+s_i+n>s_j-1+s_j+n，则sw(i)为原始帧组，sw(j)为伪造帧组，否则sw(i)为伪造帧组，sw(j)为原始帧组。对帧间复制伪造类型是单帧多次复制伪造的情况，多个视频伪造序列均是单帧多次复制形成的。

下面结合仿真对本发明的技术效果作详细的描述。

本发明从视频监控系统中选取了不同视频设备的多个视频片段，对其进行帧间复制伪造后，用本章所提出的方法进行检测，以分析本发明方法的性能。

1、实验数据，我国视频监控系统中大部分是720P的高清视频设备，因此本发明实验均采用分辨率为1280×720像素的视频序列。为了验证本章方法的性能，本发明从监控系统中的不同视频监控设备采集了50个基于H.264编码的视频样本，每个原始视频由200帧到500帧之间的短序列组成，对原始视频进行帧间复制伪造来进行仿真实验。部分视频样本信息如表1所示。

一个复制伪造实例如下所示。图5为视频的原始序列，共12个视频帧。将第12帧的视频单帧多次复制到第7-11帧，以提前事件的时间点，伪造后的视频如图6所示。

表1部分视频样本信息

2、实验参数，监控视频的帧率通常选取25-30pfs，即每秒钟25-30个帧，以保证录像视频的流畅度。为了获得良好的伪造结果以达到掩盖真实的监控场景的目的，视频的复制伪造序列的长度通常不会小于20帧。根据实验经验，本发明滑动窗口大小设置为25。当有单帧多次复制伪造的情况发生时，两个连续帧之间的噪声相关值会被破坏。如图7所示，X轴表示相关值，Y轴表示幅度。当发生单帧多次复制伪造时，两个连续帧的噪声相关值明显升高。因此，本发明选取0.95作为相关性阈值。

3、实验结果

本发明使用查全率和查准率来评估所提方法的性能。查准率是用方法进行实验后，检测为伪造的视频数量中真正检测正确的视频数量的比例，即正确检测的数量与正确检测数量和误检数量之和的比值，如公式(4)所示，N_found表示所用方法检测为伪造的视频数量，N_true表示检测结果中确实存在伪造的数量，N_false表示检测结果中错判为伪造的的数量：

查全率是指用方法进行实验后，所有伪造视频数量中被正确检测出来的数量所占的比例，即正确检测伪造的数量与实际所有伪造数量的比值，如公式(5)所示，N_all表示所有伪造的视频数量，N_true表示检测结果中确实存在伪造的数量,N_unfounded表示本质是伪造视频但未检测出来的视频数量：

为了分析方法的性能，验证篡改视频和原始视频的区分能力以及重复帧的定位能力，本发明对样本视频进行两种帧复制伪造，用所提出方法进行检测，将所有样本视频的结果进行平均得到最终结果，并与已有的经典方法进行比较。检测结果如下表2、表3所示。

表2单帧多次复制伪造检测结果

表3连续帧复制伪造检测结果

检测方法	<![CDATA[P<sub>p</sub>]]>	<![CDATA[P<sub>r</sub>]]>
			文献[1]	0.85	0.74
文献[2]	0.90	0.88
			文献[3]	0.83	0.89
文献[4]	0.94	.0.96
			本发明方法	0.96	0.95

如图8所示，实验结果表明，本发明的方法能够有效检测视频中的复制伪造，对两种类型的复制伪造都能有效检测并确定位伪造位置，与文献算法相比，查准率和查全率更高。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

参考文献：

[1]Noorkami M,Mersereau R M.A framework for robust watermarking ofH.264-encoded video with controllable detection performance[J].IEEETransactions on information forensics and security,2007,2(1):14-23.

[2]Goljan M.Digital Camera Identification from Images–EstimatingFalse Acceptance Probability[M]//Digital Watermarking.Springer-Verlag,2009.

[3]Celiktutan O,Sankur B,Avcibas I.Blind Identification of SourceCell-Phone Model[J].IEEE Transactions on Information Forensics and Security,2008,3(3):553-566.

[4]Lukas,J,Fridrich,J,Goljan,M.Digital camera identification fromsensor pattern noise[J].IEEE Transactions on Information Forensics&Security,2006，1(2):205-214.

Claims (10)

1.一种视频伪造检测方法，其特征在于，所述视频伪造检测方法将视频帧序列划分为重叠子帧组，并将每个子帧组作为查询片段进行相似性检查；将子帧组组内的相邻帧相关关系作为子帧组特征，计算子帧组之间的相似性；如果相相似性大于阈值，则选择相应子帧组作为伪造帧组候选；通过检测子帧组组内的相邻帧时间关系确定伪造类型和位置。

2.如权利要求1所述的视频伪造检测方法，其特征在于，所述视频伪造检测方法包括：

第一步，将视频帧组为单元构建相关性矩阵，确定可疑复制帧组后再对组内帧序列进行下一步检测；

第二步，以视频帧组为单位进行视频伪造检测，确定可疑的视频帧组；

第三步，确定视频帧组后需要对多个视频帧组进行合并，以还原完整的视频序列；

第四步，根据视频帧组组内相关性对视频复制伪造类型进行分析，定位复制视频帧位置。

3.如权利要求2所述的视频伪造检测方法，其特征在于，所述第一步将视频帧组为单元构建相关性矩阵，确定可疑复制帧组后再对组内帧序列进行下一步检测包括：

(1)划分视频帧组，将待测试的长度为n的视频分解为视频帧，通过滑动窗口将视频划分为多个长度为l的视频重叠帧组，长度为n的视频被划分为n-l+1个视频帧组，用m表示n-l+1，用sw_i表示从第i帧开始的长度为l的帧组，sw_i(k)表示该视频帧组中的第k帧，其中i∈[1，m]，k∈[1，l]；

(2)组内相邻视频帧相关性表示，使用PRNU噪声的NCC关联值反映相邻视频帧的相关性；使用基于小波去噪的方法获取视频帧的PRNU噪声，从每个颜色通道对视频帧进行去噪，从原始帧中减去降噪帧得到的PRNU，分配每个通道的不同权重，将得到的PRNU串联起来形成最终估计PRNU；相邻视频帧的PRNU噪声关联值计算公式：

其中，r代表视频帧r，

代表在视频帧r上的像素(x，y)处的噪声残留，uW^r表示视频帧r的噪声残差的平均值；

用e_i表示第i个视频帧组的组内相邻帧间相关关系，对视频帧组组内的每一对相邻帧进行相似性计算，其中i∈[1，m]，e_i组合在一起形成数组E：

(3)视频帧组间相似性表示，视频帧组划分完毕后，计算每个组和其他所有组之间的相似性c_i，j，并将值组合以形成m×m维的相关矩阵C，在矩阵C的每一行中，保持子帧组与其他子帧组的相似值c_i，j；计算完所有视频帧组之间的相似性之后，对矩阵C进行进一步简化得到最终矩阵。

4.如权利要求3所述的视频伪造检测方法，其特征在于，如果相似值c_i,j大于指定阈值，则令c_i，j＝1，相关的两个视频帧组都被视为重复伪造候选，否则，令c_i，j＝0；将使用相关系数作为相似度的度量，两个向量

和

之间的相关系数由下式给出：

其中u_i和v_i是

和

的第i个元素，而γ_u和γ_v分别为

和

的均值。

5.如权利要求2所述的视频伪造检测方法，其特征在于，所述第二步确定视频帧组，视频中复制的一段视频帧序列被定义的滑动窗口分割成多部分时，对包含重复帧的多个视频帧组进行合并以获得完整的视频复制片段；采用合并策略对视频帧组进行合并，如果判定重复的两个视频帧组与另外两个判定重复的视频帧组的对应序列差值相等，则将视频帧组进行去重合并。

6.如权利要求2所述的视频伪造检测方法，其特征在于，所述第三步帧间复制伪造判断，当一组帧被复制时，帧间相似关系也被复制；当某个视频帧被伪造时，视频帧中的噪声残差的相关值根据所使用的伪造方式而改变；若伪造类型是连续帧复制伪造，则在其伪造序列中不存在单帧重复，伪造序列连续帧间的相似性处于合理阈值之内；若伪造类型是单帧多次重复伪造，则其连续帧之间的相似性会增加。

7.如权利要求2所述的视频伪造检测方法，其特征在于，所述第四步对伪造帧组进行定位，提取视频帧组与原始视频序列拼接位置的视频帧，计算其与相邻帧的相似性，选取相似度低的一组作为伪造帧组，另一组作为原始帧组，确定伪造区域。

8.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求1～7任意一项所述视频伪造检测方法包括下列步骤：将视频帧序列划分为重叠子帧组，并将每个子帧组作为查询片段进行相似性检查；将子帧组组内的相邻帧相关关系作为子帧组特征，计算子帧组之间的相似性；如果相相似性大于阈值，则选择相应子帧组作为伪造帧组候选；通过检测子帧组组内的相邻帧时间关系确定伪造类型和位置。

9.一种实施权利要求1～7任意一项所述视频伪造检测方法的视频伪造检测系统，其特征在于，所述视频伪造检测系统包括：

相关性矩阵构建模块，用于将视频帧组为单元构建相关性矩阵，确定可疑复制帧组后再对组内帧序列进行下一步检测；

可疑视频帧组确定模块，用于以视频帧组为单位进行视频伪造检测，确定可疑的视频帧组；

还原视频序列模块，用于确定视频帧组后需要对多个视频帧组进行合并，以还原完整的视频序列；

视频帧位置定位复制模块，用于根据视频帧组组内相关性对视频复制伪造类型进行分析，定位复制视频帧位置。

10.一种安装有权利要求9所述视频伪造检测系统的视频监控终端。

Images