CN110084781B

CN110084781B - 基于特征点的监控视频篡改检测的被动取证方法及系统

Info

Publication number: CN110084781B
Application number: CN201910223677.4A
Authority: CN
Inventors: 沈玉龙; 翟开放; 陈博闻; 胡天柱; 赵振; 刘宇鹃; 祝幸辉; 余正伟; 徐旭东; 林旭
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2019-03-22
Filing date: 2019-03-22
Publication date: 2021-11-09
Anticipated expiration: 2039-03-22
Also published as: CN110084781A

Abstract

本发明属于信息安全技术领域，公开了一种基于特征点的监控视频篡改检测的被动取证方法及系统，应用于平安城市监控系统，包括以下步骤：输入视频，视频转换为帧，检测可疑帧；采用ORB算法找到每个帧的关键点；可疑帧检测；比较可疑帧与其他所有帧的特征；如果比对成功，则帧被篡改，否则，帧未被篡改。本发明效率极高，且无论视频序列的帧数有多少，所提出的方案都可以100％准确地检测出被篡改的帧。该算法还可以在给定视频帧序列中定位被篡改过的帧。并且基于ORB算法的旋转不变性和尺度不变性，该方案具有良好的鲁棒性。

Description

基于特征点的监控视频篡改检测的被动取证方法及系统

技术领域

本发明属于信息安全技术领域，尤其涉及一种基于特征点的监控视频篡改检测的被动取证方法及系统。

背景技术

目前，最接近的现有技术：

视频的篡改可以有意地隐藏视频中特定的活动或者对象，因为监控视频通常被作为法庭上的有力证据，所以这种视频的伪造会造成非常严重的问题。因此，监控视频篡改检测已成为确保视频数据完整性的关键问题。

视频的篡改可以通过各种方式完成。最常见的篡改方法是复制移动伪造，指的是单个帧的内容被修改或者修改是在视频帧的序列中完成的。第一次攻击称为空间篡改，而后称为时间篡改。

常用的视频篡改方式有以下几种，(1)空间篡改：伪造者可以通过操纵视频帧或者相邻视频帧中的像素比特来在空间上篡改原视频。这种类型的篡改具有以下几种可能的情况：帧中的小区域被复制并粘贴在同一帧的其他位置，目的是隐藏某些对象；来自某一帧的小区域可以粘贴在同一个GOP其他帧或者其他GOP的其他帧中；通过应用诸如旋转、缩放等信号处理操作来进行一些修改。

(2)时间篡改：时间篡改攻击主要影响摄像机捕获的视觉信息的时间顺序。在这种类型的篡改攻击中具有以下几种可能性：帧被复制并粘贴到同一个GOP中；帧被复制并粘贴到其他GOP中；修改帧然后粘贴到其他位置。

(3)时空篡改：时空篡改攻击是时间和空间篡改攻击的组合。主要包括帧序列被改变，同一视频中帧的可视内容被篡改。

视频伪造检测的两种常用技术分别是主动方法和被动方法。其中主动方法主要包括数字签名和水印技术。但是这些方法有一定的限制，例如数字签名和水印会影响视频的质量，并且还需要前端的视频采集设备具有硬件支持。

在被动视频伪造检测方法中，视频伪造检测的目标是确保在录制时间之后视频数据没有被篡改。视频伪造检测技术是多媒体取证分析的热门研究领域。

目前以后大量的针对图像伪造进行检测的研究，但是针对监控视频的伪造检测问题还少有研究。现有算法效率较低，不能达到监控视频实时伪造检测的目的。

综上所述，现有技术存在的问题是：现有技术中，没有利用ORB算法作为视频帧特征点的提取算法，以及没有结合RANSAC匹配算法来找到测试视频中的重复帧。造成不能对监控视频的帧复制篡改检测。而且现有技术的视频伪造检测方法鲁棒性差。

解决上述技术问题的意义：实验结果表明，该方法效率极高，且无论视频序列的帧数有多少，所提出的方案都可以在100％检测准确率的前提下，将检测速度提高10倍。该算法还可以在给定视频帧序列中定位被篡改过的帧。并且基于ORB算法的旋转不变性和尺度不变性，该方案具有良好的鲁棒性。

发明内容

针对现有技术存在的问题，本发明提供了一种基于特征点的监控视频篡改检测的被动取证方法及系统。本发明的被动取证方法不需要提前嵌入任何信息，例如数字签名。本发明在视频数据中的统计特征用于识别数据的有效性。

本发明是这样实现的，一种基于特征点的监控视频篡改检测的被动取证方法，所述基于特征点的监控视频篡改检测的被动取证方法包括：

输入视频，视频转换为帧，检测可疑帧；采用ORB算法找到每个帧的关键点；

进行可疑帧检测；并比较可疑帧与其他所有帧的特征；如果比对成功，则帧被篡改，否则，帧未被篡改。

本发明的方法运算速度快，鲁棒性强，可疑帧：减少了帧的对比数量，提高了运算速度。

本发明提出了一种基于特征点的监控视频篡改检测的被动取证方法，根据监控视频具有实时性的特点，选择速度较快的ORB算法作为视频帧特征点的提取算法，以及RANSAC匹配算法来找到测试视频中的重复帧。实现了监控视频的帧复制篡改检测。实验结果表明，该方法效率极高，且无论视频序列的帧数有多少，所提出的方案都可以100％准确地检测出被篡改的帧。该算法还可以在给定视频帧序列中定位被篡改过的帧。并且基于ORB算法的旋转不变性和尺度不变性，该方案具有良好的鲁棒性。

进一步，采用ORB算法找到每个帧的关键点中，采用oFAST特征提取和rBRIEF特征描述找到每个帧的关键点。

进一步，oFAST特征提取的方法包括：

第一步：粗提取，从图像中选取一点P，判断P点是否是特征点，如果P为特征点，则4个位置上至少有3个位置像素的灰度值大于或者小与P点的灰度值；如果不满足上述条件，则直接排除；

第二步，使用机器学习的方法选取最优的特征点，采用ID3算法训练决策树，将P点周围的16个像素点输入到决策树中，筛选出最优的特征点；

第三步，使用非极大值抑制的方法去除局部比较密集的特征点；

第四步，特征点的尺度不变性，使用建立金字塔的方式实现特征点的尺度不变性；设置一个比例因子scaleFactor＝1.2以及金字塔层数nlevels＝8；将原图按照比例因子缩小为nlevels幅图像；缩小后的图像为：

nlevels幅各个比例不同的图像提取的特征点的总和为图像的oFast特征点；

第五步，特征点的旋转不变性，利用矩来计算当前特征点以r为半径圆形范围内的质心，特征点的方向为特征点坐标到质心所形成的一个向量；矩为：

其中，I(x，y)为图像灰度的表达式；矩的质心为：

向量的角度即是该特征点的方向，计算方式为：

进一步，rBRIEF特征描述的方法包括：

第一步：对图像进行降噪处理，采用方差为2，高斯窗口为9×9高斯滤波的方式；

第二步：取以特征点作为中心，大小为S×S(通常取S＝31)的邻域大窗口；在大窗口中随机选择两个大小为5×5的子窗口，对子窗口内的像素和进行对比，并进行二进制赋值；赋值方式为：

第三步：在得到的大窗口中随机选取N对子窗口，并进行二进制赋值，形成二进制编码，所述二进制编码为特征点的描述，为特征描述子，特征表示如下：

将n个测试点对(x_i,y_i)，定义为一个2×n的矩阵：

旋转θ角度后形成旋转矩阵R_θ，计算通过旋转矩阵后的这些匹配点的坐标为：

S_θ＝R_θS；

使用S_θ中的像素点求取特征点的描述符。

进一步，rBRIEF算法筛选256对子窗口根据均值和点之间方差最大化进行筛选，具体包括：

步骤I：对每个特征点的邻域中所有可能的子窗口和其对应的初始二值串进行重组得到矩阵O，矩阵的行数为特征点的个数，每行是各个点对应的初始二值描述子；

步骤II：对这个矩阵O，求各列平均值，并按照每列均值与0.5的差的绝对值从小到大进行排序，得到矩阵T；

步骤III：贪心搜索，把T中第一列放入初始为空的矩阵R，并将所述列从T中删除；

逐次选择T中的每一列，分别与R中的每一列进行比对，判断关联性是否达到一个阈值，如果达到，则忽略此列进行下一列比对，否则将该列放入R中，并将其从T中删除；

重复以上过程，直到R中有256个列，这样每一个特征点都有256个由0和1组成的描述子；如果一次执行没有达到256个，低阈值再次执行，直到达到256个为止，最终得到的R为特征描述矩阵。

进一步，可疑帧检测的方法包括：

(1)将I帧作为标记帧；

(2)使用第I帧和第P帧基于三步搜索的块匹配算法来查找运动矢量；

(3)写运动矢量识别图像；

(4)将第一个运动矢量图像作为标记图像；

(5)从标记图像中减去所有运动矢量图像；

(6)取步骤(5)中得到的每个图像的平均值；

(7)从步骤(6)创建差矢量；

(8)从矢量中找出匹配的差异；

(9)将矢量中的匹配步骤标记为可疑图像索引；

(10)创建可疑图像索引数组。

进一步，ORB特征与可疑帧的比较的方法包括：

1)将每个输入图像转换为灰度图像；

2)查找基于ORB的特征关键点；

3)将可疑索引帧的ORB特征作为测试输入；

4)从帧序列中依次获取每个图像的ORB特征；

5)使用RANSAC单应匹配技术计算匹配距离；

6)通过与可疑帧匹配来生成所有图像的数组。基于可疑帧得分的最高匹配帧则显示为序列中的伪造帧。

进一步，RANSAC匹配算法包括：

(1)从数据集中随机选出一组局内点，计算得出一套模型参数；

(2)用所获得的模型检测其他的所有数据点，某个点的测试误差在设定的阈值范围之内，则判定为局内点，否则为局外点；保留当前局内点数量最多的模型，并记录为最佳模型；

(3)重复执行(1)(2)步骤，直到达到预设的迭代次数。

本发明的另一目的在于提供一种实施所述的基于特征点的监控视频篡改检测的被动取证方法的基于特征点的监控视频篡改检测的被动取证控制系统。

本发明的另一目的在于提供一种实施所述的基于特征点的监控视频篡改检测的被动取证方法的应用于平安城市监控设备。

本发明的优点及积极效果为：

本发明提出了一种基于特征点的监控视频篡改检测的被动取证方法，根据监控视频具有实时性的特点，选择速度较快的ORB算法作为视频帧特征点的提取算法，以及RANSAC匹配算法来找到测试视频中的重复帧。实现了监控视频的帧复制篡改检测。实验结果表明，该方法效率极高，且无论视频序列的帧数有多少，所提出的方案都可以100％准确地检测出被篡改的帧。该算法还可以在给定视频帧序列中定位被篡改过的帧。并且基于ORB算法的旋转不变性和尺度不变性，该方案具有良好的鲁棒性。本发明主要解决了监控视频伪造检测的效率问题，即提高了伪造检测的运算速度。

附图说明

图1是本发明实施例提供的基于特征点的监控视频篡改检测的被动取证方法流程图。

图2是本发明实施例提供的基于特征点的监控视频篡改检测的被动取证控制系统示意图。

图3是本发明实施例提供的FAST特征点判断示意图。

图4是本发明实施例提供的生成灰度图像洗过图。

图5是本发明实施例提供的在图像中标出特征点效果图。

图6是本发明实施例提供的两幅图像的匹配情况图。

图7是本发明实施例提供的实验结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有技术中，没有利用ORB算法作为视频帧特征点的提取算法，以及没有结合RANSAC匹配算法来找到测试视频中的重复帧。造成不能对监控视频的帧复制篡改检测。而且现有技术的视频伪造检测方法鲁棒性差。

为解决上述问题，下面结合具体方案对本发明作详细描述。

如图1所示，本发明实施例提供的基于特征点的监控视频篡改检测的被动取证方法包括以下步骤：

(a)输入视频，视频转换为帧，检测可疑帧。

(b)找到每个帧的关键点。

(c)比较可疑帧与其他所有帧的特征。

(d)如果匹配成功，则帧被篡改。

(e)如果匹配失败，则帧未被篡改。

下面结合具体分析对本发明作进一步描述。

(一)ORB算法的流程：

ORB(Oriented FAST and Rotated BRIEF)是一种快速特征点描述和提取的算法。该算法的提出解决了SIFT算法高昂的计算代价以及BRIEF特征所具有的旋转不变性和尺度不变性的缺乏以及对噪声比较敏感的缺陷。并将FAST的特征点检测方法与BRIEF特征描述子相结合，而且在它们原本的基础上加以改进和优化。所以ORB算法在运行时间上比SIFT算法快100倍，比SURF快10倍。并且同样具有很好的匹配效果。ORB算法的流程主要包括两部分，分别是：oFAST特征提取和rBRIEF特征描述。

(1)oFAST特征提取

ORB算法的特征提取方法oFAST是由FAST算法改进而来的。该算法首先使用FAST算法提取出特征点，然后给特征点定义一个方向，以此达到特征点旋转不变性的目的。图3是FAST特征点判断示意图。FAST算法是目前最快的特征提取算法。

oFAST算法的步骤如下：

第一步：粗提取。该操作可以提取大量的特征点，但这些特征点中大多数质量并不高。因此需要进行提取。从图像中选取一点P，如图1所示。判断该点是否是特征点，其方法是，以P点为圆心画一个半径3像素的圆，圆上如果有n个连续像素点的灰度值大于或者小于P点的灰度值，则认为P是特征点。通常设置n＝12。为了加速特征点的提取，并不一次性对12个点都进行检测，而是首先检测1、5、9、13四个位置上像素点的灰度值，如果P为特征点，则4个位置上至少有3个位置像素的灰度值大于或者小与P点的灰度值。如果不满足该条件，则直接排除该点。

第二步：使用机器学习的方法选取最优的特征点。一般采用ID3算法训练决策树，将P点周围的16个像素点输入到决策树中，从而筛选出最优的特征点。

第三步：使用非极大值抑制的方法去除局部比较密集的特征点。非极大值抑制算法原理是为每个特征点计算计算其响应值的大小。其计算方式是P点及其周围16个像素点偏差绝对值的和。在相临近的特征点中，保留其中响应值较大的，删除其余较小的特征点。该步骤也可称作非极大值抑制算法删除相临近位置上多个特征点的问题。

第四步：特征点的尺度不变性。使用建立金字塔的方式来实现特征点的尺度不变性。首先设置一个比例因子(scaleFactor＝1.2)以及金字塔层数(nlevels＝8)。将原图按照比例因子缩小为nlevels幅图像。缩小后的图像为：

nlevels幅各个比例不同的图像提取的特征点的总和为该图像的oFast特征点。

第五步：特征点的旋转不变性。OBR算法确定FAST特征点的方式使用的方法是矩。或者说是利用矩来计算当前特征点以r为半径圆形范围内的质心，该特征点的方向即为特征点坐标到质心所形成的一个向量。矩的定义为：

其中，为图像灰度的表达式。此矩的质心为：

向量的角度即是该特征点的方向，计算方式为：

(2)rBRIEF特征描述

BRIEF描述子是对关键点进行的一个描述，通过oFAST算法得到了关键点的方向和位置。以下为rBRIEF算法的步骤：

第一步：对图像进行降噪处理，采用方差为2，高斯窗口为9×9高斯滤波的方式。

第二步：取以特征点作为中心，大小为S×S(通常取S＝31)的邻域大窗口。在大窗口中随机选择两个大小为5×5的子窗口，对子窗口内的像素和进行对比，并对其二进制赋值。赋值方式为：

第三步：在上一步得到的大窗口中随机选取N(通常取N＝256)对子窗口，并对其进行二进制赋值，进而形成二进制编码，这个二进制编码即为特征点的描述，也就是特征描述子，特征表示如下：

但是BRIEF并不具备旋转不变性。如果想使BRIEF算法具备旋转不变性，那么则需要使特征点的邻域旋转一个角度θ。但是整体旋转一整个邻域计算开销是很大的，那么更加高效的方法就是仅旋转上面得到的那些邻域里面的匹配点x_i,y_i。

将n个测试点对(x_i,y_i)，定义为一个2×n的矩阵：

S_θ＝R_θS

使用S_θ中的像素点求取特征点的描述符即可。

在本发明实施例中，rBRIEF算法筛选256对子窗口是根据均值和点之间方差最大化原理，算法过程如下：

步骤一：对每个特征点的邻域中所有可能的子窗口和其对应的初始二值串进行重组得到矩阵O，矩阵的行数为特征点的个数，每行是各个点对应的初始二值描述子。

步骤二：对这个矩阵O，求其各列平均值，并按照每列均值与0.5的差的绝对值从小到大进行排序，得到矩阵T。

步骤三：贪心搜索，包括：

a)把T中第一列放入初始为空的矩阵R，并将该列从T中删除；

b)逐次选择T中的每一列，分别与R中的每一列进行比对，判断其关联性是否达到一个阈值，如果达到，则忽略此列进行下一列比对，否则将该列放入R中，并将其从T中删除；

重复以上a)、b)两个过程，直到R中有256个列，这样每一个特征点都有256个由0和1组成的描述子。如果一次执行没有达到256个，那么降低阈值再次执行，直到达到256个为止，最终得到的R即为特征描述矩阵。

ORB算法的过程首先是对图像进行灰度化处理，如图4所示生成灰度图像所示。

对图像完成灰度化显示之后进行特征点的标注，用粉红色小圆圈表示，经显示观察到，ORB算法在特征点标记时数量较少。如图5在图像中标出特征点图所示。

最后是根据ORB特征点对图像进行匹配的情况，如图6两幅图像的匹配情况图所示。可以看出，ORB算法的特征匹配效果比较理想，并且具有比较稳定的旋转不变性。

(二)可疑帧检测：

本发明实例使用一秒持续时间内的所有视频帧序列。伪造者可以篡改并复制序列中的任何帧，并将其粘贴到相同序列中的其他位置，从而对视频进行伪造。为了找到给定视频帧序列中的篡改帧，基本原理是将每个帧与其他所有帧进行比较。但是对其他每个帧一一比对是一项耗时的任务。为了减少计算时间，首先需要在序列中找到可疑帧，以下为可疑帧的检测步骤：

(1)将I帧作为标记帧；

(3)写运动矢量识别图像；

(4)将第一个运动矢量图像作为标记图像；

(5)从标记图像中减去所有运动矢量图像；

(6)取步骤(5)中得到的每个图像的平均值；

(7)从步骤(6)创建差矢量；

(8)从矢量中找出匹配的差异；

(9)将矢量中的匹配步骤标记为可疑图像索引；

(10)创建可疑图像索引数组。

(三)ORB特征与可疑帧的比较

为了找到帧之间的相似性，可以使用帧的各种特征。在本章提出的算法中，ORB算法用于从每个帧中提取特征。在ORB算法中，第一步是对特征点的粗提取，以P为圆心的半径为3个像素的圆，如果圆周上有连续n个点像素的灰度值大于或小于P点，则认为P是特征点。第二步是通过机器学习的方法选取最优特征点。第三步是使用非极大值抑制的方法出去局部密集的特征点。然后建立金字塔，来实现特征点的多尺度不变性。最后，使用矩方法用来确定特征点的方向，以此来实现特征点的旋转不变性。以下为ORB特征与可疑帧比较算法的步骤：

(1)将每个输入图像转换为灰度图像；

(2)查找基于ORB的特征关键点；

(3)将可疑索引帧的ORB特征作为测试输入；

(4)从帧序列中依次获取每个图像的ORB特征；

(5)使用RANSAC单应匹配技术计算匹配距离；

(6)通过与可疑帧匹配来生成所有图像的数组。基于可疑帧得分的最高匹配帧则显示为序列中的伪造帧。

其中RANSAC匹配算法的步骤如下：

(2)用所获得的模型检测其他的所有数据点，假设某个点的测试误差在设定的阈值范围之内，则判定其为局内点，否则为局外点。保留当前局内点数量最多的模型，并将其记录为最佳模型。

(3)重复执行(1)(2)步骤，直到达到预设的迭代次数。

如图2所示，本发明实施例提供的基于特征点的监控视频篡改检测的被动取证控制系统示意图。

下面结合实验对本发明的应用效果做详细的描述。

如图7所示，通过实验得到第3帧和第28帧具有相同数量的匹配关键点。因此第28帧为第3帧的精确复制品。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于特征点的监控视频篡改检测的被动取证方法，其特征在于，所述基于特征点的监控视频篡改检测的被动取证方法包括：

进行可疑帧检测；并比较可疑帧与其他所有帧的特征；如果比对成功，则帧被篡改，否则，帧未被篡改；

可疑帧检测的方法包括：

(1)将I帧作为标记帧；

(3)写运动矢量识别图像；

(4)将第一个运动矢量图像作为标记图像；

(5)从标记图像中减去所有运动矢量图像；

(6)取步骤(5)中得到的每个图像的平均值；

(7)从步骤(6)创建差矢量；

(8)从矢量中找出匹配的差异；

(9)将矢量中的匹配步骤标记为可疑图像索引；

(10)创建可疑图像索引数组。

2.如权利要求1所述的基于特征点的监控视频篡改检测的被动取证方法，其特征在于，采用ORB算法找到每个帧的关键点中，采用oFAST特征提取和rBRIEF特征描述找到每个帧的关键点。

3.如权利要求2所述的基于特征点的监控视频篡改检测的被动取证方法，其特征在于，oFAST特征提取的方法包括：

第一步：粗提取，从图像中选取一点P，判断P点是否是特征点，如果P为特征点，则4个位置上至少有3个位置像素的灰度值大于或者小于P点的灰度值；如果不满足上述条件，则直接排除；

m_pq＝∑_x，y∈rx^py^qI(x，y)

其中，I(x，y)为图像灰度的表达式；矩的质心为：

向量的角度即是该特征点的方向，计算方式为：

4.如权利要求2所述的基于特征点的监控视频篡改检测的被动取证方法，其特征在于，rBRIEF特征描述的方法包括：

第二步：取以特征点作为中心，大小为S×S的邻域大窗口，S＝31；在大窗口中随机选择两个大小为5×5的子窗口，对子窗口内的像素和进行对比，并进行二进制赋值；赋值方式为：

将n个测试点对(x_i,y_i)，定义为一个2×n的矩阵：

S_θ＝R_θS；

使用S_θ中的像素点求取特征点的描述符。

5.如权利要求4所述的基于特征点的监控视频篡改检测的被动取证方法，其特征在于，rBRIEF算法筛选256对子窗口根据均值和点之间方差最大化进行筛选，具体包括：

重复以上过程，直到R中有256个列，这样每一个特征点都有256个由0和1组成的描述子；如果一次执行没有达到256个，降低阈值再次执行，直到达到256个为止，最终得到的R为特征描述矩阵。

6.如权利要求4所述的基于特征点的监控视频篡改检测的被动取证方法，其特征在于，ORB特征与可疑帧的比较的方法包括：

1)将每个输入图像转换为灰度图像；

2)查找基于ORB的特征关键点；

3)将可疑索引帧的ORB特征作为测试输入；

4)从帧序列中依次获取每个图像的ORB特征；

5)使用RANSAC单应匹配技术计算匹配距离；

6)通过与可疑帧匹配来生成所有图像的数组，基于可疑帧得分的最高匹配帧则显示为序列中的伪造帧。

7.如权利要求6所述的基于特征点的监控视频篡改检测的被动取证方法，其特征在于，RANSAC匹配算法包括：

(1)从数据集中随机选出一组局内点，拟合得出一套模型参数；

(3)重复执行(1)(2)步骤，直到达到预设的迭代次数。

8.一种实施权利要求1所述的基于特征点的监控视频篡改检测的被动取证方法的基于特征点的监控视频篡改检测的被动取证控制系统。

9.一种实施权利要求1所述的基于特征点的监控视频篡改检测的被动取证方法的应用于平安城市监控设备。