CN107040790A - 一种基于多粒度哈希的视频内容认证和篡改定位方法 - Google Patents

Abstract

本发明公开了一种基于多粒度哈希的视频内容认证和篡改定位方法，包括以下步骤：(1)计算视频帧序列的3D小波变换，将低频率子带LLL作为PCET的输入，构建几何不变的时空域特征，生成视频的帧序列级别哈希；(2)将视频帧分成多个环形块和角度块，在图像块上提取PCET矩，生成块级别哈希；(3)提取显著性物体位置信息作为像素级别哈希。帧序列级别哈希具有优良的鲁棒性，用作视频内容认证，定位篡改的帧序列；块级别哈希和像素级别哈希可以描述视频的局部位置信息，用作篡改定位，获得精细的篡改定位结果；具有在SYSU‑OBJFORG数据集上进行测试，能够保证视频内容认证分类准确率高和篡改定位结果精确性好等优点。

Description

一种基于多粒度哈希的视频内容认证和篡改定位方法

技术领域

本发明属于视频处理领域，涉及一种自然彩色视频的内容认证和篡改定位的方法，特别涉及一种基于多粒度哈希的视频内容认证和篡改定位方法。

背景技术

随着多媒体技术的迅猛发展，涌现出了很多强大的视频编辑工具，使得人们可以快捷，方便地对视频的内容进行处理，包括添加，删除，修改视频中的物体，并且通过对边缘进行模糊等手段达到可以不留下人眼可见的痕迹的效果。这种工具可以被攻击者使用，通过对视频内容的篡改来达到对观看视频的人的认知干扰，进而误导人对视频内容的理解。

视频内容认证和篡改定位在新闻媒体，法庭，公安机关等场所具有重要的意义。因此，发明一种自动化的视频内容认证和篡改定位方法具有重大的意义，视频哈希算法是其中一种流行的方法。视频哈希算法通过提取能够描述提取视频的特征形成一个哈希向量。这个视频哈希具有对可容忍操作的鲁棒性，对篡改操作的敏感性和定位篡改位置的能力。

目前为止，已经涌现了大量的视频哈希用于内容认证和篡改定位的方法，当前已有的视频哈希方法可分为两类：基于帧的哈希方法，基于时空域的哈希方法。前者提取每一帧的哈希并将其连接形成视频哈希，这种方法容易对小程度的去同步化，如小幅度帧速率更改操作敏感。后者虽然可以做到对大部分的噪声，模糊等操作鲁棒，但是对不更改视频内容的几何操作敏感,同时很难兼顾到小范围区域篡改的定位。本发明根据自然视频在帧序列粒度，块粒度和像素粒度下对视频细节描述的不同，利用3D小波变换和极坐标下复指数变换，设计多粒度哈希算法来平衡鲁棒性和脆弱性，克服了单一粒度下难以抽取哈希来同时符合鲁棒，脆弱，篡改定位三种要求的困难，在很大程度上提高了定位结果的正确性和准确性。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于多粒度哈希的视频内容认证和篡改定位方法，该方法是一种新的针对自然彩色视频的篡改定位方法。该篡改定位方法参照于人工标记的篡改区域，提取的篡改定位区域精确、完整，具有良好的视觉效果。

本发明的目的通过以下技术方案实现：一种基于多粒度哈希的视频内容认证和篡改定位方法，主要包括以下步骤：

帧序列级别哈希提取；

块级别哈希提取；

像素级别哈希提取；

内容认证；

篡改定位。

帧序列级别哈希提取步骤：将原始视频均匀分段，对每个帧序列段的L通道进行三级平稳小波变换(3D-DWT)得到三个方向上的小波细节信息，取最低频的LLL小波子带进行极坐标下复指数谐波变换(PCET)，从中选择鲁棒的特征形成哈希。每一个帧序列段的哈希连接，可以得到整个视频的帧序列级别哈希。

块级别哈希提取步骤：将帧序列中的每一帧进行分块，分块的方式有两种：环形分块和角度分块。环形分块是将每一帧以不同半径的同心圆形式，提取每两个同心圆之间的环形区域形成环形块；角度分块是将每一帧以不同角度的扇形块的形式，提取每两个扇形之间的扇形区域形成角度块。对每一个环形分块和角度分块进行PCET，从中选择鲁棒的特征形成哈希，将每一个块的哈希连接，可以得到帧的哈希，进一步连接帧的哈希，可以得到整个视频的块级别的哈希。

像素级别哈希提取步骤：由于篡改定位需要更加精准的位置信息。对视频的每一帧计算显著性图，对显著性图进行二值化和腐蚀膨胀操作，得到二值化的显著性区域，用多边形来表示每一个显著性区域，记录每一个多边形的顶点的位置，即像素坐标作为哈希结果，将每一帧的哈希连接得到整个视频的像素级别的哈希。

内容认证步骤：内容认证是对帧序列的合法性进行认证。帧序列级别的哈希由于在帧段上进行3D-DWT，对时域的去同步化，空域可容忍操作具有良好的鲁棒性，同时由于PCET具有几何不变性，因此该哈希结果具有对几何操作的鲁棒性。基于以上两点：帧序列级别的哈希被用作视频认证。如果基于原始视频提取的帧序列级别哈希与待测视频对应帧段的帧序列级别哈希相差超过某个设定阈值，将此帧序列认证为篡改帧序列。

篡改定位步骤：篡改定位是对篡改区域的定位。由于需要视频的局部信息，提取的块级别哈希和像素级别哈希将被用作篡改定位。如果基于原始视频帧提取的块级别哈希与待测视频块级别哈希相差超过某个设定阈值，将此图像块认证为篡改块。篡改块组成的区域称为粗糙篡改区域。将原始视频和待测视频两次记录的像素级别哈希，即多边形位置，进行并集操作，再与粗糙篡改区域进行交集操作，可以得到最终的精准篡改定位结果。

本发明的具体方案可以如下：一种基于多粒度哈希的视频内容认证和篡改定位方法，包括以下步骤：

步骤1、帧序列级别哈希提取；

步骤2、块级别哈希提取；

步骤3、像素级别哈希提取；

步骤4、内容认证；

步骤5、篡改定位。

所述步骤1包括以下步骤：

步骤11、将原视频采样得到K帧，均匀分为N个视频帧序列fs_i，i＝1,2,...N，每个帧序列被调整为I×J×s，其中

步骤12、对步骤11得到的每个帧序列的L通道进行三级3D-DWT,得到每个帧序列对应的最低频率小波子带LLL，在LLL上的每一帧分别提取PCET矩，从PCET矩中挑选L个鲁棒的特征，取其模组成每个帧序列的特征向量FV。

步骤13、为了确保哈希的安全和紧致性，对每一个L维的特征向量FV进行高斯随机矩阵映射，其中高斯随机矩阵由密钥K随机生成，映射方式即将高维特征向量与高斯随机矩阵相乘得到低维的随机向量。最终N个帧序列的映射结果为被串联起来得到视频的帧序级别哈希，如公式(1)所示。

其中，表示第i个帧序列的哈希结果，表示最终所有帧序列的哈希结果，N表示视频中帧序列的个数。

所述步骤2包括以下步骤：

步骤21、将每个帧序列fs_i分成N_ann个环形块和N_ang个径向块。环形分块是提取不同半径的两个同心圆之间的环形区域形成环形块；角度分块是将提取不同角度的两个扇形之间的扇形区域形成角度块。

步骤22、对步骤21得到的每个环形块和角度块提取哈希。

所述步骤22包括以下步骤:

步骤A1、对于每个规整到[0,1]范围的环形块计算它的PCET矩如公式(2)所示。

其中,

[·]^*表示复共轭，n,l是极坐标下谐波变换的阶和重复度，是整数Q_ann约束的一组整数，基函数积分的下标是R_x＝(x-1)C_ann，上标是R_x+1＝xC_ann，其中C_ann(C_ann＝1/N_ann)是每个环形块的大小。f(r,θ)表示图像的极坐标表示，r是指半径，θ是指角度，是指最终的某个环形块(x块)PCET矩。

步骤A2、对于每个环形块的PCET矩，取其模并做高斯随机矩阵映射，得到的特征向量

步骤A3、对于每个规整到[0,1]范围的角度块计算它的PCET矩如公式(3)所示。

其中各个参数和公式(2)意义一样，积分的下标是θ_y＝(y-1)C_ang，上标是θ_y+1＝yC_ang，其中C_ang(C_ang＝2π/N_ang)是每个角度块的大小，是指最终的某个角度块(y块)的PCET矩。

步骤A4、对于每个角度块的PCET矩，取其模并做高斯随机矩阵映射，得到的特征向量

步骤23、将步骤22得到块哈希串联起来得到视频帧的哈希,如公式(4)所示。

其中，表示第i个帧段的第j帧。

是指每个环形块的最终的特征向量，是指每个角度看最终的特征向量，N_ann是指最终的环形块的个数，相对应的，N_ang是指最终的角度块的个数，他们的特征向量的集合构成最终的视频帧的块级别的哈希其中b表示块级别block。

步骤24、将步骤23得到视频帧的哈希串联起来得到视频的块级别哈希，如公式(5)所示。

其中，是上面步骤23得到了视频帧的哈希结构，表示第i个帧段的第j帧，视频V具有N个帧段，每个帧段有s帧，所有视频帧的哈希的集合组成了视频的块级别哈希，用表示。

所述步骤3包括以下步骤：

步骤31、将视频的每一帧进行显著性区域检测，对提取的显著性图进行二值化得到显著性物体，为了节省哈希长度，用多边形来表示每一个显著性物体，即提取多边形的每个顶点的像素位置作为视频帧的哈希，如公式(6)所示。

其中表示第t个多边形第ver个顶点的位置，变量N_vertex和N_poly分别表示多边形的顶点的个数和多边形的个数，表示第i个帧段的第j帧上面得到的哈希结果。

步骤32、将每一个视频帧的哈希串联起来得到视频的像素级别的哈希。如公式(7)所示。

其中，表示步骤31得到的每一帧的哈希结果(总共有N个帧段，每个帧段有s帧)，他们的集合构成了整个视频的像素级别的哈希

步骤4、步骤1得到的帧序列级别哈希，此哈希具有良好的抵抗轻微帧速率改变和抵抗几何变换的能力，将此哈希与待测视频的哈希进行二范距离比较，如果相差超过某个阈值，则将待测视频的此帧序列fs_i'分类为篡改帧序列。如公式(8)所示。

其中是原始视频第i个帧序列的哈希，是待测视频对应帧序列的哈希。Dh()表示二范距离，fs_i'表示待测视频的第i个帧段，τ_f表示帧序列级别哈希判断中用到的阈值，N表示待测视频的帧段的个数，用布尔变量forged(fs_i')是否为1来表示该待测视频的帧段fs_i'是否为篡改帧段。

步骤5、步骤2和3得到的块级别和像素级别哈希，由于描述视频的细节信息，可以被用来做篡改定位。步骤5包括以下步骤。

步骤51、对于每一个环形块和角度块，如果待测视频对应的块的哈希与之距离超过某个阈值，则此块被分类为篡改块。待测视频被分类为篡改块的环形块和角度块结合成了一个扇形块，多个篡改形块形成了粗糙的篡改定位结果BS。

步骤52、为了达到像素级别的篡改定位，将像素级别哈希加入，原始视频帧和篡改视频帧的像素级别哈希所确定的多边形区域(PS，PS')取并集，再与步骤51确定的粗糙定位结果取交集，可以得到最终的篡改定位结果。如公式(9)所示。

DR＝{p|p∈BS∩(PS∪PS')}， (9)

其中，p表示视频帧中的某个像素点，BS表示根据步骤51的篡改块定位得到的粗糙定位结果(block set)，PS，PS'分别表示原始视频和待测视频根据像素级别哈希得到的两个不同的多边形区域(pixel set)，用DR(detection result)表示最终的篡改定位结果。

本发明的原理：本发明对自然彩色视频提取多粒度哈希用于内容认证和篡改定位，具有较高的精确性和完整性。首先提取视频的帧序列级别哈希，此哈希具有对轻微时域干扰，几何变换的鲁棒性，用于视频内容认证具有较高的分类准确率；然后分别提取块级别和像素级别的哈希，这些哈希包含了位置信息从而可以对篡改位置进行精确的定位。

相对于现有技术，本发明具有如下的优点及效果：

1、提取的多粒度哈希从不同的方面描述了视频内容，可以平衡哈希的鲁棒性和脆弱性，且具有更高的篡改定位的精确性和有效性。

2、3D-DWT和PCET两种技术被用来提取几何不变的时空域特征，3D-DWT可以滤除大部分的噪声干扰，PCET可以提取旋转不变的特征，基于这些特征构建的哈希对可容忍操作具有更加优良的鲁棒性。

3、从帧序列，块，像素三个由粗到精的级别的哈希的提取，使得篡改定位相比已有的技术在应用层次具有更大的灵活性，可以根据应用要求的不同做不同级别的认证。

附图说明

图1是本发明的多粒度哈希提取算法图。

图2是本发明的视频内容认证和篡改定位流程图。

具体实施方案：

下面结合实施例及附图对本发明作一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本发明是一种基于多粒度哈希的视频内容认证和篡改定位方法，主要包括以下步骤：

1、帧序列级别哈希提取：(1)将数据集SYSU-OBJFORG的每个视频采样得到240帧，分成10个视频帧序列，每个帧序列24帧，每一帧256×256。(2)对每个帧序列进行三级3D小波变换，得到的最低频小波子带LLL为32×32×3。(3)对LLL的三帧均做PCET特征提取，获得60维的特征向量。(4)采用高斯随机矩阵映射，将60维特征向量映射成5维哈希。(5)所有的帧序列的5维哈希进行串联，得到视频的帧序列哈希。

2、块级别哈希提取：(1)将视频帧分为5个环形块和24个角度块。(2)对每一个环形块和角度块，分别提取60维的PCET矩。(3)将此60维特征通过高斯随机矩阵映射，得到4维和2维哈希。(4)所有的块的哈希串联起来得到视频的块级别哈希。

3、像素级别哈希提取：(1)对于每一个显著性物体，采用八边形将其包围起来。(2)每个多边形的八个顶点的位置被保存起来作为视频的像素级别的哈希。

4、内容认证：对待测视频的每一个帧序列提取帧序列级别哈希，如果此哈希与原视频对应哈希的二范距离超过阈值0.032,则认为此帧序列为篡改帧序列。

5、篡改定位：(1)对所有的篡改帧序列的每一帧，如果待测视频帧的某个环形块哈希与原视频帧环形块哈希超过阈值0.06，则认为此环形块为篡改环形块，同理角度块的阈值为0.05。(2)篡改环形块和篡改角度块组成篡改扇形块，所有的篡改扇形块组成粗糙定位结果。(3)待测视频像素级别哈希所表示的多边形与原视频哈希所表示的多边形的并集形成一个更加令人关注的区域，与之前的粗糙定位结果取交集，可以得到更加精细的篡改定位结果。

如图2所示，本发明的着重点在于对视频V进行了多粒度哈希，其中每个粒度下面提取的哈希所用到的检测维度不同，给定原始视频的哈希H以及待测视频V’,提取待测视频的不同粒度的哈希。其中，帧序列级别的哈希可以用来做粗糙的视频内容认证，具体到更加精细的篡改定位，需要更加细粒度级别下提取的哈希，包括块级别的哈希用作帧及块的篡改定位，结合像素级别哈希可以做到显著对象的篡改定位，从而得到精细的最终篡改定位结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种基于多粒度哈希的视频内容认证和篡改定位方法，其特征在于，包括以下步骤：

步骤1、帧序列级别哈希提取；

步骤2、块级别哈希提取；

步骤3、像素级别哈希提取；

步骤4、内容认证；

步骤5、篡改定位；

所述步骤1包括以下步骤：

步骤11、将原视频采样得到K帧，均匀分为N个视频帧序列fs_i，i＝1,2,...N，每个帧序列被调整为I×J×s，其中

步骤12、对步骤11得到的每个帧序列的L通道进行三级3D-DWT,得到每个帧序列对应的最低频率小波子带LLL，在LLL上的每一帧分别提取PCET矩，从PCET矩中挑选L个鲁棒的特征，取其模组成每个帧序列的特征向量FV；

步骤13、为了确保哈希的安全和紧致性，对每一个L维的特征向量FV进行高斯随机矩阵映射，其中，高斯随机矩阵由密钥K随机生成，映射方式即将高维特征向量与高斯随机矩阵相乘得到低维的随机向量；最终N个帧序列的映射结果串联起来得到视频的帧序级别哈希：

其中，表示第i个帧序列的哈希结果，表示最终所有帧序列的哈希结果，N表示视频中帧序列的个数。

2.根据权利要求1所述的基于多粒度哈希的视频内容认证和篡改定位方法，其特征在于，所述步骤2包括以下步骤：

步骤21、将每个帧序列fs_i分成N_ann个环形块和N_ang个径向块；环形分块是提取不同半径的两个同心圆之间的环形区域形成环形块；角度分块是将提取不同角度的两个扇形之间的扇形区域形成角度块；

步骤22、对步骤21得到的每个环形块和角度块提取哈希；

所述步骤22包括以下步骤:

步骤A1、对于每个规整到[0,1]范围的环形块计算它的PCET矩

其中,

其中，[·]^*表示复共轭，n,l是极坐标下谐波变换的阶和重复度，是整数Q_ann约束的一组整数，基函数积分的下标是R_x＝(x-1)C_ann，上标是R_x+1＝xC_ann，其中，C_ann是每个环形块的大小，C_ann＝1/N_ann；f(r,θ)表示图像的极坐标表示，r是指半径，θ是指角度，是指最终的某个环形块即x块PCET矩；

步骤A2、对于每个环形块的PCET矩，取其模并做高斯随机矩阵映射，得到的特征向量

步骤A3、对于每个规整到[0,1]范围的角度块计算它的PCET矩

其中，积分的下标θ_y＝(y-1)C_ang，上标θ_y+1＝yC_ang，C_ang是每个角度块的大小，C_ang＝2π/N_ang，是指最终的某个角度块即y块的PCET矩；

步骤A4、对于每个角度块的PCET矩，取其模并做高斯随机矩阵映射，得到的特征向量

步骤23、将步骤22得到块哈希串联起来得到视频帧的哈希：

其中，表示第i个帧段的第j帧；是指每个环形块的最终的特征向量，是指每个角度看最终的特征向量，N_ann是指最终的环形块的个数，N_ang是指最终的角度块的个数，他们的特征向量的集合构成最终的视频帧的块级别的哈希b表示块级别即block；

步骤24、将步骤23得到视频帧的哈希串联起来得到视频的块级别哈希：

其中，是上面步骤23得到了视频帧的哈希结构，表示第i个帧段的第j帧，视频V具有N个帧段，每个帧段有s帧，所有视频帧的哈希的集合组成了视频的块级别哈希，用表示。

3.根据权利要求1所述的基于多粒度哈希的视频内容认证和篡改定位方法，其特征在于，所述步骤3包括以下步骤：

步骤31、将视频的每一帧进行显著性区域检测，对提取的显著性图进行二值化得到显著性物体，为了节省哈希长度，用多边形来表示每一个显著性物体，即提取多边形的每个顶点的像素位置作为视频帧的哈希：

其中，表示第t个多边形第ver个顶点的位置，变量N_vertex和N_poly分别表示多边形的顶点的个数和多边形的个数，表示第i个帧段的第j帧上面得到的哈希结果；

步骤32、将每一个视频帧的哈希串联起来得到视频的像素级别的哈希：

其中，表示步骤31得到的每一帧的哈希结果，总共有N个帧段，每个帧段有s帧，所述N个帧段的集合构成了整个视频的像素级别的哈希

步骤4、步骤1得到的帧序列级别哈希，此哈希具有良好的抵抗轻微帧速率改变和抵抗几何变换的能力，将此哈希与待测视频的哈希进行二范距离比较，如果相差超过某个阈值，则将待测视频的此帧序列fs_i'分类为篡改帧序列：

其中，是原始视频第i个帧序列的哈希，是待测视频对应帧序列的哈希；Dh()表示二范距离，fs_i'表示待测视频的第i个帧段，τ_f表示帧序列级别哈希判断中用到的阈值，N表示待测视频的帧段的个数，用布尔变量forged(fs_i')是否为1来表示该待测视频的帧段fs_i'是否为篡改帧段；

步骤5、步骤2和3得到的块级别和像素级别哈希，由于描述视频的细节信息，可以被用来做篡改定位；步骤5包括以下步骤：

步骤51、对于每一个环形块和角度块，如果待测视频对应的块的哈希与之距离超过某个阈值，则此块被分类为篡改块；待测视频被分类为篡改块的环形块和角度块结合成了一个扇形块，多个篡改形块形成了粗糙的篡改定位结果BS；

步骤52、为了达到像素级别的篡改定位，将像素级别哈希加入，原始视频帧和篡改视频帧的像素级别哈希所确定的多边形区域(PS，PS')取并集，再与步骤51确定的粗糙定位结果取交集，可以得到最终的篡改定位结果：

DR＝{p|p∈BS∩(PS∪PS')}， (9)

其中，p表示视频帧中的某个像素点，BS表示根据步骤51的篡改块定位得到的粗糙定位结果block set，PS，PS'分别表示原始视频和待测视频根据像素级别哈希得到的两个不同的多边形区域pixel set，用DR即detection result表示最终的篡改定位结果。