CN112001429B - 一种基于纹理特征的深度伪造视频检测方法 - Google Patents

Abstract

本发明公开了一种基于纹理特征的深度伪造视频检测方法，该方法包括：将数据集进行视频分帧，得到训练集和测试集；对训练集和测试集中的视频帧图像进行人脸区域捕获并进行预处理，得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集；对训练集进行人脸子区域划分，提取训练人脸图像特征向量并训练分类模型，得到训练后的分类模型；对测试集进行人脸子区域划分，提取测试视频帧人脸图像特征向量，输入到训练后的分类模型得到分类结果。通过使用本发明，缩短对视频帧图像检测模型的训练时间的同时，保证较高的检测准确率。本发明作为一种基于纹理特征的深度伪造视频检测方法，可广泛应用于视频检测领域。

Description

一种基于纹理特征的深度伪造视频检测方法

技术领域

本发明涉及视频检测领域，尤其涉及一种基于纹理特征的深度伪造视频检测方法。

背景技术

由于深度神经网络强大的学习能力，深度伪造视频技术能够生成人眼难以识别的篡改视频，伪造视频检测技术是视频数字取证技术的一个重要分支，主要用于检测视频是否存在帧内人脸区域的伪造篡改替换行为。

目前的深度伪造视频检测技术主要分为两种，一种是利用深度伪造视频技术的一些技术缺陷，手动构造特征进行检测；另一种是利用深度神经网络进行特征提取进行检测。前者对特定的伪造视频能够准确检测，但是对高级的深度伪造视频技术的检测准确度不高；后者虽然能够对伪造视频达到较高的检测准确率，但是存在检测时间长、设备运算能力要求高等缺点。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于纹理特征的深度伪造视频检测方法，降低运算成本的同时提高检测准确率。

本发明所采用的第一技术方案是：一种基于纹理特征的深度伪造视频检测方法，包括以下步骤：

将含有真实人脸视频和深度伪造人脸视频的数据集进行视频分帧，得到视频帧图像并划分为训练集和测试集；

对训练集和测试集中的视频帧图像进行人脸区域捕获并进行预处理，得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集；

对视频帧人脸区域图像训练集进行人脸子区域划分，提取训练人脸图像特征向量并输入到SVM训练分类模型，得到训练后的分类模型；

对视频帧人脸区域图像测试集进行人脸子区域划分，提取测试视频帧人脸图像特征向量，输入到经过训练后的分类模型得到测试视频帧分类结果。

进一步，所述对训练集和测试集中的视频帧图像进行人脸区域捕获并进行预处理，得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集这一步骤，其具体包括：

对训练集和测试集中的视频帧图像进行人脸区域捕获，得到视频帧人脸区域图像；

对视频帧人脸区域图像采用维纳滤波进行降噪，得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集。

进一步，所述对训练集和测试集中的视频帧图像进行人脸区域捕获，得到视频帧人脸区域图像这一步骤，其具体包括：

对视频帧图像进行人脸关键点检测并记录人脸关键点；

根据人脸关键点将图像进行旋转，得到人脸对齐视频帧图像；

获取人脸对齐视频帧图像的人脸关键点位置；

根据人脸关键点位置对人脸对齐视频帧图像进行人脸剪裁，得到视频帧人脸区域图像。

进一步，所述对视频帧人脸区域图像采用维纳滤波进行降噪，得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集这一步骤，其具体包括：

将视频帧人脸区域图像转换为灰度图；

对视频帧人脸区域灰度图像采用维纳滤波进行降噪处理，划分得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集。

进一步，所述对视频帧人脸区域图像训练集进行人脸子区域划分，提取训练人脸图像特征向量并输入到SVM训练分类模型，得到训练后的分类模型这一步骤，其具体包括：

对训练集视频帧人脸区域图像进行人脸子区域划分，得到训练集人脸子区域；

提取训练集人脸子区域的基于梯度域及标准差的纹理特征、基于灰度共生矩阵的纹理特征、基于小波变换的纹理特征，结合得到纹理特征向量；

对纹理特征向量归一化，得到归一化后的纹理特征向量；

将归一化后的纹理特征向输入到SVM训练分类模型，得到训练后的分类模型。

进一步，所述人脸子区域划分具体包括：

对视频帧人脸区域图像，确定子区域数量，获取人脸区域图像长度和人脸区域图像宽度，计算子区域图像长度和子区域图像宽度，将人脸区域图像平均划分为与子区域数量一致的、长度与子区域图像长度相等的、宽度与子区域图像宽度相等的视频帧人脸子区域图像。

进一步，所述基于梯度域及标准差的纹理特征的提取方法具体为：

视频帧人脸子区域图像逐个像素点计算水平方向梯度和垂直方向梯度，利用水平方向和垂直方向梯度计算梯度幅值，对梯度幅值计算均值、标准差、峰度和偏度，对视频帧人脸子区域图像计算标准差，构成基于梯度域及标准差的纹理特征。

进一步，所述基于灰度共生矩阵的纹理特征的提取方法具体为：

对视频帧人脸子区域图像，计算得到多方向的灰度共生矩阵，对多方向的灰度共生矩阵的灰度共生矩阵分别计算对比度特征、相关性特征、能量特征、同质性特征和熵特征，最后对特征分别计算均值，构成基于灰度共生矩阵的纹理特征。

进一步，所述基于小波变换的纹理特征的提取方法具体为：

对于视频帧人脸子区域图像进行一级小波分解，得到水平高频、垂直高频、对角高频三个系数矩阵，分别对三个系数矩阵计算均值、标准差和能量，构成基于小波变换的纹理特征。

进一步，所述得到测试视频帧分类结果还包括生成检测准确率，所述检测准确率的计算方法如下：

上式中，所述K表示为视频帧人脸区域图像测试集的图像总数，所述K_1r表示为真脸图像中被分类模型判断为真脸图像的数量，所述K_2f表示为假脸图像中被分类模型判断为假脸图像的数量。

本发明方法及系统的有益效果是：对人脸区域进行分块特征提取，选取基于梯度域及标准差的纹理特征、基于灰度共生矩阵的纹理特征、基于小波变换的纹理特征，同时采用维纳滤波进行降噪避免图像噪声对于纹理特征提取的影响，利用有效特征进行判断检测从而提高了检测准确率。

附图说明

图1是本发明一基于纹理特征的深度伪造视频检测方法的步骤流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

如图1所示，本发明提供了一种基于纹理特征的深度伪造视频检测方法，该方法包括以下步骤：

S1、将含有真实人脸视频和深度伪造人脸视频的数据集进行视频分帧，得到视频帧图像并划分为训练集和测试集；

具体地，采用深度伪造视频数据集FaceForensics++真实人脸视频数据和c0压缩率下深度伪造人脸视频数据，进行训练测试。

S2、对训练集和测试集中的视频帧图像进行人脸区域捕获并进行预处理，得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集；

S3、对视频帧人脸区域图像训练集进行人脸子区域划分，提取训练人脸图像特征向量并输入到SVM训练分类模型，得到训练后的分类模型；

S4、对视频帧人脸区域图像测试集进行人脸子区域划分，提取测试视频帧人脸图像特征向量，输入到经过训练后的分类模型得到测试视频帧分类结果。

进一步作为本方法的优选实施例，所述对训练集和测试集中的视频帧图像进行人脸区域捕获并进行预处理，得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集这一步骤，其具体包括：

对训练集和测试集中的视频帧图像进行人脸区域捕获，得到视频帧人脸区域图像；

对视频帧人脸区域图像采用维纳滤波进行降噪，得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集。

进一步作为本方法的优选实施例，所述对训练集和测试集中的视频帧图像进行人脸区域捕获，得到视频帧人脸区域图像这一步骤，其具体包括：

对视频帧图像进行人脸关键点检测并记录人脸关键点；

具体地，记录68个人脸关键点。

根据人脸关键点将图像进行旋转，得到人脸对齐视频帧图像；

具体地，根据人脸关键点计算左、右眼中心坐标，以左右眼中心坐标连线水平为基准，将图像进行旋转，得到人脸对齐后的视频帧图像。

获取人脸对齐视频帧图像的人脸关键点位置；

根据人脸关键点位置对人脸对齐视频帧图像进行人脸剪裁，得到视频帧人脸区域图像。

具体地，根据人脸关键点最右侧点为右边界，最左侧点为左边界，最下侧点为下边界，眉毛最上侧点并进行部分扩充为上边界，进行人脸剪裁，得到视频帧人脸区域图像。

上边界具体计算公式为：

top＝Ymin-(Ymax-Ymin)*a

其中，top为上边界，Ymin表示眉毛最上侧点，Ymax表示下边界，a为扩充范围值。

另外，采用Dlib库进行人脸检测及人脸关键点捕获，上边界计算公式中，扩充范围值a设置为0.1。

进一步作为本方法的优选实施例，所述对视频帧人脸区域图像采用维纳滤波进行降噪，得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集这一步骤，其具体包括：

将视频帧人脸区域图像转换为灰度图；

转换为灰度图的公式为：

Gray＝0.2989*R+0.5870*G+0.1140*B

其中Gray表示转换后的灰度图，R、G、B表示RGB图像三颜色通道。

对视频帧人脸区域灰度图像采用维纳滤波进行降噪处理，划分得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集。

具体地，对视频帧人脸区域灰度图像采用维纳滤波进行降噪处理，维纳滤波的局部均值和标准差的估计邻域设置为m、n，维纳滤波的局部均值和标准差的估计邻域m、n分别设置为5、5，噪声方差使用所有图像局部区域估计方差的平均值，图像经过维纳滤波获取降噪处理后的视频帧人脸区域图像，划分得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集。

进一步作为本方法的优选实施例，所述对视频帧人脸区域图像训练集进行人脸子区域划分，提取训练人脸图像特征向量并输入到SVM训练分类模型，得到训练后的分类模型这一步骤，其具体包括：

对训练集视频帧人脸区域图像进行人脸子区域划分，得到训练集人脸子区域；

提取训练集人脸子区域的基于梯度域及标准差的纹理特征、基于灰度共生矩阵的纹理特征、基于小波变换的纹理特征，结合得到纹理特征向量；

对纹理特征向量归一化，得到归一化后的纹理特征向量；

将归一化后的纹理特征向输入到SVM训练分类模型，得到训练后的分类模型。

进一步作为本方法的优选实施例，所述人脸子区域划分具体包括：

对视频帧人脸区域图像，确定子区域数量，获取人脸区域图像长度和人脸区域图像宽度，计算子区域图像长度和子区域图像宽度，将人脸区域图像平均划分为与子区域数量一致的、长度与子区域图像长度相等的、宽度与子区域图像宽度相等的视频帧人脸子区域图像。

具体地，确定子区域数量为N×N块，获取人脸区域图像长度H和人脸区域图像宽度W，计算子区域图像长度H_sub和子区域图像宽度W_sub，将人脸区域图像平均划分为N*N块长度为H_sub和宽度为W_sub的视频帧人脸子区域图像。

子区域图像长度H_sub和子区域图像宽度W_sub的计算公式为：

具体地，人脸子区域块数设置为9块，即N设置为3。

进一步作为本方法的优选实施例，所述基于梯度域及标准差的纹理特征的提取方法具体为：

对视频帧人脸子区域图像逐个像素点计算水平方向梯度和垂直方向梯度，利用水平方向和垂直方向梯度计算梯度幅值，对梯度幅值计算均值、标准差、峰度和偏度，对视频帧人脸子区域图像计算标准差，构成基于梯度域及标准差的纹理特征。

具体地，对于视频帧人脸子区域图像I，逐个像素点计算水平方向和垂直方向的梯度gx、gy，像素点(i,j)在水平方向和垂直方向的梯度gx(i,j)、gy(i,j)具体表达式为：

gx(i,j)＝I(i+1,j)-I(i,j)

gy(i,j)＝I(i,j+1)-I(i,j)

利用水平方向和垂直方向梯度计算梯度幅值M，对梯度幅值M计算均值、标准差、峰度、偏度，对视频帧人脸子区域图像I计算标准差，构成基于梯度图的纹理特征。

梯度幅值M、峰度K、偏度S具体表达式为：

M＝gx²+gy²

其中，μ为M的均值，σ为M的标准差，E(t)表示t的期望值。

进一步作为本方法的优选实施例，所述基于灰度共生矩阵的纹理特征的提取方法具体为：

对视频帧人脸子区域图像，计算得到多方向的灰度共生矩阵，对多方向的灰度共生矩阵的灰度共生矩阵分别计算对比度特征、相关性特征、能量特征、同质性特征和熵特征，最后对特征分别计算均值，构成基于灰度共生矩阵的纹理特征。

具体地，计算水平、垂直、45度、135度四个方向、距离为1、灰度级设置为64的灰度共生矩阵，对计算得到的四个方向的灰度共生矩阵分别计算对比度、相关性、能量、同质性和熵，最后对四个灰度共生矩阵计算得到的特征分别计算均值，构成基于灰度共生矩阵的纹理特征。

对比度f_Con、能量f_Asm、同质性f_Hom和熵f_Ent的具体表达式为：

其中，N为灰度共生矩阵大小，P_i,j为灰度共生矩阵第i行第j列的概率值。

相关性f_Cor表达式如下：

其中，

进一步作为本方法的优选实施例，所述基于小波变换的纹理特征的提取方法具体为：

对视频帧人脸子区域图像进行一级小波分解，得到水平高频、垂直高频、对角高频三个系数矩阵，分别对三个系数矩阵计算均值、标准差和能量，构成基于小波变换的纹理特征。

具体地，能量f_En的具体表达式如下：

其中，M、N为系数矩阵大小，x_i,j为系数矩阵第i行第j列的系数。

进一步作为本方法的优选实施例，所述得到测试视频帧分类结果还包括生成检测准确率，所述检测准确率的计算方法如下：

上式中，所述K表示为视频帧人脸区域图像测试集的图像总数，所述K_1r表示为真脸图像中被分类模型判断为真脸图像的数量，所述K_2f表示为假脸图像中被分类模型判断为假脸图像的数量。

具体地，在测试集视频帧图像总数设为K，其中包括K₁张真脸图像和K₂张假脸图像。

在具体实施过程中，本实施例在深度伪造视频数据集FaceForensics++上进行训练测试，训练集总共包含700个视频，约700000张视频帧图像，测试集总共包含100个视频，约90000张视频帧图像；对于每一张视频帧图像，在训练集上提取171维纹理特征向量，进行SVM分类模型训练，在测试集上同样提取171维纹理特征向量，利用经过训练的SVM分类模型进行测试，实验结果表明，在视频帧水平上检测准确率为87.25％，能够达到较高的检测准确率。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种基于纹理特征的深度伪造视频检测方法，其特征在于，包括以下步骤：

将含有真实人脸视频和深度伪造人脸视频的数据集进行视频分帧，得到视频帧图像并划分为训练集和测试集；

对训练集和测试集中的视频帧图像进行人脸区域捕获并进行预处理，得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集；

对视频帧人脸区域图像训练集进行人脸子区域划分，提取训练人脸图像特征向量并输入到SVM训练分类模型，得到训练后的分类模型；

对视频帧人脸区域图像测试集进行人脸子区域划分，提取测试视频帧人脸图像特征向量，输入到经过训练后的分类模型得到测试视频帧分类结果；

所述对视频帧人脸区域图像训练集进行人脸子区域划分，提取训练人脸图像特征向量并输入到SVM训练分类模型，得到训练后的分类模型这一步骤，其具体包括：

对视频帧人脸区域图像训练集中的视频帧人脸区域图像进行人脸子区域划分，得到训练集人脸子区域；

提取训练集人脸子区域的基于梯度域及标准差的纹理特征、基于灰度共生矩阵的纹理特征、基于小波变换的纹理特征，结合得到纹理特征向量；

对纹理特征向量归一化，得到归一化后的纹理特征向量；

将归一化后的纹理特征向量输入到SVM训练分类模型，得到训练后的分类模型；

所述人脸子区域划分具体包括：对视频帧人脸区域图像，确定其子区域数量，获取人脸区域图像长度和人脸区域图像宽度，计算子区域图像长度和子区域图像宽度，将人脸区域图像平均划分为与子区域数量一致的、长度与子区域图像长度相等的且宽度与子区域图像宽度相等的视频帧人脸子区域图像；

所述基于梯度域及标准差的纹理特征的提取方法具体为：对视频帧人脸子区域图像逐个像素点计算水平方向梯度和垂直方向梯度，利用水平方向和垂直方向梯度计算梯度幅值，对梯度幅值计算均值、标准差、峰度和偏度，对视频帧人脸子区域图像计算标准差，构成基于梯度域及标准差的纹理特征；

所述基于灰度共生矩阵的纹理特征的提取方法具体为：对视频帧人脸子区域图像，计算得到多方向的灰度共生矩阵，对多方向的灰度共生矩阵的灰度共生矩阵分别计算对比度特征、相关性特征、能量特征、同质性特征和熵特征，最后对特征分别计算均值，构成基于灰度共生矩阵的纹理特征。

2.根据权利要求1所述一种基于纹理特征的深度伪造视频检测方法，其特征在于，所述对训练集和测试集中的视频帧图像进行人脸区域捕获并进行预处理，得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集这一步骤，其具体包括：

对训练集和测试集中的视频帧图像进行人脸区域捕获，得到视频帧人脸区域图像；

对视频帧人脸区域图像采用维纳滤波进行降噪，得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集。

3.根据权利要求2所述一种基于纹理特征的深度伪造视频检测方法，其特征在于，所述对训练集和测试集中的视频帧图像进行人脸区域捕获，得到视频帧人脸区域图像这一步骤，其具体包括：

对视频帧图像进行人脸关键点检测并记录人脸关键点；

根据人脸关键点将图像进行旋转，得到人脸对齐视频帧图像；

获取人脸对齐视频帧图像的人脸关键点位置；

根据人脸关键点位置对人脸对齐视频帧图像进行人脸剪裁，得到视频帧人脸区域图像。

4.根据权利要求3所述一种基于纹理特征的深度伪造视频检测方法，其特征在于，所述对视频帧人脸区域图像采用维纳滤波进行降噪，得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集这一步骤，其具体包括：

将视频帧人脸区域图像转换为灰度图；

对视频帧人脸区域灰度图像采用维纳滤波进行降噪处理，划分得到视频帧人脸区域图像训练集和视频帧人脸区域图像测试集。

5.根据权利要求4所述一种基于纹理特征的深度伪造视频检测方法，其特征在于，所述基于小波变换的纹理特征的提取方法具体为：

对视频帧人脸子区域图像进行一级小波分解，得到水平高频、垂直高频、对角高频三个系数矩阵，分别对三个系数矩阵计算均值、标准差和能量，构成基于小波变换的纹理特征。

6.根据权利要求5所述一种基于纹理特征的深度伪造视频检测方法，其特征在于，所述得到测试视频帧分类结果还包括生成检测准确率，所述检测准确率的计算方法如下：

上式中，所述K表示为视频帧人脸区域图像测试集的图像总数，所述K_1r表示为真脸图像中被分类模型判断为真脸图像的数量，所述K_2f表示为假脸图像中被分类模型判断为假脸图像的数量。

Images