CN113449657A - 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质 - Google Patents

Abstract

本发明公开了一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质，方法包括：从视频数据集构造训练集和测试集，对视频进行分帧并根据人脸标记对视频帧图像提取人脸图像；对训练集和测试集的人脸图像提取人脸关键点的坐标；利用训练集的连续帧人脸关键点坐标作为特征，使用梯度下降法训练一个全连接神经网络，用于预测下一帧人脸关键点坐标；将预测得到的人脸关键点坐标和实际人脸关键点坐标构成特征向量输入SVM中训练得到一个分类模型；将测试集的特征向量输入到训练得到的分类模型中，实现对深度伪造人脸视频的检测。本发明结合深度学习和传统机器学习方法，所需计算资源少，对硬件要求低，具有较强的鲁棒性和准确率。

Description

一种基于人脸关键点的深度伪造人脸视频检测方法、系统及 介质

技术领域

本发明属于视屏数字取证技术领域，具体涉及一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质。

背景技术

深度伪造人脸视频旨在通过深度学习的方法将一个视频中的人脸替换成另一个人的脸。近年来，随着深度生成模型技术的发展，深度伪造人脸视频的质量大幅提升，可以产生以假乱真的视频。同时，一些即拆即用的应用的出现也让普通人可以轻松地制造极具欺骗性的深度伪造人脸视频。当下，深度伪造人脸视频在互联网上泛滥。在这个互联网的时代，这会给社会带来巨大的危害。由于其伪造的便利性，以及欺骗性，很容易用来引导社会舆论，篡改新闻，以及对个人进行攻击，从而对公民，社会，以及国家带来重大威胁。

深度伪造人脸视频检测技术属于视频数字取证技术的一种，主要用于检测视频人脸是否是真实的，未经篡改的。由于当前的深度人脸生成技术非常强大，许多高质量的深度伪造人脸视频已经很难用肉眼辨别。

当前的深度伪造人脸视频检测技术大多使用一个复杂的深度神经网络进行特征提取和检测，此类方法的缺点是网络参数大，难以训练，需要丰富的计算资源，不适合轻量化应用场景，因而需要一种对计算资源要求少的深度伪造人脸视频检测方法。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质，该方法克服了现有的深度伪造人脸视频检测方法存在的网络参数量大、计算资源需求大的缺陷，具有良好的鲁棒性和准确性，实现了高效的检测性能。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种基于人脸关键点的深度伪造人脸视频检测方法，包括下述步骤：

将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对所述数据集分帧并根据人脸标记点获取人脸图像；

提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；

利用训练集连续帧中人脸关键点坐标作为特征，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；

将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；

将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假。

作为优选的技术方案，所述将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对视频数据集分帧并根据人脸标记点获取人脸图像，具体为：

将含有真实和深度伪造人脸视频的数据集随机划分为训练集和测试集；

对视频数据集提取包含人脸的视频帧图像；

检测包含人脸的视频帧图像中人脸关键部位的坐标点，记录指定的部分关键点坐标；

根据所述记录的部分关键点坐标中最左、最上、最右和最下四个坐标点裁剪出对应人脸图像。

作为优选的技术方案，所述对应人脸图像边界的计算公式为：

top＝Ymin-(Ymax-Ymin)δ，

bottom＝Ymax+(Ymax-Ymin)δ，

left＝Xmin-(Xmax-Xmin)δ，

right＝Xmax+(Xmax-Xmin)δ，

其中，top为上边界，bottom为下边界，left为左边界，right为右边界，Ymin表示最下坐标点的纵坐标，Ymax表示最上坐标点的纵坐标，Xmax表示最右坐标点的横坐标，Xmin表示最左坐标点的横坐标，δ表示裁剪因子。

作为优选的技术方案，所述提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量，具体为：

提取所述根据人脸标记点获取的人脸图像中多个人脸关键点坐标；

记录后S个人脸关键坐标点，将对应S个人脸坐标点的横坐标与纵坐标使用向量保存，得到2S维的人脸关键点坐标向量：

[x₁,y₁,x₂,y₂,…x_n,y_n,…x_S,y_S]

其中，对于第n个坐标点对应的横坐标与纵坐标为x_n，y_n。

作为优选的技术方案，所述利用训练集连续帧中人脸关键点坐标作为特征向量，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络，具体步骤为：

构建全连接神经网络，所述全连接神经网络包含四个主要模块，前三个模块均包含一个全连接线性层、一个批量归一化层、一个ReLU非线性激活层，第四个模块由线性激活层输出预测的2S维人脸关键点坐标向量；

将所述训练集中每连续三帧人脸关键点坐标向量拼接成一个3*2S维向量，将所述3*2S维向量作为全连接神经网络的输入，前向传播；

使用所述全连接神经网络的输出预测的2S维人脸关键点坐标向量和连续三帧的后一帧人脸关键点坐标计算均方损失MSELoss，计算公式为：

其中N为人脸关键点坐标的一维向量维度，即2S维，x_i为预测向量的第i维度值，y_i为实际向量的第i维度值；

使用随机梯度下降SGD算法进行梯度反向传播更新全连接神经网络参数，多轮训练，保存最优网络参数的全连接神经网络。

作为优选的技术方案，所述将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型，具体步骤为：

将训练集中连续三帧的人脸关键点坐标向量拼接成一个3*2S维的向量作为所述最优网络参数的全连接神经网络的输入，将全连接神经网络输出的预测向量和连续三帧的下一帧人脸关键点坐标向量拼接成一个2*2S维训练集向量；

将所述2*2S维的训练集向量输入到SVM分类器中进行分类模型训练，得到二分类模型。

作为优选的技术方案，所述将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假，具体为：

将测试集中连续三帧的人脸关键点坐标向量拼接成一个3*2S维的向量作为所述最优网络参数的全连接神经网络的输入，将全连接神经网络输出的预测向量和连续三帧的下一帧人脸关键点坐标向量拼接成一个2*2S维测试集向量；

将所述2*2S维的测试集向量输入到所述二分类模型中，判定视频帧图像的真假，并进一步判定视频真假和检测性能。

作为优选的技术方案，所述判定视频真假具体为：对于所述判定的视频，每四帧给出一个真假判定，最终的视频真假判定结果取所有判定的多数结果；

所述检测性能是使用在测试集上的准确率作为检测性能评判指标，具体的准确率计算公式为：

其中，Acc代表在测试集上的检测准确率，TP为真实视频被预测为真的数量，TN为深度伪造人脸视频预测为假的数量，FP为深度伪造人脸视频被预测为真的数量，FN为真实视频被预测为假的数量。

本发明另一方面还提供了一种基于人脸关键点的深度伪造人脸视频检测系统，应用于所述一种基于人脸关键点的深度伪造人脸视频检测方法，包括数据划分模块、坐标生成模块、网络训练模块、分类模型训练模块、判定模块；

所述数据划分模块，用于将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对所述数据集分帧并根据人脸标记点获取人脸图像；

所述坐标生成模块，用于提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；

所述网络训练模块，用于利用连续帧中人脸关键点坐标作为特征，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；

所述分类模型训练模块，用于将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；

所述判定模块，用于将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假。

本发明又一方面提供了一种计算机可读存储介质，存储有程序，其特征在于：所述程序被处理器执行时，实现所述的一种基于人脸关键点的深度伪造人脸视频检测方法。

本发明与现有技术相比，具有如下优点和有益效果：

本发明提供的一种基于关键帧人脸特征的人脸交换篡改视频检测方法，根据深度伪造视频逐帧生成的特点，使用人脸关键点捕获逐帧生成引入的不连续性。使用一个小规模的全连接神经网络来构建正常人脸关键点的运动模式从而给出连续帧的人脸关键点预测，同时使用一个SVM分类器接受真实与预测的人脸关键点坐标作为判定依据，有效地捕获深度伪造视频的不连续性。本发明利用手工提取的特征，所需计算资源较少，同时保证了分类检测的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种基于人脸关键点的深度伪造人脸视频检测方法的流程图；

图2为本发明实施例全连接神经网络结构示意图；

图3为本发明实施例一种基于人脸关键点的深度伪造人脸视频检测系统的方框图；

图4为本发明实施例计算机可读存储介质的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

如图1所示，本实施例提供的一种基于人脸关键点的深度伪造人脸视频检测方法，包括以下步骤：

S1、将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对两个数据集分帧并根据人脸标记点获取人脸图像；

S2、提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；

S3、利用训练集连续帧中人脸关键点坐标作为特征，输入到一个全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；

S4、将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；

S5、将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假。

在具体实施过程中，本发明提供的一种基于人脸关键点的深度伪造人脸视频检测方法，根据深度伪造视频逐帧生成的特点，使用人脸关键点捕获逐帧生成引入的不连续性。使用一个轻型的全连接神经网络来建模正常人脸关键点的运动模式从而给出连续帧的人脸关键点预测，同时使用一个SVM分类器接受真实与预测的人脸关键点坐标作为判定依据，有效的捕获深度伪造视频的不连续性。本发明利用手工提取的特征，所需计算资源较少，同时保证了分类检测的准确率。

更具体的，在上述实施例的基础上，本申请的另一个实施例是采用深度伪造视频数据集FaceForensics++中的真实人脸视频数据和无压缩的深度伪造人脸视频数据进行训练与测试，采用Dlib库进行人脸检测及人脸关键点捕获。

可以理解的是，上述FaceForensics及Dlib库仅是实现本发明技术方案的一种实施方式，其他能够实现本发明目的的技术均在本申请的保护范围之内。

更具体的，步骤S1具体包括以下步骤：

S11、将含有真实和深度伪造人脸视频的数据集随机划分为训练集和测试集；

S12、对视频数据集提取包含人脸的视频帧图像；

S13、检测包含人脸的视频帧图像中人脸关键部位的坐标点，记录指定的部分关键点坐标；

S14、根据所记录的部分关键点坐标中最左、最上、最右和最下四个坐标点裁剪出对应人脸图像。

更具体的，对应人脸图像边界的计算公式为：

top＝Ymin-(Ymax-Ymin)δ，

bottom＝Ymax+(Ymax-Ymin)δ，

left＝Xmin-(Xmax-Xmin)δ，

right＝Xmax+(Xmax-Xmin)δ，

其中，top为上边界，bottom为下边界，left为左边界，right为右边界，Ymin表示最下坐标点的纵坐标，Ymax表示最上坐标点的纵坐标，Xmax表示最右坐标点的横坐标，Xmin表示最左坐标点的横坐标，δ表示裁剪因子。

在具体实施过程中，采用Dlib库进行人脸检测及人脸关键点捕获，δ裁剪因子设置为0.1。

更具体的，步骤S2具体包含以下步骤：

S21、提取根据人脸标记点获取的人脸图像中68个人脸关键点坐标；

S22、记录后57个人脸关键坐标点，将对应57个人脸坐标点的横坐标与纵坐标使用向量保存，得到114维的向量：

[x₁,y₁,x₂,y₂,…x_n,y_n,…x₅₇,y₅₇]

其中，对于第n个坐标点对应的横坐标与纵坐标为x_n，y_n。

在具体实施的过程中，将对应视频的所有视频帧的人脸关键点坐标向量保存在以视频名称命名的CSV文件中，连续保存所有向量记录。

更具体的，步骤S3具体包括以下步骤：

S31、如图2所示，构建全连接神经网络，其中包含四个主要模块，前三个模块均包含一个全连接线性层、一个批量归一化层、一个ReLU非线性激活层，第四个模块由线性激活层输出预测的114维人脸关键点坐标向量；

S32、将训练集中每连续三帧人脸关键点坐标向量拼接成一个114×3＝342维向量，将该向量作为全连接神经网络的输入，前向传播；

S33、使用全连接神经网络的输出预测的114维人脸关键点坐标向量和连续三帧的后一帧人脸关键点坐标计算均方损失MSELoss，计算公式为：

其中N为人脸关键点坐标的一维向量维度，即114维，x_i为预测向量的第i维度值，y_i为实际向量的第i维度值；

S34、使用随机梯度下降SGD算法进行梯度反向传播更新全连接神经网络参数，多轮训练，保存最优网络参数的全连接神经网络。

在具体实施过程中，第一个模块的全连接线性层输入为342维向量，输出为368维向量，第二个模块的全连接线性层输入为368维向量，输出为394维向量，第三个模块的全连接线性层输入为394维向量，输出为420维向量，最后一个模块的输入为420维向量，输出为114维向量，即预测的人脸坐标点坐标向量。

更具体的，步骤S4具体包括以下步骤：

S41、将训练集中连续三帧的人脸关键点坐标向量拼接成一个342维的向量作为最优网络参数的全连接神经网络的输入，将全连接神经网络输出的预测向量和连续三帧的下一帧人脸关键点坐标向量拼接成一个114*2＝228维训练集向量；

将228维训练集向量输入到SVM分类器中进行分类模型训练，得到二分类模型。

在具体实施过程中，对228维训练集向量进行最大最小归一化，SVM分类器使用径向基函数RBF作为核函数，使用训练集向量训练SVM分类器。

更具体的，步骤S5具体包含以下步骤：

S51、将测试集中连续三帧的人脸关键点坐标向量拼接成一个342维的向量作为最优网络参数的全连接神经网络的输入，将全连接神经网络输出的预测向量和连续三帧的下一帧人脸关键点坐标向量拼接成一个228维测试集向量；

S52、将228维测试集向量输入到二分类模型中，判定视频帧图像的真假，并进一步判定视频真假和检测性能。

更具体的，对于判定的视频，每四帧给出一个真假判定，最终的视频真假判定结果取所有判定的多数结果；

对于检测性能，是使用在测试集上的准确率作为检测性能评判指标，具体的准确率计算公式为：

其中，Acc代表在测试集上的检测准确率，TP为真实视频被预测为真的数量，TN为深度伪造人脸视频预测为假的数量，FP为深度伪造人脸视频被预测为真的数量，FN为真实视频被预测为假的数量。

在具体实施过程中，本实施例在深度伪造人脸视频数据集FaceForensics++上进行训练测试，训练集总共包含700个视频，测试集总共包含100个视频。对于每一个视频抽取所有帧图像，将连续四帧的人脸关键点坐标作为一个判定样本，帧的标签与视频标签一致，对于全连接卷积神经网络，输入为前三帧的人脸关键点坐标共342维的向量，输出114维的预测下一帧人脸坐标点向量，对于SVM分类器，输入为预测向量和第四帧人脸关键点坐标拼接向量共228维的向量。实验结果表明，在测试集上的检测准确率可以达到80％。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。

基于与上述实施例中的一种基于人脸关键点的深度伪造人脸视频检测方法相同的思想，本发明还提供一种基于人脸关键点的深度伪造人脸视频检测系统，该系统可用于执行上述一种基于人脸关键点的深度伪造人脸视频检测方法。为了便于说明，一种基于人脸关键点的深度伪造人脸视频检测系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图3所示，在本申请的另一个实施例中，提供了一种基于人脸关键点的深度伪造人脸视频检测系统100，该系统包括数据划分模块101、坐标生成模块102、网络训练模块103、分类模型训练模块104、判定模块105；

数据划分模块101，用于将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对数据集分帧并根据人脸标记点获取人脸图像；

坐标生成模块102，用于提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；

网络训练模块103，用于利用连续帧中人脸关键点坐标作为特征，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；

分类模型训练模块104，用于将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；

判定模块105，用于将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到二分类模型中，判定视频真假。

需要说明的是，本发明的一种基于人脸关键点的深度伪造人脸视频检测系统与本发明的一种基于人脸关键点的深度伪造人脸视频检测方法一一对应，在上述一种基于人脸关键点的深度伪造人脸视频检测方法的实施例阐述的技术特征及其有益效果均适用于一种基于人脸关键点的深度伪造人脸视频检测系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。

此外，上述实施例的一种基于人脸关键点的深度伪造人脸视频检测系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述一种基于人脸关键点的深度伪造人脸视频检测系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。

如图4所示，在一个实施例中，提供了一种计算机可读存储介质200，存储有程序于存储器202中，所述程序被处理器201执行时，实现所述的一种基于人脸关键点的深度伪造人脸视频检测方法，具体为：

将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对数据集分帧并根据人脸标记点获取人脸图像；

提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；

利用训练集连续帧中人脸关键点坐标作为特征，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；

将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；

将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到二分类模型中，判定视频真假。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，包括下述步骤：

将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对所述数据集分帧并根据人脸标记点获取人脸图像；

提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；

利用训练集连续帧中人脸关键点坐标作为特征，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；

将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；

将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假。

2.根据权利要求1所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对视频数据集分帧并根据人脸标记点获取人脸图像，具体为：

将含有真实和深度伪造人脸视频的数据集随机划分为训练集和测试集；

对视频数据集提取包含人脸的视频帧图像；

检测包含人脸的视频帧图像中人脸关键部位的坐标点，记录指定的部分关键点坐标；

根据所述记录的部分关键点坐标中最左、最上、最右和最下四个坐标点裁剪出对应人脸图像。

3.根据权利要求2所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述对应人脸图像边界的计算公式为：

top＝Ymin-(Ymax-Ymin)δ，

bottom＝Ymax+(Ymax-Ymin)δ，

left＝Xmin-(Xmax-Xmin)δ，

right＝Xmax+(Xmax-Xmin)δ，

其中，top为上边界，bottom为下边界，left为左边界，right为右边界，Ymin表示最下坐标点的纵坐标，Ymax表示最上坐标点的纵坐标，Xmax表示最右坐标点的横坐标，Xmin表示最左坐标点的横坐标，δ表示裁剪因子。

4.根据权利要求1所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量，具体为：

提取所述根据人脸标记点获取的人脸图像中多个人脸关键点坐标；

记录后S个人脸关键坐标点，将对应S个人脸坐标点的横坐标与纵坐标使用向量保存，得到2S维的人脸关键点坐标向量：

[x₁,y₁,x₂,y₂,…x_n,y_n,…x_s,y_S]

其中，对于第n个坐标点对应的横坐标与纵坐标为x_n，y_n。

5.根据权利要求1所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述利用训练集连续帧中人脸关键点坐标作为特征向量，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络，具体步骤为：

构建全连接神经网络，所述全连接神经网络包含四个主要模块，前三个模块均包含一个全连接线性层、一个批量归一化层、一个ReLU非线性激活层，第四个模块由线性激活层输出预测的2S维人脸关键点坐标向量；

将所述训练集中每连续三帧人脸关键点坐标向量拼接成一个3*2S维向量，将所述3*2S维向量作为全连接神经网络的输入，前向传播；

使用所述全连接神经网络的输出预测的2S维人脸关键点坐标向量和连续三帧的后一帧人脸关键点坐标计算均方损失MSELoss，计算公式为：

其中N为人脸关键点坐标的一维向量维度，即2S维，x_i为预测向量的第i维度值，y_i为实际向量的第i维度值；

使用随机梯度下降SGD算法进行梯度反向传播更新全连接神经网络参数，多轮训练，保存最优网络参数的全连接神经网络。

6.根据权利要求1所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型，具体步骤为：

将训练集中连续三帧的人脸关键点坐标向量拼接成一个3*2S维的向量作为所述最优网络参数的全连接神经网络的输入，将全连接神经网络输出的预测向量和连续三帧的下一帧人脸关键点坐标向量拼接成一个2*2S维训练集向量；

将所述2*2S维的训练集向量输入到SVM分类器中进行分类模型训练，得到二分类模型。

7.根据权利要求1所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假，具体为：

将测试集中连续三帧的人脸关键点坐标向量拼接成一个3*2S维的向量作为所述最优网络参数的全连接神经网络的输入，将全连接神经网络输出的预测向量和连续三帧的下一帧人脸关键点坐标向量拼接成一个2*2S维测试集向量；

将所述2*2S维的测试集向量输入到所述二分类模型中，判定视频帧图像的真假，并进一步判定视频真假和检测性能。

8.根据权利要求1或7所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述判定视频真假具体为：对于所述判定的视频，每四帧给出一个真假判定，最终的视频真假判定结果取所有判定的多数结果；

所述检测性能是使用在测试集上的准确率作为检测性能评判指标，具体的准确率计算公式为：

其中，Acc代表在测试集上的检测准确率，TP为真实视频被预测为真的数量，TN为深度伪造人脸视频预测为假的数量，FP为深度伪造人脸视频被预测为真的数量，FN为真实视频被预测为假的数量。

9.一种基于人脸关键点的深度伪造人脸视频检测系统，其特征在于，应用于权利要求1-8中任一项所述的一种基于人脸关键点的深度伪造人脸视频检测方法，包括数据划分模块、坐标生成模块、网络训练模块、分类模型训练模块、判定模块；

所述数据划分模块，用于将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对所述数据集分帧并根据人脸标记点获取人脸图像；

所述坐标生成模块，用于提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；

所述网络训练模块，用于利用连续帧中人脸关键点坐标作为特征，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；

所述分类模型训练模块，用于将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；

所述判定模块，用于将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假。

10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-8任一项所述的一种基于人脸关键点的深度伪造人脸视频检测方法。

Images