CN113449657B - 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质 - Google Patents

一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质 Download PDF

Info

Publication number
CN113449657B
CN113449657B CN202110755753.3A CN202110755753A CN113449657B CN 113449657 B CN113449657 B CN 113449657B CN 202110755753 A CN202110755753 A CN 202110755753A CN 113449657 B CN113449657 B CN 113449657B
Authority
CN
China
Prior art keywords
face
video
vector
coordinates
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110755753.3A
Other languages
English (en)
Other versions
CN113449657A (zh
Inventor
卢伟
刘凌毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202110755753.3A priority Critical patent/CN113449657B/zh
Publication of CN113449657A publication Critical patent/CN113449657A/zh
Application granted granted Critical
Publication of CN113449657B publication Critical patent/CN113449657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质，方法包括：从视频数据集构造训练集和测试集，对视频进行分帧并根据人脸标记对视频帧图像提取人脸图像；对训练集和测试集的人脸图像提取人脸关键点的坐标；利用训练集的连续帧人脸关键点坐标作为特征，使用梯度下降法训练一个全连接神经网络，用于预测下一帧人脸关键点坐标；将预测得到的人脸关键点坐标和实际人脸关键点坐标构成特征向量输入SVM中训练得到一个分类模型；将测试集的特征向量输入到训练得到的分类模型中，实现对深度伪造人脸视频的检测。本发明结合深度学习和传统机器学习方法，所需计算资源少，对硬件要求低，具有较强的鲁棒性和准确率。

Description

一种基于人脸关键点的深度伪造人脸视频检测方法、系统及 介质
技术领域
本发明属于视屏数字取证技术领域，具体涉及一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质。
背景技术
深度伪造人脸视频旨在通过深度学习的方法将一个视频中的人脸替换成另一个人的脸。近年来，随着深度生成模型技术的发展，深度伪造人脸视频的质量大幅提升，可以产生以假乱真的视频。同时，一些即拆即用的应用的出现也让普通人可以轻松地制造极具欺骗性的深度伪造人脸视频。当下，深度伪造人脸视频在互联网上泛滥。在这个互联网的时代，这会给社会带来巨大的危害。由于其伪造的便利性，以及欺骗性，很容易用来引导社会舆论，篡改新闻，以及对个人进行攻击，从而对公民，社会，以及国家带来重大威胁。
深度伪造人脸视频检测技术属于视频数字取证技术的一种，主要用于检测视频人脸是否是真实的，未经篡改的。由于当前的深度人脸生成技术非常强大，许多高质量的深度伪造人脸视频已经很难用肉眼辨别。
当前的深度伪造人脸视频检测技术大多使用一个复杂的深度神经网络进行特征提取和检测，此类方法的缺点是网络参数大，难以训练，需要丰富的计算资源，不适合轻量化应用场景，因而需要一种对计算资源要求少的深度伪造人脸视频检测方法。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质，该方法克服了现有的深度伪造人脸视频检测方法存在的网络参数量大、计算资源需求大的缺陷，具有良好的鲁棒性和准确性，实现了高效的检测性能。
为了达到上述目的，本发明采用以下技术方案：
本发明一方面提供了一种基于人脸关键点的深度伪造人脸视频检测方法，包括下述步骤：
将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对所述数据集分帧并根据人脸标记点获取人脸图像；
提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；
利用训练集连续帧中人脸关键点坐标作为特征，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；
将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；
将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假。
作为优选的技术方案，所述将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对视频数据集分帧并根据人脸标记点获取人脸图像，具体为：
将含有真实和深度伪造人脸视频的数据集随机划分为训练集和测试集；
对视频数据集提取包含人脸的视频帧图像；
检测包含人脸的视频帧图像中人脸关键部位的坐标点，记录指定的部分关键点坐标；
根据所述记录的部分关键点坐标中最左、最上、最右和最下四个坐标点裁剪出对应人脸图像。
作为优选的技术方案，所述对应人脸图像边界的计算公式为：
top＝Ymin-(Ymax-Ymin)δ，
bottom＝Ymax+(Ymax-Ymin)δ，
left＝Xmin-(Xmax-Xmin)δ，
right＝Xmax+(Xmax-Xmin)δ，
其中，top为上边界，bottom为下边界，left为左边界，right为右边界，Ymin表示最下坐标点的纵坐标，Ymax表示最上坐标点的纵坐标，Xmax表示最右坐标点的横坐标，Xmin表示最左坐标点的横坐标，δ表示裁剪因子。
作为优选的技术方案，所述提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量，具体为：
提取所述根据人脸标记点获取的人脸图像中多个人脸关键点坐标；
记录后S个人脸关键坐标点，将对应S个人脸坐标点的横坐标与纵坐标使用向量保存，得到2S维的人脸关键点坐标向量：
[x1,y1,x2,y2,…xn,yn,…xS,yS]
其中，对于第n个坐标点对应的横坐标与纵坐标为xn，yn。
作为优选的技术方案，所述利用训练集连续帧中人脸关键点坐标作为特征向量，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络，具体步骤为：
构建全连接神经网络，所述全连接神经网络包含四个主要模块，前三个模块均包含一个全连接线性层、一个批量归一化层、一个ReLU非线性激活层，第四个模块由线性激活层输出预测的2S维人脸关键点坐标向量；
将所述训练集中每连续三帧人脸关键点坐标向量拼接成一个3*2S维向量，将所述3*2S维向量作为全连接神经网络的输入，前向传播；
使用所述全连接神经网络的输出预测的2S维人脸关键点坐标向量和连续三帧的后一帧人脸关键点坐标计算均方损失MSELoss，计算公式为：
Figure BDA0003147252760000031
其中N为人脸关键点坐标的一维向量维度，即2S维，xi为预测向量的第i维度值，yi为实际向量的第i维度值；
使用随机梯度下降SGD算法进行梯度反向传播更新全连接神经网络参数，多轮训练，保存最优网络参数的全连接神经网络。
作为优选的技术方案，所述将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型，具体步骤为：
将训练集中连续三帧的人脸关键点坐标向量拼接成一个3*2S维的向量作为所述最优网络参数的全连接神经网络的输入，将全连接神经网络输出的预测向量和连续三帧的下一帧人脸关键点坐标向量拼接成一个2*2S维训练集向量；
将所述2*2S维的训练集向量输入到SVM分类器中进行分类模型训练，得到二分类模型。
作为优选的技术方案，所述将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假，具体为：
将测试集中连续三帧的人脸关键点坐标向量拼接成一个3*2S维的向量作为所述最优网络参数的全连接神经网络的输入，将全连接神经网络输出的预测向量和连续三帧的下一帧人脸关键点坐标向量拼接成一个2*2S维测试集向量；
将所述2*2S维的测试集向量输入到所述二分类模型中，判定视频帧图像的真假，并进一步判定视频真假和检测性能。
作为优选的技术方案，所述判定视频真假具体为：对于所述判定的视频，每四帧给出一个真假判定，最终的视频真假判定结果取所有判定的多数结果；
所述检测性能是使用在测试集上的准确率作为检测性能评判指标，具体的准确率计算公式为：
Figure BDA0003147252760000032
其中，Acc代表在测试集上的检测准确率，TP为真实视频被预测为真的数量，TN为深度伪造人脸视频预测为假的数量，FP为深度伪造人脸视频被预测为真的数量，FN为真实视频被预测为假的数量。
本发明另一方面还提供了一种基于人脸关键点的深度伪造人脸视频检测系统，应用于所述一种基于人脸关键点的深度伪造人脸视频检测方法，包括数据划分模块、坐标生成模块、网络训练模块、分类模型训练模块、判定模块；
所述数据划分模块，用于将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对所述数据集分帧并根据人脸标记点获取人脸图像；
所述坐标生成模块，用于提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；
所述网络训练模块，用于利用连续帧中人脸关键点坐标作为特征，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；
所述分类模型训练模块，用于将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；
所述判定模块，用于将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假。
本发明又一方面提供了一种计算机可读存储介质，存储有程序，其特征在于：所述程序被处理器执行时，实现所述的一种基于人脸关键点的深度伪造人脸视频检测方法。
本发明与现有技术相比，具有如下优点和有益效果：
本发明提供的一种基于关键帧人脸特征的人脸交换篡改视频检测方法，根据深度伪造视频逐帧生成的特点，使用人脸关键点捕获逐帧生成引入的不连续性。使用一个小规模的全连接神经网络来构建正常人脸关键点的运动模式从而给出连续帧的人脸关键点预测，同时使用一个SVM分类器接受真实与预测的人脸关键点坐标作为判定依据，有效地捕获深度伪造视频的不连续性。本发明利用手工提取的特征，所需计算资源较少，同时保证了分类检测的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种基于人脸关键点的深度伪造人脸视频检测方法的流程图；
图2为本发明实施例全连接神经网络结构示意图；
图3为本发明实施例一种基于人脸关键点的深度伪造人脸视频检测系统的方框图；
图4为本发明实施例计算机可读存储介质的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
如图1所示，本实施例提供的一种基于人脸关键点的深度伪造人脸视频检测方法，包括以下步骤：
S1、将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对两个数据集分帧并根据人脸标记点获取人脸图像；
S2、提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；
S3、利用训练集连续帧中人脸关键点坐标作为特征，输入到一个全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；
S4、将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；
S5、将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假。
在具体实施过程中，本发明提供的一种基于人脸关键点的深度伪造人脸视频检测方法，根据深度伪造视频逐帧生成的特点，使用人脸关键点捕获逐帧生成引入的不连续性。使用一个轻型的全连接神经网络来建模正常人脸关键点的运动模式从而给出连续帧的人脸关键点预测，同时使用一个SVM分类器接受真实与预测的人脸关键点坐标作为判定依据，有效的捕获深度伪造视频的不连续性。本发明利用手工提取的特征，所需计算资源较少，同时保证了分类检测的准确率。
更具体的，在上述实施例的基础上，本申请的另一个实施例是采用深度伪造视频数据集FaceForensics++中的真实人脸视频数据和无压缩的深度伪造人脸视频数据进行训练与测试，采用Dlib库进行人脸检测及人脸关键点捕获。
可以理解的是，上述FaceForensics及Dlib库仅是实现本发明技术方案的一种实施方式，其他能够实现本发明目的的技术均在本申请的保护范围之内。
更具体的，步骤S1具体包括以下步骤：
S11、将含有真实和深度伪造人脸视频的数据集随机划分为训练集和测试集；
S12、对视频数据集提取包含人脸的视频帧图像；
S13、检测包含人脸的视频帧图像中人脸关键部位的坐标点，记录指定的部分关键点坐标；
S14、根据所记录的部分关键点坐标中最左、最上、最右和最下四个坐标点裁剪出对应人脸图像。
更具体的，对应人脸图像边界的计算公式为：
top＝Ymin-(Ymax-Ymin)δ，
bottom＝Ymax+(Ymax-Ymin)δ，
left＝Xmin-(Xmax-Xmin)δ，
right＝Xmax+(Xmax-Xmin)δ，
其中，top为上边界，bottom为下边界，left为左边界，right为右边界，Ymin表示最下坐标点的纵坐标，Ymax表示最上坐标点的纵坐标，Xmax表示最右坐标点的横坐标，Xmin表示最左坐标点的横坐标，δ表示裁剪因子。
在具体实施过程中，采用Dlib库进行人脸检测及人脸关键点捕获，δ裁剪因子设置为0.1。
更具体的，步骤S2具体包含以下步骤：
S21、提取根据人脸标记点获取的人脸图像中68个人脸关键点坐标；
S22、记录后57个人脸关键坐标点，将对应57个人脸坐标点的横坐标与纵坐标使用向量保存，得到114维的向量：
[x1,y1,x2,y2,…xn,yn,…x57,y57]
其中，对于第n个坐标点对应的横坐标与纵坐标为xn，yn。
在具体实施的过程中，将对应视频的所有视频帧的人脸关键点坐标向量保存在以视频名称命名的CSV文件中，连续保存所有向量记录。
更具体的，步骤S3具体包括以下步骤：
S31、如图2所示，构建全连接神经网络，其中包含四个主要模块，前三个模块均包含一个全连接线性层、一个批量归一化层、一个ReLU非线性激活层，第四个模块由线性激活层输出预测的114维人脸关键点坐标向量；
S32、将训练集中每连续三帧人脸关键点坐标向量拼接成一个114×3＝342维向量，将该向量作为全连接神经网络的输入，前向传播；
S33、使用全连接神经网络的输出预测的114维人脸关键点坐标向量和连续三帧的后一帧人脸关键点坐标计算均方损失MSELoss，计算公式为：
Figure BDA0003147252760000071
其中N为人脸关键点坐标的一维向量维度，即114维，xi为预测向量的第i维度值，yi为实际向量的第i维度值；
S34、使用随机梯度下降SGD算法进行梯度反向传播更新全连接神经网络参数，多轮训练，保存最优网络参数的全连接神经网络。
在具体实施过程中，第一个模块的全连接线性层输入为342维向量，输出为368维向量，第二个模块的全连接线性层输入为368维向量，输出为394维向量，第三个模块的全连接线性层输入为394维向量，输出为420维向量，最后一个模块的输入为420维向量，输出为114维向量，即预测的人脸坐标点坐标向量。
更具体的，步骤S4具体包括以下步骤：
S41、将训练集中连续三帧的人脸关键点坐标向量拼接成一个342维的向量作为最优网络参数的全连接神经网络的输入，将全连接神经网络输出的预测向量和连续三帧的下一帧人脸关键点坐标向量拼接成一个114*2＝228维训练集向量；
将228维训练集向量输入到SVM分类器中进行分类模型训练，得到二分类模型。
在具体实施过程中，对228维训练集向量进行最大最小归一化，SVM分类器使用径向基函数RBF作为核函数，使用训练集向量训练SVM分类器。
更具体的，步骤S5具体包含以下步骤：
S51、将测试集中连续三帧的人脸关键点坐标向量拼接成一个342维的向量作为最优网络参数的全连接神经网络的输入，将全连接神经网络输出的预测向量和连续三帧的下一帧人脸关键点坐标向量拼接成一个228维测试集向量；
S52、将228维测试集向量输入到二分类模型中，判定视频帧图像的真假，并进一步判定视频真假和检测性能。
更具体的，对于判定的视频，每四帧给出一个真假判定，最终的视频真假判定结果取所有判定的多数结果；
对于检测性能，是使用在测试集上的准确率作为检测性能评判指标，具体的准确率计算公式为：
Figure BDA0003147252760000081
其中，Acc代表在测试集上的检测准确率，TP为真实视频被预测为真的数量，TN为深度伪造人脸视频预测为假的数量，FP为深度伪造人脸视频被预测为真的数量，FN为真实视频被预测为假的数量。
在具体实施过程中，本实施例在深度伪造人脸视频数据集FaceForensics++上进行训练测试，训练集总共包含700个视频，测试集总共包含100个视频。对于每一个视频抽取所有帧图像，将连续四帧的人脸关键点坐标作为一个判定样本，帧的标签与视频标签一致，对于全连接卷积神经网络，输入为前三帧的人脸关键点坐标共342维的向量，输出114维的预测下一帧人脸坐标点向量，对于SVM分类器，输入为预测向量和第四帧人脸关键点坐标拼接向量共228维的向量。实验结果表明，在测试集上的检测准确率可以达到80％。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的一种基于人脸关键点的深度伪造人脸视频检测方法相同的思想，本发明还提供一种基于人脸关键点的深度伪造人脸视频检测系统，该系统可用于执行上述一种基于人脸关键点的深度伪造人脸视频检测方法。为了便于说明，一种基于人脸关键点的深度伪造人脸视频检测系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图3所示，在本申请的另一个实施例中，提供了一种基于人脸关键点的深度伪造人脸视频检测系统100，该系统包括数据划分模块101、坐标生成模块102、网络训练模块103、分类模型训练模块104、判定模块105；
数据划分模块101，用于将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对数据集分帧并根据人脸标记点获取人脸图像；
坐标生成模块102，用于提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；
网络训练模块103，用于利用连续帧中人脸关键点坐标作为特征，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；
分类模型训练模块104，用于将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；
判定模块105，用于将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到二分类模型中，判定视频真假。
需要说明的是，本发明的一种基于人脸关键点的深度伪造人脸视频检测系统与本发明的一种基于人脸关键点的深度伪造人脸视频检测方法一一对应，在上述一种基于人脸关键点的深度伪造人脸视频检测方法的实施例阐述的技术特征及其有益效果均适用于一种基于人脸关键点的深度伪造人脸视频检测系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述实施例的一种基于人脸关键点的深度伪造人脸视频检测系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述一种基于人脸关键点的深度伪造人脸视频检测系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
如图4所示，在一个实施例中，提供了一种计算机可读存储介质200，存储有程序于存储器202中，所述程序被处理器201执行时，实现所述的一种基于人脸关键点的深度伪造人脸视频检测方法，具体为：
将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对数据集分帧并根据人脸标记点获取人脸图像；
提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；
利用训练集连续帧中人脸关键点坐标作为特征，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；
将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；
将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到二分类模型中，判定视频真假。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，包括下述步骤：
将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对所述数据集分帧并根据人脸标记点获取人脸图像；
提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；
利用训练集连续帧中人脸关键点坐标作为特征，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；
将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；
将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假。
2.根据权利要求1所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对视频数据集分帧并根据人脸标记点获取人脸图像，具体为：
将含有真实和深度伪造人脸视频的数据集随机划分为训练集和测试集；
对视频数据集提取包含人脸的视频帧图像；
检测包含人脸的视频帧图像中人脸关键部位的坐标点，记录指定的部分关键点坐标；
根据所述记录的部分关键点坐标中最左、最上、最右和最下四个坐标点裁剪出对应人脸图像。
3.根据权利要求2所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述对应人脸图像边界的计算公式为：
Figure DEST_PATH_IMAGE001
，
Figure 522396DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
，
Figure 46394DEST_PATH_IMAGE004
，
其中，top为上边界，bottom为下边界，left为左边界，right为右边界，Ymin表示最下坐标点的纵坐标，Ymax表示最上坐标点的纵坐标，Xmax表示最右坐标点的横坐标，Xmin表示最左坐标点的横坐标，δ表示裁剪因子。
4.根据权利要求1所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量，具体为：
提取所述根据人脸标记点获取的人脸图像中多个人脸关键点坐标；
记录后S个人脸关键坐标点，将对应S个人脸坐标点的横坐标与纵坐标使用向量保存，得到2S维的人脸关键点坐标向量：
Figure DEST_PATH_IMAGE005
其中，对于第n个坐标点对应的横坐标与纵坐标为xn，yn。
5.根据权利要求1所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述利用训练集连续帧中人脸关键点坐标作为特征向量，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络，具体步骤为：
构建全连接神经网络，所述全连接神经网络包含四个主要模块，前三个模块均包含一个全连接线性层、一个批量归一化层、一个ReLU非线性激活层，第四个模块由线性激活层输出预测的2S维人脸关键点坐标向量；
将所述训练集中每连续三帧人脸关键点坐标向量拼接成一个3*2S维向量，将所述3*2S维向量作为全连接神经网络的输入，前向传播；
使用所述全连接神经网络的输出预测的2S维人脸关键点坐标向量和连续三帧的后一帧人脸关键点坐标计算均方损失MSELoss，计算公式为：
Figure 498235DEST_PATH_IMAGE006
其中N为人脸关键点坐标的一维向量维度，即2S维，xi为预测向量的第i维度值，yi为实际向量的第i维度值；
使用随机梯度下降SGD算法进行梯度反向传播更新全连接神经网络参数，多轮训练，保存最优网络参数的全连接神经网络。
6.根据权利要求1所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型，具体步骤为：
将训练集中连续三帧的人脸关键点坐标向量拼接成一个3*2S维的向量作为所述最优网络参数的全连接神经网络的输入，将全连接神经网络输出的预测向量和连续三帧的下一帧人脸关键点坐标向量拼接成一个2*2S维训练集向量；
将所述2*2S维的训练集向量输入到SVM分类器中进行分类模型训练，得到二分类模型。
7.根据权利要求1所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假，具体为：
将测试集中连续三帧的人脸关键点坐标向量拼接成一个3*2S维的向量作为所述最优网络参数的全连接神经网络的输入，将全连接神经网络输出的预测向量和连续三帧的下一帧人脸关键点坐标向量拼接成一个2*2S维测试集向量；
将所述2*2S维的测试集向量输入到所述二分类模型中，判定视频帧图像的真假，并进一步判定视频真假和检测性能。
8.根据权利要求7所述一种基于人脸关键点的深度伪造人脸视频检测方法，其特征在于，所述判定视频真假具体为：对于所述判定的视频，每四帧给出一个真假判定，最终的视频真假判定结果取所有判定的多数结果；
所述检测性能是使用在测试集上的准确率作为检测性能评判指标，具体的准确率计算公式为：
Figure DEST_PATH_IMAGE007
其中，Acc代表在测试集上的检测准确率，TP为真实视频被预测为真的数量，TN为深度伪造人脸视频预测为假的数量，FP为深度伪造人脸视频被预测为真的数量，FN为真实视频被预测为假的数量。
9.一种基于人脸关键点的深度伪造人脸视频检测系统，其特征在于，应用于权利要求1-8中任一项所述的一种基于人脸关键点的深度伪造人脸视频检测方法，包括数据划分模块、坐标生成模块、网络训练模块、分类模型训练模块、判定模块；
所述数据划分模块，用于将含有真实和深度伪造人脸视频的数据集划分为训练集和测试集，对所述数据集分帧并根据人脸标记点获取人脸图像；
所述坐标生成模块，用于提取训练集和测试集人脸图像中人脸关键点的坐标，得到人脸关键点坐标向量；
所述网络训练模块，用于利用连续帧中人脸关键点坐标作为特征，输入到全连接神经网络中预测下一帧人脸关键点坐标，用梯度下降算法训练网络参数，并保存最优网络参数的全连接神经网络；
所述分类模型训练模块，用于将预测的下一帧人脸关键点坐标和实际的下一帧人脸关键点坐标构成特征向量，输入SVM中进行训练，得到一个二分类模型；
所述判定模块，用于将测试集连续帧中的人脸关键点坐标和全连接神经网络输出的预测坐标组成特征向量，输入到所述二分类模型中，判定视频真假。
10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-8任一项所述的一种基于人脸关键点的深度伪造人脸视频检测方法。
CN202110755753.3A 2021-07-05 2021-07-05 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质 Active CN113449657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110755753.3A CN113449657B (zh) 2021-07-05 2021-07-05 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110755753.3A CN113449657B (zh) 2021-07-05 2021-07-05 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质

Publications (2)

Publication Number Publication Date
CN113449657A CN113449657A (zh) 2021-09-28
CN113449657B true CN113449657B (zh) 2022-08-30

Family

ID=77815114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110755753.3A Active CN113449657B (zh) 2021-07-05 2021-07-05 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质

Country Status (1)

Country Link
CN (1) CN113449657B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115116108A (zh) * 2022-04-26 2022-09-27 中山大学 基于双流对比学习模型的人脸篡改视频检测方法及系统
CN115953822B (zh) * 2023-03-06 2023-07-11 之江实验室 一种基于rPPG生理信号的人脸视频鉴伪方法和装置
CN117765620B (zh) * 2023-12-26 2024-07-19 中国信息通信研究院 一种基于自增强的深度伪造图像鉴伪方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2960862A1 (en) * 2014-06-24 2015-12-30 Vicarious Perception Technologies B.V. A method for stabilizing vital sign measurements using parametric facial appearance models via remote sensors
CN109800635A (zh) * 2018-12-11 2019-05-24 天津大学 一种基于光流法的受限局部人脸关键点检测与跟踪方法
WO2020199906A1 (zh) * 2019-03-29 2020-10-08 广州市百果园信息技术有限公司 人脸关键点检测方法、装置、设备及存储介质
CN111783608A (zh) * 2020-06-24 2020-10-16 南京烽火星空通信发展有限公司 一种换脸视频检测方法
CN111914633A (zh) * 2020-06-22 2020-11-10 华南理工大学 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用
CN111967344A (zh) * 2020-07-28 2020-11-20 南京信息工程大学 一种面向人脸伪造视频检测的精细化特征融合方法
CN112001429A (zh) * 2020-08-06 2020-11-27 中山大学 一种基于纹理特征的深度伪造视频检测方法
CN112801037A (zh) * 2021-03-01 2021-05-14 山东政法学院 一种基于连续帧间差异的人脸篡改检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111066060B (zh) * 2017-07-13 2024-08-02 资生堂株式会社 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪
CN109657583B (zh) * 2018-12-10 2021-10-22 腾讯科技（深圳）有限公司 脸部关键点检测方法、装置、计算机设备和存储介质
US10949649B2 (en) * 2019-02-22 2021-03-16 Image Metrics, Ltd. Real-time tracking of facial features in unconstrained video
CN110428399B (zh) * 2019-07-05 2022-06-14 百度在线网络技术（北京）有限公司 用于检测图像的方法、装置、设备和存储介质
CN111079686B (zh) * 2019-12-25 2023-05-23 开放智能机器（上海）有限公司 一种单阶段的人脸检测和关键点定位方法及系统
US11120595B2 (en) * 2019-12-27 2021-09-14 Ping An Technology (Shenzhen) Co., Ltd. Face swap method and computing device
CN111259751B (zh) * 2020-01-10 2023-08-29 北京百度网讯科技有限公司 基于视频的人体行为识别方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2960862A1 (en) * 2014-06-24 2015-12-30 Vicarious Perception Technologies B.V. A method for stabilizing vital sign measurements using parametric facial appearance models via remote sensors
CN109800635A (zh) * 2018-12-11 2019-05-24 天津大学 一种基于光流法的受限局部人脸关键点检测与跟踪方法
WO2020199906A1 (zh) * 2019-03-29 2020-10-08 广州市百果园信息技术有限公司 人脸关键点检测方法、装置、设备及存储介质
CN111914633A (zh) * 2020-06-22 2020-11-10 华南理工大学 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用
CN111783608A (zh) * 2020-06-24 2020-10-16 南京烽火星空通信发展有限公司 一种换脸视频检测方法
CN111967344A (zh) * 2020-07-28 2020-11-20 南京信息工程大学 一种面向人脸伪造视频检测的精细化特征融合方法
CN112001429A (zh) * 2020-08-06 2020-11-27 中山大学 一种基于纹理特征的深度伪造视频检测方法
CN112801037A (zh) * 2021-03-01 2021-05-14 山东政法学院 一种基于连续帧间差异的人脸篡改检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Image Animations on Driving Videos with DeepFakes and Detecting DeepFakes Generated Animations;Yushaa Shafqat Malik et al;《23rd International Multitopic Conference》;20201231;1-6 *
基于帧间差异的人脸篡改视频检测方法;张怡暄等;《信息安全学报》;20200315;第05卷(第02期);49-71 *
融合全局时序和局部空间特征的伪造人脸视频检测方法;陈鹏等;《信息安全学报》;20200315;第05卷(第02期);83-83 *

Also Published As

Publication number Publication date
CN113449657A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN113449657B (zh) 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质
Zhuang et al. Image tampering localization using a dense fully convolutional network
Amerini et al. Exploiting prediction error inconsistencies through LSTM-based classifiers to detect deepfake videos
CN111709408B (zh) 图像真伪检测方法和装置
CN111444873B (zh) 视频中人物真伪的检测方法、装置、电子设备及存储介质
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN112818849B (zh) 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
CN113269149B (zh) 活体人脸图像的检测方法、装置、计算机设备及存储介质
CN114897779A (zh) 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
TW202217653A (zh) 深度偽造影片檢測系統及其方法
CN112069891A (zh) 一种基于光照特征的深度伪造人脸鉴别方法
Zhou et al. Perceptually aware image retargeting for mobile devices
CN114724218A (zh) 视频检测方法、装置、设备及介质
Guo et al. Exposing deepfake face forgeries with guided residuals
CN116453232A (zh) 人脸活体检测方法、人脸活体检测模型的训练方法和装置
CN113469062B (zh) 基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质
Yu et al. SegNet: a network for detecting deepfake facial videos
CN117011266A (zh) 输电线路防震锤隐患检测方法、装置和计算机设备
Oraibi et al. Enhancement digital forensic approach for inter-frame video forgery detection using a deep learning technique
Surabhi et al. Advancing Faux Image Detection: A Hybrid Approach Combining Deep Learning and Data Mining Techniques
CN113283388B (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
Bansal et al. Deepfake detection using CNN and DCGANS to drop-out fake multimedia content: a hybrid approach
Jin et al. AMFNet: an adversarial network for median filtering detection
KR102306319B1 (ko) 포즈 추정 매핑 데이터를 생성하는 방법, 프로그램 및 컴퓨팅 장치
CN117496392A (zh) 基于时序差异的深度伪造视频检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant