CN112163488B - 一种视频虚假人脸检测方法及电子装置 - Google Patents

Abstract

本发明提供一种视频虚假人脸检测方法及电子装置，包括：对待检测视频进行人脸定位，得到人脸序列；对人脸序列进行预处理，得到指定大小和长度的视频采样帧序列；将视频采样帧序列输入训练好的三维压缩卷积神经网络，判断待检测视频中的人脸是否为虚假人脸；其中，通过在三维卷积神经网络中的每一最大池化层前，分别增加一层卷积核大小为1*1*1且通道数为n的三维卷积层，得到三维压缩卷积神经网络，n为自定义参数。本发明创新性地提出三维模型压缩模块，通过在池化层前引入1*1*1大小卷积核的卷积层，降低了模型的负责度与体积，使之更适于实际使用与部署。

Description

一种视频虚假人脸检测方法及电子装置

技术领域

本发明属于互联网领域，尤其涉及一种视频虚假人脸检测方法及电子装置。

背景技术

近年来，在计算机视觉与多媒体安全等领域，借助深度学习技术的伪造系统，随意操作修改图像、视频等媒体数据内容，替换人脸、篡改人脸属性的“深度伪造”(Deepfake)技术不断发展演化，对个人、社会与国家带来了极大的安全风险，进一步导致了数字领域的信任缺失。与此同时，与借助深度学习迅速发展演化的深度伪造技术相比，与其抗衡的伪造检测技术与研究相对而言并没有取得令人满意的结果，现有的检测手段在准确性与置信度等方面都不尽如人意，这一方面是由于攻防系统中防御的天然滞后性，另一方面也反映出伪造检测研究领域面临的困难之大。

目前国内外对于虚假人脸视频的检测研究可以分为两类，第一类为基于生成图像视频的隐藏特征进行检测，第二类为基于神经网络提取特征进行检测。

基于生成图像视频的隐藏特征的检测主要是通过对已有的虚假人脸图像视频生成方式的缺陷或者特点进行“攻击”，例如针对某些生成虚假人脸图像视频的方法会在生成结果的人脸附近留有本不应该存在的“伪影”，训练特定网络对这些“伪影”进行检测，再比如针对某些生成方法生成的虚假人脸视频中人物眨眼频率与自然频率不符，基于长短时记忆网络对眨眼帧进行判定从而由眨眼频率来进行检测，以及近期公布的基于大部分虚假人脸替换方法中导致的生成人脸会存在“边界”这一隐藏特征进行检测的方法。这一类检测方法是基于目前已有的生成方法生成结果存在的缺陷与特点进行检测的，目前也已经可以达到90％以上的检测准确率，但是也存在可迁移性低以及应对未知生成方法效果未知等问题。

基于神经网络进行特征提取进行检测则是通用性更高的一类检测方法，按照提取特征的维度的不同，又可以将该类方法分为基于二维图像特征的检测方法与基于三维时序特征的检测方法，前者应用于虚假人脸视频检测时将视频检测问题降维为视频采样帧检测的问题。基于图像维度的二维特征提取检测方法主要通过各种不同结构的二维卷积神经网络(CNN)去训练图像二分类模型，对采样后的视频帧进行是否为虚假的分类，也有某些工作在此基础上引入了额外的模块，例如通过引入对抗学习这一过程来增加对特定伪造方式的判断准确率与鲁棒性；基于视频维度的时序特征提取检测方法则是利用提取时序特征相关的网络在视频数据集上直接训练分类器，然后利用训练完成的分类器对待检测视频进行检测，例如直接利用循环神经网络(RNN)与长短时记忆网络(LSTM)对整个输入视频进行三维时序特征提取进而训练分类器，相对于图像维度的检测研究，目前在视频这一维度进行的相关检测研究并不多，该领域的检测方法存在着更大的研究探索空间。这一类检测方法相比于基于隐藏特征的检测方法而言，具有更好的通用性与迁移性，目前的相关工作也能达到90％甚至更高的检测准确率，但同样也存在着对训练数据敏感等问题。

上述现有技术的缺陷主要是：1.模型对视频时序特征利用不足。2.模型参数多，体积大。3.模型训练过程耗时长。

发明内容

本发明提供了一种视频虚假人脸检测方法及电子装置，基于三维压缩卷积神经网络处理虚假人脸视频检测问题，解决进行虚假人脸视频检测时，对时序特征利用不足以及模型体积大训练过程长等技术问题。

为达到上述目的，本发明的技术方案为：

一种视频虚假人脸检测方法，其步骤包括：

1)对待检测视频进行人脸定位，得到人脸序列；

2)对人脸序列进行预处理，得到指定大小和长度的视频采样帧序列；

3)将视频采样帧序列输入训练好的三维压缩卷积神经网络，判断待检测视频中的人脸是否为虚假人脸；

其中，通过在三维卷积神经网络中的每一最大池化层前，分别增加一层卷积核大小为1*1*1且通道数为n的三维卷积层，得到三维压缩卷积神经网络，n为自定义参数。

进一步地，所述预处理包括：帧采样和剪裁。

进一步地，帧采样的方法包括等距采样方法。

进一步地，通过以下步骤得到训练好的三维压缩卷积神经网络：

1)采集若干样本视频，并对各样本视频进行人脸定位，得到若干样本人脸序列；

2)对样本人脸序列进行预处理，得到若干指定大小和长度的样本视频采样帧序列；

3)将各样本视频采样帧序列迭代输入三维压缩卷积神经网络，对三维压缩卷积神经网络进行训练，得到训练好的三维压缩卷积神经网络。

进一步地，样本视频采样帧序列包括指定长度的一组帧。

进一步地，通过交叉熵损失函数，对计算得到的损失值进行反向传播，更新三维压缩卷积神经网络神经元权重，对三维压缩卷积神经网络进行训练。

进一步地，训练三维压缩卷积神经网络使用的优化器包括Adam优化器。

进一步地，三维压缩卷积神经网络中卷积层与全连接层使用的激活函数包括ReLU函数。

进一步地，三维压缩卷积神经网络中包括独立的卷积层和相连的卷积层。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述所述的方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机以执行上述所述的方法。

与现有技术相比，本发明的积极效果为：

1.使用三维卷积神经网络处理虚假人脸视频检测问题，融合了视频的时空特征，进一步提升检测性能。

2.创新性地提出三维模型压缩模块，通过在池化层前引入1*1*1大小卷积核的卷积层，降低了模型的负责度与体积，使之更适于实际使用与部署。

附图说明

图1为本发明的三维压缩卷积神经网络进行虚假人脸视频检测的系统框架。

图2为本发明的深度三维卷积神经网络结构示意图。

图3为本发明的一个应用场景示例。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一方面，提供了一种模型的训练方法的方法实施例。本发明的系统流程框图如图1所示。本发明的方法与装置支持所设计的三维压缩卷积神经网络。

本发明构建的三维压缩卷积神经网络模型，通过引入使用1*1*1大小卷积核的卷积层模块对现有的三维卷积神经网络模型进行压缩。具体而言，是基于一个深度三维卷积神经网络，在其中的5个最大池化层前，分别增加一层使用1*1*1大小卷积核且通道数为64的三维卷积层，以起到减小输入到该层的特征的深度目的，从而能够对模型进行有效的压缩。如图2所示，本发明构建的三维压缩卷积神经网络模型，由8个使用3*3*3大小卷积核的卷积层、5个最大池化层、2个全连接层、softmax输出层以及引入的用于模型压缩的5个使用1*1*1大小卷积核的卷积层构成，前两个池化层前使用独立的卷积层以提取输入视频序列的简单特征，后面使用相连两个卷积层以提取高维复杂特征，3*3*3卷积核主要用于特征提取，1*1*1卷积核主要用于压缩，所有的卷积层与全连接层的激活函数均为ReLU函数；该模型的目标是输出待检测的人脸视频是否为伪造生成的检测结果，即也是解决一个视频二分类问题。

该模型的优点体现在：既有效地利用了视频中的时空特征信息，又降低了整体模型的体积与参数数量，并且降低了其训练与检测的时间复杂度。

采用本发明的上述技术方案，实现了虚假人脸视频检测，解决了如下问题。第一，时序特征利用问题：在虚假人脸视频检测任务上，除去低维的图像特征外，运用视频的时序特征进行检测能够对模型性能起到一定提升作用；第二，三维卷积神经网络体积过大的问题：实际应用场景中，三维的卷积网络往往存在模型体积过大，参数过多的问题，通过引入上述模型压缩模块得到了有效的解决。

本发明的一个实施例提供一种虚假人脸视频检测模型的训练方法，主要包括以下步骤：

1)对训练集和测试集中的视频进行人脸定位、帧采样和剪裁，得到指定大小和长度的视频采样帧序列作为模型输入。实验中剪裁结果为包括人脸在内的大小为80*80*3的图像帧，且序列长度设置为20和40帧两组，帧采样策略为等距采样。

2)初始化模型参数，包括设置初始学习率、epoch和batch size等。实验中学习率为1e-5，迭代轮数设置为100，batch size为8。

3)将第1步得到的训练集视频采样帧序列输入初始化完成的三维压缩卷积神经网络中进行迭代训练，模型所使用的优化器为Adam优化器，初始学习率为1e-5，权值衰减为1e-6，损失函数使用交叉熵损失函数，在迭代训练中计算该损失值并利用该损失值进行反向传播更新网络神经元权重以得到最优的网络。

4)网络训练完成后，即可将第1步得到的测试集中的视频采样帧序列输入网络中，获取检测的结果。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

下面结合图3对本发明在具体场景中的利用进行描述。

当今，各类社交媒体网站上虚假人脸视频上传事件层出不穷，急需深度学习的手段进行有效的甄别与检测。本发明将上述训练完成后的检测器置于社交媒体网站的上传文件检验后端，用户上传某段人物视频到社交网站后，网站将该视频传输到相应的检验后端作为上述模型的输入，并获取模型的检测结果，通过该结果来作为用户上传的该段视频文件是否通过审核的判据：若检测未出现异常，则通过审核，用户的视频可以正常上传至社交网站；若检测为伪造人脸视频，则无法通过审核并对用户行为进行记录。

实验数据

本发明在虚假人脸视频检测任务上有十分令人印象深刻的表现，在DFDC数据集上(Deepfake Detection Challenge)训练得到的模型能高达到88.23％的准确率，并且在DFDC比赛中模型得分值高达0.435，世界排名前10％。且相较于普通三维卷积神经网络，提出的三维压缩卷积神经网络体积由941MB缩小到458MB，压缩一倍有余。

Claims (8)

1.一种视频虚假人脸检测方法，其步骤包括：

1)对待检测视频进行人脸定位，得到人脸序列；

2)对人脸序列进行预处理，得到指定大小和长度的视频采样帧序列；

3)将视频采样帧序列输入训练好的三维压缩卷积神经网络，判断待检测视频中的人脸是否为虚假人脸；

其中，三维压缩卷积神经网络由8个使用3*3*3大小卷积核的卷积层、5个最大池化层、2个全连接层、softmax输出层以及5个使用1*1*1大小卷积核且通道数为64的卷积层构成，前两个池化层前使用独立的卷积层以提取输入视频序列的简单特征，后面使用相连两个卷积层以提取高维复杂特征，3*3*3卷积核用于特征提取，1*1*1卷积核用于压缩，所有的卷积层与全连接层的激活函数均为ReLU函数，所述5个使用1*1*1大小卷积核且通道数为64的卷积层分别在5个最大池化层之前；

通过以下步骤得到训练好的三维压缩卷积神经网络：

采集若干样本视频，并对各样本视频进行人脸定位，得到若干样本人脸序列；

对样本人脸序列进行预处理，得到若干指定大小和长度的样本视频采样帧序列；

将各样本视频采样帧序列迭代输入三维压缩卷积神经网络，对三维压缩卷积神经网络进行训练，得到训练好的三维压缩卷积神经网络。

2.如权利要求1所述的方法，其特征在于，所述预处理包括：帧采样和剪裁。

3.如权利要求2所述的方法，其特征在于，帧采样的方法包括等距采样方法。

4.如权利要求1所述的方法，其特征在于，样本视频采样帧序列包括指定长度的一组帧。

5.如权利要求1所述的方法，其特征在于，通过交叉熵损失函数，对计算得到的损失值进行反向传播，更新三维压缩卷积神经网络神经元权重，对三维压缩卷积神经网络进行训练。

6.如权利要求1所述的方法，其特征在于，训练三维压缩卷积神经网络使用的优化器包括Adam优化器。

7.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-6中任一所述方法。

8.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-6中任一所述方法。