CN113468954A - 基于多通道下局部区域特征的人脸伪造检测方法 - Google Patents

Abstract

本发明涉及一种基于多通道下局部区域特征的人脸伪造检测方法，包括：S1：对待检测图像的人脸进行面部分量分离，得到多个待测面部组件；S2：提取多个通道下每个待测面部组件的空域特征；S3：将每个通道下每个待测面部组件的空域特征，输入对应通道下对应面部组件的分类网络模型中，得到每个通道下每个待测面部组件的置信向量；S4：根据每个通道下每个待测面部组件的置信向量，得到待检测图像的人脸伪造检测结果；其中，分类网络模型通过迁移学习，使用预训练的分类网络训练得到，多个通道包括RGB、HSV、YCbCr、DoG、LBP或Canny中的至少两种。本发明的方法，在多通道下检测面部五官等局部区域的伪造细节，使得结果准确率更高，更具鲁棒性。

Description

基于多通道下局部区域特征的人脸伪造检测方法

技术领域

本发明属于人工智能和图像处理技技术领域，具体涉及一种基于多通道下局部区域特征的人脸伪造检测方法。

背景技术

随着人工智能技术的发展，利用深度学习等技术生成的图像和视频的质量得到极大提升，使得依靠人类视觉系统和传统技术进行检测图像真伪变得不再简单。在公共社交媒体上不恰当地使用伪造的图像或视频，对国家安全和社会稳定发展带来了严峻的问题和挑战。因此，为了解决图像或视频的真实性造成的安全问题，鉴别伪造图像或视频的能力变得越来越重要。

目前，根据伪造类型的特点，检测方法大致可以分为两种。第一种检测方法基于时域线索，这类检测方法主要依靠视频的连续性来找出时域上的差异，或者根据人类的正常生理信号特征来检测合成的伪造视频，或者根据面部特征以及面部的运动轨迹来检测视频的连贯性，或者利用血压检测或者心率估计作为线索进行检测。另一种检测方法基于空域线索，这类检测方法提取相关的纹理特征进行分析来实现检测的目的，例如，提取并检测由Generative Adversarial Network(生成对抗网络)模型留下的特殊指纹特征，或者用不同颜色通道的特征作为检测线索，或者利用训练的分类器检测伪造图像中面部边界与背景边缘区域之间不自然的特征。

但是，当光线改变或者视频经过压缩后，基于时域线索的检测准确率会下降，而且这类方法没法检测单帧图像的真实性。而基于空域线索的检测大多是对整张人脸进行检测，无法对五官等局部区域的伪造细节进行检测，准确率较低。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于多通道下局部区域特征的人脸伪造检测方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于多通道下局部区域特征的人脸伪造检测方法，包括：

S1：对待检测图像的人脸进行面部分量分离，得到多个待测面部组件；

S2：提取多个通道下每个所述待测面部组件的空域特征；

S3：将每个通道下每个所述待测面部组件的空域特征，输入对应通道下对应面部组件的分类网络模型中，得到每个通道下每个所述待测面部组件的置信向量；

S4：根据所述每个通道下每个所述待测面部组件的置信向量，得到所述待检测图像的人脸伪造检测结果；

其中，所述分类网络模型通过迁移学习，使用预训练的分类网络训练得到，所述多个通道包括RGB、HSV、YCbCr、DoG、LBP或Canny中的至少两种。

在本发明的一个实施例中，所述多个待测面部组件包括，左眼区域、右眼区域、鼻子区域和嘴巴区域。

在本发明的一个实施例中，所述S1包括：

S11：使用面部探测器得到所述待检测图像的人脸中面部边界框的坐标；

S12：根据所述面部边界框的坐标，利用矩形将左眉和左眼定位为左眼区域，将右眼和右眉定位为右眼区域，将鼻子定位为鼻子区域，将嘴巴定位为嘴巴区域，之后进行裁剪得到所述多个待测面部组件。

在本发明的一个实施例中，在所述S3中，所述分类网络模型的训练方法包括：

步骤1：获取真实图像数据集和伪造图像数据集，其中，所述真实图像数据集包括M个人脸真实图像，所述伪造图像数据集包括与所述人脸真实图像对应的M个人脸伪造图像，M为大于0的自然数；

步骤2：对所述真实图像数据集中的每个图像的人脸进行面部分量分离，得到多个真实面部组件，分别提取RGB、HSV、YCbCr、DoG、LBP和Canny通道下每个真实面部组件的空域特征，得到若干组不同通道下不同真实面部组件的真实组件图像集；

步骤3：对所述伪造图像数据集中的每个图像的人脸进行面部分量分离，得到多个伪造面部组件，分别提取RGB、HSV、YCbCr、DoG、LBP和Canny通道下每个伪造面部组件的空域特征，得到若干组不同通道下不同伪造面部组件的伪造组件图像集；

步骤4：将每组所述真实组件图像集划分为真实组件训练集、真实组件验证集和真实组件测试集，将每组所述伪造组件图像集划分为伪造组件训练集，伪造组件验证集和伪造组件测试集；

步骤5：将每组所述真实组件训练集和对应的所述伪造组件训练集合并，得到若干组训练集，将所述若干组训练集分别输入各自的分类网络中进行训练，更新分类网络的网络参数；

步骤6：将每组所述真实组件验证集和对应的所述伪造组件验证集合并，得到若干组验证集，在训练过程中将若干组所述验证集分别输入对应的分类网络中，用于测试训练中的分类网络，得到分类网络的最终网络参数，以得到每个通道下每个面部组件的分类网络模型；

步骤7：将每组所述真实组件测试集和对应的所述伪造组件测试集合并，得到若干测试集，将若干组所述测试集，分别输入对应的分类网络模型，对所述分类网络模型的性能进行检验。

在本发明的一个实施例中，所述S4包括：

S41：对每个所述待测面部组件的各个通道下的置信向量进行融合，得到每个所述待测面部组件的置信向量

其中，k表示第k个面部组件，i表示第i个通道，

表示第k个面部组件在第i个通道下被分类为第j类的置信度，

表示第k个面部组件被分类为第j类的置信度，j＝0表示被分类为真实，j＝1表示被分类为伪造；

S42：根据每个所述待测面部组件的置信向量T^k，得到所述待检测图像的人脸伪造检测结果。

在本发明的一个实施例中，所述S42包括：

S421：将各个所述待测面部组件的置信向量进行融合，得到所述待检测图像的置信向量

其中，r_j表示图像被分类为第j类的置信度；

S422：采用argmax函数，得到所述待检测图像的人脸伪造检测结果r_Final＝argmaxR＝argmax_0≤j≤1r_j。

在本发明的一个实施例中，所述S42包括：

S421’：根据每个所述待测面部组件的置信向量，得到每个所述待测面部组件的分类结果

S422’：对每个所述待测面部组件的分类结果进行投票，得到每个所述待测面部组件的投标结果

其中，

表示第k个组件的分类结果为j时，投票结果为1，否则为0；

S423’：将每个所述待测面部组件的投票结果进行相加，得到投票统计结果

并根据多数获胜的原则，得到所述待检测图像的人脸伪造检测结果r_Final＝argmax_0≤j≤1c_j，其中，c_j表示第j类结果的得票数量。

与现有技术相比，本发明的有益效果在于：

本发明的基于多通道下局部区域特征的人脸伪造检测方法，在多通道下检测面部五官等局部区域的伪造细节，通过融合多通道下各个面部组件的置信向量得到伪造检测结果，使得结果准确率更高，更具鲁棒性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明实施例提供的一种基于多通道下局部区域特征的人脸伪造检测方法的流程图；

图2是本发明实施例提供的空域特征提取的示意图；

图3是本发明实施例提供的不同通道下真实图片与伪造图片的对比示意图。

具体实施方式

为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于多通道下局部区域特征的人脸伪造检测方法进行详细说明。

有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。

实施例一

请参见图1，图1是本发明实施例提供的一种基于多通道下局部区域特征的人脸伪造检测方法的流程图，如图所示，本实施例的基于多通道下局部区域特征的人脸伪造检测方法，包括：

S1：对待检测图像的人脸进行面部分量分离，得到多个待测面部组件；

在本实施例中，多个待测面部组件包括，左眼区域、右眼区域、鼻子区域和嘴巴区域。

具体地，S1包括：

S11：使用面部探测器得到待检测图像的人脸的面部边界框的坐标；

S12：根据面部边界框的坐标，利用矩形将左眉和左眼定位为左眼区域，将右眼和右眉定位为右眼区域，将鼻子定位为鼻子区域，将嘴巴定位为嘴巴区域，之后进行裁剪得到多个待测面部组件。

在本实施例中，使用面部探测器得到待检测图像的人脸的面部边界框的坐标，根据得到的坐标将面部进行几何变换，将待检测图像中的面部固定位置后进行裁剪。优选地，对齐后的图像大小调整大小为256×256像素。进一步地，得到映射到人脸上的面部结构的坐标位置，将面部分为左眼，左眉，右眼，右眉，鼻子，嘴巴，下颚。具体地，利用矩形将左眉和左眼定位为左眼区域，将右眼和右眉定位为右眼区域，将鼻子定位为鼻子区域，将嘴巴定位为嘴巴区域并进行裁剪。

其中，每个区域矩形的边界为

y₁表示能够覆盖面部组件原始矩形的最上边界，x₁表示最左边界，y₂表示最下边界，x₂表示最右边界，

和

为

表示原始矩形的高度的四分之一，

和

为

表示原始矩形宽度的四分之一。优选地，裁剪后的面部组件图像大小调整为224×224像素。

S2：提取多个通道下每个待测面部组件的空域特征；

其中，空域特征包括每个待测面部组件的色度分量和纹理特征，多个通道包括RGB、HSV、YCbCr、DoG、LBP或Canny中的至少两种。

具体地，选取对光线敏感，能够将色度信息和亮度信息分离到不同的通道中的HSV和YCbCr(YCC)，选取能够增强边界可见性和其他细节的Difference of Gaussians(高斯差)，能够从面部组件提取有用结构信息的Canny Edge Detection(Canny边缘检测)，以及对光线造成的灰度信息有较强鲁棒性的Local Binary Pattern(局部二进制模式)来处理每个待测面部组件。

请结合参见图3，图3是本发明实施例提供的不同通道下真实图片与伪造图片的对比示意图，如图所示，根据不同通道下真实图片与伪造图片的对比结果，在本实施例中，优选地，可选取RGB、HSV、DoG和LBP四个通道。

S3：将每个通道下每个待测面部组件的空域特征，输入对应通道下对应面部组件的分类网络模型中，得到每个通道下每个待测面部组件的置信向量；

其中，分类网络模型通过迁移学习，使用预训练的分类网络训练得到，进一步地，对本实施例中的分类网络模型的训练方法进行具体说明，请结合参见图2，图2是本发明实施例提供的空域特征提取的示意图，具体包括以下步骤：

步骤1：获取真实图像数据集和伪造图像数据集，其中，真实图像数据集包括M个人脸真实图像，伪造图像数据集包括与人脸真实图像对应的M个人脸伪造图像，M为大于0的自然数；

在本实施例中，从开源的数据集中获取真实图像与伪造图像，如果数据集是真实的视频与伪造的视频，利用软件包将视频处理，提取视频中的帧，根据这些图像建立真实图像数据集和伪造图像数据集。

需要说明的是，在本实施例中，人脸伪造图像是通过对其相应的人脸真实图像进行图像处理得到的。

步骤2：对真实图像数据集中的每个图像的人脸进行面部分量分离，得到多个真实面部组件，分别提取RGB、HSV、YCbCr、DoG、LBP和Canny通道下每个真实面部组件的空域特征，得到若干组不同通道下不同真实面部组件的真实组件图像集；

步骤3：对伪造图像数据集中的每个图像的人脸进行面部分量分离，得到多个伪造面部组件，分别提取RGB、HSV、YCbCr、DoG、LBP和Canny通道下每个伪造面部组件的空域特征，得到若干组不同通道下不同伪造面部组件的伪造组件图像集；

具体地，对真实图像数据集中的每个图像的人脸进行面部分量分离，得到多个真实面部组件，以及对伪造图像数据集中的每个图像的人脸进行面部分量分离，得到多个伪造面部组件，与步骤S1类似，在此不在赘述。分别提取RGB、HSV、YCbCr、DoG、LBP和Canny通道下每个真实面部组件的空域特征以及每个伪造面部组件的空域特征，与步骤S2类似，在此不在赘述。

步骤4：将每组真实组件图像集划分为真实组件训练集、真实组件验证集和真实组件测试集，将每组伪造组件图像集划分为伪造组件训练集，伪造组件验证集和伪造组件测试集；

在本实施例中，将每组真实组件图像集按照6：2：2的比例划分为真实组件训练集、真实组件验证集和真实组件测试集；将每组伪造组件图像集按照6：2：2的比例划分为伪造组件训练集，伪造组件验证集和伪造组件测试集。

步骤5：将每组真实组件训练集和对应的伪造组件训练集合并，得到若干组训练集，将若干组训练集分别输入各自的分类网络中进行训练，更新分类网络的网络参数；

具体地，分类网络为在ImageNet数据集上预训练的ResNet-50，在本实施例中去除ResNet-50的全连接层，并重新构造新的全连接层，固定卷积层中能够检测通用特征的较早的层，包括边缘检测器或颜色检测器，并根据数据集的大小选择微调适较高的层。

在本实施例中，采用NLLLoss损失函数和Adam优化算法训练神经网络，具体地，Adam优化器的学习率设置为0.001。

步骤6：将每组真实组件验证集和对应的伪造组件验证集合并，得到若干组验证集，在训练过程中将若干组所述验证集分别输入对应的分类网络中，用于测试训练中的分类网络，得到分类网络的最终网络参数，以得到每个通道下每个面部组件的分类网络模型；

在本实施例中，当分类网络对验证集的准确率最高时，将该分类网络的网络参数作为最终网络参数，从而得到每个通道下每个面部组件的分类网络模型。

步骤7：将每组真实组件测试集和对应的伪造组件测试集合并，得到若干测试集，将若干组测试集，分别输入对应的分类网络模型，对分类网络模型的性能进行检验。

S4：根据每个通道下每个待测面部组件的置信向量，得到待检测图像的人脸伪造检测结果。

具体地，S4包括：

S41：对每个待测面部组件的各个通道下的置信向量进行融合，得到每个待测面部组件的置信向量

其中，k表示第k个面部组件，i表示第i个通道，

表示第k个面部组件在第i个通道下被分类为第j类的置信度，

表示第k个面部组件被分类为第j类的置信度，j＝0表示被分类为真实，j＝1表示被分类为伪造；

S42：根据每个待测面部组件的置信向量T^k，得到待检测图像的人脸伪造检测结果。

在本实施例中，S42包括：

S421：将各个待测面部组件的置信向量进行融合，得到待检测图像的置信向量

其中，r_j表示图像被分类为第j类的置信度；

S422：采用argmax函数，得到待检测图像的人脸伪造检测结果r_Final＝argmax R＝argmax_0≤j≤1r_j。

需要说明的是，在其他实施例中，S42包括：

S421’：根据每个待测面部组件的置信向量，得到每个待测面部组件的分类结果

S422’：对每个待测面部组件的分类结果进行投票，得到每个待测面部组件的投标结果

其中，

表示第k个组件的分类结果为j时，投票结果为1，否则为0；

S423：将每个待测面部组件的投票结果进行相加，得到投票统计结果

并根据多数获胜的原则，得到待检测图像的人脸伪造检测结果r_Final＝argmax_0≤j≤1c_j，其中，c_j表示第j类结果的得票数量。

本实施例的基于多通道下局部区域特征的人脸伪造检测方法，在多通道下检测面部五官等局部区域的伪造细节，通过融合多通道下各个面部组件的置信向量得到伪造检测结果，使得结果准确率更高，更具鲁棒性。

实施例二

本实施例通过仿真实验对实施例一提供的基于多通道下局部区域特征的人脸伪造检测方法进行验证说明。

1.仿真条件

本实施例运用Pytorch1.7进行仿真，数据集采用开源视频数据集Face Forensics++中的分辨率为C23的子数据集Deepfakes和FaceSwap。

本实施例的仿真实验中使用四种现有技术与本发明的方法进行效果对比，一种是基于Multiple Instance Learning(多示例学习)的方法，实验中记为MIL，一种是基于XceptionNet的方法，实验中记为XN，一种是基于面部X光的方法，实验中记为X-ray，一种是基于对齐，DenseNet和双向递归网络的方法，实验中记为DAB。

2.仿真内容

根据本发明实施例一所述方法，计算曲线下面积(AUC)，并与MIL方法、XN方法、X-ray方法、DAB方法的AUC进行比较，AUC性能比较结果如表1所示。

表1.AUC性能比较结果

方法	AUC(％)(Deepfakes数据集)	AUC(％)(FaceSwap数据集)
			MIL	99.51	94.86
XN	99.38	99.36
			X-ray	99.12	99.29
DAB	99.59	99.41
			本发明	99.70	99.76

从表1可见，由于该数据集是目前较为流行的数据集，已经有很多方法在该数据集上实现了令人满意的识别性能。而本发明实施例的方法在多通道下检测面部五官局部区域的伪造细节，并将结果进行融合，仍在已有方法的高识别率上取得进步，准确率更高。

应当说明的是，在本文中，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于多通道下局部区域特征的人脸伪造检测方法，其特征在于，包括：

S1：对待检测图像的人脸进行面部分量分离，得到多个待测面部组件；

S2：提取多个通道下每个所述待测面部组件的空域特征；

S3：将每个通道下每个所述待测面部组件的空域特征，输入对应通道下对应面部组件的分类网络模型中，得到每个通道下每个所述待测面部组件的置信向量；

S4：根据所述每个通道下每个所述待测面部组件的置信向量，得到所述待检测图像的人脸伪造检测结果；

其中，所述分类网络模型通过迁移学习，使用预训练的分类网络训练得到，所述多个通道包括RGB、HSV、YCbCr、DoG、LBP或Canny中的至少两种。

2.根据权利要求1所述的基于多通道下局部区域特征的人脸伪造检测方法，其特征在于，所述多个待测面部组件包括，左眼区域、右眼区域、鼻子区域和嘴巴区域。

3.根据权利要求2所述的基于多通道下局部区域特征的人脸伪造检测方法，其特征在于，所述S1包括：

S11：使用面部探测器得到所述待检测图像的人脸中面部边界框的坐标；

S12：根据所述面部边界框的坐标，利用矩形将左眉和左眼定位为左眼区域，将右眼和右眉定位为右眼区域，将鼻子定位为鼻子区域，将嘴巴定位为嘴巴区域，之后进行裁剪得到所述多个待测面部组件。

4.根据权利要求1所述的基于多通道下局部区域特征的人脸伪造检测方法，其特征在于，在所述S3中，所述分类网络模型的训练方法包括：

步骤1：获取真实图像数据集和伪造图像数据集，其中，所述真实图像数据集包括M个人脸真实图像，所述伪造图像数据集包括与所述人脸真实图像对应的M个人脸伪造图像，M为大于0的自然数；

步骤2：对所述真实图像数据集中的每个图像的人脸进行面部分量分离，得到多个真实面部组件，分别提取RGB、HSV、YCbCr、DoG、LBP和Canny通道下每个真实面部组件的空域特征，得到若干组不同通道下不同真实面部组件的真实组件图像集；

步骤3：对所述伪造图像数据集中的每个图像的人脸进行面部分量分离，得到多个伪造面部组件，分别提取RGB、HSV、YCbCr、DoG、LBP和Canny通道下每个伪造面部组件的空域特征，得到若干组不同通道下不同伪造面部组件的伪造组件图像集；

步骤4：将每组所述真实组件图像集划分为真实组件训练集、真实组件验证集和真实组件测试集，将每组所述伪造组件图像集划分为伪造组件训练集，伪造组件验证集和伪造组件测试集；

步骤5：将每组所述真实组件训练集和对应的所述伪造组件训练集合并，得到若干组训练集，将所述若干组训练集分别输入各自的分类网络中进行训练，更新分类网络的网络参数；

步骤6：将每组所述真实组件验证集和对应的所述伪造组件验证集合并，得到若干组验证集，在训练过程中将若干组所述验证集分别输入对应的分类网络中，用于测试训练中的分类网络，得到分类网络的最终网络参数，以得到每个通道下每个面部组件的分类网络模型；

步骤7：将每组所述真实组件测试集和对应的所述伪造组件测试集合并，得到若干测试集，将若干组所述测试集，分别输入对应的分类网络模型，对所述分类网络模型的性能进行检验。

5.根据权利要求1所述的基于多通道下局部区域特征的人脸伪造检测方法，其特征在于，所述S4包括：

S41：对每个所述待测面部组件的各个通道下的置信向量进行融合，得到每个所述待测面部组件的置信向量

其中，k表示第k个面部组件，i表示第i个通道，

表示第k个面部组件在第i个通道下被分类为第j类的置信度，

表示第k个面部组件被分类为第j类的置信度，j＝0表示被分类为真实，j＝1表示被分类为伪造；

S42：根据每个所述待测面部组件的置信向量T^k，得到所述待检测图像的人脸伪造检测结果。

6.根据权利要求5所述的基于多通道下局部区域特征的人脸伪造检测方法，其特征在于，所述S42包括：

S421：将各个所述待测面部组件的置信向量进行融合，得到所述待检测图像的置信向量

其中，r_j表示图像被分类为第j类的置信度；

S422：采用argmax函数，得到所述待检测图像的人脸伪造检测结果r_Final＝argmax R＝argmax_0≤j≤1r_j。

7.根据权利要求5所述的基于多通道下局部区域特征的人脸伪造检测方法，其特征在于，所述S42包括：

S421’：根据每个所述待测面部组件的置信向量，得到每个所述待测面部组件的分类结果

S422’：对每个所述待测面部组件的分类结果进行投票，得到每个所述待测面部组件的投标结果

其中，

表示第k个组件的分类结果为j时，投票结果为1，否则为0；

S423’：将每个所述待测面部组件的投票结果进行相加，得到投票统计结果

并根据多数获胜的原则，得到所述待检测图像的人脸伪造检测结果r_Final＝argmax_0≤j≤1c_j，其中，c_j表示第j类结果的得票数量。

Images