CN110929635A - 基于信任机制下面部交并比的假脸视频检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于信任机制下面部交并比的假脸视频检测方法及系统，该方法包括网络训练和样本测试步骤：网络训练步骤包括模型训练和模型验证。模型训练步骤对分割网络进行训练，保存分割网络模型和权重值；模型验证步骤使用训练好的分割网络预测掩膜，采用网格搜索方法确定二值化阈值和判决阈值。样本测试包括视频分帧预处理得到输入图片、利用分割网络确定待检测区域、平滑去噪、二值化待检测区域，确定脸部区域和待定篡改区域，计算信任机制下两者的交并比，最后根据判决阈值进行真假脸判决。本发明针对深度换脸工具生成的假脸视频进行检测，在不同数据库中均获得较高的准确率，跨库测试性能明显提升，为假脸视频检测提供了一种有效途径。

Description

基于信任机制下面部交并比的假脸视频检测方法及系统

技术领域

本发明涉及数字视频的篡改检测技术领域，具体涉及一种基于信任机制下面部交并比的假脸视频检测方法及系统。

背景技术

在众多生物特征中，人脸是最具有代表性的特征之一，可辨识度较高。因此，随着人脸识别技术的突飞猛进，人脸篡改带来的安全威胁越来越大，特别是在手机高度流行和社交网络日益成熟的当代。深度换脸工具主要使用自编码器或对抗生成网络等深度神经网络生成虚假人脸后再对原视频的人脸进行替换，根据所使用的特征，现有假脸视频检测技术大致可分为三大类：基于传统手工特征、基于生物特征以及基于神经网络提取特征。上述方法在一定程度上能够识别出假脸视频，尤其在库内，测试中可达较高的准确率，然而，在跨库测试中准确率均急剧下降，即存在泛化能力不足问题。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种基于信任机制下面部交并比的假脸视频检测方法及系统，本发明运用了像素级分类技巧和假脸篡改的先验知识，有效降低了跨库测试的平均错误率，使用图像分割进行确定待检测区域后再分类判决，有效地提高了泛化能力。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种基于信任机制下面部交并比的假脸视频检测方法，包括网络训练步骤和样本测试步骤，所述网络训练步骤包括模型训练步骤和模型验证步骤；

将数据集划分为源训练集、源验证集和源测试集；

所述模型训练步骤包括下述步骤：

对所述源训练集进行图像预处理后得到训练集图片X＝{X₁,X₂,...,X_N}，训练集正确掩膜Y＝{Y₁,Y₂,...,Y_N}，其中N为训练集图片总数；

输入训练集图片X和标签为训练集正确掩膜Y进行分割网络训练，分割网络训练完成后保存分割网络模型和权重值；

所述模型验证步骤包括下述步骤：

对所述源验证集进行图像预处理后得到验证集图片Z＝{Z₁,Z₂,...,Z_Q}，其中Q为验证集图片总数；

对验证集第k张图片Z_k采用训练好的分割网络预测得到掩膜ZM_k，确定待检测区域；

对预测的掩膜ZM_k进行平滑处理得到去噪后的掩膜ZMS_k；

设置初始二值化阈值T₁和初始判决阈值T₂，采用网格搜索法进行网格搜索，并对验证集图片去噪后的掩膜进行二值化处理、面部交并比计算和二分类判决，得到虚警率和漏检率，记录相应的阈值对和等错误率，当判定等错误率最小时，选定二值化阈值T_1o和判决阈值T_2o；

所述样本测试步骤包括下述步骤：

对所述源测试集进行图像预处理后得到测试集图片C＝{C₁,C₂,...,C_L}，其中L为测试图片总数；

对测试集第k张图片C_k采用训练好的分割网络预测得到掩膜CM_k，确定待检测区域；

对预测的掩膜CM_k进行平滑处理得到去噪后的掩膜CMS_k；

采用网络训练步骤中选定的二值化阈值T_1o对去噪后的掩膜CMS_k进行二值化处理，得到二值掩膜CMSB_k；

设置信任机制的惩罚因子p，对二值掩膜CMSB_k计算信任机制下面部交并比CFIoU_k；

采用网络训练步骤选定的判决阈值T_2o对面部交并比CFIoU_k进行二分类判决，逐帧判断测试集图片的真假，计算得到判断的准确率和平均错误率。

作为优选的技术方案，对所述源训练集进行图像预处理后得到训练集图片X，训练集正确掩膜Y，具体步骤为：

对源训练集中的视频帧进行图像预处理，选取人脸框对人脸标志点进行检测记录，并矫正人脸框；

在源训练集的视频帧和对应的正确掩膜上，根据矫正后的人脸框位置裁剪出部分区域图片，并采集到同一分辨率，得到训练集图片X，训练集正确掩膜Y；

对所述源验证集进行图像预处理后得到验证集图片Z，具体步骤为：

对源验证集中的视频帧进行图像预处理，选取人脸框对人脸标志点进行检测记录，并矫正人脸框；

在源验证集的视频帧上，根据矫正后的人脸框位置裁剪出部分区域图片，并采集到同一分辨率，得到验证集图片Z；

对所述源测试集进行图像预处理后得到测试集图片C，具体步骤为：

对源测试集中的视频帧进行图像预处理，选取人脸框对人脸标志点进行检测记录，并矫正人脸框；

在源测试集的视频帧上，根据矫正后的人脸框裁剪出部分区域图片，并采样到同一分辨率，得到测试集图片C。

作为优选的技术方案，所述模型训练的分割网络训练具体步骤包括：

构建分割网络，构建分割网络训练的损失函数，构建分割网络参数优化算法，所述分割网络参数优化算法采用Adam算法；

输入训练集图片X和标签为训练集正确掩膜Y进行分割网络训练，分割网络训练完成后保存分割网络模型和权重值；

所述分割网络训练的损失函数为：

其中，(i,j)表示掩膜上的坐标点位置，m_k表示掩膜的长度，n_k表示掩膜的宽度。

作为优选的技术方案，所述分割网络采用图像数据集ImageNet上预训练的网络结构VGG-16为骨架的FCN-8s模型；

图片输入网络结构VGG-16，依次通过第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块；

第一卷积模块包括两个步长为1的64通道输入3×3卷积层和一个步长为2的2×2最大池化层；第二卷积模块包括两个步长为1的128通道输入3×3卷积层和一个步长为2的2×2最大池化层；第三卷积模块包括两个步长为1的256通道输入3×3卷积层和一个步长为2的2×2最大池化层；第四卷积模块包括两个步长为5的512通道输入3×3卷积层和一个步长为2的2×2最大池化层、第五卷积模块包括两个步长为5的512通道输入3×3卷积层和一个步长为2的2×2最大池化层，其中所有卷积层的激活函数为ReLU；

FCN-8s的输入为分辨率256×256，经过VGG-16骨架网络后，第五卷积模块的输出通过步长为1的4096通道输入7×7卷积层、ReLU激活函数、概率为0.5的随机失活层、步长为1的4096通道输入1×1卷积层、ReLU激活函数、概率为0.5的随机失活层、步长为1的2通道输入1×1卷积层、步长为2的2通道输入4×4反卷积层，与第四卷积模块的输出通过步长为1通道输入1×1卷积层后结果相加、步长为2的2通道输入4×4反卷积层，与第三卷积模块的输出通过步长为1通道输入1×1卷积层后结果相加、步长为8的2通道输入16×16反卷积层、softmax激活函数，输出为预测的掩膜。

作为优选的技术方案，所述选定二值化阈值T_1o和判决阈值T_2o具体步骤包括：

网格搜索：设置初始二值化阈值T₁和初始判决阈值T₂的值，进行步长值为s的网格搜索；

二值化处理：采用当前二值化阈值T₁对第k张去噪后的掩膜ZMS_k进行二值化处理得到二值掩膜ZMSB_k；

面部交并比计算：设置信任机制的惩罚因子p，对二值掩膜ZMSB_k计算信任机制下面部交并比ZFIoU_k：

ZFIoU_k＝(ZS_1k∩ZS_2k)/(ZS_1k∪ZS_2k+P×(ZS_1k∪ZS_2k-ZS_1k))

其中，ZS_1k为第k张图片Z_k中人脸区域，ZS_2k为二值掩膜ZMSB_k中待定篡改区域，P为信任机制的惩罚因子；

二分类判决：采用当前判决阈值T₂对面部交并比ZFIoU_k进行二分类判决，逐帧判断验证集中所有图片的真假，设Q张图片中有Q₁张真脸图片和Q₂张假脸图片，其中Q₁张真脸图片内有Q_1a张被判断成真脸，有Q_1b张图片被判断成假脸，Q₂张假脸图片内有Q_2a张被判断成真脸，有Q_2b张被判断成假脸；

计算得到虚警率FAR和漏检率FNR分别为：

若满足虚警率等于漏检率，达到等错误率状态，记录当前阈值对{T₁,T₂}和等错误率EER；

设置第一阈值和第二阈值，根据网格搜索法改变T₁和T₂的值，重复执行所述网格搜索、二值化处理、面部交并比计算和二分类判决步骤，直至T₁达到第一阈值并且T₂达到第二阈值时，停止搜索，并记录相应的阈值对和等错误率，筛选出等错误率最小的阈值对{T_1o,T_2o}，其中T_1o和T_2o分别表示选定的二值化阈值和判决阈值。

作为优选的技术方案，所述平滑处理采用核大小为3的高斯低通滤波器进行平滑处理。

作为优选的技术方案，所述对二值掩膜CMSB_k计算信任机制下面部交并比CFIoU_k，具体计算方式为：

CFIoU_k＝(CS_1k∩CS_2k)/(CS_1k∪CS_2k+P×(CS_1k∪CS_2k-CS_1k))

其中，CS_1k为第k张图片C_k中人脸区域，CS_2k为二值掩膜CMSB_k中待定篡改区域，P为信任机制的惩罚因子。

作为优选的技术方案，所述计算得到判断的准确率和平均错误率具体步骤为：

在测试集中图片张数设为L，L张图片中包括L₁张真脸图片和L₂张假脸图片，设L₁内L_1a张被判断成真脸，L_1b张被判断成假脸，L₂内L_2a张被判断成真脸，L_2b张被判断成假脸；

准确率ACC具体计算方式为：

平均错误率HTER具体计算方式为：

其中，FAR表示虚警率，FNR表示漏检率。

本发明还提供一种基于信任机制下面部交并比的假脸视频检测系统，包括：

网络训练模块、样本测试模块和数据划分模块，所述网络训练模块包括模型训练子模块和模型验证子模块；

所述数据划分模块用于将数据集划分为源训练集、源验证集和源测试集；

所述模型训练子模块包括源训练集预处理单元和分割网络训练单元，所述源训练集预处理单元用于对所述源训练集进行图像预处理后得到训练集图片X，训练集正确掩膜Y；

所述模型验证子模块包括源验证集预处理单元、验证集图片预测掩膜单元、第一去噪单元、二值化阈值和判决阈值选定单元，所述源验证集预处理单元用于对所述源验证集进行图像预处理后得到验证集图片，所述预测掩膜单元用于采用训练好的分割网络预测验证集图片的掩膜，确定待检测区域，所述第一去噪单元用于对验证集图片预测掩膜进行平滑处理得到去噪后的掩膜，所述二值化阈值和判决阈值选定单元用于采用网格搜索法进行搜索，并将验证集图片预测掩膜进行二值化处理、面部交并比计算和二分类判决后选定二值化阈值和判决阈值；

所述样本测试模块包括源测试集预处理单元、测试集图片预测掩膜单元、第二去噪单元、二值化单元、面部交并比计算单元和二分类判决单元，所述源测试集预处理单元用于对所述源测试集进行图像预处理后得到测试集图片，所述测试集图片预测掩膜单元用于采用训练好的分割网络预测测试集图片的掩膜，确定待检测区域，所述第二去噪单元用于对测试集图片预测掩膜进行平滑处理得到去噪后的掩膜，所述二值化单元用于采用所述选定二值化阈值对去噪后的掩膜进行二值化处理，得到二值掩膜；所述面部交并比计算单元用于设置信任机制的惩罚因子，对二值掩膜计算信任机制下面部交并比；所述二分类判决单元用于采用所述选定判决阈值对面部交并比进行二分类判决，逐帧判断测试集图片的真假，计算得到判断的准确率和平均错误率。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明使用分割网络进行像素级的预测确定待检测篡改区域后再进行分类判决，为假脸视频检测提供了一种有效途径，达到了有效提高了泛化能力的效果。

(2)本发明根据假脸篡改的先验知识，定义了独特的面部交并比作为判决指标，达到了有效量化描述篡改区域的效果。观察分析得到大部分篡改区域都出现在人脸区域的先验知识，利用分割网络对背景区域的预测，对不信任的待定篡改区域进行惩罚，提出了信任机制，改进了面部交并比的计算公式，达到了降低潜在虚警的效果。

(3)本发明利用验证集数据对二值化阈值和判决阈值的取值进行学习计算，具体是使用网格搜索的方式，找到等错误率最小情况下的阈值对，保证了取值的合理性和在实际应用的适应性。

附图说明

图1为本实施例基于信任机制下面部交并比的假脸视频篡改检测方法流程示意图；

图2为本实施例网络训练步骤的模型训练流程示意图；

图3为本实施例训练集选取的视频帧示例图；

图4为本实施例训练集视频帧人脸框与鼻尖点位置示例图；

图5为本实施例训练集视频帧矫正后人脸框与鼻尖点示例图；

图6为本实施例训练集正确掩膜示例图；

图7为本实施例训练集裁剪出的输入图片示例图；

图8为本实施例训练集裁剪出的正确掩膜示例图；

图9为本实施例网络训练步骤的模型验证流程示意图；

图10为本实施例验证集选取的视频帧示例图；

图11为本实施例验证集裁剪出的输入图片示例图；

图12为本实施例验证集的预测掩膜示例图；

图13为本实施例验证集的去噪后掩膜示例图；

图14为本实施例验证集的二值掩膜示例图；

图15为本实施例验证集裁剪出的正确掩膜示例图；

图16为本实施例验证集假脸图片示意图；

图17为本实施例样本测试步骤的流程示意图；

图18(a)和图18(b)分别为假脸图片和真脸图片可视化检测结果示例图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

如图1所示，本实施例提供一种基于信任机制下面部交并比的假脸视频检测方法，包括网络训练步骤和样本测试步骤，其中网络训练步骤包括模型训练步骤和模型验证步骤；

本实施例以在FaceForensics++(FF++)数据库上进行训练，在FF++数据库上进行库内测试以及TIMIT数据库上进行跨库测试为例，详细介绍本实例实施过程，实验在Ubuntu16.04系统上进行，使用3.6版本的Python语言和2.2.4版本的Keras人工神经网络库，Keras的后端为1.12.0版本的Tensorflow，CUDA版本为9.0.0，cudnn版本为7.1.4。

首先对FF++数据库和TIMIT数据进行划分，以7：2：1的比例分为训练集、验证集和测试集，并使用OpenCV将三个测试集中的视频分帧并分别保存。

如图2所示，网络训练步骤中的模型训练具体步骤如下：

S1：对训练集中的每一视频帧进行预处理，采用Dlib库中的卷积神经网络选取人脸框，并且采用2DFAN算法对人脸68个标志点进行检测记录，根据检测出的鼻尖点位置，水平平移，矫正人脸框，以保证鼻尖点位于人脸框的垂直中心线上，根据检测出的鼻尖点位置平移矫正人脸框，目的在于减少人脸框在视频序列中的剧烈抖动；

如图3所示，本实施例选取的某一视频帧，如图4所示，选取人脸框对人脸标志点进行检测记录，记人脸框左上角点坐标为(x₁,y₁)，右下角点坐标为(x₂,y₂)，检测出鼻尖点位置，记鼻尖点坐标为(x_n,y_n)，水平平移人脸框，使左上角点坐标为

右下角点坐标为

如图5所示，得到矫正后的人脸框，通过矫正人脸框，使每一帧选取的人脸框位置相近，减小抖动；

S2：在视频帧和所对应的正确掩膜上，根据矫正后的人脸框位置裁剪出部分区域图片，并采样到同一分辨率，得到训练集图片为X＝{X₁,X₂,...,X_N}，训练集正确掩膜为Y＝{Y₁,Y₂,...,Y_N}，其中N为训练集图片总数，正确的掩膜表示ground-truth的篡改区域；

在本实施例中，裁剪图片区域为1.3倍人脸，采样方法为三次插值，输入图片分辨率为256×256，如图6、图7、图8并结合图3所示，在选取的视频帧和对应正确掩膜上，裁剪出输入图片和正确掩膜；

S3：搭建分割网络，输入为训练集图片X_k，标签为裁剪后对应的正确掩膜Y_k，输出为预测的掩膜XM_k，其中k＝1,2,...,N；

在本实施例中，采用ImageNet上预训练的VGG-16为骨架的FCN-8s，VGG-16的输入分辨率为256×256，具有RGB三通道的彩色图片，接着依次通过第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块；

第一卷积模块包括两个步长为1的64通道输入3×3卷积层和一个步长为2的2×2最大池化层；第二卷积模块包括两个步长为1的128通道输入3×3卷积层和一个步长为2的2×2最大池化层；第三卷积模块包括两个步长为1的256通道输入3×3卷积层和一个步长为2的2×2最大池化层；第四卷积模块包括两个步长为5的512通道输入3×3卷积层和一个步长为2的2×2最大池化层、第五卷积模块包括两个步长为5的512通道输入3×3卷积层和一个步长为2的2×2最大池化层，其中所有卷积层的激活函数为ReLU；

FCN-8s的输入为分辨率256×256，经过VGG-16骨架网络后，第五卷积模块的输出通过步长为1的4096通道输入7×7卷积层、ReLU激活函数、概率为0.5的随机失活层、步长为1的4096通道输入1×1卷积层、ReLU激活函数、概率为0.5的随机失活层、步长为1的2通道输入1×1卷积层、步长为2的2通道输入4×4反卷积层，与第四卷积模块的输出通过步长为1通道输入1×1卷积层后结果相加、步长为2的2通道输入4×4反卷积层，与第三卷积模块的输出通过步长为1通道输入1×1卷积层后结果相加、步长为8的2通道输入16×16反卷积层、softmax激活函数，输出为预测的掩膜；

在本实施例中，分割网络也可以使用FCN-8s以外的分割网络；

S4：构建分割网络训练的损失函数：

其中，(i,j)为掩膜上的坐标点位置，m_k为掩膜的长度，n_k为掩膜的宽度；

S5：设置分割网络参数优化算法：

本实施例采用Adam算法进行参数优化，设置学习率为1×10^-4，一阶平滑参数β₁＝0.9，二阶平滑参数β₂＝0.999，防止分母为0的常数e＝1×10^-8；

S6：输入为训练集X和标签为正确掩膜Y训练分割网络；

S7：训练完成后保存分割网络模型和权重值。

如图9所示，本实施例网络训练步骤中的模型验证具体步骤为：

S1：对验证集中的每一视频帧进行预处理，采用Dlib库中的卷积神经网络选取人脸框，并且用2DFAN算法对人脸68个标志点进行检测记录，根据检测出的鼻尖点位置，水平平移，矫正人脸框，以保证鼻尖点位于人脸框的垂直中心线上，处理过程与模型训练时的步骤S1相同；

S2：在视频帧上，根据矫正后的人脸框裁剪出部分区域图片，并采样到同一分辨率，得到验证集图片为Z＝{Z₁,Z₂,...,Z_Q}，其中Q为验证集图片总数；

本实施例裁剪图片区域为1.3倍人脸，采样方法为三次插值，输入图片分辨率为256×256；

S3：采用训练好的分割网络预测验证集第k张图片Z_k的掩膜ZM_k，确定待检测区域，其中k＝1,2,...,Q；

如图10、图11、图12所示，本实施例选取验证集某一视频帧进行裁剪，得到验证集裁剪出的输入图片和预测掩膜；

S4：对预测掩膜ZM_k进行平滑处理得到去噪后的掩膜ZMS_k；

如图13所示，本实施例采用核大小为3的高斯低通滤波器对预测掩膜ZM_k进行平滑处理，得到去噪后的掩膜ZMS_k；本实施例也可以使用其他的数字低通滤波器进行平滑处理；

S5：以0为二值化阈值T₁和判决阈值T₂的初始值，s为步长进行网格搜索，本实施例中s取0.001；

S6：如图14所示，采用当前T₁对ZMS_k进行二值化处理得到二值掩膜ZMSB_k；

S7：对二值掩膜ZMSB_k计算信任机制下面部交并比；

对于如图10所示的序号为k的视频帧，图11表示人脸区域，图14中白色点为预测的待定篡改区域，图15中白色点为正确的篡改区域，将三个区域画入一张示意图中，如图16所示，图中实线包围区域ZS_1k为人脸检测网络选取的人脸区域；点状线包围区域ZS_2k为二值掩膜中的待定篡改区域；虚线包围区域ZS_3k为正确掩膜中的篡改区域；

传统分割问题中篡改区域交并比的计算公式为(ZS_3k∩ZS_2k)/(ZS_3k∪ZS_2k)，无法在假脸视频篡改检测的问题上直接作为判决依据，原因有两点：一是在测试阶段没有正确的篡改区域，二是在未篡改区域中，对于任意的检测区域，交并比始终为0。因此本发明首先利用所有对象都存在的人脸区域得到面部交并比ZFIoU_k＝(ZS_1k∩ZS_2k)/(ZS_1k∪ZS_2k)，再利用分割网络对背景区域的预测结果和背景区域中篡改内容较少的先验知识，对ZS_1k∪ZS_2k-ZS_1k区域产生一定的不信任，构建信任机制降低潜在的虚警，增加惩罚项改进面部交并比的计算公式。本实施里以P＝1为惩罚因子，信任机制下的面部交并比计算公式为：

ZFIoU_k＝(ZS_1k∩ZS_2k)/(ZS_1k∪ZS_2k+P×(ZS_1k∪ZS_2k-ZS_1k))

其中，ZS_1k为第k张图片Z_k中人脸区域，ZS_2k为二值掩膜ZMSB_k中待定篡改区域，P为信任机制的惩罚因子；

S8：使用当前T₂对面部交并比ZFIoU_k进行二分类判决，判断验证集中所有Q张图片的真假，设Q张图片中有Q₁张真脸图片和Q₂张假脸图片，其中Q₁内Q_1a张被判断成真脸，Q_1b张被判断成假脸，Q₂内Q_2a张被判断成真脸，Q_2b张被判断成假脸，得到虚警率(False AlarmRate)

和漏检率(False Negative Rate)

若满足虚警率等于漏检率，即达到等错误率(Equal Error Rate,EER)状态EER＝FAR＝FNR，记录当前阈值对{T₁,T₂}和等错误率；

S9：根据网格搜索法改变T₁和T₂的值，重复上述步骤S6至步骤S8，直至T₁＝1且T₂＝1，停止搜索；

S10：在上述搜索过程所记录的阈值对和等错误率结果中，寻找等错误率值最小的阈值对{T_1o,T_2o}，则T_1o和T_2o分别为选定的二值化阈值和判决阈值。

在本实施例中，选定的二值化阈值和判决阈值是在模型验证中通过网格搜索的方式计算得到的，是等错误率最小情况下的阈值，不需要人为设置，具有较强的适应性。

如图17所示，本实施例样本测试步骤中对FF++数据库的库内测试具体步骤为：

S1：对测试集中的每一视频帧进行预处理：采用Dlib库中的卷积神经网络选取人脸框，并且用2DFAN算法对人脸68个标志点进行检测记录，根据检测出的鼻尖点位置，水平平移，矫正人脸框，以保证鼻尖点位于人脸框的垂直中心线上，处理过程与模型训练时步骤S1相同；

S2：在视频帧上，根据矫正后的人脸框裁剪出部分区域图片，并采样到同一分辨率，得到测试图片集合为C＝{C₁,C₂,...,C_L}，其中L为测试图片总数；

本实施例中裁剪图片区域为1.3倍人脸，采样方法为三次插值，输入图片分辨率为256×256；

S3：采用训练好的分割网络预测测试集的第k张图片C_k的掩膜CM_k，确定待检测区域，其中k＝1,2,...,L；

S4：对CM_k进行平滑处理得到去噪后的掩膜CMS_k；

本实施例采用核大小为3的高斯低通滤波器对预测掩膜CM_k进行平滑处理，得到去噪后的掩膜CMS_k；本实施例也可以使用其他的数字低通滤波器进行平滑处理；

S5：采用网络训练步骤选定的二值化阈值T_1o对CMS_k进行二值化处理得到二值掩膜CMSB_k；

S6：对CMSB_k计算信任机制下面部交并比：

CFIoU_k＝(CS_1k∩CS_2k)/(CS_1k∪CS_2k+P×(CS_1k∪CS_2k-CS_1k))

其中，CS_1k为第k张图片C_k中人脸区域，CS_2k为二值掩膜CMSB_k中待定篡改区域，P为信任机制的惩罚因子，本实施例的P取1；

S7：使用网络训练步骤选定的判决阈值T_2o对CFIoU_k进行二分类判决，逐帧判断L张测试图片的真假，设L张图片中有L₁张真脸图片和L₂张假脸图片，其中L₁内L_1a张被判断成真脸，L_1b张被判断成假脸，L₂内L_2a张被判断成真脸，L_2b张被判断成假脸，给出准确率(Accuracy)

和平均错误率(Half Total Error Rate)

在本实施例中，网络训练的模型训练步骤S2、模型验证步骤S2和样本测试步骤S2中，裁剪后的图片中除了人脸区域还包括部分背景区域，目的在于让网络获得更多背景信息，同时保证后续信任机制中惩罚项的有效计算；

在本实施例中，模型验证步骤S4和样本测试步骤S4中，进行平滑去噪的原因是因为分割网络进行像素级的预测时像素点之间的关联性较弱，易出现孤立噪声点，考虑到假脸视频中篡改区域在人脸中占比较大，并且本实施例旨在于进行二分类判决判断真假脸的存在性，因此使用低通滤波器去除这些噪声点，得到去噪后的掩膜；

在本实施例中，模型验证步骤S6和样本测试步骤S5中，对去噪后掩膜进行二值化的原因是因为目前得到的掩膜是0-1之间的概率图，无法直接进行二分类判决，因此根据阈值进行二值化处理，得到待定篡改区域的位置和面积信息；

在本实施例中，模型验证步骤S7和样本测试步骤S6中，提出的面部交并比有效利用了提前检测出的人脸区域，能够在网络训练和样本测试中有效使用，同样适用于实际场合下对一个未知视频的检测；

在本实施例中，模型验证步骤S7和样本测试步骤S6中，面部交并比引入了信任机制的原因是因为大部分假脸篡改区域都出现在人脸中，因此本实施例对人脸外的预测篡改区域进行惩罚，进而优化了面部交并比这一指标，提高了模型的泛化能力，惩罚因子P可选取大于0的数值，两个步骤的P取相同值；

在本实施例中，跨库测试对TIMIT数据测试集进行相同的测试步骤，得到准确率和平均错误率，网络训练步骤得到二值化阈值T_1o为0.439，判决阈值T_2o为0.2347，库内测试中FF++验证集的等错误为2.12％，测试集的平均错误率为2.05％，准确率为97.91％；跨库测试中TIMIT测试集的平均错误率为22.64％，准确率为79.54％。如图18(a)和图18(b)所示，检测可视化示例图包括原始视频帧、正确的未裁剪掩膜、正确的裁剪后掩膜、库内测试得到的二值掩膜、跨库测试得到的二值掩膜，可以看出，不论是在库内测试还是跨库测试中，本实施例能够有效得到假脸图片的篡改区域，并且能够将真脸图片的所有区域识别为未篡改区域。由此可知，与其他现有技术相比，本实施例的方法库内测试准确率较高，跨库测试的平均错误率较低，验证了有效性，本实施例利用神经网络分割待检测视频帧以后，计算信任机制下的面部交并比作为真假脸判决的准则，具有泛化能力强的特点。

本实施例还提供一种基于信任机制下面部交并比的假脸视频检测系统，包括：

网络训练模块、样本测试模块和数据划分模块，网络训练模块包括模型训练子模块和模型验证子模块；数据划分模块用于将数据集划分为源训练集、源验证集和源测试集；

在本实施例中，模型训练子模块包括源训练集预处理单元和分割网络训练单元，源训练集预处理单元用于对源训练集进行图像预处理后得到训练集图片X，训练集正确掩膜Y；

在本实施例中，模型验证子模块包括源验证集预处理单元、验证集图片预测掩膜单元、第一去噪单元、二值化阈值和判决阈值选定单元，源验证集预处理单元用于对源验证集进行图像预处理后得到验证集图片，预测掩膜单元用于采用训练好的分割网络预测验证集图片的掩膜，确定待检测区域，第一去噪单元用于对验证集图片预测掩膜进行平滑处理得到去噪后的掩膜，二值化阈值和判决阈值选定单元用于采用网格搜索法进行搜索，并将验证集图片预测掩膜进行二值化处理、面部交并比计算和二分类判决后选定二值化阈值和判决阈值；

在本实施例中，样本测试模块包括源测试集预处理单元、测试集图片预测掩膜单元、第二去噪单元、二值化单元、面部交并比计算单元和二分类判决单元，源测试集预处理单元用于对源测试集进行图像预处理后得到测试集图片，测试集图片预测掩膜单元用于采用训练好的分割网络预测测试集图片的掩膜，确定待检测区域，第二去噪单元用于对测试集图片预测掩膜进行平滑处理得到去噪后的掩膜，二值化单元用于采用选定二值化阈值对去噪后的掩膜进行二值化处理，得到二值掩膜；面部交并比计算单元用于设置信任机制的惩罚因子，对二值掩膜计算信任机制下面部交并比；二分类判决单元用于采用选定判决阈值对面部交并比进行二分类判决，逐帧判断测试集图片的真假，计算得到判断的准确率和平均错误率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于信任机制下面部交并比的假脸视频检测方法，其特征在于，包括网络训练步骤和样本测试步骤，所述网络训练步骤包括模型训练步骤和模型验证步骤；

将数据集划分为源训练集、源验证集和源测试集；

所述模型训练步骤包括下述步骤：

对所述源训练集进行图像预处理后得到训练集图片X＝{X₁,X₂,...,X_N}，训练集正确掩膜Y＝{Y₁,Y₂,...,Y_N}，其中N为训练集图片总数；

输入训练集图片X和标签为训练集正确掩膜Y进行分割网络训练，分割网络训练完成后保存分割网络模型和权重值；

所述模型验证步骤包括下述步骤：

对所述源验证集进行图像预处理后得到验证集图片Z＝{Z₁,Z₂,...,Z_Q}，其中Q为验证集图片总数；

对验证集第k张图片Z_k采用训练好的分割网络预测得到掩膜ZM_k，确定待检测区域；

对预测的掩膜ZM_k进行平滑处理得到去噪后的掩膜ZMS_k；

设置初始二值化阈值T₁和初始判决阈值T₂，采用网格搜索法进行网格搜索，并对验证集图片去噪后的掩膜进行二值化处理、面部交并比计算和二分类判决，得到虚警率和漏检率，记录相应的阈值对和等错误率，当判定等错误率最小时，选定二值化阈值T_1o和判决阈值T_2o；

所述样本测试步骤包括下述步骤：

对所述源测试集进行图像预处理后得到测试集图片C＝{C₁,C₂,...,C_L}，其中L为测试图片总数；

对测试集第k张图片C_k采用训练好的分割网络预测得到掩膜CM_k，确定待检测区域；

对预测的掩膜CM_k进行平滑处理得到去噪后的掩膜CMS_k；

采用网络训练步骤中选定的二值化阈值T_1o对去噪后的掩膜CMS_k进行二值化处理，得到二值掩膜CMSB_k；

设置信任机制的惩罚因子p，对二值掩膜CMSB_k计算信任机制下面部交并比CFIoU_k；

采用网络训练步骤选定的判决阈值T_2o对面部交并比CFIoU_k进行二分类判决，逐帧判断测试集图片的真假，计算得到判断的准确率和平均错误率。

2.根据权利要求1所述的基于信任机制下面部交并比的假脸视频检测方法，其特征在于，对所述源训练集进行图像预处理后得到训练集图片X，训练集正确掩膜Y，具体步骤为：

对源训练集中的视频帧进行图像预处理，选取人脸框对人脸标志点进行检测记录，并矫正人脸框；

在源训练集的视频帧和对应的正确掩膜上，根据矫正后的人脸框位置裁剪出部分区域图片，并采集到同一分辨率，得到训练集图片X，训练集正确掩膜Y；

对所述源验证集进行图像预处理后得到验证集图片Z，具体步骤为：

对源验证集中的视频帧进行图像预处理，选取人脸框对人脸标志点进行检测记录，并矫正人脸框；

在源验证集的视频帧上，根据矫正后的人脸框位置裁剪出部分区域图片，并采集到同一分辨率，得到验证集图片Z；

对所述源测试集进行图像预处理后得到测试集图片C，具体步骤为：

对源测试集中的视频帧进行图像预处理，选取人脸框对人脸标志点进行检测记录，并矫正人脸框；

在源测试集的视频帧上，根据矫正后的人脸框裁剪出部分区域图片，并采样到同一分辨率，得到测试集图片C。

3.根据权利要求1所述的基于信任机制下面部交并比的假脸视频检测方法，其特征在于，所述模型训练的分割网络训练具体步骤包括：

构建分割网络，构建分割网络训练的损失函数，构建分割网络参数优化算法，所述分割网络参数优化算法采用Adam算法；

输入训练集图片X和标签为训练集正确掩膜Y进行分割网络训练，分割网络训练完成后保存分割网络模型和权重值；

所述分割网络训练的损失函数为：

其中，(i,j)表示掩膜上的坐标点位置，m_k表示掩膜的长度，n_k表示掩膜的宽度。

4.根据权利要求1或3所述的基于信任机制下面部交并比的假脸视频检测方法，其特征在于，所述分割网络采用图像数据集ImageNet上预训练的网络结构VGG-16为骨架的FCN-8s模型；

图片输入网络结构VGG-16，依次通过第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块；

第一卷积模块包括两个步长为1的64通道输入3×3卷积层和一个步长为2的2×2最大池化层；第二卷积模块包括两个步长为1的128通道输入3×3卷积层和一个步长为2的2×2最大池化层；第三卷积模块包括两个步长为1的256通道输入3×3卷积层和一个步长为2的2×2最大池化层；第四卷积模块包括两个步长为5的512通道输入3×3卷积层和一个步长为2的2×2最大池化层、第五卷积模块包括两个步长为5的512通道输入3×3卷积层和一个步长为2的2×2最大池化层，其中所有卷积层的激活函数为ReLU；

FCN-8s的输入为分辨率256×256，经过VGG-16骨架网络后，第五卷积模块的输出通过步长为1的4096通道输入7×7卷积层、ReLU激活函数、概率为0.5的随机失活层、步长为1的4096通道输入1×1卷积层、ReLU激活函数、概率为0.5的随机失活层、步长为1的2通道输入1×1卷积层、步长为2的2通道输入4×4反卷积层，与第四卷积模块的输出通过步长为1通道输入1×1卷积层后结果相加、步长为2的2通道输入4×4反卷积层，与第三卷积模块的输出通过步长为1通道输入1×1卷积层后结果相加、步长为8的2通道输入16×16反卷积层、softmax激活函数，输出为预测的掩膜。

5.根据权利要求1或2所述的基于信任机制下面部交并比的假脸视频检测方法，其特征在于，所述选定二值化阈值T_1o和判决阈值T_2o具体步骤包括：

网格搜索：设置初始二值化阈值T₁和初始判决阈值T₂的值，进行步长值为s的网格搜索；

二值化处理：采用当前二值化阈值T₁对第k张去噪后的掩膜ZMS_k进行二值化处理得到二值掩膜ZMSB_k；

面部交并比计算：设置信任机制的惩罚因子p，对二值掩膜ZMSB_k计算信任机制下面部交并比ZFIoU_k：

ZFIoU_k＝(ZS_1k∩ZS_2k)/(ZS_1k∪ZS_2k+P×(ZS_1k∪ZS_2k-ZS_1k))

其中，ZS_1k为第k张图片Z_k中人脸区域，ZS_2k为二值掩膜ZMSB_k中待定篡改区域，P为信任机制的惩罚因子；

二分类判决：采用当前判决阈值T₂对面部交并比ZFIoU_k进行二分类判决，逐帧判断验证集中所有图片的真假，设Q张图片中有Q₁张真脸图片和Q₂张假脸图片，其中Q₁张真脸图片内有Q_1a张被判断成真脸，有Q_1b张图片被判断成假脸，Q₂张假脸图片内有Q_2a张被判断成真脸，有Q_2b张被判断成假脸；

计算得到虚警率FAR和漏检率FNR分别为：

若满足虚警率等于漏检率，达到等错误率状态，记录当前阈值对{T₁,T₂}和等错误率EER；

设置第一阈值和第二阈值，根据网格搜索法改变T₁和T₂的值，重复执行所述网格搜索、二值化处理、面部交并比计算和二分类判决步骤，直至T₁达到第一阈值并且T₂达到第二阈值时，停止搜索，并记录相应的阈值对和等错误率，筛选出等错误率最小的阈值对{T_1o,T_2o}，其中T_1o和T_2o分别表示选定的二值化阈值和判决阈值。

6.根据权利要求1或2所述的基于信任机制下面部交并比的假脸视频检测方法，其特征在于，所述平滑处理采用核大小为3的高斯低通滤波器进行平滑处理。

7.根据权利要求1或2所述的基于信任机制下面部交并比的假脸视频检测方法，其特征在于，所述对二值掩膜CMSB_k计算信任机制下面部交并比CFIoU_k，具体计算方式为：

CFIoU_k＝(CS_1k∩CS_2k)/(CS_1k∪CS_2k+P×(CS_1k∪CS_2k-CS_1k))

其中，CS_1k为第k张图片C_k中人脸区域，CS_2k为二值掩膜CMSB_k中待定篡改区域，P为信任机制的惩罚因子。

8.根据权利要求1或2所述的基于信任机制下面部交并比的假脸视频检测方法，其特征在于，所述计算得到判断的准确率和平均错误率具体步骤为：

在测试集中图片张数设为L，L张图片中包括L₁张真脸图片和L₂张假脸图片，设L₁内L_1a张被判断成真脸，L_1b张被判断成假脸，L₂内L_2a张被判断成真脸，L_2b张被判断成假脸；

准确率ACC具体计算方式为：

平均错误率HTER具体计算方式为：

其中，FAR表示虚警率，FNR表示漏检率。

9.一种基于信任机制下面部交并比的假脸视频检测系统，其特征在于，包括：

网络训练模块、样本测试模块和数据划分模块，所述网络训练模块包括模型训练子模块和模型验证子模块；

所述数据划分模块用于将数据集划分为源训练集、源验证集和源测试集；

所述模型训练子模块包括源训练集预处理单元和分割网络训练单元，所述源训练集预处理单元用于对所述源训练集进行图像预处理后得到训练集图片X，训练集正确掩膜Y；

所述模型验证子模块包括源验证集预处理单元、验证集图片预测掩膜单元、第一去噪单元、二值化阈值和判决阈值选定单元，所述源验证集预处理单元用于对所述源验证集进行图像预处理后得到验证集图片，所述预测掩膜单元用于采用训练好的分割网络预测验证集图片的掩膜，确定待检测区域，所述第一去噪单元用于对验证集图片预测掩膜进行平滑处理得到去噪后的掩膜，所述二值化阈值和判决阈值选定单元用于采用网格搜索法进行搜索，并将验证集图片预测掩膜进行二值化处理、面部交并比计算和二分类判决后选定二值化阈值和判决阈值；

所述样本测试模块包括源测试集预处理单元、测试集图片预测掩膜单元、第二去噪单元、二值化单元、面部交并比计算单元和二分类判决单元，所述源测试集预处理单元用于对所述源测试集进行图像预处理后得到测试集图片，所述测试集图片预测掩膜单元用于采用训练好的分割网络预测测试集图片的掩膜，确定待检测区域，所述第二去噪单元用于对测试集图片预测掩膜进行平滑处理得到去噪后的掩膜，所述二值化单元用于采用所述选定二值化阈值对去噪后的掩膜进行二值化处理，得到二值掩膜；所述面部交并比计算单元用于设置信任机制的惩罚因子，对二值掩膜计算信任机制下面部交并比；所述二分类判决单元用于采用所述选定判决阈值对面部交并比进行二分类判决，逐帧判断测试集图片的真假，计算得到判断的准确率和平均错误率。

Images