CN113536843A - 基于多模态融合卷积神经网络的防伪人脸识别系统 - Google Patents

Abstract

一种基于多模态融合卷积神经网络的防伪人脸识别系统，包括：图像采集模块、人脸检测模块、防伪攻击检测模块和人脸识别模块，本发明通过特征融合卷积网络并融合可将光人脸和近红外人脸的特征，在应对不同光照强度下，获得更加高的人脸识别结果。并且在应对无光、弱光，正常光源下，特征融合网络具有高鲁棒性和高准确率。

Description

基于多模态融合卷积神经网络的防伪人脸识别系统

技术领域

本发明涉及的是一种图像识别领域的技术，具体是一种基于多模态融合卷积神经网络的防伪人脸识别系统。

背景技术

近些年来深度神经网络技术的发展，把人脸识别的精度提升到了与人类相当的水平。但是因为现有的摄像头极大部分还只是单一模态的彩色摄像头，只用彩色摄像头很难通过一张静态图像判断再镜头前的人脸到底是一个真正的人，还是只是一张照片，一个面具。解决这个问题的思路目前的方法是利用多帧的视频序列，让用户根据提示做出一系列的动作，在交互式验证的过程中常见的攻击类型诸如打印攻击、屏幕攻击都可以检测出来，但利用视频录制实现的重放攻击当动作指令一致却可以通过，这样的验证存在固有的缺陷。而且这种基于序列的验证方式，需要花费较长的一段时间，通常需要15到20秒，当验证失败还需要用户重复进行，这样的验证效率跟人脸识别应用之初高效，便捷的初衷是有出入的。

发明内容

本发明针对现有技术存在的上述缺陷和不足，提出一种基于多模态融合卷积神经网络的防伪人脸识别系统，通过特征融合卷积网络并融合可将光人脸和近红外人脸的特征，在应对不同光照强度下，获得更加高的人脸识别结果。并且在应对无光、弱光，正常光源下，特征融合网络具有高鲁棒性和高准确率。

本发明是通过以下技术方案实现的：

本发明涉及一种基于多模态融合卷积神经网络的防伪人脸识别系统，包括：图像采集模块、人脸检测模块、防伪攻击检测模块和人脸识别模块，其中：图像采集模块采集同一个时刻彩色图像流、近红外图像流和深度图像流并将其中的彩色图像流输出至人脸检测模块、将彩色图像流、近红外图像流和深度图像流输出至防伪攻击检测模块，人脸检测模块通过内置的多任务卷积神经网络(MTCNN)对彩色图像流进行人脸识别，并将得到的人脸区域输出至防伪攻击检测模块，防伪攻击检测模块通过裁剪人脸区域并根据内置的防伪检测网络进行三模态综合防伪识别，并将识别结果输出至人脸检测模块，人脸检测模块基于识别结果进一步将对齐后的人脸图像流输出至人脸识别模块，人脸识别模块通过从人脸图像流中提取特征并与数据库进行比对得到人脸识别最终结果。

技术效果

本发明整体解决了传统人脸识别算法无法进行活体检测的缺陷，通过多输入卷积神经网络增加输入模态数量，将多个模态的信息融合后，充分利用彩色图，近红外图，深度图的信息，综合判断对象的同时，采用轻量化神经网络进行特征提取，在保持基线方法6％的参数量的低运算量和存储需要的同时，实现了超过基线方法的识别精度。

附图说明

图1为本发明多模态防伪人脸识别系统示意图；

图2为实施例防伪检测网络示意图；

图3为实施例中VIPLiteNet结构示意图；

图4为实施例ROC曲线示意图；

图中：a为LFW，b为CFP，c为AgeDB。

具体实施方式

如图1所示，为本实施例涉及一种基于多模态融合卷积神经网络的防伪人脸识别系统，包括：图像采集模块、人脸检测模块、防伪攻击检测模块和人脸识别模块，其中：图像采集模块采集同一个时刻彩色图像流、近红外图像流和深度图像流并将其中的彩色图像流输出至人脸检测模块、将彩色图像流、近红外图像流和深度图像流输出至防伪攻击检测模块，人脸检测模块通过内置的多任务卷积神经网络(MTCNN)对彩色图像流进行人脸识别，并将得到的人脸区域输出至防伪攻击检测模块，防伪攻击检测模块通过裁剪人脸区域并根据内置的防伪检测网络进行三模态综合防伪识别，并将识别结果输出至人脸检测模块，人脸检测模块基于识别结果进一步将对齐后的人脸图像流输出至人脸识别模块，人脸识别模块通过从人脸图像流中提取特征并与数据库进行比对得到人脸识别最终结果。

所述的图像采集模块，通过多模态摄像头实现，其采集的三个模态图像的分辨率均为640×480，彩色图像的色彩深度为8比特，近红外图像和深度图像的色彩深度为16比特，利用摄像头SDK中提供的图像矫正接口函数修正三个图像的视差，保证三个图像是对齐的。

所述的人脸检测模块包括人脸检测单元和人脸对齐单元，其中：人脸检测单元内置多任务卷积神经网络(MTCNN)作为人脸检测器，该人脸检测器以分辨率为640×480三通道8比特深度的彩色图像作为输入，输出包围人脸区域的最小矩形框的左上角顶点和右下角的坐标和人脸左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个人脸关键点的坐标，即人脸区域并输出至防伪攻击检测模块进行裁剪，当防伪检测模块的识别结果为真人时将人脸区域和人脸5个关键点的坐标输出至人脸对齐单元，人脸对齐单元根据关键点的坐标和人脸区域，采用仿射变换矩阵将彩色图像流对齐为标准人脸形状。

所述的人脸对齐单元通过仿射变换矩阵将原本的人脸区别通过平移、缩放、旋转、翻转、剪切变化的一种或多种的组合，变换成两眼水平位于双眼连线的垂直平分线上的标准人脸。

所述的防伪攻击检测模块包括：图像裁剪单元和防伪检测网络，其中：图像裁剪单元根据人脸区域左边，分别从彩色图像流、近红外图像流和深度图像流中裁剪出人脸区域，将这三张图像分别作为防伪检测网络的输入，防伪检测网络包括三个分支网络。

如图2所示，所述的防伪检测网络包括：分别接收彩色图像流、近红外图像流和深度图像流中人脸区域的三个分支网络以及预测网络，其中：彩色图像流、近红外图像流和深度图像流中人脸区域分别经过各自的分支网络进行卷积操作提取中间层特征值，特征融合层分别接收来自彩色图像流分支网络、近红外图像流分支网络以及深度图像流分支网络的输出，通过在通道维度上拼接得到包含彩色和近红外的浅层融合特征；预测网络对浅层融合特征及逆行预测得到是否为真人的概率值。

如图2所示，分别用于提取彩色图像流、近红外图像流和深度图像流中人脸区域的分支网络结构相同，均包括一个普通卷积块Conv和三个深度可分离卷积块DPConv，其中：

所述的预测网络中包括两个普通卷积块Conv、一个平均池化层AvgPool和两个全连接层FC，该预测网络根据浅层融合特征，经Softmax函数输出预测的是否为真人的概率值。

如图所示，所述的普通卷积块Conv均为：卷积核的尺寸为3x3，深度可分离卷积块DPConv的卷积核的尺寸为3x3的基础上增加一个逐点卷积PWConv，该逐点卷积卷积核大小为1x1，步长为1；每一个卷积操作之后均进一步通过一个批归一化BatchNorm和ReLU分线性激活。

优选地，上述卷积块均设置步长为2以达到降维的作用。

优选地，本实施例中的防伪检测网络的训练的损失函数采用CrossEntropy(交叉熵)Loss实现。

所述的人脸识别模块根据防伪检测网络的识别结果，通过人脸特征网络将来自人脸检测模块的对齐之后的彩色人脸区域进行特征提取，将提取得到的人脸特征向量与数据库中已有的人脸特征做1：N的特征比对，即闭集人脸识别。之后将比对结果中置信度分数最高的目标及其对应的置信度分数显示到前端的图形化用户界面中。

所述的人脸特征网络根据对齐之后的人脸图片作为网络的输入，从中抽取512维的高维人脸特征Embedding表示，即人脸特征向量。

所述的特征比对是指：将人脸特征向量和数据库中所有注册的人脸的Embedding算欧式距离，根据不同距离的大小来判断这个人脸的身份。

优选地，本实施例中的所述的人脸特征网络采用VIPLiteNet实现，如图3所示，该VIPLiteNet具体包括：八个普通卷积块Conv、两个全连接层FC和设置于其间的一个批归一化层BatchNorm，其中：每个普通卷积块中进一步包含一个卷积层、一个批归一化层和一个激活层。

所述的普通卷积块Conv的卷积核尺寸为3x3，每次卷积核移动的步长为2。

该人脸特征网络与现有技术相比，将输入图像尺寸从224缩小为112；将浅层9×9卷积，步长为4的卷积层改为两层3×3卷积；将下采样方式从池化改成由卷积层的步长设为2实现，即弃用原本的堆叠块由卷积(步长1)+激活+池化方式，变成卷积(步长2)+批归一化(BN)+激活；将网络最后三层全连接用一层全连接代替；在训练时候的损失函数由三元组损失(tripletloss[6])变成三元组损失(tripletloss)+中心损失(CenterLoss[7])共同进行优化。

所述的人脸特征网络的损失函数具体为：

①Center loss：

其中：

为第y_i个类别的特征中心，x_i为输入损失函数的特征；

②Triplet loss：

其中：

为锚定人脸的特征为，

为与锚定人脸相同身份的另一张人脸的特征为，

为与锚定人脸不同身份的另一张人脸的特征为，α为超参数。

③总损失函数L＝L_C+L_T。

所述的VIPLiteNet的网络参数具体如下表所示

表1

本实施例中，所述的基于多模态融合卷积神经网络的防伪人脸识别系统中进一步设有用于将人脸识别的结果反馈给系统的用户的结果输出模块，当活体检测部分的结果显示当前的图像并非活体，识别提前终止，并将非活体的提示给系统用户。当成功通过活体检测则输出识别的结果和相应的置信度分数。系统的用户的以通过后端的界面获取识别信息。

本实施例在测试平台(CPU：i5 7500GPU：GTX1080ti)上进行具体操作：深度学习框架使用PyTorch。防伪攻击检测网络的训练集和测试集，均采用CASIA-SURF-CeFA，这个数据集是中科院自动化所新提出的跨人种数据集。在CASIA-SURF的基础上增加了中亚人种和非洲人种，并增加了攻击的类别。由表2可以看出，本发明所提出利用多模态信息同时作为输入，相比于传统的只利用彩色图像进行输入的方法，对伪造人脸的平均分类错误率(ACER)从13.3％下降到了6.7％，下降了6.三个百分点。可以看出利用多个模态信息协同检测伪造人脸攻击的方法是切实有效的一种方法。其次在错误接受率(FAR)分别为0.01，0.001，0.0001的情况下，网络的真真率(TPR)分别可以达到96.1％，80.2％，60.8％，相比于单一彩色图，分别有着43.8％，53.6％，44.6％的性能提升。相比于同时利用彩色图像和近红外图像进行输入的方法，对伪造人脸的平均分类错误率(ACER)有额外1.4％的下降。说明深融合度模态的信息，有应对多种类型的攻击过程中更为鲁棒。

表2防伪攻击检测网络性能比较

轻量化人脸特征提取网络训练集采用MS1M数据集，除了VIPLFaceNet中所使用的LFW之外，本发明还使用了CFP，AgeDB两个数据集作为评测数据集。训练时的批大小(batchsize)设为128，网络的优化器选用SGD，初始学习率为0.1，动量大小为0.9，权重衰减系数为0.0005，在250K，350k个训练周期的时候分别将学习率减少为原本的十分之一。在训练过程中对训练数据的数据增强包括随机翻转，裁剪，仿射变换和旋转。

表3所示，在LFW，CFP-FP，AgeDB数据集上的性能比较

表3为VIPLiteNet模型在LFW，CFP，AgeDB三个数据集上的性能指标。其中VIPLFaceNet作者未在CFP和AgeDB上评测，这两格的数据使用复现的VIPLFaceNet测试。通过对别实验数据可以看出，尽管VIPLiteNet网络输入的有效像素数量只有VIPLFaceNet的四分之一，并且为了提升运行效率将参数量较大的全连接层缩减到了一层，去除9x9卷积和所有的池化操作，总体的运算参数量从201.52M，降低到了12.06M，参数量减少比例为94.02％，但是利用网络结构设计方面的改进，损失函数的完善以及训练时的数据增强策略，在如此少的参数量的情况下，实现了超过了基线方法的性能。在三个数据集上，本发明的模型分别比原始方法提高了0.43％，2.59％，2.66％的性能提升。在保证性能的同时，提升了系统的效率。图4展示了VIPLiteNet在LFW，CFP，AgeDB上的ROC曲线，从图中可以看出在FPR＝0.1的时候在TPR分别可以达到99.9％，84.2％，93.6％。

本系统在防伪人脸识别任务上，结合近年来在机器学习领域提出的深度可分离卷积，中心损失等方法，利用多模态相机所采集到的彩色图，深度图，近红外图作为模型的输入，解决了传统的人脸识别系统中只使用彩色图片情况下，无法防御常见伪造人脸攻击，使得系统可靠性下降的问题。

本系统提出了一个轻量化的人脸特征提取网络VIPLiteNet，此网络只用基线方法6％的参数量的情况下，实现了超过基线方法的性能，提升了系统运行效率。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (10)

1.一种基于多模态融合卷积神经网络的防伪人脸识别系统，其特征在于，包括：图像采集模块、人脸检测模块、防伪攻击检测模块和人脸识别模块，其中：图像采集模块采集同一个时刻彩色图像流、近红外图像流和深度图像流并将其中的彩色图像流输出至人脸检测模块、将彩色图像流、近红外图像流和深度图像流输出至防伪攻击检测模块，人脸检测模块通过内置的多任务卷积神经网络对彩色图像流进行人脸识别，并将得到的人脸区域输出至防伪攻击检测模块，防伪攻击检测模块通过裁剪人脸区域并根据内置的防伪检测网络进行三模态综合防伪识别，并将识别结果输出至人脸检测模块，人脸检测模块基于识别结果进一步将对齐后的人脸图像流输出至人脸识别模块，人脸识别模块通过从人脸图像流中提取特征并与数据库进行比对得到人脸识别最终结果；

所述的人脸检测模块包括人脸检测单元和人脸对齐单元，其中：人脸检测单元内置多任务卷积神经网络作为人脸检测器，人脸对齐单元根据关键点的坐标和人脸区域，采用仿射变换矩阵将彩色图像流对齐为标准人脸形状。

2.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的图像采集模块，通过多模态摄像头实现，其采集的三个模态图像的分辨率均为640×480，彩色图像的色彩深度为8比特，近红外图像和深度图像的色彩深度为16比特，利用摄像头SDK中提供的图像矫正接口函数修正三个图像的视差，保证三个图像是对齐的；

所述的人脸检测器以分辨率为640×480三通道8比特深度的彩色图像作为输入，输出包围人脸区域的最小矩形框的左上角顶点和右下角的坐标和人脸左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个人脸关键点的坐标，即人脸区域并输出至防伪攻击检测模块进行裁剪，当防伪检测模块的识别结果为真人时将人脸区域和人脸5个关键点的坐标输出至人脸对齐单元。

3.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的人脸对齐单元通过仿射变换矩阵将原本的人脸区别通过平移、缩放、旋转、翻转、剪切变化的一种或多种的组合，变换成两眼水平位于双眼连线的垂直平分线上的标准人脸。

4.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的防伪攻击检测模块包括：图像裁剪单元和防伪检测网络，其中：图像裁剪单元根据人脸区域左边，分别从彩色图像流、近红外图像流和深度图像流中裁剪出人脸区域，将这三张图像分别作为防伪检测网络的输入，防伪检测网络包括三个分支网络。

5.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的防伪检测网络包括：分别接收彩色图像流、近红外图像流和深度图像流中人脸区域的三个分支网络以及预测网络，其中：彩色图像流、近红外图像流和深度图像流中人脸区域分别经过各自的分支网络进行卷积操作提取中间层特征值，特征融合层分别接收来自彩色图像流分支网络、近红外图像流分支网络以及深度图像流分支网络的输出，通过在通道维度上拼接得到包含彩色和近红外的浅层融合特征；预测网络对浅层融合特征及逆行预测得到是否为真人的概率值。

6.根据权利要求5所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，分别用于提取彩色图像流、近红外图像流和深度图像流中人脸区域的分支网络结构相同，均包括一个普通卷积块Conv和三个深度可分离卷积块DPConv，其中：

所述的预测网络中包括两个普通卷积块Conv、一个平均池化层AvgPool和两个全连接层FC，该预测网络根据浅层融合特征，经Softmax函数输出预测的是否为真人的概率值。

7.根据权利要求6所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的普通卷积块Conv均为：卷积核的尺寸为3x3，深度可分离卷积块DPConv的卷积核的尺寸为3x3的基础上增加一个逐点卷积PWConv，该逐点卷积卷积核大小为1x1，步长为1或2；每一个卷积操作之后均进一步通过一个批归一化BatchNorm和ReLU分线性激活。

8.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的人脸识别模块根据防伪检测网络的识别结果，通过人脸特征网络将来自人脸检测模块的对齐之后的彩色人脸区域进行特征提取，将提取得到的人脸特征向量与数据库中已有的人脸特征做1：N的特征比对，即闭集人脸识别，之后将比对结果中置信度分数最高的目标及其对应的置信度分数显示到前端的图形化用户界面中。

9.根据权利要求8所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的人脸特征网络采用VIPLiteNet实现，如图3所示，该VIPLiteNet具体包括：八个普通卷积块Conv、两个全连接层FC和设置于其间的一个批归一化层BatchNorm，其中：每个普通卷积块中进一步包含一个卷积层、一个批归一化层和一个激活层。

10.根据权利要求8或9所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的人脸特征网络的损失函数具体为：

①Center loss：

其中：

为第y_i个类别的特征中心，x_i为输入损失函数的特征；

②Triplet loss：

其中：

为锚定人脸的特征为，

为与锚定人脸相同身份的另一张人脸的特征为，

为与锚定人脸不同身份的另一张人脸的特征为，α为超参数；

③总损失函数L＝L_C+L_T。

Images