CN113792643A - 活体人脸识别方法及系统 - Google Patents
活体人脸识别方法及系统 Download PDFInfo
- Publication number
- CN113792643A CN113792643A CN202111063673.8A CN202111063673A CN113792643A CN 113792643 A CN113792643 A CN 113792643A CN 202111063673 A CN202111063673 A CN 202111063673A CN 113792643 A CN113792643 A CN 113792643A
- Authority
- CN
- China
- Prior art keywords
- face recognition
- face
- network
- recognition model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 230000001815 facial effect Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 14
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 23
- 238000013527 convolutional neural network Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种活体人脸识别方法及系统，其方法包括获取人脸图像集；基于MobilenetV2网络，建立多个并行的深度可分离卷积网络，得到初始人脸识别模型；基于所述人脸图像集，对所述初始人脸识别模型中进行迭代训练，得到训练完备的目标人脸识别模型；获取待测试人脸图像并输入至所述目标人脸识别模型，得到人脸识别结果。本申请能够准确、快速识别人脸真假情况，有助于提高人脸识别技术的安全性。
Description
技术领域
本申请涉及人脸识别技术领域，尤其是涉及一种活体人脸识别方法及系统。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。随着深度学习领域研究的不断深入，人脸识别技术日益成熟，已应用于移动端刷脸支付、门禁系统人脸识别、会议签到等场景。然而，单一人脸识别技术难以检测出二次翻拍的假脸，使得上述应用场景存在安全漏洞。而活体人脸检测技术主要针对二次翻拍人脸，抵御人脸欺骗攻击。在会议签到系统中，使用活体人脸检测技术能有效检测出翻拍的假人脸，预防照片替签行为。
现阶段活体人脸检测技术法可以根据识别真假图像间的差异方式划分为两大类，即交互式的人脸活体检测技术和非交互式的人脸活体检测技术。其中，交互式人脸活体检测技术包括面部表情验证，需要用户配合的语音同步检测，或者唇语结合声音信息分析等方式，此类检测方式操作繁琐，用户体验感差，检测效率低。非交互式活体人脸检测技术或是采用深度摄像头或多个摄像头检测，或是利用热成像摄像头散发热辐射特点进行检测，或是利用光谱摄像头采集多波段图像进行检测，此类检测方式硬件成本较高；另一类是采用复杂模型，需要预先提取光流图像，然后用SVM训练分类；亦或采用生命信息分析的活体检测，需要检测图像或者视频中的对象是否存在心率以此来判断对象是否为活体；也可采用CNN卷积网络，此类检测方法取得了很高的精度，但是计算量较大，检测效率较低。因此，本发明人认为在抵御假脸欺骗方面的活体人脸检测技术还需要进一步改进。
发明内容
有鉴于此，本申请提供一种活体人脸识别方法及系统，用以解决如何在高精度要求下高效检测真假人脸的技术问题。
为了解决上述问题，第一方面，本申请提供一种活体人脸识别方法，所述方法包括：
获取人脸图像集；
基于MobilenetV2网络，建立多个并行的深度可分离卷积网络，得到初始人脸识别模型；
基于所述人脸图像集，对所述初始人脸识别模型中进行迭代训练，得到训练完备的目标人脸识别模型；
获取待测试人脸图像并输入至所述目标人脸识别模型，得到人脸识别结果。
可选的，所述人脸图像集包括多张活体人脸图像和对应个体的多张欺骗图像。
可选的，所述初始人脸识别模型包括两个并行的第一深度可分离卷积子网络和第二深度可分离卷积子网络，其中一个子网络采用MobilenetV2网络的原始结构，另一个子网络采用轻量化后的MobilenetV2网络；
两个子网络的输出层连接有目标全连接层，所述目标全连接层用于将两个子网络输出的特征图转换成包含多维元素的特征向量；
所述目标全连接层后设置有损失函数层。
可选的，所述方法还包括对MobilenetV2网络的原始结构进行轻量化设置，包括减少MobilenetV2网络的原始结构中倒残差层的目标参数，所述目标参数包括循环次数和扩维倍率因子。
可选的，所述第一深度可分离卷积子网络和第二深度可分离卷积子网络中分别有至少一个倒残差层中加入SE模块，所述SE模块用于对对应倒残差层输出的特征图进行加权处理。
可选的，在所述第一深度可分离卷积子网络和第二深度可分离卷积子网络中步距为2的倒残差层中加入SE模块；
所述SE模块包括依次连接的全局池化层、第一全连接层和第二全连接层，所述第一全连接层后设置第一激活函数，所述第二全连接层后设置第二激活函数；
在SE模块对对应倒残差层输出的特征图进行加权处理之前，将对应倒残差层输入的每张特征图同时输入至对应SE模块，经过全局池化层、第一全连接层和第二全连接层后，生成每张特征图的目标权重；
基于所述每张特征图的目标权重，对对应倒残差层输出的每张特征图进行对应加权处理。
可选的，将所述人脸图像集输入至所述初始人脸识别模型中进行迭代训练，得到训练完备的目标人脸识别模型，包括：
获取初始人脸识别模型对每批次每张人脸图像训练后输出的特征向量；
基于每批次每张人脸图像训练后输出的特征向量，计算每批次每张人脸图像的检测概率值，以确定每批次训练的损失值；
利用预设优化器，并基于每批次训练的损失值优化所述初始人脸识别模型的网络参数；
当所述损失值满足预设损失阈值，和/或训练次数达到预设迭代次数，则停止训练，得到训练完备的目标人脸识别模型。
可选的，所述基于每批次每张人脸图像训练后输出的特征向量，计算每批次每张人脸图像的分类概率值，以确定每批次训练的损失值，包括：
所述确定每批次的损失值，采用如下损失函数：
其中，L表示每批次训练的损失值，
表示对应第i个样本人脸图像识别为人体活脸的检测概率值；s表示对人脸图像集的图像缩放系数，m表示角度边界margin；N表示当前批次的样本数量；θj表示对应特征向量的第j维元素的向量角；n表示对应特征向量的元素维数。
可选的，所述预设优化器为SGD优化器。
第二方面，本申请提供一种活体人脸识别系统，所述系统包括：
获取图像模块，用于获取人脸图像集；
建立模型模块，用于基于MobilenetV2网络，建立多个并行的深度可分离卷积网络，得到初始人脸识别模型；
训练模型模块，用于基于所述人脸图像集，对所述初始人脸识别模型中进行迭代训练，得到训练完备的目标人脸识别模型；
测试模块，用于获取待测试人脸图像并输入至所述目标人脸识别模型，得到人脸识别结果。
第三方面，本申请提供的一种计算机设备，采用如下的技术方案：
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述活体人脸识别方法的步骤。
第四方面，本申请提供的一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述活体人脸识别方法的步骤。
采用上述实施例的有益效果是：本实施例通过对MobilenetV2网络进行改进，建立多个并行的深度可分离卷积网络，得到初始人脸识别模型，在保证识别准确性的基础上，有助于提高模型的计算效率；利用人脸图像集对所述初始人脸识别模型中进行迭代训练，从而得到训练完备的目标人脸识别模型，获取待测试人脸图像并输入至所述目标人脸识别模型，得到人脸识别结果，从而可以准确、快速识别人脸真假情况，有助于提高人脸识别技术的安全性。
附图说明
图1为本申请提供的活体人脸识别系统的应用场景示意图；
图2为本申请提供的活体人脸识别方法一实施例的方法流程图；
图3为本申请提供的初始人脸识别模型一实施例的示意图；
图4为本申请提供的活体人脸识别方法步骤S202一实施例的方法流程图；
图5为本申请提供的第一深度可分离卷积子网络一实施例的网络结构图表；
图6为本申请提供的第二深度可分离卷积子网络一实施例的网络结构图表；
图7为本申请提供的倒残差层一实施例的结构示意图；
图8为本申请提供的加入SE模块后的倒残差层的结构示意图；
图9为本申请提供的活体人脸识别方法步骤S203一实施例的方法流程图；
图10为传统CNN网络卷积操作示意图；
图11为本申请提供的目标人脸识别模型的训练结果示意图；
图12为传统CNN网络的训练结果示意图；
图13为本申请提供的活体人脸识别系统一实施例的原理框图；
图14为本申请提供的计算机设备一实施例的原理框图。
具体实施方式
下面结合附图来具体描述本申请的优选实施例，其中，附图构成本申请一部分，并与本申请的实施例一起用于阐释本申请的原理，并非用于限定本申请的范围。
在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请提供了一种活体人脸识别方法及系统，以下分别进行详细说明。
图1为本申请实施例所提供的活体人脸识别系统的场景示意图，该系统可以包括服务器100，服务器100中集成有活体人脸识别系统，如图1中的服务器。
本申请实施例中服务器100主要用于：
获取人脸图像集；基于MobilenetV2网络，建立多个并行的深度可分离卷积网络，得到初始人脸识别模型；基于人脸图像集，对初始人脸识别模型进行迭代训练，得到训练完备的目标人脸识别模型；获取待测试人脸图像并输入至目标人脸识别模型，得到人脸识别结果。
本申请实施例中，该服务器100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本申请实施例中所描述的服务器100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
可以理解的是，本申请实施例中所使用的终端200可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的终端200可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal DigitalAssistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定终端200的类型。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的终端，例如图1中仅示出2个终端，可以理解的，该活体人脸识别系统还可以包括一个或多个其他终端，具体此处不作限定。
另外，参照图1所示，该活体人脸识别系统还可以包括存储器200，用于存储数据，如人脸图像集、目标人脸识别模型等。
需要说明的是，图1所示的活体人脸识别系统的场景示意图仅仅是一个示例，本申请实施例描述的活体人脸识别系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着活体人脸识别系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
参照图2为本申请提供的活体人脸识别方法一种实施例的方法流程图，该活体人脸识别方法包括下述步骤：
S201、获取人脸图像集；
S202、基于MobilenetV2网络，建立多个并行的深度可分离卷积网络，得到初始人脸识别模型；
S203、基于人脸图像集，对初始人脸识别模型进行迭代训练，得到训练完备的目标人脸识别模型；
S204、获取待测试人脸图像并输入至目标人脸识别模型，得到人脸识别结果。
在本实施例中，人脸图像集包括多张活体人脸图像和对应个体的多张欺骗图像，本实施例采用的是公开的NUAA数据集，在一具体的实施例中，该NUAA数据集是利用普通的摄像头在3种不同的环境下对15个个体采集活体人脸图像和照片攻击图像，这个数据集几乎涵盖了人脸识别中常见的所有外观变化，包括光照变化、眼镜佩戴、图像位置等变化情况；需要说明的是，该人脸图像集分为训练集和测试集，具体划分比例可以根据实际情况确定。
本实施例通过对MobilenetV2网络进行改进，建立多个并行的深度可分离卷积网络，得到初始人脸识别模型，在保证识别准确性的基础上，有助于提高模型的计算效率；利用人脸图像集对初始人脸识别模型进行迭代训练，从而得到训练完备的目标人脸识别模型，获取待测试人脸图像并输入至目标人脸识别模型，得到人脸识别结果，从而可以准确、快速识别人脸真假情况，有助于提高人脸识别技术的安全性。
在一实施例中，步骤S202中初始人脸识别模型，包括：两个并行的第一深度可分离卷积子网络和第二深度可分离卷积子网络，其中一个子网络采用MobilenetV2网络的原始结构，另一个子网络采用轻量化后的MobilenetV2网络；两个子网络的输出层连接有目标全连接层，目标全连接层用于将两个子网络输出的特征图转换成包含多维元素的特征向量；目标全连接层后设置有损失函数层。
需要说明的是，参照图3，MobilenetV2网络与传统CNN卷积网络的区别之一就是该MobilenetV2网络框架采用的是深度可分离(Depthwise Separable)卷积方式，去掉了采用卷积核的卷积方式，用单通道卷积层进行卷积操作(DW卷积)，之后用1x1大小的卷积核进行维度扩展(PW卷积)。参照图4，本实施例采用两个并行的第一深度可分离卷积子网络和第二深度可分离卷积子网络可以有助于提高卷积计算的准确性。
在一个具体的实施例中，初始人脸识别模型的输入为112x112x3大小的图像，经过并行的第一深度可分离卷积子网络和第二深度可分离卷积子网络卷积后，用目标全连接层(FC全连接层)将特征图数据转换为包含1280个元素的向量，之后传入损失函数层(ArcFace人脸损失函数)。
为减小并行的深度可分离卷积网络的计算量，在一实施例中还包括对MobilenetV2网络的原始结构进行轻量化设置，包括减少MobilenetV2网络的原始结构中倒残差层的目标参数，目标参数包括循环次数和扩维倍率因子。需要说明的是，针对第一深度可分离卷积子网络或第二深度可分离卷积子网络进行上述轻量化设置。
考虑到深度可分离卷积方式对于图像信息的保留会相对降低，在一实施例中，第一深度可分离卷积子网络和第二深度可分离卷积子网络中分别有至少一个倒残差层中加入SE模块，SE模块用于对对应倒残差层输出的特征图进行加权处理；从而保留图像更多特征信息。
在一个具体的实施例中，参照图5，第一深度可分离卷积子网络采用MobilenetV2网络结构的原始结构，且采用的输入图像大小为112x112，与输入图像大小为224x224时的训练准确率几乎不变，可以降低模型算量；参照图6，第二深度可分离卷积子网络采用轻量化设置后的MobilenetV2网络结构，同样采用的输入图像大小为112x112；图5和图6中，operator表示卷积方式，t代表倒残差层(bottleneck)层中扩维倍率因子，c代表输出特征图的维度，n代表当前倒残差层的循环次数，s是步距，a表示是否使用SE模块(N表示否，Y表示是)。
可选的，在第一深度可分离卷积子网络和第二深度可分离卷积子网络中步距为2的倒残差层中加入SE模块；SE模块包括依次连接的全局池化层、第一全连接层和第二全连接层，第一全连接层后设置第一激活函数，第二全连接层后设置第二激活函数；
在SE模块对对应倒残差层输出的特征图进行加权处理之前，将对应倒残差层输入的每张特征图同时输入至对应SE模块，经过全局池化层、第一全连接层和第二全连接层后，生成每张特征图的目标权重；基于每张特征图的目标权重，对对应倒残差层输出的每张特征图进行对应加权处理。
需要说明的是，本实施例采用深度可分离(Depthwise Separable)卷积方式，导致卷积过程中特征图维度较低，因此需要先用1x1卷积核进行扩维，最后用1x1卷积核进行降维操作，即倒残差(bottleneck)结构，参照图7为倒残差层的结构。
参照图8，对于步距为2的卷积层，为避免损失更多的特征信息，因此加入SE模块，根据SE模块生成的不同权重保留更多的有效信息，加入SE模块后的倒残差层如图8所示。图8中，Global Pool表示全局池化，FC1、FC2表示第一全连接层和第二全连接层，SE模块将输入的特征图数据经过全局池化，然后经过两个全连接层生成每张特征图的权重，最后对步距为2的Bottleneck层进行加权处理，以保留更多有效信息。FC2层后的Hard-Sigmoid激活函数有效拟合了Sigmoid激活函数，但是减少了Sigmoid激活函数带来的复杂计算；Hard-Sigmoid激活函数如下：
ReLU6(x)＝min(max(x,0),6) (1)
在一实施例中，参照图9，步骤S203即将人脸图像集输入至初始人脸识别模型中进行迭代训练，得到训练完备的目标人脸识别模型，包括：
S901、获取初始人脸识别模型对每批次每张人脸图像训练后输出的特征向量；
S902、基于每批次每张人脸图像训练后输出的特征向量，计算每批次每张人脸图像的检测概率值，以确定每批次训练的损失值；
S903、利用预设优化器，并基于每批次训练的损失值优化初始人脸识别模型的网络参数；
S904、当损失值满足预设损失阈值，和/或训练次数达到预设迭代次数，则停止训练，得到训练完备的目标人脸识别模型。需要说明的是，预设损失阈值和预设迭代次数可以根据实际情况确定。
在一实施例中，步骤S902中确定每批次的损失值，采用如下损失函数(ArcFace损失函数)：
其中，L表示每批次训练的损失值，
表示对应第i个样本人脸图像识别为人体活脸的检测概率值；s表示对人脸图像集的图像缩放系数，m表示角度边界margin；N表示当前批次的样本数量；θj表示对应特征向量的第j维元素的向量角；n表示对应特征向量的元素维数。
需要说明的是，ArcFace损失函数中加入m使得人脸分类的类内距更加紧凑，类间则更具有区分性，cos函数值在区间内单调递减，在cos函数中加上角度边界m的影响会使得cos函数值减小，从而使得损失值增大，同时也加大了类间的差别，从而加快模型收敛速度，使得模型相对稳定，准确率也能得到一定程度的提升。
可选的，为使得损失函数的值尽可能的小，需要对损失函数值进行最小过程优化。MobilenetV2网络的原始框架采用的是Adam优化器，实验结果表明，使用Adam优化器在验证集上的准确率没有较为理想的收敛趋势，本实施例采用SGD优化器，动量参数选定为0.9，使得模型在验证集上能更快的收敛，采用SGD的权重优化方式如下：
设一个批次为b张图像数据，则每个批次的平均梯度损失值为：
参数更新项为：
v＝βv-aΔw (5)
权重参数更新为：
w＝w+v (6)
其中β为动量因子，a为学习率，具体大小可以根据批次大小设置；本实施例的动量因子设置为0.9，学习率设置为0.0005。
可选的，步骤S204中，获取待测试人脸图像并输入至目标人脸识别模型，得到人脸识别结果，包括：根据预设的损失函数，确定待测试人脸图像的检测概率值。具体地，可以根据式(3)，得到待测试人脸图像识别为人体活脸的检测概率值，从而得到待测试人脸图像的分类结果。
本实施例中，针对所提出的改进MobilenetV2网络框架，进行活体人脸检测实验，实验内容主要有以下三个部分。
(1)CNN网络与改进的MobilenetV2网络卷积理论计算量对比
在深度学习中，使用全连接层会导致模型参数和计算量的急剧增加，因此诞生了卷积神经网络(CNN)，卷积神经网络采用卷积核对图像的三通道进行卷积操作，生成特征图，它的网络结构对二维形状的平移，比例缩放等变形方式具有高度不变性，因此，应用CNN的网络模型具有较高的准确率和适用性。CNN卷积操作如图10所示，输入图像大小为DFgDF，深度为M，卷积核大小为DKgDK，卷积的操作就是让每个卷积核中的数与图像数据相乘，而一个卷积核生成了一张特征图，则最后N张特征图的卷积计算次数为:
DKgDKgMgNgDFgDF (7)
本实施例并行的MobilenetV2网络框架采用了另一种更为轻量级的DepthwiseSeparable卷积方式，如图3所示，在同样输入大小、维度，同样生成N张特征图的条件下，Depthwise Separable卷积计算次数为：
DKgDKgMgDFgDF+MgNgDFgDF (8)
改进后并行的MobilenetV2网络框架与传统CNN卷积计算次数之比为：
如式(9)所示，理论上生成的特征图越多，则特征信息提取越准确，取DK＝3，则CNN网络卷积计算量是改进后并行的MobilenetV2网络框架卷积扩维后的8-9倍。计算结果表明本实施例改进后并行的MobilenetV2网络框架计算量更小。
(2)人脸图像集验证实验
人脸活体检测实验是在Tensorflow2.3环境下进行的，数据采用南京航空航天大学公开的NUAA数据集，NUAA数据集是由南京航空航天大学公开的反照片欺骗的人脸活体数据库。利用普通的摄像头在3种不同的环境下对15个个体采集活体人脸图像和照片攻击图像，这个数据集几乎涵盖了人脸识别中常见的所有外观变化，包括光照变化、眼镜佩戴、图像位置等变化。数据集中采集的人脸图像的原始尺寸大小是640×480像素，数据量如表1所示。
将NUAA数据集中图像大小在人像不失真的情况下缩放为112x112大小，之后传入初始人脸识别模型进行训练，迭代次数300次，本环境采用Linux操作系统，12GB内存，NVIDIA GeForce RTX 2080显卡，在Tensorflow2.3环境中训练，训练结果看出，在50次迭代时，模型达到收敛，得到目标人脸识别模型，训练准确率达到0.997，测试集准确率最高能达到0.979，最后训练结果如图11所示。CNN网络的训练结果如图12所示，可以看出CNN网络在迭代200次左右才达到收敛，与之相比，本实施例的模型训练收敛速度更快。
(3)实验准确度和实时性对比
为了验证本实施例目标人脸识别模型算法的实时性和有效性，将与部分传统活体人脸检测算法进行了对比，如表2所示为算法准确度对比，如表3为算分实时性对比。
表2算法准确度(％)
表3算法实时性
从表2可知，M-DOG算法在活体人脸检测方面性能较差，准确率仅能达到81.8％。基于LBP局部纹理信息活体人脸检测算法和动态LTP算法在活体人脸检测精度上有了较大提升。而本实施例目标人脸识别模型算法的测试集准确度达到了97.79％，超越表2中大多数算法，准确率较高。从表3中可知，基于深度学习的CNN网络在活体人脸检测上面，准确率最高可达98.45％，可是模型大小有90.7M，模型较大，预测耗费时间较长。而本实施例目标人脸识别模型算法相比与CNN网络，在验证集准确率上相差不大，仅有0.66％；可单张图像预测时间仅有CNN网络的1/4，具有较好的实时性。
区别于现有技术，本实施例对MobilenetV2网络框架进行改进，建立并行的深度可分离(Depthwise Separable)卷积网络，用以提取图像特征信息，并提高卷积计算效率，其次，在步距为2的网络卷积结构中加入SE模块，SE模块通过加权使得重要的图像特征信息得以保留，最后，采用ArcFace损失函数使得目标人脸识别模型在活体人脸检测中具有更高的识别准确率，可以有助于避免人脸识别门禁系统、会议签到系统等应用出现的欺骗攻击，假人脸替签行为。此外，理论分析和实验结果表明，与传统的CNN卷积相比，改进后并行的MobilenetV2网络框架在NUAA数据集上训练时迭代50次即可收敛，收敛速度更快，测试准确率达到了97.9％，与CNN网络差距较小，且MobilenetV2网络框架应用轻量，生成模型体积小，仅有10.1M，检测效率高，预测时具有更高的实时性，对硬件要求较低，可以嵌入便携式移动设备中，具有良好的可移植性，可以有效减少硬件成本。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本实施例还提供一种活体人脸识别系统，该活体人脸识别系统与上述实施例中活体人脸识别方法一一对应。如图13所示，该活体人脸识别系统包括获取图像模块1301、建立模型模块1302、训练模型模块1303以及测试模块1304。各功能模块详细说明如下：
获取图像模块1301，用于获取人脸图像集；
建立模型模块1302，用于基于MobilenetV2网络，建立多个并行的深度可分离卷积网络，得到初始人脸识别模型；
训练模型模块1303，用于基于人脸图像集，对初始人脸识别模型进行迭代训练，得到训练完备的目标人脸识别模型；
测试模块1304，用于获取待测试人脸图像并输入至目标人脸识别模型，得到人脸识别结果。
关于活体人脸识别系统各个模块的具体限定可以参见上文中对于活体人脸识别方法的限定，在此不再赘述。上述活体人脸识别系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
参照图14，本实施例还提供了一种计算机设备，该计算机设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该计算机设备包括处理器10、存储器20及显示器30。图14仅示出了计算机设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器20在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器20在另一些实施例中也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器20还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器20用于存储安装于计算机设备的应用软件及各类数据，例如安装计算机设备的程序代码等。存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有活体人脸识别程序40。
处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行活体人脸识别方法等。
显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器30用于显示在计算机设备的信息以及用于显示可视化的用户界面。计算机设备的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行存储器20中计算机程序40时实现以下步骤：
获取人脸图像集；
基于MobilenetV2网络，建立多个并行的深度可分离卷积网络，得到初始人脸识别模型；
基于人脸图像集，对初始人脸识别模型进行迭代训练，得到训练完备的目标人脸识别模型；
获取待测试人脸图像并输入至目标人脸识别模型，得到人脸识别结果。
本实施例还提供了一种计算机可读存储介质，其上存储有活体人脸识别程序，活体人脸识别程序被处理器执行时实现以下步骤：
获取人脸图像集；
基于MobilenetV2网络，建立多个并行的深度可分离卷积网络，得到初始人脸识别模型；
基于人脸图像集，对初始人脸识别模型进行迭代训练，得到训练完备的目标人脸识别模型；
获取待测试人脸图像并输入至目标人脸识别模型，得到人脸识别结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种活体人脸识别方法，其特征在于，所述方法包括：
获取人脸图像集；
基于MobilenetV2网络，建立多个并行的深度可分离卷积网络，得到初始人脸识别模型；
基于所述人脸图像集，对所述初始人脸识别模型中进行迭代训练，得到训练完备的目标人脸识别模型；
获取待测试人脸图像并输入至所述目标人脸识别模型，得到人脸识别结果。
2.根据权利要求1所述的活体人脸识别方法，其特征在于，所述人脸图像集包括多张活体人脸图像和对应个体的多张欺骗人脸图像。
3.根据权利要求1所述的活体人脸识别方法，其特征在于，所述初始人脸识别模型包括两个并行的第一深度可分离卷积子网络和第二深度可分离卷积子网络，其中一个子网络采用MobilenetV2网络的原始结构，另一个子网络采用轻量化后的MobilenetV2网络；
两个子网络的输出层连接有目标全连接层，所述目标全连接层用于将两个子网络输出的特征图转换成包含多维元素的特征向量；
所述目标全连接层后设置有损失函数层。
4.根据权利要求3所述的活体人脸识别方法，其特征在于，所述方法还包括对MobilenetV2网络的原始结构进行轻量化设置，包括减少MobilenetV2网络的原始结构中倒残差层的目标参数，所述目标参数包括循环次数和扩维倍率因子。
5.根据权利要求3所述的活体人脸识别方法，其特征在于，所述第一深度可分离卷积子网络和第二深度可分离卷积子网络中分别有至少一个倒残差层中加入SE模块，所述SE模块用于对对应倒残差层输出的特征图进行加权处理。
6.根据权利要求5所述的活体人脸识别方法，其特征在于，在所述第一深度可分离卷积子网络和第二深度可分离卷积子网络中步距为2的倒残差层中加入SE模块；
所述SE模块包括依次连接的全局池化层、第一全连接层和第二全连接层，所述第一全连接层后设置第一激活函数，所述第二全连接层后设置第二激活函数；
在SE模块对对应倒残差层输出的特征图进行加权处理之前，将对应倒残差层输入的每张特征图同时输入至对应SE模块，经过全局池化层、第一全连接层和第二全连接层后，生成每张特征图的目标权重；
基于所述每张特征图的目标权重，对对应倒残差层输出的每张特征图进行对应加权处理。
7.根据权利要求3所述的活体人脸识别方法，其特征在于，将所述人脸图像集输入至所述初始人脸识别模型中进行迭代训练，得到训练完备的目标人脸识别模型，包括：
获取初始人脸识别模型对每批次每张人脸图像训练后输出的特征向量；
基于每批次每张人脸图像训练后输出的特征向量，计算每批次每张人脸图像的检测概率值，以确定每批次训练的损失值；
利用预设优化器，并基于每批次训练的损失值优化所述初始人脸识别模型的网络参数；
当所述损失值满足预设损失阈值，和/或训练次数达到预设迭代次数，则停止训练，得到训练完备的目标人脸识别模型。
8.根据权利要求7所述的活体人脸识别方法，其特征在于，所述确定每批次的损失值，采用如下损失函数：
其中，L表示每批次训练的损失值，
表示对应第i个样本人脸图像识别为人体活脸的检测概率值；s表示对人脸图像集的图像缩放系数，m表示角度边界margin；N表示当前批次的样本数量；θj表示对应特征向量的第j维元素的向量角；n表示对应特征向量的元素维数。
9.根据权利要求7所述的活体人脸识别方法，其特征在于，所述预设优化器为SGD优化器。
10.一种活体人脸识别系统，其特征在于，所述系统包括：
获取图像模块，用于获取人脸图像集；
建立模型模块，用于基于MobilenetV2网络，建立多个并行的深度可分离卷积网络，得到初始人脸识别模型；
训练模型模块，用于基于所述人脸图像集，对所述初始人脸识别模型中进行迭代训练，得到训练完备的目标人脸识别模型；
测试模块，用于获取待测试人脸图像并输入至所述目标人脸识别模型，得到人脸识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111063673.8A CN113792643A (zh) | 2021-09-10 | 2021-09-10 | 活体人脸识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111063673.8A CN113792643A (zh) | 2021-09-10 | 2021-09-10 | 活体人脸识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113792643A true CN113792643A (zh) | 2021-12-14 |
Family
ID=78879987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111063673.8A Pending CN113792643A (zh) | 2021-09-10 | 2021-09-10 | 活体人脸识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113792643A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082994A (zh) * | 2022-06-27 | 2022-09-20 | 平安银行股份有限公司 | 人脸活体检测方法、活体检测网络模型的训练方法及装置 |
| CN115330759A (zh) * | 2022-10-12 | 2022-11-11 | 浙江霖研精密科技有限公司 | 一种基于豪斯多夫距离计算距离损失的方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898112A (zh) * | 2018-07-03 | 2018-11-27 | 东北大学 | 一种近红外人脸活体检测方法及系统 |
| CN110363098A (zh) * | 2019-06-24 | 2019-10-22 | 深圳市中电数通智慧安全科技股份有限公司 | 一种暴力行为预警方法、装置、可读存储介质及终端设备 |
| CN110580445A (zh) * | 2019-07-12 | 2019-12-17 | 西北工业大学 | 一种基于GIoU和加权NMS改进的人脸关键点检测方法 |
| CN111488806A (zh) * | 2020-03-25 | 2020-08-04 | 天津大学 | 一种基于并行分支神经网络的多尺度人脸识别方法 |
| CN112052831A (zh) * | 2020-09-25 | 2020-12-08 | 北京百度网讯科技有限公司 | 人脸检测的方法、装置和计算机存储介质 |
| CN112580472A (zh) * | 2020-12-11 | 2021-03-30 | 云从科技集团股份有限公司 | 一种快速轻量的人脸识别方法、装置、机器可读介质及设备 |
| CN113177432A (zh) * | 2021-03-16 | 2021-07-27 | 重庆兆光科技股份有限公司 | 基于多尺度轻量化网络的头部姿态估计方法、系统、设备及介质 |
| CN113361422A (zh) * | 2021-06-11 | 2021-09-07 | 浙江澄视科技有限公司 | 一种基于角度空间损失承数的人脸识别方法 |
-
2021
- 2021-09-10 CN CN202111063673.8A patent/CN113792643A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898112A (zh) * | 2018-07-03 | 2018-11-27 | 东北大学 | 一种近红外人脸活体检测方法及系统 |
| CN110363098A (zh) * | 2019-06-24 | 2019-10-22 | 深圳市中电数通智慧安全科技股份有限公司 | 一种暴力行为预警方法、装置、可读存储介质及终端设备 |
| CN110580445A (zh) * | 2019-07-12 | 2019-12-17 | 西北工业大学 | 一种基于GIoU和加权NMS改进的人脸关键点检测方法 |
| CN111488806A (zh) * | 2020-03-25 | 2020-08-04 | 天津大学 | 一种基于并行分支神经网络的多尺度人脸识别方法 |
| CN112052831A (zh) * | 2020-09-25 | 2020-12-08 | 北京百度网讯科技有限公司 | 人脸检测的方法、装置和计算机存储介质 |
| CN112580472A (zh) * | 2020-12-11 | 2021-03-30 | 云从科技集团股份有限公司 | 一种快速轻量的人脸识别方法、装置、机器可读介质及设备 |
| CN113177432A (zh) * | 2021-03-16 | 2021-07-27 | 重庆兆光科技股份有限公司 | 基于多尺度轻量化网络的头部姿态估计方法、系统、设备及介质 |
| CN113361422A (zh) * | 2021-06-11 | 2021-09-07 | 浙江澄视科技有限公司 | 一种基于角度空间损失承数的人脸识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 李辉;石波;: "基于卷积神经网络的人脸识别算法", 《软件导刊》, vol. 16, no. 3, 15 March 2017 (2017-03-15), pages 26 - 29 * |
| 王宇龙: "《PyTorch深度学习入门与实战》", 30 September 2020, 中国铁道出版社有限公司, pages: 146 - 147 * |
| 范瑞 等: "多尺度并行融合的轻量级卷积神经网络设计", 《广西师范大学学报（自然科学版）》, vol. 37, no. 3, 31 July 2019 (2019-07-31), pages 50 - 59 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082994A (zh) * | 2022-06-27 | 2022-09-20 | 平安银行股份有限公司 | 人脸活体检测方法、活体检测网络模型的训练方法及装置 |
| CN115330759A (zh) * | 2022-10-12 | 2022-11-11 | 浙江霖研精密科技有限公司 | 一种基于豪斯多夫距离计算距离损失的方法及装置 |
| CN115330759B (zh) * | 2022-10-12 | 2023-03-10 | 浙江霖研精密科技有限公司 | 一种基于豪斯多夫距离计算距离损失的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Du et al. | Correlation-guided attention for corner detection based visual tracking | |
| CN110070030B (zh) | 图像识别与神经网络模型的训练方法、装置和系统 | |
| Gao et al. | Hierarchical deep CNN feature set-based representation learning for robust cross-resolution face recognition | |
| CN112001932B (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
| CN111310705A (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
| CN112597941A (zh) | 一种人脸识别方法、装置及电子设备 | |
| CN113792643A (zh) | 活体人脸识别方法及系统 | |
| CN109858333A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
| CN111680675B (zh) | 人脸活体检测方法、系统、装置、计算机设备和存储介质 | |
| CN111832581B (zh) | 肺部特征识别方法、装置、计算机设备及存储介质 | |
| US20230298307A1 (en) | System for three-dimensional geometric guided student-teacher feature matching (3dg-stfm) | |
| CN112395979A (zh) | 基于图像的健康状态识别方法、装置、设备及存储介质 | |
| CN113723238B (zh) | 一种人脸轻量网络模型构建方法和人脸识别方法 | |
| CN111507285A (zh) | 人脸属性识别方法、装置、计算机设备和存储介质 | |
| Termritthikun et al. | An improved residual network model for image recognition using a combination of snapshot ensembles and the cutout technique | |
| CN114821736A (zh) | 基于对比学习的多模态人脸识别方法、装置、设备及介质 | |
| CN117237547B (zh) | 图像重建方法、重建模型的处理方法和装置 | |
| Liu et al. | A deep learning based framework to detect and recognize humans using contactless palmprints in the wild | |
| Xue et al. | MobileTrack: Siamese efficient mobile network for high‐speed UAV tracking | |
| CN115424335B (zh) | 活体识别模型训练方法、活体识别方法及相关设备 | |
| Dong et al. | Higher efficient YOLOv7: a one-stage method for non-salient object detection | |
| Yuan et al. | Real-time ear detection based on embedded systems | |
| Sadiq et al. | A robust occlusion-adaptive attention-based deep network for facial landmark detection | |
| Putro et al. | Fast eye detector using CPU based lightweight convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |