CN110462633B - 一种人脸识别的方法、装置和电子设备 - Google Patents
一种人脸识别的方法、装置和电子设备 Download PDFInfo
- Publication number
- CN110462633B CN110462633B CN201980001106.4A CN201980001106A CN110462633B CN 110462633 B CN110462633 B CN 110462633B CN 201980001106 A CN201980001106 A CN 201980001106A CN 110462633 B CN110462633 B CN 110462633B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- target
- feature
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 150
- 238000012545 processing Methods 0.000 claims abstract description 50
- 230000005284 excitation Effects 0.000 claims description 69
- 238000013527 convolutional neural network Methods 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 52
- 230000001815 facial effect Effects 0.000 claims description 51
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000001228 spectrum Methods 0.000 claims description 24
- 230000003595 spectral effect Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012850 discrimination method Methods 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005669 field effect Effects 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
一种人脸识别方法、装置和电子设备，能够识别人脸的真假，从而能够提升人脸识别的安全性。该人脸识别方法包括：获取第一识别目标的第一目标图像；对所述第一目标图像进行处理得到第一频率特征图像；基于所述第一频率特征图像确定所述第一识别目标是否为活体人脸，并输出活体判断结果；根据所述第一目标图像进行特征模板匹配，并输出匹配结果；根据所述活体判断结果和所述匹配结果输出人脸识别结果。
Description
技术领域
本申请涉及生物特征识别技术领域，并且更具体地，涉及一种人脸识别的方法、装置和电子设备。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的图像预处理、图像特征提取以及匹配与识别等一系列相关技术，通常也叫做人像识别或面部识别。随着计算机和网络技术的飞速发展，人脸识别技术已广泛地应用于智能门禁、移动终端、公共安全、娱乐、军事等诸多行业及领域。
当前人脸识别普遍使用的是基于人脸的二维(Two Dimensional，2D)图像进行识别，判断该2D图像是否为特定用户人脸，而不判断该2D图像是否来自活体人脸，换言之，现有技术中，基于2D图像的2D人脸识别没有防伪功能，安全性能差。
发明内容
本申请实施例提供了一种人脸识别方法、装置和电子设备，能够识别人脸的真假，从而能够提升人脸识别的安全性。
第一方面，提供了一种人脸识别方法，包括：
获取第一识别目标的第一目标图像；
对所述第一目标图像进行处理得到第一频率特征图像；
基于所述第一频率特征图像确定所述第一识别目标是否为活体人脸，并输出活体判断结果；
根据所述第一目标图像进行特征模板匹配，并输出匹配结果；
根据所述活体判断结果和所述匹配结果输出人脸识别结果。
本申请提供一种带有防伪功能的人脸识别方案，通过对获取的目标图像进行处理，得到频率特征图像，并基于该频率特征图像进行人脸防伪，在判断该频率特征图像是否来自活体人脸的基础上，根据目标图像进行特征模板匹配是否为用户，从而大大提高人脸识别装置及电子设备的安全性。
在一种可能的实现方式中，所述根据所述活体判断结果和所述匹配结果输出人脸识别结果，包括：
在所述匹配结果为成功时，根据所述活体判断结果输出人脸识别结果；或者，在所述活体判断结果为活体时，根据所述匹配结果输出人脸识别结果；或者，在所述匹配结果为失败或所述活体判断结果为非活体时，输出人脸识别结果。
在一种可能的实现方式中，所述根据所述第一目标图像进行特征模板匹配，并输出匹配结果，包括：
基于所述第一目标图像进行人脸检测；
当人脸检测成功时，基于所述第一目标图像获取第一人脸图像；
将所述第一人脸图像与预存的多个特征模板进行匹配；
当所述第一人脸图像与所述多个特征模板中任意一个特征模板匹配成功时，输出匹配结果为成功；或者，
当所述第一人脸图像与所述多个特征模板匹配失败时，输出匹配结果为失败；
或者，当人脸检测失败时，输出匹配结果为失败。
在一种可能的实现方式中，所述第一目标图像为二维红外图像。
在一种可能的实现方式中，所述第一频率特征图像包括第一快速傅里叶FFT频谱图和/或第一高频特征图，所述对所述第一目标图像进行处理得到第一频率特征图像，包括：
对所述第一目标图像进行快速傅里叶FFT变换得到的所述第一FFT频谱图；和/或，
对所述第一目标图像进行高频特征提取得到所述第一高频特征图。
在一种可能的实现方式中，所述对所述第一目标图像进行高频特征提取得到所述第一高频特征图，包括：
将所述第一目标图像与高频卷积核进行卷积计算得到所述第一高频特征图。
在一种可能的实现方式中，所述基于所述第一频率特征图像确定所述第一识别目标是否为活体人脸，包括：
对所述第一频率特征图像进行缩小得到第一目标频率特征图像，基于所述第一目标频率特征图像确定所述第一识别目标是否为活体人脸。
在一种可能的实现方式中，所述基于所述第一目标频率特征图像确定所述第一识别目标是否为活体人脸，包括：
通过卷积神经网络对所述第一目标频率特征图像进行分类处理，以确定所述第一识别目标是否为活体人脸。
在一种可能的实现方式中，所述第一频率特征图像包括第一快速傅里叶FFT频谱图和/或第一高频特征图，所述对所述第一频率特征图像进行缩小得到第一目标频率特征图像，包括：
对所述第一FFT频谱图进行缩小得到第一目标FFT频谱图；和/或
对所述第一高频特征图进行缩小得到第一目标高频特征图。
在一种可能的实现方式中，所述第一目标FFT频谱图和所述第一目标高频特征图的大小相同。
在一种可能的实现方式中，所述卷积神经网络包括：至少一个卷积层，至少一个激励层以及至少一个全连接层。
在一种可能的实现方式中，所述第一目标频率特征图像包括：所述第一目标FFT频谱图或所述第一目标高频特征图；
所述至少一个卷积层包括：至少一个第一卷积层，所述至少一个激励层包括：至少一个第二卷积层，所述至少一个全连接层包括至少一个第一全连接层；
所述通过卷积神经网络对所述第一目标频率特征图像进行分类处理，包括：
通过所述至少一个第一卷积层，对所述第一目标FFT频谱图或所述第一目标高频特征图进行卷积计算得到多个特征图；
通过所述至少一个第一激励层，对所述多个特征图进行非线性化处理得到多个稀疏特征图；
通过所述至少一个第一全连接层，对所述多个稀疏特征图进行全连接得到多个特征常数；并采用分类函数对所述多个特征常数进行分类处理。
在一种可能的实现方式中，所述第一卷积层，所述第一激励层，以及所述第一全连接层的个数均为1。
在一种可能的实现方式中，所述第一目标频率特征图像包括：所述第一目标FFT频谱图和所述第一目标高频特征图；
所述至少一个卷积层包括至少一个第二卷积层，至少一个第三卷积层和至少一个第四卷积层，所述至少一个激励层包括至少一个第二激励层，至少一个第三激励层和至少一个第四激励层，所述至少一个全连接层包括至少一个第二全连接层；
所述通过卷积神经网络对所述第一目标频率特征图像进行分类处理，包括：
通过所述至少一个第二卷积层和所述至少一个第二激励层对所述第一目标FFT频谱图进行处理得到多个稀疏FFT频谱特征图；
通过所述至少一个第三卷积层和所述至少一个第三激励层对所述第一目标高频特征图进行处理得到多个稀疏高频激励特征图；
通过所述至少一个第四卷积层和所述至少一个第四激励层对所述多个稀疏FFT频谱特征图和所述多个稀疏高频激励特征图进行处理得到多个稀疏总特征图；
通过所述至少一个第二全连接层，对所述多个稀疏总特征图进行全连接得到多个特征常数；并采用分类函数对所述多个特征常数进行分类处理。
在一种可能的实现方式中，所述第二卷积层，所述第三卷积层、所述第四卷积层、所述第二激励层、所述第三激励层、所述第四激励层、以及所述第二全连接层的个数均为1。
在一种可能的实现方式中，所述至少一个卷积层中的卷积核大小为3*3的矩阵，和/或所述至少一个激励层中的激励函数为参数化修正线性单元PReLU函数，和/或所述至少一个全连接层中的分类函数为Sigmoid函数。
在一种可能的实现方式中，所述方法还包括：
获取第二识别目标的第二目标图像；
对所述第二目标图像进行处理得到第二频率特征图像；
基于所述第二频率特征图像进行人脸防伪判别，以确定所述第二识别目标是否为活体人脸，其中，人脸防伪判别的结果用于建立人脸特征模板。
在一种可能的实现方式中，所述第二目标图像为第二红外图像。
在一种可能的实现方式中，所述方法还包括：
基于所述第二目标图像建立所述人脸特征模板。
在一种可能的实现方式中，所述方法还包括：
基于所述第二目标图像进行人脸检测；
其中，所述基于所述第二目标图像建立人脸特征模板包括：
在人脸检测成功时，对所述第二目标图像进行人脸图像剪切形成第二人脸红外图像，基于所述第二人脸红外图像建立所述人脸特征模板。
在一种可能的实现方式中，所述基于所述第二人脸红外图像建立所述人脸特征模板，包括：
判断所述第二人脸红外图像是否属于人脸特征模板库；
当所述第二人脸红外图像属于所述人脸特征模板库时，将所述第二人脸红外图像与所述人脸特征模板库中的多个人脸特征模板进行匹配。
当所述第二人脸红外图像不属于所述人脸特征模板库时，基于所述第二频率特征图像进行人脸防伪判别，当确定所述第二识别目标为活体人脸时，将所述第二人脸红外图像建立为人脸特征模板。
在一种可能的实现方式中，所述将所述第二人脸红外图像与所述人脸特征模板库中的多个人脸特征模板进行匹配，包括：
当匹配成功时，基于所述第二频率特征图像进行人脸防伪判别；
当确定所述第二识别目标为活体人脸时，将所述第二人脸红外图像建立为人脸特征模板。
在一种可能的实现方式中，所述当匹配成功时，基于所述第二频率特征图像进行人脸防伪判别，包括：
当匹配成功时，获取所述第二识别目标的3D点云数据；
当所述3D点云数据为有效点云时，基于所述第二频率特征图像进行人脸防伪判别。
在一种可能的实现方式中，所述第二频率特征图像包括第二快速傅里叶FFT频谱图和/或第二高频特征图，所述对所述第二目标图像进行处理得到第二频率特征图像，包括：
对所述第二目标图像进行快速傅里叶FFT变换得到的所述第二FFT频谱图；和/或，
对所述第二目标图像进行高频特征提取得到所述第二高频特征图。
在一种可能的实现方式中，所述对所述第二目标图像进行高频特征提取得到所述第二高频特征图，包括：
将所述第二目标图像与高频卷积核进行卷积计算得到所述第二高频特征图。
在一种可能的实现方式中，其特征在于，所述基于所述第二频率特征图像进行人脸防伪判别包括：
对所述第二频率特征图像进行缩小得到第二目标频率特征图像，基于所述第二目标频率特征图像进行人脸防伪判别。
在一种可能的实现方式中，所述基于所述第二目标频率特征图像进行人脸防伪判别，包括：
通过卷积神经网络对所述第二目标频率特征图像进行分类处理，以确定所述第二识别目标是否为活体人脸。
在一种可能的实现方式中，所述第二频率特征图像包括第二快速傅里叶FFT频谱图和/或第二高频特征图，所述对所述第二频率特征图像进行缩小得到第二目标频率特征图像，包括：
对所述第二FFT频谱图进行缩小得到第二目标FFT频谱图；和/或
对所述第二高频特征图进行缩小得到第二目标高频特征图。
在一种可能的实现方式中，所述第二目标FFT频谱图和所述第二目标高频特征图的大小相同。
第二方面，提供了一种人脸识别的装置，包括处理器，用于执行如第一方面或第一方面的任一可能的实现方式中的人脸识别方法。
第三方面，提供了一种电子设备，包括如第二方面或第二方面的任一可能的实现方式中的人脸识别装置。
第四方面，提供了一种芯片，该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线，该至少一个存储器用于存储指令，该至少一个处理器用于调用该至少一个存储器中的指令，以执行第一方面或第一方面的任一可能的实现方式中的方法。
第五方面，提供了一种计算机可读介质，用于存储计算机程序，所述计算机程序包括用于执行上述第一方面或第一方面的任一可能的实现方式中的指令。
第六方面，提供了一种包括指令的计算机程序产品，当计算机运行所述计算机程序产品的所述指时，所述计算机执行上述第一方面或第一方面的任一可能的实现方式中的人脸识别的方法。
具体地，该计算机程序产品可以运行于上述第三方面的电子设备上。
附图说明
图1(a)图是根据本申请实施例的一种人脸识别装置的示意性框图。
图1(b)图是根据本申请实施例的一种人脸识别方法的示意性流程图。
图1(c)图是根据本申请实施例的一种卷积神经网络的示意性框图。
图2是根据本申请实施例的另一种人脸识别方法的示意性流程图。
图3是根据本申请实施例的另一种人脸识别方法的示意性流程图。
图4是根据本申请实施例的另一种人脸识别方法的示意性流程图。
图5是根据本申请实施例的另一种人脸识别方法的示意性流程图。
图6是根据本申请实施例的另一种人脸识别方法的示意性流程图。
图7中的(a)图是根据本申请实施例的人脸照片的红外图像。
图7中的(b)图是对应图7中的(a)图的FFT频谱图。
图8中的(a)图是根据本申请实施例的多张人脸照片的FFT频谱图。
图8中的(b)图是根据本申请实施例的多张活体人脸的FFT频谱图。
图9中的(a)图是根据本申请实施例的N*N像素的红外图像矩阵。
图9中的(b)图是根据本申请实施例的3*3的二维滤波器矩阵。
图9中的(c)图是根据图9中的(a)图中的红外图像矩阵经过图9中的(b)图中的3*3二维滤波器矩阵卷积后得到的高频特征图像矩阵。
图10中的(a)图是根据本申请实施例的多张人脸照片的高频特征图。
图10中的(b)图是根据本申请实施例的多张活体人脸的高频特征图。
图11是根据本申请实施例的人脸识别方法中一种人脸防伪判别方法的示意性流程图。
图12是根据本申请实施例的人脸识别方法中另一种人脸防伪判别方法的示意性流程图。
图13是根据本申请实施例的一种卷积神经网络的示意性框图。
图14是根据本申请实施例的一种全连接层示意图。
图15是根据本申请实施例的人脸识别方法中另一种人脸防伪判别方法的示意性流程图。
图16是根据本申请实施例的人脸识别方法中另一种人脸防伪判别方法的示意性流程图。
图17是根据本申请实施例的另一种卷积神经网络的示意性框图。
图18是根据本申请实施例的人脸识别方法中一种人脸注册方法的示意性流程图。
图19是根据本申请实施例的人脸识别方法中另一种人脸注册方法的示意性流程图。
图20是根据本申请实施例的人脸识别方法中另一种人脸注册方法的示意性流程图。
图21是根据本申请实施例的一种人脸识别装置的示意性框图。
图22根据本申请实施例的电子设备的示意性框图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
本申请实施例可适用于光学人脸识别系统，包括但不限于基于光学人脸成像的产品。该光学人脸识别系统可以应用于具有图像采集装置(如摄像头)的各种电子设备，该电子设备可以为手机，平板电脑，智能可穿戴装置、智能门锁等，本公开的实施例对此不做限定。
应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例，而非限制本申请实施例的范围。
还应理解，本申请实施例中的公式只是一种示例，而非限制本申请实施例的范围，各公式可以进行变形，这些变形也应属于本申请保护的范围。
还应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
还应理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本申请实施例对此并不限定。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。本申请所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。
为了便于理解，先结合图1(a)、图1(b)和图1(c)，对基于2D图像的人脸识别进行电子设备的解锁过程进行简单介绍。
如图1(a)所示，人脸识别装置10包括红外发光模组110、红外图像采集模组120和处理器130。其中，所述红外光发光模组110用于发出红外光信号，其可以为红外光发光二极管(Light Emitting Diode，LED)，或者也可以为垂直腔面发射激光器(Vertical CavitySurface Emitting Laser，VCSEL)等其它红外光发光光源，本申请实施例对此不做限定。所述红外图像采集模组120可以为红外摄像头，其中包括红外图像传感器，该红外图像传感器用于接收红外光信号，并将接收的红外光信号转换为对应的电信号，从而生成红外图像。所述处理器130可以为一种微处理器(Microprocessor Unit，MPU)，可以控制所述红外发光模组110和所述红外图像采集模组120进行人脸图像采集，并且进行人脸图像识别。
具体地，如图1(b)所示，当需要进行人脸识别时，具体2D识别流程如下：
S110：采集识别目标的2D红外图像。具体地，所述红外发光模组110发出红外光，该红外光照射在识别目标上，该识别目标可以为用户人脸，也可以为照片，三维(ThreeDimensional，3D)模型或者任意其它物体。经过识别目标表面反射的红外反射光被红外图像传感器120接收并转换为2D红外图像，所述红外图像传感器120将2D红外图像传输给处理器130。
S120：人脸检测(face detection)。即接收2D红外图像，检测2D红外图像上是否存在人脸。例如，采用单个卷积神经网络(Convolutional Neural Networks，CNN)对2D红外图像进行人脸检测。首先训练一个判断人脸非人脸的人脸检测卷积神经网络，将2D红外图像的数据输入至人脸检测卷积神经网络中，通过卷积计算等步骤，将2D红外图像的数据的特征提取后，进行分类判别，从而判断该2D红外图像上是否存在人脸。
具体地，如图1(c)所示，卷积神经网络主要包括卷积层101(convolutionallayer)、激励层102(activation layer)，池化层103(pooling layer)、以及全连接层104(fully-connected layer)。其中，卷积神经网路中每层卷积层由若干卷积核(convolutional kernel)组成，每个卷积核的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征，不同的卷积核提取不同的特征图(feature map)，更多层的卷积网络能从边缘特征、线条特征等低级特征中迭代提取更复杂的特征。激励层使用激励函数(activation function)给卷积神经网络引入了非线性，常用的激励函数有sigmoid、tanh、ReLU函数等。通常在卷积层之后会得到维度很大的特征，池化层将特征切成几个区域，取其最大值(max pooling)或平均值(average pooling)，得到新的、维度较小的特征图。全连接层把所有局部特征结合变成全局特征，用来计算最后每一类的得分，从而判断输入的数据的类别。
S121：若2D红外图像上存在人脸，则对2D红外图像进行人脸剪切。具体地，将上述人脸检测卷积神经网络的全连接层改为卷积层，这样网络变成了全卷积网络，2D红外图像经过全卷积网络将得到特征图，特征图上每一个“点”对应该位置映射到原图区域属于人脸的概率，将属于人脸概率大于设定阈值的视为人脸候选框。将2D红外图像中人脸候选框中的图像剪切形成新的人脸2D红外图像。
S122：若2D红外图像上不存在人脸，则将重启参数加1。
若2D红外图像上不存在人脸，则人脸检测失败，换言之，该识别目标不为用户，匹配失败。
可选地，还可以通过级联CNN，Dlib，OpenCV等方法进行人脸检测，并剪切得到新的人脸2D红外图像。本申请实施例中对此不做限定。
S130：2D人脸识别(face recognition)。即对S131形成的人脸2D红外图像进行识别，判断该人脸2D红外图像是否为用户的人脸。例如，采用卷积神经网络的方法进行人脸识别，具体地，首先训练一个判断是否为用户人脸的人脸识别卷积神经网络，该人脸识别卷积神经网络按照人脸特征模板库中的多个人脸特征模板分类。将人脸2D红外图像的数据输入至人脸识别卷积神经网络中，通过卷积计算等步骤，将人脸2D红外图像的数据的特征提取后，进行分类判别，判断该人脸2D红外图像是否与人脸特征模板库中多个人脸特征模板匹配。
S131：若匹配成功，则该人脸2D红外图像为用户的人脸图像，2D识别成功。进一步的，可以解锁人脸识别装置10所在的电子设备，也可以解锁电子设备上应用程序。
S132：若匹配失败，则该人脸2D红外图像不为用户的人脸图像，则2D识别失败，将重启参数加1。
S140：判断重启参数是否小于第一阈值。
S141：若重启参数小于第一阈值，则进入S110；
S142：若重启参数大于等于第一阈值，则识别失败。
在图1(b)中，人脸识别装置10通过采集人脸的2D红外图像，判断人脸的2D图像是否符合人脸特征模板库中的特征人脸来进行人脸识别，从而对电子设备和电子设备上的应用程序(application，APP)进行解锁。由于在解锁过程中，人脸识别装置10仅仅依据2D图像上的二维特征进行人脸识别，无法识别采集的2D红外图像是否来源自活人人脸或者其他照片、视频等其他非活人人脸物体，换言之，该人脸识别装置10不具有防伪功能，可以通过盗取带有用户人脸的照片、视频等信息，对电子设备以及应用程序进行解锁，因而人脸识别装置及电子设备的安全性能受到了极大的影响。
为解决上述问题，本申请实施例提供一种带有防伪功能的人脸识别方案，通过对采集的红外图像进行处理，获取频率特征图像，基于该频率特征图像进行人脸防伪，判断采集的频率特征图像是否来自用户的活体人脸，从而大大提高人脸识别装置及电子设备的安全性。
下面，结合图2至图20，对本申请实施例提供的人脸识别方法进行详细介绍。
图2为本申请实施例提供的一种人脸识别的方法200，包括：
S210：获取识别目标的目标图像；
S220：对所述目标图像进行处理得到频率特征图像；
S230：基于所述频率特征图像确定所述识别目标是否为活体人脸，并输出活体判断结果；
S240：根据所述目标图像进行特征模板匹配，并输出匹配结果；
S250：根据所述活体判断结果和所述匹配结果输出人脸识别结果。
应理解，所述识别目标也称为第一识别目标、第二识别目标等，可以用于区分不同的目标物体，相应的，所述识别目标的目标图像及眼部图像也可以称为第一目标图像或第二目标图像，第一眼部图像或第二眼部图像等等。所述识别目标包括但不限于人脸、照片、视频、三维模型等任意物体。例如，所述识别目标可以为用户人脸、其他人的人脸、用户照片、贴有照片的曲面模型等等。
可选地，所述目标图像可以为可见光生成的彩色图像，也可以为红外光生成的红外图像或者其它图像，本申请实施例对此不做限定。对所述目标图像进行处理得到频率特征图像为体现目标图像中频率信息的图像，例如体现彩色图像或者红外图像中的高频成分信息等。
优选地，在本申请实施例中，所述目标图像为红外图像，下文以目标图像为红外图像为例进行详细说明。具体地，所述红外(Infrared Radiation，IR)图像表现为灰度(GrayScale)图像，通过图像像素点的灰度表现识别目标的外观形状。
可选地，在本申请实施例中，可以通过红外图像采集装置获取识别目标的红外图像，所述红外图像采集装置中可以包括红外光电传感器，其中，红外光电传感器中包括多个像素单元，每个像素单元用于采集红外光经过识别目标表面反射后的反射红外光信号，并将该反射红外光信号转换为对应其光强的像素电信号。每一个像素电信号的值对应于红外图像的一个像素点，其大小表现为红外图像的灰度值。因此，多个像素单元组成的像素矩阵形成的红外图像也可以表示为多个像素点的灰度值组成的数值矩阵。可选地，每一个像素点的灰度值范围为0～255之间，灰度值0表现为黑色，灰度值255表现为白色。
具体地，对所述红外图像进行处理得到的频率特征图像为体现红外图像中频率信息的图像，其中，红外图像的频率是表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。例如：图像中一片灰度变化缓慢的区域，对应的频率值很低；而图像中一片灰度变化剧烈的区域，例如图形的边缘区域，对应的频率值较高。在本申请实施例中，所述频率特征图像包括但不限于：对红外图像进行快速傅里叶变换(Fast Fourier Transform，FFT)得到的FFT频谱图，或者将红外图像中的高频特征提取得到的高频特征图。
应理解，所述频率特征图像可以呈现不同的识别目标的红外图像中不同的纹理信息，可以用于区分活体人脸以及非活体人脸，换言之，对活体人脸的红外图像进行处理得到的频率特征图像与对非活体人脸的红外图像进行处理得到的频率特征图像不同，并且差异较大，本申请实施例可以采用任意可以区分活体人脸以及非活体人脸的频率特征图，在此不做具体限定。其中，所述非活体人脸包括但不限于：用户人脸照片，用户人脸视频，放置于三维曲面上的用户人脸照片，用户人脸模型等等。
获得所述识别目标的频率特征图像之后，由于频率特征图中表示识别目标纹理信息的特征分量不同，基于该频率特征图像进行人脸防伪判别，以确定所述识别目标的纹理是否为活体人脸的纹理，从而判断所述识别目标是否为活体人脸，达到人脸防伪的效果。
具体地，在人脸识别的过程中，除了判断识别目标是否为活体人脸，还需要进行特征模板匹配，结合特征模板匹配以及活体判断结果进行人脸识别。所述特征模板匹配为将目标图像与至少一个用户的特征模板进行匹配，可以判断该目标图像是否属于用户的图像。可选地，该特征模板为用户在不同角度，不同环境等不同条件下的多个人脸或局部人脸图像的特征数据。所述特征模板存储在人脸识别的装置中，特别的，可以存储在装置中的存储器中。
结合人脸防伪判断以及特征模板匹配判断，能够增强人脸识别过程的可靠性，提升安全性能。
目前，人脸防伪有不同的安全等级，如下表1所示，不同的等级代表不同的人脸防伪要求。即例如：防伪等级为等级1时，能识别出2D打印静态平面人脸。
表1
图1(a)和图1(b)中的人脸识别装置以及人脸识别方法无法判断采集的2D图像来源自照片还是真人脸，因而不具有防伪功能，无法达到表1中人脸防伪等级的等级1。但在本申请实施例中，由于可以通过频率特征图像得到人脸的纹理信息，因而可以识别出活体人脸与非活体人脸，从而可以达到人脸防伪等级5，防伪和识别的安全性能得到大幅提高。
具体地，在本申请实施例中，可以基于获取的识别目标的2D目标图像进行2D识别的特征模板匹配，并基于2D识别的特征模板匹配结果以及人脸防伪判断的结果进行人脸识别并输出人脸识别结果。
在本申请实施例中，当特征模板为2D图像时，特征模板匹配为2D识别中的一个主要步骤和实施方式，下文中，2D识别也可以理解为2D识别中的特征模板匹配。
可选地，可以先进行2D识别，在2D识别的基础上，根据2D识别的结果基于所述频率特征图像再次进行人脸防伪，使识别过程更加安全有效。例如，如图3所示，本申请实施例提供的另一种人脸识别的方法300，包括：
S310：获取所述识别目标的红外图像；
S340：基于所述红外图像进行2D识别；
当目标图像与多个特征模板中的任意一个特征模板匹配成功时，则2D识别成功，表示该目标图像包括用户人脸图像。当目标图像与多个特征模板均匹配失败时，则2D识别失败，表示该目标图像不包括用户人脸图像。
可选地，在本申请实施例中，所述2D识别可以与图1(b)中的2D识别过程相同或近似。
S351：在2D识别成功时，对所述红外图像进行处理得到频率特征图像；
S352：在2D识别失败时，确定人脸识别失败，输出第一人脸识别结果；
可选地，所述第一人脸识别结果可以包括但不限于失败、非认证用户等具体信息。
S360：基于所述频率特征图像进行人脸防伪判别，以确定所述识别目标是否为活体人脸；
S371：在所述识别目标为活体人脸时，确定人脸识别成功，输出第二人脸识别结果；
可选地，所述第二人脸识别结果可以包括但不限于成功、活体认证用户等具体信息。
S372：在所述识别目标不为活体人脸时，确定人脸识别失败，输出第三人脸识别结果。
可选地，所述第三人脸识别结果可以包括但不限于失败、非活体认证用户等具体信息。
可选地，所述目标图像可以为红外图像、可见光图像或者其他图像。
可选地，还可以先进行人脸防伪，在人脸防伪的基础上，根据人脸防伪的结果再进行2D识别，可以提前排除非活体人脸的情况，提高识别的效率。例如，如图4所示，本申请实施例提供的另一种人脸识别的方法400，包括：
S410：获取识别目标的红外图像；
S420：对所述红外图像进行处理得到频率特征图像；
S430：基于所述频率特征图像进行人脸防伪判别，以确定所述识别目标是否为活体人脸；
S441：在所述识别目标为活体人脸时，基于所述红外图像进行2D识别；
可选地，该步骤中的2D识别可以与图4中步骤S340相同，具体实施方式可以参考前述方案，此处不再赘述。
S442：在所述识别目标为非活体人脸时，确定人脸识别失败，输出第四人脸识别结果；
可选地，所述第四人脸识别结果可以包括但不限于失败、非活体等具体信息。
S471：在2D识别成功时，确定人脸识别成功，输出第五人脸识别结果。
可选地，所述第五人脸识别结果可以包括但不限于成功、活体认证用户等具体信息。
S472：在2D识别失败时，确定人脸识别失败，输出第六人脸识别结果。
可选地，所述第六人脸识别结果可以包括但不限于失败、活体非认证用户等具体信息。
可选地，在一种可能的实施方式中，通过发射红外光至所述识别目标，接收所述红外光经所述识别目标反射后的反射红外光信号，并将所述反射红外光信号转换得到所述红外图像。例如，一种红外光发射模组发射红外光至所述识别目标，图像采集模组接收所述红外光经所述识别目标反射后的红外光信号，并将所述反射红外光信号转换得到红外图像。
可选地，在步骤S310以及步骤S410中，可以通过图像采集模组获取识别目标的红外图像。该图像采集模组可以为图1(a)中的红外图像采集模组120。
可选地，在步骤S351具体还可以包括：3D人脸重建。即当2D识别成功，采集识别目标的3D数据，以进行3D人脸重建，若3D人脸重建成功，则对所述红外图像进行处理得到频率特征图像，并基于所述频率特征图像进行人脸防伪判别，若3D人脸重建失败，则不进行人脸防伪判别。具体地，重建后的人脸图形从三维空间上反映人脸的特征信息，在3D人脸成功的基础上，进行人脸防伪判别。
可选地，如图5所示，所述人脸识别方法300还包括：
S320：人脸检测，具体地，基于所述红外图像进行人脸检测；
S331：存在人脸，即在红外图像上检测到人脸时，对红外图像进行人脸剪切得到人脸红外图像；
S332：不存在人脸，即人脸检测失败时，重启参数加1；
S352：2D识别失败，确定人脸识别失败，重启参数加1；
S373：在所述识别目标不为活体人脸时，重启参数加1；
可选地，如图6所示，所述人脸识别方法400还包括：
S444：在所述识别目标为非活体人脸时，重启参数加1；
S443：当所述识别目标为活体人脸时，进行步骤S450：人脸检测；具体地，基于所述红外图像进行人脸检测；
S451：存在人脸，即当在红外图像上检测到人脸时，对红外图像进行人脸剪切得到人脸红外图像；
S452：不存在人脸，即人脸检测失败时，重启参数加1；
S445：2D识别，具体地，基于所述人脸红外图像进行2D识别。
S473：在2D识别失败时，重启参数加1；
可选地，所述步骤S320～S332和步骤S450～S452可以与图1(b)中步骤S120～步骤S122相同，此处不再赘述。
可选地，在图5和图6的实施例中，方法还包括：对所述重启参数的大小进行判断，当重启参数小于第二阈值时，则进入S310或者进入S410；当重启参数大于等于第二阈值时，则确定识别失败。
下面结合图7至图17详细介绍S360以及S430中基于所述频率特征图像进行人脸防伪判别，以确定所述识别目标是否为活体人脸的过程，即人脸防伪的详细过程。
可选地，所述频率特征图像可以为快速傅里叶变换FFT频谱图，具体地，可以对红外图像进行快速傅里叶变换变换得到的FFT频谱图。其中，快速傅里叶变换是一种快速计算离散傅里叶变换(Discrete Fourier Transform,DFT)的高效计算方法，FFT和DFT均属于傅里叶变换(Fourier transform，FT)的不同变换形式。具体地，傅里叶变换是将图像从空间域转换到频率域，其逆变换是将图像从频率域转换到空间域。换句话说，傅里叶变换的物理意义是将图像的灰度分布函数变换为图像的频率分布函数。傅里叶逆变换是将图像的频率分布函数变换为灰度分布函数。
如图7所示，图7中的(a)图为红外图像，图7中的(b)图为红外图像对应的FFT频谱图，从图7中的(b)图可以看出：FFT频谱图上具有多个明暗不一的亮点，其意义是指图像上某一点与邻域点差异的强弱，即梯度的大小，也即该点的频率的大小。一般来讲，梯度大则该点的亮度强，否则该点亮度弱。这样通过观察FFT变换后的频谱图，也叫功率图，可以直观地看出图像的能量分布：如果频谱图中暗的点数更多，那么实际图像是比较柔和的；反之，如果频谱图中亮的点数多，那么实际图像一定是尖锐的、边界分明且边界两边像素差异较大的。在频谱图中，距离中心近的点为低频信号，即原始红外图像中的大片相同区域，距离中心远的点为高频信号，即原始红外图像中边缘区域。
具体地，对红外二维图像进行FFT变换得到FFT频谱图可以通过计算机语言程序进行计算得到，例如matlab语言计算机程序，C/C++语言计算机程序等等，本申请实施例对此不做限定。
由于人脸照片为二维平面结构，活体人脸为三维立体结构，对人脸照片采集得到的照片红外图像与对活体人脸拍摄得到的人脸红外图像相比，人脸红外图像中人脸轮廓纹理少而清晰，表现为图像中的灰度变化的边缘区域，皮肤区域面积大且灰度均衡，而照片红外图像中，受到环境干扰等其它影响，照片中灰度纹理较多且模糊。其中，图像的纹理对应于FFT频谱图中远离中心的区域，因此，照片红外图像的FFT频谱在远离中心区域的亮点多而亮度低，而人脸红外图像的FFT频谱在远离中心区域的亮点少而亮度高。
例如，如图8所示，图8中的(a)图示出了多张人脸照片的FFT频谱图，图8中的(b)图示出了多张活体人脸的FFT频谱图。将图8中的(a)图与图8中的(b)图进行比较，可以看出，图8中的(a)图的照片人脸的FFT频谱中亮点数多，暗点数少，且远离中心区域处的亮点多，说明图像中的纹理多，高频干扰信息多。而图8中的(b)图的活体人脸照片的FFT频谱中亮点数少，暗点数多，说明图像柔和，皮肤区域特征明显，且远离中心区域处的亮点少但亮度值大，说明图像中的轮廓纹理明了清晰。
应理解，由于用户活体人脸具有其特有的纹理特征，大多数情况下，可以认为是独一无二的人脸纹理特征，因此，FFT频谱除了可以区别人脸照片红外图像以及活体人脸红外图像外，还可以区别三维曲面模型，三维人脸模型，具有一定纹理的三维人脸模型，乃至于其它用户人脸。
可选地，所述频率特征图像还可以为高频特征图。具体地，将红外图像中的高频特征提取得到所述高频特征图，该高频特征提取过程即为提取出红外图像中边缘特征，对边缘特征进行增强以显示在红外图像中以形成高频特征图。具体地，当识别目标为人脸时，该人脸的红外图像中的人脸纹理特征提取出来，对纹理特征进行显示增强以显示为人脸高频特征图。
可选地，由于图像中的边缘特征为高频信号，可以对红外图像进行滤波，通过高频信号，滤除低频信号。可选地，将红外图像通过一个二维滤波器矩阵进行高通滤波，该二维滤波器矩阵也称为卷积核(kernel)，或者卷积模板。具体地，将该滤波器矩阵与二维图像进行卷积计算，即对于红外图像的每一个像素点，计算它的邻域像素和滤波器矩阵的对应元素的乘积，然后加起来，作为该像素位置的值。这样就完成了滤波过程，得到高频特征图。
可选地，二维滤波器矩阵可以为3*3矩阵，5*5矩阵或者其它奇数大小的矩阵。例如，图9中的(a)图为N*N像素的红外图像矩阵，其中a1，1～an，n为红外图像矩阵中的像素灰度值。图9中的(b)图为3*3的二维滤波器矩阵，包括x1至x9这9个数值。图9中的(c)图为红外图像矩阵经过3*3二维滤波器矩阵卷积后得到的高频特征图像矩阵。以其中第一个像素值b1，1为例，其计算公式如下所示：
b1，1＝x1a1，1+x2a1，2+x3a1，3+x4a2，1+x5a2，2+x6a2，3+x7a3，1+x8a3，1+x9a3，3
b11计算完成后，将红外像素矩阵中选取的3*3区域向右滑动一步或多步，按照此方法，与二维滤波器矩阵中的对应位置的数值相乘后相加，即得到b12的值。依次类推，计算得到完整高频特征图像矩阵中每一个像素值。
例如，如图10所示，图10中的(a)图示出了多张人脸照片的高频特征图，图10中的(b)图示出了多张活体人脸的高频特征图。将图10中的(a)图与图10中的(b)图进行比较，可以看出，图10中的(a)图的照片人脸的高频特征图中高频干扰纹理较多，导致人脸纹理轮廓不清晰。而图10中的(b)图的活体人脸照片的高频人脸纹理轮廓清楚，高频干扰纹理少。
应理解，可以改变二维滤波器矩阵中的数值得到不同的滤波效果，即二维滤波矩阵决定了卷积过后高频特征图的特点。在本申请实施例中，通过二维滤波器矩阵卷积得到的高频特征图突出了红外图像中的边缘特点，或者纹理特性。例如，该二维滤波器矩阵可以为图像锐化滤波器(Sharpness Filter)或者边缘检测滤波器(Edge Detection)等。
还应理解，除了对红外图像与二维滤波矩阵进行卷积计算得到高频特征图外，还可以通过其它高频特征提取的方法得到高频特征图，例如，对红外图像的傅里叶频谱图进行高通滤波，得到高频傅里叶频谱图即为高频特征图；或者对高频傅里叶频谱再经过傅里叶反变换得到的空间图像也可以为高频特征图。因此，所述高频特征图为任意可以体现红外图像边缘特性的图像，本申请实施例在此不做限定。
可选地，在一种可能的实施方式中，对所述频率特征图像进行预处理后，采用深度学习网络对预处理后的频率特征图像进行分类处理，以确定所述识别目标是否为活体人脸。在本申请实施例中，深度学习网络包括但不限于卷积神经网络，还可以为其它深度学习网络，本申请实施例对此不做限定，以下以卷积神经网络为例，说明本申请实施例中的分类处理方法。
例如，如图11所示，所述人脸防伪判别方法500包括：
S510：对频率特征图像进行缩小得到目标频率特征图像；
S520：通过卷积神经网络对目标频率特征图像进行分类处理，以确定所述识别目标是否为活体人脸。
可选地，当所述频率特征图像为FFT频谱图时，如图12所示，所述人脸防伪判别方法501包括：
S511：对FFT频谱图进行缩小得到目标FFT频谱图；
S521：通过卷积神经网络对目标FFT频谱图进行分类处理，以确定所述识别目标是否为活体人脸。
具体地，将FFT频谱图进行图像缩放(Resize)得到目标FFT频谱图。缩放即：将FFT频谱图像按照目标尺寸放大或者缩小。在本申请实施例S511中，将FFT频谱图进行缩小得到目标FFT频谱图以加快数据处理的速度，减小人脸识别过程中的响应时间。
可选地，采用最邻近差值法或者双线性差值法等方法对FFT频谱图按比例缩小。例如：原FFT频谱图大小为M*M像素，缩小后的目标图像大小为A*A像素，两幅图像的边长比为M/A。目标图像的第(i，j)个像素点对应原FFT频谱图中的坐标为(i*M/A，j*M/A)，而该坐标通常不是整数。
若采用最近邻插值法进行缩小处理，则对计算得到的原FFT频谱图中的坐标为(i*M/A，j*M/A)直接四舍五入得到距离它最近的点的坐标，例如对(0.75，0.25)四舍五入得到坐标(1,0)，该坐标对应的像素值就是目标图像上对应的像素点的值。
若采用双线性插值进行缩小处理，假设目标图像第(i，j)个像素点映射到原FFT频谱图中的坐标为(i+u，j+v)，其中u和v为i+u和j+v的小数部分。则目标图像第(i，j)个像素点的像素值f(i，j)即对应于原FFT频谱图中的坐标为(i+u，j+v)的像素值f(i+u，j+v)，其计算方法如下公式所示：
f(i+u,j+v)＝(1-u)(1-v)f(i,j)+v(1-u)f(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)
可选地，通过上述最邻近差值法或者双线性差值法将FFT频谱图像按照比例缩小为目标FFT频谱图像后，将目标FFT频谱图输入卷积神经网络中进行分类处理。
首先，构建卷积神经网络结构，例如可以采用二层卷积神经网络或更多层网络结构，每层卷积网络结构的构成也可以根据待提取的人脸信息进行调整，本申请实施例对此不作限定。
其次，设置该卷积神经网络的初始训练参数和收敛条件。
可选地，在本申请实施例中，该初始训练参数可以是随机生成的，或根据经验值获取的，或者也可以是根据大量的真假人脸数据预训练好的卷积神经网络模型的参数，本申请实施例对此不作限定。
然后，向该卷积神经网络输入大量的用户活体人脸和非活体人脸的FFT频谱图像，该卷积神经网络可以基于初始训练参数对上述FFT频谱图像进行处理，确定对每个FFT频谱图像的判定结果，进一步地，根据该判定结果，调整卷积神经网络的结构和/或各层的训练参数，直至判定结果满足收敛条件。
可选地，在本申请实施例中，该收敛条件可以包括以下中的至少一项：
1、将活体人脸的FFT频谱图像判定为活体人脸的FFT频谱图像的概率大于第一概率，例如，98％；
2、将非活体人脸的FFT频谱图像判定为非活体人脸的FFT频谱图像的概率大于第二概率，例如95％；
3、将活体人脸的FFT频谱图像判定为非活体人脸的FFT频谱图像的概率小于第三概率，例如，2％；
4、将非活体人脸的FFT频谱图像判定为活体人脸的FFT频谱图像的概率小于第四概率，例如3％。
完成判断是否为活体人脸的卷积神经网络的训练之后，在人脸识别的过程中，将处理得到的当前识别目标的FFT频谱图像输入到该卷积神经网络中，从而该卷积神经网络可以使用训练好的参数对识别目标的FFT频谱图像进行处理，确定该识别目标是否为活体人脸。
可选地，在一种可能的实施方式中，如图13所示，所述卷积神经网络50包括卷积层510，激励层520以及全连接层530。所述卷积层510用于对输入的目标FFT频谱图像进行至少一次卷积计算，从目标FFT频谱图像中提取特征。
其中，卷积层510包括n个不同的卷积核，n为正整数。通过在图像上滑动卷积核并点乘计算得到矩阵叫做卷积特征(convolved feature)图，也称为激活图(activationmap)或者特征图(feature map)。对于同样的输入图像，不同值的卷积核将会生成不同的特征图。通过修改卷积核的数值，可以从图中检测到不同的特征。
可选地，将目标FFT频谱图像与一个卷积核的卷积计算过程可以和图5中的卷积计算过程相同，采用在目标FFT频谱图上每一次滑动一个像素值(步长为1)与卷积核进行计算。也可以在目标FFT频谱图上每一次滑动x个像素值(步长为x)与卷积核进行计算，本申请实施例对此不做限定。
可选地，在本申请实施例中，卷积核可以为3*3、5*5或者7*7等其他大小的矩阵，本申请实施例对此也不做限定。
在一种优选的实施方式中，采用3*3的卷积核，步长为1的卷积计算方式，将目标FFT频谱图与n个不同的卷积核计算后，得到n张不同的特征图，其中，n张不同的特征图分别提取了目标FFT频谱图中的不同的特征信息，该n张不同的特征图也称为卷积层510输出的n个通道。
激励层520中包含激励函数，用于对卷积得到的特征图中的每个像素值进行非线性化处理。可选地，激励函数包括但不限于修正线性单元(Rectified Linear Unit，ReLU)函数、指数线性单元(exponential linear unit，ELU)函数，以及ReLU函数的几种变体形式，例如：带泄露修正线性单元(Leaky ReLU，LReLU)，参数化修正线性单元(ParametricReLU，PReLU)，随机纠正线性单元(Randomized ReLU，RReLU)等。
优选地，在本申请实施例中，采用的激励函数为参数化修正线性单元PReLU函数，具体地，PReLU函数的公式如下所示：
其中，i表示第i个通道，ai表示第i个通道的参数，不同通道的参数可以相同或者不同。
在本申请实施例中，0＜i≤n，n个通道即n张特征图分别采用上述PReLU函数进行激活。经过PReLU处理后的第i张特征图中，小于等于0的像素值变为aixi，大于0的像素值保持不变，使得特征图中的像素值具有稀疏性，PReLU实现稀疏后的神经网络结构能够更好地挖掘相关特征，拟合训练数据。具体地，n张不同的特征图经过PReLU函数非线性化处理后，得到n张稀疏特征图，然后，n张稀疏特征图输入全连接层530进行全连接并分类处理。
具体地，所述全连接层530中每个结点均与上层每个结点相连，用于将之前神经网络中提取出来的特征进行综合，在整个卷积神经网络中起到“分类器”的作用。例如，如图14所示，f1～fn为上一层输出的结点，全连接层330共包括m个全连接结点C，输出m个常数或者矩阵y1～ym，便于对m个常数或者矩阵分类进行再次全连接或者判断分类。具体地，m个全连接结点中的每一个结点均包括上述训练收敛得到的多个参数，用于将f1～fn进行加权连接，最终得到一个常数或者矩阵结果y。
下面，以本申请实施例中，f1～fn为n张稀疏特征图为例，对全连接层全连接过程为例进行说明。
n张稀疏特征图f1～fn的大小为A*A，每个全连接层结点包括n个A*A大小的卷积核，因此，m个全连接结点共包括m*n个A*A大小的卷积核。对于每一个全连接层结点，将n个A*A大小的卷积核与n张稀疏特征图进行相乘后相加得到一个特征常数。因此，对于m个全连接结点，共得到m个常数。
可选地，当m个全连接结点中的卷积核小于A*A时，对于m个全连接结点，共得到m个矩阵。
可选地，全连接层530中还包括分类函数Sigmoid，对全连接层输出的特征常数进行分类判别。
其中，Sigmoid函数的公式如下所示：
在Sigmoid函数中，在输入趋于正无穷或负无穷时，函数趋近平滑状态，Sigmoid函数因为输出范围为0至1，所以二分类的概率常常用这个函数。对Sigmoid函数处理得到的多个概率值进行判断，从而得到最终人脸防伪判别的结果，以确定所述识别目标是否为活体人脸。
应理解，在本申请实施例中，卷积神经网络50还可以包括：多个卷积层510、多个激励层520和/或多个全连接层530。例如：卷积层-激励层-卷积层-激励层-全连接层的结构，或者卷积层-激励层-全连接层-全连接层的结构，本申请实施例对此不做限定。
还应理解，多个卷积层510中的卷积参数可以不同，多个激励层520采用的激励函数可以不同，且多个全连接层530中全连接参数也可以不同。本申请实施例对此也不做限定。
上述实施例为对FFT频谱图进行缩放后，采用深度学习算法中的卷积神经网络对识别目标的FFT频谱进行分类处理，确定所述识别目标是否为活体人脸。
可选地，在另一种可能的实施方式中，如图15所示，可以采用类似的人脸防伪方法502基于高频特征图进行人脸防伪。该人脸防伪判别方法502包括：
S512：对高频特征图进行缩小得到目标高频特征图；
S522：通过卷积神经网络对目标高频特征图进行分类处理，以确定所述识别目标是否为活体人脸。
具体地，可以对高频特征图进行缩放后，采用卷积神经网络或者其它深度学习算法对识别目标的高频特征图进行分类处理，以确定所述识别目标是否为活体人脸。具体的实施方式可以参照上述对FFT频谱图的处理方法，采用卷积神经网络50对高频特征图进行分类处理，此处不再赘述。
优选地，在第三种可能的实施方式中，对FFT频谱图和高频特征图进行缩小后，采用深度学习算法，对所述识别目标的FFT频谱图以及高频特征图综合卷积计算，一起进行分类处理，以确定所述识别目标是否为活体人脸。采用该方法可以综合FFT频谱图中的人脸纹理特征以及高频特征图中的人脸纹理特征，从频域和空间域中均提取出相关纹理特征并进行人脸防伪判断，能够提高防伪判断的准确性。
具体地，如图16所示，一种人脸防伪判别方法600包括：
S611：对FFT频谱图进行缩小得到目标FFT频谱图；
S612：对高频特征图进行缩小得到目标高频特征图；
S620：通过卷积神经网络对目标FFT频谱图和目标高频特征图像进行分类处理，以确定所述识别目标是否为活体人脸。
可选地，其中，缩小后的目标高频特征图与目标FFT频谱的大小相同。
可选地，在本申请实施例中，通过卷积神经网络60对目标FFT频谱图和目标高频特征图像进行分类处理，以确定所述识别目标是否为活体人脸。
具体地，如图17所示，所述卷积神经网络60包括第一网络610、第二网络620、第三网络630以及全连接层640。其中第一网络610包括：第二卷积层611和第二激励层612，用于对输入的目标FFT频谱图进行卷积计算并非线性化处理，输出得到多个稀疏FFT频谱特征图。第二网络620包括：第三卷积层621和第三激励层622，用于对输入的目标高频特征图进行卷积计算并非线性化处理，输出得到多个稀疏高频激励特征图。
第三网络630包括：第四卷积层631和第四激励层632，用于对多个稀疏FFT频谱特征图和多个稀疏高频激励特征图一起进行卷积计算并非线性化处理得到多个稀疏总特征图。例如，第一网络610输出10张稀疏FFT频谱特征图，第二网络620输出10张稀疏高频特征图，则将10张稀疏FFT频谱特征图和10张稀疏高频特征图共20张图像一起输入第三网络630，进行卷积和激励处理。
应理解，所述第一网络、第二网络以及第三网络中的卷积核大小、卷积步长，以及激励函数可以相同或者不同，本申请实施例对此不做限定。
优选地，所述第一网络、第二网络以及第三网络中均可以采用3*3的卷积核，卷积步长为1进行卷积计算，以及采用PReLU激励函数进行非线性化处理。
可选地，所述全连接层640可以与上述全连接层330相同，在对第三网络输出的多个稀疏总特征图进行加权全连接后输出一个或多个特征矩阵或者特征常数。可选地，所述全连接层640也可以采用Sigmoid函数进行分类判断。
应理解，在本申请实施例中，卷积神经网络60还可以包括：多个第一网络610，和/或多个第二网络620，和/或多个第三网络630，和/或多个全连接层640。本申请实施例对此不做限定。
还应理解，多个网络中的卷积参数可以不同，采用的激励函数可以不同，且多个全连接层中全连接参数也可以不同。本申请实施例对此也不做限定。
在本申请实施例中，卷积神经网络30和卷积神经网络60的网络结构简单，运行速度快，可以运行在高级精简指令集机器(Advanced RISC Machine，ARM)上。
在上述申请实施例中，基于所述频率特征图像进行人脸防伪判别，以确定所述识别目标是否为活体人脸，其中，人脸防伪判别的结果用于人脸识别。
可选地，所述人脸防伪判别的结果还可以用于人脸注册，即生成2D人脸识别过程中人脸特征模板。具体地，在人脸注册的过程中加入人脸防伪，防止将根据人脸照片或者其它非活体人脸的模型采集到的照片作为模板进行人脸识别匹配，可以提高2D识别的准确性。
具体地，如图18所示，所述人脸注册方法700包括：
S710：获取识别目标的目标图像。
S720：对所述目标图像进行处理得到频率特征图像；
S730：基于所述频率特征图像进行人脸防伪判别，以确定所述识别目标是否为活体人脸，其中，人脸防伪判别的结果用于建立人脸特征模板。
应理解，本申请实施例中人脸注册方法过程和上述人脸识别方法过程为两个独立的阶段，仅是注册方法过程中建立的人脸特征模板用于人脸识别过程中2D识别的判断。在通过人脸注册方法建立人脸特征模板之后，通过上述人脸识别方法以及人脸防伪判别方法进行人脸识别。
还应理解，本申请实施例中的识别目标可以与上述人脸识别过程中的识别目标相同或者不同，例如，可以均为用户活体人脸，对用户活体人脸进行注册和识别；也可以为注册过程中的识别目标为用户活体人脸，但识别过程中的识别目标为其它非活体人脸。本申请实施例对此不做限定。
可选地，所述步骤S710可以与上述步骤S210相同，通过图像采集装置获取识别目标的目标图像。可选地，所述目标图像为红外图像或者可见光彩色图像。
可选地，所述步骤S720可以与上述步骤S220相同。可选地，所述频率特征图像为体现图像中频率信息的图像，例如：FFT频谱图，或者高频特征图。具体地，对目标图像处理得到对应的FFT频谱图和高频特征图的方法可以参见上述申请实施例的描述，此处不再赘述。
可选地，所述步骤S730中基于所述频率特征图像进行人脸防伪判别，以确定所述识别目标是否为活体人脸，可以采用上述人脸识别防伪判别方法500、人脸识别防伪判别方法501、人脸识别防伪判别方法502、人脸识别防伪判别方法600中的任意一种进行判别，具体描述可以参照上述申请实施例，此处不再赘述。
可选地，在本申请实施例中，人脸注册方法还包括：具体根据所述目标图像建立人脸特征模板。
在一种可能的实施方式中，当目标图像为红外图像时，先获取识别目标的红外图像，基于所述红外图像进行模板匹配，在匹配成功的基础上进行防伪。
例如，图19示出了一种人脸注册方法800，包括：
S810：获取识别目标的红外图像；
S850：基于所述红外图像进行模板匹配；
S851：在模板匹配成功时，对所述红外图像进行处理得到频率特征图像；
S852：当模板匹配失败时，不建立人脸特征模板；
S860：基于所述频率特征图像进行人脸防伪判别，以确定所述识别目标是否为活体人脸；
S871：在所述识别目标为活体人脸时，存储红外图像为人脸特征模板；
S872：在所述识别目标不为活体人脸时，不存储红外图像为人脸特征模板。
其中，可选地，步骤S810可以与步骤S310相同。步骤S851可以与步骤S351相同。步骤S860可以与步骤S360相同。
可选地，步骤S850可以与步骤S340基于红外图像进行2D识别类似，将该红外图像与人脸特征模板库中的多个人脸特征模板进行匹配，若匹配成功，则该人脸红外图像为用户的人脸图像，若匹配失败，则该人脸红外图像不为用户的人脸图像。
可选地，步骤S871中，当识别目标为活体人脸时，将红外图像的数据存储于存储单元中，作为人脸特征模板库中一个新的人脸特征模板，该存储单元可以为执行人脸注册方法的处理器中的存储单元，也可以为执行人脸注册方法的电子设备中的存储器。
可选地，如图20所示，人脸注册方法800还可以包括：
S820：人脸检测；
S821：当人脸检测到所述红外图像上存在人脸时，对红外图像进行人脸剪切得到人脸红外图像；
S822：当人脸检测到所述红外图像上不存在人脸时，重启参数加1；
可选地，步骤S820至步骤S822可以与步骤S320至步骤S332相同。
S830：3D人脸重建；
具体地，可以通过发射结构光或者光脉冲，经过识别目标表面反射后，接收到携带识别目标表面信息的反射结构光或者反射光脉冲，从而获取识别目标的3D数据，该3D数据包含了识别目标的深度信息，能够表示识别目标的表面形状。所述3D数据可以表示为深度图(Depth Image)、3D点云(Point Cloud)、几何模型等多种不同形式。在本申请实施例中，可以根据该3D数据进行3D人脸重建，即得到表示识别目标的3D形态图像。
S831：当3D人脸重建成功时，即根据3D数据获取到识别目标的3D形态图像时，进入S840。
可选地，当3D人脸重建成功时，将该3D数据存储至存储单元中，例如，将3D点云数据作为一个3D点云数据模板存储至存储单元中，形成3D点云数据模板库。
S832：当3D人脸重建失败时，即根据该3D数据不能获取到识别目标的3D形态图像时，重启参数加1。
S840：判断S821步骤中剪切得到的人脸红外图像是否属于人脸特征模板库。可选地，通过获取红外图像的用户身份(Identification，ID)信息，判断是否存在该用户ID的人脸特征模板库，当存在该用户ID的人脸特征模板库时，进入S842：所述人脸红外图像属于人脸特征模板库。当不存在该用户ID的人脸特征模板库时，进入S841：所述人脸红外图像不属于人脸特征模板库。
S8411：当所述人脸红外图像不属于人脸特征模板库时，对红外图像进行处理得到频率特征图像，进入步骤S860。
可选地，还可以根据获取的红外图像的用户ID信息，建立新的用户人脸特征模板库。
S8501：当所述人脸红外图像属于人脸特征模板库时，基于S821步骤中剪切得到的人脸红外图像进行模板匹配。具体的匹配方法可以与步骤S850相同。
S851：当模板匹配成功时，对红外图像进行处理得到频率特征图像，进入步骤S860。
S852：当模板匹配失败时，不建立人脸特征模板，重启参数加1。
S860：基于频率特征图像进行人脸防伪判别，以确定所述识别目标是否为活体人脸。
S8711：当所述识别目标为活体人脸时，进入S8712：判断是否为有效点云。
可选地，将S830中人脸重建采集到的3D点云数据与3D点云数据模板库中多个3D点云数据模板进行匹配，判断是否为有效点云。当匹配成功时，则为无效点云，当匹配失败时，则为有效点云。具体地，点云匹配用于判断采集的3D点云数据中识别目标的人脸角度是否与3D点云数据模板中的人脸角度相同，当角度相同时，匹配成功，则说明模板库中存在相同人脸角度的3D点云数据，则为无效点云；当角度不同时，匹配失败，则说明模板库中不存在相同人脸角度的3D点云数据，则为有效点云。
可选地，还可以在此过程中，采集多张识别目标的3D点云数据，进行点云拼接和点云融合，以形成人脸全方位全角度的3D数据和3D图像，根据该3D图像可以进行3D人脸识别。
S8713：当判断3D点云数据为有效点云时，存储人脸红外图像为人脸特征模板。具体地，将人脸红外图像的数据存储于存储单元中，作为人脸特征模板库中一个新的人脸特征模板。
S8714：当判断3D点云数据为无效点云时，重启参数加1。
可选地，在判断所述3D点云数据为有效点云后，还可以判断人脸特征模板库中的人脸特征模板是否已满。
具体地，判断所述人脸特征模板库中的人脸特征模板数量是否等于预设值，若等于预设值，则人脸特征模板已满，则不再新增存储人脸特征模板。
例如，所述预设值为8，则当人脸特征模板库中的人脸特征模板数量为8时，则不再新增人脸特征模板。
当人脸特征模板未满时，存储人脸红外图像为人脸特征模板。具体地，将人脸红外图像的数据存储于存储单元中，作为人脸特征模板库中一个新的人脸特征模板。
可选地，所述人脸注册方法800还包括：
判断重启参数是否小于第二阈值。若重启参数小于第二阈值，则进入S810；若重启参数大于等于第二阈值，则识别失败。
上文结合图2至图20，详细描述了本申请的人脸识别方法实施例，下文结合图21，详细描述本申请的人脸识别装置实施例，应理解，装置实施例与方法实施例相互对应，类似的描述可以参照方法实施例。
图21是根据本申请实施例的人脸识别装置20的示意性框图，包括：
图像采集模组210，用于获取第一识别目标的第一目标图像；
处理器220，用于对所述第一目标图像进行处理得到第一频率特征图像；并基于所述第一频率特征图像进行人脸防伪判别，以确定所述第一识别目标是否为活体人脸，其中，人脸防伪判别的结果用于人脸识别。
可选地，所述第一目标图像为二维红外图像。
可选地，图像采集模组210可以为任意采集图像的装置，例如摄像头、相机等等。可选地，在本申请实施例中，图像采集模组可以为红外摄像头，用于采集红外的深度图像。可选地，图像采集模组210中包括滤波片211和光检测阵列212，所述滤波片211用于透过目标波长的光信号，滤除非目标波长的光信号，所述光检测阵列212基于所述目标波长进行光检测，并将检测到的光信号转换为电信号。可选地，该光检测阵列212包括多个像素单元，一个像素单元用于转换光信号形成一个识别目标图像中的一个像素值。可选地，所述像素单元可以采用光电二极管(photo diode)、金属氧化物半导体场效应管(Metal OxideSemiconductor Field Effect Transistor，MOSFET)等器件。可选地，所述像素单元对于目标波长光具有较高的光灵敏度和较高的量子效率，以便于检测相应波长的光信号。
具体地，在本申请实施例中，所述目标波长属于红外光波段，例如，目标波长为940nm，则滤波片211用于透过940nm的红外光信号，阻挡可见光，非940nm波长的其他红外光通过，光检测阵列212为红外光检测阵列，对940nm的红外光进行检测并形成对应于识别目标的深度图像。
可选地，所述处理器220可以为所述人脸识别装置20的处理器，也可以为包括人脸识别装置20的电子设备的处理器，本申请实施例不做限定。
可选地，所述处理器220还用于：基于所述第一目标图像进行二维识别；
在二维识别成功时，所述处理器220具体用于对所述第一目标图像进行处理得到所述第一频率特征图像；
所述处理器220还用于：在所述第一识别目标为活体人脸时，确定人脸识别成功；或者，在所述第一识别目标为非活体人脸时，确定人脸识别失败。
可选地，所述处理器220还用于：
在所述第一识别目标为活体人脸时，基于所述第一目标图像进行二维识别；
在二维识别成功时，确定人脸识别成功，或者，在二维识别失败时，确定人脸识别失败；
或者，在所述第一识别目标为非活体人脸时，确定人脸识别失败。
可选地，所述处理器220具体用于：对所述第一目标图像剪切得到人脸图像；并将所述人脸图像与多个特征模板进行匹配，当匹配成功时，二维识别成功，或者，当匹配失败时，二维识别失败。
可选地，所述第一频率特征图像包括第一快速傅里叶FFT频谱图和/或第一高频特征图，所述处理器220具体用于：
对所述第一目标图像进行快速傅里叶FFT变换得到的所述第一FFT频谱图；和/或，
对所述第一目标图像进行高频特征提取得到所述第一高频特征图。
可选地，所述处理器220具体用于：
将所述第一目标图像与高频卷积核进行卷积计算得到所述第一高频特征图。
可选地，所述处理器220具体用于：
对所述第一频率特征图像进行缩小得到第一目标频率特征图像，基于所述第一目标频率特征图像进行人脸防伪判别。
可选地，所述处理器220具体用于：
通过卷积神经网络对所述第一目标频率特征图像进行分类处理，以确定所述第一识别目标是否为活体人脸。
可选地，所述第一频率特征图像包括第一快速傅里叶FFT频谱图和/或第一高频特征图，所述处理器220具体用于：
对所述第一FFT频谱图进行缩小得到第一目标FFT频谱图；和/或
对所述第一高频特征图进行缩小得到第一目标高频特征图。
可选地，所述第一目标FFT频谱图和所述第一目标高频特征图的大小相同。
可选地，所述卷积神经网络包括：至少一个卷积层，至少一个激励层以及至少一个全连接层。
可选地，所述第一目标频率特征图像包括：所述第一目标FFT频谱图或所述第一目标高频特征图；
所述至少一个卷积层包括：至少一个第一卷积层，所述至少一个激励层包括：至少一个第二卷积层，所述至少一个全连接层包括至少一个第一全连接层；
所述处理器220具体用于：
通过所述至少一个第一卷积层，对所述第一目标FFT频谱图或所述第一目标高频特征图进行卷积计算得到多个特征图；
通过所述至少一个第一激励层，对所述多个特征图进行非线性化处理得到多个稀疏特征图；
通过所述至少一个第一全连接层，对所述多个稀疏特征图进行全连接得到多个特征常数；并采用分类函数对所述多个特征常数进行分类处理。
可选地，所述第一卷积层，所述第一激励层，以及所述第一全连接层的个数均为1。
可选地，所述第一目标频率特征图像包括：所述第一目标FFT频谱图和所述第一目标高频特征图；
所述至少一个卷积层包括至少一个第二卷积层，至少一个第三卷积层和至少一个第四卷积层，所述至少一个激励层包括至少一个第二激励层，至少一个第三激励层和至少一个第四激励层，所述至少一个全连接层包括至少一个第二全连接层；
所述处理器220具体用于：
通过所述至少一个第二卷积层和所述至少一个第二激励层对所述第一目标FFT频谱图进行处理得到多个稀疏FFT频谱特征图；
通过所述至少一个第三卷积层和所述至少一个第三激励层对所述第一目标高频特征图进行处理得到多个稀疏高频激励特征图；
通过所述至少一个第四卷积层和所述至少一个第四激励层对所述多个稀疏FFT频谱特征图和所述多个稀疏高频激励特征图进行处理得到多个稀疏总特征图；
通过所述至少一个第二全连接层，对所述多个稀疏总特征图进行全连接得到多个特征常数；并采用分类函数对所述多个特征常数进行分类处理。
可选地，所述第二卷积层，所述第三卷积层、所述第四卷积层、所述第二激励层、所述第三激励层、所述第四激励层、以及所述第二全连接层的个数均为1。
可选地，所述至少一个卷积层中的卷积核大小为3*3的矩阵，和/或所述至少一个激励层中的激励函数为参数化修正线性单元PReLU函数，和/或所述至少一个全连接层中的分类函数为Sigmoid函数。
可选地，所述图像采集模组210还用于：获取第二识别目标的第二目标图像；
可选地，所述处理器220除了用于进行人脸防伪判别以及人脸二维识别，所述处理器220还用于：
对所述第二目标图像进行处理得到第二频率特征图像；
基于所述第二频率特征图像进行人脸防伪判别，以确定所述第二识别目标是否为活体人脸，其中，人脸防伪判别的结果用于建立人脸特征模板。
可选地，所述第二目标图像为第二红外图像。
可选地，所述处理器220还用于：基于所述第二目标图像建立所述人脸特征模板。
可选地，所述处理器220还用于：基于所述第二目标图像进行人脸检测；
其中，所述基于所述第二目标图像建立人脸特征模板包括：
在人脸检测成功时，对所述第二目标图像进行人脸图像剪切形成第二人脸红外图像，基于所述第二人脸红外图像建立所述人脸特征模板。
可选地，所述处理器220具体用于：
判断所述第二人脸红外图像是否属于人脸特征模板库；
当所述第二人脸红外图像属于所述人脸特征模板库时，将所述第二人脸红外图像与所述人脸特征模板库中的多个人脸特征模板进行匹配。
当所述第二人脸红外图像不属于所述人脸特征模板库时，基于所述第二频率特征图像进行人脸防伪判别，当确定所述第二识别目标为活体人脸时，将所述第二人脸红外图像建立为人脸特征模板。
可选地，所述处理器220具体用于：当匹配成功时，基于所述第二频率特征图像进行人脸防伪判别；
当确定所述第二识别目标为活体人脸时，将所述第二人脸红外图像建立为人脸特征模板。
可选地，所述处理器220具体用于：所述当匹配成功时，获取所述第二识别目标的3D点云数据；
当所述3D点云数据为有效点云时，基于所述第二频率特征图像进行人脸防伪判别。
可选地，所述第二频率特征图像包括第二快速傅里叶FFT频谱图和/或第二高频特征图，所述处理器220具体用于：对所述第二目标图像进行快速傅里叶FFT变换得到的所述第二FFT频谱图；和/或，
对所述第二目标图像进行高频特征提取得到所述第二高频特征图。
可选地，所述处理器220具体用于：将所述第二目标图像与高频卷积核进行卷积计算得到所述第二高频特征图。
可选地，所述处理器220具体用于：对所述第二频率特征图像进行缩小得到第二目标频率特征图像，基于所述第二目标频率特征图像进行人脸防伪判别。
可选地，所述处理器220具体用于：通过卷积神经网络对所述第二目标频率特征图像进行分类处理，以确定所述第二识别目标是否为活体人脸。
可选地，所述第二频率特征图像包括第二快速傅里叶FFT频谱图和/或第二高频特征图，所述处理器220具体用于：
对所述第二FFT频谱图进行缩小得到第二目标FFT频谱图；和/或
对所述第二高频特征图进行缩小得到第二目标高频特征图。
可选地，所述第二目标FFT频谱图和所述第二目标高频特征图的大小相同。
如图22所示，本申请实施例还提供了一种电子设备2，该电子设备2可以包括上述申请实施例的人脸识别装置20。
例如，电子设备2为智能门锁、手机、电脑、门禁系统等等需要应用人脸识别的设备。所述人脸识别装置20包括电子设备2中用于人脸识别的软件以及硬件装置。
应理解，本申请实施例的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解，本申请实施例的人脸识别还可以包括存储器，存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccess Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1-20所示实施例的方法。
本申请实施例还提出了一种计算机程序，该计算机程序包括指令，当该计算机程序被计算机执行时，使得计算机可以执行图1-20所示实施例的方法。
本申请实施例还提供了一种芯片，该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线，该至少一个存储器用于存储指令，该至少一个处理器用于调用该至少一个存储器中的指令，以执行图1-20所示实施例的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (25)
1.一种人脸识别的方法，其特征在于，包括：
获取第一识别目标的第一目标图像；
对所述第一目标图像进行处理得到第一频率特征图像，所述第一频率特征图像包括第一FFT频谱图和第一高频特征图；
基于所述第一频率特征图像确定所述第一识别目标是否为活体人脸，并输出活体判断结果；
根据所述第一目标图像进行特征模板匹配，并输出匹配结果；
根据所述活体判断结果和所述匹配结果输出人脸识别结果；
其中，所述基于所述第一频率特征图像确定所述第一识别目标是否为活体人脸，包括：
对所述第一FFT频谱图进行缩小得到第一目标FFT频谱图；
对所述第一高频特征图进行缩小得到第一目标高频特征图；
通过卷积神经网络对所述第一目标FFT频谱图和所述第一目标高频特征图像进行分类处理，以确定所述第一识别目标是否为活体人脸；
其中，所述通过卷积神经网络对所述第一目标FFT频谱图和所述第一目标高频特征图像进行分类处理，以确定所述第一识别目标是否为活体人脸，包括：
通过至少一个第二卷积层和至少一个第二激励层对所述第一目标FFT频谱图进行处理得到多个稀疏FFT频谱特征图；
通过至少一个第三卷积层和至少一个第三激励层对所述第一目标高频特征图进行处理得到多个稀疏高频激励特征图；
通过至少一个第四卷积层和至少一个第四激励层对所述多个稀疏FFT频谱特征图和所述多个稀疏高频激励特征图进行处理得到多个稀疏总特征图；
通过至少一个第二全连接层，对所述多个稀疏总特征图进行全连接得到多个特征常数；并采用分类函数对所述多个特征常数进行分类处理，以确定所述第一识别目标是否为活体人脸。
2.根据权利要求1所述的方法，其特征在于，所述根据所述活体判断结果和所述匹配结果输出人脸识别结果，包括：
在所述匹配结果为成功时，根据所述活体判断结果输出人脸识别结果；或者，在所述活体判断结果为活体时，根据所述匹配结果输出人脸识别结果；或者，在所述匹配结果为失败或所述活体判断结果为非活体时，输出人脸识别结果。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标图像进行特征模板匹配，并输出匹配结果，包括：
基于所述第一目标图像进行人脸检测；
当人脸检测成功时，基于所述第一目标图像获取第一人脸图像；
将所述第一人脸图像与预存的多个特征模板进行匹配；
当所述第一人脸图像与所述多个特征模板中任意一个特征模板匹配成功时，输出匹配结果为成功，且采集所述第一识别目标的3D数据，以进行3D人脸重建，当3D人脸重建成功时，对所述第一目标图像进行处理得到至少一个第一边缘特征图像以进行活体判断，当3D人脸重建失败时，不进行活体判断；或者，
当所述第一人脸图像与所述多个特征模板匹配失败时，输出匹配结果为失败；
或者，当人脸检测失败时，输出匹配结果为失败。
4.根据权利要求1所述的方法，其特征在于，所述第一目标图像为二维红外图像。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述对所述第一目标图像进行处理得到第一频率特征图像，包括：
对所述第一目标图像进行快速傅里叶变换得到的所述第一FFT频谱图；
对所述第一目标图像进行高频特征提取得到所述第一高频特征图。
6.根据权利要求5所述的方法，其特征在于，所述对所述第一目标图像进行高频特征提取得到所述第一高频特征图，包括：
将所述第一目标图像与高频卷积核进行卷积计算得到所述第一高频特征图。
7.根据权利要求1-4中任一项所述的方法，其特征在于，所述第一目标FFT频谱图和所述第一目标高频特征图的大小相同。
8.根据权利要求1-4中任一项所述的方法，其特征在于，所述卷积神经网络包括：一个所述第二卷积层，一个所述第三卷积层、一个所述第四卷积层、一个所述第二激励层、一个所述第三激励层、一个所述第四激励层、以及一个所述第二全连接层。
9.根据权利要求1-4中任一项所述的方法，其特征在于，所述至少一个第二卷积层、所述至少一个第三卷积层以及所述至少一个第四卷积层中的卷积核为3*3的矩阵；和/或，
所述至少一个第二激励层、所述至少一个第三激励层以及所述至少一个第四激励层中的激励函数为参数化修正线性单元PReLU函数；和/或，
所述至少一个第二全连接层中的分类函数为Sigmoid函数。
10.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
获取第二识别目标的第二目标图像；
对所述第二目标图像进行处理得到第二频率特征图像；
基于所述第二频率特征图像进行人脸防伪判别，以确定所述第二识别目标是否为活体人脸，其中，人脸防伪判别的结果用于建立人脸特征模板。
11.根据权利要求10所述的方法，其特征在于，所述第二目标图像为第二红外图像。
12.根据权利要求10所述的方法，其特征在于，所述方法还包括：
基于所述第二目标图像建立所述人脸特征模板。
13.根据权利要求12所述的方法，其特征在于，所述方法还包括：
基于所述第二目标图像进行人脸检测；
其中，所述基于所述第二目标图像建立人脸特征模板包括：
在人脸检测成功时，对所述第二目标图像进行人脸图像剪切形成第二人脸图像，基于所述第二人脸图像建立所述人脸特征模板。
14.根据权利要求13所述的方法，其特征在于，所述基于所述第二人脸图像建立所述人脸特征模板，包括：
判断所述第二人脸图像是否属于人脸特征模板库；
当所述第二人脸图像属于所述人脸特征模板库时，将所述第二人脸图像与所述人脸特征模板库中的多个人脸特征模板进行匹配；
当所述第二人脸图像不属于所述人脸特征模板库时，基于所述第二频率特征图像进行人脸防伪判别，当确定所述第二识别目标为活体人脸时，将所述第二人脸图像建立为人脸特征模板。
15.根据权利要求14所述的方法，其特征在于，所述将所述第二人脸图像与所述人脸特征模板库中的多个人脸特征模板进行匹配，包括：
当匹配成功时，基于所述第二频率特征图像进行人脸防伪判别；
当确定所述第二识别目标为活体人脸时，将所述第二人脸图像建立为人脸特征模板。
16.根据权利要求15所述的方法，其特征在于，所述当匹配成功时，基于所述第二频率特征图像进行人脸防伪判别，包括：
当匹配成功时，获取所述第二识别目标的3D点云数据；
当所述3D点云数据为有效点云时，基于所述第二频率特征图像进行人脸防伪判别。
17.根据权利要求10所述的方法，所述第二频率特征图像包括第二FFT频谱图和/或第二高频特征图，所述对所述第二目标图像进行处理得到第二频率特征图像，包括：
对所述第二目标图像进行快速傅里叶FFT变换得到的所述第二FFT频谱图；和/或，
对所述第二目标图像进行高频特征提取得到所述第二高频特征图。
18.根据权利要求17所述的方法，其特征在于，所述对所述第二目标图像进行高频特征提取得到所述第二高频特征图，包括：
将所述第二目标图像与高频卷积核进行卷积计算得到所述第二高频特征图。
19.根据权利要求10所述的方法，其特征在于，所述基于所述第二频率特征图像进行人脸防伪判别包括：
对所述第二频率特征图像进行缩小得到第二目标频率特征图像，基于所述第二目标频率特征图像进行人脸防伪判别。
20.根据权利要求19所述的方法，其特征在于，所述基于所述第二目标频率特征图像进行人脸防伪判别，包括：
通过卷积神经网络对所述第二目标频率特征图像进行分类处理，以确定所述第二识别目标是否为活体人脸。
21.根据权利要求20所述的方法，其特征在于，所述第二频率特征图像包括第二FFT频谱图和/或第二高频特征图，所述对所述第二频率特征图像进行缩小得到第二目标频率特征图像，包括：
对所述第二FFT频谱图进行缩小得到第二目标FFT频谱图；和/或
对所述第二高频特征图进行缩小得到第二目标高频特征图。
22.根据权利要求21所述的方法，其特征在于，所述第二目标FFT频谱图和所述第二目标高频特征图的大小相同。
23.根据权利要求21所述的方法，其特征在于，所述通过卷积神经网络对所述第二目标频率特征图像进行分类处理包括：
通过卷积神经网络对所述第二目标FFT频谱图和/或所述第二目标高频特征图进行分类处理。
24.一种人脸识别的装置，其特征在于，包括：处理器；
所述处理器用于执行：如权利要求1至23中任一项所述的人脸识别的方法。
25.一种电子设备，其特征在于，包括：
如权利要求24所述的人脸识别的装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/093163 WO2020258121A1 (zh) | 2019-06-27 | 2019-06-27 | 一种人脸识别的方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110462633A CN110462633A (zh) | 2019-11-15 |
| CN110462633B true CN110462633B (zh) | 2023-05-26 |
Family
ID=68492782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980001106.4A Active CN110462633B (zh) | 2019-06-27 | 2019-06-27 | 一种人脸识别的方法、装置和电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110462633B (zh) |
| WO (1) | WO2020258121A1 (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111178137B (zh) * | 2019-12-04 | 2023-05-26 | 百度在线网络技术（北京）有限公司 | 检测真实人脸方法、装置、电子设备以及计算机可读存储介质 |
| US11402273B2 (en) * | 2020-03-27 | 2022-08-02 | Ecb Consulting Llc | Systems and approaches for improving accuracy of temperature measurements using thermal imaging |
| CN111538968A (zh) * | 2020-05-27 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护的身份核验方法、装置及设备 |
| CN111723714B (zh) * | 2020-06-10 | 2023-11-03 | 上海商汤智能科技有限公司 | 识别人脸图像真伪的方法、装置及介质 |
| CN112200056B (zh) * | 2020-09-30 | 2023-04-18 | 汉王科技股份有限公司 | 人脸活体检测方法、装置、电子设备及存储介质 |
| CN112528973A (zh) * | 2021-02-08 | 2021-03-19 | 上海齐感电子信息科技有限公司 | 人脸活体识别方法 |
| CN113053395B (zh) * | 2021-03-05 | 2023-11-17 | 深圳市声希科技有限公司 | 发音纠错学习方法、装置、存储介质及电子设备 |
| CN113378715B (zh) * | 2021-06-10 | 2024-01-05 | 北京华捷艾米科技有限公司 | 一种基于彩色人脸图像的活体检测方法及相关设备 |
| CN113516089B (zh) * | 2021-07-27 | 2024-04-12 | 中国平安人寿保险股份有限公司 | 人脸图像识别方法、装置、设备及可读存储介质 |
| CN113673465B (zh) * | 2021-08-27 | 2024-08-02 | 中国信息安全测评中心 | 图像检测方法、装置、设备及可读存储介质 |
| CN114780939B (zh) * | 2022-06-21 | 2022-09-13 | 北京奥康达体育产业股份有限公司 | 一种室外健身车登录控制系统 |
| CN115130082B (zh) * | 2022-08-26 | 2022-11-04 | 中电长城圣非凡信息系统有限公司 | 一种用于加固计算机的智能感知与安全控制方法 |
| CN115661725B (zh) * | 2022-12-26 | 2023-03-21 | 浙江鹏信信息科技股份有限公司 | Deepfake视频检测方法、系统及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101999900A (zh) * | 2009-08-28 | 2011-04-06 | 南京壹进制信息技术有限公司 | 一种应用于人脸识别的活体检测方法及系统 |
| CN107818313A (zh) * | 2017-11-20 | 2018-03-20 | 腾讯科技（深圳）有限公司 | 活体识别方法、装置、存储介质和计算机设备 |
| CN107958235A (zh) * | 2017-12-28 | 2018-04-24 | 泰康保险集团股份有限公司 | 一种人脸图像检测方法、装置、介质和电子设备 |
| CN108805024A (zh) * | 2018-04-28 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| WO2019050808A1 (en) * | 2017-09-08 | 2019-03-14 | Pinscreen, Inc. | SCANNING AVATAR FROM A SINGLE IMAGE FOR REAL TIME REALIZATION |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100073191A (ko) * | 2008-12-22 | 2010-07-01 | 한국전자통신연구원 | 거리 정보를 이용한 위조 얼굴 검출 방법 및 장치 |
| CN107247949B (zh) * | 2017-08-02 | 2020-06-19 | 智慧眼科技股份有限公司 | 基于深度学习的人脸识别方法、装置和电子设备 |
-
2019
- 2019-06-27 WO PCT/CN2019/093163 patent/WO2020258121A1/zh active Application Filing
- 2019-06-27 CN CN201980001106.4A patent/CN110462633B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101999900A (zh) * | 2009-08-28 | 2011-04-06 | 南京壹进制信息技术有限公司 | 一种应用于人脸识别的活体检测方法及系统 |
| WO2019050808A1 (en) * | 2017-09-08 | 2019-03-14 | Pinscreen, Inc. | SCANNING AVATAR FROM A SINGLE IMAGE FOR REAL TIME REALIZATION |
| CN107818313A (zh) * | 2017-11-20 | 2018-03-20 | 腾讯科技（深圳）有限公司 | 活体识别方法、装置、存储介质和计算机设备 |
| CN107958235A (zh) * | 2017-12-28 | 2018-04-24 | 泰康保险集团股份有限公司 | 一种人脸图像检测方法、装置、介质和电子设备 |
| CN108805024A (zh) * | 2018-04-28 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| 《deep face liveness detection based on nonlinear diffusion using convolution neural network》;Aziz Alotaibi et al.;《Signal image and video processing 》;20161108;全文 * |
| 《人脸活体检测算法研究与实现》;董吉祥;《中国优秀硕士学位论文全文数据库信息科技辑》;20190115(第1期);全文 * |
| 《人脸识别系统中的活体检测技术的研究》;李冰;《中国优秀硕士学位论文全文数据库信息科技辑》;20180615(第6期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110462633A (zh) | 2019-11-15 |
| WO2020258121A1 (zh) | 2020-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110462633B (zh) | 一种人脸识别的方法、装置和电子设备 | |
| CN110383288B (zh) | 人脸识别的方法、装置和电子设备 | |
| EP3866052B1 (en) | Face anti-spoof detection method, device and multi-view camera | |
| CN107766786B (zh) | 活性测试方法和活性测试计算设备 | |
| CN110520865A (zh) | 人脸识别的方法、装置和电子设备 | |
| Syarif et al. | Enhanced maximum curvature descriptors for finger vein verification | |
| CN108345818B (zh) | 一种人脸活体检测方法及装置 | |
| CN110705392A (zh) | 一种人脸图像检测方法及装置、存储介质 | |
| KR100608595B1 (ko) | 얼굴 인식 방법 및 장치 | |
| CN112487922B (zh) | 一种多模态人脸活体检测方法及系统 | |
| CN110462632A (zh) | 人脸识别的方法、装置和电子设备 | |
| CN111095297B (zh) | 人脸识别的装置、方法和电子设备 | |
| CN112232155B (zh) | 非接触指纹识别的方法、装置、终端及存储介质 | |
| CN104680128B (zh) | 一种基于四维分析的生物特征识别方法和系统 | |
| CN112232163B (zh) | 指纹采集方法及装置、指纹比对方法及装置、设备 | |
| KR20130048076A (ko) | 얼굴 인식 장치 및 그 제어방법 | |
| CN112016525A (zh) | 非接触式指纹采集方法和装置 | |
| CN110532746B (zh) | 人脸校验方法、装置、服务器及可读存储介质 | |
| CN112232159B (zh) | 指纹识别的方法、装置、终端及存储介质 | |
| CN111339897A (zh) | 活体识别方法、装置、计算机设备和存储介质 | |
| CN210166794U (zh) | 人脸识别的装置和电子设备 | |
| CN112232157B (zh) | 指纹区域检测方法、装置、设备、存储介质 | |
| CN112232152B (zh) | 非接触式指纹识别方法、装置、终端和存储介质 | |
| Jagadeesh et al. | DBC based Face Recognition using DWT | |
| Sayed et al. | Real-Time Dorsal Hand Recognition Based on Smartphone |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |