CN110383288A - 人脸识别的方法、装置和电子设备 - Google Patents

人脸识别的方法、装置和电子设备 Download PDF

Info

Publication number
CN110383288A
CN110383288A CN201980000869.7A CN201980000869A CN110383288A CN 110383288 A CN110383288 A CN 110383288A CN 201980000869 A CN201980000869 A CN 201980000869A CN 110383288 A CN110383288 A CN 110383288A
Authority
CN
China
Prior art keywords
face
image
depth image
identification target
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980000869.7A
Other languages
English (en)
Other versions
CN110383288B (zh
Inventor
潘雷雷
吴勇辉
范文文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Huiding Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huiding Technology Co Ltd filed Critical Shenzhen Huiding Technology Co Ltd
Publication of CN110383288A publication Critical patent/CN110383288A/zh
Application granted granted Critical
Publication of CN110383288B publication Critical patent/CN110383288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

一种人脸识别的方法、装置和电子设备,能够提升人脸识别的安全性。该人脸识别的方法包括:获取识别目标的深度图像;基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构,其中,人脸防伪判别的结果用于人脸识别。

Description

人脸识别的方法、装置和电子设备
技术领域
本申请涉及生物特征识别技术领域,并且更具体地,涉及一种人脸识别的方法、装置和电子设备。
背景技术
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的图像预处理、图像特征提取以及匹配与识别等一系列相关技术,通常也叫做人像识别或面部识别。随着计算机和网络技术的飞速发展,人脸识别技术已广泛地应用于智能门禁、移动终端、公共安全、娱乐、军事等诸多行业及领域。
当前人脸识别普遍使用的是基于二维(Two Dimensional,2D)图像上的2D特征进行识别,一般不判断该2D图像是否来自三维(Three Dimensional,3D)人脸,因此,具有人脸2D特征的人脸照片图像即可通过现有的人脸识别装置,换言之,现有的人脸识别装置防伪性能和安全性能差。
发明内容
本申请实施例提供了一种人脸识别的方法、装置和电子设备,能够提升人脸识别的防伪性能和安全性能。
第一方面,提供了一种人脸识别的方法,包括:
获取识别目标的深度图像;
基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构,其中,人脸防伪判别的结果用于人脸识别。
本申请提供的人脸识别方案中,通过获取识别目标的深度图像得到识别目标的深度信息,基于深度信息进行人脸防伪判别,可以判别出该识别目标是否为三维人脸结构,即二维人脸照片,非三维人脸结构的伪三维模型等无法通过人脸防伪判别。因此,基于深度图像的人脸防伪判别的结果用于人脸识别,可以提高人脸识别的安全性。
在一种可能的实现方式中,所述方法还包括:获取所述识别目标的二维图像;基于所述二维图像进行二维识别;
其中,所述获取识别目标的深度图像,包括:在二维识别成功时,获取所述识别目标的深度图像;
所述方法还包括:在所述识别目标为三维人脸结构时,确定人脸识别成功;或者,在所述识别目标不为三维人脸结构时,确定人脸识别失败。
在一种可能的实现方式中,所述方法还包括:
在所述识别目标为三维人脸结构时,获取所述识别目标的二维图像,并基于所述二维图像进行二维识别;
在二维识别成功时,确定人脸识别成功,或者,在二维识别失败时,确定人脸识别失败;
或者,在所述识别目标为非三维人脸结构时,确定人脸识别失败。
在一种可能的实现方式中,所述方法还包括:
基于所述二维图像进行人脸检测;
其中,所述基于所述二维图像进行二维识别包括:
在人脸检测成功时,对所述二维图像进行人脸图像剪切形成人脸二维图像,基于所述人脸二维图像进行二维识别。
在一种可能的实现方式中,所述基于所述人脸二维图像进行二维识别,包括:
将所述人脸二维图像的特征向量与多个模板特征向量进行匹配,当匹配成功时,二维识别成功,或者,当匹配失败时,二维识别失败。
在一种可能的实现方式中,所述方法还包括:
当人脸识别成功时,基于所述人脸二维图像的特征向量进行模板学习。
在一种可能的实现方式中,所述获取识别目标的深度图像,包括:
投射结构光至所述识别目标;
接收所述结构光经所述识别目标反射后的反射结构光信号,并将所述反射结构光信号转换得到所述深度图像。
在一种可能的实现方式中,所述获取所述识别目标的二维图像,包括:
发射红外光至所述识别目标;
接收所述红外光经所述识别目标反射后的反射红外光信号,并将所述反射红外光信号转换得到所述二维图像。
在一种可能的实现方式中,所述基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构,包括:
对所述深度图像进行预处理得到优化深度图像;
通过卷积神经网络对所述优化深度图像进行分类处理,以确定所述识别目标是否为三维人脸结构。
在一种可能的实现方式中,所述对所述深度图像进行预处理得到优化深度图像,包括:
采用直方图均衡化方法对所述深度图像进行处理得到所述优化深度图像。
在一种可能的实现方式中,所述对所述深度图像进行预处理得到优化深度图像,还包括:
采用局部二值模式特征处理方法对所述深度图像处理得到所述优化深度图像。
在一种可能的实现方式中,所述卷积神经网络包括至少一个卷积层,所述通过卷积神经网络对所述优化深度图像进行分类处理,包括:
通过所述至少一个卷积层,对所述优化深度图像进行卷积计算得到多个特征图,对所述多个特征图进行处理。
在一种可能的实现方式中,所述至少一个卷积层包括:特征检测卷积层,包括n个第一卷积核,其中n为正整数;所述对所述优化深度图像进行卷积计算包括:
基于所述n个第一卷积核,对所述优化深度图像进行卷积计算得到n个第一特征图。
在一种可能的实现方式中,所述至少一个卷积层还包括:深度卷积层,包括n个第二卷积核;所述对所述优化深度图像进行卷积计算还包括:
将所述n个第一特征图中的第i个第一特征图与所述n个第二卷积核中的第i个第二卷积核进行卷积计算得到n个第二特征图中的第i个特征图,其中i为小于等于n的正整数。
在一种可能的实现方式中,所述至少一个卷积层还包括:逐点卷积层,包括m组第三卷积核,其中m为正整数;所述对所述优化深度图像进行卷积计算还包括:
所述m组第三卷积核中第j组卷积核与所述n个第二特征图进行卷积计算后相加得到m个第三特征图中的第j个第三特征图,其中j为小于等于m的正整数。
在一种可能的实现方式中,所述第一卷积核与所述第二卷积核为3*3的矩阵,所述第三卷积核为1*1的矩阵。
在一种可能的实现方式中,所述卷积神经网络还包括至少一个激励层,所述对所述多个特征图进行处理包括:
采用激励函数对所述多个特征图中的每个像素值进行非线性化处理,得到多个稀疏特征图,对所述多个稀疏特征图进行处理。
在一种可能的实现方式中,所述激励函数为修正线性单元ReLU函数。
在一种可能的实现方式中,所述卷积神经网络还包括至少一个压缩奖惩SE网络层,所述对所述多个稀疏特征图进行处理包括:
对所述多个稀疏特征图进行压缩和奖惩加权处理,得到多个压缩奖惩SE模块,对所述多个压缩奖惩SE模块进行处理。
在一种可能的实现方式中,所述卷积神经网络还包括至少一个全连接层,所述对所述多个压缩奖惩SE模块进行处理包括:
对所述多个SE模块进行至少一次全连接,得到多个稀疏常数,对所述多个稀疏常数进行分类处理。
在一种可能的实现方式中,所述对所述多个稀疏常数进行分类处理包括:
采用Sigmoid函数对所述多个稀疏常数进行分类,以确定所述识别目标是否为三维人脸结构。
第二方面,提供了一种人脸识别的装置,包括:
图像采集模组,用于获取识别目标的深度图像;
处理器,用于基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构,其中,人脸防伪判别的结果用于人脸识别。
在一种可能的实现方式中,所述图像采集模组还用于:获取所述识别目标的二维图像;
所述处理器还用于:基于所述二维图像进行二维识别;
其中,所述图像采集模组具体用于:在二维识别成功时,获取所述识别目标的深度图像;
所述处理器还用于:在所述识别目标为三维人脸结构时,确定人脸识别成功;或者,在所述识别目标不为三维人脸结构时,确定人脸识别失败。
在一种可能的实现方式中,在所述识别目标为三维人脸结构时,所述图像采集模组还用于:
获取所述识别目标的二维图像;
所述处理器还用于:基于所述二维图像进行二维识别;
在二维识别成功时,确定人脸识别成功,或者,在二维识别失败时,确定人脸识别失败;
或者,在所述识别目标为非三维人脸结构时,所述处理器还用于:确定人脸识别失败。
在一种可能的实现方式中,所述处理器还用于:
基于所述二维图像进行人脸检测;
其中,所述处理器具体用于:在人脸检测成功时,对所述二维图像进行人脸图像剪切形成人脸二维图像,基于所述人脸二维图像进行二维识别。
在一种可能的实现方式中,所述处理器具体用于:
将所述人脸二维图像的特征向量与多个模板特征向量进行匹配,当匹配成功时,二维识别成功,或者,当匹配失败时,二维识别失败。
在一种可能的实现方式中,所述处理器还用于:
当人脸识别成功时,基于所述人脸二维图像的特征向量进行模板学习。
在一种可能的实现方式中,所述装置还包括:结构光投射模组;
所述结构光投射模组用于投射结构光至所述识别目标;
其中,所述图像采集模组具体用于接收所述结构光经所述识别目标反射后的反射结构光信号,并将所述反射结构光信号转换得到所述深度图像。
在一种可能的实现方式中,所述结构光为点阵光或者随机散斑。
在一种可能的实现方式中,所述结构光投射模组为点阵光投射器或者散斑结构光投射器。
在一种可能的实现方式中,所述装置还包括红外发光模组;
所述红外发光模组用于发射红外光至所述识别目标;
其中,所述图像采集模组具体用于接收所述红外光经所述识别目标反射后的反射红外光信号,并将所述反射红外光信号转换得到二维图像。
在一种可能的实现方式中,所述图像采集模组为红外摄像头,包括滤波片和红外光检测阵列。
在一种可能的实现方式中,所述处理器具体用于:
对所述深度图像进行预处理得到优化深度图像;
通过卷积神经网络对所述优化深度图像进行分类处理,以确定所述识别目标是否为三维人脸结构。
在一种可能的实现方式中,所述处理器具体用于:
采用直方图均衡化装置对所述深度图像进行处理得到所述优化深度图像。
在一种可能的实现方式中,所述处理器具体用于:
采用局部二值模式特征处理装置对所述深度图像处理得到所述优化深度图像。
在一种可能的实现方式中,所述卷积神经网络包括至少一个卷积层,所述处理器具体用于:
通过所述至少一个卷积层,对所述优化深度图像进行卷积计算得到多个特征图,对所述多个特征图进行处理。
在一种可能的实现方式中,所述至少一个卷积层包括:特征检测卷积层,包括n个第一卷积核,其中n为正整数;所述处理器具体用于:
基于所述n个第一卷积核,对所述优化深度图像进行卷积计算得到n个第一特征图。
在一种可能的实现方式中,所述至少一个卷积层还包括:深度卷积层,包括n个第二卷积核;所述处理器具体用于:
将所述n个第一特征图中的第i个第一特征图与所述n个第二卷积核中的第i个第二卷积核进行卷积计算得到n个第二特征图中的第i个特征图,其中i为小于等于n的正整数。
在一种可能的实现方式中,所述至少一个卷积层还包括:逐点卷积层,包括m组第三卷积核,其中m为正整数;所述处理器具体用于:
所述m组第三卷积核中第j组卷积核与所述n个第二特征图进行卷积计算后相加得到m个第三特征图中的第j个第三特征图,其中j为小于等于m的正整数。
在一种可能的实现方式中,所述第一卷积核与所述第二卷积核为3*3的矩阵,所述第三卷积核为1*1的矩阵。
在一种可能的实现方式中,所述卷积神经网络还包括至少一个激励层,所述处理器具体用于:
采用激励函数对所述多个特征图中的每个像素值进行非线性化处理,得到多个稀疏特征图,对所述多个稀疏特征图进行处理。
在一种可能的实现方式中,所述激励函数为修正线性单元ReLU函数。
在一种可能的实现方式中,所述卷积神经网络还包括至少一个压缩奖惩SE网络层,所述处理器具体用于:
对所述多个稀疏特征图进行压缩和奖惩加权处理,得到压缩奖惩SE模块,对所述压缩奖惩SE模块进行处理。
在一种可能的实现方式中,所述卷积神经网络还包括至少一个全连接层,所述处理器具体用于:
对所述SE模块中的多个矩阵进行至少一次全连接,得到多个稀疏常数,对所述多个稀疏常数进行分类处理。
在一种可能的实现方式中,所述处理器具体用于:
采用Sigmoid函数对所述多个稀疏常数进行分类,以确定所述识别目标是否为三维人脸结构。
第三方面,提供了一种电子设备,包括如第二方面或第二方面的任一可能的实现方式中的人脸识别的装置。
第四方面,提供了一种芯片,该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线,该至少一个存储器用于存储指令,该至少一个处理器用于调用该至少一个存储器中的指令,以执行第一方面或第一方面的任一可能的实现方式中的方法。
第五方面,提供了一种计算机可读介质,用于存储计算机程序,所述计算机程序包括用于执行上述第一方面或第一方面的任一可能的实现方式中的指令。
第六方面,提供了一种包括指令的计算机程序产品,当计算机运行所述计算机程序产品的所述指时,所述计算机执行上述第一方面或第一方面的任一可能的实现方式中的人脸识别的方法。
具体地,该计算机程序产品可以运行于上述第三方面的电子设备上。
附图说明
图1a是根据本申请实施例的一种人脸识别装置的示意性框图。
图1b是根据本申请实施例的一种人脸识别流程的示意性流程图。
图1c是根据本申请实施例的一种卷积神经网络的示意性框图。
图2是根据本申请实施例的另一种人脸识别流程的示意性流程图。
图3中的(a)图是根据本申请实施例的人脸照片的深度图像。
图3中的(b)图是根据本申请实施例的用户人脸的深度图像。
图4是根据本申请实施例的另一种人脸识别流程的示意性流程图。
图5是根据本申请实施例的另一种人脸识别流程的示意性流程图。
图6是根据本申请实施例的另一种人脸识别流程的示意性流程图。
图7是根据本申请实施例的另一种人脸识别流程的示意性流程图。
图8是根据本申请实施例的另一种人脸识别流程的示意性流程图。
图9是根据本申请实施例的一种卷积神经网络的示意性框图。
图10是根据本申请实施例的一种全连接层示意图。
图11是根据本申请实施例的另一种卷积神经网络的示意性框图。
图12是根据本申请实施例的人脸识别方法中一种人脸注册方法的示意性流程图。
图13是根据本申请实施例的人脸识别方法中另一种人脸注册方法的示意性流程图。
图14是根据本申请实施例的人脸识别方法中另一种人脸注册方法的示意性流程图。
图15是根据本申请实施例的另一种人脸识别装置的示意性框图。
图16是根据本申请实施例的另一种人脸识别装置的示意性框图。
图17根据本申请实施例的电子设备的示意性框图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
本申请实施例可适用于光学人脸识别系统,包括但不限于基于光学人脸成像的产品。该光学人脸识别系统可以应用于具有图像采集装置(如摄像头)的各种电子设备,该电子设备可以为手机,平板电脑,智能可穿戴装置、智能门锁等,本公开的实施例对此不做限定。
应理解,本文中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例,而非限制本申请实施例的范围。
还应理解,本申请实施例中的公式只是一种示例,而非限制本申请实施例的范围,各公式可以进行变形,这些变形也应属于本申请保护的范围。
还应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
还应理解,本说明书中描述的各种实施方式,既可以单独实施,也可以组合实施,本申请实施例对此并不限定。
除非另有说明,本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本申请的范围。本申请所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。
为了便于理解,先结合图1a、图1b和图1c,对基于2D图像的人脸识别进行电子设备的解锁过程进行简单介绍。
如图1a所示,人脸识别装置10包括红外发光模组110、红外图像采集模组120和处理器130。其中,所述红外光发光模组110用于发出红外光信号,其可以为红外光发光二极管(Light Emitting Diode,LED),或者也可以为垂直腔面发射激光器(Vertical CavitySurface Emitting Laser,VCSEL)等其它红外光发光光源,本申请实施例对此不做限定。所述红外图像采集模组120可以为红外摄像头,其中包括红外图像传感器,该红外图像传感器用于接收红外光信号,并将接收的红外光信号转换为对应的电信号,从而生成红外图像。所述处理器130可以为一种微处理器(Microprocessor Unit,MPU),可以控制所述红外发光模组110和所述红外图像采集模组120进行人脸图像采集,并且进行人脸图像识别。
具体地,如图1b所示,当需要进行人脸识别时,具体2D识别流程如下:
S110:采集2D红外图像。具体地,所述红外发光模组110发出红外光,该红外光照射在待识别目标上,该待识别目标可以为用户人脸,也可以为照片,3D模型或者任意其它物体。经过待识别目标表面反射的红外反射光被红外图像传感器120接收并转换为2D红外图像,所述红外图像传感器120将2D红外图像传输给处理器130。
S120:人脸检测(face detection)。即接收2D红外图像,检测2D红外图像上是否存在人脸。例如,采用单个卷积神经网络(Convolutional Neural Networks,CNN)对2D红外图像进行人脸检测。首先训练一个判断人脸非人脸的人脸检测卷积神经网络,将2D红外图像的数据输入至人脸检测卷积神经网络中,通过卷积计算等步骤,将2D红外图像的数据的特征提取后,进行分类判别,从而判断该2D红外图像上是否存在人脸。
具体地,如图1c所示,卷积神经网络主要包括卷积层101(convolutional layer)、激励层102(activation layer),池化层103(pooling layer)、以及全连接层104(fully-connected layer)。其中,卷积神经网路中每层卷积层由若干卷积核(convolutionalkernel)组成,每个卷积核的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征,不同的卷积核提取不同的特征图(feature map),更多层的卷积网络能从边缘特征、线条特征等低级特征中迭代提取更复杂的特征。激励层使用激励函数(activation function)给卷积神经网络引入了非线性,常用的激励函数有sigmoid、tanh、ReLU函数等。通常在卷积层之后会得到维度很大的特征,池化层将特征切成几个区域,取其最大值(max pooling)或平均值(average pooling),得到新的、维度较小的特征图。全连接层把所有局部特征结合变成全局特征,用来计算最后每一类的得分,从而判断输入的数据的类别。
S121:若2D红外图像上存在人脸,则对2D红外图像进行人脸剪切。具体地,将上述人脸检测卷积神经网络的全连接层改为卷积层,这样网络变成了全卷积网络,2D红外图像经过全卷积网络将得到特征图,特征图上每一个“点”对应该位置映射到原图区域属于人脸的概率,将属于人脸概率大于设定阈值的视为人脸候选框。将2D红外图像中人脸候选框中的图像剪切形成新的人脸2D红外图像。
S122:若2D红外图像上不存在人脸,则将重启参数加1。
可选地,还可以通过级联CNN,Dlib,OpenCV等方法进行人脸检测,并剪切得到新的人脸2D红外图像。本申请实施例中对此不做限定。
S130:2D人脸识别(face recognition)。即对S131形成的人脸2D红外图像进行识别,判断该人脸2D红外图像是否为用户的人脸。例如,采用卷积神经网络的方法进行人脸识别,具体地,首先训练一个判断是否为用户人脸的人脸识别卷积神经网络,该人脸识别卷积神经网络按照模板库中的多个模板特征向量分类。将人脸2D红外图像的数据输入至人脸识别卷积神经网络中,通过卷积计算等步骤,将人脸2D红外图像的数据的特征提取后,进行分类判别,判断该人脸2D红外图像的特征向量是否与模板库中多个模板特征向量匹配。
S131:若匹配成功,则该人脸2D红外图像为用户的人脸图像,2D识别成功。进一步的,可以解锁人脸识别装置10所在的电子设备,也可以解锁电子设备上应用程序。
S132:若匹配失败,则该人脸2D红外图像不为用户的人脸图像,则2D识别失败,将重启参数加1。
S140:判断重启参数是否小于预设的第一阈值。
S141:若重启参数小于第一阈值,则进入S110;
S142:若重启参数大于等于第一阈值,则识别失败。
在图1a和图1b中,人脸识别装置10通过采集人脸的2D红外图像,判断人脸的2D图像是否符合特征人脸模板库中的特征人脸来进行人脸识别,从而对电子设备和电子设备上的应用程序(application,APP)进行解锁。由于在解锁过程中,人脸识别装置10仅仅依据2D图像上的二维特征进行人脸识别,无法识别采集的2D红外图像是否来源自活人人脸或者其他照片、视频等其他非活人人脸物体,换言之,该人脸识别装置10不具有防伪功能,可以通过盗取带有用户人脸的照片、视频等信息,对电子设备以及应用程序进行解锁,因而人脸识别装置及电子设备的安全性能受到了极大的影响。
为解决上述问题,本申请实施例提供一种带有防伪功能的人脸识别方案,通过采集人脸图像的深度信息形成深度图,并基于该深度图进行人脸防伪,判断采集的深度图是否来自用户的活体人脸,从而大大提高人脸识别装置及电子设备的安全性。
下面,结合图2至图14,对本申请实施例提供的人脸识别方法进行详细介绍。
图2为本申请实施例提供的一种人脸识别的方法200,包括:
S210:获取识别目标的深度图像;
S220:基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构,其中,人脸防伪判别的结果用于人脸识别。
应理解,所述识别目标包括但不限于人脸、照片、视频、三维模型等任意物体。例如,所述识别目标可以为用户人脸、其他人的人脸、用户照片、贴有照片的曲面模型等等。
具体地,所述深度图像(depth image),也被称为距离影像(range image)。所述识别目标的深度图像中的像素值表示识别目标的表面各点与同一点或者同一平面之间距离信息,例如,在一种可能的实施方式中,图像采集模块获取识别目标的深度图像,所述像素值表示识别目标的表面各点距离图像采集模块的距离。当深度图像为灰度图像时,图像像素值的变化也可以表现为图像的灰度变化,因此,深度图像的灰度变化也对应于识别目标的深度变化,直接反映了识别目标可见表面的几何形状以及深度信息。
可选地,所述深度图像可以表示为像素值的矩阵,所述深度图像的像素值(也称为灰度值)为0至255,不同的像素值对应不同的深度信息。
应理解,深度图像经过坐标转换可以计算为识别目标的点云数据,有规则及必要信息的点云数据也可以反算为深度图像数据。
可选地,在一种可能的实施方式中,通过投射结构光至所述识别目标,并接收所述结构光经所述识别目标反射后的反射结构光信号,并将所述反射结构光信号转换得到深度图像。例如,一种结构光投射模组投射结构光至所述识别目标,图像采集模组接收所述结构光经所述识别目标反射后的反射结构光信号,并将所述反射结构光信号转换得到深度图像。
具体地,所述结构光是具有特定模式的光,其具有例如点、线、面等模式图案,具体可以为具有特定模式图案的红外光信号。基于结构光的深度图像获取原理是:将结构光投射至目标物体,经反射后,捕获相应的带有结构光的图像。由于结构光的模式图案会因为目标物体的表面形状发生变形,因此通过结构光中的模式图案在捕捉得到的图像中的位置以及形变程度利用三角原理计算即可得到目标物体中各点的深度信息,即目标物体中各点至结构光投射模组的距离,从而获取识别目标物体的深度图像。
可选地,所述结构光包括但不限于散斑图像,点阵光等带有结构图案的光信号,所述结构光投射模组可以为任意投射结构光的装置结构,包括但不限于:采用VCSEL光源的点阵光投射器,散斑结构光投射器等发光装置。
可选地,在一种可能的实施方式中,还可以采用飞行时间(Time of Flight,TOF)光模组来获取深度图像,其原理是:通过对识别目标发射连续的近红外脉冲,然后用采集模块接收由目标物体反射回的光脉冲。通过比较发射光脉冲与经过物体反射的光脉冲的相位差,可以推算得到光脉冲之间的传输延迟进而得到目标物体相对于发射器的距离,最终得到一幅深度图像。
应理解,本申请实施例还可以采用其他能够获取识别目标深度信息的光模组来进行深度图像的采集,本申请实施例对此不做限定。
具体地,在本申请实施例中,当识别目标为三维人脸时,该深度图像能够精确反映人脸的五官立体特征,例如,五官各部分的深度信息等等,用于区分真三维人脸与二维人脸(人脸照片),假三维人脸(粘贴有人脸照片的三维曲面)的差异,用于进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构。
例如,如图3所示,图3中的(a)图为人脸照片的深度图像,由于照片为平面结构,所有的深度信息相同或相近,不随照片上的内容变化,因此,人脸照片的深度图像的灰度值变化小,无法呈现人脸图像特征。图3中的(b)图为用户人脸的深度图像,由于人脸五官的深度信息不同,因而从图中可以看出,深度图像中不同的灰度信息反映人脸五官的具体特征,例如,图中鼻子距离图像采集模组的距离近,灰度值较大,颜色较深。
可选地,不同人的人脸深度信息不同,呈现出的深度图像也不同,也可以通过深度图像实现人脸识别。
在本申请实施例中,基于深度图像进行人脸防伪的结果用于人脸识别,换言之,在人脸识别的过程中,增加人脸防伪的判别过程,用于提高人脸识别的安全等级。
目前,人脸防伪有不同的安全等级,如下表1所示,不同的等级代表不同的人脸防伪要求。即例如:防伪等级为等级1时,能识别出2D打印静态平面人脸。
表1
图1a和图1b中的人脸识别方法以及人脸识别装置无法判断采集的2D图像来源自照片还是真人脸,因而不具有防伪功能,无法达到表1中人脸防伪等级的等级1。但在本申请实施例中,由于可以通过深度图像得到人脸的3D深度信息,因而可以识别出二维人脸以及假三维人脸,从而可以达到人脸防伪等级3,防伪和识别的安全性能得到大幅提高。
可选地,在一种可能的实施方式中,基于3D识别的结果以及人脸防伪的结果进行人脸识别。例如,先基于深度图像进行人脸防伪的判别,若判别为非三维人脸结构,则直接识别失败,若判别为三维人脸结构,再做3D识别,在此情况下,可以提高3D识别的效率。
可选地,在另一种可能的实施方式中,基于2D识别的结果以及人脸防伪的结果进行人脸识别。
可选地,可以先进行2D识别,在2D识别的基础上,根据2D识别的结果基于所述深度图像再次进行人脸防伪,使识别过程更加安全有效。例如,如图4所示,本申请实施例提供的另一种人脸识别的方法300,包括:
S310:获取所述识别目标的2D图像;
S340:基于所述2D图像进行2D识别;
S351:在2D识别成功时,获取所述识别目标的深度图像;
S360:基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构;
S371:在所述识别目标为三维人脸结构时,确定人脸识别成功;
S372:在所述识别目标不为三维人脸结构时,确定人脸识别失败。
可选地,还可以先进行人脸防伪,在人脸防伪的基础上,根据人脸防伪的结果再进行2D识别,可以提前排除非人脸3D结构的情况,提高识别的效率。例如,如图5所示,本申请实施例提供的另一种人脸识别的方法400,包括:
S410:获取识别目标的深度图像;
S420:基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构;
S431:在所述识别目标为三维人脸结构时,获取所述识别目标的2D图像;
S432:在所述识别目标为非三维人脸结构时,确定人脸识别失败;
S460:基于所述2D图像进行2D识别;
S471:在2D识别成功时,确定人脸识别成功;
S472:在2D识别失败时,确定人脸识别失败。
具体地,所述识别目标的2D图像为反映识别目标形状特征的2D图像,该2D图像可以为彩色图像或者为灰度图像。特别地,当识别目标为活人人脸时,该2D图像为可以为人脸的红外照片,即为无色彩的灰度图像,其灰度信息可以反映人脸的五官平面特征,脸部纹理特征等等,用于区分人脸形态上的差异。
可选地,在一种可能的实施方式中,通过发射红外光至所述识别目标,接收所述红外光经所述识别目标反射后的反射红外光信号,并将所述反射红外光信号转换得到2D图像。例如,一种红外光发射模组发射红外光至所述识别目标,图像采集模组接收所述红外光经所述识别目标反射后的红外光信号,并将所述反射红外光信号转换得到2D图像。
可选地,在步骤S310以及步骤S431中,可以通过图像采集模组获取识别目标的2D图像。该图像采集模组可以为图1a中的红外图像采集模组120。
可选地,在步骤S320以及步骤S440中,所述基于所述2D图像进行2D识别的过程可以与图1b中的步骤S130相同。
可选地,在步骤S351与步骤S360之间,人脸识别方法300还可以包括:3D人脸重建。即当2D识别成功,获取深度图像后,根据所述深度图像进行3D人脸重建,若3D人脸重建成功,则基于所述深度图像进行人脸防伪判别,若3D人脸重建失败,则不进行人脸防伪判别。具体地,重建后的人脸图形从三维空间上反映人脸的特征信息,在3D人脸成功的基础上,进行人脸防伪判别。
可选地,如图6所示,所述人脸识别方法300还包括:
S320:人脸检测,具体地,基于所述2D图像进行人脸检测;
S331:存在人脸,即人脸检测成功时,对2D图像进行人脸剪切得到人脸2D图像;
S332:不存在人脸,即人脸检测失败时,重启参数加1;
S352:2D识别失败,重启参数加1;
S373:在所述识别目标不为三维人脸结构时,重启参数加1;
S381:对人脸2D图像的特征向量进行模板学习。
可选地,如图7所示,所述人脸识别方法400还包括:
S433:在所述识别目标为非三维人脸结构时,重启参数加1;
S440:人脸检测;具体地,基于所述2D图像进行人脸检测;
S451:存在人脸,即人脸检测成功时,对2D图像进行人脸剪切得到人脸2D图像;
S452:不存在人脸,即人脸检测失败时,重启参数加1;
S473:在2D识别失败时,重启参数加1;
S481:对人脸2D图像的特征向量进行模板学习。
应理解,如图6与图7所示,处理步骤仅存在顺序上的差异,具体地实施方式相同。
可选地,所述步骤S320~S322和步骤S440~S452可以与图1b中步骤S120~步骤S122相同;所述步骤S352和步骤S473可以与图1b中的步骤132相同;具体的实施方式可以参照图1b中的相关描述,此处不再赘述。
可选地,在图6和图7的实施例中,方法还包括:对所述重启参数的大小进行判断,当重启参数小于预设的第二阈值时,则进入S310或者进入S410;当重启参数大于等于第二阈值时,则确定识别失败。
可选地,在步骤S381与步骤S481中,将剪切得到的人脸2D图像进行特征提取以及全连接,得到人脸2D图像的特征向量,将该人脸2D图像的特征向量与模板库中多个模板特征向量一起进行模板学习训练,当所述人脸2D图像的特征向量的训练结果优于多个模板特征向量中的x个模板特征向量时,则将该人脸2D图像的特征向量作为模板库中的一个模板特征向量,删除x个模板特征向量中训练结果最差的一个。当所述人脸2D图像的训练结果差于多个模板特征向量中任意一个模板特征向量,则模板学习结束。
可选地,如图8所示,具体采用人脸防伪判别方法500进行步骤S220中的基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构。具体地,对所述深度图像进行预处理后,输入卷积神经网络进行分类,从而得到人脸防伪判别结果。
可选地,如图8所示,所述人脸防伪判别方法500包括:
S510:对所述深度图像预处理得到优化深度图像;所述深度图像进行预处理后,增大深度图像的对比度,提高深度图像的图像质量,更有利于卷积神经网络的处理及分类。
可选地,所述预处理过程包括S511:深度图像均衡。可选地,采用直方图(histogram equalization)均衡化方法对深度图像进行处理,既可以提高深度图像的对比度,也可以把深度图像变换成灰度值是几乎均匀分布的图像。
具体地,直方图均衡化步骤包括:
1)按照如下公式(1)计算深度图像的各灰度值中像素出现的概率p(i):
其中n为总的像素个数,ni为灰度值为i的像素个数,L为总的灰度值个数。
2)按照如下公式(2)计算p的累计概率函数c(i):
计算得到的c即为图像的累计归一化直方图。
3)按照如下公式(3)将c(i)缩放至0~255范围内:
y(i)=255*c(i) (3)
具体地,原始深度图像中灰度值为i的像素灰度值变为y(i),从而实现深度图像均衡,得到优化后的深度图像。
可选地,所述预处理过程还包括S512:局部二值模式(Local Binary Pattern,LBP)特征处理。其中,LBP是一种用来描述图像局部纹理特征的算子,具有旋转不变性和灰度不变性等显著的优点。
可选地,LBP算子定义为在3*3的窗口内,以窗口中心像素为阈值,将相邻的8个像素的灰度值与其进行比较,若周围像素值大于中心像素值,则该像素点的位置被标记为1,否则为0。这样,3*3邻域内的8个点经比较可产生8位二进制数(通常转换为十进制数即LBP码,共256种),即得到该窗口中心像素点的LBP值,并用这个值来反映该区域的纹理信息。
应理解,LBP算子还可以定义为其它的等价形式,例如圆形LBP算子等,均能够提取图像局部的纹理信息,本申请实施例对此不做限定。
还应理解,所述预处理过程还可以包括但不限于归一化、校正、图像增强等处理过程,本申请实施例对此不做限定。
可选地,在一种可能的实施方式中,预处理后的优化深度图像中每个像素值的范围为-1至1,对该优化深度图像进行卷积神经网络分类。
应理解,预处理后的优化深度图像中每个像素值范围还可以为0至255,0至1或者其它数值范围,本申请实施例对此不做限定。
可选地,如图8所示,所述人脸防伪判别方法500还包括:
S520:通过神经网络对所述优化深度图像进行分类处理,以确定所述识别目标是否为三维人脸结构。
具体地,将优化深度图像输入神经网络中,进行分类处理,其分类结果用于判断所述识别目标是否为三维人脸结构。在本申请实施例中,所述神经网络包括但不限于卷积神经网络,还可以为其它类型的神经网络,或者其它深度学习网络等等,本申请实施例对此不做限定,以下以卷积神经网络为例,说明本申请实施例中的分类处理方法。
首先,构建卷积神经网络结构,例如可以采用二层卷积神经网络或更多层网络结构,每层卷积神经网络的构成也可以根据待提取的人脸信息进行调整,本申请实施例对此不作限定。
其次,设置该卷积神经网络的初始训练参数和收敛条件。
可选地,在本申请实施例中,该初始训练参数可以是随机生成的,或根据经验值获取的,或者也可以是根据大量的三维人脸结构数据预训练好的卷积神经网络模型的参数,本申请实施例对此不作限定。
然后,向该卷积神经网络输入大量的三维人脸结构和非三维人脸结构的深度图像,该卷积神经网络可以基于初始训练参数对上述深度图像进行处理,确定对每个深度图像的判定结果,进一步地,根据该判定结果,调整卷积神经网络的结构和/或各层的训练参数,直至判定结果满足收敛条件。
可选地,所述卷积神经网络为一个二分类器,输出的结果为是三维人脸结构,即防伪通过;或者不是三维人脸结构,即防伪失败。
可选地,在本申请实施例中,上述收敛条件可以包括以下中的至少一项:
1、将三维人脸结构的深度图像判定为三维人脸结构的深度图像的概率大于第一概率,例如,98%;
2、将非三维人脸结构的深度图像判定为非三维人脸结构的深度图像的概率大于第二概率,例如95%;
3、将三维人脸结构的深度图像判定为非三维人脸结构的深度图像的概率小于第三概率,例如,2%;
4、将非三维人脸结构的深度谱图像判定为三维人脸结构的深度图像的概率小于第四概率,例如3%。
完成判断是否为三维人脸结构的卷积神经网络的训练之后,在人脸识别的过程中,将处理得到的当前识别目标的深度图像输入到该卷积神经网络中,从而该卷积神经网络可以使用训练好的参数对识别目标的深度图像进行处理,确定该识别目标是否为三维人脸结构。
可选地,所述卷积神经网络50包括至少一个卷积激励层和至少一个全连接层。
可选地,所述至少一个卷积激励层包括至少一个特征检测卷积层和至少一个卷积激励网络,可选地,所述卷积激励网络包括深度卷积层,和/或逐点卷积层,和/或压缩奖惩网络层,和/或激励层。所述特征卷积检测层用于对图像进行特征提取得到特征图像,所述卷积激励网络用于对提取得到的特征图像进行进一步的特征提取以及特征融合,便于提高神经网络分类处理结果的准确性。
可选地,在本申请实施例的一种可能的实施方式中,如图9所示,所述卷积神经网络50包括:特征检测卷积层510、第一卷积激励网络520和第一全连接层530,其中,第一卷积激励网络520包括:第一深度卷积层521和第一逐点卷积层522、第一激励层523以及第一压缩奖惩网络层524。
其中,特征检测卷积层510和第一卷积激励网络520中的每个卷积层均包括多个卷积核(kernel)。其中,卷积核也称为滤波器(filter)或者特征检测器(feature detector)。通过在图像上滑动卷积核并计算点乘得到矩阵叫做卷积特征(convolved feature)或者激活图(activation map)或者特征图(feature map)。对于同样的输入图像,不同值的卷积核将会生成不同的特征图。通过修改卷积核的数值,可以从图中检测到不同的特征,比如边缘、曲线等。
应理解,所述卷积核可以为3*3矩阵,5*5矩阵或者其它大小的矩阵,本申请实施例对此不做限定。
还应理解,在本申请实施例中,每个卷积层中的多个卷积核的大小可以相同或者不同,多个卷积核的卷积步长可以相同或者不同,本申请实施例对此不做限定。
优选地,在本申请实施例中,每个卷积层中的多个卷积核的大小相同且卷积步长相同。
在本申请实施例中,所述特征检测卷积层510中包括n个第一卷积核,其中,n为正整数。将优化深度图像输入至特征检测卷积层510中,与n个第一卷积核卷积计算后,得到n个第一特征图。
可选地,所述n个第一卷积核均为3*3的卷积核,卷积计算的卷积步长为1。
可选地,所述第一深度卷积层521(Depthwise Convolution,DW)中包括n个第二卷积核。n个第二卷积核中的一个第二卷积核与特征检测卷积层510输出的n个第一特征图中的一个第一特征图进行卷积计算得到一个第二特征图,因而,n个第二卷积核与n个第一特征图进行卷集计算后,得到n个第二特征图。
可选地,所述n个第二卷积核也均为3*3的卷积核,卷积计算的卷积步长为1。
可选地,所述第一逐点卷积层522(Point Convolution,PW)中包括m组第三卷积核,其中,m为正整数,一组第三卷积核包括n个第三卷积核。m组中的一组n个第三卷积核与n个第二特征图进行卷积计算,进行相加融合计算后,得到一个第三卷积图,因而,m组第三卷积核与n个第二特征图进行卷积计算后,得到m个第三特征图。
可选地,所述m组中的m*n个第三卷积核均为1*1的卷积核,卷积计算的卷积步长为1。
在本申请实施例中,第一深度卷积层521与第一逐点卷积层522一起可以构成一个深度可分离卷积结构(depthwise separable convolution),与常规卷积操作,该卷积结构的参数量和运算成本较低。
第一激励层523中包含激励函数,用于对卷积得到的特征图中的每个像素值进行非线性化处理。可选地,激励函数包括但不限于修正线性单元(Rectified Linear Unit,ReLU)函数、指数线性单元(Exponential Linear Unit,ELU)函数,以及ReLU函数的几种变体形式,例如:带泄露修正线性单元(Leaky ReLU,LReLU),参数化修正线性单元(Parametric ReLU,PReLU),随机纠正线性单元(Randomized ReLU,RReLU)等。
优选地,在本申请实施例中,采用的激励函数为修正线性单元ReLU函数,具体地,ReLU函数的公式如下公式(4)所示:
经过ReLU处理后的特征图中,小于0的像素值变为0,大于0的像素值保持不变,使得特征图中的像素值具有稀疏性,ReLU实现稀疏后的神经网络结构能够更好地挖掘相关特征,拟合训练数据。因此,在本申请实施例中,m个第三特征图经过ReLU激励函数处理后,得到m个稀疏特征图。
可选地,在第一激励层523之后,采用第一压缩奖惩网络层524(Squeeze-and-Excitation Networks,SE Net)构建压缩奖惩模块(Squeeze-and-Excitation block,SEblock),能够让网络模型对特征进行校准,使网络从全局信息出发来选择性的放大有价值的特征通道并且抑制无用的特征通道,提高网络的准确率。在本申请实施例中,m个A*B的稀疏特征图经过如下公式(5)所示的压缩(squeeze)操作,得到m个特征值z,其中,u(i,j)为稀疏特征图中的一个像素值。
然后,将m个特征值z构成1*1*m的矩阵Z,对矩阵Z进行如下公式(6)所示的奖惩(excitation)加权操作得到权重矩阵S。
S=σ(W2δ(W1Z)) (6)
具体地,先用W1矩阵乘以Z,就是一个全连接层操作,W1的维度是m/r*m,其中r为缩放参数,设置该参数的目的是为了减少通道数,即m值,从而降低计算量。又因为Z的维度是1*1*m,所以W1Z的维度为1*1*m/r;然后再经过一个δ函数:ReLU函数,输出的维度不变;然后再和W2相乘,和W2相乘也是一个全连接层的过程,W2的维度是m*m/r,因此输出的矩阵维度就是1*1*m;最后再经过σ函数:sigmoid函数,得到权重矩阵S,同样维度为1*1*m。
最后,将权重矩阵S中的一个权重值与m个稀疏特征图中的一个稀疏特征图的像素值进行相乘,得到一个矩阵,因此,在本申请实施例中,共得到m个矩阵组成一个SE模块(SEblock)。
所述第一全连接层530(Fully Connected Layers,FC)在整个卷积神经网络中起到“分类器”的作用。例如,如图10所示,f1~fm为上一层输出的结点,第一全连接层530共包括x个全连接结点c1~cx,输出x个矩阵或者常数y1~yx,便于对x个矩阵或者常数分类进行判断分类。具体地,x个全连接结点中的每一个结点均包括上述训练收敛得到的多个参数,用于将f1~fm进行加权连接,最终得到一个矩阵或者常数。
可选地,所述第一全连接层530中x个全连接结点用于将SE模块中的多个矩阵进行全连接,具体地,所述第一全连接层530中的每个结点中包括与SE模块大小相同的卷积核,SE模块经过第一全连接层530后得到x个常数,即1*1*x的全连接矩阵。
可选地,所述第一全连接层530还包括分类函数对1*1*x的全连接矩阵进行分类处理。可选地,所述分类函数为Sigmoid函数,其中,Sigmoid函数的公式如下公式所示:
在Sigmoid函数中,在输入趋于正无穷或负无穷时,函数趋近平滑状态,Sigmoid函数因为输出范围为0至1,所以二分类的概率常常用这个函数。
可选地,当x=1时,第一全连接层530输出的常数为0至1之间,通过判断该常数的大小,将该优化深度图像分类为三维人脸结构,或者不为三维人脸结构,例如,当常数大于等于0.5时,则为三维人脸结构,当常数小于0.5时,则不为三维人脸结构。
优选地,在本申请实施例的另一种可能的实施方式中,如图11所示,所述卷积神经网络50包括:特征检测卷积层510、第一卷积激励网络520、第二卷积激励网络540,第二全连接层550和第三全连接层560,其中,第二卷积激励网络540和第一卷积激励网络520相同,包括:第二深度卷积层541和第二逐点卷积层542、第二激励层543以及第二压缩奖惩网络层544。
所述第二卷积激励网络540对第一卷积激励网络520输出的SE模块再次经过卷积计算以及激励处理,以加强特征识别。
具体地,第一卷积激励网络520输出m个矩阵的SE模块,所述第二深度卷积层541中包括m个第四卷积核。m个第四卷积核中的一个第四卷积核与SE模块中的一个矩阵进行卷积计算得到一个第四特征图,因而,m个第四卷积核与SE模块中的m个矩阵进行卷集计算后,得到m个第四特征图。
可选地,所述m个第四卷积核均为3*3的卷积核,卷积计算的卷积步长为1。
第二逐点卷积层542中包括v组第五卷积核,其中,v为正整数,一组第五卷积核包括m个第五卷积核。v组中的一组m个第五卷积核中与m个第四特征图进行卷积计算,进行相加融合计算后,得到一个第五卷积图,因而,v组第五卷积核与m个第四特征图进行卷积计算后,得到v个第五特征图。
可选地,所述v组中的v*m个第五卷积核均为1*1的卷积核,卷积计算的卷积步长为1。
可选地,所述第二激励层543可以与第一激励层523中采用的激励函数相同或不同,在一种可能的实施方式中,所述第二激励层543同样采用ReLU激励函数进行非线性化处理。
可选地,第二压缩奖惩网络层544与第一压缩奖惩网络层524的计算原理相近,对v个第五特征图构建SE模块。具体的技术方案可以参见上述第一压缩奖惩网络层524的处理过程与计算方式,此处不再赘述。
可选地,所述第二全连接层550以及第三全连接层560与第一全连接层530的功能类似,用于将上一层结点输出的值进行全连接计算。具体地,所述第二全连接层中r个全连接结点用于将第二卷积激励网络540输出的SE模块中的多个矩阵进行全连接,所述第二全连接层550中的每个结点中包括与SE模块大小相同的卷积核,SE模块经过第二全连接层550后得到r个常数,即1*1*r的全连接矩阵。
可选地,所述第二全连接层550包括ReLU函数,对1*1*r的全连接矩阵处理后得到1*1*r的稀疏矩阵,即多个稀疏常数。
可选地,经过ReLU函数处理后,再将1*1*r的稀疏矩阵输入第三全连接层560。可选地,所述第三全连接层560用于对1*1*r的稀疏矩阵进行全连接。可选地,所述第三全连接层560包括s个1*1的卷积核,1*1*r的全连接矩阵经过第三全连接层560之后得到1*1*s的全连接矩阵。
可选地,所述第三全连接层560还包括分类函数对1*1*s的全连接矩阵进行分类处理。可选地,所述分类函数为Sigmoid函数。可选地,当s可以等于1。
应理解,在本申请实施例中,所述卷积神经网络30还可以包括3层或者3层以上的与上述第一卷积激励网络520或者第二卷积激励网络540相同的网络结构,和/或包括3层或者3层以上的全连接层,本申请实施例对此不做限定。
在本申请实施例中,卷积神经网络50的网络结构简单,运行速度快,可以运行在高级精简指令集机器(Advanced RISC Machine,ARM)上。
在上述申请实施例中,基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为人脸3D结构,其中,人脸防伪判别的结果用于人脸识别。
可选地,所述人脸防伪判别的结果还可以用于人脸注册,即生成2D人脸识别过程中模板特征向量。具体地,在人脸注册的过程中加入人脸防伪,防止将根据人脸照片或者其它非活体人脸的模型采集到的照片作为模板进行人脸识别匹配,可以提高2D识别的准确性。
具体地,如图12所示,所述人脸注册方法600包括:
S601:获取识别目标的深度图像。
S602:基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构,其中,人脸防伪判别的结果用于建立模板特征向量。
应理解,本申请实施例中人脸注册方法过程和上述人脸识别方法过程为两个独立的阶段,仅是注册方法过程中建立的模板特征向量用于人脸识别过程中2D识别的判断。在通过人脸注册方法建立模板特征向量之后,通过上述人脸识别方法以及人脸防伪判别方法进行人脸识别。
还应理解,本申请实施例中的识别目标可以与上述人脸识别过程中的识别目标相同或者不同,例如,可以均为用户三维人脸,对用户三维人脸进行注册和识别;也可以为注册过程中的识别目标为用户三维人脸,但识别过程中的识别目标为其它非三维人脸。本申请实施例对此不做限定。
可选地,所述步骤S601可以与上述步骤S210相同,通过图像采集装置获取识别目标的目标图像。可选地,所述目标图像为红外图像或者可见光彩色图像。
可选地,所述步骤S602可以与上述步骤S220相同。可选地,所述深度图像为体现图像中深度信息的图像。具体地,获取深度图像的方法可以参见上述申请实施例的描述,此处不再赘述。
可选地,所述步骤S702中基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构,可以采用上述人脸识别防伪判别方法500进行判别,具体描述可以参照上述申请实施例,此处不再赘述。
可选地,在本申请实施例中,人脸识别方法200还包括:根据所述识别目标的2D图像建立库模板中模板特征向量。
在一种可能的实施方式中,先获取识别目标的2D图像,基于所述2D图像进行模板匹配,在匹配成功的基础上进行防伪。
例如,图13示出了一种人脸注册方法600,包括:
S610:获取识别目标的2D图像;
S650:基于所述2D图像进行模板匹配;
S651:在模板匹配成功时,获取识别目标的深度图像;
S660:基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为人脸3D结构;
S671:在所述识别目标为人脸3D结构时,将所述2D图像的特征向量作为模板特征向量;
S672:在所述识别目标不为人脸3D结构时,所述2D图像的特征向量不为模板特征向量。
其中,可选地,步骤S610可以与步骤S310相同。步骤S651可以与步骤S351相同。步骤S660可以与步骤S360相同。
可选地,步骤S650可以与步骤S340基于2D图像进行2D识别类似,将该2D图像与模板库中的多个模板特征向量进行匹配,若匹配成功,则该2D图像为用户的人脸图像,若匹配失败,则该2D图像不为用户的人脸图像。
可选地,步骤S671中,当识别目标为人脸3D结构时,将2D图像进行特征提取以及特征全连接得到特征向量,将该特征向量数据存储于存储单元中,作为模板库中一个新的模板特征向量,该存储单元可以为执行人脸注册方法的处理器中的存储单元,也可以为执行人脸注册方法的电子设备中的存储器。
可选地,如图14所示,人脸注册方法600还可以包括:
S620:人脸检测;
S621:当人脸检测到所述2D图像上存在人脸时,对2D图像进行人脸剪切得到人脸2D图像;
S622:当人脸检测到所述2D图像上不存在人脸时,重启参数加1;
可选地,步骤S620至步骤S622可以与步骤S620至步骤S632相同。
S630:3D人脸重建;
具体地,可以通过发射结构光或者光脉冲,经过识别目标表面反射后,接收到携带识别目标表面信息的反射结构光或者反射光脉冲,从而获取识别目标的3D数据,可以根据该3D数据进行3D人脸重建,即得到表示识别目标的3D形态图像。可选地,该3D数据可以为3D点云数据。
S631:当3D人脸重建成功时,即根据3D数据获取到识别目标的3D形态图像时,进入S640。
可选地,当3D人脸重建成功时,将该3D数据存储至存储单元中,例如,将3D点云数据作为一个3D点云数据模板存储至存储单元中,形成3D点云数据模板库。
S632:当3D人脸重建失败时,即根据该3D数据不能获取到识别目标的3D形态图像时,重启参数加1。
S640:判断S621步骤中剪切得到的人脸2D图像是否属于模板库。可选地,通过获取2D图像的用户身份(Identification,ID)信息,判断是否存在该用户ID的模板库,当存在该用户ID的模板库时,进入S642:所述人脸2D图像属于模板库。当不存在该用户ID的模板库时,进入S641:所述人脸2D图像不属于模板库。
S6411:当所述人脸2D图像不属于模板库时,获取识别目标的深度图像,进入步骤S660。
可选地,还可以根据获取的2D图像的用户ID信息,建立新的用户模板库。
S6501:当所述人脸2D图像属于模板库时,基于S621步骤中剪切得到的人脸2D图像进行模板匹配。具体的匹配方法可以与步骤S650相同。
S651:当模板匹配成功时,获取识别目标的深度图像,进入步骤S660。
S652:当模板匹配失败时,重启参数加1。
S660:基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为人脸3D结构。
S6711:当所述识别目标为人脸3D结构时,进入S6712:判断是否为有效点云。
可选地,将S630中人脸重建采集到的3D点云数据与3D点云数据模板库中多个3D点云数据模板进行匹配,判断是否为有效点云。当匹配成功时,则为无效点云,当匹配失败时,则为有效点云。具体地,点云匹配用于判断采集的3D点云数据中识别目标的人脸角度是否与3D点云数据模板中的人脸角度相同,当角度相同时,匹配成功,则说明模板库中存在相同人脸角度的3D点云数据,则为无效点云;当角度不同时,匹配失败,则说明模板库中不存在相同人脸角度的3D点云数据,则为有效点云。
可选地,还可以在此过程中,采集多张识别目标的3D点云数据,进行点云拼接和点云融合,以形成人脸全方位全角度的3D数据和3D图像,根据该3D图像可以进行3D人脸识别。
S6713:当判断3D点云数据为有效点云时,将人脸2D图像处理得到人脸2D图像的特征向量,存储该人脸2D图像的特征向量为模板特征向量。具体地,将人脸2D图像的特征向量存储于存储单元中,作为模板库中一个新的模板特征向量。
S6714:当判断3D点云数据为无效点云时,重启参数加1。
可选地,在判断所述3D点云数据为有效点云后,还可以判断模板库中的模板特征向量是否已满。
具体地,判断所述模板库中的模板特征向量数量是否等于预设值,若等于预设值,则模板特征向量已满,则不再新增存储模板特征向量。
例如,所述预设值为8,则当模板库中的模板特征向量数量为8时,则不再新增模板特征向量。
当模板特征向量未满时,存储人脸2D图像的特征向量为模板特征向量。具体地,将人脸2D图像的特征向量的数据存储于存储单元中,作为模板库中一个新的模板特征向量。
可选地,所述人脸注册方法600还包括:
判断重启参数是否小于预设的第三阈值。若重启参数小于第三阈值,则进入S610;若重启参数大于等于第三阈值,则人脸注册失败。
上文结合图2至图14,详细描述了本申请的人脸识别方法实施例,下文结合图15至图16,详细描述本申请的人脸识别装置实施例,应理解,装置实施例与方法实施例相互对应,类似的描述可以参照方法实施例。
图15是根据本申请实施例的人脸识别装置20的示意性框图,包括:
图像采集模组210,用于获取识别目标的深度图像;
处理器220,用于基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构,其中,人脸防伪判别的结果用于人脸识别。
可选地,图像采集模组可以为任意采集图像的装置,例如摄像头、相机等等。可选地,在本申请实施例中,图像采集模组可以为红外摄像头,用于采集红外的深度图像。可选地,图像采集模组210中包括滤波片211和光检测阵列212,所述滤波片211用于透过目标波长的光信号,滤除非目标波长的光信号,所述光检测阵列212基于所述目标波长进行光检测,并将检测到的光信号转换为电信号。可选地,该光检测阵列212包括多个像素单元,一个像素单元用于转换光信号形成一个识别目标图像中的一个像素值。可选地,所述像素单元可以采用光电二极管(photo diode)、金属氧化物半导体场效应管(Metal OxideSemiconductor Field Effect Transistor,MOSFET)等器件。可选地,所述像素单元对于目标波长光具有较高的光灵敏度和较高的量子效率,以便于检测相应波长的光信号。
具体地,在本申请实施例中,所述目标波长属于红外光波段,例如,目标波长为940nm,则滤波片211用于透过940nm的红外光信号,阻挡可见光,非940nm波长的其他红外光通过,光检测阵列212为红外光检测阵列,对940nm的红外光进行检测并形成对应于识别目标的深度图像。
可选地,所述处理器220可以为所述人脸识别装置20的处理器,也可以为包括人脸识别装置20的电子设备的处理器,本申请实施例不做限定。
可选地,如图16所示,人脸识别装置20还包括结构光投射模组230。该结构光投射模组230向识别目标投射结构光,其中,图像采集模组210具体用于接收所述结构光经所述识别目标反射后的反射结构光信号,并将所述反射结构光信号转换得到所述深度图像。可选地,所述图像采集模组210将深度图像传输给处理器220。
可选地,所述结构光投射模组230可以为任意投射结构光的装置结构,包括但不限于:采用VCSEL光源的点阵光投射器,散斑结构光投射器等发光装置。
可选地,在本申请实施例中,所述图像采集模组210还用于:获取所述识别目标的2D图像;所述处理器220还用于:基于所述2D图像进行2D识别。
可选地,如图16所示,所述人脸识别的装置20还可以包括红外发光模组240,所述红外发光模组240用于发射红外光至所述识别目标;其中,所述图像采集模组210具体用于接收所述红外光经所述识别目标反射后的反射红外光信号,并将所述反射红外光信号转换得到2D图像。
可选地,本申请实施例中的图像采集模组210、处理器220和红外发光模组240可以为图1a中的红外图像采集模组120、处理器130和红外发光模组110。所述红外光发光模组210发射的红外光可以为波长大于等于940nm的红外光。
可选地,在一种可能的实施方式中,图像采集模组210和处理器220先获取并处理识别目标的2D图像,然后再获取并处理识别目标的深度图像。具体地,所述图像采集模组210用于获取所述识别目标的2D图像后,将2D图像传输给处理器220,所述处理器220用于基于所述2D图像进行2D识别;当在二维识别成功时,所述图像采集模组210用于获取所述识别目标的深度图像并传输深度图像给处理器220;所述处理器220基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构,在所述识别目标为三维人脸结构时,确定人脸识别成功;或者,在所述识别目标不为三维人脸结构时,确定人脸识别失败。
可选地,在另一种可能的实施方式中,图像采集模组210和处理器220先获取并处理识别目标的深度图像,然后再获取并处理识别目标的2D图像。具体地,所述图像采集模组210获取所述识别目标的深度图像之后传输深度图像给处理器220,处理器220用于基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构;在所述识别目标为三维人脸结构时,所述图像采集模组210获取所述识别目标的2D图像后传输2D图像给处理器220,处理器220基于所述2D图像进行2D识别;在2D识别成功时,确定人脸识别成功,或者,在2D识别失败时,确定人脸识别失败;或者,在所述识别目标为非三维人脸结构时,处理器220还用于:确定人脸识别失败。
可选地,在2D识别过程中,所述处理器220还用于:基于所述二维图像进行人脸检测;其中,所述处理器具体用于:在人脸检测成功时,对所述2D图像进行人脸图像剪切形成人脸2D图像,基于所述人脸2D图像进行2D识别。
可选地,所述处理器220具体用于:将所述人脸二维图像的特征向量与多个模板特征向量进行匹配,当匹配成功时,二维识别成功,或者,当匹配失败时,二维识别失败。
可选地,所述处理器220还用于:当人脸识别成功时,基于所述人脸二维图像的特征向量进行模板学习。
可选地,在人脸防伪判别,以确定识别目标是否为三维人脸结构时,所述处理器220具体用于:对所述深度图像进行预处理得到优化深度图像;通过卷积神经网络对所述优化深度图像进行分类处理,以确定所述识别目标是否为三维人脸结构。
可选地,所述处理器220具体用于:采用直方图均衡化装置对深度图像进行处理得到第一优化深度图像。
可选地,所述处理器220具体用于:采用局部二值模式特征处理装置对所述第一优化深度图像处理得到所述优化深度图像。
可选地,所述卷积神经网络包括至少一个卷积层,所述处理器具体用于:
通过所述至少一个卷积层,对所述优化深度图像进行卷积计算得到多个特征图,对所述多个特征图进行处理。
可选地,在本申请实施例中,所述卷积神经网络可以为图9中的卷积神经网络50,所述处理器具体用于执行图8中的人脸防伪判别方法500。具体技术方案可以参见图8以及图9的描述,此处不再赘述。
如图17所示,本申请实施例还提供了一种电子设备2,该电子设备2可以包括上述申请实施例的人脸识别装置20。
例如,电子设备2为智能门锁、手机、电脑、门禁系统等等需要应用人脸识别的设备。所述人脸识别装置20包括电子设备2中用于人脸识别的软件以及硬件装置。
应理解,本申请实施例的处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例的人脸识别还可以包括存储器,存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccess Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(DynamicRAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图2至图14所示实施例中的方法。
本申请实施例还提出了一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,使得计算机可以执行图2至图14所示实施例中的方法。
本申请实施例还提供了一种芯片,该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线,该至少一个存储器用于存储指令,该至少一个处理器用于调用该至少一个存储器中的指令,以执行图2至图14所示实施例中的方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应所述理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来,所述计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (46)

1.一种人脸识别的方法,其特征在于,包括:
获取识别目标的深度图像;
基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构,其中,人脸防伪判别的结果用于人脸识别。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述识别目标的二维图像;
基于所述二维图像进行二维识别;
其中,所述获取识别目标的深度图像,包括:
在二维识别成功时,获取所述识别目标的深度图像;
所述方法还包括:
在所述识别目标为三维人脸结构时,确定人脸识别成功;
或者,在所述识别目标不为三维人脸结构时,确定人脸识别失败。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述识别目标为三维人脸结构时,获取所述识别目标的二维图像,并基于所述二维图像进行二维识别;
在二维识别成功时,确定人脸识别成功,或者,在二维识别失败时,确定人脸识别失败;
或者,在所述识别目标为非三维人脸结构时,确定人脸识别失败。
4.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
基于所述二维图像进行人脸检测;
其中,所述基于所述二维图像进行二维识别包括:
在人脸检测成功时,对所述二维图像进行人脸图像剪切形成人脸二维图像,基于所述人脸二维图像进行二维识别。
5.根据权利要求4所述的方法,其特征在于,所述基于所述人脸二维图像进行二维识别,包括:
将所述人脸二维图像的特征向量与多个模板特征向量进行匹配,当匹配成功时,二维识别成功,或者,当匹配失败时,二维识别失败。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
当人脸识别成功时,基于所述人脸二维图像的特征向量进行模板学习。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述获取识别目标的深度图像,包括:
投射结构光至所述识别目标;
接收所述结构光经所述识别目标反射后的反射结构光信号,并将所述反射结构光信号转换得到所述深度图像。
8.根据权利要求2-7中任一项所述的方法,其特征在于,所述获取所述识别目标的二维图像,包括:
发射红外光至所述识别目标;
接收所述红外光经所述识别目标反射后的反射红外光信号,并将所述反射红外光信号转换得到所述二维图像。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构,包括:
对所述深度图像进行预处理得到优化深度图像;
通过卷积神经网络对所述优化深度图像进行分类处理,以确定所述识别目标是否为三维人脸结构。
10.根据权利要求9所述的方法,其特征在于,所述对所述深度图像进行预处理得到优化深度图像,包括:
采用直方图均衡化方法对所述深度图像进行处理得到所述优化深度图像。
11.根据权利要求9所述的方法,其特征在于,所述对所述深度图像进行预处理得到优化深度图像,还包括:
采用局部二值模式特征处理方法对所述深度图像处理得到所述优化深度图像。
12.根据权利要求9-11中任一项所述的方法,其特征在于,所述卷积神经网络包括至少一个卷积层,所述通过卷积神经网络对所述优化深度图像进行分类处理,包括:
通过所述至少一个卷积层,对所述优化深度图像进行卷积计算得到多个特征图,对所述多个特征图进行处理。
13.根据权利要求12所述的方法,其特征在于,所述至少一个卷积层包括:特征检测卷积层,包括n个第一卷积核,其中n为正整数;所述对所述优化深度图像进行卷积计算包括:
基于所述n个第一卷积核,对所述优化深度图像进行卷积计算得到n个第一特征图。
14.根据权利要求13所述的方法,其特征在于,所述至少一个卷积层还包括:深度卷积层,包括n个第二卷积核;所述对所述优化深度图像进行卷积计算还包括:
将所述n个第一特征图中的第i个第一特征图与所述n个第二卷积核中的第i个第二卷积核进行卷积计算得到n个第二特征图中的第i个特征图,其中i为小于等于n的正整数。
15.根据权利要求14所述的方法,其特征在于,所述至少一个卷积层还包括:逐点卷积层,包括m组第三卷积核,其中m为正整数;所述对所述优化深度图像进行卷积计算还包括:
所述m组第三卷积核中第j组卷积核与所述n个第二特征图进行卷积计算后相加得到m个第三特征图中的第j个第三特征图,其中j为小于等于m的正整数。
16.根据权利要求15所述的方法,其特征在于,所述第一卷积核与所述第二卷积核为3*3矩阵,所述第三卷积核为1*1矩阵。
17.根据权利要求12-16中任一项所述的方法,其特征在于,所述卷积神经网络还包括至少一个激励层,所述对所述多个特征图进行处理包括:
采用激励函数对所述多个特征图中的每个像素值进行非线性化处理,得到多个稀疏特征图,对所述多个稀疏特征图进行处理。
18.根据权利要求17所述的方法,其特征在于,所述激励函数为修正线性单元ReLU函数。
19.根据权利要求17或18所述的方法,其特征在于,所述卷积神经网络还包括至少一个压缩奖惩SE网络层,所述对所述多个稀疏特征图进行处理包括:
对所述多个稀疏特征图进行压缩和奖惩加权处理,得到压缩奖惩SE模块,对所述压缩奖惩SE模块进行处理。
20.根据权利要求19所述的方法,其特征在于,所述卷积神经网络还包括至少一个全连接层,所述对所述压缩奖惩SE模块进行处理包括:
对所述SE模块进行至少一次全连接,得到多个稀疏常数,对所述多个稀疏常数进行分类处理。
21.根据权利要求20所述的方法,其特征在于,所述对所述多个稀疏常数进行分类处理包括:
采用Sigmoid函数对所述多个稀疏常数进行分类,以确定所述识别目标是否为三维人脸结构。
22.一种人脸识别的装置,其特征在于,包括:
图像采集模组,用于获取识别目标的深度图像;
处理器,用于基于所述深度图像进行人脸防伪判别,以确定所述识别目标是否为三维人脸结构,其中,人脸防伪判别的结果用于人脸识别。
23.根据权利要求22所述的装置,其特征在于,所述图像采集模组还用于:获取所述识别目标的二维图像;
所述处理器还用于:基于所述二维图像进行二维识别;
其中,所述图像采集模组具体用于:在二维识别成功时,获取所述识别目标的深度图像;
所述处理器还用于:在所述识别目标为三维人脸结构时,确定人脸识别成功;或者,在所述识别目标不为三维人脸结构时,确定人脸识别失败。
24.根据权利要求23所述的装置,其特征在于,在所述识别目标为三维人脸结构时,所述图像采集模组还用于:
获取所述识别目标的二维图像;
所述处理器还用于:基于所述二维图像进行二维识别;
在二维识别成功时,确定人脸识别成功,或者,在二维识别失败时,确定人脸识别失败;
或者,在所述识别目标为非三维人脸结构时,所述处理器还用于:确定人脸识别失败。
25.根据权利要求23或24所述的装置,其特征在于,所述处理器还用于:
基于所述二维图像进行人脸检测;
其中,所述处理器具体用于:在人脸检测成功时,对所述二维图像进行人脸图像剪切形成人脸二维图像,基于所述人脸二维图像进行二维识别。
26.根据权利要求25所述的装置,其特征在于,所述处理器具体用于:
将所述人脸二维图像的特征向量与多个模板特征向量进行匹配,当匹配成功时,二维识别成功,或者,当匹配失败时,二维识别失败。
27.根据权利要求26所述的装置,其特征在于,所述处理器还用于:
当人脸识别成功时,基于所述人脸二维图像的特征向量进行模板学习。
28.根据权利要求22-27中任一项所述的装置,其特征在于,所述装置还包括:结构光投射模组;
所述结构光投射模组用于投射结构光至所述识别目标;
其中,所述图像采集模组具体用于接收所述结构光经所述识别目标反射后的反射结构光信号,并将所述反射结构光信号转换得到所述深度图像。
29.根据权利要求28所述的装置,其特征在于,所述结构光为点阵光或者随机散斑。
30.根据权利要求28或29所述的装置,其特征在于,所述结构光投射模组为点阵光投射器或者散斑结构光投射器。
31.根据权利要求28-30中任一项所述的装置,其特征在于,所述装置还包括红外发光模组;
所述红外发光模组用于发射红外光至所述识别目标;
其中,所述图像采集模组具体用于接收所述红外光经所述识别目标反射后的反射红外光信号,并将所述反射红外光信号转换得到二维图像。
32.根据权利要求22-31中任一项所述的装置,其特征在于,所述图像采集模组为红外摄像头,包括滤波片和红外光检测阵列。
33.根据权利要求22-32中任一项所述的装置,其特征在于,所述处理器具体用于:
对所述深度图像进行预处理得到优化深度图像;
通过卷积神经网络对所述优化深度图像进行分类处理,以确定所述识别目标是否为三维人脸结构。
34.根据权利要求33所述的装置,其特征在于,所述处理器具体用于:
采用直方图均衡化装置对所述深度图像进行处理得到所述优化深度图像。
35.根据权利要求33所述的装置,其特征在于,所述处理器具体用于:
采用局部二值模式特征处理装置对所述深度图像处理得到所述优化深度图像。
36.根据权利要求33-35中任一项所述的装置,其特征在于,所述卷积神经网络包括至少一个卷积层,所述处理器具体用于:
通过所述至少一个卷积层,对所述优化深度图像进行卷积计算得到多个特征图,对所述多个特征图进行处理。
37.根据权利要求36所述的装置,其特征在于,所述至少一个卷积层包括:特征检测卷积层,包括n个第一卷积核,其中n为正整数;所述处理器具体用于:
基于所述n个第一卷积核,对所述优化深度图像进行卷积计算得到n个第一特征图。
38.根据权利要求37所述的装置,其特征在于,所述至少一个卷积层还包括:深度卷积层,包括n个第二卷积核;所述处理器具体用于:
将所述n个第一特征图中的第i个第一特征图与所述n个第二卷积核中的第i个第二卷积核进行卷积计算得到n个第二特征图中的第i个特征图,其中i为小于等于n的正整数。
39.根据权利要求38所述的装置,其特征在于,所述至少一个卷积层还包括:逐点卷积层,包括m组第三卷积核,其中m为正整数;所述处理器具体用于:
所述m组第三卷积核中第j组卷积核与所述n个第二特征图进行卷积计算后相加得到m个第三特征图中的第j个第三特征图,其中j为小于等于m的正整数。
40.根据权利要求39所述的装置,其特征在于,所述第一卷积核与所述第二卷积核为3*3矩阵,所述第三卷积核为1*1矩阵。
41.根据权利要求36-40中任一项所述的装置,其特征在于,所述卷积神经网络还包括至少一个激励层,所述处理器具体用于:
采用激励函数对所述多个特征图中的每个像素值进行非线性化处理,得到多个稀疏特征图,对所述多个稀疏特征图进行处理。
42.根据权利要求41所述的装置,其特征在于,所述激励函数为修正线性单元ReLU函数。
43.根据权利要求41或42所述的装置,其特征在于,所述卷积神经网络还包括至少一个压缩奖惩SE网络层,所述处理器具体用于:
对所述多个稀疏特征图进行压缩和奖惩加权处理,得到压缩奖惩SE模块,对所述压缩奖惩SE模块进行处理。
44.根据权利要求43所述的装置,其特征在于,所述卷积神经网络还包括至少一个全连接层,所述处理器具体用于:
对所述SE模块进行至少一次全连接,得到多个稀疏常数,对所述多个稀疏常数进行分类处理。
45.根据权利要求44所述的装置,其特征在于,所述处理器具体用于:
采用Sigmoid函数对所述多个稀疏常数进行分类,以确定所述识别目标是否为三维人脸结构。
46.一种电子设备,其特征在于,包括:
如权利要求22至45中任一项所述的人脸识别的装置。
CN201980000869.7A 2019-06-06 2019-06-06 人脸识别的方法、装置和电子设备 Active CN110383288B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/090418 WO2020243967A1 (zh) 2019-06-06 2019-06-06 人脸识别的方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN110383288A true CN110383288A (zh) 2019-10-25
CN110383288B CN110383288B (zh) 2023-07-14

Family

ID=68261508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980000869.7A Active CN110383288B (zh) 2019-06-06 2019-06-06 人脸识别的方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN110383288B (zh)
WO (1) WO2020243967A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852311A (zh) * 2020-01-14 2020-02-28 长沙小钴科技有限公司 一种三维人手关键点定位方法及装置
CN111178319A (zh) * 2020-01-06 2020-05-19 山西大学 基于压缩奖惩机制的视频行为识别方法
CN111353430A (zh) * 2020-02-28 2020-06-30 深圳壹账通智能科技有限公司 人脸识别方法和系统
CN111462206A (zh) * 2020-03-24 2020-07-28 合肥的卢深视科技有限公司 一种基于卷积神经网络的单目结构光深度成像方法
CN111783622A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别的方法、装置、设备和计算机可读存储介质
CN112304435A (zh) * 2020-10-10 2021-02-02 广州中大数字家庭工程技术研究中心有限公司 一种结合人脸识别的人体热成像测温方法
CN112380395A (zh) * 2020-10-30 2021-02-19 华南理工大学 基于双流架构的图卷积网络的情感获取方法、系统及存储介质
CN112560831A (zh) * 2021-03-01 2021-03-26 四川大学 一种基于多尺度空间校正的行人属性识别方法
CN113033406A (zh) * 2021-03-26 2021-06-25 睿云联(厦门)网络通讯技术有限公司 基于深度可分离圆心差分卷积的人脸活体检测方法及系统
TWI755287B (zh) * 2021-02-24 2022-02-11 國立中興大學 防欺騙之人臉身分驗證系統
CN114863510A (zh) * 2022-03-25 2022-08-05 荣耀终端有限公司 一种人脸识别方法和装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528902B (zh) * 2020-12-17 2022-05-24 四川大学 一种基于3d人脸模型的视频监控动态人脸识别方法及装置
CN112766085A (zh) * 2021-01-04 2021-05-07 深圳阜时科技有限公司 一种生物特征识别装置及电子设备
CN113627620A (zh) * 2021-07-29 2021-11-09 上海熠知电子科技有限公司 一种面向深度学习的处理器模组
CN113487530B (zh) * 2021-08-02 2023-06-16 广东工业大学 一种基于深度学习的红外与可见光融合成像方法
CN115063918B (zh) * 2022-04-26 2024-01-09 厦门立林科技有限公司 人脸识别方法、门禁、智能锁、服务器及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506752A (zh) * 2017-09-18 2017-12-22 艾普柯微电子(上海)有限公司 人脸识别装置及方法
CN107832677A (zh) * 2017-10-19 2018-03-23 深圳奥比中光科技有限公司 基于活体检测的人脸识别方法及系统
CN107871126A (zh) * 2017-11-22 2018-04-03 西安翔迅科技有限责任公司 基于深层神经网络的车型识别方法和系统
WO2018133791A1 (zh) * 2017-01-19 2018-07-26 腾讯科技(深圳)有限公司 一种基于视频分析的活体判别方法、系统及存储介质
CN109101871A (zh) * 2018-08-07 2018-12-28 北京华捷艾米科技有限公司 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
US20190034702A1 (en) * 2017-07-26 2019-01-31 Baidu Online Network Technology (Beijing) Co., Ltd. Living body detecting method and apparatus, device and storage medium
CN109684925A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 一种基于深度图像的人脸活体检测方法及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8064639B2 (en) * 2007-07-19 2011-11-22 Honeywell International Inc. Multi-pose face tracking using multiple appearance models
CN108509857A (zh) * 2018-03-06 2018-09-07 达闼科技(北京)有限公司 人脸活体检测方法、电子设备和计算机程序产品
CN109727344A (zh) * 2018-11-23 2019-05-07 深圳奥比中光科技有限公司 3d人脸识别智能门锁及3d人脸解锁方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018133791A1 (zh) * 2017-01-19 2018-07-26 腾讯科技(深圳)有限公司 一种基于视频分析的活体判别方法、系统及存储介质
US20190034702A1 (en) * 2017-07-26 2019-01-31 Baidu Online Network Technology (Beijing) Co., Ltd. Living body detecting method and apparatus, device and storage medium
CN107506752A (zh) * 2017-09-18 2017-12-22 艾普柯微电子(上海)有限公司 人脸识别装置及方法
CN107832677A (zh) * 2017-10-19 2018-03-23 深圳奥比中光科技有限公司 基于活体检测的人脸识别方法及系统
CN107871126A (zh) * 2017-11-22 2018-04-03 西安翔迅科技有限责任公司 基于深层神经网络的车型识别方法和系统
CN109101871A (zh) * 2018-08-07 2018-12-28 北京华捷艾米科技有限公司 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
CN109684925A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 一种基于深度图像的人脸活体检测方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钱勇生;邵洁;季欣欣;李晓瑞;莫晨;程其玉;: "基于改进卷积神经网络的多视角人脸表情识别", 计算机工程与应用, no. 24 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178319A (zh) * 2020-01-06 2020-05-19 山西大学 基于压缩奖惩机制的视频行为识别方法
CN110852311A (zh) * 2020-01-14 2020-02-28 长沙小钴科技有限公司 一种三维人手关键点定位方法及装置
CN111353430A (zh) * 2020-02-28 2020-06-30 深圳壹账通智能科技有限公司 人脸识别方法和系统
CN111462206B (zh) * 2020-03-24 2022-06-24 合肥的卢深视科技有限公司 一种基于卷积神经网络的单目结构光深度成像方法
CN111462206A (zh) * 2020-03-24 2020-07-28 合肥的卢深视科技有限公司 一种基于卷积神经网络的单目结构光深度成像方法
CN111783622A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别的方法、装置、设备和计算机可读存储介质
CN112304435A (zh) * 2020-10-10 2021-02-02 广州中大数字家庭工程技术研究中心有限公司 一种结合人脸识别的人体热成像测温方法
CN112380395A (zh) * 2020-10-30 2021-02-19 华南理工大学 基于双流架构的图卷积网络的情感获取方法、系统及存储介质
CN112380395B (zh) * 2020-10-30 2022-04-22 华南理工大学 基于双流架构的图卷积网络的情感获取方法、系统及存储介质
TWI755287B (zh) * 2021-02-24 2022-02-11 國立中興大學 防欺騙之人臉身分驗證系統
CN112560831B (zh) * 2021-03-01 2021-05-04 四川大学 一种基于多尺度空间校正的行人属性识别方法
CN112560831A (zh) * 2021-03-01 2021-03-26 四川大学 一种基于多尺度空间校正的行人属性识别方法
CN113033406A (zh) * 2021-03-26 2021-06-25 睿云联(厦门)网络通讯技术有限公司 基于深度可分离圆心差分卷积的人脸活体检测方法及系统
CN114863510A (zh) * 2022-03-25 2022-08-05 荣耀终端有限公司 一种人脸识别方法和装置

Also Published As

Publication number Publication date
WO2020243967A1 (zh) 2020-12-10
CN110383288B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN110383288A (zh) 人脸识别的方法、装置和电子设备
JP7262884B2 (ja) 生体顔検出方法、装置、設備及びコンピュータプログラム
CN110462633A (zh) 一种人脸识别的方法、装置和电子设备
US20210082136A1 (en) Extracting information from images
CN101558431B (zh) 脸认证设备
CN110462632A (zh) 人脸识别的方法、装置和电子设备
US11941918B2 (en) Extracting information from images
CN105404860B (zh) 用于管理走失人员信息的方法和设备
CN110520865A (zh) 人脸识别的方法、装置和电子设备
CN104537292A (zh) 用于生物特征验证的电子欺骗检测的方法和系统
CN108520216A (zh) 一种基于步态图像的身份识别方法
CN109376518A (zh) 基于人脸识别的防止隐私泄露方法及相关设备
CN110059579B (zh) 用于活体检验的方法和装置,电子设备和存储介质
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN104063686A (zh) 作物叶部病害图像交互式诊断系统与方法
CN109977929A (zh) 一种基于tof的人脸识别系统和方法
CN111144284A (zh) 深度人脸图像的生成方法、装置、电子设备及介质
CN112232163A (zh) 指纹采集方法及装置、指纹比对方法及装置、设备
JP2005316888A (ja) 顔認識システム
CN113449704A (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
WO2021046773A1 (zh) 人脸防伪检测方法、装置、芯片、电子设备和计算机可读介质
CN111310699A (zh) 一种基于手掌特征的身份认证方法及系统
CN114863499B (zh) 一种基于联邦学习的指静脉与掌静脉识别方法
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
Borah et al. ANN based human facial expression recognition in color images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant