CN109684925A - 一种基于深度图像的人脸活体检测方法及设备 - Google Patents
一种基于深度图像的人脸活体检测方法及设备 Download PDFInfo
- Publication number
- CN109684925A CN109684925A CN201811389913.1A CN201811389913A CN109684925A CN 109684925 A CN109684925 A CN 109684925A CN 201811389913 A CN201811389913 A CN 201811389913A CN 109684925 A CN109684925 A CN 109684925A
- Authority
- CN
- China
- Prior art keywords
- face
- depth
- depth image
- image
- human face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000001727 in vivo Methods 0.000 title claims abstract description 46
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 17
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 230000008439 repair process Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度图像的人脸活体检测方法及装置,所述方法包括如下步骤:S1、接收包含人脸的深度图像;S2、检测所述深度图像中的人脸区域;S3、对所述人脸区域深度图像预处理实现图像增强并提取有效人脸深度图像;S4、将有效人脸深度图像输入至经训练的深度卷积神经网络,以检测所述人脸是真实人脸或虚假人脸。由于直接采用包含人脸的深度图像,并经图像处理得到有效人脸深度图像,利用经训练的深度卷积神经网络来检测人脸是真实人脸或虚假人脸,解决了传统的单目彩色相机无法较好恢复出人脸三维信息的问题,从而对识别率有较大的提升。
Description
技术领域
本发明涉及一种基于深度图像的人脸活体检测方法及设备。
背景技术
人脸活体检测技术是面向人工智能领域的一项前沿技术,该技术以新型的3D传感器为依托,以深度学习技术为开发框架,诣在对人脸识别领域中,真实人脸和虚假人脸进行有效判断,从而抵抗非法虚假人脸对人脸识别系统的攻击,为具有人脸识别的应用提供安全性更高的应用环境。
静态人脸活体检测是一种从深度图像中检测其包含的人脸区域是否为当前设备采集到的真实人脸的技术。如果检测结果为真则输出1,为假则输出0。实现人脸活体检测的前提是构建人脸活体检测器。一般来说,现有技术通过如下几种方式构建人脸检测器。
技术一:利用翻拍的人脸彩色图像的纹理信息分析翻拍图像质量。由于翻拍的图像会产生较多的噪声。如果是对着电子屏幕进行翻拍,由于屏幕的时间分辨率与相机频率的不同会产生莫列干涉,从而使得图像上产生条带噪声,根据不同噪声进行分析判断是否为真实人脸。该技术中,当前部分拍照设备分辨率较高、图像信噪比较高,从而对噪声判断技术带来不确定的因素。
技术二:利用虚假人脸区域与其背景的一致性来判别。虚假人脸往往是通过打印或在硬件媒体上以播放的形式进行静态或动态展示。然而虚假人脸区域的领域或边缘背景在纸张或媒体硬件设备的运动过程中,与虚假人脸不产生运动差异,保持一致性。基于该特点,在视频图像中可利用运动检测与判定虚假人脸与否。该技术中需要利用视频帧信息,增加了系统的运算复杂度,同时用户体验性较差。
技术三:人脸局部信息的非刚性运动。虚假静态人脸图像无论出于何种运动都为刚性运动,而真实人脸在视频中会产生面部细微的非刚性变化,从而根据此差异可以判定真实人脸与否。该技术中,需要采用高时间分辨率的采集设备,同时从刚性的变化真实人脸运动中(如头部转动)提取非刚性面部信息,为活体检测时效性的提升和算法复杂度的降低带来困难。
技术四:人脸三维重构。真实人脸的3D信息与虚假的电子设备描述的人脸3D信息有很强的区分度。利用相机的多角度拍摄以及相机内部参数,重构出人脸关键点深度信息,根据关键点的深度信息进行有监督的人脸判定。该技术需要对相机内部参数进行标定,而相机内部参数的标定的准确性、拍摄不同图像的相机之间的旋转位移关系以及图像的质量对重构的人脸深度值有极大的影响,因此该方法对活体检测的误检率较高。
发明内容
本发明的目的在于提出一种基于深度图像的人脸活体检测方法,
为此,本发明所提出的基于深度图像的人脸活体检测方法,包括如下步骤:S1、接收包含人脸的深度图像;S2、检测所述深度图像中的人脸区域;S3、对所述人脸区域深度图像预处理实现图像增强并提取有效人脸深度图像;S4、将有效人脸深度图像输入至经训练的深度卷积神经网络,以检测所述人脸是真实人脸或虚假人脸。
在本发明的一些实施例中,所述方法还可以包括如下技术特征:
步骤S4中所述深度卷积神经网络包括输入层、卷积层、池化层、全连接层、softimax层和输出层,输入层对所述有效人脸深度图像进行格式、大小调整,卷积层和池化层分别进行卷积、池化操作,输出层为一个全连接网络,经过sofimax层预测后得到一个大小为1×2的向量输出,用于人脸活体二分类判别。
在步骤S1中,在接收深度图像的同时还接收彩色图像,并对深度图像与彩色图像进行配准,即找到二者之间坐标的对应关系以消除视差。在步骤S2中,通过检测出彩色图像中的人脸区域,根据对应关系定位出深度图像的人脸区域。
步骤S2中检测所述深度图像中的人脸区域,具体包括如下内容:S21、根据检测算法判断在一幅包含人脸的彩色图像上检测到几个人脸,如果人脸个数等于1,则标记该人脸区域的矩形框左上顶点的坐标以及矩形框的长和宽,相关表达式表示为(x,y,width,height);S22、如果人脸个数大于1,记为N,则根据检测出的人脸区域矩形框的长和宽的值计算人脸矩形区域的面积Si,i∈(1,…,N);将所有N个人脸区域的面积进行降序排列,选取最大值并输出对应人脸区域彩色图像的相关表达式(x,y,width,height);S23、再根据检测到的人脸区域彩色图像的坐标位置(x,y),对该彩色图像以及对应深度图像上进行人脸区域截取并保存。
步骤S3中,对检测到的人脸区域深度图像进行深度预处理,以获取有效人脸深度图像,具体包含如下步骤:S31、对人脸区域深度图像中没有深度信息的噪声区域进行修复;
S32、对修复完成的人脸区域深度图像L进行第一次归一化;S33、对人脸区域深度图像进行深度连通域分割;S34、对深度图像进行有效人脸深度图像提取;S35、对有效人脸深度图像进行二次归一化。
步骤S31具体包括:针对每一幅人脸区域深度图像,根据均值估计法对人脸区域深度图像中没有深度信息的噪声区域进行修复:首先设定第一滑动窗口,对较大的深度缺失区域进行第一遍深度修复,其次设定第二滑动窗口,对较小深度缺失区域进行第二遍深度修复,输出图像L;其中第一滑动窗口的大小大于第二滑动窗口的大小。
所述输入层用于对接收到的有效人脸深度图像进行图像大小和格式转换,包括:将正负人脸深度图像进行三次复制,并保存为三通道的彩色图像png格式,根据TensorFlow的slim框架对三通道正负人脸深度图像进行TFrecord格式转换,并将图像大小归一化成指定大小。
所述深度卷积神经网络的训练步骤包括:步骤601、接收多幅人脸彩色图像和深度图像,检测人脸区域深度图像并保存到存储器;步骤602、对人脸区域深度图像分别进行深度预处理实现图像增强,并提取有效人脸深度图像;步骤603、将有效人脸深度图像输入至深度卷积神经网络进行训练,得到一个大小为1×2的向量输出,用于人脸活体二分类判别。
步骤601中,通过深度相机同时采集多幅经配准的包含人脸的彩色图像和深度图像,再通过人脸检测方案检测到多幅人脸区域深度图像并保存到存储器制作成人脸活体检测数据库。
所述人脸活体检测数据库包括人脸正样本数据库和人脸负样本数据库;其中,人脸正样本数据库包含采集人脸姿态在俯仰、航偏、翻滚角在(-30°,30°)范围内的包含人脸的深度图像;人脸负样本数据库通过模拟数据生成和虚假人脸拍摄两种手段完成。
本发明还提出一种基于深度图像的人脸活体检测设备,包括相机、处理器和存储器,所述相机用于采集包括深度图像在内的图像,所述存储器用于存储数据,包括存储所述相机采集的图像、所述处理器执行时所需的指令程序;处理器与所述存储器、相机连接,用于控制所述相机以及执行存储器内部保存的指令程序,所述指令程序用于执行上述的人脸活体检测方法。
本发明还提出一种计算机存储介质,其特征在于,其存储有计算机程序,所述计算机程序可用于执行以实现上述的人脸活体检测方法。
本发明的有益效果是:
本发明设计的深度卷积神经网络结构简单,采用单深度图作为网络输入,解决了传统的大中型卷积神经网络层次过深,易对小规模数据量的活体检测数据样本产生过拟合的问题,同时能够对非传统彩色图像进行端到端的二分类有效训练。
本发明采用对包含人脸的深度图像进行检测,并经图像处理得到有效人脸深度图像,利用经训练的深度卷积神经网络来以检测人脸是真实人脸或虚假人脸,深度相机可以较好地恢复出人脸三维信息,以此恢复三维信息来检测是比通过彩色相机检测更精确的,解决了传统的单目彩色相机无法较好恢复出人脸三维信息的问题,从而对识别率有较大的提升。从检测结果也得到了证实,识别率显而易见是提升了的。
附图说明
图1是根据本发明一个实施例的人脸活体检测设备的结构示意图。
图2是根据本发明一个实施例的人脸活体检测步骤示意图。
图3是根据本发明又一个实施例的人脸活体检测步骤示意图。
图4是依据配准的深度图像和彩色图像进行人脸区域深度图像检测的过程示意图。
图5是根据本发明一个实施例的深度卷积神经网络示意图。
图6是根据本发明一个实施例的深度卷积神经网络的训练步骤示意图。
具体实施方式
下面结合附图通过具体实施例对本发明进行详细的介绍,以便更好的理解本发明,但下述实施例并不限制本发明范围。另外,需要说明的是,下述实施例中所提供的图示仅以示意方式说明本发明的基本构思,附图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的形状、数量及比例可为一种随意的改变,且其组件布局形态也可能更为复杂。
在介绍本发明实施例之前,我们先来看下现有技术出现各种问题的原因。
在背景技术中,我们介绍的上述四种人脸活体检测技术主要基于单帧彩色图像或者视频图像,技术一基于单帧彩色图像的技术,主要通过对图像的纹理进行特征挖掘对图像的噪声进行分析达到判定真实或虚假人脸的目的。技术二、三基于视频的图像,主要利用视频帧之间的连续性判断人体表情或者脸部姿态的细微变化,从而判定真实人脸与否。技术四是通过各个不同角度的相机拍摄,利用立体视觉技术重构出三维人脸关键点的深度信息分布,并结合有监督学习的方法判别真实人脸与否。
这些现有技术之所以存在各种问题,我们分析,其主要设计盲点和误区在于:所设计的活体检测方案过于依赖图像的彩色纹理信息,而忽略了真实人脸的三维信息,从而造成设计的模型复杂度过高,并且模型的泛化性能较弱。同时,现有技术主要依赖于传统的单目彩色相机,无法较好的恢复出人脸的三维信息,从而对识别率有较大的影响。本申请的下述实施例则避免了这些问题。
实施例一
图1是根据本发明一个实施例的人脸活体检测设备的结构示意图,设备10包括集成在同一设备中的相机101、处理器102和存储器103。相机101用于采集图像,比如深度图像、彩色图像、红外图像等;存储器103用于存储数据,比如存储相机101采集的图像、处理器102执行时所需的指令程序等;处理器102与存储器103、相机101连接,用于控制相机101以及执行存储器103内部保存的指令程序。设备10可以是手机、计算机、平板电脑、电视、游戏机等计算设备。
在利用设备10进行人脸活体检测时,由相机101采集包含人脸的深度图像,采集到的深度图像可以保存到存储器103中,也可以直接被处理器102接收,随后处理器102将调用保存在存储器103中的人脸活体检测程序,并执行相关的人脸活体检测指令。图2是根据本发明一个实施例的人脸活体检测步骤示意图,处理器将执行如图2所示的指令步骤,步骤201中接收到深度图像,其次在步骤202中检测深度图像中的人脸区域,然后在步骤203中对人脸区域的深度图像进行预处理以实现图像增强,同时提取有效人脸深度图像,最后在步骤204中将有效人脸深度图像输入至经训练的深度卷积神经网络,以检测所述人脸是真实人脸或虚假人脸。
可以理解的是,存储器103内部的指令存储105模块内部已包含了识别深度图像以及深度图像预处理的执行程序,还包含了经训练的深度卷积神经网络。
实施例二
图3所示的是根据本发明又一个实施例的人脸活体检测步骤示意图。在本实施例中,相机101在采集深度图像的同时采集彩色图像,深度图像与彩色图像被传输到处理器102中以执行人脸活体检测。在步骤301中,处理器接收深度图像与彩色图像,并对深度图像与彩色图像进行配准,即找到二者之间坐标的对应关系以消除视差;在步骤302中,通过检测出彩色图像中的人脸区域,根据对应关系定位出深度图像的人脸区域;在步骤303中,对人脸区域的深度图像进行预处理以实现图像增强,同时提取有效人脸深度图像,最后在步骤304中将有效人脸深度图像输入至经训练的深度卷积神经网络,以检测所述人脸是真实人脸或虚假人脸。
图4所示是依据配准的深度图像和彩色图像进行人脸区域深度图像检测的过程示意图。图中40包含了用深度相机101采集的包含人脸403的彩色图像401、包含人脸404的深度图像402、人脸区域彩色图像405和人脸区域深度图像406。需要说明的是,深度相机101采集的包含人脸的彩色图像401和包含人脸的深度图像402为多幅且一一配准,此外,在一幅包含人脸的彩色图像401上可能包含多个人脸403,在相应的人脸深度图像402中将有一一对应的人脸404。
在一个具体的实施例中是通过Adaboost人脸检测算法检测人脸区域深度图像,具体实施步骤包括如下内容:
(1)根据检测算法判断在一幅包含人脸的彩色图像401上检测到几个人脸,如果人脸个数等于1,则标记该人脸区域的矩形框左上顶点的坐标以及矩形框的长和宽,相关表达式表示为(x,y,width,height);
(2)如果人脸个数大于1,记为N,则根据检测出的人脸区域矩形框的长和宽的值计算人脸矩形区域的面积Si,i∈(1,…,N)。将所有N个人脸区域的面积进行降序排列,选取最大值并输出对应人脸区域彩色图像405的相关表达式(x,y,width,height);
(3)再根据检测到的人脸区域彩色图像305的坐标位置(x,y),对该彩色图像以及对应深度图像上进行人脸区域截取,并将截取的人脸区域的彩色图像405和深度图像406分别保存至存储器103中。
在上述人脸活体检测过程中,处理器102根据存储器103内部保存的执行指令,对检测到的人脸区域深度图像进行深度预处理,以获取有效人脸深度图像,在一个实施例中,预处理包含如下步骤:
(1)对人脸区域深度图像406中没有深度信息的噪声区域进行修复;
根据本发明的一个实施例,具体实施方式为,针对每一幅人脸区域深度图像406,根据均值估计法对人脸区域深度图像406中没有深度信息的噪声区域进行修复。首先设定滑动窗口的大小为5*5,对较大的深度缺失区域进行第一遍深度修复,其次设定滑动窗口大小为3*3,对较小深度缺失区域进行第二遍深度修复,输出图像L。
(2)对修复完成的人脸区域深度图像L进行第一次归一化;根据本发明的一个实施例,具体实施过程包含如下内容;
(a)设定背景移除阈值为T=3000;根据阈值T将人脸区域深度图像中深度值大于T的像素值设为零,此时图像记为I,对应深度值记为Vz;
(b)根据背景深度置0后的人脸区域深度图像I计算前景区域(非0像素值)的最大深度值,记为Vforground_max;
(c)将背景深度值为0的像素置为Inf;并计算当前状态下人脸区域深度图像中像素值中的最小深度值,记为Vforground_min;
(d)对当前人脸区域深度图像中的像素值进行归一化操作,归一化后图像记为J,对应深度值记为Vnorm_face,公式如下:
Vnorm_face=(Vz-Vforground_min)./(Vforground_max-Vforground_min)
(e)在人脸区域深度图像J中,查找深度值为之前置为Inf的背景像素,将其置为1;此时,所述人脸区域深度图像的前景区域的像素值在(0~1)区间内,第一次归一化结束。
(3)对人脸区域深度图像进行深度连通域分割,根据本发明一个具体实施例,具体实施步骤包含如下内容;
(a)设置深度连续性参数Tdepth为0.6,初始化标签i=0;
(b)将连通域表、连通域均值表均初始化,连通域表记为L,L具有一个与人脸区域深度图像J同等长和宽的全零矩阵,该表对应图像J中所有像素的类别标签;连通域均值表记为M;初始化为全零矩阵,大小与L矩阵相同;
(c)以从左到右、从上到下的顺序,查找第一个类别标签为0的像素,并将该像素设置为后续扫描的初始像素,记为Pi,将其类别标签更新为i=i+1,并同时将连通域表L中对应像素Pi坐标的值更新为i,随后将连通域均值表M中对应Pi位置的值更新为Pi深度值,记为Vi;
(d)以当前Pi为扫描初始点,再次以从左到右、从上到下的顺序,根据8邻域准则计算像素Pi与其周围8邻域中每个像素Pn深度值的绝对值平方差,记为E(i,n);如果像素Pn与当前像素Pi的E(i,n)小于深度连续性参数Tdepth,则将连通域表L中对应像素Pn坐标的值更新为i;
(e)查找L中值为i的元素的坐标,记为L(i);计算图像中坐标为L(i)所对应深度值的均值,记为M(i);
(f)更新连通域均值表M中坐标为L(i)的像素值M(i);
(g)根据(d)的计算规则,遍历整幅图像J,同时不断更新L,M;
(i)重复迭代(c)到(g)过程,直到连通域表L中所有的元素值不为零时,停止迭代,深度连通域分割结束并输出图像N;
(4)对深度图像N进行有效人脸深度图像提取,根据本发明一个实施例,具体实施过程包含如下内容;
(a)对深度图像N中所有平均深度值由小到大进行排列,并去除重复数值;
(b)计算(a)中每个深度值对应的像素个数;
(c)查找存在某个平均深度值最多的像素对应的坐标,并将此类像素坐标对应的深度值置为1,非此类像素坐标对应的深度值置为0,此时将深度图像记为Nbinary;
(d)计算有效人脸深度图像为:Nextract=Nbinary∩Inorm_face,对应深度值记为Vextract。
(5)对有效人脸深度图像进行二次归一化,根据本发明一个实施例,具体实施步骤包含如下内容:
(a)找出有效人脸深度图像Nextract中的最大深度值,记为Vextract_max,同时将有效人脸深度图像中深度值为0的像素值置为Inf;
(b)计算置Inf后有效人脸深度深度图像Nextract的最小深度值,记为Vextract_min;
(c)对有效人脸深度图像进行二次归一化,输出图像Nnorm_face,对应图像深度值记为V′norm face计算公式如下:
V′norm_face=(Vextract-Vextract_min)./(Vextract_max-Vextract_min)
(d)查找此前深度值为Inf的像素置为1,并输出有效人脸深度图像保存至存储器103中,此时,深度图像预处理结束。
在上述人脸活体检测过程中,处理器102根据存储器103内部的执行指令,将提取的有效人脸深度图像输入至经训练的深度卷积神经网络,以检测所述人脸是真实人脸或虚假人脸。
图5为根据本发明一个实施例的深度卷积神经网络示意图。该网络结构50由输入层501、卷积层502、池化层503、全连接层504、softmax层505和输出层506组成。其中,输入层501用于对接收到的有效人脸深度图像进行图像大小和格式转换,并输入至卷积层502,卷积层502包含cov1、cov2、cov3共三个卷积层对有效人脸深度信息进行卷积操作,池化层503包括pooll、pool2、pool3、pool4共四个池化层对有效人脸深度信息进行池化操作,第二层卷积神经网络(cov2)分别进行了两种不同大小(2×2)以及(4×4)的池化操作;有效人脸深度图像经过卷积层和池化层的运算操作后输入至全连接层504,全连接层504为一个长度为1×120的全连接网络,再经过softmax层505预测后得到一个大小为1×2的向量输出,用于人脸活体二分类判别。
在一个实施例中,输入层501用于对接收到的有效人脸深度图像进行图像大小和格式转换,包括:将正负人脸深度图像进行三次复制,并保存为三通道的彩色图像png格式,根据TensorFlow的slim框架对三通道正负人脸深度图像进行TFrecord格式转换,并将图像大小归一化成55*47大小。
图6为根据本发明一个实施例的深度卷积神经网络的训练步骤示意图。步骤601为接收多幅人脸彩色图像和深度图像,检测人脸区域深度图像并保存到存储器103;再通过步骤602对人脸区域深度图像分别进行深度预处理实现图像增强,并提取有效人脸深度图像;最后通过步骤603将有效人脸深度图像输入至深度卷积神经网络进行训练,得到一个大小为1×2的向量输出,用于人脸活体二分类判别。
步骤601为接收多幅人脸彩色图像和深度图像,检测人脸区域深度图像并保存到存储器103中制作人脸活体检测数据库;在本发明一个实施例中,可通过上文中提到的人脸区域深度图像检测方案,即,通过深度相机同时采集多幅经配准的包含人脸的彩色图像和深度图像,再通过人脸检测方案检测到多幅人脸区域深度图像并保存到存储器103制作成人脸活体检测数据库。
在一个实施例中,人脸正样本数据库主要包含采集人脸姿态在俯仰、航偏、翻滚角在(-30°,30°)范围内的包含人脸的深度图像;人脸负样本数据库主要通过模拟数据生成和虚假人脸拍摄两种手段完成。
处理器102根据存储器103内部的指令程序执行步骤602,对人脸区域深度图像分别进行深度预处理实现图像增强,并提取有效人脸深度图像,在一个具体实施例中,可通过如上文提到的深度预处理技术对多幅人脸区域深度图像进行深度预处理,并将提取到的多幅有效人脸深度图像保存到存储器103中。
在一个实施例中,根据深度卷积神经网络的训练步骤进行了实时的训练并通过输入测试数据已得到良好的结果,具体参数值为:训练数据共9000幅,其中,预处理后的人脸正样本共4624幅,为深度相机采集并通过深度处理后得到的有效人脸深度图像;人脸负样本共4576幅,包括人工合成图像(平面、曲面拟合加噪声)与采集的虚假人脸图像(打印人脸、电子设备播放),同样为通过深度处理后的有效人脸深度图像;训练次数达40000次时,深度卷积神经网络完成训练。测试数据共4885幅,其中,正样本3139+25=3164幅,负样本1708+13=1721幅;将测试数据信息汇总如下表格中所示。
由表中数据可以看到,当训练次数达到40000次时,输入的4885幅包含人脸的图像,判定是否为真实人脸的准确率达到99.58%(即表中的0.9958),该方案的可行性已得到了良好的验证。
综上,本发明通过设计一种基于深度相机的人脸活体检测方法,由于解决了传统的单目彩色相机无法较好恢复出人脸三维信息的问题,从而对识别率有较大的提升。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (12)
1.一种基于深度图像的人脸活体检测方法,其特征在于包括如下步骤:
S1、接收包含人脸的深度图像;
S2、检测所述深度图像中的人脸区域;
S3、对所述人脸区域深度图像预处理实现图像增强并提取有效人脸深度图像;
S4、将有效人脸深度图像输入至经训练的深度卷积神经网络,以检测所述人脸是真实人脸或虚假人脸。
2.如权利要求1所述的基于深度图像的人脸活体检测方法,其特征在于:其中,步骤S4中所述深度卷积神经网络包括输入层、卷积层、池化层、全连接层、softmax层和输出层,输入层对所述有效人脸深度图像进行格式、大小调整,卷积层和池化层分别进行卷积、池化操作,输出层为一个全连接网络,经过softmax层预测后得到一个大小为1×2的向量输出,用于人脸活体二分类判别。
3.如权利要求1所述的基于深度图像的人脸活体检测方法,其特征在于:在步骤S1中,在接收深度图像的同时还接收彩色图像,并对深度图像与彩色图像进行配准,即找到二者之间坐标的对应关系以消除视差;在步骤S2中,通过检测出彩色图像中的人脸区域,根据对应关系定位出深度图像的人脸区域。
4.如权利要求3所述的基于深度图像的人脸活体检测方法,其特征在于:步骤S2中检测所述深度图像中的人脸区域,具体包括如下内容:
S21、根据人脸检测算法判断在一幅包含人脸的彩色图像上检测到几个人脸,如果人脸个数等于1,则标记该人脸区域的矩形框左上顶点的坐标以及矩形框的长和宽,相关表达式表示为(x,y,width,height);
S22、如果人脸个数大于1,记为N,则根据检测出的人脸区域矩形框的长和宽的值计算人脸矩形区域的面积Si,i∈(1,…,N);将所有N个人脸区域的面积进行降序排列,选取最大值并输出对应人脸区域彩色图像的相关表达式(x,y,width,height);
S23、再根据检测到的人脸区域彩色图像的坐标位置(x,y),对该彩色图像以及对应深度图像上进行人脸区域截取并保存。
5.如权利要求1所述的基于深度图像的人脸活体检测方法,其特征在于:步骤S3中,对检测到的人脸区域深度图像进行深度预处理,以获取有效人脸深度图像,具体包含如下步骤:
S31、对人脸区域深度图像中没有深度信息的噪声区域进行修复;
S32、对修复完成的人脸区域深度图像L进行第一次归一化;
S33、对人脸区域深度图像进行深度连通域分割;
S34、对深度图像进行有效人脸深度图像提取;
S35、对有效人脸深度图像进行二次归一化。
6.如权利要求5所述的基于深度图像的人脸活体检测方法,其特征在于:步骤S31具体包括:针对每一幅人脸区域深度图像,根据均值估计法对人脸区域深度图像中没有深度信息的噪声区域进行修复:首先设定第一滑动窗口,对较大的深度缺失区域进行第一遍深度修复,其次设定第二滑动窗口,对较小深度缺失区域进行第二遍深度修复,输出图像L;其中第一滑动窗口的大小大于第二滑动窗口的大小。
7.如权利要求2所述的基于深度图像的人脸活体检测方法,其特征在于:所述输入层用于对接收到的有效人脸深度图像进行图像大小和格式转换,包括:将正负人脸深度图像进行三次复制,并保存为三通道的彩色图像png格式,根据TensorFlow的slim框架对三通道正负人脸深度图像进行TFrecord格式转换,并将图像大小归一化成指定大小。
8.如权利要求1或2所述的基于深度图像的人脸活体检测方法,其特征在于,所述深度卷积神经网络的训练步骤包括:
步骤601、接收多幅人脸彩色图像和深度图像,检测人脸区域深度图像并保存到存储器;
步骤602、对人脸区域深度图像分别进行深度预处理实现图像增强,并提取有效人脸深度图像;
步骤603、将有效人脸深度图像输入至深度卷积神经网络进行训练,得到一个大小为1×2的向量输出,用于人脸活体二分类判别。
9.如权利要求8所述的基于深度图像的人脸活体检测方法,其特征在于:步骤601中,通过深度相机同时采集多幅经配准的包含人脸的彩色图像和深度图像,再通过人脸检测方案检测到多幅人脸区域深度图像并保存到存储器制作成人脸活体检测数据库。
10.如权利要求9所述的基于深度图像的人脸活体检测方法,其特征在于:所述人脸活体检测数据库包括人脸正样本数据库和人脸负样本数据库;其中,人脸正样本数据库包含采集人脸姿态在俯仰、航偏、翻滚角在(-30°,30°)范围内的包含人脸的深度图像;人脸负样本数据库通过模拟数据生成和虚假人脸拍摄两种手段完成。
11.一种基于深度图像的人脸活体检测设备,其特征在于:包括相机、处理器和存储器,所述相机用于采集包括深度图像在内的图像,所述存储器用于存储数据,包括存储所述相机采集的图像、所述处理器执行时所需的指令程序;处理器与所述存储器、相机连接,用于控制所述相机以及执行存储器内部保存的指令程序,所述指令程序用于执行如权利要求1到10中任一权利要求中所述的人脸活体检测方法。
12.一种计算机存储介质,其特征在于,其存储有计算机程序,所述计算机程序可用于执行以实现如权利要求1到10中任一权利要求中所述的人脸活体检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811389913.1A CN109684925B (zh) | 2018-11-21 | 2018-11-21 | 一种基于深度图像的人脸活体检测方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811389913.1A CN109684925B (zh) | 2018-11-21 | 2018-11-21 | 一种基于深度图像的人脸活体检测方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109684925A true CN109684925A (zh) | 2019-04-26 |
CN109684925B CN109684925B (zh) | 2023-10-27 |
Family
ID=66185867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811389913.1A Active CN109684925B (zh) | 2018-11-21 | 2018-11-21 | 一种基于深度图像的人脸活体检测方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109684925B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110248096A (zh) * | 2019-06-28 | 2019-09-17 | Oppo广东移动通信有限公司 | 对焦方法和装置、电子设备、计算机可读存储介质 |
CN110383288A (zh) * | 2019-06-06 | 2019-10-25 | 深圳市汇顶科技股份有限公司 | 人脸识别的方法、装置和电子设备 |
CN110458171A (zh) * | 2019-08-12 | 2019-11-15 | 深圳市捷顺科技实业股份有限公司 | 一种车牌识别的方法以及相关装置 |
CN110688967A (zh) * | 2019-09-30 | 2020-01-14 | 上海依图信息技术有限公司 | 用于静态人脸活体检测的系统以及方法 |
CN110688950A (zh) * | 2019-09-26 | 2020-01-14 | 杭州艾芯智能科技有限公司 | 基于深度信息的人脸活体检测方法、装置 |
CN110852311A (zh) * | 2020-01-14 | 2020-02-28 | 长沙小钴科技有限公司 | 一种三维人手关键点定位方法及装置 |
CN111160087A (zh) * | 2019-11-22 | 2020-05-15 | 国网江苏省电力有限公司电力科学研究院 | 一种红外图像中瓷绝缘子铁帽和盘面自动识别方法、系统及存储介质 |
CN111339832A (zh) * | 2020-02-03 | 2020-06-26 | 中国人民解放军国防科技大学 | 人脸合成图像的检测方法及装置 |
CN111414864A (zh) * | 2020-03-23 | 2020-07-14 | 深圳云天励飞技术有限公司 | 一种人脸活体检测方法和相关装置 |
CN111881706A (zh) * | 2019-11-27 | 2020-11-03 | 马上消费金融股份有限公司 | 活体检测、图像分类和模型训练方法、装置、设备及介质 |
CN112115833A (zh) * | 2020-09-10 | 2020-12-22 | 深圳印像数据科技有限公司 | 一种图片的活体检测及分类方法 |
CN112468690A (zh) * | 2019-09-06 | 2021-03-09 | 东芝泰格有限公司 | 数字摄像设备、数字摄像方法及存储介质 |
CN114758370A (zh) * | 2020-12-28 | 2022-07-15 | 深圳市光鉴科技有限公司 | 训练数据增广方法、系统、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101339607A (zh) * | 2008-08-15 | 2009-01-07 | 北京中星微电子有限公司 | 人脸识别方法及系统、人脸识别模型训练方法及系统 |
CN106485672A (zh) * | 2016-09-12 | 2017-03-08 | 西安电子科技大学 | 改进的块匹配修复和联合三边导向滤波图像增强方法 |
CN107633165A (zh) * | 2017-10-26 | 2018-01-26 | 深圳奥比中光科技有限公司 | 3d人脸身份认证方法与装置 |
CN108510573A (zh) * | 2018-04-03 | 2018-09-07 | 南京大学 | 一种基于深度学习的多视点人脸三维模型重建的方法 |
CN108520204A (zh) * | 2018-03-16 | 2018-09-11 | 西北大学 | 一种人脸识别方法 |
CN108764052A (zh) * | 2018-04-28 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
-
2018
- 2018-11-21 CN CN201811389913.1A patent/CN109684925B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101339607A (zh) * | 2008-08-15 | 2009-01-07 | 北京中星微电子有限公司 | 人脸识别方法及系统、人脸识别模型训练方法及系统 |
CN106485672A (zh) * | 2016-09-12 | 2017-03-08 | 西安电子科技大学 | 改进的块匹配修复和联合三边导向滤波图像增强方法 |
CN107633165A (zh) * | 2017-10-26 | 2018-01-26 | 深圳奥比中光科技有限公司 | 3d人脸身份认证方法与装置 |
CN108520204A (zh) * | 2018-03-16 | 2018-09-11 | 西北大学 | 一种人脸识别方法 |
CN108510573A (zh) * | 2018-04-03 | 2018-09-07 | 南京大学 | 一种基于深度学习的多视点人脸三维模型重建的方法 |
CN108764052A (zh) * | 2018-04-28 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020243967A1 (zh) * | 2019-06-06 | 2020-12-10 | 深圳市汇顶科技股份有限公司 | 人脸识别的方法、装置和电子设备 |
CN110383288A (zh) * | 2019-06-06 | 2019-10-25 | 深圳市汇顶科技股份有限公司 | 人脸识别的方法、装置和电子设备 |
US11178324B2 (en) | 2019-06-28 | 2021-11-16 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Focusing method and device, electronic device and computer-readable storage medium |
CN110248096A (zh) * | 2019-06-28 | 2019-09-17 | Oppo广东移动通信有限公司 | 对焦方法和装置、电子设备、计算机可读存储介质 |
CN110248096B (zh) * | 2019-06-28 | 2021-03-12 | Oppo广东移动通信有限公司 | 对焦方法和装置、电子设备、计算机可读存储介质 |
CN110458171A (zh) * | 2019-08-12 | 2019-11-15 | 深圳市捷顺科技实业股份有限公司 | 一种车牌识别的方法以及相关装置 |
CN110458171B (zh) * | 2019-08-12 | 2023-08-29 | 深圳市捷顺科技实业股份有限公司 | 一种车牌识别的方法以及相关装置 |
CN112468690B (zh) * | 2019-09-06 | 2022-10-04 | 东芝泰格有限公司 | 数字摄像设备、数字摄像方法及存储介质 |
CN112468690A (zh) * | 2019-09-06 | 2021-03-09 | 东芝泰格有限公司 | 数字摄像设备、数字摄像方法及存储介质 |
CN110688950B (zh) * | 2019-09-26 | 2022-02-11 | 杭州艾芯智能科技有限公司 | 基于深度信息的人脸活体检测方法、装置 |
CN110688950A (zh) * | 2019-09-26 | 2020-01-14 | 杭州艾芯智能科技有限公司 | 基于深度信息的人脸活体检测方法、装置 |
CN110688967A (zh) * | 2019-09-30 | 2020-01-14 | 上海依图信息技术有限公司 | 用于静态人脸活体检测的系统以及方法 |
CN111160087A (zh) * | 2019-11-22 | 2020-05-15 | 国网江苏省电力有限公司电力科学研究院 | 一种红外图像中瓷绝缘子铁帽和盘面自动识别方法、系统及存储介质 |
CN111881706A (zh) * | 2019-11-27 | 2020-11-03 | 马上消费金融股份有限公司 | 活体检测、图像分类和模型训练方法、装置、设备及介质 |
CN111881706B (zh) * | 2019-11-27 | 2021-09-03 | 马上消费金融股份有限公司 | 活体检测、图像分类和模型训练方法、装置、设备及介质 |
CN110852311A (zh) * | 2020-01-14 | 2020-02-28 | 长沙小钴科技有限公司 | 一种三维人手关键点定位方法及装置 |
CN111339832B (zh) * | 2020-02-03 | 2023-09-12 | 中国人民解放军国防科技大学 | 人脸合成图像的检测方法及装置 |
CN111339832A (zh) * | 2020-02-03 | 2020-06-26 | 中国人民解放军国防科技大学 | 人脸合成图像的检测方法及装置 |
CN111414864A (zh) * | 2020-03-23 | 2020-07-14 | 深圳云天励飞技术有限公司 | 一种人脸活体检测方法和相关装置 |
CN111414864B (zh) * | 2020-03-23 | 2024-03-26 | 深圳云天励飞技术有限公司 | 一种人脸活体检测方法和相关装置 |
CN112115833A (zh) * | 2020-09-10 | 2020-12-22 | 深圳印像数据科技有限公司 | 一种图片的活体检测及分类方法 |
CN112115833B (zh) * | 2020-09-10 | 2024-03-29 | 深圳印像数据科技有限公司 | 一种图片的活体检测及分类方法 |
CN114758370A (zh) * | 2020-12-28 | 2022-07-15 | 深圳市光鉴科技有限公司 | 训练数据增广方法、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109684925B (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109684924A (zh) | 人脸活体检测方法及设备 | |
CN109684925A (zh) | 一种基于深度图像的人脸活体检测方法及设备 | |
Yang et al. | Infrared and visible image fusion using visual saliency sparse representation and detail injection model | |
CN106874894B (zh) | 一种基于区域全卷积神经网络的人体目标检测方法 | |
CN104601964B (zh) | 非重叠视域跨摄像机室内行人目标跟踪方法及系统 | |
CN109919977B (zh) | 一种基于时间特征的视频运动人物跟踪与身份识别方法 | |
CN110490212A (zh) | 钼靶影像处理设备、方法和装置 | |
CN109670430A (zh) | 一种基于深度学习的多分类器融合的人脸活体识别方法 | |
CN113139479B (zh) | 一种基于光流和rgb模态对比学习的微表情识别方法及系统 | |
CN110826389B (zh) | 基于注意力3d频率卷积神经网络的步态识别方法 | |
CN106570464A (zh) | 一种快速处理人脸遮挡的人脸识别方法及装置 | |
CN104568986A (zh) | 基于surf算法的遥控器面板印刷缺陷自动检测方法 | |
Cun et al. | Image splicing localization via semi-global network and fully connected conditional random fields | |
CN111445459A (zh) | 一种基于深度孪生网络的图像缺陷检测方法及系统 | |
CN112926475B (zh) | 一种人体三维关键点提取方法 | |
CN111402237A (zh) | 基于时空级联自编码器的视频图像异常检测方法及系统 | |
CN112464844A (zh) | 一种基于深度学习与运动目标检测的人体行为动作识别方法 | |
CN111860297A (zh) | 一种应用于室内固定空间的slam回环检测方法 | |
Liu et al. | FedForgery: generalized face forgery detection with residual federated learning | |
Lian | Pedestrian detection using quaternion histograms of oriented gradients | |
Liu et al. | HPN-SOE: Infrared small target detection and identification algorithm based on heterogeneous parallel networks with similarity object enhancement | |
CN109034070A (zh) | 一种置换混叠图像盲分离方法及装置 | |
CN116993760A (zh) | 一种基于图卷积和注意力机制的手势分割方法、系统、设备及介质 | |
CN110910497A (zh) | 实现增强现实地图的方法和系统 | |
CN114360058B (zh) | 一种基于行走视角预测的跨视角步态识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000 Applicant after: Obi Zhongguang Technology Group Co.,Ltd. Address before: 12 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Nanshan District, Shenzhen, Guangdong 518000 Applicant before: SHENZHEN ORBBEC Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |