CN109961062A - 图像识别方法、装置、终端和可读存储介质 - Google Patents

图像识别方法、装置、终端和可读存储介质 Download PDF

Info

Publication number
CN109961062A
CN109961062A CN201910304830.6A CN201910304830A CN109961062A CN 109961062 A CN109961062 A CN 109961062A CN 201910304830 A CN201910304830 A CN 201910304830A CN 109961062 A CN109961062 A CN 109961062A
Authority
CN
China
Prior art keywords
face
depth
image
infrared
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910304830.6A
Other languages
English (en)
Inventor
魏鑫
闫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201910304830.6A priority Critical patent/CN109961062A/zh
Publication of CN109961062A publication Critical patent/CN109961062A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请涉及一种图像识别方法、装置、终端和可读存储介质。所述方法包括:获取待识别对象的脸部红外图像和脸部深度图像;根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;当所述红外脸部识别结果为通过时,根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果,并将所述深度脸部识别结果作为所述待识别对象的脸部识别结果。采用本方法能够提高识别的准确性。

Description

图像识别方法、装置、终端和可读存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像识别方法、装置、终端和可读存储介质。
背景技术
随着身份识别技术的发展,人脸识别技术以其自然性、非强制性等特点广泛应用在解锁、支付、安防等领域。
对于手机解锁场景而言,传统方案一般先对待检测对象进行活体检测,当活体检测通过后,传统方案会通过RGB(红绿蓝三色)或红外脸部图像提取待检测对象的脸部特征,并与预设的底库脸部特征进行比对;当比对通过时,则解锁;若比对不通过,则拒绝解锁。
然而,在实际应用场景中,活体检测经常会面临纸雕、脸部贴纸、三维面具等攻击。若活体检测被攻破(即将纸雕、脸部贴纸、三维面具等识别为活体对象),由于从纸雕、脸部贴纸、三维面具等对应的图像中提取的脸部特征会与底库脸部特征比较相近,则脸部识别也会被攻击通过,因此会极大地降低安全性,即存在误识的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高识别准确性的图像识别方法、装置、终端和可读存储介质。
第一方面,一种图像识别方法,所述方法包括:
获取待识别对象的脸部红外图像和脸部深度图像;
根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;
当所述红外脸部识别结果为通过时,根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果,并将所述深度脸部识别结果作为所述待识别对象的脸部识别结果。
在其中一个实施例中,所述根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果,包括:
根据所述脸部深度图像和脸部深度特征提取模型,得到脸部深度特征;
根据所述脸部深度特征和预设的底库脸部深度特征,进行深度人脸识别,得到深度脸部识别结果;所述底库脸部深度特征是根据所述脸部深度特征提取模型对底库脸部深度图像进行特征提取所得到的。
在其中一个实施例中,所述根据所述脸部深度图像和脸部深度特征提取模型,得到脸部深度特征,包括:
获取所述脸部深度图像的关键点的位置信息,并根据所述关键点的位置信息对所述脸部深度图像进行脸部区域裁剪,获得所述脸部深度图像对应的深度组件图像;
根据所述深度组件图像和所述脸部深度特征提取模型,得到所述脸部深度特征。
在其中一个实施例中,所述深度组件图像包括基于多个关键点裁剪得到的多个脸部区域图像时,所述根据所述深度组件图像和所述脸部深度特征提取模型,得到所述脸部深度特征,包括:
将所述深度组件图像输入所述脸部深度特征提取模型,输出所述深度组件图像的多个深度特征;
将所述深度组件图像的多个深度特征输入融合模型中进行融合处理,得到所述脸部深度特征。
在其中一个实施例中,所述将所述深度组件图像输入所述脸部深度特征提取模型,输出所述深度组件图像的多个深度特征,包括:
计算所述深度组件图像中各脸部区域图像的像素值的均值和方差,并根据所述均值和方差,对所述深度组件图像中各脸部区域图像进行归一化;
将所述归一化后的深度组件图像输入所述脸部深度特征提取模型,输出所述深度组件图像的多个深度特征。
在其中一个实施例中,所述关键点在所述脸部深度图像上的梯度值大于预设梯度值。
在其中一个实施例中,所述获取所述脸部深度图像的关键点的位置信息,包括:
获取所述脸部红外图像的关键点的位置信息;
将所述脸部深度图像和所述脸部红外图像进行配准处理,得到配准系数;
根据所述配准系数和所述脸部红外图像的关键点的位置信息,得到所述脸部深度图像的关键点的位置信息。
在其中一个实施例中,所述根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果,包括:
获取所述脸部红外图像的关键点的位置信息,并根据所述关键点的位置信息对所述脸部红外图像进行脸部区域裁剪,获得所述脸部红外图像对应的红外组件图像;
根据所述红外组件图像和所述脸部红外特征提取模型,得到所述脸部红外特征;
根据所述脸部红外特征和预设的底库脸部红外特征,进行红外人脸识别,得到红外脸部识别结果;所述底库脸部红外特征是根据所述脸部红外特征提取模型对底库脸部红外图像进行特征提取所得到的。
在其中一个实施例中,所述根据所述脸部深度特征和预设的底库脸部深度特征,进行深度人脸识别,得到深度脸部识别结果,包括:
计算所述脸部深度特征和所述底库脸部深度特征的相似度;
当所述相似度大于或等于预设相似度阈值时,确定所述深度脸部识别结果为通过;
当所述相似度小于预设相似度阈值时,确定所述深度脸部识别结果为未通过。
在其中一个实施例中,所述预设相似度阈值对应的深度人脸识别的通过率与红外人脸识别的通过率的差值,小于预设通过率差值阈值;在预设深度攻击场景下所述预设相似度阈值对应的深度人脸识别的通过率小于预设通过率阈值。
在其中一个实施例中,在根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果之前,所述方法还包括:
对待识别对象进行活体检测,得到活体检测结果;
当所述活体检测结果为通过时,则根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果。
在其中一个实施例中,所述对待识别对象进行活体检测,得到活体检测结果,包括:
计算所述脸部红外图像的目标像素特征值;
根据预设的红外图像的像素特征值与温度值的对应关系,获取所述目标像素特征值对应的目标温度值;
当所述目标温度值符合预设温度条件时,确定所述活体检测结果为通过。
在其中一个实施例中,所述获取待识别对象的脸部红外图像和脸部深度图像,包括:
通过飞行时间测距TOF摄像头对待识别对象进行拍摄,获得所述脸部红外图像和脸部深度图像。
第二方面,一种图像识别方法,所述方法包括:
获取待识别对象的脸部红外图像和脸部深度图像;
根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;以及根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果;
根据所述红外脸部识别结果和所述深度脸部识别结果,确定所述待识别对象的脸部识别结果。
第三方面,一种图像识别装置,所述装置包括:
图像获取模块,用于获取待识别对象的脸部红外图像和脸部深度图像;
红外人脸识别模块,用于根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;
深度人脸识别模块,用于当所述红外脸部识别结果为通过时,根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果,并将所述深度脸部识别结果作为所述待识别对象的脸部识别结果。
第四方面,一种图像识别装置,所述装置包括:
图像获取模块,用于获取待识别对象的脸部红外图像和脸部深度图像;
人脸识别模块,用于根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;以及根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果;
识别确定模块,用于根据所述红外脸部识别结果和所述深度脸部识别结果,确定所述待识别对象的脸部识别结果。
第五方面,一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待识别对象的脸部红外图像和脸部深度图像;
根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;
当所述红外脸部识别结果为通过时,根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果,并将所述深度脸部识别结果作为所述待识别对象的脸部识别结果。
第六方面,一种终端,包括拍摄装置、存储器和处理器,所述存储器存储有计算机程序,所述拍摄装置与所述处理器连接,所述处理器执行所述计算机程序时实现以下步骤:
获取待识别对象的脸部红外图像和脸部深度图像;
根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;
当所述红外脸部识别结果为通过时,根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果,并将所述深度脸部识别结果作为所述待识别对象的脸部识别结果。
上述图像识别方法、装置、终端和可读存储介质,终端可以获取待识别对象的脸部红外图像和脸部深度图像,然后根据脸部红外图像,对待识别对象进行红外人脸识别,并在红外脸部识别结果为通过时,根据脸部深度图像,对待识别对象进行深度人脸识别,将深度脸部识别结果作为待识别对象的脸部识别结果,即采用红外人脸识别和深度人脸识别的多段识别方式,其中,红外人脸识别可以过滤掉与合法对象的脸部特征相差较大的攻击,并排除与脸部表面的反射特性和辐射特性差异过大的攻击物料,深度人脸识别可以有效地拦截攻破红外人脸识别的具有深度信息的攻击,因此实现了联合防御,提高了对象识别准确性和终端安全性。
附图说明
图1为一个实施例中图像识别方法的应用环境图;
图2为一个实施例中图像识别方法的流程示意图;
图3为一个实施例中图像识别方法的流程示意图;
图4为一个实施例中图像识别方法的流程示意图;
图5为一个实施例中图像识别方法的流程示意图;
图6a为一个实施例中图像识别方法的流程示意图;
图6b为一个实施例中图像识别方法的示意图之一;
图6c为一个实施例中图像识别方法的示意图之二;
图7为一个实施例中图像识别装置的结构框图;
图8为一个实施例中图像识别装置的结构框图;
图9为一个实施例中终端的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的图像识别方法,可以应用于如图1所示的应用环境中。其中,终端可以获取待识别对象的脸部红外图像和脸部深度图像,并根据脸部红外图像和脸部深度图像进行人脸识别,以确定待识别对象的身份,进而在待识别对象的身份符合条件时,进行支付、解锁等后续操作。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。
在一个实施例中,如图2所示,提供了一种图像识别方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
S201,获取待识别对象的脸部红外图像和脸部深度图像。
为了便于说明,以终端解锁的场景进行描述,但本实施例并不限于该场景。
示例性地,在检测到解锁操作时,终端可以获取待识别对象的脸部红外图像和脸部深度图像;具体可以是终端接收其它设备发送的脸部红外图像和脸部深度图像,也可以是终端通过自身设置的传感器获得待识别对象的脸部红外图像和脸部深度图像,例如通过红外拍摄装置可以成像获得脸部红外图像、通过深度成像装置可以成像获得脸部深度图像,深度成像装置可以为结构光传感器、双目摄像头等。
其中,脸部深度图像中脸部区域的像素点的像素值可以表示:在待识别对象所处的成像场景下,从深度成像装置到待识别对象的脸部中各点的距离值,可以反映待识别对象的脸部的几何形状、深度落差、褶皱等深度特征。
脸部红外图像受环境光线变化的影响极小,可以得到高质量的脸部图像,提高人脸识别的置信度;具体可以是近红外脸部图像,也可以是远红外脸部图像,本实施例对此并不限制。脸部红外图像可以表征脸部表面对红外光谱的反射特性和辐射特性,对于与脸部表面的反射特性和辐射特性差异过大的攻击物料,其脸部红外图像必然与合法对象的脸部红外图像差异极大,因此可以防范石膏面具等与脸部表面的反射特性和辐射特性差异过大的攻击物料。
可选地,所述获取待识别对象的脸部红外图像和脸部深度图像,可以包括:通过飞行时间测距TOF(Time of flight)摄像头对待识别对象进行拍摄,获得所述脸部红外图像和脸部深度图像。TOF摄像头的原理就是用一个发射器向待检测对象发射经高频调制的脉冲红外光,再由一个传感器接收反射信号,然后再根据发射信号和反射信号的飞行时间来计算待检测对象的脸部表面与终端之间的距离,从而可以获得脸部深度图像;同时可以根据反射信号进行成像,得到脸部红外图像,即可以实现脸部深度图像和脸部红外图像的同步。
需要说明的是,上述待识别对象可以是人,也可以是动物(如宠物)等其它具有脸部的对象,均可以采用本实施例的图像识别方法。
S202,根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果。
示例性地,所述终端存储有至少一个合法对象对应的至少一张底库脸部红外图像,则可以将所述脸部红外图像和各合法对象的底库脸部红外图像依次进行依次比对,计算二者的相似度,当相似度大于第一预设阈值时,红外脸部识别结果为通过,即所述待识别对象可能是合法对象;相反地,当相似度小于第一预设阈值时,红外脸部识别结果为未通过,即所述待识别对象为非法对象。
在一种实施方式中,每个合法对象对应有多张底库脸部红外图像,因此针对每个合法对象,终端可以计算得到脸部红外图像与多张底库脸部红外图像对应的多个相似度,可以将所述多个相似度的均值作为最终的相似度,以确定所述待识别对象是否为合法对象,可以提高识别的准确性和稳定性。例如,某人在早上刚睡醒时和晚上疲惫时的脸部图像,相比于白天正常生活时的脸部图像(甚至存在化妆)相差可能很大,因此如果终端中仅保存有白天正常生活时的底库脸部红外图像,则在早上和晚上等场景下的红外人脸识别可能容易出错;因此,所述多张底库脸部红外图像可以为所述合法对象在早上、中午和晚上拍摄的到的脸部红外图像,因此可以提高识别的准确性和稳定性。
S203,当所述红外脸部识别结果为通过时,根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果,并将所述深度脸部识别结果作为所述待识别对象的脸部识别结果。
当所述红外脸部识别结果为通过时,终端进而采用辅助的深度人脸识别进行进一步甄别;当所述红外脸部识别结果为未通过时,终端可以跳出识别过程,拒绝解锁,不进行后续的深度人脸识别,降低资源占用,提高处理效率。
同样地,所述终端存储有至少一个合法对象对应的至少一张底库脸部深度图像,在进行深度人脸识别时,则可以将所述脸部深度图像和各合法对象的底库脸部深度图像依次进行比对,计算二者的相似度,当相似度大于第二预设阈值时,深度脸部识别结果为通过,即所述待识别对象是合法对象;相反地,当相似度小于第二预设阈值时,深度脸部识别结果为未通过,即所述待识别对象可能是非法对象。同样地,终端可以存储不同时间段的合法对象的底库深度图像以进行更准确和稳定的深度人脸识别,具体描述可以参照S202的描述,这里不再赘述。示例性地,脸部深度图像与底库脸部深度图像可以为矩阵或张量的形式,二者相似度可以为二者之间的范数,该范数可以但不限于是L1范数(绝对误差之和)、L2范数(欧几里得距离)等。
可以理解的是,红外人脸识别可以过滤掉与合法对象的脸部特征相差较大的攻击,并排除与脸部表面的反射特性和辐射特性差异过大的攻击物料;但是对与合法对象的脸部特征接近的攻击,尤其具有深度信息(如脸部三维面具、纸雕、脸部贴纸等)的攻击,由于具有与合法对象接近的三维特征,且其攻击物料的反射特性和辐射特性与脸部差异较小,因此可以通过红外人脸识别。
但实际上,上述具有深度信息的攻击,其深度信息并不精细,以脸部贴纸攻击为例,其脸部贴纸边沿以及褶皱处存在明显的深度差,因此其脸部深度图像与合法对象的脸部深度图像差异较大,难以通过深度人脸识别。深度人脸识别可以看做是另一种意义上的活体检测,可以过滤活体+物料的攻击(如脸部贴纸、脸部三维面具等)。
在本实施例中,终端可以获取待识别对象的脸部红外图像和脸部深度图像,然后根据脸部红外图像,对待识别对象进行红外人脸识别,并在红外脸部识别结果为通过时,根据脸部深度图像,对待识别对象进行深度人脸识别,将深度脸部识别结果作为待识别对象的脸部识别结果,即采用红外人脸识别和深度人脸识别的多段识别方式,其中,红外人脸识别可以过滤掉与合法对象的脸部特征相差较大的攻击,并排除与脸部表面的反射特性和辐射特性差异过大的攻击物料,深度人脸识别可以有效地拦截攻破红外人脸识别的具有深度信息的攻击,因此实现了联合防御,提高了对象识别准确性和终端安全性。
可选地,在所述S202之前,所述方法还可以包括活体检测的过程,活体检测过程可以包括:对待识别对象进行活体检测,得到活体检测结果;当所述活体检测结果为通过时,则根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果。
所述终端可以通过拍摄待检测对象的可见光图像,以检测待检测对象的头部移动、眨眼、张嘴等动作或者检测虹膜震颤特性来实现活体检测,也可以基于光流法通过可见光图像进行活体检测,还可以通过各类传感器检测待检测对象的手指的温度、排汗、导电性能等进行活体检测,本实施例对此并不限制。因此,本实施例可以通过活体检测、红外人脸识别、深度人脸识别的三级识别实现联合防御,进一步提高对象识别准确性和终端安全性,而且在活体检测通过后才能进行后续检测,提高了对象识别效率。
在一种实施方式中,终端可以通过上述S201获取的脸部红外图像来进行活体检测,包括:计算所述脸部红外图像的目标像素特征值;根据预设的红外图像的像素特征值与温度值的对应关系,获取所述目标像素特征值对应的目标温度值;当所述目标温度值符合预设温度条件时,确定所述活体检测结果为通过。
基于红外脸部图像在一定程度上表征脸部表面温度的特性,通过测试建立红外图像的像素特征值与温度值的对应关系,进而根据脸部红外图像的目标像素特征值,得到目标温度。例如,上述目标像素特征值可以为目标像素的最大特征值和平均特征值,以平均特征值对应的温度作为脸部平均温度的表征(因为脸部区域最大),以最大特征值对应的温度作为脸部最高温度的表征(因为一般情况下,即使存在背景,最高温度区域位于脸部);预设温度条件可以是平均特征值对应的温度在预设温度范围内(例如32~36℃),也可以是最大特征值对应的温度在预设温度范围内(例如35~40℃)。
因此上述实施例可以通过红外脸部图像进行活体检测,无需待检测对象进行各种活体检测动作,也无需获取待检测对象的可见光图像,简化了活体检测的流程,提高了活体检测效率和用户体验。
参照图3所示,本实施例涉及深度人脸识别的一种实施方式,通过脸部深度特征提取模型从脸部深度图像中提取脸部深度特征,与预设的脸部深度特征比对以实现深度人脸识别,具体可以包括:
S301,根据所述脸部深度图像和脸部深度特征提取模型,得到脸部深度特征。
上述脸部深度特征提取模型可以为各种类型的机器学习模型,例如神经网络模型,具体可以是卷积神经网络模型。脸部深度特征提取模型可以基于对不同对象的样本深度脸部图像提取出的特征进行后续训练得到,后续训练可以为对象分类训练、重建训练或者其它方式,因此上述脸部深度特征相比于脸部深度图像,与对象的相关性更大,可以避免背景等与对象识别无关的特征的影响。例如,脸部深度特征提取模型可以为识别网络,包括前端的特征提取子网络和后端的对象分类子网络,通过对象分类损失训练;也可以包括前端的特征提取子网络和后端的重建子网络,通过重建损失训练。
在一种实施方式中,将所述脸部深度图像输入脸部深度特征提取模型,输出脸部深度特征。该脸部深度特征提取模型的训练方式可以包括:获取样本脸部深度图像和所述样本脸部深度图像的标注对象数据;将所述样本脸部深度图像输入初始的脸部深度特征提取模型,输出所述样本脸部深度图像的深度特征;将所述样本脸部深度图像的深度特征输入初始的对象分类模型中,输出所述样本脸部深度图像的预测对象数据;计算所述标注对象数据和预测对象数据之间的损失作为损失函数的值,并根据所述损失函数对初始的脸部深度特征提取模型和初始的对象分类模型进行联合训练,得到所述脸部深度特征提取模型。
传统的基于活体分类的分类模型,只能处理一些已知的固定类别的活体攻击方式,当出现新的活体攻击方式或者活体攻击方式改变时,只能根据新的活体攻击方式训练新的分类模型;而本实施例的脸部深度特征提取模型可以基于对不同对象的样本深度脸部图像提取出的特征进行对象分类等训练来得到,并不受限于活体攻击方式,而且可以处理所有的深度上有差异的非精细活体攻击。
S302,根据所述脸部深度特征和预设的底库脸部深度特征,进行深度人脸识别,得到深度脸部识别结果;所述底库脸部深度特征是根据所述脸部深度特征提取模型对底库脸部深度图像进行特征提取所得到的。
终端可以预先根据底库脸部深度图像和脸部深度特征提取模型,得到底库脸部深度特征并储存在存储介质中。因此,上述脸部深度特征和底库脸部深度特征是采用同一个脸部深度特征提取模型提取出的,因此二者具有可比性,可以通过比对脸部深度特征和底库脸部深度特征实现深度人脸识别;同时,采用提取出的深度特征进行深度人脸识别,相比于采用深度图像进行人脸识别而言,识别准确性更高,稳定性更高,避免了背景等与识别对象无关的特征带来的识别误差;此外,脸部深度特征比对相比于脸部深度图像比对,识别效率很高,可以降低在终端解锁等环节中占用的时间与内存资源。
示例性地,将所述脸部深度特征和预设的底库脸部深度特征作为一组对象特征输入预先训练的特征比对模型中,输出对象一致概率值;当所述对象一致概率值大于或等于预设概率值时,确认深度脸部识别结果为通过;当所述对象一致概率值小于预设概率值时,确认深度脸部识别结果为未通过。所述特征比对模型可以为神经网络模型,其训练方式可以为:将属于同一对象的两个样本图像输入上述脸部深度特征提取模型中,输出的两个样本图像特征作为一组正样本对象特征,并标注对象一致概率值为1;将属于不同对象的两个样本图像输入上述脸部深度特征提取模型中,输出的两个样本图像特征作为一组负样本对象特征,并标注对象一致概率值为0;将多组正样本对象特征和多组负样本对象特征分别输入初始的特征比对模型中,分别输出多组正样本对象特征对应的预测对象一致概率值和多组负样本对象特征对应的预测对象一致概率值;计算所述预测对象一致概率值和标注的对象一致概率值之间的损失作为损失函数的值,并根据所述损失函数对所述初始的特征比对模型进行训练,得到所述特征比对模型。
在一种实施方式中,所述S302可以包括:计算所述脸部深度特征和所述底库脸部深度特征的相似度;当所述相似度大于或等于预设相似度阈值时,确定所述深度脸部识别结果为通过;当所述相似度小于预设相似度阈值时,确定所述深度脸部识别结果为未通过。
可以理解的是,上述具有深度信息的攻击,其深度信息并不精细,因此其脸部深度特征与底库脸部深度特征的差异,相比于合法对象对应的真人脸部图像的脸部深度特征与底库脸部深度特征之间的差异更大,因此通过计算待识别对象的脸部深度特征与底库脸部深度特征的相似度,当相似度大于或等于预设相似度阈值时,确定深度脸部识别结果为通过;当相似度小于预设相似度阈值时,确定深度脸部识别结果为未通过。示例性地,脸部深度特征与底库脸部深度特征可以为向量、矩阵或张量的形式,二者相似度可以为二者之间的范数,该范数可以但不限于是L1范数(绝对误差之和)、L2范数(欧几里得距离)等。
明显地,上述预设相似度阈值的选取十分关键,可以存在两个选取要求:
(1)所述预设相似度阈值对应的深度人脸识别的通过率与红外人脸识别的通过率的差值,小于预设通过率差值阈值。限于深度成像装置的精度,本实施例中将红外人脸识别作为主识别方案,把关误识率,而将深度人脸识别作为副识别方案,把关活体攻击,因此预设相似度阈值不能影响红外人脸识别的通过率。
(2)在预设深度攻击场景下所述预设相似度阈值对应的深度人脸识别的通过率小于预设通过率阈值。即深度人脸识别可以将攻破活体检测和红外人脸识别的预设深度攻击(具有深度信息的攻击)进行有效拦截。
示例性地,可以通过大量测试,针对不同的测试脸部图像,得到基于不同测试相似度阈值下的深度人脸识别(直接进行深度人脸识别)的通过率(深度脸部识别结果为通过的比率)和红外人脸识别的通过率的对应关系,然后选取通过率差值小于预设通过率差值阈值时的至少一个测试相似度阈值作为备选。再基于备选的不同测试相似度阈值,采用预设深度攻击进行测试,得到备选的不同测试相似度阈值与深度人脸识别的通过率的对应关系,选取通过率小于预设通过率阈值且通过率最低的备选的测试相似度阈值作为所述预设相似度阈值。
因此,本实施例可以使用目前不太准确的深度成像装置,将红外人脸识别作为主识别方案,而将深度人脸识别作为副识别方案,实现一个更鲁棒的人脸识别技术方案。
参照图4所示,本实施例涉及对脸部深度图像根据关键点进行剪裁处理,进行从剪裁得到的深度组价图像中提取脸部深度特征的步骤,具体可以包括:
S401,获取所述脸部深度图像的关键点的位置信息,并根据所述关键点的位置信息对所述脸部深度图像进行脸部区域裁剪,获得所述脸部深度图像对应的深度组件图像。
上述关键点可以为眼睛、鼻子、嘴巴、眉毛等至少一个关键点,关键点的位置信息可以为关键点的中心的位置信息,也可以分别为眼角、鼻尖、嘴角、眉心等位置信息。所述深度组件图像包括:基于所述关键点裁剪得到的脸部区域图像。
示例性地,脸部深度图像的关键点的位置信息可以通过计算脸部深度图像的深度梯度值,选取梯度值大于预设梯度值的区域的位置信息作为关键点的位置信息。
在一种实施方式中,所述获取所述脸部深度图像的关键点的位置信息,可以包括:获取所述脸部红外图像的关键点的位置信息;将所述脸部深度图像和所述脸部红外图像进行配准处理,得到配准系数;根据所述配准系数和所述脸部红外图像的关键点的位置信息,得到所述脸部深度图像的关键点的位置信息。
基于脸部红外图像,可以基于人脸识别算法识别出脸部红外图像的关键点,得到脸部红外图像的关键点的位置信息,然后将所述脸部深度图像和所述脸部红外图像进行配准处理(即对齐处理),得到配准系数,然后基于配准系数对所述脸部红外图像的关键点的位置信息进行变换处理,可以得到脸部深度图像的关键点的位置信息;该配准系数可以包括伸缩系数、平移系数、旋转系数等,配准处理可以基于sift(尺度不变特征变换)等配准算法进行。当然,终端也可以直接将脸部红外图像的关键点的位置信息作为脸部深度图像的关键点的位置信息,尤其是在终端同步获得待检测对象的脸部红外图像和脸部深度图像时,且红外拍摄装置和深度成像装置的成像视场相同或接近时。
例如,鼻子、嘴角等关键点的深度梯度非常明显,因此可以作为关键点。示例性地,针对某脸部深度图像,终端可以分别基于该脸部深度图像的人脸鼻子和人脸左嘴角为中心,向四周裁剪80×80像素的脸部区域图像,作为所述脸部深度图像对应的深度组件图像。
S402,根据所述深度组件图像和所述脸部深度特征提取模型,得到所述脸部深度特征。
可以理解的是,基于深度组件图像提取出的深度特征更准确可信,因为相比于非关键点的区域,基于关键点裁剪得到深度组件图像更能表征脸部深度特征,可以提高识别准确性,降低噪声;同时,可以降低后续脸部深度特征提取处理的工作量,提高识别效率。进一步地,基于深度梯度明显的关键点得到的深度组件图像,提取出的脸部深度特征更准确可信,因为可以放大深度特征的差异。
在一个实施方式中,所述深度组件图像包括基于一个关键点裁剪得到的一个脸部区域图像时,将所述深度组件图像输入所述脸部深度特征提取模型,输出所述脸部深度特征。例如,当关键点为鼻子时,以鼻子所在位置为中心,向四周裁剪预设大小(如80×80像素区域)的图像作为脸部区域图像。
在一个实施方式中,所述深度组件图像包括基于多个关键点裁剪得到的多个脸部区域图像时,所述S402可以包括:将所述深度组件图像输入所述脸部深度特征提取模型,输出所述深度组件图像的多个深度特征;将所述深度组件图像的多个深度特征输入融合模型中进行融合处理,得到所述脸部深度特征。其中,每一个关键点可以对应一个深度特征;例如多个关键点为鼻子和左嘴角时,多个深度特征包括:鼻子对应的深度特征和左嘴角对应的深度特征。
可以理解的是,所述深度组件图像包括基于多个关键点裁剪得到的多个脸部区域图像时,基于提取出的多个深度特征融合得到的脸部深度特征,相比于单个关键点对应的深度组件图像而言,深度特征更全面,可以提高识别的准确性和稳定性。
可选地,所述将所述深度组件图像输入所述脸部深度特征提取模型,输出所述深度组件图像的多个深度特征,包括:计算所述深度组件图像各脸部区域图像中的像素值的均值和方差,并根据所述均值和方差,对所述深度组件图像中各脸部区域图像进行归一化;将所述归一化后的深度组件图像输入所述脸部深度特征提取模型,输出所述深度组件图像的多个深度特征。归一化过程可以简化上述脸部深度特征提取模型和融合模型的训练过程,加速收敛,而且可以提高模型的准确性,因此在使用上述模型时,需要对深度组件图像进行相应的归一化。相应的,上述深度组件图像去除了背景,因此可以避免背景对归一化过程的影响,进一步提高了识别准确性。
示例性地,上述脸部深度特征提取模型和融合模型可以联合训练得到:获取样本脸部深度图像和所述样本脸部深度图像的标注对象数据;获取所述样本脸部深度图像的关键点的位置信息,并根据所述关键点的位置信息对所述样本脸部深度图像进行脸部区域裁剪,获得所述样本脸部深度图像对应的样本深度组件图像,并对所述样本深度组件图像进行归一化,得到归一化后的样本深度组件图像;将所述归一化后的样本深度组件图像输入初始的脸部深度特征提取模型,输出所述样本深度组件图像的多个深度特征;将所述样本深度组件图像的多个深度特征输入初始的融合模型中进行融合处理,得到所述样本脸部深度图像的脸部深度特征;将所述样本脸部深度图像的脸部深度特征输入初始的对象分类模型中,输出所述样本脸部深度图像的预测对象数据;计算所述标注对象数据和预测对象数据之间的损失作为损失函数的值,并根据所述损失函数对初始的脸部深度特征提取模型、初始的融合模型和初始的对象分类模型进行联合训练,得到所述脸部深度特征提取模型和所述融合模型。
可选地,所述S202可以包括:获取所述脸部红外图像的关键点的位置信息,并根据所述关键点的位置信息对所述脸部红外图像进行脸部区域裁剪,获得所述脸部红外图像对应的红外组件图像;根据所述红外组件图像和所述脸部红外特征提取模型,得到所述脸部红外特征;根据所述脸部红外特征和预设的底库脸部红外特征,进行红外人脸识别,得到红外脸部识别结果;所述底库脸部红外特征是根据所述脸部红外特征提取模型对底库脸部红外图像进行特征提取所得到的。
上述描述仅仅是上述S202的一种实施方式,而红外人脸识别可以参照上述深度人脸识别中的多种实施方式的描述,例如还可以进行基于多个关键点的红外组件图像的归一化、红外组件图像的多个深度特征的融合处理等。同样地,针对脸部红外图像的脸部红外特征提取模型和融合模型可以采用上述针对脸部深度图像的脸部深度特征提取模型和融合模型的训练方式进行训练,当然,红外组件图像的获取需要采用相应的关键点,这里不再赘述。
可以理解的是,在进行脸部识别时,当红外人脸识别的红外组件图像基于的关键点和深度人脸识别的深度组件图像基于的关键点相同时,例如均是基于鼻子和左嘴角,相当于基于相同的关键点进行了多级防御,针对性更强,相应地,联合防御的准确性更高。
参照图5所示,提出了一种图像识别方法,所述方法可以包括:
S501,获取待识别对象的脸部红外图像和脸部深度图像;
S502,根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;以及根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果;
S503,根据所述红外脸部识别结果和所述深度脸部识别结果,确定所述待识别对象的脸部识别结果。
相比于图2所述的图像识别方法,本实施例并不限定在红外脸部识别结果通过之后才进行深度人脸识别,而是既进行红外人脸识别,也进行深度人脸识别,并基于红外脸部识别结果和深度脸部识别结果,确定待识别对象的脸部识别结果。
在一种实施方式中,当红外脸部识别结果和深度脸部识别结果均为通过时,确定待识别对象的脸部识别结果为通过;当红外脸部识别结果和深度脸部识别结果中任一为未通过时,确定待识别对象的脸部识别结果为未通过。
在另一种实施方式中,红外脸部识别结果可以为待识别对象的脸部红外图像和预设的底库脸部红外图像的第一相似度;深度脸部识别结果可以为待识别对象的脸部深度图像和预设的底库脸部深度图像的第二相似度;基于所述第一相似度和所述第二相似度的加权求和,可以得到综合相似度;当所述综合相似度大于或等于预设综合相似度阈值时,确定待识别对象的脸部识别结果为通过;当所述综合相似度小于预设综合相似度阈值时,确定待识别对象的脸部识别结果为未通过。其中,第一相似度的权值可以大于第二相似度的权值,即可以将将红外人脸识别作为主识别方案,而将深度人脸识别作为副识别方案。
在本实施例中,终端可以获取待识别对象的脸部红外图像和脸部深度图像,然后根据脸部红外图像,对待识别对象进行红外人脸识别,以及根据脸部深度图像,对待识别对象进行深度人脸识别;根据红外脸部识别结果和深度脸部识别结果,确定待识别对象的脸部识别结果,即采用红外人脸识别和深度人脸识别的多段识别方式,其中,红外人脸识别可以过滤掉与合法对象的脸部特征相差较大的攻击,并排除与脸部表面的反射特性和辐射特性差异过大的攻击物料,深度人脸识别可以有效地拦截攻破红外人脸识别的具有深度信息的攻击,因此实现了联合防御,提高了对象识别准确性和终端安全性。
关于上述图5所示的图像识别方法的其它描述可以参照上述图2的描述,这里不再赘述。
参照图6a、图6b和图6c所示,从另一方面示出了本实施例的图像识别方法,具体可以包括:
S601,通过TOF摄像头拍摄待检测对象的脸部红外图像和脸部深度图像;
S602,根据所述脸部红外图像,对所述待检测对象进行活体检测;
S603,当活体检测结果为通过时,进入S604;当活体检测结果为未通过时,不进行后续处理;
S604,基于鼻子和左嘴角的关键点的识别,从脸部红外图像中基于关键点的位置信息裁剪得到红外组件图像,然后对所述红外组件图像进行归一化,将归一化后的红外组件图像输入脸部红外特征提取模型,输出红外组件图像的多个深度特征,并将红外组件图像的多个深度特征输入相应的融合模型中进行融合处理,得到脸部红外特征;
S605,将脸部红外特征和预设的底库脸部红外特征进行比对;
S606,当比对通过时,进入S607;当比对未通过时,待检测对象可能不是合法对象或者待检测对象的反射特性和辐射特性异常,不进行后续处理;
S607,将脸部红外图像和脸部深度图像进行配准处理得到配准系数,根据配准系数和脸部红外图像的关键点的位置信息,确定脸部深度图像的关键点的位置信息;
S608,从脸部深度图像中基于关键点的位置信息裁剪得到深度组件图像,然后对所述深度组件图像进行归一化,将归一化后的深度组件图像输入脸部深度特征提取模型,输出深度组件图像的多个深度特征,并将深度组件图像的多个深度特征输入相应的融合模型中进行融合处理,得到脸部深度特征;
S609,将脸部深度特征和预设的底库脸部深度特征进行比对;
S610,当比对通过时,进入S611;当比对未通过时,可能遭遇贴纸攻击等深度攻击或者待检测对象的深度信息异常,不进行后续处理;
S611,解锁成功。
应该理解的是,虽然图2-6a的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图图2-6a中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种图像识别装置,包括:图像获取模块71、红外人脸识别模块72和深度人脸识别模块73,其中:
图像获取模块71,用于获取待识别对象的脸部红外图像和脸部深度图像;
红外人脸识别模块72,用于根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;
深度人脸识别模块73,用于当所述红外脸部识别结果为通过时,根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果,并将所述深度脸部识别结果作为所述待识别对象的脸部识别结果。
可选地,所述深度人脸识别模块73可以包括:
深度特征提取单元,用于根据所述脸部深度图像和脸部深度特征提取模型,得到脸部深度特征;
深度人脸识别单元,用于根据所述脸部深度特征和预设的底库脸部深度特征,进行深度人脸识别,得到深度脸部识别结果;所述底库脸部深度特征是根据所述脸部深度特征提取模型对底库脸部深度图像进行特征提取所得到的。
可选地,所述深度特征提取单元具体用于获取所述脸部深度图像的关键点的位置信息,并根据所述关键点的位置信息对所述脸部深度图像进行脸部区域裁剪,获得所述脸部深度图像对应的深度组件图像;根据所述深度组件图像和所述脸部深度特征提取模型,得到所述脸部深度特征。
可选地,所述深度特征提取单元还用于将所述深度组件图像输入所述脸部深度特征提取模型,输出所述深度组件图像的多个深度特征;将所述深度组件图像的多个深度特征输入融合模型中进行融合处理,得到所述脸部深度特征。
可选地,所述深度特征提取单元还用于计算所述深度组件图像中各脸部区域图像的像素值的均值和方差,并根据所述均值和方差,对所述深度组件图像中各脸部区域图像进行归一化;将所述归一化后的深度组件图像输入所述脸部深度特征提取模型,输出所述深度组件图像的多个深度特征。
可选地,所述关键点在所述脸部深度图像上的梯度值大于预设梯度值。
可选地,所述深度特征提取单元还用于获取所述脸部红外图像的关键点的位置信息;将所述脸部深度图像和所述脸部红外图像进行配准处理,得到配准系数;根据所述配准系数和所述脸部红外图像的关键点的位置信息,得到所述脸部深度图像的关键点的位置信息。
可选地,红外人脸识别模块72可以包括:
红外组件图像获取单元,用于获取所述脸部红外图像的关键点的位置信息,并根据所述关键点的位置信息对所述脸部红外图像进行脸部区域裁剪,获得所述脸部红外图像对应的红外组件图像;
红外特征提取单元,用于根据所述红外组件图像和所述脸部红外特征提取模型,得到所述脸部红外特征;
红外人脸识别单元,用于根据所述脸部红外特征和预设的底库脸部红外特征,进行红外人脸识别,得到红外脸部识别结果;所述底库脸部红外特征是根据所述脸部红外特征提取模型对底库脸部红外图像进行特征提取所得到的。
可选地,所述深度人脸识别单元具体用于计算所述脸部深度特征和所述底库脸部深度特征的相似度;当所述相似度大于或等于预设相似度阈值时,确定所述深度脸部识别结果为通过;当所述相似度小于预设相似度阈值时,确定所述深度脸部识别结果为未通过。
可选地,所述预设相似度阈值对应的深度人脸识别的通过率与红外人脸识别的通过率的差值,小于预设通过率差值阈值;在预设深度攻击场景下所述预设相似度阈值对应的深度人脸识别的通过率小于预设通过率阈值。
可选地,所述图像识别装置,还可以包括:
活体检测模块,用于对待识别对象进行活体检测,得到活体检测结果;
活体检测结果判断模块,用于当所述活体检测结果为通过时,则根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果。
可选地,所述活体检测模块具体用于计算所述脸部红外图像的目标像素特征值;根据预设的红外图像的像素特征值与温度值的对应关系,获取所述目标像素特征值对应的目标温度值;当所述目标温度值符合预设温度条件时,确定所述活体检测结果为通过。
可选地,所述图像获取模块71可以包括:
图像获取单元,用于通过飞行时间测距TOF摄像头对待识别对象进行拍摄,获得所述脸部红外图像和脸部深度图像。
在一个实施例中,如图8所示,提供了一种图像识别装置,包括:图像获取模块81、人脸识别模块82和识别确定模块83,其中:
图像获取模块81,用于获取待识别对象的脸部红外图像和脸部深度图像;
人脸识别模块82,用于根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;以及根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果;
识别确定模块83,用于根据所述红外脸部识别结果和所述深度脸部识别结果,确定所述待识别对象的脸部识别结果。
关于图像识别装置的具体限定可以参见上文中对于图像识别方法的限定,在此不再赘述。上述图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待识别对象的脸部红外图像和脸部深度图像;
根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;
当所述红外脸部识别结果为通过时,根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果,并将所述深度脸部识别结果作为所述待识别对象的脸部识别结果。
参照图9所示,示出了一种终端,包括拍摄装置91、存储器92和处理器93,所述存储器存储有计算机程序,所述拍摄装置与所述处理器连接,该处理器执行计算机程序时实现以下步骤:
获取待识别对象的脸部红外图像和脸部深度图像;
根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;
当所述红外脸部识别结果为通过时,根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果,并将所述深度脸部识别结果作为所述待识别对象的脸部识别结果。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像识别方法,其特征在于,所述方法包括:
获取待识别对象的脸部红外图像和脸部深度图像;
根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;
当所述红外脸部识别结果为通过时,根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果,并将所述深度脸部识别结果作为所述待识别对象的脸部识别结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果,包括:
根据所述脸部深度图像和脸部深度特征提取模型,得到脸部深度特征;
根据所述脸部深度特征和预设的底库脸部深度特征,进行深度人脸识别,得到深度脸部识别结果;所述底库脸部深度特征是根据所述脸部深度特征提取模型对底库脸部深度图像进行特征提取所得到的。
3.根据权利要求2所述的方法,其特征在于,所述根据所述脸部深度图像和脸部深度特征提取模型,得到脸部深度特征,包括:
获取所述脸部深度图像的关键点的位置信息,并根据所述关键点的位置信息对所述脸部深度图像进行脸部区域裁剪,获得所述脸部深度图像对应的深度组件图像;
根据所述深度组件图像和所述脸部深度特征提取模型,得到所述脸部深度特征。
4.根据权利要求3所述的方法,其特征在于,所述深度组件图像包括基于多个关键点裁剪得到的多个脸部区域图像时,所述根据所述深度组件图像和所述脸部深度特征提取模型,得到所述脸部深度特征,包括:
将所述深度组件图像输入所述脸部深度特征提取模型,输出所述深度组件图像的多个深度特征;
将所述深度组件图像的多个深度特征输入融合模型中进行融合处理,得到所述脸部深度特征。
5.根据权利要求4所述的方法,其特征在于,所述将所述深度组件图像输入所述脸部深度特征提取模型,输出所述深度组件图像的多个深度特征,包括:
计算所述深度组件图像中各脸部区域图像的像素值的均值和方差,并根据所述均值和方差,对所述深度组件图像中各脸部区域图像进行归一化;
将所述归一化后的深度组件图像输入所述脸部深度特征提取模型,输出所述深度组件图像的多个深度特征。
6.根据权利要求3所述的方法,其特征在于,所述关键点在所述脸部深度图像上的梯度值大于预设梯度值。
7.根据权利要求3所述的方法,其特征在于,所述获取所述脸部深度图像的关键点的位置信息,包括:
获取所述脸部红外图像的关键点的位置信息;
将所述脸部深度图像和所述脸部红外图像进行配准处理,得到配准系数;
根据所述配准系数和所述脸部红外图像的关键点的位置信息,得到所述脸部深度图像的关键点的位置信息。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果,包括:
获取所述脸部红外图像的关键点的位置信息,并根据所述关键点的位置信息对所述脸部红外图像进行脸部区域裁剪,获得所述脸部红外图像对应的红外组件图像;
根据所述红外组件图像和所述脸部红外特征提取模型,得到所述脸部红外特征;
根据所述脸部红外特征和预设的底库脸部红外特征,进行红外人脸识别,得到红外脸部识别结果;所述底库脸部红外特征是根据所述脸部红外特征提取模型对底库脸部红外图像进行特征提取所得到的。
9.根据权利要求2所述的方法,其特征在于,所述根据所述脸部深度特征和预设的底库脸部深度特征,进行深度人脸识别,得到深度脸部识别结果,包括:
计算所述脸部深度特征和所述底库脸部深度特征的相似度;
当所述相似度大于或等于预设相似度阈值时,确定所述深度脸部识别结果为通过;
当所述相似度小于预设相似度阈值时,确定所述深度脸部识别结果为未通过。
10.根据权利要求9所述的方法,其特征在于,所述预设相似度阈值对应的深度人脸识别的通过率与红外人脸识别的通过率的差值,小于预设通过率差值阈值;在预设深度攻击场景下所述预设相似度阈值对应的深度人脸识别的通过率小于预设通过率阈值。
11.一种图像识别方法,其特征在于,所述方法包括:
获取待识别对象的脸部红外图像和脸部深度图像;
根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;以及根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果;
根据所述红外脸部识别结果和所述深度脸部识别结果,确定所述待识别对象的脸部识别结果。
12.一种图像识别装置,其特征在于,所述装置包括:
图像获取模块,用于获取待识别对象的脸部红外图像和脸部深度图像;
红外人脸识别模块,用于根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;
深度人脸识别模块,用于当所述红外脸部识别结果为通过时,根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果,并将所述深度脸部识别结果作为所述待识别对象的脸部识别结果。
13.一种图像识别装置,其特征在于,所述装置包括:
图像获取模块,用于获取待识别对象的脸部红外图像和脸部深度图像;
人脸识别模块,用于根据所述脸部红外图像,对所述待识别对象进行红外人脸识别,得到红外脸部识别结果;以及根据所述脸部深度图像,对所述待识别对象进行深度人脸识别,得到深度脸部识别结果;
识别确定模块,用于根据所述红外脸部识别结果和所述深度脸部识别结果,确定所述待识别对象的脸部识别结果。
14.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
15.一种终端,其特征在于,包括拍摄装置、存储器和处理器,所述存储器存储有计算机程序,所述拍摄装置与所述处理器连接,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。
CN201910304830.6A 2019-04-16 2019-04-16 图像识别方法、装置、终端和可读存储介质 Pending CN109961062A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910304830.6A CN109961062A (zh) 2019-04-16 2019-04-16 图像识别方法、装置、终端和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910304830.6A CN109961062A (zh) 2019-04-16 2019-04-16 图像识别方法、装置、终端和可读存储介质

Publications (1)

Publication Number Publication Date
CN109961062A true CN109961062A (zh) 2019-07-02

Family

ID=67026282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910304830.6A Pending CN109961062A (zh) 2019-04-16 2019-04-16 图像识别方法、装置、终端和可读存储介质

Country Status (1)

Country Link
CN (1) CN109961062A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178162A (zh) * 2019-12-12 2020-05-19 北京迈格威科技有限公司 图像识别方法、装置、计算机设备和存储介质
CN111209867A (zh) * 2020-01-08 2020-05-29 上海商汤临港智能科技有限公司 一种表情识别方法及装置
CN111242097A (zh) * 2020-02-27 2020-06-05 腾讯科技(深圳)有限公司 一种人脸识别方法、装置、计算机可读介质及电子设备
CN111582157A (zh) * 2020-05-07 2020-08-25 讯飞幻境(北京)科技有限公司 一种人体识别方法、装置、设备及计算机可读存储介质
CN111738362A (zh) * 2020-08-03 2020-10-02 成都睿沿科技有限公司 对象识别方法及装置、存储介质及电子设备
CN117011918A (zh) * 2023-08-08 2023-11-07 南京工程学院 基于线性注意力机制的人脸活体检测模型的构建方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160171340A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Labeling component parts of objects and detecting component properties in imaging data
CN107844773A (zh) * 2017-11-10 2018-03-27 广东日月潭电源科技有限公司 一种三维动态智能人脸识别方法及系统
CN108564041A (zh) * 2018-04-17 2018-09-21 广州云从信息科技有限公司 一种基于rgbd相机的人脸检测和修复方法
CN108763895A (zh) * 2018-04-28 2018-11-06 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、存储介质
CN108959880A (zh) * 2018-06-06 2018-12-07 Oppo广东移动通信有限公司 验证方法、验证装置及计算机可读存储介质
CN109086718A (zh) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 活体检测方法、装置、计算机设备及存储介质
CN109086675A (zh) * 2018-07-06 2018-12-25 四川奇迹云科技有限公司 一种基于光场成像技术的人脸识别及攻击检测方法及其装置
CN109145653A (zh) * 2018-08-01 2019-01-04 Oppo广东移动通信有限公司 数据处理方法和装置、电子设备、计算机可读存储介质
CN109359634A (zh) * 2018-12-11 2019-02-19 西安第六镜网络科技有限公司 一种基于双目摄像机的人脸活体检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160171340A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Labeling component parts of objects and detecting component properties in imaging data
CN107844773A (zh) * 2017-11-10 2018-03-27 广东日月潭电源科技有限公司 一种三维动态智能人脸识别方法及系统
CN108564041A (zh) * 2018-04-17 2018-09-21 广州云从信息科技有限公司 一种基于rgbd相机的人脸检测和修复方法
CN108763895A (zh) * 2018-04-28 2018-11-06 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、存储介质
CN108959880A (zh) * 2018-06-06 2018-12-07 Oppo广东移动通信有限公司 验证方法、验证装置及计算机可读存储介质
CN109086675A (zh) * 2018-07-06 2018-12-25 四川奇迹云科技有限公司 一种基于光场成像技术的人脸识别及攻击检测方法及其装置
CN109145653A (zh) * 2018-08-01 2019-01-04 Oppo广东移动通信有限公司 数据处理方法和装置、电子设备、计算机可读存储介质
CN109086718A (zh) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 活体检测方法、装置、计算机设备及存储介质
CN109359634A (zh) * 2018-12-11 2019-02-19 西安第六镜网络科技有限公司 一种基于双目摄像机的人脸活体检测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178162A (zh) * 2019-12-12 2020-05-19 北京迈格威科技有限公司 图像识别方法、装置、计算机设备和存储介质
CN111178162B (zh) * 2019-12-12 2023-11-07 北京迈格威科技有限公司 图像识别方法、装置、计算机设备和存储介质
CN111209867A (zh) * 2020-01-08 2020-05-29 上海商汤临港智能科技有限公司 一种表情识别方法及装置
CN111242097A (zh) * 2020-02-27 2020-06-05 腾讯科技(深圳)有限公司 一种人脸识别方法、装置、计算机可读介质及电子设备
CN111242097B (zh) * 2020-02-27 2023-04-18 腾讯科技(深圳)有限公司 一种人脸识别方法、装置、计算机可读介质及电子设备
CN111582157A (zh) * 2020-05-07 2020-08-25 讯飞幻境(北京)科技有限公司 一种人体识别方法、装置、设备及计算机可读存储介质
CN111738362A (zh) * 2020-08-03 2020-10-02 成都睿沿科技有限公司 对象识别方法及装置、存储介质及电子设备
CN117011918A (zh) * 2023-08-08 2023-11-07 南京工程学院 基于线性注意力机制的人脸活体检测模型的构建方法
CN117011918B (zh) * 2023-08-08 2024-03-26 南京工程学院 基于线性注意力机制的人脸活体检测模型的构建方法

Similar Documents

Publication Publication Date Title
CN109961062A (zh) 图像识别方法、装置、终端和可读存储介质
KR102483642B1 (ko) 라이브니스 검사 방법 및 장치
CN108664880B (zh) 活性测试方法和设备
US11023757B2 (en) Method and apparatus with liveness verification
CN110326001B (zh) 使用利用移动设备捕捉的图像执行基于指纹的用户认证的系统和方法
US11030470B2 (en) Apparatus and method with liveness verification
Erdogmus et al. Spoofing face recognition with 3D masks
US11263432B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN110008813B (zh) 基于活体检测技术的人脸识别方法和系统
US20160182506A1 (en) System and method for generating a biometric identifier
CN107748869A (zh) 3d人脸身份认证方法与装置
Deb et al. Look locally infer globally: A generalizable face anti-spoofing approach
CN107633165A (zh) 3d人脸身份认证方法与装置
BR112017016942B1 (pt) Sistemas e métodos para realizar autenticação de usuário com base em impressão digital com o uso de acervo de imagens capturado com o uso de dispositivos móveis
CN112364827B (zh) 人脸识别方法、装置、计算机设备和存储介质
CN111680672B (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
Boehnen et al. A fast multi-modal approach to facial feature detection
Smith-Creasey et al. Continuous face authentication scheme for mobile devices with tracking and liveness detection
KR20210062381A (ko) 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
WO2020195732A1 (ja) 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体
CN113614731A (zh) 使用软生物特征的认证验证
Rathgeb et al. Makeup presentation attacks: Review and detection performance benchmark
Jain et al. Fusion of iris and sclera using phase intensive rubbersheet mutual exclusion for periocular recognition
CN112308035A (zh) 图像检测方法、装置、计算机设备和存储介质
CN113033305A (zh) 活体检测方法、装置、终端设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190702