CN111079576B - 活体检测方法、装置、设备及存储介质 - Google Patents

活体检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111079576B
CN111079576B CN201911208944.7A CN201911208944A CN111079576B CN 111079576 B CN111079576 B CN 111079576B CN 201911208944 A CN201911208944 A CN 201911208944A CN 111079576 B CN111079576 B CN 111079576B
Authority
CN
China
Prior art keywords
detection
image
target
living body
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911208944.7A
Other languages
English (en)
Other versions
CN111079576A (zh
Inventor
杨静
刘世策
周恩慈
丁守鸿
李季檩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911208944.7A priority Critical patent/CN111079576B/zh
Publication of CN111079576A publication Critical patent/CN111079576A/zh
Application granted granted Critical
Publication of CN111079576B publication Critical patent/CN111079576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种活体检测方法、装置、设备及存储介质,属于计算机技术领域。本申请实施例通过检测模型中级联的两个分支分别对目标的彩色图像和红外图像中人脸区域进行检测,综合两种图像的检测结果来确定目标是否为活体,一方面,通过对彩色图像中人脸区域进行检测,能够有效防御黑白打印和红外打印的图像进行防御,又结合红外图像中人脸区域的检测,还能够有效防御屏幕图像类和彩色打印图像的攻击,从而达到了全面防御的效果,防御效果好,实用性好,检测结果的准确性好。另一方面,综合过程中考虑到两种图像对环境信息的要求不同,根据目标所处的环境信息来确定两种图像结合时的权重,这样加权得到的检测结果的准确性更好,防御效果更好。

Description

活体检测方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域,特别涉及一种活体检测方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展,活体检测技术在各个领域中均得到了广泛的应用。活体检测技术是指在一些身份验证场景确定对象真实生理特征的方法,在一些场景中需要验证当前是否为真人操作,如果不是真人操作则视为攻击,在确定是真人操作时,则可以执行相应的业务逻辑。
常见的攻击手段有各种打印照片攻击(比如彩色打印照片、黑白打印照片、红外打印照片等)和屏幕播放攻击(比如手机屏幕、平板屏幕、电脑屏幕等)。目前,活体检测方法通常是采用单目相机采集目标的图像,对采集到的图像进行活体检测,确定目标是否为活体。例如,该单目相机可以为彩色相机,也可以为红外相机。
由于不同的相机采集到的图像只能针对某种类型的攻击进行检测,而不能涵盖上述常见的攻击手段,做不到很好的防御,例如,彩色相机只能防御红外或黑白打印的图像,且容易受光照强度的影响而导致无法准确检测。红外相机只能防御屏幕图像和彩色图像,而无法防御红外打印或黑白打印的图像。因而,通过上述活体检测方法的实用性较差,检测结果的准确性较差。
发明内容
本申请实施例提供了一种活体检测方法、装置、设备及存储介质,可以解决相关技术中实用性较差和检测结果的准确性较差的问题。所述技术方案如下:
一方面,提供了一种活体检测方法,所述方法包括:
获取目标的彩色图像和红外图像中的人脸区域;
将所述目标的彩色图像和红外图像中的人脸区域,分别输入检测模型中级联的第一检测模型分支和第二检测模型分支中;
分别基于所述第一检测模型分支和第二检测模型分支,对所述彩色图像和所述红外图像的人脸区域进行活体检测,得到检测结果;
根据所述目标所处的环境信息,确定所述彩色图像和所述红外图像各自的权重;
根据所述彩色图像和所述红外图像各自的权重,对所述彩色图像和所述红外图像的检测结果进行加权,输出所述目标的检测结果,所述检测结果用于指示所述目标是否为活体。
在一种可能实现方式中,所述目标的检测结果包括所述目标为活体的概率;
所述检测结果用于指示所述目标是否为活体,包括:
当所述目标的检测结果中的所述概率小于第一阈值时,确定所述目标不是活体。
当所述目标的检测结果中的所述概率大于或等于第一阈值时,确定所述目标为活体。
在一种可能实现方式中,所述彩色图像检测结果或所述深度图像检测结果包括所述目标为活体的概率;
所述方法还包括:
当所述彩色图像检测结果或所述深度图像检测结果中的所述概率小于第二阈值时,确定所述目标不是活体;
当所述彩色图像检测结果或所述深度图像检测结果中的所述概率大于或等于第二阈值时,确定所述目标为活体。
在一种可能实现方式中,所述检测模型的模型参数基于正负样本训练得到,所述模型参数包括彩色图像和所述红外图像各自的权重、第一阈值、第二阈值;所述第二级检测模块的初始模型参数与所述第一级检测模块的模型参数相同;所述检测模型基于对训练得到的候选检测模型进行模型蒸馏或模型剪枝得到。
一方面,提供了一种活体检测装置,所述装置包括:
获取模块,用于获取目标的彩色图像和红外图像中的人脸区域;
检测模块,用于将所述目标的彩色图像和红外图像中的人脸区域,分别输入检测模型中级联的第一检测模型分支和第二检测模型分支中;
所述检测模块,还用于分别基于所述第一检测模型分支和第二检测模型分支,对所述彩色图像和所述红外图像的人脸区域进行活体检测,得到检测结果;
确定模块,还用于根据所述目标所处的环境信息,确定所述彩色图像和所述红外图像各自的权重;
所述检测模块,还用于根据所述彩色图像和所述红外图像各自的权重,对所述彩色图像和所述红外图像的检测结果进行加权,输出所述目标的检测结果,所述检测结果用于指示所述目标是否为活体。
在一种可能实现方式中,所述检测模块,用于:
对于所述第一检测模型分支和所述第二检测模型分支中任一检测模型分支,对输入所述检测模型分支的人脸区域进行特征提取,得到第一图像特征;
获取另一个检测模型分支提取到的第二图像特征;
根据彩色图像和红外图像之间的像素差异以及所述第二图像特征,获取第三图像特征;
对所述第一图像特征和所述第三图像特征进行检测,得到所述检测模型分支对应的图像的检测结果。
在一种可能实现方式中,所述目标的检测结果包括所述目标为活体的概率;
所述检测结果用于指示所述目标是否为活体,包括:
当所述目标的检测结果中的所述概率小于第一阈值时,确定所述目标不是活体。
当所述目标的检测结果中的所述概率大于或等于第一阈值时,确定所述目标为活体。
在一种可能实现方式中,所述检测模型包括第一级检测模块和第二级检测模块,所述第一级检测模块用于对一种图像的人脸区域进行活体检测,所述第二级检测模块包括所述级联的第一检测模型分支和第二检测模型分支。
在一种可能实现方式中,所述第一级检测模块用于对红色图像的人脸区域进行活体检测;所述检测模块和所述确定模块还用于执行下述任一项:
基于所述第一级检测模块,对所述彩色图像的人脸区域进行活体检测,得到彩色图像检测结果;当所述彩色图像检测结果指示所述目标为活体时,基于所述第二级检测模块,执行分别检测步骤和确定步骤;
当基于所述第二级检测模块得到所述目标的检测结果指示所述目标为活体时,基于所述第一级检测模块,对所述彩色图像的人脸区域进行活体检测,得到彩色图像检测结果,将所述彩色图像检测结果作为所述目标的最终检测结果。
在一种可能实现方式中,所述彩色图像检测结果或所述深度图像检测结果包括所述目标为活体的概率;
所述检测模块还用于:
当所述彩色图像检测结果或所述深度图像检测结果中的所述概率小于第二阈值时,确定所述目标不是活体;
当所述彩色图像检测结果或所述深度图像检测结果中的所述概率大于或等于第二阈值时,确定所述目标为活体。
在一种可能实现方式中,所述检测模型的模型参数基于正负样本训练得到,所述模型参数包括彩色图像和所述红外图像各自的权重、第一阈值、第二阈值;所述第二级检测模块的初始模型参数与所述第一级检测模块的模型参数相同;所述检测模型基于对训练得到的候选检测模型进行模型蒸馏或模型剪枝得到。
在一种可能实现方式中,所述第一级检测模块用于对深度图像的人脸区域进行活体检测;所述检测模块和所述确定模块还用于执行下述任一项:
获取目标的深度图像中的人脸区域;基于所述第一级检测模块,对所述深度图像中的人脸区域进行活体检测,得到深度图像检测结果;当所述检测结果指示所述目标为活体时,执行所述获取步骤、分别检测步骤和确定步骤;
当基于所述第二级检测模块得到所述目标的检测结果指示所述目标为活体时,获取目标的深度图像中的人脸区域;基于所述第一级检测模块,对所述深度图像中的人脸区域进行活体检测,得到深度图像检测结果,将所述深度像检测结果作为所述目标的最终检测结果。
在一种可能实现方式中,所述获取模块用于:
分别基于双目相机中的彩色相机和红外相机,对目标进行图像采集,得到所述目标的彩色图像和红外图像;
对所述彩色图像和所述红外图像进行人脸检测,得到所述彩色图像和所述红外图像中的人脸区域。
在一种可能实现方式中,所述获取模块还用于:
获取所述双目相机的双目视差;
根据所述双目相机的双目视差,获取所述彩色图像和所述红外图像中的人脸区域对应的三维信息;
所述检测模块还用于分别将所述彩色图像和所述红外图像中的人脸区域对应的三维信息输入所述检测模型中所述两个检测模型分支中对应的分支中;
所述分别基于所述第一检测模型分支和第二检测模型分支,对所述彩色图像和所述红外图像的人脸区域进行活体检测,得到检测结果,包括:
分别基于所述第一检测模型分支和第二检测模型分支,根据所述三维信息,对所述彩色图像和所述红外图像中的人脸区域进行检测,得到检测结果。
在一种可能实现方式中,所述检测模块和所述确定模块还用于当所述彩色图像和所述红外图像中均包括人脸区域时,执行基于所述检测模型的检测步骤和确定步骤;
所述装置还包括:
第一提供模块,用于当所述彩色图像和所述红外图像中任一图像中不包括人脸区域时,提供检测失败消息。
在一种可能实现方式中,所述装置还包括:
显示模块,用于分别在图像显示界面的两个显示区域中,显示所述彩色图像和所述红外图像的人脸区域。
在一种可能实现方式中,所述装置还包括:
对比模块,用于对所述彩色图像和所述红外图像的人脸区域进行对比,得到所述两种图像的图像差异;
所述检测模块和所述确定模块,还用于当所述图像差异满足检测条件时,执行基于所述检测模型的检测步骤和确定步骤;
第二提供模块,还用于当所述图像差异不满足检测条件时,提供检测失败消息。
在一种可能实现方式中,所述装置还包括:
拍摄模块,用于对所述目标进行拍摄,得到图像序列,所述图像序列中包括多个时刻下的彩色图像和红外图像;
所述获取模块还用于获取所述图像序列中多个时刻下各个图像中人脸区域的变化情况;
所述检测模块和所述确定模块用于当所述变化情况满足检测条件时,抽取同一时刻下的彩色图像和红外图像,执行基于所述检测模型的检测步骤和确定步骤;
第三提供模块,用于当所述变化情况不满足检测条件时,提供检测失败消息。
在一种可能实现方式中,所述检测模块用于:
根据活体和非活体的RGB色彩空间中的纹理差异或亮度差异,对所述彩色图像中的人脸区域进行检测;
基于所述第一检测模型分支,根据活体和非活体对红外波段吸收和反射的强度差异,对所述红外图像中的人脸区域进行检测。
一方面,提供了一种计算机设备,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条指令,所述指令由所述一个或多个处理器加载并执行以实现所述活体检测方法所执行的操作。
一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现所述活体检测方法所执行的操作。
本申请实施例通过检测模型中级联的两个分支分别对目标的彩色图像和红外图像中人脸区域进行检测,综合两种图像的检测结果来确定目标是否为活体,一方面,通过对彩色图像中人脸区域进行检测,能够有效防御黑白打印和红外打印的图像进行防御,又结合红外图像中人脸区域的检测,还能够有效防御屏幕图像类和彩色打印图像的攻击,从而达到了全面防御的效果,防御效果好,实用性好,检测结果的准确性好。另一方面,综合过程中考虑到两种图像对环境信息的要求不同,根据目标所处的环境信息来确定两种图像结合时的权重,这样加权得到的检测结果的准确性更好,防御效果更好。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种活体检测方法的实施环境;
图2是本申请实施例提供的一种活体检测方法的实施环境;
图3是本申请实施例提供的一种活体检测方法流程图;
图4是本申请实施例提供的一种智能门禁终端的示意图;
图5是本申请实施例提供的一种活体检测方法流程图;
图6是本申请实施例提供的一种活体检测装置结构示意图;
图7是本申请实施例提供的一种终端的结构示意图;
图8是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1和图2是本申请实施例提供的一种活体检测方法的实施环境。两种实施环境中包括的设备不同,每个设备的功能也可以不同,则该活体检测方法中每个设备所执行的步骤则可以不同。本申请实施例对具体为哪种实施环境不作限定。
在一种可能实现方式中,参见图1,该实施环境可以包括计算机设备101,该计算机设备101可以具有图像采集功能和图像处理功能,该计算机设备101可以采集目标的图像,并对图像中人脸区域进行活体检测,以确定目标是否为活体。
在另一种可能实现方式中,参见图2,该实施环境可以包括计算机设备101和图像采集设备102,该图像采集设备102可以具有图像采集功能,计算机设备101可以具有图像处理功能。图像采集设备102可以采集目标的图像,并将采集到的图像发送至计算机设备101,由计算机设备101对图像中人脸区域进行活体检测,以确定目标是否为活体。
该活体检测方法可以应用于各种场景中,例如,该活体检测方法可以应用于智能门禁系统中,可以采集目标的图像,确定目标是否为活体,如果是活体,则可以控制开门,如果不是活体,则可以不执行开门逻辑。又例如,该活体检测方法可以应用于人脸识别支付场景中,可以采集目标的图像,确定目标是否为活体,如果是活体,则可以执行支付逻辑,如果不是活体,则可以返回支付失败。当然,该活体检测方法还可以应用于其他身份验证场景中,在此不一一列举。
需要说明得是,上述计算机设备101可以为终端,也可以为服务器,本申请实施例对此不作限定。
图3是本申请实施例提供的一种活体检测方法流程图,参见图3,该方法可以包括以下步骤:
301、计算机设备分别基于双目相机中的彩色相机和红外相机,对目标进行图像采集,得到该目标的彩色图像和红外图像。
在本申请实施例中,计算机设备具有图像处理功能,可以对采集到的图像进行活体检测,以确定图像中目标是否为活体。
其中,该计算机设备即可以为上述图1或图2所示的计算机设备101。该计算机设备可以具有图像采集功能,也即该双目相机可以安装于该计算机设备上。该计算机设备也可以不具有图像采集功能,也即该双目相机为外设于计算机设备的相机。其中,该双目相机包括彩色相机和红外相机,分别用于采集不同的图像。
具体地,该图像采集过程可以为:计算机设备基于双目相机中的彩色相机,对该目标进行图像采集,得到该目标的彩色图像,基于双目相机中的红外相机,对该目标进行图像采集,得到该目标的红外图像。也即是,该两个图像可以由两个相机拍摄得到。
例如,如图4所示,在此以该活体检测方法应用于智能门禁系统中,计算机设备为智能门禁终端为例,该智能门禁终端上可以安装有双目相机,该双目相机包括彩色相机和红外相机,两个相机可以同时采集图像,也可以同时采集视频流,并截取视频流中的图像作为目标的彩色图像和红外图像。具体截取时,可以在两个相机采集的视频流中,截取同一时刻的一对图像作为该目标的彩色图像和红外图像。当然,该彩色相机和该红外相机也可以为两个单独的相机,本申请实施例对此不作限定。
302、计算机设备对该彩色图像和该红外图像进行人脸检测,得到该彩色图像和该红外图像中的人脸区域。
计算机设备获取到目标的彩色图像和红外图像后,可以分别对两个图像进行人脸检测,以确定两个图像中是否有人脸,如果有,则获取该人脸区域进行后续的活体检测步骤。
在一种可能实现方式中,该人脸检测过程可以基于人脸目标部位的关键点检测实现。具体地,计算机设备可以分别对该彩色图像和红外图像进行人脸关键点检测,得到目标部位的关键点位置,基于该目标部位的关键点位置,获取两个图像对应的人脸区域。当然,该人脸检测过程还可以通过其他人脸检测算法实现,本申请实施例对此不作限定。
例如,在一个具体示例中,该人脸关键点检测过程可以为人脸配准过程,计算机设备可以分别对两个图像进行人脸配准,得到关键点位置,从人脸关键点位置中提取目标部位的关键点位置,比如,左瞳孔、右瞳孔、鼻尖、左嘴角和右嘴角五个部位的位置。计算机设备基于该目标部位的关键点位置,确定一个最小外接正方形,在该正方形的基础上扩大目标倍数作为对应的人脸区域。其中,该目标倍数可以为2.1倍,也可以为其他数值,该目标倍数可以由相关技术人员根据需求进行设置,本申请实施例对此不作限定。
在一种可能实现方式中,由于两个图像为同时对目标进行采集得到的,如果一个图像中没有对应的人脸区域,则说明该目标并非活体,可能是打印的图像导致在某个相机中无法正常成像。因而,对于两个图像的人脸检测结果,当该彩色图像和该红外图像中均包括人脸区域时,计算机设备可以执行下述基于该检测模型的检测步骤和确定步骤,以继续进行活体检测。而当该彩色图像和该红外图像中任一图像中不包括人脸区域时,计算机设备可以提供检测失败消息。
其中,计算机设备提供检测失败消息的方式可以包括多种,例如,通过指示灯的亮起来表示,又例如,可以显示检测失败消息,又例如,可以通过播放预设语音来表示,本申请实施例对此不作限定。
在一种可能实现方式中,计算机设备获取到两种图像的人脸区域后还可以显示在屏幕上,以方便用户根据显示情况调整等。具体地,计算机设备分别在图像显示界面的两个显示区域中,显示该彩色图像和该红外图像的人脸区域。
例如,如图4所示,图像显示界面中可以包括两个显示区域,该两个显示区域可以为图4中的上下两个四边形区域,其中,该两个显示区域的形状也可以为其他形状,例如,可以为圆形区域,该两个显示区域的尺寸和位置也可以由相关技术人员根据需求进行设置,本申请实施例对该两个显示区域的形状、尺寸和位置不作限定。如图4所示,计算机设备截取到两个图像,可以在图像显示界面中该两个显示区域中显示该两个图像。例如,在上方区域中显示彩色图像的人脸区域,在下方区域中显示红外图像的人脸区域。
上述步骤301和步骤302为获取目标的彩色图像和红外图像中的人脸区域的过程,上述步骤301为获取目标的彩色图像和红外图像的过程,步骤302则为获取人脸区域的过程,需要说明的是,上述步骤301中,仅以该两个图像基于相机采集得到为例,在一种可能实现方式中,该两个图像还可以由图像采集设备采集并发送至该计算机设备,该计算机设备接收该图像采集设备发送的图像即可。在另一种可能实现方式中,该两个图像还可以存储于图像数据库中,计算机设备可以从图像数据库中提取该两个图像。本申请实施例对该两个图像的来源不作限定。
在一种可能实现方式中,该步骤302之后,对于上述计算机设备获取到的两种图像的人脸区域,计算机设备还可以先针对两个人脸区域进行初步检测,再根据检测结果,确定是否需要执行下述基于检测模型的检测步骤。计算机设备可以设置有检测条件,满足该检测条件时执行下述基于检测模型的检测步骤,不满足则可以无需执行下述步骤,直接提供检测失败消息。
具体地,该初步检测步骤可以基于该两个人脸区域之间的差异来实现。计算机设备可以对该彩色图像和该红外图像的人脸区域进行对比,得到该两种图像的图像差异。当该图像差异满足检测条件时,计算机设备执行下述基于该检测模型的检测步骤和确定步骤,而当该图像差异不满足检测条件时,计算机设备提供检测失败消息。
其中,该图像差异可以包括多种差异中的至少一种,例如,该图像差异可以包括:两个人脸区域的位置差异、两个人脸区域中人脸部位的位置差异、两个人脸区域中人脸的身份差异中至少一项。需要说明的是,在此仅示出了三种图像差异,该图像差异还可以包括其他信息,本申请实施例在此不一一列举,对此也不做限定。
该检测条件可以为差异指示值小于差异阈值,其中,该差异指示值即可为上述任一种图像差异的数值,或者多种图像差异加权后得到的数值。对于该差异阈值,可以由相关技术人员根据需求以及检测精度进行设置,本申请实施例对此不作限定。
对于两个人脸区域的位置差异,计算机设备可以根据双目相机的双目视差,来对两种图像的人脸区域进行对比,得到两个人脸区域的位置差异。在一种可能实现方式中,该位置差异体现为位置的差异指示值,当该差异指示值小于差异阈值时,计算机设备初步确定该目标为活体,则可以执行下述基于检测模型的活体检测步骤,来进一步确定该目标是否为活体。而当该差异指示值大于或等于差异阈值时,计算机设备经过初步检测,确定该目标不是活体,自然也即无需执行下述检测步骤。
对于人脸区域中人脸部位的位置差异,计算机设备可以获取两个人脸区域中人脸部位所在位置,对两个人脸区域中人脸部位在各自的人脸区域的相对位置进行对比,得到人脸部位的位置差异,该人脸部位的位置差异可以体现为人脸部位位置的差异指示值。具体判定过程可以参见上述人脸区域的位置差异的相关内容,在此不多做赘述。
对于该两个人脸区域中人脸的身份差异,计算机设备可以基于两个人脸区域进行身份识别,得到两个人脸区域的身份信息,当二者身份信息相同时,该身份差异可以指示二者身份相同。身份信息不同时,该身份差异可以指示二者身份不同。
其中,该身份识别过程可以根据多种方式实现,在一种可能实现方式中,该身份识别过程可以为:计算机设备对人脸区域进行特征提取,得到图像特征,根据图像特征与预设的图像特征进行匹配,当匹配时,将该人脸区域中人脸的身份信息确定为该匹配的预设的图像特征对应的身份信息。在另一种可能实现方式中,计算机设备可以直接将该人脸区域与预设的人脸图像进行匹配,当匹配时,将该人脸区域的身份确定为该匹配的预设的人脸图像对应的身份信息。当然,该身份识别过程还可以通过其他方式实现,本申请实施例对此不作限定。
在一个具体的可能实施例中,上述初步检测过程还可以基于对目标的动态检测实现,人物在做动作时,和打印照片或屏幕播放的视频所体现出来的生理特征则可以不同,例如,该动作可以包括表情变化、转头或抬头等。同理地,在初步检测通过时,再执行下述基于检测模型的检测步骤。
具体地,计算机设备可以设置有检测条件,该检测条件可以为人脸区域的变化情况与预设的变化情况之间的差异小于差异阈值。计算机设备可以对该目标进行拍摄,得到图像序列,该图像序列中包括多个时刻下的彩色图像和红外图像。计算机设备可以获取该图像序列中多个时刻下各个图像中人脸区域的变化情况,当该变化情况满足检测条件时,计算机设备可以抽取同一时刻下的彩色图像和红外图像,执行下述基于该检测模型的检测步骤和确定步骤,当该变化情况不满足检测条件时,计算机设备可以提供检测失败消息。
303、计算机设备将该目标的彩色图像和红外图像中的人脸区域,分别输入检测模型中级联的第一检测模型分支和第二检测模型分支中。
计算机设备获取到两个图像的人脸区域后,则可以开始执行活体检测步骤,该活体检测步骤可以基于检测模型实现,具体地,计算机设备可以调用检测模型,将获取到的人脸区域输入检测模型中,由检测模型执行检测步骤。
其中,该检测模型中可以包括级联的两个分支:第一检测模型分支和第二检测模型分支。其中,第一检测模型分支主要用于检测彩色图像的人脸区域,第二检测模型分支主要用于检测红外图像的人脸区域。
对于该检测模型,该检测模型可以在该计算机设备上进行模型训练得到,也可以在其他计算机设备上训练得到并发送至该计算机设备,本申请实施例对此不做限定。
304、计算机设备分别基于该第一检测模型分支和第二检测模型分支,对该彩色图像和该红外图像的人脸区域进行活体检测,得到检测结果。
具体地,计算机设备可以基于第一检测模型分支对彩色图像进行活体检测,得到第一检测结果,基于第二检测模型分支对红外图像的人脸区域进行活体检测,得到第二检测结果,再综合检测结果,来确定目标是否为活体。该第一检测结果和第二检测结果也分别用于指示该目标是否为活体。
其中,不同图像的图像特征可能不同,则对应的活体检测方式也可能不同。在一种可能实现方式中,该活体检测过程可以包括下述步骤一和步骤二:
步骤一、计算机设备根据活体和非活体对红外波段吸收和反射的强度差异,对该红外图像中的人脸区域进行检测,得到该红外图像的检测结果。
在该步骤一中,由于活体和非活体对红外波段吸收和反射的强度存在差异,红外相机拍摄得到的红外图像中则包含有强度信息,通过对红外图像中人脸区域的该强度信息进行分析,即可确定目标是否为活体,以此作为红外图像的检测结果。
步骤二、计算机设备根据活体和非活体的RGB色彩空间中的纹理差异或亮度差异,对该彩色图像中的人脸区域进行检测,得到该彩色图像的检测结果。
在该步骤二中,对活体和非活体进行图像采集时,二者在RGB色彩空间上的纹理可能存在差异或亮度可能存在差异,针对该特性,彩色相机对目标进行图像采集得到的图像中即包含有该纹理信息和亮度信息,计算机设备提取彩色图像中人脸区域的纹理信息或亮度信息,即可对其进行分析,确定目标是否为活体。
对于上述级联的两个检测模型分支,每个检测模型分支可以直接对一种图像的人脸区域进行检测,得到检测结果,也可以在对一种图像的人脸区域进行检测时,引入另一种图像的人脸区域的相关特征。
在一种可能实现方式中,对于该第一检测模型分支和该第二检测模型分支中任一检测模型分支,计算机设备可以对输入该检测模型分支的人脸区域进行特征提取,得到第一图像特征,计算机设备可以获取另一个检测模型分支提取到的第二图像特征,从而根据彩色图像和红外图像之间的像素差异以及该第二图像特征,获取第三图像特征。计算机设备获取到了第一图像特征和第三图像特征,可以对该第一图像特征和该第三图像特征进行检测,得到该检测模型分支对应的图像的检测结果。
其中,第一图像特征是指当前检测模型分支主要进行检测的图像的图像特征,第二图像特征是指当前检测模型分支之外的另一检测模型分支主要进行检测的图像的图像特征。获取该第三图像特征的过程,即为根据彩色图像和红外图像之间的像素差异,将另一种图像的图像特征转化为当前需要进行检测的这种图像的图像特征的过程。
该过程具体应用到第一检测模型分支和第二检测模型分支时,可以为下述步骤一和步骤二:
步骤一、对于该第一检测模型分支,计算机设备对该彩色图像的人脸区域进行特征提取,得到第一图像特征,获取第二检测模型分支对红外图像的人脸区域提取到的第二图像特征,根据彩色图像和红外图像之间的像素差异以及该第二图像特征,获取第三图像特征,对该第一图像特征和该第三图像特征进行检测,得到该彩色图像的检测结果。
步骤二、对于该第二检测模型分支,计算机设备对该红外图像的人脸区域进行特征提取,得到第一图像特征,获取第一检测模型分支对彩色图像的人脸区域提取到的第二图像特征,根据彩色图像和红外图像之间的像素差异以及该第二图像特征,获取第三图像特征,对该第一图像特征和该第三图像特征进行检测,得到该红外图像的检测结果。
在一种可能实现方式中,为了获取得到更准确的检测结果,除了上述红外图像和彩色图像所包含的图像信息之外,还可以引入一种用于体现图像深度的数据,将其也作为活体检测过程的一种数据依据。具体地,计算机设备可以获取该双目相机的双目视差,该双目视差可以集合图像信息来体现该双目相机采集到的图像的深度,有利于恢复目标的三维(3-dimension,3D)结构,提高对平面攻击的防御。
计算机设备可以根据该双目相机的双目视差,获取该彩色图像和该红外图像中的人脸区域对应的三维信息。在上述步骤303中,计算机设备还可以分别将该彩色图像和该红外图像中的人脸区域对应的三维信息输入该检测模型中该两个检测模型分支中对应的分支中。相应地,该步骤304中,计算机设备可以分别基于该第一检测模型分支和第二检测模型分支,根据该三维信息,对该彩色图像和该红外图像中的人脸区域进行检测,得到检测结果。
其中,该计算机设备根据三维信息进行活体检测时,计算机设备可以对图像中人脸区域进行特征提取,可以根据三维信息以及图像中人脸区域的图像特征,确定该图像的三维图像特征,从而根据三维图像特征进行活体检测,得到检测结果。
305、计算机设备根据该目标所处的环境信息,确定该彩色图像和该红外图像各自的权重。
通过上述检测步骤,计算机设备可以分别得到两个图像的检测结果,即可综合两种检测结果来衡量目标是否为活体。该综合衡量的过程可以为加权的过程,两个图像的检测结果分别作为一个维度的数据,每个维度对应有权重,利用权重,对两个维度的数据进行加权,得到加权结果,加权结果中则包含了两个维度的情况,相较于仅考虑一个维度的情况,则会更准确。
在本申请实施例中,考虑到两种图像对采集图像时目标所处的环境信息要求不同,其中,该环境信息可以包括光照信息、温度信息中至少一项。例如,彩色图像对光照信息要求较高,而红外图像对光照信息要求则较低。又例如,彩色图像对温度信息要求不高,而红外图像对温度信息要求较高。因而,计算机设备可以获取该目标所处的环境信息,来根据该环境信息来确定综合衡量该两个维度时两个维度对应的权重。
其中,计算机设备根据环境信息确定权重的方式可以由相关技术人员根据经验或需求进行设置,也可以基于机器学习得到,本申请实施例对其具体取值不作限定。下面提供几种确定权重的示例:
示例一:当该光照信息大于光照阈值时,计算机设备确定该彩色图像的权重为第一权重,该红外图像的权重为第二权重,该第一权重大于该第二权重;当该光照信息小于或等于该光照阈值时,计算机设备确定该彩色图像的权重为第三权重,该红外图像的权重为第四权重,该第三权重小于该第四权重。
示例二:当该温度信息大于温度阈值时,计算机设备确定该彩色图像的权重为第一权重,该红外图像的权重为第二权重,该第一权重大于该第二权重;当该温度信息小于或等于温度阈值时,计算机设备确定该彩色图像的权重为第三权重,该红外图像的权重为第四权重,该第三权重小于该第四权重。
在上述示例一和示例二中,分别对根据光照信息和温度信息判定权重的过程进行了详细说明,实际还可以综合考虑光照信息和温度信息进行权重判定,在此不一一列举。
对于上述两个示例中的相关数据,该第一权重、第二权重、第三权重和该第四权重可以由相关技术人员根据需求进行设置,也可以在模型训练过程训练得到。该第一权重和该第四权重相同,也可以不同。同理地,第二权重和该第三权重可以相同,也可以不同。
在一种可能实现方式中,该第一权重、第二权重、第三权重和该第四权重还可以基于该光照信息与该光照阈值之间的差值确定;或该第一权重、第二权重、第三权重和该第四权重还可以基于该温度信息与该温度阈值之间的差值确定。
在一个具体的可能实施例中,该差值为正数时,该第一权重与该差值正相关;第二权重与该差值负相关。该差值为负数时,第三权重与该差值正相关,第四权重与该差值负相关。
306、计算机设备根据该彩色图像和该红外图像各自的权重,对该彩色图像和该红外图像的检测结果进行加权,输出该目标的检测结果,该检测结果用于指示该目标是否为活体。
通过上述步骤,计算机设备得到了两种图像的检测结果,也得到了两种图像各自的权重,即可根据权重进行加权,得到该目标的检测结果。
在一个具体的示例中,上述检测结果可以用概率来表征,具体地,该目标的检测结果包括该目标为活体的概率。上述两个图像的检测结果也可以包括该目标为活体的概率。该目标的检测结果中的概率即为该两个图像的检测结果中的概率加权后得到的结果。相应地,该步骤306中可以包括下述两种情况。
情况一:当该目标的检测结果中的该概率小于第一阈值时,确定该目标不是活体。
情况二:当该目标的检测结果中的该概率大于或等于第一阈值时,确定该目标为活体。
概率小于第一阈值,则目标为活体的可能性很小,因而,可以确定该目标不是活体。相反的,概率大于或等于第一阈值,则目标为活体的可能性比较大,则可以确定目标为活体。其中,该第一阈值可以由相关技术人员根据经验或需求进行设置,例如,可以根据想要的准确精度来调整,该第一阈值也可以基于机器学习得到,例如,第二阈值为0.3或0.5。本申请实施例对此不作限定。
上述步骤303至步骤306中,对计算机设备如何进行活体检测以及综合两种检测结果来确定目标是否为活体的过程进行了说明,通过级联的方式将复杂的活体检测攻击问题拆分成多个相对简单的子问题逐级解决,提高了活体检测的精度和效率。
需要说明的是,通过检测模型来实现检测过程时,该检测模型中的模型参数在训练过程中确定,对于输入的数据,即可基于训练好的模型参数进行处理,以得到准确性好的结果并输出。
在一种可能实现方式中,计算机设备综合了两种图像的检测结果,来确定目标是否为活体,在上述步骤303之前,计算机设备还可以引入其他活体检测步骤,来作为两个分支检测之前的前序检测步骤,该前序检测步骤可以采用单维度的检测,来在某个维度上进行精确检测,再通过综合步骤,来克服单维度检测的缺陷,以有效提高检测的准确性。该单维度的检测步骤可以是对彩色图像进行的检测步骤,也可以为对深度图像进行的检测步骤,还可以两个维度均进行,并为其设置一定的检测顺序,本申请实施例对此不作限定。
当然,在另一种可能实现方式中,该计算机设备也可以将上述综合检测的结果作为前序检测结果,再基于前序检测结果来执行单维度的检测步骤,更精确的对某个维度进行检测,来提高检测结果的准确性。
也即是,该检测模型可以包括多级检测模块,该活体检测过程还可以包括下述四种情况中任一种。在一种可能实现方式中,该检测模型包括第一级检测模块和第二级检测模块,该第一级检测模块用于对一种图像的人脸区域进行活体检测,该第二级检测模块包括该级联的第一检测模型分支和第二检测模型分支。其中,该第一级检测模块用于对红色图像的人脸区域进行活体检测;或该第一级检测模块用于对深度图像的人脸区域进行活体检测,下述通过情况一和情况二对该第一级检测模块用于对彩色图像进行检测的情况进行说明,通过情况三和情况四对该第一级检测模块用于对深度图像进行检测的情况进行说明。
情况一:计算机设备基于该第一级检测模块,对该彩色图像的人脸区域进行活体检测,得到彩色图像检测结果;当该彩色图像检测结果指示该目标为活体时,计算机设备基于该第二级检测模块,执行上述分别检测步骤和确定步骤。也即是,第一级检测模块的检测过程作为前序检测步骤,其结果用于确定是否进行第二级检测模块的后序检测步骤。
情况二:步骤306之后,当基于该第二级检测模块得到该目标的检测结果指示该目标为活体时,计算机设备基于该第一级检测模块,对该彩色图像的人脸区域进行活体检测,得到彩色图像检测结果,将该彩色图像检测结果作为该目标的最终检测结果。也即是,第一级检测模块的检测过程作为后序检测步骤,上述步骤303至步骤306所示的第二级检测模块的检测过程作为前序检测步骤,其结果用于确定是否进行第一级检测模块的后序检测步骤。
情况三:计算机设备获取目标的深度图像中的人脸区域,基于该第一级检测模块,对该深度图像中的人脸区域进行活体检测,得到深度图像检测结果;当该检测结果指示该目标为活体时,执行该获取步骤、分别检测步骤和确定步骤。
步骤四:步骤306之后,当基于该第二级检测模块得到该目标的检测结果指示该目标为活体时,计算机设备获取目标的深度图像中的人脸区域;基于该第一级检测模块,对该深度图像中的人脸区域进行活体检测,得到深度图像检测结果,将该深度像检测结果作为该目标的最终检测结果。
在这些情况中,该彩色图像检测结果或该深度图像检测结果也可以用概率表示,可以包括该目标为活体的概率,并可以设置有第二阈值,该第二阈值也可以由相关技术人员根据经验或需求进行设置,也可以基于机器学习得到,本申请实施例对此不作限定。例如,第二阈值为0.1或0.3。
针对彩色图像检测结果和深度图像检测结果,可以设置有:当该彩色图像检测结果或该深度图像检测结果中的该概率小于第二阈值时,计算机设备确定该目标不是活体;当该彩色图像检测结果或该深度图像检测结果中的该概率大于或等于第二阈值时,计算机设备确定目标为活体。
在检测模型包括两级检测模块的实现方式中,其中一级作为单维度检测使用,另一级作为多维度综合检测使用。
下面针对该检测模型提供一个具体示例,第一级检测模块可以包括主干网络、残差块以及全连接层,其中,主干网络可以为深度卷积网络,例如,如视觉几何组(visualgeometry group,VGG)、GoogLeNet、残差网络(Residual Network,ResNet)等结构,其中,GoogLeNet为一种深度网络,当然,也可以为其他结构,可以根据实际的空间与时间需求自行调整和修改,本申请实施例对此不作限定。残差块的数量可以为多个,每个残差块可以包括卷积层(Convolution,Conv)、批归一化层(Batch Normalization,BN)、非线性激活函数(Rectified Linear Unit,ReLU)。全连接层用于进行分类,也即是用于确定目标是否为活体。该全连接层的结构可以根据实际需求选择其他算法,如逻辑(Logistic)回归、支持向量机等,本申请实施例对此不作限定。当该第一级检测模块为彩色图像检测模块时,该第一级检测模块可以用于判别“攻击I”,即黑白打印照片和红外打印照片攻击,如图5所示,如果网络输出的分数小于阈值1,则判定为是“攻击I”;如果网络输出的分数大于等于阈值1,则判定为是“真人”或“攻击II”,还需要第二级网络继续进行检测,“攻击II”即彩色打印纸片攻击、屏幕照片攻击等除红外/黑白打印照片以外的其他攻击手段。
对于第二级检测模块,也即是第二级网络,可以用于防御上述“攻击II”。该网络可以是一个双分支网络,输入数据分别是彩色图像和红外图像中的人脸区域R和I。彩色分支(第一检测模型分支)与红外分支(第二检测模型分支)的特征提取部分结构可以使用深度卷积网络,也可以根据需求自行设计,对此不作限定。在一种可能实现方式中,该两个分支也可以采用类似上述第一级网络的串联残差块结构,考虑到输入彩色图像和红外图像的通道数及其他特点,对两分支网络的宽度和深度进行了修改。具体地,彩色分支由于蕴含的信息更多,相比于红外分支应当具有更多的残差块和通道数。为了应对包含多种复杂攻击手段的“攻击II”,还需要发挥彩色图和红外图各自的优势从而达到更好的预测效果。与相关技术中直接拼接特征图等人为指定的融合方式不同,本申请实施例采用了一种能根据特征图信息自适应地为彩色分支与红外分支加权融合的结构。具体结构如图5所示,首先拼接彩色特征图和红外特征图,然后使用全局平均池化(Global Average Pooling,GAP)操作整合空间域的特征,再利用由两层全连接层组成的多层感知机(Multi-Layer Perceptron,MLP)对特征进行变换,最后通过非线性激活函数(sigmoid)得到彩色特征图中每个通道的权重加成和红外图中每个通道的权重加成(这两个权重向量的加和为全一向量)。在对彩色特征图与红外特征图加权后,将它们经GAP操作后送入全连接层对其进行分类。
对于该检测模型,该检测模型的模型参数基于正负样本训练得到。不同的检测模块还可以基于不同的样本训练得到。其中,样本的获取过程可以为:分别从N1个真人图片对、N2个攻击(红外和黑白打印)图片对和N3个攻击(彩色打印等)图片对中提取人脸区域,并且将图像人脸区域重新缩放至相同分辨率大小。通过以上步骤,包含N1个彩色-红外真人人脸图像对、N2个红外和黑白打印人脸图像对和N3个彩色打印人脸图像对的数据集就已经获得。对于上述第一级检测模块(例如,第一级检测模块可以为第一级网络),可以将N1个真人人脸图像对中的彩色图像作为正样本、将N2个红外和黑白打印的人脸图像对中的彩色图像作为负样本进行训练。其中,N1、N2、N3为正整数。
训练完成后,一方面可直接用于决策,另一方面,该第二级检测模块的初始模型参数与该第一级检测模块的模型参数相同。也即是,上述已经训练好第一级检测模块后,可以将其作为下一级检测模块的预训练模型,这样在该基础上进行训练,可以大大减少迭代次数,提高训练效率。在一个具体的示例中,在第一级检测模块用于对彩色图像进行检测时,该第二级检测模块中第一检测模型分支的初始模型参数可以与第一级检测模块的模型参数相同,也即是上述示例中,第一级检测模块可作为第二级检测模块中第一检测模型分支(例如,第二级检测模块可以为第二级网络,第一检测模型分支可以为彩色分支)的预训练模型。
对于第二级检测模块,在训练好第一级网络之后,用训练好的第一级模型初始化第二级网络彩色分支的权重。对于第二级网络,将N1个真人人脸图像对作为正样本、N3个彩色打印人脸图像对作为负样本进行训练。需要注意的是,在训练的过程中,需要同时输入彩色图像和红外图像。
下面提供一个具体示例,以检测模型为一个神经网络为例,该神经网络中包括第一级网络和第二级网络,该第一级网络可以为上述第一级检测模块,第二级网络可以为上述第二级检测模块,在这种情况下,使用训练好的模型来进行活体检测的过程可以总结如下:
首先通过人脸检测算法获得彩色图像中的人脸区域,然后将该人脸区域输入至第一级神经网络中进行判断,由于黑白或红外打印照片与真人照片差别较大,因此第一级神经网络的功能简单、分类精确,可以准确地识别黑白或红外打印照片的攻击行为,但是无法区分真人照片和彩色打印照片。第二级神经网络主要利用彩色-红外图像对,防御彩色打印照片和移动设备屏幕的攻击。随着打印技术的成熟与高清屏幕的普及,一些高清的人脸图像会以假乱真地影响人脸识别系统安全。第二级卷积神经网络可以自适应地综合利用彩色图像和红外图像的各自优点来抵御各种彩色打印照片和高清电子屏幕照片的攻击。
本发明创新地通过级联的方式将彩色图像和红外图像进行综合利用,每个神经网络只需简单高效地解决一个子问题,可以极大简化问题难度和模型复杂度,检测结果也得到有效提升。与相关技术相比,通过新增的第一级神经网络的检测,可以有效排除黑白或红外打印照片的活体攻击;而通过第二级神经网络的检测,则可以进一步地排除彩色打印照片、电子屏幕照片和其他类的攻击。
在一种可能实现方式中,上述检测模型的模型参数可以包括彩色图像和该红外图像各自的权重、第一阈值、第二阈值,也即是这些信息均可以在模型训练过程中训练得到。
在一个具体的可能实施例中,为了提高模型训练效率和使用效率,提高活体检测效率,以适应一些应用场景中的实时检测需求,该检测模型基于对训练得到的候选检测模型进行模型蒸馏或模型剪枝得到。通过该模型蒸馏或模型剪枝得到的候选检测模型包括多个专用模型,每个专用模型的模型规模较小,减少模型参数量,则计算量远远小于复杂模型的计算量,因而,计算速度很快,降低模型运行时间,活体检测效率很高。
例如,如图5所示,检测模型的模型结构如图5所示,提供一个具体示例,上述活体检测方法应用于门禁系统场景中时,活体检测方法的流程可以如下步骤一至步骤四所示。
步骤一,从双目门禁设备的彩色相机和红外相机的视频流中抽取同一时刻下的一对图像用于人脸检测,当检测到两个图像中有人脸出现时启动后续识别流程。否则,直接判断为人脸活体检测失败。
步骤二,根据检测到的两个人脸框信息进行配准,分别生成人脸关键点信息,从中提取人脸5个关键点的坐标信息,包括左瞳孔、右瞳孔、鼻尖、左嘴角和右嘴角。对于彩色图像和红外图像,根据人脸5个关键点信息确定一个最小外接正方形,并在此基础上扩大2.1倍作为活体检测所需的人脸图像对。最后再将两张人脸图像缩放至112px*112px,其中,px为pixel的意思,也即是像素,如此便获得了图5中的人脸图像对R和I。
步骤三,将人脸图像对中的彩色图像输入至第一级神经网络,第一级神经网络输出一个判别分数,如果分数小于阈值1则判定为黑白/红外打印照片攻击,如果分数大于等于阈值1则判定其不是黑白/红外打印照片攻击。根据实际所需的准确率和召回率,可以合理选择阈值1的值(例如0.1或0.3等)。
步骤四,当第一级神经网络输出分数大于等于阈值1的人脸时,需要将其彩色图像和红外图像对同时输入至第二级神经网络,第二级神经网络根据输入的彩色和红外人脸图像得到对应的分数,如果分数小于阈值2则判定为彩色打印照片或其他类攻击,如果分数大于等于阈值2则判定为真人。同样根据实际所需的准确率和召回率,可以合理选择阈值2的值(例如0.3或0.5等)。
通过对彩色图像与红外图像进行级联预测,真实应用场景下复杂的人脸活体检测问题被分解为两个相对简单的子问题。与仅仅使用单目图像信息的模型相比,一方面,本专利提出的基于级联的双目模型可以更好地利用彩色相机和红外相机的优点,对不同攻击的防御能力更强;另一方面,级联的双目模型更加鲁棒、优化更加方便、检测效果更好。其次,通过两个独立神经网络级联的方式,可以将复杂场景的问题分解为两个较简单的子问题,一方面可以降低模型学习难度,另一方面可以分别提升各模块精度从而提高整体精度。最后,级联的架构更便于优化和调试,并且通过选择不同的阈值达到不同场景的最优效果。
本申请实施例通过检测模型中级联的两个分支分别对目标的彩色图像和红外图像中人脸区域进行检测,综合两种图像的检测结果来确定目标是否为活体,一方面,通过对彩色图像中人脸区域进行检测,能够有效防御黑白打印和红外打印的图像进行防御,又结合红外图像中人脸区域的检测,还能够有效防御屏幕图像类和彩色打印图像的攻击,从而达到了全面防御的效果,防御效果好,实用性好,检测结果的准确性好。另一方面,综合过程中考虑到两种图像对环境信息的要求不同,根据目标所处的环境信息来确定两种图像结合时的权重,这样加权得到的检测结果的准确性更好,防御效果更好。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
图6是本申请实施例提供的一种活体检测装置的结构示意图,参见图6,该装置可以包括:
获取模块601,用于获取目标的彩色图像和红外图像中的人脸区域;
检测模块602,用于将该目标的彩色图像和红外图像中的人脸区域,分别输入检测模型中级联的第一检测模型分支和第二检测模型分支中;
该检测模块602,还用于分别基于该第一检测模型分支和第二检测模型分支,对该彩色图像和该红外图像的人脸区域进行活体检测,得到检测结果;
确定模块603,还用于根据该目标所处的环境信息,确定该彩色图像和该红外图像各自的权重;
该检测模块602,还用于根据该彩色图像和该红外图像各自的权重,对该彩色图像和该红外图像的检测结果进行加权,输出该目标的检测结果,该检测结果用于指示该目标是否为活体。
在一种可能实现方式中,该检测模块602,用于:
对于该第一检测模型分支和该第二检测模型分支中任一检测模型分支,对输入该检测模型分支的人脸区域进行特征提取,得到第一图像特征;
获取另一个检测模型分支提取到的第二图像特征;
根据彩色图像和红外图像之间的像素差异以及该第二图像特征,获取第三图像特征;
对该第一图像特征和该第三图像特征进行检测,得到该检测模型分支对应的图像的检测结果。
在一种可能实现方式中,该目标的检测结果包括该目标为活体的概率;
该检测结果用于指示该目标是否为活体,包括:
当该目标的检测结果中的该概率小于第一阈值时,确定该目标不是活体。
当该目标的检测结果中的该概率大于或等于第一阈值时,确定该目标为活体。
在一种可能实现方式中,该检测模型包括第一级检测模块602和第二级检测模块602,该第一级检测模块602用于对一种图像的人脸区域进行活体检测,该第二级检测模块602包括该级联的第一检测模型分支和第二检测模型分支。
在一种可能实现方式中,该第一级检测模块602用于对红色图像的人脸区域进行活体检测;该检测模块602和该确定模块603还用于执行下述任一项:
基于该第一级检测模块602,对该彩色图像的人脸区域进行活体检测,得到彩色图像检测结果;当该彩色图像检测结果指示该目标为活体时,基于该第二级检测模块602,执行分别检测步骤和确定步骤;
当基于该第二级检测模块602得到该目标的检测结果指示该目标为活体时,基于该第一级检测模块602,对该彩色图像的人脸区域进行活体检测,得到彩色图像检测结果,将该彩色图像检测结果作为该目标的最终检测结果。
在一种可能实现方式中,该彩色图像检测结果或该深度图像检测结果包括该目标为活体的概率;
该检测模块602还用于:
当该彩色图像检测结果或该深度图像检测结果中的该概率小于第二阈值时,确定该目标不是活体;
当该彩色图像检测结果或该深度图像检测结果中的该概率大于或等于第二阈值时,确定该目标为活体。
在一种可能实现方式中,该检测模型的模型参数基于正负样本训练得到,该模型参数包括彩色图像和该红外图像各自的权重、第一阈值、第二阈值;该第二级检测模块602的初始模型参数与该第一级检测模块602的模型参数相同;该检测模型基于对训练得到的候选检测模型进行模型蒸馏或模型剪枝得到。
在一种可能实现方式中,该第一级检测模块602用于对深度图像的人脸区域进行活体检测;该检测模块602和该确定模块603还用于执行下述任一项:
获取目标的深度图像中的人脸区域;基于该第一级检测模块602,对该深度图像中的人脸区域进行活体检测,得到深度图像检测结果;当该检测结果指示该目标为活体时,执行该获取步骤、分别检测步骤和确定步骤;
当基于该第二级检测模块602得到该目标的检测结果指示该目标为活体时,获取目标的深度图像中的人脸区域;基于该第一级检测模块602,对该深度图像中的人脸区域进行活体检测,得到深度图像检测结果,将该深度像检测结果作为该目标的最终检测结果。
在一种可能实现方式中,该获取模块601用于:
分别基于双目相机中的彩色相机和红外相机,对目标进行图像采集,得到该目标的彩色图像和红外图像;
对该彩色图像和该红外图像进行人脸检测,得到该彩色图像和该红外图像中的人脸区域。
在一种可能实现方式中,该获取模块601还用于:
获取该双目相机的双目视差;
根据该双目相机的双目视差,获取该彩色图像和该红外图像中的人脸区域对应的三维信息;
该检测模块602还用于分别将该彩色图像和该红外图像中的人脸区域对应的三维信息输入该检测模型中该两个检测模型分支中对应的分支中;
该分别基于该第一检测模型分支和第二检测模型分支,对该彩色图像和该红外图像的人脸区域进行活体检测,得到检测结果,包括:
分别基于该第一检测模型分支和第二检测模型分支,根据该三维信息,对该彩色图像和该红外图像中的人脸区域进行检测,得到检测结果。
在一种可能实现方式中,该检测模块602和该确定模块603还用于当该彩色图像和该红外图像中均包括人脸区域时,执行基于该检测模型的检测步骤和确定步骤;
该装置还包括:
第一提供模块,用于当该彩色图像和该红外图像中任一图像中不包括人脸区域时,提供检测失败消息。
在一种可能实现方式中,该装置还包括:
显示模块,用于分别在图像显示界面的两个显示区域中,显示该彩色图像和该红外图像的人脸区域。
在一种可能实现方式中,该装置还包括:
对比模块,用于对该彩色图像和该红外图像的人脸区域进行对比,得到该两种图像的图像差异;
该检测模块602和该确定模块603,还用于当该图像差异满足检测条件时,执行基于该检测模型的检测步骤和确定步骤;
第二提供模块,还用于当该图像差异不满足检测条件时,提供检测失败消息。
在一种可能实现方式中,该装置还包括:
拍摄模块,用于对该目标进行拍摄,得到图像序列,该图像序列中包括多个时刻下的彩色图像和红外图像;
该获取模块601还用于获取该图像序列中多个时刻下各个图像中人脸区域的变化情况;
该检测模块602和该确定模块603用于当该变化情况满足检测条件时,抽取同一时刻下的彩色图像和红外图像,执行基于该检测模型的检测步骤和确定步骤;
第三提供模块,用于当该变化情况不满足检测条件时,提供检测失败消息。
在一种可能实现方式中,该检测模块602用于:
根据活体和非活体的RGB色彩空间中的纹理差异或亮度差异,对该彩色图像中的人脸区域进行检测;
基于该第一检测模型分支,根据活体和非活体对红外波段吸收和反射的强度差异,对该红外图像中的人脸区域进行检测。
本申请实施例通过检测模型中级联的两个分支分别对目标的彩色图像和红外图像中人脸区域进行检测,综合两种图像的检测结果来确定目标是否为活体,一方面,通过对彩色图像中人脸区域进行检测,能够有效防御黑白打印和红外打印的图像进行防御,又结合红外图像中人脸区域的检测,还能够有效防御屏幕图像类和彩色打印图像的攻击,从而达到了全面防御的效果,防御效果好,实用性好,检测结果的准确性好。另一方面,综合过程中考虑到两种图像对环境信息的要求不同,根据目标所处的环境信息来确定两种图像结合时的权重,这样加权得到的检测结果的准确性更好,防御效果更好。
需要说明的是:上述实施例提供的活体检测装置在进行活体检测时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的活体检测装置与活体检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述计算机设备可以为下述图7所示的终端,也可以为下述图8所示的服务器,本申请实施例对此不作限定。
图7是本申请实施例提供的一种终端的结构示意图。该终端700可以是:智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端700包括有:一个或多个处理器701和一个或多个存储器702。
处理器701可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器701可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器701还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的活体检测方法。
在一些实施例中,终端700还可选包括有:外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地,外围设备包括:射频电路704、显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中,处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上;在一些其他实施例中,处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路704包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路704还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏705用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时,显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时,显示屏705还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏705可以为一个,设置终端700的前面板;在另一些实施例中,显示屏705可以为至少两个,分别设置在终端700的不同表面或呈折叠设计;在再一些实施例中,显示屏705可以是柔性显示屏,设置在终端700的弯曲表面上或折叠面上。甚至,显示屏705还可以设置成非矩形的不规则图形,也即异形屏。显示屏705可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地,摄像头组件706包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器701进行处理,或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路707还可以包括耳机插孔。
定位组件708用于定位终端700的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于:加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号,控制显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测终端700的机体方向及转动角度,陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在终端700的侧边框和/或显示屏705的下层。当压力传感器713设置在终端700的侧边框时,可以检测用户对终端700的握持信号,由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在显示屏705的下层时,由处理器701根据用户对显示屏705的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹,由处理器701根据指纹传感器714采集到的指纹识别用户的身份,或者,由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器701授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时,指纹传感器714可以与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中,处理器701可以根据光学传感器715采集的环境光强度,控制显示屏705的显示亮度。具体地,当环境光强度较高时,调高显示屏705的显示亮度;当环境光强度较低时,调低显示屏705的显示亮度。在另一个实施例中,处理器701还可以根据光学传感器715采集的环境光强度,动态调整摄像头组件706的拍摄参数。
接近传感器716,也称距离传感器,通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中,当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时,由处理器701控制显示屏705从亮屏状态切换为息屏状态;当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时,由处理器701控制显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图7中示出的结构并不构成对终端700的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图8是本申请实施例提供的一种服务器的结构示意图,该服务器800可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器(Central Processing Units,CPU)801和一个或多个的存储器802,其中,所述一个或多个存储器802中存储有至少一条指令,所述至少一条指令由所述一个或多个处理器801加载并执行以实现上述各个方法实施例提供的活体检测方法。当然,该服务器800还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器800还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由处理器执行以完成上述实施例中的活体检测方法。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (30)

1.一种活体检测方法,其特征在于,所述方法包括:
获取目标的彩色图像和红外图像中的人脸区域;
将所述目标的彩色图像和红外图像中的人脸区域,分别输入检测模型中级联的第一检测模型分支和第二检测模型分支中;
分别基于所述第一检测模型分支和第二检测模型分支,对所述彩色图像和所述红外图像的人脸区域进行活体检测,得到检测结果;
根据所述目标所处的环境信息,确定所述彩色图像和所述红外图像各自的权重;
根据所述彩色图像和所述红外图像各自的权重,对所述彩色图像和所述红外图像的检测结果进行加权,输出所述目标的检测结果,所述检测结果用于指示所述目标是否为活体,
所述分别基于所述第一检测模型分支和第二检测模型分支,对所述彩色图像和所述红外图像的人脸区域进行活体检测,得到检测结果,包括:
对于所述第一检测模型分支和所述第二检测模型分支中任一检测模型分支,对输入所述检测模型分支的人脸区域进行特征提取,得到第一图像特征;
获取另一个检测模型分支提取到的第二图像特征;
根据彩色图像和红外图像之间的像素差异以及所述第二图像特征,获取第三图像特征;
对所述第一图像特征和所述第三图像特征进行检测,得到所述检测模型分支对应的图像的检测结果。
2.根据权利要求1所述的方法,其特征在于,所述目标的检测结果包括所述目标为活体的概率;
所述检测结果用于指示所述目标是否为活体,包括:
当所述目标的检测结果中的所述概率小于第一阈值时,确定所述目标不是活体;
当所述目标的检测结果中的所述概率大于或等于第一阈值时,确定所述目标为活体。
3.根据权利要求1所述的方法,其特征在于,所述检测模型包括第一级检测模块和第二级检测模块,所述第一级检测模块用于对一种图像的人脸区域进行活体检测,所述第二级检测模块包括所述级联的第一检测模型分支和第二检测模型分支。
4.根据权利要求3所述的方法,其特征在于,所述第一级检测模块用于对彩色图像的人脸区域进行活体检测;所述方法还包括下述任一项:
基于所述第一级检测模块,对所述彩色图像的人脸区域进行活体检测,得到彩色图像检测结果;当所述彩色图像检测结果指示所述目标为活体时,基于所述第二级检测模块,执行分别检测步骤和确定步骤;
当基于所述第二级检测模块得到所述目标的检测结果指示所述目标为活体时,基于所述第一级检测模块,对所述彩色图像的人脸区域进行活体检测,得到彩色图像检测结果,将所述彩色图像检测结果作为所述目标的最终检测结果。
5.根据权利要求3所述的方法,其特征在于,所述第一级检测模块用于对深度图像的人脸区域进行活体检测;所述方法还包括下述任一项:
获取目标的深度图像中的人脸区域;基于所述第一级检测模块,对所述深度图像中的人脸区域进行活体检测,得到深度图像检测结果;当所述检测结果指示所述目标为活体时,执行所述获取步骤、分别检测步骤和确定步骤;
当基于所述第二级检测模块得到所述目标的检测结果指示所述目标为活体时,获取目标的深度图像中的人脸区域;基于所述第一级检测模块,对所述深度图像中的人脸区域进行活体检测,得到深度图像检测结果,将所述深度图像检测结果作为所述目标的最终检测结果。
6.根据权利要求4或5所述的方法,其特征在于,彩色图像检测结果或深度图像检测结果包括所述目标为活体的概率;
所述方法还包括:
当所述彩色图像检测结果或所述深度图像检测结果中的所述概率小于第二阈值时,确定所述目标不是活体;
当所述彩色图像检测结果或所述深度图像检测结果中的所述概率大于或等于第二阈值时,确定所述目标为活体。
7.根据权利要求3所述的方法,其特征在于,所述检测模型的模型参数基于正负样本训练得到,所述模型参数包括所述彩色图像和所述红外图像各自的权重、第一阈值、第二阈值;所述第二级检测模块的初始模型参数与所述第一级检测模块的模型参数相同;所述检测模型基于对训练得到的候选检测模型进行模型蒸馏或模型剪枝得到。
8.根据权利要求1所述的方法,其特征在于,所述获取目标的彩色图像和红外图像中的人脸区域,包括:
分别基于双目相机中的彩色相机和红外相机,对目标进行图像采集,得到所述目标的彩色图像和红外图像;
对所述彩色图像和所述红外图像进行人脸检测,得到所述彩色图像和所述红外图像中的人脸区域。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
获取所述双目相机的双目视差;
根据所述双目相机的双目视差,获取所述彩色图像和所述红外图像中的人脸区域对应的三维信息;
分别将所述彩色图像和所述红外图像中的人脸区域对应的三维信息输入所述检测模型中两个检测模型分支中对应的分支中;
所述分别基于所述第一检测模型分支和第二检测模型分支,对所述彩色图像和所述红外图像的人脸区域进行活体检测,得到检测结果,包括:
分别基于所述第一检测模型分支和第二检测模型分支,根据所述三维信息,对所述彩色图像和所述红外图像中的人脸区域进行检测,得到检测结果。
10.根据权利要求8所述的方法,其特征在于,所述对所述彩色图像和所述红外图像进行人脸检测之后,所述方法还包括:
当所述彩色图像和所述红外图像中均包括人脸区域时,执行基于所述检测模型的检测步骤和确定步骤;
当所述彩色图像和所述红外图像中任一图像中不包括人脸区域时,提供检测失败消息。
11.根据权利要求1所述的方法,其特征在于,所述获取目标的彩色图像和红外图像中的人脸区域之后,所述方法还包括:
分别在图像显示界面的两个显示区域中,显示所述彩色图像和所述红外图像的人脸区域。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述彩色图像和所述红外图像的人脸区域进行对比,得到两种图像的图像差异;
当所述图像差异满足检测条件时,执行基于所述检测模型的检测步骤和确定步骤;
当所述图像差异不满足检测条件时,提供检测失败消息。
13.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述目标进行拍摄,得到图像序列,所述图像序列中包括多个时刻下的彩色图像和红外图像;
获取所述图像序列中多个时刻下各个图像中人脸区域的变化情况;
当所述变化情况满足检测条件时,抽取同一时刻下的彩色图像和红外图像,执行基于所述检测模型的检测步骤和确定步骤;
当所述变化情况不满足检测条件时,提供检测失败消息。
14.根据权利要求1所述的方法,其特征在于,对所述彩色图像的人脸区域的检测过程包括:
根据活体和非活体的RGB色彩空间中的纹理差异或亮度差异,对所述彩色图像中的人脸区域进行检测;
对所述红外图像的人脸区域的检测过程包括:
基于所述第一检测模型分支,根据活体和非活体对红外波段吸收和反射的强度差异,对所述红外图像中的人脸区域进行检测。
15.一种活体检测装置,其特征在于,所述装置包括:
获取模块,用于获取目标的彩色图像和红外图像中的人脸区域;
检测模块,用于将所述目标的彩色图像和红外图像中的人脸区域,分别输入检测模型中级联的第一检测模型分支和第二检测模型分支中;
所述检测模块,还用于分别基于所述第一检测模型分支和第二检测模型分支,对所述彩色图像和所述红外图像的人脸区域进行活体检测,得到检测结果;
确定模块,还用于根据所述目标所处的环境信息,确定所述彩色图像和所述红外图像各自的权重;
所述检测模块,还用于根据所述彩色图像和所述红外图像各自的权重,对所述彩色图像和所述红外图像的检测结果进行加权,输出所述目标的检测结果,所述检测结果用于指示所述目标是否为活体,
其中,所述检测模块,还用于:
对于所述第一检测模型分支和所述第二检测模型分支中任一检测模型分支,对输入所述检测模型分支的人脸区域进行特征提取,得到第一图像特征;
获取另一个检测模型分支提取到的第二图像特征;
根据彩色图像和红外图像之间的像素差异以及所述第二图像特征,获取第三图像特征;
对所述第一图像特征和所述第三图像特征进行检测,得到所述检测模型分支对应的图像的检测结果。
16.根据权利要求15所述的装置,其特征在于,所述目标的检测结果包括所述目标为活体的概率;
所述检测结果用于指示所述目标是否为活体,包括:
当所述目标的检测结果中的所述概率小于第一阈值时,确定所述目标不是活体;
当所述目标的检测结果中的所述概率大于或等于第一阈值时,确定所述目标为活体。
17.根据权利要求15所述的装置,其特征在于,所述检测模型包括第一级检测模块和第二级检测模块,所述第一级检测模块用于对一种图像的人脸区域进行活体检测,所述第二级检测模块包括所述级联的第一检测模型分支和第二检测模型分支。
18.根据权利要求17所述的装置,其特征在于,所述第一级检测模块用于对彩色图像的人脸区域进行活体检测;所述检测模块和所述确定模块还用于执行下述任一项:
基于所述第一级检测模块,对所述彩色图像的人脸区域进行活体检测,得到彩色图像检测结果;当所述彩色图像检测结果指示所述目标为活体时,基于所述第二级检测模块,执行分别检测步骤和确定步骤;
当基于所述第二级检测模块得到所述目标的检测结果指示所述目标为活体时,基于所述第一级检测模块,对所述彩色图像的人脸区域进行活体检测,得到彩色图像检测结果,将所述彩色图像检测结果作为所述目标的最终检测结果。
19.根据权利要求17所述的装置,其特征在于,所述第一级检测模块用于对深度图像的人脸区域进行活体检测;所述检测模块和所述确定模块还用于执行下述任一项:
获取目标的深度图像中的人脸区域;基于所述第一级检测模块,对所述深度图像中的人脸区域进行活体检测,得到深度图像检测结果;当所述检测结果指示所述目标为活体时,执行所述获取步骤、分别检测步骤和确定步骤;
当基于所述第二级检测模块得到所述目标的检测结果指示所述目标为活体时,获取目标的深度图像中的人脸区域;基于所述第一级检测模块,对所述深度图像中的人脸区域进行活体检测,得到深度图像检测结果,将所述深度图像检测结果作为所述目标的最终检测结果。
20.根据权利要求18或19所述的装置,其特征在于,彩色图像检测结果或深度图像检测结果包括所述目标为活体的概率;
所述检测模块还用于:
当所述彩色图像检测结果或所述深度图像检测结果中的所述概率小于第二阈值时,确定所述目标不是活体;
当所述彩色图像检测结果或所述深度图像检测结果中的所述概率大于或等于第二阈值时,确定所述目标为活体。
21.根据权利要求17所述的装置,其特征在于,所述检测模型的模型参数基于正负样本训练得到,所述模型参数包括所述彩色图像和所述红外图像各自的权重、第一阈值、第二阈值;所述第二级检测模块的初始模型参数与所述第一级检测模块的模型参数相同;所述检测模型基于对训练得到的候选检测模型进行模型蒸馏或模型剪枝得到。
22.根据权利要求15所述的装置,其特征在于,所述获取模块用于:
分别基于双目相机中的彩色相机和红外相机,对目标进行图像采集,得到所述目标的彩色图像和红外图像;
对所述彩色图像和所述红外图像进行人脸检测,得到所述彩色图像和所述红外图像中的人脸区域。
23.根据权利要求22所述的装置,其特征在于,所述获取模块还用于:
获取所述双目相机的双目视差;
根据所述双目相机的双目视差,获取所述彩色图像和所述红外图像中的人脸区域对应的三维信息;
所述检测模块还用于分别将所述彩色图像和所述红外图像中的人脸区域对应的三维信息输入所述检测模型中两个检测模型分支中对应的分支中;
所述分别基于所述第一检测模型分支和第二检测模型分支,对所述彩色图像和所述红外图像的人脸区域进行活体检测,得到检测结果,包括:
分别基于所述第一检测模型分支和第二检测模型分支,根据所述三维信息,对所述彩色图像和所述红外图像中的人脸区域进行检测,得到检测结果。
24.根据权利要求22所述的装置,其特征在于,所述检测模块和所述确定模块还用于当所述彩色图像和所述红外图像中均包括人脸区域时,执行基于所述检测模型的检测步骤和确定步骤;
所述装置还包括:
第一提供模块,用于当所述彩色图像和所述红外图像中任一图像中不包括人脸区域时,提供检测失败消息。
25.根据权利要求15所述的装置,其特征在于,所述装置还包括:
显示模块,用于分别在图像显示界面的两个显示区域中,显示所述彩色图像和所述红外图像的人脸区域。
26.根据权利要求15所述的装置,其特征在于,所述装置还包括:
对比模块,用于对所述彩色图像和所述红外图像的人脸区域进行对比,得到两种图像的图像差异;
所述检测模块和所述确定模块,还用于当所述图像差异满足检测条件时,执行基于所述检测模型的检测步骤和确定步骤;
第二提供模块,还用于当所述图像差异不满足检测条件时,提供检测失败消息。
27.根据权利要求15所述的装置,其特征在于,所述装置还包括:
拍摄模块,用于对所述目标进行拍摄,得到图像序列,所述图像序列中包括多个时刻下的彩色图像和红外图像;
所述获取模块还用于获取所述图像序列中多个时刻下各个图像中人脸区域的变化情况;
所述检测模块和所述确定模块用于当所述变化情况满足检测条件时,抽取同一时刻下的彩色图像和红外图像,执行基于所述检测模型的检测步骤和确定步骤;
第三提供模块,用于当所述变化情况不满足检测条件时,提供检测失败消息。
28.根据权利要求15所述的装置,其特征在于,所述检测模块用于:
根据活体和非活体的RGB色彩空间中的纹理差异或亮度差异,对所述彩色图像中的人脸区域进行检测;
基于所述第一检测模型分支,根据活体和非活体对红外波段吸收和反射的强度差异,对所述红外图像中的人脸区域进行检测。
29.一种计算机设备,其特征在于,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条指令,所述指令由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求14任一项所述的活体检测方法所执行的操作。
30.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至权利要求14任一项所述的活体检测方法所执行的操作。
CN201911208944.7A 2019-11-30 2019-11-30 活体检测方法、装置、设备及存储介质 Active CN111079576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911208944.7A CN111079576B (zh) 2019-11-30 2019-11-30 活体检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911208944.7A CN111079576B (zh) 2019-11-30 2019-11-30 活体检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111079576A CN111079576A (zh) 2020-04-28
CN111079576B true CN111079576B (zh) 2023-07-28

Family

ID=70312290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911208944.7A Active CN111079576B (zh) 2019-11-30 2019-11-30 活体检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111079576B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591517A (zh) * 2020-04-30 2021-11-02 华为技术有限公司 一种活体检测方法及相关设备
CN111597938B (zh) * 2020-05-07 2022-02-22 马上消费金融股份有限公司 活体检测、模型训练方法及装置
CN111582477B (zh) * 2020-05-09 2023-08-29 北京百度网讯科技有限公司 神经网络模型的训练方法和装置
CN111652082B (zh) * 2020-05-13 2021-12-28 北京的卢深视科技有限公司 人脸活体检测方法和装置
CN111582238B (zh) * 2020-05-28 2021-04-02 上海依图网络科技有限公司 一种应用于人脸遮挡场景的活体检测方法及装置
CN111666901A (zh) * 2020-06-09 2020-09-15 创新奇智(北京)科技有限公司 一种活体人脸检测方法、装置、电子设备及存储介质
CN111680675B (zh) * 2020-08-14 2020-11-17 腾讯科技(深圳)有限公司 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN112036331B (zh) * 2020-09-03 2024-04-09 腾讯科技(深圳)有限公司 活体检测模型的训练方法、装置、设备及存储介质
CN112052830B (zh) * 2020-09-25 2022-12-20 北京百度网讯科技有限公司 人脸检测的方法、装置和计算机存储介质
CN113343776A (zh) * 2021-05-13 2021-09-03 北京小米移动软件有限公司 检测方法、装置及存储介质
CN113449623B (zh) * 2021-06-21 2022-06-28 浙江康旭科技有限公司 一种基于深度学习的轻型活体检测方法
CN113255587B (zh) * 2021-06-24 2021-10-15 深圳市光鉴科技有限公司 基于深度相机的刷脸支付系统
CN113469036A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
JP7450668B2 (ja) 2022-06-30 2024-03-15 維沃移動通信有限公司 顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体
CN116071862A (zh) * 2022-12-16 2023-05-05 北京声智科技有限公司 通行校验方法、装置、电子设备、系统以及可读存储介质
CN116259091B (zh) * 2023-01-18 2023-11-10 北京飞腾时光信息科技有限公司 一种静默活体检测的方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292285A (zh) * 2017-07-14 2017-10-24 广东欧珀移动通信有限公司 虹膜活体检测方法及相关产品
CN108197586A (zh) * 2017-12-12 2018-06-22 北京深醒科技有限公司 脸部识别方法和装置
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技(深圳)有限公司 人脸活体检测方法、装置、设备及存储介质
CN109086718A (zh) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 活体检测方法、装置、计算机设备及存储介质
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN110008783A (zh) * 2018-01-04 2019-07-12 杭州海康威视数字技术股份有限公司 基于神经网络模型的人脸活体检测方法、装置及电子设备
CN110059644A (zh) * 2019-04-23 2019-07-26 杭州智趣智能信息技术有限公司 一种基于人脸图像的活体检测方法、系统及相关组件
CN110287672A (zh) * 2019-06-27 2019-09-27 深圳市商汤科技有限公司 验证方法及装置、电子设备和存储介质
CN110443192A (zh) * 2019-08-01 2019-11-12 中国科学院重庆绿色智能技术研究院 一种基于双目图像的非交互式人脸活体检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292285A (zh) * 2017-07-14 2017-10-24 广东欧珀移动通信有限公司 虹膜活体检测方法及相关产品
CN108197586A (zh) * 2017-12-12 2018-06-22 北京深醒科技有限公司 脸部识别方法和装置
CN110008783A (zh) * 2018-01-04 2019-07-12 杭州海康威视数字技术股份有限公司 基于神经网络模型的人脸活体检测方法、装置及电子设备
CN109086718A (zh) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 活体检测方法、装置、计算机设备及存储介质
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技(深圳)有限公司 人脸活体检测方法、装置、设备及存储介质
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN110059644A (zh) * 2019-04-23 2019-07-26 杭州智趣智能信息技术有限公司 一种基于人脸图像的活体检测方法、系统及相关组件
CN110287672A (zh) * 2019-06-27 2019-09-27 深圳市商汤科技有限公司 验证方法及装置、电子设备和存储介质
CN110443192A (zh) * 2019-08-01 2019-11-12 中国科学院重庆绿色智能技术研究院 一种基于双目图像的非交互式人脸活体检测方法及系统

Also Published As

Publication number Publication date
CN111079576A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111079576B (zh) 活体检测方法、装置、设备及存储介质
CN109034102B (zh) 人脸活体检测方法、装置、设备及存储介质
CN110210571B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
WO2019101021A1 (zh) 图像识别方法、装置及电子设备
CN110222789B (zh) 图像识别方法及存储介质
CN110807361B (zh) 人体识别方法、装置、计算机设备及存储介质
CN110083791B (zh) 目标群组检测方法、装置、计算机设备及存储介质
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN109815150B (zh) 应用测试方法、装置、电子设备及存储介质
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN111144365A (zh) 活体检测方法、装置、计算机设备及存储介质
CN111027490A (zh) 人脸属性识别方法及装置、存储介质
CN110705438A (zh) 步态识别方法、装置、设备及存储介质
CN110837858A (zh) 网络模型训练方法、装置、计算机设备及存储介质
CN113918767A (zh) 视频片段定位方法、装置、设备及存储介质
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN111598896A (zh) 图像检测方法、装置、设备及存储介质
CN112001442B (zh) 特征检测方法、装置、计算机设备及存储介质
CN111931712B (zh) 人脸识别方法、装置、抓拍机及系统
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN111860064B (zh) 基于视频的目标检测方法、装置、设备及存储介质
CN113343709B (zh) 意图识别模型的训练方法、意图识别方法、装置及设备
CN113591514B (zh) 指纹活体检测方法、设备及存储介质
CN111982293B (zh) 体温测量方法、装置、电子设备及存储介质
CN113709353B (zh) 图像采集方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022508

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant