CN110909617A - 基于双目视觉的活体人脸检测方法及装置 - Google Patents

基于双目视觉的活体人脸检测方法及装置 Download PDF

Info

Publication number
CN110909617A
CN110909617A CN201911034382.9A CN201911034382A CN110909617A CN 110909617 A CN110909617 A CN 110909617A CN 201911034382 A CN201911034382 A CN 201911034382A CN 110909617 A CN110909617 A CN 110909617A
Authority
CN
China
Prior art keywords
infrared
face
visible light
image
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911034382.9A
Other languages
English (en)
Other versions
CN110909617B (zh
Inventor
徐波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD
Multi Benefit Network Co Ltd
Guangzhou Duoyi Network Co Ltd
Original Assignee
GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD
Multi Benefit Network Co Ltd
Guangzhou Duoyi Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD, Multi Benefit Network Co Ltd, Guangzhou Duoyi Network Co Ltd filed Critical GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD
Priority to CN201911034382.9A priority Critical patent/CN110909617B/zh
Publication of CN110909617A publication Critical patent/CN110909617A/zh
Application granted granted Critical
Publication of CN110909617B publication Critical patent/CN110909617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双目视觉的活体人脸检测方法及装置,其中方法包括:获取可见光视频帧和红外视频帧,从可见光视频帧和红外视频帧中获得可见光中心图像和红外中心图像;根据人脸检测模型对可见光中心图像进行人脸检测,获得可见光人脸图像;按照预设的划分规则,将可见光中心图像和对应的红外中心图像对应划分为n个子区域;根据与可见光人脸图像所在子区域对应的第一成像偏移量,将可见光人脸图像映射到对应的红外中心图像,从红外中心图像中获得红外人脸图像;根据提取的红外人脸图像的人脸纹理特征、红外人脸鉴别器和活体分类器检测红外人脸图像是否为活体人脸图像。本发明能节约执行设备的计算资源和存储资源,提高红外人脸图像的检出率。

Description

基于双目视觉的活体人脸检测方法及装置
技术领域
本发明涉及人脸检测技术领域,尤其涉及一种基于双目视觉的活体人脸检测方法及装置。
背景技术
随着技术的发展,人脸检测技术在安全防范和移动支付等场景中被广泛应用,例如在闸机的人脸检测、在门禁上的人脸检测、刷脸支付等。为防止仿冒者通过照片或视频等图像欺骗检测系统,通常需要对人脸进行活体检测,在判断人脸为活体人脸的前提下才能结合人脸身份识别来通过系统。
目前,活体人脸检测存在双目视觉的人脸检测技术方案,一般获取可见光视频流和红外视频流,获得可见光视频帧和红外视频帧,由于并不是所有的可见光视频帧和红外视频帧均有人脸,有人脸的可见光视频帧和红外视频帧也并不是所有像素点均是人脸的像素点,故检测活体人脸时,通常需要通过两个模型分别对可见光视频帧和红外视频帧进行人脸检测,分别提取出可见光下和红外光下的人脸区域,以提取出可见光人脸图像和红外人脸图像,进而才能根据可见光人脸图像和红外人脸图像进行后续的检测步骤。
然而,现有技术的方案仅仅是人脸提取步骤就需要进行2个模型的训练、计算,对执行设备的计算能力和存储硬件要求较高,不利于节约执行设备的计算资源和存储资源。而且由于红外人脸检测容易受到温度、光源等因素的影响,即使通过模型对红外视频帧进行人脸检测,也可能漏检某些红外人脸图像,导致红外人脸图像的检出率较低。
发明内容
本发明实施例所要解决的技术问题在于,提供一种基于可见光视频帧和红外视频帧的活体人脸检测方法及装置,能够仅通过一个模型就能提取出可见光人脸图像和红外人脸图像,能节约执行设备的计算资源和存储资源,并提高红外人脸图像的检出率。
为了解决上述技术问题,第一方面,本申请提供了一种基于双目视觉的活体人脸检测方法,所述方法包括:
通过预置的可见光摄像头和预置的红外摄像头实时获取相对应的可见光视频帧和红外视频帧;
分别截取相对应的所述可见光视频帧和所述红外视频帧的中心区域图像,获得相对应的可见光中心图像和红外中心图像;
根据预先建立的人脸检测模型对所述可见光中心图像进行人脸检测,获得所述可见光中心图像中的可见光人脸图像;
按照预设的划分规则,将含有所述可见光人脸图像的所述可见光中心图像和对应的所述红外中心图像对应划分为n个子区域;其中,n>1,n个所述子区域分别与预先确定的n个成像偏移量对应;
确定与所述可见光人脸图像所在子区域对应的第一成像偏移量;并根据所述第一成像偏移量,将所述可见光人脸图像映射到对应的所述红外中心图像,从所述红外中心图像中获得红外人脸图像;
提取所述红外人脸图像的人脸纹理特征,并根据所述人脸纹理特征以及预先建立的红外人脸鉴别器和活体分类器,检测所述红外人脸图像是否为活体人脸图像。
进一步的,所述根据所述人脸纹理特征以及预先建立的红外人脸鉴别器和活体分类器,检测所述红外人脸图像是否为活体人脸图像具体包括:
根据所述人脸纹理特征和所述红外人脸鉴别器,鉴别所述红外人脸图像是否为初始活体人脸图像;
若鉴别出所述红外人脸图像不为所述初始活体人脸图像,则判定所述红外人脸图像不为所述活体人脸图像;
若鉴别出所述红外人脸图像为所述初始活体人脸图像,则提取所述红外人脸图像的高斯差分特征,并根据所述高斯差分特征和所述人脸纹理特征,基于所述活体分类器检测所述红外人脸图像是否为所述活体人脸图像。
进一步的,所述提取所述红外人脸图像的高斯差分特征具体包括:
将所述红外人脸图像按照第一高斯分布参数进行高斯滤波处理,获得所述红外人脸图像的第一高斯特征值;
将所述红外人脸图像按照第二高斯分布参数进行高斯滤波处理,获得所述红外人脸图像的第二高斯特征值;
计算所述第一高斯特征值与所述第二高斯特征值之间的高斯差分值;
对所述高斯差分值进行傅里叶变换计算,获得所述红外人脸图像的高斯差分特征。
进一步的,所述成像偏移量包括有效水平偏移量和有效垂直偏移量;每一所述子区域对应有相应的相对方位;则所述方法通过以下步骤确定每一所述子区域对应的所述成像偏移量:
对于位于每一所述相对方位下的活体测试人脸,通过所述可见光摄像头和所述红外摄像头获得包含所述活体测试人脸的N组相对应的可见光对照视频帧和红外对照视频帧,N≥1;
确定每一所述可见光对照视频帧的眼部位置和每一所述红外对照视频帧的眼部位置,计算所述活体测试人脸每一组相对应的所述可见光对照视频帧和所述红外对照视频帧之间所述眼部位置的水平偏移量和垂直偏移量,获得N个所述水平偏移量和N个所述垂直偏移量;
计算N个所述水平偏移量的平均值,获得所述子区域对应的所述有效水平偏移量;计算N个所述垂直偏移量的平均值,获得所述子区域对应的所述有效垂直偏移量。
进一步的,所述对于位于每一所述相对方位下的活体测试人脸,通过所述可见光摄像头和所述红外摄像头获得包含所述活体测试人脸的N组相对应的可见光对照视频帧和红外对照视频帧具体包括:
对于位于每一所述相对方位下的活体测试人脸,在预设的识别距离范围内,实时检测所述可见光摄像头与所述活体测试人脸之间的绝对距离;
按照预设的拍摄距离间隔,确定所述活体测试人脸的若干个拍摄距离;
对于每一所述拍摄距离下的活体测试人脸,所述可见光摄像头和所述红外摄像头同时对所述活体测试人脸进行M次拍摄,获得每一所述拍摄距离对应的M组相对应的所述可见光对照视频帧和所述红外对照视频帧;1≤M≤N;
根据所有的所述拍摄距离下所述活体测试人脸对应的M组相对应的所述可见光对照视频帧和所述红外对照视频帧,获得所述活体测试人脸的N组相对应的所述可见光对照视频帧和所述红外对照视频帧。
进一步的,所述通过预置的可见光摄像头和预置的红外摄像头实时获取相对应的可见光视频帧和红外视频帧具体包括:
通过所述可见光摄像头和所述红外摄像头实时获取相对应的可见光初始视频帧和所述红外视频帧;
对所述可见光初始视频帧进行均值滤波处理,获得与所述红外视频帧对应的所述可见光视频帧。
进一步的,所述根据预先建立的人脸检测模型对所述可见光中心图像进行人脸检测,获得所述可见光中心图像中的可见光人脸图像具体为:
根据预先建立的人脸检测模型对所述可见光中心图像进行人脸检测,获得若干个可见光人脸特征点,根据若干个所述人脸特征点从所述可见光中心图像中获得所述可见光人脸图像;
则,所述根据所述第一成像偏移量,将所述可见光人脸图像映射到对应的所述红外中心图像,从所述红外中心图像中获得红外人脸图像具体包括:
根据所述第一成像偏移量,将所有所述可见光人脸特征点映射到对应的所述红外中心图像,获得若干个红外人脸特征点;
根据所有所述红外人脸特征点,从所述红外中心图像中获得所述红外人脸图像。
进一步的,所述根据所有所述红外人脸特征点,从所述红外中心图像中获得所述红外人脸图像具体包括:
根据若干个所述红外人脸特征点从所述红外视频帧中确定红外人脸图像初始区域;
按照预设的放大倍数,在所述红外中心图像中对所述红外人脸图像初始区域进行扩展,根据扩展后的红外人脸图像初始区域获得所述红外人脸图像。
进一步的,在所述检测所述红外人脸图像是否为活体人脸图像之后,所述方法还包括:
若检测到所述红外人脸图像为所述活体人脸图像,则根据所述可见光人脸图像和预先建立的人脸库,对所述可见光人脸图像进行人脸身份识别,确定所述可见光人脸图像对应的人脸身份;其中,所述人脸库中包括若干个对应有人脸身份的可见光人脸图像模板。
为了解决相应的技术问题,第二方面,本发明还提供了一种基于双目视觉的活体人脸检测装置,所述装置包括:
视频帧获取模块,用于通过预置的可见光摄像头和预置的红外摄像头实时获取相对应的可见光视频帧和红外视频帧;
截取模块,用于分别截取相对应的所述可见光视频帧和所述红外视频帧的中心区域图像,获得相对应的可见光中心图像和红外中心图像;
人脸检测模块,用于根据预先建立的人脸检测模型对所述可见光中心图像进行人脸检测,获得所述可见光中心图像中的可见光人脸图像;
划分模块,用于按照预设的划分规则,将含有所述可见光人脸图像的所述可见光中心图像和对应的所述红外中心图像对应划分为n个子区域;其中,n>1,n个所述子区域分别与预先确定的n个成像偏移量对应;
映射模块,用于确定与所述可见光人脸图像所在子区域对应的第一成像偏移量;并根据所述第一成像偏移量,将所述可见光人脸图像映射到对应的所述红外中心图像,从所述红外中心图像中获得红外人脸图像;
活体人脸检测模块,用于提取所述红外人脸图像的人脸纹理特征,并根据所述人脸纹理特征以及预先建立的红外人脸鉴别器和活体分类器,检测所述红外人脸图像是否为活体人脸图像。
上述提供的一种基于双目视觉的活体人脸检测方法及装置,能够能够通过人脸检测模型对可见光中心图像进行人脸检测,获得可见光人脸图像后,无需通过额外的红外人脸检测模型获得红外人脸图像,而是根据第一成像偏移量直接通过可见光人脸图像映射到红外中心图像中,获得红外人脸图像,在人脸图像的提取中减少了一个红外人脸检测模型,能够仅通过一个模型就能提取出可见光人脸图像和红外人脸图像,能节约执行设备的计算资源和存储资源。由于本申请不需要通过红外人脸检测模型获得红外人脸图像,故避免了红外中心图像受温度、光线等因素对模型检测的影响,提高红外人脸图像的检出率,有利于活体人脸检测。而且,本申请考虑到双目视觉中的成像偏移量的影响,只截取视频帧中的中心区域图像进行人脸检测、根据第一偏移量进行映射获得红外人脸图像,提供红外人脸鉴别器和活体分类器2个模型共同进行活体人脸图像判断,能够提高活体人脸检测的准确度。
附图说明
图1是本发明提供的一种基于双目视觉的活体人脸检测方法的一个优选实施例的流程示意图;
图2是本发明提供的可见光视频帧和可见光中心图像的示意图;
图3是本发明提供的一种基于双目视觉的活体人脸检测方法的一个优选实施例的应用场景示意图;
图4是本发明提供的确定成像偏移量的一个优选实施例的场景示意图;
图5是本发明提供的一种基于双目视觉的活体人脸检测装置的一个优选实施例的流结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本发明提供了一种基于双目视觉的活体人脸检测方法,请参阅图1和图3,图1是本发明提供的一种基于双目视觉的活体人脸检测方法的一个优选实施例的流程示意图,图2是本发明提供的可见光视频帧和可见光中心图像的示意图;图3是本发明提供的一种基于双目视觉的活体人脸检测方法的一个优选实施例的应用场景示意图;具体的,所述方法包括:
S1、通过预置的可见光摄像头和预置的红外摄像头实时获取相对应的可见光视频帧和红外视频帧;
S2、分别截取相对应的所述可见光视频帧和所述红外视频帧的中心区域图像,获得相对应的可见光中心图像和红外中心图像;
S3、根据预先建立的人脸检测模型对所述可见光中心图像进行人脸检测,获得所述可见光中心图像中的可见光人脸图像;
S4、按照预设的划分规则,将含有所述可见光人脸图像的所述可见光中心图像和对应的所述红外中心图像对应划分为n个子区域;其中,n>1,n个所述子区域分别与预先确定的n个成像偏移量对应;
S5、确定与所述可见光人脸图像所在子区域对应的第一成像偏移量;并根据所述第一成像偏移量,将所述可见光人脸图像映射到对应的所述红外中心图像,从所述红外中心图像中获得红外人脸图像;
S6、提取所述红外人脸图像的人脸纹理特征,并根据所述人脸纹理特征以及预先建立的红外人脸鉴别器和活体分类器,检测所述红外人脸图像是否为活体人脸图像。
具体实施时,可见光摄像头和红外摄像头都具有一定的拍摄范围,可见光摄像头和红外摄像头分别实时采集在其拍摄范围内的可见光视频流和红外视频流,可见光视频流含有若干个可见光视频帧,红外视频流含有若干个红外视频帧,可以预见每一可见光视频帧和红外视频帧包括了在拍摄范围内的所有物体,且根据视频流的时间信号将同一时刻的可见光视频帧和红外视频帧对应起来,可以获得若干组相对应的可见光视频帧和红外视频帧。
对于每一组相对应的可见光视频帧和红外视频帧,对可见光视频帧的中心区域图像进行截取获得可见光中心图像,对红外视频帧的中心区域图像进行截取获得红外中心图像,以可将光视频帧为例,如图2所示,从可见光视频帧A中截取中心区域图像获得可见光中心图像a。在可见光视频流中可以获得若干个可见光中心图像a(如图3的a1~a6),在红外视频流中可以获得若干个红外中心图像(如图3的b1~b6),如图3所示,a1~a6为6个可见光中心图像,b1~b6为6个红外中心图像,可见光中心图像a1~a6分别与红外中心图像b1~b6一一对应。以闸机处的人脸检测、可见光摄像头和红外摄像头优先对最近的人脸进行检测为例,在进行人脸图的提取时,人脸检测模型对可见光中心图像进行人脸检测,获得可见光中心图像中的可见光人脸图像,例如当没有人需要通过闸机时,经过人脸检测后,可见光中心图像a1未检测到可见光人脸,则在可见光中心图像a1中不能获得可将光人脸图像,当后续有人需要通过闸机时,待检测人脸进入可见光摄像头的拍摄范围,且落入中心区域,则经过人脸检测模块的检测后,可从可见光中心图像a2中检测出人脸,获得可见光人脸图像1,同理其他的待检测人脸逐渐靠近可见光摄像头,通过人脸检测模型获取到可见光中心图像a2~a5中的可见光人脸图像,当又没有人要通过闸机时,没有待检测人脸落入可见光摄像头的拍摄范围,获得的可见光中心图像a6没有待检测人脸,则在可见光中心图像a6中不能获得可将光人脸图像。
如图3所示,对于含有可见光人脸图像的可见光中心图像a2~a5以及对应的红外中心图像b2~b5,按照预设的划分规则进行划分,获得若干个子区域,例如划分规则是按照为3行3列对等的9个子区域划分,如图2所示,可得到上左、上中、上右、中左、中中、中右、下左、下中、下右这9个子区域。由于每个人的站姿、身高与闸机摄像头的距离远近等原因,可将光人脸图像在可见光中心图像中分布位置、呈现的大小不一定相同;由于双目视觉中可见光摄像头和红外摄像头在三维空间会有坐标偏移,成像会有一定的偏移,不同位置的成像偏移量一般不同,且一般会经过光轴偏移校正,越靠近拍摄范围的边缘,成像偏移量就越大。可预先通过测试确定出划分的每一子区域对应的成像偏移量。
以可见光中心图像a2为例,确定可见光人脸图像1所在的子区域为可见光中心图像a2的“上右”子区域,确定“上右”子区域对应的成像偏移量为第一成像偏移量,根据该第一成像偏移量将可见光人脸图像映射到红外中心图像b2中,可确定出红外人脸图像的图像区域,获得红外人脸图像。进一步的,提取红外人脸图像2的人脸纹理特征,并根据人脸纹理特征以及预先建立的红外人脸鉴别器和活体分类器,检测红外人脸图像是否为活体人脸图像,即可检测出需要通过闸机的待检测人脸是否为活体人脸。同理红外中心图像b3~b5的红外人脸图像均可映射获得,均对活体人脸进行检测判断。
需要说明的是,由于考虑到在拍摄范围内,越靠近边缘的图像,可见光摄像头和红外摄像头的成像偏移量越大,故本申请对可见光视频帧和红外视频帧进行了中心区域图像的截取,能够提高活体人脸检测的准确度,且由于对于需要进行人脸检测的用户来说,一般最终都会靠近摄像头落入中心区域,故只截取可见光视频帧和红外视频帧的中心区域图像进行人脸检测,未考虑视频帧边缘的人脸一般不会影响用户的人脸检测过程。
需要说明的是,上述实施例是示意说明本发明的技术方案的实施过程,但并不限定本发明仅可用于闸机处的人脸检测中,只要适合本发明的应用场景均可以。需要说明的是,上述划分规则仅是举例示意,具体实施时,根据实际需要设置相应的划分规则,设置子区域的数量、每一子区域的位置和面积占比等。
可选的,确定可见光人脸图像所在子区域时,可以根据可见光人脸图像在各个子区域的面积占比确定,也可以根据可见光人脸图像中人脸中心位置所在的子区域确定。可选的,对于同一个待检测人脸,可以在检测到预设个数的红外人脸图像为活体人脸图像后,才最终判断该待检测人脸为活体人脸。可选的,成像偏移量可以是活体测试人脸在多个位置下的偏移量的平均值,也可以是活体测试人脸在多个位置下的偏移量经过加权处理后获得最终的偏移量。
本发明提供的基于双目视觉的活体人脸检测方法,能够通过人脸检测模型对可见光中心图像进行人脸检测,获得可见光人脸图像后,无需通过额外的红外人脸检测模型获得红外人脸图像,而是根据第一成像偏移量直接通过可见光人脸图像映射到红外中心图像中,获得红外人脸图像,在人脸图像的提取中减少了一个红外人脸检测模型,能够仅通过一个模型就能提取出可见光人脸图像和红外人脸图像,能节约执行设备的计算资源和存储资源。由于本申请不需要通过红外人脸检测模型获得红外人脸图像,故避免了红外中心图像受温度、光线等因素对模型检测的影响,提高红外人脸图像的检出率,有利于活体人脸检测。而且,本申请考虑到双目视觉中的成像偏移量的影响,只截取视频帧中的中心区域图像进行人脸检测、根据第一偏移量进行映射获得红外人脸图像,提供红外人脸鉴别器和活体分类器2个模型共同进行活体人脸图像判断,能够提高活体人脸检测的准确度。
优选地,所述根据所述人脸纹理特征以及预先建立的红外人脸鉴别器和活体分类器,检测所述红外人脸图像是否为活体人脸图像具体包括:
根据所述人脸纹理特征和所述红外人脸鉴别器,鉴别所述红外人脸图像是否为初始活体人脸图像;
若鉴别出所述红外人脸图像不为所述初始活体人脸图像,则判定所述红外人脸图像不为所述活体人脸图像;
若鉴别出所述红外人脸图像为所述初始活体人脸图像,则提取所述红外人脸图像的高斯差分特征,并根据所述高斯差分特征和所述人脸纹理特征,基于所述活体分类器检测所述红外人脸图像是否为所述活体人脸图像。
具体的,本发明提供的基于双目视觉的活体人脸检测方法,根据人脸纹理特征和红外人脸鉴别器,对红外人脸图像进行初步检测,初步过滤掉非活体人脸图像,并对初步鉴别为初始活体人脸图像的红外人脸图像,融合其高斯差分特征和人脸纹理特征,通过一个与红外人脸鉴别器级联的活体分类器进一步检测红外人脸图像是否为活体人脸图像,提高活体人脸检测的准确度。
优选地,所述提取所述红外人脸图像的高斯差分特征具体包括:
将所述红外人脸图像按照第一高斯分布参数进行高斯滤波处理,获得所述红外人脸图像的第一高斯特征值;
将所述红外人脸图像按照第二高斯分布参数进行高斯滤波处理,获得所述红外人脸图像的第二高斯特征值;
计算所述第一高斯特征值与所述第二高斯特征值之间的高斯差分值;
对所述高斯差分值进行傅里叶变换计算,获得所述红外人脸图像的高斯差分特征。
具体的,当提取高斯差分特征时,用f(x,y)表示红外人脸图像中像素点(x,y)的像素值,用g1(x,y)表示红外人脸图像中像素点(x,y)按照第一高斯分布参数Gσ1(x,y)进行高斯滤波处理后的像素值,红外人脸图像中所有像素点的g1(x,y)即构成了红外人脸图像的第一高斯特征值;用g2(x,y)表示红外人脸图像中像素点(x,y)按照第二高斯分布参数Gσ2(x,y)进行高斯滤波处理后的像素值,红外人脸图像中所有像素点的g1(x,y)即构成了红外人脸图像的第二高斯特征值;则:
g1(x,y)=Gσ1(x,y)*f(x,y)·········(公式1)
g2(x,y)=Gσ2(x,y)*f(x,y)·········(公式2)
将公式1和公式2相减,得到红外人脸图像中像素点(x,y)的高斯差分像素值O(x,y):
O(x,y)=g1(x,y)-g2(x,y)
=Gσ1(x,y)*f(x,y)-Gσ2(x,y)*f(x,y)
红外人脸图像中所有像素点的高斯差分像素值O(x,y)即构成了红外人脸图像的高斯差分值,进一步通过离散傅里叶变换计算获得红外人脸图像的高斯差分特征。
优选地,请参阅图4,图4是本发明提供的确定成像偏移量的一个优选实施例的场景示意图;具体的,所述成像偏移量包括有效水平偏移量和有效垂直偏移量;每一所述子区域对应有相应的相对方位;则所述方法通过以下步骤确定每一所述子区域对应的所述成像偏移量:
对于位于每一所述相对方位下的活体测试人脸,通过所述可见光摄像头3和所述红外摄像头4获得包含所述活体测试人脸的N组相对应的可见光对照视频帧和红外对照视频帧,N≥1;
确定每一所述可见光对照视频帧的眼部位置和每一所述红外对照视频帧的眼部位置,计算所述活体测试人脸每一组相对应的所述可见光对照视频帧和所述红外对照视频帧之间所述眼部位置的水平偏移量和垂直偏移量,获得N个所述水平偏移量和N个所述垂直偏移量;
计算N个所述水平偏移量的平均值,获得所述子区域对应的所述有效水平偏移量;计算N个所述垂直偏移量的平均值,获得所述子区域对应的所述有效垂直偏移量。
需要说明的是,可见光人脸图像和红外光人脸图像所在子区域是和人脸与可见光摄像头、红外摄像头的相对方位有关,摄像头固定时,相对方位是由人脸在y轴和z轴的位置共同决定的。相对方位影响着人脸位于可见光中心图像、红外中心图像的哪个子区域。
具体的,为获得每一子区域对应的成像偏移量,如图4所示,可以通过不同身高的测试人员5在不同y轴位置供可见光摄像头3和红外摄像头4拍摄或录像,来达到活体测试人脸位于与不同子区域对应的相对方位下。对于每一相对方位下的活体测试人脸,获得N组相对应的可见光对照视频帧和红外对照视频帧,确定每一组可见光对照视频帧和红外对照视频帧中活体测试人脸的眼部位置,以眼部位置为基准确定每一组可见光对照视频帧和红外对照视频帧的水平偏移量和垂直偏移量,进而N组相对应的可见光对照视频帧和红外对照视频帧便对应着N个水平偏移量和N个垂直偏移量。对于每一相对方位下的活体测试人脸,计算N个水平偏移量的平均值作为该相对方位对应的子区域的有效水平偏移量,计算N个垂直偏移量的平均值作为该相对方位对应的子区域的有效垂直偏移量。如此,通过对每一个相对方位下活体测试人脸的N组相对应的可见光对照视频帧和红外对照视频帧,计算获得每一子区域对应的有效水平偏移量和有效垂直偏移量。
优选地,所述对于位于每一所述相对方位下的活体测试人脸,通过所述可见光摄像头和所述红外摄像头获得包含所述活体测试人脸的N组相对应的可见光对照视频帧和红外对照视频帧具体包括:
对于位于每一所述相对方位下的活体测试人脸,在预设的识别距离范围内,实时检测所述可见光摄像头与所述活体测试人脸之间的绝对距离;
按照预设的拍摄距离间隔,确定所述活体测试人脸的若干个拍摄距离;
对于每一所述拍摄距离下的活体测试人脸,所述可见光摄像头和所述红外摄像头同时对所述活体测试人脸进行M次拍摄,获得每一所述拍摄距离对应的M组相对应的所述可见光对照视频帧和所述红外对照视频帧;1≤M≤N;
根据所有的所述拍摄距离下所述活体测试人脸对应的M组相对应的所述可见光对照视频帧和所述红外对照视频帧,获得所述活体测试人脸的N组相对应的所述可见光对照视频帧和所述红外对照视频帧。
需要说明的是,可见光人脸图像和红外光人脸图像所在子区域除了和人脸与可见光摄像头、红外摄像头的相对方位有关,还和人脸与可见光摄像头、红外摄像头的绝对位置有关,即x轴方向的位置。当摄像头固定时,绝对距离是指人脸与可见光摄像头或红外摄像头在x轴方向的距离。绝对距离和相对方位决定了人脸位于可见光中心图像、红外中心图像的哪个子区域。故为了进一步提高本申请的活体人脸检测的准确度,本申请还考虑了绝对位置对成像偏移量的影响。
具体的,在获取N组对应的可见光对照视频帧和红外对照视频帧时,对于位于每一相对方位下的活体测试人脸,在预设的识别距离范围内,实时检测所述可见光摄像头与所述活体测试人脸之间的绝对距离;按照预设的拍摄距离间隔,确定检测到的所述绝对距离是否为拍摄距离,如图4所示,假设在识别距离范围内,按照拍摄距离间隔,确定了5个拍摄距离,即活体测试人脸分别位于直线l1~l5所在位置下的绝对距离;测试人员5分别位于直线l1~l5所在位置供可见光摄像头和红外摄像头同时拍摄,每个位置拍摄M次,获得每一拍摄距离对应的M组相对应的可见光对照视频帧和红外对照视频帧;对于每一相对方位下的活体测试人脸,获取5个位置对应的M组可见光对照视频帧和红外对照视频帧,每一相对方位下均得到一共5M组对应的可见光对照视频帧和红外对照视频帧,实现每一相对方位下获得N组对应的可见光对照视频帧和红外对照视频帧,在本实施例中,N=5M。在后续计算时,便计算每一相对方位下对应的5M个水平偏移量,计算5M个水平偏移量的平均值获得有效水平偏移量;计算每一相对方位下对应的5M个垂直偏移量,计算5M个垂直偏移量的平均值获得有效垂直偏移量。
本发明提供的基于双目视觉的活体人脸检测方法,能够综合考虑绝对距离、相对方位对成像偏移量的影响,确定出一个相对准确的成像偏移量,能够提高活体人脸检测的准确度。
需要说明的是,上述实施例仅是以5个拍摄距离进行举例说明,但不是对本发明的拍摄距离数量的限定,图4也不是对本发明的拍摄距离所在位置进行限定。本领域技术人员可以根据实际需要设置拍摄距离、拍摄距离的个数。
优选地,所述通过预置的可见光摄像头和预置的红外摄像头实时获取相对应的可见光视频帧和红外视频帧具体包括:
通过所述可见光摄像头和所述红外摄像头实时获取相对应的可见光初始视频帧和所述红外视频帧;
对所述可见光初始视频帧进行均值滤波处理,获得与所述红外视频帧对应的所述可见光视频帧。
本申请提供的基于双目视觉的活体人脸检测方法,对可见光初始视频帧进行均值滤波处理获得可见光视频帧,能够减少光照不均匀对可见光人脸图像的检测获取,进而提高活体人脸检测的准确度。
优选地,所述根据预先建立的人脸检测模型对所述可见光中心图像进行人脸检测,获得所述可见光中心图像中的可见光人脸图像具体为:
根据预先建立的人脸检测模型对所述可见光中心图像进行人脸检测,获得若干个可见光人脸特征点,根据若干个所述人脸特征点从所述可见光中心图像中获得所述可见光人脸图像;
则,所述根据所述第一成像偏移量,将所述可见光人脸图像映射到对应的所述红外中心图像,从所述红外中心图像中获得红外人脸图像具体包括:
根据所述第一成像偏移量,将所有所述可见光人脸特征点映射到对应的所述红外中心图像,获得若干个红外人脸特征点;
根据所有所述红外人脸特征点,从所述红外中心图像中获得所述红外人脸图像。
具体的,本申请通过检测出可见光人脸特征点来确定可见光人脸区域,进而提取获得可见光人脸图像。则在获得红外人脸图像时,是将可见光人脸特征点映射到红外中心图像中,确定出与可见光人脸特征点对应的红外人脸特征点,进而根据红外人脸特征点确定出红外人脸区域,提取获得红外人脸图像。
可选的,采用的人脸检测模型为多任务卷积神经网络模型(Multi-taskconvolutional neural network,MTCNN),可以在可见光中心图像中获得人脸框的4个特征点以及眼睛的2个特征点、鼻子的1个特征点和嘴巴的2个特征点共9个可见光人脸特征点,基于人脸框的4个特征点可以映射到红外中心图像确定红外人脸区域,其余5个特征点用于人脸对齐。
优选地,所述根据所有所述红外人脸特征点,从所述红外中心图像中获得所述红外人脸图像具体包括:
根据若干个所述红外人脸特征点从所述红外视频帧中确定红外人脸图像初始区域;
按照预设的放大倍数,在所述红外中心图像中对所述红外人脸图像初始区域进行扩展,根据扩展后的红外人脸图像初始区域获得所述红外人脸图像。
具体的,本发明提供的基于双目视觉的活体人脸检测方法,对根据红外人脸特征点确定的红外人脸图像初始区域按照扩大倍数进行扩展,以获得红外人脸图像。通过对红外人脸图像初始区域扩展,能够使得红外人脸图像更为准确,且能提取人脸边缘信息。
优选地,在所述检测所述红外人脸图像是否为活体人脸图像之后,所述方法还包括:
若检测到所述红外人脸图像为所述活体人脸图像,则根据所述可见光人脸图像和预先建立的人脸库,对所述可见光人脸图像进行人脸身份识别,确定所述可见光人脸图像对应的人脸身份;其中,所述人脸库中包括若干个对应有人脸身份的可见光人脸图像模板。
具体的,在检测出活体人脸后,通过将人脸库的可见光人脸图像模板与可见光人脸图像进行匹配,若匹配成功,则相匹配的可见光人脸图像模板对应的人脸身份即为可见光人脸图像的人脸身份,若无匹配的可见光人脸图像模板,则不采取响应该用户的想要请求,且还可以进一步提醒相应的用户有可疑的人物。本发明提供的基于双目视觉的活体人脸检测方法,还对该活体人脸对应的可见光人脸图像进行人脸身份识别,可以用于实名乘车、家庭门禁或者企业门禁等需要识别人脸身份的应用场景中。
本发明提供的基于双目视觉的活体人脸检测方法,具体实施时,通过预置的可见光摄像头和预置的红外摄像头实时获取相对应的可见光视频帧和红外视频帧;分别截取相对应的可见光视频帧和红外视频帧的中心区域图像,获得相对应的可见光中心图像和红外中心图像;根据预先建立的人脸检测模型对可见光中心图像进行人脸检测,获得可见光中心图像中的可见光人脸图像;按照预设的划分规则,将含有可见光人脸图像的可见光中心图像和对应的红外中心图像对应划分为n个子区域;其中,n>1,n个子区域分别与预先确定的n个成像偏移量对应;确定与可见光人脸图像所在子区域对应的第一成像偏移量;并根据第一成像偏移量,将可见光人脸图像映射到对应的红外中心图像,从红外中心图像中获得红外人脸图像;提取红外人脸图像的人脸纹理特征,并根据人脸纹理特征以及预先建立的红外人脸鉴别器和活体分类器,检测红外人脸图像是否为活体人脸图像。
本发明提供的基于双目视觉的活体人脸检测方法,能够通过人脸检测模型对可见光中心图像进行人脸检测,获得可见光人脸图像后,无需通过额外的红外人脸检测模型获得红外人脸图像,而是根据第一成像偏移量直接通过可见光人脸图像映射到红外中心图像中,获得红外人脸图像,在人脸图像的提取中减少了一个红外人脸检测模型,能够仅通过一个模型就能提取出可见光人脸图像和红外人脸图像,能节约执行设备的计算资源和存储资源。由于本申请不需要通过红外人脸检测模型获得红外人脸图像,故避免了红外中心图像受温度、光线等因素对模型检测的影响,提高红外人脸图像的检出率,有利于活体人脸检测。而且,本申请考虑到双目视觉中的成像偏移量的影响,只截取视频帧中的中心区域图像进行人脸检测、根据第一偏移量进行映射获得红外人脸图像,提供红外人脸鉴别器和活体分类器2个模型共同进行活体人脸图像判断,能够提高活体人脸检测的准确度。
本发明实施例还提供了一种基于双目视觉的活体人脸检测装置,请参阅图5,图5是本发明提供的一种基于双目视觉的活体人脸检测装置的一个优选实施例的流结构示意图;具体的,所述装置包括:
视频帧获取模块11,用于通过预置的可见光摄像头和预置的红外摄像头实时获取相对应的可见光视频帧和红外视频帧;
截取模块12,用于分别截取相对应的所述可见光视频帧和所述红外视频帧的中心区域图像,获得相对应的可见光中心图像和红外中心图像;
人脸检测模块13,用于根据预先建立的人脸检测模型对所述可见光中心图像进行人脸检测,获得所述可见光中心图像中的可见光人脸图像;
划分模块14,用于按照预设的划分规则,将含有所述可见光人脸图像的所述可见光中心图像和对应的所述红外中心图像对应划分为n个子区域;其中,n>1,n个所述子区域分别与预先确定的n个成像偏移量对应;
映射模块15,用于确定与所述可见光人脸图像所在子区域对应的第一成像偏移量;并根据所述第一成像偏移量,将所述可见光人脸图像映射到对应的所述红外中心图像,从所述红外中心图像中获得红外人脸图像;
活体人脸检测模块16,用于提取所述红外人脸图像的人脸纹理特征,并根据所述人脸纹理特征以及预先建立的红外人脸鉴别器和活体分类器,检测所述红外人脸图像是否为活体人脸图像。
优选地,当所述活体人脸检测模块16根据所述人脸纹理特征以及预先建立的红外人脸鉴别器和活体分类器,检测所述红外人脸图像是否为活体人脸图像时,所述活体人脸检测模块16具体用于:
根据所述人脸纹理特征和所述红外人脸鉴别器,鉴别所述红外人脸图像是否为初始活体人脸图像;
若鉴别出所述红外人脸图像不为所述初始活体人脸图像,则判定所述红外人脸图像不为所述活体人脸图像;
若鉴别出所述红外人脸图像为所述初始活体人脸图像,则提取所述红外人脸图像的高斯差分特征,并根据所述高斯差分特征和所述人脸纹理特征,基于所述活体分类器检测所述红外人脸图像是否为所述活体人脸图像。
优选地,当所述活体人脸检测模块16提取所述红外人脸图像的高斯差分特征时,所述活体人脸检测模块16具体用于:
将所述红外人脸图像按照第一高斯分布参数进行高斯滤波处理,获得所述红外人脸图像的第一高斯特征值;
将所述红外人脸图像按照第二高斯分布参数进行高斯滤波处理,获得所述红外人脸图像的第二高斯特征值;
计算所述第一高斯特征值与所述第二高斯特征值之间的高斯差分值;
对所述高斯差分值进行傅里叶变换计算,获得所述红外人脸图像的高斯差分特征。
优选地,所述成像偏移量包括有效水平偏移量和有效垂直偏移量;每一所述子区域对应有相应的相对方位;则所述装置还包括成像偏移量确定模块,所述成像偏移量确定模块用于确定每一所述子区域对应的所述成像偏移量,则所述成像偏移量确定模块具体用于:
对于位于每一所述相对方位下的活体测试人脸,通过所述可见光摄像头和所述红外摄像头获得包含所述活体测试人脸的N组相对应的可见光对照视频帧和红外对照视频帧,N≥1;
确定每一所述可见光对照视频帧的眼部位置和每一所述红外对照视频帧的眼部位置,计算所述活体测试人脸每一组相对应的所述可见光对照视频帧和所述红外对照视频帧之间所述眼部位置的水平偏移量和垂直偏移量,获得N个所述水平偏移量和N个所述垂直偏移量;
计算N个所述水平偏移量的平均值,获得所述子区域对应的所述有效水平偏移量;计算N个所述垂直偏移量的平均值,获得所述子区域对应的所述有效垂直偏移量。
优选地,对于位于每一所述相对方位下的活体测试人脸,当所述成像偏移量确定模块通过所述可见光摄像头和所述红外摄像头获得包含所述活体测试人脸的N组相对应的可见光对照视频帧和红外对照视频帧时,所述成像偏移量确定模块具体用于:
对于位于每一所述相对方位下的活体测试人脸,在预设的识别距离范围内,实时检测所述可见光摄像头与所述活体测试人脸之间的绝对距离;
按照预设的拍摄距离间隔,确定所述活体测试人脸的若干个拍摄距离;
对于每一所述拍摄距离下的活体测试人脸,所述可见光摄像头和所述红外摄像头同时对所述活体测试人脸进行M次拍摄,获得每一所述拍摄距离对应的M组相对应的所述可见光对照视频帧和所述红外对照视频帧;1≤M≤N;
根据所有的所述拍摄距离下所述活体测试人脸对应的M组相对应的所述可见光对照视频帧和所述红外对照视频帧,获得所述活体测试人脸的N组相对应的所述可见光对照视频帧和所述红外对照视频帧。
优选地,所述视频帧获取模块11具体用于:
通过所述可见光摄像头和所述红外摄像头实时获取相对应的可见光初始视频帧和所述红外视频帧;
对所述可见光初始视频帧进行均值滤波处理,获得与所述红外视频帧对应的所述可见光视频帧。
优选地,所述人脸检测模块13具体用于:
根据预先建立的人脸检测模型对所述可见光中心图像进行人脸检测,获得若干个可见光人脸特征点,根据若干个所述人脸特征点从所述可见光中心图像中获得所述可见光人脸图像;
则,当所述映射模块15根据所述第一成像偏移量,将所述可见光人脸图像映射到对应的所述红外中心图像,从所述红外中心图像中获得红外人脸图像时,所述映射模块15具体用于:
根据所述第一成像偏移量,将所有所述可见光人脸特征点映射到对应的所述红外中心图像,获得若干个红外人脸特征点;
根据所有所述红外人脸特征点,从所述红外中心图像中获得所述红外人脸图像。
优选地,当所述映射模块15根据所有所述红外人脸特征点,从所述红外中心图像中获得所述红外人脸图像时,所述映射模块15具体用于:
根据若干个所述红外人脸特征点从所述红外视频帧中确定红外人脸图像初始区域;
按照预设的放大倍数,在所述红外中心图像中对所述红外人脸图像初始区域进行扩展,根据扩展后的红外人脸图像初始区域获得所述红外人脸图像。
优选地,所述装置还包括人脸身份识别模块,所述人脸身份识别模块用于:
在所述活体人脸检测模块16检测所述红外人脸图像是否为活体人脸图像之后,若检测到所述红外人脸图像为所述活体人脸图像,则根据所述可见光人脸图像和预先建立的人脸库,对所述可见光人脸图像进行人脸身份识别,确定所述可见光人脸图像对应的人脸身份;其中,所述人脸库中包括若干个对应有人脸身份的可见光人脸图像模板。
本发明提供的基于双目视觉的活体人脸检测装置,能够通过人脸检测模型对可见光中心图像进行人脸检测,获得可见光人脸图像后,无需通过额外的红外人脸检测模型获得红外人脸图像,而是根据第一成像偏移量直接通过可见光人脸图像映射到红外中心图像中,获得红外人脸图像,在人脸图像的提取中减少了一个红外人脸检测模型,能够仅通过一个模型就能提取出可见光人脸图像和红外人脸图像,能节约执行设备的计算资源和存储资源。由于本申请不需要通过红外人脸检测模型获得红外人脸图像,故避免了红外中心图像受温度、光线等因素对模型检测的影响,提高红外人脸图像的检出率,有利于活体人脸检测。而且,本申请考虑到双目视觉中的成像偏移量的影响,只截取视频帧中的中心区域图像进行人脸检测、根据第一偏移量进行映射获得红外人脸图像,提供红外人脸鉴别器和活体分类器2个模型共同进行活体人脸图像判断,能够提高活体人脸检测的准确度。
需要说明的是,本发明实施例提供的所述基于双目视觉的活体人脸检测装置用于执行上述实施例所述的基于双目视觉的活体人脸检测方法的步骤,两者的工作原理和有益效果一一对应,因而不再赘述。
本领域技术人员可以理解,所述基于双目视觉的活体人脸检测装置的示意图仅仅是基于双目视觉的活体人脸检测装置的示例,并不构成对基于双目视觉的活体人脸检测装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述基于双目视觉的活体人脸检测装置还可以包括输入输出设备、网络接入设备、总线等。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于双目视觉的活体人脸检测方法,其特征在于,所述方法包括:
通过预置的可见光摄像头和预置的红外摄像头实时获取相对应的可见光视频帧和红外视频帧;
分别截取相对应的所述可见光视频帧和所述红外视频帧的中心区域图像,获得相对应的可见光中心图像和红外中心图像;
根据预先建立的人脸检测模型对所述可见光中心图像进行人脸检测,获得所述可见光中心图像中的可见光人脸图像;
按照预设的划分规则,将含有所述可见光人脸图像的所述可见光中心图像和对应的所述红外中心图像对应划分为n个子区域;其中,n>1,n个所述子区域分别与预先确定的n个成像偏移量对应;
确定与所述可见光人脸图像所在子区域对应的第一成像偏移量;并根据所述第一成像偏移量,将所述可见光人脸图像映射到对应的所述红外中心图像,从所述红外中心图像中获得红外人脸图像;
提取所述红外人脸图像的人脸纹理特征,并根据所述人脸纹理特征以及预先建立的红外人脸鉴别器和活体分类器,检测所述红外人脸图像是否为活体人脸图像。
2.如权利要求1所述的活体人脸检测方法,其特征在于,所述根据所述人脸纹理特征以及预先建立的红外人脸鉴别器和活体分类器,检测所述红外人脸图像是否为活体人脸图像具体包括:
根据所述人脸纹理特征和所述红外人脸鉴别器,鉴别所述红外人脸图像是否为初始活体人脸图像;
若鉴别出所述红外人脸图像不为所述初始活体人脸图像,则判定所述红外人脸图像不为所述活体人脸图像;
若鉴别出所述红外人脸图像为所述初始活体人脸图像,则提取所述红外人脸图像的高斯差分特征,并根据所述高斯差分特征和所述人脸纹理特征,基于所述活体分类器检测所述红外人脸图像是否为所述活体人脸图像。
3.如权利要求2所述的活体人脸检测方法,其特征在于,所述提取所述红外人脸图像的高斯差分特征具体包括:
将所述红外人脸图像按照第一高斯分布参数进行高斯滤波处理,获得所述红外人脸图像的第一高斯特征值;
将所述红外人脸图像按照第二高斯分布参数进行高斯滤波处理,获得所述红外人脸图像的第二高斯特征值;
计算所述第一高斯特征值与所述第二高斯特征值之间的高斯差分值;
对所述高斯差分值进行傅里叶变换计算,获得所述红外人脸图像的高斯差分特征。
4.如权利要求1所述的活体人脸检测方法,其特征在于,所述成像偏移量包括有效水平偏移量和有效垂直偏移量;每一所述子区域对应有相应的相对方位;则所述方法通过以下步骤确定每一所述子区域对应的所述成像偏移量:
对于位于每一所述相对方位下的活体测试人脸,通过所述可见光摄像头和所述红外摄像头获得包含所述活体测试人脸的N组相对应的可见光对照视频帧和红外对照视频帧,N≥1;
确定每一所述可见光对照视频帧的眼部位置和每一所述红外对照视频帧的眼部位置,计算所述活体测试人脸每一组相对应的所述可见光对照视频帧和所述红外对照视频帧之间所述眼部位置的水平偏移量和垂直偏移量,获得N个所述水平偏移量和N个所述垂直偏移量;
计算N个所述水平偏移量的平均值,获得所述子区域对应的所述有效水平偏移量;计算N个所述垂直偏移量的平均值,获得所述子区域对应的所述有效垂直偏移量。
5.如权利要求4所述的活体人脸检测方法,其特征在于,所述对于位于每一所述相对方位下的活体测试人脸,通过所述可见光摄像头和所述红外摄像头获得包含所述活体测试人脸的N组相对应的可见光对照视频帧和红外对照视频帧具体包括:
对于位于每一所述相对方位下的活体测试人脸,在预设的识别距离范围内,实时检测所述可见光摄像头与所述活体测试人脸之间的绝对距离;
按照预设的拍摄距离间隔,确定所述活体测试人脸的若干个拍摄距离;
对于每一所述拍摄距离下的活体测试人脸,所述可见光摄像头和所述红外摄像头同时对所述活体测试人脸进行M次拍摄,获得每一所述拍摄距离对应的M组相对应的所述可见光对照视频帧和所述红外对照视频帧;1≤M≤N;
根据所有的所述拍摄距离下所述活体测试人脸对应的M组相对应的所述可见光对照视频帧和所述红外对照视频帧,获得所述活体测试人脸的N组相对应的所述可见光对照视频帧和所述红外对照视频帧。
6.如权利要求1所述的活体人脸检测方法,其特征在于,所述通过预置的可见光摄像头和预置的红外摄像头实时获取相对应的可见光视频帧和红外视频帧具体包括:
通过所述可见光摄像头和所述红外摄像头实时获取相对应的可见光初始视频帧和所述红外视频帧;
对所述可见光初始视频帧进行均值滤波处理,获得与所述红外视频帧对应的所述可见光视频帧。
7.如权利要求1所述的活体人脸检测方法,其特征在于,所述根据预先建立的人脸检测模型对所述可见光中心图像进行人脸检测,获得所述可见光中心图像中的可见光人脸图像具体为:
根据预先建立的人脸检测模型对所述可见光中心图像进行人脸检测,获得若干个可见光人脸特征点,根据若干个所述人脸特征点从所述可见光中心图像中获得所述可见光人脸图像;
则,所述根据所述第一成像偏移量,将所述可见光人脸图像映射到对应的所述红外中心图像,从所述红外中心图像中获得红外人脸图像具体包括:
根据所述第一成像偏移量,将所有所述可见光人脸特征点映射到对应的所述红外中心图像,获得若干个红外人脸特征点;
根据所有所述红外人脸特征点,从所述红外中心图像中获得所述红外人脸图像。
8.如权利要求7所述的活体人脸检测方法,其特征在于,所述根据所有所述红外人脸特征点,从所述红外中心图像中获得所述红外人脸图像具体包括:
根据若干个所述红外人脸特征点从所述红外视频帧中确定红外人脸图像初始区域;
按照预设的放大倍数,在所述红外中心图像中对所述红外人脸图像初始区域进行扩展,根据扩展后的红外人脸图像初始区域获得所述红外人脸图像。
9.如权利要求1所述的活体人脸检测方法,其特征在于,在所述检测所述红外人脸图像是否为活体人脸图像之后,所述方法还包括:
若检测到所述红外人脸图像为所述活体人脸图像,则根据所述可见光人脸图像和预先建立的人脸库,对所述可见光人脸图像进行人脸身份识别,确定所述可见光人脸图像对应的人脸身份;其中,所述人脸库中包括若干个对应有人脸身份的可见光人脸图像模板。
10.一种基于双目视觉的活体人脸检测装置,其特征在于,所述装置包括:
视频帧获取模块,用于通过预置的可见光摄像头和预置的红外摄像头实时获取相对应的可见光视频帧和红外视频帧;
截取模块,用于分别截取相对应的所述可见光视频帧和所述红外视频帧的中心区域图像,获得相对应的可见光中心图像和红外中心图像;
人脸检测模块,用于根据预先建立的人脸检测模型对所述可见光中心图像进行人脸检测,获得所述可见光中心图像中的可见光人脸图像;
划分模块,用于按照预设的划分规则,将含有所述可见光人脸图像的所述可见光中心图像和对应的所述红外中心图像对应划分为n个子区域;其中,n>1,n个所述子区域分别与预先确定的n个成像偏移量对应;
映射模块,用于确定与所述可见光人脸图像所在子区域对应的第一成像偏移量;并根据所述第一成像偏移量,将所述可见光人脸图像映射到对应的所述红外中心图像,从所述红外中心图像中获得红外人脸图像;
活体人脸检测模块,用于提取所述红外人脸图像的人脸纹理特征,并根据所述人脸纹理特征以及预先建立的红外人脸鉴别器和活体分类器,检测所述红外人脸图像是否为活体人脸图像。
CN201911034382.9A 2019-10-28 2019-10-28 基于双目视觉的活体人脸检测方法及装置 Active CN110909617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911034382.9A CN110909617B (zh) 2019-10-28 2019-10-28 基于双目视觉的活体人脸检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911034382.9A CN110909617B (zh) 2019-10-28 2019-10-28 基于双目视觉的活体人脸检测方法及装置

Publications (2)

Publication Number Publication Date
CN110909617A true CN110909617A (zh) 2020-03-24
CN110909617B CN110909617B (zh) 2022-03-25

Family

ID=69815984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911034382.9A Active CN110909617B (zh) 2019-10-28 2019-10-28 基于双目视觉的活体人脸检测方法及装置

Country Status (1)

Country Link
CN (1) CN110909617B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680588A (zh) * 2020-05-26 2020-09-18 广州多益网络股份有限公司 一种基于可见光和红外光的人脸闸机活体检测方法
CN111860404A (zh) * 2020-07-28 2020-10-30 华润智慧能源有限公司 一种光伏板热斑定位方法及系统
CN112465910A (zh) * 2020-11-26 2021-03-09 成都新希望金融信息有限公司 一种目标拍摄距离获取方法、装置、存储介质及电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130035849A (ko) * 2011-09-30 2013-04-09 아이포콤 주식회사 단일 영상을 사용한 위조 얼굴 검출 방법
US20160342851A1 (en) * 2015-05-22 2016-11-24 Yahoo! Inc. Computerized system and method for determining authenticity of users via facial recognition
CN106897675A (zh) * 2017-01-24 2017-06-27 上海交通大学 双目视觉深度特征与表观特征相结合的人脸活体检测方法
CN107862299A (zh) * 2017-11-28 2018-03-30 电子科技大学 一种基于近红外与可见光双目摄像头的活体人脸检测方法
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN108268839A (zh) * 2018-01-05 2018-07-10 北京万相融通科技股份有限公司 一种活体验证方法及其系统
US20180275278A1 (en) * 2016-09-01 2018-09-27 Sony Semiconductor Solutions Corporation Imaging device
CN108764071A (zh) * 2018-05-11 2018-11-06 四川大学 一种基于红外和可见光图像的真实人脸检测方法及装置
CN108764058A (zh) * 2018-05-04 2018-11-06 吉林大学 一种基于热成像效应的双摄像头人脸活体检测方法
CN108921041A (zh) * 2018-06-06 2018-11-30 深圳神目信息技术有限公司 一种基于rgb和ir双目摄像头的活体检测方法及装置
CN109359634A (zh) * 2018-12-11 2019-02-19 西安第六镜网络科技有限公司 一种基于双目摄像机的人脸活体检测方法
CN110309782A (zh) * 2019-07-02 2019-10-08 四川大学 一种基于红外与可见光双目系统的活体人脸检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130035849A (ko) * 2011-09-30 2013-04-09 아이포콤 주식회사 단일 영상을 사용한 위조 얼굴 검출 방법
US20160342851A1 (en) * 2015-05-22 2016-11-24 Yahoo! Inc. Computerized system and method for determining authenticity of users via facial recognition
US20180275278A1 (en) * 2016-09-01 2018-09-27 Sony Semiconductor Solutions Corporation Imaging device
CN106897675A (zh) * 2017-01-24 2017-06-27 上海交通大学 双目视觉深度特征与表观特征相结合的人脸活体检测方法
CN107862299A (zh) * 2017-11-28 2018-03-30 电子科技大学 一种基于近红外与可见光双目摄像头的活体人脸检测方法
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN108268839A (zh) * 2018-01-05 2018-07-10 北京万相融通科技股份有限公司 一种活体验证方法及其系统
CN108764058A (zh) * 2018-05-04 2018-11-06 吉林大学 一种基于热成像效应的双摄像头人脸活体检测方法
CN108764071A (zh) * 2018-05-11 2018-11-06 四川大学 一种基于红外和可见光图像的真实人脸检测方法及装置
CN108921041A (zh) * 2018-06-06 2018-11-30 深圳神目信息技术有限公司 一种基于rgb和ir双目摄像头的活体检测方法及装置
CN109359634A (zh) * 2018-12-11 2019-02-19 西安第六镜网络科技有限公司 一种基于双目摄像机的人脸活体检测方法
CN110309782A (zh) * 2019-07-02 2019-10-08 四川大学 一种基于红外与可见光双目系统的活体人脸检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BIZHU WU等: "A Review of Face Anti-spoofing and Its Applications in China", 《ICHSA 2019: ADVANCES IN HARMONY SEARCH, SOFT COMPUTING AND APPLICATIONS》 *
DONG YI等: "《Handbook of Biometric Anti-Spoofing》", 18 July 2014 *
孙霖: "人脸识别中的活体检测技术研究", 《中国优秀博硕士学位论文全文数据库(博士) 信息科技辑》 *
蒋尚达: "基于视频的活体人脸检测算法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
邱晨鹏: "基于双目摄像机的人脸活体检测的研究", 《现代计算机》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680588A (zh) * 2020-05-26 2020-09-18 广州多益网络股份有限公司 一种基于可见光和红外光的人脸闸机活体检测方法
CN111860404A (zh) * 2020-07-28 2020-10-30 华润智慧能源有限公司 一种光伏板热斑定位方法及系统
CN112465910A (zh) * 2020-11-26 2021-03-09 成都新希望金融信息有限公司 一种目标拍摄距离获取方法、装置、存储介质及电子设备
CN112465910B (zh) * 2020-11-26 2021-12-28 成都新希望金融信息有限公司 一种目标拍摄距离获取方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN110909617B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN105550670B (zh) 一种目标物体动态跟踪与测量定位方法
CN110909617B (zh) 基于双目视觉的活体人脸检测方法及装置
CN108764071B (zh) 一种基于红外和可见光图像的真实人脸检测方法及装置
WO2021036436A1 (zh) 一种人脸识别方法及装置
CN105426828B (zh) 人脸检测方法、装置及系统
CN107316029B (zh) 一种活体验证方法及设备
CN111898486B (zh) 监控画面异常的检测方法、装置及存储介质
CN106372629A (zh) 一种活体检测方法和装置
CN109086724A (zh) 一种加速的人脸检测方法及存储介质
CN109145803A (zh) 手势识别方法及装置、电子设备、计算机可读存储介质
CN109711267A (zh) 一种行人重识别、行人运动轨迹生成方法及装置
CN106534659B (zh) 一种相机对焦方法及系统
CN110991297A (zh) 一种基于场景监控的目标定位方法及系统
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN108717704A (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
CN112307912A (zh) 一种基于摄像头确定人员轨迹的方法及系统
KR20170080126A (ko) 깊이정보 기반의 안면인식 출입통제시스템
CN114894337A (zh) 一种用于室外人脸识别测温方法及装置
CN112446254A (zh) 人脸追踪的方法及相关装置
CN110658918A (zh) 用于视频眼镜的眼球追踪相机的定位方法、设备及介质
CN116453198A (zh) 一种基于头部姿态差异的视线校准方法和装置
CN109389367A (zh) 人员考勤方法、装置及存储介质
CN109492513A (zh) 光场监控的人脸空间去重方法
CN108629333A (zh) 一种低照度的人脸图像处理方法、装置、设备及可读介质
CN113762164A (zh) 一种消防通道障碍物识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant