CN111814659A - 一种活体检测方法、和系统 - Google Patents

一种活体检测方法、和系统 Download PDF

Info

Publication number
CN111814659A
CN111814659A CN202010645004.0A CN202010645004A CN111814659A CN 111814659 A CN111814659 A CN 111814659A CN 202010645004 A CN202010645004 A CN 202010645004A CN 111814659 A CN111814659 A CN 111814659A
Authority
CN
China
Prior art keywords
image
pixel
coordinate
detected
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010645004.0A
Other languages
English (en)
Other versions
CN111814659B (zh
Inventor
任志浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010645004.0A priority Critical patent/CN111814659B/zh
Publication of CN111814659A publication Critical patent/CN111814659A/zh
Application granted granted Critical
Publication of CN111814659B publication Critical patent/CN111814659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请公开了一种活体检测方法,该方法包括,采集待检测目标同一时刻的可见光图像和热成像图像,确定可见光图像各像素与热成像图像各像素之间对应位置,基于所确定像素对应位置区域的可见光图像和热成像图像,判定待检测目标是否为活体。在不降低检测的准确性的情形下,提高了活体检测的实时性。

Description

一种活体检测方法、和系统
技术领域
本发明涉及图像识别检测领域,特别地,涉及一种活体检测方法。
背景技术
活体识别检测主要是通过识别活体上的生物特征信息来进行,它把生物特征信息作为生命特征来区分用照片、硅胶、塑料等非生命物质伪造的生物特征。通俗地讲,就是在识别检测的过程中确定被检测目标确实是个“活体”,不是照片、视频或其他什么。
公开号为CN109446981A的一种脸部活体检测方法,该方法获取待检测对象的脸部图像,该脸部图像包括热红外脸部图像和可见光脸部图像;从可见光脸部图像中检测出脸部区域;然后根据脸部区域在热红外脸部图像中的对应位置得到脸部热量信息;根据脸部热量信息进行测温和呼吸频率预测来检测是否为活体。
该方法基于脸部热量信息来进行测温和呼吸频率预测,耗时长,并不适合实时的人脸活体检测,例如,在人流量大、要求快速检测响应的闸机出入口,上述活体检测方法并不适用。
发明内容
本发明提供了一种活体检测方法,以提高活体检测的实时性。
本发明提供的一种活体检测方法是这样实现的:
采集待检测目标同一时刻的可见光图像和热成像图像,
确定可见光图像各像素与热成像图像各像素之间对应位置,
基于所确定像素对应位置区域的可见光图像和/或热成像图像,判定待检测目标是否为活体。
较佳地,所述可见光图像和热成像图像为分别来自于双目相机的双目图像,
所述确定可见光图像各像素与热成像图像各像素之间对应位置包括,根据双目相机的标定参数、以及待检测目标到双目相机基线的距离,确定可见光图像各像素与热成像图像各像素之间对应位置。
较佳地,所述双目相机的焦距相同;
所述根据双目相机的标定参数、以及待检测目标到双目相机基线的距离,确定可见光图像各像素与热成像图像各像素之间对应位置,包括,
根据双目相机的基线距离、相机焦距、以及待检测目标到双目相机基线的距离,计算相机焦距与基线长度的乘积除以待检测目标到两相机基线的距离,得到双目图像中左目图像中的像素x坐标与右目图像中的像素x坐标之差,
设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标之差,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置。
较佳地,所述双目相机的焦距不同;
所述根据双目相机的标定参数、以及待检测目标到双目相机基线的距离,确定可见光图像各像素与热成像图像各像素之间对应位置,包括,
根据双目相机的基线距离、各相机焦距、以及待检测目标到双目相机基线的距离,得到双目图像中左目图像中的像素x坐标与右目图像中的像素x坐标满足的关系,该关系为:待检测目标到双目相机基线的距离与左目相机焦距之和与左目相机焦距的比值,乘以左目图像中的像素x坐标所得到的第一结果,与,待检测目标到双目相机基线的距离与右目相机焦距之和与右目相机焦距的比值,乘以右目图像中的像素x坐标所得到的第二结果,两结果之和等于待检测目标到双目相机基线的距离;
设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标的关系,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置。
较佳地,所述设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标之差,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置,包括,
基于可见光图像,按照待检测目标的部位区域设定第一ROI区域,提取第一ROI区域中的图像数据作为有效区域数据,
根据可见光图像中的像素y坐标与热成像图像中的像素y坐标相同、以及可见光图像中的像素x坐标与热成像图像中的像素x坐标之差,确定热成像图像中与第一ROI区域对应的第二ROI区域,
所述基于所确定像素对应位置区域的可见光图像或热成像图像,判定待检测目标是否为活体,包括,
基于热成像图像中的第二ROI区域图像数据,获得灰度图,
根据热成像图像的灰度图,判定待检测目标是否为活体。
较佳地,所述基于热成像图像中的第二ROI区域图像数据,获得灰度图,包括,
设定灰度等级,基于热成像图像中的第二ROI区域图像数据,统计各灰度分布,得到第一灰度直方图,
所述根据热成像图像的灰度图,判定待检测目标是否为活体,包括,
基于第一灰度直方图,计算第一灰度平均值,将第一灰度平均值与预设的第一阈值和第二阈值进行比较,其中,第一阈值小于第二阈值,
若第一灰度平均值在第一阈值和第二阈值之间,则判定待检测目标为活体。否则,判定待检测目标为非活体,得到第一判定结果。
较佳地,该方法进一步包括,
在第二ROI区域,选取第三ROI区域,基于第三ROI区域进行灰度统计,得到第二灰度直方图,
基于第二灰度直方图,获得特征向量,并输入至训练后的神经网络模型进行识别;或者,基于第二灰度直方图,计算第二灰度平均值,将第二灰度平均值与预设的第三阈值和第四阈值进行比较,其中,第三阈值小于第四阈值,若第二灰度平均值在第三阈值和第四阈值之间,则判定待检测目标为活体,否则,判定待检测目标为非活体,得到第二判定结果;
综合第一判定结果和第二判定结果,当第一判断结果和第二判定结果都判定为活体时,则判定待检测目标为活体,否则,判定待检测目标为非活体,
当待检测目标为活体时,进行待检测目标的体温测量。
较佳地,所述待检测目标的部位区域为脸部区域,
所述按照待检测目标的部位区域设定第一ROI区域包括,
根据瞳孔之间间距确定一有效矩形区域的宽度,根据额部发际线到下巴的距离确定有效矩形区域的高度,
获取脸部图像中的左眼瞳孔坐标、右眼瞳孔坐标、嘴部左嘴角坐标、以及右嘴角坐标,计算4个坐标的均值,得到脸部中心位置,
按照有效矩形区域的中心与脸部中心位置的距离小于设定的第一距离阈值,确定有效矩形区域的位置;
或者,
提取脸部图像轮廓,该轮廓为额部发际线、右脸庞边界线、下颌边界、以及左脸庞边界线依次连接的封闭曲线,将该封闭曲线所形成的区域作为第一ROI区域。
较佳地,所述第三ROI区域包括,至少覆盖额部和/或者眼部的第一矩形区域,以及至少覆盖鼻部和嘴部的第二矩形区域,所述第一矩形区域和第二矩形区域相拼接;
所述当待检测目标为活体时,进行待检测目标的体温测量,包括,基于额部区域进行体温测量。
较佳地,所述设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标之差,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置,包括,
基于热成像图像,按照设定的温度阈值确定第四ROI区域,
根据热成像图像中的像素y坐标与可见光图像中的像素y坐标相同、以及可见光图像中的像素x坐标与热成像图像中的像素x坐标之差,确定可见光图像中与第四ROI区域对应的第五ROI区域,
所述基于所确定像素对应位置区域的可见光图像或热成像图像,判定待检测目标是否为活体,包括,
基于可见光图像中的第五ROI区域图像数据,提取图像特征,并输入至训练后的神经网络模型进行识别。
本发明还提供一种活体检测系统,该系统包括,
用于采集可见光图像的第一图像采集模块,以及用于采集热成像图像的第二图像采集模块,所述第一图像采集模块和第二图像采集模块为独立的图像采集模块或集成为双目成像形态,
处理器,用于触发第一图像采集模块和第二图像采集模块采集待检测目标同一时刻的可见光图像和热成像图像,确定可见光图像各像素与热成像图像各像素之间对应位置,基于所确定像素对应位置区域的可见光图像和热成像图像,判定待检测目标是否为活体。
本发明提供的一种活体检测方法,分别采集同一时刻可见光图像和热成像图像,将可见光图像各像素与热成像图像各像素进行位置对应,从而能够充分发挥可见光图像和热成像图像相结合的优势,在不降低检测的准确性的情形下,降低了算法的复杂性,避免了现有技术中在利用热成像图像进行活体检测时为提高准确性而导致的耗时和算法的复杂性,提高了活体检测的响应速度,并提高了检测的准确性。
附图说明
图1为本申请基于脸部区域进行活体检测的一种流程示意图。
图2为有效矩形区域的一种示意图。
图3为不规则有效区域的一种示意图。
图4为双目相机中两相机图像像素位置关系的一种示意图。
图5为脸部T形区域的一种示意图。
图6为体温测量区域的一种示意图。
图7为本申请进行活体检测的另一种流程示意图。
图8为本申请活体检测系统的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白,以下结合附图对本申请做进一步详细说明。
申请人发现,尽管纸张、硅胶、屏幕等材质本身的属性和人体差异巨大,辐射出的热红外成分和强度都不一样,通过对图像的分析能够准确地进行活体判别,但就人体本身而言,由于身体部位的不同,甚至一天中时间的不同,有细微的差别,以红外探测器所检测到脸部热成像图像为例,即使在脸部,不同区域的红外图像均不同,并且,红外成像得到的灰度图与常见的可见光甚至是近红外人脸图像差异非常大,尽管公开号为CN109446981A的技术方案中通过相机标定可以将红外成像向可将光图像做对齐,但在可见光图像中能够获得脸部区域,而在红外图像中难以获得与可见光脸部区域精确对应的脸部区域,这导致了现有技术中只能通过测温和呼吸频率预测来进行活体检测。
有鉴于此,本申请对用于图像采集的相机预先进行内参和外参的标定,检测可见光图像中待检测目标的第一感兴趣区域(ROI,region of interest),根据标定参数和待检测目标与相机的距离,精确地确定热成像图像图中与第一感兴趣区域对应的第二感兴趣区域。对第二感兴趣区域的灰度分布进行直方图统计,根据对直方图的统计特性判断出待检测目标是否为活体。其中,进一步地,当待检测目标为活体时,定位到第二感兴趣区域中的特定位置,进行体温测量。
以下将以待检测目标为包括脸部特征的图像识别为例来进行说明,所应理解的是,本申请不限于脸部区域,还可以是待检测目标其他特征。
在本申请实施例中,活体检测系统包括采集可见光图像的第一相机和采集热成像图像的第二相机,其中,第一相机和第二相机的焦距相同,并且两相机以双目相机的方式排列分布,测距模块用于测量待检测目标到两相机基线的距离。采用张正友标定方法,分别对第一相机和第二相机进行相机内参和外参的标定、以及两相机之间外参的标定,所述两相机之间外参包括两相机基线的长度、以及双目的校正。
所应理解的是,标定的方法可不限于张正友标定方法,其他可以获得上述标定参数的方法均可。
参见图1所示,图1为本申请基于脸部区域进行活体检测的一种流程示意图。该活体检测方法包括,
步骤101,待检测目标被检测到进入识别区域后,通过测距模块获取其距离,并唤醒检测系统采集同一时刻的可见光图像和热成像图像。
其中,测距模块所获得的距离为待检测目标到两相机基线的距离。
步骤102,基于可见光图像,进行脸部区域检测,提取第一感兴趣区域作为有效区域,以有利于节省计算量和提高最终的判断精度。
其中,第一ROI区域可以有如下实施方式:
实施方式之一,参见图2所示,图2为有效矩形区域的一种示意图。获取脸部图像中的左眼瞳孔坐标、右眼瞳孔坐标、嘴部左嘴角坐标、右嘴角坐标,计算4个坐标的均值,得到脸部中心位置,
用数学式表达为:
fc_x=(eyel_x+eyer_x+mouthl_x+mouthr_x)/4
fc_y=(eyel_y+eyer_y+mouthl_y+mouthr_y)/4
其中,脸部中心位置的坐标为(fc_x,fc_y),左眼瞳孔坐标为(eyel_x,eyel_y),右眼瞳孔坐标(eyer_x,eyer_y),左嘴角坐标(mouthl_x,mouthl_y),右嘴角坐标(mouthr_x,mouthr_y)。
以瞳孔之间间距(瞳间距)的2倍的宽度作为有效矩形区域(图2中虚线)的宽度,将有效矩形区域的宽度的至少70%作为有效矩形区域的高度,形成用于提取图像数据的有效矩形区域,其中,有效矩形区域的宽度的数学式表达为:
facewidth=w*(eyer_x-eyel_x)
faceheight=h*facewidth,
其中,facewidth为有效矩形区域宽度,w为第一系数,faceheight为有效矩形区域高度,h为第二系数;其中,第一系数大于1,较佳地,取值为2,第二系数根据额部发际线到部分或全部下巴的高度确定。
有效矩形区域在脸部的位置(定位)可以结合脸部中心位置、有效矩形区域的高度、宽度按照使得有效矩形区域所限定的图像像素数量增加为目标确定;例如,有效矩形区域的中心与脸部中心位置的距离小于设定的第一距离阈值,较佳地,有效矩形区域的中心与脸部中心位置重合。
实施方式之二,有效区域的形状还可以是由多条曲线段首尾连接而形成的封闭的不规则多边形,以从脸部图像中区分出要提取的图像数据。例如,参见图3所示,图3为不规则有效区域的一种示意图。提取脸部图像轮廓,该轮廓为额部发际线、右脸庞边界线、下颌边界、以及左脸庞边界线依次连接的封闭曲线,将该封闭曲线所形成的区域作为有效区域。
步骤103,根据第一相机和第二相机的基线长度、以及测距模块获得的待检测目标到两相机基线的距离,确定热成像图像(第二相机图像)中与可见光图像(第一相机图像)中第一感兴趣区域对应的第二感兴趣区域。
参见图4所示,图4为双目相机中两相机图像像素位置关系的一种示意图。在该步骤中,由于第一相机和第二相机组成了双目相机,按照双目相机的成像原理,当第一相机和第二相机的焦距相同时,可见光图像中像素的y坐标与热成像图像中像素的y坐标相同,可见光图像中像素的x坐标与热成像图像中像素的x坐标满足:双目相机中左目中的像素x坐标与右目中的像素x坐标之差,等于,相机焦距与基线长度的乘积,除以待检测目标到两相机基线的距离,数学式表示为:
Figure BDA0002572710210000071
其中,ul为左目图像中像素的x坐标,ur为右目图像中像素的x坐标,f为相机焦距,T为基线长度,Z为待检测目标到两相机基线的距离。
这样,基于可见光图像第一ROI区域中各像素的坐标,通过上述关系,就可以获得热成像图像中与第一ROI区域精确对应的第二ROI区域。
当第一相机和第二相及的焦距不相同时,按照双目相机的成像原理,可见光图像中像素的y坐标与热成像图像中像素的y坐标相同,可见光图像中像素的x坐标与热成像图像中像素的x坐标满足:
Figure BDA0002572710210000072
Figure BDA0002572710210000073
tr+tl=T
消除上述三个等式中的tr、tl,可得:
Figure BDA0002572710210000081
其中,ul为左目图像中像素的x坐标,ur为右目图像中像素的x坐标,fl为左目相机焦距,fr为右目相机焦距,T为基线长度,Z为待检测目标到两相机基线的距离。
同样地,基于可见光图像第一ROI区域中各像素的坐标,通过上述关系,就可以获得热成像图像中与第一ROI区域精确对应的第二ROI区域。
所应理解的是,为了减少计算量,可以根据第一ROI区域边界的像素位置,获得与之对应的第二ROI区域边界的像素位置,得到第二ROI区域。
步骤104,根据应用需求设定灰度等级,基于第二ROI区域中的图像数据,统计各灰度的分布,即,将图像中的所有像素,按照灰度值的大小,统计其出现的频率,得到第一灰度直方图。
以256级灰度为例,统计第二ROI区域内灰度分布,得到灰度直方图。较佳地,可根据经验统计特定范围内的灰度值即可,例如灰度值在[16,220]内的分布以降低计算量,提升检测精度。
步骤105,基于第一灰度直方图,计算该直方图的平均值,得到第一灰度平均值,将第一灰度平均值与预设的第一阈值和第二阈值进行比较,其中,第一阈值小于第二阈值,
若第一灰度平均值在第一阈值和第二阈值之间,即,第一灰度平均值大于第一阈值、且小于第二阈值,则判定待检测目标为活体。否则,判定待检测目标为非活体。
步骤106,为了提高检测的可靠性,防止攻击,基于第二ROI区域,选取第三ROI区域作为特定区域,基于第三ROI区域进行灰度统计,得到第二灰度直方图。
参见图5所示,鉴于活体脸部中的由额部和/或者眼部、以及鼻部、嘴部组成的T形区域热成像较大,故将该T形区作为第三ROI区域,即,第三ROI区域包括,至少覆盖额部或者眼部的第一矩形区域,以及至少覆盖鼻部和嘴部的第二矩形区域,所述第一矩形区域和第二矩形区域相拼接。
例如,第一矩形区域的大小为以(1.2~1.5)IPD为长边、以
Figure BDA0002572710210000082
为短边的矩形,
Figure BDA0002572710210000091
第二矩形区域的大小为以IPD为短边、以嘴部下边缘缘谷的纵坐标到第一矩形区域的下长边之间的距离为长边。其中,IPD为瞳间距。
所应理解的是,为了提高抗攻击的能力,第三ROI区域可以随机地进行调整和变换。
步骤107,基于第二灰度直方图,获得特征向量,输入至训练后的支持向量机SVM,以对特征向量进行识别。
在该步骤中,可以根据直方图中各个bin以及各bin所包含的像素位置,构建特征向量,将特征向量输入至训练后的SVM进行活体识别。
或者,与步骤105类似,基于第二灰度直方图,计算该直方图的平均值,得到第二灰度平均值,将第二灰度平均值与预设的第三阈值和第四阈值进行比较,其中,第三阈值小于第四阈值,
若第二灰度平均值在第三阈值和第四阈值之间,即,第二灰度平均值大于第三阈值、且小于第四阈值,则判定待检测目标为活体。否则,判定待检测目标为非活体。
步骤108,综合步骤105和步骤107的判定结果,输出检测结果,即,当步骤105和步骤107判定待检测目标为活体时,输出检测结果为活体,否则,输出检测结果为非活体。
步骤109,当待检测目标为活体时,基于额部区域进行体温测量。较佳地,该额部区域可以位于眼睛上方IPD/3处,额部区域宽度为IPD的1.2倍,高度为IPD/3,参见图6所示。
进一步地,为了提高体温测量的准确性,可以根据可见光图像的检测结果,避免脸部有遮挡的区域,调节体温测量区域。
本实施例通过采集可见光图像的第一相机和采集热成像图像的第二相机所组成的双目相机,基于测距模块所获得的深度信息,利用双目相机图像之间的关系,使得可见光图像与热成像图像的像素精确地匹配,从而能够从热成像图像中准确地确定ROI区域,并使得基于ROI区域所统计出灰度直方图准确,大大降低了现有技术中采用呼吸和体温预测方式的耗时,提高了活体检测的响应速度。
参见图7所示,图7为本申请进行活体检测的另一种流程示意图。
步骤701,待检测目标被检测到进入识别区域后,通过测距模块获取其距离,并唤醒检测系统采集同一时刻的可见光图像和热成像图像。
其中,测距模块所获得的距离为待检测目标到两相机基线的距离。
步骤702,基于热成像图像,按照设定的温度阈值确定第四ROI区域。
由于热成像图像是通过非接触探测红外热量,并将其转换为电信号,得到待检测目标的温度分布,进而在显示器上生成热图像和温度值,故而,可根据温度分布情况设定ROI区域。例如,可以将温度明显高于其他的区域作为ROI区域,或者,将温度值超过设定温度阈值的区域作为ROI区域。
以脸部图像为例,通常,如图5所示,在脸部区域的由额部或者眼部、以及鼻部、嘴部组成的T形区域热成像较大,这样,可以将该T形区域作为ROI区域。
步骤703,根据用于采集可见光图像的第一相机和用于采集热成像图像的第二相机之间的位置距离、以及测距模块所获得的待检测目标到两相机基线的距离,确定可见光图像中与热成像图像中第四感兴趣区域对应的第五感兴趣区域。
基于热成像图像第四ROI区域中各像素的坐标,通过公式1的关系,就可以获得可见光图像中与第四ROI区域精确对应的第五ROI区域。
步骤704,基于可见光图像,对第五ROI区域中的图像进行预处理,基于预处理后的图像提取图像特征,将提取的图像特征输入至训练好的神经网络模型进行分类识别,将识别结果作为检测结果输出。
本实施例中,基于热成像图像中的ROI区域来确定可见光图像中与之精确对应的ROI区域,避免了可见光图像采集时由于待检测目标的部分区域被遮挡而导致的检测失败,例如,基于脸部图像的活体检测时,即使脸部区域被口罩遮挡,也能够通过热成像图像锁定目标,过滤掉恶意的攻击,而基于可见光图像进一步地进行识别,提高了活体检测的准确性。
参见图8所示,图8为本申请活体检测系统的一种示意图。该检测系统包括,用于采集可见光图像的第一相机,以及用于采集热成像图像的第二相机,所述第一相机和第二相机为双目相机,第一相机连接有可见光成像模块,将采集的可见光图像输入至微处理器,第二相机连接有热成像模块,将采集的热成像图像输入至微处理器,
测距模块,用于获得待检测目标到双目相机基线的距离,
处理器,用于触发第一相机和第二相机采集待检测目标同一时刻的可见光图像和热成像图像,根据双目相机的标定参数、以及确定可见光图像各像素与热成像图像各像素之间对应位置,基于可见光图像和热成像图像,判定待检测目标是否为活体。
该检测系统还包括可见光补光模块,用于为第一相机提供补光光源,以及存储器。所应理解的是,所述第一相机、第二相机还可以分别是第一图像采集模块和第二图像采集模块,所述第一图像采集模块和第二图像采集模块为独立的图像采集模块或集成为双目成像形态。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例提供的活体检测系统,能够很好兼容既有的检测系统。
本发明实施例还提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述活体检测方法的步骤。
对于装置/网络侧设备/存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (11)

1.一种活体检测方法,其特征在于,该方法包括,
采集待检测目标同一时刻的可见光图像和热成像图像,
确定可见光图像各像素与热成像图像各像素之间对应位置,
基于所确定像素对应位置区域的可见光图像和/或热成像图像,判定待检测目标是否为活体。
2.如权利要求1所述的方法,其特征在于,所述可见光图像和热成像图像为分别来自于双目相机的双目图像,
所述确定可见光图像各像素与热成像图像各像素之间对应位置包括,根据双目相机的标定参数、以及待检测目标到双目相机基线的距离,确定可见光图像各像素与热成像图像各像素之间对应位置。
3.如权利要求2所述的方法,其特征在于,所述双目相机的焦距相同;
所述根据双目相机的标定参数、以及待检测目标到双目相机基线的距离,确定可见光图像各像素与热成像图像各像素之间对应位置,包括,
根据双目相机的基线距离、相机焦距、以及待检测目标到双目相机基线的距离,计算相机焦距与基线长度的乘积除以待检测目标到两相机基线的距离,得到双目图像中左目图像中的像素x坐标与右目图像中的像素x坐标之差,
设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标的关系,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置。
4.如权利要求2所述的方法,其特征在于,所述双目相机的焦距不同;
所述根据双目相机的标定参数、以及待检测目标到双目相机基线的距离,确定可见光图像各像素与热成像图像各像素之间对应位置,包括,
根据双目相机的基线距离、各相机焦距、以及待检测目标到双目相机基线的距离,得到双目图像中左目图像中的像素x坐标与右目图像中的像素x坐标满足的关系,该关系为:待检测目标到双目相机基线的距离与左目相机焦距之和与左目相机焦距的比值,乘以左目图像中的像素x坐标所得到的第一结果,与,待检测目标到双目相机基线的距离与右目相机焦距之和与右目相机焦距的比值,乘以右目图像中的像素x坐标所得到的第二结果,两结果之和等于待检测目标到双目相机基线的距离;
设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标的关系,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置。
5.如权利要求3或4所述的方法,其特征在于,所述设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标的关系,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置,包括,
基于可见光图像,按照待检测目标的部位区域设定第一ROI区域,提取第一ROI区域中的图像数据作为有效区域数据,
根据可见光图像中的像素y坐标与热成像图像中的像素y坐标相同、以及可见光图像中的像素x坐标与热成像图像中的像素x坐标的关系,确定热成像图像中与第一ROI区域对应的第二ROI区域,
所述基于所确定像素对应位置区域的可见光图像或热成像图像,判定待检测目标是否为活体,包括,
基于热成像图像中的第二ROI区域图像数据,获得灰度图,
根据热成像图像的灰度图,判定待检测目标是否为活体。
6.如权利要求5所述的方法,其特征在于,所述基于热成像图像中的第二ROI区域图像数据,获得灰度图,包括,
设定灰度等级,基于热成像图像中的第二ROI区域图像数据,统计各灰度分布,得到第一灰度直方图,
所述根据热成像图像的灰度图,判定待检测目标是否为活体,包括,
基于第一灰度直方图,计算第一灰度平均值,将第一灰度平均值与预设的第一阈值和第二阈值进行比较,其中,第一阈值小于第二阈值,
若第一灰度平均值在第一阈值和第二阈值之间,则判定待检测目标为活体。否则,判定待检测目标为非活体,得到第一判定结果。
7.如权利要求6所述的方法,其特征在于,该方法进一步包括,
在第二ROI区域,选取第三ROI区域,基于第三ROI区域进行灰度统计,得到第二灰度直方图,
基于第二灰度直方图,获得特征向量,并输入至训练后的神经网络模型进行识别;或者,基于第二灰度直方图,计算第二灰度平均值,将第二灰度平均值与预设的第三阈值和第四阈值进行比较,其中,第三阈值小于第四阈值,若第二灰度平均值在第三阈值和第四阈值之间,则判定待检测目标为活体,否则,判定待检测目标为非活体,得到第二判定结果;
综合第一判定结果和第二判定结果,当第一判断结果和第二判定结果都判定为活体时,则判定待检测目标为活体,否则,判定待检测目标为非活体,
当待检测目标为活体时,进行待检测目标的体温测量。
8.如权利要求3所述的方法,其特征在于,所述待检测目标的部位区域为脸部区域,
所述按照待检测目标的部位区域设定第一ROI区域包括,
根据瞳孔之间间距确定一有效矩形区域的宽度,根据额部发际线到下巴的距离确定有效矩形区域的高度,
获取脸部图像中的左眼瞳孔坐标、右眼瞳孔坐标、嘴部左嘴角坐标、以及右嘴角坐标,计算4个坐标的均值,得到脸部中心位置,
按照有效矩形区域的中心与脸部中心位置的距离小于设定的第一距离阈值,确定有效矩形区域的位置;
或者,
提取脸部图像轮廓,该轮廓为额部发际线、右脸庞边界线、下颌边界、以及左脸庞边界线依次连接的封闭曲线,将该封闭曲线所形成的区域作为第一ROI区域。
9.如权利要求7所述的方法,其特征在于,所述第三ROI区域包括,至少覆盖额部和/或者眼部的第一矩形区域,以及至少覆盖鼻部和嘴部的第二矩形区域,所述第一矩形区域和第二矩形区域相拼接;
所述当待检测目标为活体时,进行待检测目标的体温测量,包括,基于额部区域进行体温测量。
10.如权利要求3或4所述的方法,其特征在于,所述设定感兴趣区域ROI,根据左目图像中的像素y坐标与右目图像中的像素y坐标相同、以及左目图像中的像素x坐标与右目图像中的像素x坐标的关系,确定可见光图像中感兴趣区域与热成像图像中感兴趣区域之间对应位置,包括,
基于热成像图像,按照设定的温度阈值确定第四ROI区域,
根据热成像图像中的像素y坐标与可见光图像中的像素y坐标相同、以及可见光图像中的像素x坐标与热成像图像中的像素x坐标之差,确定可见光图像中与第四ROI区域对应的第五ROI区域,
所述基于所确定像素对应位置区域的可见光图像或热成像图像,判定待检测目标是否为活体,包括,
基于可见光图像中的第五ROI区域图像数据,提取图像特征,并输入至训练后的神经网络模型进行识别。
11.一种活体检测系统,其特征在于,该系统包括,
用于采集可见光图像的第一图像采集模块,以及用于采集热成像图像的第二图像采集模块,所述第一图像采集模块和第二图像采集模块为独立的图像采集模块或集成为双目成像形态;
处理器,用于触发第一图像采集模块和第二图像采集模块采集待检测目标同一时刻的可见光图像和热成像图像,确定可见光图像各像素与热成像图像各像素之间对应位置,基于所确定像素对应位置区域的可见光图像和热成像图像,判定待检测目标是否为活体。
CN202010645004.0A 2020-07-07 2020-07-07 一种活体检测方法、和系统 Active CN111814659B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010645004.0A CN111814659B (zh) 2020-07-07 2020-07-07 一种活体检测方法、和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010645004.0A CN111814659B (zh) 2020-07-07 2020-07-07 一种活体检测方法、和系统

Publications (2)

Publication Number Publication Date
CN111814659A true CN111814659A (zh) 2020-10-23
CN111814659B CN111814659B (zh) 2024-03-29

Family

ID=72841743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010645004.0A Active CN111814659B (zh) 2020-07-07 2020-07-07 一种活体检测方法、和系统

Country Status (1)

Country Link
CN (1) CN111814659B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111879724A (zh) * 2020-08-05 2020-11-03 中国工程物理研究院流体物理研究所 基于近红外光谱成像的人皮面具识别方法及系统
US20220222479A1 (en) * 2021-01-13 2022-07-14 Ford Global Technologies, Llc Material spectroscopy

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5311240A (en) * 1992-11-03 1994-05-10 Eastman Kodak Company Technique suited for use in multi-zone autofocusing cameras for improving image quality for non-standard display sizes and/or different focal length photographing modes
KR20110102073A (ko) * 2010-03-10 2011-09-16 홍익대학교 산학협력단 얼굴 인식 시스템에서의 위조 검출 방법
TW201426161A (zh) * 2012-12-27 2014-07-01 Ind Tech Res Inst 深度影像擷取裝置、其校正方法與量測方法
CN106372601A (zh) * 2016-08-31 2017-02-01 上海依图网络科技有限公司 一种基于红外可见双目图像的活体检测方法及装置
CN106845345A (zh) * 2016-12-15 2017-06-13 重庆凯泽科技股份有限公司 活体检测方法及装置
US20170171456A1 (en) * 2015-12-10 2017-06-15 Google Inc. Stereo Autofocus
KR101748563B1 (ko) * 2016-09-26 2017-06-20 유비씨엔(주) 양안기반 시선추적 방법
US20180165512A1 (en) * 2015-06-08 2018-06-14 Beijing Kuangshi Technology Co., Ltd. Living body detection method, living body detection system and computer program product
CN108596061A (zh) * 2018-04-12 2018-09-28 Oppo广东移动通信有限公司 人脸识别方法、装置及移动终端、存储介质
CN108764058A (zh) * 2018-05-04 2018-11-06 吉林大学 一种基于热成像效应的双摄像头人脸活体检测方法
JP2018200268A (ja) * 2017-05-29 2018-12-20 株式会社東海理化電機製作所 画像認識装置
CN109191504A (zh) * 2018-08-01 2019-01-11 南京航空航天大学 一种无人机目标跟踪方法
CN109446981A (zh) * 2018-10-25 2019-03-08 腾讯科技(深圳)有限公司 一种脸部活体检测、身份认证方法及装置
US20190107443A1 (en) * 2016-04-13 2019-04-11 Shenzhen Everbest Machinery Industry Co., Ltd. Infrared temperature measurement method and device
KR20190060243A (ko) * 2017-11-24 2019-06-03 연세대학교 산학협력단 열화상 카메라를 이용한 호흡 측정 시스템
KR20190090544A (ko) * 2018-01-25 2019-08-02 금오공과대학교 산학협력단 적외선 센서 및 얼굴인식기술을 이용한 카메라 감시 시스템
US20190301861A1 (en) * 2018-03-02 2019-10-03 TuSimple Method and apparatus for binocular ranging
CN110309782A (zh) * 2019-07-02 2019-10-08 四川大学 一种基于红外与可见光双目系统的活体人脸检测方法
CN110334678A (zh) * 2019-07-12 2019-10-15 哈尔滨理工大学 一种基于视觉融合的行人检测方法
US20200005061A1 (en) * 2018-06-28 2020-01-02 Beijing Kuangshi Technology Co., Ltd. Living body detection method and system, computer-readable storage medium
CN110763140A (zh) * 2019-07-08 2020-02-07 北京宇航时代科技发展有限公司 一种非平行光轴高精度双目测距方法
CN110991266A (zh) * 2019-11-13 2020-04-10 北京智芯原动科技有限公司 一种双目人脸活体检测方法及装置
CN111164647A (zh) * 2017-10-04 2020-05-15 谷歌有限责任公司 使用单个相机估算深度
WO2020103427A1 (zh) * 2018-11-23 2020-05-28 华为技术有限公司 对象检测方法、相关设备及计算机存储介质
CN111222380A (zh) * 2018-11-27 2020-06-02 杭州海康威视数字技术股份有限公司 一种活体检测方法、装置、及其识别模型训练方法
CN111323125A (zh) * 2020-02-28 2020-06-23 北京格灵深瞳信息技术有限公司 一种测温方法、装置及计算机存储介质、电子设备

Patent Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5311240A (en) * 1992-11-03 1994-05-10 Eastman Kodak Company Technique suited for use in multi-zone autofocusing cameras for improving image quality for non-standard display sizes and/or different focal length photographing modes
KR20110102073A (ko) * 2010-03-10 2011-09-16 홍익대학교 산학협력단 얼굴 인식 시스템에서의 위조 검출 방법
TW201426161A (zh) * 2012-12-27 2014-07-01 Ind Tech Res Inst 深度影像擷取裝置、其校正方法與量測方法
US20180165512A1 (en) * 2015-06-08 2018-06-14 Beijing Kuangshi Technology Co., Ltd. Living body detection method, living body detection system and computer program product
US20170171456A1 (en) * 2015-12-10 2017-06-15 Google Inc. Stereo Autofocus
CN107852460A (zh) * 2015-12-10 2018-03-27 谷歌有限责任公司 立体自动对焦
US20190107443A1 (en) * 2016-04-13 2019-04-11 Shenzhen Everbest Machinery Industry Co., Ltd. Infrared temperature measurement method and device
CN106372601A (zh) * 2016-08-31 2017-02-01 上海依图网络科技有限公司 一种基于红外可见双目图像的活体检测方法及装置
WO2018040307A1 (zh) * 2016-08-31 2018-03-08 上海依图网络科技有限公司 一种基于红外可见双目图像的活体检测方法及装置
KR101748563B1 (ko) * 2016-09-26 2017-06-20 유비씨엔(주) 양안기반 시선추적 방법
CN106845345A (zh) * 2016-12-15 2017-06-13 重庆凯泽科技股份有限公司 活体检测方法及装置
JP2018200268A (ja) * 2017-05-29 2018-12-20 株式会社東海理化電機製作所 画像認識装置
CN111164647A (zh) * 2017-10-04 2020-05-15 谷歌有限责任公司 使用单个相机估算深度
KR20190060243A (ko) * 2017-11-24 2019-06-03 연세대학교 산학협력단 열화상 카메라를 이용한 호흡 측정 시스템
KR20190090544A (ko) * 2018-01-25 2019-08-02 금오공과대학교 산학협력단 적외선 센서 및 얼굴인식기술을 이용한 카메라 감시 시스템
US20190301861A1 (en) * 2018-03-02 2019-10-03 TuSimple Method and apparatus for binocular ranging
CN108596061A (zh) * 2018-04-12 2018-09-28 Oppo广东移动通信有限公司 人脸识别方法、装置及移动终端、存储介质
CN108764058A (zh) * 2018-05-04 2018-11-06 吉林大学 一种基于热成像效应的双摄像头人脸活体检测方法
US20200005061A1 (en) * 2018-06-28 2020-01-02 Beijing Kuangshi Technology Co., Ltd. Living body detection method and system, computer-readable storage medium
CN109191504A (zh) * 2018-08-01 2019-01-11 南京航空航天大学 一种无人机目标跟踪方法
CN109446981A (zh) * 2018-10-25 2019-03-08 腾讯科技(深圳)有限公司 一种脸部活体检测、身份认证方法及装置
WO2020103427A1 (zh) * 2018-11-23 2020-05-28 华为技术有限公司 对象检测方法、相关设备及计算机存储介质
CN111222380A (zh) * 2018-11-27 2020-06-02 杭州海康威视数字技术股份有限公司 一种活体检测方法、装置、及其识别模型训练方法
CN110309782A (zh) * 2019-07-02 2019-10-08 四川大学 一种基于红外与可见光双目系统的活体人脸检测方法
CN110763140A (zh) * 2019-07-08 2020-02-07 北京宇航时代科技发展有限公司 一种非平行光轴高精度双目测距方法
CN110334678A (zh) * 2019-07-12 2019-10-15 哈尔滨理工大学 一种基于视觉融合的行人检测方法
CN110991266A (zh) * 2019-11-13 2020-04-10 北京智芯原动科技有限公司 一种双目人脸活体检测方法及装置
CN111323125A (zh) * 2020-02-28 2020-06-23 北京格灵深瞳信息技术有限公司 一种测温方法、装置及计算机存储介质、电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
小海歌哥: "双目相机--双目视差与深度距离关系推导详解", 《CSDN》, pages 1 - 6 *
张奎;陈兆学;赵航;王远军;: "基于两组同心圆环点的双目摄像机标定方法研究", 光学技术, no. 03, 15 May 2016 (2016-05-15), pages 8 - 13 *
胡广胜;王青;单清群;: "红外与可见光双摄像机标定方法研究", 科技创新与应用, no. 04, 8 February 2017 (2017-02-08), pages 15 - 17 *
陈佳;杨进华;张金泉;雷美荣;: "基于单个摄像机的双目立体视觉测距技术研究", 长春理工大学学报(自然科学版), no. 01, 15 March 2008 (2008-03-15), pages 3 - 5 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111879724A (zh) * 2020-08-05 2020-11-03 中国工程物理研究院流体物理研究所 基于近红外光谱成像的人皮面具识别方法及系统
US20220222479A1 (en) * 2021-01-13 2022-07-14 Ford Global Technologies, Llc Material spectroscopy
US11657589B2 (en) * 2021-01-13 2023-05-23 Ford Global Technologies, Llc Material spectroscopy

Also Published As

Publication number Publication date
CN111814659B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN110110629B (zh) 面向室内环境控制的人员信息检测方法与系统
CN111046703B (zh) 人脸防伪检测方法、装置及多目相机
Bharadwaj et al. Biometric quality: a review of fingerprint, iris, and face
WO2019144469A1 (zh) 一种图像质量分类方法、系统及终端设备
US8698914B2 (en) Method and apparatus for recognizing a protrusion on a face
CN105740780B (zh) 人脸活体检测的方法和装置
CN110889355B (zh) 一种人脸识别校验方法、系统及存储介质
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
CN106886216A (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN111598865B (zh) 基于热红外和rgb双摄的手足口病检测方法、装置及系统
CN111738215B (zh) 人体温度测量方法和计算机设备
CN112525352A (zh) 一种基于人脸识别的红外测温补偿方法及终端
CN111814659B (zh) 一种活体检测方法、和系统
TW201701820A (zh) 檢測眼球運動的方法、其程式、該程式的記憶媒體以及檢測眼球運動的裝置
CN105913013A (zh) 双目视觉人脸识别算法
Hughes et al. Detection of contact-lens-based iris biometric spoofs using stereo imaging
CN111222380B (zh) 一种活体检测方法、装置、及其识别模型训练方法
CN112525355A (zh) 图像处理方法、装置及设备
Jaddoa et al. Automatic eyes localization in thermal images for temperature measurement in cattle
Parziale et al. Advanced technologies for touchless fingerprint recognition
CN114894337A (zh) 一种用于室外人脸识别测温方法及装置
CN112396600B (zh) 基于热成像和深度图的脱敏状态下面部神经麻痹检测系统
CN111862118B (zh) 压疮分期的训练方法、分期方法及分期系统
CN111275754B (zh) 一种基于深度学习的脸部痘印比例计算方法
CN113008380A (zh) 一种智慧ai体温预警方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant