CN110765924A - 一种活体检测方法、装置以及计算机可读存储介质 - Google Patents

一种活体检测方法、装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN110765924A
CN110765924A CN201910996307.4A CN201910996307A CN110765924A CN 110765924 A CN110765924 A CN 110765924A CN 201910996307 A CN201910996307 A CN 201910996307A CN 110765924 A CN110765924 A CN 110765924A
Authority
CN
China
Prior art keywords
living body
detection
image
face image
detection area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910996307.4A
Other languages
English (en)
Inventor
杨静
郭慧
周恩慈
丁守鸿
李季檩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910996307.4A priority Critical patent/CN110765924A/zh
Publication of CN110765924A publication Critical patent/CN110765924A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Abstract

本发明实施例公开了一种活体检测方法、装置以及计算机可读存储介质,其中,活体检测方法包括:获取待检测对象的人脸图像,所述人脸图像包括人脸区域;对所述人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合;根据所述特征点集合分别在所述人脸图像上构建第一检测区域和第二检测区域,所述第二检测区域位于所述人脸区域中,且所述第二检测区域包含于所述第一检测区域中;提取所述第一检测区域的图像轮廓特征,以及提取所述第二检测区域的图像纹理特征;基于所述图像轮廓特征以及图像纹理特征对所述人脸图像进行活体检测,得到待检测对象的活体检测结果。通过所述活体检测方式可以提高身份验证的准确性和安全性。

Description

一种活体检测方法、装置以及计算机可读存储介质
技术领域
本发明涉及通信技术领域,具体涉及一种活体检测方法、装置以及计算机可读存储介质。
背景技术
近年来,身份验证技术,如指纹识别、眼纹识别、虹膜识别以及人脸识别等都得到了极大的发展。其中,人脸识别技术最为突出,其已经越来越广泛地应用到各类身份认证系统中。
现有的基于人脸识别的身份验证系统,可以包括人脸验证和活体检测。其中,活体检测主要是用来确认采集到的人脸图像等数据是来自用户本人,而不是回放视频或者伪造材料,然而,现有的活体检测方案效果并不佳,大大影响身份验证的准确性和安全性。
发明内容
本发明实施例提供一种活体检测方法、装置以及计算机可读存储介质,可以提高身份验证的准确性和安全性。
本发明实施例提供了一种活体检测方法,包括:
获取待检测对象的人脸图像,所述人脸图像包括人脸区域;
对所述人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合;
根据所述特征点集合分别在所述人脸图像上构建第一检测区域和第二检测区域,所述第二检测区域位于所述人脸区域中,且所述第二检测区域包含于所述第一检测区域中;
提取所述第一检测区域的图像轮廓特征,以及提取所述第二检测区域的图像纹理特征;
基于所述图像轮廓特征以及图像纹理特征对所述人脸图像进行活体检测,得到待检测对象的活体检测结果。
相应的,本发明实施例还提供了一种活体检测装置,包括:
获取模块,用于获取待检测对象的人脸图像,所述人脸图像包括人脸区域;
第一检测模块,用于对所述人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合;
构建模块,用于根据所述特征点集合分别在所述人脸图像上构建第一检测区域和第二检测区域,所述第二检测区域位于所述人脸区域中,且所述第二检测区域包含于所述第一检测区域中;
第一提取模块,用于提取所述第一检测区域的图像轮廓特征;
第二提取模块,用于提取所述第二检测区域的图像纹理特征;
第二检测模块,用于基于所述图像轮廓特征以及图像纹理特征对所述人脸图像进行活体检测,得到待检测对象的活体检测结果。
可选的,在本发明的一些实施例中,所述构建模块包括:
构建单元,用于从所述特征点集合中选择活体检测的多个参考特征点;
计算单元,用于计算所述多个参考特征点对应的中心特征点;
构建单元,用于基于所述中心特征点以及多个参考特征点,分别在所述人脸图像上构建第一检测区域和第二检测区域。
可选的,在本发明的一些实施例中,所述构建单元具体用于:
获取所述人脸图像的多个图像边界点;
以所述中心特征点为中心,所述按照第一预设比例在所述人脸图像上构建包括多个参考特征点和部分图像边界点的第一检测区域;
以所述中心特征点为中心,按照第二预设比例在所述人脸区域上构建包括多个参考特征点的第二检测区域。
可选的,在本发明的一些实施例中,所述第一提取模块具体用于:
在所述第一检测区域中去除所述人脸区域,得到轮廓区域;
提取所述第一轮廓区域的图像轮廓特征。
可选的,在本发明的一些实施例中,所述第二检测模块包括:
获取单元,用于获取预设活体检测模型;
检测单元,用于基于所述图像轮廓特征以及图像纹理特征,通过预设活体检测模型对所述人脸图像进行活体检测,得到待检测对象的活体检测结果。
可选的,在本发明的一些实施例中,所述预设活体检测模型包括第一子模型和第二子模型,所述第一子模型通过级联的方式与第二子模型连接,所述检测单元包括:
第一识别单元,用于基于所述图像轮廓特征,通过预设活体检测模型中的第一子模型对所述第一检测区域中的像素点类型进行识别,得到第一识别结果;
第一确定单元,用于根据所述第一识别结果确定第一检测区域中的待检测对象为活体的概率,得到第一活体概率;
第二识别单元,用于当所述第一活体概率大于第一阈值时,基于所述图像纹理特征,通过预设活体检测模型中的第二子模型对所述第二检测区域中的像素点类型进行识别,得到第二识别结果;
第二确定单元,用于根据所述第二识别结果确定第二检测区域中的待检测对象为活体的概率,得到第二活体概率;
第三确定单元,用于当所述第二活体概率大于第二阈值时,确定所述人脸图像对应的待检测对象为活体。
可选的,在本发明的一些实施例中,所述第二检测区域包括多个子区域,所述第二识别单元具体用于:
基于所述图像纹理特征,通过预设活体检测模型中的第二子模型对每个子区域的像素点类型进行识别,得到各子区域的识别结果;
对各子区域的识别结果进行融合,得到第二识别结果。
可选的,在本发明的一些实施例中,所述第二确定单元具体用于:
从所述第二识别结果中提取每个子区域中的待检测对象为活体的概率,得到多个第三活体概率;
从所述第二识别结果中获取每个子区域对应的权重,所述权重表示对应的子区域在所述第二检测区域用于活体检测时的重要程度;
基于每个子区域对应的权重以及多个第三活体概率,计算所述第二检测区域中的待检测对象为活体的概率,得到第二活体概率。
可选的,在本发明的一些实施例中,所述检测单元具体还包括:
第四确定单元,用于当所述第一活体概率小于或等于第一阈值时,确定所述人脸图像对应的待检测对象为非活体,或;当所述第一活体概率大于第一阈值,且所述第二活体概率小于或等于第二阈值时,确定所述人脸图像对应的待检测对象为非活体。
可选的,在本发明的一些实施例中,所述预设活体检测模型包括第一子模型和第二子模型,所述第一子模型通过并联的方式与第二子模型连接,所述检测单元具体用于:
基于所述图像轮廓特征,通过预设活体检测模型中的第一子模型对所述第一检测区域中的像素点类型进行识别,得到第一识别结果;
根据所述第一识别结果确定第一检测区域中的待检测对象为活体的概率,得到第一活体概率;
基于所述图像纹理特征,通过预设活体检测模型中的第二子模型对所述第二检测区域中的像素点类型进行识别,得到第二识别结果;
根据所述第二识别结果确定第二检测区域中的待检测对象为活体的概率,得到第二活体概率;
当所述第一活体概率大于第一阈值时,且所述第二活体概率大于第二阈值时,确定所述人脸图像对应的待检测对象为活体。
可选的,在本发明的一些实施例中,所述检测单元具体还用于:
当所述第一活体概率小于或等于第一阈值,和/或第二活体概率小于或等于第二阈值时,确定所述人脸图像对应的待检测对象为非活体。
可选的,在本发明的一些实施例中,还包括训练模块,所述训练模块具体用于:
采集训练样本集,所述训练样本集包括多张标注为活体的图像和多张标注为非活体的图像;
从所述训练样本集中确定当前处理的样本,得到当前处理对象;
将所述当前处理对象输入至检测模型中,得到所述当前处理对象的活体预测值;
获取所述当前处理对象的活体真实值;
基于所述活体真实值和活体预测值对所述检测模型进行收敛,得到活体检测模型。
本发明实施例在获取待检测对象的人脸图像后,所述人脸图像包括人脸区域;对所述人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合;然后,根据所述特征点集合分别在所述人脸图像上构建第一检测区域和第二检测区域,所述第二检测区域位于所述人脸区域中,且所述第二检测区域包含于所述第一检测区域中;接着,提取所述第一检测区域的图像轮廓特征,以及提取所述第二检测区域的图像纹理特征,最后,基于所述图像轮廓特征以及图像纹理特征对所述人脸图像进行活体检测,得到待检测对象的活体检测结果。本发明实施例属于无交互活体检测,即无需用户配合,对于用户而言,是无感的,而且,当攻击者通过伪造的活体如相片、视频或者纸片进行攻击时,本方案可以通过检测第一检测区域的图像轮廓特征以及第二检测区域的图像纹理特征对伪造的活体进行活体检测,从而确定伪造的活体为非活体,因此可以提高身份验证的准确性和安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的活体检测方法的第一种场景示意图;
图1b是本发明实施例提供的活体检测方法的流程示意图;
图1c是本发明实施例提供的活体检测方法的第二种场景示意图;
图1d是本发明实施例提供的活体检测方法的第三种场景示意图;
图1e是本发明实施例提供的活体检测方法中活体检测模型的第一种结构示意图;
图1f是本发明实施例提供的活体检测方法中活体检测模型的第二种结构示意图;
图2a是本发明实施例提供的活体检测方法的另一流程示意图;
图2b是本发明实施例提供的活体检测方法的第四种场景示意图;
图2c是本发明实施例提供的活体检测方法的屏幕攻击下的场景示意图;
图2d是本发明实施例提供的活体检测方法的纸片攻击下的场景示意图;
图2e是本发明实施例提供的活体检测方法的第五种场景示意图;
图2f是本发明实施例提供的活体检测方法的第六种场景示意图;
图3a是本发明实施例提供的活体检测装置的第一种实施方式的结构示意图;
图3b是本发明实施例提供的活体检测装置的第二种实施方式的结构示意图;
图4是本发明实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先,对本发明实施例提到的名词进行相应解释:
图像纹理特征:纹理包括通常意义上的物体的纹理(即是物体表面呈现凹凸不平的沟纹),同时也包括在物体的光滑表面上的彩色图案,通常我们更多地称之为花纹。对于花纹而言,就是在物体表面绘出彩色花纹或图案,产生了纹理后的物体表面依然光滑如故。对于沟纹而言,实际上也是要在表面绘出彩色花纹或图案,同时要求视觉上给人以凹凸不平感即可。在本发明实施例中,图像纹理指的是检测区域中图像的纹理,该图像纹理特征用于表征检测区域全局特征的性质的,即,该图像纹理特征描述了检测区域所对应景物的表面性质。
图像轮廓特征:轮廓可以简单地解释为连接所有连续点(沿着边界),且具有相同颜色或强度的曲线。轮廓是形状分析和物体检测和识别的有用工具,可以理解的是,在本发明实施例中,图像轮廓指的是检测区域的图像轮廓,图像轮廓特征用于表征检测区域的边界特征。
本发明实施例提供一种活体检测方法以及装置。
其中,该活体检测装置可以集成在计算机设备中,如图1a所示,例如,可以以客户端的形式安装在计算机设备中,比如手机、平板电脑、个人计算机(PC,Personal Computer)或门禁机中。
当需要对待检测对象进行活体检测时,活体检测装置所在的计算机设备可以获取待检测对象的人脸图像,然后,可以对人脸图像进行关键特征点检测,得到该人脸图像对应的特征点集合,接着,根据特征点集合分别在人脸图像上构建第一检测区域和第二检测区域,其中,第二检测区域位于人脸区域中,且第二检测区域包含于第一检测区域中,然后,提取第一检测区域的图像轮廓特征,以及提取第二检测区域的图像纹理特征,最后,根据图像轮廓特征以及图像纹理特征对人脸图像进行活体检测,得到待检测对象的活体检测结果。
比如,具体的,该活体检测装置可以集成在门禁机中,当用户点击活体检测的触发按键时,如点击门禁机上的“验证”控键,门禁机可以通过门禁机的摄像头获取到位于摄像头前方的待检测对象,然后,可以对人脸图像进行关键特征点检测,得到该人脸图像对应的特征点集合,接着,门禁机根据特征点集合分别在人脸图像上构建第一检测区域和第二检测区域,其中,第二检测区域位于人脸区域中,且第二检测区域包含于第一检测区域中,然后,再分别提取第一检测区域的图像轮廓特征,以及提取第二检测区域的图像纹理特征,最后,最后,根据图像轮廓特征以及图像纹理特征对人脸图像进行活体检测,得到待检测对象的活体检测结果,当待检测对象的活体检测结果指示待检测对象为活体时,门禁机可以基于预设的指令进行下一步操作,比如,允许待检测对象通过;当待检测对象的活体检测结果指示待检测对象为非活体时,门禁机可以基于预设的指令进行下一步操作,比如,禁止待检测对象通过,具体根据实际情况进行设置。
以下分别进行详细说明,需说明的是,以下实施例的描述顺序不作为对实施例优先顺序的限定。
一种活体检测方法,包括:获取待检测对象的人脸图像,对人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合,根据特征点集合分别在人脸图像上构建第一检测区域和第二检测区域,提取第一检测区域的图像轮廓特征,以及提取第二检测区域的图像纹理特征,基于图像轮廓特征以及图像纹理特征对人脸图像进行活体检测,得到待检测对象的活体检测结果。
请参阅图1b,图1b是本发明实施例提供的活体检测方法的流程示意图。活体检测方法的具体流程可以如下:
101、获取待检测对象的人脸图像。
其中,人脸图像包括人脸区域,待检测对象的人脸图像可以是视频流中的一帧图像,也可以是视频流中连续的多帧图像,例如,具体的,可以获取检测系统中的摄像头设备拍摄到的待检测对象的人脸图像,也可以从检测系统中的摄像头设备拍摄到的待检测对象的视频流中,选取其中一帧图像作为当前帧图像,然后,再从当前帧图像获取待检测对象的人脸图像,具体根据实际情况进行设置,在此不再赘述。
102、对人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合。
具体的,可以利用人脸的几何特征,提取具有尺寸、旋转和位移不变性的人脸特征点,比如可以提取出如眼睛、鼻子以及嘴唇等部位的关键特征点位置。例如,选取人脸的9个特征点,这些特征点的分布具有角度不变性,分别为2个眼球中心点、4个眼角点、两鼻孔的中点以及2个嘴角点。当然,也可以选取人脸的全部特征点,比如,眉毛、脸部轮廓、嘴唇、眼睛以及鼻子等等。
103、根据特征点集合分别在人脸图像上构建第一检测区域和第二检测区域。
其中,第二检测区域位于人脸区域中,且第二检测区域包含于第一检测区域中,也就是说,在该人脸图像上,有两个尺度的检测区域:第一检测区域和第二检测区域,第一检测区域的尺寸是大于第二检测区域的尺寸的,比如,具体的,可以从特征点集合中选择活体检测的5个参考特征点,这5个参考特征点可以包括2个眼球中心点、两鼻孔的中点以及2个嘴角点,当然,也可以是从特征点集合中选择活体检测的9个参考特征点,这9个参考特征点可以包括2个眼球中心点、4个眼角点、两鼻孔的中点以及2个嘴角点,具体根据实际情况进行设置,然后,再计算多个参考特征点对应的中心特征点,然后,分别在人脸图像上构建第一检测区域和第二检测区域,即,在一些实施例中,步骤“根据特征点集合分别在人脸图像上构建第一检测区域和第二检测区域”,具体可以包括:
(11)从特征点集合中选择活体检测的多个参考特征点;
(12)计算多个参考特征点对应的中心特征点;
(13)基于中心特征点以及多个参考特征点,分别在人脸图像上构建第一检测区域和第二检测区域。
具体的,请参阅图1c,从特征点集合中选择到进行活体检测的5个特征点,这5个特征点包括特征点A、特征点B、特征点C、特征点D以及特征点E,比如,可以构建一个人脸图像的二维坐标轴,然后,分别获取每个参考特征点在这个二维坐标轴上的坐标,得到特征点A的坐标为(2,5)、特征点B的坐标为(8,5)、特征点C的坐标为(5,3)、特征点D的坐标为(3,2)以及特征点A的坐标为(6,2),然后,再计算这5个参考特征点对应的横坐标的平均数,以及计算这5个参考特征点对应的纵坐标的平均数,得到中心坐标(4.8,3.4),接着,根据中心坐标(4.8,3.4)确定多个参考特征点对应的中心特征点,最后,基于中心特征点以及多个参考特征点,在人脸图像上构建第一检测区域以及第二检测区域。
在一些实施例中,当人脸图像为屏幕攻击(如手机攻击或平板攻击等)时,屏幕攻击的图像会包括电子设备的边框,因此,可以通过人脸图像的图像边界点以及中心特征点构建第一检测区域,当人脸图像为纸片攻击时,该人脸图像的纹理与真实的人脸必定存在较大的差异,因此,可以在人脸区域构建第二检测区域,便于获取第二检测区域的纹理特征,即,在一些实施例中,步骤“基于所述中心特征点以及多个参考特征点,分别在人脸图像上构建第一检测区域和第二检测区域”,具体可以包括:
(21)获取人脸图像的多个图像边界点;
(22)以中心特征点为中心,按照第一预设比例在人脸图像上构建包括多个参考特征点和部分图像边界点的第一检测区域;
(23)以中心特征点为中心,按照第二预设比例在所述人脸区域上构建包括多个参考特征点的第二检测区域。
具体的,请参阅图1d,首先可以获取人脸图像的多个图像边界点,然后,以中心特征点为中心,按照第一预设比例在人脸图像上构建第一检测区域,比如,第一预设比例可以是3*3的比例,以中心特征点U为第一检测区域的中心点,将中心特征点的横坐标扩大3倍,将中心特征点的纵坐标缩小3倍,得到第一个边界点U1,将中心特征点的横坐标扩大3倍,将中心特征点的纵坐标扩大3倍,得到第二个边界点U2,将中心特征点的横坐标缩小3倍,将中心特征点的纵坐标扩大3倍,得到第三个边界点U3,将中心特征点的横坐标缩小3倍,将中心特征点的纵坐标缩小3倍,得到第四个边界点U4,然后,基于再根据图像信息以及多个参考特征点,在人脸图像上构建第一检测区域,其中,边界点U1、边界点U2、边界点U3以及边界点U4作为第一检测区域的边界点,当然,第一预设比例也可以是其他比例,具体根据实际情况进行设置。
构建第二检测区域的方法与构建第一检测区域的方法类似,在此不再赘述,需要说明的是,在一些实施例中,第一预设比例是大于第二预设比例的,比如,第一预设比例为5*5,那么第二预设比例则为3*3或者2*2。
当构建好第一检测区域和第二检测区域后,可以执行步骤104。
104、提取第一检测区域的图像轮廓特征,以及提取第二检测区域的图像纹理特征。
可以通过预设活体检测模型分别对第一检测区域和第二检测区域进行特征提取,得到第一检测区域的图像轮廓特征以及第二检测区域的图像纹理特征,在得到第一检测区域的图像轮廓特征以及第二检测区域的图像纹理特征,可以执行步骤105。
需要说明的是,为了提高特征提取的有效性,可以提取人脸图像轮廓区域的图像轮廓特征,使得活体检测结果更加准确,即,在一些实施例中,步骤“提取第一检测区域的图像轮廓特征”,具体可以包括:
(31)在第一检测区域中去除人脸区域,得到轮廓区域;
(32)提取第一轮廓区域的图像轮廓特征。
105、基于图像轮廓特征以及图像纹理特征对人脸图像进行活体检测,得到待检测对象的活体检测结果。
其中,可以基于图像轮廓特征以及图像纹理特征,通过预设活体检测模型对人脸图像进行活体检测,得到待检测对象的活体检测结果,即,在一些实施例中,步骤“基于图像轮廓特征以及图像纹理特征对人脸图像进行活体检测,得到待检测对象的活体检测结果”,具体可以包括:
(41)获取预设活体检测模型;
(42)基于图像轮廓特征以及图像纹理特征,通过预设活体检测模型对人脸图像进行活体检测,得到待检测对象的活体检测结果。
其中,可以通过第一检测区域的图像轮廓特征判断该人脸图像是否为屏幕类的攻击图像,可以通过第二检测区域的图像纹理特征判断该人脸图像是否为纸片类的攻击图像,当第一检测区域的图像轮廓特征满足第一预设条件,可以确定该人脸图像不是屏幕类的攻击图像;当第二检测区域的图像纹理特征满足第二预设条件时,可以确定该人脸图像不是纸片类的攻击图像,因此,当第一检测区域的图像轮廓特征满足第一预设条件,且第二检测区域的图像纹理特征满足第二预设条件时,则确定人脸图像对应的待检测对象为活体。
进一步的,可以基于图像轮廓特征,通过预设活体检测模型中的第一子模型获取到第一活体概率,基于图像纹理特征,通过预设活体检测模型中的第二子模型获取到第二活体概率,其中,第一活体概率表示第一检测区域中的待检测对象为活体的概率,第二活体概率第二检测区域中的待检测对象为活体的概率,可选的,在一些实施例中,预设活体检测模型包括第一子模型和第二子模型,第一子模型通过级联的方式与第二子模型连接,如图1e所示,即,步骤“基于图像轮廓特征以及图像纹理特征,通过预设活体检测模型对人脸图像进行活体检测,得到待检测对象的活体检测结果”,具体可以包括:
(51)基于图像轮廓特征,通过预设活体检测模型中的第一子模型对第一检测区域中的像素点类型进行识别,得到第一识别结果;
(52)根据第一识别结果确定第一检测区域中的待检测对象为活体的概率,得到第一活体概率;
(53)当所述第一活体概率大于第一阈值时,基于图像纹理特征,通过预设活体检测模型中的第二子模型对第二检测区域中的像素点类型进行识别,得到第二识别结果;
(54)根据第二识别结果确定第二检测区域中的待检测对象为活体的概率,得到第二活体概率;
(55)当第二活体概率大于第二阈值时,确定所述人脸图像对应的待检测对象为活体。
比如,可以通过预设活体检测模型中的第一子模型的全连接层以及第一子模型的激活函数对第一检测区域中的像素点类型进行识别,得到第一识别结果,然后,再将第一识别结果映射成第一检测区域中的对象为活体的概率,得到第一活体概率,当第一活体概率大于第一阈值时,可以通过预设活体检测模型中的第二子模型的全连接层以及第二子模型的激活函数对第二检测区域中的像素点类型进行识别,得到第二识别结果,然后,可以将第二识别结果映射成第二检测区域中的对象为活体的概率,得到第二活体概率,当第二活体概率大于第二阈值时,确定人脸图像对应的待检测对象为活体,其中,第一阈值和第二阈值可以相等,第一阈值和第二阈值也可以不相等,具体根据实际情况进行设置。在一些实施例中,为了提高真人通过率,比如,可以将第一阈值设置为0.1或0.3,将第二阈值设置为0.5。
其中,当获取到的人脸图像包括多张连续的帧图像时,可以对每个帧图像对应的第二检测区域中的像素点类型进行识别,由于人脸图像包括多张连续的帧图像,若人脸图像对应的待检测对象为活体时,可以通过每个第二检测区域中的特定区域的像素点类型进行识别,从而获取到该待检测对象对应的生物信息如眼睛的眨合情况以及嘴唇的张合情况等等,比如,具体的,当某一帧图像对应的环境较暗时,导致第二检测区域中除了眼睛区域之外的区域比较模糊,此时,则可以通过每个第二检测区域中的眼睛区域的像素点类型进行识别,从而得到第二识别结果。
又比如,当人脸区域在人脸图像中的尺寸较小时,此时,第二检测区域的图像纹理特征可能会存在不能真实反映到第二检测区域中的待检测对象对应的纹理,从而导致活体检测的结果不准确,因此,可以对第二检测区域的某些子区域进行像素点类型的识别,比如眼睛、嘴唇以及耳朵等人脸的五官区域,通过这些子区域的图像纹理特征,即,通过局部的图像纹理特征进行活体检测,也,即,在一些实施例中,第二检测区域包括多个子区域,步骤“基于图像纹理特征,通过预设活体检测模型中的第二子模型对第二检测区域中的像素点类型进行识别,得到第二识别结果”,具体可以包括:
(61)基于图像纹理特征,通过预设活体检测模型中的第二子模型对每个子区域的像素点类型进行识别,得到各子区域的识别结果;
(62)对各子区域的识别结果进行融合,得到第二识别结果。
需要说明的是,可以通过第二识别结果获取每个子区域中的待检测对象为活体的概率,然后,再基于每个子区域对应的权重计算第二检测区域中的待检测对象为活体的概率,即,在一些实施例中,步骤“根据第二识别结果确定第二检测区域中的待检测对象为活体的概率,得到第二活体概率”,具体可以包括:
(71)从第二识别结果中提取每个子区域中的待检测对象为活体的概率,得到多个第三活体概率;
(72)从第二识别结果中获取每个子区域对应的权重;
(73)基于每个子区域对应的权重以及多个第三活体概率,计算第二检测区域中的待检测对象为活体的概率,得到第二活体概率。
其中,权重表示对应的子区域在第二检测区域用于活体检测时的重要程度,比如,在多帧连续的帧图像中,可以通过每一帧图像对应的环境信息,确定每一帧图像用于活体检测的置信度,然后,再根据每一帧图像的置信度,赋予每个子区域对应的权重;又比如,在一帧帧图像中,可以根据子区域的尺寸,确定每个子区域对应的权重,具体可以根据实际情况进行设置,在此不再赘述。
此外,当第一活体概率小于或等于第一阈值则可以判定人脸图像对应的待检测对象为非活体,即,在一些实施例中,具体还可以包括:
当第一活体概率小于或等于第一阈值时,确定人脸图像对应的待检测对象为非活体;或,当第一活体概率大于第一阈值,且第二活体概率小于或等于第二阈值时,确定人脸图像对应的待检测对象为非活体。需要说明的是,当第一活体概率小于或等于第一阈值时,则不需要对第二检测区域中的像素点类型进行识别,因此,可以减少模型的计算量。
可选的,在一些实施例中,第一子模型也可以通过并联的方式与第二子模型连接,如图1f所示,即,步骤“基于图像轮廓特征以及图像纹理特征,通过预设活体检测模型对人脸图像进行活体检测,得到待检测对象的活体检测结果”,具体可以包括:
(81)基于图像轮廓特征,通过预设活体检测模型中的第一子模型对第一检测区域中的像素点类型进行识别,得到第一识别结果;
(82)根据第一识别结果确定第一检测区域中的待检测对象为活体的概率,得到第一活体概率;
(83)基于图像纹理特征,通过预设活体检测模型中的第二子模型对第二检测区域中的像素点类型进行识别,得到第二识别结果;
(84)根据第二识别结果确定第二检测区域中的待检测对象为活体的概率,得到第二活体概率;
(85)当第一活体概率大于第一阈值时,且第二活体概率大于第二阈值时,确定所述人脸图像对应的待检测对象为活体。
第一子模型通过并联的方式与第二子模型连接时,可以分别计算第一活体概率和第二活体概率,因此,可以减少模型计算的时间,进而提高活体检测的效率。
可选的,在一些实施例中,具体还可以包括:当第一活体概率小于或等于第一阈值,和/或第二活体概率小于或等于第二阈值时,确定人脸图像对应的待检测对象为非活体。
其中,该活体检测模型可以是预先建立的,并且该活体检测模型是由多张活体图像和多张非活体图像训练得到的,即,在一些实施例中,具体还可以包括:
(91)采集训练样本集;
(92)从训练样本集中确定当前处理的样本,得到当前处理对象;
(93)将当前处理对象输入至检测模型中,得到当前处理对象的活体预测值;
(94)获取当前处理对象的活体真实值;
(95)基于活体真实值和活体预测值对检测模型进行收敛,得到活体检测模型。
其中,训练样本集包括多张标注为活体的图像和多张标注为非活体的图像,例如,具体的,可以通过多个途径采集多张活体图像和多张非活体图像,这多张活体图像可以包括多张不同的人脸,也包括同一人脸的不同形态,比如皱眉、抿嘴或者闭眼,这多张非活体图像可以包括多张不同各类纸片、与真人纹理不同的三维面具以及包含特定边框的人脸图像,特定边框可以为手机边框、电脑屏幕边框以及平板边框等等。然后,将一张样本图像输入至检测模型的第一子模型中,得到该样本图像的第一检测区域的图像轮廓特征,接着,基于该图像轮廓特征,通过预设活体检测模型中的第一子模型该样本图像的第一检测区域中的像素点类型进行识别,得到该样本图像的活体预测值,最后,基于该样本图像的活体真实值和该样本图像的活体预测值对检测模型的第一子模型进行收敛,得到活体检测模型的第一子模型;同理,对活体检测模型的第二子模型也可以采用相同的方法,在此不再赘述。
其中,预设活体检测模型可以根据实际应用的需求进行设定,该预设检测模型可以两个连接的子网络模型,即第一子模型和第二子模型,这两个子网络模型可以相同,也可以不同,具体根据实际情况设置,例如,这两个子网络模型是相同的模型,其中,一个子网络模型可以包括包括四个卷积层和一个全连接层。
卷积层:主要用于对输入的图像(比如训练样本或需要识别的图像)进行特征提取,其中,卷积核大小可以根据实际应用而定,比如,从第一层卷积层至第四层卷积层的卷积核大小依次可以为(7,7),(5,5),(3,3),(3,3);可选的,为了降低计算的复杂度,提高计算效率,在本实施例中,这四层卷积层的卷积核大小可以都设置为(3,3),激活函数均采用“relu(线性整流函数,Rectified Linear Unit)”,而padding(padding,指属性定义元素边框与元素内容之间的空间)方式均设置为“same”,“same”填充方式可以简单理解为以0填充边缘,左边(上边)补0的个数和右边(下边)补0的个数一样或少一个。可选的,卷积层与卷积层之间可以通过直连的方式连接,从而加快网络收敛速度,为了进一步减少计算量,还可以在第二至第四层卷积层中的所有层或任意1~2层进行下采样(pooling)操作,该下采样操作与卷积的操作基本相同,只不过下采样的卷积核为只取对应位置的最大值(maxpooling)或平均值(average pooling)等,为了描述方便,在本发明实施例中,将均以在第二层卷积层和第三次卷积层中进行下采样操作,且该下采样操作具体为max pooling为例进行说明。
需说明的是,为了描述方便,在本发明实施例中,将激活函数所在层和下采样层(也称为池化层)均归入卷积层中,应当理解的是,也可以认为该结构包括卷积层、激活函数所在层、下采样层(即池化层)和全连接层,当然,还可以包括用于输入数据的输入层和用于输出数据的输出层,在此不再赘述。
全连接层:可以将学到的特征映射到样本标记空间,其在整个卷积神经网络中主要起到“分类器”的作用,全连接层的每一个结点都与上一层(如卷积层中的下采样层)输出的所有结点相连,其中,全连接层的一个结点即称为全连接层中的一个神经元,全连接层中神经元的数量可以根据实际应用的需求而定,比如,在该孪生神经网络模型的上半分支网络和下半分支网络中,全连接层的神经元数量可以均设置为512个,或者,也可以均设置为128个,等等。与卷积层类似,可选的,在全连接层中,也可以通过加入激活函数来加入非线性因素,比如,可以加入激活函数sigmoid(S型函数)。
需要说明的是,为了区分第一子模型和第二子模型,在构建负样本时,第一子模型的样本可以为包含特定边框的人脸图像,第二子模型的样本可以为不同各类纸片以及与真人纹理不同的三维面具。
本发明实施例在获取待检测对象的人脸图像后,对人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合,然后,根据特征点集合分别在人脸图像上构建第一检测区域和第二检测区域,接着,提取第一检测区域的图像轮廓特征,以及提取第二检测区域的图像纹理特征,最后,基于图像轮廓特征以及图像纹理特征对人脸图像进行活体检测,得到待检测对象的活体检测结果。本发明实施例属于无交互活体检测,即无需用户配合,对于用户而言,是无感的,而且,当攻击者通过伪造的活体如相片、视频或者纸片进行攻击时,本方案可以通过检测图像轮廓特征以及图像纹理特征对伪造的活体进行活体检测,从而确定伪造的活体为非活体,因此可以提高身份验证的准确性和安全性。
根据实施例所述的方法,以下将举例进一步详细说明。
在本实施例中将以该活体检测装置具体集成在门禁机中为例进行说明。
请参阅图2a以及图2b,一种活体检测方法,具体流程可以如下:
201、门禁机获取待检测对象的人脸图像。
例如,门禁机可以通过自身的摄像头对待检测对象进行拍摄,从而获取到待检测对象的人脸图像。
202、门禁机对人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合。
具体的,门禁机可以利用人脸的几何特征,提取具有尺寸、旋转和位移不变性的人脸特征点,比如可以提取出如眼睛、鼻子以及嘴唇等部位的关键特征点位置。例如,选取人脸的9个特征点,这些特征点的分布具有角度不变性,分别为2个眼球中心点、4个眼角点、两鼻孔的中点以及2个嘴角点。当然,也可以选取人脸的全部特征点,比如,眉毛、脸部轮廓、嘴唇、眼睛以及鼻子等等。
203、门禁机根据特征点集合分别在人脸图像上构建第一检测区域和第二检测区域。
具体的,门禁机可以从特征点集合中选择活体检测的5个参考特征点,这5个参考特征点可以包括2个眼球中心点、两鼻孔的中点以及2个嘴角点,,然后,再计算这5个参考特征点对应的中心特征点,接着,分别在人脸图像上构建第一检测区域和第二检测区域。
比如,当人脸图像为屏幕攻击(如手机攻击或平板攻击等)时,屏幕攻击的图像会包括电子设备的边框,如图2c所示,因此,门禁机可以通过人脸图像的图像边界点以及中心特征点,在人脸图像上构建第一检测区域,当人脸图像为纸片攻击时,如图2d所示,该人脸图像的纹理与真实的人脸必定存在较大的差异,因此,门禁机可以在人脸区域构建第二检测区域,便于获取第二检测区域的纹理特征。
204、门禁机提取第一检测区域的图像轮廓特征,以及提取第二检测区域的图像纹理特征。
当门禁机得到第一检测区域的图像轮廓特征以及第二检测区域的图像纹理特征时,可以执行步骤205,当门禁机没有得到第一检测区域的图像轮廓特征和/或第二检测区域的图像纹理特征时,门禁机可以显示“请对准摄像头”的提示信息,如图2e所示,告知用户重新进行活体验证。
具体的,门禁机可以采用预设活体检测模型中的第一子模型对第一检测区域进行图像轮廓特征提取,得到第一检测区域的图像轮廓特征,以及门禁机采用预设活体检测模型中的第二子模型对第二检测区域进行图像纹理特征提取,得到第二检测区域的图像纹理特征。
205、门禁机基于图像轮廓特征以及图像纹理特征对人脸图像进行活体检测,得到待检测对象的活体检测结果。
当待检测对象的活体检测结果指示待检测对象为活体时,门禁机可以显示“识别成功”,如图2f所示,并且,门禁机可以根据预设指令进行下一步操作,比如,运行用户进入指定区域;当待检测对象的活体检测结果指示待检测对象为非活体时,门禁机可以显示“非活体”,并且,门禁机可以根据预设指令进行下一步操作,比如,显示告警信息,告知使用攻击图像的非法用户。
本发明实施例的门禁机在获取待检测对象的人脸图像后,门禁机对人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合,然后,门禁机根据特征点集合分别在所述人脸图像上构建第一检测区域和第二检测区域,接着,门禁机提取第一检测区域的图像轮廓特征,以及提取第二检测区域的图像纹理特征,最后,门禁机基于图像轮廓特征以及图像纹理特征对人脸图像进行活体检测,得到待检测对象的活体检测结果。本发明实施例属于无交互活体检测,即无需用户配合,对于用户而言,是无感的,而且,当攻击者通过伪造的活体如相片、视频或者纸片进行攻击时,本发明实施例的门禁机可以通过检测图像轮廓特征以及图像纹理特征对伪造的活体进行活体检测,从而确定伪造的活体为非活体,因此可以提高身份验证的准确性和安全性
为便于更好的实施本发明实施例提供的活体检测方法,本发明实施例还提供一种基于上述活体检测装置(简称检测装置)。其中名词的含义与活体检测方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图3a,图3a为本发明实施例提供的活体检测装置的结构示意图,其中该检测装置可以包括获取模块301、第一检测模块302、构建模块303、第一提取模块304、第二提取模块305以及第二检测模块306,具体可以如下:
获取模块301,用于获取待检测对象的人脸图像。
第一检测模块302,用于对人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合。
具体的,第一检测模块302可以利用人脸的几何特征,提取具有尺寸、旋转和位移不变性的人脸特征点,比如可以提取出如眼睛、鼻子以及嘴唇等部位的关键特征点位置。例如,选取人脸的9个特征点,这些特征点的分布具有角度不变性,分别为2个眼球中心点、4个眼角点、两鼻孔的中点以及2个嘴角点。当然,也可以选取人脸的全部特征点,比如,眉毛、脸部轮廓、嘴唇、眼睛以及鼻子等等。
构建模块303,用于根据特征点集合分别在人脸图像上构建第一检测区域和第二检测区域。
其中,第二检测区域位于人脸区域中,且第二检测区域包含于第一检测区域中,比如,构建模块303可以从特征点集合中选择活体检测的5个参考特征点,这5个参考特征点可以包括2个眼球中心点、两鼻孔的中点以及2个嘴角点,当然,也可以是从特征点集合中选择活体检测的9个参考特征点,这9个参考特征点可以包括2个眼球中心点、4个眼角点、两鼻孔的中点以及2个嘴角点,然后,再计算多个参考特征点对应的中心特征点,然后,分别在人脸图像上构建第一检测区域和第二检测区域,即,在一些实施例中,构建模块303具体可以包括:
构建单元,用于从特征点集合中选择活体检测的多个参考特征点;
计算单元,用于计算多个参考特征点对应的中心特征点;
构建单元,用于基于中心特征点以及多个参考特征点,分别在人脸图像上构建第一检测区域和第二检测区域。
可选的,在一些实施例中,构建单元具体用于:获取人脸图像的多个图像边界点,以中心特征点为中心,按照第一预设比例在人脸图像上构建包括多个参考特征点和部分图像边界点的第一检测区域,以中心特征点为中心,按照第二预设比例在人脸区域上构建包括多个参考特征点的第二检测区域。
第一提取模块304,用于提取第一检测区域的图像轮廓特征。
可选的,在一些实施例中,第一提取模块具体用于:在第一检测区域中去除所述人脸区域,得到轮廓区域,提取第一轮廓区域的图像轮廓特征。
第二提取模块305,用于提取第二检测区域的图像纹理特征。
第二检测模块306,用于基于图像轮廓特征以及图像纹理特征对人脸图像进行活体检测,得到待检测对象的活体检测结果。
其中,第二检测模块306可以基于图像轮廓特征以及图像纹理特征,通过预设活体检测模型对人脸图像进行活体检测,得到待检测对象的活体检测结果可选的,在一些实施例中,第二检测模块306具体可以包括:
获取单元,用于获取预设活体检测模型;
检测单元,用于基于图像轮廓特征以及图像纹理特征,通过预设活体检测模型对所述人脸图像进行活体检测,得到待检测对象的活体检测结果。
可选的,在一些实施例中,预设活体检测模型包括第一子模型和第二子模型,第一子模型通过级联的方式与第二子模型连接,检测单元具体可以包括:
第一确定单元,用于根据第一识别结果确定第一检测区域中的待检测对象为活体的概率,得到第一活体概率;
第二识别单元,用于当第一活体概率大于第一阈值时,基于图像纹理特征,通过预设活体检测模型中的第二子模型对第二检测区域中的像素点类型进行识别,得到第二识别结果;
第二确定单元,用于根据第二识别结果确定第二检测区域中的待检测对象为活体的概率,得到第二活体概率;
第三确定单元,用于当第二活体概率大于第二阈值时,确定人脸图像对应的待检测对象为活体。
可选的,在本发明的一些实施例中,所述第二检测区域包括多个子区域,所述第二识别单元具体用于:基于图像纹理特征,通过预设活体检测模型中的第二子模型对每个子区域的像素点类型进行识别,得到各子区域的识别结果,对各子区域的识别结果进行融合,得到第二识别结果。
可选的,在一些实施例中,所述第二确定单元具体用于:从第二识别结果中提取每个子区域中的待检测对象为活体的概率,得到多个第三活体概率,从第二识别结果中获取每个子区域对应的权重,权重表示对应的子区域在第二检测区域用于活体检测时的重要程度,基于每个子区域对应的权重以及多个第三活体概率,计算第二检测区域中的待检测对象为活体的概率,得到第二活体概率。
可选的,在一些实施例中,所述检测单元具体还包括:
第四确定单元,用于当第一活体概率小于或等于第一阈值时,确定人脸图像对应的待检测对象为非活体,或;当第一活体概率大于第一阈值,且第二活体概率小于或等于第二阈值时,确定人脸图像对应的待检测对象为非活体。
可选的,在一些实施例中,预设活体检测模型包括第一子模型和第二子模型,第一子模型通过并联的方式与第二子模型连接,检测单元具体用于:基于图像轮廓特征,通过预设活体检测模型中的第一子模型对第一检测区域中的像素点类型进行识别,得到第一识别结果,根据第一识别结果确定第一检测区域中的待检测对象为活体的概率,得到第一活体概率,基于图像纹理特征,通过预设活体检测模型中的第二子模型对第二检测区域中的像素点类型进行识别,得到第二识别结果,根据第二识别结果确定第二检测区域中的待检测对象为活体的概率,得到第二活体概率,当第一活体概率大于第一阈值时,且第二活体概率大于第二阈值时,确定人脸图像对应的待检测对象为活体。
可选的,在一些实施例中,检测单元具体还可以用于:当第一活体概率小于或等于第一阈值,和/或第二活体概率小于或等于第二阈值时,确定人脸图像对应的待检测对象为非活体。
可选的,在一些实施例中,请参阅图3b,该检测装置还可以还包括训练模块307,训练模块307具体用于:采集训练样本集,训练样本集包括多张标注为活体的图像和多张标注为非活体的图像,从训练样本集中确定当前处理的样本,得到当前处理对象;将当前处理对象输入至检测模型中,得到当前处理对象的活体预测值,获取当前处理对象的活体真实值,基于活体真实值和活体预测值对所述检测模型进行收敛,得到活体检测模型。
本发明实施例的获取模块301在获取待检测对象的人脸图像后,第一检测模块302对人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合,然后,构建模块303根据特征点集合分别在人脸图像上构建第一检测区域和第二检测区域,接着,第一提取模块304提取第一检测区域的图像轮廓特征,以及第二提取模块305提取第二检测区域的图像纹理特征,最后,第二检测模块306基于图像轮廓特征以及图像纹理特征对人脸图像进行活体检测,得到待检测对象的活体检测结果。本发明实施例属于无交互活体检测,即无需用户配合,对于用户而言,是无感的,而且,当攻击者通过伪造的活体如相片、视频或者纸片进行攻击时,第二检测模块306可以通过检测图像轮廓特征以及图像纹理特征对伪造的活体进行活体检测,从而确定伪造的活体为非活体,因此可以提高身份验证的准确性和安全性。
相应的,本发明实施例还提供一种计算机设备,如图4所示,该计算机设备可以包括射频(RF,Radio Frequency)电路401、包括有一个或一个以上计算机可读存储介质的存储器402、输入单元403、显示单元404、传感器405、音频电路406、无线保真(WiFi,WirelessFidelity)模块407、包括有一个或者一个以上处理核心的处理器408、以及电源409等部件。本领域技术人员可以理解,图4中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路401可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器408处理;另外,将涉及上行的数据发送给基站。通常,RF电路401包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM,Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此外,RF电路401还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GSM,Global System of Mobile communication)、通用分组无线服务(GPRS,GeneralPacket Radio Service)、码分多址(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband Code Division Multiple Access)、长期演进(LTE,Long TermEvolution)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
存储器402可用于存储软件程序以及模块,处理器408通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器408和输入单元403对存储器402的访问。
输入单元403可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元403可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器408,并能接收处理器408发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元403还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元404可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid CrystalDisplay)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器408以确定触摸事件的类型,随后处理器408根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图4中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
计算机设备还可包括至少一种传感器405,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在计算机设备移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于计算机设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路406、扬声器,传声器可提供用户与计算机设备之间的音频接口。音频电路406可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路406接收后转换为音频数据,再将音频数据输出处理器408处理后,经RF电路401以发送给比如另一计算机设备,或者将音频数据输出至存储器402以便进一步处理。音频电路406还可能包括耳塞插孔,以提供外设耳机与计算机设备的通信。
WiFi属于短距离无线传输技术,计算机设备通过WiFi模块407可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块407,但是可以理解的是,其并不属于计算机设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器408是计算机设备的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器408可包括一个或多个处理核心;优选的,处理器408可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器408中。
计算机设备还包括给各个部件供电的电源409(比如电池),优选的,电源可以通过电源管理系统与处理器408逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源409还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,计算机设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,计算机设备中的处理器408会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器408来运行存储在存储器402中的应用程序,从而实现各种功能:
获取待检测对象的人脸图像,对人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合,根据特征点集合分别在人脸图像上构建第一检测区域和第二检测区域,提取第一检测区域的图像轮廓特征,以及提取第二检测区域的图像纹理特征,基于图像轮廓特征以及图像纹理特征对人脸图像进行活体检测,得到待检测对象的活体检测结果。
本发明实施例在获取待检测对象的人脸图像后,对人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合,然后,根据特征点集合分别在人脸图像上构建第一检测区域和第二检测区域,接着,提取第一检测区域的图像轮廓特征,以及提取第二检测区域的图像纹理特征,最后,基于图像轮廓特征以及图像纹理特征对人脸图像进行活体检测,得到待检测对象的活体检测结果。本发明实施例属于无交互活体检测,即无需用户配合,对于用户而言,是无感的,而且,当攻击者通过伪造的活体如相片、视频或者纸片进行攻击时,本方案可以通过检测图像轮廓特征以及图像纹理特征对伪造的活体进行活体检测,从而确定伪造的活体为非活体,因此可以提高身份验证的准确性和安全性。
实施例五、
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种活体检测方法中的步骤。例如,该指令可以执行如下步骤:
获取待检测对象的人脸图像,对人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合,根据特征点集合分别在人脸图像上构建第一检测区域和第二检测区域,提取第一检测区域的图像轮廓特征,以及提取第二检测区域的图像纹理特征,基于图像轮廓特征以及图像纹理特征对人脸图像进行活体检测,得到待检测对象的活体检测结果。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种活体检测方法中的步骤,因此,可以实现本发明实施例所提供的任一种活体检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种活体检测方法、装置、计算机可读存储介质以及计算机设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种活体检测方法,其特征在于,包括:
获取待检测对象的人脸图像,所述人脸图像包括人脸区域;
对所述人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合;
根据所述特征点集合分别在所述人脸图像上构建第一检测区域和第二检测区域,所述第二检测区域位于所述人脸区域中,且所述第二检测区域包含于所述第一检测区域中;
提取所述第一检测区域的图像轮廓特征,以及提取所述第二检测区域的图像纹理特征;
基于所述图像轮廓特征以及图像纹理特征对所述人脸图像进行活体检测,得到待检测对象的活体检测结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述特征点集合分别在所述人脸图像上构建第一检测区域和第二检测区域,包括:
从所述特征点集合中选择活体检测的多个参考特征点;
计算所述多个参考特征点对应的中心特征点;
基于所述中心特征点以及多个参考特征点,分别在所述人脸图像上构建第一检测区域和第二检测区域。
3.根据权利要求2所述的方法,其特征在于,所述基于所述中心特征点,分别在所述人脸图像上构建第一检测区域和第二检测区域,包括:
获取所述人脸图像的多个图像边界点;
以所述中心特征点为中心,按照第一预设比例在所述人脸图像上构建包括多个参考特征点和部分图像边界点的第一检测区域;
以所述中心特征点为中心,按照第二预设比例在所述人脸区域上构建包括多个参考特征点的第二检测区域。
4.根据权利要求1所述的方法,其特征在于,所述提取所述第一检测区域的图像轮廓特征,包括:
在所述第一检测区域中去除所述人脸区域,得到轮廓区域;
提取所述第一轮廓区域的图像轮廓特征。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述基于所述图像轮廓特征以及图像纹理特征对所述人脸图像进行活体检测,得到待检测对象的活体检测结果,包括:
获取预设活体检测模型;
基于所述图像轮廓特征以及图像纹理特征,通过预设活体检测模型对所述人脸图像进行活体检测,得到待检测对象的活体检测结果。
6.根据权利要求5所述的方法,其特征在于,所述预设活体检测模型包括第一子模型和第二子模型,所述第一子模型通过级联的方式与第二子模型连接,所述基于所述图像轮廓特征以及图像纹理特征,通过预设活体检测模型对所述人脸图像进行活体检测,得到待检测对象的活体检测结果,包括:
基于所述图像轮廓特征,通过预设活体检测模型中的第一子模型对所述第一检测区域中的像素点类型进行识别,得到第一识别结果;
根据所述第一识别结果确定第一检测区域中的待检测对象为活体的概率,得到第一活体概率;
当所述第一活体概率大于第一阈值时,基于所述图像纹理特征,通过预设活体检测模型中的第二子模型对所述第二检测区域中的像素点类型进行识别,得到第二识别结果;
根据所述第二识别结果确定第二检测区域中的待检测对象为活体的概率,得到第二活体概率;
当所述第二活体概率大于第二阈值时,确定所述人脸图像对应的待检测对象为活体。
7.根据权利要求6所述的方法,其特征在于,所述第二检测区域包括多个子区域,所述基于所述图像纹理特征,通过预设活体检测模型中的第二子模型对所述第二检测区域中的像素点类型进行识别,得到第二识别结果,包括:
基于所述图像纹理特征,通过预设活体检测模型中的第二子模型对每个子区域的像素点类型进行识别,得到各子区域的识别结果;
对各子区域的识别结果进行融合,得到第二识别结果。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第二识别结果确定第二检测区域中的待检测对象为活体的概率,得到第二活体概率,包括:
从所述第二识别结果中提取每个子区域中的待检测对象为活体的概率,得到多个第三活体概率;
从所述第二识别结果中获取每个子区域对应的权重,所述权重表示对应的子区域在所述第二检测区域用于活体检测时的重要程度;
基于每个子区域对应的权重以及多个第三活体概率,计算所述第二检测区域中的待检测对象为活体的概率,得到第二活体概率。
9.根据权利要求6所述的方法,其特征在于,还包括:
当所述第一活体概率小于或等于第一阈值时,确定所述人脸图像对应的待检测对象为非活体,或;
当所述第一活体概率大于第一阈值,且所述第二活体概率小于或等于第二阈值时,确定所述人脸图像对应的待检测对象为非活体。
10.根据权利要求5所述的方法,其特征在于,所述预设活体检测模型包括第一子模型和第二子模型,所述第一子模型通过并联的方式与第二子模型连接,所述基于所述图像轮廓特征以及图像纹理特征,通过预设活体检测模型对所述人脸图像进行活体检测,得到待检测对象的活体检测结果,包括:
基于所述图像轮廓特征,通过预设活体检测模型中的第一子模型对所述第一检测区域中的像素点类型进行识别,得到第一识别结果;
根据所述第一识别结果确定第一检测区域中的待检测对象为活体的概率,得到第一活体概率;
基于所述图像纹理特征,通过预设活体检测模型中的第二子模型对所述第二检测区域中的像素点类型进行识别,得到第二识别结果;
根据所述第二识别结果确定第二检测区域中的待检测对象为活体的概率,得到第二活体概率;
当所述第一活体概率大于第一阈值时,且所述第二活体概率大于第二阈值时,确定所述人脸图像对应的待检测对象为活体。
11.根据权利要求10所述的方法,其特征在于,还包括:
当所述第一活体概率小于或等于第一阈值,和/或第二活体概率小于或等于第二阈值时,确定所述人脸图像对应的待检测对象为非活体。
12.根据权利要求5所述的方法,其特征在于,还包括:
采集训练样本集,所述训练样本集包括多张标注为活体的图像和多张标注为非活体的图像;
从所述训练样本集中确定当前处理的样本,得到当前处理对象;
将所述当前处理对象输入至检测模型中,得到所述当前处理对象的活体预测值;
获取所述当前处理对象的活体真实值;
基于所述活体真实值和活体预测值对所述检测模型进行收敛,得到活体检测模型。
13.一种活体检测装置,其特征在于,包括:
获取模块,用于获取待检测对象的人脸图像,所述人脸图像包括人脸区域;
第一检测模块,用于对所述人脸图像进行关键特征点检测,得到人脸图像对应的特征点集合;
构建模块,用于根据所述特征点集合分别在所述人脸图像上构建第一检测区域和第二检测区域,所述第二检测区域位于所述人脸区域中,且所述第二检测区域包含于所述第一检测区域中;
第一提取模块,用于提取所述第一检测区域的图像轮廓特征;
第二提取模块,用于提取所述第二检测区域的图像纹理特征;
第二检测模块,用于基于所述图像轮廓特征以及图像纹理特征对所述人脸图像进行活体检测,得到待检测对象的活体检测结果。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至10中任一项所述的活体检测方法中的步骤。
15.一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1-10任一项所述活体检测方法中的步骤。
CN201910996307.4A 2019-10-18 2019-10-18 一种活体检测方法、装置以及计算机可读存储介质 Pending CN110765924A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910996307.4A CN110765924A (zh) 2019-10-18 2019-10-18 一种活体检测方法、装置以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910996307.4A CN110765924A (zh) 2019-10-18 2019-10-18 一种活体检测方法、装置以及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110765924A true CN110765924A (zh) 2020-02-07

Family

ID=69332421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910996307.4A Pending CN110765924A (zh) 2019-10-18 2019-10-18 一种活体检测方法、装置以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110765924A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052831A (zh) * 2020-09-25 2020-12-08 北京百度网讯科技有限公司 人脸检测的方法、装置和计算机存储介质
CN112836625A (zh) * 2021-01-29 2021-05-25 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备
CN113191189A (zh) * 2021-03-22 2021-07-30 深圳市百富智能新技术有限公司 人脸活体检测方法、终端设备及计算机可读存储介质
CN113343826A (zh) * 2021-05-31 2021-09-03 北京百度网讯科技有限公司 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN113642428A (zh) * 2021-07-29 2021-11-12 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052831A (zh) * 2020-09-25 2020-12-08 北京百度网讯科技有限公司 人脸检测的方法、装置和计算机存储介质
CN112052831B (zh) * 2020-09-25 2023-08-08 北京百度网讯科技有限公司 人脸检测的方法、装置和计算机存储介质
CN112836625A (zh) * 2021-01-29 2021-05-25 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备
CN113191189A (zh) * 2021-03-22 2021-07-30 深圳市百富智能新技术有限公司 人脸活体检测方法、终端设备及计算机可读存储介质
CN113343826A (zh) * 2021-05-31 2021-09-03 北京百度网讯科技有限公司 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN113343826B (zh) * 2021-05-31 2024-02-13 北京百度网讯科技有限公司 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN113642428A (zh) * 2021-07-29 2021-11-12 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113642428B (zh) * 2021-07-29 2022-09-27 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111260665B (zh) 图像分割模型训练方法和装置
WO2020199926A1 (zh) 一种图像识别网络模型训练方法、图像识别方法及装置
CN110163806B (zh) 一种图像处理方法、装置以及存储介质
WO2018121428A1 (zh) 一种活体检测方法、装置及存储介质
CN110765924A (zh) 一种活体检测方法、装置以及计算机可读存储介质
US9443155B2 (en) Systems and methods for real human face recognition
CN108304758B (zh) 人脸特征点跟踪方法及装置
CN108830062B (zh) 人脸识别方法、移动终端及计算机可读存储介质
CN108985220B (zh) 一种人脸图像处理方法、装置及存储介质
WO2019024717A1 (zh) 防伪处理方法及相关产品
US10970523B2 (en) Terminal and server for providing video call service
CN108712603B (zh) 一种图像处理方法及移动终端
CN108427873B (zh) 一种生物特征识别方法及移动终端
CN103745235A (zh) 人脸识别方法、装置及终端设备
CN107766403B (zh) 一种相册处理方法、移动终端以及计算机可读存储介质
CN108875594B (zh) 一种人脸图像的处理方法、装置以及存储介质
CN108198159A (zh) 一种图像处理方法、移动终端以及计算机可读存储介质
WO2019011098A1 (zh) 解锁控制方法及相关产品
CN109063558A (zh) 一种图像分类处理方法、移动终端及计算机可读存储介质
CN110807405A (zh) 一种偷拍装置检测方法及电子设备
WO2017088434A1 (zh) 人脸模型矩阵训练方法、装置及存储介质
WO2019024718A1 (zh) 防伪处理方法、防伪处理装置及电子设备
CN111080747A (zh) 一种人脸图像处理方法及电子设备
CN113255396A (zh) 图像处理模型的训练方法及装置、图像处理方法及装置
CN109034052B (zh) 人脸检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020256

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination