CN108319901A - 人脸的活体检测方法、装置、计算机设备及可读介质 - Google Patents

人脸的活体检测方法、装置、计算机设备及可读介质 Download PDF

Info

Publication number
CN108319901A
CN108319901A CN201810044315.4A CN201810044315A CN108319901A CN 108319901 A CN108319901 A CN 108319901A CN 201810044315 A CN201810044315 A CN 201810044315A CN 108319901 A CN108319901 A CN 108319901A
Authority
CN
China
Prior art keywords
face
detected
point cloud
image
dimensional point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810044315.4A
Other languages
English (en)
Other versions
CN108319901B (zh
Inventor
周定富
杨睿刚
洪智滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810044315.4A priority Critical patent/CN108319901B/zh
Publication of CN108319901A publication Critical patent/CN108319901A/zh
Application granted granted Critical
Publication of CN108319901B publication Critical patent/CN108319901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种人脸的活体检测方法、装置、计算机设备及可读介质。其方法包括:在检测到待检测人脸位于移动终端的显示屏中的预设区域内之后,采集多张待检测人脸的图像;根据采集的多张待检测人脸的图像构建待检测人脸的三维点云;根据待检测人脸的三维点云和预先训练的人脸活体检测模型,识别待检测人脸是否为活体人脸。本发明的技术方案,可以基于采集到的待检测人脸的二维图像构建待检测人脸的是三维点云实现活体人脸检测,可以滤除检测时采集到的待检测人脸为高清图像或者视频中的人脸,从而能够有效地提高活体人脸检测的精度,从而能够有效地提高活体人脸检测的效率。

Description

人脸的活体检测方法、装置、计算机设备及可读介质
【技术领域】
本发明涉及计算机应用技术领域,尤其涉及一种人脸的活体检测方法、装置、计算机设备及可读介质。
【背景技术】
随着互联网金融以及移动支付的使用普及,其安全性也被提到一个非常重要的位置。
为了保护用户的使用安全性,现有技术可以通过活体检测,来保证当前使用的用户为用户本人,而不是图片或者视频,从而保证移动支付的安全性。例如,现有技术中可以首先通过人机交互的方式,让用户配合做一些动作如:眨眼,点头、摇头等,若用户做出的动作不符合要求,则认为是视频或者照片等非活体,从而滤除掉非活体。然后再基于深度学习单帧、多帧彩色图像预先训练的二维人脸检测模型,对采集到的二维图像进行检测,若是人脸,则认为最终通过检测的为活体人脸;否则最终未通过检测的,则认为是非活体或者非人脸。
但是现有技术中,活体人脸检测过程中通过采集到的二维图像进行检测,可以导致图像、视频中的人脸漏检,因此,现有的活体人脸检测的精度较低。
【发明内容】
本发明提供了一种人脸的活体检测方法、装置、计算机设备及可读介质,用于提高活体人脸检测的精度。
本发明提供一种人脸的活体检测方法,所述方法包括:
在检测到待检测人脸位于移动终端的显示屏中的预设区域内之后,采集多张所述待检测人脸的图像;
根据采集的多张所述待检测人脸的图像构建所述待检测人脸的三维点云;
根据所述待检测人脸的三维点云和预先训练的人脸活体检测模型,识别所述待检测人脸是否为活体人脸。
进一步可选地,如上所述的方法中,在检测到待检测人脸位于移动终端的显示屏中的预设区域内之后,采集多张所述待检测人脸的图像之前,所述方法还包括:
对所述待检测人脸执行人机交互检测,并确定所述待检测人脸通过人机交互检测;
所述采集多张所述待检测人脸的图像,具体包括:在所述人机交互检测过程中,采集所述多张所述待检测人脸的图像。
进一步可选地,如上所述的方法中,对所述待检测人脸执行人机交互检测,并确定所述待检测人脸通过人机交互检测,具体包括:
随机生成移动方向,并在所述移动终端的显示屏上显示所述移动方向,以供所述待检测人脸的用户按照所述移动方向移动所述移动终端,且移动过程中要求所述待检测人脸始终落在所述预设区域内;
采集所述待检测人脸的用户移动所述移动终端过程中、落入所述预设区域中的连续的多张所述待检测人脸的图像;
根据多张所述待检测人脸的图像分析所述待检测人脸的用户是否按照所述移动方向移动所述移动终端;若是,确定所述待检测人脸通过所述人机交互检测。
进一步可选地,如上所述的方法中,所述采集多张所述待检测人脸的图像之后,根据采集的所述待检测人脸的图像构建所述待检测人脸的三维点云之前,所述方法还包括:
根据采集的多张所述待检测人脸的图像检测所述待检测人脸与背景是否在同一平面上;
并确定所述待检测人脸与背景不在同一平面上。
进一步可选地,如上所述的方法中,根据采集的多张所述待检测人脸的图像检测所述待检测人脸与背景是否在同一平面上,具体包括:
对于各张所述待检测人脸的图像,获取对应的人脸区域和背景区域;
根据所述人脸区域和/或所述背景区域,建立单应性矩阵;
根据所述单应性矩阵验证对应的所述人脸区域与所述背景区域是否在同一个平面上;
根据多张所述待检测人脸的图像对应的所述人脸区域与所述背景区域是否在同一个平面上的验证结果,确定所述待检测人脸与背景是否在同一平面上。
进一步可选地,如上所述的方法中,根据采集的多张所述待检测人脸的图像构建所述待检测人脸的三维点云,具体包括:
从多张所述待检测人脸的图像中获取两张人脸区域在相应的图像中的位置差别最大的图像,作为两张目标图像;
从所述两张目标图像的所述人脸区域中获取互相匹配的特征点;
根据所述两张目标图像中的所述人脸区域中互相匹配的特征点,预估相机位姿;
根据所述两张目标图像中的所述人脸区域中互相匹配的特征点和所述相机位姿,重构稀疏的所述待检测人脸的三维点云;
利用多张所述待检测人脸的图像中所述目标图像之外的其他图像,稠密重构的所述待检测人脸的三维点云。
进一步可选地,如上所述的方法中,根据所述待检测人脸的三维点云和预先训练的人脸活体检测模型,识别所述待检测人脸是否为活体人脸,具体包括:
利用预设的两眼之间的距离,获取所述待检测人脸的三维点云的尺寸;
基于所述待检测人脸的三维点云的尺寸不变的前提下,将所述待检测人脸的三维点云矫正至正面视角;
将矫正后的所述待检测人脸的三维点云栅格化在三维立方体中,使得所述待检测人脸的三维点云分布在所述三维立方体的多个大小相同的格子中;
获取所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息;
根据所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息和所述人脸活体检测模型,识别所述待检测人脸是否为活体人脸。
进一步可选地,如上所述的方法中,根据所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息和所述人脸活体检测模型,识别所述待检测人脸是否为活体人脸,具体包括:
根据所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息,统计各所述格子中包括的所述待检测人脸的三维点云中的点的特征;将各所述格子中包括的所述待检测人脸的三维点云中的点的特征输入至所述人脸活体检测模型中,使得所述人脸活体检测模型预测所述待检测人脸是否为活体人脸;
或者将所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息输入至所述人脸活体检测模型中,使得所述人脸活体检测模型预测所述待检测人脸是否为活体人脸。
本发明提供一种人脸的活体检测装置,所述装置包括:
采集模块,用于在检测到待检测人脸位于移动终端的显示屏中的预设区域内之后,采集多张所述待检测人脸的图像;
构建模块,用于根据采集的多张所述待检测人脸的图像构建所述待检测人脸的三维点云;
检测模块,用于根据所述待检测人脸的三维点云和预先训练的人脸活体检测模型,识别所述待检测人脸是否为活体人脸。
进一步可选地,如上所述的装置中,所述装置还包括:
人机交互检测模块,用于对所述待检测人脸执行人机交互检测,并确定所述待检测人脸通过人机交互检测;
所述采集模块,具体用于在所述人机交互检测过程中,采集所述多张所述待检测人脸的图像。
进一步可选地,如上所述的装置中,所述人机交互检测模块,具体用于随机生成移动方向,并在所述移动终端的显示屏上显示所述移动方向,以供所述待检测人脸的用户按照所述移动方向移动所述移动终端,且移动过程中要求所述待检测人脸始终落在所述预设区域内;
所述采集模块,具体采集所述待检测人脸的用户移动所述移动终端过程中、落入所述预设区域中的连续的多张所述待检测人脸的图像;
所述人机交互检测模块,具体还用于根据多张所述待检测人脸的图像分析所述待检测人脸的用户是否按照所述移动方向移动所述移动终端;若是,确定所述待检测人脸通过所述人机交互检测。
进一步可选地,如上所述的装置中,所述装置还包括:
平面验证模块,用于根据采集的多张所述待检测人脸的图像检测所述待检测人脸与背景是否在同一平面上;并确定所述待检测人脸与背景不在同一平面上。
进一步可选地,如上所述的装置中,所述平面验证模块,具体用于:
对于各张所述待检测人脸的图像,获取对应的人脸区域和背景区域;
根据所述人脸区域和/或所述背景区域,建立单应性矩阵;
根据所述单应性矩阵验证对应的所述人脸区域与所述背景区域是否在同一个平面上;
根据多张所述待检测人脸的图像对应的所述人脸区域与所述背景区域是否在同一个平面上的验证结果,确定所述待检测人脸与背景是否在同一平面上。
进一步可选地,如上所述的装置中,所述构建模块,具体用于:
从多张所述待检测人脸的图像中获取两张人脸区域在相应的图像中的位置差别最大的图像,作为两张目标图像;
从所述两张目标图像的所述人脸区域中获取互相匹配的特征点;
根据所述两张目标图像中的所述人脸区域中互相匹配的特征点,预估相机位姿;
根据所述两张目标图像中的所述人脸区域中互相匹配的特征点和所述相机位姿,重构稀疏的所述待检测人脸的三维点云;
利用多张所述待检测人脸的图像中所述目标图像之外的其他图像,稠密重构的所述待检测人脸的三维点云。
进一步可选地,如上所述的装置中,所述检测模块,具体用于:
利用预设的两眼之间的距离,获取所述待检测人脸的三维点云的尺寸;
基于所述待检测人脸的三维点云的尺寸不变的前提下,将所述待检测人脸的三维点云矫正至正面视角;
将矫正后的所述待检测人脸的三维点云栅格化在三维立方体中,使得所述待检测人脸的三维点云分布在所述三维立方体的多个大小相同的格子中;
获取所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息;
根据所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息和所述人脸活体检测模型,识别所述待检测人脸是否为活体人脸。
进一步可选地,如上所述的装置中,所述检测模块,具体用于:
根据所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息,统计各所述格子中包括的所述待检测人脸的三维点云中的点的特征;将各所述格子中包括的所述待检测人脸的三维点云中的点的特征输入至所述人脸活体检测模型中,使得所述人脸活体检测模型预测所述待检测人脸是否为活体人脸;
或者将所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息输入至所述人脸活体检测模型中,使得所述人脸活体检测模型预测所述待检测人脸是否为活体人脸。
本发明还提供一种计算机设备,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述的人脸的活体检测方法。
本发明还提供一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的人脸的活体检测方法。
本发明的人脸的活体检测方法、装置、计算机设备及可读介质,通过在检测到待检测人脸位于移动终端的显示屏中的预设区域内之后,采集多张待检测人脸的图像;根据采集的多张待检测人脸的图像构建待检测人脸的三维点云;根据待检测人脸的三维点云和预先训练的人脸活体检测模型,识别待检测人脸是否为活体人脸。本发明的技术方案,可以基于采集到的待检测人脸的二维图像构建待检测人脸的是三维点云实现活体人脸检测,可以滤除检测时采集到的待检测人脸为高清图像或者视频中的人脸,从而能够有效地提高活体人脸检测的精度,从而能够有效地提高活体人脸检测的效率。
【附图说明】
图1为本发明的人脸的活体检测方法实施例一的流程图。
图2A-图2C为本实施例中的活体人脸的图像。
图3A-图3C为本实施例中的高清图片的人脸的图像。
图4为本发明的人脸的活体检测方法实施例二的流程图。
图5为本发明的人脸的活体检测方法实施例三的流程图。
图6为本发明的人脸的活体检测装置实施例一的结构图。
图7为本发明的人脸的活体检测装置实施例二的结构图。
图8为本发明的计算机设备实施例的结构图。
图9为本发明提供的一种计算机设备的示例图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
图1为本发明的人脸的活体检测方法实施例一的流程图。如图1所示,本实施例的人脸的活体检测方法,具体可以包括如下步骤:
100、在检测到待检测人脸位于移动终端的显示屏中的预设区域内之后,采集多张待检测人脸的图像;
本实施例的人脸的活体检测方法的应用场景可以为:在用户通过移动终端进行移动支付时,为了保证支付的安全性,需要验证当前进行支付的用户是否为用户本人,而不是该恶意他人使用该用户的照片或者视频而进行的支付,便可以采用本实施例的人脸的活体检测方案来实现检测。具体地,本实施例的人脸的活体检测方法的执行主体可以为支付平台服务器,具体由移动终端上的相机采集到正在支付的待检测人脸图像之后,发送至支付平台服务器,由支付平台服务器采用本实施例的人脸的活体检测方法来实现活体人脸的检测。或者也可以在移动终端上安装的支付应用中集成有本实施例的人脸的活体检测方案的功能,由移动终端上的支付应用采用本实施例的人脸的活体检测方法来实现活体人脸的检测。但是在移动终端侧的支付应用中实现本实施例技术方案时,对移动终端的性能要求较高,所以,优选地,本实施例的人脸的活体检测方案在支付平台服务器中实现。
本实施例的人脸的活体检测方法,在支付验证时,移动终端上的相机开启,在移动终端的显示屏上显示有一个预设区域,该预设区域可以为长方形,正方向或者圆形,或者可以为人头像轮廓的外形等形状。检测时,用户需要将待检测人脸移动到该移动终端的显示屏中的预设区域内,才可以开始进行检测。本实施例中,检测时,需要采集多张待检测人脸的图像。
101、根据采集的多张待检测人脸的图像构建待检测人脸的三维点云;
由于相机采集到的图像都是二维图像,现有技术中,便是基于采集到的二维图像进行活体人脸检测。这样,用户可以使用视频或者用户的高清图片都可以通过活体人脸检测,导致活体人脸检测的精度较低。而本实施例可以根据采集的多张待检测人脸的图像构建该待检测人脸的三维点云,从而基于三维点云进行活体人脸的检测。
例如,根据采集的多张待检测人脸的图像中两个位置不同的待检测人脸的图像,可以获取到两幅图像的相对位姿,进而获取到估计的相机位姿。然后根据两幅图像中的对应的匹配点以及采集的多张待检测人脸的图像中对应的匹配点,可以重构该待检测人脸的三维点云。
102、根据待检测人脸的三维点云和预先训练的人脸活体检测模型,识别待检测人脸是否为活体人脸。
在本实施例的技术方案中,若采用视频或者高清图像中的人脸图像进行活体检测时,从视频或者高清图像中采集的多个二维图像中的用户人脸和用户人脸之外的其他背景在同一平面上,根据采集的多个二维图像重构的待检测人脸的三维点云进行视角旋转之后,可以发现待检测人脸的三维点云在其他视角下不是人脸的三维点云。
而若采用用户本人的人脸进行活体检测时,采集多个二维图像中用户人脸和用户人脸之外的其他背景不在同一平面上,根据采集的多个二维图像重构的待检测人脸的三维点云进行视角旋转之后,仍然是一个人脸的三维点云。
例如图2A-图2C为本实施例中的活体人脸的图像。其中图2A为移动终端的相机采集的活体人脸图像,图2B为重构图2A的活体人脸的三维图像,图2C为旋转图2B的视角得到的另一视角下的活体人脸的三维图像。从图2C可以看出,图2A采集的人脸为活体人脸的图像。
图3A-图3C为本实施例中的高清图片的人脸的图像。其中图3A为移动终端的相机采集的高清图片的人脸图像,图3B为重构图3A的高清图片的人脸的三维图像,图3C为旋转图3B的视角得到的另一视角下的高清图片的人脸的三维图像。从图3C可以看出,旋转之后的三维图像已经变形,已看不出时人脸的图像,所以此时可以确定图3A采集的人脸为高清图片的人脸的图像。
基于上述背景,可以发现,用户活体人脸的三维点云的空间分布范围较广,相对地点云分布具有符合人脸的立体特性。而基于视频或者高清图像中的人脸重构的人脸的三维点云的空间分布范围较小,且点云分布不符合人脸的立体特性。因此,可以预先训练人脸活体检测模型,该人脸活体检测模型可以识别符合人脸的立体特性的三维点云,从而根据待检测人脸的三维点云和预先训练的人脸活体检测模型,可以识别待检测人脸是否为活体人脸。
例如,本实施例的步骤101“根据采集的多张待检测人脸的图像构建待检测人脸的三维点云”,具体可以包括如下步骤:
(a1)从多张待检测人脸的图像中获取两张人脸区域在相应的图像中的位置差别最大的图像,作为两张目标图像;
本实施例中,移动终端的相机采集多张人脸图像时,采集过程中,移动终端的相机固定不动,用户的人脸在预设区域范围内移动;或者用户相对固定不动,移动终端的相机移动,使得用户的人脸在移动终端的显示屏上的预设区域内相对移动,且移动过程中,使用保证用户的人脸图像落在移动终端的显示屏上的预设区域内。无论上述哪种情况,都可以从采集的多张图像中获取到两种差别最大的两张图像,作为目标图像。本实施例中的差别最大的两张图像,可以为位置差别最大或者角度差别最大,例如,其中一张图像中用户的人脸在预设区域的左半边,而另一张图像中用户的人脸在预设区域的右半边。或者一张图像中用户的人脸在预设区域的上半边,而另一张图像中用户的人脸在预设区域的下半边;再或者一张图像中用户的人脸在预设区域中占用的比例较大,而另一张图像中用户的人脸在预设区域中占用的比例较小。优选地,本实施例中以用户相对固定不动,移动终端的相机移动,来采集多张待检测人脸的图像为例,来描述本发明的技术方案。
(b1)从两张目标图像的人脸区域中获取互相匹配的特征点;
由于两张目标图像中都包括人脸图像,因此,可以从两种目标图像中的人脸区域中获取互相匹配的特征点。为了提高重构的三维点云的质量,本实施例中所选择的两种目标图像尽量大地覆盖不同的角度。例如可以从两张目标图像中获取特征较为明显的互相匹配的特征点,例如眉毛的起点或末点、眼角或者眼尾、或者嘴角等特征较为明显的点。本实施例中,相机采集的多张待检测人脸的图像的大小都是相同的,本实施例中的特征点可以采用该特征点在图像中的坐标来标识。
(c1)根据两张目标图像中的人脸区域中互相匹配的特征点,预估相机位姿;
具体地,可以根据两张目标图像中的人脸区域中互相匹配的特征点进行特征匹配,然后利用互相匹配的特征点计算基础矩阵,该基础矩阵用于描述同一点在两张目标图像中的相对位姿。然后利用奇异值分解来获取两张目标图像之间的相对位姿,作为估计的相机位姿。
(d1)根据两张目标图像中的人脸区域中互相匹配的特征点和相机位姿,重构稀疏的待检测人脸的三维点云;
具体地,根据相机位姿,可以得知同一特征点在两张目标图像中的相对位姿,然后再根据两张目标图像中的人脸区域中互相匹配的特征点,可以重构稀疏的待检测人脸的三维点云。
(e1)利用多张待检测人脸的图像中目标图像之外的其他图像,稠密重构的待检测人脸的三维点云。
由于稀疏的待检测人脸的三维点云中点的数量太少,本实施例中可以进一步利用多张待检测人脸的图像中目标图像之外的其他图像中的待检测人脸的特征点,将各特征点刻画至待检测人脸的三维点云中,从而实现稠密该待检测人脸的三维点云。
进一步地,本实施例的步骤102“根据待检测人脸的三维点云和预先训练的人脸活体检测模型,识别待检测人脸是否为活体人脸”,具体可以包括如下步骤:
(a2)利用预设的两眼之间的距离,获取待检测人脸的三维点云的尺寸;
本实施例中预设的两眼之间的距离可以为根据实际经验选取的两眼之间的距离的一个近似的标准值。而上述实施例得到的待检测人脸的三维点云是一个没有尺寸的仅包括结构及相对位置关系的三维点云。然后根据本实施例中预设的两眼之间的距离,可以得到该待检测人脸的三维点云的尺寸。
(b2)基于待检测人脸的三维点云的尺寸不变的前提下,将待检测人脸的三维点云矫正至正面视角;
本实施例中,可以在基于待检测人脸的三维点云的尺寸不变的前提下,对待检测人脸的三维点云进行旋转,使得待检测人脸的三维点云矫正至正面视角。
(c2)将矫正后的待检测人脸的三维点云栅格化在三维立方体中,使得待检测人脸的三维点云分布在三维立方体的多个大小相同的格子中;
本实施例的三维立方体在三维方向将空间均匀划分为无数个格子。具体地,可以将矫正后的待检测人脸即正面视角的待检测人脸的三维点云,栅格化在三维立方体中。即相当于将待检测人脸的三维点云分布在三维立方体中的格子中,这样,有些格子中可以包括一个、两个或者多个三维点云中的点,而还有些格子中未包括三维点云中的点。
(d2)获取三维立方体中每个格子中包括的待检测人脸的三维点云的信息;
统计三维立方体中每个格子中包括的待检测人脸的三维点云中的点的信息,例如,可以包括每个格子中包括的点的数量,每个格子中包括的每个点的坐标等信息。
(e2)根据三维立方体中每个格子中包括的待检测人脸的三维点云的信息和人脸活体检测模型,识别待检测人脸是否为活体人脸。
例如该步骤(e2)具体可以包括如下两种实现方式:
第一种实现方式:该种实现方式中可以根据三维立方体中每个格子中包括的待检测人脸的三维点云的信息,统计各格子中包括的待检测人脸的三维点云中的点的特征;例如可以统计每个格子中是否包括点、点的密度、点的平均高度、点的离散程度等等特征信息。然后将各格子中包括的待检测人脸的三维点云中的点的特征输入至预先训练的人脸活体检测模型中,使得人脸活体检测模型预测待检测人脸是否为活体人脸。
需要说明的是,该种实现方式中,人脸活体检测模型也是采用类似的方式训练的。例如,预选采集数组活体人脸的训练图像作为正例,以及数组高清图像的人脸的训练图像作为负例;其中正例与负例的比例大于1,例如可以为4:1、5:1或者其他大于1的比例。然后按照上述实施例的方式,对于每一组训练图像都可以获取到对应的三维点云,作为训练三维点云;并按照上述实施例的方式,获取每一个训练三维点云对应的各格子中的点的特征。训练之前,可以为人脸活体检测模型的参数赋予初始值,然后将活体人脸对应的训练三维点云的各格子的点的特征输入至人脸活体检测模型中,判断人脸活体检测模型的输出值是否为活体人脸,若不是,则调整人脸活体检测模型的参数,使得人脸活体检测模型输出为活体人脸的检测结果。并将高清图像的人脸对应的训练三维点云的各格子的点的特征输入至人脸活体检测模型中,判断人脸活体检测模型的输出值是否为非活体人脸,若不是,则调整人脸活体检测模型的参数,使得人脸活体检测模型输出为非活体人脸的检测结果。按照上述方式,使用数组训练三维点云对高清图像的人脸进行训练,可以确定人脸活体检测模型的参数,从而确定人脸活体检测模型。
第二种实现方式:与上述第一种实现方式不同的是,该种实现方式中不用提取三维点云对应的各格子中的点的特征,而是直接将三维立方体中每个格子中包括的待检测人脸的三维点云的信息输入至人脸活体检测模型中,使得人脸活体检测模型预测待检测人脸是否为活体人脸。具体地,将三维立方体中每个格子中包括的待检测人脸的三维点云的信息输入至人脸活体检测模型中之后,由人脸活体检测模型来提取三维点云对应的各格子中的点的特征,并进一步基于三维点云对应的各格子中的点的特征来预测待检测人脸是否为活体人脸,其余实现原理与上述第一种实现方式相同,在此不再赘述。同理,该种实现方式的人脸活体检测模型在训练时,也是直接各训练三维点云的信息训练人脸活体检测模型,而不用从训练三维点云的信息中提取对应的各格子中的点的特征来训练,其余训练原理与上述第一种实现方式中的人脸活体检测模型的训练相同,详细亦可以参考上述实施例的相关记载,在此不再赘述。
本实施例的人脸的活体检测方法,在检测到待检测人脸位于移动终端的显示屏中的预设区域内之后,采集多张待检测人脸的图像;根据采集的多张待检测人脸的图像构建待检测人脸的三维点云;根据待检测人脸的三维点云和预先训练的人脸活体检测模型,识别待检测人脸是否为活体人脸。本实施例的技术方案,可以基于采集到的待检测人脸的二维图像构建待检测人脸的是三维点云实现活体人脸检测,可以滤除检测时采集到的待检测人脸为高清图像或者视频中的人脸,从而能够有效地提高活体人脸检测的精度,从而能够有效地提高活体人脸检测的效率。
经试验表明,本实施例的基于三维点云实现活体人脸检测,相对于现有的二维图像实现的活体人脸检测,攻击拒绝率提高了5%左右,即有效地拒绝了采用高清图像或者视频中的人脸冒充真实的活体人脸来进行验证的用户,有效地提高活体人脸检测的精度,从而能够有效地提高了移动支付的安全性
图4为本发明的人脸的活体检测方法实施例二的流程图。如图4所示,本实施例的人脸的活体检测方法,在上述图1所示实施例的技术方案的基础上,进一步更加详细地介绍本发明的技术方案。如图4所示,本实施例的人脸的活体检测方法,具体可以包括如下步骤:
200、在检测到待检测人脸位于移动终端的显示屏中的预设区域内之后,对待检测人脸执行人机交互检测;
201、在人机交互检测过程中,采集多张待检测人脸的图像;
202、根据采集的多张待检测人脸的图像,确定待检测人脸是否通过人机交互检测,若是,执行步骤203;否则返回步骤200,重新开始人机交互检测;
需要说明的是,本实施例的人机交互检测可以包括两种实现方式:
第一种实现方式:固定移动终端,指示待检测人脸的用户执行指定的操作。例如,开始人机交互检测时,移动终端的显示屏随机产生指定的操作,如眨眼、向左转头、向右转头、点头等等操作,指示用户完成指定的操作,且用户完成指定操作过程中,待检测的人脸需要始终落在移动终端的显示屏中的预设区域内。在用户按照指定的动作进行人机交互检测的过程中,移动终端的相机采集多张待检测人脸的图像,并根据采集的多张待检测人脸的图像可以分析用户是否完成执行的操作,若检测确定用户完成指定的操作,则人机交互检测通过;否则,提示用户重新开始人机交互检测。
第二种实现方式:用户固定不动,指示待检测人脸的用户按照指定的方向移动移动终端。由于上述第一种实现方式中,需要用户执行指定的操作,容易让用户产生抵触情绪,从而不便于检测方案的推广。而第二种实现方式中可以避免用户本身去做指定的操作,而是由用户移动移动终端做指定的操作,避免用户的抵触情绪,从而可以提高用户的使用体验度。
例如,第二种实现方式的“对待检测人脸执行人机交互检测”的过程,具体可以包括如下步骤:
(a3)随机生成移动方向,并在移动终端的显示屏上显示移动方向,以供待检测人脸的用户按照移动方向移动移动终端,且移动过程中要求待检测人脸始终落在预设区域内;
本实施例的移动方向可以为向上、向下、向左或者向右移动,还可以为向左上、右下、或者左下、右上,或者还可以为一个任意指示的方向,在此不再赘述。
(b3)采集待检测人脸的用户移动移动终端过程中、落入预设区域中的连续的多张待检测人脸的图像;
(c3)根据多张待检测人脸的图像分析待检测人脸的用户是否按照移动方向移动移动终端;若是,确定待检测人脸通过人机交互检测;否则返回步骤(a3),重新对待检测人脸执行人机交互检测。
203、根据采集的多张待检测人脸的图像构建待检测人脸的三维点云;
204、根据待检测人脸的三维点云和预先训练的人脸活体检测模型,识别待检测人脸是否为活体人脸。
步骤203和步骤204的具体实现方式可以参考上述图1所示实施例的相关记载,在此不再赘述。
本实施例的人脸的活体检测方法,通过采用上述技术方案,可以基于采集到的待检测人脸的二维图像构建待检测人脸的是三维点云实现活体人脸检测,可以滤除检测时采集到的待检测人脸为高清图像或者视频中的人脸,从而能够有效地提高活体人脸检测的精度,从而能够有效地提高活体人脸检测的效率。而且本实施例中的人机交互验证中,可以保持用户固定不动,指示待检测人脸的用户按照指定的方向移动移动终端,可以有效地提高用户的使用体验度,增强方案的推广性。
图5为本发明的人脸的活体检测方法实施例三的流程图。如图5所示,本实施例的人脸的活体检测方法,在上述图4所示实施例的技术方案的基础上,进一步更加详细地介绍本发明的技术方案。如图5所示,本实施例的人脸的活体检测方法,具体可以包括如下步骤:
300、在检测到待检测人脸位于移动终端的显示屏中的预设区域内之后,对待检测人脸执行人机交互检测;
301、在人机交互检测过程中,采集多张待检测人脸的图像;
302、根据采集的多张待检测人脸的图像,确定待检测人脸是否通过人机交互检测,若是,执行步骤303;否则返回步骤300,重新开始人机交互检测;
303、根据采集的多张待检测人脸的图像检测待检测人脸与背景是否在同一平面上;若是,执行步骤304;否则,确定待检测人脸非活体人脸,结束。
该步骤303,具体可以包括如下步骤:
(a4)对于各张待检测人脸的图像,获取对应的人脸区域和背景区域;
(b4)根据人脸区域和/或背景区域,建立单应性矩阵;
(c4)根据单应性矩阵验证对应的人脸区域与背景区域是否在同一个平面上;
(d4)根据多张待检测人脸的图像对应的人脸区域与背景区域是否在同一个平面上的验证结果,确定待检测人脸与背景是否在同一平面上。
步骤303的过程可以称之为平面验证,利用平面验证的方法可以过滤掉一部分采用打印照片和电子视频、照片等的攻击方法进行的支付验证。此方法的原理是:利用打印以及电子照片进行攻击时,人脸以及周围区域的背景是处于同一个平面内的。这样的一个属性在计算机视觉中是可以用一个单应性矩阵来进行描述的。反之,真实的人脸以及环境是三维立体的,这时候再利用单应性矩阵来进行描述时就会产生很大的偏差。
在人机交互的同时也收集了用户在不同角度的人脸照片。利用人脸特征点检测算法,可以定位待检测人脸在不同视角图像下的位置,以此方框为基础,作为人脸区域,再选取一定比例的周围区域作为背景区域进行平面验证。
对于每一张待检测人脸的图像,可以获取对应的人脸区域和背景区域;然后根据人脸区域和/或背景区域,建立单应性矩阵;然后根据单应性矩阵验证对应的人脸区域与背景区域是否在同一个平面上。由于活体人脸的人脸区域和背景不在同一平面,而照片或者视频中的人脸区域和背景区域在同一平面。无论是根据人脸区域、背景区域,还是人脸区域和背景区域一起建立单应性矩阵,均可以根据单应性矩阵验证对应的人脸区域与背景区域是否在同一个平面上。对于每一张待检测人脸的图像,均可以检测出该张图像中的人脸区域与背景区域是否在同一个平面上。最后可以根据人机交互中获取到的多张待检测人脸的图像的人脸区域与背景区域是否在同一个平面上的验证结果,确定待检测人脸与背景是否在同一平面上。例如,多张图像中有超过预设比例的验证结果都确定待检测人脸与背景在同一平面上时,则确定待检测人脸与背景在同一平面上,否则确定待检测人脸与背景不在同一平面上。本实施例的预设比例可以根据实际经验来选取,例如可以为80%、90%或者其他比例。
304、根据采集的多张待检测人脸的图像构建待检测人脸的三维点云;
305、根据待检测人脸的三维点云和预先训练的人脸活体检测模型,识别待检测人脸是否为活体人脸。
步骤304和步骤305的具体实现方式可以参考上述图1所示实施例的相关记载,在此不再赘述。
本实施例的人脸的活体检测方法,通过采用上述技术方案,可以基于采集到的待检测人脸的二维图像构建待检测人脸的是三维点云实现活体人脸检测,可以滤除检测时采集到的待检测人脸为高清图像或者视频中的人脸,从而能够有效地提高活体人脸检测的精度,从而能够有效地提高活体人脸检测的效率。而且本实施例中的人机交互验证中,可以保持用户固定不动,指示待检测人脸的用户按照指定的方向移动移动终端,可以有效地提高用户的使用体验度,增强方案的推广性。再者,本实施例中还通过平面性验证。来辅助验证活体人脸的检测,进一步提高活体人脸检测的精度和效率。
图6为本发明的人脸的活体检测装置实施例一的结构图。如图6所示,本实施例的人脸的活体检测装置,具体可以包括:
采集模块10用于在检测到待检测人脸位于移动终端的显示屏中的预设区域内之后,采集多张待检测人脸的图像;
构建模块11用于根据采集模块10采集的多张待检测人脸的图像构建待检测人脸的三维点云;
检测模块12用于根据构建模块11构建的待检测人脸的三维点云和预先训练的人脸活体检测模型,识别待检测人脸是否为活体人脸。
本实施例的人脸的活体检测装置,可以设置在支付平台服务器中,也可以设置在安装在移动终端的支付应用中。考虑到人脸的活体检测装置实现时对硬件的性能要求较高,所以,本实施例的人脸的活体检测装置,优选地设置在支付平台服务器中。
本实施例的人脸的活体检测装置,通过采用上述模块实现人脸的活体检测的实现原理以及技术效果与上述相关方法实施例的实现相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。
图7为本发明的人脸的活体检测装置实施例二的结构图。如图7所示,本实施例的人脸的活体检测装置,在上述图6所示实施例的技术方案的基础上,进一步更加详细地介绍本发明的技术方案。
如图7所示,本实施例的人脸的活体检测装置中,还包括:
人机交互检测模块13用于对待检测人脸执行人机交互检测,并确定待检测人脸通过人机交互检测;
采集模块10具体用于在人机交互检测模块13执行人机交互检测过程中,采集多张待检测人脸的图像。
进一步可选地,人机交互检测模块13具体用于随机生成移动方向,并在移动终端的显示屏上显示移动方向,以供待检测人脸的用户按照移动方向移动移动终端,且移动过程中要求待检测人脸始终落在预设区域内;
采集模块10具体采集待检测人脸的用户移动移动终端过程中、落入预设区域中的连续的多张待检测人脸的图像;
人机交互检测模块13具体还用于根据采集模块10采集的多张待检测人脸的图像分析待检测人脸的用户是否按照移动方向移动移动终端;若是,确定待检测人脸通过人机交互检测。
进一步可选地,如图7所示,本实施例的人脸的活体检测装置中,还包括:
平面验证模块14用于在人机交互检测模块13确定待检测人脸通过人机交互检测之后,根据采集模块10采集的多张待检测人脸的图像检测待检测人脸与背景是否在同一平面上;并确定待检测人脸与背景不在同一平面上。
进一步可选地,本实施例的人脸的活体检测装置中,平面验证模块14具体用于:
对于各张待检测人脸的图像,获取对应的人脸区域和背景区域;
根据人脸区域和/或背景区域,建立单应性矩阵;
根据单应性矩阵验证对应的人脸区域与背景区域是否在同一个平面上;
根据多张待检测人脸的图像对应的人脸区域与背景区域是否在同一个平面上的验证结果,确定待检测人脸与背景是否在同一平面上。
进一步可选地,本实施例的人脸的活体检测装置中,构建模块11具体用于:
在平面验证模块14确定待检测人脸与背景不在同一平面上时,从采集模块10采集的多张待检测人脸的图像中获取两张人脸区域在相应的图像中的位置差别最大的图像,作为两张目标图像;
从两张目标图像的人脸区域中获取互相匹配的特征点;
根据两张目标图像中的人脸区域中互相匹配的特征点,预估相机位姿;
根据两张目标图像中的人脸区域中互相匹配的特征点和相机位姿,重构稀疏的待检测人脸的三维点云;
利用多张待检测人脸的图像中目标图像之外的其他图像,稠密重构的待检测人脸的三维点云。
进一步可选地,本实施例的人脸的活体检测装置中,检测模块12具体用于:
利用预设的两眼之间的距离,获取构建模块11构建的待检测人脸的三维点云的尺寸;
基于待检测人脸的三维点云的尺寸不变的前提下,将待检测人脸的三维点云矫正至正面视角;
将矫正后的待检测人脸的三维点云栅格化在三维立方体中,使得待检测人脸的三维点云分布在三维立方体的多个大小相同的格子中;
获取三维立方体中每个格子中包括的待检测人脸的三维点云的信息;
根据三维立方体中每个格子中包括的待检测人脸的三维点云的信息和人脸活体检测模型,识别待检测人脸是否为活体人脸。
进一步可选地,本实施例的人脸的活体检测装置中,检测模块12具体用于:
根据三维立方体中每个格子中包括的待检测人脸的三维点云的信息,统计各格子中包括的待检测人脸的三维点云中的点的特征;将各格子中包括的待检测人脸的三维点云中的点的特征输入至人脸活体检测模型中,使得人脸活体检测模型预测待检测人脸是否为活体人脸;
或者将三维立方体中每个格子中包括的待检测人脸的三维点云的信息输入至人脸活体检测模型中,使得人脸活体检测模型预测待检测人脸是否为活体人脸。
本实施例的人脸的活体检测装置,通过采用上述模块实现人脸的活体检测的实现原理以及技术效果与上述相关方法实施例的实现相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。
图8为本发明的计算机设备实施例的结构图。如图8所示,本实施例的计算机设备,包括:一个或多个处理器30,以及存储器40,存储器40用于存储一个或多个程序,当存储器40中存储的一个或多个程序被一个或多个处理器30执行,使得一个或多个处理器30实现如上图1-图5所示实施例的人脸的活体检测方法。图8所示实施例中以包括多个处理器30为例。
例如,图9为本发明提供的一种计算机设备的示例图。图9示出了适于用来实现本发明实施方式的示例性计算机设备12a的框图。图9显示的计算机设备12a仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示,计算机设备12a以通用计算设备的形式表现。计算机设备12a的组件可以包括但不限于:一个或者多个处理器16a,系统存储器28a,连接不同系统组件(包括系统存储器28a和处理器16a)的总线18a。
总线18a表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12a典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12a访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28a可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30a和/或高速缓存存储器32a。计算机设备12a可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34a可以用于读写不可移动的、非易失性磁介质(图9未显示,通常称为“硬盘驱动器”)。尽管图9中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18a相连。系统存储器28a可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明上述图1-图7各实施例的功能。
具有一组(至少一个)程序模块42a的程序/实用工具40a,可以存储在例如系统存储器28a中,这样的程序模块42a包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42a通常执行本发明所描述的上述图1-图7各实施例中的功能和/或方法。
计算机设备12a也可以与一个或多个外部设备14a(例如键盘、指向设备、显示器24a等)通信,还可与一个或者多个使得用户能与该计算机设备12a交互的设备通信,和/或与使得该计算机设备12a能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22a进行。并且,计算机设备12a还可以通过网络适配器20a与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20a通过总线18a与计算机设备12a的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12a使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16a通过运行存储在系统存储器28a中的程序,从而执行各种功能应用以及数据处理,例如实现上述实施例所示的人脸的活体检测方法。
本发明还提供一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例所示的人脸的活体检测方法。
本实施例的计算机可读介质可以包括上述图9所示实施例中的系统存储器28a中的RAM30a、和/或高速缓存存储器32a、和/或存储系统34a。
随着科技的发展,计算机程序的传播途径不再受限于有形介质,还可以直接从网络下载,或者采用其他方式获取。因此,本实施例中的计算机可读介质不仅可以包括有形的介质,还可以包括无形的介质。
本实施例的计算机可读介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (18)

1.一种人脸的活体检测方法,其特征在于,所述方法包括:
在检测到待检测人脸位于移动终端的显示屏中的预设区域内之后,采集多张所述待检测人脸的图像;
根据采集的多张所述待检测人脸的图像构建所述待检测人脸的三维点云;
根据所述待检测人脸的三维点云和预先训练的人脸活体检测模型,识别所述待检测人脸是否为活体人脸。
2.根据权利要求1所述的方法,其特征在于,在检测到待检测人脸位于移动终端的显示屏中的预设区域内之后,采集多张所述待检测人脸的图像之前,所述方法还包括:
对所述待检测人脸执行人机交互检测,并确定所述待检测人脸通过人机交互检测;
所述采集多张所述待检测人脸的图像,具体包括:在所述人机交互检测过程中,采集所述多张所述待检测人脸的图像。
3.根据权利要求2所述的方法,其特征在于,对所述待检测人脸执行人机交互检测,并确定所述待检测人脸通过人机交互检测,具体包括:
随机生成移动方向,并在所述移动终端的显示屏上显示所述移动方向,以供所述待检测人脸的用户按照所述移动方向移动所述移动终端,且移动过程中要求所述待检测人脸始终落在所述预设区域内;
采集所述待检测人脸的用户移动所述移动终端过程中、落入所述预设区域中的连续的多张所述待检测人脸的图像;
根据多张所述待检测人脸的图像分析所述待检测人脸的用户是否按照所述移动方向移动所述移动终端;若是,确定所述待检测人脸通过所述人机交互检测。
4.根据权利要求1-3任一所述的方法,其特征在于,所述采集多张所述待检测人脸的图像之后,根据采集的所述待检测人脸的图像构建所述待检测人脸的三维点云之前,所述方法还包括:
根据采集的多张所述待检测人脸的图像检测所述待检测人脸与背景是否在同一平面上;
并确定所述待检测人脸与背景不在同一平面上。
5.根据权利要求4所述的方法,其特征在于,根据采集的多张所述待检测人脸的图像检测所述待检测人脸与背景是否在同一平面上,具体包括:
对于各张所述待检测人脸的图像,获取对应的人脸区域和背景区域;
根据所述人脸区域和/或所述背景区域,建立单应性矩阵;
根据所述单应性矩阵验证对应的所述人脸区域与所述背景区域是否在同一个平面上;
根据多张所述待检测人脸的图像对应的所述人脸区域与所述背景区域是否在同一个平面上的验证结果,确定所述待检测人脸与背景是否在同一平面上。
6.根据权利要求1-3任一所述的方法,其特征在于,根据采集的多张所述待检测人脸的图像构建所述待检测人脸的三维点云,具体包括:
从多张所述待检测人脸的图像中获取两张人脸区域在相应的图像中的位置差别最大的图像,作为两张目标图像;
从所述两张目标图像的所述人脸区域中获取互相匹配的特征点;
根据所述两张目标图像中的所述人脸区域中互相匹配的特征点,预估相机位姿;
根据所述两张目标图像中的所述人脸区域中互相匹配的特征点和所述相机位姿,重构稀疏的所述待检测人脸的三维点云;
利用多张所述待检测人脸的图像中所述目标图像之外的其他图像,稠密重构的所述待检测人脸的三维点云。
7.根据权利要求6所述的方法,其特征在于,根据所述待检测人脸的三维点云和预先训练的人脸活体检测模型,识别所述待检测人脸是否为活体人脸,具体包括:
利用预设的两眼之间的距离,获取所述待检测人脸的三维点云的尺寸;
基于所述待检测人脸的三维点云的尺寸不变的前提下,将所述待检测人脸的三维点云矫正至正面视角;
将矫正后的所述待检测人脸的三维点云栅格化在三维立方体中,使得所述待检测人脸的三维点云分布在所述三维立方体的多个大小相同的格子中;
获取所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息;
根据所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息和所述人脸活体检测模型,识别所述待检测人脸是否为活体人脸。
8.根据权利要求7所述的方法,其特征在于,根据所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息和所述人脸活体检测模型,识别所述待检测人脸是否为活体人脸,具体包括:
根据所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息,统计各所述格子中包括的所述待检测人脸的三维点云中的点的特征;将各所述格子中包括的所述待检测人脸的三维点云中的点的特征输入至所述人脸活体检测模型中,使得所述人脸活体检测模型预测所述待检测人脸是否为活体人脸;
或者将所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息输入至所述人脸活体检测模型中,使得所述人脸活体检测模型预测所述待检测人脸是否为活体人脸。
9.一种人脸的活体检测装置,其特征在于,所述装置包括:
采集模块,用于在检测到待检测人脸位于移动终端的显示屏中的预设区域内之后,采集多张所述待检测人脸的图像;
构建模块,用于根据采集的多张所述待检测人脸的图像构建所述待检测人脸的三维点云;
检测模块,用于根据所述待检测人脸的三维点云和预先训练的人脸活体检测模型,识别所述待检测人脸是否为活体人脸。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
人机交互检测模块,用于对所述待检测人脸执行人机交互检测,并确定所述待检测人脸通过人机交互检测;
所述采集模块,具体用于在所述人机交互检测过程中,采集所述多张所述待检测人脸的图像。
11.根据权利要求10所述的装置,其特征在于,所述人机交互检测模块,具体用于随机生成移动方向,并在所述移动终端的显示屏上显示所述移动方向,以供所述待检测人脸的用户按照所述移动方向移动所述移动终端,且移动过程中要求所述待检测人脸始终落在所述预设区域内;
所述采集模块,具体采集所述待检测人脸的用户移动所述移动终端过程中、落入所述预设区域中的连续的多张所述待检测人脸的图像;
所述人机交互检测模块,具体还用于根据多张所述待检测人脸的图像分析所述待检测人脸的用户是否按照所述移动方向移动所述移动终端;若是,确定所述待检测人脸通过所述人机交互检测。
12.根据权利要求9-11任一所述的装置,其特征在于,所述装置还包括:
平面验证模块,用于根据采集的多张所述待检测人脸的图像检测所述待检测人脸与背景是否在同一平面上;并确定所述待检测人脸与背景不在同一平面上。
13.根据权利要求12所述的装置,其特征在于,所述平面验证模块,具体用于:
对于各张所述待检测人脸的图像,获取对应的人脸区域和背景区域;
根据所述人脸区域和/或所述背景区域,建立单应性矩阵;
根据所述单应性矩阵验证对应的所述人脸区域与所述背景区域是否在同一个平面上;
根据多张所述待检测人脸的图像对应的所述人脸区域与所述背景区域是否在同一个平面上的验证结果,确定所述待检测人脸与背景是否在同一平面上。
14.根据权利要求9-11任一所述的装置,其特征在于,所述构建模块,具体用于:
从多张所述待检测人脸的图像中获取两张人脸区域在相应的图像中的位置差别最大的图像,作为两张目标图像;
从所述两张目标图像的所述人脸区域中获取互相匹配的特征点;
根据所述两张目标图像中的所述人脸区域中互相匹配的特征点,预估相机位姿;
根据所述两张目标图像中的所述人脸区域中互相匹配的特征点和所述相机位姿,重构稀疏的所述待检测人脸的三维点云;
利用多张所述待检测人脸的图像中所述目标图像之外的其他图像,稠密重构的所述待检测人脸的三维点云。
15.根据权利要求14所述的装置,其特征在于,所述检测模块,具体用于:
利用预设的两眼之间的距离,获取所述待检测人脸的三维点云的尺寸;
基于所述待检测人脸的三维点云的尺寸不变的前提下,将所述待检测人脸的三维点云矫正至正面视角;
将矫正后的所述待检测人脸的三维点云栅格化在三维立方体中,使得所述待检测人脸的三维点云分布在所述三维立方体的多个大小相同的格子中;
获取所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息;
根据所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息和所述人脸活体检测模型,识别所述待检测人脸是否为活体人脸。
16.根据权利要求15所述的装置,其特征在于,所述检测模块,具体用于:
根据所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息,统计各所述格子中包括的所述待检测人脸的三维点云中的点的特征;将各所述格子中包括的所述待检测人脸的三维点云中的点的特征输入至所述人脸活体检测模型中,使得所述人脸活体检测模型预测所述待检测人脸是否为活体人脸;
或者将所述三维立方体中每个格子中包括的所述待检测人脸的三维点云的信息输入至所述人脸活体检测模型中,使得所述人脸活体检测模型预测所述待检测人脸是否为活体人脸。
17.一种计算机设备,其特征在于,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN201810044315.4A 2018-01-17 2018-01-17 人脸的活体检测方法、装置、计算机设备及可读介质 Active CN108319901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810044315.4A CN108319901B (zh) 2018-01-17 2018-01-17 人脸的活体检测方法、装置、计算机设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810044315.4A CN108319901B (zh) 2018-01-17 2018-01-17 人脸的活体检测方法、装置、计算机设备及可读介质

Publications (2)

Publication Number Publication Date
CN108319901A true CN108319901A (zh) 2018-07-24
CN108319901B CN108319901B (zh) 2019-08-27

Family

ID=62894471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810044315.4A Active CN108319901B (zh) 2018-01-17 2018-01-17 人脸的活体检测方法、装置、计算机设备及可读介质

Country Status (1)

Country Link
CN (1) CN108319901B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059579A (zh) * 2019-03-27 2019-07-26 北京三快在线科技有限公司 用于活体检验的方法和装置,电子设备和存储介质
CN110222573A (zh) * 2019-05-07 2019-09-10 平安科技(深圳)有限公司 人脸识别方法、装置、计算机设备及存储介质
CN110334637A (zh) * 2019-06-28 2019-10-15 百度在线网络技术(北京)有限公司 人脸活体检测方法、装置及存储介质
CN110443802A (zh) * 2019-08-29 2019-11-12 景致三维(江苏)股份有限公司 图像检测方法和装置、设备及存储介质
CN111046845A (zh) * 2019-12-25 2020-04-21 上海骏聿数码科技有限公司 活体检测方法、装置及系统
CN111079470A (zh) * 2018-10-18 2020-04-28 杭州海康威视数字技术股份有限公司 人脸活体检测的方法和装置
CN111126246A (zh) * 2019-12-20 2020-05-08 河南中原大数据研究院有限公司 基于3d点云几何特征的人脸活体检测方法
CN111127639A (zh) * 2019-12-30 2020-05-08 深圳小佳科技有限公司 一种基于云端的人脸3d模型构建方法、存储介质及系统
CN111160233A (zh) * 2019-12-27 2020-05-15 中国科学院苏州纳米技术与纳米仿生研究所 基于三维成像辅助的人脸活体检测方法、介质及系统
CN111339958A (zh) * 2020-02-28 2020-06-26 山东笛卡尔智能科技有限公司 一种基于单目视觉的人脸活体检测方法及系统
GB2579583A (en) * 2018-12-04 2020-07-01 Yoti Holding Ltd Anti-spoofing
CN111860477A (zh) * 2020-01-22 2020-10-30 北京嘀嘀无限科技发展有限公司 车辆信息的验证方法和系统、终端和计算机可读存储介质
WO2022037253A1 (zh) * 2020-08-19 2022-02-24 腾讯科技(深圳)有限公司 人脸图像的处理方法、装置、计算机可读介质及设备
US11657525B2 (en) 2018-12-04 2023-05-23 Yoti Holding Limited Extracting information from images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868677A (zh) * 2015-01-19 2016-08-17 阿里巴巴集团控股有限公司 一种活体人脸检测方法及装置
CN106937532A (zh) * 2014-11-07 2017-07-07 北京市商汤科技开发有限公司 用于检测真正用户的系统和方法
CN107247916A (zh) * 2017-04-19 2017-10-13 广东工业大学 一种基于Kinect的三维人脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106937532A (zh) * 2014-11-07 2017-07-07 北京市商汤科技开发有限公司 用于检测真正用户的系统和方法
CN105868677A (zh) * 2015-01-19 2016-08-17 阿里巴巴集团控股有限公司 一种活体人脸检测方法及装置
CN107247916A (zh) * 2017-04-19 2017-10-13 广东工业大学 一种基于Kinect的三维人脸识别方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079470B (zh) * 2018-10-18 2023-08-22 杭州海康威视数字技术股份有限公司 人脸活体检测的方法和装置
CN111079470A (zh) * 2018-10-18 2020-04-28 杭州海康威视数字技术股份有限公司 人脸活体检测的方法和装置
US11941918B2 (en) 2018-12-04 2024-03-26 Yoti Holding Limited Extracting information from images
GB2579583B (en) * 2018-12-04 2021-01-06 Yoti Holding Ltd Anti-spoofing
GB2579583A (en) * 2018-12-04 2020-07-01 Yoti Holding Ltd Anti-spoofing
US11657525B2 (en) 2018-12-04 2023-05-23 Yoti Holding Limited Extracting information from images
US11281921B2 (en) 2018-12-04 2022-03-22 Yoti Holding Limited Anti-spoofing
CN110059579A (zh) * 2019-03-27 2019-07-26 北京三快在线科技有限公司 用于活体检验的方法和装置,电子设备和存储介质
CN110222573B (zh) * 2019-05-07 2024-05-28 平安科技(深圳)有限公司 人脸识别方法、装置、计算机设备及存储介质
CN110222573A (zh) * 2019-05-07 2019-09-10 平安科技(深圳)有限公司 人脸识别方法、装置、计算机设备及存储介质
CN110334637A (zh) * 2019-06-28 2019-10-15 百度在线网络技术(北京)有限公司 人脸活体检测方法、装置及存储介质
CN110443802A (zh) * 2019-08-29 2019-11-12 景致三维(江苏)股份有限公司 图像检测方法和装置、设备及存储介质
CN110443802B (zh) * 2019-08-29 2022-12-02 景致三维(江苏)股份有限公司 图像检测方法和装置、设备及存储介质
CN111126246A (zh) * 2019-12-20 2020-05-08 河南中原大数据研究院有限公司 基于3d点云几何特征的人脸活体检测方法
CN111126246B (zh) * 2019-12-20 2023-04-07 陕西西图数联科技有限公司 基于3d点云几何特征的人脸活体检测方法
CN111046845A (zh) * 2019-12-25 2020-04-21 上海骏聿数码科技有限公司 活体检测方法、装置及系统
CN111160233B (zh) * 2019-12-27 2023-04-18 中国科学院苏州纳米技术与纳米仿生研究所 基于三维成像辅助的人脸活体检测方法、介质及系统
CN111160233A (zh) * 2019-12-27 2020-05-15 中国科学院苏州纳米技术与纳米仿生研究所 基于三维成像辅助的人脸活体检测方法、介质及系统
CN111127639A (zh) * 2019-12-30 2020-05-08 深圳小佳科技有限公司 一种基于云端的人脸3d模型构建方法、存储介质及系统
CN111860477A (zh) * 2020-01-22 2020-10-30 北京嘀嘀无限科技发展有限公司 车辆信息的验证方法和系统、终端和计算机可读存储介质
CN111339958A (zh) * 2020-02-28 2020-06-26 山东笛卡尔智能科技有限公司 一种基于单目视觉的人脸活体检测方法及系统
CN111339958B (zh) * 2020-02-28 2023-08-29 南京鑫之派智能科技有限公司 一种基于单目视觉的人脸活体检测方法及系统
CN114170640A (zh) * 2020-08-19 2022-03-11 腾讯科技(深圳)有限公司 人脸图像的处理方法、装置、计算机可读介质及设备
WO2022037253A1 (zh) * 2020-08-19 2022-02-24 腾讯科技(深圳)有限公司 人脸图像的处理方法、装置、计算机可读介质及设备
CN114170640B (zh) * 2020-08-19 2024-02-02 腾讯科技(深圳)有限公司 人脸图像的处理方法、装置、计算机可读介质及设备

Also Published As

Publication number Publication date
CN108319901B (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN108319901B (zh) 人脸的活体检测方法、装置、计算机设备及可读介质
CN108229329B (zh) 人脸防伪检测方法和系统、电子设备、程序和介质
JP6681729B2 (ja) オブジェクトの3d姿勢およびオブジェクトのランドマーク点の3dロケーションを求める方法、およびオブジェクトの3d姿勢およびオブジェクトのランドマークの3dロケーションを求めるシステム
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
US9177381B2 (en) Depth estimate determination, systems and methods
EP4002290A1 (en) Three-dimensional facial model generation method and apparatus, computer device and storage medium
KR102476016B1 (ko) 안구 위치 정보 확정 방법 및 장치
CN104240277B (zh) 基于人脸检测的增强现实交互方法和系统
CN109034102A (zh) 人脸活体检测方法、装置、设备及存储介质
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
CN110222573A (zh) 人脸识别方法、装置、计算机设备及存储介质
WO2019169884A1 (zh) 基于深度信息的图像显著性检测方法和装置
CN110400304A (zh) 基于深度学习的物体检测方法、装置、设备及存储介质
CN106570482B (zh) 人体动作识别方法及装置
CN110175528A (zh) 人体跟踪方法及装置、计算机设备及可读介质
US9208606B2 (en) System, method, and computer program product for extruding a model through a two-dimensional scene
CN113422982B (zh) 数据处理方法、装置、设备及存储介质
CN108182663A (zh) 一种毫米波图像效果增强方法、设备和可读存储介质
CN109146769A (zh) 图像处理方法及装置、图像处理设备及存储介质
CN108388889A (zh) 用于分析人脸图像的方法和装置
CN111325107A (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN110007764B (zh) 一种手势骨架识别方法、装置、系统及存储介质
US10861174B2 (en) Selective 3D registration
CN116048763A (zh) 一种基于bev多任务模型框架的任务处理方法、装置
CN109961503A (zh) 一种图像处理方法及装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant