CN111368601B - 活体检测方法和装置、电子设备和计算机可读存储介质 - Google Patents
活体检测方法和装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111368601B CN111368601B CN201811600573.2A CN201811600573A CN111368601B CN 111368601 B CN111368601 B CN 111368601B CN 201811600573 A CN201811600573 A CN 201811600573A CN 111368601 B CN111368601 B CN 111368601B
- Authority
- CN
- China
- Prior art keywords
- target object
- image
- classification result
- dummy
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例公开了一种活体检测方法和装置、电子设备和计算机可读存储介质,其中,活体检测方法包括:获取摄像头采集到的包括目标对象的待检测图像;对所述待检测图像进行特征提取,得到特征数据;基于所述特征数据,得到所述目标对象的分类结果,其中所述分类结果为真人、假人或干扰项。本公开实施例可以提升活体检测结果的准确率。
Description
技术领域
本公开涉及图像处理技术,尤其是一种活体检测方法和装置、电子设备和计算机可读存储介质。
背景技术
随着计算机视觉技术的不断发展,人脸识别技术已经得到了广泛的应用,然而,由于人脸的易获得和易伪造特性,需要通过活体检测来判定在摄像头前的人脸图像是否来自真实的人,以提高人脸识别的安全性。目前,如何提高活体检测的准确度是本领域的研究热点。
发明内容
本公开实施例提供一种活体检测的技术方案。
根据本公开实施例的一个方面,提供的一种活体检测方法,包括:
获取摄像头采集到的包括目标对象的待检测图像;
对所述待检测图像进行特征提取,得到特征数据;
基于所述特征数据,得到所述目标对象的分类结果,其中所述分类结果为真人、假人或干扰项。
可选地,在上述活体检测方法实施例中,所述摄像头包括:单目摄像头、双目摄像头或三维摄像头。
可选地,在上述活体检测方法实施例中,所述基于所述特征数据,得到所述目标对象的分类结果,包括:
基于所述特征数据,得到所述目标对象分别属于真人、假人和干扰项的概率值;
基于所述目标对象分别属于真人、假人和干扰项的概率值,确定所述目标对象的分类结果。
可选地,在上述活体检测方法实施例中,所述基于所述目标对象分别属于真人、假人和干扰项的概率值,确定所述目标对象的分类结果,包括:
在所述目标对象属于真人的概率值大于或等于预设值的情况下,确定所述目标对象的分类结果为真人;和/或,
在所述目标对象属于真人的概率值小于预设值的情况下,基于所述目标对象属于假人的概率值和所述目标对象属于干扰项的概率值之间的大小关系,确定所述目标对象的分类结果。
可选地,在上述活体检测方法实施例中,所述摄像头包括下列图像传感器中的至少一项:可见光传感器、近红外传感器、红外传感器、宽动态传感器。
可选地,在上述活体检测方法实施例中,所述待检测图像包括第一图像和第二图像,所述特征数据包括从所述第一图像提取到的第一特征和从所述第二图像中提取到的第二特征。
可选地,在上述活体检测方法实施例中,所述基于所述特征数据,得到所述目标对象的分类结果,包括:
对所述第一特征和所述第二特征进行融合处理,得到融合特征;
基于所述融合特征,得到所述目标对象的分类结果。
可选地,在上述活体检测方法实施例中,还包括:获取所述待检测图像中的多个像素点的深度信息;
所述基于所述特征数据,得到所述目标对象的分类结果,包括:
基于所述特征数据和所述深度信息,得到所述目标对象的分类结果。
可选地,在上述活体检测方法实施例中,所述获取所述待检测图像中的多个像素点的深度信息,包括:
获取所述摄像头的深度传感器采集到的所述待检测图像对应的深度图。
可选地,在上述活体检测方法实施例中,所述获取所述待检测图像中的多个像素点的深度信息,包括:通过对所述第一图像和所述第二图像进行处理,得到所述待检测图像中的多个像素点的深度信息。
可选地,在上述活体检测方法实施例中,还包括:
在所述分类结果为真人的情况下,输出提示通过活体检测的提示信息;和/或,
在所述分类结果为假人或者干扰项的情况下,输出提示未通过活体检测的提示信息。
可选地,在上述活体检测方法实施例中,所述方法通过神经网络实现,所述方法还包括:
通过训练集对所述神经网络进行训练,其中,所述训练集包括:真人样本图像、假人样本图像与干扰样本图像。
根据本公开实施例的另一个方面,提供的一种活体检测装置,包括:
第一获取模块,用于获取摄像头采集到的包括目标对象的待检测图像;
特征提取模块,用于对所述待检测图像进行特征提取,得到特征数据;
确定模块,用于基于所述特征数据,得到所述目标对象的分类结果,其中所述分类结果为真人、假人或干扰项。
可选地,在上述活体检测装置实施例中,所述摄像头包括:单目摄像头、双目摄像头或三维摄像头。
可选地,在上述活体检测装置实施例中,所述确定模块包括:
第一确定单元,用于基于所述特征数据,得到所述目标对象分别属于真人、假人和干扰项的概率值;
第二确定单元,用于基于所述目标对象分别属于真人、假人和干扰项的概率值,确定所述目标对象的分类结果。
可选地,在上述活体检测装置实施例中,所述第二确定单元,用于:
在所述目标对象属于真人的概率值大于或等于预设值的情况下,确定所述目标对象的分类结果为真人;和/或,
在所述目标对象属于真人的概率值小于预设值的情况下,基于所述目标对象属于假人的概率值和所述目标对象属于干扰项的概率值之间的大小关系,确定所述目标对象的分类结果。
可选地,在上述活体检测装置实施例中,所述摄像头包括下列图像传感器中的至少一项:可见光传感器、近红外传感器、红外传感器、宽动态传感器。
可选地,在上述活体检测装置实施例中,所述待检测图像包括第一图像和第二图像,所述特征数据包括从所述第一图像提取到的第一特征和从所述第二图像中提取到的第二特征。
可选地,在上述活体检测装置实施例中,所述确定模块包括:
融合单元,用于对所述第一特征和所述第二特征进行融合处理,得到融合特征;
确定单元,用于基于所述融合特征,得到所述目标对象的分类结果。
可选地,在上述活体检测装置实施例中,还包括:
第二获取模块,用于获取所述待检测图像中的多个像素点的深度信息;
所述确定模块,用于基于所述特征数据和所述深度信息,得到所述目标对象的分类结果。
可选地,在上述活体检测装置实施例中,所述第二获取模块,用于获取所述摄像头的深度传感器采集到的所述待检测图像对应的深度图。
可选地,在上述活体检测装置实施例中,所述第二获取模块,用于通过对所述第一图像和所述第二图像进行处理,得到所述待检测图像中的多个像素点的深度信息。
可选地,在上述活体检测装置实施例中,还包括:
输出模块,用于在所述分类结果为真人的情况下,输出提示通过活体检测的提示信息;和/或,在所述分类结果为假人或者干扰项的情况下,输出提示未通过活体检测的提示信息。
可选地,在上述活体检测装置实施例中,所述装置通过神经网络实现,所述神经网络基于训练集训练得到,其中,所述训练集包括:真人样本图像、假人样本图像与干扰样本图像。
根据本公开实施例的又一个方面,提供的一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现本公开上述任一实施例所述的方法。
根据本公开实施例的又一个方面,提供的一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现本公开上述任一实施例所述的方法。
根据本公开实施例的又一个方面,提供的一种计算机程序产品,包括计算机可读指令,其中,所述计算机可读指令被处理器执行时,所述处理器实现上述一个方面或上述一个方面的任意实施例所述的方法。
可选地,所述计算机程序产品包括计算机存储介质,所述计算机可读指令存储在所述计算机存储介质上。
基于本公开上述实施例提供的活体检测方法和装置、电子设备和计算机可读存储介质,通过对包括目标对象的待检测图像进行特征提取,并基于提取的特征数据干扰项得到目标对象为真人、假人或干扰项的分类结果。本公开实施例可以将目标对象分类为真人、假人或干扰项,更贴近真实检测场景,通过在分类结果中增加干扰项的分类结果确定目标对象的活体检测结果,使得目标对象的分类结果更精确,提升了活体检测结果的准确率。
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同描述一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
图1为本公开实施例提供的活体检测方法的示意性流程图。
图2为本公开实施例提供的活体检测方法的另一示意性流程图。
图3为本公开实施例提供的活体检测装置的结构示意图。
图4为本公开实施例提供的活体检测装置的另一结构示意图。
图5为本公开实施例提供的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开实施例提供的活体检测方法可以由手机、台式电脑、膝上计算机、可穿戴设备等具备图像处理功能的终端设备或服务器或其他类型的电子设备实现,此处不作限定。为了便于理解,下文将活体检测方法的执行主体称为活体检测装置。
图1为本公开实施例提供的活体检测方法的示意性流程图。
102,获取摄像头采集到的包括目标对象的待检测图像。
待检测图像是通过摄像头采集到的。其中,摄像头可以采集静态的图像,如JPEG,TIFF,BMP,GIF,PNG,RAW等格式的图片。或者,摄像头也可以采集连续的视频流,然后从采集到的视频流中选取一帧或多帧图像作为待检测图像,相应地,待检测图像可以为静态图像或者视频帧图像,本公开实施例对此不做限定。
在本公开实施例中,可选地,所述摄像头是如下摄像头中的任意一种:单目摄像头、多目摄像头(例如双目摄像头)和3D摄像头,其中,双目摄像头可以是同模态双目摄像头或者跨模态双目摄像头。相应地,所述待检测图像是通过单目摄像头、双目摄像头和3D摄像头中的任意一种摄像头采集到的。在一些实施例中,待检测图像是通过单目摄像头采集到的,此时,待检测图像可以是一幅图像。在一些实施例中,待检测图像是通过双目摄像头采集到的,此时,待检测图像是包括两幅图像的图像对,例如包括左视图和右视图的图像对。在一些实施例中,待检测图像是通过3D摄像头采集到的,此时,待检测图像包括RGB等类型的图像和对应的深度图,但本公开实施例对此不做限定。
在本公开实施例中,可以通过多种方式获取待检测图像。在一些实施例中,活体检测装置上设置有摄像头,活体检测装置通过摄像头进行静态图像或视频流采集,得到待检测图像,本公开实施例对此不做限定。
在一些实施例中,活体检测装置接收其他设备发送的待检测图像,例如,该待检测图像可以携带在活体检测请求或身份认证请求或其他消息中发送,本公开实施例对此不做限定。例如,活体检测装置接收设置有摄像头的终端设备发送的待检测图像,其中,可选地,终端设备可以向活体检测装置(例如服务器)发送待检测图像,其中,该待检测图像可以是摄像头采集到的静态图像或者是从摄像头采集到的视频序列中选帧得到的视频帧图像;或者,终端设备向活体检测装置发送包括待检测图像的视频序列,活体检测装置在接收到终端设备发送的视频序列之后,通过选帧得到待检测图像。
在一些实施例中,待检测图像是对摄像头采集到的视频流或视频序列执行以下选帧流程得到的:基于图像中包括的目标对象的关键点信息和图像质量,从视频流包括的多帧图像中选择一帧或多帧图像。例如,基于通过关键点模型检测到的关键点信息确定所述待检测视频每一帧或者间隔若干帧图像中目标对象的姿态,例如人脸朝向,并确定所述待检测视频每一帧或者间隔若干帧图像的图像质量,其中,图像质量可以基于图像清晰度、图像亮度、图像曝光度、图像对比度、人脸完整度、人脸是否有遮挡等一种或任意多种因素的组合来进行考量,最后,综合目标对象的姿态和图像质量,选择姿态符合预设条件(例如人脸朝向为正面朝向或者人脸朝向与正向之间的夹角低于设定阈值)且图像质量较高的一帧或者多帧图像作为所述待检测图像。
在一些实施例中,从视频流中筛选出满足预设条件的一个或多个图像作为待检测图像,其中,所述预设条件包括以下因素中的一种或多种因素的任意组合:图像中的人脸朝向是否正面朝向、是否处于闭眼状态、是否处于张嘴状态、是否出现运动模糊或者对焦模糊等,本公开实施例对此不做限定。
在一些实施例中,上述关键点模型可以通过深度神经网络实现,例如卷积神经网络、循环神经网络等,例如可以是LeNet、AlexNet、GoogLeNet、VGGNet、ResNet等任意类型的神经网络模型,或者,关键点模型也可以是基于其他机器学习方法的模型,本公开实施例对关键点模型的具体实现不作限定。
104,对待检测图像进行特征提取,得到特征数据。
在一些实施例中,所述特征数据包括下列类型的特征中的一项或任意多项的组合:局部二值模式(LBP,Local Binary Patterns)特征、稀疏编码直方图(HSC,Histogramof Sparse Code)特征、颜色特征(RGB,Red Green Blue)、全图特征(LARGE)、区域特征(SMALL)、细节特征(TINY)。
局部二值模式特征主要用于度量和提取图像局部的纹理信息,对光照有不变性。利用局部二值模型特征,可以突出待检测图像中的边缘部位的信息。例如纸质图片的边缘和屏幕的边缘。
稀疏编码直方图特征包括利用稀疏编码原理提取图像特征的方法,利用稀疏编码直方图特征,可以更加明显的反映出待检测图像中的反光信息和模糊信息。
颜色特征包括图像中不同颜色的特征,利用颜色特征,可以提取出待检测图像中的不同目标物体的形状、轮廓等信息。
图像的全图特征包括图像中全部区域的特征,基于全图特征,可以提取到待检测图像中各区域中可能存在的伪造信息。
图像的区域特征包括图像中检测出的面部所在区域中的特征,其中,可选地,该区域可以是通过对人脸框放大预设倍数得到的,基于区域特征,可以提取到待检测图像中反光、屏幕摩尔纹的边缘等伪造信息。
图像的细节特征包括图像中设定的细节区域或形状,基于细节特征,可以提取到待检测图像中不同细节部分的伪造信息,例如,图像PS、翻拍屏幕摩尔纹、模特或者面具的纹理等伪造线索。
应理解,以上列举的特征类型仅仅用于举例说明,具体应用中,可以根据应用场景中可能出现的伪造方式确定提取的特征数据的类型,本公开实施例对此不做限定。
在一些实施例中,可以直接对待检测图像进行特征提取,或者先对待检测图像进行预处理,并对预处理后的待检测图像进行特征提取,其中,可选地,该预处理包括裁剪、旋转、缩放、转正、亮度调整等一种或任意多种处理的组合。
在一些实施例中,活体检测方法还包括:对所述待检测图像进行转正处理,得到转正处理后的待检测图像;对所述转正处理后的待检测图像进行特征提取,得到特征数据。
其中,所述转正处理是将所述待检测图像中的人脸转为正面朝向。可选地,基于待检测图像中检测到的人脸的多个人脸关键点的位置信息,在保持人脸关键点之间的相对空间关系不变的情况下,从整体上调整所述待检测图像中的人脸的面部朝向,以使得所述待检测图像中的人脸朝向正面,但本申请实施例对转正处理的具体实现不做限定。这样,在对所述待检测图像进行转正处理后再进行特征提取,有利于提高活体检测的准确度。
106,基于上述提取到的特征数据,得到目标对象的分类结果,其中的分类结果为真人、假人或干扰项。
基于提取到的上述特征数据,可以确定图像中的目标对象为真人、假人或者干扰项。其中,真人即真实人脸,假人即伪造人脸,干扰项可以包括真人与假人之外的类别,例如背景墙面、动物、花草、建筑物等等。
在其中一些可选示例中,伪造线索信息具有可见光条件下的人眼可观测性,也即,人眼在可见光条件下是可以观测到这些伪造线索信息的。基于伪造线索信息具有的该特性,使得在采用可见光摄像头(如RGB摄像头)采集的静态图像或动态视频实现活体检测成为可能,避免额外引入特定摄像头,降低硬件成本。
在实现本公开的过程中,本发明人通过研究发现,在实际应用场景中,不仅存在真实人脸和伪造人脸,还存在不是人脸的其他目标对象(本公开实施例中称为干扰项),例如背景植物、墙体、动物等等,如果仅仅以二分类方式划分真人和假人,在实际场景中进行活体检测可能会出现误检测的情况,例如将画面背景中与人脸结构相似的物体检测为人脸,存在50%的概率判断错误。
基于本公开上述实施例提供的活体检测方法,通过对包括目标对象的待检测图像进行特征提取,并基于提取的特征数据干扰项得到目标对象为真人、假人或干扰项的分类结果。本公开实施例可以将目标对象分类为真人、假人或干扰项,更贴近真实检测场景,通过在分类结果中增加干扰项的分类结果确定目标对象的活体检测结果,使得目标对象的分类结果更精确,提升了活体检测结果的准确率,具体来说,不管将背景植物、墙体、动物等等干扰项目标对象分类为假人或干扰项都将活体检测结果的正确率提升至66.66%左右,可以一定概率排除干扰项分类误差带来的对活体检测准确度的影响,使得对于真实场景应用的鲁棒性更好,活体检测结果的预测精度更高。本公开实施例能够对单目摄像头、多目摄像头、3D摄像头等各种不同类型摄像头拍摄的图像进行活体检测。
在本公开上述实施例中,如果采集待检测图像的摄像头为多目摄像头,在操作104中,分别对多目摄像头采集到的多个图像进行特征提取,得到的特征数据包括分别从多个图像提取到的特征。
相应地,在其中一些实施方式中,操作106中,可以对从待检测图像包括的多个图像进行特征提取得到的特征进行融合处理,得到融合特征,基于上述融合特征,得到目标对象的分类结果。
其中,可以将从待检测图像包括的多个图像提取到的特征进行通道叠加、连接或者逐元素相加的方式进行融合,得到融合特征,本申请实施例对融合的具体实现不做限定。
例如,双目摄像头采集的包括目标对象的待检测图像包括第一图像和第二图像,通过操作104从待检测图像提取的特征数据包括从第一图像提取到的第一特征和从第二图像中提取到的第二特征。操作106中,可以对第一特征和第二特征进行融合处理,得到融合特征;基于该融合特征,得到目标对象的分类结果。
在另一些实施方式中,操作106中,也可以分别基于从待检测图像包括的多个图像中每个图像提取的特征得到目标对象的初步分类结果,基于从多个图像中每个图像提取的特征得到的初步分类结果,得到目标对象的分类结果。
基于上述实施例,实现了对多目摄像头拍摄的待检测图像的活体检测。可以利用从多目摄像头采集的多个图像提取到的特征,对目标对象进行分类处理,从而提高分类结果的准确性。
在本公开实施例中,可以通过多种方式确定目标对象的分类结果。在一些实施例中,可以将待检测图像或从待检测图像提取的特征数据输入到活体检测神经网络进行活体检测处理,输出待检测图像中包括的目标对象的活体检测结果。在一些实施例中,也可以通过其他活体检测算法对所述待检测图像中包括的目标对象进行活体检测,本公开实施例对此不做限定。
在本公开实施例中,基于从待检测图像提取到的特征数据或者上述融合特征,可以通过多种方式确定目标对象的活体检测结果。在一些实施例中,基于从待检测图像中提取到的特征数据,得到目标对象分别为真人、假人和干扰项的概率值,即该目标对象为真人的概率值、该目标对象为假人的概率值和该目标对象为干扰项的概率值;基于目标对象分别为真人、假人和干扰项的概率值,确定目标对象的分类结果。
可选地,可以将目标对象为真人的概率值、假人的概率值和干扰项的概率值中的最大数值对应的类别确定为目标对象的分类结果。
可选地,可以基于目标对象为真人的概率值、假人的概率值和干扰项的概率值,通过预设判断依据确定目标对象的分类结果。
例如,在目标对象为真人的概率值大于或等于预设值的情况下,可以确定目标对象的分类结果为真人;再例如,在目标对象为真人的概率值小于预设值的情况下,基于目标对象为假人的概率值和干扰项的概率值之间的大小关系,确定目标对象的分类结果。
例如,若1与目标对象为真人的概率值之间的差值小于预设值,即目标对象为真人的概率值大于或等于预设值的情况下,确定目标对象的分类结果为真人。再例如,若1与目标对象为真人的概率值之间的差值大于预设值、且目标对象为假人的概率值大于目标对象为干扰项的概率值,确定目标对象的分类结果为假人;再例如,若1与目标对象为真人的概率值之间的差值大于预设值、且目标对象为假人的概率值小于目标对象为干扰项的概率值,确定目标对象的分类结果为干扰项。
可选地,上述判断依据例如可以表示为如下公式(1):
其中,T的数值可以基于实际应用需求确定,本公开实施例对此不做限定。P(真人)表示目标对象为真人的概率值,P(假人)表示目标对象为假人的概率值,P(干扰项)表示目标对象为干扰项的概率值。
或者,在另一些可选示例中,若1与目标对象为假人的概率值之间的差值小于预设值,确定目标对象的分类结果为假人;若1与目标对象为假人的概率值之间的差值大于预设值、且目标对象为真人的概率值大于干扰项的概率值,确定目标对象的分类结果为真人;若1与目标对象为假人的概率值之间的差值大于预设值、且目标对象为真人的概率值小于目标对象为干扰项的概率值,确定目标对象的分类结果为干扰项。该预设判断依据例如可以表示为如下公式(2):
或者,在又一些可选示例中,若1与目标对象为干扰项的概率值之间的差值小于预设值,确定目标对象的分类结果为干扰项;若1与目标对象为干扰项的概率值之间的差值大于预设值、且目标对象为假人的概率值大于目标对象为真人的概率值,确定目标对象的分类结果为假人;若1与目标对象为干扰项的概率值之间的差值大于预设值、且目标对象为假人的概率值小于目标对象为真人的概率值,确定目标对象的分类结果为真人。该预设判断依据例如可以表示为如下公式(3):
上述实施例,采用公式(1)、(2)或(3),基于目标对象分别为真人的概率值、假人的概率值与干扰项的概率值,确定目标对象的分类结果,通过三分类方式可以更精确、客观的确定目标对象的分类结果。
基于二分类的活体检测算法容易受真实场景下干扰物体的影响,活体检测精度提升较难,而本公开实施例增加的干扰项能够提供更丰富的特征信息,有助于提升活体检测算法的泛化能力,此外,所增加的干扰项相关数据易于取得、易于收集,增加干扰项不会带来算法的生成或更新增加过多的成本。
在一些可选示例中,本公开实施例提供的上述基于三分类的活体检测方法可以在某些情况下转换为基于二分类的活体检测方法。例如,可以在执行上述三分类之前,接收设置信息或用户指令或应用场景信息等,并基于接收到的信息确定进行基于二分类或三分类的活体检测。在一些实施例中,如果基于接收到的信息确定进行基于二分类的活体检测,则可以将“干扰项”与“假人”合并为“假人”类别,基于上述特征数据,确定目标对象属于真人还是假人。例如,若1与目标对象为真人的概率值之间的差值小于预设值,确定目标对象的分类结果为真人;再例如,若1与目标对象为真人的概率值之间的差值大于预设值,确定目标对象的分类结果为假人。该预设判断依据例如可以表示为如下公式(4):
在本公开的一些实施方式中,如果采集待检测图像包括多目摄像头采集到的多个图像,操作106中对从该待检测图像包括的多个图像的特征进行了融合处理得到融合特征,则可以基于融合特征得到目标对象为真人的概率值、假人的概率值和干扰项的概率值,然后基于目标对象为真人的概率值、假人的概率值和干扰项的概率值,确定目标对象的分类结果。
在本公开的另一些实施方式中,如果待检测图像包括多目摄像头采集到的多个图像,操作106中基于从待检测图像包括的每个图像提取的特征得到目标对象的初步分类结果,基于多个图像中每个图像对应的初步分类结果,得到目标对象的分类结果。例如,可以基于从每个图像提取的特征,确定该每个图像对应的目标对象分别为真人的概率值、假人的概率值与干扰项的概率值,并基于多个图像中每个图像对应的目标对象为真人的概率值、假人的概率值与干扰项的概率值,确定目标对象的分类结果。
在其中一些可选示例中,可以基于多个图像中每个图像对应的目标对象分别为真人的概率值、假人的概率值与干扰项的概率值,得到目标对象为真人的概率值的总和、假人的概率值的总和、干扰项的概率值的总和,并将其分别作为目标对象为真人的概率值、假人的概率值、干扰项的概率值。
在另一些可选示例中,可以基于多个图像中每个图像对应的目标对象分别为真人的概率值、假人的概率值与干扰项的概率值,得到目标对象为真人的概率值的平均值、假人的概率值的平均值、干扰项的概率值的平均值,并将其作为目标对象为真人的概率值、假人的概率值、干扰项的概率值。
在本公开实施例中,还可以基于其他方式确定目标对象分别为真人、假人和干扰项的概率值,本公开实施例对此不做限定。
在其中一个可选示例中,本公开实施例中的多目摄像头例如可以包括但不限于:一个或多个可见光摄像头,和/或,一个或多个特定摄像头。其中的特定摄像头例如可以包括但不限于以下任意一种或多种:近红外摄像头,红外摄像头,低照度可见光摄像头,宽动态摄像头,等等。在其中一个可能的应用实例中,可以采用包含近红外摄像头加低照度可见光摄像头的双目摄像头、或者包含近红外摄像头加宽动态可见光摄像头的双目摄像头等等,进行图像采集,本公开实施例并不限于此。
由于人脸活性检测场景的光线往往较复杂(例如黑夜、强光、弱光等场景),近红外摄像头和红外摄像头所摄取图像的质量往往会优于普通可见光摄像头所摄取图像的质量,尤其是在夜晚或者阴天或者建筑内等外部光线较暗环境下,近红外摄像头和红外摄像头所摄取到的图像通常明显优于普通可见光摄像头所摄取的图像的质量,采用近红外摄像头或红外摄像头、或者包括近红外摄像头或红外摄像头的多目摄像头进行图像采集时,可以提高图像质量,从而提高分类结果和活体检测结果;并且,在红外摄像头、近红外摄像头前,一般正常真人的瞳孔会呈现高亮透明的状态,纸质打印人脸、模特和雕塑等伪造人脸的瞳孔均不会出现这种状态,而通过电子设备承载的伪造人脸在近红外摄像头前不会成像(即:屏幕一片黑暗),可以通过区分瞳孔的状态、以及是否检测到人脸图像来区分待检测图像中的人脸是否为伪造人脸。
宽动态摄像头一般会多次曝光,在逆光比较严重的应用场景会有减少光线的影响,采用宽动态摄像头、或者包括宽动态摄像头的多目摄像头进行图像采集时,可以提高分类结果,从而提高活体检测结果的鲁棒性。
低照度摄像头能在比较黑暗的环境拍摄出较明亮的景物,从而在光线较暗环境下,提高待检测图像质量,采用低照度摄像头、或者包括低照度摄像头的多目摄像头进行图像采集时,可以减少光线的影响,从而提高分类结果和活体检测结果的鲁棒性。
本公开实施例中,采用的摄像头为特定摄像头时,可以更加有效的甄别来自3D类的伪造人脸和一些2.5D类伪造人脸。例如,如近红外摄像头拍摄图像中无法检测到人脸,则活体检测失败;再例如,如宽动态摄像头拍摄图像中出现大量摩尔纹,则活体检测失败。其中,2.5D类伪造人脸指的是视频翻拍设备等载体设备承载的人脸图像,该2.5D类伪造人脸一般不包含深度信息、并且还包含视频翻拍设备等载体设备的屏幕摩尔纹、屏幕反光、屏幕边缘等伪造人脸线索信息。
3D类伪造人脸指的是真实存在的伪造人脸,例如面具、模特、雕塑、3D打印等,该3D类伪造人脸无法吸收一些特定摄像头发射的光源、并且同样具备相应的伪造人脸线索信息,例如面具的缝合处、模特的较为抽象或过于光滑的皮肤等伪造线索信息。
在本公开实施例中的摄像头包括不同模态的多个摄像头时,例如采用包含近红外摄像头加低照度可见光摄像头的双目摄像头、或者包含近红外摄像头加宽动态可见光摄像头的双目摄像头时,可以同时结合不同模态摄像头的特点,利用多个摄像头采集的多个图像进行分类处理和活体检测,鲁棒性好,应用范围广,在白天、黑夜、强光、弱光等场景下均能实现较好的活体检测效果。
另外,在本公开实施例中,如果采集待检测图像的摄像头为多目摄像头,还可以获取待检测图像中的多个像素点的深度信息。其中的深度信息例如可以表现为图像的形式,因此也称为深度图或者深度图像。相应地,在上述实施例的操作106中,可以基于从待检测图像提取的特征数据和获取到的深度信息,得到目标对象的分类结果。
其中,深度信息是指被拍摄的各位置点与摄像头的镜头之间的距离,可以通过对多目摄像头中任意两个或以上摄像头参数的标定,计算出被拍摄的各位置点与镜头之间的距离。其中的摄像头参数例如可以包括:摄像头的内参(焦距,图像中心,畸变系数等)和外参(R(旋转)矩阵,T(平移)矩阵)。
在其中一些实施方式中,在本公开实施例中,如果采集待检测图像的摄像头为多目摄像头,可以通过对多目摄像头采集的待检测图像中第一图像和第二图像进行处理,得到待检测图像中的多个像素点的深度信息。其中的第一图像和第二图像为待检测图像中的部分图像或者全部图像。如果采集待检测图像的多目摄像头为双目摄像头,则待检测图像包括第一图像和第二图像的图像对,可以直接对待检测图像包括的第一图像和第二图像进行处理,得到待检测图像中的多个像素点的深度信息。如果采集待检测图像的多目摄像头包括三个以上摄像头,则待检测图像包括三张以上的图像组,可以从该图像组中选取两张图像作为第一图像和第二图像,具体的选取标准,可以根据图像质量和/或图像采集环境确定。其中,图像质量可以基于图像清晰度、图像亮度、图像曝光度、图像对比度、人脸完整度、人脸是否有遮挡等一种或任意多种因素的组合来进行考量。在光线往往较复杂(例如黑夜、强光、弱光等场景),可以选取近红外摄像头和红外摄像头所摄取的图像作为第一图像和/或第二图像;再例如,逆光比较严重的应用场景,可以选取宽动态摄像头所摄取的图像作为第一图像和/或第二图像;再例如,在光线较暗环境下,可以选取低照度摄像头所摄取的图像作为第一图像和/或第二图像。在本公开实施例中,可以使用多目摄像头采集到的待检测图像中任意两个图像之间的差别,使用算法来计算图像中对象的深度信息。例如,可以使用双目摄像头获得左视图和右视图,该左视图和右视图之间有些轻微偏移,与人眼同序,通过比较左视图和右视图,就可获得对应于图像中对象位移的不同图像,结合双目摄像头参数的标定,便可以计算出被拍摄对象的各位置点与镜头之间的距离。
或者,在另一些实施方式中,可以通过3D摄像头采集待检测图像,该3D可以包括深度传感器,例如结构光(Structure Light)传感器、光飞行时间(Time of Flight,TOF)传感器,等等,可以获取3D摄像头的深度传感器采集到的深度图,作为待检测图像中的多个像素点的深度信息。
其中,结构光传感器通过激光的折射以及算法来计算对象的位置和深度信息,从而测算出被测对象到摄像头之间的距离。
TOF传感器是一种光雷达(LIDAR)系统,可从发射极向对象发射光脉冲,接收器则可通过计算光脉冲从发射器到对象,再以像素格式返回到接收器的运行时间来确定被测量对象的距离,即得到被测量对象的深度信息。
伪造人脸一般不包含深度信息,例如一般真人的人脸中每个五官到摄像头的深度信息都是不一样的、应该有所差异,可以根据经验设置预设人脸深度信息,例如对大量人脸的深度信息进行统计、并允许一定的偏差范围,获得预设人脸深度信息;但是如果是纸上或者是设备上伪造人脸,五官到摄像头的深度信息几乎是一样的,根据获取的深度信息中是否有差异、以及差异情况是否满足预设人脸深度信息,可以来判断目标对象是否为真人、纸上或者是设备上伪造人脸或者干扰项。如果获取的深度信息有差异、且差异情况满足预设人脸深度信息、且从提取的特征中未检测到伪造线索信息和干扰项的特征,则确定上述待检测图像中的目标对象为真人,通过活体检测。否则,若获取的深度信息无差异、和/或差异情况不满足预设人脸深度信息,可以确定上述待检测图像中的目标对象为纸上或者是设备上伪造人脸或者干扰项,若获取的深度信息存在的差异情况不满足预设人脸深度信息,可以确定上述待检测图像中的目标对象为干扰项,未通过活体检测。
基于本发明上述实施例,进一步通过多目摄像头采集的待检测图像中的多个像素点的深度信息,便可以识别待检测图像中可能存在的2D类和2.5D类伪造人脸线索信息,从而实现对2D类和2.5D类伪造人脸的检测。
其中,2D类伪造人脸指的是纸质类材料打印出的人脸图像,该2D类伪造人脸一般不包含深度信息(例如一般真人的人脸中每个五官到摄像头的深度信息都是不一样的,但是如果是纸上或者是设备上伪造人脸,五官到摄像头的深度信息几乎是一样的),并且还含有纸质人脸的边缘、纸张材质、纸面反光、纸张边缘等伪造人脸线索信息。
另外,在本公开再实施例提供的活体检测方法中,还可以包括:根据分类结果,输出目标对象是否通过活体检测的提示信息。例如,在目标对象的分类结果为真人的情况下,输出提示通过活体检测的提示信息;再例如,在目标对象的分类结果为假人或者干扰项的情况下,输出提示未通过活体检测的提示信息,或者输出假人或干扰项(或无关项)的提示信息。上述实施例中,确定目标对象的分类结果后,若目标对象的分类结果为真人或假人,可以直接输出目标对象的分类结果;在目标对象的分类结果为干扰项时,由于在人脸活体检测角度来看,干扰项并不属于真人,可以直接输出目标对象为干扰项的提示信息,或者也可以输出目标对象为假人的提示信息,即不显示目标对象为干扰项的提示信息,使得呈现给用户的分类结果更为直观。
图2为本公开另实施例提供的活体检测方法的流程图。本公开实施例以对双目摄像头采集的待检测图像进行活体检测为例进行说明,本领域技术人员基于本公开实施例的记载,可以知晓对其他类型摄像头采集的待检测图像进行活体检测的实现方案。
202,获取双目摄像头采集到的包括目标对象的第一图像和第二图像。
204,分别对第一图像和第二图像进行特征提取。
206,对从第一图像提取的特征和对第二图像提取的特征进行融合处理,得到融合特征。
208,基于上述融合特征,得到目标对象为真人的概率值、假人的概率值和干扰项的概率值。
210,基于目标对象为真人的概率值、假人的概率值和干扰项的概率值,确定目标对象的分类结果,其中的分类结果为真人、假人或干扰项。
例如,在目标对象为真人的概率值大于或等于预设值的情况下,可以确定目标对象的分类结果为真人;和/或,在目标对象为真人的概率值小于预设值的情况下,基于目标对象为假人的概率值和目标对象为干扰项的概率值之间的大小关系,确定目标对象的分类结果。
212,根据分类结果,输出目标对象是否通过活体检测的提示信息。
本公开上述活体检测方法可以通过神经网络实现,其中的神经网络可以是一个深度神经网络,所述深度神经网络是指多层神经网络,例如多层的卷积神经网络。本公开各实施例中的神经网络,分别可以是一个多层神经网络(即:深度神经网络),例如多层的卷积神经网络,例如可以是LeNet、AlexNet、GoogLeNet、VGG、ResNet等任意神经网络模型。本公开实施例不对此进行限制。
另外,在本公开上述活体检测方法之前,还可以包括:通过训练集对神经网络进行训练。其中,训练集可以包括:真人样本图像、假人样本图像与干扰样本图像。训练集中的样本图像标注有类别信息,其中,真人样本图像标注有真人类别信息,假人样本图像标注有假人类别信息;干扰样本图像标注有干扰项类别信息或者假人类别信息。
在其中一些实施方式中,上述样本图像可以包括:已公开场景数据集(包括:真实人脸图像、伪造人脸图像、干扰图像(即非人脸图像))、相机采集的真实场景数据集(包括:真实人脸图像、伪造人脸图像、干扰图像(即非人脸图像))。其中,已公开场景数据集可以从互联网获取,相机采集的真实场景数据集可以利用相机设备进行实地采集。例如,可以通过单目摄像头采集RGB图像,利用双目摄像头采集RGB及红外图像或近红外图像,利用3D摄像头采集RGB图像、红外图像或近红外图像、以及深度图。
可选地,干扰图像可以为与人脸具有类似形状的物体的图像、背景图像或者其他类型的非人脸图像,本公开实施例对干扰图像的具体实现不做限定。
在通过训练集对神经网络进行训练时,可以将训练集中的各样本图像输入神经网络,由神经网络对样本图像进行特征提取,并基于提取得到的特征数据进行真人、假人与干扰项的分类处理,输出目标对象为真人、假人或干扰项的分类结果,基于神经网络输出的分类结果与样本图像上标注的类别信息之间的差异对神经网络的参数进行调整。
其中,在通过训练集对神经网络进行训练时,由神经网络对样本图像进行特征提取,并基于提取得到的特征数据进行真人、假人与干扰项的分类处理,输出目标对象属于真人、假人或干扰项的分类结果的操作,可以采用但不限于本公开上述任一实施例中的相应操作实现。本公开对此不做任何限制。
上述对神经网络的训练过程可以为一个迭代过程,直至满足训练完成条件,例如:对神经网络的训练次数达到预设次数,和/或神经网络输出的分类结果与样本图像上标注的类别信息之间的差异不大于预设阈值,对神经网络的训练完成。
基于本公开上述实施例,通过深度神经网络强大的描述能力进行建模,通过大规模训练用样本图像进行训练,学习出多个维度的真人、假人和干扰项之间的差异,判断待检测图像中的目标对象是否为活体,如果人脸部分为照片类伪造攻击,可以通过照片反光或照片边缘特征判断其为伪造人脸,如果包括干扰项的特征,可以判断目标对象为干扰项,利用深度学习框架解决了人脸防伪造和干扰项检测的问题;并且,由于神经网络的学习能力强,并且可以实时进行补充训练集来训练神经网络、提高神经网络的性能,可扩展性强,能够迅速根据实际需求的变化进行更新,迅速应对新出现的伪造人脸情况和干扰项进行检测,可有效提升活体检测结果的准确率,从而提高活体检测结果的准确性。
本公开实施例提供的任一种活体检测方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:终端设备和服务器等。或者,本公开实施例提供的任一种活体检测方法可以由处理器执行,如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种活体检测方法。下文不再赘述。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本公开实施例提供的活体检测装置的结构示意图。可选地,该活体检测装置可用于实现本公开上述任意活体检测方法。如图3所示,该活体检测装置包括:第一获取模块,特征提取模块和确定模块。其中:
第一获取模块,用于获取摄像头采集到的包括目标对象的待检测图像。
本公开实施例中,可以预先通过摄像头采集包括目标对象的待检测图像。本公开各实施例中的摄像头,可以包括单目摄像头、多目摄像头或者3D摄像头,等等。其中的单目摄像头表示有一个摄像头,可以是可见光摄像头,或者,也可以是特定摄像头。其中的多目摄像头例如可以是双目摄像头、三目摄像头、四目摄像头等,分别表示有几个摄像头。本公开实施例中的摄像头,例如可以包括但不限于下列图像传感器中的至少一项:可见光传感器、近红外传感器、红外传感器、宽动态传感器,等等。
特征提取模块,用于对待检测图像进行特征提取,得到特征数据。
确定模块,用于基于特征数据,得到目标对象的分类结果,其中分类结果为真人、假人或干扰项。
基于本公开上述实施例提供的活体检测装置,通过对包括目标对象的待检测图像进行特征提取,并基于提取的特征数据干扰项得到目标对象为真人、假人或干扰项的分类结果。本公开实施例可以将目标对象分类为真人、假人或干扰项,更贴近真实检测场景,通过在分类结果中增加干扰项的分类结果确定目标对象的活体检测结果,使得目标对象的分类结果更精确,提升了活体检测结果的准确率。
在上述活体检测装置实施例的一些实施方式中,确定模块可以包括:第一确定单元,用于基于特征数据,得到目标对象为真人的概率值、假人的概率值和干扰项的概率值;第二确定单元,用于基于目标对象为真人的概率值、假人的概率值和干扰项的概率值,确定目标对象的分类结果。
其中,第二确定单元,可以用于:在目标对象为真人的概率值大于或等于预设值的情况下,确定目标对象的分类结果为真人;和/或,在目标对象为真人的概率值小于预设值的情况下,基于目标对象为假人的概率值和目标对象为干扰项的概率值之间的大小关系,确定目标对象的分类结果。
在上述活体检测装置实施例的一些实现方式中,待检测图像可以包括第一图像和第二图像,特征数据包括从第一图像提取到的特征和从第二图像提取到的特征。
相应地,在上述活体检测装置实施例的另一些实施方式中,确定模块可以包括:融合单元,用于对从第一图像提取到的特征和从第二图像提取到的特征进行融合处理,得到融合特征;确定单元,用于基于融合特征,得到目标对象的分类结果。
图4为本公开实施例提供的活体检测装置的另一结构示意图。如图4所示,与上述活体检测装置相比,该活体检测装置还包括:第二获取模块,用于获取待检测图像中的多个像素点的深度信息。其中的深度信息例如可以表现为图像的形式,因此也称为深度图或者深度图像。相应地,确定模块用于基于特征数据和深度信息,得到目标对象的分类结果。
在其中一些实施方式中,第二获取模块,用于获取摄像头的深度传感器采集到的待检测图像对应的深度图。
在另一些实施方式中,第二获取模块,用于通过对第一图像和第二图像进行处理,得到待检测图像中的多个像素点的深度信息。
另外,再参见图4,上述活体检测装置还可以包括:输出模块,用于在分类结果为真人的情况下,输出提示通过活体检测的提示信息;和/或,在分类结果为假人或者干扰项的情况下,输出提示未通过活体检测的提示信息。
在其中一些实施方式中,上述活体检测装置可以通过神经网络实现,神经网络基于训练集训练得到,其中,训练集包括:真人样本图像、假人样本图像与干扰样本图像。
另外,本公开实施例提供的另一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行存储器中存储的计算机程序,且计算机程序被执行时,实现本公开上述任一实施例的活体检测方法。
图5为本公开实施例提供的电子设备的结构示意图。下面参考图5,其示出了适于用来实现本公开实施例的终端设备或服务器的电子设备的结构示意图。如图5所示,该电子设备包括一个或多个处理器、通信部等,所述一个或多个处理器例如:一个或多个中央处理单元(CPU),和/或一个或多个图像处理器(GPU)等,处理器可以根据存储在只读存储器(ROM)中的可执行指令或者从存储部分加载到随机访问存储器(RAM)中的可执行指令而执行各种适当的动作和处理。通信部可包括但不限于网卡,所述网卡可包括但不限于IB(Infiniband)网卡,处理器可与只读存储器和/或随机访问存储器中通信以执行可执行指令,通过总线与通信部相连、并经通信部与其他目标设备通信,从而完成本公开实施例提供的任一方法对应的操作,例如,获取摄像头采集到的包括目标对象的待检测图像;对所述待检测图像进行特征提取,得到特征数据;基于所述特征数据,得到所述目标对象的分类结果,其中所述分类结果为真人、假人或干扰项。
此外,在RAM中,还可存储有装置操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。在有RAM的情况下,ROM为可选模块。RAM存储可执行指令,或在运行时向ROM中写入可执行指令,可执行指令使处理器执行本公开上述任一方法对应的操作。输入/输出(I/O)接口也连接至总线。通信部可以集成设置,也可以设置为具有多个子模块(例如多个IB网卡),并在总线链接上。
以下部件连接至I/O接口:包括键盘、鼠标等的输入部分;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分;包括硬盘等的存储部分;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器上,以便于从其上读出的计算机程序根据需要被安装入存储部分。
需要说明的,如图5所示的架构仅为一种可选实现方式,在具体实践过程中,可根据实际需要对上述图5的部件数量和类型进行选择、删减、增加或替换;在不同功能部件设置上,也可采用分离设置或集成设置等实现方式,例如GPU和CPU可分离设置或者可将GPU集成在CPU上,通信部可分离设置,也可集成设置在CPU或GPU上,等等。这些可替换的实施方式均落入本公开公开的保护范围。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,计算机程序包含用于执行流程图所示的方法的程序代码,程序代码可包括对应执行本公开任一实施例提供的活体检测方法步骤对应的指令。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被CPU执行时,执行本公开的方法中限定的上述功能。
另外,本公开实施例还提供了一种计算机程序,包括计算机指令,当计算机指令在设备的处理器中运行时,实现本公开上述任一实施例的活体检测方法。
另外,本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现本公开上述任一实施例的活体检测方法。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本公开的方法和装置、设备。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置、设备。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用,并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。
Claims (24)
1.一种活体检测方法,其特征在于,包括:
获取摄像头采集到的包括目标对象的待检测图像;
对所述待检测图像进行特征提取,得到特征数据;
基于所述特征数据,得到所述目标对象的分类结果,其中所述分类结果为真人、假人或干扰项;其中,所述干扰项包括真人与假人之外的类别;
其中,所述基于所述特征数据,得到所述目标对象的分类结果,包括:
基于所述特征数据,得到所述目标对象分别属于真人、假人和干扰项的概率值;
基于所述目标对象分别属于真人、假人和干扰项的概率值,确定所述目标对象的分类结果;
其中,所述基于所述目标对象分别属于真人、假人和干扰项的概率值,确定所述目标对象的分类结果,包括:
在所述目标对象属于真人的概率值小于预设值的情况下,基于所述目标对象属于假人的概率值和所述目标对象属于干扰项的概率值之间的大小关系,确定所述目标对象的分类结果若1与目标对象为真人的概率值之间的差值大于预设值、且目标对象为假人的概率值大于目标对象为干扰项的概率值,确定目标对象的分类结果为假人;若1与目标对象为真人的概率值之间的差值大于预设值、且目标对象为假人的概率值小于目标对象为干扰项的概率值,确定目标对象的分类结果为干扰项。
2.根据权利要求1所述的方法,其特征在于,所述摄像头包括:单目摄像头、双目摄像头或三维摄像头。
3.根据权利要求1所述的方法,其特征在于,所述基于所述目标对象分别属于真人、假人和干扰项的概率值,确定所述目标对象的分类结果,还包括:
在所述目标对象属于真人的概率值大于或等于预设值的情况下,确定所述目标对象的分类结果为真人。
4.根据权利要求1所述的方法,其特征在于,所述摄像头包括下列图像传感器中的至少一项:可见光传感器、近红外传感器、红外传感器、宽动态传感器。
5.根据权利要求4所述的方法,其特征在于,所述待检测图像包括第一图像和第二图像,所述特征数据包括从所述第一图像提取到的第一特征和从所述第二图像中提取到的第二特征。
6.根据权利要求5所述的方法,其特征在于,所述基于所述特征数据,得到所述目标对象的分类结果,包括:
对所述第一特征和所述第二特征进行融合处理,得到融合特征;
基于所述融合特征,得到所述目标对象的分类结果。
7.根据权利要求5所述的方法,其特征在于,还包括:获取所述待检测图像中的多个像素点的深度信息;
所述基于所述特征数据,得到所述目标对象的分类结果,包括:
基于所述特征数据和所述深度信息,得到所述目标对象的分类结果。
8.根据权利要求7所述的方法,其特征在于,所述获取所述待检测图像中的多个像素点的深度信息,包括:
获取所述摄像头的深度传感器采集到的所述待检测图像对应的深度图。
9.根据权利要求7所述的方法,其特征在于,所述获取所述待检测图像中的多个像素点的深度信息,包括:通过对所述第一图像和所述第二图像进行处理,得到所述待检测图像中的多个像素点的深度信息。
10.根据权利要求1-9任一所述的方法,其特征在于,还包括:
在所述分类结果为真人的情况下,输出提示通过活体检测的提示信息;和/或,
在所述分类结果为假人或者干扰项的情况下,输出提示未通过活体检测的提示信息。
11.根据权利要求1-9任一所述的方法,其特征在于,所述方法通过神经网络实现,所述方法还包括:
通过训练集对所述神经网络进行训练,其中,所述训练集包括:真人样本图像、假人样本图像与干扰样本图像。
12.一种活体检测装置,其特征在于,包括:
第一获取模块,用于获取摄像头采集到的包括目标对象的待检测图像;
特征提取模块,用于对所述待检测图像进行特征提取,得到特征数据;
确定模块,用于基于所述特征数据,得到所述目标对象的分类结果,其中所述分类结果为真人、假人或干扰项;
所述确定模块包括:
第一确定单元,用于基于所述特征数据,得到所述目标对象分别属于真人、假人和干扰项的概率值;
第二确定单元,用于基于所述目标对象分别属于真人、假人和干扰项的概率值,确定所述目标对象的分类结果,具体用于:在所述目标对象属于真人的概率值小于预设值的情况下,基于所述目标对象属于假人的概率值和所述目标对象属于干扰项的概率值之间的大小关系,确定所述目标对象的分类结果若1与目标对象为真人的概率值之间的差值大于预设值、且目标对象为假人的概率值大于目标对象为干扰项的概率值,确定目标对象的分类结果为假人;若1与目标对象为真人的概率值之间的差值大于预设值、且目标对象为假人的概率值小于目标对象为干扰项的概率值,确定目标对象的分类结果为干扰项。
13.根据权利要求12所述的装置,其特征在于,所述摄像头包括:单目摄像头、双目摄像头或三维摄像头。
14.根据权利要求12所述的装置,其特征在于,所述第二确定单元,还用于:
在所述目标对象属于真人的概率值大于或等于预设值的情况下,确定所述目标对象的分类结果为真人。
15.根据权利要求12所述的装置,其特征在于,所述摄像头包括下列图像传感器中的至少一项:可见光传感器、近红外传感器、红外传感器、宽动态传感器。
16.根据权利要求15所述的装置,其特征在于,所述待检测图像包括第一图像和第二图像,所述特征数据包括从所述第一图像提取到的第一特征和从所述第二图像中提取到的第二特征。
17.根据权利要求16所述的装置,其特征在于,所述确定模块包括:
融合单元,用于对所述第一特征和所述第二特征进行融合处理,得到融合特征;
确定单元,用于基于所述融合特征,得到所述目标对象的分类结果。
18.根据权利要求16所述的装置,其特征在于,还包括:
第二获取模块,用于获取所述待检测图像中的多个像素点的深度信息;
所述确定模块,用于基于所述特征数据和所述深度信息,得到所述目标对象的分类结果。
19.根据权利要求18所述的装置,其特征在于,所述第二获取模块,用于获取所述摄像头的深度传感器采集到的所述待检测图像对应的深度图。
20.根据权利要求18所述的装置,其特征在于,所述第二获取模块,用于通过对所述第一图像和所述第二图像进行处理,得到所述待检测图像中的多个像素点的深度信息。
21.根据权利要求12-20任一所述的装置,其特征在于,还包括:
输出模块,用于在所述分类结果为真人的情况下,输出提示通过活体检测的提示信息;和/或,在所述分类结果为假人或者干扰项的情况下,输出提示未通过活体检测的提示信息。
22.根据权利要求12-20任一所述的装置,其特征在于,所述装置通过神经网络实现,所述神经网络基于训练集训练得到,其中,所述训练集包括:真人样本图像、假人样本图像与干扰样本图像。
23.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现权利要求1-11任一所述的方法。
24.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1-11任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811600573.2A CN111368601B (zh) | 2018-12-26 | 2018-12-26 | 活体检测方法和装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811600573.2A CN111368601B (zh) | 2018-12-26 | 2018-12-26 | 活体检测方法和装置、电子设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111368601A CN111368601A (zh) | 2020-07-03 |
CN111368601B true CN111368601B (zh) | 2021-11-16 |
Family
ID=71208327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811600573.2A Active CN111368601B (zh) | 2018-12-26 | 2018-12-26 | 活体检测方法和装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111368601B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112069880A (zh) * | 2020-07-24 | 2020-12-11 | 北京旷视科技有限公司 | 活体检测方法、装置、电子设备和计算机可读介质 |
CN112200174A (zh) * | 2020-12-09 | 2021-01-08 | 上海齐感电子信息科技有限公司 | 人脸框检测方法及模块和活体人脸验证方法及系统 |
CN112766175B (zh) * | 2021-01-21 | 2024-05-28 | 宠爱王国(北京)网络科技有限公司 | 活体检测方法、装置及非易失性存储介质 |
CN113095180B (zh) * | 2021-03-31 | 2024-06-11 | 上海商汤智能科技有限公司 | 活体检测方法及装置、设备、计算机存储介质 |
CN114973426B (zh) * | 2021-06-03 | 2023-08-15 | 中移互联网有限公司 | 活体检测方法、装置及设备 |
CN113642639B (zh) * | 2021-08-12 | 2024-03-01 | 云知声智能科技股份有限公司 | 活体检测方法、装置、设备和存储介质 |
CN113869906A (zh) * | 2021-09-29 | 2021-12-31 | 北京市商汤科技开发有限公司 | 人脸支付方法及装置、存储介质 |
CN116259091B (zh) * | 2023-01-18 | 2023-11-10 | 北京飞腾时光信息科技有限公司 | 一种静默活体检测的方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022264A (zh) * | 2016-05-19 | 2016-10-12 | 中国科学院自动化研究所 | 基于多任务自编码器的交互式人脸活体检测方法和装置 |
CN107590430A (zh) * | 2017-07-26 | 2018-01-16 | 百度在线网络技术(北京)有限公司 | 活体检测方法、装置、设备及存储介质 |
CN108764069A (zh) * | 2018-05-10 | 2018-11-06 | 北京市商汤科技开发有限公司 | 活体检测方法及装置 |
CN109034102A (zh) * | 2018-08-14 | 2018-12-18 | 腾讯科技(深圳)有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060184047A1 (en) * | 1995-11-17 | 2006-08-17 | Yuichi Yamashita | Optical measurement instrument for living body |
US20090189740A1 (en) * | 2008-01-29 | 2009-07-30 | Anatol Wiesner | Method and system for detecting vital signs of living bodies |
CN110335269A (zh) * | 2018-05-16 | 2019-10-15 | 腾讯医疗健康(深圳)有限公司 | 眼底图像的类别识别方法和装置 |
-
2018
- 2018-12-26 CN CN201811600573.2A patent/CN111368601B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022264A (zh) * | 2016-05-19 | 2016-10-12 | 中国科学院自动化研究所 | 基于多任务自编码器的交互式人脸活体检测方法和装置 |
CN107590430A (zh) * | 2017-07-26 | 2018-01-16 | 百度在线网络技术(北京)有限公司 | 活体检测方法、装置、设备及存储介质 |
CN108764069A (zh) * | 2018-05-10 | 2018-11-06 | 北京市商汤科技开发有限公司 | 活体检测方法及装置 |
CN109034102A (zh) * | 2018-08-14 | 2018-12-18 | 腾讯科技(深圳)有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111368601A (zh) | 2020-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111368601B (zh) | 活体检测方法和装置、电子设备和计算机可读存储介质 | |
KR102319177B1 (ko) | 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체 | |
WO2018166525A1 (zh) | 人脸防伪检测方法和系统、电子设备、程序和介质 | |
CN108764071B (zh) | 一种基于红外和可见光图像的真实人脸检测方法及装置 | |
WO2019218621A1 (zh) | 活体检测方法及装置、电子设备和存储介质 | |
CN108549886A (zh) | 一种人脸活体检测方法及装置 | |
CN112052831B (zh) | 人脸检测的方法、装置和计算机存储介质 | |
CN112487921B (zh) | 一种用于活体检测的人脸图像预处理方法及系统 | |
CN111444744A (zh) | 活体检测方法、装置以及存储介质 | |
CN109117755B (zh) | 一种人脸活体检测方法、系统和设备 | |
CN106372629A (zh) | 一种活体检测方法和装置 | |
KR102262671B1 (ko) | 비디오 영상에 보케 효과를 적용하는 방법 및 기록매체 | |
JP2013140428A (ja) | エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法 | |
Swami et al. | Candy: Conditional adversarial networks based fully end-to-end system for single image haze removal | |
CN112926464A (zh) | 一种人脸活体检测方法以及装置 | |
JP7264308B2 (ja) | 二次元顔画像の2つ以上の入力に基づいて三次元顔モデルを適応的に構築するためのシステムおよび方法 | |
JP2004005384A (ja) | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置 | |
CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
CN113128428A (zh) | 基于深度图预测的活体检测方法和相关设备 | |
CN113781421A (zh) | 基于水下的目标识别方法、装置及系统 | |
CN112465778A (zh) | 一种水下鱼群观测装置及方法 | |
CN115147936A (zh) | 一种活体检测方法、电子设备、存储介质及程序产品 | |
CN112801038A (zh) | 一种多视点的人脸活体检测方法及系统 | |
CN116704111B (zh) | 图像处理方法和设备 | |
CN111126283A (zh) | 一种自动过滤模糊人脸的快速活体检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |