CN107918773B - 一种人脸活体检测方法、装置及电子设备 - Google Patents

一种人脸活体检测方法、装置及电子设备 Download PDF

Info

Publication number
CN107918773B
CN107918773B CN201711330803.3A CN201711330803A CN107918773B CN 107918773 B CN107918773 B CN 107918773B CN 201711330803 A CN201711330803 A CN 201711330803A CN 107918773 B CN107918773 B CN 107918773B
Authority
CN
China
Prior art keywords
image
features
feature
living body
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711330803.3A
Other languages
English (en)
Other versions
CN107918773A (zh
Inventor
刘昌平
孙旭东
黄磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwang Technology Co Ltd
Original Assignee
Hanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwang Technology Co Ltd filed Critical Hanwang Technology Co Ltd
Priority to CN201711330803.3A priority Critical patent/CN107918773B/zh
Publication of CN107918773A publication Critical patent/CN107918773A/zh
Application granted granted Critical
Publication of CN107918773B publication Critical patent/CN107918773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种人脸活体检测方法，属于生物特征识别领域，解决现有技术中人脸活体检测方法识别准确率低的问题。所述方法包括：通过获取在不同光谱下采集人脸的图像对中包括的两幅图像各自的K个图像区域的图像特征；确定所述图像对中每幅图像的各个图像区域的待识别区域图像特征；根据所述图像对中每幅图像的相同位置图像区域的待识别区域图像特征，确定所述相同位置图像区域的关联性特征；基于所述K个图像区域的待识别区域图像特征和关联性特征，通过预先训练的人脸活体检测模型对所述人脸进行活体检测。本发明实施例公开的方法，通过结合不同光谱条件下采集的图像特征以及图像之间的关联性进行活体检测，进一步提升了人脸活体检测的准确率。

Description

一种人脸活体检测方法、装置及电子设备
技术领域
本发明涉及生物特征识别领域，尤其涉及一种人脸活体检测方法、装置及电子设备。
背景技术
生物特征识别技术广泛应用于生活中的各个领域，其中，人脸识别技术因其特征采集方便、卫生等特点，应用最为广泛，例如，人脸识别应用于安防、门禁领域。随着人脸识别应用领域的扩展，也出现了越来越多的攻击人脸识别的方法。常见的攻击方法包括使用人脸照片、视频和3D面具模型等介质模拟人脸在人脸识别设备前对人脸识别进行攻击。可见，现有技术中对人脸识别进行攻击采用的大多数是非活体介质，因此，对待识别的人脸进行活体检测，以抵御对识别进行的攻击，是一个亟待解决的问题。
现有技术中，进行人脸活体检测的方法主要分为三类:基于纹理特征的方法、基于运动特征的方法和基于其他特征方法。现有技术中的人脸活体检测方法中基于运动特征的人脸活体检测方法在以视频做攻击媒介的情况下识别准确率较低；基于纹理特征或其他特征的人脸活体检测方法受光照影响较大，识别准确率不稳定。
综上，现有技术中的人脸活体检测方法至少存在适用攻击媒介受限，且人脸活体检测识别准确率低的问题。
发明内容
本发明实施例提供一种人脸活体检测方法及装置，以解决现有的人脸活体检测方法识别准确率低的问题。
第一方面，本发明实施例提供了一种人脸活体检测方法，包括：
获取在不同光谱下采集人脸的图像对中包括的两幅图像各自的K个图像区域的图像特征，其中，K为大于0的自然数；
确定所述图像对中每幅图像的各个图像区域的待识别区域图像特征；
根据所述图像对中每幅图像的相同位置图像区域的待识别区域图像特征，确定所述相同位置图像区域的关联性特征；
基于所述K个图像区域的待识别区域图像特征和关联性特征，通过预先训练的人脸活体检测模型对所述人脸进行活体检测。
第二方面，本发明实施例还提供了一种人脸活体检测装置，包括：
图像特征获取模块，用于获取在不同光谱下采集人脸的图像对中包括的两幅图像各自的K个图像区域的图像特征，其中，K为大于0的自然数；
待识别区域图像特征确定模块，用于确定所述图像对中每幅图像的各个图像区域的区域图像特征；
关联性特征确定模块，用于根据所述图像对中每幅图像的相同位置图像区域的待识别区域图像特征，确定所述相同位置图像区域的关联性特征；
活体检测模块，用于基于所述K个图像区域的待识别区域图像特征和关联性特征，通过预先训练的人脸活体检测模型对所述人脸进行活体检测
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现本发明实施例所述的人脸活体检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明实施例所述的人脸活体检测方法的步骤。
这样，本发明实施例公开的人脸活体检测方法，通过获取在不同光谱下采集人脸的图像对中包括的两幅图像各自的K个图像区域的图像特征；确定所述图像对中每幅图像的各个图像区域的待识别区域图像特征；根据所述图像对中每幅图像的相同位置图像区域的待识别区域图像特征，确定所述相同位置图像区域的关联性特征；基于所述K个图像区域的待识别区域图像特征和关联性特征，通过预先训练的人脸活体检测模型对所述人脸进行活体检测，解决了现有的人脸活体检测方法识别准确率低的问题。本发明实施例公开的方法，通过结合不同光谱条件下采集的图像特征以及图像之间的关联性，进行活体检测，进一步提升了活体检测的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一的人脸活体检测方法流程图；
图2是本发明实施例二的人脸活体检测方法流程图；
图3是本发明实施例二中图像区域示意图；
图4是本发明实施例三的人脸活体检测装置结构图之一；
图5是本发明实施例三的人脸活体检测装置结构图之二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
本实施例提供了一种人脸活体检测方法，如图1所示，所述方法包括：步骤10至步骤13。
步骤10，获取在不同光谱下采集人脸的图像对中包括的两幅图像各自的K个图像区域的图像特征。
所述K个图像区域为均匀划分得到的。其中，K为大于0的自然数。
本发明实施例中，以不同光谱条件为近红外光和可见光为例，详细说明人脸活体检测方法的具体方案。具体实施时，本领域技术人员还可以根据采集人脸图像和识别人脸的需求，在其他光谱条件下采集人脸图像，均适用于本发明的人脸活体检测方法。本申请在具体实施时，还可以同时采集待识别人脸在多种不同光谱条件下的人脸图像，然后，任意选择其中两种光谱条件下的人脸图像，组成人脸的图像对。
本实施例中，在进行人脸活体检测时，首先，获取在可见光下和近红外光下采集人脸的两幅图像，组成一组图像对，然后，基于这组图像对进行人脸活体检测。为了提升检测的准确性，采集可见光图像和近红外光图像的时间间隔尽量小。例如，在一个采集设备上同时设置可见光摄像头和近红外光摄像头，同时对人脸进行图像采集，分别获得一幅可见光人脸图像和一幅近红外光人脸图像。
然后，对获取的图像对中的可见光图像和近红外光图像按照预设规则，分别划分得到K个图像区域。具体实施时，可以将整幅图像作为一个图像区域，不进行更小粒度的划分；也可以将所述图像对中的图像按照从左到右从上到下的顺序划分为多个大小相同的相邻图像区域。本发明对K个图像区域的划分方式不做限定。
之后，分别提取可见光图像和近红外光图像中每个图像区域的图像特征。提取图像区域的图像特征的方法有很多，如LBP特征、纹理特征，本发明对提取图像区域的图像特征的方法不做限定。
步骤11，确定所述图像对中每幅图像的各个图像区域的待识别区域图像特征。对于图像对中每幅图像的各个图像区域，分别确定其待识别区域图像特征。具体实施时，待识别区域图像特征可以为该区域的所述图像特征。优选的，待识别区域图像特征为该区域的所述图像特征在某一指定投影空间的图像特征分量。
步骤12，根据所述图像对中每幅图像的相同位置图像区域的待识别区域图像特征，确定所述相同位置图像区域的关联性特征。
具体的，图像对中的两幅图像的相同位置图像区域的关联性特征，即是指上述两幅图像中相同位置的图像区域对应一组关联性特征。所述关联性特征用于表示所述图像对中两幅图像的相同位置图像区域之间关联性。
具体的，当获取到图像对中每幅图像的K个图像区域的待识别区域图像特征之后，进一步根据可见光图像的K个图像区域的待识别区域图像特征、近红外光图像的K个图像区域的待识别区域图像特征确定所述可见光图像和近红外光图像的各图像区域的关联性特征，然后，由所述可见光图像的待识别区域图像特征、近红外光图像的待识别区域图像特征、所述关联性特征生成所述图像对的待识别特征。
以K＝1为例，即将图像对中的整幅可见光图像作为一个图像区域，将图像对中的整幅近红外光图像作为一个图像区域，可见光图像V的待识别区域图像特征表示为FV,近红外光图像N的待识别区域图像特征表示为FN,可见光图像V和近红外光图像N的关联性特征表示为FR，则所述图像对中两幅图像的待识别特征可以表示为FVN＝{FV，FN，FR}。
如果，K大于或等于2，即图像对中的每幅图像都划分为多个图像区域，则对可见光图像V和近红外光图像N的每个图像区域分别提取图像特征。然后，根据每个图像区域的图像特征确定各图像区域的待识别区域图像特征。再进一步计算可见光图像V和近红外光图像N的相同位置图像区域的关联性特征，每个图像区域的待识别图像特征、关联性特征按照预设规则排列，即得到所述可见光图像V和近红外光图像N构成的图像对的待识别特征。
步骤13，基于所述K个图像区域的待识别区域图像特征和关联性特征，通过预先训练的人脸活体检测模型对所述人脸进行活体检测。
最后，将由待识别区域图像特征和关联性特征构成的实时图像对的待识别特征输入至预先训练的人脸活体检测模型，进行分类识别，确定所述人脸是否为活体人脸。
具体实施时，采集大量的可见光图像和近红外光图像组成的图像对，作为训练样本，并设置样本标签。所述样本中包括活体和非活体的图像对。然后，采用与进行活体检测时，从人脸的图像对中提取待识别特征相同的方法，提取每条训练样本的待识别特征，作为模型的输入，并训练人脸活体检测模型。具体实施时，人脸活体检测模型可以为SVM分类器或神经网络模型，或者现有技术中的其他分类模型，本发明对此不做限定。
本发明实施例公开的人脸活体检测方法，通过获取在不同光谱下采集人脸的图像对中包括的两幅图像各自的K个图像区域的图像特征；确定所述图像对中每幅图像的各个图像区域的区域图像特征；根据所述图像对中每幅图像的相同位置图像区域的区域图像特征，确定所述相同位置图像区域的关联性特征；最后，基于所述K个图像区域的区域图像特征和关联性特征，通过预先训练的人脸活体检测模型对所述人脸进行活体检测，解决了现有的人脸活体检测方法识别准确率低的问题。本发明实施例公开的方法，通过结合不同光谱条件下采集的图像特征以及图像之间的关联性，进行活体检测，进一步提升了活体检测的准确率。
实施例二：
本实施例提供了一种人脸活体检测方法，如图2所示，所述方法包括：步骤20至步骤24。
本实施例中，将近红外光条件下采集的图像表示为N，可见光条件下采集的图像表示为V。本实施例中，以将图像对中包括的两幅图像按照从左到右从上到下的顺序划分为多个大小相同的相邻的16个图像区域，即K等于16为例，说明人脸活体检测方法的具体技术方案。
步骤20，基于从若干图像对中提取的待识别区域图像特征和关联性特征，训练人脸活体检测模型。
其中，每个所述图像对包括在不同光谱条件下分别采集的两幅人脸图像。
具体实施时，获取在可见光条件下和近红外光条件下分别采集的两幅图像，作为一组图像对，作为一条训练数据，并设置样本标签，其中，所述样本标签用于标识该图像对是活体或非活体。按照上述方法，获取若干条训练数据，即若干组设置有标签的图像对。然后，如图3所示，对于每条训练数据中的图像对中的可见光图像31和近红外光图像32，按照相同的方法，分别均匀划分为16个图像区域。本实施例中，假设获取到M条训练数据，即获取到M组图像对,训练数据集可以表示为
Figure BDA0001506601520000061
其中，S为样本标签，取值为0或1；1≤j≤M,M和j为正整数；Vj,Nj表示一组图像对，Vj表示可见光图像，Nj表示近红外光图像。
之后，分别提取每幅可见光图像Vj的16个图像区域的图像特征，得到的图像特征表示为FVj＝{FVj1，FVj，…FVji}；提取每幅近红外光图像Nj的16个图像区域的图像特征表示为FNj＝{FNj1，FNj，…FNji}。其中，i＝16。
然后，对于每组图像对，分别计算其中的两幅图像的相同位置图像区域(如图3中的311和321)的待识别区域图像特征和关联性特征。具体实施时，所述待识别区域图像特征可以为从相同位置图像区域提取的图像特征，则所述关联性特征为相同位置图像区域的待识别区域图像特征之间的相似度。
以图像对Vj,Nj为例，分别计算FVj1和FNj1的关联性特征FRj1、FVj2和FNj2的关联性特征FRj2、…和FVji和FNji的关联性特征FRji。为了提升人脸检测的准确性，所述待识别特征包括所述K个图像区域的待识别区域图像特征、用于表示所述图像对中两幅图像的相同位置图像区域之间关联性的关联性特征。
最后，将图像对中相同位置图像区域的可见光图像的待识别区域图像特征、近红外光图形的待识别区域图像特征，以及该图像区域的关联性特征组成该图像对中两幅图像的待识别特征。
例如，对于图像对Vj,Nj，待识别特征可以表示为：FVN＝{{FVj1,FNj1,FRj1},{FVj2,FNj2,FRj2},…,{FVji,FNji,FRji}}。
对于每条训练数据，都可以得到一串待识别特征，基于得到的每条训练数据的待识别特征和样本标签，即可训练人脸活体检测模型。以人脸活体检测模型为SVM分类器为例，基于得到的每条训练数据的待识别特征和样本标签，即可训练得到SVM分类器。
具体实施时，所述图像区域的图像特征可以为LBP(local binary patterns)特征或纹理特征等。本实施例中，以提取图像区域的LBP特征为例，说明图像特征的提取过程。对于每一个图像区域，提取参数为(8,1)的传统LBP特征：在每一个像素点的周围，LBP(8,1)特征将寻找距离该像素点距离为1像素的8个采样像素点，并将其顺时针排列起来；如果采样点的像素数值高于初始像素点，则得到比特“1”，否则得到比特“0”；这样对于每一个中心像素点，可以得到一个与之相对应的8比特二进制数字串；最后，通过统计每个图像区域中所有像素点对应的数值频率，即可得到一个直方图，该直方图即可作为代表该区域的特征向量。
具体实施时，由于可见光和近红外光图像对应不同的向量空间，为了提高关联性判断的准确性，优选的，所述待识别区域图像特征包括：每个所述图像区域的图像特征在指定投影方向的图像特征分量。即将可见光图像和近红外光图像的图像特征分别投影到一个最佳向量空间，然后再进一步确定在该最佳向量空间的特征分量作为待识别区域图像特征，并根据所述待识别区域图像特征确定各图像区域的关联性。
具体实施时，首先，对于每个图像对Vj,Nj，通过分别计算该图像对中每幅图像的K个图像区域的图像特征在指定投影方向的图像特征分量的相关系数，确定相关系数最大值对应的投影方向为最佳投影方向
Figure BDA0001506601520000081
和
Figure BDA0001506601520000082
即可见光图像Vj的图像区域i的最佳向量空间和近红外光图像Nj的图像区域i的最佳向量空间。然后，分别获取可见光图像Vj的图像区域i在投影方向
Figure BDA0001506601520000083
上的图像特征分量
Figure BDA0001506601520000084
作为可见光图像Vj的图像区域i的待识别区域图像特征；以及，近红外光图像Nj的图像区域i的投影方向
Figure BDA0001506601520000085
上的图像特征分量
Figure BDA0001506601520000086
作为近红外光图像Nj的图像区域i的待识别区域图像特征。
具体实施时，可以通过典型相关分析(Canonical Correlation Analysis，CCA)方法来计算不同光谱得到的特征向量间的相关性。使用典型相关分析方法来学习出可见光图像V的第i个图像区域的最佳投影方向
Figure BDA0001506601520000087
和近红外光图像N的第i个图像区域的最佳投影方向
Figure BDA0001506601520000088
以最大化两个投影向量
Figure BDA0001506601520000089
和
Figure BDA00015066015200000810
的相关系数ρi，公式如下：
Figure BDA00015066015200000811
其中，角标T是向量的转置，E[g]表示g的期望。为了进一步化简这个等式，引入类内协方差矩阵CVV和CNN，以及类间协方差矩阵CNV和CVN，由于所有特征向量均在较小的子区域图片上提取，针对类内协方差矩引入了正则化参数λ以避免产生过拟合等情况，上面的优化目标公式可以改写为：
Figure BDA00015066015200000812
其中，正则化参数λ根据实验数据确定取值。最优化目标函数可以由带有正则项的典型相关算法(Regularized CanonicalCorrelation Analysis)求解，本发明实施例中不再赘述。
求得两个最佳投影方向
Figure BDA0001506601520000091
和
Figure BDA0001506601520000092
之后，可以由此构建不同光谱条件下图像的相关特征。每个图像区域的关联性特征根据两幅图像的相同位置图像区域的所述图像特征分量的夹角余弦值确定，即每个所述图像区域的关联性特征根据两幅图像的相同位置图像区域的所述待识别区域图像特征的夹角余弦值确定。具体实施时，可以通过公式：
Figure BDA0001506601520000093
计算可见光图像V的第i个图像区域的投影向量
Figure BDA0001506601520000094
和近红外光图像N的第i个图像区域的投影向量
Figure BDA0001506601520000095
之间的相关特性Ψi，作为不同光谱条件下采集的两幅图像的某个图像区域的关联性特征。具体实施时，每个图像区域在指定投影方向的投影向量可以包括1维特征分量，也可以包括多维特征分量，根据投影方向矩阵确定。
将人脸图像分为若干较小的图像区域，以更好地适应光照的变化并发掘可见光和近红外光图像的关联信息，然而使用分块的方案会使得特征向量变得更长，很可能导致过拟合的发生。并且，有些边角处的图像区域可能更多地含有非人脸图片，甚至某些图像区域可能完全在人脸轮廓线之外，它们对于系统的贡献并不会很大，甚至会有副作用。这些无用图像区域的特征应该被移除，或者尽量减小对于系统的负面影响，因此，在模型训练阶段，为了进一步提升检测准确率，同时计算出整幅图像中各图像区域的特征权重，以衡量不同区域的重要性。
具体实施时，所述基于从若干图像对中提取的待识别特征，训练人脸活体检测模型时，还包括：确定各所述图像区域的待识别区域图像特征和关联性特征对应的特征权重，使得所述人脸活体检测模型基于所述人脸的图像对中两幅图像的待识别区域图像特征和关联性特征，以及对应的所述特征权重，对所述人脸进行活体检测。
所述确定各所述图像区域的待识别区域图像特征和关联性特征对应的特征权重，包括：对从若干图像对中提取的图像特征，每次保留一个不同的图像区域的图像特征，计算剩余的K-1个图像区域的图像特征投影向量的最大化相关系数；根据每次计算得到的所述最大化相关系数，确定该次保留的所述图像区域的待识别区域图像特征和关联性特征对应的特征权重。
假设用于训练模型的若干图像对表示为
Figure BDA0001506601520000101
1≤j≤M,M和j为正整数；Vj,Nj表示一组图像对，Vj表示可见光图像，Nj表示近红外光图像。经过将每幅图像划分为16个图像区域，并从每幅图像的每个图像区域中分贝提取图像特征之后，可以得到所述若干组图像对的图像特征FPM，表示为：
Figure BDA0001506601520000102
其中，FVj为可见光图像j的图像特征，FNj为近红外光图像j的图像特征；每幅图像的图像特征都包括16个图像区域的图像特征。所有可见光图像的图像特征表示为
Figure BDA0001506601520000103
所有近红外光图像的图像特征表示为
Figure BDA0001506601520000104
其中，K＝16。首先，保留第i个图像区域的图像特征FVji和FNji，由FV和FN中剩余的图像特征组成两串新的特征向量，分别表示为：
Figure BDA0001506601520000105
和
Figure BDA0001506601520000106
可以通过最大化相关系数ρ(-i)计算出这两串图像特征的最佳投影方向，即最大化：
Figure BDA0001506601520000107
其中，
Figure BDA0001506601520000108
和
Figure BDA0001506601520000109
分别是向量
Figure BDA00015066015200001010
和
Figure BDA00015066015200001011
的投影方向。使用与前述完全相同的典型相关分析方法求解最大相关系数ρ(-i)。
之后，可以根据公式
Figure BDA00015066015200001012
计算图像区域i的特征权重ci。按照此方案，可以求得保留每个让图像区域分别对应的最大相关系数，进一步的，可以确定每个图像区域的特征权重。
最后，将每个图像区域的特征权重设置为训练得到的模型中相同位置图像区域的待识别区域图像特征和关联性特征对应的特征权重。
具体实施时，以训练带有径向基(Radial Basis Function)核函数的SVM分类器为例，假设模型的输入特征分别为fx和fy，可以通过每个图像区域的权重调节RBF核函数中的相关参数。例如，对于核函数
Figure BDA0001506601520000111
中的距离计算公式
Figure BDA0001506601520000112
其中对角方阵Q的第a行第b列的元素定义为：
Figure BDA0001506601520000113
a,b＝1,2,...,K×K‘，其中，K为每幅图像中图像区域的数量，K‘为每个图像区域对应的特征维度，本实施例中K‘等于3。方阵元素ct的下标
Figure BDA0001506601520000114
Figure BDA0001506601520000115
代表向下取整。
步骤21，获取在不同光谱下采集人脸的图像对中包括的两幅图像各自的K个图像区域的图像特征。
在不同光谱下采集人脸的图像对的具体方案中参见实施例1，此处不再赘述。
对于近红外光条件下采集的图像表示为Ncur和可见光条件下采集的图像表示为Vcur，按照训练模型时对图像进行区域划分相同的方法，分别得到每幅图像的16个图像区域。然后，按照与训练模型时提取图像区域的图像特征相同的方法，分别提取可见光图像Vcur的16个图像区域的图像特征，得到的图像特征表示为FVcur＝{FVcur1，FVcur2，…FVcuri}；按照与训练模型时提取图像区域的图像特征相同的方法，分别提取近红外光图像Ncur的16个图像区域的图像特征，得到的图像特征表示为FNcur＝{FNcur1，FNcur2，…FNcuri},其中，i＝16。
步骤22，确定所述图像对中每幅图像的各个图像区域的待识别区域图像特征。
本实施例中，所述待识别区域图像特征包括：每个所述图像区域的图像特征在指定投影方向的图像特征分量。
具体实施时，首先可以通过典型相关分析CCA方法来计算不同光谱得到的特征向量间的相关性，即近红外光图像Ncur和可见光图像Vcur的相关性。首先，分别确定近红外光图像Ncur和可见光图像Vcur的各个图像区域的指定投影方向。
优选的，所述指定投影方向为两幅图像的相同位置图像区域的图像特征分量相关系数最大值对应的投影方向。例如，对于可见光图像Vcur的第i个图像区域的图像特征FVcuri和近红外光图像Ncur的第i个图像区域的图像特征FNcuri，采用训练模型时计算一组训练样本中两幅图像的最佳投影方向的方法，确定图像特征FVcuri和FNcuri的最佳投影方向
Figure BDA0001506601520000121
和
Figure BDA0001506601520000122
然后，进一步确定最佳投影方向
Figure BDA0001506601520000123
对应的可见光图像的第i个图像区域的图像特征分量
Figure BDA0001506601520000124
和最佳投影方向
Figure BDA0001506601520000125
对应的近红外光图像的第i个图像区域的图像特征分量
Figure BDA0001506601520000126
按照此方法，可以获得近红外光图像Ncur和可见光图像Vcur的所有图像区域在指定投影方向，即最佳投影方向的图像特征分量。
步骤23，根据所述图像对中每幅图像的相同位置图像区域的待识别区域图像特征，确定所述相同位置图像区域的关联性特征。
具体实施时，根据所述图像对中每幅图像的相同位置图像区域的待识别区域图像特征，确定所述相同位置图像区域的关联性特征，包括：将所述所述图像对中每幅图像各自在相同位置的图像区域对应的待识别区域图像特征确定为一组待识别区域图像特征，并分别基于每一组待识别区域图像特征，确定每一组待识别区域图像特征对应的关联性特征。
优选的，每个所述图像区域的关联性特征根据两幅图像的相同位置图像区域的所述待识别区域图像特征的夹角余弦值确定。在确定了每个图像区域在指定投影方向的图像特征分量之后，进一步通过公式
Figure BDA0001506601520000127
计算每个图像区域的关联性特征Ψ。
最后，对于每个图像区域i，将可见光图像中该图像区域的待识别区域图像特征(即图像特征的图像特征分量
Figure BDA0001506601520000128
)、近红外光图像中该图像区域的待识别图像特征(即图像特征的图像特征分量
Figure BDA0001506601520000129
)、近红外光图像和可见光图像基于该图像区域的关联性特征分量Ψi，组合为一组特征向量，例如表示为
Figure BDA00015066015200001210
作为所述图像对的一维待识别特征。将人脸的图像对中两幅图像的K个图像区域对应的K组特征向量按照预设规则排列，即可得到所述图像对中两幅图像的待识别特征。
步骤24，基于所述K个图像区域的待识别区域图像特征和关联性特征，通过预先训练的人脸活体检测模型对所述人脸进行活体检测。
最后，将K个图像区域的区域图像特征和关联性特征构成的待识别特征输入至预先训练的人脸活体检测模型，进行分类识别，确定所述人脸是否为活体人脸。
本发明实施例公开的人脸活体检测方法，通过获取在不同光谱下采集人脸的图像对中包括的两幅图像各自的K个图像区域的图像特征；根据每幅图像的所述K个图像区域的图像特征，确定所述图像对中两幅图像的待识别特征；基于所述待识别特征，通过预先训练的人脸活体检测模型对所述人脸进行活体检测，解决了现有的人脸活体检测方法识别准确率低的问题。
本发明实施例公开的方法，通过结合不同光谱条件下采集的图像特征以及图像之间的关联性，进行活体检测，进一步提升了活体检测的准确率。通过将不同光谱条件下采集的图像对划分成多个图像区域，分别确定各个图像区域的关联性特征，然后，由每个图像区域的待识别区域图像特征和关联性特征构成待识别特征，细化特征粒度，可以进一步提升检测的准确率。在进行人脸活体检测模型训练时，进一步训练各个图像区域的特征权重，可以降低不包含人脸图像或者对活体检测不起作用或作用很小的图像区域在活体检测过程中的影响，可以进一步提升活体检测的准确性。
实施例三：
相应的，如图4所示，本发明还公开了一种人脸活体检测装置，所述装置包括：
图像特征获取模块40，用于获取在不同光谱下采集人脸的图像对中包括的两幅图像各自的K个图像区域的图像特征，其中，K为大于0的自然数；
待识别区域图像特征确定模块41，用于确定所述图像对中每幅图像的各个图像区域的区域图像特征；
关联性特征确定模块42，用于根据所述图像对中每幅图像的相同位置图像区域的待识别区域图像特征，确定所述相同位置图像区域的关联性特征；
活体检测模块43，用于基于所述K个图像区域的待识别区域图像特征和关联性特征，通过预先训练的人脸活体检测模型对所述人脸进行活体检测。
本发明实施例公开的人脸活体检测装置，通过获取在不同光谱下采集人脸的图像对中包括的两幅图像各自的K个图像区域的图像特征；然后，确定所述图像对中每幅图像的各个图像区域的区域图像特征；根据所述图像对中每幅图像的相同位置图像区域的区域图像特征，确定所述相同位置图像区域的关联性特征；最后，基于所述K个图像区域的区域图像特征和关联性特征，通过预先训练的人脸活体检测模型对所述人脸进行活体检测，解决了现有的人脸活体检测方法识别准确率低的问题。本发明实施例公开的方法，通过结合不同光谱条件下采集的图像特征以及图像之间的关联性，进行活体检测，进一步提升了活体检测的准确率。
可选的，所述待识别区域图像特征包括：
每个所述图像区域的图像特征在指定投影方向的图像特征分量。
可选的，所述每个所述图像区域的关联性特征根据两幅图像的相同位置图像区域的所述待识别区域图像特征的夹角余弦值确定。
可选的，所述指定投影方向为两幅图像的相同位置图像区域的图像特征分量相关系数最大值对应的投影方向。
由于可见光和近红外光图像对应不同的向量空间，通过将可见光图像和近红外光图像的图像特征分别投影到一个最佳向量空间，然后再进一步确定在该最佳向量空间的特征分量的关联性，可以提高关联性判断的准确性。
可选的，如图5所示，所述装置还包括：
模型训练模块44，用于基于从若干图像对中提取的待识别区域图像特征和关联性特征，训练人脸活体检测模型；其中，每个所述图像对包括在不同光谱条件下分别采集的两幅人脸图像。
可选的，K为大于等于2的自然数，所述模型训练模块44进一步用于：
确定各所述图像区域的待识别区域图像特征和关联性特征对应的特征权重，使得所述人脸活体检测模型基于所述人脸的图像对中两幅图像的待识别区域图像特征和关联性特征，以及对应的所述特征权重，对所述人脸进行活体检测。
通过将不同光谱条件下采集的图像对划分成多个图像区域，分别确定各个图像区域的关联性特征，然后，由每个图像区域的图像特征和关联性特征构成待识别特征，细化特征粒度，可以进一步提升检测的准确率。
可选的，所述确定各所述图像区域的待识别区域图像特征和关联性特征对应的特征权重，包括：
对从若干图像对中提取的图像特征，每次保留一个不同的图像区域的图像特征，计算剩余的K-1个图像区域的图像特征投影向量的最大化相关系数；
根据每次计算得到的所述最大化相关系数，确定该次保留的所述图像区域的待识别区域图像特征和关联性特征对应的特征权重。
在进行人脸活体检测模型训练时，进一步训练各个图像区域的特征权重，可以降低不包含人脸图像或者对活体检测不起作用或作用很小的图像区域在活体检测过程中的影响，可以进一步提升活体检测的准确性。
相应的，本发明实施例还公开了一种电子设备，所述电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一和实施例二所述的人脸活体检测方法。所述电子设备可以为手机、PAD、平板电脑、人脸识别机等。
相应的，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例一和实施例二所述的人脸活体检测方法的步骤。
本发明的装置实施例与方法相对应，装置实施例中各模块和各单元的具体实现方式参见方法是实施例，此处不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本领域普通技术人员可以理解，在本申请所提供的实施例中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，不经过创造性劳动想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种人脸活体检测方法，其特征在于，所述方法包括：
获取在不同光谱下采集人脸的图像对中包括的两幅图像各自的K个图像区域的图像特征，其中，K为大于0的自然数；所述图像区域为按照预设规则，均匀划分得到的大小相同的相邻图像区域；
确定所述图像对中每幅图像的各个图像区域的待识别区域图像特征；
根据所述图像对中每幅图像的相同位置图像区域的待识别区域图像特征，确定所述相同位置图像区域的关联性特征；
基于所述K个图像区域的待识别区域图像特征和关联性特征，通过预先训练的人脸活体检测模型对所述人脸进行活体检测；
其中，训练人脸活体检测模型的步骤包括：
采集大量的不同光谱图像组成的图像对，作为训练样本，并设置样本标签，所述样本标签用于标识该图像对是活体或非活体；
基于每条训练样本的待识别特征和样本标签，训练人脸活体检测模型；所述训练样本的待识别特征包括图像对中相同位置图像区域的待识别区域图像特征以及该图像区域的关联性特征；所述人脸活体检测模型为带有径向基核函数的分类器，所述核函数的参数根据每个图像区域的权重进行调节。
2.根据权利要求1所述的方法，其特征在于，所述待识别区域图像特征包括：
每个所述图像区域的图像特征在指定投影方向的图像特征分量。
3.根据权利要求2所述的方法，其特征在于，每个所述图像区域的关联性特征根据两幅图像的相同位置图像区域的所述待识别区域图像特征的夹角余弦值确定。
4.根据权利要求2所述的方法，其特征在于，所述指定投影方向为两幅图像的相同位置图像区域的图像特征分量相关系数最大值对应的投影方向。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述K个图像区域的待识别区域图像特征和关联性特征，通过预先训练的人脸活体检测模型对所述人脸进行活体检测的步骤之前，还包括：
基于从若干图像对中提取的待识别区域图像特征和关联性特征，训练人脸活体检测模型；其中，每个所述图像对包括在不同光谱条件下分别采集的两幅人脸图像。
6.根据权利要求5所述的方法，其特征在于，K为大于等于2的自然数，所述基于从若干图像对中提取的待识别区域图像特征和关联性特征，训练人脸活体检测模型的步骤，包括：
确定各所述图像区域的待识别区域图像特征和关联性特征对应的特征权重，使得所述人脸活体检测模型基于所述人脸的图像对中两幅图像的待识别区域图像特征和关联性特征，以及对应的所述特征权重，对所述人脸进行活体检测。
7.根据权利要求6所述的方法，其特征在于，所述确定各所述图像区域的待识别区域图像特征和关联性特征对应的特征权重的步骤，包括：
对从若干图像对中提取的图像特征，每次保留一个不同的图像区域的图像特征，计算剩余的K-1个图像区域的图像特征投影向量的最大化相关系数；
根据每次计算得到的所述最大化相关系数，确定该次保留的所述图像区域的待识别区域图像特征和关联性特征对应的特征权重。
8.一种人脸活体检测装置，其特征在于，包括：
图像特征获取模块，用于获取在不同光谱下采集人脸的图像对中包括的两幅图像各自的K个图像区域的图像特征，其中，K为大于0的自然数；所述图像区域为按照预设规则，均匀划分得到的大小相同的相邻图像区域；
待识别区域图像特征确定模块，用于确定所述图像对中每幅图像的各个图像区域的区域图像特征；
关联性特征确定模块，用于根据所述图像对中每幅图像的相同位置图像区域的待识别区域图像特征，确定所述相同位置图像区域的关联性特征；
活体检测模块，用于基于所述K个图像区域的待识别区域图像特征和关联性特征，通过预先训练的人脸活体检测模型对所述人脸进行活体检测；
其中，训练人脸活体检测模型的步骤包括：
采集大量的不同光谱图像组成的图像对，作为训练样本，并设置样本标签，所述样本标签用于标识该图像对是活体或非活体；
基于每条训练样本的待识别特征和样本标签，训练人脸活体检测模型；所述训练样本的待识别特征包括图像对中相同位置图像区域的待识别区域图像特征以及该图像区域的关联性特征；所述人脸活体检测模型为带有径向基核函数的分类器，所述核函数的参数根据每个图像区域的权重进行调节。
9.根据权利要求8所述的装置，其特征在于，所述待识别区域图像特征包括：
每个所述图像区域的图像特征在指定投影方向的图像特征分量。
10.根据权利要求9所述的装置，其特征在于，每个所述图像区域的关联性特征根据两幅图像的相同位置图像区域的所述待识别区域图像特征的夹角余弦值确定。
11.根据权利要求9所述的装置，其特征在于，所述指定投影方向为两幅图像的相同位置图像区域的图像特征分量相关系数最大值对应的投影方向。
12.根据权利要求8至11任一项所述的装置，其特征在于，所述装置还包括：
模型训练模块，用于基于从若干图像对中提取的待识别区域图像特征和关联性特征，训练人脸活体检测模型；其中，每个所述图像对包括在不同光谱条件下分别采集的两幅人脸图像。
13.根据权利要求12所述的装置，其特征在于，K为大于等于2的自然数，所述模型训练模块进一步用于：
确定各所述图像区域的待识别区域图像特征和关联性特征对应的特征权重，使得所述人脸活体检测模型基于所述人脸的图像对中两幅图像的待识别区域图像特征和关联性特征，以及对应的所述特征权重，对所述人脸进行活体检测。
14.根据权利要求13所述的装置，其特征在于，所述确定待识别区域图像特征和关联性特征对应的特征权重，包括：
对从若干图像对中提取的图像特征，每次保留一个不同的图像区域的图像特征，计算剩余的K-1个图像区域的图像特征投影向量的最大化相关系数；
根据每次计算得到的所述最大化相关系数，确定该次保留的所述图像区域的待识别区域图像特征和关联性特征对应的特征权重。
15.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述的人脸活体检测方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任意一项所述的人脸活体检测方法的步骤。
CN201711330803.3A 2017-12-13 2017-12-13 一种人脸活体检测方法、装置及电子设备 Active CN107918773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711330803.3A CN107918773B (zh) 2017-12-13 2017-12-13 一种人脸活体检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711330803.3A CN107918773B (zh) 2017-12-13 2017-12-13 一种人脸活体检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN107918773A CN107918773A (zh) 2018-04-17
CN107918773B true CN107918773B (zh) 2021-06-04

Family

ID=61893196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711330803.3A Active CN107918773B (zh) 2017-12-13 2017-12-13 一种人脸活体检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN107918773B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549886A (zh) * 2018-06-29 2018-09-18 汉王科技股份有限公司 一种人脸活体检测方法及装置
CN109147116A (zh) * 2018-07-25 2019-01-04 深圳市飞瑞斯科技有限公司 智能锁及控制智能锁开启的方法
CN111488756B (zh) * 2019-01-25 2023-10-03 杭州海康威视数字技术股份有限公司 基于面部识别的活体检测的方法、电子设备和存储介质
CN110633691A (zh) * 2019-09-25 2019-12-31 北京紫睛科技有限公司 一种基于可见光和近红外相机的双目活体检测方法
CN111191519B (zh) * 2019-12-09 2023-11-24 同济大学 一种用于移动供电装置用户接入的活体检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573672A (zh) * 2015-01-29 2015-04-29 厦门理工学院 一种基于邻域保持的鉴别嵌入人脸识别方法
CN107358180A (zh) * 2017-06-28 2017-11-17 江苏爱朋医疗科技股份有限公司 一种人脸表情的疼痛评估方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI240216B (en) * 2002-06-27 2005-09-21 Ind Tech Res Inst Pattern recognition method by reducing classification error
CN101964056B (zh) * 2010-10-26 2012-06-27 徐勇 一种具有活体检测功能的双模态人脸认证方法和系统
TW201401186A (zh) * 2012-06-25 2014-01-01 Psp Security Co Ltd 人臉判斷系統以及方法
US10013599B2 (en) * 2015-07-13 2018-07-03 The Johns Hopkins University Face detection, augmentation, spatial cueing and clutter reduction for the visually impaired
CN106778607A (zh) * 2016-12-15 2017-05-31 国政通科技股份有限公司 一种基于人脸识别的人与身份证同一性认证装置及方法
CN107358181A (zh) * 2017-06-28 2017-11-17 重庆中科云丛科技有限公司 用于人脸活体判断的单目红外可见光摄像头装置及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573672A (zh) * 2015-01-29 2015-04-29 厦门理工学院 一种基于邻域保持的鉴别嵌入人脸识别方法
CN107358180A (zh) * 2017-06-28 2017-11-17 江苏爱朋医疗科技股份有限公司 一种人脸表情的疼痛评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图像的人脸识别技术研究;王莹;《中国博士学位论文全文数据库 信息科技辑》;20120915(第09期);I138-38 *

Also Published As

Publication number Publication date
CN107918773A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
CN107918773B (zh) 一种人脸活体检测方法、装置及电子设备
Afifi 11K Hands: Gender recognition and biometric identification using a large dataset of hand images
CN107944020B (zh) 人脸图像查找方法及装置、计算机装置和存储介质
CN107423690B (zh) 一种人脸识别方法及装置
CN104933414B (zh) 一种基于wld-top的活体人脸检测方法
JP6112801B2 (ja) 画像認識装置及び画像認識方法
WO2016150240A1 (zh) 身份认证方法和装置
TW200910223A (en) Image processing apparatus and image processing method
JP6351243B2 (ja) 画像処理装置、画像処理方法
US9530042B1 (en) Method for fingerprint classification
JP6410450B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
Cao et al. Efficient saliency detection using convolutional neural networks with feature selection
Sajid et al. The role of facial asymmetry in recognizing age-separated face images
Kumar et al. Non-overlapped blockwise interpolated local binary pattern as periocular feature
Xue et al. Gender detection from spine x-ray images using deep learning
Jingade et al. DOG-ADTCP: A new feature descriptor for protection of face identification system
Sharma et al. Face Recognition using PCA and SVM with Surf
Li et al. Texture analysis of remote sensing imagery with clustering and Bayesian inference
Stojnić et al. Detection of pollen bearing honey bees in hive entrance images
CN116342968B (zh) 一种双通道人脸识别方法及装置
Patel et al. Robust face detection using fusion of haar and daubechies orthogonal wavelet template
CN116778533A (zh) 一种掌纹全感兴趣区域图像提取方法、装置、设备及介质
CN110969095A (zh) 一种信鸽的身份信息分析方法及装置
Oz et al. Efficacy of biophysiological measurements at FTFPs for facial expression classification: A validation
Vijayashree et al. Authentication of herbal medicinal leaf image processing using Raspberry Pi processor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant