CN111860078B - 人脸静默活体检测方法、装置、可读存储介质及设备 - Google Patents

人脸静默活体检测方法、装置、可读存储介质及设备 Download PDF

Info

Publication number
CN111860078B
CN111860078B CN201910363522.0A CN201910363522A CN111860078B CN 111860078 B CN111860078 B CN 111860078B CN 201910363522 A CN201910363522 A CN 201910363522A CN 111860078 B CN111860078 B CN 111860078B
Authority
CN
China
Prior art keywords
face
layer
convolutional neural
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910363522.0A
Other languages
English (en)
Other versions
CN111860078A (zh
Inventor
周军
王洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Eyes Intelligent Technology Co ltd
Beijing Eyecool Technology Co Ltd
Original Assignee
Beijing Eyes Intelligent Technology Co ltd
Beijing Eyecool Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Eyes Intelligent Technology Co ltd, Beijing Eyecool Technology Co Ltd filed Critical Beijing Eyes Intelligent Technology Co ltd
Priority to CN201910363522.0A priority Critical patent/CN111860078B/zh
Publication of CN111860078A publication Critical patent/CN111860078A/zh
Application granted granted Critical
Publication of CN111860078B publication Critical patent/CN111860078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸静默活体检测方法、装置、计算机可读存储介质及设备,属于人脸识别领域。该方法包括:训练预先构建的分类模型;获取待活体检测人脸图像并进行预处理;将预处理后的人脸图像输入分类模型,得到活体检测结果。该分类模型包括若干层的卷积神经网络,前一层的每一个卷积神经网络在后一层都对应有两个卷积神经网络,前一层的一个卷积神经网络能够将人脸图像分类为活体和假体两类,后一层的卷积神经网络对前一层的卷积神经网络分类后的结果(尤其是分类错误的结果)进一步分类。以此类推,最后一层卷积神经网络的分类结果即为活体检测结果。本发明的人脸静默活体检测方法不需要用户配合,用户体验性好,速度快,分类准确。

Description

人脸静默活体检测方法、装置、可读存储介质及设备
技术领域
本发明涉及人脸识别领域,特别是指一种人脸静默活体检测方法、装置、计算机可读存储介质及设备。
背景技术
随着人脸识别系统在金融、安防等领域的应用,如人脸支付、人脸解锁等,出现越来越多的人脸假体攻击的问题。人脸假体攻击主要是指使用假体人脸攻击人脸识别系统,进而达到骗过系统,得到相关权限的目的。假体人脸主要有三种,分别为打印类假体,屏幕类假体和3D面具假体。打印类假体指人脸经过纸质打印后再翻拍出来的结果,屏幕类假体指的是对电子屏幕显示的视频图像或图片进行翻拍而获得假体图像,而3D面具假体则指的是戴着3D的仿真面具采集得到的假体图像。在实际的生活中,由于3D假体面具的造价较高并且较难获取,所以本发明主要解决的是打印类假体和屏幕类假体的防假问题。
目前的人脸活体检测方法是系统发出一系列如请左右转头、请眨眼等动作指令,用户根据指令做出相应的动作,然后系统去判断该动作是否正确,进而判断使用者是否是活体。该方法一方面需要用户根据系统的指令进行配合,降低了用户体验;另一方面,为了提高活体检测的准确率,往往需要用户随机多次的做出某些动作,耗时也会较长。
发明内容
为解决上述技术问题,本发明提供一种人脸静默活体检测方法、装置、计算机可读存储介质及设备,本发明不需要用户配合,用户体验性好,速度快,分类准确。
本发明提供技术方案如下:
第一方面,本发明提供一种人脸静默活体检测方法,所述方法包括:
训练预先构建的分类模型,其中:
所述分类模型包括若干层的卷积神经网络,前一层的每一个卷积神经网络在后一层都对应有两个卷积神经网络,前一层的一个卷积神经网络能够将输入该卷积神经网络的人脸图像分类为活体和假体两类,后一层的与前一层该神经网络对应的两个神经网络中的第一个能够将被前一层卷积神经网络分类为假体的人脸图像继续分类为活体和假体两类,后一层的与前一层该神经网络对应的两个神经网络中的第二个能够将被前一层卷积神经网络分类为活体的人脸图像继续分类为活体和假体两类;
获取待检测人脸图像并对所述待检测人脸图像进行预处理;
将预处理后的人脸图像输入所述分类模型,得到活体检测结果,其中:
所述分类模型的第一层卷积神经网络将预处理后的人脸图像分类为活体或假体;若分类为假体,则使用第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第一个将预处理后的人脸图像继续分类为活体或假体;若分类为活体,则使用第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第二个将预处理后的人脸图像继续分类为活体或假体;以此类推,最后一层卷积神经网络的分类结果即为活体检测结果;
其中,所述分类模型通过如下方法训练得到:
使用第一样本集训练分类模型的第一层卷积神经网络,所述第一样本集包括假体图像和活体图像;
使用第二样本集训练第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第一个,所述第二样本集包括假体图像和活体图像,所述假体图像包括被所述第一层卷积神经网络分类为活体的假体图像;
使用第三样本集训练第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第二个,所述第三样本集包括假体图像和活体图像,所述活体图像包括被所述第一层卷积神经网络分类为假体的活体图像;
以此类推,直至训练完最后一层的卷积神经网络。
进一步的,所述预处理包括:
通过人脸检测算法检测出代表人脸区域的人脸检测框;
通过人脸定位算法定位出包括左右眼睛的人脸关键点;
根据左右眼睛坐标进行人脸对齐;
将对齐后的人脸图像进行归一化处理,得到预处理后的人脸图像。
进一步的,所述预处理还包括:
获取人脸的俯仰姿态角、摇头姿态角和转头姿态角;
所述将预处理后的人脸图像输入所述分类模型之前还包括人脸大小检测和/或人脸姿态检测,若所述人脸大小检测通过和/或人脸姿态检测通过,则继续执行下一步,否则,判断人脸图像为假体,结束;
所述人脸大小检测包括:判断所述人脸检测框的宽度和高度是否分别均在预设的宽度范围和高度范围内,若是,则人脸大小检测通过;
所述人脸姿态检测包括:判断所述人脸的俯仰姿态角、摇头姿态角和转头姿态角是否分别均在预设的俯仰姿态角范围、摇头姿态角范围和转头姿态角范围内,若是,则人脸姿态检测通过。
进一步的,每个卷积神经网络的结构相同或不同,其中一个或多个卷积神经网络的结构包括依次相连的第一卷积层、第一池化层、第一Rnorm层、第二卷积层、第三卷积层、第二Rnorm层、第二池化层、第一Inception模块、第二Inception模块、第三池化层、第三Inception模块、第四Inception模块、第五Inception模块、第六Inception模块、第七Inception模块、第四池化层、第八Inception模块、第九Inception模块、第五池化层。
第二方面,本发明提供一种人脸静默活体检测装置,所述装置包括:
训练模块,用于训练预先构建的分类模型,其中:
所述分类模型包括若干层的卷积神经网络,前一层的每一个卷积神经网络在后一层都对应有两个卷积神经网络,前一层的一个卷积神经网络能够将输入该卷积神经网络的人脸图像分类为活体和假体两类,后一层的与前一层该神经网络对应的两个神经网络中的第一个能够将被前一层卷积神经网络分类为假体的人脸图像继续分类为活体和假体两类,后一层的与前一层该神经网络对应的两个神经网络中的第二个能够将被前一层卷积神经网络分类为活体的人脸图像继续分类为活体和假体两类;
预处理模块,用于获取待检测人脸图像并对所述待检测人脸图像进行预处理;
分类模块,用于将预处理后的人脸图像输入所述分类模型,得到活体检测结果,其中:
所述分类模型的第一层卷积神经网络将预处理后的人脸图像分类为活体或假体;若分类为假体,则使用第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第一个将预处理后的人脸图像继续分类为活体或假体;若分类为活体,则使用第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第二个将预处理后的人脸图像继续分类为活体或假体;以此类推,最后一层卷积神经网络的分类结果即为活体检测结果;
其中,所述分类模型通过如下单元训练得到:
第一训练单元,用于使用第一样本集训练分类模型的第一层卷积神经网络,所述第一样本集包括假体图像和活体图像;
第二训练单元,用于使用第二样本集训练第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第一个,所述第二样本集包括假体图像和活体图像,所述假体图像包括被所述第一层卷积神经网络分类为活体的假体图像;
第三训练单元,用于使用第三样本集训练第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第二个,所述第三样本集包括假体图像和活体图像,所述活体图像包括被所述第一层卷积神经网络分类为假体的活体图像;
以此类推,直至使用第N训练单元训练完最后一层的卷积神经网络,其中N为卷积神经网络的个数。
进一步的,所述预处理模块包括:
人脸检测单元,用于通过人脸检测算法检测出代表人脸区域的人脸检测框;
人脸定位单元,用于通过人脸定位算法定位出包括左右眼睛的人脸关键点;
人脸对齐单元,用于根据左右眼睛坐标进行人脸对齐;
归一化单元,用于将对齐后的人脸图像进行归一化处理,得到预处理后的人脸图像。
进一步的,所述预处理模块还包括:
姿态角获取单元,用于获取人脸的俯仰姿态角、摇头姿态角和转头姿态角;
所述预处理模块和分类模块之间还连接有人脸大小检测模块和/或人脸姿态检测模块,若所述人脸大小检测通过和/或人脸姿态检测通过,则继续执行所述分类模块,否则,判断人脸图像为假体,结束;
所述人脸大小检测模块包括:判断所述人脸检测框的宽度和高度是否分别均在预设的宽度范围和高度范围内,若是,则人脸大小检测通过;
所述人脸姿态检测模块包括:判断所述人脸的俯仰姿态角、摇头姿态角和转头姿态角是否分别均在预设的俯仰姿态角范围、摇头姿态角范围和转头姿态角范围内,若是,则人脸姿态检测通过。
进一步的,每个卷积神经网络的结构相同或不同,其中一个或多个卷积神经网络的结构包括依次相连的第一卷积层、第一池化层、第一Rnorm层、第二卷积层、第三卷积层、第二Rnorm层、第二池化层、第一Inception模块、第二Inception模块、第三池化层、第三Inception模块、第四Inception模块、第五Inception模块、第六Inception模块、第七Inception模块、第四池化层、第八Inception模块、第九Inception模块、第五池化层。
第三方面,本发明提供一种用于人脸静默活体检测的计算机可读存储介质,包括用于存储处理器可执行指令的存储器,所述指令被所述处理器执行时实现第一方面所述的人脸静默活体检测方法的步骤。
第三方面,本发明提供一种用于人脸静默活体检测的设备,包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现第一方面所述的人脸静默活体检测方法的步骤。
本发明具有以下有益效果:
本发明主要解决打印类假体和屏幕类假体的防假问题。本发明是人脸静默活体检测方法,人脸静默活体检测是指不需要任何用户配合,只需要向系统中输入人脸图像,即可判断该人脸图像中的人为活体或是假体。
本发明的人脸静默活体检测方法使用卷积神经网络有效的提取易于区分活体和假体的人脸特征并进行分类,相比于现有技术的需要用户动作配合的活体检测方法,本发明的基于卷积神经网络的活体检测方法不需要用户根据系统的指令进行配合,用户体验性好,也不需要用户随机多次的做出某些动作,检测速度快。
本发明的人脸静默活体检测方法可以适用于可见光或者近红外光,适用范围更广,并且在可见光环境下,本发明不依赖额外光源,成本较低。
本发明通过多层的卷积神经网络构成分类模型,后一层的卷积神经网络能够对前一层的卷积神经网络分类后的结果(尤其是分类错误的结果)进一步分类,提高了分类的准确性。并且本发明可以根据需要设定分类模型的层数以及卷积神经网络的结构,方便灵活。另外本发明的分类模型的结构能够尽可能避免过拟合现象的出现,提高了分类模型的性能。
综上所述,本发明的人脸静默活体检测方法不需要用户配合,用户体验性好,速度快,分类准确。
附图说明
图1为本发明的人脸静默活体检测方法流程图;
图2为分类模型的一个实施方式的示意图;
图3为预处理的示意图;
图4为人脸姿态角的示意图;
图5为包括人脸大小检测和人脸姿态检测的活体检测流程图;
图6为本发明的人脸静默活体检测装置示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
本发明实施提供了一种人脸静默活体检测方法,如图1所示,该方法包括:
步骤S100’:训练预先构建的分类模型,其中:
分类模型包括若干层的卷积神经网络,前一层的每一个卷积神经网络在后一层都对应有两个卷积神经网络,前一层的一个卷积神经网络能够将输入该卷积神经网络的人脸图像分类为活体和假体两类,后一层的与前一层该神经网络对应的两个神经网络中的第一个能够将被前一层卷积神经网络分类为假体的人脸图像继续分类为活体和假体两类,后一层的与前一层该神经网络对应的两个神经网络中的第二个能够将被前一层卷积神经网络分类为活体的人脸图像继续分类为活体和假体两类。
分类模型的一个具体结构举例说明如下:
如图2所示,第一层卷积神经网络为1个(CNN1),CNN1能够将人脸图像分类为活体和假体两类;
CNN1在第二层对应的卷积神经网络为2个(CNN2和CNN3),CNN2能够将被CNN1分类为假体的人脸图像继续分类为活体和假体两类,CNN3能够将被CNN2分类为活体的人脸图像继续分类为活体和假体两类;
CNN2在第三层对应的卷积神经网络为2个(CNN4、CNN5),CNN4能够将被CNN2分类为假体的人脸图像继续分类为活体和假体两类,CNN5能够将被CNN2分类为活体的人脸图像继续分类为活体和假体两类;
CNN3在第三层对应的卷积神经网络为2个(CNN6和CNN7),CNN6能够将被CNN3分类为假体的人脸图像继续分类为活体和假体两类,CNN7能够将被CNN3分类为活体的人脸图像继续分类为活体和假体两类。
前述示例是三层的分类模型,本发明不对分类模型的层数进行限定。分类模型的层数可以根据需要灵活设定,若想取得更加准确的分类结果,可以增加分类模型的层数,例如还包括后续的第四层、第五层,其结构以此类推即可。
本发明也不限制卷积神经网络的结构,卷积神经网络的结构可以根据实际需要进行设定,若想得更加准确的分类结果,可以增加卷积神经网络的深度。
步骤S200:获取待检测人脸图像并对待检测人脸图像进行预处理;预处理包括人脸检测、人脸关键点、人脸对齐和归一化等操作,本发明对预处理的方法不做限定。
本发明主要解决打印类假体和屏幕类假体在可见光或者红外光下的防假问题,需要说明的是,当解决可见光下的防伪问题时,在可见光环境下获取人脸图像,当解决红外光下的防伪问题时,在红外光环境下获取人脸图像。
步骤S300:将预处理后的人脸图像输入分类模型,得到活体检测结果,其中:
分类模型的第一层卷积神经网络将预处理后的人脸图像分类为活体或假体(第一层有且仅有一个卷积神经网络);若分类为假体,则使用第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第一个将预处理后的人脸图像继续分类为活体或假体;若分类为活体,则使用第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第二个将预处理后的人脸图像继续分类为活体或假体;以此类推,最后一层卷积神经网络的分类结果即为活体检测结果。
进行图像活体检测判断时,从第一层卷积神经网络开始,使用相应的CNN提取特征并判断活体/非活体结果,根据判断的结果分类到不同的下一级卷积神经网络中,不断地重复上述步骤直到遍历到最后一层卷积神经网络,得到最终的活体检测判断结果。
以前述具体结构的分类模型为例:
如图2所示,CNN1提取预处理后的人脸图像IMG的特征并进行分类;假设CNN1分类为假体(0),则通过0的分支到达CNN2,使用CNN2提取预处理后的人脸图像IMG的特征并进行分类,CNN1对人脸图像IMG的分类并不完全准确,使用CNN2在CNN1的分类结果的基础上对人脸图像IMG进一步分类,提高了分类的准确性,类似的,后续的卷积神经网络也提高了分类的准确性。
假设CNN2分类为活体(1),则通过1的分支到达CNN5,使用CNN5提取预处理后的人脸图像IMG的特征并进行分类;CNN5的分类结果即为活体检测结果,假设CNN5分类为活体,则人脸图像为活体图像。
本发明假设CNN1分类为假体,只对CNN1分类为假体的后续过程进行说明,并不是说CNN1只能分类为假体,CNN1分类为活体的后续处理过程与CNN1分类为假体的后续处理过程类似:假设CNN1分类为活体1,则通过1的分支到达CNN3,使用CNN3提取预处理后的人脸图像IMG的特征并进行分类,后续的处理过程与分类为假体类似,不再赘述。
其中,分类模型通过如下方法训练得到:
本发明主要解决打印类假体和屏幕类假体在可见光或者红外光下的防假问题,需要说明的是,当解决可见光下的防伪问题时,训练分类模型时使用可见光环境下采集的训练样本集(后文的第一样本集、第二样本集……),当解决红外光下的防伪问题时,训练网络时使用近红外光环境下采集的训练样本集。
步骤S110’:使用第一样本集训练分类模型的第一层卷积神经网络,第一样本集包括假体图像和活体图像。
以图2所述的分类模型为例,CNN1的输入可以为1000张活体图像(正样本)和1000张假体图像(负样本),将这2000张样本输入CNN1中训练,得到训练好的CNN1。
假设经过CNN1后判断为活体的图像有800张正样本和200张负样本,其中,200张负样本为误判;假设经过CNN1后判断为假体的图像有200张正样本和800张负样本,其中,200张正样本为误判。
步骤S120’:使用第二样本集训练第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第一个,第二样本集包括假体图像和活体图像,假体图像包括被第一层卷积神经网络分类为活体的假体图像。
CNN2输入的负样本为CNN1判断为活体的200张负样本+新补充的800张负样本,另外还需要新补充1000张正样本,将这2000张样本输入CNN2中训练,得到训练好的CNN2。CNN2能够对CNN1误判为活体的负样本进行进一步分类判断,提高了分类的准确性。
步骤S130’:使用第三样本集训练第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第二个,第三样本集包括假体图像和活体图像,活体图像包括被第一层卷积神经网络分类为假体的活体图像。
CNN3输入的正样本为CNN1判断为假体的200张正样本+新补充的800张正样本,另外还需要新补充1000张负样本,将这2000张样本输入CNN3中训练,得到训练好的CNN3。CNN3能够对CNN1误判为假体的正样本进行进一步分类判断,提高了分类的准确性。
以此类推,使用相似的方法训练CNN4、CNN5、CNN6和CNN7直至训练完最后一层的卷积神经网络。
本发明中,前述的步骤S100’、步骤S110’、步骤S120’和步骤S130’是分类模型的训练过程,训练过程是在正式进行使用(即进行人脸活体检测)前进行的,在产品正式使用时,不再执行训练过程,只要执行前述的步骤S200、步骤S300即可。
本发明主要解决打印类假体和屏幕类假体的防假问题。本发明是人脸静默活体检测方法,人脸静默活体检测是指不需要任何用户配合,只需要向系统中输入人脸图像,即可判断该人脸图像中的人为活体或是假体。
本发明的人脸静默活体检测方法使用卷积神经网络有效的提取易于区分活体和假体的人脸特征并进行分类,相比于现有技术的需要用户动作配合的活体检测方法,本发明的基于卷积神经网络的活体检测方法不需要用户根据系统的指令进行配合,用户体验性好,也不需要用户随机多次的做出某些动作,检测速度快。
本发明的人脸静默活体检测方法可以适用于可见光或者近红外光,适用范围更广,并且在可见光环境下,本发明不依赖额外光源,成本较低。
本发明通过多层的卷积神经网络构成分类模型,后一层的卷积神经网络能够对前一层的卷积神经网络分类后的结果(尤其是分类错误的结果)进一步分类,提高了分类的准确性。并且本发明可以根据需要设定分类模型的层数以及卷积神经网络的结构,方便灵活。另外本发明的分类模型的结构能够尽可能避免过拟合现象的出现,提高了分类模型的性能。
综上所述,本发明的人脸静默活体检测方法不需要用户配合,用户体验性好,速度快,分类准确。
作为本发明的一种改进,如图3所示,前述的预处理包括:
步骤S210:通过人脸检测算法检测出代表人脸区域的人脸检测框。
步骤S220:通过人脸定位算法定位出包括左右眼睛的人脸关键点。
步骤S210和S220优选通过基于Cascade CNN的人脸检测算法FaceCraft,FaceCraft算法能够检测出人脸检测框,同时该算法还会输出人脸的五个关键点,分别为左右眼睛、鼻子和左右嘴角。
当然,还可以采用其他人脸检测算法,比如Harr-AdaBoost,SSD,FasterRCNN等,在检测出人脸检测框之后,可以结合SDM、LBF、LAB等方法从而定位出人脸关键点。
步骤S230:根据左右眼睛坐标进行人脸对齐。优选将定位后的左右眼睛坐标分别对齐到(30,30)和(30,70)的位置。
步骤S240:将对齐后的人脸图像进行归一化处理,得到预处理后的人脸图像,作为分类模型的输入。本步骤优选将人脸图像归一化为100×100的大小。
进一步的,前述的预处理还可以包括:
步骤S210’:获取人脸的俯仰姿态角pitch、摇头姿态角yaw和转头姿态角roll。
本步骤优选通过FaceCraft算法得到俯仰姿态角pitch、摇头姿态角yaw和转头姿态角roll。本步骤与前述的步骤S210和S220同时进行。俯仰姿态角pitch、摇头姿态角yaw和转头姿态角roll如图4所示。
将预处理后的人脸图像输入分类模型之前还包括人脸大小检测(步骤S250)和/或人脸姿态检测(步骤S260),若人脸大小检测通过和/或人脸姿态检测通过,则继续执行下一步,否则,判断人脸图像为假体,结束。也就是说,当人脸图像进入分类模型之前,会进行人脸大小限制,人脸姿态限制的检测,如图5所示。
人脸大小检测(步骤S250)包括:判断人脸检测框的宽度和高度是否分别均在预设的宽度范围和高度范围内,若是,则人脸大小检测通过,否则,人脸大小检测不通过,判断为假体。
人脸大小检测的原理是:由于真人活体在摄像头前采集图像时,距离摄像头有一定距离,采集的人脸不会太大,当是假体图像时,用户一般拿着假体图像接近摄像头来采集图像,采集的人脸图像一般较大。并且当人脸过大或过小时,人脸离摄像头过近或过远,采集的人脸图像质量不高,导致活体检测的准确率下降。因此,本发明增加人脸大小检测这一策略来辅助进行活体检测,从而提高效率。
以输入的VGA图像(也可以为FPGA等其他格式的图像)为例,输入图像的分辨率为640*480,人脸检测框的宽度width和高度height,若50≤width≤200并且50≤height≤200则说明人脸大小符合活体检测规则,通过分类模型进行活体检测判断,否则,人脸不符合使用规范,直接判断为假体,并提示距离摄像头过近或者过远。此处对于人脸检测框的宽度和高度值仅用于解释本发明,并不用于对本发明的限定。
人脸姿态检测(步骤S260)包括:判断人脸的俯仰姿态角、摇头姿态角和转头姿态角是否分别均在预设的俯仰姿态角范围、摇头姿态角范围和转头姿态角范围内,若是,则人脸姿态检测通过。
人脸姿态检测的原理是:当人脸的姿态角(包括俯仰姿态角范围、摇头姿态角范围和转头姿态角)过大时,采集的人脸图像比较偏,人脸图像质量不高,导致活体检测的准确率下降。因此当人脸姿态角不符合要求时,直接判定为活体检测不通过,重新采集图像。
例如,对于人脸的姿态,限制平面转动和左右摇头大于15度,低头角度不大于45度,抬头角度不大于15度,即满足下述条件时人脸姿态检测通过。
-15≤yaw≤15
-15≤roll≤15
-45≤pitch≤15
此处,平面转动角度、左右摇头角度和低头角度仅用于解释本发明,并不用于对本发明的限定。
本发明在进行人脸活体检测前,根据实际的使用经验和需要,可以对人脸的大小和人脸的姿态进行限制。加入了人脸大小检测和/或人脸角度姿态检测,使得活体检测的准确率可以有较大的提升。需要说明的是,人脸大小检测和人脸姿态检测为可选的步骤,可以只选人脸大小检测的策略,也可以只选人脸姿态检测的策略,也可以同时选取人脸大小检测和人脸姿态检测的策略,同时选择人脸大小检测和人脸姿态检测时,只有当人脸大小检测和人脸姿态检测均通过时,才进行后一步。
本发明不限制卷积神经网络的结构,每个卷积神经网络的结构可以相同也可以不同,为了获得较好的分类效果,本发明中的每一个卷积神经网络使用了相同的Inception+ResNet网络结构:
包括依次相连的第一卷积层Convolution1、第一池化层Pool1、第一Rnorm层Rnorm、第二卷积层Convolution2、第三卷积层Convolution3、第二Rnorm层Rnorm2、第二池化层Pool2、第一Inception模块Inception4、第二Inception模块Inception5、第三池化层Pool3、第三Inception模块Inception6、第四Inception模块Inception7、第五Inception模块Inception8、第六Inception模块Inception9、第七Inception模块Inception10、第四池化层Pool4、第八Inception模块Inception11、第九Inception模块Inception12、第五池化层Pool5。卷积神经网络的结构和参数如下表1所示。
表1.网络结构和相关参数
当然,这只是本发明的卷积神经网络的一个优选实施方式,本发明还可以使用其他的高性能的分类网络,如VGGNet或ResNet等方法同样适用。
本发明中,优选使用softmax对提取的特征进行分类,前述的卷积神经网络其实是包括了softmax,Softmax(多元回归)的定义为
其中,θ为多元回归的参数。
本发明以卷积神经网络CNN为特征提取器,创建分类模型的结构,用于静默人脸活体检测。该方法具有以下几个优势:
1、CNN可以有效的提取易于区分活体和非活体的人脸特征,使用本发明的分类模型使得结果更加的有校,且本发明适用于可见光和近红外光下的静默人脸活体检测,适用范围更广,无需用户配合,尤其在可见光下不依赖额外光源,成本较低。
2、本发明比较灵活,可以根据需求可以方便的修改CNN,以及分类模型的层数。
3、使用本发明的分类模型可以尽可能避免算法过拟合现象的出现
4、根据本发明的方法,使用图2所述的分类模型和表1所述的CNN网络结构,在实际的闸机生产环境下,可以达到活体通过率99.5%,假体检出率99.97%的效果。
实施例2:
本发明实施例提供了一种人脸静默活体检测装置,如图6所示,该装置包括:
训练模块10’,用于训练预先构建的分类模型,其中:
分类模型包括若干层的卷积神经网络,前一层的每一个卷积神经网络在后一层都对应有两个卷积神经网络,前一层的一个卷积神经网络能够将输入该卷积神经网络的人脸图像分类为活体和假体两类,后一层的与前一层该神经网络对应的两个神经网络中的第一个能够将被前一层卷积神经网络分类为假体的人脸图像继续分类为活体和假体两类,后一层的与前一层该神经网络对应的两个神经网络中的第二个能够将被前一层卷积神经网络分类为活体的人脸图像继续分类为活体和假体两类。
预处理模块20,用于获取待检测人脸图像并对待检测人脸图像进行预处理。
分类模块30,用于将预处理后的人脸图像输入分类模型,得到活体检测结果,其中:
分类模型的第一层卷积神经网络将预处理后的人脸图像分类为活体或假体;若分类为假体,则使用第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第一个将预处理后的人脸图像继续分类为活体或假体;若分类为活体,则使用第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第二个将预处理后的人脸图像继续分类为活体或假体;以此类推,最后一层卷积神经网络的分类结果即为活体检测结果。
其中,分类模型通过如下单元训练得到:
第一训练单元,用于使用第一样本集训练分类模型的第一层卷积神经网络,第一样本集包括假体图像和活体图像。
第二训练单元,用于使用第二样本集训练第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第一个,第二样本集包括假体图像和活体图像,假体图像包括被第一层卷积神经网络分类为活体的假体图像。
第三训练单元,用于使用第三样本集训练第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第二个,第三样本集包括假体图像和活体图像,活体图像包括被第一层卷积神经网络分类为假体的活体图像。
以此类推,直至使用第N训练单元训练完最后一层的卷积神经网络,其中N为卷积神经网络的个数。
本发明主要解决打印类假体和屏幕类假体的防假问题。本发明是人脸静默活体检测装置,人脸静默活体检测是指不需要任何用户配合,只需要向系统中输入人脸图像,即可判断该人脸图像中的人为活体或是假体。
本发明的人脸静默活体检测装置使用卷积神经网络有效的提取易于区分活体和假体的人脸特征并进行分类,相比于现有技术的需要用户动作配合的活体检测方法,本发明的基于卷积神经网络的活体检测方法不需要用户根据系统的指令进行配合,用户体验性好,也不需要用户随机多次的做出某些动作,检测速度快。
本发明的人脸静默活体检测装置可以适用于可见光或者近红外光,适用范围更广,并且在可见光环境下,本发明不依赖额外光源,成本较低。
本发明通过多层的卷积神经网络构成分类模型,后一层的卷积神经网络能够对前一层的卷积神经网络分类后的结果(尤其是分类错误的结果)进一步分类,提高了分类的准确性。并且本发明可以根据需要设定分类模型的层数以及卷积神经网络的结构,方便灵活。另外本发明的分类模型的结构能够尽可能避免过拟合现象的出现,提高了分类模型的性能。
综上所述,本发明的人脸静默活体检测装置不需要用户配合,用户体验性好,速度快,分类准确。
作为本发明的一种改进,预处理模块包括:
人脸检测单元,用于通过人脸检测算法检测出代表人脸区域的人脸检测框。
人脸定位单元,用于通过人脸定位算法定位出包括左右眼睛的人脸关键点。
人脸对齐单元,用于根据左右眼睛坐标进行人脸对齐。
归一化单元,用于将对齐后的人脸图像进行归一化处理,得到预处理后的人脸图像。
进一步的,预处理模块还包括:
姿态角获取单元,用于获取人脸的俯仰姿态角、摇头姿态角和转头姿态角。
预处理模块和分类模块之间还连接有人脸大小检测模块和/或人脸姿态检测模块,若人脸大小检测通过和/或人脸姿态检测通过,则继续执行分类模块,否则,判断人脸图像为假体,结束。
人脸大小检测模块包括:判断人脸检测框的宽度和高度是否分别均在预设的宽度范围和高度范围内,若是,则人脸大小检测通过。
人脸姿态检测模块包括:判断人脸的俯仰姿态角、摇头姿态角和转头姿态角是否分别均在预设的俯仰姿态角范围、摇头姿态角范围和转头姿态角范围内,若是,则人脸姿态检测通过。
本发明在进行人脸活体检测前,根据实际的使用经验和需要,可以对人脸的大小和人脸的姿态进行限制。加入了人脸大小检测和/或人脸角度姿态检测,使得活体检测的准确率可以有较大的提升。需要说明的是,人脸大小检测和人脸姿态检测为可选的步骤,可以只选人脸大小检测的策略,也可以只选人脸姿态检测的策略,也可以同时选取人脸大小检测和人脸姿态检测的策略,同时选择人脸大小检测和人脸姿态检测时,只有当人脸大小检测和人脸姿态检测均通过时,才进行后一步。
本发明不限制卷积神经网络的结构,每个卷积神经网络的结构可以相同也可以不同,为了获得较好的分类效果,本发明中的每一个卷积神经网络使用了相同的Inception+ResNet网络结构:包括依次相连的第一卷积层、第一池化层、第一Rnorm层、第二卷积层、第三卷积层、第二Rnorm层、第二池化层、第一Inception模块、第二Inception模块、第三池化层、第三Inception模块、第四Inception模块、第五Inception模块、第六Inception模块、第七Inception模块、第四池化层、第八Inception模块、第九Inception模块、第五池化层。
当然,这只是本发明的卷积神经网络的一个优选实施方式,本发明还可以使用其他的高性能的分类网络,如VGGNet或ResNet等方法同样适用。
本发明中,优选使用softmax对提取的特征进行分类,前述的卷积神经网络其实是包括了softmax。
本发明以卷积神经网络CNN为特征提取器,创建分类模型的结构,用于静默人脸活体检测。该方法具有以下几个优势:
1、CNN可以有效的提取易于区分活体和非活体的人脸特征,使用本发明的分类模型使得结果更加的有校,且本发明适用于可见光和近红外光下的静默人脸活体检测,适用范围更广,无需用户配合,尤其在可见光下不依赖额外光源,成本较低。
2、本发明比较灵活,可以根据需求可以方便的修改CNN,以及分类模型的层数。
3、使用本发明的分类模型可以尽可能避免算法过拟合现象的出现
4、根据本发明的方法,使用图2所述的分类模型和表1所述的CNN网络结构,在实际的闸机生产环境下,可以达到活体通过率99.5%,假体检出率99.97%的效果。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
实施例3:
本说明书提供的上述实施例所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上,所述的存储介质可以计算机读取并执行,实现本说明书实施例1所描述方案的效果。因此,本发明还提供用于人脸静默活体检测的计算机可读存储介质,包括用于存储处理器可执行指令的存储器,指令被处理器执行时实现包括实施例1的人脸静默活体检测方法的步骤。
本发明主要解决打印类假体和屏幕类假体的防假问题。本发明是人脸静默活体检测,人脸静默活体检测是指不需要任何用户配合,只需要向系统中输入人脸图像,即可判断该人脸图像中的人为活体或是假体。
本发明的人脸静默活体检测使用卷积神经网络有效的提取易于区分活体和假体的人脸特征并进行分类,相比于现有技术的需要用户动作配合的活体检测方法,本发明的基于卷积神经网络的活体检测方法不需要用户根据系统的指令进行配合,用户体验性好,也不需要用户随机多次的做出某些动作,检测速度快。
本发明的人脸静默活体检测可以适用于可见光或者近红外光,适用范围更广,并且在可见光环境下,本发明不依赖额外光源,成本较低。
本发明通过多层的卷积神经网络构成分类模型,后一层的卷积神经网络能够对前一层的卷积神经网络分类后的结果(尤其是分类错误的结果)进一步分类,提高了分类的准确性。并且本发明可以根据需要设定分类模型的层数以及卷积神经网络的结构,方便灵活。另外本发明的分类模型的结构能够尽可能避免过拟合现象的出现,提高了分类模型的性能。
综上所述,本发明的人脸静默活体检测不需要用户配合,用户体验性好,速度快,分类准确。
所述存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。
上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
实施例4:
本发明还提供一种用于人脸静默活体检测的设备,所述的设备可以为单独的计算机,也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述用于人脸静默活体检测的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器,处理器执行所述指令时实现上述任意一个或者多个实施例1中所述人脸静默活体检测方法的步骤。
本发明主要解决打印类假体和屏幕类假体的防假问题。本发明是人脸静默活体检测,人脸静默活体检测是指不需要任何用户配合,只需要向系统中输入人脸图像,即可判断该人脸图像中的人为活体或是假体。
本发明的人脸静默活体检测使用卷积神经网络有效的提取易于区分活体和假体的人脸特征并进行分类,相比于现有技术的需要用户动作配合的活体检测方法,本发明的基于卷积神经网络的活体检测方法不需要用户根据系统的指令进行配合,用户体验性好,也不需要用户随机多次的做出某些动作,检测速度快。
本发明的人脸静默活体检测可以适用于可见光或者近红外光,适用范围更广,并且在可见光环境下,本发明不依赖额外光源,成本较低。
本发明通过多层的卷积神经网络构成分类模型,后一层的卷积神经网络能够对前一层的卷积神经网络分类后的结果(尤其是分类错误的结果)进一步分类,提高了分类的准确性。并且本发明可以根据需要设定分类模型的层数以及卷积神经网络的结构,方便灵活。另外本发明的分类模型的结构能够尽可能避免过拟合现象的出现,提高了分类模型的性能。
综上所述,本发明的人脸静默活体检测不需要用户配合,用户体验性好,速度快,分类准确。
上述所述的设备根据方法或者装置实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
需要说明的是,本说明书上述所述的装置或者系统根据相关方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照方法实施例的描述,在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类、存储介质+程序实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种人脸静默活体检测方法,其特征在于,所述方法包括:
训练预先构建的分类模型,其中:
所述分类模型包括若干层的卷积神经网络,前一层的每一个卷积神经网络在后一层都对应有两个卷积神经网络,前一层的一个卷积神经网络能够将输入该卷积神经网络的人脸图像分类为活体和假体两类,后一层的与前一层该神经网络对应的两个神经网络中的第一个能够将被前一层卷积神经网络分类为假体的人脸图像继续分类为活体和假体两类,后一层的与前一层该神经网络对应的两个神经网络中的第二个能够将被前一层卷积神经网络分类为活体的人脸图像继续分类为活体和假体两类;
获取待检测人脸图像并对所述待检测人脸图像进行预处理;
将预处理后的人脸图像输入所述分类模型,得到活体检测结果;
其中,所述分类模型通过如下方法训练得到:
使用第一样本集训练分类模型的第一层卷积神经网络,所述第一样本集包括假体图像和活体图像;
使用第二样本集训练第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第一个,所述第二样本集包括假体图像和活体图像,所述假体图像包括被所述第一层卷积神经网络分类为活体的假体图像;
使用第三样本集训练第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第二个,所述第三样本集包括假体图像和活体图像,所述活体图像包括被所述第一层卷积神经网络分类为假体的活体图像;
以此类推,直至训练完最后一层的卷积神经网络。
2.根据权利要求1所述的人脸静默活体检测方法,其特征在于,所述预处理包括:
通过人脸检测算法检测出代表人脸区域的人脸检测框;
通过人脸定位算法定位出包括左右眼睛的人脸关键点;
根据左右眼睛坐标进行人脸对齐;
将对齐后的人脸图像进行归一化处理,得到预处理后的人脸图像。
3.根据权利要求2所述的人脸静默活体检测方法,其特征在于,所述预处理还包括:
获取人脸的俯仰姿态角、摇头姿态角和转头姿态角;
所述将预处理后的人脸图像输入所述分类模型之前还包括人脸大小检测和/或人脸姿态检测,若所述人脸大小检测通过和/或人脸姿态检测通过,则继续执行下一步,否则,判断人脸图像为假体,结束;
所述人脸大小检测包括:判断所述人脸检测框的宽度和高度是否分别均在预设的宽度范围和高度范围内,若是,则人脸大小检测通过;
所述人脸姿态检测包括:判断所述人脸的俯仰姿态角、摇头姿态角和转头姿态角是否分别均在预设的俯仰姿态角范围、摇头姿态角范围和转头姿态角范围内,若是,则人脸姿态检测通过。
4.根据权利要求1-3任一所述的人脸静默活体检测方法,其特征在于,每个卷积神经网络的结构相同或不同,其中一个或多个卷积神经网络的结构包括依次相连的第一卷积层、第一池化层、第一Rnorm层、第二卷积层、第三卷积层、第二Rnorm层、第二池化层、第一Inception模块、第二Inception模块、第三池化层、第三Inception模块、第四Inception模块、第五Inception模块、第六Inception模块、第七Inception模块、第四池化层、第八Inception模块、第九Inception模块、第五池化层。
5.一种人脸静默活体检测装置,其特征在于,所述装置包括:
训练模块,用于训练预先构建的分类模型,其中:
所述分类模型包括若干层的卷积神经网络,前一层的每一个卷积神经网络在后一层都对应有两个卷积神经网络,前一层的一个卷积神经网络能够将输入该卷积神经网络的人脸图像分类为活体和假体两类,后一层的与前一层该神经网络对应的两个神经网络中的第一个能够将被前一层卷积神经网络分类为假体的人脸图像继续分类为活体和假体两类,后一层的与前一层该神经网络对应的两个神经网络中的第二个能够将被前一层卷积神经网络分类为活体的人脸图像继续分类为活体和假体两类;
预处理模块,用于获取待检测人脸图像并对所述待检测人脸图像进行预处理;
分类模块,用于将预处理后的人脸图像输入所述分类模型,得到活体检测结果;
其中,所述分类模型通过如下单元训练得到:
第一训练单元,用于使用第一样本集训练分类模型的第一层卷积神经网络,所述第一样本集包括假体图像和活体图像;
第二训练单元,用于使用第二样本集训练第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第一个,所述第二样本集包括假体图像和活体图像,所述假体图像包括被所述第一层卷积神经网络分类为活体的假体图像;
第三训练单元,用于使用第三样本集训练第二层中与第一层卷积神经网络对应的两个卷积神经网络中的第二个,所述第三样本集包括假体图像和活体图像,所述活体图像包括被所述第一层卷积神经网络分类为假体的活体图像;
以此类推,直至使用第N训练单元训练完最后一层的卷积神经网络,其中N为卷积神经网络的个数。
6.根据权利要求5所述的人脸静默活体检测装置,其特征在于,所述预处理模块包括:
人脸检测单元,用于通过人脸检测算法检测出代表人脸区域的人脸检测框;
人脸定位单元,用于通过人脸定位算法定位出包括左右眼睛的人脸关键点;
人脸对齐单元,用于根据左右眼睛坐标进行人脸对齐;
归一化单元,用于将对齐后的人脸图像进行归一化处理,得到预处理后的人脸图像。
7.根据权利要求6所述的人脸静默活体检测装置,其特征在于,所述预处理模块还包括:
姿态角获取单元,用于获取人脸的俯仰姿态角、摇头姿态角和转头姿态角;
所述预处理模块和分类模块之间还连接有人脸大小检测模块和/或人脸姿态检测模块,若所述人脸大小检测通过和/或人脸姿态检测通过,则继续执行所述分类模块,否则,判断人脸图像为假体,结束;
所述人脸大小检测模块包括:判断所述人脸检测框的宽度和高度是否分别均在预设的宽度范围和高度范围内,若是,则人脸大小检测通过;
所述人脸姿态检测模块包括:判断所述人脸的俯仰姿态角、摇头姿态角和转头姿态角是否分别均在预设的俯仰姿态角范围、摇头姿态角范围和转头姿态角范围内,若是,则人脸姿态检测通过。
8.根据权利要求5-7任一所述的人脸静默活体检测装置,其特征在于,每个卷积神经网络的结构相同或不同,其中一个或多个卷积神经网络的结构包括依次相连的第一卷积层、第一池化层、第一Rnorm层、第二卷积层、第三卷积层、第二Rnorm层、第二池化层、第一Inception模块、第二Inception模块、第三池化层、第三Inception模块、第四Inception模块、第五Inception模块、第六Inception模块、第七Inception模块、第四池化层、第八Inception模块、第九Inception模块、第五池化层。
9.一种用于人脸静默活体检测的计算机可读存储介质,其特征在于,包括用于存储处理器可执行指令的存储器,所述指令被所述处理器执行时实现包括权利要求1-4任一所述人脸静默活体检测方法的步骤。
10.一种用于人脸静默活体检测的设备,其特征在于,包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现权利要求1-4中任意一项所述人脸静默活体检测方法的步骤。
CN201910363522.0A 2019-04-30 2019-04-30 人脸静默活体检测方法、装置、可读存储介质及设备 Active CN111860078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910363522.0A CN111860078B (zh) 2019-04-30 2019-04-30 人脸静默活体检测方法、装置、可读存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910363522.0A CN111860078B (zh) 2019-04-30 2019-04-30 人脸静默活体检测方法、装置、可读存储介质及设备

Publications (2)

Publication Number Publication Date
CN111860078A CN111860078A (zh) 2020-10-30
CN111860078B true CN111860078B (zh) 2024-05-14

Family

ID=72965038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910363522.0A Active CN111860078B (zh) 2019-04-30 2019-04-30 人脸静默活体检测方法、装置、可读存储介质及设备

Country Status (1)

Country Link
CN (1) CN111860078B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633323B (zh) * 2020-11-26 2024-04-30 成都佳发安泰教育科技股份有限公司 一种用于教室的姿态检测方法和系统
CN112597885A (zh) * 2020-12-22 2021-04-02 北京华捷艾米科技有限公司 人脸活体检测方法、装置、电子设备及计算机存储介质
CN112668510B (zh) * 2020-12-31 2024-05-24 公安部第三研究所 实现针对三维人脸识别设备性能测试的方法、系统、装置、处理器及其存储介质
CN113158773B (zh) * 2021-03-05 2024-03-22 普联技术有限公司 一种活体检测模型的训练方法及训练装置
CN113205057B (zh) * 2021-05-13 2023-08-08 北京百度网讯科技有限公司 人脸活体检测方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844206A (zh) * 2015-01-15 2016-08-10 北京市商汤科技开发有限公司 身份认证方法及设备
CN106845395A (zh) * 2017-01-19 2017-06-13 北京飞搜科技有限公司 一种基于人脸识别进行活体检测的方法
CN107704813A (zh) * 2017-09-19 2018-02-16 北京飞搜科技有限公司 一种人脸活体识别方法及系统
KR20180065889A (ko) * 2016-12-07 2018-06-18 삼성전자주식회사 타겟의 검측 방법 및 장치
CN108764069A (zh) * 2018-05-10 2018-11-06 北京市商汤科技开发有限公司 活体检测方法及装置
CN109543521A (zh) * 2018-10-18 2019-03-29 天津大学 主侧视结合的活体检测与人脸识别方法
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358157B (zh) * 2017-06-07 2020-10-02 创新先进技术有限公司 一种人脸活体检测方法、装置以及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844206A (zh) * 2015-01-15 2016-08-10 北京市商汤科技开发有限公司 身份认证方法及设备
KR20180065889A (ko) * 2016-12-07 2018-06-18 삼성전자주식회사 타겟의 검측 방법 및 장치
CN106845395A (zh) * 2017-01-19 2017-06-13 北京飞搜科技有限公司 一种基于人脸识别进行活体检测的方法
CN107704813A (zh) * 2017-09-19 2018-02-16 北京飞搜科技有限公司 一种人脸活体识别方法及系统
CN108764069A (zh) * 2018-05-10 2018-11-06 北京市商汤科技开发有限公司 活体检测方法及装置
CN109543521A (zh) * 2018-10-18 2019-03-29 天津大学 主侧视结合的活体检测与人脸识别方法
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Smart Spoofing Face Detector by Display Features Analysis;Lai CL等;《sensor》;第16卷(第07期);1-15 *
人脸识别系统中的活体检测技术的研究;李冰;《中国优秀硕士学位论文全文数据库信息科技辑》;I138-1622 *
基于鲁棒损失人脸对齐与双目测距的活体检测;李依哲;《中国优秀硕士学位论文全文数据库信息科技辑》;I138-933 *

Also Published As

Publication number Publication date
CN111860078A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111860078B (zh) 人脸静默活体检测方法、装置、可读存储介质及设备
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
Rao et al. Selfie video based continuous Indian sign language recognition system
CN106096538B (zh) 基于定序神经网络模型的人脸识别方法及装置
CN109829448B (zh) 人脸识别方法、装置及存储介质
CN111860055B (zh) 人脸静默活体检测方法、装置、可读存储介质及设备
CN102375970B (zh) 一种基于人脸的身份认证方法和认证装置
CN109409222A (zh) 一种基于移动端的多视角人脸表情识别方法
CN109583449A (zh) 字符识别方法及相关产品
JP2020504360A5 (zh)
CN105138954A (zh) 一种图像自动筛选查询识别系统
CN112528764B (zh) 人脸表情识别方法、系统、装置及可读存储介质
Rao et al. Sign Language Recognition System Simulated for Video Captured with Smart Phone Front Camera.
CN111046886A (zh) 号码牌自动识别方法、装置、设备及计算机可读存储介质
CN110619316A (zh) 人体关键点检测方法、装置和电子设备
CN105335719A (zh) 活体检测方法及装置
Yasir et al. Two-handed hand gesture recognition for Bangla sign language using LDA and ANN
CN104616002A (zh) 用于年龄段判断的面部识别设备
CN109766873A (zh) 一种混合可变形卷积的行人再识别方法
CN113298018A (zh) 基于光流场和脸部肌肉运动的假脸视频检测方法及装置
Rao et al. Neural network classifier for continuous sign language recognition with selfie video
CN113111804B (zh) 一种人脸检测的方法、装置、电子设备及存储介质
CN108846269A (zh) 一种面向多种特征的身份认证方法和身份认证装置
CN113298158A (zh) 数据检测方法、装置、设备及存储介质
Shengtao et al. Facial expression recognition based on global and local feature fusion with CNNs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant