CN114445916A - 一种活体检测方法、终端设备及存储介质 - Google Patents
一种活体检测方法、终端设备及存储介质 Download PDFInfo
- Publication number
- CN114445916A CN114445916A CN202111561021.7A CN202111561021A CN114445916A CN 114445916 A CN114445916 A CN 114445916A CN 202111561021 A CN202111561021 A CN 202111561021A CN 114445916 A CN114445916 A CN 114445916A
- Authority
- CN
- China
- Prior art keywords
- living body
- convolution block
- body detection
- features extracted
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000011176 pooling Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 9
- 238000001727 in vivo Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种活体检测方法、终端设备及存储介质，该方法中，活体检测模型的网络结果采用轻量级网络作为主干网络，输入图像依次经过主干网络中的浅层卷积块、中层卷积块和深层卷积块进行特征提取；将中层卷积块提取的特征经过反卷积扩展为与浅层卷积块提取的特征相同大小后，将扩展后的特征与浅层卷积块提取的特征进行第一次双线性池化；将深层卷积块提取的特征经过反卷积扩展为与中层卷积块提取的特征相同大小后，将扩展后的特征与中层卷积块提取的特征进行第二次双线性池化；分别将第一次双线性池化、第二次双线性池化和深层卷积块经过全局池化层输出的结果分别经过分类网络进行分类。本发明具有较高的检测准确率和较快的检测速度。
Description
技术领域
本发明涉及人体检测领域，尤其涉及一种活体检测方法、终端设备及存储介质。
背景技术
随着人脸识别、人脸解锁等技术在金融、门禁、移动设备等日常生活中的广泛应用，许多不法分子会利用高度逼真的照片、电子成像、面具等手段来攻击人脸识别系统，人脸防伪和活体检测(Face Anti-Spoofing)技术在近年来得到了越来越多的关注。
活体检测的目的是在判断人脸识别采集到的人脸样本是活体还是非活体(如：彩色纸张打印人脸图，电子设备屏幕中的人脸数字图像以及面具等)。随着监控摄像头的快速发展，大量的人脸识别系统被部署在不同的场景下。活体检测一般是嵌套在人脸检测与人脸识别的验证中的模块，用来验证是否用户真实本人。在过去的几年中，深度学习技术的快速发展，活体检测算法识别性能得到了大幅提升。
目前活体检测算法就是分类问题，可看成二分类(活体或者非活体)；也可看成多分类(真人，纸张攻击，屏幕攻击，面具攻击)。现有算法常采用ResNet50作为主干网络，并取得显著的分类性能。然而，现有算法忽略了活体检测算法在现实场景中的实时性问题，也忽略了在产品实际应用中，活体检测算法会受到摄像头参数、光照和角度问题带来的精度下降问题。特别地，在近红外人脸成像和广角摄像头下，常用的活体检测方法的精度往往会有所下降。
发明内容
为了解决上述问题，本发明提出了一种活体检测方法、终端设备及存储介质。
具体方案如下：
一种活体检测方法，包括以下步骤：
S1：采集活体人脸图像样本和非活体人脸图像样本组成训练集；
S2：构建活体检测模型，通过训练集对活体检测模型进行训练；
活体检测模型的网络结果采用轻量级网络作为主干网络，输入图像依次经过主干网络中的浅层卷积块、中层卷积块和深层卷积块进行特征提取；
将中层卷积块提取的特征经过反卷积扩展为与浅层卷积块提取的特征相同大小后，将扩展后的特征与浅层卷积块提取的特征进行第一次双线性池化；
将深层卷积块提取的特征经过反卷积扩展为与中层卷积块提取的特征相同大小后，将扩展后的特征与中层卷积块提取的特征进行第二次双线性池化；
分别将第一次双线性池化、第二次双线性池化和深层卷积块经过全局池化层输出的结果分别经过分类网络进行分类；根据三个分类网络的分类结果判断输入人脸图像是否为活体人脸图像；
S3：通过训练后的活体检测模型进行活体检测。
进一步的，三个分类网络对应三个损失函数，活体检测模型的总损失函数为三个损失函数之和。
进一步的，三个损失函数均采用标签平滑正则化的交叉熵损失函数。
进一步的，当三个分类网络的分类结果不一致时，选取结果出现次数最多的结果作为活体检测模型的分类结果。
一种活体检测终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明采用如上技术方案，能够解决静默活体应用过程中因不同环境，不同设备和参数所产生的问题，能以轻量级网络实现重量级网络的性能，在实际项目应用中具有重要意义。
附图说明
图1所示为本发明实施例一的流程图。
图2所示为该实施例中模型的网络结构示意图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种活体检测方法，如图1所示，所述方法包括以下步骤：
S1：采集活体人脸图像样本和非活体人脸图像样本组成训练集。
该实施例中采集的活体人脸图像样本为直接对人脸进行拍摄的图像，非活体人脸图像样本为对人脸图像进行二次拍摄的图像。
S2：构建活体检测模型，通过训练集对活体检测模型进行训练。
如图2所示，该实施例中模型的网络结构采用轻量级网络(OSNet或者MobilNetv2)作为主干网络，模型的输入为人脸图像样本，输入图像依次经过浅层卷积块、中层卷积块和深层卷积块进行特征提取，浅层卷积块、中层卷积块和深层卷积块提取的特征分别为fL、fM和fH，其维度大小分别B*C*H*W，B、C、H、W四个参数分别表示批处理大小、特征通道数、高度、宽度。
由于三个特征fL、fM、fH对应的特征图大小不同，在做双线性池化之前，将中层卷积块提取的特征fM经过反卷积层拓展为与浅层卷积块提取的特征fL相同大小后，将fM扩展后的特征与浅层卷积块提取的特征fL进行第一次双线性池化；将深层卷积块提取的特征fH经过反卷积层拓展为与中层卷积块提取的特征fM相同大小后，将fH扩展后的特征与中层卷积块提取的特征进行fM第二次双线性池化。
双线性池化表达式如下：
其中，fL(xy)、fM(xy)分别表示特征fL和特征fM在像素坐标(x,y)处的值，vec()表示将矩阵转换为向量，
表示两个向量的外积，fxy表示两个向量外积的结果，S为表征双线性池化的空间区域大小的参数。
将fL-M进行标准正则化获得fnorm，其表达式如下：
分别将第一次双线性池化、第二次双线性池化和深层卷积块经过全局池化层输出的结果分别经过softamx分类网络进行分类，分类结果为输入图像属于活体人脸图像还是非活体人脸图像。
由于模型包含三个分类网络，因此最终分类结果三个分类网络的分类结果综合判断，如果三个分类网络的分类结果相同时，则该相同的分类结果为模型的分类结果；如果三个分类网络的分类结果不同时，则选取结果出现次数最多的结果作为活体检测模型的分类结果。
另外，由于三个分类网络分别对应一个损失函数，因此该实施例中设定模型的总损失函数为三个损失函数之和。该实施例中三个损失函数均采用标签平滑正则化的交叉熵损失函数，具体计算公式为：
其中ε∈[0,1]，K为2，类别是活体或者非活体，p(k)代表预测属于类别k的概率。
S3：通过训练后的活体检测模型进行活体检测。
本发明实施例采用轻量级网络作为活体检测算法的主干网络，并采用双线性池化对多层次的特征信息进行融合，提取鲁棒性特征。本实施例通过在多个公开活体检测数据集上进行验证，本实施例算法相比于ResNet50速度提升5倍以上，准确率(96％)保持和ResNet50一样，在实际应用场景中具有较高的准确率并保持良好的实时推理流畅性。
实施例二：
本发明还提供一种活体检测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述活体检测终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述活体检测终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述活体检测终端设备的组成结构仅仅是活体检测终端设备的示例，并不构成对活体检测终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述活体检测终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述活体检测终端设备的控制中心，利用各种接口和线路连接整个活体检测终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述活体检测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述活体检测终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。
Claims (6)
1.一种活体检测方法，其特征在于，包括以下步骤：
S1：采集活体人脸图像样本和非活体人脸图像样本组成训练集；
S2：构建活体检测模型，通过训练集对活体检测模型进行训练；
活体检测模型的网络结果采用轻量级网络作为主干网络，输入图像依次经过主干网络中的浅层卷积块、中层卷积块和深层卷积块进行特征提取；
将中层卷积块提取的特征经过反卷积扩展为与浅层卷积块提取的特征相同大小后，将扩展后的特征与浅层卷积块提取的特征进行第一次双线性池化；
将深层卷积块提取的特征经过反卷积扩展为与中层卷积块提取的特征相同大小后，将扩展后的特征与中层卷积块提取的特征进行第二次双线性池化；
分别将第一次双线性池化、第二次双线性池化和深层卷积块经过全局池化层输出的结果分别经过分类网络进行分类；根据三个分类网络的分类结果判断输入人脸图像是否为活体人脸图像；
S3：通过训练后的活体检测模型进行活体检测。
2.根据权利要求1所述的活体检测方法，其特征在于：三个分类网络对应三个损失函数，活体检测模型的总损失函数为三个损失函数之和。
3.根据权利要求2所述的活体检测方法，其特征在于：三个损失函数均采用标签平滑正则化的交叉熵损失函数。
4.根据权利要求1所述的活体检测方法，其特征在于：当三个分类网络的分类结果不一致时，选取结果出现次数最多的结果作为活体检测模型的分类结果。
5.一种活体检测终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～4中任一所述方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～4中任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111561021.7A CN114445916A (zh) | 2021-12-15 | 2021-12-15 | 一种活体检测方法、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111561021.7A CN114445916A (zh) | 2021-12-15 | 2021-12-15 | 一种活体检测方法、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114445916A true CN114445916A (zh) | 2022-05-06 |
Family
ID=81363240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111561021.7A Pending CN114445916A (zh) | 2021-12-15 | 2021-12-15 | 一种活体检测方法、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114445916A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197878A (zh) * | 2023-11-07 | 2023-12-08 | 中影年年(北京)文化传媒有限公司 | 基于机器学习的人物面部表情捕捉方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110674800A (zh) * | 2019-12-04 | 2020-01-10 | 图谱未来(南京)人工智能研究院有限公司 | 一种人脸活体检测方法、装置、电子设备及存储介质 |
| CN111062362A (zh) * | 2019-12-27 | 2020-04-24 | 上海闻泰信息技术有限公司 | 人脸活体检测模型、方法、装置、设备及存储介质 |
| CN111368731A (zh) * | 2020-03-04 | 2020-07-03 | 上海东普信息科技有限公司 | 静默活体检测方法、装置、设备及存储介质 |
| CN111783629A (zh) * | 2020-06-29 | 2020-10-16 | 浙大城市学院 | 一种面向对抗样本攻击的人脸活体检测方法及装置 |
| WO2021151317A1 (zh) * | 2020-08-06 | 2021-08-05 | 平安科技（深圳）有限公司 | 活体检测方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-15 CN CN202111561021.7A patent/CN114445916A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110674800A (zh) * | 2019-12-04 | 2020-01-10 | 图谱未来(南京)人工智能研究院有限公司 | 一种人脸活体检测方法、装置、电子设备及存储介质 |
| CN111062362A (zh) * | 2019-12-27 | 2020-04-24 | 上海闻泰信息技术有限公司 | 人脸活体检测模型、方法、装置、设备及存储介质 |
| CN111368731A (zh) * | 2020-03-04 | 2020-07-03 | 上海东普信息科技有限公司 | 静默活体检测方法、装置、设备及存储介质 |
| CN111783629A (zh) * | 2020-06-29 | 2020-10-16 | 浙大城市学院 | 一种面向对抗样本攻击的人脸活体检测方法及装置 |
| WO2021151317A1 (zh) * | 2020-08-06 | 2021-08-05 | 平安科技（深圳）有限公司 | 活体检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| RAFAEL MÜLLER, SIMON KORNBLITH, GEOFFREY HINTON: "When Does Label Smoothing Help?", ARXIV, 6 June 2019 (2019-06-06), pages 7 * |
| 方林: "《中国通信学会5G+行业应用培训指导用书深度学习程序设计实战》", 31 January 2021, 机械工业出版社, pages: 120 - 121 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197878A (zh) * | 2023-11-07 | 2023-12-08 | 中影年年(北京)文化传媒有限公司 | 基于机器学习的人物面部表情捕捉方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9104914B1 (en) | Object detection with false positive filtering | |
| US8750573B2 (en) | Hand gesture detection | |
| US8792722B2 (en) | Hand gesture detection | |
| CN109815843B (zh) | 图像处理方法及相关产品 | |
| AU2017201281B2 (en) | Identifying matching images | |
| JP6112801B2 (ja) | 画像認識装置及び画像認識方法 | |
| US8842889B1 (en) | System and method for automatic face recognition | |
| CN112364873A (zh) | 弯曲文本图像的文字识别方法、装置及计算机设备 | |
| CN110852311A (zh) | 一种三维人手关键点定位方法及装置 | |
| CN111401196A (zh) | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 | |
| Parde et al. | Face and image representation in deep CNN features | |
| Biswas et al. | A new perceptual hashing method for verification and identity classification of occluded faces | |
| CN112580480A (zh) | 一种高光谱遥感影像分类方法及装置 | |
| CN113052170A (zh) | 一种无约束场景下的小目标车牌识别方法 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| Toca et al. | Normalized Autobinomial Markov Channels For Pedestrian Detection. | |
| CN114444565A (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
| CN113255557A (zh) | 一种基于深度学习的视频人群情绪分析方法及系统 | |
| CN116453232A (zh) | 人脸活体检测方法、人脸活体检测模型的训练方法和装置 | |
| CN116543261A (zh) | 用于图像识别的模型训练方法、图像识别方法设备及介质 | |
| CN113963295A (zh) | 视频片段中地标识别方法、装置、设备及存储介质 | |
| CN114445916A (zh) | 一种活体检测方法、终端设备及存储介质 | |
| CN116229406B (zh) | 车道线检测方法、系统、电子设备及存储介质 | |
| CN110659631A (zh) | 车牌识别方法和终端设备 | |
| Feng et al. | Nonlinear deep subspace network for micro-expression recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |