CN114155591A - 一种基于多尺度信息融合的人脸静默活体检测方法 - Google Patents

一种基于多尺度信息融合的人脸静默活体检测方法 Download PDF

Info

Publication number
CN114155591A
CN114155591A CN202111463931.1A CN202111463931A CN114155591A CN 114155591 A CN114155591 A CN 114155591A CN 202111463931 A CN202111463931 A CN 202111463931A CN 114155591 A CN114155591 A CN 114155591A
Authority
CN
China
Prior art keywords
face
living body
human face
scale
silence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111463931.1A
Other languages
English (en)
Inventor
谢华
李茜
陈晓念
马宇翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan Wuersop E Commerce Co ltd
Original Assignee
Hainan Wuersop E Commerce Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan Wuersop E Commerce Co ltd filed Critical Hainan Wuersop E Commerce Co ltd
Priority to CN202111463931.1A priority Critical patent/CN114155591A/zh
Publication of CN114155591A publication Critical patent/CN114155591A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的属于人脸活体检测技术领域，具体为一种基于多尺度信息融合的人脸静默活体检测方法，包括人脸检测和基于多尺度信息融合的人脸静默活体检测，具体步骤如下：S1：进入刷脸流程模块，摄像头采集画面，开始人脸检测模块，当人脸出现在摄像头画面中，人脸检测模型计算得到人脸的检测框坐标，本发明有益效果是：通过一方面我们利用除面部以外的更多的信息，另一方面我们尽可能的利用好面部的信息，可以端到端训练的模型，并且可以尽可能的利用图片的中的信息，建立基于多尺度信息融合的人脸静默活体检测模型，并分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据。

Description

一种基于多尺度信息融合的人脸静默活体检测方法
技术领域
本发明涉及人脸活体检测技术领域，具体为一种基于多尺度信息融合的人脸静默活体检测方法。
背景技术
随着刷脸应用的广泛普及，为了防止非法假冒他们刷脸的情况，人脸活体检测成为刷脸最必要的验证环节，静默活体由于其不需要用户配合，具有良好的体验，被广泛应用，静默活体根据硬件成像源的不同，可分为红外图像、3D结构光图像和RGB彩色图像等，实际使用中，根据硬件条件，可独立使用单种成像源数据，或者使用多模态数据同时参与活体检测，人脸静默活体检测，通过人脸面部的细节信息来判断是否为活体人脸，但是人脸面部的信息有限，通过外扩可以获取除面部以外更多的信息，包括：环境背景、脖子、部分上躯干、头发等部位的信息。
但是外扩会导致最重要的人脸面部的占比减小，在模型容量不变的情况下，人脸面部最重要的信息会丢失，使用复杂模型带来的问题是难以保证泛化性能，难以方便训练和使用。
为此，我们提出一种基于多尺度信息融合的人脸静默活体检测方法。
发明内容
鉴于上述和/或现有一种基于多尺度信息融合的人脸静默活体检测方法中存在的问题，提出了本发明。
因此，本发明的目的是提供一种基于多尺度信息融合的人脸静默活体检测方法，通过一方面我们利用除面部以外的更多的信息，另一方面我们尽可能的利用好面部的信息，可以端到端训练的模型，并且可以尽可能的利用图片的中的信息，在实际应用中具有非常优良的性能，建立基于多尺度信息融合的人脸静默活体检测模型，并分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据，能够解决上述提出现有外扩会导致最重要的人脸面部的占比减小，在模型容量不变的情况下，人脸面部最重要的信息会丢失，使用复杂模型带来的问题是难以保证泛化性能，难以方便训练和使用的问题。
为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：
一种基于多尺度信息融合的人脸静默活体检测方法，其包括：人脸检测和基于多尺度信息融合的人脸静默活体检测，具体步骤如下：
S1：进入刷脸流程模块，摄像头采集画面，开始人脸检测模块，当人脸出现在摄像头画面中，人脸检测模型计算得到人脸的检测框坐标，当摄像头画面中没有人脸时，则继续检测人脸，直到检测出人脸，检测出人脸的图片进行下一阶段；
S2：采集面部图，在人脸检测的基础上，获取多个尺度的人脸面部图片，分别采集较小尺度的面部图，采集中等尺度的面部图，采集较大尺度的面部图；
S3：通过得到不同尺度的人脸图片，建立基于多尺度信息融合的人脸静默活体检测模型，分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据；
S4：基于多尺度信息融合的人脸静默活体检测，先分别提取不同尺度的人脸信息，再进行融合，从而可以尽可能利用图片中的信息来进行活体判断；
S5：使用多个深度卷积神网络提取不同尺度人脸的深度特征，使用卷积层将不同尺度的特征进行融合，得到多尺度融合特征，把它作为人脸活体的分类依据；
S6：输入一张人脸图片后，进行活体检测模块，人脸静默活体检测模型计算得到活体得分，根据实际结果的统计分析，设定经验阈值，当得分大于等于阈值时，该图片中的人脸为活体，活体检测通过，否则该图片中的人脸为假体，活体检测不通过；
S7：将活体检测结果反馈给使用方，使用方根据结果进行后续判断和处理。
作为本发明所述的一种基于多尺度信息融合的人脸静默活体检测方法的一种优选方案，其中：步骤S2中，小尺度人脸包含较多的面部细节信息，中等尺度人脸包含头发和脖子的信息，大尺度人脸包含背景信息。
作为本发明所述的一种基于多尺度信息融合的人脸静默活体检测方法的一种优选方案，其中：步骤S5中，使用的深度卷积神经网络提取图像特征，网络使用的是开源网络。
作为本发明所述的一种基于多尺度信息融合的人脸静默活体检测方法的一种优选方案，其中：步骤S6中，人脸静默活体检测模型计算得到活体得分取值范围为0-1。
与现有技术相比：
一方面我们利用除面部以外的更多的信息，另一方面我们尽可能的利用好面部的信息，我们提出的一种基于多尺度信息融合的人脸静默活体检测方法，可以端到端训练的模型，并且可以尽可能的利用图片的中的信息，在实际应用中具有非常优良的性能，人脸检测可以检测图片中是否存在人脸，存在人脸时，计算得到面部的图像；进一步地，通过得到不同尺度的人脸图片，建立基于多尺度信息融合的人脸静默活体检测模型；并分别用不同的神经网络提取不同尺度下人脸的活体或者假体特征，融合不同尺度的特征作为活体的判断依据。
附图说明
图1为本发明一种基于多尺度信息融合的人脸静默活体检测方法的流程图；
图2为本发明一种基于多尺度信息融合的人脸静默活体检测方法中模型结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明提供一种基于多尺度信息融合的人脸静默活体检测方法，具有可以端到端训练的模型，并且可以尽可能的利用图片的中的信息，建立基于多尺度信息融合的人脸静默活体检测模型，并分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据的优点，请参阅图1，包括人脸检测和基于多尺度信息融合的人脸静默活体检测；
具体步骤如下：
S1：进入刷脸流程模块，摄像头采集画面，开始人脸检测模块，当人脸出现在摄像头画面中，人脸检测模型计算得到人脸的检测框坐标，当摄像头画面中没有人脸时，则继续检测人脸，直到检测出人脸，检测出人脸的图片进行下一阶段，人脸检测可以检测图片中是否存在人脸，存在人脸时，计算得到面部的图像；
S2：采集面部图，在人脸检测的基础上，获取多个尺度的人脸面部图片，分别采集较小尺度的面部图，采集中等尺度的面部图，采集较大尺度的面部图，小尺度人脸包含较多的面部细节信息，中等尺度人脸包含头发和脖子的信息，大尺度人脸包含背景信息，为了保证图片信息的最大化利用，根据人脸占据画面的比例计算得到外扩比例；
S3：通过得到不同尺度的人脸图片，建立基于多尺度信息融合的人脸静默活体检测模型，分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据；
S4：基于多尺度信息融合的人脸静默活体检测，先分别提取不同尺度的人脸信息，再进行融合，从而可以尽可能利用图片中的信息来进行活体判断；
S5：使用多个深度卷积神网络提取不同尺度人脸的深度特征，使用的深度卷积神经网络提取图像特征，网络使用的是开源网络，使用卷积层将不同尺度的特征进行融合，得到多尺度融合特征，把它作为人脸活体的分类依据，多尺度的范围按照实际经验来选择，我们选择小尺度图片i1，中尺度图片i2，大尺度图片i3；分别建立深度卷积神经网络n1，n2和n3，使用卷积层c融合不同尺度的人脸信息特征，融合特征作为分类器f的分类依据，我们可以得到分类结果r为:r＝f(c(n1(i1),n2(i2),n3(i3)))；
S6：输入一张人脸图片后，进行活体检测模块，人脸静默活体检测模型计算得到活体得分，人脸静默活体检测模型计算得到活体得分取值范围为0-1，模型可以端到端训练，模型学习多尺度人脸活体特征的融合过程，极大提升了模型的泛化性和鲁棒性，使用假体和活体两类数据训练我们所搭建的活体检测模型，让模型学习假体和活体数据之间的差异，训练结束获得可以使用的活体检测模型，根据实际结果的统计分析，设定经验阈值，当得分大于等于阈值时，该图片中的人脸为活体，活体检测通过，否则该图片中的人脸为假体，活体检测不通过；
S7：将活体检测结果反馈给使用方，使用方根据结果进行后续判断和处理。
在具体使用时，进入刷脸流程模块，摄像头采集画面，开始人脸检测模块，当人脸出现在摄像头画面中，人脸检测模型计算得到人脸的检测框坐标，当摄像头画面中没有人脸时，则继续检测人脸，直到检测出人脸，检测出人脸的图片进行下一阶段，进行采集面部图，在人脸检测的基础上，获取多个尺度的人脸面部图片，分别采集较小尺度的面部图，采集中等尺度的面部图，采集较大尺度的面部图，通过得到不同尺度的人脸图片，建立基于多尺度信息融合的人脸静默活体检测模型，分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据，基于多尺度信息融合的人脸静默活体检测，先分别提取不同尺度的人脸信息，再进行融合，从而可以尽可能利用图片中的信息来进行活体判断，使用多个深度卷积神网络提取不同尺度人脸的深度特征，使用卷积层将不同尺度的特征进行融合，得到多尺度融合特征，把它作为人脸活体的分类依据，输入一张人脸图片后，进行活体检测模块，人脸静默活体检测模型计算得到活体得分，根据实际结果的统计分析，设定经验阈值，当得分大于等于阈值时，该图片中的人脸为活体，活体检测通过，否则该图片中的人脸为假体，活体检测不通过，将活体检测结果反馈给使用方，使用方根据结果进行后续判断和处理，一方面我们利用除面部以外的更多的信息，另一方面我们尽可能的利用好面部的信息，可以端到端训练的模型，并且可以尽可能的利用图片的中的信息，建立基于多尺度信息融合的人脸静默活体检测模型，并分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据。
虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。

Claims (4)

1.一种基于多尺度信息融合的人脸静默活体检测方法，包括人脸检测和基于多尺度信息融合的人脸静默活体检测，其特征在于，具体步骤如下：
S1：进入刷脸流程模块，摄像头采集画面，开始人脸检测模块，当人脸出现在摄像头画面中，人脸检测模型计算得到人脸的检测框坐标，当摄像头画面中没有人脸时，则继续检测人脸，直到检测出人脸，检测出人脸的图片进行下一阶段；
S2：采集面部图，在人脸检测的基础上，获取多个尺度的人脸面部图片，分别采集较小尺度的面部图，采集中等尺度的面部图，采集较大尺度的面部图；
S3：通过得到不同尺度的人脸图片，建立基于多尺度信息融合的人脸静默活体检测模型，分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据；
S4：基于多尺度信息融合的人脸静默活体检测，先分别提取不同尺度的人脸信息，再进行融合，从而可以尽可能利用图片中的信息来进行活体判断；
S5：使用多个深度卷积神网络提取不同尺度人脸的深度特征，使用卷积层将不同尺度的特征进行融合，得到多尺度融合特征，把它作为人脸活体的分类依据；
S6：输入一张人脸图片后，进行活体检测模块，人脸静默活体检测模型计算得到活体得分，根据实际结果的统计分析，设定经验阈值，当得分大于等于阈值时，该图片中的人脸为活体，活体检测通过，否则该图片中的人脸为假体，活体检测不通过；
S7：将活体检测结果反馈给使用方，使用方根据结果进行后续判断和处理。
2.根据权利要求1所述的一种基于多尺度信息融合的人脸静默活体检测方法，其特征在于，步骤S2中，小尺度人脸包含较多的面部细节信息，中等尺度人脸包含头发和脖子的信息，大尺度人脸包含背景信息。
3.根据权利要求1所述的一种基于多尺度信息融合的人脸静默活体检测方法，其特征在于，步骤S5中，使用的深度卷积神经网络提取图像特征，网络使用的是开源网络。
4.根据权利要求1所述的一种基于多尺度信息融合的人脸静默活体检测方法，其特征在于，步骤S6中，人脸静默活体检测模型计算得到活体得分取值范围为0-1。
CN202111463931.1A 2021-12-02 2021-12-02 一种基于多尺度信息融合的人脸静默活体检测方法 Pending CN114155591A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111463931.1A CN114155591A (zh) 2021-12-02 2021-12-02 一种基于多尺度信息融合的人脸静默活体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111463931.1A CN114155591A (zh) 2021-12-02 2021-12-02 一种基于多尺度信息融合的人脸静默活体检测方法

Publications (1)

Publication Number Publication Date
CN114155591A true CN114155591A (zh) 2022-03-08

Family

ID=80456247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111463931.1A Pending CN114155591A (zh) 2021-12-02 2021-12-02 一种基于多尺度信息融合的人脸静默活体检测方法

Country Status (1)

Country Link
CN (1) CN114155591A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223254A1 (zh) * 2018-05-21 2019-11-28 北京亮亮视野科技有限公司 多尺度轻量级人脸检测模型的构建方法及基于该模型的人脸检测方法
CN112183357A (zh) * 2020-09-29 2021-01-05 深圳龙岗智能视听研究院 一种基于深度学习的多尺度活体检测方法及系统
CN112966562A (zh) * 2021-02-04 2021-06-15 深圳市街角电子商务有限公司 人脸活体检测方法、系统及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223254A1 (zh) * 2018-05-21 2019-11-28 北京亮亮视野科技有限公司 多尺度轻量级人脸检测模型的构建方法及基于该模型的人脸检测方法
CN112183357A (zh) * 2020-09-29 2021-01-05 深圳龙岗智能视听研究院 一种基于深度学习的多尺度活体检测方法及系统
CN112966562A (zh) * 2021-02-04 2021-06-15 深圳市街角电子商务有限公司 人脸活体检测方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN109815826B (zh) 人脸属性模型的生成方法及装置
CN107491726B (zh) 一种基于多通道并行卷积神经网络的实时表情识别方法
CN110348387B (zh) 一种图像数据处理方法、装置以及计算机可读存储介质
CN108961272B (zh) 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN102567716B (zh) 一种人脸合成系统及实现方法
CN108921037B (zh) 一种基于BN-inception双流网络的情绪识别方法
CN105046219A (zh) 一种人脸识别系统
CN105138954A (zh) 一种图像自动筛选查询识别系统
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN111814620A (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN113869105B (zh) 一种人体行为识别方法
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN111160264A (zh) 一种基于生成对抗网络的漫画人物身份识别方法
CN106529377A (zh) 一种基于图像的年龄估计方法、装置及系统
CN115862120B (zh) 可分离变分自编码器解耦的面部动作单元识别方法及设备
CN115346272A (zh) 基于深度图像序列的实时摔倒检测方法
CN108537109A (zh) 基于OpenPose的单目相机手语识别方法
CN108304800A (zh) 一种人脸检测和人脸比对的方法
CN109508660A (zh) 一种基于视频的au检测方法
CN113506274A (zh) 基于视觉显著性差异图的用于人体认知状况的检测系统
CN111914772A (zh) 识别年龄的方法、年龄识别模型的训练方法和装置
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
WO2015078168A1 (zh) 一种人脸属性检测模型生成方法及系统
CN114155591A (zh) 一种基于多尺度信息融合的人脸静默活体检测方法
CN116597177A (zh) 一种基于双分支并行深度交互协同的多源图像块匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination