CN113052142A - 一种基于多模态数据的静默活体检测方法 - Google Patents

一种基于多模态数据的静默活体检测方法 Download PDF

Info

Publication number
CN113052142A
CN113052142A CN202110452515.5A CN202110452515A CN113052142A CN 113052142 A CN113052142 A CN 113052142A CN 202110452515 A CN202110452515 A CN 202110452515A CN 113052142 A CN113052142 A CN 113052142A
Authority
CN
China
Prior art keywords
image
feature
living body
detection method
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110452515.5A
Other languages
English (en)
Inventor
冯偲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN202110452515.5A priority Critical patent/CN113052142A/zh
Publication of CN113052142A publication Critical patent/CN113052142A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Abstract

本发明公开了一种基于多模态数据的静默活体检测方法，包括：(1)利用传感器采集人脸RGB图像、红外图像和深度图像，抠出三种原始图像中人脸区域图；(2)建立特征提取网络，利用特征提取网络对步骤1中人脸区域图进行特征提取，得到RGB图像、红外图像和深度图像的卷积特征图；(3)将步骤2中三个卷积特征图利用深度神经网络进行数据层面的融合，得到多模态融合特征图；(4)利用深度神经网络提取多模态融合特征图的特征向量；(5)对特征向量进行处理，输出活体分类的结果。本发明利用RGB图像、深度图像和红外图像三种模态数据对人脸进行活体检测，提高活体判别精度；将不同硬件的信息融合后提升活体判别效果。

Description

一种基于多模态数据的静默活体检测方法
技术领域
本发明涉及活体检测方法，特别涉及一种基于多模态数据的静默活体检测方法。
背景技术
活体检测是在一些身份验证场景确定对象真实生理特征的方法，可以有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为，保障用户的利益。静默活体检测只需要求用户实时拍摄一张照片或一段人脸视频，就可以进行真人活体校验。
现有的静默活体检测方法多是基于单一模态数据情况下进行，没有考虑不同模态数据之间的表征差异，致使检测精度较低；即使在使用多模态数据时，也只是针对不同传感器获得的图像数据做简单的叠加处理，忽略了活体数据在不同传感器之间的关联性，没有将不同的图像数据进行数据层的融合，进而降低了活体检测的精度。
发明内容
发明目的：针对以上问题，本发明目的是提供一种基于多模态数据的静默活体检测方法，考虑了RGB图像、红外图像及深度图像三个模态数据，提高活体检测精度。
技术方案：本发明的一种基于多模态数据的静默活体检测方法，包括：
(1)利用传感器采集人脸RGB图像、红外图像和深度图像，抠出三种原始图像中人脸区域图；
(2)建立特征提取网络，特征提取网络包括卷积层，利用特征提取网络对步骤1中人脸区域图进行特征提取，得到RGB图像、红外图像和深度图像的卷积特征图；
(3)将步骤2中三个卷积特征图利用深度神经网络进行数据层面的融合，得到多模态融合特征图；
(4)利用深度神经网络提取多模态融合特征图的特征向量；
(5)对步骤4的特征向量进行处理，输出活体分类的结果，包括活体和非活体。
进一步，步骤1进行人脸区域抠图后分别对三种人脸区域图进行仿射变换。
进一步，步骤2特征提取网络包括4个卷积层，每个卷积层使用激活函数，4个卷积层依次对每个模态数据进行处理。
进一步，步骤4包括：先将多模态融合特征图输入第一全连接层，得到第一全连接层特征向量；再将第一全连接层特征向量输入到第二全连接层，得到第二全连接层特征向量。
进一步，步骤5利用分类算法函数对第二全连接层特征向量进行分类，得出二元分类结果，输出值为0或1，对输出值进行判断，如果为0，则检测结果为非活体；如果为1，则检测结果为活体。
有益效果：本发明与现有技术相比，其显著优点是：本发明利用RGB图像、深度图像和红外图像三种模态数据对人脸进行活体检测，提高活体判别精度；利用多模态数据进行活体判别，将不同硬件的信息融合后提升活体判别效果。
附图说明
图1为特征提取网络示意图；
图2为多模态数据融合和处理流程图。
具体实施方式
本实施例所述的一种基于多模态数据的静默活体检测方法，包括：
(1)利用传感器采集人脸RGB图像、红外图像和深度图像，抠出三种原始图像中人脸区域图；
(11)对RGB图像进行人脸区域抠图并进行仿射变换，最终的RGB图像数据大小为224*224像素；
(12)对红外图像进行人脸区域抠图并进行仿射变换，最终的红外图像数据大小为224*224像素；
(13)对深度图像进行人脸区域抠图并进行仿射变换，最终的深度图像数据大小为224*224像素。
(2)建立特征提取网络，特征提取网络包括4个卷积层，如图1所示，每个卷积层使用激活函数，4个卷积层依次对每个模态数据进行处理。利用特征提取网络对步骤1中人脸区域图进行特征提取，得到RGB图像、红外图像和深度图像的卷积特征图分别为F1、F2、F3；
其中卷积层包括：
第一卷积层：卷积核大小11*11，卷积核数量为94，步长为4，使用relu激活；
第二卷积层：卷积核大小5*5，卷积核数量为256，步长为1，使用relu激活；
第三卷积层：卷积核大小3*3，卷积核数量为384，步长为1，使用relu激活；
第四卷积层：卷积核大小为1*1，卷积核数量为64，步长为1，使用relu激活。
(3)将步骤2中三个卷积特征图F1、F2和F3利用深度神经网络进行数据层面的融合，得到多模态融合特征图F，如图2所示。
(4)利用深度神经网络提取多模态融合特征图的特征向量：
先将多模态融合特征图输入第一全连接层FC1，全连接通道数为256，得到第一全连接层特征向量F-FC1；再将第一全连接层特征向量输入到第二全连接层FC2，全连接通道数为128，得到第二全连接层特征向量F-FC2。
(5)利用softmax算法对第二全连接层特征向量F-FC2进行分类，得出二元分类结果score，score值为0或1，对score值进行判断，如果为0，则检测结果为非活体；如果为1，则检测结果为活体。

Claims (5)

1.一种基于多模态数据的静默活体检测方法，其特征在于，包括：
(1)利用传感器采集人脸RGB图像、红外图像和深度图像，抠出三种原始图像中人脸区域图；
(2)建立特征提取网络，特征提取网络包括卷积层，利用特征提取网络对步骤1中人脸区域图进行特征提取，得到RGB图像、红外图像和深度图像的卷积特征图；
(3)将步骤2中三个卷积特征图利用深度神经网络进行数据层面的融合，得到多模态融合特征图；
(4)利用深度神经网络提取多模态融合特征图的特征向量；
(5)对步骤4的特征向量进行处理，输出活体分类的结果，包括活体和非活体。
2.根据权利要求1所述的静默活体检测方法，其特征在于，步骤1进行人脸区域抠图后分别对三种人脸区域图进行仿射变换。
3.根据权利要求2所述的静默活体检测方法，其特征在于，步骤2特征提取网络包括4个卷积层，每个卷积层使用激活函数，4个卷积层依次对每个模态数据进行处理。
4.根据权利要求3所述的静默活体检测方法，其特征在于，步骤4包括：先将多模态融合特征图输入第一全连接层，得到第一全连接层特征向量；再将第一全连接层特征向量输入到第二全连接层，得到第二全连接层特征向量。
5.根据权利要求4所述的静默活体检测方法，其特征在于，步骤5利用分类算法函数对第二全连接层特征向量进行分类，得出二元分类结果，输出值为0或1，对输出值进行判断，如果为0，则检测结果为非活体；如果为1，则检测结果为活体。
CN202110452515.5A 2021-04-26 2021-04-26 一种基于多模态数据的静默活体检测方法 Pending CN113052142A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110452515.5A CN113052142A (zh) 2021-04-26 2021-04-26 一种基于多模态数据的静默活体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110452515.5A CN113052142A (zh) 2021-04-26 2021-04-26 一种基于多模态数据的静默活体检测方法

Publications (1)

Publication Number Publication Date
CN113052142A true CN113052142A (zh) 2021-06-29

Family

ID=76520553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110452515.5A Pending CN113052142A (zh) 2021-04-26 2021-04-26 一种基于多模态数据的静默活体检测方法

Country Status (1)

Country Link
CN (1) CN113052142A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505682A (zh) * 2021-07-02 2021-10-15 杭州萤石软件有限公司 活体检测方法及装置
CN113705400A (zh) * 2021-08-18 2021-11-26 中山大学 一种基于多模态人脸训练的单模态人脸活体检测方法
WO2023273297A1 (zh) * 2021-06-30 2023-01-05 平安科技（深圳）有限公司 基于多模态的活体检测方法、装置、电子设备及存储介质
CN115953589A (zh) * 2023-03-13 2023-04-11 南京航空航天大学 一种基于深度相机的发动机缸体孔径尺寸测量方法
WO2023124869A1 (zh) * 2021-12-30 2023-07-06 杭州萤石软件有限公司 用于活体检测的方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、设备及存储介质
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN111401107A (zh) * 2019-01-02 2020-07-10 上海大学 基于特征融合神经网络的多模态人脸识别方法
CN111597918A (zh) * 2020-04-26 2020-08-28 北京金山云网络技术有限公司 人脸活体检测模型的训练、检测方法、装置及电子设备
CN111611934A (zh) * 2020-05-22 2020-09-01 北京华捷艾米科技有限公司 一种人脸检测模型生成和人脸检测方法、装置及设备
CN112036331A (zh) * 2020-09-03 2020-12-04 腾讯科技（深圳）有限公司 活体检测模型的训练方法、装置、设备及存储介质
CN112052832A (zh) * 2020-09-25 2020-12-08 北京百度网讯科技有限公司 人脸检测的方法、装置和计算机存储介质
US20200410267A1 (en) * 2018-09-07 2020-12-31 Beijing Sensetime Technology Development Co., Ltd. Methods and apparatuses for liveness detection, electronic devices, and computer readable storage media
CN112487922A (zh) * 2020-11-25 2021-03-12 奥比中光科技集团股份有限公司 一种多模态人脸活体检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、设备及存储介质
US20200410267A1 (en) * 2018-09-07 2020-12-31 Beijing Sensetime Technology Development Co., Ltd. Methods and apparatuses for liveness detection, electronic devices, and computer readable storage media
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN111401107A (zh) * 2019-01-02 2020-07-10 上海大学 基于特征融合神经网络的多模态人脸识别方法
CN111597918A (zh) * 2020-04-26 2020-08-28 北京金山云网络技术有限公司 人脸活体检测模型的训练、检测方法、装置及电子设备
CN111611934A (zh) * 2020-05-22 2020-09-01 北京华捷艾米科技有限公司 一种人脸检测模型生成和人脸检测方法、装置及设备
CN112036331A (zh) * 2020-09-03 2020-12-04 腾讯科技（深圳）有限公司 活体检测模型的训练方法、装置、设备及存储介质
CN112052832A (zh) * 2020-09-25 2020-12-08 北京百度网讯科技有限公司 人脸检测的方法、装置和计算机存储介质
CN112487922A (zh) * 2020-11-25 2021-03-12 奥比中光科技集团股份有限公司 一种多模态人脸活体检测方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023273297A1 (zh) * 2021-06-30 2023-01-05 平安科技（深圳）有限公司 基于多模态的活体检测方法、装置、电子设备及存储介质
CN113505682A (zh) * 2021-07-02 2021-10-15 杭州萤石软件有限公司 活体检测方法及装置
CN113705400A (zh) * 2021-08-18 2021-11-26 中山大学 一种基于多模态人脸训练的单模态人脸活体检测方法
CN113705400B (zh) * 2021-08-18 2023-08-15 中山大学 一种基于多模态人脸训练的单模态人脸活体检测方法
WO2023124869A1 (zh) * 2021-12-30 2023-07-06 杭州萤石软件有限公司 用于活体检测的方法、装置、设备及存储介质
CN115953589A (zh) * 2023-03-13 2023-04-11 南京航空航天大学 一种基于深度相机的发动机缸体孔径尺寸测量方法
CN115953589B (zh) * 2023-03-13 2023-05-16 南京航空航天大学 一种基于深度相机的发动机缸体孔径尺寸测量方法

Similar Documents

Publication Publication Date Title
CN113052142A (zh) 一种基于多模态数据的静默活体检测方法
CN107423690B (zh) 一种人脸识别方法及装置
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
US8676733B2 (en) Using a model tree of group tokens to identify an object in an image
JP4755202B2 (ja) 顔特徴の検出方法
JP4663013B2 (ja) 色類別方法、色認識方法及び色認識装置
WO2018216629A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018198053A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2022206319A1 (zh) 图像处理方法、装置、设备、存储介质计算机程序产品
JP2018092610A (ja) 画像認識装置、画像認識方法及びプログラム
CN107944416A (zh) 一种通过视频进行真人验证的方法
CN113793336A (zh) 一种检测血细胞的方法、装置、设备及可读存储介质
CN115131880A (zh) 一种多尺度注意力融合的双重监督人脸活体检测方法
CN111767877A (zh) 一种基于红外特征的活体检测方法
CN112434647A (zh) 一种人脸活体检测方法
CN114581456A (zh) 一种多图像分割模型的构建方法、图像检测方法及装置
CN110363111B (zh) 基于镜头失真原理的人脸活体检测方法、装置及存储介质
CN111767879A (zh) 一种活体检测方法
CN111079585B (zh) 图像增强结合伪孪生卷积神经网络的行人再识别方法
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
JPH11306348A (ja) 対象物検出装置及び対象物検出方法
CN111898400A (zh) 一种基于多模态特征融合的指纹活性检测方法
CN113807237B (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
Hadiprakoso Face anti-spoofing method with blinking eye and hsv texture analysis
CN112183357B (zh) 一种基于深度学习的多尺度活体检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination