CN110674677A - 一种多模态多层融合的用于人脸反欺骗的深度神经网络 - Google Patents

一种多模态多层融合的用于人脸反欺骗的深度神经网络 Download PDF

Info

Publication number
CN110674677A
CN110674677A CN201910722261.7A CN201910722261A CN110674677A CN 110674677 A CN110674677 A CN 110674677A CN 201910722261 A CN201910722261 A CN 201910722261A CN 110674677 A CN110674677 A CN 110674677A
Authority
CN
China
Prior art keywords
layer
neural network
modal
image
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910722261.7A
Other languages
English (en)
Inventor
纪荣嵘
匡华峰
刘弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201910722261.7A priority Critical patent/CN110674677A/zh
Publication of CN110674677A publication Critical patent/CN110674677A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Abstract

一种多模态多层融合的用于人脸反欺骗的深度神经网络，涉及图像异常样本检测。包括图像特征提取前端和一个神经网络分类器；网络包含参差神经网络层、多模态权重自适应模块以及全连接层分类单元；神经网络前端包括多个不同模态数据处理分支，用于分别处理多种不同模态的图像数据，每一个分支由多个残差神经网络层连接组成；每个分支的各层残差神经网络层输出的图像特征通过多模态权重自适应模块进行特征融合；多模态权重自适应模块包含上分支和下分支，上分支用于通过一个图像卷积操作对多种模态信息的特征进行融合，得到一个融合特征；下分支包含图像卷积操作单元、全局池化层、softmax单元、ReLU激活单元和全连接层。

Description

一种多模态多层融合的用于人脸反欺骗的深度神经网络
技术领域
本发明涉及图像异常样本检测，是基于平均中心损失函数的一种多模态多层融合的用于人脸反欺骗检查的深度神经网络。
背景技术
随着深度神经网络在人脸识别任务上取得卓越的效果，基于深度学习的人脸检测技术已经广泛的部署在现实应用中，包括手机解锁、门禁系统以及人脸支付等。但基于深度神经网络的人脸识别系统已经被证实非常容易受到对抗样本的干扰，这些干扰包括但不限于通过打印照片或播放相关的人脸视频来对人脸识别系统进行破解。显然，通过这种干扰进行人脸认证是非法的。因此，人脸反欺骗技术被引起重视，它的主要目的在于检测当前系统捕获的人脸是否是合法的人脸，合法人脸则输入系统进一步验证，否则直接拒绝验证。
传统的人脸反欺骗方法将该问题看出是一个二分类问题，即将真实人脸分为正类，而异常人脸则为负类。以前的方法大多数使用人工设计的特征，比如LBP，HoG，SURF等(具体内容可以参考文献Ivana Chingovska,AndréAnjos,and Sébastien Marcel.2012.Onthe eff ectivenessof local binary patterns in face anti-spoofing.InProceedings of the BIOSIG)，来训练一个二分类器。但这些人工设计的特征往往比较局限，它们对不同的环境和设备较为敏感，容易收到对抗样本的干扰。随着深度学习的发展，深度神经网络被用于人脸反欺骗任务，并取得了卓越的表现。基于神经网络的方法(参考文献Jianwei Yang,Zhen Lei,and Stan Z Li.2014.Learn convolutional neuralnetworkfor face anti-spoofing.arXiv:1408.5601(2014))通过使用采集到的图像的颜色，纹理，结构等信息对进行网络训练，最后进行二分类检测。但现有的方法只是单一的使用的可见光(RGB图像)信息。这些信息对光照或环境的改变非常敏感，同时这些方法很容易过拟合，模型的泛化能力较差。
为了解决上述问题，考虑使用多模态信息，在现实应用中，近红外(NIR)信息已经被广泛用于人脸识别任务中(参考文献Stan Z Li,RuFeng Chu,ShengCai Liao,and LunZhang.2007.Illuminationinvariant face recognition using near-infraredimages.IEEE Trans.on patternanalysis and machine intelligence(2007))，增加了NIR信息的人脸识别系统能极大的提高人脸识别的准确率以及模型的反欺骗能力。另一方面，使用深度信息用于人脸识别任务同样取得了卓越的效果(参考文献Yan Wang,FudongNian,Teng Li,Zhijun Meng,and Kongqiao Wang.2017.Robustface anti-spoofing with depth information.Journal of Visual Communication andImageRepresentation(2017))。深度信息对人脸识别系统同样是一个非常重要的信息，它能反应现实环境的空间结构，能有效地检测对抗样本以及提高人脸识别的准确率。在使用多模态信息中，主要的关键挑战有两点：1、如何高效的融合不同模态的信息。2、如何使用网络中的不同层次的特征。此外，为了解决深度神经网络容易过拟合的问题。考虑重新设计模型的损失函数，使得模型有更强的鲁棒性。
发明内容
本发明的目的在于解决以往在用深度神经网络进行人脸反欺骗检测时，无法使用多模态信息，以及对神经网络每一层的层次信息未能充分利用，同时由于单一的损失函数训练出来的模型容易过拟合等问题，提出基于平均中心损失函数的一种多模态多层融合的用于人脸反欺骗的深度神经网络。
所述多模态多层融合的用于人脸反欺骗的深度神经网络包括图像特征提取前端和一个神经网络分类器；网络包含参差神经网络层、多模态权重自适应模块以及全连接层分类单元；神经网络前端包括多个不同模态数据处理分支，用于分别处理多种不同模态的图像数据，每一个分支由多个残差神经网络层连接组成；每个分支的各层残差神经网络层输出的图像特征通过多模态权重自适应模块进行特征融合，在图像特征通过最后一个多模态权重自适应模块后，图像特征输入到一个残差神经网络层，并输出一个多维的特征向量，最后特征向量通过一个全连接层进行分类；
所述多模态权重自适应模块包含两个分支——上分支和下分支，上分支用于通过一个图像卷积操作对多种模态信息的特征进行融合，得到一个融合特征；下分支作为一个权重自适应学习模块，包含图像卷积操作单元、全局池化层、softmax单元、ReLU激活单元和全连接层；图像卷积操作单元和全局池化层用于对不同模态信息进行信息压缩和结合，softmaxt单元和ReLU单元用于对压缩后的信息进行归一化并激活，全连接层用于重新分配各个模态的权重值，该模块通过压缩每个模态特征的全局信息得到所有模态的信息描述符；所有模态的信息描述符连接后得到一个模态描述向量，通过一个全连接层生成一个Cn维的权重标量。
所述多种不同模态的图像数据包括彩色图像、深度图像、红外图像等。
本发明的优点如下：
通过本发明提出的网络结构，能够获得更鲁棒以及泛化能力更强的人脸反欺骗模型，能够学到区别性更强的特征。网络结构充分的考虑了不同模态所包含的信息得重要性，同时也关注于深度神经网络不同层次所包含的不同抽象特征。通过提出的多模态权重自适应模块进行特征融合，从而充分的利用了各模态信息，以及网络中不同层次的信息。同时，通过使用平均二分类中心损失函数对网络进行训练，使得模型进一步学习到更具有区别性的特征，提高模型的准确率以及泛化能力。本发明采用一种多模态多层次融合的神经网络架构，同时使用创新的平均二分类损失函数来使模型学的更有区别的特征，使得模型更具鲁棒性和泛化能力。本发明提高了模型的分类准确率，以及不同数据的泛化能力，从而使得本发明能够更好得适用于大规模真实环境下的人脸反欺骗任务。
附图说明
图1为本发明的网络结构框架图。
图2为本发明的多模态权重自适应模块图。
具体实施方式
以下实施例将结合附图对本发明作详细的说明。
本发明实例包括以下部分：
1.多模态多层融合网络，如图1所示，网络使用多模态数据进行输入，包括RGB、Depth、NIR、HSV和YCbCr五种模态信息，对于每一种模态图像，深度神经网络单独使用一个resnet34网络对其特征抽取，resnet34网络包含5层残差神经网络层(以下用res*来表示resnet34网络的第几层残差网络层，res1表示第一层)，深度神经网络使用前3个残差神经网络层抽取出来的特征进行融合。融合方式为多模态权重自适应方式，深度神经网络首先使用res1层的多模态特征进行融合，融合后输出一个新融合特征，该特征与下一层的多模态特征继续进行融合，直到最后一层(res4)之后模型使用一个全局池化层产生一个512维的判别特征，最后输入一个全连接层进行二分类。
2.多模态权重自适应模块，如图2所示，模块包含两个分支，上分支通过一个卷积操作对多种模态信息的特征进行融合，得到一个融合特征f∈RCnxWxH,下分支作为一个权重自适应学习模块，首先通过压缩每个模态特征的全局信息得到一个模态描述子(Mdesc),具体计算公式为：
Figure BDA0002157629840000041
其中fc是模态特征，δ表示ReLU函数(具体可以参考Vinod Nair and Geoffrey EHinton.2010.Rectifi ed linear units improve restrictedboltzmann machines.InProceedings of the ICML)，每一个模态的特征输入一个卷积层，输出一个1*H*W的特征，然后通过全局平均池化层进一步进行信息压缩，最后通过一个激活函数得到最后的模态描述符。通过上述操作可以得到所有模态的信息描述符。然后欺骗的深度神经网络通过连接所有的模态描述符得到一个模态描述向量Vdesc，接着对模态描述向量进行softmax操作，最后通过一个全连接层生成一个Cn维的权重标量v.相关计算公式为：
Vnormal＝ζ(Vdesc)，
v＝σ(w*Vnormal)，
frw＝Fscale(v*f)，
其中σ表示sigmodal函数，ζ表示softmax函数，F表示通道间的乘法计算，最后得到一个调整过权重的特征frw。
3.平均二分类中心损失函数
为了使模型能更鲁棒性，欺骗的深度神经网络提出了平均二分类中心损失函数(Average Binary Center loss),具体的定义如下：
Figure BDA0002157629840000043
其中，N表示样本的数量，i表示第几个样本,Clive/spoof表示特征中心，△表示边界阙值，f表示用于抽取特征的深度神经网络模型，欺骗的深度神经网络提出平均二分类中心损失函数基于以下考虑，在人脸反欺骗任务中，主要是二分类，由于人脸结构的相似性，很容易造成真实样本于假样本的分布区域进行重叠，从而导致分类错误，所以欺骗的深度神经网络在损失中最大化两个中心位置的距离，从而保证两个中心分离，使模型学到区别性更强的特征。
以CASIA-SURF数据为例进行说明：CASIA-SURF包含6万张112×112大小的图片。图片总共可以分为1000个人脸，每个人脸都包含3中模态信息(RGB，Depth，NIR)。
CASIA-SURF数据集中方法实验结果参见表1和2。
表1不同的模态数量实验结果
Figure BDA0002157629840000051
表2不同的融合方式以及损失函数实验结果
Figure BDA0002157629840000052
基于本发明，在多模态数据集CASIA-SURF上进行了实验验证，实验结果如表1和2所示，表1给出使用不同数量的模态信息的实验结果，评价标准为TPR@FPR＝10-4.该评价准则为Receiver Operating Characteristic(ROC)曲线，表2给出不同的融合方式以及不同损失函数的实验结果。通过实验结果对比可以看出，本发明取得了最优的结果。

Claims (2)

1.一种多模态多层融合的用于人脸反欺骗的深度神经网络，其特征在于包括图像特征提取前端和一个神经网络分类器；网络包含参差神经网络层、多模态权重自适应模块以及全连接层分类单元；神经网络前端包括多个不同模态数据处理分支，用于分别处理多种不同模态的图像数据，每一个分支由多个残差神经网络层连接组成；每个分支的各层残差神经网络层输出的图像特征通过多模态权重自适应模块进行特征融合，在图像特征通过最后一个多模态权重自适应模块后，图像特征输入到一个残差神经网络层，并输出一个多维的特征向量，最后特征向量通过一个全连接层进行分类；
所述多模态权重自适应模块包含两个分支——上分支和下分支，上分支用于通过一个图像卷积操作对多种模态信息的特征进行融合，得到一个融合特征；下分支作为一个权重自适应学习模块，包含图像卷积操作单元、全局池化层、softmax单元、ReLU激活单元和全连接层；图像卷积操作单元和全局池化层用于对不同模态信息进行信息压缩和结合，softmaxt单元和ReLU单元用于对压缩后的信息进行归一化并激活，全连接层用于重新分配各个模态的权重值，该模块通过压缩每个模态特征的全局信息得到所有模态的信息描述符；所有模态的信息描述符连接后得到一个模态描述向量，通过一个全连接层生成一个Cn维的权重标量。
2.如权利要求1所述一种多模态多层融合的用于人脸反欺骗的深度神经网络，其特征在于所述多种不同模态的图像数据包括彩色图像、深度图像、红外图像。
CN201910722261.7A 2019-08-06 2019-08-06 一种多模态多层融合的用于人脸反欺骗的深度神经网络 Pending CN110674677A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910722261.7A CN110674677A (zh) 2019-08-06 2019-08-06 一种多模态多层融合的用于人脸反欺骗的深度神经网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910722261.7A CN110674677A (zh) 2019-08-06 2019-08-06 一种多模态多层融合的用于人脸反欺骗的深度神经网络

Publications (1)

Publication Number Publication Date
CN110674677A true CN110674677A (zh) 2020-01-10

Family

ID=69068475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910722261.7A Pending CN110674677A (zh) 2019-08-06 2019-08-06 一种多模态多层融合的用于人脸反欺骗的深度神经网络

Country Status (1)

Country Link
CN (1) CN110674677A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539733A (zh) * 2020-04-16 2020-08-14 同济大学 基于全中心损失函数的欺诈交易识别方法、系统、装置
CN112329438A (zh) * 2020-10-27 2021-02-05 中科极限元(杭州)智能科技股份有限公司 基于域对抗训练的自动谎言检测方法及系统
CN112767106A (zh) * 2021-01-14 2021-05-07 中国科学院上海高等研究院 自动化审计方法、系统、计算机可读存储介质及审计设备
CN113516133A (zh) * 2021-04-01 2021-10-19 中南大学 一种多模态图像分类方法及系统
CN113743379A (zh) * 2021-11-03 2021-12-03 杭州魔点科技有限公司 一种多模态特征的轻量活体识别方法、系统、装置和介质
CN114202782A (zh) * 2020-09-02 2022-03-18 四川大学 一种基于传统特征与神经网络的人脸深度伪造检测方法
CN114881668A (zh) * 2022-05-05 2022-08-09 灵图数据(杭州)有限公司 一种基于多模态的欺骗检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN109583569A (zh) * 2018-11-30 2019-04-05 中控智慧科技股份有限公司 一种基于卷积神经网络的多模态特征融合方法及装置
CN109934195A (zh) * 2019-03-21 2019-06-25 东北大学 一种基于信息融合的反欺骗三维人脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN109583569A (zh) * 2018-11-30 2019-04-05 中控智慧科技股份有限公司 一种基于卷积神经网络的多模态特征融合方法及装置
CN109934195A (zh) * 2019-03-21 2019-06-25 东北大学 一种基于信息融合的反欺骗三维人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AJIAN LIU.ET AL: "Multi-modal Face Anti-spoofing Attack Detection Challenge at CVPR2019", 《2019IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
JIE HU,ET AL.: "Squeeze-and-Excitation Networks", 《IEEE》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539733A (zh) * 2020-04-16 2020-08-14 同济大学 基于全中心损失函数的欺诈交易识别方法、系统、装置
CN111539733B (zh) * 2020-04-16 2023-08-11 同济大学 基于全中心损失函数的欺诈交易识别方法、系统、装置
CN114202782A (zh) * 2020-09-02 2022-03-18 四川大学 一种基于传统特征与神经网络的人脸深度伪造检测方法
CN112329438A (zh) * 2020-10-27 2021-02-05 中科极限元(杭州)智能科技股份有限公司 基于域对抗训练的自动谎言检测方法及系统
CN112329438B (zh) * 2020-10-27 2024-03-08 中科极限元(杭州)智能科技股份有限公司 基于域对抗训练的自动谎言检测方法及系统
CN112767106A (zh) * 2021-01-14 2021-05-07 中国科学院上海高等研究院 自动化审计方法、系统、计算机可读存储介质及审计设备
CN112767106B (zh) * 2021-01-14 2023-11-07 中国科学院上海高等研究院 自动化审计方法、系统、计算机可读存储介质及审计设备
CN113516133A (zh) * 2021-04-01 2021-10-19 中南大学 一种多模态图像分类方法及系统
CN113516133B (zh) * 2021-04-01 2022-06-17 中南大学 一种多模态图像分类方法及系统
CN113743379A (zh) * 2021-11-03 2021-12-03 杭州魔点科技有限公司 一种多模态特征的轻量活体识别方法、系统、装置和介质
CN114881668A (zh) * 2022-05-05 2022-08-09 灵图数据(杭州)有限公司 一种基于多模态的欺骗检测方法

Similar Documents

Publication Publication Date Title
CN110674677A (zh) 一种多模态多层融合的用于人脸反欺骗的深度神经网络
Wu et al. Busternet: Detecting copy-move image forgery with source/target localization
Cozzolino et al. Image forgery detection through residual-based local descriptors and block-matching
EP3084682B1 (en) System and method for identifying faces in unconstrained media
Engelsma et al. Raspireader: Open source fingerprint reader
Naikal et al. Informative feature selection for object recognition via sparse PCA
CN112639809A (zh) 生物测定认证的用户自适应
Chen et al. Fisher vector encoded deep convolutional features for unconstrained face verification
Wang et al. Background-driven salient object detection
WO2015149534A1 (zh) 基于Gabor二值模式的人脸识别方法及装置
Bedagkar-Gala et al. Multiple person re-identification using part based spatio-temporal color appearance model
Bhavana et al. Hand sign recognition using CNN
Abidin et al. Copy-move image forgery detection using deep learning methods: a review
Meng et al. A survey of image information hiding algorithms based on deep learning
CN110163111A (zh) 基于人脸识别的叫号方法、装置、电子设备及存储介质
Sun et al. A face spoofing detection method based on domain adaptation and lossless size adaptation
Meng et al. Finger vein recognition based on convolutional neural network
Nguyen et al. Complex-valued iris recognition network
Peng et al. BDC-GAN: Bidirectional conversion between computer-generated and natural facial images for anti-forensics
US20220327189A1 (en) Personalized biometric anti-spoofing protection using machine learning and enrollment data
Lakshmi et al. Off-line signature verification using Neural Networks
Paul et al. Rotation invariant multiview face detection using skin color regressive model and support vector regression
Barni et al. Iris deidentification with high visual realism for privacy protection on websites and social networks
Lin et al. Local feature tensor based deep learning for 3d face recognition
Deng et al. Attention-aware dual-stream network for multimodal face anti-spoofing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110