CN111767784A - 基于面部潜在血管分布的虚假人脸入侵检测方法 - Google Patents
基于面部潜在血管分布的虚假人脸入侵检测方法 Download PDFInfo
- Publication number
- CN111767784A CN111767784A CN202010392304.2A CN202010392304A CN111767784A CN 111767784 A CN111767784 A CN 111767784A CN 202010392304 A CN202010392304 A CN 202010392304A CN 111767784 A CN111767784 A CN 111767784A
- Authority
- CN
- China
- Prior art keywords
- face
- false
- face image
- blood vessel
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Abstract
为了克服纹理清晰度较高的虚假人脸入侵难以检测的问题,本发明提出了一种基于面部潜在血管分布的虚假人脸入侵检测方法。该方法首先将人脸识别系统采集到的单帧人脸图像进行注意力机制处理,使得不同的人脸区域具有不同的权重;然后分别提取注意力人脸图像每列像素值的特征,用来描述可见光穿透人脸皮肤后的吸收特性;进一步的,利用循环网络提取每列输出特征之间的潜在联系,表征有血管分布引起的不同人脸区域间的可见光吸收变化;最后将循环网络的特征向量输入到Softmax分类器,根据分类器的输出结果对虚假人脸入侵进行检测。本发明计算简单,在受到纹理清晰度较高的虚假人脸入侵攻击时,该检测方法可有效对真脸与虚假人脸进行区分,检测误差更低。
Description
技术领域
本发明涉及一种虚假人脸入侵检测方法,特别是涉及基于面部潜在血管分布的虚假人脸入侵检测方法。
背景技术
近年来随着计算机视觉技术的提升,人脸识别在多种权限系统中得到了广泛应用,极大地提升了人们生活的便利性。但是基于人脸识别技术的权限系统存在一定的安全风险,尤其在将权限系统使用者的人脸图像、视频或者面具等虚假人脸置于识别系统的摄像头前面时,系统会将这些虚假人脸识别为使用者本人,致使权限系统被入侵。另一方面,互联网及社交网络的快速发展,攻击者可以很容易地获取到他人的人脸图像、视频等信息,进一步的加剧了人脸识别系统被入侵的风险。根据所依赖的图像数量,近年来虚假人脸入侵检测方法主要分为两种:(1)基于视频帧的虚假人脸入侵检测;(2)基于视频序列的虚假人脸入侵检测。其中,基于视频序列的虚假人脸入侵检测方法主要利用多视频帧间的活体信息完成检测任务,缺陷在于耗时高;而基于视频帧的检测方法则只需要单帧图像,实时性能高。文献“Boulkenafet Z,Komulainen J,Hadid A.Face Spoofing Detection UsingColour Texture Analysis.IEEE Transactions on InformationForensics andSecurity,2017,11(8):1818-1830”提出了一种基于纹理分析的虚假人脸检测方法,该方法通过分析单帧真脸图像与假脸图像在彩色纹理存在的差异,利用支持向量机(SupportVector Machine,SVM)对假脸入侵进行检测。
该方法计算简单,耗时低,可以有效检测打印粗糙的虚假人脸,但对于纹理清晰度较高的虚假人脸入侵,方法的有效性会大大降低。基于此,本发明提出了一种基于面部潜在血管分布的虚假人脸入侵检测方法,以解决纹理清晰度较高时难以利用彩色纹理检测的问题。
发明内容
为了克服纹理清晰度较高的虚假人脸入侵难以检测的问题,本发明提出了基于面部潜在血管分布的虚假人脸入侵检测方法。该方法计算简单,在受到纹理清晰度较高的虚假人脸入侵攻击时,该检测方法可有效对真脸与虚假人脸进行区分,检测误差更低。
本发明解决其技术问题所采用的技术方案是:提出了一种基于面部潜在血管分布的虚假人脸入侵检测方法,该方法根据真脸与虚假人脸在可见光吸收变化存在的差异性,对纹理清晰度较高的虚假人脸入侵进行检测。其特点包括以下几个步骤:
基于面部潜在血管分布的虚假人脸入侵检测方法,包括如下步骤:
步骤一:首先获取人脸识别系统采集的人脸图像,然后对人脸图像进行注意力机制处理,使得不同的人脸区域对检测结果具有不同的权重,给定采集得到的人脸图像I,并对人脸图像I进行注意力机制处理;
步骤二:将注意力人脸图像的每一列输入到由卷积层、激活函数连接而成1D CNN网络,用以提取注意力人脸图像每列像素值的特征,从而提取能有效描述可见光穿透皮肤后的吸收特征;
步骤三:利用GRU网络提取可见光吸收变化特征,提取每列输出特征之间的潜在联系,表征由血管分布引起的不同人脸区域间的可见光吸收变化;
步骤四:在GRU网络输出后,将循环网络的特征向量输入到Softmax分类器,根据分类器的输出结果对虚假人脸入侵进行检测。
具体的,所述步骤一中对人脸图像I进行注意力机制处理依照式1:
式中,I′为处理后的注意力人脸图像,Conv(·)为卷积核尺寸为3×3的卷积操作,Sigmoid(x)=1/1+e-x。
具体的,所述步骤二中提取能有效描述可见光穿透皮肤后的吸收特征方式为:对于注意力人脸图像I′的第i列I′i,将其输入到卷积核为3×1的卷积层进行卷积计算,结果记为然后利用ReLU函数进行激活,激活结果记为依次重复五次卷积、ReLU的计算,得到第五次的ReLU结果并输入到维度为1024的全连接层,作为可见光吸收特性在第i列的特征描述,记为最后,注意力人脸图像I′经过1D CNN网络后的输出记为式2;
式中,F(·)表示1D CNN网络的映射函数,n为人脸图像的列数。
具体的,所述步骤三中利用GRU网络提取可见光吸收变化特征方式为:将注意力人脸图像每列的可见光吸收特征描述CI输入到GRU网络,用来提取每列特征之间的动态变化,即将CI的列作为一个时序信号输入到GRU网络的映射结果记为式3;
具体的,所述步骤四中利用Softmax代价函数判断输入的人脸推向是是真脸还是虚假人脸的方式为:在GRU网络输出后,将连接到具有两个结点的全连接层,记为L,进一步的利用Softmax代价函数度量训练过程中产生的分类误差,如式4所示;
式中,T表示分类类别数,此处T=2,yj为one-hot标签的第j个值,αj为最后全连接层L的第j个结点的值,在测试过程中,根据最后全连接层L的结点值判断输入人脸图像的类别属性。
本发明的有益效果是:本方法计算简单,易于实现,只需要将人脸图像输入到端对端的1DCNN、GRU网络、Softmax函数即可。根据提出的潜在血管分布造成的可见光吸收差异可以看出,该方法具有很高的算法的鲁棒性。在公开的3DMAD、MSU与Replay-Attack数据库对发明的检测方法的有效性进行测试,相对于文献中的彩色纹理方法,本发明提出的基于面部潜在血管分布的虚假人脸入侵检测方法得到的等错误率(Equal Error Rate,EER)有了极大地降低,其中在3DMAD数据库上降低了74%、在MSU数据库上的打印照片攻击降低了90%、在Replay-Attack数据库的打印照片攻击降低了76%。
下面结合附图对本发明作详细说明。
附图说明
图1是本发明基于面部潜在血管分布的虚假人脸入侵检测方法的流程图。
图2为GRU网络特征提取的示意图。
具体实施方式
本发明首先将人脸识别系统采集到的单帧人脸图像进行注意力机制处理,使得不同的人脸区域具有不同的权重;然后,分别提取注意力人脸图像每列像素值的特征,用来描述可见光穿透人脸皮肤后的吸收特性;进一步的,利用循环网络提取每列输出特征之间的潜在联系,表征有血管分布引起的不同人脸区域间的可见光吸收变化;最后,将循环网络的特征向量输入到Softmax分类器,根据分类器的输出结果对虚假人脸入侵进行检测。本发明计算简单,在受到纹理清晰度较高的虚假人脸入侵攻击时,该检测方法可有效对真脸与虚假人脸进行区分,检测误差更低。
参照图1,本发明提出的基于面部潜在血管分布的虚假人脸入侵检测方法的具体步骤如下:(1)人脸图像
首先获取人脸识别系统采集的人脸图像,然后对人脸图像进行注意力机制处理,使得不同的人脸区域对检测结果具有不同的权重。给定采集得到的人脸图像I,按照式1对其进行注意力机制处理:
式中,I′为处理后的注意力人脸图像,Conv(·)为卷积核尺寸为3×3的卷积操作,Sigmoid(x)=1/1+e-x。
(2)1D CNN网络
为了提取能有效描述可见光穿透皮肤后的吸收特征,将注意力人脸图像的每一列输入到由卷积层、激活函数连接而成1D CNN网络。对于注意力人脸图像I′的第i列I′i,将其输入到卷积核为3×1的卷积层进行卷积计算,结果记为然后利用ReLU(LeakyRectified Linear Unit)函数进行激活,激活结果记为依次重复五次卷积、ReLU的计算,得到第五次的ReLU结果并输入到维度为1024的全连接层,作为可见光吸收特性在第i列的特征描述,记为最后,注意力人脸图像I′经过1D CNN网络后的输出记为式2:
式中,F(·)表示1D CNN网络的映射函数,n为人脸图像的列数(此处n=192)。
(3)GRU网络
GRU(Gated Recurrent Unit)网络提取可见光吸收变化特征。面部血管分布引起面部血流量在不同区域分布是不一样的,在可见光穿过真皮层时,会由于血液的存在使得可见光被吸收;而不同区域的血流量分布使得可见光在不同区域的吸收存在变化。基于此,将注意力人脸图像每列的可见光吸收特征描述CI输入到GRU网络,用来提取每列特征之间的动态变化。其中,GRU网络作为传统循环网络的变种,具有较少的网络参数,一定程度上可避免训练过程中的过拟合问题。将CI的列作为一个时序信号输入到GRU网络的映射结果记为式3:
(4)Softmax函数
对于虚假人脸入侵检测,其本质是判断输入的人脸推向是否是真脸或者虚假人脸,属于二分类问题。因此在GRU网络输出后,将连接到具有两个结点的全连接层(记为L),进一步的利用Softmax代价函数度量训练过程中产生的分类误差,如式4所示。
式中,T表示分类类别数(此处T=2),yj为one-hot标签的第j个值,αj为最后全连接层L的第j个结点的值。在测试过程中,根据最后全连接层L的结点值判断输入人脸图像的类别属性。
Claims (5)
1.基于面部潜在血管分布的虚假人脸入侵检测方法,其特征在于,包括如下步骤:
步骤一:首先获取人脸识别系统采集的人脸图像,然后对人脸图像进行注意力机制处理,使得不同的人脸区域对检测结果具有不同的权重,给定采集得到的人脸图像I,并对人脸图像I进行注意力机制处理;
步骤二:将注意力人脸图像的每一列输入到由卷积层、激活函数连接而成1D CNN网络,用以提取注意力人脸图像每列像素值的特征,从而提取能有效描述可见光穿透皮肤后的吸收特征;
步骤三:利用GRU网络提取可见光吸收变化特征,提取每列输出特征之间的潜在联系,表征由血管分布引起的不同人脸区域间的可见光吸收变化;
步骤四:在GRU网络输出后,将循环网络的特征向量输入到Softmax分类器,根据分类器的输出结果对虚假人脸入侵进行检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010392304.2A CN111767784B (zh) | 2020-05-11 | 2020-05-11 | 一种基于面部潜在血管分布的虚假人脸入侵检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010392304.2A CN111767784B (zh) | 2020-05-11 | 2020-05-11 | 一种基于面部潜在血管分布的虚假人脸入侵检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111767784A true CN111767784A (zh) | 2020-10-13 |
CN111767784B CN111767784B (zh) | 2022-08-12 |
Family
ID=72719277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010392304.2A Active CN111767784B (zh) | 2020-05-11 | 2020-05-11 | 一种基于面部潜在血管分布的虚假人脸入侵检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111767784B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112749686A (zh) * | 2021-01-29 | 2021-05-04 | 腾讯科技(深圳)有限公司 | 图像检测方法、装置、计算机设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951867A (zh) * | 2017-03-22 | 2017-07-14 | 成都擎天树科技有限公司 | 基于卷积神经网络的人脸识别方法、装置、系统及设备 |
CN108052814A (zh) * | 2017-12-07 | 2018-05-18 | 四川大学 | 一种3d身份验证系统 |
CN108510573A (zh) * | 2018-04-03 | 2018-09-07 | 南京大学 | 一种基于深度学习的多视点人脸三维模型重建的方法 |
CN108921018A (zh) * | 2018-05-25 | 2018-11-30 | 西北工业大学 | 一种基于运动模糊分析的虚假人脸入侵检测方法 |
CN109948699A (zh) * | 2019-03-19 | 2019-06-28 | 北京字节跳动网络技术有限公司 | 用于生成特征图的方法和装置 |
-
2020
- 2020-05-11 CN CN202010392304.2A patent/CN111767784B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951867A (zh) * | 2017-03-22 | 2017-07-14 | 成都擎天树科技有限公司 | 基于卷积神经网络的人脸识别方法、装置、系统及设备 |
CN108052814A (zh) * | 2017-12-07 | 2018-05-18 | 四川大学 | 一种3d身份验证系统 |
CN108510573A (zh) * | 2018-04-03 | 2018-09-07 | 南京大学 | 一种基于深度学习的多视点人脸三维模型重建的方法 |
CN108921018A (zh) * | 2018-05-25 | 2018-11-30 | 西北工业大学 | 一种基于运动模糊分析的虚假人脸入侵检测方法 |
CN109948699A (zh) * | 2019-03-19 | 2019-06-28 | 北京字节跳动网络技术有限公司 | 用于生成特征图的方法和装置 |
Non-Patent Citations (5)
Title |
---|
HAONAN CHEN,等: ""A Cascade Face Spoofing Detector Based on Face Anti-Spoofing R-CNN and Improved Retinex LBP"", 《IEEE ACCESS》 * |
LI LEI,等: ""Replayed Video Attack Detection Based on Motion Blur Analysis"", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》 * |
ZHONGLIN SUN,等: ""Investigation in Spatial-Temporal Domain for Face Spoof Detection"", 《 2018 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 * |
严经纬: ""基于深度学习的自然场景表情识别研究"", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
王悦扬: ""基于多光谱成像的人脸活体检测"", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112749686A (zh) * | 2021-01-29 | 2021-05-04 | 腾讯科技(深圳)有限公司 | 图像检测方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111767784B (zh) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cui et al. | Identifying materials of photographic images and photorealistic computer generated graphics based on deep CNNs. | |
Wang et al. | MESNet: A convolutional neural network for spotting multi-scale micro-expression intervals in long videos | |
Yuan et al. | Deep residual network with adaptive learning framework for fingerprint liveness detection | |
CN113496217B (zh) | 视频图像序列中人脸微表情识别方法 | |
Yuan | Video-based smoke detection with histogram sequence of LBP and LBPV pyramids | |
CN111046964B (zh) | 一种基于卷积神经网络的人和车辆红外热图像识别方法 | |
CN111931758B (zh) | 一种结合面部静脉的人脸识别方法及装置 | |
CN112560810B (zh) | 基于多尺度时空特征神经网络的微表情识别方法 | |
CN113139489B (zh) | 基于背景提取和多尺度融合网络的人群计数方法及系统 | |
CN113221655B (zh) | 基于特征空间约束的人脸欺骗检测方法 | |
CN108416780A (zh) | 一种基于孪生-感兴趣区域池化模型的物体检测与匹配方法 | |
CN112801037A (zh) | 一种基于连续帧间差异的人脸篡改检测方法 | |
Chin et al. | Dorsal hand vein authentication system using artificial neural network | |
Aria et al. | QDL-CMFD: A Quality-independent and deep Learning-based Copy-Move image forgery detection method | |
Sun et al. | Research on face recognition algorithm based on image processing | |
CN112288778A (zh) | 一种基于多帧回归深度网络的红外小目标检测方法 | |
CN111767784B (zh) | 一种基于面部潜在血管分布的虚假人脸入侵检测方法 | |
CN114937298A (zh) | 一种基于特征解耦的微表情识别方法 | |
Saealal et al. | Three-Dimensional Convolutional Approaches for the Verification of Deepfake Videos: The Effect of Image Depth Size on Authentication Performance | |
Wang et al. | Single trunk multi-scale network for micro-expression recognition | |
CN111325162A (zh) | 基于虚拟样本和残差融合的权重稀疏表示的人脸识别方法 | |
CN113963421B (zh) | 基于混合特征增强网络的动态序列非约束表情识别方法 | |
a Taha et al. | Face spoofing detection using deep CNN | |
CN115331289A (zh) | 基于视频运动放大和光流特征的微表情识别方法 | |
Sun et al. | A person re-identification network based upon channel attention and self-attention |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |