CN115100704A - 结合热红外与可见光抵御欺骗攻击的人脸识别装置及方法 - Google Patents

结合热红外与可见光抵御欺骗攻击的人脸识别装置及方法 Download PDF

Info

Publication number
CN115100704A
CN115100704A CN202210554165.8A CN202210554165A CN115100704A CN 115100704 A CN115100704 A CN 115100704A CN 202210554165 A CN202210554165 A CN 202210554165A CN 115100704 A CN115100704 A CN 115100704A
Authority
CN
China
Prior art keywords
face
image
thermal infrared
visible light
attack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210554165.8A
Other languages
English (en)
Inventor
王洪达
王震洲
王嘉煜
胡晓语
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Science and Technology
Original Assignee
Hebei University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Science and Technology filed Critical Hebei University of Science and Technology
Priority to CN202210554165.8A priority Critical patent/CN115100704A/zh
Publication of CN115100704A publication Critical patent/CN115100704A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Cardiology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了结合热红外与可见光抵御欺骗攻击的人脸识别装置及方法，涉及人脸识别技术领域；方法包括获得人脸的热红外图像和可见光图像，图像预处理，对图像预处理后的热红外图像进行心率检测获得标准差，当标准差不大于阈值时，获知为欺骗攻击；装置包括抵御欺骗攻击模块，用于控制器获得人脸的热红外图像和可见光图像，图像预处理，对图像预处理后的热红外图像进行心率检测获得标准差，当标准差不大于阈值时，获知为欺骗攻击；其通过抵御欺骗攻击模块等，实现抵御欺骗攻击效果较好。

Description

结合热红外与可见光抵御欺骗攻击的人脸识别装置及方法
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种结合热红外与可见光抵御欺骗攻击的人脸识别装置及方法。
背景技术
人脸防欺骗检测系统主要分为三类：基于人机交互的方式、依靠纯算法的方式与基于特定设备的方式。
基于人机交互的方式：
基于人机交互的方式来防止欺骗攻击的方法实际应用中相对较多，如下：
文章N.ALSUFYANI,A.ALI,S.HOQUE,et al.Biometrie Presentation AttackDetection Using Gaze Alignment.IEEE International Conference on IdentityIEEE, 2018:1-8，Alsufyani等人提出了通过红外光追踪人眼的移动轨迹。
文章陆洋.人脸遮挡和活性检测若干关键技术研究[浙江工业大学硕士论文].杭州:浙江工业大学,2017，陆洋提出利用深度学习技术实现人脸检测算法，再根据用户是否完成转头、眨眼及张嘴等相应指令动作来实现活体检测。
文章A.K.SINGH,P.JOSHI,G.C.NANDI.Face Recognition with LivenessDetection Using Eye and Mouth Movement.International Conference on SignalPropagation and Computer Technology,2014，Singh利用检测用户是否完成眨眼动作、嘴唇运动来抵御人脸欺骗攻击。
这类需要用户配合的方法有利有弊，虽检测准确率较高，但是用户完成规定动作需要时间，导致检测时间较长，且要求用户高度配合，影响用户体验。
1.2.2依靠纯算法的方式
依靠纯算法一般是在用户图像或视频的基础上进行快速检测或分辨检测，此方式也是一大研究热点。
文章D.WEN,H.HAN,A.K.JAIN.Face Spoof Detection With Image DistortionAnalysis.IEEE Transactions on Information Forensics&Security,2015,10(4):746-761， Wen等人提出了一种基于图像形变分析特征的算法。
文章S.UNNIKRISHNAN,A.ESHACK.Face Spoof Detection Using ImageDistortion Analysis and Image Quality Assessment.International Conference onEmerging Technological Trends,2016:1-5，Tang等人提出了基于亮度反射特征的算法。
文章A.Pinto,H.PEDRINI,W.R.SCHWARTZ,et al.Face Spoofing DetectionThrough Visual Codebooks of Spectral Temporal Cubes.IEEE Transactions onImage Processing,2015,24(12):4726-40，Pinto等人提出利用视觉频率分析的算法进行人脸反欺骗检测。
文章Z.BOULKENAFET,J.KOMULAINEN,A.HADID.Face Spoofing Detection UsingColour Texture Analysis.IEEE Transactions on Information Forensics andSecurity, 2016,11(8):1818-1830，Boulkenafet等人则提出基于颜色纹理分析的算法来抵御人脸攻击。
LBP特征被提出后，在人脸识别领域得到广泛应用，众多学者以LBP为基础提出了多种人脸防欺骗攻击算法。
Maatta等人使用LBP特征完成了欺骗攻击检测，Schwartz等人通过提取结合时间和空间信息的LBP-TOP特征来判别真实人脸和欺骗图像或视频，Tirunagari等人提出一种DMD算法，利用动态模型提取视频纹理特征，再结合LBP和SVM完成活体检测，Pereira等人分析LBP特征在三个维度的空间与时间纹理特征来完成人脸欺骗检测，后又通过将LBP特征与人脸运动的不一致特征进行融合，成功抵御图像及视频的欺骗攻击。此类基于纹理特征的检测算法一般是基于灰度图像来提取的，提取的特征不够全面，会影响最终的检测结果，精度有限。
Peter提出了一个基于bagging策略的检测算法，Pinto等人提出一种基于visualrhythm analysis算法，通过分析全局信息，提取视频的相关噪声信息来区分真假人脸。Xia提出了基于多任务学习的卷积神经网络模型的人脸遮挡检测，利用训练遮挡样本得到网络模型，检测双眼、鼻子或嘴巴是否被遮挡。Xu等人提出将LSTM单元引入到CNN网络，并提取时序特征及空间特征来实现人脸的反欺诈。FeatherNets为轻量化神经网络的提出了解决方案，可实现人脸的反欺诈技术，但要求大量的多态数据集，且实时检测计算量较大。陈提出了一种实现活体检测与人脸验证的算法，只需一个单目摄像头，并且不需要用户配合，具有简单高效、识别率高、计算量低等特点，尤其是可以嵌入到门禁安防系统中。Kim等人针对手机等移动设备的人脸欺骗攻击，提出一种通过计算图像反射光扩散速度来抵御照片欺骗攻击的方法，利用反射光扩散速度在真实活体图像与伪造照片上差异较大的特点，进行分析研究，采用全变差流计算扩散速度，通过活体皮肤和伪造人脸的反射光扩散速度不同，来判断是否为活体，同时利用LSP编码，在反射光扩散速度分布图上提取速度特征向量，利用SVM分类器实现最终判别。包等人通过研究色彩特征和细节纹理特征在活体人脸与伪造人脸图像之间的差异，提出融合色彩纹理特征来抵御人脸欺骗攻击，但是夜间主要运用红外光谱采集，缺少色彩信息。李等人提出基于P-CNN和ELM人脸防欺骗方法可对2D欺骗攻击进行检测；张结合传统的数字图像，提出基于彩色纹理马尔科夫特征和支持向量机特征递归消除的照片攻击、视频攻击取证算法，但无法检测到人脸是否使用硅胶面具等3D手段。
还有人利用三维重建来实现人脸防欺诈技术，Choudhry T等人在头部运动中依据被跟踪估计的特征点来计算3维深度坐标值，Wang等人通过单个相机拍摄人脸的2 维照片，再从中得出人脸的稀疏3维模型，AndreaLagorio等人通过3维扫描仪重构出人脸3维结构，防欺骗性能较好，但是成本很高，泛化能力较差。依靠纯算法来抵御人脸欺骗攻击，算法复杂程度高，计算量大，对实时检测环境和成像的CMOS相机有一定的限制，所以导致了人脸识别过程整体的算法复杂度增加。
基于特定设备的方式：
寻求用户配合与依靠纯算法的检测方式都有利有弊，随着红外摄像头、深度相机等设备的普及以及成本的降低，基于特定设备的人脸防欺骗算法成为主流。Atoum等人首次使用人脸的深度图来判别是否为活体，但深度图像的获取所需的设备较为昂贵复杂。Kim等人在不同的光照条件下计算真假人脸的反射率，并利用Fisher线性判别法进行分析判断。Zhang等人利用真实皮肤与伪造皮肤的反射曲线的区别来判断真假人脸。孙将彩色和红外人眼特征进行融合，来检测驾驶员是否疲劳；黄选用940nm 窄带红外线摄像头，在光流法的基础上进行了改进，检测真假人脸的准确率提高，张提出了人脸径向曲线弹性匹配的三维人脸识别方法，但是用户体验上有所欠缺。随着红外摄像头成本的降低，在生活中越来越常见，且热红外可较高效率的判别活体，因此本申请在热红外图像的基础上展开研究。
结合上述现有的技术方案，发明人分析发现在现有技术方案中存在抵御欺骗攻击效果较差的技术问题。
现有技术问题及思考：
如何解决抵御欺骗攻击效果较差的技术问题。
发明内容
本发明所要解决的技术问题是提供一种结合热红外与可见光抵御欺骗攻击的人脸识别装置及方法，解决抵御欺骗攻击效果较差的技术问题。
为解决上述技术问题，本发明所采取的技术方案是：一种结合热红外与可见光抵御欺骗攻击的人脸识别方法，包括如下步骤，获得人脸的热红外图像和可见光图像，图像预处理，对图像预处理后的热红外图像进行心率检测获得标准差，当标准差不大于阈值时，获知为欺骗攻击。
进一步的技术方案在于：当标准差大于阈值时，使用LBP算子提取获得人脸热度场分布，CBAM-Res神经网络分类，获得人脸。
进一步的技术方案在于：当人脸不是真实人脸时，获知为欺骗攻击。
进一步的技术方案在于：当人脸为真实人脸时，将人脸图像融合，识别获得身份。
一种结合热红外与可见光抵御欺骗攻击的人脸识别装置包括抵御欺骗攻击模块，抵御欺骗攻击模块为程序模块，用于控制器获得人脸的热红外图像和可见光图像，图像预处理，对图像预处理后的热红外图像进行心率检测获得标准差，当标准差不大于阈值时，获知为欺骗攻击。
进一步的技术方案在于：抵御欺骗攻击模块，还用于当标准差大于阈值时，控制器使用LBP算子提取获得人脸热度场分布，CBAM-Res神经网络分类，获得人脸。
进一步的技术方案在于：抵御欺骗攻击模块，还用于当人脸不是真实人脸时，控制器获知为欺骗攻击。
进一步的技术方案在于：抵御欺骗攻击模块，还用于当人脸为真实人脸时，控制器将人脸图像融合，识别获得身份。
一种结合热红外与可见光抵御欺骗攻击的人脸识别装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现上述方法中相应的步骤。
一种结合热红外与可见光抵御欺骗攻击的人脸识别装置，包括计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法中相应的步骤。
采用上述技术方案所产生的有益效果在于：
一种结合热红外与可见光抵御欺骗攻击的人脸识别方法，包括如下步骤，获得人脸的热红外图像和可见光图像，图像预处理，对图像预处理后的热红外图像进行心率检测获得标准差，当标准差不大于阈值时，获知为欺骗攻击。该技术方案，其通过上述步骤等，实现抵御欺骗攻击效果较好。
一种结合热红外与可见光抵御欺骗攻击的人脸识别装置包括抵御欺骗攻击模块，抵御欺骗攻击模块为程序模块，用于控制器获得人脸的热红外图像和可见光图像，图像预处理，对图像预处理后的热红外图像进行心率检测获得标准差，当标准差不大于阈值时，获知为欺骗攻击。该技术方案，其通过抵御欺骗攻击模块等，实现抵御欺骗攻击效果较好。
详见具体实施方式部分描述。
附图说明
图1是本发明实施例1的流程图；
图2是本发明实施例2的原理框图；
图3是本发明实施例3的原理框图；
图4是本发明中的损失值变化曲线。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。
实施例1：
如图1所示，本发明公开了一种结合热红外与可见光抵御欺骗攻击的人脸识别方法包括如下步骤：获得人脸的热红外图像和可见光图像，图像预处理，对图像预处理后的热红外图像进行心率检测获得标准差，当标准差大于阈值时，使用LBP算子提取获得人脸热度场分布，CBAM-Res神经网络分类，获得人脸，当人脸为真实人脸时，图像融合，识别获得身份；当标准差不大于阈值或者人脸不是真实人脸，获知为欺骗攻击。
实施例2：
如图2所示，本发明公开了一种结合热红外与可见光抵御欺骗攻击的人脸识别装置包括抵御欺骗攻击模块，抵御欺骗攻击模块为程序模块，用于控制器获得人脸的热红外图像和可见光图像，图像预处理，对图像预处理后的热红外图像进行心率检测获得标准差，当标准差大于阈值时，使用LBP算子提取获得人脸热度场分布，CBAM-Res 神经网络分类，获得人脸，当人脸为真实人脸时，图像融合，识别获得身份；当标准差不大于阈值或者人脸不是真实人脸，获知为欺骗攻击。
实施例3：
如图3所示，本发明公开了一种结合热红外与可见光抵御欺骗攻击的人脸识别装置包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现实施例1的步骤。
实施例4：
本发明公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现实施例1中的步骤。
技术方说明：
如图1所示，本申请提出的一种基于热红外图像与可见光图像融合的人脸防欺诈算法的整体流程图，通过对红外热像图中的脉搏敏感区域进行检测，统计分析图像的灰度值信号，计算心率波形初步判别真假人脸，再利用改进的LBP特征提取人脸的热场分布进一步做活体检测，在判断为真实人脸的基础上，利用基于双树复小波变换与改进的Roberts算子的方法融合图像，最后使用多方向Gabor算法识别出身份。
5.1基于脉搏敏感区域的心率检测
人体表面能够辐射红外热能，能量主要为波长9.312～9.464μm的红外波段。人脸的正常温度分布具有特征性与稳定性，利用红外热像图可观测出人体的重要生理信息。由于人脸中存在大量的毛细血管，血管中的血液随着心脏的跳动而发生变化，当心脏收缩时，血液增多，热辐射能量增加，当心脏舒张时，血液减少，热辐射能量减小。于是反映到红外热像仪上的红外热像图的像素值就会随着心脏的跳动而呈现波动性变化，由此计算出心率。
5.1.1心率信号检测
对测试视频进行人脸区域检测，为降低其他因素产生光线变化所造成的干扰，选取感兴趣区域(ROI)进行处理。研究人脸面部灰度热像图可发现，额头区域对脉搏跳动最敏感，因此本申请针对灰度热像图的额头区域选取ROI做心率检测。主要分为两步来实现：
(1)设定灰度热像图ROI模板在经灰度值处理后的图像序列中，选择一张相对清晰的图像，设两眼瞳孔中心点的距离为4d，在距离瞳孔直线上方d处选取一个3d×3d/2的矩形r1，使此矩形恰好位于额头的正中部分。
(2)得到ROI模板后，提取灰度图像序列各帧敏感区域由于存在个别帧的图像噪声干扰较大的情况，不能保证各帧图像的r1区域信息完整有效，因此每帧图像的敏感区域需要依据模板r1进行选取，于是在灰度图像序列的各帧找到包含ROI模板r1在正中位置的矩形区块Rn，使Rn大小为5d×3d，在Rn区域内利用归一化互相关函数考察各个3d×3d/2的候选区块rm与ROI模板r1的匹配情况，确定该帧的敏感区域，以此来保证各帧图像能选取到灰度值最准确的敏感区域，归一化互相关函数公式如式(5-1)所示：
Figure RE-GDA0003801429920000071
式中μ——灰度图像横坐标轴的相关间隔；
υ——灰度图像纵坐标轴上的相关间隔；
f(x,y)——候选区块rm的像素值；
t(x,y)——ROI模板r1的像素值；
Figure RE-GDA0003801429920000073
——候选区块rm像素值的均值；
Figure RE-GDA0003801429920000072
——ROI模板r1像素值的均值。
对于得到的各个候选区块rm的归一化互相关系数进行选取，每帧的敏感区域选择绝对值最大并超过指定门限值的rm区块。将灰度图像序列的各帧敏感区域的灰度值做平均得到gn，得到的这些平均值按照时间先后顺序排列，所得灰度值波形就是心率信号的反映。
在获得一组灰度值波形后，计算其平均值存入数组。随后计算出标准差与阈值进行比较，通过比较结果来初步判断给定的测试视频是否是欺骗攻击。
5.1.2活体检测实验
对实验者本人与三种情况的欺骗攻击按5.1.1小节中的算法进行灰度值波形采集。
真实人脸的灰度值在80到120之间，且上下波动范围较大，照片攻击与视频攻击的灰度值与真实人脸的灰度值相差较大，可明显区分；佩戴面具后所得到的灰度值与真实人脸的灰度值相差较小，难以直接区分，但是三种欺骗攻击的波形对比真实人脸的波形都相对稳定。于是，我们利用标准差进一步的计算波形的稳定性，对是否为面具攻击进行进一步的判定，标准差公式如式(5-2)所示：
Figure RE-GDA0003801429920000081
式中N——图像的帧数；
gi——各帧图像敏感区域的灰度值；
μ——N帧图像敏感区域的灰度值的平均值。
结果如表5-1所示，可得到真实人脸的标准差一般在6.5以上，照片、视频与佩戴面具人脸的标准差在3.5以下，由此可将区分真假人脸的阈值设置在4与6之间。
表5-1真实人脸与各种攻击的心率平均数与标准差
Figure RE-GDA0003801429920000082
对30个实验者进行实验数据采集，使用这30人的活体人脸、照片人脸、电子视频人脸和佩戴面具的实验数据展开验证，实验结果如表5-2所示，由此可知本申请提出的方法能够初步解决人脸活体检测问题。
表5-2欺骗攻击测试结果
Figure RE-GDA0003801429920000083
5.2基于人脸热度场分布的活体检测
由于测试时间限制及周围环境温度的影响，使用上述5.1节中的方法有一定的局限性，对上述方法判别为真实人脸的图像需要做进一步处理，以此提高整体算法的鲁棒性。观察多幅热红外图像，可以发现真实人脸的眼睛、鼻子和嘴巴部分的温度较低，颜色区分明显，而面具无法精准的控制眼睛、鼻子和嘴巴区域的温度，导致整个热度场的分布较为均匀，因此我们利用改进的LBP特征提取人脸的热场分布。
5.2.1局部二值模式
局部二值模式(Local Binary Patterns，LBP)是常用的描述局部特征的算子，以其光照不变性、旋转不变性及灰度值固定等优秀特性，在表情识别、人脸识别等众多图像处理领域有着广泛应用。LBP算法的基本原理是在图像的灰度图上选取任意一点像素值，及它周围局部区域的其他像素值作响应，以这个像素点作为基准中心计算出其他对应相邻位置的特征灰度值，从而得到整幅图像的特征信息。对测试图像做局部二值模式处理，可以增强温度特征，使轮廓及边缘特性更明显。
(1)经典LBP算子经典的LBP算子就是用一个3×3大小的领域窗口标记图像，中心点像素值作为阈值，对其他8个像素点做二值化处理，低于中心阈值的点标为0，高于中心阈值的则为1。这样可以将此3×3领域窗口中的8个点组合成为一个二进制数，将其右上角像素点作为起始点，顺时针方向读取其他位置点数值，得到一个八位二进制数的结果，以此将像素的灰度值转化为了一个八位二进制序列。此LBP 特征用公式表示如式(5-3)和(5-4)所示：
Figure RE-GDA0003801429920000091
Figure RE-GDA0003801429920000092
式中(xc,yc)——所取邻域窗口的中心像素；
gp——领域像素点灰度值；
gc——中心像素点灰度值。
(2)圆形LBP算子经典的LBP算子在提取特征时窗口覆盖范围有限，区域不可调节，不能适应尺寸的变化，如果图像进行旋转，LBP值也会随之改变，不能满足人脸特征提取时的需求。因此，Ojala等人对经典LBP算子做出了改良，用圆形领域窗口代替3×3正方形领域窗口，此圆形领域窗口半径R可任意变换大小，其窗口采样像素点P也随之改变，并结合双线性差值算法计算除中心像素点外的其他邻域像素点的值。圆形LBP算法比经典LBP算法描述人脸特征更准确，并可较好的屏蔽光照影响。圆形LBP算子的数学表达式如式(5-5)所示：
Figure RE-GDA0003801429920000101
式中(x,y)——除中心像素点以外的其他邻域像素点坐标。
相较于3×3窗口，圆形邻域窗口更容易调整，通过改变圆形半径R来控制邻域窗口的大小。半径变大时，采样点P增加，半径变小时，采样点P减少。如果出现周围某像素点偏离圆形领域中心像素点，可以通过插值法计算灰度值。
(3)改进LBP算子传统LBP算子可以理想地提取图像的特征信息，但是上述两种LBP算子只涉及邻域窗口内像素点的关系，导致在描述人脸局部特征时相对单一固定，容易丢失部分细节特征信息，从而影响人脸识别效果，混合多阈值LBP算子(Mul-threshold，MTLBP)可以很好的解决传统LBP算子描述特征时存在的局限性问题。
MTLBP在传统LBP算法的基础上增加了对比值M，将所有中心点像素与邻域像素差值的绝对值相加求均值得到M，以M为标准阈值，中心点像素标为M，再将其他邻域像素值与M作比较，比M大对应邻域位置标为1，否则标为0。只需将公式 (5-4)替换为公式(5-6)：
Figure RE-GDA0003801429920000102
5.2.2 PCA降维算法
为提高人脸识别的准确率，尽可能大程度的保留人脸细节特征，需要先对人脸图像进行分割成块，再分别对每一分块做LBP特征提取，将所有分块的LBP特征组合起来得到整个人脸特征。
当图像被分割成块的数量越多，越能更准确的描述图像中人脸的特征信息，但是同其特征向量维数也会越高，造成计算量增加，识别速度降低。而特征的信息维数多并不代表有效信息多，其中包含一部分冗余特征，因此需要对提取到的特征进行降维处理，本申请采取线性降维法PCA主成分分析法，通过对图像数据的主要特征信息做分析，将原始数据信息表示为低维度的一组线性关系，对高维数据信息进行筛选，其降维具体过程如下：
步骤1：求样本数据A的平均值x一，对样本数据进行中心化，其样本向量组成的矩阵如公式(5-7)所示：
A＝[μ1,μ2,...,μM] (5-7)
其中μi的计算公式如式(5-8)所示：
Figure RE-GDA0003801429920000111
步骤2：计算样本的协方差矩阵S，计算公式如式(5-9)所示：
Figure RE-GDA0003801429920000112
步骤3：计算协方差矩阵S特征值λi对应的特征向量vi，如公式(5-10)所示：
STvi＝λvi (5-10)
其中i＝1,2,…,h，h是S的特征值个数，则由公式(5-11)推导出S的特征矩阵：
Figure RE-GDA0003801429920000113
步骤4：计算特征值的累积贡献率和信息贡献率。λi为矩阵S对应的特征向量，将λi按特征值的大小进行排列，再计算前t个特征值的累计贡献度，计算公式如式 (5-12)所示：
Figure RE-GDA0003801429920000114
其中j＝1,2,…,t。
步骤5：通过投影矩阵求降维后的数据，设Z＝(η1,η2,…,ηt)是前t个特征值对应的特征向量，则特征矩阵在Z坐标的投影如公式(5-13)所示：
XL＝X*Z (5-13)
其中，XL表示降维后的特征矩阵。
5.2.3 CBAM-Res的神经网络模型
随着残差网络与注意力机制的出现，并在图像处理领域获得了瞩目的成绩，本申请以ResNet18为基础网络结构，在残差块中混入注意力机制，提升模型识别的准确率。
(1)ResNet18网络结构神经网络在图像识别的性能上绝大原因取决于网络的深度，加深网络的层数可以提取到更深层侧的特征信息，但是网络深度的加深会造成网络退化问题，残差网络由此被提出，将残差模块引入到神经网络中，可以有效地缓解网络模型训练中反向传播出现的梯度消失问题，从而解决深层网络训练难及性能下降的问题。
ResNet网络模型分为5种深度，可以适用不同场景，分别是ResNet18，ResNet34，ResNet50，ResNet101，ResNet150。本申请采取ResNet18网络提取人脸图像。ResNet18 网络结构如表5-3所示。
表5-3 ResNet网络的个卷积层参数
Figure RE-GDA0003801429920000121
ResNet18的18层代表的是带有权重的18层(只包括卷积层与全连接层)。第一部分Conv1层使用7*7大小的卷积核，进行批量归一化(Batch Normalization,BN)， ReLu和最大池化操作。
第二部分Conv2_x层使用3×3大小卷积核操作，其余层与Conv2_x层相似，只是通道数不同。
(2)混合注意力机制注意力机制可以理解为用“对焦”的方式来关注所需要研究的事物和对象。对焦的实现采用的是“掩码”的方式来完成。通过在原图片上覆盖一层新的经过权重标注后的图像，将图片中的特征强调地标出，通过神经网络的反复训练，加强了这部分权重特征，从而让计算机学到所有图片中需要重点关注的区域，来形成注意力。注意力机制的实质是在网络中的自主学习能力，在获取到一组权重系数后，以动态加权的方式来强调网络学习工程中所感兴趣的区域，并且抑制不相关区域的机制。本申请提出的基于人脸热度场分布的活体检测，主要研究的是眼睛、鼻子、嘴巴和眉毛的特征信息，恰好引入注意力机制可以重点关注这些特征区域。
混合注意力机制CBAM是结合空间(spatial)和通道(channel)的注意力机制，主要包含了空间注意力机制模块(Spatial Attention Module)与通道注意力机制模块(Channel Attention Module)，并在空间和通道的注意力模块上自主学习，能有效节约网络参数，减少训练所需的计算量。
(3)CBAM-Res网络模型本申请以ResNet18网络结构为基础，在注意力机制的残差单元中引入混合注意力机制CBAM，利用注意力机制的自主学习能力，让网络更关注我们需要的眼睛、鼻子、嘴巴和眉毛的关键位置特征，提升网络模型的性能。
此时的CBAM-Res卷积神经网络模型的结构如表5-4所示。
表5-4 CBAM-Res网络的个卷积层参数
Figure RE-GDA0003801429920000131
5.2.4神经网络训练
利用改进的LBP算子提取热红外图像中的温度特征，将本申请自建数据库中的真实人脸热红外图像作为正样本，面具欺骗攻击热红外图像作为负样本，分别输入 ResNet18网络中进行训练学习参数，训练出基于热场分布的活体检测模型。模型训练选择随机梯度下降优化器与交叉熵损失函数，其他训练网络参数如表5-5所示。
表5-5网络参数设置表
Figure RE-GDA0003801429920000132
交叉熵损失函数的公式如式(5-14)所示：
Figure RE-GDA0003801429920000133
式中m——输入的样本数；
n——要分类的类别数；
yij——真实标签；
pij——预测标签。
如图4所示，训练过程中的损失函数变化曲线，观察此曲线可发现损失值在训练集与验证集的走势上基本一致，由此可以得出本模型没有出现过拟合现象。
5.3基于融合图像的人脸识别
对成功通过活体检测并进行图像融合后的结果做人脸识别，进行最后的身份认证。本申请热红外图像与可见光图像融合算法可有效消除光照因素对人脸识别造成的影响，但表情及各种几何变换也会影响到识别效果，Gabor变换可以较好地提取人脸面部图像的局部纹理特征，是常用的静态图像的表征方法。因此，我们采用多尺度Gabor 算法对融合图像做人脸识别。
5.3.1多尺度Gabor分解
Gabor滤波器的本质是一个由二维高斯函数衍生出的复数域正弦曲线函数，等同于一组带通滤波器，它的方向、基频带宽和中心频率都可以调节，Gabor小波的核函数同哺乳动物大脑皮层简单细胞具有相似性，都为二维反射，不同参数的Gabor小波变换可以捕捉图像中相应空间位置、空间频率和方向选择性等局部的结构信息，它的变换系数可以描述人脸图像上给定位置附近区域的灰度特征，适用于人脸的局部特征描述，这些特点造成Gabor滤波器对于人脸姿态变化的不敏感。
设图像的像素坐标点为z＝(x,y)，二维Gabor的核函数定义如公式(5-15)至(5-18) 所示：
Figure RE-GDA0003801429920000141
Figure RE-GDA0003801429920000142
kv＝kmax/fv (5-17)
ψu＝u/8×π (5-18)
式中u——Gabor滤波器的方向；
v——Gabor滤波器的尺度；
σ——滤波器带宽；
kmax——最大采样频率；
f——频域和函数中的空间因子。
Gabor核函数的实部滤波可以平滑图像，虚部滤波描述图像边缘，并因其方向、尺度选择的特点，可提取人脸图像在不同方向、不同位置和不同频率的局部特征，增强图像的边缘信息，鲁棒性较好。
本申请取σ＝2π，kmax＝π/2，
Figure RE-GDA0003801429920000151
Gabor滤波器组为8个方向(u＝0,1,…,7)， 5个尺度(v＝0,1,…,4)，对人脸灰度图像做卷积运算。则对给定点z＝(x,y)，灰度图像I(z)的Gabor特征图M(u,v)(z)是图像I(z)与Gabor滤波g(u,v)(z)的卷积，其计算公式如式 (5-19)所示：
Mu,v(z)＝I(z)*gu,v(z) (5-19)
式中*——卷积操作符。
5.3.2 Gabor特征融合
Gabor变换能够有效地分析图像中各方向、尺度上的灰度变化，但使用Gabor变换后，每张人脸图像会转化成多个不同方向和尺度的图像，特征维数加倍增长，造成特征信息冗余，若使用全部特征图像进行计算，会大大增加计算时间，降低人脸识别效率；其次，在相同方向的特征图组中，尺度越大，Gabor特征图里的局部信息会越少。因此，为了尽可能多的保留局部纹理信息，降低算法的计算量，提高人脸识别效率，本申请采用以下融合算法对Gabor特征进行融合。
步骤1：对Gabor的实部特征Re(Mu,v(z))与虚部特征Im(Mu,v(z))进行二进制编码，计算公式如式(5-20)和(5-21)所示：
Figure RE-GDA0003801429920000152
Figure RE-GDA0003801429920000153
式中
Figure RE-GDA0003801429920000154
——不同方向编码后的二值特征图；
Figure RE-GDA0003801429920000155
——不同尺度编码后的二值特征图。
步骤2：对同一方向上不同尺度的二值特征图做加权融合，同时形成十进制编码，计算公式如式(5-22)和(5-23)所示：
Figure RE-GDA0003801429920000161
Figure RE-GDA0003801429920000162
式中
Figure RE-GDA0003801429920000163
——实部特征融合结果；
Figure RE-GDA0003801429920000164
——虚部特征融合结果。
步骤3：融合后的幅值特征图计算公式如式(5-24)所示：
Figure RE-GDA0003801429920000166
对融合后的Gabor特征采用最近邻分类器进行分类，完成人脸识别功能。
5.4实验结果与分析
为验证本申请算法的可行性与有效性，从活体检测识别率、融合前后识别率及不同识别算法识别率进行比较分析。
5.4.1活体检测结果
本申请选用TensorFlow深度学习框架和Python语言，同时采用5.1和5.2节中两种方法，在3.2节中所述的自建数据库上得出训练结果如表5-6所示。
表5-6神经网络训练结果
Figure RE-GDA0003801429920000165
由表5-6可知，增加样本数量可提高活体检测的识别率，采用本申请基于热红外图像的活体检测方法可有效抵御照片、电子照片、视频及佩戴面具的欺骗攻击手段。
5.4.2不同识别算法融合前后识别率比较
将自建数据库中的人脸图像分为正常环境下的人脸图像与光照变化较大的人脸图像，使用第4章提出的基于DTCWT和改进的Roberts算法分别对两组图像进行融合，同时将融合图像与可见光图像采用5.3中所述的人脸识别方法进行识别，最后与几种常见的人脸识别算法进行对比，得到的识别结果如表5-7所示。
表5-7不同算法融合前后识别结果
Figure RE-GDA0003801429920000171
从结果可以看出无论是正常环境下还是光照变化较大情况下，多尺度Gabor算法的识别率都高于几种传统的人脸识别算法，整体识别效果更好。且在正常光照情况下，使用相同的人脸识别算法，可见光图像和融合图像的识别率相差不大；在有光照变化的情况下，使用相同的人脸识别算法，采用融合图像的人脸识别率明显高于采用可见光图像的人脸识别率，说明融合图像提高了人脸图像质量，采用融合图像进行人脸识别具有更强的鲁棒性。
5.5小结
以常见的照片、电子视频与佩戴面具等欺骗攻击为出发点，提出了一种抵御欺骗攻击的人脸识别算法。在分析了人脸热红外图像的基础上，提出一种基于脉搏敏感区域的心率检测方法，可有效区分出照片及电子视频的攻击性人脸与真实人脸，初步完成活体检测；为提高活体检测的成功率，使用改进的LBP算子提取人脸热度场分布，以ResNet18网络模型为基础，加入注意力机制，训练CBAM-Res神经网络模型，完成抵御常见欺骗攻击的活体检测工作。随后使用多尺度Gabor算法对融合结果进行人脸识别。最后给出对活体检测结果，并对图像融合前后的识别率进行分析比较，对不同识别算法的识别率进行分析比较。
本申请保密运行一段时间后，现场技术人员反馈的有益之处在于：
人脸识别技术以其快速、高效、体验极佳等优势被广泛应用，与此同时其安全性问题也愈发严重，如何抵御人脸欺骗攻击成为了必要的研究话题，为此确定了本申请的研究内容。本申请对人脸识别进行研究，结合热红外与可见光来抵御人脸欺骗攻击，主要研究工作如下：
1)提出了基于DTCWT与改进的Roberts算子的图像融合算法。对经过预处理后的热红外人脸图像和可见光人脸图像分别进行双树复小波变换分解，得到高低频子带，低频子带采用基于区域能量的加权法进行融合，高频子带采用基于改进的Roberts算子进行融合，最后使用双树复小波逆变换得到融合图像。实验结果表明，本申请算法相较于其他传统的融合算法，可以得到质量更高的人脸图像，为后续的人脸识别奠定基础。
2)研究人脸的热红外图像，提出了基于脉搏敏感区域的心率检测方法与基于人脸热度场分布的活体检测算法。通过检测人脸热红外图像中的脉搏敏感区域，对灰度值信号进行分析统计，计算得到心率波形初步判别真假人脸；再利用改进的LBP 算子提取出人脸的热场分布，在ResNet18的基础上引入注意力机制，训练CBAM-Res 神经网络模型，进一步完成活体检测。实验结果表明，本申请算法得到了良好的识别率，可以有效抵御照片、电子视频和佩戴面具的人脸欺骗攻击，具有较高的鲁棒性。
3)本申请提出了结合热红外和可见光来抵御欺骗攻击的人脸识别方法。采集人脸的热红外与可见光图像，进行人脸区域检测及预处理操作，使用基于脉搏敏感区域的心率检测，初步排除纸质照片、电子视频与部分佩戴面具的攻击手段，在使用基于人脸热度场分布的活体检测进一步判别真假人脸，使用基于DTCWT和改进的 Roberts算子对热红外人脸图像和可见光人脸图像进行融合，最后使用多尺度Gabor 算法对融合图像进行人脸识别。实验结果表明，本算法可以有效抵御人脸欺骗攻击，提高人脸识别率，具有较高的鲁棒性。
本申请针对热红外图像和可见光图像，对活体检测和人脸识别展开研究，提出的图像融合算法可有效提高人脸识别率，活体检测算法也可以有效抵御常见的欺骗攻击手段。但由于时间有限，本申请算法还存在一定的不足需要进一步研究：
1)由于热红外成像的原理所致，佩戴眼镜或口罩的人脸与普通人脸的热红外图像差距较大。而现实中受影响，人们往往佩戴口罩进行人脸识别，所以在实际应用中使用本申请算法有一定的局限性，后续需要对配戴眼镜和口罩时的活体检测与人脸识别算法做研究，使之有更强的普适性。
2)本申请自建的数据库中样本数量有限且环境单一，应在更多场景或外界环境下采集更多人的人脸图像，以此提高本申请算法的鲁棒性。
目前，本发明的技术方案已经进行了中试，即产品在大规模量产前的较小规模试验；中试完成后，在小范围内开展了用户使用调研，调研结果表明用户满意度较高；现在已开始着手准备产品正式投产进行产业化(包括知识产权风险预警调研)。

Claims (10)

1.一种结合热红外与可见光抵御欺骗攻击的人脸识别方法，其特征在于：包括如下步骤，获得人脸的热红外图像和可见光图像，图像预处理，对图像预处理后的热红外图像进行心率检测获得标准差，当标准差不大于阈值时，获知为欺骗攻击。
2.根据权利要求1所述的结合热红外与可见光抵御欺骗攻击的人脸识别方法，其特征在于：当标准差大于阈值时，使用LBP算子提取获得人脸热度场分布，CBAM-Res神经网络分类，获得人脸。
3.根据权利要求2所述的结合热红外与可见光抵御欺骗攻击的人脸识别方法，其特征在于：当人脸不是真实人脸时，获知为欺骗攻击。
4.根据权利要求2所述的结合热红外与可见光抵御欺骗攻击的人脸识别方法，其特征在于：当人脸为真实人脸时，将人脸图像融合，识别获得身份。
5.一种结合热红外与可见光抵御欺骗攻击的人脸识别装置，其特征在于：基于权利要求1的方法，包括抵御欺骗攻击模块，抵御欺骗攻击模块为程序模块，用于控制器获得人脸的热红外图像和可见光图像，图像预处理，对图像预处理后的热红外图像进行心率检测获得标准差，当标准差不大于阈值时，获知为欺骗攻击。
6.根据权利要求5所述的结合热红外与可见光抵御欺骗攻击的人脸识别装置，其特征在于：抵御欺骗攻击模块，还用于当标准差大于阈值时，控制器使用LBP算子提取获得人脸热度场分布，CBAM-Res神经网络分类，获得人脸。
7.根据权利要求6所述的结合热红外与可见光抵御欺骗攻击的人脸识别装置，其特征在于：抵御欺骗攻击模块，还用于当人脸不是真实人脸时，控制器获知为欺骗攻击。
8.根据权利要求6所述的结合热红外与可见光抵御欺骗攻击的人脸识别装置，其特征在于：抵御欺骗攻击模块，还用于当人脸为真实人脸时，控制器将人脸图像融合，识别获得身份。
9.一种结合热红外与可见光抵御欺骗攻击的人脸识别装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于：所述处理器执行计算机程序时实现权利要求1至4任意一项方法中相应的步骤。
10.一种结合热红外与可见光抵御欺骗攻击的人脸识别装置，包括计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至4任意一项方法中相应的步骤。
CN202210554165.8A 2022-05-20 2022-05-20 结合热红外与可见光抵御欺骗攻击的人脸识别装置及方法 Pending CN115100704A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210554165.8A CN115100704A (zh) 2022-05-20 2022-05-20 结合热红外与可见光抵御欺骗攻击的人脸识别装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210554165.8A CN115100704A (zh) 2022-05-20 2022-05-20 结合热红外与可见光抵御欺骗攻击的人脸识别装置及方法

Publications (1)

Publication Number Publication Date
CN115100704A true CN115100704A (zh) 2022-09-23

Family

ID=83289925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210554165.8A Pending CN115100704A (zh) 2022-05-20 2022-05-20 结合热红外与可见光抵御欺骗攻击的人脸识别装置及方法

Country Status (1)

Country Link
CN (1) CN115100704A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115770013A (zh) * 2022-11-30 2023-03-10 北京中科睿医信息科技有限公司 辅助弱势人群的眼动测试方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115770013A (zh) * 2022-11-30 2023-03-10 北京中科睿医信息科技有限公司 辅助弱势人群的眼动测试方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US5497430A (en) Method and apparatus for image recognition using invariant feature signals
CN103632132B (zh) 一种基于肤色分割和模板匹配的人脸检测与识别方法
US8472681B2 (en) Iris and ocular recognition system using trace transforms
CN102844766A (zh) 基于人眼图像的多特征融合身份识别方法
Uzair et al. Periocular region-based person identification in the visible, infrared and hyperspectral imagery
CN111582197A (zh) 一种基于近红外和3d摄像技术的活体以及人脸识别系统
CN109255319A (zh) 针对静态照片的人脸识别支付信息防伪方法
Zhang et al. A survey on face anti-spoofing algorithms
Ouarda et al. MLP Neural Network for face recognition based on Gabor Features and Dimensionality Reduction techniques
CN111523344A (zh) 人体活体检测系统及方法
CN107862298B (zh) 一种基于红外摄像装置下眨眼的活体检测方法
Soldera et al. Facial biometrics and applications
Rajevenceltha et al. A novel approach for drowsiness detection using local binary patterns and histogram of gradients
Lopar et al. An overview and evaluation of various face and eyes detection algorithms for driver fatigue monitoring systems
CN115100704A (zh) 结合热红外与可见光抵御欺骗攻击的人脸识别装置及方法
Proença Unconstrained iris recognition in visible wavelengths
Sarode et al. Review of iris recognition: an evolving biometrics identification technology
GB2471192A (en) Iris and Ocular Recognition using Trace Transforms
Lin et al. Thermal face recognition based on physiological information
Mequanint et al. Weakly-supervised degree of eye-closeness estimation
Lin et al. Thermal face recognition under disguised conditions
Yu et al. Research on face anti-spoofing algorithm based on image fusion
Kamanga et al. Anti-spoofing detection based on eyeblink liveness testing for iris recognition
Al-Yoonus et al. Video-Based Discrimination of Genuine and Counterfeit Facial Features Leveraging Cardiac Pulse Rhythm Signals in Access Control Systems.
Kamanga et al. Securing Iris Recognition System for Access Control Based on Image Processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination