CN111695406B - 一种基于红外线的人脸识别反欺骗方法、系统及终端 - Google Patents

一种基于红外线的人脸识别反欺骗方法、系统及终端 Download PDF

Info

Publication number
CN111695406B
CN111695406B CN202010328435.4A CN202010328435A CN111695406B CN 111695406 B CN111695406 B CN 111695406B CN 202010328435 A CN202010328435 A CN 202010328435A CN 111695406 B CN111695406 B CN 111695406B
Authority
CN
China
Prior art keywords
face
image
near infrared
spoofing
authenticity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010328435.4A
Other languages
English (en)
Other versions
CN111695406A (zh
Inventor
曹志诚
庞辽军
车东旭
赵恒�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jingying Information Technology Co ltd
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010328435.4A priority Critical patent/CN111695406B/zh
Publication of CN111695406A publication Critical patent/CN111695406A/zh
Application granted granted Critical
Publication of CN111695406B publication Critical patent/CN111695406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于人脸识别技术领域，公开了一种基于红外线的人脸识别反欺骗方法、系统及终端，采用近红外线照相机获取用户的近红外线人脸图像；对采集到的近红外线人脸图像进行图像增强；构建基于卷积神经网络的人脸真实性分类器；构建近红外线下的真实与伪造人脸数据集，并使用该近红外线人脸数据集训练基于卷积神经网络的人脸真实性分类器；对用户输入人脸进行反欺骗测试，如果系统输出为真实人脸，判断用户属于真实身份，并允许接入后续的人脸识别过程。如果分类器输出为伪造人脸，判断用户属于欺骗攻击，禁止其接入后续人脸识别过程，并做报警处理。本发明解决了传统人脸识别技术安全性差或反欺骗能力不足的缺点，相比其他反欺骗方法具有更高精度与更强鲁棒性。

Description

一种基于红外线的人脸识别反欺骗方法、系统及终端
技术领域
本发明属于人脸识别技术领域，尤其涉及一种基于红外线的人脸识别反欺骗方法、系统及终端。
背景技术
目前，身份识别系统的研究开发对于社会生活和个人日常生活都非常重要。生物特征识别是一种根据人体自身所固有的生理特征(如手形、指纹、面部特征、虹膜、视网膜等)和行为特征(如笔迹、声音、步态)来进行个人身份鉴定的技术，相对于传统基于口令、身份卡等，它不需要另外携带、记忆，也不会丢失、损坏。而其中的人脸识别技术因其理论和实际应用的迅速发展，近年来越来越受到社会关注。但人脸信息容易泄露，人脸识别非常容易受到欺骗或伪造攻击。因此，研究具有防伪造攻击的人脸识别技术(即人脸反欺骗)就变得非常重要。
人脸反欺骗研究已取得了一些进展，出现了许多优秀的方法和算法。但是面对日益增强的新攻击手段，这些传统方法要么性能无法满足需求，要么根本无法适用。大体来说，传统人脸反欺骗解决思路分为以下四类：第一类是采用基于图像质量差异分析的方法，有研究者提出了基于单张人脸图像的人脸反欺骗方法，使用功率谱、LBP等分析图像频率和纹理，从而区分真实人脸和人脸打印照片。还有采用光照信息的工作，他们利用图片表面粗糙度或光照场来区分二者，取得了较好性能。然而该类方法的主要缺陷有对光照变化不具鲁棒性；第二类方法利用人脸部位(如眼睛和嘴唇等)的运动或交互动作来判断是否为活体人脸，该类方法通常用到一段人脸视频，且对静态人脸伪造图像较为有效，但遇到使用偷录人脸视频来进行攻击的情形容易失败；第三类方法是基于3D人脸结构的人脸反欺骗方法，该方法具有很高的人脸反欺骗性能，但是缺点是仅仅用于把真实三维人脸和二维人脸相片区分开，并不能应对3D人脸面具的攻击。而随着3D打印技术的出现，3D人脸面具的伪造变得比以前更加容易和廉价，因此需要研制新的人脸反欺骗方法来解决这个问题；第四类方法利用人脸区域和背景区域间的差异来区分真伪造人脸照片。如利用场景线索(scenicclue)的方法进行人脸反欺骗，还有使用上下文信息来进行人脸反欺骗的思路。
综上所述，传统的人脸反欺骗方法可以概括为：1、基于图像质量差异分析的方法；2、基于面部运动分析的方法；3、基于面部3D结构分析的方法；4、基于面部和背景分析的方法。
近红外线(Near Infrared，NIR)是介于可见光(ⅥS)和热红外之间的电磁波，按美国试验和材料检测协会定义是指波长在780～2526nm范围内的电磁波。经过试验测试发现，采用近红外线相机代替可见光相机作为人脸反欺骗的采集设备，在应对打印照片这一常用攻击手段时，由于打印照片与真实人脸所存在的材质信息和空间信息的不同，近红外线在采取到的图像上也会存在差异，借此，可以有效地区分出哪张是真实人脸，哪张是打印伪造照片。当使用更复杂的3D打印面具进行攻击时，由于面具材质和真实人脸皮肤的反射特性也差异较大，因此也可以区分出真实人脸和伪造攻击人脸。此外，红外线成像在人脸反欺骗过程中所受的外界影响比可见光成像更少。综合来说，采用近红外线而非传统的可见光进行人脸反欺骗攻击具有很大优势。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有人脸识别技术对人脸欺骗攻击常常忽略或考虑不周，容易受到伪造攻击；
(2)现有反欺骗技术很多都是基于传统手工设计的方式，使用复杂且准确性不高；
(3)现有反欺骗技术都有各自起作用的特殊情形，但通用性和鲁棒性较差；
(4)现有反欺骗技术多数对环境光照变化、3D面具欺骗等效果不好，且部分需要用户进行配合，不够便利。
解决上诉问题及缺陷，其难度在于：
(1)需要摒弃不少人脸识别技术忽略或欠考虑人脸识别中的欺骗攻击的做法。可以看到在现有的一些应用中，采用传统的摄像头进行的人脸识别系统经常会受到最简单的照片攻击，因此用户安全会受到大量威胁。设计具有反欺骗攻击的安全性更高、实用性更强的人脸识别系统是一个挑战问题；
(2)需要摒弃传统人脸反欺骗技术普遍采用手动设计算子的做法，提出新的基于深度学习的人脸反欺骗方法，自主设计基于卷积神经网络的人脸反欺骗算法。而新自主设计的卷积神经网络必须具备精度高和鲁棒性强的特性，其性能需要进行大量的实验验证；
(3)为了弥补现有基于可见光成像的人脸反欺骗的技术缺陷，需要引入红外线成像手段并研究基于红外线的人脸反欺骗技术。而红外线成像用于人脸反欺骗的可行性尚属未知，需要进行实验验证。此外，红外线摄像头采集的红外人脸数据往往无法直接使用，需要做必要的预处理和图像增强等，这也是基于红外线人脸反欺骗的难点之一。
解决以上问题及缺陷的意义为：
(1)通过人脸反欺骗技术的引入，解决了现有不少人脸识别技术的信息安全问题，摆脱安全性低、无法满足实际商用等困境；
(2)利用深度学习理论，提出新的自动特征提取及人脸反欺骗方法。该方法相比其传统方法具有更高的反欺骗性能；
(3)引入红外线成像手段实现了基于红外线的人脸反欺骗这一新技术，从而弥补了传统基于可见光的人脸反欺骗通用性不高、鲁棒性不强等技术缺陷，满足现实世界中各种复杂环境的需求。
本发明解决了传统的摄像头进行的人脸识别系统经常会受到最简单的照片攻击的问题，降低了用户安全会受到大量威胁的风险。
发明内容
针对现有技术存在的问题，本发明提供了一种基于红外线的人脸识别反欺骗方法、系统及终端。
本发明是这样实现的，一种基于红外线的人脸识别反欺骗方法，所述基于红外线的人脸识别反欺骗方法采用近红外线照相机采集用户的人脸图像；对采集到的近红外线人脸图像进行图像增强；构建基于卷积神经网络的人脸真实性分类器；构建近红外线下的真实与伪造人脸数据集，并使用该近红外线人脸数据集来训练基于卷积神经网络的人脸真实性分类器；如果分类器输出为真实人脸，判断用户属于真实身份，允许接入后续的人脸识别系统；如果分类器输出为真实人脸，判断用户为伪造身份，属于欺骗攻击，禁止用户接入后续人脸识别过程，并做报警处理。
进一步，所述基于红外线的人脸识别反欺骗方法包括：
第一步，引入红外线成像手段用于人脸反欺骗技术，使用近红外线照相机采集用户的近红外线下的人脸图像；
第二步，对采集到的近红外线人脸图像进行相应的图像预处理与图像增强；其中使用级联图像增强的方法，先使用BM3D算法进行降噪，在使用拉普拉斯进行锐化；
第三步，使用深度学习理论构建基于卷积神经网络的近红外线人脸真实性分类器。利用卷积神经网络并结合多尺度概念，设计自动人脸特征提取的人脸真实性分类器；
第四步，通过近红外线相机拍照与翻拍的方式，构建近红外线下的真实与伪造人脸数据集，并使用该近红外线人脸的训练数据集来训练基于卷积神经网络的人脸真实性分类器；
第五步，使用近红外线人脸测试集来测试人脸真实性分类器，如果分类器输出为真实人脸，判断用户属于真实身份，允许接入后续的人脸识别系统；如果分类器输出为真实人脸，判断用户为伪造身份，属于欺骗攻击，禁止用户接入后续人脸识别过程，并做报警处理。
进一步，所述第一步使用波段为950nm-3000nm近红外线照相机采集用户的人脸图像，所用近红外线照相机。
进一步，所述第二步包括：
(1)使用BM3D去噪的方法去噪，BM3D的第一部分是对给定图像的二维片段，将相似的图像邻域叠加在一起，构建三维数组；采用块匹配方法实现分组任务，块匹配方法在视频压缩中广泛应用于运动估计；BM3D的第二部分：协作过滤，给定一组n个图像块，将生成总共n个估计值，每组片段一个估计值，实现一个有效的协同过滤的收缩变换域；
(2)使用拉普拉斯锐化的方法再次对图像进行锐化处理，重新恢复需要的边界信息；拉普拉斯锐化过程为：首先用拉普拉斯算子求二阶导数：
Figure BDA0002464071080000051
其中，x和y方向分量为：
Figure BDA0002464071080000052
其中I(x，y)为输入图片，
Figure BDA0002464071080000053
和
Figure BDA0002464071080000054
分别是沿x轴和y轴的方向导数；
最后得到锐化图像，将经过Laplacian算子处理后的输出添加到原始输入图像中：
Figure BDA0002464071080000055
Ish(x，y)为锐化输出图像，c为调整所需锐化程度的权重。
进一步，所述第三步采用多尺度卷积神经网络实现人脸真实性分类，包括：
(1)首先对送入网络的图像进行3个不同尺度的卷积，卷积核分别为1×1、3×3和5×5，卷积核数量分别为6、5和5，步长为1；紧接着将得到的不同尺度下的特征图进行多尺度拼接，得到多尺度红外人脸特征；
(2)然后再经过重复5次的基本卷积模块。该基本模块包含若干次密集卷积运算和一次池化运算；其中基本卷积模块的密集卷积层数为可变的，由具体应用和数据集而定。本应用涉及红外线图像采集，其训练数据相对较少，因此基本卷积模块数量选为2；卷积核大小为3×3，步长为1，卷积核的数量为16；池化层的池化核大小为2×2，步长为2，池化模式为最大值下采样；
(3)最后经过两个全连接层以得到二分类的真实性分类器。第一个全连接层神经元个数为1024，激活函数为ReLU函数；第二个全连接层的神经元个数为2(对应真实和伪造两种情况)，激活函数为Softmax函数。
进一步，所述第四步使用近红外线相机翻拍活体真实人脸图像，得到非活体伪造的近红外线人脸图像；将活体真实人脸图像与非活体伪造人脸图像组成图像对，构建近红外线下的真实与伪造人脸对数据集，并使用近红外线人脸数据集来训练和测试基于卷积神经网络的人脸真实性分类器。通过调参和重复训练，使该分类器分类效果达到最优。
进一步，所述第五步使用近红外线重新采集用户的测试红外人脸图像，将该测试人脸图像通过人脸真实性分类器，如果分类器输出为真实人脸，判断用户属于真实身份，允许接入后续的人脸识别系统；如果分类器输出为真实人脸，判断用户为伪造身份，属于欺骗攻击，禁止用户接入后续人脸识别过程，并做报警处理。
本发明的另一目的在于提供一种实施所述基于红外线的人脸识别反欺骗方法的人脸识别反欺骗系统，包括软件部分和硬件部分。
所述人脸识别反欺骗系统软件部分包括：
近红外线人脸图像采集模块，用于采用近红外线照相机获取用户的近红外线人脸图像；
图像预处理模块，对采集到的近红外线人脸图像进行预处理，如裁剪、缩放和灰度化等。
图像增强模块，用于对预处理后的近红外线人脸图像进行图像增强；
人脸真实性分类器构建模块，用于构建基于卷积神经网络的人脸真实性分类器；
真实与伪造人脸数据集构建模块，用于构建红外线下的真实与伪造人脸数据集，并使用该红外人脸数据集训练基于卷积神经网络的人脸真实性分类器；
人脸真实性判断模块，用于对人脸图像的真实性进行判断，其中模块中包含了已达到最优的人脸真实性分类器。
进一步，所述基于红外线的人脸识别反欺骗系统的硬件部分包括：红外图像采集器、显示器、处理器、存储器、警报器、通信接口和通信总线；其中近红外线图像采集器、显示器、处理器、存储器、警报器和通信接口通过通信总线进行连接，完成相互间的数据传输；
红外线图像采集器：用于用户的近红外线人脸图像采集；
显示器：显示通过图像采集器采集的用户数据；
存储器：存放人脸反欺骗的计算机程序；
警报器：警示系统遭受欺骗攻击；
处理器：执行存储器上所存放的人脸反欺骗计算机程序，并按照以下步骤执行：
步骤一、控制近红外线图像采集器对用户进行人脸检测并进行近红外线人脸图像采集，然后通过显示器将采集到的人脸图像显示出来；
步骤二、对采集到的近红外线人脸图像进行预处理，使之满足人脸反欺骗程序的要求；
步骤三、人脸真实性分类器构建与训练模块：构建人脸真实性分类器并用红外数据集训练该分类器；
步骤四、控制人脸反欺骗程序对预处理后的近红外线人脸图像进行人脸反欺骗，并将判断结果输出在显示器上对应的人脸处；
步骤五、当发现判断结果为真时，输出“真实”结论；当发现判断结果为假时，输出“伪造”结论，并通过警报器报警示意。
本发明的另一目的在于提供一种执行所述基于红外线的人脸识别反欺骗系统的计算机程序，被处理器执行时实现以下步骤：
步骤一、激活程序，进行必要的初始化；
步骤二、调用近红外线图像采集器采集人脸图像，并将图像输出到计算机的显示器上；
步骤三、对采集到的人脸图像进行预处理和增强；
对图像的预处理包括：对近红外线人脸图像进行裁剪、放缩为程序所需要的分辨率和图像灰度处理；图像增强为级联图像增强的方法，使用BM3D算法进行降噪，使用拉普拉斯进行锐化；
步骤四、加载程序中集成的人脸真实性分类器；
步骤五、将人脸图像输入分类器进行人脸真实性判断；
步骤六、输出真实性判断结果，并显示到计算机显示器所对应的人脸上，当发现判断结果为伪造人脸时，通过警报器报警示意。
本发明的另一目的在于提供一种执行所述计算机程序的计算机可读存储介质，人脸识别反欺骗程序被处理器执行时实现以下步骤：
步骤一、调用近红外线摄像头获取近红外线人脸图像，并显示在电脑显示屏幕上；
步骤二、对获取到的近红外线人脸图像进行预处理，然后在进行图像增强；对图像的预处理包括：对近红外线人脸图像进行裁剪、缩放为程序所需要的分辨率和图像灰度处理；图像增强为级联图像增强的方法，使用BM3D算法进行降噪，使用拉普拉斯进行锐化；
步骤三、将步骤二中增强后的图像，送入人脸识别反欺骗程序中的人脸真实性分类器中，进行人脸真实性判断；
步骤四、将步骤三中得到的真实性结果进行输出，并显示在电脑显示器屏幕上的人脸区域，直观的看到对应的人脸的真实性判断结果。
本发明的另一目的在于提供一种搭载所述基于红外线的人脸识别反欺骗系统的人脸识别反欺骗的终端，所述脸识别反欺骗终端包括近红外线摄像头、显示屏、存储器、处理器、外围设备和通信总线，其中近红外线摄像头、显示屏、存储器和处理器通过通信总线进行连接，完成相互间的数据传输；激活终端，处理器调用近红外线摄像头获取近红外线人脸图像，并将图像显示在显示屏上；处理器调用存储器里存储的人脸真实性判断程序对近红外线摄像头获取到的近红外线人脸图像进行预处理、增强和真实性判断；处理器将人脸真实性判断的结果输出，显示到显示屏上，并与检测的人脸相对应；外围设备接受处理器人脸真实性判断结果，并在人脸真实性判断结果基础上进行其他操作；
近红外线摄像头：获取近红外线人脸图像信息；
显示屏：显示通过近红外线摄像头获取到的人脸图像；
存储器：存储人脸真实性判断程序；
处理器：执行人脸真实性判断程序；
外围设备：在人脸真实性判断结果基础上进行其他操作的外围设备。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
(1)本发明提出了一种基于红外线的人脸反欺骗方法，解决了现有不少人脸识别技术的安全性低、容易被攻击、无法满足实际商用等问题；
(2)本发明引入红外线成像手段实现了基于红外线的人脸反欺骗这一新技术，从而弥补了传统基于可见光的人脸反欺骗通用性不高、鲁棒性不强等技术缺陷，满足现实世界中各种复杂环境的需求；
(3)本发明利用深度学习理论，提出一种基于深度学习的多尺度反欺骗卷积神经网络，实现人脸真实性分类器。该方法相比其传统方法具有更高的反欺骗性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于红外线的人脸识别反欺骗方法流程图。
图2是本发明实施例提供的基于红外线的人脸识别反欺骗方法细化示意图。
图3是本发明实施例提供的近红外线照相机的内部成像系统结构图。
图4是本发明实施例提供的一个两步BM3D去噪算法的流程图。
图5是本发明实施例提供的近红外线人脸增强前后的对照图。
图6是本发明实施例提供的基于多尺度卷积神经网络的人脸真实性分类器的网络结构图。
图7是本发明实施例提供的近红外线和可见光下的真实人脸和伪造人脸的对照图。
图8是本发明实施例提供的人脸识别反欺骗系统的结构原理示意图。
图9是本发明实施例提供的基于红外线的人脸识别反欺骗计算机程序的流程图。
图10是本发明实施例提供的基于红外线的人脸识别反欺骗的计算机可读存储介质的示意图。
图11是本发明实施例提供的基于红外线的人脸识别反欺骗的终端示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
针对现有技术存在的问题，本发明提供了一种基于红外线的人脸识别反欺骗方法。
如图1所示，本发明提供的基于红外线的人脸识别反欺骗方法包括以下步骤：
S101：采用近红外线照相机获取用户的近红外线人脸图像；
S102：对采集到的近红外线人脸图像进行图像增强；
S103：构建基于卷积神经网络的人脸真实性分类器；
S104：构建近红外线下的真实与伪造人脸数据集，并使用该近红外线人脸数据集训练基于卷积神经网络的人脸真实性分类器；
S105：用户反欺骗测试，如果分类器输出为真实人脸，判断用户属于真实身份，允许接入后续的人脸识别系统；如果分类器输出为真实人脸，判断用户为伪造身份，属于欺骗攻击，禁止用户接入后续人脸识别过程，并做报警处理。
下面结合附图对本发明的技术方案作进一步的描述。
如图2所示，本发明实施例提供的基于红外线的人脸识别反欺骗方法包括以下步骤：
步骤一、使用近红外线照相机采集近红外线波段下的人脸图像；
具体而言，使用近红外线照相机来采集用户的人脸图像，所用近红外线照相机波段为950nm-3000nm。近红外线照相机内部结构和成像过程如图3所示。
图3中展示了一个近红外线相机的内部结构和成像的过程。本发明首先使用一个近红外线发射源发射出近红外线光线，照在本发明需要做人脸反欺骗的物体上，然后该物体会反射近红外线，本发明在使用近红外线相机进行采集(此过程类似于可见光中开着补光灯照相的照相机)。近红外线相机内部首先是一个近红外线滤镜，本发明采用的是950nm以上波段，来滤除可见光，然后通过滤镜的近红外线在通过相机镜头投影在感光元件(CMOS)上，通过电子组件的处理，输出到相机的显示器上，然后按下快门得到本发明需要的近红外线图像。
步骤二、对采集到的近红外下图像进行预处理并使用级联图像增强的方法，第一步对图像进行预处理，第二步使用BM3D进行降噪，第三步使用拉普拉斯进行锐化；
具体而言，在采集完图像之后，首先需要对采集到的图像进行预处理，如裁剪，放缩和灰度化处理，减少影响实验性能的无关因素。其次，因为实际应用中近红外线相机采集效果受到摄像头性能和站立距离(stand-offdistance)的影响，使得采集到的近红外线人脸图像质量往往不够高，进而影响人脸反欺骗算法的性能，在此本发明对采集到的人脸近红外线图像进行增强处理，提升图像的质量。引入该模块可以有效的使本发明人脸反欺骗性能的得到提升。由于拍摄的图片存在噪声，本发明先对近红外线人脸图像去噪，在此，本发明使用BM3D去噪的方法进行去噪。在去除噪声之后，人脸近红外线图像的某些特性(比如说脸部边界信息)可能会缺失，图像变得模糊，那么本发明就需要使用拉普拉斯锐化的方法再次对本发明的图像进行处理，重新恢复本发明需要的边界信息。最后本发明就可以得到一个清晰的，高质量的近红外线人脸图像。具体地，本实施例步骤二包括步骤2.1、步骤2.2：
步骤2.1、由于拍摄的图片存在噪声，本发明先对近红外线人脸图像去噪，在此，本发明使用BM3D去噪的方法进行去噪。
具体而言，本发明实施例的BM3D去噪过程为：BM3D的第一部分是对给定图像的二维片段(即根据相似度采集图像块)，将相似的图像邻域叠加在一起，构建三维数组。采用块匹配方法实现分组任务，块匹配方法在视频压缩中广泛应用于运动估计。分组的重要性在于能够使用每个组的高维过滤，即BM3D技术的第二部分：协作过滤。图像块组的协作过滤会产生这样一种估计：每一组块会协作过滤所有其他块，反之亦然。给定一组n个图像块，将生成总共n个估计值，每组片段一个估计值。实现一个有效的协同过滤的收缩变换域，包括以下几点：(a)三维线性变换应用于集团；(b)收缩(如软-和算法或维纳滤波)变换系数来减弱噪声；(c)逆线性变换生成所有组合图像块的估计。为了更好的去噪性能，在基本分组和硬阈值协同滤波的第一步之后，进一步加入了改进的Wiener滤波分组协同去噪步骤。图4给出了一个两步BM3D算法的流程图。
步骤2.2、在去除近红外线人脸图像噪声之后，由于人脸近红外线图像的脸部边界等信息可能会缺失，图像变得模糊，本发明使用拉普拉斯锐化的方法再次对本发明的图像进行锐化处理，重新恢复本发明需要的边界信息。
具体而言，本实施例的拉普拉斯锐化过程为：首先用拉普拉斯算子求二阶导数：
Figure BDA0002464071080000131
其中，x和y方向分量为：
Figure BDA0002464071080000132
其中I(x，y)为输入图片。
Figure BDA0002464071080000133
和
Figure BDA0002464071080000134
分别是沿x轴和y轴的方向导数。
最后得到锐化图像，将经过Laplacian算子处理后的输出添加到原始输入图像中：
Figure BDA0002464071080000135
Ish(x，y)为锐化输出图像，c为调整所需锐化程度的权重。
如图5，可以看出，图5左侧原始的近红外线图像质量比较差，进行BM3D去噪后得到一个噪声很小的图像(图5中间所示)，但是比较模糊，特别是边界信息，最后本发明使用了拉普拉斯锐化，得到了一张边界信息丰富且噪声小的人脸近红外线图像(图5右侧所示)。
步骤三、使用深度学习理论构建基于多尺度卷积神经网络的近红外线人脸真实性分类器，网络详细结构如图6所示。
表1基于多尺度卷积神经网络的人脸真实性分类器参数
Figure BDA0002464071080000136
Figure BDA0002464071080000141
具体来说，人脸识别反欺骗问题属于二分类问题，第一类为真实人脸，第二类为伪造人脸。该问题在分类问题当中比较简单，且由于实际训练数据较为有限，所以本发明采用比较浅层的CNN网络，具体结构和参数如图6和表1所示。图6上部分为网络总体框图，下部分(即虚线框放大部分)为网络细节的进一步放大和解释。为了提高该浅层卷积神经网络的性能，本发明引入了多尺度的概念。该卷积神经网络首先对送入网络的图像进行3个尺度的卷积，然后将得到的特征图进行拼接，然后使用N次卷积、一次池化的基本卷积模块，并且重复该基本模块5次，最后添加全连接层构成二分类的分类器。其中，该卷积神经网络的结构可灵活多变，即基本卷积模块中的参数N可以为任意正整数，具体大小可根据不同使用场景和数据集来确定，由于本应用涉及红外线图像采集，其训练数据相对较少，因此基本卷积模块数量N选为2。
具体地，本实施例步骤三包括步骤3.1、步骤3.2、步骤3.3：
步骤3.1、首先对送入网络的图像进行3个不同尺度的卷积运算，其卷积核大小分别为1×1、3×3和5×5，卷积核数量分别为6、5和5，步长为1；紧接着将得到的不同尺度下的特征图进行多尺度拼接，得到多尺度红外人脸特征；
步骤3.2、然后再经过重复5次的基本卷积模块。该基本模块包含若干次密集卷积运算和一次池化运算；其中基本卷积模块的密集卷积层数为可变的，由具体应用和数据集而定。本应用涉及红外线图像采集，其训练数据相对较少，因此基本卷积模块数量选为2；卷积核大小为3×3，步长为1，卷积核数量为16；池化层的池化核大小为2×2，步长为2，池化模式为最大值下采样；
步骤3.3、最后经过两个全连接层以得到二分类的真实性分类器。第一个全连接层神经元个数为1024，激活函数为ReLU函数；第二个全连接层的神经元个数为2(对应真实和伪造两种判断结果)，激活函数为Softmax函数。
步骤四、构建近红外线下的真实与伪造人脸数据集，并使用该近红外线人脸数据集来训练基于卷积神经网络的人脸真实性分类器。
具体来说，使用近红外线相机翻拍活体真实人脸图像，得到非活体伪造近红外线人脸图像。如图7所示，其中，图7(a)是真实的近红外人脸图像，图7(b)是使用近红外相机对近红外真实人脸图像(a)的翻拍。可以发现使用近红外线的翻拍伪造人脸图像与真实近红外线人脸图片的差别是比较大的，在此基础上可以很好的进行区分。为了直观显示本发明使用红外线成像来进行人脸反欺骗的优势，我们在图中也列出了使用可见光的伪造图：图7(c)是真实的可见光人脸图像，图7(d)是可见光相机对可见光真实人脸图像(c)的翻拍。可以发现使用可见光翻拍伪造人脸图像与真实可见光人脸图像的差别相对比较小。
接下来，再将活体真实人脸图像与非活体伪造人脸图像组成图像对，从而构建近红外线下的真实与伪造人脸对数据集，并使用该近红外线人脸数据集来训练前述基于卷积神经网络的人脸真实性分类器；
步骤五、用户反欺骗测试，使用近红外线人脸测试集来测试人脸真实性分类器，通过调参和重复训练，使该分类器分类效果达到最优。
具体来说，如果分类器输出为真实人脸，判断用户属于真实身份，允许接入后续的人脸识别系统；如果分类器输出为真实人脸，判断用户为伪造身份，属于欺骗攻击，禁止用户接入后续人脸识别过程，并做报警处理。
对于训练一个分类器，一次训练所得到的分类不一定是最优的，所以需要频繁地调整网络的参数，并使用测试集进行测试，最终使测试结果达到最高，得到最优的分类器。
下面结合实验对本发明的技术效果作详细的描述。
为了证明本发明实施例提出的基于红外线的人脸识别反欺骗方法的优越性，本发明使用自己采集的可见光人脸反欺骗数据库和近红外线人脸反欺骗数据库进行实验。可见光数据采集的方式本发明采用现有的公开人脸识别数据库QFIRE、CASIA和TINDERS中的可见光人脸，使用电脑屏幕播放模拟攻击，使用普通相机进行采集。近红外线数据采集的方式本发明采用现有的人脸识别数据库QFIRE、CASIA和TINDERS中的近红外线人脸，使用打印照片模拟攻击，使用近红外线相机进行采集。
结合以上数据库，本发明从以下两个方面进行对比论证：
一方面为了验证本发明所用深度学习方法的优越性，进行了本发明方法和其他传统算法的对比实验，结果如表2和表3所示。从表中可以看出，无论是采用可见光还是红外线的成像手段时，本发明使用的深度学习方法的反欺骗准确率高于传统的LBP和IQA方法，该结论对于三个不同的数据库均成立。由此说明，本发明使用的深度学习的方法优于传统的LBP和IQA方法。
表2可见光反欺骗实验准确率对比(％)
Figure BDA0002464071080000161
表3近红外反欺骗实验准确率对比(％)
Figure BDA0002464071080000162
另一方面本发明进行了红外线和可见光成像手段的对比实验，验证本发明所提出的近红外线人脸反欺骗相对于传统可见光人脸反欺骗的优越性。将表3的结果与表2的结果对比可以看出，在三个数据库下，基于近红外线的人脸防欺骗的准确率均高于可见光人脸防欺骗的准确率。例如，在CASIA数据库下，红外线反欺骗的准确率为97.8％，高于可见光反欺骗的准确率95.6％。结果证明了本发明使用的近红外线人脸反欺骗方法优于传统可见光人脸识别反欺骗方法。
通过实验结果分析，证明了在近红外线波段进行人脸反欺骗是可行的，性能优于传统基于可见光的方法，且本发明提出的将近红外线和深度学习相结合的方法得到了更高的性能。
实施例2
在上述实施例1的基础上，本发明实施例提供了一种基于近红外线人脸反欺骗的人脸识别反欺骗的系统，如图8所示，为本实施例的结构示意图。
本发明施例提供的系统包含硬件(硬件结构如图8(a)所示)和软件(软件结构如图8(b)所示)两大部分。其中硬件结构包括红外图像采集器、显示器、处理器、存储器、警报器、通信接口和通信总线(如图8(a)所示)。其中近红外线图像采集器、显示器、处理器、存储器、警报器和通信接口通过通信总线进行连接，完成相互间的数据传输。
红外线图像采集器：用于用户的近红外线人脸图像采集；
显示器：显示通过图像采集器采集的用户数据；
存储器：存放人脸反欺骗的计算机程序；
警报器：警示系统遭受欺骗攻击；
处理器：执行存储器上所存放的人脸反欺骗计算机程序，并按照以下步骤执行该系统的软件部分(如图8(b)所示)：
步骤1、近红外人脸图像采集模块：控制近红外线图像采集器对用户进行人脸检测并进行近红外线人脸图像采集，然后通过显示器将采集到的人脸图像显示出来；
步骤2、图像预处理与增强模块：对采集到的近红外线人脸图像进行预处理和增强，使之满足人脸反欺骗程序的要求；
步骤3、人脸真实性分类器构建与训练模块：构建人脸真实性分类器并用红外数据集训练该分类器；
步骤4、反欺骗测试模块：控制人脸反欺骗程序对预处理后的近红外线人脸图像进行人脸反欺骗，并将判断结果输出在显示器上对应的人脸处；
步骤5、结果处理模块：当发现判断结果为真时，输出“真实”结论；当发现判断结果为假时，输出“伪造”结论，并通过警报器报警示意。
具体而言，本实施例中步骤1中的近红外线图像采集器为近红外线照相机，具体结构和成像过程如图3所示。步骤2中所使用的预处理方法中使用了图像增强、图像裁剪和图像放缩方法，其中图像增强方法为实施例1中的图像增强方法。步骤3中使用的人脸反欺骗程序中的分类器算法为实施例1中训练好的人脸真实性分类器。
实施例3
在上述实施例2的基础上，本发明实施例提供了一种基于红外线的人脸识别反欺骗的计算机程序，如图9所示，为本实施例的流程示意图。
本实施例提供的一种基于红外线的人脸识别反欺骗的计算机程序，被处理器执行时实现以下步骤：
步骤1、激活程序，进行必要的初始化。
步骤2、调用近红外线图像采集器采集人脸图像，并将图像输出到计算机的显示器上。
步骤3、对采集到的人脸图像进行预处理和增强。
具体而言，本实施例步骤3中对图像的预处理包括：对近红外线人脸图像进行裁剪、放缩为程序所需要的分辨率和图像灰度处理。图像增强为实施例1中所用的级联图像增强的方法，使用BM3D算法进行降噪，使用拉普拉斯进行锐化。
步骤4、加载程序中集成的人脸真实性分类器。
具体而言，本实施例步骤4中使用的人脸真实性分类器为实施例1中所设计的卷积神经网络，具体的结构如图2所示，在这里，所使用的分类器已经训练好了参数，不需要再次训练。
步骤5、将人脸图像输入分类器进行人脸真实性判断。
步骤6、输出真实性判断结果，并显示到计算机显示器所对应的人脸上。当发现判断结果为伪造人脸时，通过警报器报警示意。
具体而言，本实施例步骤6中输出结果为真实人脸或者伪造人脸，然后将结果输出到计算机显示器上，并与相应的人脸对应。
本发明实施例提供的一种计算机程序，其功能为指导计算机进行人脸反欺骗，内部集成了人脸真实性分类器，可以直接在带有近红外线摄像头的计算机上执行。
实施例4
在上述实施例2的基础上，本发明实施例提供了一种计算机可读存储介质，如图10所示，为本实施例的结构示意图。
本实施例提供的一种计算机可读存储介质，其上存储有基于红外线的人脸识别反欺骗程序。上述人脸识别反欺骗程序被处理器执行时实现以下步骤：
步骤1、调用近红外线摄像头获取近红外线人脸图像，并显示在电脑显示屏幕上。
步骤2、对获取到的近红外线人脸图像进行预处理，然后在进行图像增强。
具体而言，本实施例步骤2中对图像的预处理包括：对近红外线人脸图像进行裁剪、缩放为程序所需要的分辨率和图像灰度处理。图像增强为实施例1中所用的级联图像增强的方法，使用BM3D算法进行降噪，使用拉普拉斯进行锐化。
步骤3、将步骤2中增强后的图像，送入人脸识别反欺骗程序中的人脸真实性分类器中，进行人脸真实性判断。
具体而言，由于人脸识别反欺骗的特殊性，我们可以将训练好的人脸真实性分类器集成在人脸真实性判断程序中，在计算机执行程序的时候，直接将增强后的图像输入到分类器中，进行人脸真实性判断，得到结果。
步骤4、将步骤3中得到的真实性结果进行输出，并显示在电脑显示器屏幕上的人脸区域，可以直观的看到对应的人脸的真实性判断结果。
本实施例提供的一种计算机可读存储介质，可以存储人脸反欺骗程序，配合带有近红外线摄像头的电脑可以直接进行人脸反欺骗；也可以直接接入到近红外线人脸识别系统，使此人脸识别系统获得反欺骗能力。
实施例5
在上述实施例1和实施例2的基础上，本发明实施例提供了一种基于红外线的人脸识别反欺骗的终端，如图11所示，为本实施例的结构示意图。
本发明施例提供的人脸识别反欺骗终端包括近红外线摄像头、显示屏、存储器、处理器、外围设备和通信总线，其中近红外线摄像头、显示屏、存储器和处理器通过通信总线进行连接，完成相互间的数据传输。
近红外线摄像头：获取近红外线人脸图像信息；
显示屏：显示通过近红外线摄像头获取到的人脸图像；
存储器：存储人脸真实性判断程序；
处理器：执行人脸真实性判断程序；
外围设备：在人脸真实性判断结果基础上进行其他操作的外围设备。
本发明实施例提供的一种基于红外线的人脸识别反欺骗终端在工作时，按照以下步骤进行：
步骤1、激活终端，处理器调用近红外线摄像头获取近红外线人脸图像，并将图像显示在显示屏上；
步骤2、处理器调用存储器里存储的人脸真实性判断程序对近红外线摄像头获取到的近红外线人脸图像进行预处理、增强和真实性判断；
具体而言，本实施例步骤2中使用的人脸真实性判断程序中包含了已经训练好的人脸真实性分类器，分类器的原理在实施例1中已做详细说明；进行的预处理包括：对近红外线人脸图像进行裁剪、缩放为程序所需要的分辨率和图像灰度处理；图像增强为实施例1中所用的级联图像增强的方法，使用BM3D算法进行降噪，使用拉普拉斯进行锐化。
步骤3、处理器将人脸真实性判断的结果输出，显示到显示屏上，并与检测的人脸相对应。
步骤4、外围设备接受处理器人脸真实性判断结果，并在人脸真实性判断结果基础上进行其他操作，如进一步的人脸识别及其他更高层的应用操作。
本实施例提供的一种人脸识别反欺骗终端，可以独立的进行人脸真实性判断，也可以和近红外线人脸识别终端连接使用，使此近红外线人脸识别终端具有反欺骗能力。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于红外线的人脸识别反欺骗方法，其特征在于，所述基于红外线的人脸识别反欺骗方法包括：
第一步，使用近红外线照相机采集用户的近红外线人脸图像；
第二步，对采集到的近红外线人脸图像进行相应的图像预处理与图像增强；其中使用级联图像增强的方法，即先使用BM3D算法进行降噪，再使用拉普拉斯算子进行锐化；
第三步，使用深度学习理论构建基于卷积神经网络的近红外线人脸真实性分类器；
第四步，构建近红外线下的真实与伪造人脸数据集，并使用该近红外线人脸训练集来训练基于卷积神经网络的人脸真实性分类器；
第五步，对用户输入人脸进行反欺骗测试，如果系统输出为真实人脸，判断用户属于真实身份，并允许接入后续的人脸识别过程；如果分类器输出为假人脸，判断用户属于欺骗攻击，禁止其接入后续人脸识别过程，并做报警处理。
2.如权利要求1所述的基于红外线的人脸识别反欺骗方法，其特征在于，所述第一步使用近红外照相机来采集用户的人脸图像，所用近红外照相机波段为950nm-3000nm。
3.如权利要求1所述的基于红外线的人脸识别反欺骗方法，其特征在于，所述第二步包括：
(1)先使用BM3D去噪的方法对红外人脸图像去噪，对给定图像的二维片段，将相似的图像邻域叠加在一起，构建三维数组；采用块匹配方法实现分组任务，块匹配方法在视频压缩中广泛应用于运动估计；协作过滤，给定一组n个图像块，将生成总共n个估计值，每组片段一个估计值，实现一个有效的协同过滤的收缩变换域；
(2)再使用拉普拉斯锐化的方法对图像进行锐化处理，重新恢复需要的边界信息，拉普拉斯锐化过程为：首先用拉普拉斯算子求二阶导数：
Figure FDA0004042000800000011
其中，x和y方向分量为：
Figure FDA0004042000800000021
其中I(x,y)为输入图片，
Figure FDA0004042000800000022
和
Figure FDA0004042000800000023
分别是沿x轴和y轴的方向导数；
最后得到锐化图像，将经过Laplacian算子处理后的输出添加到原始输入图像中：
Figure FDA0004042000800000024
Ish(x,y)为锐化输出图像，c为调整所需锐化程度的权重。
4.如权利要求1所述的基于红外线的人脸识别反欺骗方法，其特征在于，所述第三步采用多尺度卷积神经网络(CNN)构建人脸真实性分类器，首先对送入网络的图像进行3个不同尺度的卷积，卷积核分别为1×1、3×3和5×5，卷积核数量分别为6、5和5，步长为1；紧接着将得到的不同尺度下的特征图进行多尺度拼接，得到多尺度红外人脸特征；然后再经过重复5次的基本卷积模块，该基本卷积模块包含若干次密集卷积运算和一次池化运算；最后经过两个全连接层以得到二分类的真实性分类器；
其中基本卷积模块的密集卷积层数为可变的，由具体应用和数据集而定；卷积核大小为3×3，步长为1，卷积核数量为16；池化层的池化核大小为2×2，步长为2，池化模式为最大值下采样。
5.如权利要求1所述的基于红外线的人脸识别反欺骗方法，其特征在于，所述第四步使用近红外线相机翻拍活体下的真实人脸图像，得到非活体下的伪造近红外线人脸图像；使用采集到的图像构建近红外线下的真实与伪造人脸对数据集，并使用该近红外线下的真实与伪造人脸对数据集来训练基于卷积神经网络的人脸真实性分类器。
6.一种实施权利要求1～5任意一项所述基于红外线的人脸识别反欺骗方法的基于红外线的人脸识别反欺骗系统，其特征在于，所述基于红外线的人脸识别反欺骗系统软件部分包括：
红外线采集模块，用于采用近红外线照相机获取用户的近红外线人脸图像；
图像预处理模块，对采集到的近红外线人脸图像裁剪，缩放和灰度化；
图像增强模块，用于对预处理后的近红外线人脸图像进行图像增强；
人脸真实性分类器构建模块，用于构建基于卷积神经网络的人脸真实性分类器；
真实与伪造人脸数据集构建模块，用于构建红外线下的真实与伪造人脸数据集，并使用该红外线下的真实与伪造人脸数据集训练基于卷积神经网络的人脸真实性分类器；
人脸真实性判断模块，用于对人脸图像的真实性进行判断，其中模块包含了已达到最优的人脸真实性分类器。
7.如权利要求6所述的基于红外线的人脸识别反欺骗系统，其特征在于，所述基于红外线的人脸识别反欺骗系统的硬件部分包括：红外图像采集器、显示器、处理器、存储器、警报器、通信接口和通信总线；其中近红外线图像采集器、显示器、处理器、存储器、警报器和通信接口通过通信总线进行连接，完成相互间的数据传输；
红外线图像采集器：用于用户的近红外线人脸图像采集；
显示器：显示通过图像采集器采集的用户数据；
存储器：存放人脸反欺骗的计算机程序；
警报器：警示系统遭受欺骗攻击；
处理器：执行存储器上所存放的人脸反欺骗计算机程序，并按照以下步骤执行：
步骤一、控制近红外线图像采集器对用户进行人脸检测并进行近红外线人脸图像采集，然后通过显示器将采集到的人脸图像显示出来；
步骤二、对采集到的近红外线人脸图像进行预处理，使之满足人脸反欺骗程序的要求；
步骤三、人脸真实性分类器构建与训练模块：构建人脸真实性分类器并用红外数据集训练该分类器；
步骤四、控制人脸反欺骗程序对预处理后的近红外线人脸图像进行人脸反欺骗，并将判断结果输出在显示器上对应的人脸处；
步骤五、当发现判断结果为真时，输出“真实”结论；当发现判断结果为假时，输出“伪造”结论，并通过警报器报警示意。
8.一种执行权利要求7所述计算机程序的计算机可读存储介质，其特征在于，人脸识别反欺骗程序被处理器执行时实现以下步骤：
步骤一、调用近红外线摄像头获取近红外线人脸图像，并显示在电脑显示屏幕上；
步骤二、对获取到的近红外线人脸图像进行预处理，然后在进行图像增强；对图像的预处理包括：对近红外线人脸图像进行裁剪、缩放为程序所需要的分辨率和图像灰度处理；图像增强为级联图像增强的方法，使用BM3D算法进行降噪，使用拉普拉斯进行锐化；
步骤三、将步骤二中增强后的图像，送入人脸识别反欺骗程序中的人脸真实性分类器中，进行人脸真实性判断；
步骤四、将步骤三中得到的真实性结果进行输出，并显示在电脑显示器屏幕上的人脸区域，直观的看到对应的人脸的真实性判断结果。
9.一种搭载权利要求7所述基于红外线的人脸识别反欺骗系统的人脸识别反欺骗的终端，其特征在于，所述脸识别反欺骗终端包括近红外线摄像头、显示屏、存储器、处理器、外围设备和通信总线，其中近红外线摄像头、显示屏、存储器和处理器通过通信总线进行连接，完成相互间的数据传输；激活终端，处理器调用近红外线摄像头获取近红外线人脸图像，并将图像显示在显示屏上；处理器调用存储器里存储的红外线人脸真实性判断程序对近红外线摄像头获取到的近红外线人脸图像进行预处理、增强和真实性判断；处理器将人脸真实性判断的结果输出，显示到显示屏上，并与检测的人脸相对应；外围设备接收处理器人脸真实性判断结果，并在人脸真实性判断结果基础上进行其他更高层的应用和操作；
近红外线摄像头：获取近红外线人脸图像信息；
显示屏：显示通过近红外线摄像头获取到的人脸图像；
存储器：存储红外线人脸反欺骗计算机程序；
处理器：执行红外线人脸反欺骗计算机程序；
外围设备：接收人脸反欺骗结果、并在此基础上进行其他更高层的应用和操作。
CN202010328435.4A 2020-04-23 2020-04-23 一种基于红外线的人脸识别反欺骗方法、系统及终端 Active CN111695406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010328435.4A CN111695406B (zh) 2020-04-23 2020-04-23 一种基于红外线的人脸识别反欺骗方法、系统及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010328435.4A CN111695406B (zh) 2020-04-23 2020-04-23 一种基于红外线的人脸识别反欺骗方法、系统及终端

Publications (2)

Publication Number Publication Date
CN111695406A CN111695406A (zh) 2020-09-22
CN111695406B true CN111695406B (zh) 2023-04-07

Family

ID=72476616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010328435.4A Active CN111695406B (zh) 2020-04-23 2020-04-23 一种基于红外线的人脸识别反欺骗方法、系统及终端

Country Status (1)

Country Link
CN (1) CN111695406B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580454B (zh) * 2020-12-08 2024-03-26 上海明略人工智能(集团)有限公司 基于图片材质分割标记的人脸防伪方法及系统
CN112966562A (zh) * 2021-02-04 2021-06-15 深圳市街角电子商务有限公司 人脸活体检测方法、系统及存储介质
US20220284229A1 (en) * 2021-03-04 2022-09-08 Black Sesame International Holding Limited Rgb-nir dual camera face anti-spoofing method
CN113033530B (zh) * 2021-05-31 2022-02-22 成都新希望金融信息有限公司 证件翻拍检测方法、装置、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN110309798A (zh) * 2019-07-05 2019-10-08 中新国际联合研究院 一种基于域自适应学习和域泛化的人脸欺骗检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049287B2 (en) * 2015-05-22 2018-08-14 Oath Inc. Computerized system and method for determining authenticity of users via facial recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN110309798A (zh) * 2019-07-05 2019-10-08 中新国际联合研究院 一种基于域自适应学习和域泛化的人脸欺骗检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
应用深度光学应变特征图的人脸活体检测;马思源等;《中国图象图形学报》(第03期);全文 *

Also Published As

Publication number Publication date
CN111695406A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111695406B (zh) 一种基于红外线的人脸识别反欺骗方法、系统及终端
US10789465B2 (en) Feature extraction and matching for biometric authentication
Qiu et al. Finger vein presentation attack detection using total variation decomposition
Akhtar et al. A comparative evaluation of local feature descriptors for deepfakes detection
Lin et al. Saliency detection within a deep convolutional architecture
Das et al. Multi-angle based lively sclera biometrics at a distance
Liu et al. Overview of image inpainting and forensic technology
Rana et al. MSRD-CNN: Multi-scale residual deep CNN for general-purpose image manipulation detection
CN110728238A (zh) 一种融合型神经网络的人员再检测方法
kumar Shukla et al. A novel method for identification and performance improvement of Blurred and Noisy Images using modified facial deblur inference (FADEIN) algorithms
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置
CN112906508A (zh) 一种基于卷积神经网络的面部活体检测方法
Liu et al. Recaptured image detection based on DCT coefficients
Xu et al. MDTL-NET: Computer-generated image detection based on multi-scale deep texture learning
Filius Interpol review of imaging and video 2016–2019
Diaa A Deep Learning Model to Inspect Image Forgery on SURF Keypoints of SLIC Segmented Regions
Reddy et al. Digital image forgery detection using SUPER pixel segmentation and HYBRID feature point mapping
Priyadharsini et al. Effective image splicing detection using deep neural network
Kumar Presentation Attack Detection in Facial Biometric Authentication
Shaick et al. Accelerating face detection by means of image segmentation
ElDahshan et al. Applying quantum algorithms for enhancing face authentication
Boualleg et al. An improved Weber-face-based method for face recognition under uncontrolled illumination conditions
Kenneth et al. Averaging Dimensionality Reduction and Feature Level Fusion for Post-Processed Morphed Face Image Attack Detection
Kumari et al. Image splicing forgery detection: A review
Ojansivu Blur invariant pattern recognition and registration in the Fourier domain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240430

Address after: Room 303-9, 3rd Floor, Building 1, No. 88 Huilong Road, Qingpu District, Shanghai, 201702

Patentee after: Shanghai Jingying Information Technology Co.,Ltd.

Country or region after: China

Address before: 710071 Xi'an Electronic and Science University, 2 Taibai South Road, Shaanxi, Xi'an

Patentee before: XIDIAN University

Country or region before: China