CN111931758B - 一种结合面部静脉的人脸识别方法及装置 - Google Patents

一种结合面部静脉的人脸识别方法及装置 Download PDF

Info

Publication number
CN111931758B
CN111931758B CN202011114943.9A CN202011114943A CN111931758B CN 111931758 B CN111931758 B CN 111931758B CN 202011114943 A CN202011114943 A CN 202011114943A CN 111931758 B CN111931758 B CN 111931758B
Authority
CN
China
Prior art keywords
image
face
living body
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011114943.9A
Other languages
English (en)
Other versions
CN111931758A (zh
Inventor
赵国栋
张烜
胡振寰
李学双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Holy Point Century Technology Co ltd
Original Assignee
Beijing Shengdian Cloud Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shengdian Cloud Information Technology Co ltd filed Critical Beijing Shengdian Cloud Information Technology Co ltd
Priority to CN202011114943.9A priority Critical patent/CN111931758B/zh
Publication of CN111931758A publication Critical patent/CN111931758A/zh
Application granted granted Critical
Publication of CN111931758B publication Critical patent/CN111931758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明属于信息安全领域中的生物识别技术领域，尤其涉及一种结合面部静脉的人脸识别方法及装置。所述的人脸识别方法，其包括以下步骤：1）图像采集与预处理；2）对卷积神经网络进行改进；3）训练模型；4）注册阶段；5）验证阶段：依据余弦距离与余弦相似度阈值判断其是否对应到某一个人脸。本发明将人脸面部静脉特征与人脸相融合，有效的弥补了普通基于RGB图像的人脸识别方法中活体检测难的缺点；并且即使在面部特征非常相似的同卵双胞胎之间，面部静脉分布也相差巨大，这使得本发明可以有效的区分出同卵双胞胎。

Description

一种结合面部静脉的人脸识别方法及装置
技术领域
本发明属于信息安全领域中的生物识别技术领域，尤其涉及一种结合面部静脉的人脸识别方法及装置。
背景技术
近年来，随着信息技术的发展，人脸识别已广泛应用在日常生活中，给我们的生活带来了极大的便利。现有的人脸识别方法，一般都是采用基于深度学习的卷积神经网络实现的，如专利号为CN107247949A公开的基于深度学习的人脸识别方法、装置和电子设备，包括构建卷积神经网络模型，训练模型，训练好的模型会自动提取人脸图像的特征，对其身份进行识别。在现有的人脸识别方法中，一般都是基于RGB摄像头采集的图像进行识别的，但由于人脸作为一种体外特征，很容易被照片、屏幕、头套等方式进行复制，对其进行活体检测是一大难题，并且双胞胎具有极其相似的面部特征，这也对方法带来了极大的挑战。
静脉识别作为第二代生物识别技术，具有体内特征、不可复制、安全级别高、个体差异大等优点，具有巨大的研究价值。目前，指静脉识别作为一种新兴的识别技术，已应用在金融、军工等领域中。如专利号为CN105975905A公开的一种手指静脉快速识别方法，通过将一特征点集中的特征点与从另一特征点集的邻近该特征点的区域搜取的特征点进行匹配的方法，具有识别耗时短、识别率高、识别波动性小等优点。
但目前静脉识别一般用于指静脉和掌静脉的识别当中，基于面部静脉识别的方法还鲜有研究。
Jiankang Deng等针对卷积神经网络ResNet50提出了一种新的残差网络结构IResNet50,其在人脸识别算法中效果普遍要好于ResNet50，关于IResNet50的详细介绍可参见：https://arxiv.org/abs/1801.07698。
Jie Hu等提出的网络结构SENet （Squeeze-and-Excitation Networks，简称SENet）赢得了最后一届ImageNet 2017竞赛分类任务的冠军，其思路简单，很容易扩展在已有网络结构中，关于该网络结构的详细介绍可参见：https://arxiv.org/abs/1709.01507。
发明内容
本发明所要解决的技术问题提供一种结合面部静脉的人脸识别方法及装置，以解决人脸识别过程中，容易被照片、屏幕、头套等方式进行复制的问题。
为了解决上述技术问题，本发明提供的技术方案为：
本发明涉及一种结合面部静脉的人脸识别方法，其包括以下步骤：
1）图像采集与预处理：采用红外摄像头采集面部静脉图像，采用RGB摄像头采集活体人脸图像和非活体人脸图像，对面部静脉图像和人脸照片进行融合，形成预处理后的活体人脸图像和非活体人脸图像；
2）对卷积神经网络进行改进：对于卷积神经网络IResNet50，在其每个残差块的通道上加入注意力机制；
3）训练模型：用步骤1）采集和预处理后的活体人脸图像和非活体人脸图像组成数据集，对数据集进行扩充增强，输入到卷积神经网络中，提取512维的特征向量，并使用ArcFace Loss对卷积神经网络进行训练，在训练模型时，将同一个人的活体照片和非活体照片当作两个人来处理；
4）注册阶段：将按照步骤1）采集和预处理后的注册图像输入到训练好的卷积神经网络中，将得到的特征向量作为该人脸的特征存储在注册特征库中；
5）验证阶段：设定余弦相似度阈值，将按照步骤1）采集和预处理后的验证图像输入到训练好的卷积神经网络中，得到验证图像的特征向量，分别计算该特征向量与注册特征库中每一特征的余弦相似度，并依据余弦距离与余弦相似度阈值判断其是否对应到某一个人脸。
在训练模型时，将同一个人的活体照片和非活体照片当作两个人来处理，这在训练过程中，可以让模型有效地学习到面部静脉特征。
优选地，所述的步骤1）的具体步骤是：将红外摄像头拍摄的单通道面部静脉图像和RGB摄像头拍摄的三通道人脸图像进行合并操作，组成新的四维人脸图像。
优选地，所述的步骤2）中对卷积神经网络进行改进是将输入图像的大小设置为112×112×4；将模型输入卷积层的输入通道从3改为4；同时，在每个残差块的通道上加入注意力机制，其具体是在模型的每一个残差块上进行结构改进；
其具体步骤是：
2.1）对每个特征层使用Global Average Pooling得到一个c×1×1的特征，其中c为通道数；
2.2）将c×1×1的特征连接一个全连接层，将特征维度降到c/16×1×1；
2.3）再将c/16×1×1的特征连接一个全连接层，得到c×1×1的特征；
2.4）对得到的c×1×1的特征使用Sigmord函数进行激活；
2.5）将激活后得到的c×1×1的通道权重特征与原特征层对应相乘，完成对原特征层的重新标定。
以上所述的SE结构是指本发明背景技术中述及的“Squeeze-and-ExcitationNetworks”。
优选地，所述的步骤3）中的非活体人脸图像包括照片、屏幕、头套。
优选地，所述的步骤3）中对数据集进行扩充增强，具体包括以下步骤：
3.1）随机对图像进行平移、旋转、放缩、裁剪和左右翻转；
3.2）随机改变图像的亮度、对比度和饱和度；
3.3）随机加上高斯噪声；
3.4）将随机增强后的图像加入数据集进行扩充。
优选地，所述的步骤3）中 ArcFace Loss的公式为：
Figure 250515DEST_PATH_IMAGE001
式中，L为ArcFace Loss，m为训练样本数，s为缩放系数，i为某一训练样本，yi为训 练样本i所属的类别，j为某一类别，n为类别数，
Figure 636497DEST_PATH_IMAGE002
为类别j的参数，
Figure 416234DEST_PATH_IMAGE003
为所设置的间隔大小。
优选地，所述的步骤4）中，注册图像选用清晰的正面人脸图像。
优选地，所述的步骤5）中，余弦相似度阈值的确定方法通过以下步骤进行：
5.1）由步骤1）方法采集的活体人脸中随机挑选一张图像作为注册图像输入到训练完成的网络中，获得注册特征向量，将其余图像输入到训练完成的卷积神经网络中获得特征向量；
5.2）依次计算该特征向量与每一个注册特征向量之间的余弦相似度，并将该余弦相似度与余弦相似度最大的注册图像片进行配对，在[-1,1]之间以0.01为增量依次取值作为余弦相似度的阈值；
5.3）计算每个阈值下网络的配对准确率，选择准确率满足要求的阈值作为最终的余弦相似度阈值。
优选地，所述的步骤5）中，判断验证图像是否对应到某一个人脸的具体方法是：选择余弦相似度最大的注册图像进行配对，若两者之间的相似度大于余弦相似度阈值，则该验证图像属于该类别，若两者之间的相似度小于余弦相似度阈值，则该验证图像不在注册库的类别中。
本发明还涉及一种结合面部静脉的人脸识别装置，其包括：
1）图像采集与预处理模块，用于图像采集与预处理，即采用红外摄像头采集面部静脉图像，采用RGB摄像头采集活体人脸图像和非活体人脸图像，对面部静脉图像和人脸照片进行融合，形成预处理后的活体人脸图像和非活体人脸图像；
2）网络改进模块，用于对卷积神经网络进行改进，即对于卷积神经网络IResNet50，在其每个残差块的通道上加入注意力机制；
3）训练模块，用于训练模型，即用步骤1）得到的活体人脸图像和非活体人脸图像组成数据集，对数据集进行扩充增强，输入到卷积神经网络中，提取512维的特征向量，并使用ArcFace Loss对卷积神经网络进行训练，在训练模型时，将同一个人的活体照片和非活体照片当作两个人来处理；
4）注册模块，在注册阶段，将按照步骤1）采集和预处理后的注册图像输入到训练好的卷积神经网络中，将得到的特征向量作为该人脸的特征存储在注册特征库中；
5）验证模块，在验证阶段，用于设定余弦相似度阈值，将按照步骤1）采集和预处理后的验证图像输入到训练好的卷积神经网络中，得到验证图像的特征向量，分别计算该特征向量与注册特征库中每一特征的余弦相似度，并依据余弦距离与余弦相似度阈值判断其是否对应到某一个人脸。
采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
1.本发明涉及的一种结合面部静脉的人脸识别方法，将人脸面部静脉特征与人脸相融合，并且在训练过程中，将同一个人的活体人脸图像和非活体人脸图像设置成不同的人进行训练，使得模型可以有效地区分出活体与非活体，由于面部静脉图片是基于面部静脉流动血液中的血红蛋白吸收特定红外光而成像的，这让其很难复制，有效的弥补了普通基于RGB图像的人脸识别方法中活体检测难的缺点；并且即使在面部特征非常相似的同卵双胞胎之间，面部静脉分布也相差巨大，这使得本发明可以有效的区分出同卵双胞胎。
2.本发明涉及的一种结合面部静脉的人脸识别方法，针对预处理后的人脸图像，对训练数据集进行相应的扩充增强，对卷积神经网络IResNet50进行针对性的改进，并选用合适的损失函数对其进行训练，使模型可以更高效地学习到相应的特征，提高对人脸图像特征的表达能力，提升方法模型的鲁棒性。
附图说明
图1为本发明结合面部静脉的人脸识别方法的流程图；
图2为本发明预处理后的的活体人脸静脉图像；
图3为本发明预处理后的非活体人脸静脉图像；
图4为本发明结合面部静脉的人脸识别装置的原理框图。
具体实施方式
为进一步了解本发明的内容，结合实施例对本发明作详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
参照附图1所示，本发明涉及一种结合面部静脉的人脸识别方法，其包括以下步骤：
1）图像采集与预处理：分别采用红外摄像头和RGB摄像头采集1000个人的50张面部静脉图像和人脸图像，并对面部静脉图像和人脸照片进行融合，即将红外摄像头拍摄的单通道面部静脉图像和RGB摄像头拍摄的三通道人脸图像进行合并操作，组成新的四维人脸图像，形成活体人脸图像；采集与预处理后的活体人脸静脉图像如图2所示。再从这1000个人中随机挑选500个人，按照相同的方法采集其照片或屏幕的50张非活体人脸图片和面部静脉图像，也是进行合并操作，形成非活体人脸图像，采集与预处理后的非活体人脸静脉图像如图3所示。
在本实施例中，活体图片和非活体图片被认作为两个人。
2）对卷积神经网络进行改进：对于卷积神经网络IResNet50，在其每个残差块的通道上加入注意力机制，更具体的讲，对卷积神经网络进行改进包括：将输入图像的大小设置为112×112×4；将模型输入卷积层的输入通道从3改为4；同时，在每个残差块的通道上加入注意力机制，其具体是在模型的每一个残差块上进行结构改进；对卷积神经网络进行改进的具体步骤是：
2.1）对每个特征层使用Global Average Pooling（全局平均池化）得到一个c×1×1的特征，其中c为通道数；
2.2）将c×1×1的特征连接一个全连接层，将特征维度降到c/16×1×1；
2.3）再将c/16×1×1的特征连接一个全连接层，得到c×1×1的特征；
2.4）对得到的c×1×1的特征使用Sigmord函数进行激活；
2.5）将激活后得到的c×1×1的通道权重特征与原特征层对应相乘，完成对原特征层的重新标定；
3）训练模型：用步骤1）采集和预处理后的活体人脸图像和非活体人脸图像组成数据集，对数据集进行扩充增强，对数据集进行扩充增强包括以下步骤：
3.1）按50%的概率随机对图像进行平移、旋转、放缩、裁剪和左右翻转，其中，偏移量设置为图片的±10%以内，旋转角度设置为±5°以内，放缩比例设置在±10%以内，裁剪比例设置在±10%以内；
3.2）按50%的概率随机改变图像的亮度、对比度和饱和度；
3.3）按50%的概率随机加上标准差在0～1之间的高斯噪声；
3.4）将随机增强后的图像加入数据集进行扩充；
将扩充增强后的数据集输入到改进后的卷积神经网络中，提取512维的特征向量，并使用ArcFace Loss对卷积神经网络进行训练，ArcFace Loss的公式为：
Figure 624493DEST_PATH_IMAGE004
式中，L为ArcFace Loss，m为训练样本数，s为缩放系数，i为某一训练样本，yi为训 练样本i所属的类别，j为某一类别，n为类别数，
Figure 32340DEST_PATH_IMAGE002
为类别j的参数，
Figure 323645DEST_PATH_IMAGE003
为所设置的间隔大小；
在训练模型时，一般将同一个人的活体照片和非活体照片当作两个人来处理，这在训练过程中，可以让模型有效地学习到面部静脉特征；
训练过程中，将epoch设置为125，batchsize设置为64，学习率设置为0.1，并分别在第35，65，95个epoch将学习率降低为前一阶段的十分之一。
4）注册阶段：将按照步骤1）采集和预处理后的注册图像输入到训练好的卷积神经网络中，将得到的特征向量作为该人脸的特征存储在注册特征库中；
5）验证阶段：设定余弦相似度阈值，将按照步骤1）采集和预处理后的验证图像输入到训练好的卷积神经网络中，得到验证图像的特征向量，分别计算该特征向量与注册特征库中每一特征的余弦相似度，并依据余弦距离与余弦相似度阈值判断其是否对应到某一个人脸。
本实施例中，步骤1）～3）是模型训练的过程，步骤4）～5）是将待识别的人脸图像输入到模型中，进行具体识别的过程。
测试例1
为验证本发明的人脸识别方法的有效性和准确性，本实施例将步骤1）得到的活体图片和非活体图片按照7：1：2的比例分为训练集，验证集和测试集，将训练集用于步骤3），测试集用于步骤4），测试集和验证集用于步骤5）。
3）设置一定的概率随机对训练集进行扩充增强，本实施例中按50%的概率随机对图片进行平移、旋转、放缩、裁剪、左右翻转等操作，其中，偏移量设置为图片的±10%以内，旋转角度设置为±5°以内，放缩比例设置在±10%以内，裁剪比例设置在±10%以内，并按50%的概率随机改变图片的亮度、对比度、饱和度和加上标准差在0～1之间的高斯噪声，将增强后的图片输入到卷积神经网络模型中提取512维特征向量，并使用ArcFace Loss对卷积神经网络进行训练。
4）注册阶段：在测试集的每个人中随机挑选一张图片，输入到训练好的卷积神经网络中，将得到的特征向量作为该人脸的特征存储到注册特征库中，注册图像选用清晰的正面人脸图像；
5）验证阶段：将测试集中的人脸图片输入到训练好的卷积神经网络中得到该图像的特征向量，分别计算该特征向量与注册特征库中每一特征的余弦相似度，并依据其距离与余弦相似度阈值判断其是否对应到某一人脸。余弦相似度阈值的确定方法通过以下步骤进行：
5.1）从验证集中的每个活体人脸中随机挑选一张图像作为注册图像输入到训练完成的卷积神经网络中，获得注册特征向量，其余活体人脸图像输入到训练完成的卷积神经网络中获得特征向量；
5.2）依次计算该特征向量与每一个注册特征向量之间的余弦相似度，并将该余弦相似度与余弦相似度最大的注册图像进行配对，在[-1,1]之间以0.01为增量依次取值作为余弦相似度的阈值；
5.3）计算每个阈值下网络的配对准确率，选择准确率满足要求的阈值作为最终的余弦相似度阈值；
本实施例中，选择0误识别下的余弦相似度阈值为0.29；
依据距离与余弦相似度阈值判断测试图像是否对应到某一人脸的具体方法是：选择余弦相似度最大的注册图像进行配对，若两者之间的相似度大于余弦相似度阈值0.29，则该图片属于该人脸类别，若两者之间的相似度小于余弦相似度阈值0.29，则该图片不在注册库的类别中；
将训练模型认定图片在注册库类别中的比值记为通过率，其计算公式如式（2）所示，将通过的图片中实际匹配人脸类别准确的比值记为准确率，其计算公式如式（3）所示，最终得到通过率为98.26%，准确率为99.89%；
Figure 590678DEST_PATH_IMAGE005
其中，P为准确率，t为系统认定该图片在注册类别中的样本数，s为测试样本总数，A为准确率，c为系统认定图片在注册类别中且认定类别准确的样本数。
为了验证本发明的有效性，按以上步骤重复实验两次，并与原始未改进的基于普通RGB图片训练的人脸识别方法对比，分别在相同阈值下验证区分活体和不区分活体的准确率和通过率，所得的实验结果如表1所示：
Figure 868207DEST_PATH_IMAGE007
由实验结果可知，在有限的训练数据集下，本发明结合面部静脉的人脸识别方法在保持较高的通过率下，保持了很高的准确率，识别效果要明显好于原始人脸识别方法；通过区分活体的实验结果对比可以看出，普通人脸识别方法的准确率保持在50%左右，并不具备区分活体的能力，而本发明所采取的方法的准确率均在99.5%以上，具有很高的区分活体的能力；由此可以看出相对于原始人脸识别方法，本方法可以有效地提取人脸面部静脉特征，弥补普通人脸识别方法活体检测难的问题，可以有效地提高人脸识别方法的鲁棒性。
实施例2
参照附图4所示，本发明还涉及一种结合面部静脉的人脸识别装置，其包括：
1）图像采集与预处理模块，用于图像采集与预处理，即采用红外摄像头采集面部静脉图像，采用RGB摄像头采集活体人脸图像和非活体人脸图像，对面部静脉图像和人脸照片进行融合，形成预处理后的活体人脸图像和非活体人脸图像；图像采集与预处理模块用于实现实施例1步骤1）的功能。
2）网络改进模块，用于对卷积神经网络进行改进，即对于卷积神经网络IResNet50，在其每个残差块的通道上加入注意力机制；网络改进模块用于实现实施例1步骤2）的功能。
3）训练模块，用于训练模型，即用步骤1）得到的活体人脸图像和非活体人脸图像组成数据集，对数据集进行扩充增强，输入到卷积神经网络中，提取512维的特征向量，并使用ArcFace Loss对卷积神经网络进行训练，在训练模型时，将同一个人的活体照片和非活体照片当作两个人来处理；训练模块用于实现实施例1步骤3）的功能。
4）注册模块，在注册阶段，用于将按照步骤1）采集和预处理后的注册图像，输入到训练好的卷积神经网络中，将得到的特征向量作为该人脸的特征存储下来；注册模块用于实现实施例1步骤4）的功能。
5）验证模块，在验证阶段，用于设定余弦相似度阈值，将按照步骤1）采集和预处理后的验证图像输入到训练好的卷积神经网络中，得到验证图像的特征向量，分别计算该特征向量与注册特征库中每一特征的余弦相似度，并依据余弦距离与余弦相似度阈值判断其是否对应到某一个人脸；验证模块用于实现实施例1步骤5）的功能。
显然，本实施例的人脸识别装置可以作为上述实施例1的人脸识别方法的执行主体，因此能够实现该人脸识别方法所实现的功能。由于原理相同，本文不再赘述。
以上结合实施例对本发明进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍属于本发明的专利涵盖范围之内。

Claims (10)

1.一种结合面部静脉的人脸识别方法，其特征在于：其包括以下步骤：
1)图像采集与预处理：采用红外摄像头采集面部静脉图像，采用RGB摄像头采集活体人脸图像和非活体人脸图像，对面部静脉图像和人脸照片进行融合，形成预处理后的活体人脸图像和非活体人脸图像；
2)对卷积神经网络进行改进：对于卷积神经网络IResNet50，在每一个残差块上加上SE结构，完成对原特征层的重新标定；
3)训练模型：用步骤1)采集和预处理后的活体人脸图像和非活体人脸图像组成数据集，对数据集进行扩充增强，输入到卷积神经网络中，提取512维的特征向量，并使用ArcFace Loss对卷积神经网络进行训练，在训练模型时，将同一个人的活体照片和非活体照片当作两个人来处理；
4)注册阶段：将按照步骤1)采集和预处理后的注册图像输入到训练好的卷积神经网络中，将得到的特征向量作为该人脸的特征存储在注册特征库中；
5)验证阶段：设定余弦相似度阈值，将按照步骤1)采集和预处理后的验证图像输入到训练好的卷积神经网络中，得到验证图像的特征向量，分别计算该特征向量与注册特征库中每一特征的余弦相似度，并依据余弦距离与余弦相似度阈值判断其是否对应到某一个人脸。
2.根据权利要求1所述的结合面部静脉的人脸识别方法，其特征在于：所述的步骤1)的具体步骤是：将红外摄像头拍摄的单通道面部静脉图像和RGB摄像头拍摄的三通道人脸图像进行合并操作，组成新的四维人脸图像。
3.根据权利要求1所述的结合面部静脉的人脸识别方法，其特征在于：所述的步骤2)中对卷积神经网络进行改进是将输入图像的大小设置为112×112×4；将模型输入卷积层的输入通道从3改为4；同时，在每个残差块的通道上加入注意力机制，其具体是在模型的每一个残差块上加上SE结构；
其具体步骤是：
2.1)对每个特征层使用Global Average Pooling得到一个c×1×1的特征，其中c为通道数；
2.2)将c×1×1的特征连接一个全连接层，将特征维度降到c/16×1×1；
2.3)再将c/16×1×1的特征连接一个全连接层，得到c×1×1的特征；
2.4)对得到的c×1×1的特征使用sigmord函数进行激活；
2.5)将激活后得到的c×1×1的通道权重特征与原特征层对应相乘，完成对原特征层的重新标定。
4.根据权利要求1所述的结合面部静脉的人脸识别方法，其特征在于：所述的步骤1)中的非活体人脸图像包括照片、屏幕、头套。
5.根据权利要求1所述的结合面部静脉的人脸识别方法，其特征在于：所述的步骤3)中对数据集进行扩充增强具体包括以下步骤：
3.1)随机对图像进行平移、旋转、放缩、裁剪和左右翻转；
3.2)随机改变图像的亮度、对比度和饱和度；
3.3)随机加上高斯噪声；
3.4)将随机增强后的图片加入数据集进行扩充。
6.根据权利要求1所述的结合面部静脉的人脸识别方法，其特征在于：所述的步骤3)中ArcFace Loss的公式为：
Figure FDA0002792389220000021
式中，L为ArcFace Loss，m为训练样本数，s为缩放系数，i为某一训练样本，yi为训练样本i所属的类别，j为某一类别，n为类别数，θj为类别j的参数，a为所设置的间隔大小。
7.根据权利要求1所述的结合面部静脉的人脸识别方法，其特征在于：所述的步骤4)中，注册图像选用清晰的正面人脸图像。
8.根据权利要求1所述的结合面部静脉的人脸识别方法，其特征在于：所述的步骤5)中，余弦相似度阈值的确定方法通过以下步骤进行：
5.1)由步骤1)方法采集的活体人脸中随机挑选一张图像作为注册图像输入到训练完成的网络中，获得注册特征向量，将其余图像输入到训练完成的卷积神经网络中获得特征向量；
5.2)依次计算该特征向量与每一个注册特征向量之间的余弦相似度，并将该余弦相似度与余弦相似度最大的注册图像片进行配对，在[-1,1]之间以0.01为增量依次取值作为余弦相似度的阈值；
5.3)计算每个阈值下网络的配对准确率，选择准确率满足要求的阈值作为最终的余弦相似度阈值。
9.根据权利要求8所述的结合面部静脉的人脸识别方法，其特征在于：所述的步骤5)中，判断验证图像是否对应到某一个人脸的具体方法是：选择余弦相似度最大的注册图像进行配对，若两者之间的相似度大于余弦相似度阈值，则该验证图像属于注册特征库，若两者之间的相似度小于余弦相似度阈值，则该验证图像不在注册库的类别中。
10.一种结合面部静脉的人脸识别装置，其特征在于：其包括：
1)图像采集与预处理模块，用于图像采集与预处理，即采用红外摄像头采集面部静脉图像，采用RGB摄像头采集活体人脸图像和非活体人脸图像，对面部静脉图像和人脸照片进行融合，形成预处理后的活体人脸图像和非活体人脸图像；
2)网络改进模块，用于对卷积神经网络进行改进，即对于卷积神经网络IResNet50，在每一个残差块上加上SE结构，完成对原特征层的重新标定；
3)训练模块，用于训练模型，即用步骤1)得到的活体人脸图像和非活体人脸图像组成数据集，对数据集进行扩充增强，输入到卷积神经网络中，提取512维的特征向量，并使用ArcFace Loss对卷积神经网络进行训练，在训练模型时，将同一个人的活体照片和非活体照片当作两个人来处理；
4)注册模块，在注册阶段，将按照步骤1)采集和预处理后的注册图像输入到训练好的卷积神经网络中，将得到的特征向量作为该人脸的特征存储在注册特征库中；
5)验证模块，在验证阶段，设定余弦相似度阈值，将按照步骤1)采集和预处理后的验证图像输入到训练好的卷积神经网络中，得到验证图像的特征向量，分别计算该特征向量与注册特征库中每一特征的余弦相似度，并依据余弦距离与余弦相似度阈值判断其是否对应到某一个人脸。
CN202011114943.9A 2020-10-19 2020-10-19 一种结合面部静脉的人脸识别方法及装置 Active CN111931758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011114943.9A CN111931758B (zh) 2020-10-19 2020-10-19 一种结合面部静脉的人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011114943.9A CN111931758B (zh) 2020-10-19 2020-10-19 一种结合面部静脉的人脸识别方法及装置

Publications (2)

Publication Number Publication Date
CN111931758A CN111931758A (zh) 2020-11-13
CN111931758B true CN111931758B (zh) 2021-01-05

Family

ID=73333740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011114943.9A Active CN111931758B (zh) 2020-10-19 2020-10-19 一种结合面部静脉的人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN111931758B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200159B (zh) * 2020-12-01 2021-02-19 四川圣点世纪科技有限公司 一种基于改进残差网络的非接触式掌静脉识别方法
CN112949570B (zh) * 2021-03-26 2022-08-09 长春工业大学 一种基于残差注意力机制的指静脉识别方法
CN113312961A (zh) * 2021-04-03 2021-08-27 国家计算机网络与信息安全管理中心 一种logo识别加速方法
CN112801066B (zh) * 2021-04-12 2022-05-17 北京圣点云信息技术有限公司 一种基于多姿态面部静脉的身份识别方法及装置
CN113159185A (zh) * 2021-04-23 2021-07-23 山东交通学院 一种基于嵌套网络模型的相似图像检索方法及系统
CN113205058A (zh) * 2021-05-18 2021-08-03 中国科学院计算技术研究所厦门数据智能研究院 一种防止非活体攻击的人脸识别方法
CN113469012B (zh) * 2021-06-28 2024-05-03 广州云从鼎望科技有限公司 用户刷脸验证的方法、系统、介质及装置
CN113657154A (zh) * 2021-07-08 2021-11-16 浙江大华技术股份有限公司 活体检测方法、装置、电子装置和存储介质
CN113610153A (zh) * 2021-08-06 2021-11-05 长沙理工大学 人体红外图像识别方法、装置、计算机设备及存储介质
CN113657293B (zh) * 2021-08-19 2023-11-24 北京神州新桥科技有限公司 活体检测方法、装置、电子设备、介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117744A (zh) * 2018-07-20 2019-01-01 杭州电子科技大学 一种用于人脸验证的孪生神经网络训练方法
CN109543535A (zh) * 2018-10-23 2019-03-29 华南理工大学 三维指静脉特征提取方法及其匹配方法
CN110390282A (zh) * 2019-07-12 2019-10-29 西安格威西联科技有限公司 一种基于余弦中心损失的指静脉识别方法及系统
CN111639558A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法
CN111783965A (zh) * 2020-08-14 2020-10-16 支付宝(杭州)信息技术有限公司 用于生物特征识别的方法、装置、系统及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628568B2 (en) * 2016-03-31 2020-04-21 Fotonation Limited Biometric recognition system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117744A (zh) * 2018-07-20 2019-01-01 杭州电子科技大学 一种用于人脸验证的孪生神经网络训练方法
CN109543535A (zh) * 2018-10-23 2019-03-29 华南理工大学 三维指静脉特征提取方法及其匹配方法
CN110390282A (zh) * 2019-07-12 2019-10-29 西安格威西联科技有限公司 一种基于余弦中心损失的指静脉识别方法及系统
CN111639558A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法
CN111783965A (zh) * 2020-08-14 2020-10-16 支付宝(杭州)信息技术有限公司 用于生物特征识别的方法、装置、系统及电子设备

Also Published As

Publication number Publication date
CN111931758A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111931758B (zh) 一种结合面部静脉的人脸识别方法及装置
CN110516576B (zh) 基于深度神经网络的近红外活体人脸识别方法
CN107423690B (zh) 一种人脸识别方法及装置
CN111523462B (zh) 基于自注意增强cnn的视频序列表情识别系统及方法
CN108921041A (zh) 一种基于rgb和ir双目摄像头的活体检测方法及装置
CN109410184B (zh) 基于稠密对抗网络半监督学习的直播色情图像检测方法
JP2000003452A (ja) デジタル画像における顔面の検出方法、顔面検出装置、画像判定方法、画像判定装置およびコンピュ―タ可読な記録媒体
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN110427881B (zh) 基于人脸局部区域特征学习的跨库微表情识别方法及装置
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及系统
CN106529377A (zh) 一种基于图像的年龄估计方法、装置及系统
CN111767877A (zh) 一种基于红外特征的活体检测方法
CN113221655A (zh) 基于特征空间约束的人脸欺骗检测方法
CN112801066B (zh) 一种基于多姿态面部静脉的身份识别方法及装置
CN110826534A (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
Song et al. Face liveliness detection based on texture and color features
CN107153807A (zh) 一种二维主成分分析的非贪婪人脸识别方法
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
CN112613430A (zh) 一种基于深度迁移学习的步态识别方法
Maken An elementary study on various techniques involved in face recognition systems: a review
Shukla et al. Comparison of Face Recognition algorithms & its subsequent impact on side face
CN111723612A (zh) 人脸识别和人脸识别网络的训练方法和装置、存储介质
CN112001262B (zh) 一种生成可以影响人脸认证的配饰的方法
CN114581984B (zh) 一种基于低秩注意力机制的口罩人脸识别算法
Mukane et al. EMERGING FORENSIC FACE MATCHING TECHNOLOGY TO APPREHEND CRIMINALS:: A SURVEY

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210422

Address after: 030032 room 0906, 9 / F, block C, clean control innovation base, No. 529, South Central Street, Taiyuan Xuefu Park, comprehensive reform demonstration zone, Taiyuan City, Shanxi Province

Patentee after: Holy Point Century Technology Co.,Ltd.

Address before: 2 / F, No.17, Paradise Street, Yanqi Economic Development Zone, Huairou District, Beijing

Patentee before: Beijing ShengDian cloud Information Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230323

Address after: Room 2309, 23rd Floor, Qidi Building, No. 99, South Tiancheng Road, High Speed Rail New Town, Xiangcheng District, Suzhou City, Jiangsu Province, 215000 - Work Station A029 (cluster registration)

Patentee after: Jiangsu Shengdian Century Technology Co.,Ltd.

Address before: 030032 room 0906, floor 9, building C, qingkong innovation base, No. 529, South Central Street, Taiyuan Xuefu Park, comprehensive reform demonstration zone, Taiyuan, Shanxi Province

Patentee before: Holy Point Century Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230526

Address after: 030000 room 0906, floor 9, building C, qingkong innovation base, No. 529, South Central Street, Taiyuan Xuefu Park, comprehensive reform demonstration zone, Taiyuan, Shanxi Province

Patentee after: Holy Point Century Technology Co.,Ltd.

Address before: Room 2309, 23rd Floor, Qidi Building, No. 99, South Tiancheng Road, High Speed Rail New Town, Xiangcheng District, Suzhou City, Jiangsu Province, 215000 - Work Station A029 (cluster registration)

Patentee before: Jiangsu Shengdian Century Technology Co.,Ltd.

TR01 Transfer of patent right