CN112801066A - 一种基于多姿态面部静脉的身份识别方法及装置 - Google Patents
一种基于多姿态面部静脉的身份识别方法及装置 Download PDFInfo
- Publication number
- CN112801066A CN112801066A CN202110388918.8A CN202110388918A CN112801066A CN 112801066 A CN112801066 A CN 112801066A CN 202110388918 A CN202110388918 A CN 202110388918A CN 112801066 A CN112801066 A CN 112801066A
- Authority
- CN
- China
- Prior art keywords
- face
- feature
- picture
- vein
- side face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种基于多姿态面部静脉的身份识别方法及装置。首先进行人脸检测与姿态判断，根据判断出的姿态进行面部静脉图片采集与预处理，然后构建卷积神经网络并对其进行训练，最后进行用户注册与识别。应用上述技术方案，主要是提取面部静脉图片作为身份识别的特征，与传统的人脸识别以普通人脸RGB图片作为特征不同，面部静脉是人体内部特征，不易复制，可以避免活体检测这一难题；并且不同人之间，侧脸的面部静脉分布也差异巨大，在不同姿态下通过面部静脉也可以有效地对身份进行识别，不受限于用户的配合，可以有效地弥补普通人脸识别在大角度下识别通过率低的问题。
Description
技术领域
本发明属于信息安全领域中的生物识别技术，具体涉及一种基于多姿态面部静脉的身份识别方法。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。目前由于视频监控技术的普及，人脸识别行业快速发展，目前已经广泛用于金融、司法、教育、医疗等各行各业。但是，人脸属于体表特征，容易被复制盗用，存在安全隐患；且普通人脸识别时，由于大角度时侧脸RGB图像的特征差异不大，因此其识别通过率受限于用户的配合。
鉴于上述技术问题，寻找一种既能提高安全性，避免活体检测较难；又能提高人脸在大角度状态下的面部识别通过率的方法是本领域技术人员亟需要解决的问题。
发明内容
本申请的目的是提供一种基于多姿态面部静脉的身份识别方法，有效解决了活体检测难，并提高了人脸在大角度状态下的面部识别通过率这一技术问题。
为了解决上述技术问题，本申请提供了一种基于多姿态面部静脉的身份识别方法，包括：
1）人脸检测与姿态判断：采用红外摄像头拍摄面部静脉图片，通过人脸检测算法RetinaFace检测出人脸框和68个特征点，根据特征点来判断人脸姿态，包括正脸、侧脸，所述侧脸包括左脸和右脸；
2）面部静脉特征图片采集与预处理：依据步骤1）检测出的姿态，采集所述面部静脉图片的正脸静脉特征图片或侧脸静脉特征图片，并对所采集的正脸静脉特征图片或侧脸静脉特征图片进行扩充与增强处理；
3）模型训练：将经过步骤2）处理后的正脸静脉特征图片或侧脸静脉特征图片分别输入到正脸识别模型或侧脸识别模型，并使用损失函数分别对其进行训练；
4）注册：按照步骤1）、步骤2）的方式采集待注册用户的正脸静脉特征图片和侧脸静脉特征图片，分别输入到所述步骤3）训练完成的正脸识别模型和侧脸识别模型中，提取待注册用户的512维特征向量，并将该特征向量作为该人脸的特征存储在注册特征库中；
5）识别：分别设定正脸和侧脸识别的余弦距离阈值；按照步骤1）和步骤2）的方式采集待识别用户的正脸静脉特征图片或侧脸静脉特征图片，并将其输入到所述步骤3）训练完成的正脸识别模型或侧脸识别模型中，得到该待识别用户的512维特征向量；分别计算该特征向量与对应注册特征库中每一特征向量的余弦距离，并依据余弦距离阈值判断其是否对应到注册特征库中某一个人脸。
优选的，步骤1）中，判断人脸姿态的方法是：若左眼左侧眼角和左侧嘴角特征点的中点在检测出的人脸框的中轴线的右侧，则为左脸；若右眼右侧眼角和右侧嘴角特征点的中点在检测出的人脸框的中轴线的左侧，则为右脸；否则为正脸。
优选的，步骤2）中，若判断为左脸，则采集左脸静脉特征图片，所采集的位置是左眼左侧眼角、左侧嘴角、左侧人脸边缘5个特征点所围合形成的区域；若判断为右脸，则采集右脸静脉特征图片，所采集的位置是右眼右侧眼角、右侧嘴角、右侧人脸边缘5个特征点所围合形成的区域；若判断为正脸，则采集正脸静脉特征图片，所采集的位置是左眼左侧眼角、左侧嘴角、右眼右侧眼角、右侧嘴角所围合形成的区域。
优选的，步骤2）中，对正脸静脉特征图片或侧脸静脉特征图片进行扩充的方式为：设定相应的概率，随机对图片进行平移、旋转、放缩、裁剪、翻转操作，或随机改变图片的亮度、对比度、饱和度，或随机加上高斯噪声；
对正脸静脉特征图片或侧脸静脉特征图片进行增强的方法为窗口技术，其每个像素的计算公式如式（1）所示。
其中，
为正脸静脉特征图片或侧脸静脉特征图片原始像素值，
为正脸静脉特征图片或侧脸静脉特征图片增强后的像素值，
为设置的像素下限阈值。
优选的，步骤3）中，正脸识别模型和侧脸识别模型为改进后的卷积神经网络ResNet50模型，改进方式为将原始卷积神经网络ResNet50模型中的激活函数由ReLu更改为PReLu；所述损失函数为ArcFace Loss，公式为：
式中，L为ArcFace Loss，m为训练样本数，s为缩放系数，i为某一训练样本，yi为训练样本i所属的类别，
为样本i所属类别yi的角度，j为某一类别，n为类别数，
为类别j的角度，
为所设置的间隔大小。
优选的，步骤4）中，将从所采集的待注册用户的左脸静脉特征图片中提取的特征向量保存为左脸注册特征库，将从所采集的待注册用户的右脸静脉特征图片中提取的特征向量保存为右脸注册特征库，将从所采集的待注册用户的正脸静脉特征图片中提取的特征向量保存为正脸注册特征库。
优选的，步骤5）中，确定正脸余弦距离阈值的步骤为：按照所述步骤2）的方法分别采集不同个体的正脸静脉特征图片，并将其输入所述步骤3）训练完成的正脸识别模型中，提取其512维特征向量；将不同个体的512维特征向量两两比对，计算余弦距离；选取最小值设为正脸余弦距离阈值；确定侧脸余弦距离阈值的步骤为：按照所述步骤2）的方法分别采集不同个体的侧脸静脉特征图片，并将其输入所述步骤3）训练完成的侧脸识别模型中，提取其512维特征向量；将不同个体的512维特征向量两两比对，计算余弦距离；选取最小值设为侧脸余弦距离阈值。
优选的，步骤5）中，判断其是否对应到注册特征库中某一个人脸的方法是：在对应注册特征库中选择余弦距离最小的特征向量与之比对，若两者之间的余弦距离小于余弦距离阈值，则该待识别用户的正脸静脉特征图片或侧脸静脉特征图片属于注册特征库；反之，若两者之间的余弦距离大于余弦距离阈值，则该待识别用户的正脸静脉特征图片或侧脸静脉特征图片不属于注册特征库。
为解决上述技术问题，本申请还提供一种基于多姿态面部静脉的身份识别装置，包括：
1）人脸检测与姿态判断模块：用于人脸检测与姿态判断，即采用红外摄像头拍摄面部静脉图片，通过人脸检测算法RetinaFace检测出人脸框和68个特征点，根据特征点来判断人脸姿态，包括正脸、侧脸，所述侧脸包括左脸和右脸；
2）面部静脉图片采集与预处理模块：用于面部静脉图片采集与预处理，即依据步骤1）检测出的姿态，采集所述面部静脉图片的正脸静脉特征图片或侧脸静脉特征图片，并对所采集的正脸静脉特征图片或侧脸静脉特征图片分别进行扩充与增强处理；
3）模型训练模块：用于对模型进行训练，即将经过步骤2）处理后的正脸静脉特征图片或侧脸静脉特征图片分别输入到正脸识别模型或侧脸识别模型，并使用损失函数分别对其进行训练；
4）注册模块：用于待注册用户进行注册，即在注册阶段，按照步骤1）、步骤2）的方式采集待注册用户的正脸静脉特征图片和侧脸静脉特征图片，分别输入到所述步骤3）训练完成的正脸识别模型和侧脸识别模型中，提取待注册用户的512维特征向量，并将该特征向量作为该人脸的特征存储在注册特征库中；
5）识别模块：即用于待识别用户进行识别，即在识别阶段，分别设定正脸和侧脸识别的余弦距离阈值；按照步骤1）和步骤2）的方式采集待识别用户的正脸静脉特征图片或侧脸静脉特征图片，并将其输入到所述步骤3）训练完成的正脸识别模型或侧脸识别模型中，得到该待识别用户的512维特征向量；分别计算该特征向量与对应注册特征库中每一特征向量的余弦距离，并依据余弦距离阈值判断其是否对应到注册特征库中某一个人脸。
为解决上述技术问题，本申请还提供一种基于多姿态面部静脉的身份识别装置，包括：
1）存储器，用于储存计算机程序；
2）处理器，用于执行所述计算机程序时实现如上任一所述的基于多姿态面部静脉的身份识别方法。
本申请所涉及一种基于多姿态面部静脉的身份识别方法，主要是提取面部静脉图片作为身份识别的特征，与传统的人脸识别以普通人脸RGB图片作为特征不同，面部静脉是人体内部特征，不易复制，可以避免活体检测这一难题；并且不同人之间，侧脸的面部静脉分布也差异巨大，在不同姿态下通过面部静脉也可以有效地对身份进行识别，不受限于用户的配合，可以有效地弥补普通人脸识别在大角度下识别通过率低的问题。
并且通过采用RetinaFace对人脸关键点进行检测从而裁剪出合适的面部静脉区域，使用窗口技术对静脉图像进行增强，并使用改进后的残差网络和合适的损失函数对模型进行训练，使算法可以充分地利用多姿态下的面部静脉特征，提高大角度下身份识别的通过性，提升识别算法的鲁棒性。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多姿态面部静脉的身份识别方法的流程图；
图2为本发明实施例提供的采用红外摄像头拍摄正脸面部静脉图片；
图3为本发明实施例提供的面部静脉图片的68个特征点分布示例图；
图4为本发明实施例提供的采集的左脸静脉特征图片；
图5为本发明实施例提供的采集的正脸静脉特征图片；
图6为本发明实施例提供的一种基于多姿态面部静脉的身份识别装置的结构示意图；
图7为本发明另一实施例提供的一种基于多姿态面部静脉的身份识别装置的结构示意图；
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
实施例1：
参照附图1所示，本发明涉及一种基于多姿态面部静脉的身份识别方法，包括以下步骤：
1）人脸检测与姿态判断：分别使用RGB摄像头和红外摄像头拍摄1000个人的不同姿态下的100张人脸图片和面部静脉图片，其中在各个姿态下采集的照片数量保持均衡，其中拍摄的面部静脉图片如图2所示。
使用RetinaFace将面部静脉图片的68个特征点检测出来，68个特征点的分布如图3所示，其中46标志左眼左侧眼角、55标志左侧嘴角、13-17标志左侧人脸边缘的5个特征点，37标志右眼右侧眼角、49标志右侧嘴角、1-5标志右侧人脸边缘的5个特征点；
若左眼左侧眼角和左侧嘴角特征点的中点在检测出的人脸框的中轴线的右侧，则为左脸；若右眼右侧眼角和右侧嘴角特征点的中点在检测出的人脸框的中轴线的左侧，则为右脸；否则为正脸。
2）面部静脉特征图片采集与预处理：根据步骤1）中的判断结果，若判断为左脸，则采集左脸静脉特征图片，所采集的位置是左眼左侧眼角、左侧嘴角、左侧人脸边缘的5个特征点所围合形成的区域，即图3中46、55、13-17共计7个特征点所围合形成的区域；若判断为右脸，则采集右脸静脉特征图片，所采集的位置是右眼右侧眼角、右侧嘴角、右侧人脸边缘的5个特征点所围合形成的区域，即图3中37、49、1-5共计7个特征点所围合形成的区域；若判断为正脸，则采集正脸静脉特征图片，所采集的位置是左眼左侧眼角、左侧嘴角、右眼右侧眼角、右侧嘴角所围合形成的区域，即图3中46、37、49、55共计4个特征点所围合形成的区域。其中采集的左脸静脉特征图片和正脸静脉特征图片如图4，图5所示。对采集到正脸静脉特征图片或侧脸静脉特征图片进行扩充与增强处理。其中，扩充的方式为：设定相应的概率，随机对图片进行平移、旋转、放缩、裁剪、翻转操作，或随机改变图片的亮度、对比度、饱和度，或随机加上高斯噪声；或者任意多种方式的组合。具体的概率及扩充方式本实施例对此不作限定，只要能实现图片的扩充即可。
增强的方法为窗口技术，其每个像素的计算公式如式（1）所示。
其中，
为正脸静脉特征图片或侧脸静脉特征图片原始像素值，
为正脸静脉特征图片或侧脸静脉特征图片增强后的像素值，
为设置的像素下限阈值。
当缺少海量数据时，进行图片扩充，增加样本集，可以保证模型的有效训练，增加模型训练的准确度。通过上述增强技术，可以有效改善图像质量特征，增强感兴趣区域的特征，便于提取特征向量。
3）模型训练：将步骤2）中采集到的与扩充增强处理后的正脸静脉特征图片或侧脸静脉特征图片分别输入到正脸识别模型或侧脸识别模型，并使用损失函数ArcFace Loss分别对其进行训练；上述正脸识别模型或侧脸识别模型均为将激活函数由ReLu更改为PReLu的卷积神经网络ResNet50模型。其中，ArcFace Loss的公式为：
式中，L为ArcFace Loss，m为训练样本数，s为缩放系数，i为某一训练样本，yi为训练样本i所属的类别，
为样本i所属类别yi的角度，j为某一类别，n为类别数，
为类别j的角度，
为所设置的间隔大小。
4）注册：按照步骤1）、步骤2）的方式采集待注册用户的正脸静脉特征图片和侧脸静脉特征图片，分别输入到所述步骤3）训练完成的正脸识别模型和侧脸识别模型中，提取待注册用户的512维特征向量，并将该特征向量作为该人脸的特征存储在注册特征库中；其中，符合要求的侧脸静脉特征图片以相应眼角和嘴角的中点超过人脸框60%的位置较为合适。然后将从所采集的待注册用户的左脸静脉特征图片中提取的特征向量保存为左脸注册特征库，将从所采集的待注册用户的右脸静脉特征图片中提取的特征向量保存为右脸注册特征库，将从所采集的待注册用户的正脸静脉特征图片中提取的特征向量保存为正脸注册特征库。
5）识别：分别设定正脸和侧脸识别的余弦距离阈值；按照步骤1）和步骤2）的方式采集待识别用户的正脸静脉特征图片或侧脸静脉特征图片，并将其输入到所述步骤3）训练完成的正脸识别模型或侧脸识别模型中，得到该待识别用户的512维特征向量；分别计算该特征向量与对应注册特征库中每一特征向量的余弦距离，并依据余弦距离阈值判断其是否对应到注册特征库中某一个人脸。
其中，确定正脸余弦距离阈值的步骤为：按照所述步骤2）的方法分别采集不同个体的正脸静脉特征图片，并将其输入所述步骤3）训练完成的正脸识别模型中，提取其512维特征向量；将不同个体的512维特征向量两两比对，计算余弦距离；选取最小的值设为正脸余弦距离阈值。确定侧脸余弦距离阈值的步骤为：按照所述步骤2）的方法分别采集不同个体的侧脸静脉特征图片，并将其输入所述步骤3）训练完成的侧脸识别模型中，提取其512维特征向量；将不同个体的512维特征向量两两比对，计算余弦距离；选最小的值设为侧脸余弦距离阈值。
判断其是否对应到注册特征库中某一个人脸的方法是：在对应注册特征库中选择余弦距离最小的特征向量与之比对，若两者之间的余弦距离小于余弦距离阈值，则该待识别用户的正脸静脉特征图片或侧脸静脉特征图片属于注册特征库；反之，若两者之间的余弦距离大于余弦距离阈值，则该待识别用户的正脸静脉特征图片或侧脸静脉特征图片不属于注册特征库。
本实施例中，步骤1）、步骤2）、步骤3）是模型训练的过程，步骤4）是待注册用户进行注册的过程，步骤5）待识别的用户进行图片识别的过程。
为了验证本方法的识别通过率，采用如下测试方式进行测试：
将上述步骤1）中的面部静脉图片按照7：3的比例分为训练集和测试集，使用RetinaFace将训练集中的面部静脉图片的68个特征检测出来，并判断正脸、左脸和右脸；
根据步骤1）中检测出的姿态，按照步骤2）采集适合的正脸面部静脉特征图片或侧脸面部静脉特征图片，并进行扩充增强处理；
将处理后的面部静脉特征图片按照步骤3）进行模型训练；
按照步骤4）在测试集的每个人中随机挑选一张符合要求的正脸、左脸和右脸面部静脉特征图片分别输入到上述训练完成的模型中，提取512维特征，构建对应的注册特征库；
设定正脸余弦距离阈值为0.2985，侧脸余弦距离阈值0.2893；
按照步骤5）将测试集中的其它面部静脉特征图片输入到对应的训练完成的模型中提取512维特征，将其与相应的注册特征库进行一一对比，选择余弦距离最小的注册图像进行配对。若测试的是正脸静脉特征图片，两者之间的余弦距离小于0.2985，则该图片属于该注册特征库，属于该人脸；否则该图片不在注册库的类别中，不属于该人脸。若测试的是左脸静脉特征图片或右脸静脉特征图片，两者之间的余弦距离小于0.2893，则该图片属于该注册特征库，属于该人脸，否则该图片不在注册库的类别中，不属于该人脸。
最终，计算通过率，正脸通过率为94.28%，侧脸通过率为82.53%，总通过率为86.45%。为了验证本发明的有效性，按以上步骤重复实验两次，并与原始未改进的基于普通RGB图片训练的人脸识别方法对比，分别在相同阈值下验证识别通过率，所得的实验结果如表1所示：
由实验结果可知，基于多姿态面部静脉的身份识别方法，不仅在正脸状态下保持了较高的通过率，在侧脸情况下也保持了较高的通过率，此外，本发明所采用的方法的总通过率要明显好于普通基于RGB图像的普通人脸识别算法，由此可以看出相对于原始人脸识别方法，本方法可以有效地根据不同姿态提取相应的人脸面部静脉特征，弥补普通人脸识别方法在大角度下识别性能差的缺点，有效地提高人脸识别算法的鲁棒性。
实施例2
结合图6所示，本发明涉及一种基于多姿态面部静脉的身份识别装置，包括：
1）人脸检测与姿态判断模块：用于人脸检测与姿态判断，即采用红外摄像头拍摄面部静脉图片，通过人脸检测算法RetinaFace检测出人脸框和68个特征点，根据特征点来判断人脸姿态，包括正脸、侧脸，所述侧脸包括左脸和右脸；本模块用于实现实施例1中步骤1）的功能。
2）面部静脉图片采集与预处理模块：用于面部静脉图片采集与预处理，即依据步骤1）检测出的姿态，采集所述面部静脉图片的正脸静脉特征图片或侧脸静脉特征图片，并对所采集的正脸静脉特征图片或侧脸静脉特征图片分别进行扩充与增强处理；本模块用于实现实施例1中步骤2）的功能。
3）模型训练模块：用于对模型进行训练，即将经过步骤2）处理后的正脸静脉特征图片或侧脸静脉特征图片分别输入到正脸识别模型或侧脸识别模型，并使用损失函数分别对其进行训练；本模块用于实现实施例1中步骤3）的功能。
4）注册模块：用于待注册用户进行注册，即在注册阶段，按照步骤1）、步骤2）的方式采集待注册用户的正脸静脉特征图片和侧脸静脉特征图片，分别输入到所述步骤3）训练完成的正脸识别模型和侧脸识别模型中，提取待注册用户的512维特征向量，并将该特征向量作为该人脸的特征存储在注册特征库中；本模块用于实现实施例1中步骤4）的功能。
5）识别模块：即用于待识别用户进行识别，即在识别阶段，分别设定正脸和侧脸识别的余弦距离阈值；按照步骤1）和步骤2）的方式采集待识别用户的正脸静脉特征图片或侧脸静脉特征图片，并将其输入到所述步骤3）训练完成的正脸识别模型或侧脸识别模型中，得到该待识别用户的512维特征向量；分别计算该特征向量与对应注册特征库中每一特征向量的余弦距离，并依据余弦距离阈值判断其是否对应到注册特征库中某一个人脸；本模块用于实现实施例1中步骤5）的功能。
需要说明的是在本实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
实施例3
结合图7所示，本发明另一实施例提供的一种基于多姿态面部静脉的身份识别装置的结构图，该装置包括至少一个处理器和存储器，图7中以一个处理器为例。处理器和存储器通过总线连接，存储器存储有可被处理器执行的指令；处理器，在执行存储器中存储的程序时，能实现以下方法：1）人脸检测与姿态判断：采用红外摄像头拍摄面部静脉图片，通过人脸检测算法RetinaFace检测出人脸框和68个特征点，根据特征点来判断人脸姿态，包括正脸、侧脸，所述侧脸包括左脸和右脸；
2）面部静脉特征图片采集与预处理：依据步骤1）检测出的姿态，采集所述面部静脉图片的正脸静脉特征图片或侧脸静脉特征图片，并对所采集的正脸静脉特征图片或侧脸静脉特征图片分别进行扩充与增强处理；
3）模型训练：将经过步骤2）处理后的正脸静脉特征图片或侧脸静脉特征图片分别输入到正脸识别模型或侧脸识别模型，并使用损失函数分别对其进行训练；
4）注册：按照步骤1）、步骤2）的方式采集待注册用户的正脸静脉特征图片和侧脸静脉特征图片，分别输入到所述步骤3）训练完成的正脸识别模型和侧脸识别模型中，提取待注册用户的512维特征向量，并将该特征向量作为该人脸的特征存储在注册特征库中；
5）识别：分别设定正脸和侧脸识别的余弦距离阈值；按照步骤1）和步骤2）的方式采集待识别用户的正脸静脉特征图片或侧脸静脉特征图片，并将其输入到所述步骤3）训练完成的正脸识别模型或侧脸识别模型中，得到该待识别用户的512维特征向量；分别计算该特征向量与对应注册特征库中每一特征向量的余弦距离，并依据余弦距离阈值判断其是否对应到注册特征库中某一个人脸。
关于实施例2和实施例3中的装置，因为其与实施例1中公开的方法相对应，所以简单描述。应当指出，所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍属于本发明的专利涵盖范围之内。
Claims (10)
1.一种基于多姿态面部静脉的身份识别方法，其特征在于，包括：
1）人脸检测与姿态判断：采用红外摄像头拍摄面部静脉图片，通过人脸检测算法RetinaFace检测出人脸框和68个特征点，根据特征点来判断人脸姿态，包括正脸、侧脸，所述侧脸包括左脸和右脸；
2）面部静脉特征图片采集与预处理：依据步骤1）检测出的姿态，采集所述面部静脉图片的正脸静脉特征图片或侧脸静脉特征图片，并对所采集的正脸静脉特征图片或侧脸静脉特征图片进行扩充与增强处理；
3）模型训练：将经过步骤2）处理后的正脸静脉特征图片或侧脸静脉特征图片分别输入到正脸识别模型或侧脸识别模型，并使用损失函数分别对其进行训练；
4）注册：按照步骤1）、步骤2）的方式采集待注册用户的正脸静脉特征图片和侧脸静脉特征图片，分别输入到所述步骤3）训练完成的正脸识别模型和侧脸识别模型中，提取待注册用户的512维特征向量，并将该特征向量作为该人脸的特征存储在注册特征库中；
5）识别：分别设定正脸和侧脸识别的余弦距离阈值；按照步骤1）和步骤2）的方式采集待识别用户的正脸静脉特征图片或侧脸静脉特征图片，并将其输入到所述步骤3）训练完成的正脸识别模型或侧脸识别模型中，得到该待识别用户的512维特征向量；分别计算该特征向量与对应注册特征库中每一特征向量的余弦距离，并依据余弦距离阈值判断其是否对应到注册特征库中某一个人脸。
2.根据权利要求1所述的基于多姿态面部静脉的身份识别方法，其特征在于：所述步骤1）中，判断人脸姿态的方法是：若左眼左侧眼角和左侧嘴角特征点的中点在检测出的人脸框的中轴线的右侧，则为左脸；若右眼右侧眼角和右侧嘴角特征点的中点在检测出的人脸框的中轴线的左侧，则为右脸；否则为正脸。
3.根据权利要求1所述的基于多姿态面部静脉的身份识别方法，其特征在于：所述步骤2）中，若判断为左脸，则采集左脸静脉特征图片，所采集的位置是左眼左侧眼角、左侧嘴角、左侧人脸边缘的5个特征点所围合形成的区域；若判断为右脸，则采集右脸静脉特征图片，所采集的位置是右眼右侧眼角、右侧嘴角、右侧人脸边缘的5个特征点所围合形成的区域；若判断为正脸，则采集正脸静脉特征图片，所采集的位置是左眼左侧眼角、左侧嘴角、右眼右侧眼角、右侧嘴角所围合形成的区域。
4.根据权利要求3所述的基于多姿态面部静脉的身份识别方法，其特征在于：所述步骤2）中，对正脸静脉特征图片或侧脸静脉特征图片进行扩充的方式为：设定相应的概率，随机对图片进行平移、旋转、放缩、裁剪、翻转操作，或随机改变图片的亮度、对比度、饱和度，或随机加上高斯噪声；对正脸静脉特征图片或侧脸静脉特征图片进行增强的方法为窗口技术，其每个像素的计算公式如式（1）所示：
其中，
为正脸静脉特征图片或侧脸静脉特征图片原始像素值，
为正脸静脉特征图片或侧脸静脉特征图片增强后的像素值，
为设置的像素下限阈值。
5.根据权利要求1所述的基于多姿态面部静脉的身份识别方法，其特征在于：所述步骤3）中，正脸识别模型和侧脸识别模型为改进后的卷积神经网络ResNet50模型，改进方式为将原始卷积神经网络ResNet50模型中的激活函数由ReLu更改为PReLu；所述损失函数为ArcFace Loss，公式为：
式中，L为ArcFace Loss，m为训练样本数，s为缩放系数，i为某一训练样本，yi为训练样本i所属的类别，
为样本i所属类别yi的角度，j为某一类别，n为类别数，
为类别j的角度，
为所设置的间隔大小。
6.根据权利要求1所述的基于多姿态面部静脉的身份识别方法，其特征在于：所述步骤4）中，将从所采集的待注册用户的左脸静脉特征图片中提取的特征向量保存为左脸注册特征库，将从所采集的待注册用户的右脸静脉特征图片中提取的特征向量保存为右脸注册特征库，将从所采集的待注册用户的正脸静脉特征图片中提取的特征向量保存为正脸注册特征库。
7.根据权利要求1所述的基于多姿态面部静脉的身份识别方法，其特征在于：所述步骤5）中，确定正脸余弦距离阈值的步骤为：按照所述步骤2）的方法分别采集不同个体的正脸静脉特征图片，并将其输入所述步骤3）训练完成的正脸识别模型中，提取其512维特征向量；将不同个体的512维特征向量两两比对，计算余弦距离；选取最小值设为正脸余弦距离阈值；
确定侧脸余弦距离阈值的步骤为：按照所述步骤2）的方法分别采集不同个体的侧脸静脉特征图片，并将其输入所述步骤3）训练完成的侧脸识别模型中，提取其512维特征向量；将不同个体的512维特征向量两两比对，计算余弦距离；选取最小值设为侧脸余弦距离阈值。
8.根据权利要求7所述的基于多姿态面部静脉的身份识别方法，其特征在于：所述步骤5）中，判断其是否对应到注册特征库中某一个人脸的方法是：在对应注册特征库中选择余弦距离最小的特征向量与之比对，若两者之间的余弦距离小于余弦距离阈值，则该待识别用户的正脸静脉特征图片或侧脸静脉特征图片属于注册特征库；反之，若两者之间的余弦距离大于余弦距离阈值，则该待识别用户的正脸静脉特征图片或侧脸静脉特征图片不属于注册特征库。
9.一种基于多姿态面部静脉的身份识别装置，其特征在于，包括：
1）人脸检测与姿态判断模块：用于人脸检测与姿态判断，即采用红外摄像头拍摄面部静脉图片，通过人脸检测算法RetinaFace检测出人脸框和68个特征点，根据特征点来判断人脸姿态，包括正脸、侧脸，所述侧脸包括左脸和右脸；
2）面部静脉图片采集与预处理模块：用于面部静脉图片采集与预处理，即依据步骤1）检测出的姿态，采集所述面部静脉图片的正脸静脉特征图片或侧脸静脉特征图片，并对所采集的正脸静脉特征图片或侧脸静脉特征图片分别进行扩充与增强处理；
3）模型训练模块：用于对模型进行训练，即将经过步骤2）处理后的正脸静脉特征图片或侧脸静脉特征图片分别输入到正脸识别模型或侧脸识别模型，并使用损失函数分别对其进行训练；
4）注册模块：用于待注册用户进行注册，即在注册阶段，按照步骤1）、步骤2）的方式采集待注册用户的正脸静脉特征图片和侧脸静脉特征图片，分别输入到所述步骤3）训练完成的正脸识别模型和侧脸识别模型中，提取待注册用户的512维特征向量，并将该特征向量作为该人脸的特征存储在注册特征库中；
5）识别模块：即用于待识别用户进行识别，即在识别阶段，分别设定正脸和侧脸识别的余弦距离阈值；按照步骤1）和步骤2）的方式采集待识别用户的正脸静脉特征图片或侧脸静脉特征图片，并将其输入到所述步骤3）训练完成的正脸识别模型或侧脸识别模型中，得到该待识别用户的512维特征向量；分别计算该特征向量与对应注册特征库中每一特征向量的余弦距离，并依据余弦距离阈值判断其是否对应到注册特征库中某一个人脸。
10.一种基于多姿态面部静脉的身份识别装置，其特征在于，包括：
1）存储器，用于储存计算机程序；
2）处理器，用于执行所述计算机程序时实现权利要求1至8任一项所述的基于多姿态面部静脉的身份识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110388918.8A CN112801066B (zh) | 2021-04-12 | 2021-04-12 | 一种基于多姿态面部静脉的身份识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110388918.8A CN112801066B (zh) | 2021-04-12 | 2021-04-12 | 一种基于多姿态面部静脉的身份识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112801066A true CN112801066A (zh) | 2021-05-14 |
| CN112801066B CN112801066B (zh) | 2022-05-17 |
Family
ID=75816861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110388918.8A Active CN112801066B (zh) | 2021-04-12 | 2021-04-12 | 一种基于多姿态面部静脉的身份识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112801066B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205058A (zh) * | 2021-05-18 | 2021-08-03 | 中国科学院计算技术研究所厦门数据智能研究院 | 一种防止非活体攻击的人脸识别方法 |
| CN116468959A (zh) * | 2023-06-15 | 2023-07-21 | 清软微视(杭州)科技有限公司 | 工业缺陷分类方法、装置、电子设备及存储介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101515324A (zh) * | 2009-01-21 | 2009-08-26 | 上海银晨智能识别科技有限公司 | 适用于多种姿态的人脸识别布控系统及方法 |
| CN106682598A (zh) * | 2016-12-14 | 2017-05-17 | 华南理工大学 | 一种基于级联回归的多姿态的人脸特征点检测方法 |
| WO2018137595A1 (zh) * | 2017-01-25 | 2018-08-02 | 丁贤根 | 一种面部识别方法 |
| CN108596135A (zh) * | 2018-04-26 | 2018-09-28 | 上海诚数信息科技有限公司 | 身份识别方法及系统 |
| CN108765559A (zh) * | 2018-08-21 | 2018-11-06 | 广东工业大学 | 数据采集装置及利用该装置辅助医美整容行业的方法 |
| WO2019091271A1 (zh) * | 2017-11-13 | 2019-05-16 | 苏州科达科技股份有限公司 | 一种人脸检测方法以及人脸检测系统 |
| CN109800643A (zh) * | 2018-12-14 | 2019-05-24 | 天津大学 | 一种活体人脸多角度的身份识别方法 |
| CN110096958A (zh) * | 2019-03-27 | 2019-08-06 | 深圳和而泰家居在线网络科技有限公司 | 一种识别正脸图像的方法、装置及计算设备 |
| CN111178221A (zh) * | 2019-12-24 | 2020-05-19 | 珠海格力电器股份有限公司 | 身份识别方法及装置 |
| CN111368766A (zh) * | 2020-03-09 | 2020-07-03 | 云南安华防灾减灾科技有限责任公司 | 一种基于深度学习的牛脸检测与识别方法 |
| CN111428671A (zh) * | 2020-03-31 | 2020-07-17 | 杭州博雅鸿图视频技术有限公司 | 人脸结构化信息识别方法、系统、装置及存储介质 |
| CN111627005A (zh) * | 2020-05-25 | 2020-09-04 | 殷晓峰 | 一种基于形状进行骨骼细分的骨折区域识别方法和系统 |
| CN111639558A (zh) * | 2020-05-15 | 2020-09-08 | 圣点世纪科技股份有限公司 | 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法 |
| CN111931758A (zh) * | 2020-10-19 | 2020-11-13 | 北京圣点云信息技术有限公司 | 一种结合面部静脉的人脸识别方法及装置 |
| CN112036383A (zh) * | 2020-11-04 | 2020-12-04 | 北京圣点云信息技术有限公司 | 一种基于手静脉的身份识别方法及装置 |
| CN112200159A (zh) * | 2020-12-01 | 2021-01-08 | 四川圣点世纪科技有限公司 | 一种基于改进残差网络的非接触式掌静脉识别方法 |
| CN112560701A (zh) * | 2020-12-17 | 2021-03-26 | 成都新潮传媒集团有限公司 | 一种人脸图像提取方法、装置及计算机存储介质 |
-
2021
- 2021-04-12 CN CN202110388918.8A patent/CN112801066B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101515324A (zh) * | 2009-01-21 | 2009-08-26 | 上海银晨智能识别科技有限公司 | 适用于多种姿态的人脸识别布控系统及方法 |
| CN106682598A (zh) * | 2016-12-14 | 2017-05-17 | 华南理工大学 | 一种基于级联回归的多姿态的人脸特征点检测方法 |
| WO2018137595A1 (zh) * | 2017-01-25 | 2018-08-02 | 丁贤根 | 一种面部识别方法 |
| WO2019091271A1 (zh) * | 2017-11-13 | 2019-05-16 | 苏州科达科技股份有限公司 | 一种人脸检测方法以及人脸检测系统 |
| CN108596135A (zh) * | 2018-04-26 | 2018-09-28 | 上海诚数信息科技有限公司 | 身份识别方法及系统 |
| CN108765559A (zh) * | 2018-08-21 | 2018-11-06 | 广东工业大学 | 数据采集装置及利用该装置辅助医美整容行业的方法 |
| CN109800643A (zh) * | 2018-12-14 | 2019-05-24 | 天津大学 | 一种活体人脸多角度的身份识别方法 |
| CN110096958A (zh) * | 2019-03-27 | 2019-08-06 | 深圳和而泰家居在线网络科技有限公司 | 一种识别正脸图像的方法、装置及计算设备 |
| CN111178221A (zh) * | 2019-12-24 | 2020-05-19 | 珠海格力电器股份有限公司 | 身份识别方法及装置 |
| CN111368766A (zh) * | 2020-03-09 | 2020-07-03 | 云南安华防灾减灾科技有限责任公司 | 一种基于深度学习的牛脸检测与识别方法 |
| CN111428671A (zh) * | 2020-03-31 | 2020-07-17 | 杭州博雅鸿图视频技术有限公司 | 人脸结构化信息识别方法、系统、装置及存储介质 |
| CN111639558A (zh) * | 2020-05-15 | 2020-09-08 | 圣点世纪科技股份有限公司 | 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法 |
| CN111627005A (zh) * | 2020-05-25 | 2020-09-04 | 殷晓峰 | 一种基于形状进行骨骼细分的骨折区域识别方法和系统 |
| CN111931758A (zh) * | 2020-10-19 | 2020-11-13 | 北京圣点云信息技术有限公司 | 一种结合面部静脉的人脸识别方法及装置 |
| CN112036383A (zh) * | 2020-11-04 | 2020-12-04 | 北京圣点云信息技术有限公司 | 一种基于手静脉的身份识别方法及装置 |
| CN112200159A (zh) * | 2020-12-01 | 2021-01-08 | 四川圣点世纪科技有限公司 | 一种基于改进残差网络的非接触式掌静脉识别方法 |
| CN112560701A (zh) * | 2020-12-17 | 2021-03-26 | 成都新潮传媒集团有限公司 | 一种人脸图像提取方法、装置及计算机存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| JIANKANG DENG 等: "RetinaFace: Single-shot Multi-level Face Localisation in the Wild", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| 周雅 等: "基于正态分布变换的多位姿手掌部三维静脉识别", 《北京理工大学学报》 * |
| 张泽宝 主编: "《医学影像物理学》", 30 November 2000, 北京：人民卫生出版社 * |
| 牛作东 等: "改进RetinaFace的自然场景口罩佩戴检测算法", 《计算机工程与应用》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205058A (zh) * | 2021-05-18 | 2021-08-03 | 中国科学院计算技术研究所厦门数据智能研究院 | 一种防止非活体攻击的人脸识别方法 |
| CN116468959A (zh) * | 2023-06-15 | 2023-07-21 | 清软微视(杭州)科技有限公司 | 工业缺陷分类方法、装置、电子设备及存储介质 |
| CN116468959B (zh) * | 2023-06-15 | 2023-09-08 | 清软微视(杭州)科技有限公司 | 工业缺陷分类方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112801066B (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107423690B (zh) | 一种人脸识别方法及装置 | |
| CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| US6661907B2 (en) | Face detection in digital images | |
| Morales et al. | Towards contactless palmprint authentication | |
| CN111931758B (zh) | 一种结合面部静脉的人脸识别方法及装置 | |
| CN107729820B (zh) | 一种基于多尺度hog的手指静脉识别方法 | |
| CN109858439A (zh) | 一种基于人脸的活体检测方法及装置 | |
| WO2020244071A1 (zh) | 基于神经网络的手势识别方法、装置、存储介质及设备 | |
| CN112801066B (zh) | 一种基于多姿态面部静脉的身份识别方法及装置 | |
| CN108446690A (zh) | 一种基于多视角动态特征的人脸活体检测方法 | |
| CN106529377A (zh) | 一种基于图像的年龄估计方法、装置及系统 | |
| CN111639562B (zh) | 一种手掌感兴趣区域的智能定位方法 | |
| Das et al. | A framework for liveness detection for direct attacks in the visible spectrum for multimodal ocular biometrics | |
| Yin et al. | Fusion of face recognition and facial expression detection for authentication: a proposed model | |
| Krichen et al. | Specific texture analysis for iris recognition | |
| JP2003044853A (ja) | 顔検出装置、顔向き検出装置、部分画像抽出装置及びそれらの方法 | |
| Sabina et al. | Edge‐based effective active appearance model for real‐time wrinkle detection | |
| Aydoğdu et al. | A study on liveness analysis for palmprint recognition system | |
| Gowda et al. | Robust multimodal biometric verification system based on face and fingerprint | |
| KR20080068959A (ko) | 활성형상모델과 가버 특징 벡터 기반 얼굴 인식 시스템 | |
| Topaloglu | Revised: Finger print classification based on gray-level fuzzy clustering co-occurrence matrix | |
| CN113610071B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| CN104091160B (zh) | 一种人脸检测方法 | |
| CN117133022B (zh) | 彩色图像掌纹识别方法及装置、设备、存储介质 | |
| AU2020103067A4 (en) | Computer Vision IoT-Facial Expression/Human Action Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |