CN112990047A - 一种结合面部角度信息的多姿态人脸验证方法 - Google Patents

一种结合面部角度信息的多姿态人脸验证方法 Download PDF

Info

Publication number
CN112990047A
CN112990047A CN202110325222.0A CN202110325222A CN112990047A CN 112990047 A CN112990047 A CN 112990047A CN 202110325222 A CN202110325222 A CN 202110325222A CN 112990047 A CN112990047 A CN 112990047A
Authority
CN
China
Prior art keywords
sample
target
detected
face
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110325222.0A
Other languages
English (en)
Other versions
CN112990047B (zh
Inventor
杨若瑜
桑婕媚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110325222.0A priority Critical patent/CN112990047B/zh
Publication of CN112990047A publication Critical patent/CN112990047A/zh
Application granted granted Critical
Publication of CN112990047B publication Critical patent/CN112990047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种结合面部角度信息的多姿态人脸验证方法，包括获取样本，并构建样本信息库；得到待测目标的面部角度信息，并确定待测目标的姿态标志参数；生成待测目标的正面化图像和样本信息库中每个样本的姿态化图像；提取待测目标的正面化特征，以及待测目标和样本信息库中每个样本的姿态化特征；对待测目标与所有样本进行特征比对，分别计算待测目标与所有样本的正面化相似度和姿态化相似度；根据正面化相似度和姿态化相似度计算待测目标与所有样本的最终相似度，得到并输出待测目标的验证结果。相较于现有技术，提升了多姿态人脸验证的准确率和验证效率。

Description

一种结合面部角度信息的多姿态人脸验证方法
技术领域
本发明涉及生物识别技术领域，尤其涉及一种结合面部角度信息的多姿态人脸验证方法。
背景技术
人脸验证是身份验证的一种重要方式。人脸特征较虹膜、指纹等其他生物特征有其独特的价值。在安防、监控、银行身份验证、公安系统的身份验证、档案管理系统等领域有着广泛的应用前景。人脸手机解锁、人脸支付、安检门禁等应用通过现代化的电子设备(如门禁设备、手机、电脑等终端)为人们的生活带来极大便利。
现有技术中，人脸验证的具体流程一般为：首先构建人脸特征库，在验证步骤时，获取待验证的人脸图像并进行特征提取，通过提取得到的人脸特征与人脸特征库中预先存储的特征计算相似度，最终根据相似度与阈值的比较来判定人脸是否通过验证。
然而，现有的人脸验证方法对于一些侧脸、低头等多姿态情形存在验证准确率低的情况，因此这些方法一般要求用户在正脸状态下来进行验证，从而规避多姿态情形造成的验证率低的情况。对于多姿态人脸验证问题而言，关键在于结合姿态信息提取到合适的特征以及合理的特征比对方法。
通常，人脸的姿态可以通过表示方位的俯仰角pitch、偏航角yaw和翻滚角roll三个旋转角度来表示，其中pitch表示关于x轴的旋转角度，yaw表示关于y轴的旋转角度，roll表示关于z轴的旋转角度。这里，x、y、z轴可以视为以三维人脸中心为坐标原点的三维坐标系统下的三条坐标轴，pitch、yaw、roll的取值范围一般认为是
Figure BDA0002994355000000011
为得到人脸的面部角度信息，即俯仰角pitch、偏航角yaw和翻滚角roll三个旋转角度，以往要先使用人脸检测和人脸关键点定位，再根据关键点求解PnP问题进行姿态估计，从而得到人脸的三个旋转角度。PnP问题是Prespective-n-Point问题，通俗讲是通过世界的N个特征点与图像成像中的N个像点，计算出投影关系，从而获得物体物姿的问题。计算机视觉领域的PnP问题一般可以使用计算机视觉库OpenCV的solvePnP函数求解。以往通过求解PnP问题来得到姿态数据的这种方案的问题的难点主要在于：对于多姿态场景下的人脸关键点，若要求过少的关键点则无法得到姿态信息，若要求过多关键点，如dlib库的68点人脸关键点方法对于人脸部件缺失的图像则无法定位到人脸的关键点。因此，在多姿态场景下，根据关键点求解PnP问题不是一种很好的得到姿态信息的方案。
发明内容
本发明目的在于提供一种结合面部角度信息的多姿态人脸验证方法，以提高多姿态人脸验证的准确率。
一种结合面部角度信息的多姿态人脸验证方法，包括：
步骤1，获取样本，并构建样本信息库；
步骤2，获取待测目标的原始人脸图像，得到所述待测目标的面部角度信息，并确定所述待测目标的姿态标志参数；
步骤3，生成所述待测目标的正面化图像和样本信息库中每个样本的姿态化图像；
步骤4，提取所述待测目标的正面化特征，以及所述待测目标和样本信息库中每个样本的姿态化特征；
步骤5，对所述待测目标与所有样本进行特征比对，分别计算所述待测目标与所有样本的正面化相似度和姿态化相似度；
步骤6，根据所述正面化相似度和姿态化相似度计算待测目标与所有样本的最终相似度，得到并输出所述待测目标的验证结果。
进一步地，在一种实现方式中，所述步骤1，包括：
步骤1-1，通过6DoF 3D人脸姿态估计方法，以所述样本的正面图像作为人脸图像，进行人脸姿态估计，得到人脸边界框，所述人脸边界框包括人脸边界点坐标以及人脸边界宽和高；
本发明所述的6DoF 3D人脸姿态估计方法，是由Facebook等于2021年提出一种全新的直接得到姿态信息的6DoF 3D人脸姿态估计方法，6DoF指人体在3D空间里的活动情况，有上下俯仰、左右摇摆、滚动、前/后、上/下、左/右这六种移动方式，具体可指沿三个方向的转动以及绕三个轴的平动。本发明中，6DoF 3D人脸姿态估计方法很好地实现了端到端地直接提取得到面部角度信息，跳过人脸检测和人脸关键点定位这两个步骤，这种简单有效的方法带来计算效率的提升、准确性的提升。基于上述优点，本发明使用6DoF 3D人脸姿态估计方法来得到人脸的面部角度信息。
具体的，本发明中，通过6DoF 3D人脸姿态估计方法，以人脸图像、给定的姿态均值、给定的姿态标准差以及给定的3D人脸模型的68点关键点作为输入，基于Faster-RCNN网络直接回归姿态，网络输出旋转向量rotate_vector和平移向量translate_vector，将旋转向量rotate_vector转为欧拉角即得到俯仰角pitch、偏航角yaw和翻滚角roll。同时，将能够表达3D姿态信息的3D人脸模型投影到2D图像平面上获得边界区域，将在2D图像平面上得到的边界区域定义为投影边界框，再将这种自定义的投影边界框转换为2D的包围框，得到人脸边界框以及对应的坐标信息。
步骤1-2，根据所述人脸边界框，剪裁所述样本的正面图像得到对应的正面人脸框图，所述正面人脸框图即样本的正面化图像；
步骤1-3，将所有已知正面图像和身份信息的样本构成样本库，用于产生人脸验证的可能结果，所述身份信息包括用户唯一标识和姓名；具体的，本发明中，所述身份信息包括用户唯一标识，如学号、手机号、身份证号和姓名。
步骤1-4，使用已训练好的以ArcFace为损失函数的ResNet特征提取网络，根据所述样本的正面图像提取得到正面化特征，将所有所述样本的正面化特征构成样本特征库，用于存储所述所有样本的正面化特征；本发明中，将样本的正面化特征保存为数据文件，在后续验证步骤中，就不需要再计算提取正面化特征了，直接读取样本特征库的特征数据文件即可。
步骤1-5，对所有所述样本根据步骤1-1至步骤1-4进行处理，根据所述样本的身份信息、正面化图像和正面化特征构成样本信息库，所述样本信息库的表达式如下：
Figure BDA0002994355000000031
其中，feature_gallery表示样本信息库，identity_i表示样本i的身份信息，front_i表示样本i的正面化图像，feature_front(i)表示样本i的正面化特征。
进一步地，在一种实现方式中，所述步骤2，包括：
步骤2-1，获取所述待测目标的原始人脸图像后，通过6DoF 3D人脸姿态估计方法得到所述待测目标的人脸的检测边界框和面部角度信息，所述面部角度信息包括待测目标面部的俯仰角、偏航角和翻滚角，所述检测边界框包括检测边界点坐标以及检测边界的宽和高；
步骤2-2，根据所述检测边界框，裁剪所述待测目标的原始人脸图像得到待测目标的人脸框图，所述人脸框图即待测目标的姿态化图像；具体的，本发明中，所述姿态化图像表示含有非正面姿态信息的人脸图像。
步骤2-3，将所述待测目标面部的俯仰角、偏航角和翻滚角通过sigmoid函数非线性映射得到俯仰系数、偏航系数和翻滚系数；
计算得到俯仰系数包括：先将俯仰角取绝对值，再通过sigmoid函数将俯仰角的绝对值非线性映射到(0,1)范围，俯仰系数的表达式如下：
Figure BDA0002994355000000041
其中，pitch_coefficient表示俯仰系数，pitch表示俯仰角；σ是一个sigmoid函数，
Figure BDA0002994355000000042
m为sigmoid函数的自变量，自变量m的取值范围为(-∞，+∞)；
类似地，计算得到偏航系数和翻滚系数：
Figure BDA0002994355000000043
Figure BDA0002994355000000044
其中，yaw_coefficient表示偏航系数，yaw表示偏航角，roll_coefficient表示翻滚系数，roll表示翻滚角；
步骤2-4，以所述俯仰系数、偏航系数和翻滚系数中的最大值，作为所述待测目标的姿态标志参数，所述待测目标的姿态标志参数的表达式如下：
λ_pose＝max(pitch_coefficient,yaw_coefficient,roll_coefficient)
其中，λ_pose表示待测目标的姿态标志参数，待测目标的姿态标志参数λ_pose的取值范围为(0,1)；
当所述待测目标的姿态标志参数λ_pose趋于0时，表示待测目标趋于正脸姿态；
当所述待测目标的姿态标志参数λ_pose趋于1时，表示待测目标趋于极端大的姿态；所述极端大的姿态指由于头部在三维空间坐标系中绕三个轴的旋转而造成的极大部分面部信息缺失的面部姿态，所述面部信息包括有身份辨识度的、能够起到身份标识性作用的面部信息。具体的，所述极端大的姿态如极端侧脸姿态、极端俯视姿态、极端仰视姿态、极端摆头姿态等。本发明中，所述面部信息包括有身份辨识度的、能够起到身份标识性作用的面部信息包括眼睛、鼻、嘴、脸型等，面部细节信息缺失的表现例如面部朝上、下、左、右方向旋转角度过大时，会造成眼睛、鼻、嘴、脸型等面部信息的不可见或部分缺失。
进一步地，在一种实现方式中，所述步骤3，包括：
步骤3-1，通过GAN-Control模型生成所述待测目标的人脸框图对应的正面化图像；
步骤3-2，根据所述样本信息库中的所有样本的正面化图像，以及所述待测目标的俯仰角、偏航角和翻滚角数据，通过GAN-Control模型以所述样本的正面化图像和面部角度信息作为参数输入，生成所述样本的正面化图像在面部角度信息对应的姿态下的姿态化图像。
本发明中，在步骤3所述的合成姿态化人脸阶段，采用Amazon One团队于2021年提出的GAN-Control模型，通过设置确切的属性来控制该模型生成得到指定条件下的高质量的人脸图像。本发明使用GAN-Control模型设定姿态属性(yaw、pitch、roll)可得到人脸图像在该姿态下的人脸图像。
进一步地，在一种实现方式中，所述步骤4，包括：
根据所述步骤3得到的待测目标的姿态化图像和正面化图像，以及所述样本信息库中每个样本的姿态化图像，对所述待测目标的正面化图像提取特征，得到待测目标的正面化特征，对所述待测目标的姿态化图像和样本的姿态化图像提取特征，得到所述待测目标的姿态化特征和样本的姿态化特征。
进一步地，在一种实现方式中，所述步骤4，包括：
步骤4-1，使用已训练好的以ArcFace为损失函数的ResNet特征提取网络，对所述待测目标的姿态化图像进行提取，得到所述待测目标的姿态化特征；对生成的所述正面化图像进行提取，得到所述待测目标的正面化特征；对所述样本信息库中每个样本的姿态化图像进行提取，得到所述样本的姿态化特征，所述样本的正面化特征通过步骤1获得；
步骤4-2，将所述待测目标的姿态化特征、待测目标的正面化特征、样本的姿态化特征和样本的正面化特征做L2范数归一化处理。
具体的，本发明中，所述归一化操作是指将一行特征的坐标转换成一个不含量纲(单位)的“单位向量”。L2范数归一化操作的公式为
Figure BDA0002994355000000061
式中以向量x为例，||x||是向量x的模，x'是向量x的单位向量。
本发明中，在步骤4所述的特征提取阶段，选择的是基于ArcFace损失函数的ResNet特征提取网络。ArcFace损失函数是一种常用于人脸识别的损失函数，它基于传统的Softmax损失，改进了对特征向量归一化和加性角度间隔，提高了人脸特征的类间可分性且加强类内紧度。具有判别性的人脸特征要求有更大的类间可分性和类内紧度。ResNet特征提取网络是一种常用于特征提取任务的网络结构，ResNet网络通过使用一种残差结构，带给网络更精确的表达能力，且能够更快收敛。
进一步地，在一种实现方式中，所述步骤5，包括：
步骤5-1，根据所述待测目标的正面化特征和姿态化特征与样本信息库中的每个样本的正面化特征和姿态化特征分别计算特征对的相似度，即所述待测目标与每个样本的正面化相似度和姿态化相似度；
根据所述待测目标和样本的正面化特征计算正面化相似度Similarity_front(t,i)：
Figure BDA0002994355000000062
其中，feature_front(t)是待测目标t的正面化特征，feature_front(i)是样本i的正面化特征；
由于ArcFace是一种在角度空间进行优化的损失函数，选择使用余弦相似度作为相似度度量方法；特征的余弦相似度用于表示两个特征向量之间的夹角来衡量它们之间的相似度，其取值范围是[-1,1]，其值越接近于1表示两者越相似；
上式为余弦相似度计算公式简单化简得到，其中的·为向量点积操作，即向量的各分量乘积之和，||||为求模操作，由于所述待测目标的正面化特征和样本的正面化特征已在步骤4经过归一化操作，所述待测目标的正面化特征和样本的正面化特征的模长均为1；
上式简单化简即为：
Similarity_front(t,i)＝feature_front(t)·feature_front(i)
步骤5-2，得到正面化相似度由高到低的前5个正面候选样本，记为：
sample_front_1,sample_front_2,sample_front_3,sample_front_4,sample_front_5；
类似地，计算所述待测目标和样本的姿态化相似度Similarity_pose(t,i)：
Similarity_pose(t,i)＝feature_pose(t)·feature_pose(i)
其中，feature_pose(t)是待测目标t的姿态化特征，feature_pose(i)是样本i的姿态化特征；
得到姿态化相似度由高到低的前5个姿态候选样本，记为：
sample_pose_1,sample_pose_2,sample_pose_3,sample_pose_4,sample_pose_5；
步骤5-3，将所有所述候选样本，即所述正面候选样本和姿态候选样本构成一个候选集合，所述候选集合的大小为大于或等于5且小于或等于10的正整数。
进一步地，在一种实现方式中，所述步骤6，包括：
步骤6-1，将所述待测目标和候选集合中的每一个候选样本两两组合，计算最终的姿态加权相似度；最终相似度是由步骤2得到的姿态标志参数和步骤5得到的正面化相似度和姿态化相似度加权计算得到；
所述待测目标和候选样本的最终相似度的计算公式如下：
Similarity(t,k)＝λ_pose*Similarity_pose(t,k)+(1-λ_pose)*Similarity_front(t,k)
其中，Similarity(t,k)表示待测目标t和候选样本k的最终相似度，k为候选集合中的每个候选样本，λ_pose为由步骤2得到的姿态标志参数；所述姿态标志参数λ_pose的设定受待测目标t的姿态影响：
具体的，本发明中，如当所述待测目标处于正面姿态时，所述待测目标面部角度的最大值趋于0时，所述姿态标志参数λ_pose的取值趋于0.26；
当所述待测目标处于极端大的姿态时，所述待测目标面部角度的最大值趋于90度时，所述姿态标志参数λ_pose的取值趋于0.73；
由此可见，所述姿态标志参数λ_pose的设定受待测目标的姿态影响，且随着面部越趋于正面姿态所述姿态标志参数λ_pose的值越小，越趋于极端大的姿态所述姿态标志参数λ_pose的值越大；
步骤6-2，记与所述待测目标的最终相似度得分最高的候选样本为最相似候选样本，从所述样本信息库中得到最相似候选样本的身份信息，所述待测目标的最可能身份即为最相似候选样本的身份信息；
步骤6-3，将所述待测目标与最相似候选样本的最终相似度分数与预设验证阈值比较得到判定验证结果；
若有Similarity(t,sample_top)≥α，则返回身份信息通过验证作为所述待测目标的验证结果；否则，返回验证失败作为所述待测目标的验证结果。本发明中，α为用于验证的预设验证阈值，本发明中取α＝0.3。具体的，本发明中，由于以AcrFace为损失函数的特征提取网络在LFW基准数据集上，人脸比对步骤中对余弦相似度的阈值取0.3时，能有最高的验证准确率，参考该实验结果，本发明选择取阈值为0.3。
本发明所述的一种结合面部角度信息的多姿态人脸验证方法中，创新地将人脸的面部角度数据引入到多姿态人脸验证的人脸生成和相似度计算步骤，具体的，通过使用一种新的能够实现端到端得到人脸姿态信息的6DoF 3D人脸姿态估计方法，得到人脸的面部角度信息，进一步确定一个姿态状态参数；而在姿态化人脸生成步骤中，利用给定的面部角度信息，借助一种生成指定姿态的人脸图像的GAN-Control网络，生成人脸在给定姿态下的姿态化图像；此外，还提出一种面向多姿态人脸的特征的两步化的相似度计算方案。在计算相似度步骤中，先按正面化特征对和姿态化特征对分别计算特征对的正面化相似度和姿态化相似度，按相似度得分分别自高向下起取候选样本，再对候选样本按姿态加权计算最终的姿态加权相似度。这种结合面部角度信息的两步化的相似度计算方案，在最终相似度计算步骤中引入了姿态状态参数，提升了多姿态人脸验证的准确率和验证效率。因此，相较于现有技术，本发明所述的方法实现了一种基于面部角度信息的多姿态人脸验证流程，具有一定通用性和实用性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例部分提供的一种结合面部角度信息的多姿态人脸验证方法的工作流程示意图；
图2是本发明实施例部分提供的一种结合面部角度信息的多姿态人脸验证方法中构建样本信息库的工作流程示意图；
图3a是本发明实施例部分提供的一种结合面部角度信息的多姿态人脸验证方法中采用6DoF 3D人脸姿态估计方法的原图；
图3b是本发明实施例部分提供的一种结合面部角度信息的多姿态人脸验证方法中采用6DoF 3D人脸姿态估计方法根据图3a提取得到面部角度信息后的可视化结果示意图；
图3c是本发明实施例部分提供的一种结合面部角度信息的多姿态人脸验证方法中采用GAN-Control方法根据图3a获得的正面化示意图。
图4a是本发明实施例部分提供的一种结合面部角度信息的多姿态人脸验证方法中采用GAN-Control方法的样本正面图，图中选择的示意图是待验证人脸图像图3a的目标样本的图像，即图4a与图3a是同一个身份；
图4b是本发明实施例部分提供的一种结合面部角度信息的多姿态人脸验证方法中采用GAN-Control方法根据图4a获得的在指定姿态下的姿态化示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例公开一种结合面部角度信息的多姿态人脸验证方法，本方法结合面部角度信息和先进的神经网络结构，本方法应用于当样本库中各样本只有一张正面姿态的照片，在人脸验证步骤，对于多姿态的待测人脸和正面化样本，在特征比对过程引入姿态标志参数，将正面化特征和姿态化特征分别比对，结合正面化相似度和姿态化相似度，能够有较好的验证效果。随着先进的人脸合成网络的升级，也能够有效提升该方法的准确性。
如图1至图4b所示，本发明实施例提供的一种结合面部角度信息的多姿态人脸验证方法，包括：
步骤1，获取样本，并构建样本信息库；具体的，本实施例中，所述样本要求有唯一确定身份且有一张正脸照片，可以通过公开的大姿态数据集、互联网公开的名人照片、自行通过普通2D摄像头拍摄采集等途径获取。进一步地，所述公开的大姿态数据集如CFP数据集、CPLFW数据集等，所述互联网公开的名人照片如通过截取影视片段中已知身份的大姿态人脸的图像等。
步骤2，获取待测目标的原始人脸图像，得到所述待测目标的面部角度信息，并确定所述待测目标的姿态标志参数；
步骤3，生成所述待测目标的正面化图像和样本信息库中每个样本的姿态化图像；
步骤4，提取所述待测目标的正面化特征，以及所述待测目标和样本信息库中每个样本的姿态化特征；
步骤5，对所述待测目标与所有样本进行特征比对，分别计算所述待测目标与所有样本的正面化相似度和姿态化相似度；
步骤6，根据所述正面化相似度和姿态化相似度计算待测目标与所有样本的最终相似度，得到并输出所述待测目标的验证结果。
本发明实施例所述的一种结合面部角度信息的多姿态人脸验证方法中，所述步骤1，包括：
步骤1-1，通过6DoF 3D人脸姿态估计方法，以所述样本的正面图像作为人脸图像，进行人脸姿态估计，得到人脸边界框，所述人脸边界框包括人脸边界点坐标以及人脸边界宽和高；
本发明所述的6DoF 3D人脸姿态估计方法，是由Facebook等于2021年提出一种全新的直接得到姿态信息的6DoF 3D人脸姿态估计方法，6DoF指人体在3D空间里的活动情况，有上下俯仰、左右摇摆、滚动、前/后、上/下、左/右这六种移动方式，具体可指沿三个方向的转动以及绕三个轴的平动。本实施例中，6DoF 3D人脸姿态估计方法很好地实现了端到端地直接提取得到面部角度信息，跳过人脸检测和人脸关键点定位这两个步骤，这种简单有效的方法带来计算效率的提升、准确性的提升。基于上述优点，本发明使用6DoF 3D人脸姿态估计方法来得到人脸的面部角度信息。
具体的，本实施例中，通过6DoF 3D人脸姿态估计方法，以人脸图像、给定的姿态均值、给定的姿态标准差以及给定的3D人脸模型的68点关键点作为输入，基于Faster-RCNN网络直接回归姿态，网络输出旋转向量rotate_vector和平移向量translate_vector，将旋转向量rotate_vector转为欧拉角即得到俯仰角pitch、偏航角yaw和翻滚角roll。同时，将能够表达3D姿态信息的3D人脸模型投影到2D图像平面上获得边界区域，将在2D图像平面上得到的边界区域定义为投影边界框，再将这种自定义的投影边界框转换为2D的包围框，得到人脸边界框以及对应的坐标信息。
步骤1-2，根据所述人脸边界框，剪裁所述样本的正面图像得到对应的正面人脸框图，所述正面人脸框图即样本的正面化图像；
步骤1-3，将所有已知正面图像和身份信息的样本构成样本库，用于产生人脸验证的可能结果，所述身份信息包括用户唯一标识和姓名；具体的，本实施例中，所述身份信息包括用户唯一标识，如学号、手机号、身份证号和姓名。
步骤1-4，使用已训练好的以ArcFace为损失函数的ResNet特征提取网络，根据所述样本的正面图像提取得到正面化特征，将所有所述样本的正面化特征构成样本特征库，用于存储所述所有样本的正面化特征；本实施例中，将样本的正面化特征保存为数据文件，在后续验证步骤中，就不需要再计算提取正面化特征了，直接读取样本特征库的特征数据文件即可。
步骤1-5，对所有所述样本根据步骤1-1至步骤1-4进行处理，根据所述样本的身份信息、正面化图像和正面化特征构成样本信息库，所述样本信息库的表达式如下：
Figure BDA0002994355000000111
其中，feature_gallery表示样本信息库，identity_i表示样本i的身份信息，front_i表示样本i的正面化图像，feature_front(i)表示样本i的正面化特征。
本发明实施例所述的一种结合面部角度信息的多姿态人脸验证方法中，所述步骤2，包括：
步骤2-1，获取所述待测目标的原始人脸图像后，通过6DoF 3D人脸姿态估计方法得到所述待测目标的人脸的检测边界框和面部角度信息，所述面部角度信息包括待测目标面部的俯仰角、偏航角和翻滚角，所述检测边界框包括检测边界点坐标以及检测边界的宽和高；
步骤2-2，根据所述检测边界框，裁剪所述待测目标的原始人脸图像得到待测目标的人脸框图，所述人脸框图即待测目标的姿态化图像；具体的，本实施例中，所述姿态化图像表示含有非正面姿态信息的人脸图像。
步骤2-3，将所述待测目标面部的俯仰角、偏航角和翻滚角通过sigmoid函数非线性映射得到俯仰系数、偏航系数和翻滚系数；
计算得到俯仰系数包括：先将俯仰角取绝对值，再通过sigmoid函数将俯仰角的绝对值非线性映射到(0,1)范围，俯仰系数的表达式如下：
Figure BDA0002994355000000121
其中，pitch_coefficient表示俯仰系数，pitch表示俯仰角；σ是一个sigmoid函数，
Figure BDA0002994355000000122
m为sigmoid函数的自变量，自变量m的取值范围为(-∞，+∞)；
类似地，计算得到偏航系数和翻滚系数：
Figure BDA0002994355000000123
Figure BDA0002994355000000124
其中，yaw_coefficient表示偏航系数，yaw表示偏航角，roll_coefficient表示翻滚系数，roll表示翻滚角；
步骤2-4，以所述俯仰系数、偏航系数和翻滚系数中的最大值，作为所述待测目标的姿态标志参数，所述待测目标的姿态标志参数的表达式如下：
λ_pose＝max(pitch_coefficient,yaw_coefficient,roll_coefficient)
其中，λ_pose表示待测目标的姿态标志参数，待测目标的姿态标志参数λ_pose的取值范围为(0,1)；
当所述待测目标的姿态标志参数λ_pose趋于0时，表示待测目标趋于正脸姿态；
当所述待测目标的姿态标志参数λ_pose趋于1时，表示待测目标趋于极端大的姿态；所述极端大的姿态指由于头部在三维空间坐标系中绕三个轴的旋转而造成的极大部分面部信息缺失的面部姿态，所述面部信息包括有身份辨识度的、能够起到身份标识性作用的面部信息。具体的，所述极端大的姿态如极端侧脸姿态、极端俯视姿态、极端仰视姿态、极端摆头姿态等。本实施例中，所述面部信息包括有身份辨识度的、能够起到身份标识性作用的面部信息包括眼睛、鼻、嘴、脸型等，面部细节信息缺失的表现例如面部朝上、下、左、右方向旋转角度过大时，会造成眼睛、鼻、嘴、脸型等面部信息的不可见或部分缺失。
具体的，如图3a、图3b和图3c所示，其中，图3a为待测目标t的原始图像，图3b为待测目标t经过6DoF 3D人脸姿态估计方法得到面部角度信息后，包括t的人脸检测边界框、pitch_t、yaw_t、roll_t等信息的可视化结果图，图3c为待测目标t的生成的正面化图像。
以图3a至图3c为例说明具体计算步骤。通过6DoF 3D人脸姿态估计方法得到对待测目标t，如图3a所示得到俯仰角pitch_t为-0.19579420、偏航角yaw_t为0.37161068、翻滚角roll_t为-0.08669040，根据上述定义得到俯仰系数pitch_coefficient_t为0.3207，偏航系数yaw_coefficient_t为0.3713、翻滚系数roll_coefficient_t为0.2912，最终，根据上述定义得到t的姿态标志参数λ_pose_t为0.3713。
本发明实施例所述的一种结合面部角度信息的多姿态人脸验证方法中，所述步骤3，包括：
步骤3-1，通过GAN-Control模型生成所述待测目标的人脸框图对应的正面化图像；
步骤3-2，根据所述样本信息库中的所有样本的正面化图像，以及所述待测目标的俯仰角、偏航角和翻滚角数据，通过GAN-Control模型以所述样本的正面化图像和面部角度信息作为参数输入，生成所述样本的正面化图像在面部角度信息对应的姿态下的姿态化图像。
具体的，本实施例中，已知步骤2中已得到待测目标t的姿态化图像pose_t和角度三元组(pitch_t,yaw_t,roll_t)。生成待测目标t的正面化图像front_t以及样本库所有样本的姿态化图像。生成图像的步骤具体为：
通过GAN-Control模型，以待测目标t的姿态化图像pose_t和角度三元组(0,0,0)为输入，输出待测目标t的正面化图像front_t。如图3a和图3c所示，图3c是图3a的正面化图像。
通过GAN-Control模型，以样本库中的每个样本i的正面化图像front_i和角度三元组(pitch_t,yaw_t,roll_t)作为参数输入，对样本i的正面化图像front_i生成在该姿态(pitch_t,yaw_t,roll_t)下的姿态化图像pose_i。如图4a和图4b所示，图4a是样本i的正面化图像，图4b是生成的样本i在(-0.19579420,0.37161068,-0.08669040)这组面部角度的姿态化图像。
本实施例中，在步骤3所述的合成姿态化人脸阶段，采用Amazon One团队于2021年提出的GAN-Control模型，通过设置确切的属性来控制该模型生成得到指定条件下的高质量的人脸图像。本发明使用GAN-Control模型设定姿态属性(yaw、pitch、roll)可得到人脸图像在该姿态下的人脸图像。
本发明实施例所述的一种结合面部角度信息的多姿态人脸验证方法中，所述步骤4，包括：
根据所述步骤3得到的待测目标的姿态化图像和正面化图像，以及所述样本信息库中每个样本的姿态化图像，对所述待测目标的正面化图像提取特征，得到待测目标的正面化特征，对所述待测目标的姿态化图像和样本的姿态化图像提取特征，得到所述待测目标的姿态化特征和样本的姿态化特征。
本发明实施例所述的一种结合面部角度信息的多姿态人脸验证方法中，所述步骤4，包括：
步骤4-1，使用已训练好的以ArcFace为损失函数的ResNet特征提取网络，对所述待测目标的姿态化图像进行提取，得到所述待测目标的姿态化特征；对生成的所述正面化图像进行提取，得到所述待测目标的正面化特征；对所述样本信息库中每个样本的姿态化图像进行提取，得到所述样本的姿态化特征，所述样本的正面化特征通过步骤1获得；
步骤4-2，将所述待测目标的姿态化特征、待测目标的正面化特征、样本的姿态化特征和样本的正面化特征做L2范数归一化处理。
具体的，本实施例中，所述归一化操作是指将一行特征的坐标转换成一个不含量纲(单位)的“单位向量”。L2范数归一化操作的公式为
Figure BDA0002994355000000151
式中以向量x为例，||x||是向量x的模，x'是向量x的单位向量。
本实施例中，以图3a至图4b为例说明，其中，图3a为待测目标的姿态化图像，图3c为待测目标的正面化图像，图4a为样本i的正面化图像，图4b为样本i的姿态化图像，对图像通过特征提取网络提取深度特征，得到待测目标t的正面化特征feature_front(t)、姿态化特征feature_pose(t)，样本i的正面化特征feature_front(i)、姿态化特征feature_pose(i)。
本实施例中，在步骤4所述的特征提取阶段，选择的是基于ArcFace损失函数的ResNet特征提取网络。ArcFace损失函数是一种常用于人脸识别的损失函数，它基于传统的Softmax损失，改进了对特征向量归一化和加性角度间隔，提高了人脸特征的类间可分性且加强类内紧度。具有判别性的人脸特征要求有更大的类间可分性和类内紧度。ResNet特征提取网络是一种常用于特征提取任务的网络结构，ResNet网络通过使用一种残差结构，带给网络更精确的表达能力，且能够更快收敛。
本发明实施例所述的一种结合面部角度信息的多姿态人脸验证方法中，所述步骤5，包括：
步骤5-1，根据所述待测目标的正面化特征和姿态化特征与样本信息库中的每个样本的正面化特征和姿态化特征分别计算特征对的相似度，即所述待测目标与每个样本的正面化相似度和姿态化相似度；
根据所述待测目标和样本的正面化特征计算正面化相似度Similarity_front(t,i)：
Figure BDA0002994355000000152
其中，feature_front(t)是待测目标t的正面化特征，feature_front(i)是样本i的正面化特征；
由于ArcFace是一种在角度空间进行优化的损失函数，选择使用余弦相似度作为相似度度量方法；特征的余弦相似度用于表示两个特征向量之间的夹角来衡量它们之间的相似度，其取值范围是[-1,1]，其值越接近于1表示两者越相似；
上式为余弦相似度计算公式简单化简得到，其中的·为向量点积操作，即向量的各分量乘积之和，||||为求模操作，由于所述待测目标的正面化特征和样本的正面化特征已在步骤4经过归一化操作，所述待测目标的正面化特征和样本的正面化特征的模长均为1；
上式简单化简即为：
Similarity_front(t,i)＝feature_front(t)·feature_front(i)
步骤5-2，得到正面化相似度由高到低的前5个正面候选样本，记为：
sample_front_1,sample_front_2,sample_front_3,sample_front_4,sample_front_5；
类似地，计算所述待测目标和样本的姿态化相似度Similarity_pose(t,i)：
Similarity_pose(t,i)＝feature_pose(t)·feature_pose(i)
其中，feature_pose(t)是待测目标t的姿态化特征，feature_pose(i)是样本i的姿态化特征；
得到姿态化相似度由高到低的前5个姿态候选样本，记为：
sample_pose_1,sample_pose_2,sample_pose_3,sample_pose_4,sample_pose_5；
步骤5-3，将所有所述候选样本，即所述正面候选样本和姿态候选样本构成一个候选集合，所述候选集合的大小为大于或等于5且小于或等于10的正整数。
本发明实施例所述的一种结合面部角度信息的多姿态人脸验证方法中，所述步骤6，包括：
步骤6-1，将所述待测目标和候选集合中的每一个候选样本两两组合，计算最终的姿态加权相似度；最终相似度是由步骤2得到的姿态标志参数和步骤5得到的正面化相似度和姿态化相似度加权计算得到；
所述待测目标和候选样本的最终相似度的计算公式如下：
Similarity(t,k)＝λ_pose*Similarity_pose(t,k)+(1-λ_pose)*Similarity_front(t,k)
其中，Similarity(t,k)表示待测目标t和候选样本k的最终相似度，k为候选集合中的每个候选样本，λ_pose为由步骤2得到的姿态标志参数；所述姿态标志参数λ_pose的设定受待测目标t的姿态影响：
具体的，本实施例中，如当所述待测目标处于正面姿态时，所述待测目标面部角度的最大值趋于0时，所述姿态标志参数λ_pose的取值趋于0.26；
当所述待测目标处于极端大的姿态时，所述待测目标面部角度的最大值趋于90度时，所述姿态标志参数λ_pose的取值趋于0.73；
由此可见，所述姿态标志参数λ_pose的设定受待测目标的姿态影响，且随着面部越趋于正面姿态所述姿态标志参数λ_pose的值越小，越趋于极端大的姿态所述姿态标志参数λ_pose的值越大；
步骤6-2，记与所述待测目标的最终相似度得分最高的候选样本为最相似候选样本，从所述样本信息库中得到最相似候选样本的身份信息，所述待测目标的最可能身份即为最相似候选样本的身份信息；
步骤6-3，将所述待测目标与最相似候选样本的最终相似度分数与预设验证阈值比较得到判定验证结果；
若有Similarity(t,sample_top)≥α，则返回身份信息通过验证作为所述待测目标的验证结果；否则，返回验证失败作为所述待测目标的验证结果；
其中，Similarity(t,sample_top)表示待测目标t与最相似候选样本sample_top的最终相似度分数，α表示预设验证阈值。本实施例中，α为用于验证的阈值，本实施例中取α＝0.3。具体的，本实施例中，由于以AcrFace为损失函数的特征提取网络在LFW基准数据集上，人脸比对步骤中对余弦相似度的阈值取0.3时，能有最高的验证准确率，参考该实验结果，选择取阈值为0.3。
本实施例中，为方便说明，以待测目标t和样本i为例来说明本方法的特征提取和比对步骤。
按照本实施例所述的特征比对方法，对待测目标t的姿态化特征feature_pose(t)和样本i的姿态化特征feature_pose(i)计算姿态化相似度Similarity_pose(t,i)的值为0.6213，对待测目标t的正面化特征feature_front(t)和样本i的正面化特征feature_front(i)计算正面化相似度Similarity_front(t,i)的值为0.6358。
若按照通用的对人脸验证的流程，对待测目标t(见图3a)及其目标样本i(见图4a)提取特征，提取得到的特征其实为feature_pose(t)和feature_front(i)计算最终相似度，Similarity(t,i)＝0.3713*0.6213+(1-0.3713)*0.6358＝0.6304。待测目标t与目标样本i的最终相似度的值大于阈值，返回“[i的身份信息]通过验证”。
本发明所述的一种结合面部角度信息的多姿态人脸验证方法中，创新地将人脸的面部角度数据引入到多姿态人脸验证的人脸生成和相似度计算步骤，具体的，通过使用一种新的能够实现端到端得到人脸姿态信息的6DoF 3D人脸姿态估计方法，得到人脸的面部角度信息，进一步确定一个姿态状态参数；而在姿态化人脸生成步骤中，利用给定的面部角度信息，借助一种生成指定姿态的人脸图像的GAN-Control网络，生成人脸在给定姿态下的姿态化图像；此外，还提出一种面向多姿态人脸的特征的两步化的相似度计算方案。在计算相似度步骤中，先按正面化特征对和姿态化特征对分别计算特征对的正面化相似度和姿态化相似度，按相似度得分分别自高向下起取候选样本，再对候选样本按姿态加权计算最终的姿态加权相似度。这种结合面部角度信息的两步化的相似度计算方案，在最终相似度计算步骤中引入了姿态状态参数，提升了多姿态人脸验证的准确率和验证效率。因此，相较于现有技术，本发明所述的方法实现了一种基于面部角度信息的多姿态人脸验证流程，具有一定通用性和实用性。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的一种结合面部角度信息的多姿态人脸验证方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (8)

1.一种结合面部角度信息的多姿态人脸验证方法，其特征在于，包括：
步骤1，获取样本，并构建样本信息库；
步骤2，获取待测目标的原始人脸图像，得到所述待测目标的面部角度信息，并确定所述待测目标的姿态标志参数；
步骤3，生成所述待测目标的正面化图像和样本信息库中每个样本的姿态化图像；
步骤4，提取所述待测目标的正面化特征，以及所述待测目标和样本信息库中每个样本的姿态化特征；
步骤5，对所述待测目标与所有样本进行特征比对，分别计算所述待测目标与所有样本的正面化相似度和姿态化相似度；
步骤6，根据所述正面化相似度和姿态化相似度计算待测目标与所有样本的最终相似度，得到并输出所述待测目标的验证结果。
2.根据权利要求1所述的一种结合面部角度信息的多姿态人脸验证方法，其特征在于，所述步骤1，包括：
步骤1-1，通过6DoF 3D人脸姿态估计方法，以所述样本的正面图像作为人脸图像，进行人脸姿态估计，得到人脸边界框，所述人脸边界框包括人脸边界点坐标以及人脸边界宽和高；
步骤1-2，根据所述人脸边界框，剪裁所述样本的正面图像得到对应的正面人脸框图，所述正面人脸框图即样本的正面化图像；
步骤1-3，将所有已知正面图像和身份信息的样本构成样本库，用于产生人脸验证的可能结果，所述身份信息包括用户唯一标识和姓名；
步骤1-4，使用已训练好的以ArcFace为损失函数的ResNet特征提取网络，根据所述样本的正面图像提取得到正面化特征，将所有所述样本的正面化特征构成样本特征库，用于存储所述所有样本的正面化特征；
步骤1-5，对所有所述样本根据步骤1-1至步骤1-4进行处理，根据所述样本的身份信息、正面化图像和正面化特征构成样本信息库，所述样本信息库的表达式如下：
Figure FDA0002994354990000011
其中，feature_gallery表示样本信息库，identity_i表示样本i的身份信息，front_i表示样本i的正面化图像，feature_front(i)表示样本i的正面化特征。
3.根据权利要求1所述的一种结合面部角度信息的多姿态人脸验证方法，其特征在于，所述步骤2，包括：
步骤2-1，获取所述待测目标的原始人脸图像后，通过6DoF 3D人脸姿态估计方法得到所述待测目标的人脸的检测边界框和面部角度信息，所述面部角度信息包括待测目标面部的俯仰角、偏航角和翻滚角，所述检测边界框包括检测边界点坐标以及检测边界的宽和高；
步骤2-2，根据所述检测边界框，裁剪所述待测目标的原始人脸图像得到待测目标的人脸框图，所述人脸框图即待测目标的姿态化图像；
步骤2-3，将所述待测目标面部的俯仰角、偏航角和翻滚角通过sigmoid函数非线性映射得到俯仰系数、偏航系数和翻滚系数；
计算得到俯仰系数包括：先将俯仰角取绝对值，再通过sigmoid函数将俯仰角的绝对值非线性映射到(0,1)范围，俯仰系数的表达式如下：
Figure FDA0002994354990000021
其中，pitch_coefficient表示俯仰系数，pitch表示俯仰角；σ是一个sigmoid函数，
Figure FDA0002994354990000022
m为sigmoid函数的自变量，自变量m的取值范围为(-∞，+∞)；
类似地，计算得到偏航系数和翻滚系数：
Figure FDA0002994354990000023
Figure FDA0002994354990000024
其中，yaw_coefficient表示偏航系数，yaw表示偏航角，roll_coefficient表示翻滚系数，roll表示翻滚角；
步骤2-4，以所述俯仰系数、偏航系数和翻滚系数中的最大值，作为所述待测目标的姿态标志参数，所述待测目标的姿态标志参数的表达式如下：
λ_pose＝max(pitch_coefficient,yaw_coefficient,roll_coefficient)
其中，λ_pose表示待测目标的姿态标志参数，待测目标的姿态标志参数λ_pose的取值范围为(0,1)；
当所述待测目标的姿态标志参数λ_pose趋于0时，表示待测目标趋于正脸姿态；
当所述待测目标的姿态标志参数λ_pose趋于1时，表示待测目标趋于极端大的姿态；所述极端大的姿态指由于头部在三维空间坐标系中绕三个轴的旋转而造成的极大部分面部信息缺失的面部姿态，所述面部信息包括有身份辨识度的、能够起到身份标识性作用的面部信息。
4.根据权利要求1所述的一种结合面部角度信息的多姿态人脸验证方法，其特征在于，所述步骤3，包括：
步骤3-1，通过GAN-Control模型生成所述待测目标的人脸框图对应的正面化图像；
步骤3-2，根据所述样本信息库中的所有样本的正面化图像，以及所述待测目标的俯仰角、偏航角和翻滚角数据，通过GAN-Control模型以所述样本的正面化图像和面部角度信息作为参数输入，生成所述样本的正面化图像在面部角度信息对应的姿态下的姿态化图像。
5.根据权利要求1所述的一种结合面部角度信息的多姿态人脸验证方法，其特征在于，所述步骤4，包括：
根据所述步骤3得到的待测目标的姿态化图像和正面化图像，以及所述样本信息库中每个样本的姿态化图像，对所述待测目标的正面化图像提取特征，得到待测目标的正面化特征，对所述待测目标的姿态化图像和样本的姿态化图像提取特征，得到所述待测目标的姿态化特征和样本的姿态化特征。
6.根据权利要求5所述的一种结合面部角度信息的多姿态人脸验证方法，其特征在于，所述步骤4，包括：
步骤4-1，使用已训练好的以ArcFace为损失函数的ResNet特征提取网络，对所述待测目标的姿态化图像进行提取，得到所述待测目标的姿态化特征；对生成的所述正面化图像进行提取，得到所述待测目标的正面化特征；对所述样本信息库中每个样本的姿态化图像进行提取，得到所述样本的姿态化特征，所述样本的正面化特征通过步骤1获得；
步骤4-2，将所述待测目标的姿态化特征、待测目标的正面化特征、样本的姿态化特征和样本的正面化特征做L2范数归一化处理。
7.根据权利要求1所述的一种结合面部角度信息的多姿态人脸验证方法，其特征在于，所述步骤5，包括：
步骤5-1，根据所述待测目标的正面化特征和姿态化特征与样本信息库中的每个样本的正面化特征和姿态化特征分别计算特征对的相似度，即所述待测目标与每个样本的正面化相似度和姿态化相似度；
根据所述待测目标和样本的正面化特征计算正面化相似度Similarity_front(t,i)：
Figure FDA0002994354990000041
其中，feature_front(t)是待测目标t的正面化特征，feature_front(i)是样本i的正面化特征；
由于所述待测目标的正面化特征和样本的正面化特征已在步骤4经过归一化操作，所述待测目标的正面化特征和样本的正面化特征的模长均为1；
上式简单化简即为：
Similarity_front(t,i)＝feature_front(t)·feature_front(i)
步骤5-2，得到正面化相似度由高到低的前5个正面候选样本，记为：
sample_front_1,sample_front_2,sample_front_3,sample_front_4,sample_front_5；
类似地，计算所述待测目标和样本的姿态化相似度Similarity_pose(t,i)：
Similarity_pose(t,i)＝feature_pose(t)·feature_pose(i)
其中，feature_pose(t)是待测目标t的姿态化特征，feature_pose(i)是样本i的姿态化特征；
得到姿态化相似度由高到低的前5个姿态候选样本，记为：
sample_pose_1,sample_pose_2,sample_pose_3,sample_pose_4,sample_pose_5；
步骤5-3，将所有所述候选样本，即所述正面候选样本和姿态候选样本构成一个候选集合，所述候选集合的大小为大于或等于5且小于或等于10的正整数。
8.根据权利要求1所述的一种结合面部角度信息的多姿态人脸验证方法，其特征在于，所述步骤6，包括：
步骤6-1，将所述待测目标和候选集合中的每一个候选样本两两组合，计算最终的姿态加权相似度；最终相似度是由步骤2得到的姿态标志参数和步骤5得到的正面化相似度和姿态化相似度加权计算得到；
所述待测目标和候选样本的最终相似度的计算公式如下：
Similarity(t,k)＝λ_pose*Similarity_pose(t,k)+(1-λ_pose)*Similarity_front(t,k)
其中，Similarity(t,k)表示待测目标t和候选样本k的最终相似度，k为候选集合中的每个候选样本，λ_pose为由步骤2得到的姿态标志参数；所述姿态标志参数λ_pose的设定受待测目标t的姿态影响，且随着面部越趋于正面姿态所述姿态标志参数λ_pose的值越小，越趋于极端大的姿态所述姿态标志参数λ_pose的值越大；
步骤6-2，记与所述待测目标的最终相似度得分最高的候选样本为最相似候选样本，从所述样本信息库中得到最相似候选样本的身份信息，所述待测目标的最可能身份即为最相似候选样本的身份信息；
步骤6-3，将所述待测目标与最相似候选样本的最终相似度分数与预设验证阈值比较得到判定验证结果；
若有Similarity(t,sample_top)≥α，则返回身份信息通过验证作为所述待测目标的验证结果；否则，返回验证失败作为所述待测目标的验证结果；
其中，Similarity(t,sample_top)表示待测目标t与最相似候选样本sample_top的最终相似度分数，α表示预设验证阈值。
CN202110325222.0A 2021-03-26 2021-03-26 一种结合面部角度信息的多姿态人脸验证方法 Active CN112990047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110325222.0A CN112990047B (zh) 2021-03-26 2021-03-26 一种结合面部角度信息的多姿态人脸验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110325222.0A CN112990047B (zh) 2021-03-26 2021-03-26 一种结合面部角度信息的多姿态人脸验证方法

Publications (2)

Publication Number Publication Date
CN112990047A true CN112990047A (zh) 2021-06-18
CN112990047B CN112990047B (zh) 2024-03-12

Family

ID=76333847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110325222.0A Active CN112990047B (zh) 2021-03-26 2021-03-26 一种结合面部角度信息的多姿态人脸验证方法

Country Status (1)

Country Link
CN (1) CN112990047B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113901884A (zh) * 2021-09-15 2022-01-07 杭州欣禾圣世科技有限公司 基于特征匹配的人脸姿态估计方法、系统、装置及存储介质
CN116486463A (zh) * 2023-06-15 2023-07-25 北京瑞莱智慧科技有限公司 图像处理方法、相关装置及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080310720A1 (en) * 2007-02-14 2008-12-18 Samsung Electronics Co., Ltd. Object pose normalization method and apparatus and object recognition method
CN101515324A (zh) * 2009-01-21 2009-08-26 上海银晨智能识别科技有限公司 适用于多种姿态的人脸识别布控系统及方法
US20110188713A1 (en) * 2008-07-16 2011-08-04 Imprezzeo Pty Ltd Facial image recognition and retrieval
CN107220594A (zh) * 2017-05-08 2017-09-29 桂林电子科技大学 一种基于相似度保留堆叠自编码器的人脸姿态重建与识别方法
CN107545252A (zh) * 2017-08-31 2018-01-05 北京图铭视界科技有限公司 基于多姿态人脸模型的视频中人脸识别方法及装置
CN108182397A (zh) * 2017-12-26 2018-06-19 王华锋 一种多姿态多尺度的人脸验证方法
CN109918998A (zh) * 2019-01-22 2019-06-21 东南大学 一种大姿态人脸识别方法
CN111310512A (zh) * 2018-12-11 2020-06-19 杭州海康威视数字技术股份有限公司 用户身份鉴权方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080310720A1 (en) * 2007-02-14 2008-12-18 Samsung Electronics Co., Ltd. Object pose normalization method and apparatus and object recognition method
US20110188713A1 (en) * 2008-07-16 2011-08-04 Imprezzeo Pty Ltd Facial image recognition and retrieval
CN101515324A (zh) * 2009-01-21 2009-08-26 上海银晨智能识别科技有限公司 适用于多种姿态的人脸识别布控系统及方法
CN107220594A (zh) * 2017-05-08 2017-09-29 桂林电子科技大学 一种基于相似度保留堆叠自编码器的人脸姿态重建与识别方法
CN107545252A (zh) * 2017-08-31 2018-01-05 北京图铭视界科技有限公司 基于多姿态人脸模型的视频中人脸识别方法及装置
CN108182397A (zh) * 2017-12-26 2018-06-19 王华锋 一种多姿态多尺度的人脸验证方法
CN111310512A (zh) * 2018-12-11 2020-06-19 杭州海康威视数字技术股份有限公司 用户身份鉴权方法及装置
CN109918998A (zh) * 2019-01-22 2019-06-21 东南大学 一种大姿态人脸识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JUN LI 等: "A New Method for Face Alignment under Extreme Poses and Occlusion", IEEE, 29 November 2018 (2018-11-29) *
LEYUAN LIU 等: "Progressive Pose Normalization Generative Adversarial Network for Frontal Face Synthesis and Face Recognition Under Large Pose", IEEE, 26 August 2019 (2019-08-26) *
徐海月 等: "基于编解码网络的多姿态人脸图像正面化方法", 中国科学:信息科学, no. 04, 15 April 2019 (2019-04-15) *
王亚南 等: "基于图像合成的多姿态人脸图像识别方法", 模式识别与人工智能, no. 09, 15 September 2015 (2015-09-15) *
马旋 等: "基于Kinect的人体实时三维重建及其应用", 计算机辅助设计与图形学学报, 31 December 2014 (2014-12-31) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113901884A (zh) * 2021-09-15 2022-01-07 杭州欣禾圣世科技有限公司 基于特征匹配的人脸姿态估计方法、系统、装置及存储介质
CN116486463A (zh) * 2023-06-15 2023-07-25 北京瑞莱智慧科技有限公司 图像处理方法、相关装置及存储介质
CN116486463B (zh) * 2023-06-15 2023-10-03 北京瑞莱智慧科技有限公司 图像处理方法、相关装置及存储介质

Also Published As

Publication number Publication date
CN112990047B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
Bronstein et al. Three-dimensional face recognition
Colombo et al. 3D face detection using curvature analysis
JP4321350B2 (ja) パラメタ推定方法、パラメタ推定装置および照合方法
US8861800B2 (en) Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
JP5159950B2 (ja) 画像処理装置、方法、プログラム
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
Zhao et al. Image-based face recognition: Issues and methods
CN109472198A (zh) 一种姿态鲁棒的视频笑脸识别方法
JP2009020761A (ja) 画像処理装置及びその方法
JP2007072620A (ja) 画像認識装置及びその方法
Yu et al. HeadFusion: 360${^\circ} $ Head Pose Tracking Combining 3D Morphable Model and 3D Reconstruction
Castillo et al. Using stereo matching with general epipolar geometry for 2d face recognition across pose
KR101994390B1 (ko) 가중치 보간 맵을 이용한 표정 합성 장치 및 방법
CN111553284A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN112528902B (zh) 一种基于3d人脸模型的视频监控动态人脸识别方法及装置
CN109858433B (zh) 一种基于三维人脸模型识别二维人脸图片的方法及装置
CN107016319A (zh) 一种关键点定位方法和装置
CN112990047B (zh) 一种结合面部角度信息的多姿态人脸验证方法
Deng et al. Attention-aware dual-stream network for multimodal face anti-spoofing
JP4816874B2 (ja) パラメータ学習装置、パラメータ学習方法、およびプログラム
Jiang et al. Pose Invariant 3D Face Reconstruction
Hammouche et al. Toward a real time view-invariant 3d action recognition
Chien et al. Facial expression analysis under various head poses
Lin et al. 3D face recognition based on curvature feature matching, with expression variation
Niese et al. Robust facial expression recognition based on 3-d supported feature extraction and SVM classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant