CN113536900A - 人脸图像的质量评价方法、装置以及计算机可读存储介质 - Google Patents

人脸图像的质量评价方法、装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN113536900A
CN113536900A CN202110605098.3A CN202110605098A CN113536900A CN 113536900 A CN113536900 A CN 113536900A CN 202110605098 A CN202110605098 A CN 202110605098A CN 113536900 A CN113536900 A CN 113536900A
Authority
CN
China
Prior art keywords
face
value
angle
face image
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110605098.3A
Other languages
English (en)
Inventor
刘明
叶乐乐
汪志强
张朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110605098.3A priority Critical patent/CN113536900A/zh
Publication of CN113536900A publication Critical patent/CN113536900A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸图像的质量评价方法、装置以及计算机可读存储介质，上述方法包括：将多个人脸图像输入至训练后的多任务网络模型中，以获得每张人脸图像对应的多个属性的预测值，其中，多个属性包括人脸角度、人脸清晰度以及人脸遮挡信息；根据多个属性的预测值获得对应的人脸图像的人脸质量得分，通过这种设计方式，可以在同一个网络里面针对性地获得人脸图像的重点特征的预测值并对该人脸图像进行得分量化，不仅提高了对人脸图像质量评价的效率，而且节省了计算资源和时间成本。

Description

人脸图像的质量评价方法、装置以及计算机可读存储介质
技术领域
本申请涉及人脸图像质量评价的技术领域，特别是涉及一种人脸图像的质量评价方法、装置以及计算机可读存储介质。
背景技术
随着数字社会化发展，图像数据在视频通讯，安防监控等领域有着不可替代的作用，然而视频中的图像数据在进行采集、传输及处理等过程中难免受到干扰；其次，在视频序列上，对同样一个目标采集得到的图片数据也会因为姿态角度、遮挡等因素产生质量上的差异。为了在工程应用上确保视频数据高效利用，对图像的质量评价就变得非常有意义。
目前，常用的方法包括：方法一、通过质量评分网络学习进行质量评分，其综合了图片、裁剪以及多分辨率质量分输出；方法二、将每张人脸图像所对应的深度特征分别与同一人的标准人脸特征比较；但是，方法一中质量分标签难以获取，质量评价特征模糊，且质量评分网络综合了图片、裁剪以及多分辨率质量分输出，较为冗余；方法二中操作过程中不仅需要定义标准的人脸，而且还需要多次比较人脸之间的相似度，这样无疑是增加了时间成本。因此，目前需要提出一种新的人脸图像的质量评价方法。
发明内容
本申请主要解决的技术问题是提供一种人脸图像的质量评价方法、装置以及计算机可读存储介质，可以针对性地获得人脸图像的重点特征的预测值并对人脸图像进行得分量化。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种人脸图像的质量评价方法，包括：将多个人脸图像输入至训练后的多任务网络模型中，以获得每张所述人脸图像对应的多个属性的预测值，其中，所述属性包括人脸角度、人脸清晰度以及人脸遮挡信息；根据多个所述属性的预测值获得对应的所述人脸图像的人脸质量得分。
其中，所述根据所述多个属性的预测值获得对应的所述人脸图像的人脸质量得分的步骤之前，包括：针对每张所述人脸图像，计算获得当前所述人脸图像的卡尔曼增益矩阵，并利用所述卡尔曼增益矩阵获得当前所述人脸图像的人脸角度的最优估计值和人脸清晰度的最优估计值；获得当前所述人脸图像的人脸角度的预测值与人脸角度的最优估计值之间的第一差值、以及当前所述人脸图像的人脸清晰度的预测值与人脸清晰度的最优估计值之间的第二差值；判断所述第一差值和所述第二差值是否符合预设条件；若是，则进入所述根据所述多个属性的预测值获得对应的所述人脸图像的人脸质量得分的步骤；否则，不进入所述根据所述多个属性的预测值获得对应的所述人脸图像的人脸质量得分的步骤。
其中，所述人脸角度包括俯仰角、旋转角以及偏航角；所述获得当前所述人脸图像的人脸角度的预测值与人脸角度的最优估计值之间的第一差值的步骤包括：获得当前所述人脸图像中所述俯仰角的预测值与所述俯仰角的最优估计值之间的差值、所述旋转角的预测值与所述旋转角的最优估计值之间的差值以及所述偏航角的预测值与所述偏航角的最优估计值之间的差值。
其中，所述判断所述第一差值和所述第二差值是否符合预设条件的步骤，包括：获得当前所述人脸图像中所述俯仰角的预测值与所述俯仰角的最优估计值之间的差值的绝对值、所述旋转角的预测值与所述旋转角的最优估计值之间的差值的绝对值以及所述偏航角的预测值与所述偏航角的最优估计值之间的差值的绝对值的和值；判断所述和值是否小于第一阈值且所述第二差值的绝对值是否小于第二阈值。
其中，所述根据所述多个属性的预测值获得对应的所述人脸图像的人脸质量得分的步骤，包括：利用每张所述人脸图像的所述人脸角度的得分值、所述人脸清晰度的得分值和所述人脸遮挡信息的得分值构建三维空间矩阵，且所述三维空间矩阵的原点坐标为(0,0,0)；其中，所述人脸角度的得分值、所述人脸清晰度的得分值和所述人脸遮挡信息的得分值分别与对应属性的所述预测值相关；基于所述三维空间矩阵中经过所述原点坐标的对角线获得每张所述人脸图像的所述人脸质量得分。
其中，所述基于所述三维空间矩阵中经过所述原点坐标的对角线获得每张所述人脸图像的所述人脸质量得分的步骤，包括：获得所述人脸角度的得分值的平方与第一权重的第一乘积、所述人脸清晰度的得分值的平方与第二权重的第二乘积、所述人脸遮挡信息的得分值的平方与第三权重的第三乘积；其中，所述第一权重、所述第二权重和所述第三权重的范围均为0-1；将所述第一乘积、所述第二乘积和所述第三乘积之和的平方根值和归一化系数的乘积作为所述人脸质量得分。
其中，所述将所述多个人脸图像输入至训练后的多任务网络模型中，以获得每张所述人脸图像对应的多个属性的预测值，其中，所述多个属性包括人脸角度、人脸清晰度以及人脸遮挡信息的步骤之前，包括：从视频流中获得多个目标人脸图像；对多个所述目标人脸图像进行全局模糊度计算，以获得每张所述目标人脸图像的第一清晰度；判断所述第一清晰度是否大于第三阈值；若是，则进入将多个人脸图像输入至训练后的多任务网络模型中，以获得每张所述人脸图像对应的多个属性的预测值的步骤。
其中，所述将多个人脸图像输入至训练后的多任务网络模型中，以获得每张所述人脸图像对应的多个属性的预测值，其中，所述多个属性包括人脸角度、人脸清晰度以及人脸遮挡信息的步骤之前，还包括：将多个训练人脸图像分别输入至所述多任务网络模型中进行训练；获得所述多任务网络模型中的角度损失函数值、清晰度损失函数值和遮挡值损失函数值；利用所述角度损失函数值、清晰度损失函数值和遮挡值损失函数值获得总损失函数值；根据所述总损失函数值判断所述多任务网络模型是否达到收敛状态；若是，则将所述多任务网络模型输出；否则，返回至所述将多个所述训练人脸图像分别输入至多任务网络模型中进行训练的步骤。
其中，所述获得所述多任务网络模型中的角度损失函数值的步骤包括：将多个所述训练人脸图像的人脸角度按角度区间进行分类，以获得第一类别数，其中，所述人脸角度包括俯仰角、旋转角以及偏航角；根据所述第一类别数获得每张所述训练人脸图像的所述人脸角度的预测值；将多个所述训练人脸图像的所述人脸角度的预测值进行映射以得到所述角度损失函数值。
其中，所述获得所述多任务网络模型中的清晰度损失函数值的步骤包括：获取多个所述训练人脸图像的第二清晰度，并对所述第二清晰度进行分类，以获得第二类别数；根据所述第二类别数获得每张所述训练人脸图像的所述人脸清晰度的预测值；将多个所述训练人脸图像的所述人脸清晰度的预测值进行映射以得到所述清晰度损失函数值。
其中，所述获得所述多任务网络模型中的遮挡值损失函数值的步骤包括：对多个所述训练人脸图像中多个关键部位进行遮挡检测，其中，所述关键部位包括左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴；将所述训练人脸图像中可见的所述关键部位标记为第一标志位，将所述训练人脸图像中不可见的所述关键部位标记为第二标志位；其中，所述第一标志位与所述第二标志位不同；根据每张所述训练人脸图像的关键部位的标签得到人脸遮挡信息的预测值；将多个所述训练人脸图像的所述人脸遮挡信息的预测值进行映射以得到所述遮挡值损失函数值。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种人脸图像的质量评价装置，包括相互耦接的存储器和处理器，所述存储器内存储有程序指令，所述处理器用于执行所述程序指令以实现上述任一实施例所述的质量评价方法。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现上述任一实施例所述的质量评价方法。
区别于现有技术的情况，本申请的有益效果是：本申请中将多个人脸图像输入至训练后的多任务网络模型中，以获得每张人脸图像对应的多个属性的预测值，其中，属性包括人脸角度、人脸清晰度以及人脸遮挡信息，根据多个属性的预测值获得对应的人脸图像的人脸质量得分。通过这种设计方式，可以在同一个网络里面针对性地获得人脸图像的重点特征的预测值并对该人脸图像进行得分量化，不仅提高了质量评价的效率，而且节省了计算资源和时间成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请人脸图像的质量评价方法一实施方式的流程示意图；
图2是图1中步骤S2之前一实施方式的流程示意图；
图3是图2中步骤S12一实施方式的流程示意图；
图4是图1中步骤S2一实施方式的流程示意图；
图5是三维空间矩阵图；
图6是图4中步骤S21一实施方式的流程示意图；
图7是图1中步骤S1之前一实施方式的流程示意图；
图8是图1中步骤S1之前另一实施方式的流程示意图；
图9是多任务网络模型结构设计图；
图10是图8中步骤S41一实施方式的流程示意图；
图11是图8中步骤S41一实施方式的流程示意图；
图12是图8中步骤S41一实施方式的流程示意图；
图13是本申请人脸图像的质量评价装置一实施方式的框架示意图；
图14是本申请人脸图像的质量评价装置一实施方式的结构示意图；
图15是本申请计算机可读存储介质一实施方式的框架示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请人脸图像的质量评价方法一实施方式的流程示意图。该方法包括：
S1：将多个人脸图像输入至训练后的多任务网络模型中，以获得每张人脸图像对应的多个属性的预测值。
具体地，在本实施例中，属性包括人脸角度、人脸清晰度以及人脸遮挡信息。
S2：根据多个属性的预测值获得对应的人脸图像的人脸质量得分。
通过这种设计方式，可以在同一个网络里面针对性地获得人脸图像的重点特征的预测值并对该人脸图像进行得分量化，不仅提高了对人脸图像质量评价的效率，而且节省了计算资源和时间成本。
具体地，在本实施例中，请参阅图2，图2是图1中步骤S2之前一实施方式的流程示意图。具体而言，在步骤S2之前，还包括：
S10：针对每张人脸图像，计算获得当前人脸图像的卡尔曼增益矩阵，并利用卡尔曼增益矩阵获得当前人脸图像的人脸角度的最优估计值和人脸清晰度的最优估计值。
具体地，在本实施例中，利用以下公式计算获得当前人脸图像的卡尔曼增益矩阵，并利用卡尔曼增益矩阵获得当前人脸图像的人脸角度的最优估计值和人脸清晰度的最优估计值。
状态预测值
Figure BDA0003094017640000061
由状态预测方程可得：
Figure BDA0003094017640000062
其中，A为状态转移矩阵，B为控制输入矩阵，μk为测量噪声。
状态最优估计值
Figure BDA0003094017640000063
由状态更新方程得：
Figure BDA0003094017640000064
其中，H为状态观测矩阵，zk为状态阵的观测量。具体而言，卡尔曼增益K，K∈[0，1]，其表征了状态最优估计过程中模型预测误差与量测误差的比重，由公式(2)可知，当K＝0时，系统的状态最优估计值完全取决于状态预测值。
最优估计条件下的卡尔曼增益矩阵：
Figure BDA0003094017640000071
其中，
Figure BDA0003094017640000072
为真实值与预测值之间的协方差，R为测量噪声协方差。
估计误差方差矩阵：
Figure BDA0003094017640000073
状态估计协方差矩阵：
Figure BDA0003094017640000074
其中，Pk为估计误差方差矩阵，Q为过程噪声协方差。
具体而言，依靠估计方差矩阵和状态估计协方差矩阵进行迭代获得最优估计条件下的卡尔曼增益矩阵，利用卡尔曼增益矩阵计算获得当前人脸图像的人脸角度的最优估计值和人脸清晰度的最优估计值。
S11：获得当前人脸图像的人脸角度的预测值与人脸角度的最优估计值之间的第一差值、以及当前人脸图像的人脸清晰度的预测值与人脸清晰度的最优估计值之间的第二差值。
具体地，在本实施例中，人脸角度包括俯仰角、旋转角以及偏航角。具体而言，步骤S11具体包括：获得当前人脸图像中俯仰角的预测值与俯仰角的最优估计值之间的差值、旋转角的预测值与旋转角的最优估计值之间的差值以及偏航角的预测值与偏航角的最优估计值之间的差值。
S12：判断第一差值和第二差值是否符合预设条件。
请参阅图3，图3是图2中步骤S12一实施方式的流程示意图。具体而言，步骤S12具体包括：
S120：获得当前人脸图像中俯仰角的预测值与俯仰角的最优估计值之间的差值的绝对值、旋转角的预测值与旋转角的最优估计值之间的差值的绝对值以及偏航角的预测值与偏航角的最优估计值之间的差值的绝对值的和值。
S121：判断和值是否小于第一阈值且第二差值的绝对值是否小于第二阈值。
具体地，在本实施例中，上述判断条件以公式表示如下：
Figure BDA0003094017640000075
其中，
Figure BDA0003094017640000081
为第一阈值，β为第二阈值，
Figure BDA0003094017640000082
表示卡尔曼滤波在人脸角度的三个最优估计值，
Figure BDA0003094017640000083
表示人脸角度的三个预测值，
Figure BDA0003094017640000084
表示卡尔曼滤波在人脸清晰度的最优估计值，
Figure BDA0003094017640000085
表示人脸清晰度的预测值。
S13：若是，则进入根据多个属性的预测值获得对应的人脸图像的人脸质量得分的步骤。
具体而言，若第一差值和第二差值符合预设条件，则表明该人脸图像为高质量人脸图像，则进入根据多个属性的预测值获得对应的人脸图像的人脸质量得分的步骤。
S14：否则，不进入根据多个属性的预测值获得对应的人脸图像的人脸质量得分的步骤。
具体而言，若第一差值和第二差值不符合预设条件，则表明该人脸图像为低质量人脸图像，则不进入根据多个属性的预测值获得对应的人脸图像的人脸质量得分的步骤。
具体而言，跳变的人脸可能是因为当前的人脸质量突然出现不稳定因素，例如，强烈光照，人脸对象切换等。如果人脸角度合计误差及人脸清晰度误差都在可控范围内，则表示当前帧人脸质量连续，否则可以认定为人脸质量跳变。当遇到质量跳变较大的人脸图像，可以将其标记为低质量人脸图像，不对外进行输出，节省了时间成本。
由于本申请中的人脸角度和人脸清晰度的预测值是通过分类任务特性得到回归的结果，所以在预测值上可以认定为是一个连续性的数值。在视频流中，同样一个目标的人脸在这两个属性上的变化一般都是相对连续的，为了排除输入的图像质量跳变导致网络预测的不稳定性，可以利用卡尔曼滤波对人脸图像进行质量连续性预测。卡尔曼滤波非常适合不断变化的系统，它具备内存占用较小(只需保留前一个状态)、速度快等优点，是实时问题和嵌入式系统的理想选择。因此，本申请中通过引入卡尔曼滤波进行人脸图像的质量连续性预测，可以准确地排除人脸角度及人脸清晰度预测跳变人脸，提高对人脸图像质量评价的效率，节省时间成本。
此外，对于图1中步骤S2中具体获得人脸质量得分的过程可以参阅图4-图5，图4是图1中步骤S2一实施方式的流程示意图，图5是三维空间矩阵图。具体地，在本实施例中，步骤S2具体包括：
S20：利用每张人脸图像的人脸角度的得分值、人脸清晰度的得分值和人脸遮挡信息的得分值构建三维空间矩阵，且三维空间矩阵的原点坐标为(0,0,0)。
具体地，在本实施例中，人脸角度的得分值、人脸清晰度的得分值和人脸遮挡信息的得分值分别与对应属性的预测值相关，例如，当多任务网络预测到人脸图像的6个关键部位均未被遮挡，则人脸遮挡信息的得分值为1，若人脸图像的6个关键部位均被遮挡，则人脸遮挡信息的得分值为0，本申请对此不作限定。
S21：基于三维空间矩阵中经过原点坐标的对角线获得每张人脸图像的人脸质量得分。
另外，在本实施例中，如图5所示，三维空间矩阵的每一个维度代表了一个属性的评价映射，三维空间矩阵的原点坐标(0,0,0)代表了最低的得分起点值，最高位置的(1,1,1)代表了最高的得分值，综合人脸角度、人脸清晰度和人脸遮挡信息三个属性得到人脸质量得分值，具体地，人脸质量得分值在原点坐标(0,0,0)到最高位置(1,1,1)的线段上。
具体地，在本实施例中，请参阅图6，图6是图4中步骤S21一实施方式的流程示意图。具体而言，步骤S21包括：
S210：获得人脸角度的得分值的平方与第一权重的第一乘积、人脸清晰度的得分值的平方与第二权重的第二乘积、人脸遮挡信息的得分值的平方与第三权重的第三乘积。
具体地，在本实施例中，第一权重、第二权重和第三权重的范围均为0-1。
S211：将第一乘积、第二乘积和第三乘积之和的平方根值和归一化系数的乘积作为人脸质量得分。
具体地，在本实施例中，人脸质量得分值Stotal的计算公式如下所示：
Figure BDA0003094017640000091
其中，α为归一化系数，δ，ε，γ分别为第一权重、第二权重和第三权重，SA、Sc、So分别为人脸角度、人脸清晰度、人脸遮挡信息的得分值，Stotal为人脸质量得分值。
通过这种设计方式，利用人脸角度、人脸清晰度、人脸遮挡信息这些重要属性进行量化对人脸图像质量进行综合打分，以对人脸图像进行质量评价，提高了质量评价的效率，节省了时间成本。
具体地，在本实施例中，为了节省计算资源和时间，请参阅图7，图7是图1中步骤S1之前一实施方式的流程示意图。具体而言，在步骤S1之前，包括：
S30：从视频流中获得多个目标人脸图像。
S31：对多个目标人脸图像进行全局模糊度计算，以获得每张目标人脸图像的第一清晰度。
具体地，在本实施例中，利用拉普拉斯对多个目标人脸图像进行全局模糊度计算，以获得目标人脸图像的第一清晰度。
S32：判断第一清晰度是否大于第三阈值。
S33：若是，则进入将多个人脸图像输入至训练后的多任务网络模型中，以获得每张人脸图像对应的多个属性的预测值的步骤。
S34：否则，不进入将多个人脸图像输入至训练后的多任务网络模型中，以获得每张人脸图像对应的多个属性的预测值的步骤。
具体而言，若人脸图像的第一清晰度小于等于第三阈值，则不对该人脸图像进行后续的预测步骤，这样可以先排除清晰度差的人脸图像，节省计算时间。
在视频流上，针对同样一个目标其人脸的输入往往会有较多的候选，先对人脸图像中的人脸检测框做一个清晰度判断的预处理，在人脸清晰度非常差的情况下不送入多任务网络模型中进行处理，提高了计算效率，且节省了时间成本。
另外，在本实施例中，请参阅图8，图8是图1中步骤S1之前另一实施方式的流程示意图。具体而言，在步骤S1之前，还包括：
S40：将多个训练人脸图像分别输入至多任务网络模型中进行训练。
具体而言，为了使得模型简化的同时获取需要预测得到的特征属性，使用一个多任务网络模型同时获取这些人脸图像的要素等级，运用多任务学习的策略，共享特征提取网络参数，不仅可以提高工作效率，也可以节省时间成本。
S41：获得多任务网络模型中的角度损失函数值、清晰度损失函数值和遮挡值损失函数值，以获得总损失函数值。
具体而言，在多任务网络模型中拉出3个损失函数分支，分别为人脸角度的损失函数、人脸清晰度的损失函数、人脸遮挡信息的损失函数，最后综合多个分支的损失函数训练该多任务网络模型，具体地，总损失函数值
Figure BDA0003094017640000111
等于角度损失函数值
Figure BDA0003094017640000112
清晰度损失函数值
Figure BDA0003094017640000113
和遮挡值损失函数值
Figure BDA0003094017640000114
之和，公式如下所示：
Figure BDA0003094017640000115
S42：根据总损失函数值判断多任务网络模型是否达到收敛状态。
具体而言，通过判断总损失函数值是否为最小值来判断多任务网络模型是否达到收敛状态。
S43：若是，则将多任务网络模型输出。
具体而言，若多任务网络模型是否达到收敛状态，则将该多任务网络模型输出，用于人脸图像的质量评价。
S44：否则，返回至将多个训练人脸图像分别输入至多任务网络模型中进行训练的步骤。
另外，在本实施例中，请参阅图9，图9是多任务网络模型结构设计图。具体而言，用多个训练人脸图像分别针对三个重要属性进行训练，以得到总损失函数值，并通过迭代训练使得多任务网络模型达到收敛状态后，对输入的人脸图像进行前向处理可分别获取该人脸图像的人脸角度、人脸清晰度、人脸遮挡信息的预测值。
通过这种设计方式，针对影响人脸图像质量的重点要素，包括人脸角度、人脸清晰度和人脸遮挡信息进行分析考虑，将其结合到一个多任务网络中进行预测，能够有效地结合多个影响因素得到人脸图像的质量评价预测，不仅提高了工作效率，而且节约了时间成本。
具体地，在本实施例中，请参阅图10，图10是图8中步骤S41一实施方式的流程示意图。具体而言，步骤S41中获得多任务网络模型中的角度损失函数值的步骤包括：
S50：将多个训练人脸图像的人脸角度按角度区间进行分类，以获得第一类别数。
具体地，在本实施例中，人脸角度包括俯仰角、旋转角以及偏航角，对俯仰角、旋转角以及偏航角按角度区间进行分类。以偏航角为例，lieu，将3度划分为一个类别，那么偏航角的范围为-90°～+90°，可以分成180/3＝60个类别。俯仰角和旋转角与偏航角类似，这样就可以进行分类任务了。
S51：根据第一类别数获得每张训练人脸图像的人脸角度的预测值。
具体而言，对步骤S51中分类的结果恢复成人脸角度的预测值：第一类别数*3-90。
S52：将多个训练人脸图像的人脸角度的预测值进行映射以得到角度损失函数值。
具体而言，根据步骤S51中人脸角度的预测值计算角度损失函数值
Figure BDA0003094017640000123
计算公式如下所示：
Figure BDA0003094017640000122
其中，H表示交叉熵损失，MSE为均方误差损失，α为两种类型损失函数的平衡系数，N表示在每一个训练过程中的图片数目。
通过这种设计方式，本申请将回归任务变成分类任务进行学习，预测过程可以将分类得到的结果映射得到一个回归值，提高了对人脸图像质量评价的效率。
具体地，在本实施例中，请参阅图11，图11是图8中步骤S41一实施方式的流程示意图。具体而言，步骤S41中获得多任务网络模型中的清晰度损失函数值的步骤包括：
S60：获取多个训练人脸图像的第二清晰度，并对第二清晰度进行分类，以获得第二类别数。
无参考的图像清晰度常用的方法是借助于梯度及方差函数统计人脸图像上临近的像素点之间的差异性，作为传统的图像清晰度判定方法，每一种方法在特定的图像场景上都会产生一定的偏差，从整体的效果来看，辨识图像的清晰度效果也不是很理想。在对较多的图像进行实践发现，如果图像清晰度非常差的情况下，借助于这些传统的图像清晰度判定方法能有效的筛选出一批低质量的人脸图像，因此，本申请在主要流程上引入拉普拉斯进行图像清晰度预判定。同样地，本申请中首先获得训练人脸图像的第二清晰度，并对第二清晰度进行分类。具体地，训练时将获取得到的第一清晰度划分为21个等级。
S61：根据第二类别数获得每张训练人脸图像的人脸清晰度的预测值。
具体地，在本实施例中，预测过程根据第二类别数通过10x-100计算人脸清晰度的预测值，其中，x为第二类别数，人脸清晰度的预测值的范围为-100～+100。例如，当x＝0时，人脸清晰度的预测值为-100，当x＝20时，人脸清晰度的预测值为+100。
S62：将多个训练人脸图像的人脸清晰度的预测值进行映射以得到清晰度损失函数。
具体而言，根据步骤S61中得到的人脸清晰度的预测值计算得到清晰度损失函数值
Figure BDA0003094017640000131
计算公式如下所示：
Figure BDA0003094017640000132
其中，H表示交叉熵损失，MSE为均方误差损失，β为两种类型损失函数的平衡系数，N表示在每一个训练过程中的图片数目。
通过这种设计方式，本申请将分类得到的结果映射得到一个回归值，能够有效地利用多任务网络模型预测得到人脸清晰度，从而提高了对人脸图像质量评价的效率。
具体地，在本实施例中，请参阅图12，图12是图8中步骤S41一实施方式的流程示意图。具体而言，步骤S41中获得多任务网络模型中的遮挡值损失函数值的步骤包括：
S70：对多个训练人脸图像中多个关键部位进行遮挡检测。
具体而言，如图9所示，每张训练人脸图像中的关键部位包括左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴。另外，在本实施例中，对关键部位的遮挡检测还可以根据真实标签上实际人脸角度与人脸角度的预测值之间的偏离角来对人脸遮挡信息进行预测。
S71：将训练人脸图像中可见的关键部位标记为第一标志位，将训练人脸图像中不可见的关键部位标记为第二标志位。
具体而言，第一标志位与第二标志位不同。在本实施例中，将训练人脸图像中可见的关键部位标记为“1”，将训练人脸图像中不可见的关键部位标记为“0”，本申请对标记方式不作限定。
S72：根据每张训练人脸图像的关键部位的标签得到人脸遮挡信息的预测值。
具体地，在本实施例中，人脸遮挡信息通过回归左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴这6个关键部位位置作为衡量人脸是否被遮挡的标准，每个关键部位的标签包括可见、不可见属性。
S73：将多个训练人脸图像的人脸遮挡信息的预测值进行映射以得到遮挡值损失函数值。
具体而言，根据人脸遮挡信息的预测值计算得到遮挡值损失函数值
Figure BDA0003094017640000141
计算公式如下所示：
Figure BDA0003094017640000142
其中，N表示在每一个训练过程中的图片数目，M表示关键部位的数目，θk(K＝1，2，3)表示真实标签上实际人脸角度与人脸角度的预测值之间的偏离角。
依据所见即所得，未见即遮挡的基本要领，通常的人脸关键部位检测是标记人脸对应的关键部位，即使是人脸角度过大造成的自遮挡或者有其它物体的遮挡存在，其标注也是需要推测对应关键部位的位置。通过本申请的设计方式，关键部位遮挡判断有效的结合了人脸角度信息，对人脸自遮挡的情况提升了稳定性，提高了人脸遮挡信息的预测值的准确性。
请参阅图13，图13是本申请人脸图像的质量评价装置一实施方式的框架示意图。该装置包括预测模块10和评价模块12。具体而言，预测模块10用于将多个人脸图像输入至训练后的多任务网络模型中，以获得每张人脸图像对应的多个属性的预测值，评价模块12用于根据多个属性的预测值获得对应的人脸图像的人脸质量得分。通过这种设计方式，可以在同一个网络里面针对性地获得人脸图像的重点特征的预测值并对该人脸图像进行得分量化，不仅提高了对人脸图像质量评价的效率，而且节省了计算资源和时间成本。
请参阅图14，图14是本申请人脸图像的质量评价装置一实施方式的结构示意图。该装置包括相互耦接的存储器100和处理器102，存储器100内存储有程序指令，处理器102用于执行程序指令以实现上述任一实施例中所提及的人脸图像的质量评价方法。
具体而言，处理器102还可以称为CPU(Central Processing Unit，中央处理单元)。处理器102可能是一种集成电路芯片，具有信号的处理能力。处理器102还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器102可以由多个集成电路芯片共同实现。
请参阅图15，图15是本申请计算机可读存储介质一实施方式的框架示意图。该计算机可读存储介质20存储有计算机程序200，能够被计算机所读取，计算机程序200能够被处理器执行，以实现上述任一实施例中所提及的质量评价方法。其中，该计算机程序200可以以软件产品的形式存储在上述计算机可读存储介质20中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。具有存储功能的计算机可读存储介质20可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
总而言之，区别于现有技术的情况，本申请中将多个人脸图像输入至训练后的多任务网络模型中，以获得每张人脸图像对应的多个属性的预测值，其中，属性包括人脸角度、人脸清晰度以及人脸遮挡信息，根据多个属性的预测值获得对应的人脸图像的人脸质量得分。通过这种设计方式，可以在同一个网络里面针对性地获得人脸图像的重点特征的预测值并对该人脸图像进行得分量化，提高了对人脸图像质量评价的效率，而且节省了计算资源和时间成本。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种人脸图像的质量评价方法，其特征在于，包括：
将多个人脸图像输入至训练后的多任务网络模型中，以获得每张所述人脸图像对应的多个属性的预测值，其中，所述属性包括人脸角度、人脸清晰度以及人脸遮挡信息；
根据多个所述属性的预测值获得对应的所述人脸图像的人脸质量得分。
2.根据权利要求1所述的质量评价方法，其特征在于，所述根据所述多个属性的预测值获得对应的所述人脸图像的人脸质量得分的步骤之前，包括：
针对每张所述人脸图像，计算获得当前所述人脸图像的卡尔曼增益矩阵，并利用所述卡尔曼增益矩阵获得当前所述人脸图像的人脸角度的最优估计值和人脸清晰度的最优估计值；
获得当前所述人脸图像的人脸角度的预测值与人脸角度的最优估计值之间的第一差值、以及当前所述人脸图像的人脸清晰度的预测值与人脸清晰度的最优估计值之间的第二差值；
判断所述第一差值和所述第二差值是否符合预设条件；
若是，则进入所述根据所述多个属性的预测值获得对应的所述人脸图像的人脸质量得分的步骤；否则，不进入所述根据所述多个属性的预测值获得对应的所述人脸图像的人脸质量得分的步骤。
3.根据权利要求2所述的质量评价方法，其特征在于，所述人脸角度包括俯仰角、旋转角以及偏航角；
所述获得当前所述人脸图像的人脸角度的预测值与人脸角度的最优估计值之间的第一差值的步骤包括：
获得当前所述人脸图像中所述俯仰角的预测值与所述俯仰角的最优估计值之间的差值、所述旋转角的预测值与所述旋转角的最优估计值之间的差值以及所述偏航角的预测值与所述偏航角的最优估计值之间的差值。
4.根据权利要求2或3任一项所述的质量评价方法，其特征在于，所述判断所述第一差值和所述第二差值是否符合预设条件的步骤，包括：
获得当前所述人脸图像中所述俯仰角的预测值与所述俯仰角的最优估计值之间的差值的绝对值、所述旋转角的预测值与所述旋转角的最优估计值之间的差值的绝对值以及所述偏航角的预测值与所述偏航角的最优估计值之间的差值的绝对值的和值；
判断所述和值是否小于第一阈值且所述第二差值的绝对值是否小于第二阈值。
5.根据权利要求1所述的质量评价方法，其特征在于，所述根据所述多个属性的预测值获得对应的所述人脸图像的人脸质量得分的步骤，包括：
利用每张所述人脸图像的所述人脸角度的得分值、所述人脸清晰度的得分值和所述人脸遮挡信息的得分值构建三维空间矩阵，且所述三维空间矩阵的原点坐标为(0,0,0)；其中，所述人脸角度的得分值、所述人脸清晰度的得分值和所述人脸遮挡信息的得分值分别与对应属性的所述预测值相关；
基于所述三维空间矩阵中经过所述原点坐标的对角线获得每张所述人脸图像的所述人脸质量得分。
6.根据权利要求5所述的质量评价方法，其特征在于，所述基于所述三维空间矩阵中经过所述原点坐标的对角线获得每张所述人脸图像的所述人脸质量得分的步骤，包括：
获得所述人脸角度的得分值的平方与第一权重的第一乘积、所述人脸清晰度的得分值的平方与第二权重的第二乘积、所述人脸遮挡信息的得分值的平方与第三权重的第三乘积；其中，所述第一权重、所述第二权重和所述第三权重的范围均为0-1；
将所述第一乘积、所述第二乘积和所述第三乘积之和的平方根值和归一化系数的乘积作为所述人脸质量得分。
7.根据权利要求1所述的质量评价方法，其特征在于，所述将所述多个人脸图像输入至训练后的多任务网络模型中，以获得每张所述人脸图像对应的多个属性的预测值，其中，所述多个属性包括人脸角度、人脸清晰度以及人脸遮挡信息的步骤之前，包括：
从视频流中获得多个目标人脸图像；
对多个所述目标人脸图像进行全局模糊度计算，以获得每张所述目标人脸图像的第一清晰度；
判断所述第一清晰度是否大于第三阈值；
若是，则进入将多个人脸图像输入至训练后的多任务网络模型中，以获得每张所述人脸图像对应的多个属性的预测值的步骤。
8.根据权利要求1所述的质量评价方法，其特征在于，所述将多个人脸图像输入至训练后的多任务网络模型中，以获得每张所述人脸图像对应的多个属性的预测值，其中，所述多个属性包括人脸角度、人脸清晰度以及人脸遮挡信息的步骤之前，还包括：
将多个训练人脸图像分别输入至所述多任务网络模型中进行训练；
获得所述多任务网络模型中的角度损失函数值、清晰度损失函数值和遮挡值损失函数值；
利用所述角度损失函数值、清晰度损失函数值和遮挡值损失函数值获得总损失函数值；
根据所述总损失函数值判断所述多任务网络模型是否达到收敛状态；
若是，则将所述多任务网络模型输出；否则，返回至所述将多个所述训练人脸图像分别输入至多任务网络模型中进行训练的步骤。
9.根据权利要求8所述的质量评价方法，其特征在于，所述获得所述多任务网络模型中的角度损失函数值的步骤包括：
将多个所述训练人脸图像的人脸角度按角度区间进行分类，以获得第一类别数，其中，所述人脸角度包括俯仰角、旋转角以及偏航角；
根据所述第一类别数获得每张所述训练人脸图像的所述人脸角度的预测值；
将多个所述训练人脸图像的所述人脸角度的预测值进行映射以得到所述角度损失函数值。
10.根据权利要求8所述的质量评价方法，其特征在于，所述获得所述多任务网络模型中的清晰度损失函数值的步骤包括：
获取多个所述训练人脸图像的第二清晰度，并对所述第二清晰度进行分类，以获得第二类别数；
根据所述第二类别数获得每张所述训练人脸图像的所述人脸清晰度的预测值；
将多个所述训练人脸图像的所述人脸清晰度的预测值进行映射以得到所述清晰度损失函数值。
11.根据权利要求9所述的质量评价方法，其特征在于，所述获得所述多任务网络模型中的遮挡值损失函数值的步骤包括：
对多个所述训练人脸图像中多个关键部位进行遮挡检测，其中，所述关键部位包括左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴；
将所述训练人脸图像中可见的所述关键部位标记为第一标志位，将所述训练人脸图像中不可见的所述关键部位标记为第二标志位；其中，所述第一标志位与所述第二标志位不同；
根据每张所述训练人脸图像的关键部位的标签得到人脸遮挡信息的预测值；
将多个所述训练人脸图像的所述人脸遮挡信息的预测值进行映射以得到所述遮挡值损失函数值。
12.一种人脸图像的质量评价装置，其特征在于，包括相互耦接的存储器和处理器，所述存储器内存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至11中任一项所述的质量评价方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现权利要求1至11任一项所述的质量评价方法。
CN202110605098.3A 2021-05-31 2021-05-31 人脸图像的质量评价方法、装置以及计算机可读存储介质 Pending CN113536900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110605098.3A CN113536900A (zh) 2021-05-31 2021-05-31 人脸图像的质量评价方法、装置以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110605098.3A CN113536900A (zh) 2021-05-31 2021-05-31 人脸图像的质量评价方法、装置以及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113536900A true CN113536900A (zh) 2021-10-22

Family

ID=78124487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110605098.3A Pending CN113536900A (zh) 2021-05-31 2021-05-31 人脸图像的质量评价方法、装置以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113536900A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104269028A (zh) * 2014-10-23 2015-01-07 深圳大学 一种疲劳驾驶检测方法及系统
CN107516092A (zh) * 2017-09-21 2017-12-26 天津呼噜互娱科技有限公司 人脸特征点检测增强方法及装置
CN111241925A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 人脸质量评定方法、系统、电子设备及可读存储介质
CN111339889A (zh) * 2020-02-20 2020-06-26 浙江大华技术股份有限公司 人脸优选方法、装置及存储介质
CN111723624A (zh) * 2019-03-22 2020-09-29 京东方科技集团股份有限公司 一种头部运动跟踪方法和系统
WO2020244032A1 (zh) * 2019-06-03 2020-12-10 罗普特科技集团股份有限公司 用于检测人脸图像的方法和装置
CN112287792A (zh) * 2020-10-22 2021-01-29 深圳前海微众银行股份有限公司 采集人脸图像的方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104269028A (zh) * 2014-10-23 2015-01-07 深圳大学 一种疲劳驾驶检测方法及系统
CN107516092A (zh) * 2017-09-21 2017-12-26 天津呼噜互娱科技有限公司 人脸特征点检测增强方法及装置
CN111723624A (zh) * 2019-03-22 2020-09-29 京东方科技集团股份有限公司 一种头部运动跟踪方法和系统
WO2020244032A1 (zh) * 2019-06-03 2020-12-10 罗普特科技集团股份有限公司 用于检测人脸图像的方法和装置
CN111241925A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 人脸质量评定方法、系统、电子设备及可读存储介质
CN111339889A (zh) * 2020-02-20 2020-06-26 浙江大华技术股份有限公司 人脸优选方法、装置及存储介质
CN112287792A (zh) * 2020-10-22 2021-01-29 深圳前海微众银行股份有限公司 采集人脸图像的方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN108229322B (zh) 基于视频的人脸识别方法、装置、电子设备及存储介质
CN111368788B (zh) 图像识别模型的训练方法、装置及电子设备
US8619135B2 (en) Detection of abnormal behaviour in video objects
US9767570B2 (en) Systems and methods for computer vision background estimation using foreground-aware statistical models
CN112084856A (zh) 一种人脸姿态检测方法、装置、终端设备及存储介质
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN107358245B (zh) 一种图像协同显著区域的检测方法
CN110909712B (zh) 运动目标检测方法、装置、电子设备及存储介质
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN112651953B (zh) 图片相似度计算方法、装置、计算机设备及存储介质
JP2022540101A (ja) ポジショニング方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体
CN111667504A (zh) 一种人脸追踪方法、装置及设备
CN113643260A (zh) 用于检测图像质量的方法、装置、设备、介质和产品
WO2024041108A1 (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
WO2023160061A1 (zh) 图像中运动对象的确定方法、装置、电子设备和存储介质
CN112101148A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN109102526B (zh) 无人机的监控系统的前景检测方法以及装置
CN113536900A (zh) 人脸图像的质量评价方法、装置以及计算机可读存储介质
US20200279103A1 (en) Information processing apparatus, control method, and program
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN115273184A (zh) 人脸活体检测模型训练方法及装置
CN112069885A (zh) 人脸属性识别方法、装置及移动终端
CN116189028B (zh) 图像识别方法、装置、电子设备以及存储介质
CN113365027B (zh) 视频处理方法及装置、电子设备和存储介质
CN116109991B (zh) 模型的约束参数确定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination