CN114792436A - 人脸深度图像质量评价方法及系统、电子设备及存储介质 - Google Patents

人脸深度图像质量评价方法及系统、电子设备及存储介质 Download PDF

Info

Publication number
CN114792436A
CN114792436A CN202110099454.9A CN202110099454A CN114792436A CN 114792436 A CN114792436 A CN 114792436A CN 202110099454 A CN202110099454 A CN 202110099454A CN 114792436 A CN114792436 A CN 114792436A
Authority
CN
China
Prior art keywords
depth image
face depth
face
quality
quality score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110099454.9A
Other languages
English (en)
Inventor
魏梦
户磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Dilusense Technology Co Ltd filed Critical Hefei Dilusense Technology Co Ltd
Priority to CN202110099454.9A priority Critical patent/CN114792436A/zh
Publication of CN114792436A publication Critical patent/CN114792436A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种人脸深度图像质量评价方法及系统、电子设备及存储介质，包括基于输入的目标图像，得到三维人脸识别图像数据，其中，三维人脸识别图像数据包括对齐的人脸深度图像及其对应的身份类别信息；将对齐的人脸深度图像及其对应的身份类别信息输入人脸深度图像质量评价模型，生成对应的人脸深度图像质量得分；其中，所述人脸深度图像质量评价模型是基于人脸深度图像样本数据以及预先确定的人脸深度图像真实质量得分标签进行训练后得到。本发明实现了端到端的人脸深度图像质量评价，综合的评价人脸深度图像质量；通过人脸深度图像质量结果筛选三维人脸识别图像，确保人脸深度图像质量满足三维人脸识别需求，从而促进三维人脸识别性能的提升。

Description

人脸深度图像质量评价方法及系统、电子设备及存储介质
技术领域
本发明涉及计算机图像处理、视频监控、人脸图像质量评价以及卷积神经网络邻域，特别涉及一种人脸深度图像质量评价方法及系统、电子设备及存储介质。
背景技术
近年来，人脸识别技术成功的应用于各个领域，使用人脸深度图像进行识别的三维人脸识别系统也备受关注，在用户配合、环境可控的场景下人脸识别系统已经可以达到很高的识别率，但是人脸识别的实际应用场景多数是不可控的，导致获取的人脸图像质量大幅度降低，从而使人脸识别系统的性能下降。人脸识别系统的识别效果一方面受光照、位置、背景、焦距、清晰度等图像获取条件的影响，一方面受姿态、遮挡、表情等人脸属性的影响。所有这些影响因素都会影响人脸图像的质量。为了减少低质量人脸图像对人脸识别的影响，有效地提升人脸识别系统的识别率，需要预先对人脸图像质量进行评价。
对于三维人脸识别系统，目前的人脸深度图像质量评价方法单独考虑影响人脸深度图像质量的各个属性，包括深度图的空洞率、人脸姿态、点云平滑度等，首先通过手工设计的特征或者机器学习的方法分别计算这些属性的质量值，然后基于人脸的多个属性值或通过质量矩阵整合为单一图像质量得分，排除质量较差的人脸深度图像。此类方法只考虑有限的几个可能影响人脸深度图像质量的属性，无法综合评价人脸深度图像的质量，人脸深度图像的质量评价模块独立于人脸识别模块，得到的质量较好的人脸深度图像对于人脸识别系统来说不一定是易于识别的，不能有效反映人脸深度图像质量对人脸识别性能的影响。
一些基于监督学习的方法可以综合的对人脸彩色图像质量进行评价，首先要获得训练数据的真实质量得分标签，一般通过人为对人脸图像进行打分或选择基准图得到真实质量得分标签，但是人为的评判结果不一定能完全适用于后续的人脸识别算法，此外人工选择工作量也较大，人力消耗较多。对于人脸深度图像，还没有较为成熟的算法生成可靠的真实质量得分标签。
发明内容
本发明提供一种通过人脸深度图像质量结果筛选三维人脸识别图像，确保人脸深度图像质量满足三维人脸识别需求的人脸深度图像质量评价方法及系统、电子设备及存储介质。
本发明提供一种人脸深度图像质量评价方法，包括：
基于输入的目标图像，得到三维人脸识别图像数据，其中，所述三维人脸识别图像数据包括对齐的人脸深度图像及其对应的身份类别信息；
将所述对齐的人脸深度图像及其对应的身份类别信息输入人脸深度图像质量评价模型，生成对应的人脸深度图像质量得分；
其中，所述人脸深度图像质量评价模型是基于人脸深度图像样本数据以及预先确定的人脸深度图像真实质量得分标签进行训练后得到。
优选的是，所述的人脸深度图像质量评价方法，其中，
所述基于人脸深度图像样本数据以及预先确定的人脸深度图像真实质量得分标签进行训练包括：
从输入的所述人脸深度图像中提取出对应的人脸深度特征，并基于所述人脸深度特征生成对应的人脸深度图像真实质量得分标签；
基于所述人脸深度图像真实质量得分标签和人脸深度图像质量得分，对卷积神经网络模型进行训练。
优选的是，所述的人脸深度图像质量评价方法，其中，所述基于所述人脸深度特征生成对应的人脸深度图像真实质量得分标签具体包括：
基于输入的人脸深度特征x，通过人脸分类器计算每个类别k的Softmax值，得到预测概率P(Y|w,x)，其中w是分类器的参数；将所述人脸深度图像在三维人脸识别中真实类别的预测概率作为人脸深度图像真实质量得分标签。
优选的是，所述的人脸深度图像质量评价方法，其中，还包括：
挑选出人脸深度图像质量得分高于预设值的人脸深度图像用于人脸识别。
本发明提供了一种人脸深度图像质量评价系统，包括：
人脸深度图像处理模块，用于基于输入的目标图像，得到三维人脸识别图像数据，其中，所述三维人脸识别图像数据包括对齐的人脸深度图像及其对应的身份类别信息；
图像质量评价模块，用于将所述对齐的人脸深度图像及其对应的身份类别信息输入人脸深度图像质量评价模型，生成对应的人脸深度图像质量得分；
其中，所述人脸深度图像质量评价模型是基于人脸深度图像样本数据以及预先确定的人脸深度图像真实质量得分标签进行训练后得到。
优选的是，所述的人脸深度图像质量评价系统，其中，还包括：
真实质量得分标签生成模块，用于从输入的所述人脸深度图像中提取出对应的人脸深度特征，并基于所述人脸深度特征生成对应的人脸深度图像真实质量得分标签；
人脸深度图像质量评价模型生成模块，用于基于所述人脸深度图像真实质量得分标签和人脸深度图像质量得分，对卷积神经网络模型进行训练，得到所述人脸深度图像质量评价模型。
优选的是，所述的人脸深度图像质量评价系统，其中，所述基于所述人脸深度特征生成对应的人脸深度图像真实质量得分标签具体包括：
基于输入的人脸深度特征x，通过人脸分类器计算每个类别k的Softmax值，得到预测概率P(Y|w,x)，其中w是分类器的参数；将所述人脸深度图像在三维人脸识别中真实类别的预测概率作为人脸深度图像真实质量得分标签。
优选的是，所述的人脸深度图像质量评价系统，其中，还包括：
人脸深度图像选择模块，用于挑选出人脸深度图像质量得分高于预设值的人脸深度图像用于人脸识别。
本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的人脸深度图像质量评价方法的步骤。
本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的人脸深度图像质量评价方法的步骤。
本发明提出一种针对三维人脸识别系统应用的基于卷积神经网络的人脸深度图像质量评价方法及系统、电子设备及可读存储介质，针对三维人脸识别系统应用，采用与三维人脸识别系统相同的数据进行人脸深度图像质量评价，对于人脸深度图像的处理方式与三维人脸识别保持一致，增强人脸深度图像质量评价与三维人脸识别的相关性；采用三维人脸识别特征的正确分类概率生成人脸深度图像真实质量得分标签。本发明采用卷积神经网络作为人脸深度图像质量评价模型，实现了端到端的人脸深度图像质量评价，综合的评价人脸深度图像质量；使得人脸深度图像质量得分直接反映人脸深度图像对三维人脸识别的有益程度，通过人脸深度图像质量结果筛选三维人脸识别图像，确保人脸深度图像质量满足三维人脸识别需求，从而促进三维人脸识别性能的提升。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的人脸深度图像质量评价方法的示意图；
图2为本发明提供的人脸深度图像质量评价系统的示意图；
图3为本发明提供的电子设备的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的人脸深度图像质量评价方法的示意图，如图1所示，该方法包括：
基于输入的目标图像，得到三维人脸识别图像数据，其中，所述三维人脸识别图像数据包括对齐的人脸深度图像及其对应的身份类别信息；
将所述对齐的人脸深度图像及其对应的身份类别信息输入人脸深度图像质量评价模型，生成对应的人脸深度图像质量得分；
其中，所述人脸深度图像质量评价模型是基于人脸深度图像样本数据以及预先确定的人脸深度图像真实质量得分标签进行训练后得到。
该步骤中，利用人脸深度图像质量评价模型对目标图像进行人脸深度图像质量评价；所述人脸深度图像质量评价模型的生成方法包括：
处理数据库中的图像，将得到的三维人脸识别图像数据作为人脸深度图像质量评价的数据集，其中，所述三维人脸识别图像数据包括对齐的人脸彩色图像与人脸深度图像及其对应的身份类别信息；
所述处理数据库中的图像具体包括：使用人脸检测算法检测人脸彩色图像上的人脸区域，并标记人脸区域及关键点的像素坐标作为人脸深度图的人脸区域及关键点的像素坐标；将人脸深度图像的人脸区域及关键点的像素坐标与标准人脸关键点对齐到固定尺寸，再将人脸深度图像转为点云进行点云中心化处理后保存为固定尺寸的三通道图像，其中，所述关键点包括左眼、右眼、鼻尖、左嘴角、右嘴角。
从输入的所述人脸深度图像中提取出对应的人脸深度特征，并基于所述人脸深度特征生成对应的人脸深度图像真实质量得分标签；此处的人脸深度图像是人脸深度图像样本数据中的图像。
将处理后的人脸深度图像输入三维人脸识别模型，模型输出对应的人脸深度特征。根据得到的人脸深度特征训练一个人脸分类器，在三维人脸识别系统中，通常使用Softmax函数得到每一类的分类概率。对于人脸深度图像质量评价数据集D包含N张人脸深度图像，则有
Figure BDA0002915493310000061
其中
Figure BDA0002915493310000062
是d维的人脸深度特征，
Figure BDA0002915493310000063
Figure BDA0002915493310000064
是人脸深度特征对应的真实类别。输入一个人脸深度特征x，人脸分类器通过计算每个类别k的Softmax值得到预测概率分别P(Y|w,x)，其中w是分类器的参数。人脸深度特征x的预测类别为最大预测概率对应的类别，当人脸分类器预测正确时，最大预测概率对应的类别即为人脸深度特征对应的真实类别，当人脸分类器预测错误时，人脸深度特征真实类别的预测概率会是一个较低的值。人脸深度特征真实类别的预测概率值反映了人脸深度图像对于三维人脸识别性能的有益程度，人脸深度特征真实类别的预测概率值越大，则人脸深度图像能正确分类的概率越大，人脸深度图像对三维人脸识别性能越有益，因此该人脸深度图像的质量越高。
本发明使用人脸深度图像在三维人脸识别中真实类别的预测概率作为人脸深度图像真实质量得分标签。人脸深度图像真实质量得分标签是一个[0,1]区间内的实数。人脸深度图像质量评价训练数据集和测试数据集均按此方法生成对应的人脸深度图像真实质量得分标签，用于后续的人脸深度图像质量评价模型的训练及测试。
构建卷积神经网络模型，基于输入卷积神经网络模型中的所述人脸深度图像，生成对应的人脸深度图像质量得分；
基于输入的所述人脸深度图像真实质量得分标签和人脸深度图像质量得分，对所述卷积神经网络模型进行训练，得到人脸深度图像质量评价模型。
本发明采用卷积神经网络训练一个端到端的人脸深度图像质量评价模型，输入一张人脸深度图像，人脸深度图像质量评价模型输出对应的人脸深度图像质量得分。构建的人脸深度图像质量评价模型由两部分卷积神经网络组成，基础卷积神经网络和端部卷积神经网络。
鉴于人脸深度图像质量评价模型输出的人脸深度图像质量得分要直接反映人脸深度图像对三维人脸识别性能的有益程度，人脸深度图像质量评价模型的基础卷积神经网络可以采用常用的三维人脸识别模型，包括但不限于VGG-Net，ResNet，DenseNet，MobileNet，ShuffleNet等。
人脸深度图像质量评价模型基础卷积神经网络输出的特征作为端部卷积神经网络的输入，端部卷积神经网络输出一个综合人脸深度图像质量得分，因此，人脸深度图像质量评价模型的端部卷积神经网络由多层全链接层组成，最后一层全链接层输出为一维特征，最后使用Sigmoid激活函数层将一维特征归一化到[0,1]区间，与人脸深度图像真实质量得分标签的分布区间相同。
本发明在训练卷积神经网络时，首先选取训练数据集中90％的数据样本作为参与卷积神经网络迭代学习的训练样本，其余10％的数据样本作为训练过程中验证网络性能的验证样本。
对于基础卷积神经网络先用三维人脸识别数据进行预训练，保留训练得到的卷积神经网络参数作为人脸深度图像质量评价模型的初始化参数；对于端部卷积神经网络采用随机初始化参数。
训练样本先经过人脸深度图处理后与其对应的人脸深度图像真实质量得分标签一起输入卷积神经网络进行训练。数据经过卷积神经网络得到预测的人脸深度图像质量得分，与人脸深度图像真实质量得分计算损失后进行反向传播，更新卷积神经网络的参数。重复上述过程并观察训练过程中损失值的变化趋势，当卷积神经网络模型收敛后保存卷积神经网络模型的参数，得到人脸深度图像质量评价模型。
所述人脸深度图像质量评价的数据集根据数据库中的图像的身份分为训练数据集及测试数据集。还包括卷积神经网络测试模块，所述卷积神经网络测试模块用于将人脸深度图像输入人脸深度图像质量评价模型中，输出对应测试人脸深度图像的质量得分，并挑选出人脸深度图像质量得分高于预设值的人脸深度图像用于人脸识别。
在卷积神经网络模型的测试阶段，对测试人脸深度图像进行人脸深度图处理后输入卷积神经网络模型中，经过模型前向推理，卷积神经网络模型输出对应测试人脸深度图像的质量得分。挑选人脸深度图像质量得分较高的人脸深度图像进行后续的三维人脸识别过程。
本发明提供了一种针对三维人脸识别系统应用的基于卷积神经网络的人脸深度图像质量评价方法。本发明采用三维人脸识别特征的正确分类概率生成人脸深度图像真实质量得分标签，避免了人为打分的主观性和人力资源，使得生成的人脸深度图像真实质量得分标签与后续的三维人脸识别高度相关。本发明使用卷积神经网络作为人脸深度图像质量评价模型，实现了端到端的人脸深度图像质量评价，同时避免了单独考虑人脸深度图像质量影响因素的局限性，人脸深度图像质量评价模型输出的是对人脸深度图像的综合质量得分。本发明得到的人脸深度图像质量得分是一个[0,1]区间的连续实数，数字越大代表人脸深度图像的质量越好，对三维人脸识别越有益，达到了人脸深度图像质量评价结果直接反映三维人脸识别有益程度的目的。本发明可有效的辨别大空洞、大姿态、非人脸等低质量的人脸深度图像并给予它们低分，后续根据人脸深度图像质量得分可去除低质量的人脸深度图像，使得输入三维人脸识别系统的都是易于识别的人脸深度图像，提升三维人脸识别的准确率。
构建的卷积神经网络模型采用监督学习的方法进行训练，训练过程中的损失函数采用L2损失函数。
基于所述人脸深度特征生成对应的人脸深度图像真实质量得分标签具体包括基于输入的人脸深度特征x，通过人脸分类器计算每个类别k的Softmax值，得到预测概率P(Y|w,x)，其中w是分类器的参数；将所述人脸深度图像在三维人脸识别中真实类别的预测概率作为人脸深度图像真实质量得分标签。
还包括将人脸深度图像输入人脸深度图像质量评价模型中，输出对应测试人脸深度图像的质量得分，并挑选出人脸深度图像质量得分高于预设值的人脸深度图像用于人脸识别。预设值可以设为0.7-0.8或者根据实际需要进行设置。
本发明提出一种针对三维人脸识别系统应用的基于卷积神经网络的人脸深度图像质量评价方法及系统、电子设备及可读存储介质，针对三维人脸识别系统应用，采用与三维人脸识别系统相同的数据进行人脸深度图像质量评价，对于人脸深度图像的处理方式与三维人脸识别保持一致，增强人脸深度图像质量评价与三维人脸识别的相关性；采用三维人脸识别特征的正确分类概率生成人脸深度图像真实质量得分标签。本发明采用卷积神经网络作为人脸深度图像质量评价模型，实现了端到端的人脸深度图像质量评价，综合的评价人脸深度图像质量；使得人脸深度图像质量得分直接反映人脸深度图像对三维人脸识别的有益程度，通过人脸深度图像质量结果筛选三维人脸识别图像，确保人脸深度图像质量满足三维人脸识别需求，从而促进三维人脸识别性能的提升。
本发明的人脸深度图像质量评价系统的工作原理与上述实施例的人脸深度图像质量评价方法是相应的，此处不再一一赘述。
图2为本发明提供的人脸深度图像质量评价系统的示意图，如图2所示，该系统包括：
人脸深度图像处理模块10，用于基于输入的目标图像，得到三维人脸识别图像数据，其中，所述三维人脸识别图像数据包括对齐的人脸深度图像及其对应的身份类别信息；
图像质量评价模块20，用于将所述对齐的人脸深度图像及其对应的身份类别信息输入人脸深度图像质量评价模型，生成对应的人脸深度图像质量得分；
其中，所述人脸深度图像质量评价模型是基于人脸深度图像样本数据以及预先确定的人脸深度图像真实质量得分标签进行训练后得到。
优选的，还包括：
真实质量得分标签生成模块，用于从输入的所述人脸深度图像中提取出对应的人脸深度特征，并基于所述人脸深度特征生成对应的人脸深度图像真实质量得分标签；
人脸深度图像质量评价模型生成模块，用于基于所述人脸深度图像真实质量得分标签和人脸深度图像质量得分，对卷积神经网络模型进行训练，得到所述人脸深度图像质量评价模型。
所述基于所述人脸深度特征生成对应的人脸深度图像真实质量得分标签具体包括：
基于输入的人脸深度特征x，通过人脸分类器计算每个类别k的Softmax值，得到预测概率P(Y|w,x)，其中w是分类器的参数；将所述人脸深度图像在三维人脸识别中真实类别的预测概率作为人脸深度图像真实质量得分标签。
还包括：
人脸深度图像选择模块，用于挑选出人脸深度图像质量得分高于预设值的人脸深度图像用于人脸识别。
图3示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)310、通信接口(CommunicationsInterface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行一种人脸深度图像质量评价方法，该方法包括：
基于输入的目标图像，得到三维人脸识别图像数据，其中，所述三维人脸识别图像数据包括对齐的人脸深度图像及其对应的身份类别信息；
将所述对齐的人脸深度图像及其对应的身份类别信息输入人脸深度图像质量评价模型，生成对应的人脸深度图像质量得分；
其中，所述人脸深度图像质量评价模型是基于人脸深度图像样本数据以及预先确定的人脸深度图像真实质量得分标签进行训练后得到。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行一种人脸深度图像质量评价方法，该方法包括：
基于输入的目标图像，得到三维人脸识别图像数据，其中，所述三维人脸识别图像数据包括对齐的人脸深度图像及其对应的身份类别信息；
将所述对齐的人脸深度图像及其对应的身份类别信息输入人脸深度图像质量评价模型，生成对应的人脸深度图像质量得分；
其中，所述人脸深度图像质量评价模型是基于人脸深度图像样本数据以及预先确定的人脸深度图像真实质量得分标签进行训练后得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行一种人脸深度图像质量评价方法，该方法包括：
利用人脸深度图像质量评价模型对目标图像进行人脸深度图像质量评价；
所述人脸深度图像质量评价模型的生成方法包括：
基于输入的目标图像，得到三维人脸识别图像数据，其中，所述三维人脸识别图像数据包括对齐的人脸深度图像及其对应的身份类别信息；
将所述对齐的人脸深度图像及其对应的身份类别信息输入人脸深度图像质量评价模型，生成对应的人脸深度图像质量得分；
其中，所述人脸深度图像质量评价模型是基于人脸深度图像样本数据以及预先确定的人脸深度图像真实质量得分标签进行训练后得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸深度图像质量评价方法，其特征在于，包括：
基于输入的目标图像，得到三维人脸识别图像数据，其中，所述三维人脸识别图像数据包括对齐的人脸深度图像及其对应的身份类别信息；
将所述对齐的人脸深度图像及其对应的身份类别信息输入人脸深度图像质量评价模型，生成对应的人脸深度图像质量得分；
其中，所述人脸深度图像质量评价模型是基于人脸深度图像样本数据以及预先确定的人脸深度图像真实质量得分标签进行训练后得到。
2.根据权利要求1所述的人脸深度图像质量评价方法，其特征在于，所述基于人脸深度图像样本数据以及预先确定的人脸深度图像真实质量得分标签进行训练包括：
从输入的所述人脸深度图像中提取出对应的人脸深度特征，并基于所述人脸深度特征生成对应的人脸深度图像真实质量得分标签；
基于所述人脸深度图像真实质量得分标签和人脸深度图像质量得分，对卷积神经网络模型进行训练。
3.根据权利要求2所述的人脸深度图像质量评价方法，其特征在于，所述基于所述人脸深度特征生成对应的人脸深度图像真实质量得分标签具体包括：
基于输入的人脸深度特征x，通过人脸分类器计算每个类别k的Softmax值，得到预测概率P(Y|w,x)，其中w是分类器的参数；将所述人脸深度图像在三维人脸识别中真实类别的预测概率作为人脸深度图像真实质量得分标签。
4.根据权利要求3所述的人脸深度图像质量评价方法，其特征在于，还包括：
挑选出人脸深度图像质量得分高于预设值的人脸深度图像用于人脸识别。
5.一种人脸深度图像质量评价系统，其特征在于，包括：
人脸深度图像处理模块，用于基于输入的目标图像，得到三维人脸识别图像数据，其中，所述三维人脸识别图像数据包括对齐的人脸深度图像及其对应的身份类别信息；
图像质量评价模块，用于将所述对齐的人脸深度图像及其对应的身份类别信息输入人脸深度图像质量评价模型，生成对应的人脸深度图像质量得分；
其中，所述人脸深度图像质量评价模型是基于人脸深度图像样本数据以及预先确定的人脸深度图像真实质量得分标签进行训练后得到。
6.根据权利要求5所述的人脸深度图像质量评价系统，其特征在于，还包括：
真实质量得分标签生成模块，用于从输入的所述人脸深度图像中提取出对应的人脸深度特征，并基于所述人脸深度特征生成对应的人脸深度图像真实质量得分标签；
人脸深度图像质量评价模型生成模块，用于基于所述人脸深度图像真实质量得分标签和人脸深度图像质量得分，对卷积神经网络模型进行训练，得到所述人脸深度图像质量评价模型。
7.根据权利要求6所述的人脸深度图像质量评价系统，其特征在于，所述基于所述人脸深度特征生成对应的人脸深度图像真实质量得分标签具体包括：
基于输入的人脸深度特征x，通过人脸分类器计算每个类别k的Softmax值，得到预测概率P(Y|w,x)，其中w是分类器的参数；将所述人脸深度图像在三维人脸识别中真实类别的预测概率作为人脸深度图像真实质量得分标签。
8.根据权利要求5所述的人脸深度图像质量评价系统，其特征在于，还包括：
人脸深度图像选择模块，用于挑选出人脸深度图像质量得分高于预设值的人脸深度图像用于人脸识别。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一所述的人脸深度图像质量评价方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4任一所述的人脸深度图像质量评价方法的步骤。
CN202110099454.9A 2021-01-25 2021-01-25 人脸深度图像质量评价方法及系统、电子设备及存储介质 Pending CN114792436A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110099454.9A CN114792436A (zh) 2021-01-25 2021-01-25 人脸深度图像质量评价方法及系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110099454.9A CN114792436A (zh) 2021-01-25 2021-01-25 人脸深度图像质量评价方法及系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114792436A true CN114792436A (zh) 2022-07-26

Family

ID=82459513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110099454.9A Pending CN114792436A (zh) 2021-01-25 2021-01-25 人脸深度图像质量评价方法及系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114792436A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620083A (zh) * 2022-09-29 2023-01-17 北京的卢深视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620083A (zh) * 2022-09-29 2023-01-17 北京的卢深视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质
CN115620083B (zh) * 2022-09-29 2023-08-29 合肥的卢深视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质

Similar Documents

Publication Publication Date Title
US10049262B2 (en) Method and system for extracting characteristic of three-dimensional face image
CN111079639B (zh) 垃圾图像分类模型构建的方法、装置、设备及存储介质
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
US20180096196A1 (en) Verifying Identity Based on Facial Dynamics
JP2022141931A (ja) 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN107832740B (zh) 一种远程教学的教学质量评估方法及系统
CN110390308B (zh) 一种基于时空对抗生成网络的视频行为识别方法
CN105678381B (zh) 一种性别分类网络训练方法、性别分类方法及相关装置
CN109117857B (zh) 一种生物属性的识别方法、装置及设备
CN108764242A (zh) 基于深层卷积神经网络的离线手写汉字体识别方法
CN112395979A (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN113343974B (zh) 考虑模态间语义距离度量的多模态融合分类优化方法
CN110046574A (zh) 基于深度学习的安全帽佩戴识别方法及设备
CN107832721B (zh) 用于输出信息的方法和装置
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
Ravi et al. Sign language recognition with multi feature fusion and ANN classifier
CN111291773A (zh) 特征识别的方法及装置
CN113095333A (zh) 无监督特征点检测方法及装置
CN114926892A (zh) 一种基于深度学习的眼底图像匹配方法、系统和可读介质
Mursalin et al. Deep learning for 3D ear detection: A complete pipeline from data generation to segmentation
CN110969101A (zh) 一种基于hog和特征描述子的人脸检测与跟踪方法
CN114792436A (zh) 人脸深度图像质量评价方法及系统、电子设备及存储介质
CN116704264B (zh) 动物分类方法、分类模型训练方法、存储介质及电子设备
CN112215066A (zh) 家畜脸部图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination