CN113792682B - 基于人脸图像的人脸质量评估方法、装置、设备及介质 - Google Patents

基于人脸图像的人脸质量评估方法、装置、设备及介质 Download PDF

Info

Publication number
CN113792682B
CN113792682B CN202111094851.3A CN202111094851A CN113792682B CN 113792682 B CN113792682 B CN 113792682B CN 202111094851 A CN202111094851 A CN 202111094851A CN 113792682 B CN113792682 B CN 113792682B
Authority
CN
China
Prior art keywords
face
target
model
quality
quality score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111094851.3A
Other languages
English (en)
Other versions
CN113792682A (zh
Inventor
李佼
戴磊
刘玉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202111094851.3A priority Critical patent/CN113792682B/zh
Publication of CN113792682A publication Critical patent/CN113792682A/zh
Priority to PCT/CN2022/072370 priority patent/WO2023040156A1/zh
Application granted granted Critical
Publication of CN113792682B publication Critical patent/CN113792682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域，揭示了一种基于人脸图像的人脸质量评估方法、装置、设备及介质，其中方法包括：将待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为目标人脸质量评估模型；将质量分值作为待评估的人脸图像对应的目标人脸质量分。实现了基于多个人脸识别模型和神经网络训练得到目标人脸质量评估模型，不需要采用分类模型训练的人脸质量评估模型，从而避免了人脸图像的获取成本非常高昂的问题；而且采用多个人脸识别模型参与训练，提高了目标人脸质量评估模型的泛化效果。

Description

基于人脸图像的人脸质量评估方法、装置、设备及介质
技术领域
本申请涉及到人工智能技术领域，特别是涉及到一种基于人脸图像的人脸质量评估方法、装置、设备及介质。
背景技术
人脸图像的人脸质量检测是人脸识别流程里必不可少的环节，它可以过滤掉一些人脸质量不好的人脸图像，使得人脸识别模块可以更有效率的工作。现有的人脸质量评估模型都是基于面部特征清晰度、照明质量和图像分辨率等面部特征产生一个图像质量得分，这样的人脸质量评估模型通常会使用分类模型去训练，将人脸图像分为几个档来区分人脸质量的好坏程度，用于训练的训练集通常会使用实际采集的人脸图像、虚拟生成的人脸图像、业务流程中回流的人脸图像中的至少一种人脸图像进行训练，存在人脸图像的获取成本非常高昂的问题。还有利用人脸识别模块的人脸置信度给人脸图像打分制作成数据集训练人脸质量评估模型，这种方式制作的数据标签并不能很好的表达人脸质量的好坏，只能看做是判断人脸图像在特定的人脸识别模块下能否得到一个合理的分数，训练出来的人脸质量评估模型在其它人脸识别模块下并不具有泛化效果。
发明内容
本申请的主要目的为提供一种基于人脸图像的人脸质量评估方法、装置、设备及介质，旨在解决采用分类模型训练的人脸质量评估模型，存在人脸图像的获取成本非常高昂的问题，而利用人脸识别模块的人脸置信度给人脸图像打分制作成数据集训练人脸质量评估模型，不具有泛化效果的技术问题。
为了实现上述发明目的，本申请提出一种基于人脸图像的人脸质量评估方法，所述方法包括：
获取待评估的人脸图像；
将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个所述目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为所述目标人脸质量评估模型；
将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分。
进一步的，所述将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量分的评估，得到质量分值的步骤之前，包括：
获取多个待处理的人脸图像对和多个所述人脸识别模型；
根据每个所述待处理的人脸图像对和各个所述人脸识别模型进行人脸质量分标签生成和训练样本生成，得到所述目标训练样本；
采用多个所述目标训练样本对初始模型进行训练，直至达到收敛状态；
将达到所述收敛状态的所述初始模型的人脸质量评估模块确定为所述目标人脸质量评估模型。
进一步的，所述根据每个所述待处理的人脸图像对和各个所述人脸识别模型进行人脸质量分标签生成和训练样本生成，得到所述目标训练样本的步骤，包括：
从多个所述待处理的人脸图像对中获取一个作为目标人脸图像对；
将所述目标人脸图像对分别输入各个所述人脸识别模型进行人脸距离分数计算，得到多个目标人脸距离分数；
根据多个所述目标人脸距离分数生成人脸质量分标签；
根据所述人脸质量分标签和所述目标人脸图像对生成训练样本，得到所述目标人脸图像对对应的所述目标训练样本；
重复执行所述从多个所述待处理的人脸图像对中获取一个作为目标人脸图像对的步骤，直至完成所述待处理的人脸图像对的获取。
进一步的，所述目标人脸图像对包括：待训练的人脸图像和标准人脸图像，所述根据多个所述目标人脸距离分数生成人脸质量分标签的步骤，包括：
根据多个所述目标人脸距离分数进行方差计算，得到所述人脸质量分标签。
进一步的，两个所述人脸识别模型的网络结构、网络层数、参数量中的至少一种不相同；
所述将所述目标人脸图像对分别输入各个所述人脸识别模型进行人脸距离分数计算，得到多个目标人脸距离分数的步骤，包括：
将所述目标人脸图像对分别输入各个所述人脸识别模型；
获取每个所述人脸识别模型前向输出的人脸距离分数作为所述目标人脸距离分数。
进一步的，所述初始模型还包括：人脸关键特征质量评估模块，其中，所述人脸关键特征质量评估模块的输入端与所述人脸质量评估模块的卷积单元的输出端连接；
每个所述目标训练样本包括：人脸图像样本、人脸质量分标定值和人脸关键特征质量分标定值。
进一步的，所述采用多个所述目标训练样本对初始模型进行训练，直至达到收敛状态的步骤，包括：
从多个所述目标训练样本中获取其中一个所述目标训练样本作为目标样本；
将所述目标样本的人脸图像样本输入所述初始模型；
获取所述初始模型的所述人脸质量评估模块输出的人脸质量分预测值；
获取所述初始模型的所述人脸关键特征质量评估模块输出的人脸关键特征质量分预测值；
根据所述人脸质量分预测值、所述人脸关键特征质量分预测值和所述目标样本的人脸质量分标定值及人脸关键特征质量分标定值进行损失值计算，得到目标损失值；
根据所述目标损失值更新所述初始模型的网络参数；
重复执行所述从多个所述目标训练样本中获取其中一个所述目标训练样本作为目标样本的步骤，直至达到所述收敛状态。
本申请还提出了一种基于人脸图像的人脸质量评估装置，所述装置包括：
图像获取模块，用于获取待评估的人脸图像；
人脸质量分评估模块，用于将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个所述目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为所述目标人脸质量评估模型；
目标人脸质量分确定模块，用于将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分。
本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于人脸图像的人脸质量评估方法、装置、设备及介质，其中方法通过获取待评估的人脸图像；将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个所述目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为所述目标人脸质量评估模型；将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分，实现了基于多个人脸识别模型和神经网络训练得到目标人脸质量评估模型，不需要采用分类模型训练的人脸质量评估模型，从而避免了人脸图像的获取成本非常高昂的问题；而且采用多个人脸识别模型参与训练，提高了目标人脸质量评估模型的泛化效果。
附图说明
图1为本申请一实施例的基于人脸图像的人脸质量评估方法的流程示意图；
图2为本申请一实施例的基于人脸图像的人脸质量评估装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例中提供一种基于人脸图像的人脸质量评估方法，所述方法包括：
S1：获取待评估的人脸图像；
S2：将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个所述目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为所述目标人脸质量评估模型；
S3：将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分。
本实施例通过获取待评估的人脸图像；将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个所述目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为所述目标人脸质量评估模型；将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分，实现了基于多个人脸识别模型和神经网络训练得到目标人脸质量评估模型，不需要采用分类模型训练的人脸质量评估模型，从而避免了人脸图像的获取成本非常高昂的问题；而且采用多个人脸识别模型参与训练，提高了目标人脸质量评估模型的泛化效果。
对于S1，可以获取用户输入的待评估的人脸图像，也可以从数据库中获取待评估的人脸图像，还可以从第三方应用系统中获取待评估的人脸图像。
待评估的人脸图像，是需要进行人脸质量评估的人脸图像。人脸图像是包含人脸的数字图像。
对于S2，将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量分的评估，也就是评估出一个0-1的分数，可以包括0，也可以包括1。
基于多个人脸识别模型生成人脸图像的人脸质量分标签，然后根据人脸图像和人脸质量分标签生成目标训练样本，采用各个目标训练样本对初始模型进行训练，根据训练结束的初始模型确定所述目标人脸质量评估模型，其中，初始模型是基于神经网络得到的模型。
对于S3，获取所述目标人脸质量评估模型输出的人脸质量分，将获取的人脸质量分作为所述待评估的人脸图像对应的目标人脸质量分。也就是说，目标人脸质量分是一个0-1的分数，可以包括0，也可以包括1。
可选的，所述将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分的步骤之后，还包括：获取人脸质量分阈值；当所述目标人脸质量分大于所述人脸质量分阈值时，确定所述待评估的人脸图像对应的目标人脸质量评估结果为合格；当所述目标人脸质量分小于或等于所述人脸质量分阈值时，确定所述待评估的人脸图像对应的目标人脸质量评估结果为不合格。
在一个实施例中，上述将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量分的评估，得到质量分值的步骤之前，包括：
S21：获取多个待处理的人脸图像对和多个所述人脸识别模型；
S22：根据每个所述待处理的人脸图像对和各个所述人脸识别模型进行人脸质量分标签生成和训练样本生成，得到所述目标训练样本；
S23：采用多个所述目标训练样本对初始模型进行训练，直至达到收敛状态；
S24：将达到所述收敛状态的所述初始模型的人脸质量评估模块确定为所述目标人脸质量评估模型。
本实施例因训练样本是根据多个所述待处理的人脸图像对和多个所述人脸识别模型进行训练样本生成的，从而提高了训练出的目标人脸质量评估模型的泛化效果；又因为所述初始模型不是分类模型，不需要采用分类模型训练的人脸质量评估模型，从而避免了人脸图像的获取成本非常高昂的问题。
对于S21，可以获取用户输入的多个待处理的人脸图像对和多个所述人脸识别模型，也可以从数据库中获取多个待处理的人脸图像对和多个所述人脸识别模型，还可以从第三方应用系统中获取多个待处理的人脸图像对和多个所述人脸识别模型。
待处理的人脸图像对包括：待训练的人脸图像和标准人脸图像。待训练的人脸图像是用于训练初始模型的图像。标准人脸图像，是人脸质量合格的人脸图像。
可以理解的是，各个所述待处理的人脸图像对中的标准人脸图像可以是相同的人脸图像。
对于S22，将所述待处理的人脸图像分别输入各个所述人脸识别模型进行前向预测，根据前向预测结果生成各个人脸质量分标签，根据人脸质量分标签和待训练的人脸图像生成训练样本作为目标训练样本。也就是说，所述目标训练样本与所述待处理的人脸图像对一一训练。
每个所述目标训练样本包括：人脸图像样本和人脸质量分标定值。人脸图像样本，是人脸图像。
在同一个所述目标训练样本中，人脸质量分标定值是对人脸图像样本的人脸质量分的准确标定结果。
对于S23，采用多个所述目标训练样本对初始模型进行训练的方法步骤在此不做赘述。
其中，在采用多个所述目标训练样本对初始模型进行训练时，采用交叉熵函数计算初始模型的损失值。
收敛状态包括：初始模型的损失值达到第一收敛条件或初始模型的迭代次数达到第二收敛条件。
所述第一收敛条件是指相邻两次计算初始模型的损失值的大小满足lipschitz条件(利普希茨连续条件)。
初始模型的迭代次数是指所述初始模型被训练的次数，也就是说，被训练一次，迭代次数增加1。
第二收敛条件是一个具体数值。
对于S24，达到所述收敛状态的所述初始模型是已经达到预期训练目标的模型，因此，可以将达到所述收敛状态的所述初始模型的人脸质量评估模块确定为所述目标人脸质量评估模型。
在一个实施例中，上述根据每个所述待处理的人脸图像对和各个所述人脸识别模型进行人脸质量分标签生成和训练样本生成，得到所述目标训练样本的步骤，包括：
S221：从多个所述待处理的人脸图像对中获取一个作为目标人脸图像对；
S222：将所述目标人脸图像对分别输入各个所述人脸识别模型进行人脸距离分数计算，得到多个目标人脸距离分数；
S223：根据多个所述目标人脸距离分数生成人脸质量分标签；
S224：根据所述人脸质量分标签和所述目标人脸图像对生成训练样本，得到所述目标人脸图像对对应的所述目标训练样本；
S225：重复执行所述从多个所述待处理的人脸图像对中获取一个作为目标人脸图像对的步骤，直至完成所述待处理的人脸图像对的获取。
本实施例实现了先采用每个所述人脸识别模型对所述目标人脸图像对计算一个人脸距离分数，然后根据各个人脸距离分数和所述目标人脸图像对生成训练样本，因为训练样本综合了各个人脸识别模型输出的人脸距离分数，从而提高了训练出的目标人脸质量评估模型的泛化效果。
对于S221，从多个所述待处理的人脸图像对中获取其中一个所述待处理的人脸图像对，将获取的所述待处理的人脸图像对作为目标人脸图像对。
对于S222，将所述目标人脸图像对分别输入各个所述人脸识别模型进行人脸距离分数计算，也就是说，每个所述人脸识别模型针对所述目标人脸图像对输出一个人脸距离分数，将每个所述人脸识别模型针对所述目标人脸图像对输出的人脸距离分数作为一个目标人脸距离分数。
对于S223，首先根据多个所述目标人脸距离分数进行方差计算，将计算得到的方差作为所述目标人脸图像对对应的人脸质量分标签.
对于S224，将所述目标人脸图像对对应的所述待训练的人脸图像，作为所述目标人脸图像对对应的所述目标训练样本的人脸图像样本；将所述目标人脸图像对对应的所述人脸质量分标签，作为所述目标人脸图像对对应的所述目标训练样本的人脸质量分标定值。
对于S225，重复执行步骤S221至步骤S225，直至完成所述待处理的人脸图像对的获取。也就是说，每个所述待处理的人脸图像对对应一个所述目标训练样本。
在一个实施例中，上述目标人脸图像对包括：待训练的人脸图像和标准人脸图像，所述根据多个所述目标人脸距离分数生成人脸质量分标签的步骤，包括：
S2231：根据多个所述目标人脸距离分数进行方差计算，得到所述人脸质量分标签。
本实施例通过根据多个所述目标人脸距离分数进行方差，将方差作为人脸质量分标签，使人脸质量分标签综合了各个人脸识别模型前向预测输出的人脸距离分数，从而提高了训练出的目标人脸质量评估模型的泛化效果。
对于S2231，所述人脸质量分标签的计算公式Q为：
其中，Sn是多个所述目标人脸距离分数中的第n个所述目标人脸距离分数，是多个所述目标人脸距离分数的平均值，P是所述目标人脸距离分数的数量。
在一个实施例中，上述两个所述人脸识别模型的网络结构、网络层数、参数量中的至少一种不相同；
所述将所述目标人脸图像对分别输入各个所述人脸识别模型进行人脸距离分数计算，得到多个目标人脸距离分数的步骤，包括：
S2221：将所述目标人脸图像对分别输入各个所述人脸识别模型；
S2222：获取每个所述人脸识别模型前向输出的人脸距离分数作为所述目标人脸距离分数。
本实施例的任意两个所述人脸识别模型之间的网络结构、网络层数、参数量中的至少一种不相同，从而使各个所述人脸识别模型可以涵盖各种类型的人脸识别模型，有利于使训练样本综合了更多类型的人脸识别模型输出的人脸距离分数，进一步提高了训练出的目标人脸质量评估模型的泛化效果；通过获取每个所述人脸识别模型前向输出的人脸距离分数作为所述目标人脸距离分数，提高了计算效率。
两个所述人脸识别模型的网络结构、网络层数、参数量中的至少一种不相同，是指用于生成训练样本的多个所述人脸识别模型中的任意两个所述人脸识别模型之间的网络结构、网络层数、参数量中的至少一种不相同。
所述人脸识别模型的网络结构可以是CNN网络、也可以是Transformer网络。CNN网络也就是卷积神经网络，比如，Resnet(深度残差网络)、VGG(Visual Geometry Group)、Mobilenet(深度级可分离卷积网络)。Transformer网络也就是采用Encoder(编码)和Decoder(解码)的网络，比如，Bert(Bidirectional Encoder Representations fromTransformers)模型。
对于S2221，将所述目标人脸图像对分别输入各个所述人脸识别模型进行前向输出，也就是说，所述人脸识别模型只做前向特征提取，不做反向传播，使保存后反馈所需要的中间值减少，从而减少了内存空间的需求和计算资源的需求，提高了计算效率。
对于S2222，获取每个所述人脸识别模型前向输出的人脸距离分数所述目标人脸图像对对应的一个目标人脸距离分数。
可以理解的是，目标人脸距离分数，是所述目标人脸图像对中的待训练的人脸图像和所述目标人脸图像对中的标准人脸图像之间的距离分数。
在一个实施例中，上述初始模型还包括：人脸关键特征质量评估模块，其中，所述人脸关键特征质量评估模块的输入端与所述人脸质量评估模块的卷积单元的输出端连接；
每个所述目标训练样本包括：人脸图像样本、人脸质量分标定值和人脸关键特征质量分标定值。
本实施例将人脸关键特征质量评估模块加入初始模型作为辅助训练，进一步提高了训练出的目标人脸质量评估模型的泛化效果。
其中，所述人脸关键特征质量评估模块的输入端与所述人脸质量评估模块的卷积单元的最后一个卷积块连接，也就是说，所述人脸关键特征质量评估模块从所述人脸质量评估模块的卷积单元的最后一个卷积块获取特征数据。
人脸关键特征质量评估模块依次包括：卷积层、平均池化层、卷积层、全连接层。
人脸关键特征质量评估模块，用于根据输入的特征数据预测出人脸图像中的人脸关键特征的质量分。
人脸关键特征，也就是人脸的特征点的特征。人脸的特征点，又称为人脸关键点，人脸面部的关键区域，比如，眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。
在一个实施例中，上述采用多个所述目标训练样本对初始模型进行训练，直至达到收敛状态的步骤，包括：
S231：从多个所述目标训练样本中获取其中一个所述目标训练样本作为目标样本；
S232：将所述目标样本的人脸图像样本输入所述初始模型；
S233：获取所述初始模型的所述人脸质量评估模块输出的人脸质量分预测值；
S234：获取所述初始模型的所述人脸关键特征质量评估模块输出的人脸关键特征质量分预测值；
S235：根据所述人脸质量分预测值、所述人脸关键特征质量分预测值和所述目标样本的人脸质量分标定值及人脸关键特征质量分标定值进行损失值计算，得到目标损失值；
S236：根据所述目标损失值更新所述初始模型的网络参数；
S237：重复执行所述从多个所述目标训练样本中获取其中一个所述目标训练样本作为目标样本的步骤，直至达到所述收敛状态。
本实施例采用多个所述目标训练样本对人脸关键特征质量评估模块和所述人脸质量评估模块进行训练，因人脸关键点和人脸质量在人脸属性中有很多共通性，减轻了过拟合，有助于提升所述人脸质量评估模块的泛化效果。
对于S231，从多个所述目标训练样本中获取一个所述目标训练样本，将获取的所述目标训练样本作为目标样本。
对于S232，将所述目标样本的人脸图像样本输入所述初始模型进行质量分预测。
对于S233，获取所述初始模型的所述人脸质量评估模块输出的质量分作为人脸质量分预测值。
对于S234，获取所述初始模型的所述人脸关键特征质量评估模块输出的质量分作为人脸关键特征质量分预测值。
对于S235，将所述人脸质量分预测值和所述目标样本的人脸质量分标定值输入第一损失函数进行损失值计算，得到第一损失值；将所述人脸关键特征质量分预测值和所述目标样本的人脸关键特征质量分标定值输入第二损失函数进行损失值计算，得到第二损失值；将第一损失值和第二损失值进行相加，得到目标损失值。
第一损失函数、第二损失函数均采用交叉熵函数。
对于S236，根据所述目标损失值更新所述初始模型的网络参数，也就是更新所述初始模型的所述人脸质量评估模块和所述人脸关键特征质量评估模块的网络参数。
对于S237，重复执行步骤S231至步骤S237，直至达到所述收敛状态，将达到所述收敛状态的所述初始模型的人脸质量评估模块确定为所述目标人脸质量评估模型。
参照图2，本申请还提出了一种基于人脸图像的人脸质量评估装置，所述装置包括：
图像获取模块100，用于获取待评估的人脸图像；
人脸质量分评估模块200，用于将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个所述目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为所述目标人脸质量评估模型；
目标人脸质量分确定模块300，用于将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分。
本实施例通过获取待评估的人脸图像；将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个所述目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为所述目标人脸质量评估模型；将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分，实现了基于多个人脸识别模型和神经网络训练得到目标人脸质量评估模型，不需要采用分类模型训练的人脸质量评估模型，从而避免了人脸图像的获取成本非常高昂的问题；而且采用多个人脸识别模型参与训练，提高了目标人脸质量评估模型的泛化效果。
在一个实施例中，上述装置还包括：模型训练模块；
所述模型训练模块，用于获取多个待处理的人脸图像对和多个所述人脸识别模型，根据每个所述待处理的人脸图像对和各个所述人脸识别模型进行人脸质量分标签生成和训练样本生成，得到所述目标训练样本，采用多个所述目标训练样本对初始模型进行训练，直至达到收敛状态，将达到所述收敛状态的所述初始模型的人脸质量评估模块确定为所述目标人脸质量评估模型。
在一个实施例中，上述模型训练模块包括：目标训练样本生成子模块；
所述目标训练样本生成子模块，用于从多个所述待处理的人脸图像对中获取一个作为目标人脸图像对，将所述目标人脸图像对分别输入各个所述人脸识别模型进行人脸距离分数计算，得到多个目标人脸距离分数，根据多个所述目标人脸距离分数生成人脸质量分标签，重复执行所述从多个所述待处理的人脸图像对中获取一个作为目标人脸图像对的步骤，直至完成所述待处理的人脸图像对的获取。
在一个实施例中，上述目标人脸图像对包括：待训练的人脸图像和标准人脸图像，所述目标训练样本生成子模块包括：目标训练样本生成单元；
所述目标训练样本生成单元，用于根据多个所述目标人脸距离分数进行方差计算，得到所述人脸质量分标签，根据所述目标人脸图像对对应的所述待训练的人脸图像和所述人脸质量分标签生成训练样本，得到所述目标人脸图像对对应的所述目标训练样本。
在一个实施例中，上述两个所述人脸识别模型的网络结构、网络层数、参数量中的至少一种不相同；
所述目标训练样本生成子模块还包括：目标人脸距离分数确定单元；
所述目标人脸距离分数确定单元，用于将所述目标人脸图像对分别输入各个所述人脸识别模型，获取每个所述人脸识别模型前向输出的人脸距离分数作为所述目标人脸距离分数。
在一个实施例中，上述初始模型还包括：人脸关键特征质量评估模块，其中，所述人脸关键特征质量评估模块的输入端与所述人脸质量评估模块的卷积单元的输出端连接；
每个所述目标训练样本包括：人脸图像样本、人脸质量分标定值和人脸关键特征质量分标定值。
在一个实施例中，上述模型训练模块包括：模型更新子模块；
所述模型更新子模块，用于从多个所述目标训练样本中获取其中一个所述目标训练样本作为目标样本，将所述目标样本的人脸图像样本输入所述初始模型，获取所述初始模型的所述人脸质量评估模块输出的人脸质量分预测值，获取所述初始模型的所述人脸关键特征质量评估模块输出的人脸关键特征质量分预测值，根据所述人脸质量分预测值、所述人脸关键特征质量分预测值和所述目标样本的人脸质量分标定值及人脸关键特征质量分标定值进行损失值计算，得到目标损失值，根据所述目标损失值更新所述初始模型的网络参数，重复执行所述从多个所述目标训练样本中获取其中一个所述目标训练样本作为目标样本的步骤，直至达到所述收敛状态。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存基于人脸图像的人脸质量评估方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人脸图像的人脸质量评估方法。所述基于人脸图像的人脸质量评估方法，包括：获取待评估的人脸图像；将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个所述目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为所述目标人脸质量评估模型；将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分。
本实施例通过获取待评估的人脸图像；将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个所述目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为所述目标人脸质量评估模型；将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分，实现了基于多个人脸识别模型和神经网络训练得到目标人脸质量评估模型，不需要采用分类模型训练的人脸质量评估模型，从而避免了人脸图像的获取成本非常高昂的问题；而且采用多个人脸识别模型参与训练，提高了目标人脸质量评估模型的泛化效果。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于人脸图像的人脸质量评估方法，包括步骤：获取待评估的人脸图像；将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个所述目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为所述目标人脸质量评估模型；将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分。
上述执行的基于人脸图像的人脸质量评估方法，通过获取待评估的人脸图像；将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个所述目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为所述目标人脸质量评估模型；将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分，实现了基于多个人脸识别模型和神经网络训练得到目标人脸质量评估模型，不需要采用分类模型训练的人脸质量评估模型，从而避免了人脸图像的获取成本非常高昂的问题；而且采用多个人脸识别模型参与训练，提高了目标人脸质量评估模型的泛化效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种基于人脸图像的人脸质量评估方法，其特征在于，所述方法包括：
获取待评估的人脸图像；
将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个所述目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为所述目标人脸质量评估模型；
将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分；
所述将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值的步骤之前，包括：
获取多个待处理的人脸图像对和多个所述人脸识别模型；
根据每个所述待处理的人脸图像对和各个所述人脸识别模型进行人脸质量分标签生成和训练样本生成，得到所述目标训练样本；
采用多个所述目标训练样本对初始模型进行训练，直至达到收敛状态；
将达到收敛状态的所述初始模型确定为所述目标人脸质量评估模型；
所述初始模型还包括：人脸关键特征质量评估模块和人脸质量评估模块，其中，所述人脸关键特征质量评估模块的输入端与所述人脸质量评估模块的卷积单元的输出端连接；
每个所述目标训练样本包括：人脸图像样本、人脸质量分标定值和人脸关键特征质量分标定值；
所述采用多个所述目标训练样本对初始模型进行训练，直至达到收敛状态的步骤，包括：
从多个所述目标训练样本中获取其中一个所述目标训练样本作为目标样本；
将所述目标样本的人脸图像样本输入所述初始模型；
获取所述初始模型的所述人脸质量评估模块输出的人脸质量分预测值；
获取所述初始模型的所述人脸关键特征质量评估模块输出的人脸关键特征质量分预测值；
根据所述人脸质量分预测值、所述人脸关键特征质量分预测值和所述目标样本的人脸质量分标定值及人脸关键特征质量分标定值进行损失值计算，得到目标损失值；
根据所述目标损失值更新所述初始模型的网络参数；
重复执行所述从多个所述目标训练样本中获取其中一个所述目标训练样本作为目标样本的步骤，直至达到所述收敛状态。
2.根据权利要求1所述的基于人脸图像的人脸质量评估方法，其特征在于，所述根据每个所述待处理的人脸图像对和各个所述人脸识别模型进行人脸质量分标签生成和训练样本生成，得到所述目标训练样本的步骤，包括：
从多个所述待处理的人脸图像对中获取一个作为目标人脸图像对；
将所述目标人脸图像对分别输入各个所述人脸识别模型进行人脸距离分数计算，得到多个目标人脸距离分数；
根据多个所述目标人脸距离分数生成人脸质量分标签；
根据所述人脸质量分标签和所述目标人脸图像对生成训练样本，得到所述目标人脸图像对对应的所述目标训练样本；
重复执行所述从多个所述待处理的人脸图像对中获取一个作为目标人脸图像对的步骤，直至完成所述待处理的人脸图像对的获取。
3.根据权利要求2所述的基于人脸图像的人脸质量评估方法，其特征在于，所述目标人脸图像对包括：待训练的人脸图像和标准人脸图像，所述根据多个所述目标人脸距离分数生成人脸质量分标签的步骤，包括：
根据多个所述目标人脸距离分数进行方差计算，得到所述人脸质量分标签。
4.根据权利要求2所述的基于人脸图像的人脸质量评估方法，其特征在于，两个所述人脸识别模型的网络结构、网络层数、参数量中的至少一种不相同；
所述将所述目标人脸图像对分别输入各个所述人脸识别模型进行人脸距离分数计算，得到多个目标人脸距离分数的步骤，包括：
将所述目标人脸图像对分别输入各个所述人脸识别模型；
获取每个所述人脸识别模型前向输出的人脸距离分数作为所述目标人脸距离分数。
5.一种基于人脸图像的人脸质量评估装置，用于执行权利要求1-4中任意一项所述的方法，其特征在于，所述装置包括：
图像获取模块，用于获取待评估的人脸图像；
人脸质量分评估模块，用于将所述待评估的人脸图像输入目标人脸质量评估模型进行人脸质量评估，得到质量分值，其中，基于多个不同的人脸识别模型生成多个目标训练样本，采用多个所述目标训练样本对基于神经网络得到模型进行训练，将训练后的模型作为所述目标人脸质量评估模型；
目标人脸质量分确定模块，用于将所述质量分值作为所述待评估的人脸图像对应的目标人脸质量分。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202111094851.3A 2021-09-17 2021-09-17 基于人脸图像的人脸质量评估方法、装置、设备及介质 Active CN113792682B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111094851.3A CN113792682B (zh) 2021-09-17 2021-09-17 基于人脸图像的人脸质量评估方法、装置、设备及介质
PCT/CN2022/072370 WO2023040156A1 (zh) 2021-09-17 2022-01-17 基于人脸图像的人脸质量评估方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111094851.3A CN113792682B (zh) 2021-09-17 2021-09-17 基于人脸图像的人脸质量评估方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113792682A CN113792682A (zh) 2021-12-14
CN113792682B true CN113792682B (zh) 2024-05-10

Family

ID=78878816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111094851.3A Active CN113792682B (zh) 2021-09-17 2021-09-17 基于人脸图像的人脸质量评估方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN113792682B (zh)
WO (1) WO2023040156A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792682B (zh) * 2021-09-17 2024-05-10 平安科技（深圳）有限公司 基于人脸图像的人脸质量评估方法、装置、设备及介质
CN114344542A (zh) * 2022-02-22 2022-04-15 珠海横琴润霖生物科技有限公司 一种空气预警消毒系统
CN116740777B (zh) * 2022-09-28 2024-07-05 荣耀终端有限公司 人脸质量检测模型的训练方法及其相关设备
CN117011698B (zh) * 2023-06-25 2024-05-03 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 多维度和多模型的地表全覆盖解译样本集评价方法
CN117611516B (zh) * 2023-09-04 2024-09-13 北京智芯微电子科技有限公司 图像质量评估、人脸识别、标签生成及确定方法和装置
CN117372405A (zh) * 2023-10-31 2024-01-09 神州通立电梯有限公司 人脸图像质量评估方法、装置、存储介质及设备
CN117275076B (zh) * 2023-11-16 2024-02-27 厦门瑞为信息技术有限公司 基于特征的人脸质量评估模型的构建方法及应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751043A (zh) * 2019-09-19 2020-02-04 平安科技（深圳）有限公司 基于人脸可见性的人脸识别方法、装置及存储介质
CN110879981A (zh) * 2019-11-14 2020-03-13 深圳市华付信息技术有限公司 人脸关键点质量评估方法、装置、计算机设备及存储介质
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理系统、计算机可读介质和无线通信终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738243B (zh) * 2020-08-25 2020-11-20 腾讯科技（深圳）有限公司 人脸图像的选择方法、装置、设备及存储介质
CN112686234B (zh) * 2021-03-22 2021-06-22 杭州魔点科技有限公司 人脸图像质量评估方法、电子设备和存储介质
CN113792682B (zh) * 2021-09-17 2024-05-10 平安科技（深圳）有限公司 基于人脸图像的人脸质量评估方法、装置、设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751043A (zh) * 2019-09-19 2020-02-04 平安科技（深圳）有限公司 基于人脸可见性的人脸识别方法、装置及存储介质
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理系统、计算机可读介质和无线通信终端
CN110879981A (zh) * 2019-11-14 2020-03-13 深圳市华付信息技术有限公司 人脸关键点质量评估方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2023040156A1 (zh) 2023-03-23
CN113792682A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN113792682B (zh) 基于人脸图像的人脸质量评估方法、装置、设备及介质
CN110598779B (zh) 摘要描述生成方法、装置、计算机设备和存储介质
CN109783655B (zh) 一种跨模态检索方法、装置、计算机设备和存储介质
CN114387430B (zh) 基于人工智能的图像描述生成方法、装置、设备及介质
CN108776832B (zh) 信息处理方法、装置、计算机设备和存储介质
CN113673698B (zh) 适用于bert模型的蒸馏方法、装置、设备及存储介质
CN111210382B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113673594A (zh) 一种基于深度学习网络的瑕疵点识别方法
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN114245203B (zh) 基于剧本的视频剪辑方法、装置、设备及介质
CN112201249B (zh) 一种语音处理方法、装置、电子设备及存储介质
CN113128527B (zh) 基于变换器模型和卷积神经网络的图像场景分类方法
CN113221645B (zh) 目标模型训练方法、人脸图像生成方法以及相关装置
CN116434741A (zh) 语音识别模型训练方法、装置、计算机设备及存储介质
CN112732884A (zh) 目标回答语句生成方法、装置、计算机设备和存储介质
CN111027681B (zh) 时序数据处理模型训练方法、数据处理方法、装置及存储介质
WO2022127865A1 (zh) 视频处理方法、装置、电子设备及存储介质
CN117668556A (zh) 基于预训练模型的图像描述生成方法、装置、设备和介质
CN117112766A (zh) 视觉对话方法、装置、电子设备和计算机可读存储介质
CN115525782A (zh) 自适应图结构的视频摘要生成方法
CN113434652B (zh) 智能问答方法、智能问答装置、设备及存储介质
CN115204366A (zh) 模型生成方法、装置、计算机设备和存储介质
CN115018988A (zh) 虚拟形象视频流生成方法、装置、设备及存储介质
CN113780350A (zh) 一种基于ViLBERT和BiLSTM的图像描述方法
CN112949307A (zh) 预测语句实体的方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant