CN116740777A - 人脸质量检测模型的训练方法及其相关设备 - Google Patents

人脸质量检测模型的训练方法及其相关设备 Download PDF

Info

Publication number
CN116740777A
CN116740777A CN202211192671.3A CN202211192671A CN116740777A CN 116740777 A CN116740777 A CN 116740777A CN 202211192671 A CN202211192671 A CN 202211192671A CN 116740777 A CN116740777 A CN 116740777A
Authority
CN
China
Prior art keywords
face
quality detection
image
training
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211192671.3A
Other languages
English (en)
Inventor
岳帅
汤明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211192671.3A priority Critical patent/CN116740777A/zh
Publication of CN116740777A publication Critical patent/CN116740777A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种人脸质量检测模型的训练方法及其相关设备，涉及图像处理领域，该方法包括：获取人脸训练图像，人脸训练图像标注有分类结果和质量得分；根据人脸训练图像，对初始人脸质量检测模型进行训练，得到中间人脸质量检测模型；初始人脸质量检测模型包括编码网络、人脸姿态分类网络和人脸质量检测网络，编码网络用于提取特征，人脸姿态分类网络用于预测分类结果，人脸质量检测网络用于预测质量得分。基于本申请的技术方案，针对分类结果和质量得分该两个任务对模型进行端到端的训练，从而可以提高训练后的模型针对人脸姿态是否过大和图像质量情况的检测，提高检测准确性。

Description

人脸质量检测模型的训练方法及其相关设备
技术领域
本申请涉及图像处理领域，具体地，涉及一种人脸质量检测模型的训练方法及其相关设备。
背景技术
随着多媒体技术和网络技术的飞速发展和广泛应用，人们在日常生活和生产活动中大量的使用人脸图像信息。例如，在银行办理业务、电子支付等验证个人身份时，需要对人脸进行拍摄，以获取人脸图像信息，但是，人脸图像信息的质量会影响应用过程中的效果。
因此，需要在应用之前，对人脸图像信息进行筛选，以筛选出质量较高的人脸图像信息来进行后续应用。那么，如何提高人脸图像质量检测的检测准确性，成为了一个亟需解决的问题。
发明内容
本申请提供了一种人脸质量检测模型的训练方法及其相关设备，能够提高对人脸姿态是否过大和图像质量的检测准确性，从而提高后续应用效果。
第一方面，提供了一种人脸质量检测模型的训练方法，该训练方法包括：
获取人脸训练图像，所述人脸训练图像标注有分类结果和质量得分，所述分类结果用于指示人脸姿态是否过大，所述质量得分用于指示图像质量情况；
根据所述人脸训练图像，对初始人脸质量检测模型进行训练，得到中间人脸质量检测模型；所述初始人脸质量检测模型包括编码网络、人脸姿态分类网络和人脸质量检测网络，所述编码网络的输入端接收所述人脸训练图像，输出端分别与所述人脸姿态分类网络和所述人脸质量检测网络相连接，所述编码网络用于提取特征，所述人脸姿态分类网络用于预测分类结果，所述人脸质量检测网络用于预测质量得分。
其中，编码网络基于卷积神经网络生成。
在本申请实施例提供的训练方法中，既考虑了图像中的人脸姿态对人脸图像检测的影响，又考虑的图像质量对人脸图像检测的影响。其中，通过将人脸姿态仅划分为是否过大，降低了网络的复杂度和学习难度，在满足需要的同时预测精度更好；并且，有利于在进行人脸图像的检测时，筛选掉人脸偏转角度过大或者说人脸姿态过大的图像，保留人脸姿态正常的图像，从而可以提高人脸质量检测的精确性。
需要说明的是，训练得到的中间人脸质量检测模型可以在人脸检测质量方法中进行应用。在应用时，将中间人脸质量检测模型更改为：已训练的编码网络、已训练的人脸姿态分类网络和已训练的人脸质量检测网络依次级联，此时，应用时的内部结构与训练时的结构不同。
在一种可能的实现方式中，根据所述人脸训练图像，对初始人脸质量检测模型进行训练，得到中间人脸质量检测模型，包括：
根据所述人脸训练图像，利用所述初始人脸质量检测模型中的所述编码网络和所述人脸姿态分类网络，预测分类结果；
基于标注的分类结果和预测的分类结果，确定人脸姿态分类损失值；
根据所述人脸训练图像，利用所述初始人脸质量检测模型中的所述编码网络和所述人脸质量检测网络，预测质量得分；
基于标注的质量得分和预测的质量得分，确定图像质量回归损失值；
根据所述人脸姿态分类损失值和所述图像质量回归损失值，对所述初始人脸质量检测模型进行训练，得到所述中间人脸质量检测模型。
人脸姿态分类损失值用于指示标注的分类结果与利用初始人脸质量检测模型预测的分类结果之间的差异程度。图像质量回归损失值用于指示标注的质量得分与利用初始人脸质量检测模型预测的质量得分之间的差异程度。
在该实现方式中，由于人脸图像信息的质量不好主要受人脸姿态和人脸图像本身质量的影响，对此，本申请结合人脸姿态和图像质量两方面来对初始人脸质量检测模型进行训练，以使得后续应用于检测时，可以人脸姿态是否过大和图像质量进行准确的判断。
在一种可能的实现方式中，根据所述人脸姿态分类损失值和所述图像质量回归损失值，对所述初始人脸质量检测模型进行训练，得到所述中间人脸质量检测模型，包括：
对所述人脸姿态分类损失值分配第一权重；
对所述图像质量回归损失值分配第二权重；
根据所述人脸姿态分类损失值、所述图像质量回归损失值、所述第一权重和所述第二权重，得到第一目标损失值；
基于所述第一目标损失值，对所述初始人脸质量检测模型以反向传播算法进行训练，得到所述中间人脸质量检测模型。
在该实现方式中，通过对人脸姿态分类损失值和图像质量回归损失值分配权重，可以实现人脸姿态分类网络的分类任务和人脸质量检测网络的计算得分任务在训练过程中的平衡。
在一种可能的实现方式中，所述初始人脸质量检测模型还包括辅助网络；所述编码网络、所述人脸质量检测网络均与所述辅助网络相连接；
所述方法还包括：
获取人脸训练图像对应的人脸参考图像，所述人脸参考图像锐化过度或包含伪纹理；
根据所述人脸训练图像和所述人脸参考图像确定差值真值图像；
根据所述人脸训练图像和所述人脸参考图像，利用所述初始人脸质量检测模型中的所述编码网络、所述人脸质量检测模型和所述辅助网络，确定差值特征图像；
基于所述差值真值图像和所述差值特征图像，确定图像相似性损失值；
所述根据所述人脸姿态分类损失值和所述图像质量回归损失值，对所述初始人脸质量过检测模型进行训练，得到所述中间人脸质量检测模型，包括：
根据所述人脸姿态分类损失值、所述图像质量回归损失值和所述图像相似性损失值，对所述初始人脸质量过检测模型进行训练，得到所述中间人脸质量检测模型。
在该实现方式中，不光考虑了图像中的人脸姿态对人脸图像检测影响，还考虑了图像质量对人脸图像检测的影响；此外，还考虑到了锐化过度或包含伪纹理等情况的图像对人脸图像检测的影响。由此，在训练过程中，不仅训练人脸姿态分类网络对人脸姿态是否过大进行分类检测，以及训练人脸质量检测网络对图像清晰度、亮度等进行检测，还通过增加和训练辅助网络，来优化人脸质量检测网络的特征提取能力和检测能力，从而可以在不影响模型测试性能的前提下，对锐化过度或包含伪纹理等特殊情况的图像也能实现准确的检测，综合考量图像的质量得分。
在一种可能的实现方式中，根据所述人脸姿态分类损失值、所述图像质量回归损失值和所述图像相似性损失值，对所述初始人脸质量过检测模型进行训练，得到所述中间人脸质量检测模型，包括：
对所述人脸质量分类损失值分配第一权重；
对所述图像质量回归损失值分配第二权重；
对所述图像相似性损失值分配第三权重；
根据所述人脸姿态分配损失值、所述图像质量回归损失值、所述图像相似性损失值、所述第一权重、所述第二权重和所述第三权重，得到第二目标损失值；
基于所述第二目标损失值，对所述初始人脸质量检测模型以反向传播算法进行训练，得到所述中间人脸质量检测模型。
在该实现方式中，通过对人脸姿态分类损失值、图像质量更回归损失值和图像相似性损失值分配权重，可以实现人脸姿态分配网络的分类任务、人脸质量检测网络的得分任务、以及辅助网络的特征提取任务在训练过程中的平衡。
在一种可能的实现方式中，所述方法还包括：
对所述中间人脸质量检测模型进行稀疏化训练，得到目标人脸质量检测模型；所述稀疏化训练用于指示对部分参数进行置0，所述目标人脸质量检测模型中已训练的编码网络、已训练的人脸姿态分类网络和已训练的人脸质量检测网络依次相连接。
在该实现方式中，通过进行稀疏化训练，可以在基本不影响模型效果的前提下，减少冗余参数，达到加速的目的，而处理速度加快的人脸质量检测模型在后续应用时，可以提高实时性。
在一种可能的实现方式中，针对由包括所述编码网络、所述人脸姿态分类网络和所述人脸质量检测网络的所述初始人脸质量检测模型训练得到的所述中间人脸质量检测模型，所述对所述中间人脸质量检测模型进行稀疏化训练，得到目标人脸质量检测模型，包括：
对所述中间人脸质量检测模型中的编码网络进行稀疏化训练；
结合已稀疏化训练的编码网络，对所述中间人脸质量检测模型中的人脸姿态分类网络和人脸质量检测网络依次进行稀疏化训练，得到所述目标人脸质量检测模型。
在该实现方式中，此处先针对编码网络进行稀疏化训练，再对各个网络支路进行稀疏化训练，可以尽可能提高整体稀疏度的情况下，减小人脸质量检测模型最终的效果的损失。
在一种可能的实现方式中，针对由包括所述编码网络、所述人脸姿态分类网络、所述人脸质量检测网络和辅助网络的所述初始人脸质量检测模训练得到的所述中间人脸质量检测模型，所述对所述中间人脸质量检测模型进行稀疏化训练，得到目标人脸质量检测模型，包括：
对所述中间人脸质量检测模型中的编码网络进行稀疏化训练；
结合已稀疏化训练的编码网络，对所述中间人脸质量检测模型中的人脸姿态分类网络、人脸质量检测网络、辅助网络进行稀疏化训练，得到所述目标人脸质量检测模型。
在该实现方式中，此处先针对编码网络进行稀疏化训练，再对各个网络支路进行稀疏化训练，可以尽可能提高整体稀疏度的情况下，减小人脸质量检测模型最终的效果的损失。
在一种可能的实现方式中，所述人脸姿态分类网络包括依次相连接的第一卷积层和第一全连接层；
所述第一卷积层用于提取特征，所述第一全连接层用于对所述第一卷积层提取的特征进行分类，预测分类结果。
在该实现方式中，基于第一卷积层和第一全连接层实现分类结果的精准预测。
在一种可能的实现方式中，所述人脸质量检测网络包括依次相连接的第二卷积层和第二全连接层；
所述第二卷积层用于提取特征，所述第二全连接层用于对所述第二卷积层提取的特征进行计算，预测质量得分。
在该实现方式中，基于第二卷积层和第二全连接层实现质量得分的精准预测。
在一种可能的实现方式中，辅助网络包括依次相连接第三卷积层、拼接层和第四卷积层，所述拼接层的输入端还与所述第二卷积层的输出端相连接；
所述第三卷积层用于提取特征，所述拼接层用于将所述第二卷积层提取的特征和所述第三卷积层提取的特征进行拼接，所述第四卷积层用于对拼接的特征进行特征提取。
在该实现方式中，基于辅助网络中的第三卷积层、拼接层和第四卷积层实现对人脸质量检测网络的辅助，实现更精准的预测。
第二方面，提供了一种人脸质量检测方法，应用于电子设备，该方法包括：
开启相机应用程序；
获取待检测人脸图像；
利用如第一方面或者第一方面中的任意一种实现方式中的训练方法得到的目标人脸质量检测模型，对所述待检测人脸图像进行检测，确定满足预设条件的待检测人脸图像；所述预设条件为分类结果为人脸姿态没有过大，且质量得分大于质量得分阈值。
在本申请实施例中，基于不包括辅助网络确定的目标人脸质量检测模型在检测时，可以针对待检测人脸图像中的人脸姿态是否过大和图像质量进行精准检测。
基于包括辅助网络确定的目标人脸质量检测模型，相对于基于不包括辅助网络确定的目标人脸质量检测模型在检测时，可以对锐化过度或者包含伪纹理等特殊情况的待检测人脸图像进行更好的检测。
此外，无论是基于包括辅助网络确定的目标人脸质量检测模型，相对于基于不包括辅助网络确定的目标人脸质量检测模型，由于目标人脸质量检测模型是经过稀疏化训练后得到的，所以，目标人脸质量检测模型部署在电子设备上，运行速度也非常快，检测效率和检测效果均可以得到平衡和保障。
第三方面，提供了一种训练装置，包括用于执行第一方面或者第一方面中的任意一种实现方式中的人脸质量检测模型的训练方法的模块/单元。
第四方面，提供了一种人脸质量检测装置，包括用于执行第二方面或者第二方面中的任意一种实现方式中的人脸质量检测方法的模块/单元。
第五方面，提供一种训练装置，包括一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述训练装置执行第一方面或者第一方面中的任意一种实现方式中的人脸质量检测的训练方法。
第六方面，提供一种人脸质量检测装置，包括一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述人脸质量检测装置执行第二方面或者第二方面中的任意一种实现方式中的人脸质量检测方法。
第七方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或者第一方面中的任意一种实现方式中的训练方法；和/或，执行第二方面或第二方面中的任意一种实现方式中的人脸质量检测方法。
第八方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的训练方法；和/或，执行第二方面或第二方面中的任意一种实现方式中的人脸质量检测方法。
第九方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的训练方法；和/或，执行第二方面或第二方面中的任意一种实现方式中的人脸质量检测方法。
附图说明
图1是一种本申请实施例适用的应用场景；
图2是另一种本申请实施例适用的应用场景；
图3是本申请实施例提供的一种第一人脸质量检测模型的结构示意图；
图4是图3中的第一人脸质量检测模型的内部结构示意图；
图5是图3对应的训练方法的流程示意图；
图6是本申请实施例提供的一种第三人脸质量检测模型的结构示意图；
图7是图6中的第三人脸质量检测模型的内部结构示意图；
图8是一种确定图像相似性损失值的流程示意图；
图9是图6对应的训练方法的流程示意图；
图10是本申请实施例提供的一种优化训练的流程示意图；
图11是本申请实施例提供的一种人脸质量检测方法的流程示意图；
图12是一种适用于本申请的电子设备的硬件系统的示意图；
图13是一种适用于本申请的电子设备的软件系统的示意图；
图14是本申请实施例提供的一种训练装置的结构示意图；
图15是本申请实施例提供的一种人脸质量检测装置的结构示意图；
图16是本申请实施例提供的一种芯片的结构示意图。
附图标记：
10-支付界面；20-第一显示界面；21-取景框；22-控件；23-第二显示界面；24-美肤选项。
具体实施方式
在本申请的实施例中，以下术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
为了便于对本申请实施例的理解，首先对本申请实施例中涉及的相关概念进行简要说明。
1.神经网络
神经网络是指将多个单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入；每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
2.卷积神经网络
卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器；卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。
3.反向传播算法
神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，用于得到最优的神经网络模型的参数；例如，权重矩阵。
以上是对本申请实施例所涉及的名词的简单介绍，以下不再赘述。
随着多媒体技术和网络技术的飞速发展和广泛应用，人们在日常生活和生产活动中大量的使用人脸图像信息。
例如，图1示出了一种适用于本申请的应用场景。图1也可以称为刷脸支付场景。
如图1所示，以电子设备100为支付设备进行举例说明。假设用户在超市进行支付时，用户可以在支付设备显示的显示界面中选择进行“刷脸支付”。此时，响应于用户的点击操作，支付设备可以开启相机模组，采集人脸图像后，进行支付事件的相应处理，并在支付界面10上显示所采集的人脸图像，以及提示用户正在支付中。当支付事件处理完成后，关闭相机模组，提示支付成功。
又例如，图2示出了另一种适用于本申请的应用场景。图2也可以称为自拍场景。
如图2所示，以电子设备100为手机进行举例说明。假设用户需要利用电子设备100的前置镜头录制包括自己人脸图像信息的视频。此时，响应于用户针对相机应用程序的点击操作，手机可以开启相机应用程序，显示如图2中的(a)所示的录像模式下的第一显示界面20。
该第一显示界面20可以包括取景框21、用于指示开启美颜处理的控件22。在检测到用户点击控件22之前，该取景框21内可以显示包括人脸的预览图像。响应于用户针对控件22的点击操作，手机可以开启美颜功能，显示如图2中的(b)所示的第二显示界面23。
该第二显示界面23可以包括取景框21和美肤选项24，该美肤选项24以滑动轴的形式显示，比如，左端点用于指示美肤程度为0，右端点用于指示美肤程度为10。响应于用户针对美肤选项24从左到右的滑动操作时，手机可以针对人脸信息进行越来越强的美肤处理(美白、磨皮等)；响应于用户针对美肤选项24从右到左的滑动操作时，手机可以针对人脸信息进行越来越弱的美肤处理。
然而，进行上述示例的应用时，人脸图像信息的质量都会不同程度的影响应用的效果。比如在刷脸支付场景中，如果人脸图像信息的质量不好，将可能出现多次无法支付成功的情况，影响用户购物体验。又比如在自拍场景中，如果人脸图像信息的质量不好，将可能出现美肤处理的位置错误，或者，美肤处理的效果不均匀等问题。
通过分析可以得出，上述人脸图像信息的质量不好主要受两方面影响，一方面为人脸姿态的影响，另一方面为人脸图像本身质量的影响。其中，如果人脸姿态角度过大，会很大程度影响人脸对齐、人脸识别的结果，而如果人像图像本身质量过差，则可能会导致修复时，出现伪纹理的问题，也即可能将修复的清晰的特征放置在错误的位置的问题。所以，在进行上述示例的应用之前，需要一个针对人脸质量能进行检测的模块，以对人脸图像进行筛选，将筛选出的符合要求的高质量人脸图像再进行后续应用。
那么，如何进行人脸图像质量检测，并提高人脸图像质量检测的检测准确性，成为了一个亟需解决的问题。
有鉴于此，本申请实施例提供一种人脸质量检测模型的训练方法和人脸质量检测方法，在训练人脸质量检测模型时，除了训练判断人脸姿态是否过大的分类能力和确定人脸图像质量得分的计算能力，还增加了辅助网络，用于训练针对锐化过度或包含伪纹理的图像的特征提取能力，进而辅助提高确定人脸图像质量的计算能力。
基于本申请训练得到的人脸质量检测模型，后续在进行应用时，可以通过人脸姿态分类网络来对人脸姿态是否过大进行分类，在确定人脸姿态没有过大的情况下，可以继续通过人脸质量检测网络确定质量得分，然后，结合人脸姿态的分类结果和质量得分可以筛选出高质量的人脸图像，进而后续能够更好的进行相应的决策和处理，使得整个应用功能逻辑更加完备合理。
在检测时，由于人脸姿态分类网络和人脸质量检测网络是依次相连接的，输出可解释性更好。又由于本申请是对人脸姿态是否过大进行分类预测，所以可以降低网络的复杂度和学习难度，在满足应用需要的同时预测精度更好。此外，由于本申请在训练时增加了辅助网络以对锐化过度或包含伪纹理的图像确定质量得分进行了训练，所以在检测时，可以更好的针对锐化过度或包含伪纹理等特殊情况的图像来准确的确定质量得分，进而可以提高后续应用时人脸图像质量检测的准确性。
通过上述描述可知，人脸图像信息的质量不好主要受人脸姿态和人脸图像本身质量的影响，对此，本申请实施例提供一种人脸质量检测模型(如第一人脸质量检测模型)，以及相关的训练方法。通过利用该训练方法对第一人脸质量检测模型进行训练，可以使得训练出的第二人脸质量检测模型在后续应用时，具有较强的针对人脸姿态是否过大和人脸图像质量的检测能力。
下面结合附图3至图5，对本申请实施例所提供的第一人脸质量检测模型的结构和第一人脸质量检测模型的训练过程进行介绍。
图3示出了一种第一人脸质量检测模型的结构示意图，图4示出了图3所示的第一人脸质量检测模型的一种内部结构示意图。
如图3和图4所示，本申请实施例提供的第一人脸质量检测模型包括编码网络、人脸姿态分类网络和人脸质量检测网络。
编码(encode)网络也可以称为主干(backbone)网络，编码网络的输入端接收人脸训练图像，输出端分别与人脸姿态分类网络和人脸质量检测网络连接；编码网络用于对输入的人脸训练图像进行特征提取，并将生成的特征向量分别输出给人脸姿态分类网络和人脸质量检测网络。
人脸姿态分类网络用于确定分类结果，即确定人脸姿态是否过大。人脸姿态指的是用户脸部在参考坐标系(例如，地理坐标系)中的姿态。例如包括用户绕颈转头的角度、点头或抬头所形成的角度和左右摇头所形成的角度。角度越小，人脸姿态越小，属于正常状态；角度越大，人脸姿态越大，大到一定程度(比如大于预设的角度阈值)，则可以认为人脸姿态过大。
人脸质量检测网络用于确定图像的质量得分。质量得分用于指示图像清晰度和亮度情况，质量得分越大，图像亮度越亮、内容越清晰，图像质量相应越好；反之，质量得分越小，图像亮度越暗、内容越模糊，图像质量相应越差。
应理解，在训练阶段，编码网络分别与人脸姿态分类网络和人脸质量检测网络连接，相当于，人脸姿态分类网络和人脸质量检测网络为并联结构，互不干扰。
可选地，编码网络可以为卷积神经网络(convolutional neural network，CNN)，用于提取图像的特征向量。当然，编码网络也可以为其他网络，本申请实施例对此不进行任何限制。
可选地，如图4所示，人脸姿态分类网络可以包括相连接的第一卷积层和第一全连接层。当然，人脸姿态分类网络也可以为其他结构，本申请实施例对此不进行任何限制。
第一卷积层用于提取特征；第一全连接层用于对第一卷积层提取的特征进行分类，预测分类结果，即预测人脸姿态是否过大。
可选地，如图4所示，人脸质量检测网络可以包括相连接的第二卷积层和第二全连接层。当然，人脸质量检测网络也可以为其他结构，本申请实施例对此不进行任何限制。
第二卷积层用于提取特征；第二全连接层用于对第二卷积层提取的特征进行计算，预测相应的质量得分。
结合图3和图4所示的第一人脸质量检测模型的结构，图5提供了一种针对第一人脸质量检测模型的训练方法，该方法10包括以下S11至S16。
S11、获取人脸训练图像，人脸训练图像标注有分类结果(人脸姿态过大或人脸姿态没有过大)和质量得分。
人脸训练图像即为需要进行质量检测训练的人脸图像。人脸训练图像可以为位于RGB域的彩色图像、位于RAW域的拜耳格式图像、位于YUV域的灰度图像等，本申请对人脸训练图像的格式不进行限制。
人脸训练图像可以为电子设备中的相机模组拍摄得到的图像，也可以为从电子设备内部获得的图像(例如，电子设备的相册中存储的图像，或者，电子设备从云端获取的图像)，或者，是从其他设备获取的图像，本申请实施例对此不进行限制。
应理解，为了提高训练后的模型检测效果，可以选择具有差异化的多帧人脸训练图像来进行训练，例如，多帧人脸训练图像包括不同的人脸姿态，和/或，不同的质量。
可选地，若获取的训练图像，并不知道其是否包括人脸信息，则可以先利用人脸检测技术对训练图像进行人脸检测，筛选出其中包括人脸信息的训练图像来作为人脸训练图像进行训练。
基于此，在一种示例中，在利用人脸检测技术确定到训练图像包括人脸信息时，可以通过抓取训练图像中的关键点(例如，内眼角点、外眼角点、鼻尖点、鼻孔点、口角点、头顶点、眉内心和眉外心等)来判断人脸姿态值。然后，通过确定人脸姿态值是否大于预设姿态阈值来判断人脸姿态是否过大并进行标注。人脸姿态值可以包括人脸俯仰角(omega)、人脸偏航角(phi)和人脸翻滚角(kappa)。
在本申请的实施例中，该三个角用于分别指示用户脸部(可以视为头部)分别为绕着x、y和z轴旋转的角度。翻滚角用于指示用户绕颈转头的角度；俯仰角用于指示用户点头或抬头所形成的角度；偏航角用于指示用户左右摇头所形成的角度。
其中，人脸俯仰角、人脸偏航角和人脸翻滚角中的任一个角度越大，说明人脸在该角度对应的轴向上转动幅度越大；当任一个角度越小，说明人脸姿态在该角度对应的轴向上转动幅度越小。
而质量得分，可以通过相关的图像处理方法，来确定质量得分并进行标注。例如，可以基于图像梯度确定清晰度值，又基于图像的像素均值确定亮度值，然后，综合清晰度值和亮度值，来确定质量得分并进行标注。
在另一种示例中，当确认出训练图像包括人脸信息后，也可以通过用户观察的方式来对人脸姿态是否过大进行分类判断，以及对质量进行判断，并进行手动标注。
示例性地，当确定人脸训练图像a1中的人脸姿态正常、清晰度和亮度等情况较差时，可以在人脸训练图像a1上标注“否”，表示人脸姿态没有过大，并标注质量得分为0.3；当确定人脸训练图像a2的人脸姿态正常、清晰度和亮度等情况较好时，可以在人脸训练图像a2上标注“否”，表示人脸姿态没有过大，并标注质量得分为0.6；当确定人脸训练图像a3的人脸姿态过大、但清晰度和亮度等情况非常好时，可以在人脸训练图像a3上标注“是”，表示人脸姿态过大，并标注质量得分为0.8。
应理解，上述仅为两种示例，具体标注的方法可以根据需要进行设置和修改，本申请实施例对此不进行任何限制。
上述S12又可以表述为：获取人脸训练图像，并标注分类结果(人脸姿态过大或人脸姿态没有过大)和质量得分。或者，获取标注有分类结果(人脸姿态过大或人脸姿态没有过大)和质量得分的人脸训练图像。
S12、根据人脸训练图像，利用第一人脸质量检测模型中的编码网络和人脸姿态分类网络，预测分类结果。
在本申请实施例中，人脸姿态的检测可以定义为分类问题，输出结果为“是”或“否”。
由此，上述S12又可以表述为：将一帧或多帧人脸训练图像输入第一人脸质量检测模型中，训练人脸姿态分类网络的分类能力，确定人脸训练图像中的人脸姿态过大，若人脸姿态正常，没有过大，则可以输出“否”，以表示人脸姿态没有过大；若人脸姿态过大，则可以输出“是”，以表示人脸姿态过大。
S13、根据人脸训练图像，利用第一人脸质量检测模型中的编码网络和人脸质量检测网络，预测质量得分。
在本申请实施例中，人脸图像质量的检测可以定义为回归问题，需要计算人脸训练图像的质量得分。由此，上述S13又可以表述为：将一帧或多帧人脸训练图像输入第一人脸质量检测模型中，训练人脸质量检测网络的计算能力，确定预测的质量得分。
S14、基于标注的分类结果和预测的分类结果，确定人脸姿态分类损失值；基于标注的质量得分和预测的质量得分，确定图像质量回归损失值。
人脸姿态分类损失值用于指示标注的分类结果与利用第一人脸质量检测模型预测的分类结果之间的差异程度。当差异较大，也即人脸姿态分类损失值较大时，此时说明第一人脸质量检测模型中针对人脸姿态的预测能力较差；当差异较小，也即人脸姿态分类损失值较小时，此时说明第一人脸质量检测模型中针对人脸姿态的预测能力较好。
图像质量回归损失值用于指示标注的质量得分与利用第一人脸质量检测模型预测的质量得分之间的差异程度。当差异较大，也即图像质量回归损失值较大时，此时说明第一人脸质量检测模型中针对图像质量的预测能力较差；当差异较小，也即图像质量回归损失值较小时，此时说明第一人脸质量检测模型中针对图像质量的预测能力较好。
S15、对人脸姿态分类损失值和图像质量回归损失值分配权重；根据分配的权重，对该两个损失值进行线性叠加，得到总的损失值。
应理解，通过对人脸姿态分类损失值和图像质量回归损失值分配权重，可以实现人脸姿态分类网络的分类任务和人脸质量检测网络的计算得分任务在训练过程中的平衡。
其中，对人脸姿态分类损失值分配的权重和对图像质量回归损失值分配的权重大小可以相同，也可以不同，具体可以根据需要进行设置和修改，本申请实施例对此不进行任何限制。
针对人脸姿态分类损失值分配的权重可以称为第一权重，针对图像质量回归损失值分配的权重可以称为第二权重；根据脸姿态分类损失值、图像质量回归损失值、第一权重和第二权重计算得到的总的损失值，可以称为第一目标损失值。
S16、基于该总的损失值对第一人脸质量检测模型以反向传播算法进行训练，得到第二人脸质量检测模型。
示例性地，人脸姿态分类损失值为Loss_cls，图像质量回归损失值为Loss_reg，针对人脸姿态分类损失值分配的权重为a1，针对图像质量回归损失值分配的权重为a2，由此，可以计算得到总的损失值为Loss_cls×a1+Loss_reg×a2。然后，基于该总的损失值可以对第一人脸质量检测模型进行训练，调整第一人脸质量检测模型中的参数，使其总的损失值收敛，进而可以将训练好的模型称为第二人脸质量检测模型。
本申请实施例提供的第一质量检测模型和训练方法，既考虑了图像中的人脸姿态对人脸图像检测的影响，又考虑的图像质量对人脸图像检测的影响。其中，通过将人脸姿态仅划分为是否过大，降低了网络的复杂度和学习难度，在满足需要的同时预测精度更好；并且，有利于在进行人脸图像的检测时，筛选掉人脸偏转角度过大或者说人脸姿态过大、质量较差的图像，保留人脸姿态正常、质量较高的图像，从而可以提高后续人脸质量检测的精确性。
上述介绍了第一人脸质量检测模型，以及相关的训练方法，通过利用该训练方法对第一人脸质量检测模型进行训练，可以使得训练出的第二人脸质量检测模型在后续应用时，具有较强的针对人脸姿态和人脸图像质量的检测能力。由于第一人脸质量检测模型中的人脸质量检测网络，针对人脸图像质量的检测是通过对图像的清晰度、亮度这些维度进行训练的，所以训练出的第二人脸质量检测模型在后续应用时，对输入的人脸图像的清晰度、亮度可以进行较好的判断，但是，若输入的人脸图像是过度锐化(也可称为过锐)或者包含伪纹理等情况，则不能进行很好的检测，结果不符合预期和实际应用的需要，而这种类型的人脸图像在实际应用场景中往往又特别多。
对此，本申请实施例还提供一种人脸质量检测模型(如第三人脸质量检测模型)，以及相关的训练方法。通过利用该训练方法对第三人脸质量检测模型进行训练，可以使得训练出的第四人脸质量检测模型在后续应用，针对过锐或包含伪纹理等特殊情况的人脸图像，也能具有较好的检测能力，能对图像的综合情况进行正确的得分计算。
下面结合附图6至图9，对本申请实施例所提供的第三人脸质量检测模型的结构和第三人脸质量检测模型的训练过程进行介绍。
图6示出了一种第三人脸质量检测模型的结构示意图，图7示出了图6所示的第三人脸质量检测模型的一种内部结构示意图。
如图6和图7所示，本申请实施例提供的第三人脸质量检测模型包括编码网络、人脸姿态分类网络、人脸质量检测网络和辅助网络。
编码网络的输入端接收人脸训练图像，输出端分别与人脸姿态分类网络和人脸质量检测网络、以及辅助网络相连接；编码网络用于对输入的人脸训练图像进行特征提取，并将生成的特征向量分别输出给人脸姿态分类网络、人脸质量检测网络和辅助网络。
人脸姿态分类网络和人脸质量检测网络的介绍与第一人脸质量检测模型中的介绍相同，在此不再赘述。
辅助网络用于对过锐或包含伪纹理等情况的人脸图像进行特征提取。
应理解，在训练阶段，在第三人脸质量检测模型中可以增加辅助网络来提高特征提取，用来优化人脸质量检测网络的检测能力，而在后续应用阶段，则不包括和使用辅助网络。
可选地，如图7所示，辅助网络可以包括相连接的第三卷积层、拼接层和第四卷积层，拼接层还与人脸质量检测网络中的第二卷积层的输出端相连接。
第三卷积层用于提取特征；拼接层用于将人脸质量检测网络中第二卷积层提取的特征和第三卷积层提取的特征进行拼接；第四卷积层用于将拼接后的特征继续进行卷积。
应理解，辅助网络中增设第四卷积层，可以提高辅助网络的特征表达能力。
上述仅为一种辅助网络的示例，辅助网络还可以包括其他结构，或者包括其他的组合形式，本申请实施例对此不进行任何限制。
结合图6和图7所示的第三人脸质量检测模型的结构，图9提供了一种针对第三人脸质量检测模型进行训练的训练方法，该方法20包括以下S21至S29。
S21、获取人脸训练图像，人脸训练图像标注有分类结果(人脸姿态过大或人脸姿态没有过大)和质量得分。
针对该步骤，可以参考上述S11中的描述，在此不再赘述。
S22、获取人脸训练图像对应的人脸参考图像，并根据人脸训练图像和人脸参考图像确定差值真值图像；该人脸参考图像锐化过度或包含伪纹理。
锐度是指反映图像边缘锐利程度的一个指标，锐化过度指的是图像边缘锐利程度或者说锐度已经大于锐度阈值，产生了不好的视觉效果。例如，针对雪地场景或者水流场景，锐化过度将会破坏雪地或水流的平滑感。同理，人脸参考图像锐化过度指的是人脸参考图像中的内容平滑感被破坏，图像边缘过于锐利。
伪纹理指的是将修复的清晰的特征放置在错误的位置。例如，人脸训练图像中的人脸在眉毛上方有一处阴影，利用相关图像处理方法进行处理时，可能会出现将该阴影误当作眉毛进行修复的情况，从而导致人脸上出现了多余的错误的眉毛信息，该错误的眉毛信息即为伪纹理。
应理解，根据人脸训练图像和人脸参考图像，可以通过确定相同位置处的像素的像素值差值的方式，来确定出相应的差值真值图像。差值真值图像用于指示人脸训练图像和人脸参考图像之间的差异程度。
S23、根据人脸训练图像，利用第三人脸质量检测模型中的编码网络和人脸姿态分类网络，预测分类结果(人脸姿态过大或人脸姿态没有过大)。
S24、根据人脸训练图像，利用第三人脸质量检测模型中的编码网络和人脸质量检测网络，预测质量得分。
S25、基于标注的分类结果和预测的分类结果，确定人脸姿态分类损失值；基于标注的质量得分和预测的质量得分，确定图像质量回归损失值。
针对S23、S24和S25，可以参考上述S12、S13和S14中的描述，在此不再赘述。
S26、根据人脸训练图像和人脸参考图像，利用编码网络、人脸质量检测模型和辅助网络，确定差值特征图像。
其中，辅助网络可以将编码网络提取的特征进行卷积，然后将卷积后的特征与人脸质量检测网络中的第二卷积层提取的特征进行拼接，并将拼接后的特征再次卷积，由此，可以得到差值特征图像。
差值特征图像用于指示利用辅助网络预测出的人脸训练图像和人脸参考图像的差异程度。
S27、根据差值真值图像和差值特征图像，确定图像相似性损失值。
此处，可以利用结构相似性(structural similarity index，SSIM)算法或基于SSIM算法变换而来的其他算法，来作为确定图像相似性损失值的计算方法。
需要说明的是，本申请不选择使用MSE算法来确定图像相似性损失值，是因为MSE算法计算得到的图像相似性损失值不足以表达人眼视觉系统对图像的直观感受。例如，有时候两帧人脸训练图像只是亮度不同，但是，利用MSE算法计算得到的图像相似性损失值却很大，表示两帧人脸训练图像差异很大，反而针对一组模糊的和很清晰的人脸训练图像，计算得到的图像相似性损失值却很小。
相对于此，利用SSIM算法来确定图像相似性损失值时，SSIM算法可以从图像的亮度、对比度和结构相似性三个方面综合考量差值真值图像和差值特征图像的相似性，判断的结果更符合人眼的主观视觉感受。
示例性地，图8示出了一种确定图像相似性损失值的流程示意图。
如图8所示，根据人脸训练图像Ig，构造其对应的人脸参考图像Ig(ref)，该人脸参考图像锐化过度或包含伪纹理。根据人脸训练图像Ig和人脸参考图像Ig(ref)通过确定相同位置处的像素的像素值差值，可以确定出对应的差值真值图像Ig(diff)。
同时，将人脸训练图像Ig和人脸参考图像Ig(ref)输入编码网络进行特征提取，再将人脸训练图像Ig提取的特征输入人脸质量检测网络中的第二卷积层进行处理，以及将人脸参考图像Ig(ref)提取的特征输入辅助网络中的第三卷积层进行处理，将两者处理后的特征信息再同时输入至辅助网络中的拼接层进行特征拼接，然后，将拼接后的特征经第四卷积层再次提取特征进行处理后输出，输出结果即为差值特征图像Ig(diff)'。基于两种方式确定出的差值真值图像和差值特征图像，利用SSIM算法确定两者之间的图像相似性损失值。
S28、对人脸姿态分类损失值、图像质量回归损失值和图像相似性损失值分配权重，对该三个损失值进行线性叠加，得到总的损失值。
应理解，通过对人脸姿态分类损失值、图像质量更回归损失值和图像相似性损失值分配权重，可以实现人脸姿态分配网络的分类任务、人脸质量检测网络的得分任务、以及辅助网络的特征提取任务在训练过程中的平衡。
其中，对人脸姿态分类损失值分配的权重、对图像质量回归损失值分配的权重大小和对图像相似性损失值分配的权重大小可以相同，也可以不同，具体可以根据需要进行设置和修改，本申请实施例对此不进行任何限制。
S29、基于该总的损失值对第三人脸质量检测模型进行训练，得到第四人脸质量检测模型。
示例性地，人脸姿态分类损失值为Loss_cls，图像质量回归损失值为Loss_reg，图像相似性损失值为Loss_aux，针对人脸姿态分类损失值分配的权重为a1，针对图像质量回归损失值分配的权重为a2，针对图像相似性损失值分配的权重为a3；由此，可以计算得到总的损失值为Loss_cls×a1+Loss_reg×a2+Loss_aux×a3。然后，基于该总的损失值可以对第三人脸质量检测模型进行训练，调整第三人脸质量检测模型中的参数，使其总的损失值收敛，进而可以将训练好的模型称为第四人脸质量检测模型。
本申请实施例提供的第三质量检测模型和训练方法，不光考虑了图像中的人脸姿态对人脸图像检测影响，还考虑了图像质量对人脸图像检测的影响；此外，还考虑到了锐化过度或包含伪纹理等情况的图像对人脸图像检测的影响。由此，在训练过程中，不仅训练人脸姿态分类网络对人脸姿态是否过大进行分类检测，以及训练人脸质量检测网络对图像清晰度、亮度等进行检测，还通过增加和训练辅助网络，来优化人脸质量检测网络的特征提取能力和检测能力，从而可以在不影响模型测试性能的前提下，对锐化过度或包含伪纹理等特殊情况的图像也能实现准确的检测，综合考量图像的质量得分。
上述介绍了第三人脸质量检测模型，以及相关的训练方法，通过利用该训练方法对第三人脸质量检测模型进行训练，可以使得训练出的第四人脸质量检测模型在后续应用时，具有较强的针对人脸姿态和人脸图像质量，以及图像锐化过渡或包含伪纹理等特殊情况的检测能力。
但是，由于这一检测过程为图像应用之前的预处理过程，并且，训练好的模型常常需要部署在移动端设备上，因此，还需要对人脸质量检测模型的实时性进行考虑。
对此，本申请实施例在图5和图9的基础上，可以继续对第二人脸质量检测模型和第四人脸质量检测模型继续进行训练，优化模型的性能，使得模型在后续应用过程中的检测速度可以提高，以满足其实时性的需求。
图10为本申请实施例提供的一种针对第二人脸质量检测模型或第四人脸质量检测模型进行优化的过程示意图。该方法30包括以下S31和S32。
S31、对编码网络进行稀疏化训练。
稀疏化训练指的是增加参数中0的数量，以加快网络的推理速度。
上述S31又可以表述为：把编码网络中的部分参数置0，进行训练，检测训练后的第二人脸质量检测模型或第四人脸质量检测模型是否能满足原有的针对人脸姿态和人脸图像质量的检测需求。
在满足检测需求的基础上，还可以继续迭代训练，并逐步扩大编码网络中置0的参数范围，使得更多的参数设置成0。在0的比例达到第一比例时，以及检测的效果也满足要求，两者平衡的情况下，可以确认编码网络已经达到稀疏化的较好效果了，此时，可以将编码网络的参数冻结，作为后续应用时的编码网络的初始化参数。
其中，第一比例可以根据需要进行设置和修改，本申请实施例对此不进行任何限制。例如，第一比例为60％或80％。
S32、结合稀疏化训练后的编码网络，对各个网络支路进行稀疏化训练，得到目标人脸质量检测模型。
上述S32又可以表述为：针对第二人脸质量检测模型，结合设置成初始化参数的编码网络，继续针对人脸姿态分类网络和人脸质量检测网络进行稀疏化训练，此时，可以将人脸姿态分类网络和人脸质量检测网络中的部分参数置0，进行训练，检测训练后的第二人脸质量检测模型是否能满足原有的针对人脸姿态和人脸图像质量的检测需求。
针对第四人脸质量检测模型，结合设置成初始化参数的编码网络，继续针对人脸姿态分类网络、人脸质量检测网络，以及辅助网络进行稀疏化训练，此时，可以将人脸姿态分类网络和人脸质量检测网络、辅助网络中的部分参数置0，进行训练，检测训练后的第四人脸质量检测模型是否能满足原有的针对人脸姿态和人脸图像质量、以及针对锐化过度和包括伪纹理等特殊情况的图像的检测需求。
在满足检测需求的基础上，还可以继续迭代训练，并逐步扩大各个网络支路中置0的参数范围，使得更多的参数设置成0。在0的比例达到一定第二比例，以及检测的效果也满足要求，两者平衡的情况下，可以确认各个网络支路已经达到稀疏化的较好效果了，此时，可以将各个网络支路的参数冻结，作为后续应用时的各个网络支路的初始化参数。
其中，第二比例可以根据需要进行设置和修改，本申请实施例对此不进行任何限制。例如，第二比例为60％或80％。
针对人脸姿态分类网络、人脸质量检测网络和辅助网络可以分别设置不同的第二比例，或者，也可以设置相同的第二比例，具体根据需要进行设置和调整，本申请实施例对此不进行任何限制。
需要说明的是，此处先针对编码网络进行稀疏化训练，再对各个网络支路进行稀疏化训练，可以尽可能提高整体稀疏度的情况下，减小人脸质量检测模型最终的效果的损失。
当然，针对人脸姿态分类网络、人脸质量检测网络和辅助网络的稀疏化训练，可以同时进行，也可以依次进行或者按照指定的执行顺序进行；针对编码网络和各个网络支路的稀疏化训练，可以同时进行，也可以依次进行或者按照指定的执行顺序进行，具体执行稀疏化训练的次序，本申请实施例对此不进行任何限制。
本申请实施例提供的优化的训练步骤，通过对第二人脸质量检测模型中的编码网络、人脸姿态分类网络、人脸质量检测网络，或者，对第四人脸质量检测模型中的编码网络、人脸姿态分类网络、人脸质量检测网络和辅助网络进行稀疏化训练，从而可以在基本不影响模型效果的前提下，减少冗余参数，达到加速的目的，而处理速度加快的人脸质量检测模型在后续应用时，可以提高实时性。
结合上述训练过程，针对第二人脸质量检测模型进行稀疏化训练之后，得到的目标人脸质量检测模型中，编码网络、人脸姿态检测网络和图像质量检测网络为依次相连接的状态。针对第四人脸质量检测模型进行稀疏化训练之后，得到的目标人脸质量检测模型中，不包括辅助网络，而且，编码网络、人脸姿态检测网络和图像质量检测网络为依次相连接的状态。
这样，在利用目标人脸质量检测模型对人脸姿态角度进行检测时，如果判断到人脸姿态角度在正常范围内，也即人脸姿态正常，下一步再对人脸图像质量进行预测，根据质量得分结果再进行后续应用决策。
下面结合图11对本申请实施例训练好的目标人脸质量检测模型的应用过程进行介绍。
图11为本申请实施例提供的一种人脸质量检测方法的流程示意图。
如图11所示，该方法40包括以下S41至S44。
S41、电子设备开启相机应用程序。
示例性地，用户可以通过单击“相机”应用程序的图标，指示电子设备开启相机应用。
示例性地，电子设备处于锁屏状态时，用户可以通过在电子设备的显示屏上向右滑动的手势，指示电子设备开启相机应用。又或者，电子设备处于锁屏状态，锁屏界面上包括相机应用程序的图标，用户通过点击相机应用程序的图标，指示电子设备开启相机应用程序。又或者，电子设备在运行其他应用时，该应用具有调用相机应用程序的权限；用户通过点击相应的控件可以指示电子设备开启相机应用程序。例如，电子设备正在运行即时通信类应用程序时，用户可以通过选择相机功能的控件，指示电子设备开启相机应用程序等。
示例性地，电子设备处于灭屏状态时，当用户靠近电子设备，电子设备中的红外传感器感应到用户距离电子设备一定范围内时，电子设备可以开启相机应用程序。
应理解，上述为对开启相机应用程序的操作的举例说明；还可以通过语音指示操作，或者其它操作的指示电子设备开启相机应用程序，本申请对此不作任何限定。
还应理解，开启相机应用程序可以是指运行相机应用程序。
S42、获取第一图像。
其中，第一图像为电子设备中相机模组采集的图像。
示例性地，第一图像可以是指位于Raw域的拜尔格式图像，或者位于RGB域的彩色的图像、位于YUV域的灰度图像等。
S43、确定第一图像中是否包括人脸，当包括人脸时，该第一图像可作为待检测人脸图像。
其中，可以利用人脸检测方法确定第一图像中是否包括人脸，当第一图像中未包括人脸时，可重新获取第一图像；当第一图像中包括人脸时，可将该第一图像作为待检测人脸图像，继续后续处理。
可选地，可以基于几何特征的人脸检测方法确定第一图像中是否包括人脸，几何特征可以是眼、鼻、嘴等的形状和它们之间的几何关系。或者，还可以基于神经网络的人脸检测方法确定第一图像中是否包括人脸。
应理解，上述为对人脸检测方法的举例说明，也可以通过其他人脸检测方法或其他方式来确定第一图像中是否包括人脸，本申请实施例对此不进行任何限制。
S44、将待检测人脸图像输入目标人脸质量检测模型进行检测，确定满足预设条件的待检测人脸图像为第二图像。
例如，预设条件为人脸姿态没有过大，也即正常，且计算得到的质量得分大于质量得分阈值。质量得分阈值可以根据需要进行设定，本申请实施例对此不进行任何限制。
应理解，该质量得分可以是基于清晰度、亮度等信息进行计算的结果，或者，除了清晰度、亮度等信息，还可以基于是否锐化过度，是否包含伪纹理等特殊情况来综合计算的结果。
上述S44又可以表述为：将待检测人脸图像输入基于第二人脸质量检测模型确定的目标人脸质量检测模型，或者，输入基于第四人脸质量检测模型确定的目标人脸质量检测模型中进行检测，先确定人脸姿态是否过大，当人脸姿态没有过大时，继续确定质量得分，然后根据质量得分，可确定质量得分是否大于质量得分阈值。针对人脸姿态正常，且质量得分大于质量得分阈值的待检测人脸图像可作为高质量的第二图像，以进行后续应用，保证后续应用效果。
在此基础上，还可以设定多个不同的质量得分阈值，以筛选出满足不同质量得分阈值的待检测人脸图像，也即筛选出不同质量情况的待测人脸图像。
在本申请实施例中，基于第四人脸质量检测模型确定的目标人脸质量检测模型，相对于基于第二人脸质量检测模型确定的目标人脸质量检测模型在检测时，可以对锐化过度或者包含伪纹理等特殊情况的待检测图像进行更好的检测。
此外，无论是基于第二人脸质量检测模型确定的目标人脸质量检测模型，还是基于第四人脸质量检测模型确定的目标人脸质量检测，由于目标人脸质量检测模型是经过稀疏化训练后得到的，所以，目标人脸质量检测模型部署在电子设备上，运行速度也非常快，检测效率和检测效果均可以得到平衡和保障。
在此基础上，示例性地，本申请实施例中利用目标人脸质量检测模型检测出的高质量的人脸图像可以应用于人脸识别、人脸活体检测、人脸肤色增强、人脸超分(super-resolution，SR)、人脸美颜等领域。
例如，通过本申请实施例中的人脸质量检测方法，在电子设备的相机模组采集图像后，可以检测图像中的人脸信息；基于该采集的包括人脸信息的图像，可以利用部署在电子设备中的目标人脸质量检测模型确定该图像中的人脸姿态是否过大；当人脸姿态没有过大时可以继续确定图像的质量得分，进而可以筛选出符合预设条件的高质量的人脸图像。若该人脸图像符合高质量人脸图像的标准，则可以应用于上述各个场景中，再继续对高质量的人脸图像进行识别、活体检测、肤色增强、超分、美颜等处理；若不符合，则可以提示用户进行调整，重新采集、重新检测。
在一个示例中，本申请实施例提供的人脸质量检测方法可以应用于门禁、道闸、考勤机等；门禁、道闸或考勤机等探测到用户处于预设的距离范围内时，开启相机模组，采集人脸图像，利用本申请实施例提供的目标人脸质量检测模型对人脸图像进行检测，从而可以确定出人脸姿态没有过大，且图像质量得分较高的高质量人脸图像，然后，可以将其与存储的人脸图像库中的人脸图像进行对比，对比成功时，可以开启门禁、道闸，或进行考勤。由于目标人脸质量检测模型可以对人脸图像进行快速准确的检测，因此，开启门禁、道闸，或进行考勤的速度较快，效果较好。
在一个示例中，本申请实施例提供的人脸质量检测方法可以应用于支付设备等；支付设备接收到用户针对“刷脸支付”的点击操作后，开启相机模组，采集人脸图像，利用本申请实施例提供的目标人脸质量检测模型对人脸图像进行检测，从而可以确定出人脸姿态没有过大，且图像质量得分较高的高质量人脸图像，然后，可以进行支付事件的相应处理。由于目标人脸质量检测模型可以对人脸图像进行快速准确的检测，因此，开启支付速度较快，效果较好。
在一个示例中，本申请实施例提供的人脸质量检测方法可以应用于特效应用程序等；在对人脸拍摄时，电子设备调用特效应用程序，并开启相机模组，采集人脸图像，利用本申请实施例提供的目标人脸质量检测模型对人脸图像进行检测，从而可以确定出人脸姿态没有过大，且图像质量得分较高的高质量人脸图像，然后，响应于用户的特效选择，可以将在人脸区域进行肤色增强、美颜等处理，或者在人脸区域上增加装饰品、文字等其他效果，或者还可以对人脸信息进行变更等。由于目标人脸质量检测模型可以对人脸图像进行准确的检测，因此，更改特效的速度较快，效果较好。
应理解，上述为对本申请实施例的应用场景的举例说明，并不对本申请的应用场景作任何限定。
上文结合图1至图11详细描述了本申请实施例提供的人脸质量检测模型、人脸质量检测模型的训练方法和人脸质量检测方法；下面将结合图12至图16详细描述本申请的电子设备的硬件系统、软件系统、装置以及芯片。应理解，本申请实施例中的电子设备的硬件系统、软件系统、装置以及芯片均可以执行前述本申请实施例对应的方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。
图12示出了一种适用于本申请的电子设备的硬件系统。
电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、投影仪等等，本申请实施例对电子设备100的具体类型不作任何限制。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
需要说明的是，图12所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图12所示的部件更多或更少的部件，或者，电子设备100可以包括图12所示的部件中某些部件的组合，或者，电子设备100可以包括图12所示的部件中某些部件的子部件。图12示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
示例性地，处理器110可以用于执行本申请实施例的人脸质量检测模型的训练方法。
例如，处理器110可以用于获取人脸训练图像，所述人脸训练图像标注有分类结果和质量得分，所述分类结果用于指示人脸姿态是否过大，所述质量得分用于指示图像质量情况；
根据所述人脸训练图像，对初始人脸质量检测模型进行训练，得到中间人脸质量检测模型；所述初始人脸质量检测模型包括编码网络、人脸姿态分类网络和人脸质量检测网络，所述编码网络的输入端接收所述人脸训练图像，输出端分别与所述人脸姿态分类网络和所述人脸质量检测网络相连接，所述编码网络用于提取特征，所述人脸姿态分类网络用于预测分类结果，所述人脸质量检测网络用于预测质量得分。
示例性地，处理器110可以用于执行本申请实施例的人脸质量检测方法。
例如，处理器110可以用于开启相机应用程序；
获取待检测人脸图像；
利用如上述训练方法训练得到的目标人脸质量检测模型，对所述待检测人脸图像进行检测，确定满足预设条件的待检测人脸图像；所述预设条件为分类结果为人脸姿态没有过大，且质量得分大于质量得分阈值。
图12所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
示例性地，显示屏194可以用于显示图像或视频。
可选地，电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
例如，ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。
示例性地，摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
示例性地，数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
示例性地，视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。
示例性地，陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。
可选地，加速度传感器180E可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。
示例性地，距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器180F测距以实现快速对焦。
示例性地，环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。
示例性地，指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
示例性地，触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。
上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构，本申请实施例以分层架构为例，示例性地描述电子设备100的软件系统。
如图13所示，采用分层架构的软件系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，软件系统可以分为四层，从上至下分别为应用程序层、应用程序框架层、安卓运行时(Android Runtime)和系统库、以及内核层。
应用程序层可以包括相机、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。
本申请实施例的人脸质量检测方法可以应用于相机APP或者视频APP；例如，电子设备检测到相机APP请求打开相机的指令后，可以执行本申请实施例提供的人脸质量检测方法。
应用程序框架层为应用程序层的应用程序提供应用程序编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层可以包括一些预定义的函数。
例如，应用程序框架层包括窗口管理器、内容提供器、视图系统、电话管理器、资源管理器和通知管理器。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏、锁定屏幕和截取屏幕。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频、图像、音频、拨打和接听的电话、浏览历史和书签、以及电话簿。
视图系统包括可视控件，例如显示文字的控件和显示图片的控件。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成，例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能，例如通话状态(接通或挂断)的管理。
资源管理器为应用程序提供各种资源，比如本地化字符串、图标、图片、布局文件和视频文件。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理、堆栈管理、线程管理、安全和异常的管理、以及垃圾回收等功能。
系统库可以包括多个功能模块，例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：针对嵌入式系统的开放图形库(opengraphics library for embedded systems，OpenGL ES)和2D图形引擎(例如：skia图形库(skia graphics library，SGL))。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D图层和3D图层的融合。
媒体库支持多种音频格式的回放和录制、多种视频格式回放和录制以及静态图像文件。媒体库可以支持多种音视频编码格式，例如:MPEG4、H.264、动态图像专家组音频层面3(moving picture experts group audio layer III，MP3)、高级音频编码(advancedaudio coding，AAC)、自适应多码率(adaptive multi-rate，AMR)、联合图像专家组(jointphotographic experts group，JPG)和便携式网络图形(portable network graphics，PNG)。
三维图形处理库可以用于实现三维图形绘图、图像渲染、合成和图层处理。
二维图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层可以包括显示驱动、摄像头驱动、音频驱动和传感器驱动等驱动模块。
下面结合显示拍照场景，示例性说明电子设备100的软件系统和硬件系统的工作流程。
当用户在触摸传感器180K上进行触摸操作时，相应的硬件中断被发送至内核层，内核层将触摸操作加工成原始输入事件，原始输入事件例如包括触摸坐标和触摸操作的时间戳等信息。原始输入事件被存储在内核层，应用程序框架层从内核层获取原始输入事件，识别出原始输入事件对应的控件，并通知该控件对应的应用程序(application，APP)。例如，上述触摸操作为单击操作，上述控件对应的APP为相机APP，相机APP被单击操作唤醒后，可以通过API调用内核层的摄像头驱动，通过摄像头驱动控制摄像头193进行拍摄。
图14是本申请实施例提供的训练装置的结构示意图。该训练装置200包括获取单元210、处理单元220。
获取单元210用于获取人脸训练图像，所述人脸训练图像标注有分类结果和质量得分，所述分类结果用于指示人脸姿态是否过大，所述质量得分用于指示图像质量情况；
处理单元220用于根据所述人脸训练图像，对初始人脸质量检测模型进行训练，得到中间人脸质量检测模型；所述初始人脸质量检测模型包括编码网络、人脸姿态分类网络和人脸质量检测网络，所述编码网络的输入端接收所述人脸训练图像，输出端分别与所述人脸姿态分类网络和所述人脸质量检测网络相连接，所述编码网络用于提取特征，所述人脸姿态分类网络用于预测分类结果，所述人脸质量检测网络用于预测质量得分。
可选地，作为一个实施例，处理单元220还用于根据所述人脸训练图像，利用所述初始人脸质量检测模型中的所述编码网络和所述人脸姿态分类网络，预测分类结果；
基于标注的分类结果和预测的分类结果，确定人脸姿态分类损失值；
根据所述人脸训练图像，利用所述初始人脸质量检测模型中的所述编码网络和所述人脸质量检测网络，预测质量得分；
基于标注的质量得分和预测的质量得分，确定图像质量回归损失值；
根据所述人脸姿态分类损失值和所述图像质量回归损失值，对所述初始人脸质量检测模型进行训练，得到所述中间人脸质量检测模型。
可选地，作为一个实施例，处理单元220还用于对所述人脸姿态分类损失值分配第一权重；
对所述图像质量回归损失值分配第二权重；
根据所述人脸姿态分类损失值、所述图像质量回归损失值、所述第一权重和所述第二权重，得到第一目标损失值；
基于所述第一目标损失值，对所述初始人脸质量检测模型以反向传播算法进行训练，得到所述中间人脸质量检测模型。
可选地，作为一个实施例，当所述初始人脸质量检测模型还包括辅助网络；所述编码网络、所述人脸质量检测网络均与所述辅助网络相连接时，处理单元220还用于获取人脸训练图像对应的人脸参考图像，所述人脸参考图像锐化过度或包含伪纹理；
根据所述人脸训练图像和所述人脸参考图像确定差值真值图像；
根据所述人脸训练图像和所述人脸参考图像，利用所述初始人脸质量检测模型中的所述编码网络、所述人脸质量检测模型和所述辅助网络，确定差值特征图像；
基于所述差值真值图像和所述差值特征图像，确定图像相似性损失值；
根据所述人脸姿态分类损失值、所述图像质量回归损失值和所述图像相似性损失值，对所述初始人脸质量过检测模型进行训练，得到所述中间人脸质量检测模型。
可选地，作为一个实施例，处理单元220还用于对所述人脸质量分类损失值分配第一权重；
对所述图像质量回归损失值分配第二权重；
对所述图像相似性损失值分配第三权重；
根据所述人脸姿态分配损失值、所述图像质量回归损失值、所述图像相似性损失值、所述第一权重、所述第二权重和所述第三权重，得到第二目标损失值；
基于所述第二目标损失值，对所述初始人脸质量检测模型以反向传播算法进行训练，得到所述中间人脸质量检测模型。
可选地，作为一个实施例，处理单元220还用于对所述中间人脸质量检测模型进行稀疏化训练，得到目标人脸质量检测模型；所述稀疏化训练用于指示对部分参数进行置0，所述目标人脸质量检测模型中已训练的编码网络、已训练的人脸姿态分类网络和已训练的人脸质量检测网络依次相连接。
可选地，作为一个实施例，针对由包括所述编码网络、所述人脸姿态分类网络和所述人脸质量检测网络的所述初始人脸质量检测模型训练得到的所述中间人脸质量检测模型，处理单元220还用于对所述中间人脸质量检测模型中的编码网络进行稀疏化训练；
结合已稀疏化训练的编码网络，对所述中间人脸质量检测模型中的人脸姿态分类网络和人脸质量检测网络依次进行稀疏化训练，得到所述目标人脸质量检测模型。
可选地，作为一个实施例，针对由包括所述编码网络、所述人脸姿态分类网络、所述人脸质量检测网络和辅助网络的所述初始人脸质量检测模训练得到的所述中间人脸质量检测模型，处理单元220还用于对所述中间人脸质量检测模型中的编码网络进行稀疏化训练；
结合已稀疏化训练的编码网络，对所述中间人脸质量检测模型中的人脸姿态分类网络、人脸质量检测网络、辅助网络进行稀疏化训练，得到所述目标人脸质量检测模型。
可选地，作为一个实施例，所述人脸姿态分类网络包括依次相连接的第一卷积层和第一全连接层；
所述第一卷积层用于提取特征，所述第一全连接层用于对所述第一卷积层提取的特征进行分类，预测分类结果。
可选地，作为一个实施例，所述人脸姿态分类网络包括依次相连接的第一卷积层和第一全连接层；
所述第一卷积层用于提取特征，所述第一全连接层用于对所述第一卷积层提取的特征进行分类，预测分类结果。
可选地，作为一个实施例，辅助网络包括依次相连接第三卷积层、拼接层和第四卷积层，所述拼接层的输入端还与所述第二卷积层的输出端相连接；
所述第三卷积层用于提取特征，所述拼接层用于将所述第二卷积层提取的特征和所述第三卷积层提取的特征进行拼接，所述第四卷积层用于对拼接的特征进行特征提取。
图15是本申请实施例提供的人类质量检测装置的结构示意图。该人类质量检测装置300包括获取单元310、处理单元320。
处理单元320用于开启相机应用程序；
获取单元310用于获取待检测人脸图像；
处理单元320还用于利用如上述训练方法训练得到的目标人脸质量检测模型，对所述待检测人脸图像进行检测，确定满足预设条件的待检测人脸图像；所述预设条件为分类结果为人脸姿态没有过大，且质量得分大于质量得分阈值。
需要说明的是，上述训练装置200、人脸质量检测装置300以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。
例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
图16示出了本申请提供的一种电子设备的结构示意图。图16中的虚线表示该单元或该模块为可选的，电子设备400可用于实现上述方法实施例中描述的人脸质量检测模型的训练方法和/或人脸质量检测方法。
电子设备400包括一个或多个处理器401，该一个或多个处理器402可支持电子设备400实现方法实施例中的方法。处理器401可以是通用处理器或者专用处理器。例如，处理器401可以是中央处理器(central processing unit，CPU)、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。
处理器401可以用于对电子设备400进行控制，执行软件程序，处理软件程序的数据。电子设备400还可以包括通信单元405，用以实现信号的输入(接收)和输出(发送)。
例如，电子设备400可以是芯片，通信单元405可以是该芯片的输入和/或输出电路，或者，通信单元405可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。
又例如，电子设备400可以是终端设备，通信单元405可以是该终端设备的收发器，或者，通信单元405可以是该终端设备的收发电路。
电子设备400中可以包括一个或多个存储器402，其上存有程序404，程序404可被处理器401运行，生成指令403，使得处理器401根据指令403执行上述方法实施例中描述的方法。
可选地，存储器402中还可以存储有数据。可选地，处理器401还可以读取存储器402中存储的数据，该数据可以与程序404存储在相同的存储地址，该数据也可以与程序404存储在不同的存储地址。
处理器401和存储器402可以单独设置，也可以集成在一起；例如，集成在终端设备的系统级芯片(system on chip，SOC)上。
示例性地，存储器402可以用于存储本申请实施例中提供的人脸质量检测方法的相关程序404，处理器401可以用于在视频处理时调用存储器402中存储的人脸质量检测方法的相关程序304，执行本申请实施例的人脸质量检测方法；例如，
开启相机应用程序；
获取待检测人脸图像；
利用如目标人脸质量检测模型，对所述待检测人脸图像进行检测，确定满足预设条件的待检测人脸图像；所述预设条件为分类结果为人脸姿态没有过大，且质量得分大于质量得分阈值。
本申请还提供了一种计算机程序产品，该计算机程序产品被处理器执行时实现本申请中任一方法实施例所述的人脸质量检测模型的训练方法和/或人脸质量检测方法。
该计算机程序产品可以存储在存储器302中，例如是程序经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器执行的可执行目标文件。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的人脸质量检测模型的训练方法和/或人脸质量检测方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。
可选地，该计算机可读存储介质例如是存储器302。存储器302可以是易失性存储器或非易失性存储器，或者，存储器302可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和设备的具体工作过程以及产生的技术效果，可以参考前述方法实施例中对应的过程和技术效果，在此不再赘述。
在本申请所提供的几个实施例中，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例的一些特征可以忽略，或不执行。以上所描述的装置实施例仅仅是示意性的，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统。另外，各单元之间的耦合或各个组件之间的耦合可以是直接耦合，也可以是间接耦合，上述耦合包括电的、机械的或其它形式的连接。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
另外，本文中术语“系统”和“网络”在本文中常被可互换使用。本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种人脸质量检测模型的训练方法，其特征在于，所述方法包括：
获取人脸训练图像，所述人脸训练图像标注有分类结果和质量得分，所述分类结果用于指示人脸姿态是否过大，所述质量得分用于指示图像质量情况；
根据所述人脸训练图像，对初始人脸质量检测模型进行训练，得到中间人脸质量检测模型；所述初始人脸质量检测模型包括编码网络、人脸姿态分类网络和人脸质量检测网络，所述编码网络的输入端接收所述人脸训练图像，输出端分别与所述人脸姿态分类网络和所述人脸质量检测网络相连接，所述编码网络用于提取特征，所述人脸姿态分类网络用于预测分类结果，所述人脸质量检测网络用于预测质量得分。
2.根据权利要求1所述的训练方法，其特征在于，根据所述人脸训练图像，对初始人脸质量检测模型进行训练，得到中间人脸质量检测模型，包括：
根据所述人脸训练图像，利用所述初始人脸质量检测模型中的所述编码网络和所述人脸姿态分类网络，预测分类结果；
基于标注的分类结果和预测的分类结果，确定人脸姿态分类损失值；
根据所述人脸训练图像，利用所述初始人脸质量检测模型中的所述编码网络和所述人脸质量检测网络，预测质量得分；
基于标注的质量得分和预测的质量得分，确定图像质量回归损失值；
根据所述人脸姿态分类损失值和所述图像质量回归损失值，对所述初始人脸质量检测模型进行训练，得到所述中间人脸质量检测模型。
3.根据权利要求2所述的训练方法，其特征在于，根据所述人脸姿态分类损失值和所述图像质量回归损失值，对所述初始人脸质量检测模型进行训练，得到所述中间人脸质量检测模型，包括：
对所述人脸姿态分类损失值分配第一权重；
对所述图像质量回归损失值分配第二权重；
根据所述人脸姿态分类损失值、所述图像质量回归损失值、所述第一权重和所述第二权重，得到第一目标损失值；
基于所述第一目标损失值，对所述初始人脸质量检测模型以反向传播算法进行训练，得到所述中间人脸质量检测模型。
4.根据权利要求1所述的训练方法，其特征在于，所述初始人脸质量检测模型还包括辅助网络；所述编码网络、所述人脸质量检测网络均与所述辅助网络相连接；
所述方法还包括：
获取人脸训练图像对应的人脸参考图像，所述人脸参考图像锐化过度或包含伪纹理；
根据所述人脸训练图像和所述人脸参考图像确定差值真值图像；
根据所述人脸训练图像和所述人脸参考图像，利用所述初始人脸质量检测模型中的所述编码网络、所述人脸质量检测模型和所述辅助网络，确定差值特征图像；
基于所述差值真值图像和所述差值特征图像，确定图像相似性损失值；
所述根据所述人脸姿态分类损失值和所述图像质量回归损失值，对所述初始人脸质量过检测模型进行训练，得到所述中间人脸质量检测模型，包括：
根据所述人脸姿态分类损失值、所述图像质量回归损失值和所述图像相似性损失值，对所述初始人脸质量过检测模型进行训练，得到所述中间人脸质量检测模型。
5.根据权利要求4所述训练方法，其特征在于，根据所述人脸姿态分类损失值、所述图像质量回归损失值和所述图像相似性损失值，对所述初始人脸质量过检测模型进行训练，得到所述中间人脸质量检测模型，包括：
对所述人脸质量分类损失值分配第一权重；
对所述图像质量回归损失值分配第二权重；
对所述图像相似性损失值分配第三权重；
根据所述人脸姿态分配损失值、所述图像质量回归损失值、所述图像相似性损失值、所述第一权重、所述第二权重和所述第三权重，得到第二目标损失值；
基于所述第二目标损失值，对所述初始人脸质量检测模型以反向传播算法进行训练，得到所述中间人脸质量检测模型。
6.根据权利要求1至5中任一项所述的训练方法，其特征在于，所述方法还包括：
对所述中间人脸质量检测模型进行稀疏化训练，得到目标人脸质量检测模型；所述稀疏化训练用于指示对部分参数进行置0，所述目标人脸质量检测模型中已训练的编码网络、已训练的人脸姿态分类网络和已训练的人脸质量检测网络依次相连接。
7.根据权利要求6所述的训练方法，其特征在于，针对由包括所述编码网络、所述人脸姿态分类网络和所述人脸质量检测网络的所述初始人脸质量检测模型训练得到的所述中间人脸质量检测模型，所述对所述中间人脸质量检测模型进行稀疏化训练，得到目标人脸质量检测模型，包括：
对所述中间人脸质量检测模型中的编码网络进行稀疏化训练；
结合已稀疏化训练的编码网络，对所述中间人脸质量检测模型中的人脸姿态分类网络和人脸质量检测网络依次进行稀疏化训练，得到所述目标人脸质量检测模型。
8.根据权利要求6所述的训练方法，其特征在于，针对由包括所述编码网络、所述人脸姿态分类网络、所述人脸质量检测网络和辅助网络的所述初始人脸质量检测模训练得到的所述中间人脸质量检测模型，所述对所述中间人脸质量检测模型进行稀疏化训练，得到目标人脸质量检测模型，包括：
对所述中间人脸质量检测模型中的编码网络进行稀疏化训练；
结合已稀疏化训练的编码网络，对所述中间人脸质量检测模型中的人脸姿态分类网络、人脸质量检测网络、辅助网络进行稀疏化训练，得到所述目标人脸质量检测模型。
9.根据权利要求1至8中任一项所述的训练方法，其特征在于，所述人脸姿态分类网络包括依次相连接的第一卷积层和第一全连接层；
所述第一卷积层用于提取特征，所述第一全连接层用于对所述第一卷积层提取的特征进行分类，预测分类结果。
10.根据权利要求1至9中任一项所述的训练方法，其特征在于，所述人脸质量检测网络包括依次相连接的第二卷积层和第二全连接层；
所述第二卷积层用于提取特征，所述第二全连接层用于对所述第二卷积层提取的特征进行计算，预测质量得分。
11.根据权利要求10所述的训练方法，其特征在于，辅助网络包括依次相连接第三卷积层、拼接层和第四卷积层，所述拼接层的输入端还与所述第二卷积层的输出端相连接；
所述第三卷积层用于提取特征，所述拼接层用于将所述第二卷积层提取的特征和所述第三卷积层提取的特征进行拼接，所述第四卷积层用于对拼接的特征进行特征提取。
12.一种人脸质量检测方法，其特征在于，应用于电子设备，所述方法包括：
开启相机应用程序；
获取待检测人脸图像；
利用如权利要求1至11中任一项训练方法训练得到的目标人脸质量检测模型，对所述待检测人脸图像进行检测，确定满足预设条件的待检测人脸图像；所述预设条件为分类结果为人脸姿态没有过大，且质量得分大于质量得分阈值。
13.一种训练装置，其特征在于，包括：
一个或多个处理器和存储器；
所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述训练装置执行如权利要求1至11中任一项所述的人脸质量检测模型的训练方法。
14.一种人脸质量检测装置，其特征在于，包括
一个或多个处理器和存储器；
所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述人脸质量检测装置执行如权利要求12所述的人脸质量检测方法。
15.一种芯片，其特征在于，所述芯片应用于电子设备，所述芯片包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至11中任一项所述的人脸质量检测模型的训练方法，和/或，如权利要求12所述的人脸质量检测方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行如权利要求1至11中任一项所述的人脸质量检测模型的训练方法，和/或，如权利要求12所述的人脸质量检测方法。
CN202211192671.3A 2022-09-28 2022-09-28 人脸质量检测模型的训练方法及其相关设备 Pending CN116740777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211192671.3A CN116740777A (zh) 2022-09-28 2022-09-28 人脸质量检测模型的训练方法及其相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211192671.3A CN116740777A (zh) 2022-09-28 2022-09-28 人脸质量检测模型的训练方法及其相关设备

Publications (1)

Publication Number Publication Date
CN116740777A true CN116740777A (zh) 2023-09-12

Family

ID=87906653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211192671.3A Pending CN116740777A (zh) 2022-09-28 2022-09-28 人脸质量检测模型的训练方法及其相关设备

Country Status (1)

Country Link
CN (1) CN116740777A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796108A (zh) * 2019-11-04 2020-02-14 北京锐安科技有限公司 一种人脸质量检测的方法、装置、设备及存储介质
CN110807757A (zh) * 2019-08-14 2020-02-18 腾讯科技（深圳）有限公司 基于人工智能的图像质量评估方法、装置及计算机设备
WO2020062901A1 (zh) * 2018-09-28 2020-04-02 深圳大学 一种超分辨率图像的图像质量分析方法及系统
US20200234068A1 (en) * 2019-01-18 2020-07-23 Fujitsu Limited Apparatus and method for training classifying model
CN111640099A (zh) * 2020-05-29 2020-09-08 北京金山云网络技术有限公司 一种确定图像质量的方法、装置、电子设备及存储介质
CN112597909A (zh) * 2020-12-25 2021-04-02 北京芯翌智能信息技术有限公司 一种用于人脸图片质量评价的方法与设备
CN112613579A (zh) * 2020-12-31 2021-04-06 南京视察者智能科技有限公司 一种人脸或人头图像质量的模型训练方法、评估方法及高质量图像的选取方法
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理系统、计算机可读介质和无线通信终端
CN113792682A (zh) * 2021-09-17 2021-12-14 平安科技（深圳）有限公司 基于人脸图像的人脸质量评估方法、装置、设备及介质
CN114119551A (zh) * 2021-11-26 2022-03-01 南京烽火星空通信发展有限公司 一种人脸图像质量的量化分析方法
US20220076000A1 (en) * 2019-05-21 2022-03-10 Huawei Technologies Co., Ltd. Image Processing Method And Apparatus
CN114359665A (zh) * 2021-12-27 2022-04-15 北京奕斯伟计算技术有限公司 全任务人脸识别模型的训练方法及装置、人脸识别方法
US20220207260A1 (en) * 2020-12-28 2022-06-30 Fortinet, Inc. Joint facial feature extraction and facial image quality estimation using a deep neural network (dnn) trained with a custom-labeled training dataset and having a common dnn backbone
US20220207913A1 (en) * 2020-12-25 2022-06-30 Ubtech Robotics Corp Ltd Method and device for training multi-task recognition model and computer-readable storage medium

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020062901A1 (zh) * 2018-09-28 2020-04-02 深圳大学 一种超分辨率图像的图像质量分析方法及系统
US20200234068A1 (en) * 2019-01-18 2020-07-23 Fujitsu Limited Apparatus and method for training classifying model
CN111461155A (zh) * 2019-01-18 2020-07-28 富士通株式会社 训练分类模型的装置和方法
US20220076000A1 (en) * 2019-05-21 2022-03-10 Huawei Technologies Co., Ltd. Image Processing Method And Apparatus
CN110807757A (zh) * 2019-08-14 2020-02-18 腾讯科技（深圳）有限公司 基于人工智能的图像质量评估方法、装置及计算机设备
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理系统、计算机可读介质和无线通信终端
CN110796108A (zh) * 2019-11-04 2020-02-14 北京锐安科技有限公司 一种人脸质量检测的方法、装置、设备及存储介质
CN111640099A (zh) * 2020-05-29 2020-09-08 北京金山云网络技术有限公司 一种确定图像质量的方法、装置、电子设备及存储介质
CN112597909A (zh) * 2020-12-25 2021-04-02 北京芯翌智能信息技术有限公司 一种用于人脸图片质量评价的方法与设备
US20220207913A1 (en) * 2020-12-25 2022-06-30 Ubtech Robotics Corp Ltd Method and device for training multi-task recognition model and computer-readable storage medium
US20220207260A1 (en) * 2020-12-28 2022-06-30 Fortinet, Inc. Joint facial feature extraction and facial image quality estimation using a deep neural network (dnn) trained with a custom-labeled training dataset and having a common dnn backbone
CN112613579A (zh) * 2020-12-31 2021-04-06 南京视察者智能科技有限公司 一种人脸或人头图像质量的模型训练方法、评估方法及高质量图像的选取方法
CN113792682A (zh) * 2021-09-17 2021-12-14 平安科技（深圳）有限公司 基于人脸图像的人脸质量评估方法、装置、设备及介质
CN114119551A (zh) * 2021-11-26 2022-03-01 南京烽火星空通信发展有限公司 一种人脸图像质量的量化分析方法
CN114359665A (zh) * 2021-12-27 2022-04-15 北京奕斯伟计算技术有限公司 全任务人脸识别模型的训练方法及装置、人脸识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王亚;朱明;刘成林;: "基于CNN的监控视频中人脸图像质量评估", 计算机系统应用, no. 11 *
魏玮;赵露;刘依;: "基于迁移学习的人脸姿态分类方法", 测控技术, no. 02 *
黄法秀;高翔;吴志红;陈虎;: "基于CNN的人脸图像亮度和清晰度质量评价", 计算机工程与设计, no. 07 *

Similar Documents

Publication Publication Date Title
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
WO2021078001A1 (zh) 一种图像增强方法及装置
CN116048244B (zh) 一种注视点估计方法及相关设备
CN116152122B (zh) 图像处理方法和电子设备
CN115061770B (zh) 显示动态壁纸的方法和电子设备
CN115689963B (zh) 一种图像处理方法及电子设备
CN111612723B (zh) 图像修复方法及装置
CN116916151B (zh) 拍摄方法、电子设备和存储介质
CN114926351A (zh) 图像处理方法、电子设备以及计算机存储介质
CN116055895B (zh) 图像处理方法及其装置、芯片系统和存储介质
CN113538227B (zh) 一种基于语义分割的图像处理方法及相关设备
CN113642359B (zh) 人脸图像生成方法、装置、电子设备及存储介质
CN115908120B (zh) 图像处理方法和电子设备
EP4303815A1 (en) Image processing method, electronic device, storage medium, and program product
CN113395441A (zh) 图像留色方法及设备
CN117132515A (zh) 一种图像处理方法及电子设备
CN114697530B (zh) 一种智能取景推荐的拍照方法及装置
CN112528760B (zh) 图像处理方法、装置、计算机设备及介质
CN116740777A (zh) 人脸质量检测模型的训练方法及其相关设备
CN116128739A (zh) 下采样模型的训练方法、图像处理方法及装置
CN114693538A (zh) 一种图像处理方法及装置
CN115170441B (zh) 一种图像处理方法及电子设备
CN116091572B (zh) 获取图像深度信息的方法、电子设备及存储介质
CN117593611B (zh) 模型训练方法、图像重建方法、装置、设备及存储介质
CN117014561B (zh) 信息融合方法、可学习变量的训练方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination