CN115620083B - 模型训练方法、人脸图像质量评价方法、设备及介质 - Google Patents

模型训练方法、人脸图像质量评价方法、设备及介质 Download PDF

Info

Publication number
CN115620083B
CN115620083B CN202211204607.2A CN202211204607A CN115620083B CN 115620083 B CN115620083 B CN 115620083B CN 202211204607 A CN202211204607 A CN 202211204607A CN 115620083 B CN115620083 B CN 115620083B
Authority
CN
China
Prior art keywords
quality
face
face image
feature
quality score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211204607.2A
Other languages
English (en)
Other versions
CN115620083A (zh
Inventor
浦煜
朱海涛
付贤强
何武
户磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Dilusense Technology Co Ltd filed Critical Hefei Dilusense Technology Co Ltd
Priority to CN202211204607.2A priority Critical patent/CN115620083B/zh
Publication of CN115620083A publication Critical patent/CN115620083A/zh
Application granted granted Critical
Publication of CN115620083B publication Critical patent/CN115620083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及图像识别技术领域，公开了一种模型训练方法、人脸图像质量评价方法、设备及介质。模型训练方法包括：构建用于从已标注好质量类别或坏质量类别的人脸图像中提取人脸特征向量的特征提取模型；构建用于生成人脸特征向量对应的质量分数特征图的特征生成模型；对特征提取模型和特征生成模型进行联合训练；联合训练的损失函数包括人脸特征向量的分类损失和中心损失，好质量类别的人脸图像的质量分数特征图的特征损失，各质量类别的人脸图像的质量分数特征图的分类损失。由于无需与特定的人脸识别模型配合使用，使得通过特征提取模型和特征生成模型输出的质量分数特征图可以客观准确地表征出人脸图像质量好坏，且模型简单、训练速度快。

Description

模型训练方法、人脸图像质量评价方法、设备及介质
技术领域
本申请实施例涉及图像识别技术领域，特别涉及一种模型训练方法、人脸图像质量评价方法、设备及介质。
背景技术
随着深度学习技术的高速发展，人脸识别技术已被广泛应用于人们的生产生活中，其识别准确率和可靠性也越来越高。然而，在人脸识别过程中，不可避免的会出现人脸图像质量较低的情况，导致人脸识别失败。为此对人脸图像的质量评价就变得非常有意义。
目前，常用人脸图像质量评价方法有两种，一种是利用多个图像指标进行质量评价，即采用多个评分子模型，对人脸图像的光照情况、对比度、模糊程度、人脸完整度、人脸姿态角等质量影响因素逐一衡量，获取人脸图像的质量分数。另一种是利用人脸识别模型进行质量评价，即利用识别模型对不同质量的人脸图像识别能力差异，对人脸图像进行质量评分。
然而，第一种方法需要搜集各种质量影响因素的人脸图像作为训练样本，标注过程费时费力，且整个模型包含多个子模型，网络复杂、训练速度较慢。第二种方法只能配合相应的识别模型使用，与人脸识别模型具有较高的耦合性，往往不同的人脸识别模型，其质量评价结果不一致，可解释性较差。
发明内容
本申请实施方式的目的在于提供一种模型训练方法、人脸图像质量评价方法、设备及介质，由于无需与特定的人脸识别模型配合使用，使得通过特征提取模型和特征生成模型输出的质量分数特征图可以客观、准确地表征出人脸图像质量好坏，且模型简单、训练速度快。
为解决上述技术问题，本申请的实施方式提供了一种模型训练方法，包括：构建用于从已标注好质量类别或坏质量类别的人脸图像中提取人脸特征向量的特征提取模型；构建用于生成所述人脸特征向量对应的质量分数特征图的特征生成模型；对所述特征提取模型和所述特征生成模型进行联合训练，得到训练好的特征提取模型和特征生成模型；其中，所述联合训练的损失函数包括：人脸特征向量的分类损失和中心损失，好质量类别的人脸图像的质量分数特征图的特征损失，各质量类别的人脸图像的质量分数特征图的分类损失。
本申请的实施方式还提供了一种人脸图像质量评价方法，包括：将待测人脸图像输入到已训练好的特征提取模型和特征生成模型中，得到质量分数特征图；根据所述待测人脸图像的质量分数特征图对所述待测人脸图像的待评价区域进行质量评价，得到待评价区域的质量分数；其中所述特征提取模型和所述特征生成模型通过如上实施例所述的模型训练方法获取。
本申请的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的模型训练方法，或者能够执行上述实施方式提及的人脸图像质量评价方法。
本申请的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的模型训练方法，或者能够执行上述实施方式提及的人脸图像质量评价方法。
本申请实施方式提供的模型训练方法，将标注好质量类别或坏质量类别的人脸图像输入到特征提取模型中得到人脸特征向量，然后将人脸特征向量输入到特征生成模型中得到人脸图像对应的质量分数特征图，对特征提取模型和特征生成模型采用特征损失、约束损失和分类损失进行训练，得到训练好的特征提取模型和特征生成模型，而人脸特征向量的分类损失和中心损失用于使相同质量类别的人脸图像的人脸特征向量之间的距离尽可能小，不同质量类别的人脸图像的人脸特征向量之间的距离尽可能大，特征损失用于对好质量类别的人脸图像的质量分数特征图进行显式监督，分类损失用于对好质量类别的人脸图像的质量分数特征图和坏质量类别的人脸图像的质量分数特征图进行分类，如此，一方面，本申请只对好质量类别的质量分数特征图进行显式约束，不直接监督坏质量类别的质量分数特征图，有效提高了模型的训练速度，另一方面，本申请既不需要设计过多的评价子模型，也不需要与对应的人脸识别模型耦合使用(即不受人脸识别模型的影响)，就可以得到能客观、准确地表征出人脸图像质量好坏的质量分数特征图，使得人脸图像质量评价更加快捷、简单。
另外，质量分数特征图与对应的所述人脸图像尺寸相同，所述质量分数特征图中每个像素点的像素值表示在所述人脸图像中对应的像素点的质量分数。本申请通过质量分数特征图可以简单、快捷地衡量人脸图像中任一像素位置处的图像的质量好坏。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本申请的实施方式提供的模型训练方法的流程图；
图2是本申请的实施方式提供的特征提取模型和特征生成模型的结构示意图；
图3是本申请的实施方式提供的人脸图像质量评价方法的流程图；
图4是本申请的实施方式的提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
下面对本实施方式的模型训练的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。
本申请的实施方式涉及一种模型训练方法，如图1所示，包括：
步骤101，构建用于从已标注好质量类别或坏质量类别的人脸图像中提取人脸特征向量的特征提取模型。
具体地说，本实施例中的人脸图像携带质量类别标签，质量类别标签用于表征人脸图像为好质量类别或坏质量类别，好质量的人脸图像为符合人脸识别要求的图像，坏质量的人脸图像至少包括：模糊的人脸图像、过亮的人脸图像、过暗的人脸图像、人脸角度过大的人脸图像、遮挡的人脸图像、无人脸的人脸图像等等。也就是说，本实施例认为不符合人脸识别要求的人脸图像都为坏质量人脸图像，具体何种因素导致的坏质量人脸图像、以及坏质量人脸图像的质量差的程度，本实施例并不关注。当然，坏质量人脸图像和好质量人脸图像的定义可以根据应用场景、用户需求、训练效率等各方面因素自行调整设置。
在一实施例中，在步骤101之前，还包括：对获取的原始人脸图像进行人脸检测，确定原始人脸图像中人脸的位置；根据原始人脸图像中人脸的位置对所述原始人脸图像进行裁剪，得到第一人脸图像；对第一人脸图像的每个像素值进行归一化处理，并标注第一人脸图像所属的好质量类别或坏质量类被，得到用于联合训练所采用的人脸图像的样本。
本实施例中，在将人脸图像输入到特征提取模型之前，可以对原始人脸图像进行人脸检测确定人脸图像中人脸的位置，对原始人脸图像中非人脸的区域进行裁剪，得到只包含人脸的第一人脸图像。然后对第一人脸图像的每个像素值进行归一化处理，即将第一人脸图像中每个像素点的像素值减去127.5后除以128，得到用于联合训练所采用的人脸图像的样本，也就是说，通过归一化处理将第一人脸图像的像素值从(0，255)转换为(-1，1)，如此以便特征提取模型对人脸图像进行处理。
步骤102，构建用于生成人脸特征向量对应的质量分数特征图的特征生成模型。
本实施例中，特征提取模型连接特征生成模型，特征提取模型输出的人脸特征向量输入到特征生成模型，得到人脸图像对应的质量分数特征图。
需要说明的是，质量分数特征图与对应的人脸图像尺寸相同，其每个像素点的像素值表示在人脸图像中对应的像素点的质量分数。即通过质量分数特征图可以衡量人脸图像中每个像素位置处的图像的质量好坏。
具体地说，特征提取模型和特征生成模型的结构如图2所示，可以简单地认为特征提取模型和特征生成模型构成了编码器—解码器的模型框架。其中特征提取模型可以采用残差网络(如：Resnet18网络)。
步骤103，对特征提取模型和特征生成模型进行联合训练，得到训练好的特征提取模型和特征生成模型，联合训练的损失函数包括：人脸特征向量的分类损失和中心损失，好质量类别的人脸图像的质量分数特征图的特征损失，各质量类别的人脸图像的质量分数特征图的分类损失。
本实施例中，对特征提取模型和特征生成模型采用人脸特征向量的分类损失和中心损失、好质量类别的人脸图像的质量分数特征图的特征损失和质量分数特征图的分类损失进行联合训练，其中，人脸特征向量的分类损失和中心损失用于约束属于相同质量类别的人脸图像的人脸特征向量之间的距离和属于不同质量类别的人脸图像的人脸特征向量之间的距离，即本申请通过特征损失让相同质量类别的人脸特征向量相互靠近(聚拢)，不同质量类别的人脸特征向量相互远离(分开)，使好质量类别对应的人脸特征向量和坏质量类别对应的人脸特征向量有明显区分。
特征损失用于显示监督好质量类别的人脸图像的质量分数特征图，即本申请只约束好质量类别对应的质量分数特征图，如此只要与好质量类别对应的质量分数特征图不同的质量分数特征图，都可以判定为坏质量类别对应的质量分数特征图，相当于间接的约束了坏质量类别的质量分数特征图。
质量分数特征图的分类损失用于对好质量类别对应的质量分数特征图和坏质量类别对应的质量分数特征图进行分类。
在一实施例中，人脸特征向量的分类损失和中心损失所对应的损失函数通过如下公式构建：
其中，N为人脸图像的数量，K为质量类别的类别数，λ为超参数，f(xi)为第i个所述人脸图像的人脸特征向量，为第i个所述人脸图像属于各质量类别的概率，yi为第i个所述人脸图像的类别标签，xi为第i个所述人脸图像的人脸特征向量的特征值，cyi为第yi类别的特征均值，||*||2表示求*的L2范数。
具体地说，特征损失基于人脸特征向量经第一分类器输出的人脸图像属于各质量类别的概率，以及人脸特征向量的特征值与人脸特征向量所属质量类别的特征均值之间的距离构成。
在一实施例中，质量分数特征图的特征损失的损失函数通过如下公式构建：
其中，m为属于好质量类别的人脸图像的数量，Fi为好质量类别的第i个人脸图像的质量分数特征图，F*为好质量类别的人脸图像对应的标准质量分数特征图，||*||1表示求*的L1范数。
具体地说，特征损失基于好质量的人脸图像的质量分数特征图与好质量的人脸图像对应的标准质量分数特征图之间的距离构成。本实施例中，以好质量的人脸图像的质量分数特征图与标准质量分数特征图之差的特征范数作为损失函数，当然，也可以采用深度学习中的其他距离公式作为损失函数。另外，好质量类别对应的标准质量分数特征图可以自行定义设置，比如：确定好质量类别对应的标准质量分数特征图的像素值全为0，那么像素值不等于0(像素值大于0或像素值小于0)的质量分数特征图就为坏质量类别对应的质量分数特征图。类似地，也可以设置标准质量分数特征图的像素值全为1。也就是说，人脸图像的质量分数特征图越靠近标准质量分数特征图，人脸图像的质量越好。
在一实施例中，质量分数特征图的分类损失的损失函数通过如下公式构建：
其中，yi为第i个所述人脸图像的类别标签，pi为所述质量分数特征图属于各质量类别的概率。
具体地说，分类损失基于质量分数特征图经第二分类器输出的质量分数特征图属于各质量类别的概率构成。
本实施例中，参见图2所示，特征损失作用于特征提取模型和第一分类器，约束损失作用于特征提取模型和特征生成模型，分类损失作用于特征提取模型、特征生成模型和第二分类器。在训练阶段，特征提取模型之后还连接第一分类器，特征生成模型之后还连接第二分类器。在应用阶段，即人脸图像质量评价阶段只使用特征提取模型和特征生成模型。
本申请实施方式提供的模型训练方法，将标注好质量类别或坏质量类别的人脸图像输入到特征提取模型中得到人脸特征向量，然后将人脸特征向量输入到特征生成模型中得到人脸图像对应的质量分数特征图，对特征提取模型和特征生成模型采用特征损失、约束损失和分类损失进行训练，得到训练好的特征提取模型和特征生成模型，而人脸特征向量的分类损失和中心损失用于使相同质量类别的人脸图像的人脸特征向量之间的距离尽可能小，不同质量类别的人脸图像的人脸特征向量之间的距离尽可能大，特征损失用于对好质量类别的人脸图像的质量分数特征图进行显式监督，质量分数特征图的分类损失用于对好质量类别的人脸图像的质量分数特征图和坏质量类别的人脸图像的质量分数特征图进行分类，如此，一方面，本申请只对好质量类别的质量分数特征图进行显式约束，不直接监督坏质量类别的质量分数特征图，有效提高了模型的训练速度，另一方面，本申请既不需要设计过多的评价子模型，也不需要与对应的人脸识别模型耦合使用(即不受人脸识别模型的影响)，就可以得到能客观、准确地表征出人脸图像质量好坏的质量分数特征图，使得人脸图像质量评价更加快捷、简单。
本申请的实施方式涉及一种人脸图像质量评价，如图3所示，包括：
步骤201，将待测人脸图像输入到已训练好的特征提取模型和特征生成模型中，得到质量分数特征图。
本实施例中，特征提取模型和特征生成模型通过上述实施例的模型训练方法获取，待测人脸图像的处理方法也与训练阶段相同，在此不做赘述。
步骤202，根据待测人脸图像的质量分数特征图对待测人脸图像的待评价区域进行质量评价，得到待评价区域的质量分数。
具体地说，由于质量分数特征图的像素值可以表示待测人脸图像对应像素点的质量分数，因此根据质量分数特征图中的像素值就可以对待测人脸图像的任何区域进行质量评价。
在一实施例中，步骤202具体包括：获取待测人脸图像的待评价区域在质量分数特征图中的对应区域；将质量分数特征图中对应区域内像素值绝对值之和的平均值作为待评价区域的质量分数。
本实施例中，由于质量分数特征图的尺寸与待测人脸图像的尺寸相同，因此可以在质量分数特征图中快速确定待评价区域的对应区域，然后计算对应区域内像素值绝对值之和的平均值，得到待评价区域的质量分数。比如：待评价区域为待测人脸图像的全部区域，则计算质量分数特征图的所有像素点的像素值绝对值之和的平均值，得到待测人脸图像的质量分数。若预先规定好质量类别的标准质量分数特征图的像素值全为0，则待测人脸图像的质量分数越高，待测人脸图像质量越差。
本申请实施方式提供的人脸图像质量评价方法，通过特征提取模型和特征生成模型得到能客观且准确地表征出人脸图像质量好坏的质量分数特征图，根据质量分数特征图可以快速且简单地对待测人脸图像的任一区域进行质量评价。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请的实施方式涉及一种电子设备，如图4所示，包括：
至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器301能够执行如上述实施方式提及的模型训练，或者能够执行上述实施方式提及的人脸图像质量评价方法。
该电子设备包括：一个或多个处理器301以及存储器302，图4中以一个处理器301为例。处理器301、存储器302可以通过总线或者其他方式连接，图4中以通过总线连接为例。存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施方式中策略空间内的各处理策略对应的算法就存储于存储器302中。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述模型训练方法或人脸图像质量评价方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器302中，当被一个或者多个处理器301执行时，执行上述任意实施方式中的模型训练方法，或者能够执行上述实施方式提及的人脸图像质量评价方法。
上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。
本申请的实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述模型训练方法或人脸图像质量评价方法的实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (9)

1.一种模型训练方法，其特征在于，包括：
构建用于从已标注好质量类别或坏质量类别的人脸图像中提取人脸特征向量的特征提取模型；
构建用于生成所述人脸特征向量对应的质量分数特征图的特征生成模型；所述质量分数特征图与对应的所述人脸图像尺寸相同，所述质量分数特征图中每个像素点的像素值表示在所述人脸图像中对应的像素点的质量分数；
对所述特征提取模型和所述特征生成模型进行联合训练，得到训练好的特征提取模型和特征生成模型；
其中，所述联合训练的损失函数包括：人脸特征向量的分类损失和中心损失，好质量类别的人脸图像的质量分数特征图的特征损失，各质量类别的人脸图像的质量分数特征图的分类损失；所述人脸特征向量的分类损失和中心损失用于约束属于相同质量类别的人脸图像的人脸特征向量之间的距离和属于不同质量类别的人脸图像的人脸特征向量之间的距离；所述特征损失用于约束好质量类别的人脸图像的质量分数特征图和好质量类别的人脸图像对应的标准质量分数特征图之间的距离；所述质量分数特征图的分类损失用于对好质量类别对应的质量分数特征图和坏质量类别对应的质量分数特征图进行分类。
2.根据权利要求1所述的模型训练方法，其特征在于，采用如下公式构建所述人脸特征向量的分类损失和中心损失所对应的损失函数：
其中，L1为人脸特征向量的分类损失和中心损失对应的损失函数，N为人脸图像的数量，K为质量类别的类别数，λ为超参数，为第i个所述人脸图像的人脸特征向量，为第i个所述人脸图像属于各质量类别的概率，/>为第i个所述人脸图像的类别标签，/>为第i个所述人脸图像的人脸特征向量的特征值，/>为第/>类别的特征均值，表示求*的L2范数。
3.根据权利要求1所述的模型训练方法，其特征在于，采用如下公式构建所述好质量类别的人脸图像的质量分数特征图的特征损失所对应的损失函数：
其中，L2为所述好质量类别的人脸图像的质量分数特征图的特征损失对应的损失函数，m为属于好质量类别的人脸图像的数量，Fi为好质量类别的第i个人脸图像的质量分数特征图，F*为好质量类别的人脸图像对应的标准质量分数特征图，表示求*的L1范数。
4.根据权利要求1所述的模型训练方法，其特征在于，采用如下公式构建所述质量分数特征图的分类损失的损失函数：
其中，L3为质量分数特征图的分类损失对应的损失函数，为第i个所述人脸图像的类别标签，/>为所述质量分数特征图属于各质量类别的概率；N为人脸图像的数量。
5.根据权利要求1所述的模型训练方法，其特征在于，所述联合训练所采用的人脸图像的样本通过如下过程获取：
对获取的原始人脸图像进行人脸检测，确定所述原始人脸图像中人脸的位置；
根据所述原始人脸图像中人脸的位置对所述原始人脸图像进行裁剪，得到第一人脸图像；
对第一人脸图像的每个像素值进行归一化处理，并标注所述第一人脸图像所属的好质量类别或坏质量类别，得到用于所述联合训练所采用的人脸图像的样本。
6.一种人脸图像质量评价方法，其特征在于，包括：
将待测人脸图像输入到已训练好的特征提取模型和特征生成模型中，得到质量分数特征图；
根据所述待测人脸图像的质量分数特征图对所述待测人脸图像的待评价区域进行质量评价，得到待评价区域的质量分数；
其中所述特征提取模型和所述特征生成模型通过如权利要求1至5中任一项所述的模型训练方法获取。
7.根据权利要求6所述的人脸图像质量评价方法，其特征在于，所述根据所述待测人脸图像的质量分数特征图对所述待测人脸图像的待评价区域进行质量评价，得到待评价区域的质量分数，包括：
获取所述待测人脸图像的待评价区域在所述质量分数特征图中的对应区域；
将所述质量分数特征图中对应区域内像素值绝对值之和的平均值作为所述待评价区域的质量分数。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述的模型训练方法，或者能够执行如权利要求6至7中任一所述的人脸图像质量评价方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的模型训练方法，或者实现如权利要求6至7中任一所述的人脸图像质量评价方法。
CN202211204607.2A 2022-09-29 2022-09-29 模型训练方法、人脸图像质量评价方法、设备及介质 Active CN115620083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211204607.2A CN115620083B (zh) 2022-09-29 2022-09-29 模型训练方法、人脸图像质量评价方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211204607.2A CN115620083B (zh) 2022-09-29 2022-09-29 模型训练方法、人脸图像质量评价方法、设备及介质

Publications (2)

Publication Number Publication Date
CN115620083A CN115620083A (zh) 2023-01-17
CN115620083B true CN115620083B (zh) 2023-08-29

Family

ID=84860343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211204607.2A Active CN115620083B (zh) 2022-09-29 2022-09-29 模型训练方法、人脸图像质量评价方法、设备及介质

Country Status (1)

Country Link
CN (1) CN115620083B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117275076B (zh) * 2023-11-16 2024-02-27 厦门瑞为信息技术有限公司 基于特征的人脸质量评估模型的构建方法及应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684906A (zh) * 2018-05-31 2019-04-26 北京林业大学 基于深度学习的检测红脂大小蠹的方法
EP3690721A1 (en) * 2019-01-31 2020-08-05 StradVision, Inc. Method for recognizing face using multiple patch combination based on deep neural network
CN112163456A (zh) * 2020-08-28 2021-01-01 北京中科虹霸科技有限公司 身份识别模型训练方法、测试方法、识别方法及装置
CN113505854A (zh) * 2021-07-29 2021-10-15 济南博观智能科技有限公司 一种人脸图像质量评价模型构建方法、装置、设备及介质
CN113887538A (zh) * 2021-11-30 2022-01-04 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
WO2022108912A1 (en) * 2020-11-23 2022-05-27 Subtle Medical, Inc. Automated medical image quality control system
CN114792436A (zh) * 2021-01-25 2022-07-26 合肥的卢深视科技有限公司 人脸深度图像质量评价方法及系统、电子设备及存储介质
CN115063374A (zh) * 2022-06-24 2022-09-16 合肥的卢深视科技有限公司 模型训练、人脸图像质量评分方法、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684906A (zh) * 2018-05-31 2019-04-26 北京林业大学 基于深度学习的检测红脂大小蠹的方法
EP3690721A1 (en) * 2019-01-31 2020-08-05 StradVision, Inc. Method for recognizing face using multiple patch combination based on deep neural network
CN112163456A (zh) * 2020-08-28 2021-01-01 北京中科虹霸科技有限公司 身份识别模型训练方法、测试方法、识别方法及装置
WO2022108912A1 (en) * 2020-11-23 2022-05-27 Subtle Medical, Inc. Automated medical image quality control system
CN114792436A (zh) * 2021-01-25 2022-07-26 合肥的卢深视科技有限公司 人脸深度图像质量评价方法及系统、电子设备及存储介质
CN113505854A (zh) * 2021-07-29 2021-10-15 济南博观智能科技有限公司 一种人脸图像质量评价模型构建方法、装置、设备及介质
CN113887538A (zh) * 2021-11-30 2022-01-04 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
CN115063374A (zh) * 2022-06-24 2022-09-16 合肥的卢深视科技有限公司 模型训练、人脸图像质量评分方法、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王亚 ; 朱明 ; 刘成林 ; .基于CNN的监控视频中人脸图像质量评估.计算机系统应用.2018,(11),第73-79页. *

Also Published As

Publication number Publication date
CN115620083A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
WO2019233166A1 (zh) 一种表面缺陷检测方法、装置及电子设备
WO2019051941A1 (zh) 车型识别方法、装置、设备及计算机可读存储介质
CN114972191A (zh) 一种耕地变化检测方法和装置
CN111597933B (zh) 人脸识别方法和装置
CN111583180B (zh) 一种图像的篡改识别方法、装置、计算机设备及存储介质
CN112036249B (zh) 端对端行人检测及属性识别的方法、系统、介质及终端
US20230215125A1 (en) Data identification method and apparatus
CN116579616B (zh) 一种基于深度学习的风险识别方法
CN115861210B (zh) 一种基于孪生网络的变电站设备异常检测方法和系统
CN117152484B (zh) 基于改进的YOLOv5s的小目标布匹瑕疵检测方法
CN115620083B (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN112419268A (zh) 一种输电线路图像缺陷检测方法、装置、设备及介质
CN112308148A (zh) 缺陷类别识别、孪生神经网络训练方法、装置及存储介质
CN111401343A (zh) 识别图像中人的属性的方法、识别模型的训练方法和装置
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN114639102A (zh) 基于关键点与尺寸回归的细胞分割方法和装置
CN112784494B (zh) 假阳性识别模型的训练方法、目标识别方法及装置
US20240119584A1 (en) Detection method, electronic device and non-transitory computer-readable storage medium
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN111967383A (zh) 年龄估计方法、年龄估计模型的训练方法和装置
CN111582057A (zh) 一种基于局部感受野的人脸验证方法
CN115546586A (zh) 红外弱小目标的检测方法、装置、计算设备及存储介质
CN114708247A (zh) 基于深度学习的烟盒包装缺陷识别方法和装置
CN112070060A (zh) 识别年龄的方法、年龄识别模型的训练方法和装置
CN114897901B (zh) 基于样本扩充的电池质量检测方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230324

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Applicant before: Hefei lushenshi Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant