CN113505854B - 一种人脸图像质量评价模型构建方法、装置、设备及介质 - Google Patents

一种人脸图像质量评价模型构建方法、装置、设备及介质 Download PDF

Info

Publication number
CN113505854B
CN113505854B CN202110864512.2A CN202110864512A CN113505854B CN 113505854 B CN113505854 B CN 113505854B CN 202110864512 A CN202110864512 A CN 202110864512A CN 113505854 B CN113505854 B CN 113505854B
Authority
CN
China
Prior art keywords
face image
distortion
distorted
network
quality evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110864512.2A
Other languages
English (en)
Other versions
CN113505854A (zh
Inventor
焦任直
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202110864512.2A priority Critical patent/CN113505854B/zh
Publication of CN113505854A publication Critical patent/CN113505854A/zh
Application granted granted Critical
Publication of CN113505854B publication Critical patent/CN113505854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种人脸图像质量评价模型构建方法及相关组件。该方法包括：获取高质量人脸图像以及对应的人脸证件照图像，并根据不同的失真类型对高质量人脸图像进行失真处理，以得到失真人脸图像；基于失真人脸图像和对应的高质量人脸图像之间的失真分量得到相应的特征图标签，并基于失真人脸图像和对应的人脸证件照图像之间的相似度得到相应的相似度评分标签；基于失真人脸图像以及对应的相似度评分标签和特征图标签，得到训练数据集；以卷积神经网络为基础构建得到待训练网络，并利用训练数据集对待训练网络进行训练以得到人脸图像质量评价模型，以便利用人脸图像质量评价模型对待测试人脸图像进行评价。提高了人脸图像质量评价的准确性。

Description

一种人脸图像质量评价模型构建方法、装置、设备及介质
技术领域
本发明涉及图像识别技术领域，特别涉及一种人脸图像质量评价模型构建方法、装置、设备及介质。
背景技术
人脸识别系统包括人脸检测、人脸质量评估和人脸识别等功能，通过人脸质量评估过滤掉质量较差的人脸图片，将质量分数较高的图片送入人脸识别系统，以提升人脸识别系统的指标，降低未识别和误识别情况。人脸图像质量的好坏将直接影响人脸识别功能的指标，若将失真较为严重的人脸图片送入人脸识别系统进行识别，则会造成较多的未识别和误识别情况，且浪费资源。
现有技术中，大多数通过计算不同影响因素下人脸图像的质量评分，加权得到人脸图像的最终质量分数，但权重计算的准确性会影响到最终质量分数，且可解释性较弱，降低了人脸图像质量评价的有效性。因此，人脸图像质量评估的准确性十分关键，而如何提高人脸图像质量评价的准确性是目前亟需解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种人脸图像质量评价模型构建方法、装置、设备及介质，能够提高人脸图像质量评价的准确性。其具体方案如下：
第一方面，本申请公开了一种人脸图像质量评价模型构建方法，包括：
获取高质量人脸图像以及对应的人脸证件照图像，并根据不同的失真类型对所述高质量人脸图像进行失真处理，以得到失真人脸图像；
基于所述失真人脸图像和对应的所述高质量人脸图像之间的失真分量得到相应的特征图标签，并基于所述失真人脸图像和对应的所述人脸证件照图像之间的相似度得到相应的相似度评分标签；
基于所述失真人脸图像以及对应的所述相似度评分标签和所述特征图标签，得到训练数据集；
以卷积神经网络为基础构建得到待训练网络，并利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，以便利用所述人脸图像质量评价模型对待测试人脸图像进行评价。
可选的，所述根据不同的失真类型对所述高质量人脸图像进行失真处理，以得到失真人脸图像，包括：
利用图像处理技术，按照不同的失真类型和不同的失真程度对所述高质量人脸图像进行失真处理，以得到所述失真人脸图像；
其中，所述失真类型包括光照不均、偏色、运动模糊、缩放模糊、噪声中的任意一种或多种。
可选的，所述基于所述失真人脸图像和对应的所述高质量人脸图像之间的失真分量得到相应的特征图标签，包括：
根据所述失真人脸图像与对应的所述高质量人脸图像之间针对不同失真类型的失真分量，得到所述失真人脸图像对应的特征图标签；
其中，所述特征图标签包括亮度失真标签、色度失真标签、模糊失真标签、噪声标签和混合失真标签。
可选的，所述基于所述失真人脸图像和对应的所述人脸证件照图像之间的相似度得到相应的相似度评分标签，包括：
基于所述失真人脸图像以及所述失真人脸图像对应的人脸证件照图像，利用人脸识别模型计算所述失真人脸图像和所述人脸证件照图像的特征相似度；
将所述特征相似度作为所述失真人脸图像的相似度评分标签。
可选的，所述利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，包括：
获取实际场景中采集的不同失真类型的历史失真人脸图像，并计算所述历史失真人脸图像对应的相似度评分标签和特征图标签；
基于所述历史失真人脸图像以及对应的所述相似度评分标签和所述特征图标签得到测试数据集；
利用所述训练数据集对所述待训练网络进行训练得到训练后网络，然后利用所述测试数据集对所述训练后网络进行测试，以得到所述人脸图像质量评价模型。
可选的，所述利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，包括：
利用所述失真人脸图像和对应的所述特征图标签，对所述待训练网络进行失真特征提取训练，得到初步网络模型；
利用所述训练数据集对所述初步网络模型进行综合训练，以得到所述人脸图像质量评价模型。
可选的，所述利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，包括：
基于所述特征图标签和对应的特征图构建失真损失函数，并利用所述失真损失函数对所述待训练网络进行失真特征提取训练；
基于所述相似度评分标签和对应的网络预测分数构建分数损失函数，并基于所述失真损失函数和所述分数损失函数通过加权得到总损失函数，然后利用所述总损失函数对所述初步网络模型进行综合训练，以得到所述人脸图像质量评价模型。
第二方面，本申请公开了一种人脸图像质量评价模型构建装置，包括：
失真人脸图像生成模块，用于获取高质量人脸图像以及对应的人脸证件照图像，并根据不同的失真类型对所述高质量人脸图像进行失真处理，以得到失真人脸图像；
标签确定模块，用于基于所述失真人脸图像和对应的所述高质量人脸图像之间的失真分量得到相应的特征图标签，并基于所述失真人脸图像和对应的所述人脸证件照图像之间的相似度得到相应的相似度评分标签；
训练数据集确定模块，用于基于所述失真人脸图像以及对应的所述相似度评分标签和所述特征图标签，得到训练数据集；
网络训练模块，用于以卷积神经网络为基础构建得到待训练网络，并利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，以便利用所述人脸图像质量评价模型对待测试人脸图像进行评价。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的人脸图像质量评价模型构建方法。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的人脸图像质量评价模型构建方法。
本申请中，通过获取高质量人脸图像以及对应的人脸证件照图像，并根据不同的失真类型对所述高质量人脸图像进行失真处理，以得到失真人脸图像；基于所述失真人脸图像和对应的所述高质量人脸图像之间的失真分量得到相应的特征图标签，并基于所述失真人脸图像和对应的所述人脸证件照图像之间的相似度得到相应的相似度评分标签；基于所述失真人脸图像以及对应的所述相似度评分标签和所述特征图标签，得到训练数据集；以卷积神经网络为基础构建得到待训练网络，并利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，以便利用所述人脸图像质量评价模型对待测试人脸图像进行评价。可见，首先通过模拟各类失真类型得到各失真人脸图像，同时获取各失真人脸图像的相似度评分标签和特征图标签以构建训练集，并且，特征图标签为基于失真人脸图像和高质量人脸图像之间的失真分量得到的可以表征各类失真影响的标签；然后，使用相似度评分标签和特征图标签作为约束训练网络，以便利用训练得到的人脸图像质量评价模型，对待测试人脸图像从失真特征和相似度层面进行图像质量评价，提高了人脸图像质量评价的准确性，并使网络学习的特征可解释性更强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种人脸图像质量评价模型构建方法流程图；
图2为本申请提供的一种具体的无失真图像和光照失真图像示意图；
图3为本申请提供的一种具体的无失真图像和偏色图像示意图；
图4为本申请提供的一种具体的运动模糊图像、缩放模糊图像和高斯噪声图像示意图；
图5为本申请提供的一种具体的各类失真的特征图标签示意图；
图6为本申请提供的一种具体的人脸图像质量评价模型构建方法流程图；
图7为本申请提供的一种具体的网络结构示意图；
图8本申请提供的一种人脸图像质量评价模型构建装置结构示意图；
图9本申请提供的一种电子设备结构图。
具体实施方式
现有技术中，通过计算不同影响因素下人脸图像的质量评分，加权得到人脸图像的最终质量分数，但权重计算的准确性会影响到最终质量分数，且可解释性较弱，降低了人脸图像质量评价的有效性。为克服上述技术问题，本申请提出一种人脸图像质量评价模型构建方法，通过此方法得到的人脸图像质量评价模型能够提高人脸图像质量评价的准确性。
本申请实施例公开了一种人脸图像质量评价模型构建方法，参见图1所示，该方法可以包括以下步骤：
步骤S11：获取高质量人脸图像以及对应的人脸证件照图像，并根据不同的失真类型对所述高质量人脸图像进行失真处理，以得到失真人脸图像。
本实施例中，首先采集高质量人脸图像以及对应的人脸证件照图像，然后根据不同的失真类型对高质量人脸图像进行失真处理，以得到失真人脸图像。
本实施例中，所述根据不同的失真类型对所述高质量人脸图像进行失真处理，以得到失真人脸图像，可以包括：利用图像处理技术，按照不同的失真类型和不同的失真程度对所述高质量人脸图像进行失真处理，以得到所述失真人脸图像；其中，所述失真类型包括光照不均、偏色、运动模糊、缩放模糊、噪声中的任意一种或多种。即利用图像处理技术，对高质量人脸图像进行不同失真类型和不同失真程度的失真处理。可以理解的是，本实施例中获取多张高质量人脸图像，每张图像可以分别进行一种或多种失真类型的失真处理，并且失真程度可以按照设置进行强弱调整，也可以是随机的。
本实施例中，所述按照不同的失真类型和相应的失真程度对所述高质量人脸图像进行失真处理，以得到所述失真人脸图像，可以包括：将非均匀光照图像的光照分量迁移到所述高质量人脸图像上，并调节图像亮度分量，以得到光照不均的所述失真人脸图像；和/或，调节所述高质量图像的色度分量，以得到偏色的所述失真人脸图像；和/或，通过对所述高质量图像进行卷积操作，以得到运动模糊的所述失真人脸图像；和/或，通过对所述高质量图像进行缩放操作，以得到缩放模糊的所述失真人脸图像；和/或，通过向所述高质量图像添加高斯噪声，以得到包含噪声的所述失真人脸图像。即为生成不同失真类型的失真人脸图像，使用相应的失真处理操作，且一张高质量图像可以进行多种失真类型的处理形成混合失真。
可以理解的是，由于同一人脸在不同失真类型和不同失真程度下的失真图像采集难度大，本实施例通过图像处理的方法，来模拟光照不均、偏色、模糊、噪声等不同类型的失真，从而求出各类失真对应的失真特征图标签。其中，光照失真包括由光照引起的图像亮度不均匀以及图像亮度过亮和过暗的情况，由光源位置和光照强弱不同而引起。本实施例通过将非均匀光照图像的光照分量迁移到均匀光照的图像上和调节图像亮度分量，得到各种光照失真类型的图像。例如图2中左一正常光照下的人脸图像和其余光照失真人脸图像。而图像偏色是由复杂背景光照引起的，如各类彩色灯光、夜晚路灯和黄昏等，如图3中左一正常色度下的人脸图像和其余各种偏色图像，本实施例通过调节图像色度分量进行控制。进一步，图像模糊失真包含图像运动模糊和图像缩放模糊，分别是由人脸运动和图像过小造成的。图像噪声主要为高斯噪声，主要由环境噪声和电路元器件自身噪声引起。如图4中从左到右依次分别为无失真图像、运动模糊图像、缩放模糊图像和高斯噪声图像，本实施例中分别通过运动模糊卷积、图像缩放和添加高斯噪声进行处理以得到相应的失真图像。
可见，本实施例中将实际场景中图像质量的影响因子归为光照失真、色彩失真、模糊、噪声等，将实际场景中的失真图像看作光照失真、色彩失真、模糊和噪声等单类或多类失真的叠加。通过图像处理的方法，自动控制图像的失真类型和失真程度，极大的丰富了数据类型和数据量，丰富了训练集数据，解决了同一图像不同类型失真数据难以收集的问题，同时拥有原无失真图像作为参考图像，方便模型了训练。
步骤S12：基于所述失真人脸图像和对应的所述高质量人脸图像之间的失真分量得到相应的特征图标签，并基于所述失真人脸图像和对应的所述人脸证件照图像之间的相似度得到相应的相似度评分标签。
本实施例中，计算每个失真人脸图像对应的特征图标签和相似度评分标签，其中，相似度评分标签表征失真人脸图像与对应的人脸证件照图像之间的相似度，特征图标签表征失真人脸图像和对应的高质量人脸图像之间的失真分量。可以理解的是，实际场景中的影响人脸图像质量的因素主要包括光照失真、色彩失真、模糊、噪声等因素，实际场景中的失真图像可以看作光照失真、色彩失真、模糊、噪声等单个失真类型或多个失真类型的混合叠加。单纯将相似度作为图像质量评判标准不能较好的反应图像的失真类型和失真幅度。因此，本实施例中同时使用相似度和各类失真分量作为网络的标签来训练网络，可以使网络学到各类失真特征，以提升网络性能。
本实施例中，所述基于所述失真人脸图像和对应的所述高质量人脸图像之间的失真分量得到相应的特征图标签，可以包括：根据所述失真人脸图像与对应的所述高质量人脸图像之间针对不同失真类型的失真分量，得到所述失真人脸图像对应的特征图标签；其中，所述特征图标签包括亮度失真标签、色度失真标签、模糊失真标签、噪声标签和混合失真标签。例如图5所示的各类失真的特征图标签，通过将添加失真后的图像和原始图像作差求得各失真分量。图5从左到右依次分别为亮度失真标签、色度失真标签、模糊失真标签、噪声标签和混合失真标签。由图5可以看出特征图标签可以反映图像的失真分布情况，亮度失真标签可以反映人脸的亮度失真和亮度分布情况，色度失真标签可以反映图像的偏色情况，模糊标签可以反映图像的锐化情况，噪声标签可以反映图像的噪声分布，混合失真标签为多个失真类型的叠加，可以看出包含光照不均匀、运动模糊等失真类型。
本实施例中，所述基于所述失真人脸图像和对应的所述人脸证件照图像之间的相似度得到相应的相似度评分标签，可以包括：基于所述失真人脸图像以及所述失真人脸图像对应的人脸证件照图像，利用人脸识别模型计算所述失真人脸图像和所述人脸证件照图像的特征相似度；将所述特征相似度作为所述失真人脸图像的相似度评分标签。即本实施例中，利用人脸识别模型计算失真人脸图像和人脸证件照图像的特征相似度，然后将该特征相似度作为所述失真人脸图像的相似度评分标签。
步骤S13：基于所述失真人脸图像以及对应的所述相似度评分标签和所述特征图标签，得到训练数据集。
本实施例中，在得到相似度评分标签和特征图标签后，向每个失真人脸图像添加对应的相似度评分标签和特征图标签，得到含有相似度评分标签和特征图标签的失真人脸图像，以得到网络训练所需的训练数据集。
步骤S14：以卷积神经网络为基础构建得到待训练网络，并利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，以便利用所述人脸图像质量评价模型对待测试人脸图像进行评价。
本实施例中，首先以卷积神经网络为基础进行网络构建，以得到待训练网络，然后利用训练数据集对待训练网络进行训练以得到训练后的人脸图像质量评价模型，以便利用该人脸图像质量评价模型对待测试人脸图像进行评价以及模型验证。其中，所述利用该人脸图像质量评价模型对待测试人脸图像进行评价，具体为利用人脸图像质量评价模型对待测试人脸图像进行失真特征提取，并计算质量分数，最后综合得到最终的图像质量评价分数。
可以理解的是，在网络训练过程中，单一的相似度不能反映图像的失真类型和失真分布情况，网络不能较好的学习到可解释的特征，从而使网络提取的特征不具任何物理含义。本实施例中将各类失真影响因子的特征图作为约束训练网络，使网络可以从失真图像中提取各失真影响因子的失真分布和类型，且本实施例中同时使用相似度和失真分量作为网络的相似度评分标签和特征图标签训练网络，可以使网络学习到影响图像质量的失真特征类型，特征可解释性更强。
本实施例中，所述利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，可以包括：获取实际场景中采集的不同失真类型的历史失真人脸图像，并计算所述历史失真人脸图像对应的相似度评分标签和特征图标签；基于所述历史失真人脸图像以及对应的所述相似度评分标签和所述特征图标签得到测试数据集；利用所述训练数据集对所述待训练网络进行训练得到训练后网络，然后利用所述测试数据集对所述训练后网络进行测试，以得到所述人脸图像质量评价模型。即本实施例中，基于实际场景中采集的不同失真类型的历史失真人脸图像构建测试集，对训练后网络进行测试，以选出适应测试集的模型作为人脸图像质量评价模型。
由上可见，本实施例中首先通过模拟各类失真类型得到各失真人脸图像，同时获取各失真人脸图像的相似度评分标签和特征图标签以构建训练数据集，并且，特征图标签为基于失真人脸图像和高质量人脸图像之间的失真分量得到的可以表征各类失真影响的标签；然后，使用相似度评分标签和特征图标签作为约束训练网络，以便利用训练得到的人脸图像质量评价模型，对待测试人脸图像从失真特征和相似度层面进行图像质量评价，提高了人脸图像质量评价的准确性，并使网络学习的特征可解释性更强。
本申请实施例公开了一种具体的人脸图像质量评价模型构建方法，参见图6所示，该方法可以包括以下步骤：
步骤S21：获取高质量人脸图像以及对应的人脸证件照图像，并根据不同的失真类型对所述高质量人脸图像进行失真处理，以得到失真人脸图像。
步骤S22：基于所述失真人脸图像和对应的所述高质量人脸图像之间的失真分量得到相应的特征图标签，并基于所述失真人脸图像和对应的所述人脸证件照图像之间的相似度得到相应的相似度评分标签。
步骤S23：基于所述失真人脸图像以及对应的所述相似度评分标签和所述特征图标签，得到训练数据集。
步骤S24：以卷积神经网络为基础构建得到待训练网络，并利用所述失真人脸图像和对应的所述特征图标签，对所述待训练网络进行失真特征提取训练，得到初步网络模型。
本实施例中，以卷积神经网络为基础构建得到待训练网络后，首先利用上述失真人脸图像和对应的特征图标签，对待训练网络进行失真特征提取训练，得到初步网络模型。
本实施例中，所述利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，可以包括：基于所述特征图标签和对应的特征图构建失真损失函数，并利用所述失真损失函数对所述待训练网络进行失真特征提取训练。具体的，上述步骤得到失真人脸图像的各失真分量作为网络的特征图标签，记为labelmap，labelmap＝Ipro-Iori；其中，Iori为原始的高质量人脸图像，Ipro为图像失真处理后的失真人脸图像，labelmap为对应类型失真的特征图标签。labelmap可以为亮度失真标签、色度失真标签、模糊失真标签、噪声标签或混合失真标签，分别用以表征图像的亮度失真、色度失真、模糊失真量、噪声失真和混合失真等失真类型和幅度。若混合添加两种以上的失真，则每添加一种，将前一失真图像作为后续失真处理的原图像，计算一次labelmap，作为后续失真的特征图标签。将最后的混合失真图像减去原始图像，作为总混合失真标签labelmap-mix，各类失真的特征图标签和混合失真的特征图标签分别如图5所示。
本实施例中，首先训练失真特征提取网络，基于特征图标签和对应的特征图构建失真损失函数，以计算网络各失真特征图和对应标签的损失：
其中，lossmap为各类失真分量损失和，为求2范数，featuremap为对应失真类型的失真人脸图像在神经网网络中提取的特征图。各损失函数反向传播，不断迭代更新模型，直到模型收敛，得到上述初步网络模型。
步骤S25：利用所述训练数据集对所述初步网络模型进行综合训练，以得到所述人脸图像质量评价模型。
本实施例中，所述利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，可以包括：基于所述相似度评分标签和对应的网络预测分数构建分数损失函数，并基于所述失真损失函数和所述分数损失函数通过加权得到总损失函数，然后利用所述总损失函数对所述初步网络模型进行综合训练，以得到所述人脸图像质量评价模型。
具体的，根据失真图像和证件照图像的识别相似度得到相似度分数标签，记为labelscore。然后，在上述初步网络模型的基础上再联合训练各失真特征和相似度分数，分数损失函数为总损失函数为lossall＝λ1lossmap+λ2lossscore；其中，λ1、λ2分别为失真损失和分数损失的权重，λ1+λ2＝1，具体数值不做限定，例如分别可以取0.2和0.8，predictscore为网络预测分数，labelscore为相似度分数标签。利用上述损失重新训练模型，直到模型收敛，以得到人脸图像质量评价模型。具体网络结构示图如图7所示，其中输入数据包括失真人脸图像、各失真的特征图标签和相似度分数标签，网络测试时，将待测试人脸图像输入网络，可计算出该图像的失真分量和质量分数。
其中，关于上述步骤S21-步骤S23的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
由上可见，本实施例中为解决人脸识别系统中低质量的人脸图片将造成人脸未识别和误识别等问题，影响人脸识别系统的指标。在上述实施例的基础上，在人脸图像质量评价模型训练过程中，分步训练网络，使用提取的各类失真特征，引导网络计算出人脸图像的质量分数。若质量评分标准发生变化，可以直接训练图像的质量分数，无需重新训练失真特征。
相应的，本申请实施例还公开了一种人脸图像质量评价模型构建装置，参见图8所示，该装置包括：
失真人脸图像生成模块11，用于获取高质量人脸图像以及对应的人脸证件照图像，并根据不同的失真类型对所述高质量人脸图像进行失真处理，以得到失真人脸图像；
标签确定模块12，用于基于所述失真人脸图像和对应的所述高质量人脸图像之间的失真分量得到相应的特征图标签，并基于所述失真人脸图像和对应的所述人脸证件照图像之间的相似度得到相应的相似度评分标签；
训练数据集确定模块13，用于基于所述失真人脸图像以及对应的所述相似度评分标签和所述特征图标签，得到训练数据集；
网络训练模块14，用于以卷积神经网络为基础构建得到待训练网络，并利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，以便利用所述人脸图像质量评价模型对待测试人脸图像进行评价。
由上可见，本实施例中首先通过模拟各类失真类型得到各失真人脸图像，同时获取各失真人脸图像的相似度评分标签和特征图标签以构建训练集，并且，特征图标签为基于失真人脸图像和高质量人脸图像之间的失真分量得到的可以表征各类失真影响的标签；然后，使用相似度评分标签和特征图标签作为约束训练网络，以便利用训练得到的人脸图像质量评价模型，对待测试人脸图像从失真特征和相似度层面进行图像质量评价，提高了人脸图像质量评价的准确性，并使网络学习的特征可解释性更强。
在一些具体实施例中，所述失真人脸图像生成模块11具体可以包括：
图像处理单元，用于利用图像处理技术，按照不同的失真类型和不同的失真程度对所述高质量人脸图像进行失真处理，以得到所述失真人脸图像；其中，所述失真类型包括光照不均、偏色、运动模糊、缩放模糊、噪声中的任意一种或多种。
在一些具体实施例中，所述标签确定模块12具体可以包括：
特征图标签确定单元，用于根据所述失真人脸图像与对应的所述高质量人脸图像之间针对不同失真类型的失真分量，得到所述失真人脸图像对应的特征图标签；其中，所述特征图标签包括亮度失真标签、色度失真标签、模糊失真标签、噪声标签和混合失真标签。
在一些具体实施例中，所述标签确定模块12具体可以包括：
相似度计算单元，用于基于所述失真人脸图像以及所述失真人脸图像对应的人脸证件照图像，利用人脸识别模型计算所述失真人脸图像和所述人脸证件照图像的特征相似度；
相似度评分标签确定单元，用于将所述特征相似度作为所述失真人脸图像的相似度评分标签。
在一些具体实施例中，所述人脸图像质量评价模型构建装置具体可以包括：
历史失真人脸图像获取单元，用于获取实际场景中采集的不同失真类型的历史失真人脸图像，并计算所述历史失真人脸图像对应的相似度评分标签和特征图标签；
测试数据集确定单元，用于基于所述历史失真人脸图像以及对应的所述相似度评分标签和所述特征图标签得到测试数据集；
测试单元，用于利用所述训练数据集对所述待训练网络进行训练得到训练后网络，然后利用所述测试数据集对所述训练后网络进行测试，以得到所述人脸图像质量评价模型。
在一些具体实施例中，所述网络训练模块14具体可以包括：
初步网络模型确定单元，用于利用所述失真人脸图像和对应的所述特征图标签，对所述待训练网络进行失真特征提取训练，得到初步网络模型；
人脸图像质量评价模型确定单元，用于利用所述训练数据集对所述初步网络模型进行综合训练，以得到所述人脸图像质量评价模型。
在一些具体实施例中，所述网络训练模块14具体可以包括：
第一训练单元，用于基于所述特征图标签和对应的特征图构建失真损失函数，并利用所述失真损失函数对所述待训练网络进行失真特征提取训练；
第二训练单元，用于基于所述相似度评分标签和对应的网络预测分数构建分数损失函数，并基于所述失真损失函数和所述分数损失函数通过加权得到总损失函数，然后利用所述总损失函数对所述初步网络模型进行综合训练，以得到所述人脸图像质量评价模型。
进一步的，本申请实施例还公开了一种电子设备，参见图9所示，图中的内容不能被认为是对本申请的使用范围的任何限制。
图9为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的人脸图像质量评价模型构建方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及包括失真人脸图像在内的数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的人脸图像质量评价模型构建方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的人脸图像质量评价模型构建方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种人脸图像质量评价模型构建方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种人脸图像质量评价模型构建方法，其特征在于，包括：
获取高质量人脸图像以及对应的人脸证件照图像，并根据不同的失真类型对所述高质量人脸图像进行失真处理，以得到失真人脸图像；
基于所述失真人脸图像和对应的所述高质量人脸图像之间的失真分量得到相应的特征图标签，并基于所述失真人脸图像和对应的所述人脸证件照图像之间的相似度得到相应的相似度评分标签；
基于所述失真人脸图像以及对应的所述相似度评分标签和所述特征图标签，得到训练数据集；
以卷积神经网络为基础构建得到待训练网络，并利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，以便利用所述人脸图像质量评价模型对待测试人脸图像进行评价。
2.根据权利要求1所述的人脸图像质量评价模型构建方法，其特征在于，所述根据不同的失真类型对所述高质量人脸图像进行失真处理，以得到失真人脸图像，包括：
利用图像处理技术，按照不同的失真类型和不同的失真程度对所述高质量人脸图像进行失真处理，以得到所述失真人脸图像；
其中，所述失真类型包括光照不均、偏色、运动模糊、缩放模糊、噪声中的任意一种或多种。
3.根据权利要求2所述的人脸图像质量评价模型构建方法，其特征在于，所述基于所述失真人脸图像和对应的所述高质量人脸图像之间的失真分量得到相应的特征图标签，包括：
根据所述失真人脸图像与对应的所述高质量人脸图像之间针对不同失真类型的失真分量，得到所述失真人脸图像对应的特征图标签；
其中，所述特征图标签包括亮度失真标签、色度失真标签、模糊失真标签、噪声标签和混合失真标签。
4.根据权利要求1所述的人脸图像质量评价模型构建方法，其特征在于，所述基于所述失真人脸图像和对应的所述人脸证件照图像之间的相似度得到相应的相似度评分标签，包括：
基于所述失真人脸图像以及所述失真人脸图像对应的人脸证件照图像，利用人脸识别模型计算所述失真人脸图像和所述人脸证件照图像的特征相似度；
将所述特征相似度作为所述失真人脸图像的相似度评分标签。
5.根据权利要求1所述的人脸图像质量评价模型构建方法，其特征在于，所述利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，包括：
获取实际场景中采集的不同失真类型的历史失真人脸图像，并计算所述历史失真人脸图像对应的相似度评分标签和特征图标签；
基于所述历史失真人脸图像以及对应的所述相似度评分标签和所述特征图标签得到测试数据集；
利用所述训练数据集对所述待训练网络进行训练得到训练后网络，然后利用所述测试数据集对所述训练后网络进行测试，以得到所述人脸图像质量评价模型。
6.根据权利要求1至5任一项所述的人脸图像质量评价模型构建方法，其特征在于，所述利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，包括：
利用所述失真人脸图像和对应的所述特征图标签，对所述待训练网络进行失真特征提取训练，得到初步网络模型；
利用所述训练数据集对所述初步网络模型进行综合训练，以得到所述人脸图像质量评价模型。
7.根据权利要求6所述的人脸图像质量评价模型构建方法，其特征在于，所述利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，包括：
基于所述特征图标签和对应的特征图构建失真损失函数，并利用所述失真损失函数对所述待训练网络进行失真特征提取训练；
基于所述相似度评分标签和对应的网络预测分数构建分数损失函数，并基于所述失真损失函数和所述分数损失函数通过加权得到总损失函数，然后利用所述总损失函数对所述初步网络模型进行综合训练，以得到所述人脸图像质量评价模型。
8.一种人脸图像质量评价模型构建装置，其特征在于，包括：
失真人脸图像生成模块，用于获取高质量人脸图像以及对应的人脸证件照图像，并根据不同的失真类型对所述高质量人脸图像进行失真处理，以得到失真人脸图像；
标签确定模块，用于基于所述失真人脸图像和对应的所述高质量人脸图像之间的失真分量得到相应的特征图标签，并基于所述失真人脸图像和对应的所述人脸证件照图像之间的相似度得到相应的相似度评分标签；
训练数据集确定模块，用于基于所述失真人脸图像以及对应的所述相似度评分标签和所述特征图标签，得到训练数据集；
网络训练模块，用于以卷积神经网络为基础构建得到待训练网络，并利用所述训练数据集对所述待训练网络进行训练以得到人脸图像质量评价模型，以便利用所述人脸图像质量评价模型对待测试人脸图像进行评价。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的人脸图像质量评价模型构建方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至7任一项所述的人脸图像质量评价模型构建方法。
CN202110864512.2A 2021-07-29 2021-07-29 一种人脸图像质量评价模型构建方法、装置、设备及介质 Active CN113505854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110864512.2A CN113505854B (zh) 2021-07-29 2021-07-29 一种人脸图像质量评价模型构建方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110864512.2A CN113505854B (zh) 2021-07-29 2021-07-29 一种人脸图像质量评价模型构建方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113505854A CN113505854A (zh) 2021-10-15
CN113505854B true CN113505854B (zh) 2023-08-15

Family

ID=78014431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110864512.2A Active CN113505854B (zh) 2021-07-29 2021-07-29 一种人脸图像质量评价模型构建方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113505854B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114268672B (zh) * 2021-12-20 2024-01-12 北京字节跳动网络技术有限公司 Cdn节点分配方法、装置、电子设备、介质及程序产品
CN114742779A (zh) * 2022-04-01 2022-07-12 中国科学院光电技术研究所 基于深度学习的高分辨力自适应光学图像质量评价方法
CN115620083B (zh) * 2022-09-29 2023-08-29 合肥的卢深视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质
CN115830351B (zh) * 2023-02-15 2023-04-28 杭州盐光文化艺术传播有限公司 图像处理方法、设备以及存储介质
CN117974571A (zh) * 2023-12-29 2024-05-03 航天科工(北京)空间信息应用股份有限公司 遥感图像评价模型训练方法、遥感图像评价方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN108053393A (zh) * 2017-12-08 2018-05-18 广东工业大学 一种梯度相似度图像质量评价方法及装置
CN108171256A (zh) * 2017-11-27 2018-06-15 深圳市深网视界科技有限公司 人脸图像质评模型构建、筛选、识别方法及设备和介质
WO2018214671A1 (zh) * 2017-05-26 2018-11-29 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
CN110111304A (zh) * 2019-04-04 2019-08-09 天津大学 基于局部到全局特征回归的无参考立体图像质量评价方法
CN110782445A (zh) * 2019-10-25 2020-02-11 北京华捷艾米科技有限公司 无参考图像质量评价方法及系统
CN111105357A (zh) * 2018-10-25 2020-05-05 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
CN111311594A (zh) * 2020-03-16 2020-06-19 清华大学深圳国际研究生院 一种无参考的图像质量评价方法
WO2021135391A1 (zh) * 2020-01-02 2021-07-08 广州大学 一种图像质量评估方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9741107B2 (en) * 2015-06-05 2017-08-22 Sony Corporation Full reference image quality assessment based on convolutional neural network

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法
WO2018214671A1 (zh) * 2017-05-26 2018-11-29 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
CN108171256A (zh) * 2017-11-27 2018-06-15 深圳市深网视界科技有限公司 人脸图像质评模型构建、筛选、识别方法及设备和介质
CN108053393A (zh) * 2017-12-08 2018-05-18 广东工业大学 一种梯度相似度图像质量评价方法及装置
CN111105357A (zh) * 2018-10-25 2020-05-05 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
CN110111304A (zh) * 2019-04-04 2019-08-09 天津大学 基于局部到全局特征回归的无参考立体图像质量评价方法
CN110782445A (zh) * 2019-10-25 2020-02-11 北京华捷艾米科技有限公司 无参考图像质量评价方法及系统
WO2021135391A1 (zh) * 2020-01-02 2021-07-08 广州大学 一种图像质量评估方法及装置
CN111311594A (zh) * 2020-03-16 2020-06-19 清华大学深圳国际研究生院 一种无参考的图像质量评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡晋滨 ; 柴雄力 ; 邵枫 ; .基于伪参考图像深层特征相似性的盲图像质量评价.光电子・激光.2019,(第11期),全文. *

Also Published As

Publication number Publication date
CN113505854A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN113505854B (zh) 一种人脸图像质量评价模型构建方法、装置、设备及介质
CN109871845B (zh) 证件图像提取方法及终端设备
CN108664893B (zh) 一种人脸检测方法及存储介质
WO2020098250A1 (zh) 字符识别方法、服务器及计算机可读存储介质
WO2021238262A1 (zh) 一种车辆识别方法、装置、设备及存储介质
CN109919209B (zh) 一种领域自适应深度学习方法及可读存储介质
CN112950581A (zh) 质量评估方法、装置和电子设备
CN104217404A (zh) 雾霾天视频图像清晰化处理方法及其装置
CN113052868B (zh) 一种抠图模型训练、图像抠图的方法及装置
CN109472193A (zh) 人脸检测方法及装置
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN110288007A (zh) 数据标注的方法、装置及电子设备
CN110782448A (zh) 渲染图像的评价方法及装置
CN108875746A (zh) 一种车牌识别方法、装置、系统及存储介质
CN113781356B (zh) 图像去噪模型的训练方法、图像去噪方法、装置及设备
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
CN112084936B (zh) 一种人脸图像预处理方法、装置、设备及存储介质
Zhuang et al. Image enhancement by deep learning network based on derived image and retinex
CN114463197A (zh) 一种用于电力设备的文本识别方法及设备
CN108038467B (zh) 一种镜像图与粗细层次结合的稀疏人脸识别方法
CN110996128B (zh) 在线教学视频推送管理系统
CN108665455B (zh) 图像显著性预测结果的评价方法和装置
CN103618846A (zh) 一种视频分析中抑制光线突然变化影响的背景去除方法
CN110349108A (zh) 处理图像的方法、装置、电子设备、及存储介质
CN110263708A (zh) 图像来源识别方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant