CN113936320B - 人脸图像质量评价方法、电子设备及存储介质 - Google Patents
人脸图像质量评价方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113936320B CN113936320B CN202111229541.8A CN202111229541A CN113936320B CN 113936320 B CN113936320 B CN 113936320B CN 202111229541 A CN202111229541 A CN 202111229541A CN 113936320 B CN113936320 B CN 113936320B
- Authority
- CN
- China
- Prior art keywords
- face image
- dimensional
- image
- quality
- gaussian function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013441 quality evaluation Methods 0.000 title abstract description 7
- 230000006870 function Effects 0.000 claims abstract description 98
- 239000013598 vector Substances 0.000 claims abstract description 71
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 241000282414 Homo sapiens Species 0.000 claims abstract description 32
- 230000001815 facial effect Effects 0.000 claims abstract description 19
- 239000000203 mixture Substances 0.000 claims abstract description 15
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 12
- 230000015556 catabolic process Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 238000006731 degradation reaction Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims 3
- 238000005286 illumination Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例涉及图像处理领域，公开了一种人脸图像质量评价方法、电子设备及存储介质，其中方法包括：以不同质量的人脸图像作为输入、人脸的n维特征向量作为输出，构建特征提取模型；对由两个n维高斯函数构成的混合高斯函数，采用期望最大化算法进行迭代更新，得到混合高斯函数的均值和协方差；将人脸图像中好质量的人脸图像对应的n维特征向量，与混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数；将待评价的人脸图像经特征提取模型处理后得到的n维特征向量输入至选定的n维高斯函数，得到该人脸图像为好质量的评价值。本方案对人脸图像质量的评价符合人类主观感觉，可解释性强。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种人脸图像质量评价方法、电子设备及存储介质。
背景技术
摄像头拍摄人脸时，因为遮挡、光照、姿态等复杂情况，常常产生质量不一的人脸图像。目前评价人脸在图像中的质量的方法较少，常用的方法之一是从人脸的各个属性出发进行评价。比如，设计和训练人脸图像的光照情况、模糊程度、遮挡情况、人脸姿态角等属性的检测器，再根据这些属性，结合业内专家的经验，给出综合的人脸图像质量分数。然而，这种方法过于繁琐，需要设计的子模块较多，且搜集不同人脸属性的有标签数据通常也需耗费不少人力物力。
另外一种常用的人脸质量评价方法从人脸识别模型出发，通过人脸识别模型提取人脸图像特征，再依据相同人脸特征相似，不同人脸特征相异的特点，对人脸图像质量评分。然而，这种方法的可解释性差，人眼看起来质量很好的人脸图像，经常被评价为差质量，人眼看起来质量很差的人脸图像，经常被评价为好质量。因此，这种人脸质量评价通常只能服务具体的人脸识别模型，不具备通用性。
发明内容
本发明实施方式的目的在于提供一种人脸图像质量评价方法、电子设备及存储介质，该方案不需要人工标注数据，可以无监督训练，得到能够对人脸图像质量评价的模型，并且模型对人脸图像质量评价的结果符合人类主观感觉，可解释性强。
为解决上述技术问题，本发明的实施方式提供了一种人脸图像质量评价方法，包括：
以不同质量的人脸图像作为输入、人脸的n维特征向量作为输出，构建特征提取模型；
对由两个n维高斯函数构成的混合高斯函数，以所述n维特征向量作为输入，采用期望最大化算法进行迭代更新，得到所述混合高斯函数的均值和协方差；
将所述人脸图像中好质量的人脸图像对应的所述n维特征向量，与所述混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数；
将待评价的人脸图像经所述特征提取模型处理后得到的n维特征向量输入至所述选定的n维高斯函数，得到该人脸图像为好质量的评价值。
本发明的实施方式还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的人脸图像质量评价方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的人脸图像质量评价方法。
本发明实施方式相对于现有技术而言，通过以不同质量的人脸图像作为输入、人脸的n维特征向量作为输出，构建特征提取模型；对由两个n维高斯函数构成的混合高斯函数，以n维特征向量作为输入，采用期望最大化算法进行迭代更新，得到混合高斯函数的均值和协方差；将人脸图像中好质量的人脸图像对应的n维特征向量，与混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数；将待评价的人脸图像经特征提取模型处理后得到的n维特征向量输入至选定的n维高斯函数，得到该人脸图像为好质量的评价值。本方案不需要人工标注数据，可以无监督训练，得到能够对人脸图像质量评价的模型，并且模型对人脸图像质量评价的结果符合人类主观感觉，可解释性强。
附图说明
图1是根据本发明实施方式的人脸图像质量评价方法的具体流程图一；
图2是根据本发明实施方式的人脸图像质量评价方法的具体流程图二；
图3是根据本发明实施方式的人脸图像质量评价方法的具体流程图三；
图4是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的一实施方式涉及一种散斑图像生成方法，如图1所示，本实施例提供的人脸图像质量评价方法，包括如下步骤。
步骤101：以不同质量的人脸图像作为输入、人脸的n维特征向量作为输出，构建特征提取模型。
具体地，构建深度学习网络E作为特征提取模型，E的可训练参数记为wE；E的输入为不同质量的人脸图像，输出为人脸的n维特征向量。其中，n为超参数，可依据经验设定，例如取n＝128。人脸图像的质量可通过限定人脸图像的光照情况、模糊程度、遮挡情况、人脸姿态等进行评价。
在一个例子中，如图2所示，本步骤可通过如下子步骤实现。
子步骤1011：获取多张第一人脸图像。
具体地，通过如相机拍照等方式获取包含人脸的人脸图像作为第一人脸图像，也称“原始图像”，记为x。其中，第一人脸图像x可以是不同光照情况、模糊程度、遮挡情况、人脸姿态下的不同质量的人脸图像。
子步骤1012：对第一人脸图像进行退化处理，得到第二人脸图像。
具体地，可以预先构建一图像退化器，该图像退化器的输入为人脸图像，输出为较输入图像更差质量的人脸图像。图像退化器可以增加输入图像的模糊程度，将图像调整为过亮、过暗图像，以丢失部分细节信息。将第一人脸图像x经图像退化器进行退化处理后，得到第二人脸图像，也称“退化后的图像”，记为xd。
子步骤1013：以第一人脸图像、第二人脸图像作为输入、人脸的n维特征向量作为输出，构建特征提取模型。
具体地，以第一人脸图像作为质量较好的人脸图像、以第二人脸图像作为质量较差的人脸图，共同作为特征提取模型的输入，经特征提取模型处理后得到相应的n维特征向量。其中，x的n维特征向量记为fx＝E(x)，xd的n维特征向量记为fxd＝E(xd)，fi x和fi xd分别表示对应n维特征向量中第i个特征。
子步骤1014：以n维特征向量作为输入，以与人脸图像的形状相同的张量作为输出，构建图像重构模型。
具体地，构建深度学习网络G作为图像重构模型，G的可训练参数记为wG；G的输入为特征提取模型E输出的n维特征向量，G的输出为E中输入的人脸图像的形状的张量。本步骤的目的是对n维特征向量重构形成E中输入的人脸图像的图像重构模型进行训练，从而利用像素损失约束特征提取模型的特征提取能力。其中，x的n维特征向量fx经图像重构模型处理后得到的人脸图像记为gx＝G(fx)，xd的n维特征向量fxd经图像重构模型处理后得到的人脸图像记为gxd＝G(fxd)。
子步骤1015：对特征提取模型和图像重构模型进行联合训练，得到训练完成的特征提取模型。其中，特征提取模型和图像重构模型联合训练时的损失函数基于以下至少一种损失构成：像素损失、信息熵损失和梯度损失。
具体地，可对特征提取模型和图像重构模型进行联合训练，利用特征提取模型、图像重构模型的输入、输出数据构建损失项，从而基于各损失项构建特征提取模型的损失函数。其中，损失项可为像素损失、信息熵损失和梯度损失中的至少一种。以下将对各损失项分别进行说明。
像素损失：利用图像重构前后的人脸图像中对应像素点的像素差值构造的损失项。
在一个例子中，通过如下公式(1)计算人脸图像重构时的平均像素重构误差：
lp＝mean(|x-gx|)+mean(|xd-gxd|)………………………(1)
其中，lp为平均像素重构误差，mean(*)为均值，x为第一人脸图像，xd为第二人脸图像，gx为x对应的图像重构后的图像，gxd为xd对应的图像重构后的图像。
信息熵损失：针对n维特征向量fx、fxd中各特征的无序性构造的损失项。
在一个例子中，通过如下公式(2)、(3)分别计算第一图像、第二图像转变成n维特征向量的信息熵：
其中，lex、lexd依次为第一图像、第二图像转变成n维特征向量的信息熵，fi x、fi xd依次为第一图像、第二图像对应的n维特征向量中第i个特征。
梯度损失：利用图像重构后的人脸图像中像素点的像素梯度构造的损失项。
在一个例子中，构建如公式(4)中的梯度算子k：
通过如下公式(5)计算人脸图像重构时梯度损失：
lk＝conv(gx,k)+conv(gxd,k)………………………(5)
其中，lk为人脸图像重构时梯度损失，conv(*,*)为卷积运算，gx为所述第一人脸图像x对应的图像重构后的图像，gxd为所述第二人脸图像xd对应的图像重构后的图像。
在此基础上，本实施例可基于以上至少一项损失项构建特征提取模型的损失函数。
在一个例子中，特征提取模型和图像重构模型联合训练时的损失函数通过如下公式(6)构建：
其中，loss为损失函数，lp为像素损失下人脸图像重构时的平均像素重构误差，lex、lexd依次为信息熵损失下第一图像、第二图像转变成n维特征向量的信息熵，lk为梯度损失下人脸图像重构时梯度损失。
具体地，本实施例在构建用于训练特征提取模型的损失函数时，通过像素损失lp约束人脸图像重构前后的像素之间的差距；通过信息熵损失lex、lexd、|lex-lexd|分别约束图像退化前后各人脸图像自身的n维特征向量的无序性，以及各人脸图像之间在n维特征向量上的差异性；通过梯度损失lk约束人脸图像重构时图像中像素的梯度情况。
步骤102：对由两个n维高斯函数构成的混合高斯函数，以n维特征向量作为输入，采用期望最大化算法进行迭代更新，得到混合高斯函数的均值和协方差。
具体地，构建人脸图像数据集，要求人脸图像质量的分布符合即将应用场景，通常既包含好质量人脸图像，也包含坏质量人脸图像。例如，该人脸图像数据集中的图像可以为上述的第一人脸图像和第二人脸图像。使用特征提取模型E提取这些人脸图像的特征，构成每个人脸图像的n维特征向量，记为F。
构建由两个n维高斯函数构成的混合高斯函数，以F作为输入，使用常规的期望最大化(ExpectationMaximum，EM)算法迭代更新混合高斯函数的混合系数，均值uj以及协方差vj，直到继续迭代时，混合高斯函数的混合系数、均值uj和协方差vj的数值变化不明显，比如数值变化不超过1e-3，其中j＝1，2。其中，u1、v1，u2、v2分别为两个n维高斯函数的均值和协方差。
步骤103：将人脸图像中好质量的人脸图像对应的n维特征向量，与混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数。
具体地，在经步骤102得到的两个n维高斯函数(j＝1,2)，一个为好质量图像的高斯分布，高斯分布的中心为质量最好值(u1)，另一个为坏质量图像的高斯分布，高斯分布的中心为质量最坏值(u2)。在实践中需要通过验证，确定出哪一个为好质量图像的高斯分布，哪一个为坏质量图像的高斯分布。具体验证方法为，将预先确定为好质量的人脸图像的n维特征向量与上述混合高斯函数中的两个n维高斯函数的均值uj(j＝1,2)进行比较，将与该n维特征向量距离较近的均值所对应的n维高斯函数作为评价好质量的n维高斯函数选择出来。
在一个例子中，为了防止预先确定的好质量的人脸图像的不稳定性，可以将用于训练特征提取模型的不同质量的人脸图像中多张好质量的人脸图像对应的n维特征向量，与混合高斯函数中的均值的向量采用欧式距离进行距离比较，并将多张好质量的人脸图像中超半数距离较近的均值对应的n维高斯函数作为选定的n维高斯函数。
例如，确定20张好质量的人脸图像，将这些人脸图像经特征提取模型处理，得到每张人脸图像对应n维特征向量；分别计算每个n维特征向量到两个n维高斯函数的均值uj(j＝1,2)之间的欧氏距离；分别统计每张好质量的人脸图像距离哪个均值的距离较近；当判断多张好质量的人脸图像中超半数距离某个均值较近，则将该均值对应的n维高斯函数作为选定的n维高斯函数，以评价人脸图像为好质量的概率。
步骤104将待评价的人脸图像经特征提取模型处理后得到的n维特征向量输入至选定的n维高斯函数，得到该人脸图像为好质量的评价值。
具体地，将待评价的人脸图像先输入至特征提取模型得到n维特征向量，再将该n维特征向量输入至选定的n维高斯函数，由于该选定的n维高斯函数的作用为评价人脸图像是否为好质量的人脸图像。因此，当得到的高斯函数值(评价值)越大，对应的该人脸图像为好质量人脸图像的概率越大。
同理，如图3所示，在步骤102之后，还可包括如下步骤。
步骤105，将人脸图像中坏质量的人脸图像对应的n维特征向量，与混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数。
具体地，在经步骤102得到的两个n维高斯函数(j＝1,2)，一个为好质量图像的高斯分布，高斯分布的中心为质量最好值(u1)，另一个为坏质量图像的高斯分布，高斯分布的中心为质量最坏值(u2)。在实践中需要通过验证，确定出哪一个为好质量图像的高斯分布，哪一个为坏质量图像的高斯分布。具体验证方法为，将预先确定为坏质量的人脸图像的n维特征向量与上述混合高斯函数中的两个n维高斯函数的均值uj(j＝1,2)进行比较，将与该n维特征向量距离较近的均值所对应的n维高斯函数作为评价坏质量的n维高斯函数选择出来。
在一个例子中，为了防止预先确定的坏质量的人脸图像的不稳定性，可以将用于训练特征提取模型的不同质量的人脸图像中多张坏质量的人脸图像对应的n维特征向量，与混合高斯函数中的均值的向量采用欧式距离进行距离比较，并将多张坏质量的人脸图像中超半数距离较近的均值对应的n维高斯函数作为选定的n维高斯函数。
例如，确定20张坏质量的人脸图像，将这些人脸图像经特征提取模型处理，得到每张人脸图像对应n维特征向量；分别计算每个n维特征向量到两个n维高斯函数的均值uj(j＝1,2)之间的欧氏距离；分别统计每张坏质量的人脸图像距离哪个均值的距离较近；当判断多张好质量的人脸图像中超半数距离某个均值较近，则将该均值对应的n维高斯函数作为选定的n维高斯函数，以评价人脸图像为坏质量的概率。
步骤106，将待评价的人脸图像经特征提取模型处理后得到的n维特征向量输入至选定的n维高斯函数，得到该人脸图像为坏质量的评价值。
具体地，将待评价的人脸图像先输入至特征提取模型得到n维特征向量，再将该n维特征向量输入至选定的n维高斯函数，由于该选定的n维高斯函数的作用为评价人脸图像是否为坏质量的人脸图像。因此，当得到的高斯函数值(评价值)越大，对应的该人脸图像为坏质量人脸图像的概率越大。
与相关技术相比，本实施例通过以不同质量的人脸图像作为输入、人脸的n维特征向量作为输出，构建特征提取模型；对由两个n维高斯函数构成的混合高斯函数，以n维特征向量作为输入，采用期望最大化算法进行迭代更新，得到混合高斯函数的均值和协方差；将人脸图像中好质量的人脸图像对应的n维特征向量，与混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数；将待评价的人脸图像经特征提取模型处理后得到的n维特征向量输入至选定的n维高斯函数，得到该人脸图像为好质量的评价值。本方案不需要人工标注数据，可以无监督训练，得到能够对人脸图像质量评价的模型，并且模型对人脸图像质量评价的结果符合人类主观感觉，可解释性强。
本发明的另一实施方式涉及一种电子设备，如图4所示，包括至少一个处理器202；以及，与至少一个处理器202通信连接的存储器201；其中，存储器201存储有可被至少一个处理器202执行的指令，指令被至少一个处理器202执行，以使至少一个处理器202能够执行上述任一方法实施例。
其中，存储器201和处理器202采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器202和存储器201的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器202处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器202。
处理器202负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器201可以被用于存储处理器202在执行操作时所使用的数据。
本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (10)
1.一种人脸图像质量评价方法，其特征在于，包括：
以不同质量的人脸图像作为输入、人脸的n维特征向量作为输出，构建特征提取模型；
对由两个n维高斯函数构成的混合高斯函数，以所述n维特征向量作为输入，采用期望最大化算法进行迭代更新，得到所述混合高斯函数的均值和协方差；
将所述人脸图像中好质量的人脸图像对应的所述n维特征向量，与所述混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数；
将待评价的人脸图像经所述特征提取模型处理后得到的n维特征向量输入至所述选定的n维高斯函数，得到该人脸图像为好质量的评价值。
2.根据权利要求1所述的方法，其特征在于，所述以不同质量的人脸图像作为输入、人脸的n维特征向量作为输出，构建特征提取模型，包括：
获取多张第一人脸图像；
对所述第一人脸图像进行退化处理，得到第二人脸图像；
以所述第一人脸图像、所述第二人脸图像作为输入、人脸的n维特征向量作为输出，构建所述特征提取模型；
以所述n维特征向量作为输入，以与所述人脸图像的形状相同的张量作为输出，构建图像重构模型；
对所述特征提取模型和所述图像重构模型进行联合训练，得到训练完成的所述特征提取模型；
其中，所述特征提取模型和所述图像重构模型联合训练时的损失函数基于以下至少一种损失构成：像素损失、信息熵损失和梯度损失。
3.根据权利要求2所述的方法，其特征在于，所述像素损失的构建过程包括：
通过如下公式计算人脸图像重构时的平均像素重构误差：
lp＝mean(|x-gx|)+mean(|xd-gxd|)，
其中，lp为所述平均像素重构误差，mean(*)为均值，x为所述第一人脸图像，xd为所述第二人脸图像，gx为x对应的图像重构后的图像，gxd为xd对应的图像重构后的图像。
4.根据权利要求2所述的方法，其特征在于，所述信息熵损失的构建过程包括：
通过如下公式分别计算所述第一人脸 图像、所述第二人脸 图像转变成n维特征向量的信息熵：
其中，lex、lexd依次为所述第一人脸 图像、所述第二人脸 图像转变成n维特征向量的信息熵，fi x、fi xd依次为所述第一人脸 图像、所述第二人脸 图像对应的所述n维特征向量中第i个特征。
5.根据权利要求2所述的方法，其特征在于，所述梯度损失的构建过程包括：
构建梯度算子
通过如下公式计算人脸图像重构时梯度损失：
lk＝conv(gx,k)+conv(gxd,k)，
其中，lk为所述人脸图像重构时梯度损失，conv(*,*)为卷积运算，gx为所述第一人脸图像x对应的图像重构后的图像，gxd为所述第二人脸图像xd对应的图像重构后的图像。
6.根据权利要求2所述的方法，其特征在于，所述特征提取模型和所述图像重构模型联合训练时的损失函数通过如下公式构建：
其中，loss为所述损失函数，lp为所述像素损失下人脸图像重构时的平均像素重构误差，lex、lexd依次为所述信息熵损失下所述第一人脸 图像、所述第二人脸 图像转变成n维特征向量的信息熵，lk为所述梯度损失下人脸图像重构时梯度损失。
7.根据权利要求1所述的方法，其特征在于，所述将所述人脸图像中好质量的人脸图像对应的所述n维特征向量，与所述混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数，包括：
将所述人脸图像中多张好质量的人脸图像对应的所述n维特征向量，与所述混合高斯函数中的均值的向量采用欧式距离进行距离比较，并将所述多张好质量的人脸图像中超半数距离较近的所述均值对应的n维高斯函数作为选定的n维高斯函数。
8.根据权利要求1所述的方法，其特征在于，所述对由两个n维高斯函数构成的混合高斯函数，以所述n维特征向量作为输入，采用期望最大化算法进行迭代更新，得到所述混合高斯函数的均值和协方差之后，还包括：
将所述人脸图像中坏质量的人脸图像对应的所述n维特征向量，与所述混合高斯函数中的均值进行距离比较，并将整体距离较近的均值对应的n维高斯函数作为选定的n维高斯函数；
将待评价的人脸图像输入至所述选定的n维高斯函数，得到该人脸图像为坏质量的评价值。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的人脸图像质量评价方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的人脸图像质量评价方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111229541.8A CN113936320B (zh) | 2021-10-21 | 2021-10-21 | 人脸图像质量评价方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111229541.8A CN113936320B (zh) | 2021-10-21 | 2021-10-21 | 人脸图像质量评价方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113936320A CN113936320A (zh) | 2022-01-14 |
| CN113936320B true CN113936320B (zh) | 2022-03-25 |
Family
ID=79283630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111229541.8A Active CN113936320B (zh) | 2021-10-21 | 2021-10-21 | 人脸图像质量评价方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113936320B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129568A (zh) * | 2011-04-29 | 2011-07-20 | 南京邮电大学 | 利用改进的高斯混合模型分类器检测图像垃圾邮件的方法 |
| CN111210402A (zh) * | 2019-12-03 | 2020-05-29 | 恒大智慧科技有限公司 | 人脸图像质量评分方法、装置、计算机设备及存储介质 |
| CN111582150A (zh) * | 2020-05-07 | 2020-08-25 | 江苏日颖慧眼智能设备有限公司 | 一种人脸质量评估的方法、装置和计算机存储介质 |
| CN113506260A (zh) * | 2021-07-05 | 2021-10-15 | 北京房江湖科技有限公司 | 一种人脸图像质量评估方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8712157B2 (en) * | 2011-04-19 | 2014-04-29 | Xerox Corporation | Image quality assessment |
-
2021
- 2021-10-21 CN CN202111229541.8A patent/CN113936320B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129568A (zh) * | 2011-04-29 | 2011-07-20 | 南京邮电大学 | 利用改进的高斯混合模型分类器检测图像垃圾邮件的方法 |
| CN111210402A (zh) * | 2019-12-03 | 2020-05-29 | 恒大智慧科技有限公司 | 人脸图像质量评分方法、装置、计算机设备及存储介质 |
| CN111582150A (zh) * | 2020-05-07 | 2020-08-25 | 江苏日颖慧眼智能设备有限公司 | 一种人脸质量评估的方法、装置和计算机存储介质 |
| CN113506260A (zh) * | 2021-07-05 | 2021-10-15 | 北京房江湖科技有限公司 | 一种人脸图像质量评估方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| Image Quality Assessment without Reference by Combining Deep Learning-Based Features and Viewing Distance;Aladine Chetouani et al.;《Applied Sciences》;20210519;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113936320A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ardizzone et al. | Guided image generation with conditional invertible neural networks | |
| Liu et al. | Learning converged propagations with deep prior ensemble for image enhancement | |
| CN110322416A (zh) | 图像数据处理方法、装置以及计算机可读存储介质 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| US20230245351A1 (en) | Image style conversion method and apparatus, electronic device, and storage medium | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| EP4290448A1 (en) | Image generation model training method, generation method, apparatus, and device | |
| CN115424088A (zh) | 图像处理模型训练方法以及装置 | |
| CN111598796A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN113763268A (zh) | 人脸图像盲修复方法及系统 | |
| CN112819689B (zh) | 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备 | |
| CN113420731A (zh) | 模型训练方法、电子设备及计算机可读存储介质 | |
| Dupont et al. | Probabilistic semantic inpainting with pixel constrained cnns | |
| CN110795973A (zh) | 多模态融合的动作识别方法、装置及计算机可读存储介质 | |
| KR102537207B1 (ko) | 머신 러닝에 기반한 이미지 처리 방법 및 장치 | |
| CN116205820A (zh) | 图像增强方法、目标识别方法、设备及介质 | |
| CN113642479B (zh) | 人脸图像的评价方法、装置、电子设备及存储介质 | |
| CN112102200A (zh) | 图像补全模型初始化方法、训练方法和图像补全方法 | |
| CN113658091A (zh) | 一种图像评价方法、存储介质及终端设备 | |
| US11526972B2 (en) | Simultaneously correcting image degradations of multiple types in an image of a face | |
| CN111860840B (zh) | 深度学习模型训练方法、装置、计算机设备及存储介质 | |
| US11763436B2 (en) | Facial reconstruction network | |
| CN113111791A (zh) | 图像滤镜转换网络训练方法、计算机可读存储介质 | |
| Chen et al. | Iterative token evaluation and refinement for real-world super-resolution | |
| CN113936320B (zh) | 人脸图像质量评价方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230410 Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province Patentee after: Hefei lushenshi Technology Co.,Ltd. Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Patentee before: Hefei lushenshi Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |