CN109829905A - 一种面部美化感知质量的无参考评价方法 - Google Patents

Abstract

本发明提出一种面部美化感知质量的无参考评价方法，该方法获取已知主观评分的面部图像构成训练集，将每一幅面部图像分解为嘴巴图像、眼睛图像和脸颊图像三部分，然后在嘴巴图像、眼睛图像和脸颊图像上分别进行特征提取，提取的特征即为描述该面部美化图像的感知质量特征向量，以特征向量为输入，相应面部图像的主观评分为输出，训练支持向量回归模型，训练好的支持向量回归模型即可对面部美化图像的感知质量进行客观评分。

Description

一种面部美化感知质量的无参考评价方法

技术领域

本发明涉及图像质量评价技术领域，尤其是一种面部美化感知质量的无参考评价方法。

背景技术

面部美化提供了一种新的特定于脸部的增强途径。在美化面部的过程中因为涉及参数问题会带来不同程度的美化效果，这些效果直接影响人对肖像的喜好，所以面部美化的感知质量评价具有十分重要的意义，但是目前面部美化图像的质量评价并没有得到关注。用户在美化时不得不反复调整美化方法的参数以获取最具吸引力的面部图像，费时费力，所以急需一种专门针对面部美化感知质量的评价方法。

传统评价图像质量的方法有很多，下面对这些部分方法进行介绍。

Moorthy和Bovik[1]的盲图像质量指数(Blind image quality index，BIQI)分两步对图像进行评价，先采用小波分解系数经广义高斯分布(Generalized Gaussiandistribution，GGD)模型拟合得到的参数作为特征，由SVM分类得到当前图像属于每个类的概率，再采用SVR对各个退化类型计算图像质量指标值，最后根据概率加权得到总的质量评价指标；在后续的基于失真辨识的图像真实性和完整性评价(Distortion identi^-cation-basedimage verity and integrity evaluation，DIIVINE)算法[2]中，采用了更为复杂的88维特征，包括2尺度6方向的可控金字塔小波变换系数的24维子带尺度和方向统计特征、7维方向统计特征、12维跨尺度相关特征、30维空间相关特征、15维跨方向统计特征；随后，Mittal等[3][4]的盲/无参考图像空域质量评价(Blind/referenceless image spa-tialquality evaluator，BRISQUE)算法也采用了SVM+SVR方式，先计算图像多尺度的去均值对比度归一化(Mean subtracted contrast normal-ized，MSCN)系数，再对这些系数及其沿不同方向的相关系数进行非对称广义高斯拟合；得到参数作为特征。

以上方法对图像质量有很强的客观性，但是面部美化评价因为涉及到脸部元素，会掺杂主观审美因素。上述特点决定了传统的质量评价方法无法直接用于评价面部美化的质量。

[1]Mittal A，Soundarajan，Bovik A C.Making a“completely blind”imagequality analyzer[J].IEEE Signal Processing Letters，2012，20(3)：209-212.

[2]Moorthy A K，Bovik A C.Blind Image Quality Assessment：From NaturalScene Statistics to Perceptual Quality[J].IEEE Transactions on ImageProcessing，2012，20(12)：3350-3364.

[3]Mittal A，Moorthy A K，Bovik A C.Blind/Referenceless Image SpatialQuality Evaluator[C]//Signals，Systems&Computers.IEEE，2012.

[4]Mittal A，Moorthy A K，Bovik A C.No-Reference Image QualityAssessment in the Spatial Domain[J].IEEE Transactions on Image Processing APublication of the IEEE Signal Processing Society，2012，21(12)：4695.

发明内容

发明目的：为了弥补面部美化图像感知质量评价的空白，本发明提出一种面部美化感知质量的无参考评价方法。

技术方案：为实现上述目的，本发明提出以下技术方案：

一种面部美化感知质量的无参考评价方法，包括步骤：

(1)获取若干面部图像构成训练集，获取训练集中每一副图像的主观感知质量评价分数；

(2)对训练集中的每一幅面部图像j，依次执行步骤(2-1)至(2-8)：

(2-1)通过MATLAB的vision.CascadeObjectDetector函数对面部图像进行分割，将面部图像分解为嘴巴图像、眼睛图像和脸颊图像；

(2-2)对嘴巴图像和眼睛图像分别进行显著性检测，图像中的显著区域即为嘴巴和眼睛部分，背景区域即为皮肤部分；然后，计算显著区域和背景区域的灰度差，记嘴巴部分图像块的灰度差为f₁，眼睛部分图像块上的灰度差为f₂；

(2-3)对步骤(2-1)中得到的眼睛图像，计算其清晰度f₃；

(2-4)将步骤(2-1)中得到的脸颊图像转换到Lab色彩空间；

(2-5)计算脸颊图像a、b颜色层的灰度均值f₄、f₅；

(2-6)对脸颊图像的亮度层L进行加权最小二乘法滤波处理，得到照明层L′；计算照明层L′的均值f₆和照明对比度f₇；

(2-7)用亮度层L减去照明层L′，得到细节层T；计算T的空间熵f₈；

(2-8)构建面部图像j的特征向量为：p_i＝[f₁，f₂，…，f₈]；

(3)将训练集中每一幅面部图像的特征向量作为输入，相应的主观感知质量评价分数作为输出，训练支持向量回归模型，训练好的支持向量回归模型即可进行面部美化图像的感知质量评价，得到客观分数。

进一步的，所述灰度差的计算方法为：

设置显著性像素阈值，对经过显著性检测后的图像，将图像中灰度值大于显著性像素阈值的像素点所形成的区域作为目标区域，而图像中其余部分作为背景区域；

所述灰度差的计算公式为：

其中，HD为灰度差，F_a为目标区域的灰度平均值，F_s为背景区域的灰度平均值，K表示F_a和F_s的均值，即K^²表示K的平方。

进一步的，所述对眼睛图像计算其清晰度的方法为：

将眼睛图像分成16*16大小的图像块，使用canny算子和sobel算子对各个图像块进行不同方向的边缘检测，canny算子检测得到水平边缘，sobel算子检测得到垂直边缘；根据检测出的每个图像块中的边缘信息将图像块分为边缘块和非边缘块；根据所有边缘块中检测出的水平边缘和垂直边缘，计算眼睛图像的清晰度：

CPBD＝P(P_BLUR≤P_JNB)

其中，CPBD表示清晰度，P_JNB表示预先设定的概率阈值，P_BLUR表示眼睛图像的边缘模糊概率，w(e_i)表示边缘e_i的宽度，β为中间参数，w_JNB的表达式为：C为边缘局部对比度。

进一步的，所述将图像块分为边缘块和非边缘块的方法为：

当检测出某个图像块中的边缘数量大于等于该图像块中像素总数的0.2％时，则将该图像块分为边缘块，否则，将该图像块分为非边缘块。

进一步的，所述照明对比度的计算方法为：

其中，P和U分别表示照明层L′和理想照明的直方图分布，D_KL(P，U)表示P和U之间的KL散度；x表示灰度值，P(x)表示照明层L′的直方图分布中灰度值x处的照明概率，U(x)表示理想照明的直方图分布中灰度值x处的照明概率。

进一步的，所述计算细节层T的空间熵的方法为：

将细节层T分解成大小相同的M个图像块，计算每个图像块的熵ENT，最后将M个图像块的熵ENT求平均值，求得的平均值即为细节层T的空间熵KENT，计算公式为：

其中，ENT(k)为第k个图像块的熵，计算公式为：

ENT(k)＝-∑_nP_k(n)log₂P_k(n)

P_k(n)表示灰度值n在第k个图像块中出现的概率，n∈{0，1，2，…，255}

有益效果：与现有技术相比，本发明具有以下优势：

本发明首次提出一种面部美化感知质量的无参考评价方法，相比于传统视觉图像质量评价方法，更充分考虑了人对面部美化感知的特性，该方法能够用来评价现有面部美化方法的性能并对美化方法进行优化，且该评价方法的性能明显优于传统视觉质量评价方法。

附图说明

图1为本发明的流程图；

图2为1000次训练下PLCC的箱型图；

图3为实施例中应用SSEQ算法得到的散点图；

图4为实施例中应用本发明所述面部美化感知质量的无参考评价方法得到的散点图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

图1所示为本发明的流程图，本方法分为两大模块：

1、基于MATLAB vision.CascadeObjectDetector方法提取脸部模块；

2、根据面部美化的特性针对不同模块提取其相应特征。

下面对这两大模块进行详细介绍：

模块1：获取脸部图像，使用MATLAB的vision.CascadeObjectDetector将脸部图像分解为眼睛、脸颊和嘴巴。

模块2：灰度值差异特征提取：

1、首先在眼睛和嘴巴图像中进行显著性检测，显著区域即眼睛以及嘴巴部分，其余为背景区域，分别计算显著区域和背景区域的灰度均值，进一步计算得到眼睛和嘴巴图像上的特征灰度值差f1和f2。

2、提取眼睛图像的清晰度特征f3。

3、将脸颊图像转换到CIELAB颜色空间，转换后的脸颊图像由一个亮度通道L和两个颜色通道a和b组成。两个颜色通道a和b视为颜色层。将边缘保持平滑算子应用于亮度通道以捕获其大规模变化。强度的大规模变化被认为是照明层L。最后，从亮度通道中减去大尺度变化(照明层)。残差被视为面部的细节层T。在这里，我们选择基于加权最小二乘框架的边缘保持平滑算子，用于照明和细节层分离，因为它对于细节操作是有效的，且不会引入光晕伪像。在细节层，通过计算空间熵f4来度量脸部皮肤的光滑度。在照明层，计算平均光照f5以及KL散度f6来表征与理想照明之间的差距。在颜色层，计算颜色通道a和b的均值f7、f8，来表征肤色信息。

最后通过上述感知质量特征f1至f8以及预先获得的对面部图像的主观评分，采用支持向量回归(SVR)来训练质量模型。

下面通过一个实施例来进一步说明本发明的技术方案。

实施例：我们自建了一个面部图像数据库，该数据库中共有600张面部图像。该库是由15张女性面部图像和10张男性面部图像在磨皮、美白、亮度、对比度、清晰度和智能优化共六种美化方法和四种等级下建立。这些面部图像大部分都是中性表情，正面姿势，配饰和遮挡很少。预想获取对这些面部图像的评分，每张面部图像的得分为1至10分，分值越大表示面部吸引力越大。最后验证所有评分并最终记录。

本实施例包括以下步骤：

步骤一：将面部图像数据库中的每一副图像通过MATLAB的vision.CascadeObjectDetector功能对面部图像进行分割，将面部图像分为嘴巴图像、眼睛图像和脸颊图像；

步骤二：计算眼睛和嘴巴图像的灰度差。首先使用SDSP方法获取其对应显著图，设置嘴巴显著图和眼睛显著图的阈值分别为40和20，我们将显著图上数值大于阈值的设置为目标区域A，其它区域设置为背景区域B，然后分别计算眼睛和嘴巴块上的灰度差f1、f2。计算方法如下：

其中，HD为灰度差，F_a和F_s分别表示同一幅显著图中，目标区域A和背景区域B的灰度均值，K表示为F_a和F_s的均值。

步骤三、眼睛图像的清晰度。利用概率模型来估计在图像中的每个边缘处检测模糊的概率，然后通过计算模糊检测的累积概率(CPBD)来表征图像清晰度。具体步骤为：将图像分成16*16大小的图像块，使用canny算子和sobel算子对各个图像块进行边缘检测，当检测出某个图像块中的边缘数量大于等于该图像块中像素总数的0.2％时，则将该图像块分为边缘块，否则，将该图像块分为非边缘块；在所有边缘块中，计算清晰度f3，方法如下：

CPBD＝P(P_BLUR≤P_JNB)

其中，CPBD表示清晰度，P_JNB表示预先设定的概率阈值，此处设置P_JNB＝63％，P_BLUR表示眼睛图像的边缘模糊概率，w(e_i)表示边缘e_i的宽度，β为中间参数，w_JNB的表达式为：C为边缘局部对比度。

步骤四：脸颊图像处理。首先将脸颊图像转换到Lab色彩空间，在L通道上使用加权最小二乘法进行滤波处理，滤波器的参数为默认值，得到照明层L′，L通道减去照明层L′，得到细节层T，ab通道视为颜色层。

步骤五：分别计算脸颊图像a、b层的均值f4、f5。

步骤六：使用步骤四中得到的照明层L′，分别计算L′的平均照明f6以及照明对比度f7，其中平均照明采用计算均值的方法，照明对比度使用KL散度求与理想照明之间的差距，照明对比度的计算公式如下：

其中，P和U分别表示照明层L′和理想照明的直方图分布，D_KL(P，U)表示P和U之间的KL散度；x表示灰度值，P(x)表示照明层L′的直方图分布中灰度值x处的照明概率，U(x)表示理想照明的直方图分布中灰度值x处的照明概率。

步骤七：计算细节层T的空间熵f₈：将细节层T分解成大小相同的M个图像块，计算每个图像块的熵ENT，最后将M个图像块的熵ENT求平均值，求得的平均值即为细节层T的空间熵KENT，计算公式为：

其中，ENT(k)为第k个图像块的熵，计算公式为：

ENT(k)＝-∑_nP_k(n)log₂P_k(n)

P_k(n)表示灰度值n在第k个图像块中出现的概率，n∈{0，1，2，…，255}。

步骤八：构建面部图像j的特征向量为：p_i＝[f₁，f₂，…，f₈]；将训练集中每一幅面部图像的特征向量为输入，相应的评价分数为输出，训练支持向量回归模型，用训练好的支持向量回归模型给出新的面部图像的质量评价分数。在支持向量回归模型中，使用径向基函数(RBF)作SVR内核。

实验结果以及性能：

图像客观质量评价分数与图像主观质量分数之间呈现非线性关系，所以本发明采用下面的logistic非线性回归方程对主客观评价进行非线性回归：

其中，z代表客观质量评价分数，τ₁τ₂…τ₅为不同权值。选择合适的权值使得f(z)与主观质量评价分数的误差最小。用回归曲线与客观的统计指标作为评价客观评价方法性能的指标：包括：1)相关系数(Pearson linear correlation coefficient，PLCC)为非线性回归后的线性相关系数；2)均方误差根(Root mean squared error，RMSE)为非线性回归后的标准差；3)Kendall等级相关系数(Kendall’s Rank Correlation Coefficient，KRCC)；4)Spearman相关系数(Spearman rank order correlation coefficient，SRCC)。其中，PLCC，RMSE用来衡量预测准确性，而后两者用来衡量预测单调性。PLCC，SRCC，KRCC数值越大越好，RMSE数值越小越好。

我们将本方法的性能和传统图像质量评价方法性能进行对比。表一给出了本文方法和其他4个方法的测试性能。PLCC/SRCC/KRCC数值越大，RMSE数值越小，说明方法性能越好。

表一本文算法和其他算法的性能对比

序号	算法	PLCC	SRCC	KRCC	RMSE
						1	NIQE	0.2270	0.1021	0.1021	1.2519
2	FADE	0.3140	0.2153	0.2153	1.2237
						3	BRISQUE	0.4595	0.0844	0.0489	1.1476
4	SSEQ	0.4909	0.2024	0.1389	1.1241
						5	本方法	0.9205	0.9009	0.7438	0.5018

由上表可知，本方法的PLCC/SRCC/KRCC明显高于所有其他的方法，RMSE最小。这说明了本方法性能具有明显的优越性。

下一步，我们将测试本方法在不同美化方法上的稳定性，本数据库包含六个子库，分别为磨皮、美白、亮度、对比度、清晰度和智能优化；在每个子库上每次训练随机选取80％的图像作为训练样本，其余20％的图像作为测试样本，共计训练1000次，结果如图2所示。

由图2可知，本方法总体具有很高的稳定性，尤其在“智能优化”这个子库上性能远高于总体性能。

为了更加直观的展示本方法的性能，我们给出了本方法和传统取得最好性能的质量评价方法SSEQ的散点图，散点图的横坐标指测试图像的主观得分，纵坐标是图像在质量评价方法下的客观得分。如图3和图4所示。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种面部美化感知质量的无参考评价方法，其特征在于，包括步骤：

(1)获取若干面部图像构成训练集，获取训练集中每一副图像的主观感知质量评价分数；

(2)对训练集中的每一幅面部图像j，依次执行步骤(2-1)至(2-8)：

(2-1)通过MATLAB的vision.CascadeObjectDetector函数对面部图像进行分割，将面部图像分解为嘴巴图像、眼睛图像和脸颊图像；

(2-2)对嘴巴图像和眼睛图像分别进行显著性检测，图像中的显著区域即为嘴巴和眼睛部分，背景区域即为皮肤部分；然后，计算显著区域和背景区域的灰度差，记嘴巴部分图像块的灰度差为f₁，眼睛部分图像块上的灰度差为f₂；

(2-3)对步骤(2-1)中得到的眼睛图像，计算其清晰度f₃；

(2-4)将步骤(2-1)中得到的脸颊图像转换到Lab色彩空间；

(2-5)计算脸颊图像a、b颜色层的灰度均值f₄、f₅；

(2-6)对脸颊图像的亮度层L进行加权最小二乘法滤波处理，得到照明层L′；计算照明层L′的均值f₆和照明对比度f₇；

(2-7)用亮度层L减去照明层L′，得到细节层T；计算T的空间熵f₈；

(2-8)构建面部图像j的特征向量为：p_j＝[f₁，f₂，…，f₈]；

(3)将训练集中每一幅面部图像的特征向量作为输入，相应的主观感知质量评价分数作为输出，训练支持向量回归模型，训练好的支持向量回归模型即可进行面部美化图像的感知质量评价，得到客观分数。

2.根据权利要求1所述的一种面部美化感知质量的无参考评价方法，其特征在于，所述灰度差的计算方法为：

设置显著性像素阈值，对经过显著性检测后的图像，将图像中灰度值大于显著性像素阈值的像素点所形成的区域作为目标区域，而图像中其余部分作为背景区域；

所述灰度差的计算公式为：

其中，HD为灰度差，F_a为目标区域的灰度平均值，F_s为背景区域的灰度平均值，K表示F_a和F_s的均值，即K∧²表示K的平方。

3.根据权利要求2所述的一种面部美化感知质量的无参考评价方法，其特征在于，所述对眼睛图像计算其清晰度的方法为：

将眼睛图像分成16*16大小的图像块，使用canny算子和sobel算子对各个图像块进行不同方向的边缘检测，canny算子检测得到水平边缘，sobel算子检测得到垂直边缘；根据检测出的每个图像块中的边缘信息将图像块分为边缘块和非边缘块；根据所有边缘块中检测出的水平边缘和垂直边缘，计算眼睛图像的清晰度：

CPBD＝P(P_BLUR≤P_JNB)

其中，CPBD表示清晰度，P_JNB表示预先设定的概率阈值，P_BLUR表示眼睛图像的边缘模糊概率，w(e_i)表示边缘e_i的宽度，β为中间参数，w_JNB的表达式为：C为边缘局部对比度。

4.根据权利要求3所述的一种面部美化感知质量的无参考评价方法，其特征在于，所述将图像块分为边缘块和非边缘块的方法为：

当检测出某个图像块中的边缘数量大于等于该图像块中像素总数的0.2％时，则将该图像块分为边缘块，否则，将该图像块分为非边缘块。

5.根据权利要求4所述的一种面部美化感知质量的无参考评价方法，其特征在于，所述照明对比度的计算方法为：

其中，P和U分别表示照明层L′和理想照明的直方图分布，D_KL(P，U)表示P和U之间的KL散度；x表示灰度值，P(x)表示照明层L′的直方图分布中灰度值x处的照明概率，U(x)表示理想照明的直方图分布中灰度值x处的照明概率。

6.根据权利要求5所述的一种面部美化感知质量的无参考评价方法，其特征在于，所述计算细节层T的空间熵的方法为：

将细节层T分解成大小相同的M个图像块，计算每个图像块的熵ENT，最后将M个图像块的熵ENT求平均值，求得的平均值即为细节层T的空间熵KENT，计算公式为：

其中，ENT(k)为第k个图像块的熵，计算公式为：

ENT(k)＝-∑_nP_k(n)log₂P_k(n)

P_k(n)表示灰度值n在第k个图像块中出现的概率，n∈{0，1，2，…，255}。