CN104834898A - 一种人物摄影图像的质量分类方法 - Google Patents

Abstract

本发明公开了一种人物摄影图像的质量分类方法，首先从已根据人物摄影图像的质量分类划分为不同质量等级的样本图片库中，为每个质量等级随机选取多张人物图像作为该质量等级的样本图像；使用人脸特征点检测算法获取脸部的特征点，然后提取人脸的特征，包括脸内基本特征、位置关系特征、脸部光影特征、脸部比例特征、人脸显著度和表情特征；通过并结合样本图像的全局特征、显著特征，对样本进行基于SVM的学习训练，质量等级的分类器；对目标人物摄影图像调用步骤(6)中得到的分类器，进行质量分类。本发明的人物摄影图像的质量分类方法，对人脸相关特征进行深入挖掘，分类准确率高。

Description

一种人物摄影图像的质量分类方法

技术领域

本发明涉及图像智能处理领域，特别涉及一种人物摄影图像的质量分类方法。

背景技术

随着社交网络的发展，越来越多人通过网络来进行社会交流。在交流方式多元化的今天，图像渐渐成为网络社交元素的主力之一。图像比文本更具形象，更能快速准确传达用户的现状、情感。由于网络社交是以人为主体的，且根据网络调查结果显示，将近一半的社交图像都是以人为主题的，而且由于人们的网络观赏与阅读习惯，他们更倾向于在有人物的社交图像花更多的阅读时间。因此，含有人物的图像在网络社交元素中具有发挥着很高的作用。

在图像的质量分类方面，美国宾夕法尼亚大学的学者Datta等率先把图像视觉特征应用到图像美学质量评判中，实现了图像高低美学质量的分类和图像美学质量分数的自动评估。他们综合提取了全局与局部的视觉特征，包括亮度、饱和度、色彩、灰度、相似度、纹理、形状与方位比例、区域分布、景深以及三分法则等56个特征数据，通过特征选择得到15个图像特征，实现对图像的美学评分。然而，作者并没有深入考虑从更细致的方面进行特征的提炼，因此仅有的特征难以在图像评估中获得较高的正确率。

在含有人物的图像美学质量研究中，美国康奈尔大学的学者Li等人对包含人脸的社交图像进行了美学质量评估的研究，并且构建了一个带有美学质量评分的人物图库，并得到其他相关研究学者的采用，他们在亮度对比、色彩一致性、背景复杂度和清晰度对比等基本美学特征的基础上，加入了人脸的简单表情特征，位置，关系等特征以及部分构图特征，并使用SVM与SVR算法进行美学分类与回归，实验结果显示，其特征集对人物图像美学质量具有一定的分类能力。

由于人物图像具有一定的特殊性，在一般图像美学的质量分类中难以取得较高的分类正确率。目前，已有一些学者对人物图像美学算法进行了相关研究，但是对人脸相关特征的挖掘还是不够深入，无法全面体现人物摄影图像的质量。

发明内容

为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种人物摄影图像的质量分类方法，对人脸相关特征进行深入挖掘，分类准确率高。

本发明的目的通过以下技术方案实现：

一种人物摄影图像的质量分类方法，包括以下步骤：

(1)从已根据人物摄影图像的质量划分为不同质量等级的样本图片库中，为每个质量等级随机选取多张人物图像作为该质量等级的样本图像；

(2)提取样本图像的全局特征；所述全局特征包括色调搭配特征、梯度特征、灰度对比特征、锐度特征；

(3)采用人脸检测技术，并且使用人脸关键点检测算法获取脸部特征点；

(4)提取样本图像的人脸特征；所述人脸特征包括脸内基本特征、位置关系特征、脸部光影特征、脸部几何比例特征、人脸显著度和表情特征；

(4-1)提取脸内基本特征，所述脸内基本特征包括脸像素特征和脸计数特征；

所述脸像素特征包括脸部区域的梯度均值及其标准差、色调均值及其标准差、饱和度均值及其标准差、亮度均值及其标准差；

所述脸计数特征包括脸数目、脸尺寸、所有脸面积总和；

(4-2)提取位置关系特征：采用最小生成树算法对人脸区域的位置分布进行距离的计算，并计算人脸最大距离、人脸最小距离、人脸平均距离、人脸紧密度，所述人脸紧密度即平均距离与人脸矩形区域的面积之比；

(4-3)提取脸部光影特征：对人脸区域的9对模板对进行光影特征值计算；其中所述9对模板对的位置分别为鼻子的左侧与右侧区域、鼻梁与人中附近区域、上嘴唇与下嘴唇区域、下巴的左边侧与右边侧区域、左脸颊正面与侧面区域、右脸颊正面与侧面区域、左眼的左眼角与右眼的右眼角区域、左眼窝与左眼眉区域、右眼窝与右眼眉区域；第k对模板的光影特征值计算方法如下：

${\mathrm{TL}}_k=\frac{\underset{(x,y)\∈T_{k1}}{\mathrm{\Σ}}v(x,y)}{\left|\right|\left\{v(x,y)\right|v(x,y)\∈T_{k1}\left\}\right||}/\frac{\underset{(x,y)\∈T_{k2}}{\mathrm{\Σ}}v(x,y)}{\left|\right|\left\{v(x,y)\right|v(x,y)\∈T_{k2}\left\}\right||},k\∈\{\mathrm{1,2},...,9\}$

其中，T_k1,T_k2为模板，v(x,y)为模板中像素点(x,y)在图像HSV通道中的亮度值；

(4-4)提取脸部几何比例特征：所述脸部几何比例特征包括左眼的长度、右眼的长度、眼间长度占脸宽的比例，以及鼻子高度占鼻尖到下巴的距离的比例、人脸水平方向的旋转角度、人脸倾斜角度；

人脸水平方向的旋转角度的计算方法如下：

Spin＝ED(C₁,C₂)/ED(C₃,C₄)

C₁指左太阳穴特征点，C₄指右太阳穴特征点，C₂指左眼的右眼角特征点；C₃指右眼的左眼角上的特征点；ED(C₁,C₂)为C₁，C₂之间的欧式距离；ED(C₃,C₄)为C₃，C₄之间的欧式距离；当Spin>1时表示人脸向右边的旋转角度，当Spin<1时表示向左边的旋转程度；

人脸倾斜角度的计算方法如下：

Incline＝(C_1y-C_4y)/L_face

C_1y,C_4y分别是C₁，C₄两点的垂直坐标；L_face为人脸矩形区域的对角线长度，在计算中，Incline>0表示人脸向右倾斜的角度，Incline<0则表示人脸向左倾斜的角度；

(4-5)提取表情特征：在获得步骤(3)中的脸部的特征点后，提取表情特征；所述表情特征包括眼长宽比、眼弯曲比、嘴长宽比、嘴弯曲比；

EyeShape₁，EyeShape₂，MouthShape₁，MouthShape₂分别是指眼长宽比、眼弯曲比、嘴长宽比、嘴弯曲比，其计算方法如下：

${\mathrm{EyeShape}}_1=\frac{\mathrm{ED}(P_1,P_2)}{\mathrm{ED}(P_3,P_4)}$

P₁,P₂,P₃和P₄分别指左眼最顶端，最底端，最左端和最右端的特征点；

${\mathrm{MouthShape}}_1=\frac{\mathrm{ED}({P_1}^{\&prime;},{P_2}^{\&prime;})}{\mathrm{ED}({P_3}^{\&prime;},{P_4}^{\&prime;})}$

P₁',P₂',P₃'和P₄'分别指嘴巴的最顶端，最底端，最左端和最右端的特征点；

${\mathrm{EyeShape}}_2=\frac{\mathrm{ED}(P_1,P_5)}{\mathrm{ED}(P_5,P_2)}$

P₅指P₁P₂的连线和P₃P₄的连线的交点；

${\mathrm{MouthShape}}_2=\frac{\mathrm{ED}({P_1}^{\&prime;},{P_5}^{\&prime;})}{\mathrm{ED}({P_5}^{\&prime;},{P_2}^{\&prime;})}$

P₅'指P₁'P₂'的连线和P₃'P₄'的连线的交点；

(5)对样本图像进行显著区域检测与分割，并提取显著度特征；所述显著度特征包括显著面积比、显著区域清晰度、脸区域面积比、显著区域复杂度和显著纹理特征；

(6)以步骤(2)提取到的全局特征、步骤(4)提取到的人脸特征、步骤(5)提取到的显著度特征为输入，样本图像对应的质量等级为输出，进行基于支持向量机的训练学习，得到质量等级的分类器；

(7)对目标人物摄影图像调用步骤(6)中得到的分类器，进行质量分类。

步骤(2)所述提取样本图像的全局特征，具体为：

(2-1)提取样本图像的色调搭配特征；所述色调搭配特征包括：平均色调、平均饱和度、平均亮度、最大色调区间及其像素比例、次大色调区间及其像素比例、最大色调区间与次大色调区间的距离；

(2-2)提取样本图像的梯度特征；所述梯度特征包括整幅图像的色调和亮度梯度特征、图像子区域的色调和亮度区域梯度特征；

(2-3)提取样本图像的灰度对比特征；灰度对比特征包括图像中的低强度像素比例和高强度像素比例，低强度像素数量和高强度像素数量的计算方法如下：

低强度像素数量为：

N_dark＝||{v(x,y)|v(x,y)<10}||；

高强度像素数量为：

N_bright＝||{v(x,y)|v(x,y)>245}||；

其中，v(x,y)为模板中像素点(x,y)在图像HSV通道中的亮度值，||v(x,y)||为v(x,y)的个数；

(2-4)提取样本图像的锐度特征，计算方法如下：

$\mathrm{Clarity}=\frac{\left|\right|M\left|\right|}{\left|\right|I\left|\right|}$

其中，M＝{(x,y)||fft(I(x,y))|>βmax(fft(I(x,y)))}，fft为快速傅里叶变换，β为阈值，x,y分别为图像像素点的横、纵坐标，I(x,y)为像素点(x,y)的亮度。

步骤(5)所述对样本图像进行显著区域检测与分割，并提取显著度特征，具体为：

(5-1))采用基于先验融合和流形排序的显著目标检测方法来完成显著区域的检测与分割；

(5-2)提取显著面积比；

(5-3)提取显著区域清晰度特征；

(5-4)提取亮暗区域面积比特征，亮区域面积比R_bright和暗区域面积比R_dark的计算方法如下：

R_dark＝||{I(x,y)|I(x,y)<10}||/N

R_bright＝||{I(x,y)|I(x,y)>245}||/N

其中，I(x,y)为像素点(x,y)在图像HSV通道中的亮度，N为像素点的数量；

(5-5)提取显著区域复杂度特征；

(5-6)提取显著纹理特征，即对图像样本进行显著区域和人脸区域的提取后，把两个区域进行与运算，得到一个总区域，然后在此区域内计算Gabor小波纹理特征。

步骤(2-1)所述提取样本图像的色调搭配特征，具体为：

(2-1-1)计算样本图像的平均色调，即对整幅图像的色调求平均值，计算方法如下：

$E_h=\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}h(x,y)$

N是图像总像素数量，h(x,y)为像素点(x,y)在图像HSV通道中的色调；

(2-1-2)计算图像的平均饱和度，即对整幅图像的色调求平均值，计算方法如下：

$E_s=\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}s(x,y)$

N是图像总像素数量，s(x,y)为像素点(x,y)在图像HSV通道中的饱和度；

(2-1-3)计算图像的平均亮度，即对整幅图像的色调求平均值，计算方法如下：

$E_v=\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}v(x,y)$

N是图像总像素数量，v(x,y)为像素点(x,y)在图像HSV通道中的亮度；

(2-1-4)计算最大色调区间，即样本图像中最多像素的色调所处的区间；

最大色调区间的计算方法如下：

其中，φ_k为对色调的0～360°范围进行24等分后第k个色调区间集合；hist(h(x,y))表示图像的像素在色调区间上的直方图分布；

(2-1-5)计算次大色调区间H₂，即除去最大色调区间，再进行步骤(2-1-4)的计算，取次大色调区间；

(2-1-6)计算最大色调区间和次大色调区间中像素数量占总像素数量的比例作为像素比例特征；

(2-1-7)计算最大色调区间与次大色调区间的距离，计算方法如下：

ΔH＝min(max(Hue)-min(Hue),min(Hue)+24-max(Hue)),Hue＝{H₁,H₂}。

步骤(5-1)所述基于先验融合和流形排序的显著目标检测方法，具体为：

首先，利用闭环k正则图模型来模拟图像数据的流行结构；然后，构建一个二级排序方案提取显著区域和背景区域；而后将对比度先验和新的中心先验结合得到初始的显著图；最后，通过优化一个图模型上的连续二次能量方程促使相邻相似节点具有相似的显著值，即加入光滑先验，以使最终显著图更加均匀突出主体。

步骤(6)所述支持向量机采用RBF核函数，训练参数为γ＝0.2，C＝50。

步骤(3)所述使用人脸关键点检测算法获取脸部特征点，具体为：

使用Face++提供的Research Toolkit v0.1获取脸部的83个特征点。

本发明不同于其他对于人脸美丽的分类方法的发明【授权公告号101305913B，申请号200810029422.6，公开号101305913】，本发明对于人物摄影图像的质量分类重点不在于关注具体人脸的美丽程度，而是在于含有人物的摄影图像的整体美学质量。例如，专业摄影师拍摄的人物是满脸沧桑的农民形象，即使图像人物的美丽程度不高，但仍然是一幅高质量的人物摄影图像(如摄影家罗中立的著名人物摄影《父亲》)。

与现有技术相比，本发明具有以下优点和有益效果：

(1)本发明在步骤(4)创新性的定义了脸内基本特征、位置关系特征、脸部光影特征、脸部比例特征、人脸显著度和表情特征等六个大类的人脸特征，充分描述了人脸的朝向、光影、倾斜、大小、表情、人脸的位置关系等对于人物图像美学质量的影响，有效提高了人物图像质量分类的准确率。

(2)本发明在步骤(5)提取了图像显著区域特征，包括显著面积比、显著区域清晰度、脸区域面积比、显著区域复杂度和显著纹理特征，突出了图像主体与内容的规律性对于视觉审美的影响，有效提高了人物图像质量分类的准确率。

(3)本发明在步骤(6)以步骤(2)所提取的全局特征、步骤(4)所提取的人脸特征和步骤(5)所提取的显著区域特征为输入，以样本图像质量等级为输出，进行基于支持向量机的训练学习，使得到的图像质量分类器的准确率得到充分的提高。

(4)针对社交网络中出现的大量人物摄影图像，本发明提升了图像美学质量分类效果，有利于在大数据量的人物摄影图像库中进行高美学质量图像的筛选，去除低美学质量的人物摄影图像。

附图说明

图1为本发明的实施例的人物摄影图像的质量分类方法的流程图。

具体实施方式

下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例的人物摄影图像的质量分类方法包括以下步骤：

(1)从已根据人物摄影图像的质量分类划分为不同质量等级的样本图片库中，为每个质量等级随机选取多张人物图像作为该质量等级的样本图像。

(2)提取样本图像的全局特征，所述全局特征包括色调搭配特征、梯度特征、灰度对比特征、锐度特征：

(2-1)提取样本图像的色调搭配特征；所述色调搭配特征包括：平均色调、平均饱和度、平均亮度、最大色调区间及其像素比例、次大色调区间及其像素比例、最大色调区间与次大色调区间的距离：

(2-1-1)计算样本图像的平均色调，即对整幅图像的色调求平均值，计算方法如下：

$E_h=\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}h(x,y)$

N是图像总像素数量，h(x,y)为像素点(x,y)在图像HSV通道中的色调；

(2-1-2)计算图像的平均饱和度，即对整幅图像的色调求平均值，计算方法如下：

$E_s=\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}s(x,y)$

N是图像总像素数量，s(x,y)为像素点(x,y)在图像HSV通道中的饱和度；

(2-1-3)计算图像的平均亮度，即对整幅图像的色调求平均值，计算方法如下：

$E_v=\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}v(x,y)$

N是图像总像素数量，v(x,y)为像素点(x,y)在图像HSV通道中的亮度；

(2-1-4)计算最大色调区间，即样本图像中最多像素的色调所处的区间；

最大色调区间的计算方法如下：

其中，φ_k为对色调的0～360°范围进行24等分后第k个色调区间集合；hist(h(x,y))表示图像的像素在色调区间上的直方图分布；

(2-1-5)计算次大色调区间H₂，即除去最大色调区间，再进行步骤(2-1-4)的计算，取次大色调区间；

(2-1-6)计算最大色调区间和次大色调区间中像素数量占总像素数量的比例作为像素比例特征；

(2-1-7)计算最大色调区间与次大色调区间的距离，计算方法如下：

ΔH＝min(max(Hue)-min(Hue),min(Hue)+24-max(Hue)),Hue＝{H₁,H₂}；

(2-2)提取样本图像的梯度特征；所述梯度特征包括整幅图像的色调和亮度梯度特征、图像子区域的色调和亮度区域梯度特征；其中对于图像子区域的色调和亮度区域梯度特征，本实施例对图像进行了9×9、3×3子区域划分，然后分别对子区域计算色调与亮度的区域梯度分布的标准差及区域梯度最大值与最小值。

色调的梯度特征计算方法如下：

$h_0=\frac{1}{N}\underset{(x,y)\&Element;\mathrm{Image}}{\mathrm{\&Sigma;}}{(h_x^2(x,y)+h_y^2(x,y))}^{\frac{1}{2}}$

亮度的梯度特征计算方法如下：

$v_0=\frac{1}{N}\underset{(x,y)\&Element;\mathrm{Image}}{\mathrm{\&Sigma;}}{(v_x^2(x,y)+v_y^2(x,y))}^{\frac{1}{2}}$

其中，h_x(x,y)和h_y(x,y)表示图像中色调的水平和垂直方向的梯度分布，v_x(x,y)和v_y(x,y)表示图像中亮度的水平和垂直方向的梯度分布，Image表示图像的所有像素点的集合，N为总像素数量；

子区域的色调梯度特征的计算方法如下：

$h_k=\frac{1}{N_k}\underset{(x,y)\&Element;M_k}{\mathrm{\&Sigma;}}{(h_x^2(x,y)+h_y^2(x,y))}^{\frac{1}{2}}$

子区域的亮度梯度特征的计算方法如下：

$v_k=\frac{1}{N_k}\underset{(x,y)\&Element;M_k}{\mathrm{\&Sigma;}}{(v_x^2(x,y)+v_y^2(x,y))}^{\frac{1}{2}}$

其中，M_k为第k个子区域的像素点的集合，N_k为第k个区域中的像素点数量。

色调区域梯度分布的标准差的计算方法如下：

$D_h={\left(\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}(h_k-h_o)\right)}^{\frac{1}{2}}$

亮度区域梯度分布的标准差的计算方法如下：

$D_v={\left(\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}(h_k-h_o)\right)}^{\frac{1}{2}}$

其中n为81和9。

(2-3)提取样本图像的灰度对比特征；灰度对比特征包括图像中的低强度像素比例和高强度像素比例，低强度像素数量和高强度像素数量的计算方法如下：

低强度像素数量为：

N_dark＝||{v(x,y)|v(x,y)<10}||；

高强度像素数量为：

N_bright＝||{v(x,y)|v(x,y)>245}||；

其中，v(x,y)为模板中像素点(x,y)在图像HSV通道中的亮度值，||v(x,y)||为v(x,y)的个数；

(2-4)提取样本图像的锐度特征，计算方法如下：

$\mathrm{Clarity}=\frac{\left|\right|M\left|\right|}{\left|\right|I\left|\right|}$

其中，M＝{(x,y)||fft(I(x,y))|>βmax(fft(I(x,y)))}，fft为快速傅里叶变换，β为阈值，x,y分别为图像像素点的横、纵坐标，I(x,y)为像素点(x,y)的亮度。

(3)采用人脸检测技术，并且使用人脸关键点检测算法获取脸部的83个特征点，本实施例使用Face++提供的Research Toolkit v0.1进行人脸及其特征点的检测。检测得到的人脸特征点共83个，各个特征点在人脸上的位置连线大致能包含脸部各个器官以及各个面的的轮廓，比如，右眼点集为{Point₂₀,...,Point₂₉}，左脸点集为{Point₁₂,Point₁₆,Point₄₇,...,Point₆₀}。

(4)提取样本图像的人脸特征；所述人脸特征包括脸内基本特征、位置关系特征、脸部光影特征、脸部几何比例特征、人脸显著度和表情特征；

(4-1)提取脸内基本特征，所述脸内基本特征包括脸像素特征和脸计数特征；

所述脸像素特征包括脸部区域的梯度均值及其标准差、色调均值及其标准差、饱和度均值及其标准差、亮度均值及其标准差；

所述脸计数特征包括脸数目、脸尺寸、所有脸面积总和；

(4-2)提取位置关系特征：采用最小生成树算法对人脸区域的位置分布进行距离的计算，并计算人脸间的最大距离、人脸间的最小距离、人脸平均距离、人脸紧密度，所述人脸紧密度即平均距离与人脸矩形区域的面积之比；

其中最小生成树的基本思想为：在一个给定的无向图G＝(V,E)中，(u,v)代表连接顶点u与顶点v的边，而w(u,v)代表此边的权重，若存在T为E的子集，且为无循环图，使得的w(T)最小，则此T为G的最小生成树。

那么，图像中所有人脸中心的平均距离可以用如下方法描述：

${\mathrm{PosHead}}_1=\frac{1}{\mathrm{nL}}\underset{(u,v)\&Element;T}{\mathrm{\&Sigma;}}w\left(T\right)$

其中，L是图像的对角线长度，用于消除计算不同尺寸图像时，因人脸绝对尺度的差异带来的误差，使距离计算转化为计算距离与图像尺寸的比例，n为人脸数目，T为人脸区域的最小生成树，u和v为图像中的人脸中心点；

人脸紧密度的计算公式如下：

${\mathrm{PosHead}}_2=\frac{1}{n{L}_{\mathrm{face}}}\underset{(u,v)\&Element;T}{\mathrm{\&Sigma;}}w\left(T\right)$

其中，L_face为人脸矩形区域的对角线长度。

人脸间的最大距离为：

${\mathrm{PosHead}}_{\max }=\max (\frac{1}{L_{{\mathrm{face}}_i}}w\left(T_i\right),i=0,1,...,n)$

人脸间的最小距离为：

${\mathrm{PosHead}}_{\min }=\min (\frac{1}{L_{{\mathrm{face}}_i}}w\left(T_i\right),i=0,1,...,n)$

(4-3)提取脸部光影特征：研究表明高质量摄影作品更加注重物体的明暗对比，在人物图像中表现为人脸区域是否具有突出的光照构成。根据步骤(3)所获得的83个脸部特征点，以及专业摄影图像脸部区域的光照对比，本实施例设计了人脸区域多边形用以计算光影特征；根据特征点和人脸实际轮廓，分别设计多个多边形，定义具有光照对比的两个作为一对模板。对人脸区域的9对模板对进行光影特征值计算；所述9对模板对的位置分别为鼻子的左侧与右侧区域、鼻梁与人中附近区域、上嘴唇与下嘴唇区域、下巴的左边侧与右边侧区域、左脸颊正面与侧面区域、右脸颊正面与侧面区域、左眼的左眼角与右眼的右眼角区域、左眼窝与左眼眉区域、右眼窝与右眼眉区域；第k对模板的光影特征值计算方法如下：

${\mathrm{TL}}_k=\frac{\underset{(x,y)\&Element;T_{k1}}{\mathrm{\&Sigma;}}v(x,y)}{\left|\right|\left\{v(x,y)\right|v(x,y)\&Element;T_{k1}\left\}\right||}/\frac{\underset{(x,y)\&Element;T_{k2}}{\mathrm{\&Sigma;}}v(x,y)}{\left|\right|\left\{v(x,y)\right|v(x,y)\&Element;T_{k2}\left\}\right||},k\&Element;\{\mathrm{1,2},...,9\}$

其中，T_k1,T_k2为模板，v(x,y)为模板中像素点(x,y)在图像HSV通道中的亮度值；

(4-4)提取脸部几何比例特征：所述脸部几何比例特征包括左眼的长度、右眼的长度、眼间长度占脸宽的比例，以及鼻子高度占鼻尖到下巴的距离的比例、人脸水平方向的旋转角度、人脸倾斜角度；

人脸水平方向的旋转角度的计算方法如下：

Spin＝ED(C₁,C₂)/ED(C₃,C₄)

C₁指左太阳穴特征点，C₄指右太阳穴特征点，C₂指左眼的右眼角特征点；C₃指右眼的左眼角上的特征点；ED(C₁,C₂)为C₁，C₂之间的欧式距离；ED(C₃,C₄)为C₃，C₄之间的欧式距离；当Spin>1时表示人脸向右边的旋转角度，当Spin<1时表示向左边的旋转程度；

人脸倾斜角度的计算方法如下：

Incline＝(C_1y-C_4y)/L_face

C_1y,C_4y分别是C₁，C₄两点的垂直坐标；L_face为人脸矩形区域的对角线长度，在计算中，Incline>0表示人脸向右倾斜的角度，Incline<0则表示人脸向左倾斜的角度；

(4-5)提取表情特征：在获得步骤(3)中的脸部的83个特征点后，提取表情特征；所述表情特征包括眼长宽比、眼弯曲比、嘴长宽比、嘴弯曲比；

EyeShape₁，EyeShape₂，MouthShape₁，MouthShape₂分别是指眼长宽比、眼弯曲比、嘴长宽比、嘴弯曲比，其计算方法如下：

${\mathrm{EyeShape}}_1=\frac{\mathrm{ED}(P_1,P_2)}{\mathrm{ED}(P_3,P_4)}$

P₁,P₂,P₃和P₄分别指左眼最顶端，最底端，最左端和最右端的特征点；

${\mathrm{MouthShape}}_1=\frac{\mathrm{ED}({P_1}^{\&prime;},{P_2}^{\&prime;})}{\mathrm{ED}({P_3}^{\&prime;},{P_4}^{\&prime;})}$

P₁',P₂',P₃'和P₄'分别指嘴巴的最顶端，最底端，最左端和最右端的特征点；

${\mathrm{EyeShape}}_2=\frac{\mathrm{ED}(P_1,P_5)}{\mathrm{ED}(P_5,P_2)}$

P₅指P₁P₂的连线和P₃P₄的连线的交点；

${\mathrm{MouthShape}}_2=\frac{\mathrm{ED}({P_1}^{\&prime;},{P_5}^{\&prime;})}{\mathrm{ED}({P_5}^{\&prime;},{P_2}^{\&prime;})}$

P₅'指P₁'P₂'的连线和P₃'P₄'的连线的交点；

(5)对样本图像进行显著区域检测与分割，并提取显著度特征；所述显著度特征包括显著面积比、显著区域清晰度、脸区域面积比、显著区域复杂度和显著纹理特征：

(5-1)采用基于先验融合和流形排序的显著目标检测方法来完成显著区域的检测与分割；所述基于先验融合和流形排序的显著目标检测方法的过程为：首先，利用闭环k正则图模型来模拟图像数据的流行结构；然后，构建一个二级排序方案提取显著区域和背景区域；而后将对比度先验和新的中心先验结合得到初始的显著图；最后，通过优化一个图模型上的连续二次能量方程促使相邻相似节点具有相似的显著值，即加入光滑先验，以使最终显著图更加均匀突出主体。

(5-2)提取显著面积比，即显著区域占图像尺寸的比例，计算方法如下：

$R_s=\frac{N_{\mathrm{sal}}}{N}$

其中，N_sal为显著区域像素数量，N为图像总像素数；

(5-3)提取显著区域清晰度特征；本实施例使用一个矩形框截取图像显著区域，然后分别对显著区域和整幅图像进行如下计算：

显著区域清晰度为:

Clarity_sal＝{(x,y)||F_sal(x,y)|>βmax(F_sal(x,y))}/||I_sal||

其中，I_sal为图像中的显著区域的像素点的集合，F_sal为显著区域的傅里叶变换，β为阈值，在本实施例中取0.2。

显著区域与整幅图像的清晰度比值为:

R_sal＝Clarity_sal/Clarity

其中，Clarity为整幅图像的清晰度。

(5-4)提取亮暗区域面积比特征，亮区域面积比R_bright和暗区域面积比R_dark的计算方法如下：

R_dark＝||{I(x,y)|I(x,y)<10}||/N

R_bright＝||{I(x,y)|I(x,y)>245}||/N

其中，I(x,y)为像素点(x,y)在图像HSV通道中的亮度，N为像素点的数量；

(5-5)提取显著区域复杂度特征：本实施例借助超像素分割进行复杂度的计算，在对图像进行超像素分割后，令N_sal和N_unsal为显著区域与非显著区域的超像素数，I_sal和I_unsal为图像显著区域与非显著区域像素集合。本实施例计算以下几个特征作为显著区域复杂度特征：

Complexity₁＝N_sal/||I_sal||

Complexity₂＝N_unsal/||I_unsal||

Complexity₃＝N_sal/||I_unsal||

(5-6)提取显著纹理特征，即对图像样本进行显著区域和人脸区域的提取后，把两个区域进行与运算，得到一个总区域，然后在此区域内计算Gabor小波纹理特征。

(6)以步骤(2)提取到的全局特征、步骤(4)提取到的人脸特征、步骤(5)提取到的显著度特征为输入，样本图像对应的质量等级为输出，进行基于支持向量机的训练学习，得到质量等级的分类器；所述支持向量机采用RBF核函数，训练参数为γ＝0.2，C＝50。

(7)对目标人物摄影图像调用步骤(6)中得到的分类器，进行质量分类。

分别采用本实施的人物摄影图像的质量分类方法与美国康奈尔大学的学者Li等人的分类方法对人物图像进行分类，图像库采用Li等人采集的带有五类美学质量标签的500幅图像，评价结果用跨1类分类准确率表示。跨1类准确率，即如果一副图像带有的分类标签为第k类，测试后得到的类别为第k’类，若|k-k'|≤1,则分类结果准确。两者的比较结果如下：

表1本实施例方法与Li等人方法对比

由表1可知，Li等人的跨1类分类准确率为68％，本发明结果为88.4％，具有更好的分类正确率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种人物摄影图像的质量分类方法，其特征在于，包括以下步骤：

(1)从已根据人物摄影图像的质量划分为不同质量等级的样本图片库中，为每个质量等级随机选取多张人物图像作为该质量等级的样本图像；

(2)提取样本图像的全局特征；所述全局特征包括色调搭配特征、梯度特征、灰度对比特征、锐度特征；

(3)采用人脸检测技术，并且使用人脸关键点检测算法获取脸部特征点；

(4)提取样本图像的人脸特征；所述人脸特征包括脸内基本特征、位置关系特征、脸部光影特征、脸部几何比例特征、人脸显著度和表情特征；

(4-1)提取脸内基本特征，所述脸内基本特征包括脸像素特征和脸计数特征；

所述脸像素特征包括脸部区域的梯度均值及其标准差、色调均值及其标准差、饱和度均值及其标准差、亮度均值及其标准差；

所述脸计数特征包括脸数目、脸尺寸、所有脸面积总和；

(4-2)提取位置关系特征：采用最小生成树算法对人脸区域的位置分布进行距离的计算，并计算人脸最大距离、人脸最小距离、人脸平均距离、人脸紧密度，所述人脸紧密度即平均距离与人脸矩形区域的面积之比；

(4-3)提取脸部光影特征：对人脸区域的9对模板对进行光影特征值计算；其中所述9对模板对的位置分别为鼻子的左侧与右侧区域、鼻梁与人中附近区域、上嘴唇与下嘴唇区域、下巴的左边侧与右边侧区域、左脸颊正面与侧面区域、右脸颊正面与侧面区域、左眼的左眼角与右眼的右眼角区域、左眼窝与左眼眉区域、右眼窝与右眼眉区域；第k对模板的光影特征值计算方法如下：

${\mathrm{TL}}_k=\frac{\underset{(x,y)\&Element;T_{k1}}{\mathrm{\&Sigma;}}v(x,y)}{\left|\right|\left\{v(x,y)\right|v(x,y)\&Element;T_{k1}\left\}\right||}/\frac{\underset{(x,y)\&Element;T_{k2}}{\mathrm{\&Sigma;}}v(x,y)}{\left|\right|\left\{v(x,y)\right|v(x,y)\&Element;T_{k2}\left\}\right||},k\&Element;\{\mathrm{1,2},..,9\}$

其中，T_k1,T_k2为模板，v(x,y)为模板中像素点(x,y)在图像HSV通道中的亮度值；

(4-4)提取脸部几何比例特征：所述脸部几何比例特征包括左眼的长度、右眼的长度、眼间长度占脸宽的比例，以及鼻子高度占鼻尖到下巴的距离的比例、人脸水平方向的旋转角度、人脸倾斜角度；

人脸水平方向的旋转角度的计算方法如下：

Spin＝ED(C₁,C₂)/ED(C₃,C₄)

C₁指左太阳穴特征点，C₄指右太阳穴特征点，C₂指左眼的右眼角特征点；C₃指右眼的左眼角上的特征点；ED(C₁,C₂)为C₁，C₂之间的欧式距离；ED(C₃,C₄)为C₃，C₄之间的欧式距离；当Spin>1时表示人脸向右边的旋转角度，当Spin<1时表示向左边的旋转程度；

人脸倾斜角度的计算方法如下：

Incline＝(C_1y-C_4y)/L_face

C_1y,C_4y分别是C₁，C₄两点的垂直坐标；L_face为人脸矩形区域的对角线长度，在计算中，Incline>0表示人脸向右倾斜的角度，Incline<0则表示人脸向左倾斜的角度；

(4-5)提取表情特征：在获得步骤(3)中的脸部的特征点后，提取表情特征；所述表情特征包括眼长宽比、眼弯曲比、嘴长宽比、嘴弯曲比；

EyeShape₁，EyeShape₂，MouthShape₁，MouthShape₂分别是指眼长宽比、眼弯曲比、嘴长宽比、嘴弯曲比，其计算方法如下：

${\mathrm{EyeShape}}_1=\frac{\mathrm{ED}({P_1}^{\text{'}},{P_2}^{\text{'}})}{\mathrm{ED}({P_3}^{\text{'}},{P_4}^{\text{'}})}$

P₁,P₂,P₃和P₄分别指左眼最顶端，最底端，最左端和最右端的特征点；

${\mathrm{MouthShape}}_2=\frac{\mathrm{ED}({P_1}^{\text{'}},{P_2}^{\text{'}})}{\mathrm{ED}({P_3}^{\text{'}},{P_4}^{\text{'}})}$

P₁',P₂',P₃'和P₄'分别指嘴巴的最顶端，最底端，最左端和最右端的特征点；

${\mathrm{EyeShape}}_2=\frac{\mathrm{EB}(P_1,P_5)}{\mathrm{ED}(P_5,P_2)}$

P₅指P₁P₂的连线和P₃P₄的连线的交点；

${\mathrm{MouthShape}}_2=\frac{\mathrm{ED}({P_1}^{\text{'}},{P_5}^{\text{'}})}{\mathrm{ED}({P_5}^{\text{'}},{P_2}^{\text{'}})}$

P₅'指P₁'P₂'的连线和P₃'P₄'的连线的交点；

(5)对样本图像进行显著区域检测与分割，并提取显著度特征；所述显著度特征包括显著面积比、显著区域清晰度、脸区域面积比、显著区域复杂度和显著纹理特征；

(6)以步骤(2)提取到的全局特征、步骤(4)提取到的人脸特征、步骤(5)提取到的显著度特征为输入，样本图像对应的质量等级为输出，进行基于支持向量机的训练学习，得到质量等级的分类器；

(7)对目标人物摄影图像调用步骤(6)中得到的分类器，进行质量分类。

2.根据权利要求1所述的人物摄影图像的质量分类方法，其特征在于，步骤(2)所述提取样本图像的全局特征，具体为：

(2-1)提取样本图像的色调搭配特征；所述色调搭配特征包括：平均色调、平均饱和度、平均亮度、最大色调区间及其像素比例、次大色调区间及其像素比例、最大色调区间与次大色调区间的距离；

(2-2)提取样本图像的梯度特征；所述梯度特征包括整幅图像的色调和亮度梯度特征、图像子区域的色调和亮度区域梯度特征；

(2-3)提取样本图像的灰度对比特征；灰度对比特征包括图像中的低强度像素比例和高强度像素比例，低强度像素数量和高强度像素数量的计算方法如下：

低强度像素数量为：

N_dark＝||{v(x,y)|v(x,y)<10}||；

高强度像素数量为：

N_bright＝||{v(x,y)|v(x,y)>245}||；

其中，v(x,y)为模板中像素点(x,y)在图像HSV通道中的亮度值，||v(x,y)||为v(x,y)的个数；

(2-4)提取样本图像的锐度特征，计算方法如下：

$\mathrm{Clarity}=\frac{\left|\right|M\left|\right|}{\left|\right|I\left|\right|}$

其中，M＝{(x,y)||fft(I(x,y))|>βmax(fft(I(x,y)))}，fft为快速傅里叶变换，β为阈值，x,y分别为图像像素点的横、纵坐标，I(x,y)为像素点(x,y)的亮度。

3.根据权利要求1所述的人物摄影图像的质量分类方法，其特征在于，步骤(5)所述对样本图像进行显著区域检测与分割，并提取显著度特征，具体为：

(5-1))采用基于先验融合和流形排序的显著目标检测方法来完成显著区域的检测与分割；

(5-2)提取显著面积比；

(5-3)提取显著区域清晰度特征；

(5-4)提取亮暗区域面积比特征，亮区域面积比R_bright和暗区域面积比R_dark的计算方法如下：

R_dark＝||{I(x,y)|I(x,y)<10}||/N

R_bright＝||{I(x,y)|I(x,y)>245}||/N

其中，I(x,y)为像素点(x,y)在图像HSV通道中的亮度，N为像素点的数量；

(5-5)提取显著区域复杂度特征；

(5-6)提取显著纹理特征，即对图像样本进行显著区域和人脸区域的提取后，把两个区域进行与运算，得到一个总区域，然后在此区域内计算Gabor小波纹理特征。

4.根据权利要求2所述的人物摄影图像的质量分类方法，其特征在于，步骤(2-1)所述提取样本图像的色调搭配特征，具体为：

(2-1-1)计算样本图像的平均色调，即对整幅图像的色调求平均值，计算方法如下：

$E_h=\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}h(x,y)$

N是图像总像素数量，h(x,y)为像素点(x,y)在图像HSV通道中的色调；

(2-1-2)计算图像的平均饱和度，即对整幅图像的色调求平均值，计算方法如下：

$E_s=\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}s(x,y)$

N是图像总像素数量，s(x,y)为像素点(x,y)在图像HSV通道中的饱和度；

(2-1-3)计算图像的平均亮度，即对整幅图像的色调求平均值，计算方法如下：

$E_v=\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}v(x,y)$

N是图像总像素数量，v(x,y)为像素点(x,y)在图像HSV通道中的亮度；

(2-1-4)计算最大色调区间，即样本图像中最多像素的色调所处的区间；

最大色调区间的计算方法如下：

其中，φ_k为对色调的0～360°范围进行24等分后第k个色调区间集合；hist(h(x,y))表示图像的像素在色调区间上的直方图分布；

(2-1-5)计算次大色调区间H₂，即除去最大色调区间，再进行步骤(2-1-4)的计算，取次大色调区间；

(2-1-6)计算最大色调区间和次大色调区间中像素数量占总像素数量的比例作为像素比例特征；

(2-1-7)计算最大色调区间与次大色调区间的距离，计算方法如下：

ΔH＝min(max(Hue)-min(Hue),min(Hue)+24-max(Hue)),Hue＝{H₁,H₂}。

5.根据权利要求3所述的人物摄影图像的质量分类方法，其特征在于，步骤(5-1)所述基于先验融合和流形排序的显著目标检测方法，具体为：

首先，利用闭环k正则图模型来模拟图像数据的流行结构；然后，构建一个二级排序方案提取显著区域和背景区域；而后将对比度先验和新的中心先验结合得到初始的显著图；最后，通过优化一个图模型上的连续二次能量方程促使相邻相似节点具有相似的显著值，即加入光滑先验，以使最终显著图更加均匀突出主体。

6.根据权利要求1所述的人物摄影图像的质量分类方法，其特征在于，步骤(6)所述支持向量机采用RBF核函数，训练参数为γ＝0.2，C＝50。

7.根据权利要求1所述的人物摄影图像的质量分类方法，其特征在于，步骤(3)所述使用人脸关键点检测算法获取脸部特征点，具体为：

使用Face++提供的Research Toolkit v0.1获取脸部的83个特征点。