CN106778788B - 对图像进行美学评价的多特征融合方法 - Google Patents

Abstract

本发明对图像进行美学评价的多特征融合方法，涉及一般的图像数据处理的图像分析，步骤是：输入彩色RGB图像I，并进行显著区域检测得到主体区域和背景区域；彩色RGB图像I在不同颜色空间的特征向量提取：包括提取色彩调和特征向量，提取构图特征向量，提取颜色特征向量，提取清晰度特征向量，提取纹理特征向量，提取DCT统计特征向量共六类特征向量；将提取的六类特征向量融合后利用SVM分类器将图像按美学分数高低分为两类，实现图像的美学评价，克服了现有技术利用多特征融合方法进行图像美学评价时，存在对于颜色复杂图像的美学评价效果不好，不能很好地适用于各种类型图像美学评价的缺陷。

Description

对图像进行美学评价的多特征融合方法

技术领域

本发明的技术方案涉及一般的图像数据处理的图像分析，具体地说是对图像进行美学评价的多特征融合方法。

背景技术

可计算图像美学评价的研究是利用计算机模拟人类的视觉系统与审美思维对图像进行美学评价，计算美学的概念是在2005年由欧洲计算机图形学会举办的第一届图形图像视觉计算美学学术会议上提出的，随后逐渐引起了各界学术人士的关注。可计算美学广泛应用于基于语义的图像检索、图像美学评价、图像的美学修正以及摄影的美学预测等。

2006年，宾夕法尼亚大学Datta等人通过提取一系列全局和局部视觉特征，来构建图像美学评价模型。该模型包括图像的颜色、饱和度及亮度等56个特征值，利用分类回归树算法选取其中15个最为有效的特征值，并利用支持向量机对图像进行分类，但得到的图像高低美感评价的准确率不高，主要原因是由于采用的特征是低层特征，且量化比较粗糙。2009年，新加坡国立大学的Wong等人利用了显著性增强算法来提取图像的显著区域，作为主体区域，然后利用主体区域特征、全局特征及主体和背景之间的关系的特征来区分专业照和快照，强调了主体区域在图像美学评价中的重要的作用，但并未考虑构图特征，导致分类预测的准确率不高。2011年，东京大学工业科学研究所的Nishiyama等人利用Moon-Spencer色彩调和模型，通过结合图像局部区域和Moon-Spencer色彩调和模型的分类方法实现对图像的分类，但在采样时使用的简单网格法没有考虑主体和背景颜色复杂度的不同，使得最终的分类效果不佳。2012年，浙江大学金勇等人根据基本的构图原则，设计了一个带有约束条件的二次规划能量函数，用这个函数来衡量在原始图像中视觉元素的位置和符合美学的目标位置的距离，以评估图像的组成。但他们只考虑了构图特征，没有提取颜色、清晰度和纹理等特征。2016年，华南理工大学王伟凝等人在前人的研究基础上，提取了颜色、纹理、景深和复杂度等特征，利用这些特征构建图像美学分类模型，对图像进行高低美感的分类，由于采用的色彩调和模板本身只涉及色调，没有饱和度和亮度的计算，同时选用模板时，一幅图像适用多个模板，造成难以确定适用模板的问题。CN105787966A公开了一种计算机图像的美学评估方法，该方法提出了基于对象区域构图特征，将局部高层语义特征应用于美学计算进行美学评估，主要是根据构图来进行美学分析，没有考虑色彩和纹理这些全局特征对图像美学的影响，同时没有明确说明图像美学评价的准确率。CN103218619A公开了一种图像美学评价方法，提出了图像整体区域和主体区域的低层视觉特征和高层美学特征，利用Adaboost和SVR(Support Vector Regression)算法建立了美感等级分类器和美学回归模型，该方法虽然提取了大量的特征，但其中有些特征的有效性较低，没有提高对图像美学评价的准确率。

现有技术的图像美学评价模型虽然利用多特征融合的方法来进行图像美学评价，然而由于没有考虑图像的主体区域和背景区域的颜色信息熵的不同，仍存在对于颜色复杂的图像美学评价的效果不好，不能很好地适用于各种类型图像的图像美学评价。

发明内容

本发明所要解决的技术问题是：提供对图像进行美学评价的多特征融合方法，该方法提取图像的色彩调和特征向量、颜色特征向量、构图特征向量、清晰度特征向量、纹理特征向量和DCT统计特征向量共六类特征向量，将提取的六类特征向量融合后利用SVM分类器将图像按美学分数高低分为两类，实现图像的美学评价，克服了现有技术利用多特征融合方法进行图像美学评价时，存在对于颜色复杂图像的美学评价效果不好，不能很好地适用于各种类型图像美学评价的缺陷。

本发明解决该技术问题所采用的技术方案是：对图像进行美学评价的多特征融合方法，提取图像的色彩调和特征向量、颜色特征向量、构图特征向量、清晰度特征向量、纹理特征向量和DCT统计特征向量共六类特征向量，将提取的六类特征向量融合后利用SVM分类器将图像按美学分数高低分为两类，实现图像的美学评价，具体步骤如下：

第一步，输入彩色RGB图像I，并进行显著区域检测得到主体区域和背景区域：

通过USB接口向计算机输入彩色RGB图像I，大小为w×h×3像素，其中w为图像宽度，h为图像高度，不同图像的宽度w和高度h不同，采用阿里巴巴的Yang提出的基于图的流形排序显著性检测算法对输入彩色RGB图像I进行显著区域检测，得到显著区域，之后提取包含显著区域的最小外接矩形，得到主体区域I_f，其余为背景区域I_b，同时得到主体区域I_f的中心点O(O_x,O_y)；

第二步，彩色RGB图像I在不同颜色空间的特征向量提取：

(2.1)提取彩色RGB图像I在HSV、LAB和Munsell三个颜色空间的色彩调和特征向量：

这里分为以下三个阶段进行：

第一阶段，图像的分块：将上述第一步中主体区域I_f和背景区域I_b分别转换为HSV空间中的图像I_fh和I_bh，然后分别采用循环的方式进行分块，在进行分块时，每次分块的块数为N₁×N₁，进而计算每个子块的颜色信息熵值和像素个数，当子块的颜色信息熵的值小于阈值Tc或子块的像素个数小于阈值S时，不再进行分块，否则，继续进行分块；

第二阶段，确定子块的主颜色：将上述第一步中的彩色RGB图像I转换到LAB空间图像I_LAB进行SLIC超像素分割，得到超像素标签，并统计上述(2.1)步第一阶段中划分的各子块中超像素的标签，数量最多的超像素标签的超像素区域是该子块的主颜色区，即可得到该子块的主颜色；

第三阶段，计算色调特征向量nh和明度及彩度特征向量nvc，得到色彩调和特征向量：

将上述(2.1)步第一阶段得到的子块由HSV颜色空间转换到Munsell颜色空间，得到色调Hue、明度V和彩度C三个分量，分别提取色调特征值、明度与彩度合并的特征值，具体步骤如下：

首先，对上述(2.1)步第一阶段得到的每个子块进行色调分量Hue的特征值提取：将子块中的每个像素的色调分量值减去上述(2.1)步第二阶段中得到的该子块主颜色的色调分量值，得到该像素的色调差值H_S，根据Moon-Spencer色彩调和模型，确定色调差值H_S是否和谐，判断色调是否和谐的符号函数sgn公式如(1)所示：

统计与主色调和谐的像素个数，并将和谐的像素个数与当前子块总的像素个数的比作为此子块的色调分量Hue的特征值，具体公式如(2)所示：

h_i＝Numh_i/m_i,i＝1,...,Z (2)，

其中Numh_i为第i个图像子块内色调和谐的像素点的个数，m_i为该子块总的像素点的个数，当计算主体区域的色调分量Hue的特征值时，Z为主体区域的分块个数，当计算背景区域的色调分量Hue的特征值时，Z为背景区域的分块个数；

其次，对每个子块进行明度分量V和彩度分量C的特征值提取：对上述(2.1)步第一阶段得到的每个子块中的每个像素的明度值减去上述(2.1)步第二阶段中该子块主颜色的明度值得到明度差值V_S，子块中的每个像素的彩度值减去上述(2.1)步第二阶段中该子块主颜色的彩度值得到彩度差值C_S，将明度差值V_S及彩度差值C_S合并作为一个特征值根据Moon-Spencer色彩调和模型，判断明度及彩度是否和谐，公式如(3)所示：

其中，firE、secE和thirE分别是衡量像素与所属子块主颜色的明度差值V_S及彩度差值C_S是否落在Munsell颜色空间中三个椭圆区域内的度量值，当sgn(V_S,C_S)值为1时，表明当前像素点的明度及彩度和谐，统计子块i中明度及彩度和谐的像素点的个数Numvc_i，计算其与子块i总的像素点的个数m_i的比值，得到子块i的明度及彩度的特征值vc_i，

vc_i＝Numvc_i/m_i,i＝1,...,Z (4)，

最后，计算所有子块的色调特征值组合得到整个图像的色调特征向量h＝[h₁,h₂,..,h_Z]，并计算所有子块的明度及彩度特征值组合得到整个图像的明度及彩度特征向量vc＝[vc₁,vc₂,…,vc_Z]，然后把得到的色调特征向量h、明度及彩度特征向量vc分别归一化到[0,1]区间，并将该区间进行R等分，根据落在每个子区间的色调特征值和明度及彩度特征值个数得到色调特征向量nh和明度及彩度特征向量nvc，如公式(5)、(6)所示，

nh＝{Nh₁,Nh₂,...,Nh_R} (5)，

nvc＝{Nvc₁,Nvc₂,...,Nvc_R} (6)，

其中，Nh_i为色调特征值在第i个子区间的数量，Nvc_i为明度及彩度特征值在第i个子区间的数量，i＝1,2,…,R，这里R取10；

色调特征向量nh和明度及彩度特征向量nvc合称为色调调和特征向量，由此完成提取图像在Munsell颜色空间的色彩调和特征向量的提取；

(2.2)提取彩色RGB图像I的构图特征向量：

对上述第一步中的彩色RGB图像I同时采用以下两个构图准则提取构图特征向量：

第一个构图准则是三分法则，步骤是：将上述第一步中彩色RGB图像I的宽度w和高度h均分为三等分，得到四个交叉点(x_j，y_j)，根据上述第一步得到的主体区域I_f的中心点O(O_x,O_y)，计算中心点O到三分法则的四个交叉点(x_j，y_j)最近的归一化欧式距离d，j＝1,2,3,4，具体公式如(7)所示：

第二个构图准则是主体区域大小与整个图像大小的比，步骤是：根据上述第一步得到的彩色RGB图像I和主体区域I_f，计算主体区域I_f像素点的个数与整个彩色RGB图像I像素点的个数比ratio，具体如公式(8)，

ratio＝num/(w×h) (8)，

其中，num为主体区域总像素点的个数；

由上述两个构图准则得到的中心点到四个交叉点最近的归一化欧式距离和主体区域与整个彩色RGB图像像素点的个数比组成构图特征向量，由此完成构图特征向量的提取；

(2.3)提取彩色RGB图像I在HSV空间的颜色特征向量：

从两方面来提取彩色RGB图像I的颜色特征向量：

第一个方面是提取颜色矩特征向量，将上述第一步中彩色RGB图像I转换到HSV颜色空间的图像I_hsv，在H、S和V三个通道上，分别计算一阶矩μ、二阶矩σ和三阶矩ε，计算公式如下式(9)所示：

其中，p_j,k为第j个像素点在第k个通道上的分量，k＝1,2,3分别代表H、S、V分量，由H、S和V三个通道上的一阶矩、二阶矩和三阶矩组成颜色矩特征向量，由此提取得到彩色RGB图像I在HSV空间的颜色矩特征向量；

第二个方面是提取主体和背景的颜色差异特征向量，对上述第一步中的彩色RGB图像I的主体区域I_f和背景区域I_b分别在R、G、B三个通道上，统计颜色直方图，直方图分为L级(L＝256)，根据公式(10)来衡量主体和背景的差异diff_c，

其中，f_l,c、b_l,c分别为主体区域和背景区域在第c个通道上第l级颜色直方图的大小，c＝1,2,3分别代表R、G、B分量，由R、G、B三个通道的主体和背景的差异组成主体和背景的颜色差异特征向量，由此提取得到主体和背景的颜色差异特征向量；

由上述的颜色矩特征向量和颜色差异特征向量构成彩色RGB图像I在HSV空间的颜色特征向量，由此完成彩色RGB图像I的颜色特征向量的提取；

(2.4)提取彩色RGB图像I转换为灰度图像I_gray后的清晰度特征向量：

将上述第一步中的彩色RGB图像I转换为灰度图像I_gray，其中的主体区域转换为灰度图像后标注为I_fgray，然后将二者分别进行快速傅里叶变换，用公式(11)计算傅里叶变换后的FFT(I_gray)和傅里叶变换后的主体区域的FFT(I_fgray)中大于等于阈值T的像素点个数与所计算区域总的像素点的个数比值，得到灰度图像I_gray的清晰度特征值De_gray和主体区域的灰度图I_fgray的清晰度特征值De_f，

其中，T＝8为阈值，n_gray为灰度图像I_gray中大于等于阈值T的像素点的个数，n_f为主体区域的灰度图I_fgray中大于等于阈值T的像素点的个数，num为主体区域总的像素点的个数，由灰度图像I_gray的清晰度特征值De_gray和主体区域的灰度图I_fgray的清晰度特征值De_f组成灰度图像的清晰度特征向量，由此提取得到灰度图像的清晰度特征向量；

(2.5)提取彩色RGB图像I转换为灰度图像I_gray后的纹理特征向量：

将上述第一步中的彩色RGB图像I转为灰度图像I_gray，然后从基于Tamura纹理的特征和基于可控金字塔特征两个方面来提取其纹理特征，得到灰度图像I_gray的基于Tamura纹理的粗糙度特征值、对比度特征值和方向度特征值三个基于Tamura纹理的纹理特征值，以及灰度图像I_gray的子带能量向量Ee，尺度间子带的能量差向量Ec以及子带系数熵向量Ep三个基于可控金字塔纹理特征共同构成图像的纹理特征向量，由此完成提取纹理特征向量；

(2.6)提取彩色RGB图像I转换为灰度图像I_gray后的DCT统计特征向量：

将上述第一步得到的彩色RGB图像I转为灰度图像I_gray，对灰度图像I_gray进行一次高斯滤波且经过下采样，得到宽和高各为灰度图像I_gray的1/2的图像I_gauss1，将得到的图像I_gauss1再进行一次高斯滤波且经过下采样，得到宽和高各为I_gray的1/4的图像I_gauss2，然后将得到的灰度图像I_gray、图像I_gauss1和图像I_gauss2都均分成像素大小为N₂×N₂的子块，然后对每个子块进行DCT变换，舍弃每个子块的直流系数，保留非直流系数，采用广义高斯模型来模拟DCT系数分布，采用灰度图像I_gray均值μ_gray、图像I_gauss1均值μ_gauss1、图像I_gauss2均值μ_gauss2、灰度图像I_gray平均方差图像I_gauss1平均方差图像I_gauss2平均方差灰度图像I_gray形状参数γ_gray、图像I_gauss1形状参数γ_gauss1和图像I_gauss2形状参数γ_gauss2作为美学度量的特征，具体公式如(12)-(17)所示：

1)计算灰度图像I_gray均值μ_gray、图像I_gauss1均值μ_gauss1和图像I_gauss2均值μ_gauss2：

首先，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2中第r子块的均值μ_gray,r、μ_gauss1,r和μ_gauss2,r，如下式(12)所示：

其中，d_gray,_r,c、d_gauss1,r,c、d_gauss2,r,c分别为灰度图像I_gray、图像I_gauss1和图像I_gauss2中第r个子块中经过DCT变换后的系数，

然后，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的均值μ_gray、μ_gauss1和μ_gauss2，如下式(13)所示：

其中，Z_gray、Z_gauss1、Z_gauss2分别为灰度图像I_gray、图像I_gauss1和图像I_gauss2的子块数量，由此得到灰度图像I_gray均值μ_gray、图像I_gauss1均值μ_gauss1和图像I_gauss2均值μ_gauss2；

2)分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2的平均方差和

首先，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2中第r子块的方差和如下式(14)所示：

然后，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的平均方差和如下式(15)所示：

由此得到灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的平均方差和

3)分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2的形状参数γ_gray、γ_gauss1和γ_gauss2：

首先，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2的第r个子块的形状参数γ_gray,r、γ_gauss1,r和γ_gauss2,r的估计和如下式(16)，

其中，R(x)＝Γ²(2/x)/(Γ(1/x)×Γ(3/x))；

然后，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的形状参数 和的均值即灰度图像I_gray、图像I_gauss1和图像I_gauss2的形状参数γ_gray、γ_gauss1和γ_gauss2，如下式(17)所示：

由此得到灰度图像I_gray形状参数γ_gray、图像I_gauss1形状参数γ_gauss1和图像I_gauss2形状参数γ_gauss2；

综合(2.6)步中的1)、2)和3)步，完成彩色RGB图像I转换为灰度图像I_gray后的DCT统计特征向量的提取；

第三步，使用支持向量机对图像进行高低美感的分类：

将第二步得到的所有特征串联起来，输入核函数为RBF的支持向量机，进行训练，在本专利中，参数s为0、t为2、c和g采用五折交叉验证法选取最佳值，得到图像美学分类模型，利用此分类模型将输入的图像分为高、低美感两类，至此实现对图像进行美学评价。

上述对图像进行美学评价的多特征融合方法，所述第二步的(2.1)步的第一阶段中，在进行分块时，每次分块的块数为N₁×N₁＝3×3。

上述对图像进行美学评价的多特征融合方法，所述第二步的(2.1)步的第一阶段中，颜色信息熵的计算过程为：首先，根据下述公式(18)将每个子块中的每个像素的H、S和V分量进行量化，

然后，将每个像素的H_q、S_q、V_q加权组合成像素值Q，如下公式(19)：

Q＝q₁H_q+q₂S_q+q₃V_q (19)，

其中，q₁、q₂和q₃均为常量；

最后，根据每个像素的Q值统计得到图像子块的直方图，依此直方图计算每个子块的颜色信息熵。

上述对图像进行美学评价的多特征融合方法，所述第二步中的从基于Tamura纹理来提取其纹理特征，得到灰度图像I_gray的基于Tamura纹理的粗糙度特征值、对比度特征值和方向度特征值三个基于Tamura纹理的纹理特征值的具体步骤如下：

1)提取灰度图像I_gray的粗糙度特征值：

第一阶段，计算有效范围内灰度的平均值，有效范围为x∈[2^(t-1)+1，w-2^(t-1)]，y∈[2^(t-1)+1，h-2^(t-1)]，当窗口大小为2^t×2^t时，计算有效范围内每个像素点(x，y)的2^t×2^t邻域内灰度的平均值M_t(x,y)，具体公式如(20)所示：

其中，I_gray(x′,y′)为像素点(x′,y′)的灰度值；

第二阶段，计算在水平和垂直方向上不重叠的窗口之间的灰度差，具体公式如(21)、(22)所示：

C_th(x,y)＝|M_t(x+2^t-1,y)-M_t(x-2^t-1,y)| (21)，

C_tv(x,y)＝|M_t(x,y+2^t-1)-M_t(x,y-2^t-1)| (22)，

其中，C_th(x,y)为水平方向灰度差，C_tv(x,y)为垂直方向灰度差；

第三阶段，寻找使水平方向灰度差C_th(x,y)或垂直方向灰度差C_tv(x,y)达到最大的t_opt，如下公式(23a)所示，由此得到每个像素点的最优窗口大小因此，整个图像粗糙度的定义如下(23b)所示：

t_opt＝argmax{C_th(x,y),C_tv(x,y)} (23a)，

其中，由此提取得到灰度图像I_gray的粗糙度特征值；

2)提取灰度图像I_gray的对比度特征值：

图像对比度具体计算公式如(24)所示：

其中，μ_gray为灰度图像I_gray灰度值的均值，σ_gray为灰度图像I_gray的灰度值标准差；由此提取得到灰度图像I_gray的对比度特征值；

3)提取灰度图像I_gray的方向度特征值：

第一阶段，使用GradH和GradV两个算子与灰度图像I_gray进行卷积运算，根据卷积运算结果计算上述第一步得到的灰度图像I_gray中像素点(x,y)的梯度向量的模和方向，GradH和GradV算子如(25)所示：

灰度图像I_gray的水平方向的梯度向量MHConv和垂直方向的梯度向量MVConv如下式(26)，

其中，conv()表示卷积；

然后，计算图像I_gray像素点(x，y)的梯度向量的模|MG(x,y)|和方向θ(x,y)，如下式(27)：

第二阶段，根据上述提取灰度图像I_gray的方向度特征值的第一阶段得到的各像素点的梯度向量，构造方向统计直方图：将[0,π]进行R等分，每一区间的间隔为g＝π/R，取每个区间上的最大弧度φ，统计θ对应的每个区间内|MG(x，y)|大于阈值T₀的像素点的数量，构造统计直方图H；

第三阶段，根据上述提取灰度图像I_gray的方向度特征值的第二阶段得到的方向统计直方图H和每个区间的最大弧度φ，计算其方向度特征值，具体计算公式如(28)所示：

其中，D为直方图H中所有波峰的集合，d为集合中的某一波峰，φ_d为波峰d所在的弧度，w_d为波峰d到左右第一个波谷间所有弧度的集合，H(φ)为φ在直方图H中的幅值，由此提取得到灰度图像I_gray的方向度特征值；

至此得到灰度图像I_gray的基于Tamura纹理的粗糙度特征值、对比度特征值和方向度特征值三个纹理特征组成的纹理特征向量。

上述对图像进行美学评价的多特征融合方法，所述第二步的(2.5)步中从基于可控金字塔特征方面来提取其纹理特征，即提取灰度图像I_gray的子带能量向量Ee，尺度间子带的能量差向量Ec以及子带系数熵向量Ep三个基于可控金字塔纹理特征共同构成图像的纹理特征向量的具体步骤如下：

将上述第一步得到的彩色RGB图像I转为灰度图像I_gray，对灰度图像I_gray采用可控金字塔进行2个尺度6个方向的分解，共得到M个子带，这里M＝12，其中，尺度A∈{1,2}，方向θ∈{0°,30°,60°,90°,120°,150°}，采用子带系数的能量向量E_e、熵向量E_p和尺度间子带的能量差向量E_c进行纹理特征度量，公式如(29)-(34)：

子带系数的能量向量Ee：

Ee＝{Ee₁,Ee₂,...,Ee_M} (30)，

其中，m＝1,2,3,…,M，c_m,nu为子带m的第nu个系数，Nsize为子带m的大小；

尺度间子带的能量差向量Ec：

Ec_m＝Ee_m-Ee_m+M/2 (31)，

Ec＝{Ec₁,Ec₂,...,Ec_M/2} (32)；

子带系数的熵向量Ep：

Ep＝{Ep₁,Ep₂,...,Ep_M} (34)；

上述式(33)中将Q个子带系数中的最大值与最小值之间平均分为12个区间，p_m,n为第m个子带中系数落在第n个区间的概率；

至此得到灰度图像I_gray的子带能量向量Ee，尺度间子带的能量差向量Ec以及子带系数熵向量Ep三个基于可控金字塔纹理特征向量。

上述对图像进行美学评价的多特征融合方法，所述第二步的(2.6)步中的将得到的灰度图像I_gray、图像I_gauss1和图像I_gauss2都均分成像素大小为N₂×N₂＝8×8的子块。

上述对图像进行美学评价的多特征融合方法，所述SLIC超像素分割、Tamura纹理、可控金字塔和支持向量机是本技术领域公知的。

本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：

(1)本发明方法从多个颜色空间中提取图像的色彩调和特征向量、颜色特征向量、构图特征向量、清晰度特征向量、纹理特征向量和DCT统计特征向量共六类图像特征向量，从不同角度提取的特征向量，丰富了图像美学评价特征，其中，色彩调和特征向量的提取、纹理特征向量的提取及把图像的DCT统计特征向量应用到图像美学评价中是本发明方法的创新，本发明方法克服了现有的基于多特征融合的美学评价方法在对颜色复杂的图像进行美学评价时效果不好，且不能适用于各种类型图像美学评价的缺陷。

(2)在色彩调和特征方面，本发明方法对主体和背景分别进行分块，减少了由于没有考虑主体区域和背景区域的颜色信息熵的不同，造成冗余计算量，确定分块内的主颜色，并利用Moon-Spencer色彩调和模型进行色彩调和性的计算，根据Moon-Spencer色彩调和模型，确定色调、明度及彩度是否和谐，避免了Matsuda调和模板只考虑色调调和程度，比较难以确定适用的模板的缺点，更加有效地度量了图像的色彩调和特征。

(3)在纹理特征方面，本发明方法改进从基于Tamura纹理的特征和基于可控金字塔特征两个方面来提取图像的纹理特征向量，使得图像的纹理特征向量包含了全局和局部特征向量，从而更精确地提取了图像的纹理特征向量。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明方法的流程示意图。

具体实施方式

图1所示实施例表明，本发明方法的流程是：输入彩色RGB图像I，并进行显著区域检测得到主体区域和背景区域→彩色RGB图像I在不同颜色空间的特征向量提取：包括提取色彩调和特征向量；提取彩色RGB图像I的构图特征向量；提取颜色特征向量；提取清晰度特征向量；提取纹理特征向量；提取DCT统计特征向量→使用支持向量机对图像进行高低美感的分类。

实施例1

第一步，输入彩色RGB图像I，并进行显著区域检测得到主体区域和背景区域：

通过USB接口向计算机输入彩色RGB图像I，大小为w×h×3像素，其中w为图像宽度，h为图像高度，不同图像的宽度w和高度h不同，采用阿里巴巴的Yang提出的基于图的流形排序显著性检测算法对输入彩色RGB图像I进行显著区域检测，得到显著区域，之后提取包含显著区域的最小外接矩形，得到主体区域I_f，其余为背景区域I_b，同时得到主体区域I_f的中心点O(O_x,O_y)；

第二步，彩色RGB图像I在不同颜色空间的特征向量提取：

(2.1)提取彩色RGB图像I在HSV、LAB和Munsell三个颜色空间的色彩调和特征向量：

这里分为以下三个阶段进行：

第一阶段，图像的分块：将上述第一步中主体区域I_f和背景区域I_b分别转换为HSV空间中的图像I_fh和I_bh，然后分别采用循环的方式进行分块，在进行分块时，每次分块的块数为N₁×N₁＝3×3，进而计算每个子块的颜色信息熵值和像素个数，当子块的颜色信息熵的值小于阈值Tc或子块的像素个数小于阈值S时，不再进行分块，否则，继续进行分块，

上述颜色信息熵的计算过程为：首先，根据下述公式(18)将每个子块中的每个像素的H、S和V分量进行量化，

然后，将每个像素的H_q、S_q、V_q加权组合成像素值Q，如下公式(19)：

Q＝q₁H_q+q₂S_q+q₃V_q (19)，

其中，q₁、q₂和q₃均为常量；

最后，根据每个像素的Q值统计得到图像子块的直方图，依此直方图计算每个子块的颜色信息熵；

第二阶段，确定子块的主颜色：将上述第一步中的彩色RGB图像I转换到LAB空间图像I_LAB进行SLIC超像素分割，得到超像素标签，并统计上述(2.1)步第一阶段中划分的各子块中超像素的标签，数量最多的超像素标签的超像素区域是该子块的主颜色区，即可得到该子块的主颜色；

第三阶段，计算色调特征向量nh和明度及彩度特征向量nvc，得到色彩调和特征向量：

将上述(2.1)步第一阶段得到的子块由HSV颜色空间转换到Munsell颜色空间，得到色调Hue、明度V和彩度C三个分量，分别提取色调特征值、明度与彩度合并的特征值，具体步骤如下：

首先，对上述(2.1)步第一阶段得到的每个子块进行色调分量Hue的特征值提取：将子块中的每个像素的色调分量值减去上述(2.1)步第二阶段中得到的该子块主颜色的色调分量值，得到该像素的色调差值H_S，根据Moon-Spencer色彩调和模型，确定色调差值H_S是否和谐，判断色调是否和谐的符号函数sgn公式如(1)所示：

统计与主色调和谐的像素个数，并将和谐的像素个数与当前子块总的像素个数的比作为此子块的色调分量Hue的特征值，具体公式如(2)所示：

h_i＝Numh_i/m_i,i＝1,...,Z (2)，

其中Numh_i为第i个图像子块内色调和谐的像素点的个数，m_i为该子块总的像素点的个数，当计算主体区域的色调分量Hue的特征值时，Z为主体区域的分块个数，当计算背景区域的色调分量Hue的特征值时，Z为背景区域的分块个数；

其次，对每个子块进行明度分量V和彩度分量C的特征值提取：对上述(2.1)步第一阶段得到的每个子块中的每个像素的明度值减去上述(2.1)步第二阶段中该子块主颜色的明度值得到明度差值V_S，子块中的每个像素的彩度值减去上述(2.1)步第二阶段中该子块主颜色的彩度值得到彩度差值C_S，将明度差值V_S及彩度差值C_S合并作为一个特征值根据Moon-Spencer色彩调和模型，判断明度及彩度是否和谐，公式如(3)所示：

其中，firE、secE和thirE分别是衡量像素与所属子块主颜色的明度差值V_S及彩度差值C_S是否落在Munsell颜色空间中三个椭圆区域内的度量值，当sgn(V_S,C_S)值为1时，表明当前像素点的明度及彩度和谐，统计子块i中明度及彩度和谐的像素点的个数Numvc_i，计算其与子块i总的像素点的个数m_i的比值，得到子块i的明度及彩度的特征值vc_i，

vc_i＝Numvc_i/m_i,i＝1,...,Z (4)，

其中，Numvc_i为第i个图像子块内明度及彩度和谐的像素点的个数，m_i为该子块总的像素点的个数；

最后，计算所有子块的色调特征值组合得到整个图像的色调特征向量h＝[h₁,h₂,..,h_Z]，并计算所有子块的明度及彩度特征值组合得到整个图像的明度及彩度特征向量vc＝[vc₁,vc₂,…,vc_Z]，然后把得到的色调特征向量h、明度及彩度特征向量vc分别归一化到[0,1]区间，并将该区间进行R等分，根据落在每个子区间的色调特征值和明度及彩度特征值个数得到色调特征向量nh和明度及彩度特征向量nvc，如公式(5)、(6)所示，

nh＝{Nh₁,Nh₂,...,Nh_R} (5)，

nvc＝{Nvc₁,Nvc₂,...,Nvc_R} (6)，

其中，Nh_i为色调特征值在第i个子区间的数量，Nvc_i为明度及彩度特征值在第i个子区间的数量，i＝1,2,…,R，这里R取10；

色调特征向量nh和明度及彩度特征向量nvc合称为色调调和特征向量，由此完成提取图像在Munsell颜色空间的色彩调和特征向量的提取；

(2.2)提取彩色RGB图像I的构图特征向量：

对上述第一步中的彩色RGB图像I同时采用以下两个构图准则提取构图特征向量：

第一个构图准则是三分法则，步骤是：将上述第一步中彩色RGB图像I的宽度w和高度h均分为三等分，得到四个交叉点(x_j，y_j)，根据上述第一步得到的主体区域I_f的中心点O(O_x,O_y)，计算中心点O到三分法则的四个交叉点(x_j，y_j)最近的归一化欧式距离d，j＝1,2,3,4，具体公式如(7)所示：

第二个构图准则是主体区域大小与整个图像大小的比，步骤是：根据上述第一步得到的彩色RGB图像I和主体区域I_f，计算主体区域I_f像素点的个数与整个彩色RGB图像I像素点的个数比ratio，具体如公式(8)，

ratio＝num/(w×h) (8)，

其中，num为主体区域总像素点的个数；

由上述两个构图准则得到的中心点到四个交叉点最近的归一化欧式距离和主体区域与整个彩色RGB图像像素点的个数比组成构图特征向量，由此完成构图特征向量的提取；

(2.3)提取彩色RGB图像I在HSV空间的颜色特征向量：

从两方面来提取彩色RGB图像I的颜色特征向量：

第一个方面是提取颜色矩特征向量，将上述第一步中彩色RGB图像I转换到HSV颜色空间的图像I_hsv，在H、S和V三个通道上，分别计算一阶矩μ、二阶矩σ和三阶矩ε，计算公式如下式(9)所示：

其中，p_j,k为第j个像素点在第k个通道上的分量，k＝1,2,3分别代表H、S、V分量，由H、S和V三个通道上的一阶矩、二阶矩和三阶矩组成颜色矩特征向量，由此提取得到彩色RGB图像I在HSV空间的颜色矩特征向量；

第二个方面是提取主体和背景的颜色差异特征向量，对上述第一步中的彩色RGB图像I的主体区域I_f和背景区域I_b分别在R、G、B三个通道上，统计颜色直方图，直方图分为L级(L＝256)，根据公式(10)来衡量主体和背景的差异diff_c，

其中，f_l,c、b_l,c分别为主体区域和背景区域在第c个通道上第l级颜色直方图的大小，c＝1,2,3分别代表R、G、B分量，由R、G、B三个通道的主体和背景的差异组成主体和背景的颜色差异特征向量，由此提取得到主体和背景的颜色差异特征向量；

由上述的颜色矩特征向量和颜色差异特征向量构成彩色RGB图像I在HSV空间的颜色特征向量，由此完成彩色RGB图像I的颜色特征向量的提取；

(2.4)提取彩色RGB图像I转换为灰度图像I_gray后的清晰度特征向量：

将上述第一步中的彩色RGB图像I转换为灰度图像I_gray，其中的主体区域转换为灰度图像后标注为I_fgray，然后将二者分别进行快速傅里叶变换，用公式(11)计算傅里叶变换后的FFT(I_gray)和傅里叶变换后的主体区域的FFT(I_fgray)中大于等于阈值T的像素点个数与所计算区域总的像素点的个数比值，得到灰度图像I_gray的清晰度特征值De_gray和主体区域的灰度图I_fgray的清晰度特征值De_f，

其中，T＝8为阈值，n_gray为灰度图像I_gray中大于等于阈值T的像素点的个数，nf为主体区域的灰度图I_fgray中大于等于阈值T的像素点的个数，num为主体区域总的像素点的个数，由灰度图像I_gray的清晰度特征值De_gray和主体区域的灰度图I_fgray的清晰度特征值De_f组成灰度图像的清晰度特征向量，由此提取得到灰度图像的清晰度特征向量；

(2.5)提取彩色RGB图像I转换为灰度图像I_gray后的纹理特征向量：

将上述第一步中的彩色RGB图像I转为灰度图像I_gray，然后从基于Tamura纹理的特征和基于可控金字塔特征两个方面来提取其纹理特征，得到灰度图像I_gray的基于Tamura纹理的粗糙度特征值、对比度特征值和方向度特征值三个纹理特征值，以及灰度图像I_gray的子带能量向量Ee，尺度间子带的能量差向量Ec以及子带系数熵向量Ep三个基于可控金字塔纹理特征共同构成图像的纹理特征向量，由此完成提取纹理特征向量；

上述从基于Tamura纹理的特征方面来提取其纹理特征，得到灰度图像I_gray的基于Tamura纹理的粗糙度特征值、对比度特征值和方向度特征值三个基于Tamura纹理的纹理特征值的具体步骤如下：

1)提取灰度图像I_gray的粗糙度特征值：

第一阶段，计算有效范围内灰度的平均值，有效范围为x∈[2^(t-1)+1，w-2^(t-1)]，y∈[2^(t-1)+1，h-2^(t-1)]，当窗口大小为2^t×2^t时，计算有效范围内每个像素点(x，y)的2^t×2^t邻域内灰度的平均值M_t(x,y)，具体公式如(20)所示：

其中，I_gray(x′,y′)为像素点(x′,y′)的灰度值；

第二阶段，计算在水平和垂直方向上不重叠的窗口之间的灰度差，具体公式如(21)、(22)所示：

C_th(x,y)＝|M_t(x+2^t-1,y)-M_t(x-2^t-1,y)| (21)，

C_tv(x,y)＝|M_t(x,y+2^t-1)-M_t(x,y-2^t-1)| (22)，

其中，C_th(x,y)为水平方向灰度差，C_tv(x,y)为垂直方向灰度差；

第三阶段，寻找使水平方向灰度差C_th(x,y)或垂直方向灰度差C_tv(x,y)达到最大的to_pt，如下公式(23a)所示，由此得到每个像素点的最优窗口大小因此，整个图像粗糙度的定义如下(23b)所示：

t_opt＝argmax{C_th(x,y),C_tv(x,y)} (23a)，

其中，由此提取得到灰度图像I_gray的粗糙度特征值；

2)提取灰度图像I_gray的对比度特征值：

图像对比度具体计算公式如(24)所示：

其中，μ_gray为灰度图像I_gray灰度值的均值，σ_gray为灰度图像I_gray的灰度值标准差；由此提取得到灰度图像I_gray的对比度特征值；

3)提取灰度图像I_gray的方向度特征值：

第一阶段，使用GradH和GradV两个算子与灰度图像I_gray进行卷积运算，根据卷积运算结果计算上述第一步得到的灰度图像I_gray中像素点(x,y)的梯度向量的模和方向，GradH和GradV算子如(25)所示：

灰度图像I_gray的水平方向的梯度向量MHConv和垂直方向的梯度向量MVConv如下式(26)，

其中，conv()表示卷积；

然后，计算图像I_gray像素点(x，y)的梯度向量的模|MG(x,y)|和方向θ(x,y)，如下式(27)：

第二阶段，根据上述提取灰度图像I_gray的方向度特征值的第一阶段得到的各像素点的梯度向量，构造方向统计直方图：将[0,π]进行R等分，每一区间的间隔为g＝π/R，取每个区间上的最大弧度φ，统计θ对应的每个区间内|MG(x，y)|大于阈值T₀的像素点的数量，构造统计直方图H；

第三阶段，根据上述提取灰度图像I_gray的方向度特征值的第二阶段得到的方向统计直方图H和每个区间的最大弧度φ，计算其方向度特征值，具体计算公式如(28)所示：

其中，D为直方图H中所有波峰的集合，d为集合中的某一波峰，φ_d为波峰d所在的弧度，w_d为波峰d到左右第一个波谷间所有弧度的集合，H(φ)为φ在直方图H中的幅值，由此提取得到灰度图像I_gray的方向度特征值；

至此得到灰度图像I_gray的基于Tamura纹理的粗糙度特征值、对比度特征值和方向度特征值三个纹理特征组成的纹理特征向量。

上述基于可控金字塔特征方面来提取其纹理特征，即提取灰度图像I_gray的子带能量向量Ee，尺度间子带的能量差向量Ec以及子带系数熵向量Ep三个基于可控金字塔纹理特征共同构成图像的纹理特征向量的具体步骤如下：

将上述第一步得到的彩色RGB图像I转为灰度图像I_gray，对灰度图像I_gray采用可控金字塔进行2个尺度6个方向的分解，共得到M个子带，这里M＝12，其中，尺度A∈{1,2}，方向θ∈{0°,30°,60°,90°,120°,150°}，采用子带系数的能量向量E_e、熵向量E_p和尺度间子带的能量差向量E_c进行纹理特征度量，公式如(29)-(34)：

子带系数的能量向量Ee：

Ee＝{Ee₁,Ee₂,...,Ee_M} (30)，

其中，m＝1,2,3,…,M，c_m,nu为子带m的第nu个系数，Nsize为子带m的大小；

尺度间子带的能量差向量Ec：

Ec_m＝Ee_m-Ee_m+M/2 (31)，

Ec＝{Ec₁,Ec₂,...,Ec_M/2} (32)；

子带系数的熵向量Ep：

Ep＝{Ep₁,Ep₂,...,Ep_M} (34)；

上述式(33)中将Q个子带系数中的最大值与最小值之间平均分为12个区间，p_m,n为第m个子带中系数落在第n个区间的概率；

至此得到灰度图像I_gray的子带能量向量Ee，尺度间子带的能量差向量Ec以及子带系数熵向量Ep三个基于可控金字塔纹理特征向量。

(2.6)提取彩色RGB图像I转换为灰度图像I_gray后的DCT统计特征向量：

将上述第一步得到的彩色RGB图像I转为灰度图像I_gray，对灰度图像I_gray进行一次高斯滤波且经过下采样，得到宽和高各为灰度图像I_gray的1/2的图像I_gauss1，将得到的图像I_gauss1再进行一次高斯滤波且经过下采样，得到宽和高各为I_gray的1/4的图像I_gauss2，然后将得到的灰度图像I_gray、图像I_gauss1和图像I_gauss2都均分成像素大小为N₂×N₂＝8×8的子块，然后对每个子块进行DCT变换，舍弃每个子块的直流系数，保留非直流系数，采用广义高斯模型来模拟DCT系数分布，采用灰度图像I_gray均值μ_gray、图像I_gauss1均值μ_gauss1、图像I_gauss2均值μ_gauss2、灰度图像I_gray平均方差图像I_gauss1平均方差图像I_gauss2平均方差灰度图像I_gray形状参数γ_gray、图像I_gauss1形状参数γ_gauss1和图像I_gauss2形状参数γ_gauss2作为美学度量的特征，具体公式如(12)-(17)所示：

1)计算灰度图像I_gray均值μ_gray、图像I_gauss1均值μ_gauss1和图像I_gauss2均值μ_gauss2：

首先，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2中第r子块的均值μ_gray,r、μ_gauss1,r和μ_gauss2,r，如下式(12)所示：

其中，d_gray,r,c、d_gauss1,r,c、d_gauss2,r,c分别为灰度图像I_gray、图像I_gauss1和图像I_gauss2中第r个子块中经过DCT变换后的系数，

然后，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的均值μ_gray、μ_gauss1和μ_gauss2，如下式(13)所示：

其中，Z_gray、Z_gauss1、Z_gauss2分别为灰度图像I_gray、图像I_gauss1和图像I_gauss2的子块数量，由此得到灰度图像I_gray均值μ_gray、图像I_gauss1均值μ_gauss1和I_gauss2均值μ_gauss2；

2)分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2的平均方差和

首先，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2中第r子块的方差和如下式(14)所示：

然后，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的平均方差和如下式(15)所示：

由此得到灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的平均方差和

3)分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2的形状参数γ_gray、γ_gauss1和γ_gauss2：

首先，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2的第r个子块的形状参数γ_gray,r、γ_gauss1,r和γ_gauss2,r的估计和如下式(16)，

其中，R(x)＝Γ²(2/x)/(Γ(1/x)×Γ(3/x))；

然后，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的形状参数 和的均值即灰度图像I_gray、图像I_gauss1和图像I_gauss2的形状参数γ_gray、γ_gauss1和γ_gauss2，如下式(17)所示：

由此得到灰度图像I_gray形状参数γ_gray、图像I_gauss1形状参数γ_gauss1和图像I_gauss2形状参数γ_gauss2；

综合(2.6)步中的1)、2)和3)步，完成彩色RGB图像I转换为灰度图像I_gray后的DCT统计特征向量的提取；

第三步，使用支持向量机对图像进行高低美感的分类：

将第二步得到的所有特征串联起来，输入核函数为RBF的支持向量机，进行训练，在本专利中，参数s为0、t为2、c和g采用五折交叉验证法选取最佳值，得到图像美学分类模型，利用此分类模型将输入的图像分为高、低美感两类，本实施例中，将分数大于等于5.8的图像划分为高美感图像，将分数小于等于4.2的图像划分为低美感图像，至此实现对图像进行美学评价。

本发明方法利用OPENCV平台实现，处理器是因特尔i7，8G内存，使用的是宾夕法尼亚大学Datta构建的数据库，从中分别随机选取了高美感图像750张，低美感图像644张，共1394张图像，来进行测试和训练。其中，本专利随机选取一半的高美感图像和一半的低美感图像作为训练集，余下的作为测试集。

本实施例不仅对每类特征向量进行单独测试，而且也对整体进行了测试。具体如表1所示。其中，准确率指的是被正确分类的图像数量与所有测试图像数量的比，即平均准确率。

表1Datta数据库中各类特征的分类准确率

从表1中可以看到，在所有特征向量中，纹理特征向量的分类准确率最高，为73.19％。DCT统计特征向量准确率次之，色彩调和特征向量的准确率排名第三。这说明了本发明提出的色彩调和度量方法和图像的DCT统计特征向量对图像美学评价的有效性。从提出的所有特征向量来看，单个特征向量的准确率不是很高，但所有特征向量级联起来的准确率为82.04％，效果较好，证明了本发明方法的有效性，同时也说明了各类特征向量起到了相互补充的作用。

实施例2

将本发明方法与现有技术中目前流行的图像美学评价方法进行了实验对比，实验结果如表2所示，现有技术中目前流行的图像美学评价方法是Datta方法、Wong提出的方法以及Wang提出的方法。

表2在Datta数据库上本发明和其他算法准确率的比较结果

从表2中可以看出，本发明方法的准确率为82.04％。Datta方法的准确率最低，为70.12％。Wong方法比Datta方法要好些，准确率为78.8％。Wang方法的准确率为82.4％，比本专利方法的准确率要高。原因是：在本发明方法中，共提取了6类特征向量，总维数为78。在Wang提出的方法中，特征的总维数为86，比本发明方法的维数要多，但是从效率上，本发明方法比Wang提出的方法具有更大的优越性。除此之外，本专利使用的高美感图像750张，低美感图像644张，都是分别从Datta数据库高低美感图像中随机选取的，所以本发明方法也更具有普遍性。

上述实施例中，所述SLIC超像素分割、Tamura纹理、可控金字塔、支持向量机是本技术领域公知的。

Claims (6)

1.对图像进行美学评价的多特征融合方法，其特征在于：提取图像的色彩调和特征向量、颜色特征向量、构图特征向量、清晰度特征向量、纹理特征向量和DCT统计特征向量共六类特征向量，将提取的六类特征向量融合后利用SVM分类器将图像按美学分数高低分为两类，实现对图像进行美学评价，具体步骤如下：

第一步，输入彩色RGB图像I，并进行显著区域检测得到主体区域和背景区域：

通过USB接口向计算机输入彩色RGB图像I，大小为w×h×3像素，其中w为图像宽度，h为图像高度，不同图像的宽度w和高度h不同，采用阿里巴巴的Yang提出的基于图的流形排序显著性检测算法对输入彩色RGB图像I进行显著区域检测，得到显著区域，之后提取包含显著区域的最小外接矩形，得到主体区域I_f，其余为背景区域I_b，同时得到主体区域I_f的中心点O(O_x,O_y)；

第二步，彩色RGB图像I在不同颜色空间的特征向量提取：

(2.1)提取彩色RGB图像I在HSV、LAB和Munsell三个颜色空间的色彩调和特征向量：

这里分为以下三个阶段进行：

第一阶段，图像的分块：将上述第一步中主体区域I_f和背景区域I_b分别转换为HSV空间中的图像I_fh和I_bh，然后分别采用循环的方式进行分块，在进行分块时，每次分块的块数为N₁×N₁，进而计算每个子块的颜色信息熵值和像素个数，当子块的颜色信息熵的值小于阈值Tc或子块的像素个数小于阈值S时，不再进行分块，否则，继续进行分块；

第二阶段，确定子块的主颜色：将上述第一步中的彩色RGB图像I转换到LAB空间图像I_LAB进行SLIC超像素分割，得到超像素标签，并统计上述(2.1)步第一阶段中划分的各子块中超像素的标签，数量最多的超像素标签的超像素区域是该子块的主颜色区，即可得到该子块的主颜色；

第三阶段，计算色调特征向量nh和明度及彩度特征向量nvc，得到色彩调和特征向量：

将上述(2.1)步第一阶段得到的子块由HSV颜色空间转换到Munsell颜色空间，得到色调Hue、明度V和彩度C三个分量，分别提取色调特征值、明度与彩度合并的特征值，具体步骤如下：

首先，对上述(2.1)步第一阶段得到的每个子块进行色调分量Hue的特征值提取：将子块中的每个像素的色调分量值减去上述(2.1)步第二阶段中得到的该子块主颜色的色调分量值，得到该像素的色调差值H_S，根据Moon-Spencer色彩调和模型，确定色调差值H_S是否和谐，判断色调是否和谐的符号函数sgn公式如(1)所示：

统计与主色调和谐的像素个数，并将和谐的像素个数与当前子块总的像素个数的比作为此子块的色调分量Hue的特征值，具体公式如(2)所示：

h_i＝Numh_i/m_i,i＝1,...,Z (2)，

其中Numh_i为第i个图像子块内色调和谐的像素点的个数，m_i为该子块总的像素点的个数，当计算主体区域的色调分量Hue的特征值时，Z为主体区域的分块个数，当计算背景区域的色调分量Hue的特征值时，Z为背景区域的分块个数；

其次，对每个子块进行明度分量V和彩度分量C的特征值提取：对上述(2.1)步第一阶段得到的每个子块中的每个像素的明度值减去上述(2.1)步第二阶段中该子块主颜色的明度值得到明度差值V_S，子块中的每个像素的彩度值减去上述(2.1)步第二阶段中该子块主颜色的彩度值得到彩度差值C_S，将明度差值V_S及彩度差值C_S合并作为一个特征值根据Moon-Spencer色彩调和模型，判断明度及彩度是否和谐，公式如(3)所示：

其中，firE、secE和thirE分别是衡量像素与所属子块主颜色的明度差值V_S及彩度差值C_S是否落在Munsell颜色空间中三个椭圆区域内的度量值，当sgn(V_S,C_S)值为1时，表明当前像素点的明度及彩度和谐，统计子块i中明度及彩度和谐的像素点的个数Numvc_i，计算其与子块i总的像素点的个数m_i的比值，得到子块i的明度及彩度的特征值vc_i，

vc_i＝Numvc_i/m_i,i＝1,...,Z (4)，

最后，计算所有子块的色调特征值组合得到整个图像的色调特征向量h＝[h₁,h₂,..,h_Z]，并计算所有子块的明度及彩度特征值组合得到整个图像的明度及彩度特征向量vc＝[vc₁,vc₂,…,vc_Z]，然后把得到的色调特征向量h、明度及彩度特征向量vc分别归一化到[0,1]区间，并将该区间进行R等分，根据落在每个子区间的色调特征值和明度及彩度特征值个数得到色调特征向量nh和明度及彩度特征向量nvc，如公式(5)、(6)所示，

nh＝{Nh₁,Nh₂,...,Nh_R} (5)，

nvc＝{Nvc₁,Nvc₂,...,Nvc_R} (6)，

其中，Nh_i为色调特征值在第i个子区间的数量，Nvc_i为明度及彩度特征值在第i个子区间的数量，i＝1,2,…,R，这里R取10；

色调特征向量nh和明度及彩度特征向量nvc合称为色调调和特征向量，由此完成提取图像在Munsell颜色空间的色彩调和特征向量的提取；

(2.2)提取彩色RGB图像I的构图特征向量：

对上述第一步中的彩色RGB图像I同时采用以下两个构图准则提取构图特征向量：

第一个构图准则是三分法则，步骤是：将上述第一步中彩色RGB图像I的宽度w和高度h均分为三等分，得到四个交叉点(x_j，y_j)，根据上述第一步得到的主体区域I_f的中心点O(O_x,O_y)，计算中心点O到三分法则的四个交叉点(x_j，y_j)最近的归一化欧式距离d，j＝1,2,3,4，具体公式如(7)所示：

第二个构图准则是主体区域大小与整个图像大小的比，步骤是：根据上述第一步得到的彩色RGB图像I和主体区域I_f，计算主体区域I_f像素点的个数与整个彩色RGB图像I像素点的个数比ratio，具体如公式(8)，

ratio＝num/(w×h) (8)，

其中，num为主体区域总像素点的个数；

由上述两个构图准则得到的中心点到四个交叉点最近的归一化欧式距离和主体区域与整个彩色RGB图像像素点的个数比组成构图特征向量，由此完成构图特征向量的提取；

(2.3)提取彩色RGB图像I在HSV空间的颜色特征向量：

从两方面来提取彩色RGB图像I的颜色特征向量：

第一个方面是提取颜色矩特征向量，将上述第一步中彩色RGB图像I转换到HSV颜色空间的图像I_hsv，在H、S和V三个通道上，分别计算一阶矩μ、二阶矩σ和三阶矩ε，计算公式如下式(9)所示：

其中，p_j,k为第j个像素点在第k个通道上的分量，k＝1,2,3分别代表H、S、V分量，由H、S和V三个通道上的一阶矩、二阶矩和三阶矩组成颜色矩特征向量，由此提取得到彩色RGB图像I在HSV空间的颜色矩特征向量；

第二个方面是提取主体和背景的颜色差异特征向量，对上述第一步中的彩色RGB图像I的主体区域I_f和背景区域I_b分别在R、G、B三个通道上，统计颜色直方图，直方图分为L级，L＝256，根据公式(10)来衡量主体和背景的差异diff_c，

其中，f_l,c、b_l,c分别为主体区域和背景区域在第c个通道上第l级颜色直方图的大小，c＝1,2,3分别代表R、G、B分量，由R、G、B三个通道的主体和背景的差异组成主体和背景的颜色差异特征向量，由此提取得到主体和背景的颜色差异特征向量；

由上述的颜色矩特征向量和颜色差异特征向量构成彩色RGB图像I在HSV空间的颜色特征向量，由此完成彩色RGB图像I的颜色特征向量的提取；

(2.4)提取彩色RGB图像I转换为灰度图像I_gray后的清晰度特征向量：

将上述第一步中的彩色RGB图像I转换为灰度图像I_gray，其中的主体区域转换为灰度图像后标注为I_fgray，然后将二者分别进行快速傅里叶变换，用公式(11)计算傅里叶变换后的FFT(I_gray)和傅里叶变换后的主体区域的FFT(I_fgray)中大于等于阈值T的像素点个数与所计算区域总的像素点的个数比值，得到灰度图像I_gray的清晰度特征值De_gray和主体区域的灰度图I_fgray的清晰度特征值De_f，

其中，T＝8为阈值，n_gray为灰度图像I_gray中大于等于阈值T的像素点的个数，n_f为主体区域的灰度图I_fgray中大于等于阈值T的像素点的个数，num为主体区域总的像素点的个数，由灰度图像I_gray的清晰度特征值De_gray和主体区域的灰度图I_fgray的清晰度特征值De_f组成灰度图像的清晰度特征向量，由此提取得到灰度图像的清晰度特征向量；

(2.5)提取彩色RGB图像I转换为灰度图像I_gray后的纹理特征向量：

将上述第一步中的彩色RGB图像I转为灰度图像I_gray，然后从基于Tamura纹理的特征和基于可控金字塔特征两个方面来提取其纹理特征，得到灰度图像I_gray的基于Tamura纹理的粗糙度特征值、对比度特征值和方向度特征值三个基于Tamura纹理的纹理特征值，以及灰度图像I_gray的子带能量向量Ee，尺度间子带的能量差向量Ec以及子带系数熵向量Ep三个基于可控金字塔纹理特征共同构成图像的纹理特征向量，由此完成提取纹理特征向量；

(2.6)提取彩色RGB图像I转换为灰度图像I_gray后的DCT统计特征向量：

将上述第一步得到的彩色RGB图像I转为灰度图像I_gray，对灰度图像I_gray进行一次高斯滤波且经过下采样，得到宽和高各为灰度图像I_gray的1/2的图像I_gauss1，将得到的图像I_gauss1再进行一次高斯滤波且经过下采样，得到宽和高各为I_gray的1/4的图像I_gauss2，然后将得到的灰度图像I_gray、图像I_gauss1和图像I_gauss2都均分成像素大小为N₂×N₂的子块，然后对每个子块进行DCT变换，舍弃每个子块的直流系数，保留非直流系数，采用广义高斯模型来模拟DCT系数分布，采用灰度图像I_gray均值μ_gray、图像I_gauss1均值μ_gauss1、图像I_gauss2均值μ_gauss2、灰度图像I_gray平均方差图像I_gauss1平均方差图像I_gauss2平均方差灰度图像I_gray形状参数γ_gray、图像I_gauss1形状参数γ_gauss1和图像I_gauss2形状参数γ_gauss2作为美学度量的特征，具体公式如(12)-(17)所示：

1)计算灰度图像I_gray均值μ_gray、图像I_gauss1均值μ_gauss1和图像I_gauss2均值μ_gauss2：

首先，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2中第r子块的均值μ_gray,r、μ_gauss1,r和μ_gauss2,r，如下式(12)所示：

其中，d_gray,r,c、d_gauss1,r,c、d_gauss2,r,c分别为灰度图像I_gray、图像I_gauss1和图像I_gauss2中第r个子块中经过DCT变换后的系数，

然后，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的均值μ_gray、μ_gauss1和μ_gauss2，如下式(13)所示：

其中，Z_gray、Z_gauss1、Z_gauss2分别为灰度图像I_gray、图像I_gauss1和图像I_gauss2的子块数量，由此得到灰度图像I_gray均值μ_gray、图像I_gauss1均值μ_gauss1和图像I_gauss2均值μ_gauss2；

2)分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2的平均方差和

首先，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2中第r子块的方差和如下式(14)所示：

然后，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的平均方差 和如下式(15)所示：

由此得到灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的平均方差和

3)分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2的形状参数γ_gray、γ_gauss1和γ_gauss2：

首先，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2的第r个子块的形状参数γ_gray,r、γ_gauss1,r和γ_gauss2,r的估计和如下式(16)，

其中，R(x)＝Γ²(2/x)/(Γ(1/x)×Γ(3/x))；

然后，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的形状参数 和的均值即灰度图像I_gray、图像I_gauss1和图像I_gauss2的形状参数γ_gray、γ_gauss1和γ_gauss2，如下式(17)所示：

由此得到灰度图像I_gray形状参数γ_gray、图像I_gauss1形状参数γ_gauss1和图像I_gauss2形状参数γ_gauss2；

综合(2.6)步中的1)、2)和3)步，完成彩色RGB图像I转换为灰度图像I_gray后的DCT统计特征向量的提取；

第三步，使用支持向量机对图像进行高低美感的分类：

将第二步得到的所有特征串联起来，输入核函数为RBF的支持向量机，进行训练，在本专利中，参数s为0、t为2、c和g采用五折交叉验证法选取最佳值，得到图像美学分类模型，利用此分类模型将输入的图像分为高、低美感两类，至此实现对图像进行美学评价。

2.根据权利要求1所述对图像进行美学评价的多特征融合方法，其特征在于：所述第二步的(2.1)步的第一阶段中，在进行分块时，每次分块的块数为N₁×N₁＝3×3。

3.根据权利要求1所述对图像进行美学评价的多特征融合方法，其特征在于：所述第二步的(2.1)步的第一阶段中，颜色信息熵的计算过程为：首先，根据下述公式(18)将每个子块中的每个像素的H、S和V分量进行量化，

然后，将每个像素的H_q、S_q、V_q加权组合成像素值Q，如下公式(19)：

Q＝q₁H_q+q₂S_q+q₃V_q (19)，

其中，q₁、q₂和q₃均为常量；

最后，根据每个像素的Q值统计得到图像子块的直方图，依此直方图计算每个子块的颜色信息熵。

4.根据权利要求1所述对图像进行美学评价的多特征融合方法，其特征在于：所述第二步中的从基于Tamura纹理的特征来提取其纹理特征，得到灰度图像I_gray的基于Tamura纹理的粗糙度特征值、对比度特征值和方向度特征值三个基于Tamura纹理的纹理特征值的具体步骤如下：

1)提取灰度图像I_gray的粗糙度特征值：

第一阶段，计算有效范围内灰度的平均值，有效范围为x∈[2^(t-1)+1，w-2^(t-1)]，y∈[2^{(t -1)}+1，h-2^(t-1)]，当窗口大小为2^t×2^t时，计算有效范围内每个像素点(x，y)的2^t×2^t邻域内灰度的平均值M_t(x,y)，具体公式如(20)所示：

其中，I_gray(x′,y′)为像素点(x′,y′)的灰度值；

第二阶段，计算在水平和垂直方向上不重叠的窗口之间的灰度差，具体公式如(21)、(22)所示：

C_th(x,y)＝|M_t(x+2^t-1,y)-M_t(x-2^t-1,y)| (21)，

C_tv(x,y)＝|M_t(x,y+2^t-1)-M_t(x,y-2^t-1)| (22)，

其中，C_th(x,y)为水平方向灰度差，C_tv(x,y)为垂直方向灰度差；

第三阶段，寻找使水平方向灰度差C_th(x,y)或垂直方向灰度差C_tv(x,y)达到最大的t_opt，如下公式(23a)所示，由此得到每个像素点的最优窗口大小因此，整个图像粗糙度的定义如下(23b)所示：

t_opt＝argmax{C_th(x,y),C_tv(x,y)} (23a)，

其中，由此提取得到灰度图像I_gray的粗糙度特征值；

2)提取灰度图像I_gray的对比度特征值：

图像对比度具体计算公式如(24)所示：

其中，μ_gray为灰度图像I_gray灰度值的均值，σ_gray为灰度图像I_gray的灰度值标准差；由此提取得到灰度图像I_gray的对比度特征值；

3)提取灰度图像I_gray的方向度特征值：

第一阶段，使用GradH和GradV两个算子与灰度图像I_gray进行卷积运算，根据卷积运算结果计算上述第二步中的(2.4)步得到的灰度图像I_gray中像素点(x,y)的梯度向量的模和方向，GradH和GradV算子如(25)所示：

灰度图像I_gray的水平方向的梯度向量MHConv和垂直方向的梯度向量MVConv如下式(26)，

其中，conv()表示卷积；

然后，计算图像I_gray像素点(x，y)的梯度向量的模|MG(x,y)|和方向θ(x,y)，如下式(27)：

第二阶段，根据上述提取灰度图像I_gray的方向度特征值的第一阶段得到的各像素点的梯度向量，构造方向统计直方图：将[0,π]进行R等分，每一区间的间隔为g＝π/R，取每个区间上的最大弧度φ，统计θ对应的每个区间内|MG(x，y)|大于阈值T₀的像素点的数量，构造统计直方图H；

第三阶段，根据上述提取灰度图像I_gray的方向度特征值的第二阶段得到的方向统计直方图H和每个区间的最大弧度φ，计算其方向度特征值，具体计算公式如(28)所示：

其中，D为直方图H中所有波峰的集合，d为集合中的某一波峰，φ_d为波峰d所在的弧度，w_d为波峰d到左右第一个波谷间所有弧度的集合，H(φ)为φ在直方图H中的幅值，由此提取得到灰度图像I_gray的方向度特征值；

至此得到灰度图像I_gray的基于Tamura纹理的粗糙度特征值、对比度特征值和方向度特征值三个纹理特征组成的纹理特征向量。

5.根据权利要求1所述对图像进行美学评价的多特征融合方法，其特征在于：所述第二步的(2.5)步中从基于可控金字塔特征方面来提取其纹理特征，即提取灰度图像I_gray的子带能量向量Ee，尺度间子带的能量差向量Ec以及子带系数熵向量Ep三个基于可控金字塔纹理特征共同构成图像的纹理特征向量的具体步骤如下：

将上述第一步得到的彩色RGB图像I转为灰度图像I_gray，对灰度图像I_gray采用可控金字塔进行2个尺度6个方向的分解，共得到M个子带，这里M＝12，其中，尺度A∈{1,2}，方向θ∈{0°,30°,60°,90°,120°,150°}，采用子带系数的能量向量E_e、熵向量E_p和尺度间子带的能量差向量E_c进行纹理特征度量，公式如(29)-(34)：

子带系数的能量向量Ee：

Ee＝{Ee₁,Ee₂,...,Ee_M} (30)，

其中，m＝1,2,3,…,M，c_m,nu为子带m的第nu个系数，Nsize为子带m的大小；

尺度间子带的能量差向量Ec：

Ec_m＝Ee_m-Ee_m+M/2 (31)，

Ec＝{Ec₁,Ec₂,...,Ec_M/2} (32)；

子带系数的熵向量Ep：

Ep＝{Ep₁,Ep₂,...,Ep_M} (34)；

上述式(33)中将Q个子带系数中的最大值与最小值之间平均分为12个区间，p_m,n为第m个子带中系数落在第n个区间的概率；

至此得到灰度图像I_gray的子带能量向量Ee，尺度间子带的能量差向量Ec以及子带系数熵向量Ep三个基于可控金字塔纹理特征向量。

6.根据权利要求1所述对图像进行美学评价的多特征融合方法，其特征在于：所述第二步的(2.6)步中的将得到的灰度图像I_gray、图像I_gauss1和图像I_gauss2都均分成像素大小为N₂×N₂＝8×8的子块。