CN107169508B - 一种基于融合特征的旗袍图像情感语义识别方法 - Google Patents

Abstract

本发明公开一种基于融合特征的旗袍图像情感语义识别方法。该方法通过选择具有代表性的适合描述旗袍图像的形容词，提取旗袍图像的颜色和纹理特征，进行特征融合，然后进行图像情感语义学习，用训练出来的情感模型对图像进行情感识别。本发明方法结合颜色和纹理的融合特征，用机器学习方法建立起从旗袍图像底层特征到高层语义的情感语义的映射，构建了旗袍图像情感语义分类模型，实现了对旗袍图像的情感识别。该方法易于实现，具有较高的情感识别准确率。

Description

一种基于融合特征的旗袍图像情感语义识别方法

技术领域

本发明涉及一种基于融合特征的旗袍图像情感语义识别方法，尤其涉及一种融合颜色和纹理特征的旗袍图像情感语义识别方法。

背景技术

人对一幅图像的感知和理解是在语义层次上的，且带有主观性。已有许多研究表明，不同的图像可以唤起人类不同的情感。但目前的图像处理和应用大多忽略了情感的影响和作用。对于服装图像而言，任何一件或一款服装都可以给人带来某种情感感受，有的服装让人感觉高贵，有的让人感觉清新。目前对服装图像的研究大都集中在物体识别方面，从情感语义的角度对服装图像进行研究的比较少。而对于旗袍图像的情感语义研究是尤其少数的。

发明内容

本发明的目的是针对现有方法的不足，提供一种基于特征融合的旗袍图像情感语义识别方法。该方法通过选择具有代表性的适合描述旗袍图像的形容词，提取旗袍图像的颜色和纹理特征，进行特征融合，然后进行图像情感语义学习，用训练出来的情感模型对图像进行情感识别。

本发明方法的技术方案分为图像情感空间及特征空间建立和图像情感语义学习及识别两个过程进行，具体内容如下：

步骤一.形容词选择及情感数据收集：

1.1从30个针对服装图片的形容词中，选出其中具有代表性的一组形容词(古朴沉稳、高贵典雅、温婉浪漫、素净清新)来描述旗袍；

1.2收集n(n>350)张旗袍图片，图片均为纯色背景；

1.3将步骤1.2中的图片分组，受测者对一组图片用步骤1.1中的形容词进行风格评价。将形容词组分别用1,2,3,4表示，其中1表示“古朴沉稳”服装，2表示“高贵典雅”服装，3表示“温婉浪漫”服装，4表示“素净清新”服装。将共同被评价的旗袍图片挑选出来，而去除其中风格模糊不清的图片，由此，每张图片分别对应了一种情感，得到最终的情感数据Q，其中Q为一组m(m≤n)×1的数据；

步骤二.图像预处理：

2.1对图像进行特征提取前,首先将步骤1.3中保存的图像进行图像缩放变换，得到尺寸为W×H的图像，其中图像缩放变换采用双三次插值方法，采用双三次内插基函数作为基函数，双三次插值计算按公式(1)进行：

f(i+u,j+v)＝ABC (1)

其中，A、B、C均为矩阵，形式如下：

A＝[s(v+1) s(v) s(1-v) s(2-v)]，

(i,j):原图像的像素坐标，其中，i为横坐标值，j为纵坐标值，i、j均为非负整数；

f(i,j):原图像的像素灰度值；

u：目的像素的周围像素沿横坐标方向离目的像素的距离；

v：目的像素的周围像素沿纵坐标方向离目的像素的距离；

(i+u,j+v):缩放变换后新图像的像素坐标；

f(i+u,j+v):缩放变换后新图像的像素灰度值；

|x|：图像像素沿x方向离原点的距离；

s(x)：sin(π·x)/x的逼近多项式，为插值核；

2.2将步骤2.1中得到的图像进行中值滤波处理，得到去噪图像。中值滤波对图像去噪按算法(1)，如下：

Input:输入图片I；

Output:去噪后图像；

a)将图像的R,G,B三通道分离；

b)对每个通道中的每个像素，把其邻域中的像素按灰度级进行排序，选择该组的中间值作为这个像素的输出值，通常选择3×3窗口大小的邻域；

c)将计算中值后的三个通道整合，输出去噪后图像；

上述的算法(1)由matlab语言编写实现；

2.3将步骤2.2中得到的去噪后图像进行图像灰度化处理，得到灰度图像，其中对图像灰度化处理按公式(2)进行：

公式(2)中，R、G、B：分别为图像每个像素对应的红、绿、蓝颜色值；

Gray：图像灰度化后得到的每个像素点的灰度值；

2.4将步骤2.3中得到的灰度图像进行图像分割，用形态学重建技术对将图像中旗袍部分和背景进行分离，得到图像中旗袍内容部分的索引信息。用形态学重建技术对图像分割按算法(2)，如下：

Input:输入图片I；

Output:[r,c]索引值矩阵，即旗袍内容位置值，其中r为行索引值,c为列索引值；

d)设定椭圆形结构元素对象，半径20，高度15；

e)对图像用结构元素对象进行腐蚀和膨胀操作，进行形态学重建；

f)对图像求反，然后转化为二值图像；

g)输出二值化图像中零元素的行和列的索引值；

上述的算法(2)由matlab语言编写实现；

步骤三.颜色特征提取：

所述的颜色特征包括明度隶属度、饱和度隶属度、冷暖隶属度、彩色对比度；

3.1将步骤2.2生成的图像从RGB转化到L^*a^*b^*色彩空间，根据步骤2.4中计算出的索引值计算出图像中旗袍内容的a^*和b^*值，即图像分割出来部分的a^*和b^*值。然后将图像从Lab空间转化到L^*C^*h^*空间，根据步骤2.4中计算出的索引值计算出图像中旗袍内容的L^*、C^*、h^*的值，即图像分割出来部分的L^*、C^*、h^*的值。其中对图像从RGB到L^*a^*b^*色彩空间的转化按公式(3)进行：

L^*＝116f(Y/Y_n)-16

a^*＝500[f(X/X_n)-f(Y/Y_n)]

b^*＝200[f(Y/Y_n)-f(Z/Z_n)] (3)

其中，

L^*，a^*，b^*：L^*a^*b^*色彩空间三个通道的值，L^*为明度；a^*为红绿色轴，+a^*表示品红色，-a^*表示绿色；b^*为黄蓝色轴，+b^*表示黄色，-b^*表示蓝色；

X,Y,Z：RGB转XYZ空间计算出的值；

X_n,Y_n,Z_n：一般默认值为95.047,100.0,108.883；

对图像从L^*a^*b^*到L^*C^*h^*色彩空间的转化按公式(4)进行：

C^*＝(a^*2+b^*2)^1/2

h^*＝arctan(b^*/a^*) (4)

其中C^*代表饱和度(Chroma)，表示颜色的深浅程度；h^*代表色相(Hue)角度，表示不同颜色。

3.2根据步骤3.1中得到的L^*通道的值计算图像的平均明度隶属度值，用“很暗的”、“较暗的”、“中亮的”、“较亮的”、“很亮的”五个词汇来描述明度特征。首先计算每个像素点的明度隶属度，然后对所有像素点的明度隶属度求均值，得到图像的平均明度隶属度值，其中明度隶属度值计算按公式(5)进行:

其中，L^*为图像中每个像素点的明度值，μ_亮度为图像中每个像素点的明度隶属度值。

3.3根据步骤3.1中得到的C^*通道的值计算图像的平均饱和度隶属度值，用“低饱和度”、“中饱和度”、“高饱和度”三个词汇来描述饱和度特征。首先计算每个像素点的饱和度隶属度，然后对所有像素点的饱和度隶属度求均值，得到图像的平均饱和度隶属度值，其中饱和度隶属度值计算按公式(6)进行:

其中，C^*为图像中每个像素点的饱和度值，μ_饱和度为图像像素点的饱和度隶属度值。

3.4根据步骤3.1中得到的h^*通道的值计算图像的平均色调冷暖隶属度值，冷暖隶属度值计算按公式(7)进行:

其中，h为图像像素点的色相角h^*经过弧度换角度转化后的角度值，μ_冷暖为图像像素点的冷暖隶属度值。

3.5将步骤3.1中计算得到的a^*、b^*值计算图像的彩色对比度，彩色对比度计算按公式(8)进行:

其中a_i ^*，b_i ^*表示图像的第i个像素点在L^*a^*b^*色彩空间的a^*、b^*值，

表示整幅图像的a^*、b^*均值，N为图像的像素点总数。

步骤四.纹理特征提取：

4.1将步骤2.3中得到的灰度图像用LBP算子进行计算，得到图像的全局LBP直方图数据，其中LBP直方图数据按算法(3)计算，如下：

Input:输入图片I；

Output:1×18的LBP直方图数据；

a)把I分割成M块；

b)设定圆形窗口对称邻域的大小为：P＝16，R＝2。根据式(9)，计算每个块的LBP直方图值。

P：圆形对称邻域除中心点外的像素点个数；

R：圆形对称邻域半径；

g_c：圆形对称邻域的中心点像素值；

g_p：g_p＝(p＝0,...,p-1)为圆形对称邻域的其他点像素值；

c)把M个块得到的LBP值组合起来得到描述图像特征的全局LBP值，输出；

上述的算法(3)由matlab语言编写实现；

步骤五.颜色特征和纹理特征融合：

将步骤三和步骤四中提取的颜色和纹理特征进行加权特征融合。其加权特征表达式(10)如下：

其中ω₁，ω₂∈[0,1]，则加权特征融合后的特征向量的表达式为：

P＝{P₁，P₂}

步骤六.情感语义学习：

6.1从步骤1.3中得到的情感数据Q和步骤5.2中得到的融合特征数据P中，抽取各个类别的数据共

个样本，作为以径向基函数为核函数的LSSVM分类学习算法的学习样本，剩余样本作为检验样本。

以RBF为核函数的LSSVM分类模型结构为：

其中：ψ(x)为非线性映射函数，

为该模型的法向向量，α为该模型的偏差值，T为转置符号；

对样本数据的准确分类问题可转化为求解如下目标函数(11):

式(11)中的目标函数最终可以转化成如下表达式(12)：

其中：

ε：正则化参数；

μ_i：松弛变量值；

sgn()：符号函数，其取值为-1或1；

β_i：拉格朗日算子；

x：模式向量；

x_i,y_i：分别为学习样本中第i个的输入向量和输出向量；

α：模型的偏差值；

K(x,y_i)：径向基核函数，即RBF核函数；

σ²：RBF核的核参数；

上述LSSVM学习算法用LSSVM1.8版本工具箱在matlab中编写实现；

6.2将步骤6.2中所有的样本数据进行归一化处理，归一化处理按照公式(12)进行:

y＝(y_max-y_min)(x-x_min)/(x_max-x_min)+y_min (12)

x：预处理的数据；

x_min，x_max：分别为预处理数据中的最小值和最大值；

y：归一化后的数据；

y_min，y_max：分别为期望的每一行的最小值和最大值，一般为0和1；

6.3将步骤6.1中LSSVM模型进行模型参数初始化，设置Type，kernel，preprocess、L_flod和codefct的值；

6.4将步骤6.3初始化参数之后的模型进行参数ε和参数σ的寻优处理，正则化参数ε和核参数σ对模型的预测精度和复杂度都有很大的影响。用LSSVM1.8版本工具箱中的tunelssvm函数进行网格搜索和交叉验证优化参数。然后初始化模型，进行模型训练。

6.5将步骤6.4中训练好的模型用来识别步骤6.2中归一化后的检验样本的情感语义，通过将检验样本的情感识别结果和其原始人工注释的结果进行比较，计算识别的准确率；

本发明方法结合颜色和纹理的融合特征，用机器学习方法建立起从旗袍图像底层特征到高层语义的情感语义的映射，构建了旗袍图像情感语义分类模型，实现了对旗袍图像的情感识别。该方法易于实现，具有较高的情感识别准确率。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的分析说明。

实施例

步骤一.形容词选择及情感空间的建立：

1.1从30个针对服装图片的形容词中，选出其中具有代表性的一组形容词(古朴沉稳、高贵典雅、温婉浪漫、素净清新)来描述旗袍；

1.2收集到400张旗袍图片，图片均为纯色背景；

1.3将步骤1.2中的图片随机分成5组，每组80张图片，选择20名受测者参与，每4名受测者分别对一组图片用步骤1.1中的形容词进行风格评价。将图片分别用1,2,3,4表示，其中1表示“古朴沉稳”服装，2表示“高贵典雅”服装，3表示“温婉浪漫”服装，4表示“素净清新”服装。将共同被评价的旗袍图片挑选出来，而去除其中风格模糊不清的图片。最后得到350幅图片及分别对应的情感类别，即一组350×1的数据；

步骤二.图像预处理：

2.1将步骤1.3中的350幅图片进行图像缩放处理，缩放后图片均为150×300像素；

2.2将步骤2.1中得到的经缩放后的图像进行中值滤波处理，得到去噪图形；

2.3将步骤2.2中得到的去噪图像进行图像灰度化处理，得到灰度图像；

2.4将步骤2.3得到的图片进行图像分割，得到旗袍内容在整幅图片中的索引信息矩阵；

步骤三.颜色特征提取：

3.1将步骤2.2中的图片转化到L^*a^*b^*色彩空间，用步骤2.4中的索引值计算出图像中旗袍内容的a^*和b^*值，然后将图像从L^*a^*b^*空间转化到L^*C^*h空间，用步骤2.4中索引值计算出图像中旗袍内容的L^*、C^*、h^*的值；

3.2将步骤3.1中计算得到的L^*计算图像的平均明度隶属度值，分别计算图片对于“很暗的”、“较暗的”、“中亮的”、“较亮的”、“很亮的”明度平均隶属度值，得到一组350×5的数据；

3.3将步骤3.1中计算得到的C^*计算图像的平均饱和度隶属度值，分别计算图片对于“低饱和度”、“中饱和度”、“高饱和度”饱和度平均隶属度值，得到一组350×3的数据；

3.4将步骤3.1中计算得到的h^*计算图像的平均色调冷暖隶属度值，分别计算图片的冷暖隶属度值，得到一组350×2的数据；

3.5将步骤3.1中计算得到的a^*、b^*值计算图像的彩色对比度，分别计算图片的彩色对比度，得到一组350×1的数据；

步骤四.纹理特征提取：

4.1将步骤2.3中得到的灰度图像计算LBP直方图数据，得到一组350×18的数据；

步骤五.颜色特征和纹理特征融合：

5.1分别取ω₁和ω₂的值为1和0.7，对颜色和纹理特征进行加权特征融合，得到特征向量X，得到一组350×29的数据；

步骤六.情感语义识别：

6.1从步骤1.3中得到的情感数据和步骤5.2中得到的融合特征数据中，抽取各个类别的数据共240个样本，作为以RBF为核函数的LSSVM学习算法的学习样本，剩余110个样本作为检验样本；

6.2将步骤6.1中所有的样本数据进行归一化处理；

6.3将步骤6.1中LSSVM模型进行参数初始化。Type为c，kernel为RBF_kernel,preprocess为preprocess,codefct为code_MOC，L_flod为10；

6.4将步骤6.3初始化参数之后的模型进行参数ε和参数σ的寻优处理，训练模型。

6.5将步骤6.4中训练好的模型用来识别步骤6.3中归一化后的检验样本的情感语义，通过将检验样本的情感识别结果和其原始人工注释的结果进行比较，计算识别的准确率，110个检验样本中有80个样本的情感识别准确，该模型的情感识别准确率为72.7％。

上述实施例并非是对于本发明的限制，本发明也并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。

Claims (1)

1.一种基于融合特征的旗袍图像情感语义识别方法，其特征在于该方法包括以下步骤：

步骤一.形容词选择及情感数据收集：

1.1从30个针对服装图片的形容词中，选出其中具有代表性的一组形容词来描述旗袍；

1.2收集n张旗袍图片，图片均为纯色背景；

1.3将步骤1.2中的图片分组，采用步骤1.1形容词组分别用不同标记进行表示；将共同被评价的旗袍图片挑选出来，而去除其中风格模糊不清的图片，由此，每张图片分别对应了一种情感，得到最终的情感数据Q，其中Q为一组m×1的数据，其中m≤n；

步骤二.图像预处理：

2.1对图像进行特征提取前,首先将步骤1.3中保存的图像进行图像缩放变换，得到尺寸为W×H的图像，其中图像缩放变换采用双三次插值方法，采用双三次内插基函数作为基函数，双三次插值计算按公式(1)进行：

f(i+u,j+v)＝ABC (1)

其中，A、B、C均为矩阵，形式如下：

A＝[s(v+1) s(v) s(1-v) s(2-v)]，

(i,j):原图像的像素坐标，其中，i为横坐标值，j为纵坐标值，i、j均为非负整数；

f(i,j):原图像的像素灰度值；

u：目的像素的周围像素沿横坐标方向离目的像素的距离；

v：目的像素的周围像素沿纵坐标方向离目的像素的距离；

(i+u,j+v):缩放变换后新图像的像素坐标；

f(i+u,j+v):缩放变换后新图像的像素灰度值；

|x|：图像像素沿x方向离原点的距离；

s(x)：sin(π·x)/x的逼近多项式，为插值核；

2.2将步骤2.1中得到的图像进行中值滤波处理，得到去噪图像；具体如下：

2.2.1将步骤2.1中得到的图像的R,G,B三通道分离；

2.2.2对每个通道中的每个像素，把其邻域中的像素按灰度级进行排序，选择中间值作为这个像素的灰度级；

2.2.3将计算中值后的三个通道整合，输出去噪后图像；

2.3将步骤2.2中得到的去噪后图像进行图像灰度化处理，得到灰度图像，其中对图像灰度化处理按公式(2)进行：

公式(2)中，R、G、B：分别为图像每个像素对应的红、绿、蓝颜色值；

Gray：图像灰度化后得到的每个像素点的灰度值；

2.4将步骤2.3中得到的灰度图像进行图像分割，用形态学重建技术将图像中旗袍部分和背景进行分离，得到图像中旗袍内容部分的索引信息；具体如下：

Input:输入图片I；

Output:[r,c]索引值矩阵，即旗袍内容位置值，其中r为行索引值,c为列索引值；

2.4.1设定椭圆形结构元素对象，半径20，高度15；

2.4.2对图像用结构元素对象进行腐蚀和膨胀操作，进行形态学重建；

2.4.3对图像求反，然后转化为二值图像；

2.4.4输出二值化图像中零元素的行和列的索引值；

步骤三.颜色特征提取：

所述的颜色特征包括明度隶属度、饱和度隶属度、冷暖隶属度、彩色对比度；

3.1将步骤2.2生成的图像从RGB转化到L^*a^*b^*色彩空间，根据步骤2.4中计算出的索引值计算出图像中旗袍内容的a^*和b^*值，即图像分割出来部分的a^*和b^*值；然后将图像从Lab空间转化到L^*C^*h^*空间，根据步骤2.4中计算出的索引值计算出图像中旗袍内容的L^*、C^*、h^*的值，即图像分割出来部分的L^*、C^*、h^*的值；其中对图像从RGB到L^*a^*b^*色彩空间的转化按公式(3)进行：

L^*＝116f(Y/Y_n)-16

a^*＝500[f(X/X_n)-f(Y/Y_n)]

b^*＝200[f(Y/Y_n)-f(Z/Z_n)] (3)

其中，

L^*，a^*，b^*：L^*a^*b^*色彩空间三个通道的值，L^*为明度；a^*为红绿色轴，+a^*表示品红色，-a^*表示绿色；b^*为黄蓝色轴，+b^*表示黄色，-b^*表示蓝色；

X,Y,Z：RGB转XYZ空间计算出的值；

X_n,Y_n,Z_n分别为95.047,100.0,108.883；

对图像从L^*a^*b^*到L^*C^*h^*色彩空间的转化按公式(4)进行：

C^*＝(a^*2+b^*2)^1/2

h^*＝arctan(b^*/a^*) (4)

其中C^*代表饱和度，表示颜色的深浅程度；h^*代表色相角度，表示不同颜色；

3.2根据步骤3.1中得到的L^*通道的值计算图像的平均明度隶属度值，用“很暗的”、“较暗的”、“中亮的”、“较亮的”、“很亮的”五个词汇来描述明度特征；首先计算每个像素点的明度隶属度，然后对所有像素点的明度隶属度求均值，得到图像的平均明度隶属度值，其中明度隶属度值计算按公式(5)进行:

其中，L^*为图像中每个像素点的明度值，μ_亮度为图像中每个像素点的明度隶属度值；

3.3根据步骤3.1中得到的C^*通道的值计算图像的平均饱和度隶属度值，用“低饱和度”、“中饱和度”、“高饱和度”三个词汇来描述饱和度特征；首先计算每个像素点的饱和度隶属度，然后对所有像素点的饱和度隶属度求均值，得到图像的平均饱和度隶属度值，其中饱和度隶属度值计算按公式(6)进行:

其中，C^*为图像中每个像素点的饱和度值，μ_饱和度为图像像素点的饱和度隶属度值；

3.4根据步骤3.1中得到的h^*通道的值计算图像的平均色调冷暖隶属度值，冷暖隶属度值计算按公式(7)进行:

其中，h为图像像素点的色相角h^*经过弧度换角度转化后的角度值，μ_冷暖为图像像素点的冷暖隶属度值；

3.5将步骤3.1中计算得到的a^*、b^*值计算图像的彩色对比度，彩色对比度计算按公式(8)进行:

其中a_i ^*，b_i ^*表示图像的第i个像素点在L^*a^*b^*色彩空间的a^*、b^*值，

表示整幅图像的a^*、b^*均值，N为图像的像素点总数；

步骤四.纹理特征提取：

4.1将步骤2.3中得到的灰度图像用LBP算子进行计算，得到图像的全局LBP直方图数据，其中LBP直方图数据按公式(9)计算，如下：

Input:输入图片I；

Output:1×18的LBP直方图数据；

4.1.1把I分割成M块；

4.1.2设定圆形窗口对称邻域的大小为：P＝16，R＝2；根据式(9)，计算每个块的LBP直方图值；

P：圆形对称邻域除中心点外的像素点个数；

R：圆形对称邻域半径；

g_c：圆形对称邻域的中心点像素值；

g_p：圆形对称邻域的其他点像素值；

4.1.3把M个块得到的LBP值组合起来得到描述图像特征的全局LBP值，输出；

步骤五.颜色特征和纹理特征融合：

将步骤三和步骤四中提取的颜色和纹理特征进行加权特征融合；其加权特征表达式(10)如下：

其中ω₁，ω₂∈[0,1]，则加权特征融合后的特征向量的表达式为：

P_融合＝{P₁，P₂}

步骤六.情感语义学习：

6.1从步骤1.3中得到的情感数据Q和步骤五中得到的融合特征数据P_融合中，抽取各个类别的数据共M个样本，作为以径向基函数为核函数的LSSVM分类学习算法的学习样本，剩余样本作为检验样本；

以RBF为核函数的LSSVM分类模型结构为：

其中：ψ(x)为非线性映射函数，

为该模型的法向向量，α为该模型的偏差值，T为转置符号；

对样本数据的准确分类问题可转化为求解如下目标函数(11):

式(11)中的目标函数最终可以转化成如下表达式(12)：

其中：

ε：正则化参数；

μ_i：松弛变量值；

sgn()：符号函数，其取值为-1或1；

β_i：拉格朗日算子；

x：模式向量；

x_i,y_i：分别为学习样本中第i个的输入向量和输出向量；

α：模型的偏差值；

K(x,x_i)：径向基核函数，即RBF核函数；

σ²：RBF核的核参数；

6.2将步骤6.1中所有的样本数据进行归一化处理，归一化处理按照公式(13)进行:

y＝(y_max-y_min)(x-x_min)/(x_max-x_min)+y_min (13)

x：预处理的数据；

x_min，x_max：分别为预处理数据中的最小值和最大值；

y：归一化后的数据；

y_min，y_max：分别为期望的每一行的最小值和最大值；

6.3将步骤6.1中LSSVM模型进行模型参数初始化，设置Type，kernel，preprocess、L_flod和codefct的值；

6.4将步骤6.3初始化参数之后的模型进行参数ε和参数σ的寻优处理，正则化参数ε和核参数σ对模型的预测精度和复杂度都有影响；用LSSVM1.8版本工具箱中的tunelssvm函数进行网格搜索和交叉验证优化参数；然后初始化模型，进行模型训练；

6.5将步骤6.4中训练好的模型用来识别步骤6.2中归一化后的检验样本的情感语义，通过将检验样本的情感识别结果和其原始人工注释的结果进行比较，计算识别的准确率。

Images