CN109902912A - 一种基于性格特征的个性化图像美学评价方法 - Google Patents
一种基于性格特征的个性化图像美学评价方法 Download PDFInfo
- Publication number
- CN109902912A CN109902912A CN201910006656.7A CN201910006656A CN109902912A CN 109902912 A CN109902912 A CN 109902912A CN 201910006656 A CN201910006656 A CN 201910006656A CN 109902912 A CN109902912 A CN 109902912A
- Authority
- CN
- China
- Prior art keywords
- image
- aesthetic
- character
- personalized
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000013210 evaluation model Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 56
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 238000012417 linear regression Methods 0.000 claims description 12
- 238000011478 gradient descent method Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 32
- 238000012360 testing method Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000013136 deep learning model Methods 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000013526 transfer learning Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010029216 Nervousness Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013106 supervised machine learning method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明为一种基于性格特征的个性化图像美学评价方法，方法包括如下步骤：(1)利用美学图像数据集中的多数人对图像的平均美学分数，经过深度网络进行训练建立图像的大众化美学评价模型；(2)利用性格图像数据集中的图像和偏好此图像个体的性格特征，经过深度网络进行训练建立图像的性格特征预测模型；(3)利用美学图像数据集中特定个体对图像个性化美学分数，利用步骤(1)、(2)中已建立模型预测得到图像的大众化美学分数和性格特征，把性格特征作为辅助信息把图像美学评价结果由大众化领域迁移到个性化领域得到图像个性化美学评价模型；(4)对于待测试美学图像，利用已建立的个性化美学评价模型，实现个体个性化美学评价。
Description
技术领域
本发明属于图像处理技术和计算机美学领域，尤其适用于一种基于性格特征的个性化图像美学评价方法。
背景技术
随着移动互联网快速发展和智能手机快速普及，图像和视频等视觉内容数据与日俱增，这些视觉内容的感知理解已经成为计算机视觉、计算摄像学和人类心理学等多个交叉学科研究方向。其中图像美学评价(image aesthetics assessment)是近期计算机视觉感知理解方向中的研究热点。图像美学旨在利用计算机系统模拟人类在对图像进行美学感知计算和评估，人类对图像的审美是通过对视觉刺激而做出相应的美学决策，所以利用计算机模仿人类这种能力需要面临图像处理、计算机视觉和心理学等诸多交叉领域的挑战。图像美学反映了人类在视觉上对“美好”事物追求和向往，因此在摄影摄像、广告设计以及艺术作品制作等领域进行视觉美学评价具有重要的意义。近些年，已经吸引了一些研究人员的关注。
图像美学评价需要人们从艺术的角度上对图像的美感进行评估，人们需要通过长时间的训练才能从审美的角度上准确地对图像进行判断，因此图像的主观美学评价具有抽象和难以传授等问题制约，不利于实时系统。随着近年来机器学习的迅速发展，极大促进了可重复计算的图像客观美学评价方法发展。机器学习，尤其是深度学习系统可以高效和精准地模仿人类的思维处理方式，因此利用机器学习或者深度学习方法对图像进行美学评价是一个重要研究课题。
目前，基于机器学习或深度学习的图像美学评价方法主要是通过提取图像的美学特征，利用有监督的机器学习方法建立图像美学评价模型，从而达到实时有效地预测图像的美学评价结果。现阶段图像美学评价方法主要任务有三种：美学分类、美学评分和美感分布。但是大多数方法主要集中在大众化的美学评估上，所谓大众化的美学评估是指大多数人认同的美学评估结果，通常通过多个人对同一美学作品进行评估综合得到。但是因为文化、教育、年龄和性别的不同，每个人对美的标准往往有比较大的差异，因此研究针对个人的图像美学评价更具有重要的意义。
个性化的图像美学评价方法相对大众化的图像美学评价方法不仅要考虑到图像内容对审美的影响，而且更要考虑到个人对图像的美学属性和内容喜好程度。在日常生活中，个人可接触到的图像数量有限，因此对个人进行大规模的图像美学评价实验不符合事实且难以实现。由于需要考虑个人喜好和样本数量的限制，目前针对个性化的图像美学评价方法研究相对较少，但是由于其在个性化推荐系统上的实用性，还是吸引了一些学者的关注。文献：Ren J,Shen X,Lin Z,et al.Personalized image aesthetics[C]//Proceedings of 2017IEEE International Conference on ComputerVision.Piscataway NJ:IEEE,2017:638-647.提出了一种个性化图像美学评价方法，这种方法首先利用深度学习网络建立图像的大众化美学评价预测模型，并且发现图像美学属性和内容与图像个性化美学评价结果和大众化美学评价结果之间差值存在一定相关性，通过把图像美学属性和内容与个性化美学差异利用支持向量机(SVR)建立个性化美学差异预测模型，最后利用大众化预测模型和个性化美学差异预测模型的结果进行求和最终得到个性化美学评价结果。
目前，个性化的图像美学评价方法处于起步阶段，如何利用个体对图像的喜好程度以及有些提取图像的美学特征是解决问题的关键。上述个性化图像美学评价方法存在一定的缺陷：(1)只是考虑到图像美学属性和内容对个性化美学评价的影响，没有考虑到评价个体因素对图像进行美学评价的影响；(2)利用支持向量机进行建模具有难以收敛、训练时间较长的问题，不利用大量的数据处理。针对问题(1)可以考虑个体性格特征对图像美学评价的影响，因为个体性格特征是决定着个人的行为习惯和喜好；针对问题(2)可以考虑利用迁移学习思想在大众化的图像美学评价模型对个性化美学评价结果进行微调，从而得到个性化的图像美学评价模型。
发明内容
发明目的：针对以上问题，本发明提出一种基于性格特征的个性化图像美学评价方法，利用个体性格特征对图像美感影响以及迁移学习思想建立一种个性化的图像美学评价模型，可以自动预测个体个性化的图像美学评价结果，预测结果与个体美学评分一致性程度更高。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于性格特征的个性化图像美学评价方法，该方法包括如下步骤：
(1)采集美学图像数据集，性格图像数据集，个性化图像数据集；
(2)对上述三种数据集中的图像进行预处理；
(3)构建待训练的图像美学评价网络模型和图像性格特征网络模型；
(4)将预处理后的美学评价图像和性格特征图像输入到网络模型中进行训练，训练得到符合要求的网络模型；
(5)利用线性回归模型构建图像的性格特性和美学之间的关系模型，并将个性化图像输入到步骤(4)训练好的模型中获取预测性格特征和大众化美学分数，利用图像个性化美学分数训练构建好的回归模型获得符合个性化的美学预测模型；
(6)对于待测试美学图像，利用已建立的个性化美学评价模型，实现个体个性化美学评价。
进一步的，步骤(1)中，采集美学图像数据集，性格图像数据集，个性化图像数据集，方法如下：
(1.1)美学图像数据集
(1.1.1)获取图像以及评价者对图像的美学打分得到，每幅图像的美学分数都是由多个评价者进行评价得到；
(1.1.2)提取美学图像数据集中待训练的样本图像Ia，以及对应的m个评价者对图像的美学评分其中，n为待训练的样本图像数量，m为对每幅样本图像进行美学打分的评价者的数量，a＝1,2,…,n；
(1.1.3)把图像的大众化美学分数Sa划分到[0,1]之间；
(1.1.4)把每幅样本图像的多个美学评分的平均值作为此图像的大众化美学分数：
其中，Sa为图像的大众化美学分数；
(1.2)性格图像数据集
(1.2.1)收集社交媒体上n1位用户标记的m1幅偏好图像，每位用户标记了m1/n1幅偏好图像，并利用性格调查问卷获取每位用户的五种性格特征，把用户的性格特征看成其偏好图像的性格特征属性；
(1.2.2)提取性格图像数据集中待训练的样本图像Ib，b＝1,2,…,m1，其中m1为待训练的样本图像数量；然后把每个用户的五种性格特征数值作为其偏好图像的性格特征，因此性格图像数据集中每幅图像都对应一组性格特征数值
(1.2.3)最后把样本图像的五种性格特征标准化到[-1,1]之间，i＝1,2,…5；
(1.3)个性化图像数据集
(1.3.1)采集待训练的样本图像Ip和对应个体的个性化美学评分Qp，p＝1,2,…,n2，其中，n2为待训练的样本图像数量，其中，Qp为单独评价者对图像的个性化美学分数；
(1.3.2)把Qp归一化到[0,1]之间。
进一步的，步骤(2)中，对上述三种数据集中的图像进行预处理，方法如下：把所有的样本图像的尺寸缩放到预定尺寸大小，然后在缩放之后的图像上按照预设尺寸的大小进行随机裁剪和以预设概率的随机垂直翻转增强输入图像数据，并把样本图像的像素值归一化到[0,1]之间。
进一步的，步骤(3)中，构建待训练的图像美学评价网络模型，方法如下：基础网络模型为18层的ResNet，把Resnet最后的输出层替换成两个全连接层和一个输出层；两个全连接层分别由1024个和512个节点组成，输出层为最终预测的大众化美学分数，在每一个全连接层后增加一个BN层和一个Dropout层，使用Sigmoid激活函数作为输出层的激活函数。
进一步的，步骤(3)中，构建待训练的图像性格特征网络模型，方法如下：基础网络模型为18层的ResNet，把Resnet最后的输出层替换成两个全连接层和一个输出层；两个全连接层分别由1024个和512个节点组成，输出层为最终预测的五种性格特征，在每一个全连接层后增加一个BN层和一个Dropout层，使用Tanh激活函数作为输出层的激活函数。
进一步的，以上模型训练时，两个模型训练的采样如下损失函数：
其中，Sa和分别为图像大众化美学分数的真实结果和预测结果，通过梯度下降法对训练图像进行不断迭代来优化损失函数，直至计算的损失函数结果小于阈值为止，最终得到图像的美学评价模型；
其中，和分别为图像的五种性格特征的真实结果和预测结果，通过梯度下降法对训练图像进行不断迭代来优化损失函数，直至计算的损失函数结果小于阈值为止，最终得到图像的性格特征预测模型。
进一步的，图像美学评价网络模型和图像性格特征网络模型训练时，既可以是分别单独训练，也可以交替训练。
进一步的，步骤(5)中，利用线性回归模型构建性格特性和美学分数之间的关系模型，并将个性化图像输入到步骤(4)训练好的模型中获取预测性格特征和大众化美学分数，利用图像个性化美学分数训练构建好的回归模型获得符合个性化的美学预测模型，方法如下：首先利用上述两个模型提取样本图像的五种性格特征和大众化的美学分数，然后利用线性回归模型获取五种性格特征的权重W，线性回归模型的预测函数为：
其中，其中，为图像经过性格特征预测模型得到的五种性格特征，为图像经过大众化美学模型得到的大众化美学分数，W为预定的五种性格权重，为预测得到的个性化美学分数。
进一步的，使用两者之间的欧式距离作为损失函数进行训练来优化个性化美学预测模型的网络参数，损失函数LQ的计算公式为：
其中，Qp和分别为图像个性化美学分数的真实结果和预测结果，通过梯度下降法对训练图像进行不断迭代来优化损失函数，直至计算的损失函数结果小于阈值为止。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
1、本发明创造性地提出一种基于性格特征的个性化图像美学评价方法；本发明考虑了个性化图像美学评价中个体性格因素和图像内容因素的影响，利用迁移学习的思想把大众化的图像美学评分和图像的性格特征迁移到个性化的图像美学评价模型上。
2、本发明通过对美学图像数据集和性格图像数据集进行同时交替训练分别得到图像大众化的美学评价模型和图像的性格特征预测模型，在训练过程保持深度残差网络参数共享方式，可以很好获取性格特征和美学特征共同特征，并通过独立的全连接层进行两种任务训练；不仅节约训练模型参数，而且通过训练获取较好的预测效果。
3、本发明是一种多领域深度迁移学习方法，利用已知领域大众化美学和性格特征样本图像训练得到相应的深度学习模型，仅需要少量的个性化美学样本图像进行网络微调训练就可以获取很好的个性化预测效果。
4、本发明设计的个性化图像美学评价模型可以自动预测出个体个性化的图像美学评分，并且同时可以自动预测出图像的大众化美学评分以及图像被偏好个体的五种性格特征。方法简单有效，可以很好的模拟人对图像的主观美学评价结果，可行性高。
附图说明
图1是本发明的基于性格特征的个性化图像美学评价方法流程图；
图2是本发明的基于性格特征的个性化图像美学评价方法结构图。
具体实施方式
下面将结合附图对本发明的实施例作进一步的描述，但本发明的实施和包含范围不仅限于此。
本发明通过考虑个性化图像美学评价中的个体性格因素和图像内容因素的影响，通过迁移深度学习思路设计了一种基于性格特征的个性化图像美学评价方法。本发明的目的是图像的个性化美学评价，为了解决个体对图像美学打分数据量有限不适于直接进行深度模型训练的问题，本发明首先利用大量带有大众化美学打分的样本图像进行深度网络训练建立图像的大众化美学预测模型；并同时利用偏好图像的个体性格特征进行深度网络训练建立图像的性格特征预测模型；然后把预测得到图像反映出的个体性格特征和图像的大众化美学分数作为先验特征，利用少量带有个体个性化美学打分的图像进行迁移学习训练建立图像的个性化美学预测模型。具体实施方法如图1所示，本实施例包含图像的大众化美学预测模块、性格特征预测模块和个性化美学预测模块。图像的大众化美学预测模块利用图像以及多数人对图像的平均美学评分进行训练建模；图像的性格特征预测模块利用图像以及偏好此图像个体的五种性格特征进行训练建模，五种性格特征是指心理学中常用描述人的五种性格维度，分别为开放性，责任性，外向性，亲和性和神经质；图像的个性化美学预测模块利用图像以及个体对图像个性化美学评分进行训练建模。
(1)大众化的美学预测模型
本发明利用已有的美学图像数据集FLICKR-AES中图像的大众化美学打分进行训练建模。FLICKR-AES通过收集大量图像以及评价者对图像的美学打分得到，每幅图像的美学分数都是由多个评价者进行评价得到。首先提取美学图像数据集中待训练的样本图像Ia，以及对应的m个评价者对图像的美学评分其中，n为待训练的样本图像数量，m为对每幅样本图像进行美学打分的评价者的数量，a＝1,2,…,n。本发明把每幅样本图像的多个美学评分的平均值作为此图像的大众化美学分数：
其中，Sa为图像的大众化美学分数，表示多个评价者对图像平均美学评价结果，为了便于计算，本发明把Sa归一化到[0,1]之间。因为深度学习网络输入尺寸是固定的，所以必须要对不同尺寸的样本图像进行缩放操作，本发明首先把所有的样本图像的尺寸缩放到256×256大小，然后在缩放之后的图像上按照224×224大小尺寸进行随机裁剪和以0.5概率的随机垂直翻转来增强输入图像数据，为了便于计算，最后把样本图像的像素值归一化到[0,1]之间。
所使用的深度学习模型为：基础网络模型为18层的ResNet，把Resnet最后的输出层替换成两个全连接层和一个输出层；两个全连接层分别由1024个和512个节点组成，输出层为最终预测的大众化美学分数。为了达到更加快速稳定训练效果，在每一个全连接层后增加一个BN层和一个Dropout层，为了使得预测分数在[0,1]之间，最后使用Sigmoid激活函数作为输出层的激活函数。
本发明将经过归一化后的样本图像输入到上述构建好的深度学习模型中进行训练，为了使得深度学习模型预测出的大众化美学分数与真实的大众化美学分数保持一致，本发明使用两者之间的欧式距离作为损失函数进行训练，损失函数Ls的计算公式为：
其中，Sa和分别为图像大众化美学分数的真实结果和预测结果。本发明通过梯度下降法对训练图像进行不断迭代来优化损失函数，直至计算的损失函数结果小于阈值为止，比如阈值可以取0.001，最终得到图像大众化的美学评价模型，对于任意输入图像，图像的大众化美学评价模型都可以预测得到图像的大众化美学分数。
(2)性格特征预测模型
本发明利用已有的性格图像数据集PsychoFlickr中用户的性格特征和用户偏好的图像进行训练建模。PsychoFlickr是通过收集社交媒体上300位用户标记的6000幅偏好图像，每位用户标记了200幅偏好图像，并利用性格调查问卷获取每位用户的五种性格特征。为了获取每幅偏好图像的性格特征标签来进行网络训练，本发明把用户的性格特征看成其偏好图像的性格特征属性，所以图像的性格特征就是指偏好此图像用户的性格特征。本发明首先提取性格图像数据集中待训练的样本图像Ib，b＝1,2,…,n，其中n待训练的样本图像数量；然后把每个用户的五种性格特征数值作为其偏好图像的性格特征，因此性格图像数据集中每幅图像都对应一组性格特征数值图像的性格特征数值表示了偏好此图像的用户性格特征，最后把样本图像的五种性格特征标准化到[-1,1]之间，i＝1,2,…5；图像的五种性格特征反映了喜欢此图像个体的五种性格维度数值，每个性格维度数值反映了在单一维度上性格强度，举例来说，如果一个人在外向性维度上有较高的数值，则表示此人具有较高的外向性，反之，则反映此人具有较高的内向性。
因为深度学习网络输入尺寸是固定的，所以必须要对不同尺寸的样本图像进行缩放操作，本发明首先把所有的样本图像的尺寸缩放到256×256大小，然后在缩放之后的图像上按照224×224大小尺寸进行随机裁剪和以0.5概率的随机垂直翻转来增强输入图像数据，为了便于计算，最后把样本图像的像素值归一化到[0,1]之间。
所使用的深度学习模型为：基础网络模型为18层的ResNet，把Resnet最后的输出层替换成两个全连接层和一个输出层；两个全连接层分别由1024个和512个节点组成，输出层为最终预测的五种性格。为了达到更加快速稳定训练效果，在每一个全连接层后增加一个BN层和一个Dropout层，为了使得预测分数在[-1,1]之间，最后使用Tanh激活函数作为输出层的激活函数。本发明将经过归一化后的样本图像输入到上述构建好的深度学习模型中进行训练，为了使得深度学习模型预测出的五种性格特征数值与真实的五种性格特征数值保持一致，本发明使用两者之间的欧式距离作为损失函数进行训练，损失函数Lp的计算公式为：
其中，和分别为图像的五种性格特征的真实结果和预测结果。本发明通过梯度下降法对训练图像进行不断迭代来优化损失函数，直至计算的损失函数结果小于阈值为止，比如阈值可以取0.001，最终得到图像的性格特征预测模型，对于任意输入图像，图像性格特征预测模型均可以预测得到图像所反映出的五种性格特征数值。
为了使得上述两个深度学习模型提取的图像特征对大众化美学预测和性格特征预测具体通用性，并且为了节约训练模型的参数，上述两个模型中的基础模型ResNet为参数共享方式，即两个模型训练时共用一个ResNet。本发明采取交替优化两个模型的损失函数进行训练，即利用美学图像数据集中的样本图像以及对应的平均美学分数和性格图像数据集中的样本图像以及对应的性格特征交替训练优化两个网络，直至两个深度网络预测模型的损失函数降低到阈值以下为止。
(3)个性化的美学预测模型
本发明利用已有的美学图像数据集FLICKR-AES中图像的个性化美学打分进行训练建模。FLICKR-AES中不仅给出了多个评价者对同一幅图像的美学打分，而且也给出了独立的评价者对多幅图像的个性化美学打分结果。首先提取FLICKR-AES中待训练的样本图像Ip和对应个体的个性化美学评分Qp，p＝1,2,…,n，其中，n为待训练的样本图像数量，其中，Qp为单独评价者对图像的个性化美学分数，为了便于计算，本发明把Qp归一化到[0,1]之间。
因为深度学习网络输入尺寸是固定的，所以必须要对不同尺寸的样本图像进行缩放操作，本发明首先把所有的样本图像的尺寸缩放到256×256大小，然后在缩放之后的图像上按照224×224大小尺寸进行随机裁剪和以0.5概率的随机垂直翻转来增强输入图像数据，最后对样本图像像素进行归一化到[0,1]之间。
因为真实场景中，单独评价者可进行美学评价的图像数量有限，不利于大规模深度学习网络训练。因此，本发明可以利用已经建立的图像大众美学预测模型和性格特征预测模型提取的图像大众化美学分数和性格特征，利用迁移学习的思想通过线性回归模型构建图像的性格特性和美学分数之间的关系。
因为性格特性是导致图像个性化美学分数重要因素，所以本发明利用线性回归模型构建性格特性和美学分数之间的关系模型，并利用图像的个性化美学分数训练构建好的关系模型来获取五种性格特征的权重W，最终预测得到图像的个性化美学分数。具体为：首先利用上述两个模型提取样本图像的五种性格特征和大众化的美学分数，然后利用线性回归模型建立个性化美学预测模型，线性回归模型的预测函数为：
其中，为图像经过性格特征预测模型得到的五种性格特征，为图像经过大众化美学模型得到的大众化美学分数，W为预定的五种性格权重，为预测得到的个性化美学分数，为了使得预测得到图像个性化美学分数和真实的图像个性化美学分数保持一致，本发明使用两者之间的欧式距离作为损失函数进行训练来优化个性化美学预测模型的网络参数，损失函数LQ的计算公式为：
其中，Qp和分别为图像个性化美学分数的真实结果和预测结果。本发明通过梯度下降法对训练图像进行不断迭代来优化损失函数，直至计算的损失函数结果小于阈值为止，比如阈值可以取0.001，通过上述训练可以把先前已知先验知识迁移到个性化美学评价模型上。
最后，对于待测试图像，通过调用图像的大众化美学评价模型、性格特征预测模型和个性化美学评价模型，不仅可以预测出个体对图像的个性化美学评分，而且还可以预测图像的大众化美学评分和偏好此图像的个体的五种性格特征数值。
性能测试和实验分析：
本发明所述的美学图像数据集和个性化美学图像数据集都来自于文献：Ren J,Shen X,Lin Z,et al.Personalized image aesthetics[C]//Proceedings of 2017IEEEInternational Conference on Computer Vision.Piscataway NJ:IEEE,2017:638-647.本发明把文献中FLICKR-AES数据集中的训练集作为美学图像数据集，FLICKR-AES图像数据集的训练集由35,263幅图像组成，每幅图像都有5位个体的美学评分。本发明把FLICKR-AES图像数据集中的测试集作为个性化美学图像数据集，FLICKR-AES图像数据集的测试集由4,737幅图像组成，总共有37位个体对其中部分图像进行美学评分，每位个体进行美学评分的图像数量从105到171幅不等。FLICKR-AES图像数据集中个体的美学评分范围在[1,5]之间，为便于计算，本发明将所有的美学评分归一化到[0,1]之间。
本发明所述的性格图像数据集来自于文献：M.Cristani,A.Vinciarelli,C.Segalin,and A.Perina.Unveiling the multimedia unconscious:Implicitcognitive processes and multimedia content analysis[C]//Proceedings of ACMInternational Conference on Multimedia,New York,NY,USA,2013:213-222提出的PsychoFlickr数据集，PsychoFlickr数据集收集了Flickr上300位个体的60000张偏好图像，每位个体200张图像。并且每个个体的都通过BFI-10调查问卷的方式来获取他们的五种性格特征。BFI-10调查问卷包含10个问题，每个问题的答案从“非常不同意”到“非常同意”五个选项，最终计算得到个体的五种性格特征数值范围在[-4,4]之间，为了便于计算，本发明把五种性格特征数值标准化到[-1,1]之间。
本发明首先使用FLICKR-AES图像训练集的全部图像进行图像的大众化美学评价模型的训练，同时使用PsychoFlickr数据集中的全部图像进行性格特征预测模型的训练。待上述两个模型训练完成，使用FLICKR-AES图像测试集中每位个体进行美学评分的100幅图像进行个性化美学评价模型的微调训练，用每位个体进行美学评分的其余图像进行测试。
本发明方法与提出FLICKR-AES数据集文献中的Ren方法进行图像个性化美学预测性能的对比，因为图像美学中最重要指标是主客观预测结果排序相关性，本发明使用斯皮尔曼相关系数(Spearman Rank Order Correlation Coefficient,SROCC)来衡量两种方法的性能，SROCC用于定量度量性格预测结果与真实结果的排序相关性，SROCC值越大，方法的预测性能越好。本发明对FLICKR-AES图像测试集中每位个体对图像的个性化美学评价结果采取两种方式训练和测试，具体为分别随机选取10幅或100幅图像以及对应的个性化美学评价结果进行训练，并用剩余的图像进行测试，最终把37位个体的个性化美学预测性能的平均结果作为整体预测性能。
表1给出了两种方法个性化美学评价性能对比。由表中可以看出，本发明对FLICKR-AES图像测试集中37位个体的整体预测性能高于Ren的方法，说明了本发明在图像的个性化美学评价上具有很高的准确性。
表1：个性化美学评价性能对比
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种基于性格特征的个性化图像美学评价方法，其特征在于，该方法包括如下步骤：
(1)采集美学图像数据集，性格图像数据集，个性化图像数据集；
(2)对上述三种数据集中的图像进行预处理；
(3)构建待训练的图像美学评价网络模型和图像性格特征网络模型；
(4)将预处理后的美学评价图像和性格特征图像输入到网络模型中进行训练，训练得到符合要求的网络模型；
(5)利用线性回归模型构建图像的性格特性和美学之间的关系模型，并将个性化图像输入到步骤(4)训练好的模型中获取预测性格特征和大众化美学分数，利用图像个性化美学分数训练构建好的回归模型获得符合个性化的美学预测模型；
(6)对于待测试美学图像，利用已建立的个性化美学评价模型，实现个体个性化美学评价。
2.根据权利要求所述的一种基于性格特征的个性化图像美学评价方法，其特征在于，步骤(1)中，采集美学图像数据集，性格图像数据集，个性化图像数据集，方法如下：
(1.1)美学图像数据集
(1.1.1)获取图像以及评价者对图像的美学打分得到，每幅图像的美学分数都是由多个评价者进行评价得到；
(1.1.2)提取美学图像数据集中待训练的样本图像Ia，以及对应的m个评价者对图像的美学评分其中，n为待训练的样本图像数量，m为对每幅样本图像进行美学打分的评价者的数量，a＝1,2,…,n；
(1.1.3)把图像的大众化美学分数Sa划分到[0,1]之间；
(1.1.4)把每幅样本图像的多个美学评分的平均值作为此图像的大众化美学分数：
其中，Sa为图像的大众化美学分数；
(1.2)性格图像数据集
(1.2.1)收集社交媒体上n1位用户标记的m1幅偏好图像，每位用户标记了m1/n1幅偏好图像，并利用性格调查问卷获取每位用户的五种性格特征，把用户的性格特征看成其偏好图像的性格特征属性；
(1.2.2)提取性格图像数据集中待训练的样本图像Ib，b＝1,2,…,m1，其中m1为待训练的样本图像数量；然后把每个用户的五种性格特征数值作为其偏好图像的性格特征，因此性格图像数据集中每幅图像都对应一组性格特征数值
(1.2.3)最后把样本图像的五种性格特征标准化到[-1,1]之间，i＝1,2,…5；
(1.3)个性化图像数据集
(1.3.1)采集待训练的样本图像Ip和对应个体的个性化美学评分Qp，p＝1,2,…,n2，其中，n2为待训练的样本图像数量，其中，Qp为单独评价者对图像的个性化美学分数；
(1.3.2)把Qp归一化到[0,1]之间。
3.根据权利要求2所述的一种基于性格特征的个性化图像美学评价方法，其特征在于，步骤(2)中，对上述三种数据集中的图像进行预处理，方法如下：把所有的样本图像的尺寸缩放到预定尺寸大小，然后在缩放之后的图像上按照预设尺寸的大小进行随机裁剪和以预设概率的随机垂直翻转增强输入图像数据，并把样本图像的像素值归一化到[0,1]之间。
4.根据权利要求3所述的一种基于性格特征的个性化图像美学评价方法，其特征在于，步骤(3)中，构建待训练的图像美学评价网络模型，方法如下：基础网络模型为18层的ResNet，把Resnet最后的输出层替换成两个全连接层和一个输出层；两个全连接层分别由1024个和512个节点组成，输出层为最终预测的大众化美学分数，在每一个全连接层后增加一个BN层和一个Dropout层，使用Sigmoid激活函数作为输出层的激活函数。
5.根据权利要求4所述的一种基于性格特征的个性化图像美学评价方法，其特征在于，步骤(3)中，构建待训练的图像性格特征网络模型，方法如下：基础网络模型为18层的ResNet，把Resnet最后的输出层替换成两个全连接层和一个输出层；两个全连接层分别由1024个和512个节点组成，输出层为最终预测的五种性格特征，在每一个全连接层后增加一个BN层和一个Dropout层，使用Tanh激活函数作为输出层的激活函数。
6.根据权利要求5所述的一种基于性格特征的个性化图像美学评价方法，其特征在于，以上模型训练时，两个模型训练的采样如下损失函数：
其中，Sa和分别为图像大众化美学分数的真实结果和预测结果，通过梯度下降法对训练图像进行不断迭代来优化损失函数，直至计算的损失函数结果小于阈值为止，最终得到图像的美学评价模型；
其中，和分别为图像的五种性格特征的真实结果和预测结果，通过梯度下降法对训练图像进行不断迭代来优化损失函数，直至计算的损失函数结果小于阈值为止，最终得到图像的性格特征预测模型。
7.根据权利要求6所述的一种基于性格特征的个性化图像美学评价方法，其特征在于，图像美学评价网络模型和图像性格特征网络模型训练时，既可以是分别单独训练，也可以交替训练。
8.根据权利要求7所述的一种基于性格特征的个性化图像美学评价方法，其特征在于，步骤(5)中，利用线性回归模型构建性格特性和美学分数之间的关系模型，并将个性化图像输入到步骤(4)训练好的模型中获取预测性格特征和大众化美学分数，利用图像个性化美学分数训练构建好的回归模型获得符合个性化的美学预测模型，方法如下：首先利用上述两个模型提取样本图像的五种性格特征和大众化的美学分数，然后利用线性回归模型获取五种性格特征的权重W，线性回归模型的预测函数为：
其中，其中，为图像经过性格特征预测模型得到的五种性格特征，为图像经过大众化美学模型得到的大众化美学分数，W为预定的五种性格权重，为预测得到的个性化美学分数。
9.根据权利要求8所述的一种基于性格特征的个性化图像美学评价方法，其特征在于，使用两者之间的欧式距离作为损失函数进行训练来优化个性化美学预测模型的网络参数，损失函数LQ的计算公式为：
其中，Qp和分别为图像个性化美学分数的真实结果和预测结果，通过梯度下降法对训练图像进行不断迭代来优化损失函数，直至计算的损失函数结果小于阈值为止。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910006656.7A CN109902912B (zh) | 2019-01-04 | 2019-01-04 | 一种基于性格特征的个性化图像美学评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910006656.7A CN109902912B (zh) | 2019-01-04 | 2019-01-04 | 一种基于性格特征的个性化图像美学评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109902912A true CN109902912A (zh) | 2019-06-18 |
| CN109902912B CN109902912B (zh) | 2023-04-07 |
Family
ID=66943585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910006656.7A Active CN109902912B (zh) | 2019-01-04 | 2019-01-04 | 一种基于性格特征的个性化图像美学评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109902912B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321864A (zh) * | 2019-07-09 | 2019-10-11 | 西北工业大学 | 基于多尺度裁剪机制的遥感图像文字说明生成方法 |
| CN110689523A (zh) * | 2019-09-02 | 2020-01-14 | 西安电子科技大学 | 基于元学习个性化图像信息评价方法、信息数据处理终端 |
| CN111062930A (zh) * | 2019-12-20 | 2020-04-24 | 腾讯科技（深圳）有限公司 | 图像的选取方法、装置、存储介质和计算机设备 |
| CN111199540A (zh) * | 2019-12-27 | 2020-05-26 | Oppo广东移动通信有限公司 | 图像质量评价方法、装置、电子设备及存储介质 |
| WO2021092808A1 (zh) * | 2019-11-13 | 2021-05-20 | 深圳市欢太科技有限公司 | 网络模型的训练方法、图像的处理方法、装置及电子设备 |
| CN112862569A (zh) * | 2021-03-04 | 2021-05-28 | 上海交通大学 | 基于图像和文本多模态数据的产品外观风格评价方法和系统 |
| CN113449205A (zh) * | 2021-08-30 | 2021-09-28 | 四川省人工智能研究院(宜宾) | 一种基于元数据增强的推荐方法及系统 |
| CN116109456A (zh) * | 2023-04-03 | 2023-05-12 | 成都大学 | 一种智慧教育综合评价方法、系统、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961245A (zh) * | 2018-07-06 | 2018-12-07 | 西安电子科技大学 | 基于双通道深度并行卷积网络的图像质量分类方法 |
| CN109063778A (zh) * | 2018-08-09 | 2018-12-21 | 中共中央办公厅电子科技学院 | 一种图像美学质量确定方法及系统 |
-
2019
- 2019-01-04 CN CN201910006656.7A patent/CN109902912B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961245A (zh) * | 2018-07-06 | 2018-12-07 | 西安电子科技大学 | 基于双通道深度并行卷积网络的图像质量分类方法 |
| CN109063778A (zh) * | 2018-08-09 | 2018-12-21 | 中共中央办公厅电子科技学院 | 一种图像美学质量确定方法及系统 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321864A (zh) * | 2019-07-09 | 2019-10-11 | 西北工业大学 | 基于多尺度裁剪机制的遥感图像文字说明生成方法 |
| CN110689523A (zh) * | 2019-09-02 | 2020-01-14 | 西安电子科技大学 | 基于元学习个性化图像信息评价方法、信息数据处理终端 |
| WO2021092808A1 (zh) * | 2019-11-13 | 2021-05-20 | 深圳市欢太科技有限公司 | 网络模型的训练方法、图像的处理方法、装置及电子设备 |
| CN111062930A (zh) * | 2019-12-20 | 2020-04-24 | 腾讯科技（深圳）有限公司 | 图像的选取方法、装置、存储介质和计算机设备 |
| CN111199540A (zh) * | 2019-12-27 | 2020-05-26 | Oppo广东移动通信有限公司 | 图像质量评价方法、装置、电子设备及存储介质 |
| CN112862569A (zh) * | 2021-03-04 | 2021-05-28 | 上海交通大学 | 基于图像和文本多模态数据的产品外观风格评价方法和系统 |
| CN112862569B (zh) * | 2021-03-04 | 2023-04-07 | 上海交通大学 | 基于图像和文本多模态数据的产品外观风格评价方法和系统 |
| CN113449205A (zh) * | 2021-08-30 | 2021-09-28 | 四川省人工智能研究院(宜宾) | 一种基于元数据增强的推荐方法及系统 |
| CN113449205B (zh) * | 2021-08-30 | 2021-11-09 | 四川省人工智能研究院(宜宾) | 一种基于元数据增强的推荐方法及系统 |
| CN116109456A (zh) * | 2023-04-03 | 2023-05-12 | 成都大学 | 一种智慧教育综合评价方法、系统、电子设备及存储介质 |
| CN116109456B (zh) * | 2023-04-03 | 2023-07-28 | 成都大学 | 一种智慧教育综合评价方法、系统、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109902912B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902912B (zh) | 一种基于性格特征的个性化图像美学评价方法 | |
| CN109544524B (zh) | 一种基于注意力机制的多属性图像美学评价系统 | |
| CN110689523A (zh) | 基于元学习个性化图像信息评价方法、信息数据处理终端 | |
| CN109637207A (zh) | 一种学前教育互动教学装置及教学方法 | |
| CN109885595A (zh) | 基于人工智能的课程推荐方法、装置、设备及存储介质 | |
| CN111126864A (zh) | 一种基于人机对抗评分的街道品质评估方法 | |
| CN115601772B (zh) | 一种基于多模态学习的美学质量评价模型和方法 | |
| CN112529054B (zh) | 一种多源异构数据的多维度卷积神经网络学习者建模方法 | |
| CN109711356B (zh) | 一种表情识别方法和系统 | |
| CN110378736B (zh) | 通过人脸表情识别评价游客对自然资源体验满意度的方法 | |
| CN115131698B (zh) | 视频属性确定方法、装置、设备及存储介质 | |
| CN112148994B (zh) | 信息推送效果评估方法、装置、电子设备及存储介质 | |
| CN117940941A (zh) | 基于注意力确定的会议会话控制 | |
| CN115545982A (zh) | 一种在线学生异质分组系统及方法 | |
| Chen et al. | Intelligent teaching evaluation system integrating facial expression and behavior recognition in teaching video | |
| Villegas-Ch et al. | Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques | |
| CN116701706B (zh) | 一种基于人工智能的数据处理方法、装置、设备及介质 | |
| CN113158872A (zh) | 一种在线学习者情绪识别方法 | |
| CN114186497B (zh) | 艺术作品价值智能化解析方法、系统、设备及介质 | |
| CN109299805A (zh) | 一种基于人工智能的在线教育课程请求处理方法 | |
| Huang et al. | Research on learning state based on students’ attitude and emotion in class learning | |
| Ramos et al. | A Facial Expression Emotion Detection using Gabor Filter and Principal Component Analysis to identify Teaching Pedagogy | |
| Punj et al. | Detection of emotions with deep learning | |
| Li | Evaluation Technology of Students’ Learning Status in Chinese Classroom Based on Deep Learning | |
| Dou | Application of expression recognition based on genetic algorithm in English distance teaching platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |