CN113378885B - 一种基于优选图像对的新用户审美偏好标定和分类方法 - Google Patents

Abstract

本发明公开了一种基于优选图像对的新用户审美偏好标定和分类方法，包括S1，对用户代表数据库中的用户美学偏好进行聚类分析，从而得到用户代表美学评分数据集；S2，对用户代表美学评分数据集进行数据清洗，从清洗后的数据集中挑选出优选图像对，以及，基于优选图像对的用户审美偏好表达方法对用户代表的审美偏好进行重新标定，并基于该标定数据训练生成用户美学分类决策树；S3，对用户美学分类决策树的非叶节点的优选图像对进行用户美学偏好抉择，直至到达叶节点，从而对新用户进行美学偏好分类；通过简单交互的方式通过决策树确定新用户类别，对新用户个性化偏好分类准确有效。

Description

一种基于优选图像对的新用户审美偏好标定和分类方法

技术领域

本发明涉及计算机视觉的技术领域，具体涉及一种基于优选图像对的新用户审美偏好标定和分类方法。

背景技术

图像美学质量评估(或称为审美评估)是利用计算机模拟人类对美的感知和认知，自动评价图像的“美感”。图像美学质量评估是计算美学与计算机视觉、心理学、虚拟现实等领域的学科交叉新方向，其核心是利用计算机来模拟人类对图像内容偏好和构图偏好，其中包括图像的背景、颜色、光影、景深、虚实等美学因素影响下所形成的美感刺激，从而模拟人类对美的感知与认知，自动评价图像的“美感”，对图像“美感度”进行评分。

图像美学质量评估在图像推荐、图像编辑美学等行业具有良好的应用前景。图像美学质量评估的结果不仅可以根据用户特点向用户推送图片，还可以作为图像裁剪或者美学编辑提供重要的参考。面对同一副图像，不同的人可能会有不同的美学评价。图像美学质量评估往往带有大量的个人感情色彩。从图像美学质量评估的应用场景来分析：在图像、海报的个性化推荐等领域，一款应用除了要考虑到通用的大众美学审美外，还需要考虑到个人独特的审美特点。应用市场对个性化美学评估的需求与日俱增。例如针对特定用户推荐特定的内容的个性化美图推荐。应用市场对个性化美学评估的需求与日俱增。

综上可以看出，与通用图像美学评估相比，个性化图像美学质量评估能针对特定用户推荐特定的内容，已成为时代发展的热潮，具有重要的实际应用价值。

对用户进行个性化美学评分时，通常需要搜集用户美学偏好数据。传统的用户美学偏好数据采集方法分为二种：一种是对和最终任务相关的特定领域中的少量图像逐张进行人工标定美学评分；另一种是对指定的通用图像数据集进行大规模逐张进行美学评分人工标定。

前者一般采用交互式反馈的方式采集用户审美偏好数据，该方法适合诸如图像编辑等用户可以进行大量不定时交互的场合；并且由于该方式标定的数据一般属于一个特定领域，图像类型固定，只能获取用户部分美学偏好数据，扩展性差，无法用于与标定数据类型不同的图像美学评价。

后者存在人工标注的工作量太大、美学评价数据存在偏差、标定方式对新用户不友好等缺点，所以传统方法缺乏采集新用户的图像审美评分偏好的机制，只能面向已建模用户进行图像美学质量评分。

针对新用户的美学评分，现有的个性化美学质量评分方法采取了元学习、强化学习或提取用户图像的视觉特征并引入社交图像的语义信息等方法来实现。而这些方法都是采用密集标定美学评分的传统方式表示用户美学偏好，具有以下局限性。

1)人工标注的工作量太大。

2)美学评价数据存在偏差。没有统一的美学评分规则，所以用户的打分带有一定随意性。

3)标定方式对新用户不友好，由于缺乏采集新用户的图像审美偏好的机制，只能面向已建模用户进行图像美学质量评估。

这就造成了现有的大部分美学评分系统都无法扩展到新用户上的困境。

发明内容

本发明为了解决上述问题，提出了一种基于优选图像对的新用户审美偏好标定和分类方法，基于优选图像对的用户美学偏好标定不需要进行精确的美学评分分数标定，规则明确而统一、对用户友好且高效的、可解释性强，基于该偏好标定方式通过训练建立了用户分类决策树。只需进行少量的简易反馈就能对新用户偏好进行建模，以交互式的方式通过决策树去决定新用户的类别，对用户个性化偏好分类准确有效。

本发明提供了一种基于优选图像对的新用户审美偏好标定和分类方法，包括：S1，对用户代表数据库中的用户美学偏好进行聚类分析，从而得到含有用户审美偏好类别信息的用户美学评分数据集；S2，对用户代表美学评分数据集进行数据清洗，并从清洗后的数据集中挑选出优选图像对，以及，基于优选图像对的用户审美偏好表达方法对用户代表的审美偏好进行重新标定，并基于该标定数据训练生成用户美学分类决策树；S3，对用户美学分类决策树的非叶节点的优选图像对进行用户美学偏好抉择，直至到达叶节点，从而对新用户进行美学偏好分类。

进一步的，所述步骤S2中，基于优选图像对的用户审美偏好表达方法对用户代表的审美偏好进行重新标定，具体包括：基于用户代表美学评分数据集对优选图像对(A,B)的美学评分的高低，对优选图像对(A,B)的用户美学偏好进行重新标定，若对任意图像对(A,B)中的图像A的美学评分高于图像B，则将对应的图像对的用户美学偏好的标定为1，否则标定为0。

进一步的，步骤S1中，对用户代表美学评分数据库中的用户美学偏好进行聚类分析具体包括：S11，用户代表美学评分数据库中的给定用户美学信息集合Q＝{q₁,q₂,...,q_n}，图像数据集P＝{p₁,p₂,...,p_Np}，第i个用户的美学信息

其中n为用户代表数目，图像总数N_p，

为第i个用户对X中第j幅图像p_j的美学评价；S12，采用聚类分析方法按样本间的相似度将q₁,q₂,...,q_n划分为k个不相交的子集Q₁,Q₂,...,Q_k，且

即将n个用户划分为k类审美偏好，从而得到用户美学评分数据集，以及,得到美学用户类别隶属度函数φ(q_n)；S13，基于美学用户类别隶属度函数得到第i个用户类别m＝φ(q_i)，q_i∈Q_m，m∈[1,k]。

进一步的，步骤S11中的第i个用户的美学信息为美学评分分数或基于图像对的美学偏好表达，步骤S12中的聚类分析方法采用K-Means

进一步的，步骤S2具体包括：S21，基于数据清洗阈值T_c，从用户美学评分数据集的用户信息数据集

和图像集

中删除置信度较低的样本，得到用户集合U'和图像集合X'，

其中,N_u为用户信息数据集用户数，N_p为图像总数，N_u'为经过数据清洗后的训练集用户数，N_p'为经过数据清洗后的图像总数,

用户个性化类别集Class＝{c₁,c₂...c_n}，c_i∈Class；S22，从U'和X'挑选出优选图像对pInd_k＝(pInd_k，1，pInd_k，2)，将优选的图像对pInd_k放入决策树属性集PInd，其中，k＝1，2,3，…，N_t,，pInd_k，1和pInd_k，2均为图像在X中的序号，其中，N_t为图像对数据总量；S23,基于U'中每个用户u_i和决策树属性集PInd中每个图像对pInd_k生成训练样本

其中图像

为用户i对图像pInd_k，1与图像pInd_k，2评分比对后的结果，若该用户对图像pInd_k，1的评分高于对图像pInd_k，2评分，则

值为1；若该用户对图像pInd_k，1的评分低于对图像评分pInd_k，2，

值为0，训练样本类别

S24，将训练样本a_n加入到训练集A中，直至得到完整的训练集A；S25，通过CART方法结合训练集A建立美学分类决策树。

进一步的，步骤S21具体包括：S211，对于用户信息数据集U中每个用户u_i，如果用户i的评分集合和类别标签均不为空，则将用户信息数据集中的用户i的信息u_i放入数据清洗后的用户集合U'中；S212，对图像集中的每一个图像x_i，将用户j的评分S_j，i放入图像x_i的评分集合

中，若图像x_i的评分集合

的方差大于数据清洗阈值T_c，则将图像x_i放入数据清洗后的图像集合X'中。

进一步的，步骤S22中从用户集合U'和图像集合X'挑选出优选图像对pInd_k＝(pInd_k，1，pInd_k，2)，具体包括：S221，从用户集合U'和图像集合X'中选出图像对pInd_k＝(i,j)，其中，i和j均为[1,N_p]区间的整数且i≠j；S222，计算对于U'中每一个用户u_m对图像对pInd_k的评分差异之和w_k＝w_k+|s_m,i-s_m,j|，作为该图像对的采样权值w_k；S223，用低方差重采样从集合

中采样，pInd_k重采样的概率与其权值w_k成比例，采样次数为N_f，将采样结果放入图像对集合PInd'中。

进一步的，步骤S25还包括：S251，基于正则化的极大似然损失函数对生成的决策树进行约束；S252，基于CART算法进行训练构建决策树模型，并基于预剪枝方法防治过拟合。

进一步的，步骤S3具体包括：S31，从美学分类决策树根节点N出发，按美学分类决策树的引导，对优选图像对进行选择；S32，基于对优选图像对的偏好选择，通过美学分类决策树对应的路径到达美学分类决策树的子节点N^*；S33，将子节点N^*作为出发点，重复步骤S32直至得到美学分类决策树T对其个性化分类结果C，其中C∈Class；S34，计算用户i的分类结果的隶属度，若计算得到的隶属度低于预设阈值，则该用户为新类别且需要对数据集进行密集评分；若计算出的隶属度高于预设阈值，则输出用户i的个性化分类结果C。

发明的有益技术效果如下：

1、基于优选图像对的用户美学偏好标定方法无需精确的美学评分分数标定，而采用对图像对进行美学排序的新的标定方式，规则明确统一，对用户友好高效，并且可解释性强；

2、基于优选图像对的用户美学偏好标定方法建立决策树，仅需少量的简单反馈就能对新用户偏好进行建模，克服了新用户建模的困难；

3、实现通过极少量的图像对的排序逐步得到用户美学偏好类别，对用户个性化偏好分类准确有效。

附图说明

图1为本发明实施例中的流程图；

图2为基于优选图像对的新用户审美偏好标定和分类方法的实施例示意图。

具体实施方式

为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。

本发明的目的在于提出了一种基于优选图对的新用户审美偏好标定和分类方法，从而解决个性化美学评分时人工标注的工作量太大、美学评价数据存在偏差、标定方式对新用户不友好等缺点，以及解决缺乏采集新用户的图像审美评分偏好的机制，下面结合实施例进行详细说明。

如图1所示为本发明实施例中的流程图，具体包括：

S1，对用户代表美学评分数据库中的用户美学偏好进行聚类分析，从而得到含有用户审美偏好类别信息的用户代表美学评分数据集；S2，对用户代表美学评分数据集进行数据清洗，并从清洗后的数据集中挑选出优选图像对，以及，基于优选图像对的用户审美偏好表达方法对用户代表的审美偏好进行重新标定，并基于该标定数据训练生成用户美学分类决策树；S3，对用户美学分类决策树的非叶节点的优选图像对进行用户美学偏好抉择，直至到达叶节点，从而对新用户进行美学偏好分类。

在本发明的示出实施例中，对本发明方法步骤逐一描述。

S1，对用户代表数据库中的用户美学偏好进行聚类分析，从而得到用户美学评分数据集；其中，步骤S1中对用户代表数据库中的用户美学偏好进行聚类分析具体包括：

S11，给定用户美学信息集合U＝{u₁,u₂,...,u_n}，图像数据集

n为用户代表数目，图像总数N_p，第i个用户的美学信息

其中

为第i个用户对X中第j幅图像x_j的美学评价。

需要注意的是，本步骤中第i个用户的美学信息可以是美学评分分数，也可以是基于优选图像对的美学偏好表达。本文实验选用美学评分分数，聚类方法采用K-Means。

S12，采用聚类分析方法按样本间的相似度将u₁,u₂,...,u_n划分为k个不相交的子集U₁,U₂,...,U_k，且

即将n个用户划分为k类审美偏好，从而得到美学用户类别隶属度函数φ(u_n)；

S13，基于美学用户类别隶属度函数得到第i个用户类别m＝φ(u_i)，u_i∈U_m，m∈[1,k]。

S2，对用户美学评分数据集进行数据清洗，并从清洗后的数据集中挑选出优选图像对，以及，基于优选图像对的用户审美偏好表达方法对用户代表的审美偏好进行重新标定，并基于该标定数据训练生成用户美学分类决策树。

其中，基于用户代表美学评分数据集对优选图像对(A,B)的美学评分，对优选图像对(A,B)的用户美学偏好进行重新标定，若对任意图像对(A,B)中的图像A的美学评分高于图像B，则将对应的图像对的用户美学偏好的标定为1，否则标定为0，即对经过清洗后的用户代表美学评分数据集的中对优选图像对(A,B)的美学评分的高低，转换为用基于优选图像对的用户审美偏好表达方法重新标定为二进制数，并基于重新标定的二进制数据训练生成用户美学分类决策树。

需要说明的是，用户美学评分数据集进行数据清洗，是要剔除置信度较低的用户信息和图片。并且在选择优选图像对时，需要注意，1)所挑选的两幅图像A和B的评分差异越大越容易被选中；2)图像A或B的得分方差越大越好，即不同的人对该幅图像的审美评分差异越大越容易被选中。

在本发明的一个实施例中，将FLICKR-AES数据集分为训练集和测试集，其中，训练集用于作构建决策树，首先使用K-Means算法按照训练集中用户对图像的评估信息对用户进行聚类，然后训练集中剔除置信度较低的数据。

其中，对于用户信息数据集U中每个用户u_i，如果用户i的评分集合和类别标签均不为空，则将用户信息数据集中的用户i的信息u_i放入数据清洗后的用户集合u'中；将用户j对图像集中的每一个图像x_i的评分S_j，i放入图像x_i的评分集合

中，如图像x_i的评分集合

的方差大于数据清洗阈值，则将图像x_i放入数据清洗后的图像集合X'中。

从U'和X'挑选出优选图像对pInd_k＝(pInd_k，1，pInd_k，2)，将优选的图像对pInd_k放入决策树属性集PInd，其中，k＝1，2,3，…，N_t,，pInd_k，1和pInd_k，2均为图像在X中的序号。将挑选出的图像对作为构建决策树的属性特征。

其中从U'和X'挑选出优选图像对pInd_k＝(pInd_k，1，pInd_k，2)具体包括，S231，从U'和X'中选出图像对pInd_k＝(i,j)，其中，i和j均为[1,N_p]区间的整数且i≠j；S232，计算对于U'中每一个用户u_m对图像对pInd_k的评分差异之和，w_k＝w_k+|s_m,i-s_m,j|，作为该图像对的采样权值w_k；S233，用低方差重采样从集合

中采样，pInd_k重采样的概率与其权值w_k成比例，采样次数为N_f，将采样结果放入图像对集合PInd'中。

依次为用户集合U'中每个用户u_i和决策树属性集PInd中每个图像对pInd_k生成训练样本

其中图像

为用户i对图像pInd_k，1与图像pInd_k，2评分比对后的结果，若该用户对图像pInd_k，1的评分高于对图像pInd_k，2评分，则

值为1；若该用户对图像pInd_k，1的评分低于对图像评分pInd_k，2，

值为0，训练样本类别

将训练样本a_n加入到训练集A中，直至得到完整的训练集A；通过然后通过CART方法结合训练集A生成决策树。

S3，对用户美学分类决策树的非叶节点的优选图像对进行用户美学偏好抉择，直至到达叶节点，从而对新用户进行美学偏好分类。

新用户根据用户美学分类决策树的引导，并不断根据非叶节点中的优选图像对进行用户美学偏好抉择，即从非叶节点中给定的两幅图像中选择个人更喜欢的一幅直至到达叶节点，从而对新用户进行美学偏好分类，判断得出该用户属于哪一类个性化用户，然后通过训练好的美学质量评估模型对该类用户进行美学质量评估。

S31，新用户i从美学分类决策树根节点N出发，按美学分类决策树的引导对图像对进行选择；

S32，基于新用户对优选图像对的偏好选择对应的路径到达美学分类决策树的子节点N^*；

S33，将当前子节点N^*作为出发点，重复步骤直至得到美学分类决策树T对其个性化分类结果C，其中C∈Class；

S34，计算新用户i的分类结果的隶属度，若计算得到的隶属度低于预设阈值，则该用户为新类别且需要对数据集进行密集评分；若计算出的隶属度高于预设阈值，则输出新用户i的个性化分类结果C。

本发明实施例的具体实施方式如下：用二进制表示用户对每幅图像对的美学评分，若用户i对图像A的美学评分高于图像B的美学评分，则其对应的二进制编码为1，否则为0。

如图2所示，为基于优选图像对的新用户审美偏好标定和分类方法的实施例示意图，

用户代表1通过对第一组图像对的图像A和图像B进行比较得到对第一个图像对的美学偏好，对应的二进制编码为1。

第i组图像对的图像A和图像B进行比较得到第i个图像对的美学偏好为0，直至最后一组图像对中的图像A和图像B进行比较得到最后一组图像对的美学偏好为0，因此得到用户代表1的美学偏好11…010…0。

同样的得到用户代表2的美学偏好为01…001…1，用户代表n的美学偏好为10…110…1，从而完成对有选图像对的重新标定，通过得到的二进制编码训练得到决策树模型，决策树的非叶节点由优选出的图像对来组成，叶节点为用户类别。如图2所示决策树模型中的J_i表示图像对，C_j表示用户个性化类别。

新用户U1根据训练后的决策树的指引，从根节点J1出发，选择偏好J1图像对中的图像A，则对应二进制编码为1，对应走到子节点J2,从子节点J2出发，然后选择偏好J2的图形对中的图像A，则对应到达子节点J6，重复以上步骤，直至达到叶子节点C12，对应用户的分类结果为C12。同样的，得到新用户U2的分类结果C6。

将本发明的基于优选图像对的新用户审美偏好标定和分类方法应用在FLICKR数据集上的实验表明，该方法的用户个性化偏好分类准确有效。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种基于优选图像对的新用户审美偏好标定和分类方法，其特征在于，具体包括：

S1，对用户代表美学评分数据库中的用户美学偏好进行聚类分析，从而得到含有用户审美偏好类别信息的用户代表美学评分数据集；

S2，对用户代表美学评分数据集进行数据清洗，基于数据清洗阈值，从用户代表美学评分数据集的用户信息数据集和图像集中删除置信度较低的样本，得到用户集合和图像集合，从用户集合和图像集合中挑选出图像对，对于用户集合中的每一个用户，对图像对进行评分差异和得分方差计算，基于评分差异和得分方差选择优选图像对；

以及，基于用户代表美学评分数据集对优选图像对的美学评分的高低，对优选图像对的用户美学偏好进行重新标定，若对任意图像对(A,B)中的图像A的美学评分高于图像B的美学评分，则将对应的图像对的用户美学偏好的重新标定为1，否则重新标定为0，并基于重新标定数据训练生成用户美学分类决策树；

S3，对用户美学分类决策树的非叶节点的优选图像对进行用户美学偏好抉择，直至到达叶节点，从而对新用户进行美学偏好分类。

2.如权利要求1所述的基于优选图像对的新用户审美偏好标定和分类方法，其特征在于，步骤S1中，对用户代表美学评分数据库中的用户美学偏好进行聚类分析具体包括：

S11，用户代表美学评分数据库中的给定用户美学信息集合Q＝{q₁,q₂,...,q_n}，图像数据集

第i个用户的美学信息

其中n为用户代表数目，图像总数N_p，

为第i个用户对X中第j幅图像x_j的美学评价；

S12，采用聚类分析方法按样本间的相似度将q₁,q₂,...,q_n划分为k个不相交的子集Q₁,Q₂,...,Q_k，即将n个用户划分为k类审美偏好，从而得到用户美学评分数据集，以及,得到美学用户类别隶属度函数φ(q_n)；

S13，基于美学用户类别隶属度函数得到第i个用户类别m＝φ(q_i)，q_i∈Q_m，m∈[1,k]。

3.如权利要求2所述的基于优选图像对的新用户审美偏好标定和分类方法，其特征在于，步骤S11中，第i个用户的美学信息为美学评分分数或基于图像对的美学偏好表达；步骤S12中所述的聚类分析方法采用K-Means。

4.如权利要求1所述的基于优选图像对的新用户审美偏好标定和分类方法，其特征在于，步骤S2具体包括：

S21，基于数据清洗阈值T_c，从用户代表美学评分数据集的用户信息数据集

和图像集

中删除置信度较低的样本，得到用户集合U'和图像集合X'，

其中,N_u为用户信息数据集用户数，N_p为图像总数，N_u'为经过数据清洗后的训练集用户数，N_p'为经过数据清洗后的图像总数,

用户个性化类别集Class＝{c₁,c₂,...,c_n}，c_i∈Class；

S22，从U'和X'挑选出优选图像对pInd_k＝(pInd_k，1，pInd_k，2)，将优选的图像对pInd_k放入决策树属性集PInd，其中，k＝1，2,3，…，N_t，pInd_k，1和pInd_k，2均为图像在X中的序号，其中，N_t为图像对数据总量；

S23,基于U'中每个用户u_i和决策树属性集PInd中每个优选图像对pInd_k生成训练样本

其中图像

为用户i对图像

与图像

评分比对后的结果，若该用户对图像

的评分高于对图像

评分，则

值为1；若该用户对图像

的评分低于对图像评分

值为0，训练样本类别

S24，将训练样本a_n加入到训练集A中，直至得到完整的训练集A；

S25，通过CART方法结合训练集A建立美学分类决策树。

5.如权利要求4所述的基于优选图像对的新用户审美偏好标定和分类方法，其特征在于，步骤S21具体包括：

S211，对于用户信息数据集U中每个用户u_i，如果用户i的评分集合和类别标签均不为空，则将用户信息数据集中的用户i的信息u_i放入数据清洗后的用户集合U'中；

S212，对图像集中的每一个图像x_i，将用户j的评分s_j，i放入图像x_i的评分集合

中，若图像x_i的评分集合

的方差大于数据清洗阈值T_c，则将图像x_i放入数据清洗后的图像集合X'中。

6.如权利要求4所述的基于优选图像对的新用户审美偏好标定和分类方法，其特征在于，步骤S22中从用户集合U'和图像集合X'挑选出优选图像对pInd_k＝(pInd_k，1，pInd_k，2)，具体包括：

S221，从用户集合U'和图像集合X'中选出图像对pInd_k＝(i,j)，其中，i和j均为[1,N_p]区间的整数且i≠j；

S222，计算对于U'中每一个用户u_m对图像对pInd_k的评分差异之和w_k＝w_k+|s_m,i-s_m,j|，作为该图像对的采样权值w_k；

S223，用低方差重采样从集合

中采样，pInd_k重采样的概率与其权值w_k成比例，采样次数为N_f，将采样结果放入图像对集合PInd'中。

7.如权利要求4所述的基于优选图像对的新用户审美偏好标定和分类方法，其特征在于，步骤S25还包括：

S251，基于正则化的极大似然损失函数对生成的决策树进行约束；

S252，基于CART算法进行训练构建决策树模型，并基于预剪枝方法防治过拟合。

8.如权利要求4所述的基于优选图像对的新用户审美偏好标定和分类方法，其特征在于，步骤S3具体包括：

S31，从美学分类决策树根节点N出发，按美学分类决策树的引导，对优选图像对进行选择；

S32，基于对优选图像对的偏好选择，通过美学分类决策树对应的路径到达美学分类决策树的子节点N^*；

S33，以子节点N^*作为出发点，重复步骤S32直至得到美学分类决策树T对其个性化分类结果C，其中C∈Class；

S34，计算新用户i的分类结果的隶属度，若计算得到的隶属度低于预设阈值，则该用户为新类别且需要对数据集进行密集评分；若计算出的隶属度高于预设阈值，则输出新用户i的个性化分类结果C。

Images