CN109583498A - 一种基于低秩正则化特征增强表征的时尚兼容度预测方法 - Google Patents

Abstract

本发明公开了一种基于低秩正则化特征增强表征的时尚兼容度预测方法，包括：将特征矩阵分解成由多个视角的主特征和一个稀疏错误矩阵组成的第一目标函数；用超图项规范低秩子空间中学习到的特征，获取时尚单品之间关系的第二目标函数：引入Grassmannian流形获取不同视角下的字典基矩阵间距离最大的第三目标函数；建立多视角低秩子空间的特征和输出搭配分数的联系，在最小二乘损失部分加上稀疏正则化项，获取典型的Lasso回归即第四目标函数；获取将亲和度矩阵作为标签矩阵，建立起亲和度矩阵和学习到的特征之间的关系，最小化其间误差的第五目标函数；根据第一至第五目标函数的加权获取总目标函数，利用交替方向乘子法优化总目标函数，引入拉格朗日乘子，依次迭代更新各个视角下的参数，直至目标函数的值收敛，得到最终的预测分数。

Description

一种基于低秩正则化特征增强表征的时尚兼容度预测方法

技术领域

本发明涉及多媒体环境下的服饰分析领域，尤其涉及一种基于低秩正则化特征增强表征的时尚兼容度预测方法。

背景技术

随着社会生产力的提高，人们的消费水平也逐渐升高，人们越来越注重对时尚的追求和提升个人形象。时尚搭配主要是指上装，下装，鞋子，配饰等在款式，颜色以及材质上的协调，以期达到整体潮流，大方的感觉。然而，并不是每个人都专注于服装搭配来使服装与繁琐的日常生活相匹配，因为它涉及风格定义，颜色分析，穿衣协调等方面。在目前，中国市场需要至少600万专业服装搭配师，而人才缺口约为480万，为了缓解这个问题，时尚搭配性的自动分析被认为是一种有效的方法，可以提升个人形象，从而成为改善在线时尚推荐系统的基础。

近年来，时尚分析已成为多媒体领域中一个有吸引力的研究方向，以改善服务和购物体验。以前的研究主要集中在利用视觉信息来解决各种任务，如服装语义识别，服装解析，服装检索，时尚推荐和时尚流行度预测，只有一小部分来研究时尚搭配度评分。在网络购物盛行的时代，时尚搭配度评分在网络购物时可以为人们提供一定的参考意见，具有十分重要的现实意义。

因此提出一种省时有效的时尚搭配度打分方法是很有意义的。

发明内容

本发明提供了一种基于低秩正则化特征增强表征的时尚兼容度预测方法，本发明致力于解决服装搭配度评价的问题，提出了一种时尚兼容度打分方法，详见下文描述：

一种基于低秩正则化特征增强表征的时尚兼容度预测方法，所述方法包括：

将特征矩阵分解成由多个视角的主特征和一个稀疏错误矩阵组成的第一目标函数；

用超图项规范低秩子空间中学习到的特征，获取时尚单品之间关系的第二目标函数：

引入Grassmannian流形获取不同视角下的字典基矩阵间距离最大的第三目标函数；

建立多视角低秩子空间的特征和输出搭配分数的联系，在最小二乘损失部分加上稀疏正则化项，获取典型的Lasso回归即第四目标函数；获取将亲和度矩阵作为标签矩阵，建立起亲和度矩阵和学习到的特征之间的关系，最小化其间误差的第五目标函数；

根据第一至第五目标函数的加权获取总目标函数，利用交替方向乘子法优化总目标函数，引入拉格朗日乘子，依次迭代更新各个视角下的参数，直至目标函数的值收敛，进而得到最终的预测分数。

所述第一目标函数具体为：

其中，X∈R^D×N为特征矩阵，D代表特征的维数，N代表图片的总数，U_i为第i个视角的字典，V_i为第i个视角下的低秩特征，E为稀疏错误矩阵，I为单位矩阵，‖·‖_*代表核范数，i代表不同视角的序号，T为转置，λ为平衡低秩和稀疏项的参数，p为视角总数。

所述第四目标函数具体为：

其中，Λ为所有服装包含的单品个数构成的向量，A为亲和度矩阵，描绘了每套服装和所有单品之间的关系，是平衡损失函数和正则化约束的参数，w_i为建立起输入特征矩阵V_i与输出向量y之间关系的线性依赖矩阵，y为服装兼容度的真实分数。

所述第五目标函数具体为：

其中，M代表服装集的个数，可以当作类别的数量。

所述总目标函数具体为：

其中，λ，α，γ，β，Φ和是平衡参数。

所述方法还包括：

从四种视觉特征中提取634维视觉语义特征，利用VGGNet19的倒数第二个全连接层提取1000维高级语义特征；

使用l2范数对上述语义特征进行标准化，连起来形成一个1634维的特征表示，将1634维特征进行归一化得到特征矩阵X。

本发明提供的技术方案的有益效果是：

1、本发明通过利用低秩表示学习的内在原理，找到了对原始服装特征的最佳低秩表示，结合超图相关知识，保留数据的内在几何结构，学习每套服饰之间的关系；

2、本发明通过将特征矩阵分解成多视角下的特征，并用Grassmannian流形使得不同视角下的特征不尽相同，可以多面地更好地描述特征；

3、本发明将时尚兼容性预测建模为稀疏回归问题，建立起多视角低秩子空间的特征和输出搭配分数的联系，填补了相关研究在用低秩正则化处理服装特征并当做回归问题处理上的空白。

附图说明

图1为一种基于低秩正则化特征增强表征的时尚兼容度预测方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提供了一种基于低秩正则化特征增强表征的时尚兼容度预测方法，参见图1，该方法包括以下步骤：

101：将特征矩阵分解成由多个视角的主特征和一个稀疏错误矩阵组成的第一目标函数；

102：用超图项规范低秩子空间中学习到的特征，获取时尚单品之间关系的第二目标函数：

103：引入Grassmannian流形获取不同视角下的字典基矩阵间距离最大的第三目标函数；

104：建立多视角低秩子空间的特征和输出搭配分数的联系，在最小二乘损失部分加上稀疏正则化项，获取典型的Lasso回归即第四目标函数；

105：获取将亲和度矩阵作为标签矩阵，建立起亲和度矩阵和学习到的特征之间的关系，最小化其间误差的第五目标函数；

106：根据第一至第五目标函数的加权获取总目标函数，利用交替方向乘子法优化总目标函数，引入拉格朗日乘子，依次迭代更新各个视角下的参数，直至目标函数的值收敛，进而得到最终的预测分数。

具体实现时，在步骤101之前，该方法还包括：

从四种视觉特征中提取634维视觉语义特征，利用VGGNet19的倒数第二个全连接层提取1000维高级语义特征；

使用l2范数对上述语义特征进行标准化，连起来形成一个1634维的特征表示，将1634维特征进行归一化得到特征矩阵X。

综上所述，本发明实施例通过利用低秩表示学习的内在原理，找到了对原始服装特征的最佳低秩表示，结合超图相关知识，保留数据的内在几何结构，学习每套服饰之间的关系，得到最终的预测分数。

实施例2

下面结合计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：

201：利用VGGNet19的倒数第二个全连接层提取1000-D高级语义特征，加上提取四种视觉特征，使用l2范数对每种类型的特征进行标准化，然后将它们连接起来形成一个1634-D的特征表示，最后，将1634-D特征进行归一化得到特征矩阵X；

其中，四种视觉特征即：1)225-D分块颜色矩、2)73-D边缘方向直方图、3)128-D小波纹理、4)64-D颜色直方图和144-D颜色自相关图。

202：将特征矩阵X分解成多个视角的主特征部分和一个稀疏错误矩阵，参见下述公式(1)；

通过该步骤202的处理使学习到的特征矩阵最低秩，并使字典基函数线性跨越整个低秩子空间来避免字典矩阵的任意缩放：

其中，X∈R^D×N为特征矩阵，D代表特征的维数，N代表图片的总数。U_i为第i个视角的字典，V_i为第i个视角下的低秩特征，E为稀疏错误矩阵，I为单位矩阵，‖·‖_*代表核范数，i代表不同视角的序号，T为转置，λ为平衡低秩和稀疏项的参数，p为视角总数。

203：用超图项来规范低秩子空间中学习到的特征，保留数据的内在几何结构，即时尚单品之间的关系：

其中，Tr(·)为矩阵的迹；L为拉普拉斯矩阵。

204：引入Grassmannian流形(本领域技术人员所公知，本发明实施例对此不做赘述)来使不同视角下的字典基矩阵间的距离最大：

其中，代表Frobenius范数，U_j为第j个视角下的字典。

205：建立多视角低秩子空间的特征和输出搭配分数的联系，在最小二乘损失部分加上稀疏正则化项，得到一个典型的Lasso回归；

其中，本方法为了提高模型的判别性，引入监督信息，即把搭配度评分的预测看做Lasso回归，从而建立起多视角低秩子空间的特征和输出搭配分数的联系(即V_i是学习到的所有的特征，亲和度矩阵A的作用是选择每套服装对应的特征来和每套服装的输出分数建立起关系)，在最小二乘损失部分加上稀疏正则化项，得到一个典型的Lasso回归：

其中，Λ为所有服装包含的单品个数构成的向量，A为亲和度矩阵，描绘了每套服装和所有单品之间的关系，是平衡损失函数和正则化约束的参数，w_i为建立起输入特征矩阵V_i与输出向量y之间关系的线性依赖矩阵，y为服装兼容度的真实分数。

206：将亲和度矩阵A∈R^M×N当成标签矩阵，最小化公式(5)中的误差；

此外，为了提高判别性，本发明实施例还借助多标签分类的思想，把亲和度矩阵A∈R^M×N当成标签矩阵，建立起亲和度矩阵和学习到的特征之间的关系，试图最小化其间误差：

其中，M代表服装集的个数，可以当作类别的数量。

207：将公式(1)-(5)中的目标项整合到一起，得到如下目标函数：

其中，λ，α，γ，β，Φ和是平衡参数。

208：利用交替方向乘子法优化步骤207中的目标函数，引入拉格朗日乘子S，依次迭代更新各个视角下的V_i，D_i，U_i，w_i，E，S，直至目标函数的值收敛；

209：将测试集的Λ_testA_test乘以训练出来的得到最终的预测分数。

综上所述，本发明实施例通过利用低秩表示学习的内在原理，找到了对原始服装特征的最佳低秩表示，结合超图相关知识，保留数据的内在几何结构，学习每套服饰之间的关系，得到最终的预测分数。

实施例3

下面给出对本发明实施例的一种时尚兼容度评分方法的测试实验：

本发明实施例的检测性能通过预测打分和真实值之间的归一化均方误差(nMSE)和标准均方误差(rMSE)来衡量，定义如下：

其中，是模型在测试集上得到的预测分数，y_i是测试集上的真实值，N是测试集中的样本数量。

为了评估本方法的算法性能，本发明实施例使用来自在线时尚网站Polyvore的21889套服装搭配作为数据集，它总共包含164379个时尚单品。取17116套服装用于训练，3076套用于测试。每套服装最多取用5张图片，比如上衣，裤子，鞋子以及配饰等。把每套服装的喜爱数量与观看数量之比作为兼容度分数y的值，即真实值。

在6个随机划分的训练集和测试集上检验了本方法的预测性能，并得出平均结果。在实验中，根据经验将平衡参数设置为α＝0.0001，β＝0.001，Φ＝0.0001，λ＝0.0001。参数γ和p在验证集上调整，最终设置为γ＝10和p＝3。

为了证明提出的模型中每项的有效性，将其对应的参数置为0，并将实验结果反映在表1中。noHR：不考虑超图的作用，即γ＝0。noMLL：不考虑多标签分类学习项的作用，即α＝0。noPE：不考虑映射项的作用，即β＝0。noReg：把特征学习和回归预测分成两步表示，即Φ＝0，并用Lasso回归来预测结果。报告的结果是6个测试集上20次重复实验的平均值。

表1

方法	nMSE	rMSE
			noHR	0.3823	0.1842
noMLL	0.3640	0.1799
			noPE	0.3626	0.1794
noReg	0.4078	0.1902
			Ours	0.3609	0.1790

从表1可以看出noReg的结果最不理想，因为它将特征表示和预测学习视为两个独立的过程，学习到的特征不能在监督信息的指导下进行预测。noMLL和noPE对预测结果产生类似的显着影响，说明了多标签学习和投影度量项在增强特征表示方面的有效性。noHR的结果也不理想，表明超图在建模复杂关系和数据的局部信息方面起着很重要的作用。由于每一项的共同作用，本方法在时尚兼容度打分方面有很高的准确度。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于低秩正则化特征增强表征的时尚兼容度预测方法，其特征在于，所述方法包括：

将特征矩阵分解成由多个视角的主特征和一个稀疏错误矩阵组成的第一目标函数；

用超图项规范低秩子空间中学习到的特征，获取时尚单品之间关系的第二目标函数：

引入Grassmannian流形获取不同视角下的字典基矩阵间距离最大的第三目标函数；

建立多视角低秩子空间的特征和输出搭配分数的联系，在最小二乘损失部分加上稀疏正则化项，获取典型的Lasso回归即第四目标函数；获取将亲和度矩阵作为标签矩阵，建立起亲和度矩阵和学习到的特征之间的关系，最小化其间误差的第五目标函数；

根据第一至第五目标函数的加权获取总目标函数，利用交替方向乘子法优化总目标函数，引入拉格朗日乘子，依次迭代更新各个视角下的参数，直至目标函数的值收敛，进而得到最终的预测分数。

2.根据权利要求1所述的一种基于低秩正则化特征增强表征的时尚兼容度预测方法，其特征在于，所述第一目标函数具体为：

其中，X∈R^D×N为特征矩阵，D代表特征的维数，N代表图片的总数，U_i为第i个视角的字典，V_i为第i个视角下的低秩特征，E为稀疏错误矩阵，I为单位矩阵，‖·‖_*代表核范数，i代表不同视角的序号，T为转置，λ为平衡低秩和稀疏项的参数，p为视角总数。

3.根据权利要求1所述的一种基于低秩正则化特征增强表征的时尚兼容度预测方法，其特征在于，所述第四目标函数具体为：

其中，Λ为所有服装包含的单品个数构成的向量，A为亲和度矩阵，描绘了每套服装和所有单品之间的关系，是平衡损失函数和正则化约束的参数，w_i为建立起输入特征矩阵V_i与输出向量y之间关系的线性依赖矩阵，y为服装兼容度的真实分数。

4.根据权利要求1所述的一种基于低秩正则化特征增强表征的时尚兼容度预测方法，其特征在于，所述第五目标函数具体为：

其中，M代表服装集的个数，可以当作类别的数量。

5.根据权利要求1所述的一种基于低秩正则化特征增强表征的时尚兼容度预测方法，其特征在于，所述总目标函数具体为：

其中，λ，α，γ，β，Φ和是平衡参数。

6.根据权利要求1-5中任意权利要求所述的一种基于低秩正则化特征增强表征的时尚兼容度预测方法，其特征在于，所述方法还包括：

从四种视觉特征中提取634维视觉语义特征，利用VGGNet19的倒数第二个全连接层提取1000维高级语义特征；

使用l2范数对上述语义特征进行标准化，连起来形成一个1634维的特征表示，将1634维特征进行归一化得到特征矩阵X。