CN110110181A - 一种基于用户风格和场景偏好的服装搭配推荐方法 - Google Patents

Abstract

本发明提出了一种基于用户风格和场景偏好的服装搭配推荐方法。本发明从用户角度出发，考虑到了用户的风格偏好以及应用场景对于服装搭配推荐的影响。根据偏好预测器预测出用户的服装偏好，找出用户更喜爱的服装种类和风格，并对相同风格的服装进行聚类分析，同时将场景因素添加到预测模型中，考虑季节变化和出席场合对于服装的选择，按照匹配度搭配成套装形成推荐。这使得推荐方案更加符合用户自身的穿衣风格，更好地应用于具体场景当中，能够满足用户的真实需求，提高服装搭配推荐方案的精准性，向用户进行个性化服装推荐，从而扩大用户的购买率，提升服装产业的销量。

Description

一种基于用户风格和场景偏好的服装搭配推荐方法

技术领域：

本发明涉及一种基于用户风格和场景偏好的服装搭配推荐方法，属于计算机软件领域。

技术背景：

在线服装搭配是将上衣、下衣和鞋子搭配成一套合适的套装并推荐给用户。它是服饰导购中一个非常重要的内容，主要为用户提供个性化的穿衣搭配建议，目前已经逐渐运用到各大电商平台的大数据营销战略当中。

现有的服装搭配推荐方案中，所使用的技术大多考虑的是服装图像特征和服装相关文本描述。现有技术主要有三类，第一类技术使用基于物品的协同过滤算法，仅仅考虑服装图像特征，通过计算两种类别的服装图像之间的视觉兼容性来进行服装搭配推荐；第二类技术使用基于内容的算法，通过考虑服装的文本描述，根据上下文语义属性来计算服装之间的搭配度并进行推荐；第三类技术则是使用基于模型的算法，综合了服装图像特征和文本描述这两种属性，将两者输入到神经网络架构或者机器学习的相关模型，进行视觉和语义空间嵌入，来实现服装搭配推荐。目前较为先进的技术即通过使用深度神经网络以及贝叶斯个性化排名框架模型，模拟出视觉和上下文模态之间的连贯关系和各类服装之间的隐含偏好，从而达到高效推荐的目的。但目前上述方法由于没有很好地考虑到用户的真实需求，在有特定需求的情况下可能给出的服装搭配推荐方案并不符合用户的实际需要，因而给用户推荐的效果并不是十分理想。

发明内容：

为解决上述问题，本发明公开了一种基于用户风格和场景偏好的服装搭配推荐方法，本发明从用户角度出发，考虑到了用户的风格偏好以及应用场景对于服装搭配推荐的影响。根据偏好预测器预测出用户的服装偏好，找出用户更喜爱的服装种类和风格，并对相同风格的服装进行聚类分析，同时将场景因素添加到预测模型中，考虑季节变化和出席场合对于服装的选择，按照匹配度搭配成套装形成推荐。这使得推荐方案更加符合用户自身的穿衣风格，更好地应用于具体场景当中，能够满足用户的真实需求，提高服装搭配推荐方案的精准性，向用户进行个性化服装推荐，从而扩大用户的购买率，提升服装产业的销量。

一种基于用户风格和场景偏好的服装搭配推荐方法，包括如下步骤：

步骤一：数据收集：收集电商网站上的服装类别商品的文本和图像数据，为数据集A；收集专家套装搭配数据作为数据集B；收集用户历史行为数据归为数据集C；

步骤二：对数据集A中服装商品数据进行聚类分析，根据服装的不同种类进行聚类形成上衣类、下衣类和鞋子类，将商品的图像通过卷积神经网络进行视觉特征提取；

步骤三：将数据集B中的服装套装按照不同种类风格进行分类，并进行风格标签标注；在数据集B中，每个服装套装中包含上衣t_i,下衣b_j,以及鞋子s_k，每个物品都具有图像以及相应的文本描述；

步骤四：对数据集C进行分析处理，根据用户历史行为数据来学习用户的潜在偏好，得到用户隐式反馈中的正反馈，正反馈包括购买和点击；使用U来表示数据集中的用户集合，I表示服装产品的集合，I∈U₊，U⁺表示用户表达正反馈的所有产品的集合，i∈I表示服装产品数据集中的某一件产品i，A_i则表示产品i所对应的图像集合；

步骤五、对于用户表达过正反馈的产品集合I∈U⁺，定义一个用户偏好预测器，用于预测用户对于服装产品i的偏好，设为

其中x_u，i表示用户u对于服装产品i的偏好程度分数，α表示全局偏移量，β_u表示用户偏差，表示用户u的潜在视觉偏好向量，X_i表示服装产品i的图像，表示视觉特征向量；

步骤六：得到正反馈的服装产品的偏好程度分数，并且根据标签分析每个正反馈的服装产品属于哪一类风格，筛选出同一类服装风格的商品，计算用户对每种服装风格的偏好程度分数；

步骤七：挑选出其中偏好程度分数最高的服装风格作为用户所偏好的服装风格，并从数据集A中选择与用户偏好的服装风格一致的服装商品，组成数据集P；

步骤八：使用数据集P训练得到上衣t_i,下衣b_j,以及鞋子s_k的视觉兼容性关系；步骤九：通过视觉兼容性关系将数据集P中的商品组合成推荐套装并给出服装兼容性匹配度，推荐套装包括上衣,下衣和鞋子；根据客户输入的季节和出席场合在专家搭配集M中的符合季节和场合条件的十套服装套装并推荐给客户作为挑选集，用户在挑选集中选择一套套装作为挑选样板；从数据集P中分别筛选出a与挑选样板中的上衣、下衣和鞋子的相似度最高的前a件项单品，将所选择的单品进行任意组合形成推荐套装并计算出服装兼容性匹配度，选择服装兼容性匹配度最高的前b项推荐套装推荐给用户。

进一步的改进，所述步骤六中，每种服装风格的偏好程度分数计算方法如下：

其中，F是偏好风格分数，N是用户表达正反馈的产品数，x_u，n是同一类服装风格的每个产品的偏好程度分数，n是每种服装风格包含的产品数。

进一步的改进，所述步骤八包括如下步骤：

根据步骤七中用户偏好的服装风格，从专家搭配数据集中选择与用户偏好的服装风格相一致的服装搭配套装组成一个数据集M；首先采用CNN模型将数据集M中的每个套装集合中的物品图像转换成图像特征向量；将数据集M中的一套服装搭配看作一个集合，一套服装搭配中的一件上衣、一件下衣和一双鞋子看成一个固定的序列；然后通过单层双向LSTM模型训练按照顺序根据一套服装搭配中前面的服装商品为条件来预测下一个商品，学习集合中两个商品之间的视觉兼容关系，视觉兼容关系即作为视觉性兼容关系。

进一步的改进，所述步骤八包括如下步骤：

S1.根据步骤七中用户偏好的服装风格，从专家搭配数据集中选择与用户偏好的服装风格相一致的服装搭配套装组成一个数据集M；首先采用CNN模型将数据集M中的每个套装集合中的物品图像转换成图像特征向量；将数据集M中的一套服装搭配看作一个集合，一套服装搭配中的一件上衣、一件下衣和一双鞋子看成一个固定的序列；然后通过单层双向LSTM模型训练按照顺序根据一套服装搭配中前面的服装商品为条件来预测下一个商品，学习集合中两个商品之间的视觉兼容关系，视觉兼容关系即作为视觉性兼容关系；其中单层双向LSTM模型按照按照上衣-下衣-鞋子的顺序或鞋子-下衣-上衣的顺序来进行预测：其中上衣-下衣-鞋子的顺序预测方法如下：

E_f(F；θ_f)表示目标函数；F表示服装商品图像序列，即F＝{x₁,x₂,...,x_n}；x_t表示一套服装搭配中的第t个商品的特征表示；θ_f表示前向预测模型的模型参数；N表示一套服装搭配中的商品数；Pr(x_t+1|x₁，...，x_t；θ_f)表示第x_t+1个商品以先前看到的x₁至x_t个商品为条件的预测概率；f表示“front”,即从上到下的顺序；

E_b(F；θ_b)表示目标函数；F表示服装商品图像序列，即F＝{x_N,x_N-1,...,x₀}；x_t表示一套服装搭配中的第t个商品的特征表示；θ_b表示后向预测模型的模型参数；N表示一套服装搭配中的商品数；Pr(x_t|x_N，...，x_t+1；θ_b)表示第x_t个商品以先前看到的x_N至x_t+1个商品为条件的预测概率；b表示“back”,即从下到上的顺序；

S2.训练视觉语义嵌入：将图像特征向量及与对应图像特征向量相关的文本描述投射到一个协同空间来训练视觉语义嵌入；

E_e(θ_e)＝∑_f∑_kmax(0，m-d(f，v)+d(f，v_k))+∑_v∑_kmax(0，m-d(v，f)+d(v，f_k))

其中d(f，v)和d(v，f)表示用图像f和其描述v之间余弦距离来表示这两者之间的相似性，f表示图像，v表示描述v；θ_e＝{W_I，W_T}表示模型参数，W_I表示图像嵌入矩阵，W_T表示描述嵌入矩阵，v_k表示图像f的非匹配描述，f_k表示描述v的非匹配图像；通过最小化损失函数E_e(θ_e)，使得图像语义属性和文本描述之间最为接近；

S3.联合学习建模：综合图像特征向量及对应的文本描述，共同学习视觉兼容性和视觉语义嵌入，将视觉兼容性和视觉语义嵌入结合到Bi-LSTM的训练过程当中，预测出服装套装的视觉兼容性关系；Bi-LSTM总体目标函数如下：

“/”表示“或”，E_e(θ_e)表示计算视觉语义嵌入损失。

进一步的改进，所述用户历史行为数据包括点击、浏览和购买；所述电商网站包括淘宝和ployvore；

收集天池(https://tianchi.aliyun.com/)所提供的搭配专家和达人生成的搭配组合数据以及ployvore网站上用户上传的搭配套装数据，为数据集B。

进一步的改进，所述正反馈包括购买和点击。

附图说明：

附图1：服装搭配推荐完整示意图；

附图2：场景偏好示意图。

具体实施方式：

为了更具体地阐述该发明，以下详细地讲述实施方式。

步骤一：数据收集：收集电商网站上的服装类别商品的文本和图像数据，为数据集A；收集专家套装搭配数据作为数据集B；收集用户历史行为数据归为数据集C；

步骤二：对数据集A中服装商品数据进行聚类分析，根据服装的不同种类进行聚类形成上衣类、下衣类和鞋子类，将商品的图像通过卷积神经网络进行视觉特征提取；

步骤三：将数据集B中的服装套装按照不同种类风格进行分类，并进行风格标签标注；在数据集B中，每个服装套装中包含上衣t_i,下衣b_j,以及鞋子s_k，固定顺序为：上衣、下衣和鞋子，每个物品都具有图像以及相应的文本描述；

步骤四：对数据集C进行分析处理，根据用户历史行为数据来学习用户的潜在偏好，考虑用户隐式反馈中的正反馈，正反馈包括购买和点击；使用U来表示数据集中的用户集合，I表示服装产品的集合，I∈U⁺表示用户表达正反馈的所有产品的集合，i∈I表示服装产品数据集中的某一件产品i，A_i则表示产品i所对应的图像集合；

步骤五：对于用户表达过正反馈的产品集合I∈U⁺，定义一个用户偏好预测器，用于预测用户对于服装产品i的偏好，设为

其中x_u，i表示用户u对于服装产品i的偏好程度分数，α表示全局偏移量，β_u表示用户偏差，表示用户u的潜在视觉偏好向量，X_i表示服装产品i的图像，表示视觉特征向量；

步骤六：根据步骤五中所得到的用户表现正反馈的服装产品的偏好程度分数，并且根据标签分析每个商品属于哪一类风格，筛选出同一类服装风格的商品，通过计算每种商品风格的偏好程度来定义用户所偏好的服装风格：

其中，F是偏好风格分数，N是用户表达正反馈的产品数，x_u，n是同一类服装风格的每个产品的偏好程度分数。

步骤七：根据步骤六中计算出的用户偏好风格分数，挑选出其中分数最高的一类风格，即作为用户所偏好的服装风格，并从数据集A中选择与用户偏好的服装风格一致的服装商品，组成数据集P；

步骤八：训练视觉兼容性：根据步骤七中用户的穿衣偏好风格，从专家搭配数据集中选择与用户偏好风格相一致的服装搭配套装组成一个数据集M；首先采用CNN模型将数据集M中的每个套装集合中的物品图像转换成图像特征向量；将数据集M中的一套服装搭配看作一个集合，一套服装搭配中的一件上衣、一件下衣和一双鞋子看成一个固定的序列。然后通过单层双向LSTM模型训练按照顺序根据一套服装搭配中前面的服装商品为条件来预测下一个商品，学习集合中两个商品之间的视觉兼容性关系。该模型可以从两个顺序进行预测。本专利按照上衣-下衣-鞋子的顺序，计算以下目标函数来学习两个商品之间的视觉兼容性关系：

E_f(F；θ_f)表示目标函数；F表示服装商品图像序列，即F＝{x₁,x₂,...,x_n}；x_t表示一套服装搭配中的第t个商品的特征表示；θ_f表示前向预测模型的模型参数；N表示一套服装搭配中的商品数；Pr(x_t+1|x₁，...，x_t；θ_f)表示第x_t+1个商品以先前看到的x₁至x_t个商品为条件的预测概率；f表示“front”,即从上到下的顺序；同样地，预测商品也可以相反的顺序执行。也就是说可以按照鞋子-下衣-上衣的顺序来进行预测；该后向目标函数设为：

E_b(F；θ_b)表示目标函数；F表示服装商品图像序列，即F＝{x_N,x_N-1,...,x₀}；x_t表示一套服装搭配中的第t个商品的特征表示；θ_b表示后向预测模型的模型参数；N表示一套服装搭配中的商品数；Pr(x_t|x_N，...，x_t+1；θ_b)表示第x_t个商品以先前看到的x_N至x_t+1个商品为条件的预测概率；b表示“back”,即从下到上的顺序；步骤九：训练视觉语义嵌入：将图像特征向量及与对应图像特征向量相关的文本描述投射到一个协同空间来训练视觉语义嵌入；

E_e(θ_e)＝∑_f∑_kmax(0，m-d(f，v)+d(f，v_k))+∑_v∑_kmax(0，m-d(v，f)+d(v，f_k)) (5)

其中d(f，v)和d(v，f)表示用图像f和其描述v之间余弦距离来表示这两者之间的相似性，f表示图像，v表示描述v；θ_e＝{W_I，W_T}表示模型参数，W_I表示图像嵌入矩阵，W_T表示描述嵌入矩阵，v_k表示图像f的非匹配描述，f_k表示描述v的非匹配图像；通过最小化损失函数E_e(θ_e)，使得图像语义属性和文本描述之间最为接近；

步骤十：联合学习建模：综合图像特征向量及对应的文本描述，共同学习视觉兼容性和视觉语义嵌入，将视觉兼容性和视觉语义嵌入结合到Bi-LSTM的训练过程当中，预测出服装套装的视觉兼容性关系；Bi-LSTM总体目标函数如下：

方程中的前两项是Bi-LSTM目标函数，(E_f(F；θ_f)第三项是计算视觉语义嵌入损失；(从属权利要求)

步骤十一：预测服装兼容性匹配：使用步骤十中的Bi-LSTM模型，用来预测整套服装的搭配，包括上衣、下衣和鞋子，并且给出服装兼容性匹配度。根据具体季节以及用户需要出席的场合，筛选出与用户偏好风格一致的专家搭配集M中的最符合季节和场合条件的前十套服装套装，将这些套装反馈给用户，用户可以从中挑选出最符合自己偏好的服装套装cloth_i,分别计算出数据集P中与该服装套装cloth_i中的上衣、下衣和鞋子相似度最高的前五项时单品，将这些单品按照上衣-下衣-鞋子的顺序随意组成一个套装，并计算服尚装兼容性匹配度。服装兼容性匹配度是计算套装集合中所有对的兼容性，通过平均成对兼容性，在学习嵌入中以余弦距离的形式所得到的；选择其中匹配度得分最高的服装搭配套装，从而可以给用户推荐符合其个性化偏好的服装搭配方案。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变换，均仍属于本发明技术方案的保护范围内。

Claims (6)

1.一种基于用户风格和场景偏好的服装搭配推荐方法，其特征在于，包括如下步骤：

步骤一：数据收集：收集电商网站上的服装类别商品的文本和图像数据，为数据集A；收集专家套装搭配数据作为数据集B；收集用户历史行为数据归为数据集C；

步骤二：对数据集A中服装商品数据进行聚类分析，根据服装的不同种类进行聚类形成上衣类、下衣类和鞋子类，将商品的图像通过卷积神经网络进行视觉特征提取；

步骤三：将数据集B中的服装套装按照不同种类风格进行分类，并进行风格标签标注；在数据集B中，每个服装套装中包含上衣t_i,下衣b_j,以及鞋子s_k，每个物品都具有图像以及相应的文本描述；

步骤四：对数据集C进行分析处理，根据用户历史行为数据来学习用户的潜在偏好，得到用户隐式反馈中的正反馈，正反馈包括购买和点击；使用U来表示数据集中的用户集合，I表示服装产品的集合，I∈U⁺，U⁺表示用户表达正反馈的所有产品的集合，i∈I表示服装产品数据集中的某一件产品i，A_i则表示产品i所对应的图像集合；

步骤五、对于用户表达过正反馈的产品集合I∈U⁺，定义一个用户偏好预测器，用于预测用户对于服装产品i的偏好，设为

其中x_u，i表示用户u对于服装产品i的偏好程度分数，α表示全局偏移量，β_u表示用户偏差，表示用户u的潜在视觉偏好向量，X_i表示服装产品i的图像，表示视觉特征向量；

步骤六：得到正反馈的服装产品的偏好程度分数，并且根据标签分析每个正反馈的服装产品属于哪一类风格，筛选出同一类服装风格的商品，计算用户对每种服装风格的偏好程度分数；

步骤七：挑选出其中偏好程度分数最高的服装风格作为用户所偏好的服装风格，并从数据集A中选择与用户偏好的服装风格一致的服装商品，组成数据集P；

步骤八：使用数据集P训练得到上衣t_i,下衣b_j,以及鞋子s_k的视觉兼容性关系；

步骤九：通过视觉兼容性关系将数据集P中的商品组合成推荐套装并给出服装兼容性匹配度，推荐套装包括上衣,下衣和鞋子；根据客户输入的季节和出席场合在专家搭配集M中的符合季节和场合条件的十套服装套装并推荐给客户作为挑选集，用户在挑选集中选择一套套装作为挑选样板；从数据集P中分别筛选出a与挑选样板中的上衣、下衣和鞋子的相似度最高的前a件项单品，将所选择的单品进行任意组合形成推荐套装并计算出服装兼容性匹配度，选择服装兼容性匹配度最高的前b项推荐套装推荐给用户。

2.如权利要求1所述的基于用户风格和场景偏好的服装搭配推荐方法，其特征在于，所述步骤六中，每种服装风格的偏好程度分数计算方法如下：

其中，F是偏好风格分数，N是用户表达正反馈的产品数，x_u，n是同一类服装风格的每个产品的偏好程度分数，n是每种服装风格包含的产品数。

3.如权利要求1所述的基于用户风格和场景偏好的服装搭配推荐方法，其特征在于，所述步骤八包括如下步骤：

根据步骤七中用户偏好的服装风格，从专家搭配数据集中选择与用户偏好的服装风格相一致的服装搭配套装组成一个数据集M；首先采用CNN模型将数据集M中的每个套装集合中的物品图像转换成图像特征向量；将数据集M中的一套服装搭配看作一个集合，一套服装搭配中的一件上衣、一件下衣和一双鞋子看成一个固定的序列；然后通过单层双向LSTM模型训练按照顺序根据一套服装搭配中前面的服装商品为条件来预测下一个商品，学习集合中两个商品之间的视觉兼容关系，视觉兼容关系即作为视觉性兼容关系。

4.如权利要求3所述的基于用户风格和场景偏好的服装搭配推荐方法，其特征在于，所述步骤八包括如下步骤：

S1.根据步骤七中用户偏好的服装风格，从专家搭配数据集中选择与用户偏好的服装风格相一致的服装搭配套装组成一个数据集M；首先采用CNN模型将数据集M中的每个套装集合中的物品图像转换成图像特征向量；将数据集M中的一套服装搭配看作一个集合，一套服装搭配中的一件上衣、一件下衣和一双鞋子看成一个固定的序列；然后通过单层双向LSTM模型训练按照顺序根据一套服装搭配中前面的服装商品为条件来预测下一个商品，学习集合中两个商品之间的视觉兼容关系，视觉兼容关系即作为视觉性兼容关系；其中单层双向LSTM模型按照按照上衣-下衣-鞋子的顺序或鞋子-下衣-上衣的顺序来进行预测：其中上衣-下衣-鞋子的顺序预测方法如下：

E_f(F；θ_f)表示目标函数；F表示服装商品图像序列，即F＝{x₁,x₂,...,x_n}；x_t表示一套服装搭配中的第t个商品的特征表示；θ_f表示前向预测模型的模型参数；N表示一套服装搭配中的商品数；Pr(x_t+1|x₁，...，x_t；θ_f)表示第x_t+1个商品以先前看到的x₁至x_t个商品为条件的预测概率；f表示“front”,即从上到下的顺序；

E_b(F；θ_b)表示目标函数；F表示服装商品图像序列，即F＝{x_N,x_N-1,...,x₀}；x_t表示一套服装搭配中的第t个商品的特征表示；θ_b表示后向预测模型的模型参数；N表示一套服装搭配中的商品数；Pr(x_t|x_N，...，x_t+1；θ_b)表示第x_t个商品以先前看到的x_N至x_t+1个商品为条件的预测概率；b表示“back”,即从下到上的顺序；

S2.训练视觉语义嵌入：将图像特征向量及与对应图像特征向量相关的文本描述投射到一个协同空间来训练视觉语义嵌入；

E_e(θ_e)＝∑_f∑_kmax(0，m-d(f，v)+d(f，v_k))+∑_v∑_kmax(0，m-d(v，f)+d(v，f_k))

其中d(f，v)和d(v，f)表示用图像f和其描述v之间余弦距离来表示这两者之间的相似性，f表示图像，v表示描述v；θ_e＝{W_I，W_T}表示模型参数，W_I表示图像嵌入矩阵，W_T表示描述嵌入矩阵，v_k表示图像f的非匹配描述，f_k表示描述v的非匹配图像；通过最小化损失函数E_e(θ_e)，使得图像语义属性和文本描述之间最为接近；

S3.联合学习建模：综合图像特征向量及对应的文本描述，共同学习视觉兼容性和视觉语义嵌入，将视觉兼容性和视觉语义嵌入结合到Bi-LSTM的训练过程当中，预测出服装套装的视觉兼容性关系；Bi-LSTM总体目标函数如下：

“/”表示“或”，E_e(θ_e)表示计算视觉语义嵌入损失。

5.如权利要求1所述的基于用户风格和场景偏好的服装搭配推荐方法，其特征在于，所述用户历史行为数据包括点击、浏览和购买；所述电商网站包括淘宝和ployvore；

收集天池(https://tianchi.aliyun.com/)所提供的搭配专家和达人生成的搭配组合数据以及ployvore网站上用户上传的搭配套装数据，为数据集B。

6.如权利要求1所述的基于用户风格和场景偏好的服装搭配推荐方法，其特征在于，所述正反馈包括购买和点击。