CN110246011A - 可解释时尚服装个性化推荐方法 - Google Patents

Abstract

本发明公开了一种可解释时尚服装个性化推荐方法，包括：获取用户的历史购买的商品以及相应的商品图像；构建商品推荐模型，将商品与用户均投影到语义属性空间，基于获得的用户特征向量与商品的特征向量实现用户对商品的评分；同时，在商品图像中定位各个语义属性的位置，以及用户对于各语义属性的喜好程度；对商品推荐模型进行训练，得到训练好的商品推荐模型；对于一个用户及一系列的新商品，通过训练好的商品推荐模型，生成商品推荐序列，以及在每一新商品的图像上标注各个语义属性所在的位置及用户的喜好程度。该方法通过对商品进行自动语义属性定位和识别，对商品和用户进行细粒度语义属性级别建模，能够为用户提供精准的个性化推荐服务。

Description

可解释时尚服装个性化推荐方法

技术领域

本发明涉及推荐系统技术领域，尤其涉及一种可解释时尚服装个性化推荐方法。

背景技术

时尚购物平台，如淘宝，亚马逊等，为互联网用户提供了一个方便、快捷的在线购物的平台，使人们足不出户就可以购买到心仪的服饰。时尚购物平台的快速发展导致了时尚界的信息爆炸，对于用户来说，如何从琳琅满目的时尚产品中选出符合个性化需求的服饰成为一个越来越大的挑战。此外，为了促进利润增长，时尚零售商必须了解不同客户的偏好并提供更加智能的推荐服务。然而，与普通的商品不同，服装在视觉外观上呈现出显著的差异，这对用户的购买决策具有重大的影响。因此，如何有效地利用服装的视觉信息来为用户提供个性化推荐是时尚购物平台急需解决的一个研究问题。

围绕这个研究问题，研究者们提出了多种方法。相关的研究主要集中在从服装图像的类别、风格、美学特征等整体的角度理解图像，而忽略了深入探究服装的细粒度语义属性(如袖子，领口)信息在推荐效果和模型可解释性上所带来的积极影响。事实上，服装是由多种语义属性组成的，在某些情况下，用户会因为喜爱的语义属性而选择某些商品。因此，充分利用服装的语义属性不仅能够更好地表示商品，还可以帮助我们深入了解用户的喜好。

然而，在设计将语义属性信息集成到时尚服装推荐中的有效方法时，仍然存在许多独特的挑战。一方面来说，在大规模电子商务数据中没有手动属性注释的情况下很难获得服装语义属性特征。另一方面，用户偏好是复杂的，而现有的推荐算法通常直接将商品的图像信息转换为隐向量，这使得推荐的结果缺乏可解释性。

发明内容

本发明的目的是提供一种可解释时尚服装个性化推荐方法，通过对商品进行自动语义属性(如领口、袖长、裙长)定位和识别，对商品和用户进行细粒度语义属性级别建模，能够为用户提供精准的个性化推荐服务。

本发明的目的是通过以下技术方案实现的：

一种可解释时尚服装个性化推荐方法，包括：

获取用户的历史购买的商品记录，提取相应的商品图像以及用户ID；

构建商品推荐模型，将商品图像与用户ID均投影到语义属性空间，基于获得的用户特征向量与商品的特征向量实现用户对商品的评分；同时，在商品图像中定位各个语义属性的位置，以及用户对于各语义属性的喜好程度；

对商品推荐模型进行训练，得到训练好的商品推荐模型；

对于一个用户及一系列的新商品，通过训练好的商品推荐模型，生成商品推荐序列，以及在每一新商品的图像上标注各个语义属性所在的位置及用户的喜好程度。

由上述本发明提供的技术方案可以看出，使用基于语义属性的可解释时尚服装个性化推荐模型来进行时尚服装推荐，相比于传统模型，在语义属性层面对用商品和用户喜好进行了较深入的考量，进而对用户进行有效的时尚商品推荐，并且能够直观的标注出用户喜欢的语义属性，从而为推荐结果提供可解释性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种可解释时尚服装个性化推荐方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种可解释时尚服装个性化推荐方法，如图1所示，其主要包括如下步骤：

步骤1、获取用户的历史购买的商品记录，提取相应的商品图像以及用户ID。

每一个用户在在线时尚购物平台上购物后，都会在后台留下一系列的日志记录，购买的商品一般也含有对应的图片信息。这些数据可以直接从在线购物平台或在线服务提供商处收集。

本发明实施例中，获取用户的历史购买的商品以及相应的商品图像，每个用户u都具有唯一的ID，以及一个历史购买的商品集合其中的每个商品i对应了一副图像X_i。

步骤2、构建商品推荐模型，将商品与用户均投影到语义属性空间，基于获得的用户特征向量与商品的特征向量实现用户对商品的评分；同时，在商品图像中定位各个语义属性的位置，以及用户对于各语义属性的喜好程度。

本步骤分为三个阶段：1、将商品投影到语义属性空间，根据商品图像，获得商品各个语义属性特征向量以及定位各个语义属性在商品图像上的位置。2、将用户投影到语义属性空间，根据用户ID得到用户特征向量，并使用注意力机制获取用户对商品各个语义属性特征向量的喜好程度，从而得到商品的特征向量。3、基于用户特征向量与商品的特征向量实现用户对商品的评分。下面针对这三个阶段做详细的介绍。

1、将商品投影到语义属性空间。

传统的时尚服装推荐模型大部分将用户和商品投影到一个全局潜在空间中，该空间的每个维度的意义是未知的，减少了推荐的可解释性。基于语义属性的可解释时尚服装个性化推荐模型使用了新的语义属性空间，在此空间中，每一维表示一个语义属性，对应于服装中不同的区域。

本发明实施例中，使用语义属性抽取网络(SEN)将历史购买的商品分为若干个语义属性(如：领口，袖长，裙长)，每个语义属性对应于语义属性空间中的一个维度，使用图像级别语义属性标注数据集预训练一个语义属性抽取网络模型，该语义属性抽取网络模型通过弱监督的方式训练得到，用于进行语义属性抽取与定位。

图像级别语义属性标注数据集包括衣服和鞋子图片以及图片对应的图像级别的语义属性标签信息，标签信息包括语义属性和其类别，比如：领口(语义属性)——圆领(语义属性类别)，袖长(语义属性)——无袖(语义属性类别)。

表1示例性的给出了一些语义属性及相应属性类别，其中每一行表示一个语义属性，每个语义属性可被分为对应的若干语义属性类别。

表1语义属性及相应属性类别

语义属性抽取与定位的方式如下：

训练一个多任务属性分类网络，旨在最小化以下目标：

其中，表示商品i的图像中第a个属性的真实标签，y_ia是对应的预测标签，N表示训练样本的数目，A表示语义属性的数目；后验概率这种形式在专业领域被称作softmax函数，后验概率表示预测标签y_ia被分类为真实标签的概率。

当多任务属性分类网络其收敛后，对每个语义属性a计算其被预测的语义属性类别a_c的梯度属性激活映射(Grad-AAM)

首先计算属性类别a_c对应的梯度，即(指多任务属性分类网络输出层softmax函数之前的属性类别a_c对应的分类值)对于最后一层卷积层的特征图中的第t个通道的特征图F^t的梯度基于计算到的梯度通过全局平均池化操作计算出权重

上式中，global average pooling表示全局平均池化，gradients via backpop指反向传播时的梯度；表示特征图F^t上坐标为(m，n)的点；

然后，通过加权求和并通过线性整流函数ReLU来获取梯度属性激活映射

其中，linear combination指线性组合，将插值放大至商品图像大小并叠加到商品图像上得到属性类别a_c在商品图像上的热力图表示，生成的热力图中像素值在最大值P％(此处的P为预设值，例如，P可设置20)以上的区域被分割出来，通过估计一个边界框，该边界框覆盖梯度属性激活映射中最大的连通区域，对每个语义属性重复以上步骤(即前文提到的先计算梯度属性激活映射，再估计一个覆盖梯度属性激活映射中最大的连通区域的边界框)，从而定位出各语义属性在商品图像上的位置；

最后，使用感兴趣区域池化层(ROI Pooling)生成各个语义属性特征向量。感兴趣区域池化层的输入为各语义属性的位置和多任务属性分类网络的最后一层卷积层特征图，输出为各语义属性特征向量，其中，商品i的语义属性k的特征向量表示为

2、将用户投影到语义属性空间。

本发明实例中，通过将用户投影到语义属性空间中以获得用户对于各个语义属性的喜好，具体来说，学习投影矩阵，将用户ID投影到语义属性空间得到用户特征向量f(u)，根据用户特征向量，使用注意力机制获取用户对商品各个语义属性特征向量的喜好程度，所述注意力机制由多层神经网络实现。

用户对商品各个语义属性特征向量的喜好程度的计算方式表示为：

上式中，f(u)表示用户u的特征向量，表示商品i的语义属性k的特征向量，表示用户u对商品i的语义属性k的喜好程度。

除了语义属性外，时尚商品通常还具有全局的特征信息，比如风格信息、类别信息等等，对于商品的全局属性特征向量可以使用孪生(Siamese)神经网络框架训练得到，在本发明实施例中，使用AlexNet卷积神经网络架构得到商品的全局属性特征向量。

最终商品的特征向量为各个语义属性特征的加权和再加上全局特征：

上式中，f_g(i)为商品i的全局属性特征向量。

3、基于用户特征向量与商品的特征向量实现用户对商品的评分。

用户u对商品i的评分可表示为用户特征向量f(u)和商品特征向量f(i)的结合：

上式中，表示预测函数，f(u)表示用户u的特征向量，f(i)表示商品i的特征向量。

示例性的，预测函数可以为对应特征向量之间的内积，或是神经网络等等。例如，可以使用内积，因为它的训练效率比较高而且可以避免过拟合。

步骤3、对商品推荐模型进行训练，得到训练好的商品推荐模型。

为了从排序的视角解决时尚服装个性化推荐任务，使用比较训练策略和贝叶斯个性化排序框架对商品推荐模型进行训练；

所述比较学习策略为：对观测数据的预测值要尽可能大于对未观测到的数据的预测值。所述观测数据、未观测到的数据分别指用户历史购买的商品记录所包含、未包含的商品；

贝叶斯个性化排序(BPR)损失属于基于分类的对数损失；贝叶斯个性化排序框架的损失表示为：

其中，σ(r)＝1/(1+exp(-r))为Sigmoid函数，λ为正则化项的超参数，Θ表示商品推荐模型中的所有参数；是训练集，由多个(u，i，j)形式的三元组组成，其中i和j分别表示用户u的一个观测数据(正样本)和一个未观测到的数据(负样本)；在每次商品推荐模型训练迭代时，采样一个用户，一个正样本和一个负样本因此，用于提取商品全局特征的卷积神经网络Φ要考虑到两张图片：X_i和X_j，可以使用Siamese网络架构，即抽取正样本特征的卷积神经网络Φ(X_i)和抽取负样本特征的卷积神经网络Φ(X_j)共享参数。

步骤4、对于一个用户及一系列的新商品，通过训练好的商品推荐模型，生成商品推荐序列，以及在每一新商品的图像上标注各个语义属性所在的位置及用户的喜好程度。

本步骤的执行过程与前述步骤2的方式相同，即：

对于一个用户及一系列的新商品，通过训练好的商品推荐模型，定位每一新商品的图像中各语义属性的位置，得到用户对于各语义属性的喜好程度，并进行相应的标注；

同时，对于每一个新商品，基于用户对于各语义属性的喜好程度能够得到相应的商品特征向量，从而结合用户特征计算出用户对相应新商品的评分；按照评分大小进行新商品的排序，从而生成商品推荐序列。

本发明实施例上述方案，针对时尚商品由多个语义属性组成的特点，使用弱监督目标定位方法将时尚商品划分为不同的语义属性并投影到可解释的语义属性空间中，使用注意力机制将用户投影到同样的语义属性空间中。该方法在语义属性层面对用商品和用户喜好进行了较深入的建模，进而对用户进行有效的时尚商品推荐，并且能够直观的标注出用户喜欢的语义属性，从而为推荐结果提供可解释性，弥补了现有方法粗粒度和可解释性缺失的弊端。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种可解释时尚服装个性化推荐方法，其特征在于，包括：

获取用户的历史购买的商品记录，提取相应的商品图像以及用户ID；

构建商品推荐模型，将商品图像与用户ID均投影到语义属性空间，基于获得的用户特征向量与商品的特征向量实现用户对商品的评分；同时，在商品图像中定位各个语义属性的位置，以及用户对于各语义属性的喜好程度；

对商品推荐模型进行训练，得到训练好的商品推荐模型；

对于一个用户及一系列的新商品，通过训练好的商品推荐模型，生成商品推荐序列，以及在每一新商品的图像上标注各个语义属性所在的位置及用户的喜好程度。

2.根据权利要求1所述的一种可解释时尚服装个性化推荐方法，其特征在于，每个用户u都均有一个唯一的ID，以及一个历史购买的商品集合其中的每个商品i对应了一副图像X_i。

3.根据权利要求1所述的一种可解释时尚服装个性化推荐方法，其特征在于，所述将商品图像与用户ID均投影到语义属性空间，基于获得的用户特征向量与商品的特征向量实现用户对商品的评分；同时，在商品图像中定位各个语义属性的位置，以及用户对于各语义属性的喜好程度包括：

将商品投影到语义属性空间，根据相应的商品图像，获得商品各个语义属性特征向量以及定位各个语义属性在商品图像上的位置；

将用户投影到语义属性空间，根据用户ID得到用户特征向量，并使用注意力机制获取用户对商品各个语义属性特征向量的喜好程度，从而得到商品的特征向量，进而基于用户特征向量与商品的特征向量实现用户对商品的评分。

4.根据权利要求1或3所述的一种可解释时尚服装个性化推荐方法，其特征在于，使用语义属性抽取网络将历史购买的商品分为若干个语义属性，每个语义属性对应于语义属性空间中的一个维度，使用图像级别语义属性标注数据集预训练一个语义属性抽取网络模型，该语义属性抽取网络模型用于进行语义属性抽取与定位；

语义属性抽取与定位方式如下：

训练一个多任务属性分类网络，旨在最小化以下目标：

其中，表示商品i的图像中第a个属性的真实标签，y_ia是对应的预测标签，N表示训练样本的数目，A表示语义属性的数目，后验概率表示预测标签y_ia被分类为真实标签的概率；

当多任务属性分类网络其收敛后，对每个语义属性a计算其被预测的属性类别a_c的梯度属性激活映射

首先计算属性类别a_c对应的梯度，即对于最后一层卷积层中的第t个通道的特征图F^t的梯度基于计算到的梯度通过全局平均池化操作计算出权重

上式中，global average pooling表示全局平均池化，gradients via backpop指反向传播时的梯度，为多任务属性分类网络输出层softmax函数之前的属性类别a_c对应的分类值，表示特征图F^t上坐标为(m,n)的点；

然后，通过加权求和并通过线性整流函数ReLU来获取梯度属性激活映射

其中，linear combination指线性组合；

将插值放大至商品图像大小并叠加到商品图像上得到属性类别a_c在商品图像上的热力图表示，生成的热力图中像素值在最大值P％以上的区域被分割出来，通过估计一个边界框，该边界框覆盖梯度属性激活映射中最大的连通区域，对每个语义属性重复以上步骤，从而定位出各语义属性在商品图像上的位置；其中，P为预设值；

最后，使用感兴趣区域池化层生成各个语义属性特征向量，感兴趣区域池化层的输入为各语义属性的位置和多任务属性分类网络的最后一层卷积层特征图，输出为各语义属性特征向量其中k指第k个语义属性对应的特征向量。

5.根据权利要求1或3所述的一种可解释时尚服装个性化推荐方法，其特征在于，将用户投影到语义属性空间，根据用户ID得到用户特征向量，并使用注意力机制获取用户对商品各个语义属性特征向量的喜好程度，所述注意力机制由多层神经网络D实现；用户对商品各个语义属性特征向量的喜好程度的计算方式表示为：

上式中，f(u)表示用户u的特征向量，表示商品i的语义属性k的特征向量，A表示语义属性的数目，表示用户u对商品i的语义属性k的喜好程度；

使用卷积神经网络获取商品i的全局属性特征向量f_g(i)，则商品的特征向量为各个语义属性特征的加权和再加上全局特征f_g(i)：

6.根据权利要求1或3所述的一种可解释时尚服装个性化推荐方法，其特征在于，基于获得的用户特征向量与商品的特征向量实现用户对商品的评分的方式为：

上式中，表示预测函数，f(u)表示用户u的特征向量，f(i)表示商品i的特征向量。

7.根据权利要求1所述的一种可解释时尚服装个性化推荐方法，其特征在于，使用比较训练策略和贝叶斯个性化排序框架对商品推荐模型进行训练；

所述比较学习策略为：对观测数据的预测值要尽可能大于对未观测到的数据的预测值；所述观测数据、未观测到的数据分别指用户历史购买的商品记录所包含、未包含的商品；

贝叶斯个性化排序框架的损失为：

其中，σ为Sigmoid函数，λ为正则化项的超参数，Θ表示商品推荐模型中的所有参数；是训练集，由多个(u,,)形式的三元组组成，其中i和j分别表示用户u的一个观测数据和一个未观测到的商品；在每次商品推荐模型训练迭代时，采样一个用户，一个正样本和一个负样本

8.根据权利要求1所述的一种可解释时尚服装个性化推荐方法，其特征在于，

对于一个用户及一系列的新商品，通过训练好的商品推荐模型，定位每一新商品的图像中各语义属性的位置，得到用户对于各语义属性的喜好程度，并进行相应的标注；

同时，对于每一个新商品，基于用户对于各语义属性的喜好程度能够得到相应的商品特征向量，从而结合用户特征计算出用户对相应新商品的评分；按照评分大小进行新商品的排序，从而生成商品推荐序列。