CN108596646A - 一种融合人脸属性分析的服装搭配推荐方法 - Google Patents

Abstract

本发明公开了一种融合人脸属性分析的服装搭配推荐方法，综合分析用户的购物记录、浏览记录、他们在社交网络上分享的图片，以及用户的人脸属性特征，向用户推荐一整套的服装搭配。利用学习到的参数化模型来推测不同服装单品之间的搭配程度，服装与人脸属性的匹配程度，并为用户推荐适合度比较高的服装搭配。其中，用户与商品，人脸属性特征与商品，商品与商品之间的交互作用采用了张量分解的方法，为了解决时尚商品的多模态特征，采用了梯度递减的方法来学习非线性函数来将特征向量从特征空间映射到潜在空间。

Description

一种融合人脸属性分析的服装搭配推荐方法

技术领域

本发明属于一种针对网上购物的服装搭配推荐方法。

背景技术

随着网上购物的兴起，网上购物已经成为一种流行的购物趋势，尤其是网上购买服 装受到越来越多的用户的青睐，有效的时尚推荐已经成为一个越来越重要的课题。在社交网络上，人们分享他们的生活，展示自己的个人风格，这些分享展示着用户的时尚品 味和个人爱好。并且随着社交网络的快速发展，出现了很多关注时尚的大型网络社区， 例如Instagram、polyvore等等。人们几乎会在网络上分享他们日常生活的一切，包括喜 欢的音乐、电影、服装等等。因此，很多购物网站试图利用这些信息来优化服装推荐这 方面的功能，根据用户的购物记录、浏览记录以及他们在社交网络上分享的图片等来推 测用户对于不同服装的偏好程度，从而给用户推荐符合用户喜好的服装搭配。

随着购物网站的发展，网上的服装也各色各样，如何帮助用户快速挑选到自己喜欢 的款式是一个急需解决的问题。有效的服装推荐不仅能够节省用户的时间，改善他们的购物体验，而且能够促进他们的网上购物兴趣和参与性，对于购物网站来说能够更好的 了解顾客的需求，从而能够推出更多、更好、更人性化的服务。随着不断增强的网上购 物趋势，越来越多的公司扩展他们的网络业务，由此激发对是能时尚分析技术的需求。 然而，目前大部分推荐系统或研究工作都是针对用户的购买记录和浏览记录等信息，推 荐用户喜爱的某一类时尚单品。但是很多情况下，用户可能更需要由多个时尚单品组成 的一整套服装搭配，这样的推荐系统会更加的人性化、个性化。此外，通过人脸特征分 析，我们可以得到用户的人脸属性，不同年龄、性别、肤色的用户所适合的服装款式也 不尽相同。

此外，随着机器学习领域研究的深入，人脸检测和特征提取、分析的技术越来越成熟。我们可以根据用户的人脸特征，得到用户的一些属性特征，例如年龄、性别、肤色、 发色等，不同的属性特征可能适合不同的服装，并且我们可以根据不同的特征来间接推 测用户的一些喜好，例如年龄比较小的用户可能比较偏爱颜色鲜艳的服装等等。基于这 些观察，我们发现用户的人脸属性与服装商品之间有一定的搭配关系，这些特征可以用 在服装搭配推荐系统当中。

发明内容

发明目的：针对上述现有技术，提出一种融合人脸属性分析的服装搭配推荐方法，用于智能的向用户推荐一整套的服装搭配。

技术方案：一种融合人脸属性分析的服装搭配推荐方法，包括如下步骤：

步骤一：学习一个参数化模型，用于计算不同商品之间的搭配程度；

步骤二：根据用户的购买记录和浏览记录，得到用户对于不同商品搭配的喜好程度；

步骤三：根据用户的人脸图片提取出人脸特征，根据提取的人脸特征得到用户的属 性特征，再根据学习到的参数化模型计算不同属性特征与不同商品之间的合适度；

步骤四：根据步骤一到步骤三的分析，综合推荐与用户搭配度最高的整套服装搭配。

进一步的，将一整套服装搭配配置为一个列表，所述列表中包括一组不同类别的单 品，服装推荐系统中可同时配置成若干个列表；

服装推荐系统中，第n类商品的集合表示成：

其中，L⁽ⁿ⁾表示F⁽ⁿ⁾中商品的总数，l＝1,...,L⁽ⁿ⁾,表示第n类商品中第l个单品的特征向量，M⁽ⁿ⁾为的维度，表示维空间，N为一整套服装搭配 中商品类别的种类总数；

将一整套服装搭配表示成：

t＝{t₁,...,t_N}表示一整套服装搭配O_t中的每个单品的索引；

假设一共有U个用户，对于每一个用户u，u＝1,...,U,对于一整套服装搭配O_t的喜爱程度用评分表示；

将用户u与一整套服装搭配O_t之间的评分表示成：

表示用户u对于第n类商品的喜好程度，D表示映射空间的维度，R^D表 示D维空间；

表示第n类商品中与用户匹配的单品的特征向量；表示一系列的函数，用于将第n类商品的特征映射到潜在空间中，与用户进 行匹配；

表示根据用户u的人脸特征得到的用户属性特征对于第n类商品的合适度；

表示与第m类商品匹配的第n类商品中单品的特征向量；表示一系列的函数，用于将第n类商品的特征映射到潜在空间中，与第m 类的商品进行匹配；

表示一系列的函数，用于将第m类商品的特征映射到潜在空间中，与第n类的商品进行匹配；

根据一个用户u对于一整套服装总的评分分将得分最高的一整套服装搭推荐给用户u。

有益效果：本发明将人脸属性提取技术加入到服装推荐系统中，提出融合了人脸属 性分析的服装搭配推荐方法。根据人脸特征分析用户的年龄、发色、肤色等特征，并将这些特征与不同商品之间进行分析得到他们之间的匹配度，以此能够帮助用户挑选到不仅符合他们的偏好并且适合他们的服装搭配。传统的服装推荐系统大部分都只是推荐某一类服装给用户，没有考虑到不同时尚单品之间的搭配程度，并且也没有让用户从繁多 的商品中解放出来。我们所提出的服装推荐方法融合人脸属性分析，给用户推荐一整套 服装搭配，这样能够更好的改善用户的购物体验。

具体实施方式

下面结合对本发明做更进一步的解释。

一种融合人脸属性分析的服装搭配推荐方法，包括如下步骤：

步骤一：学习一个参数化模型，用于计算不同商品之间的搭配程度；

步骤二：根据用户的购买记录和浏览记录，得到用户对于不同商品搭配的喜好程度；

步骤三：根据用户的人脸图片提取出人脸特征，根据提取的人脸特征得到用户的属 性特征，再根据学习到的参数化模型计算不同属性特征与不同商品之间的合适度；

步骤四：根据步骤一到步骤三的分析，综合推荐与用户搭配度最高的整套服装搭配。

本实施例中，将一整套服装搭配配置为一个列表，列表中包括一组不同类别的单品， 服装推荐系统中可同时配置成若干个列表。

服装推荐系统中，第n类商品的集合表示成：

其中，L⁽ⁿ⁾表示F⁽ⁿ⁾中商品的总数，l＝1,...,L⁽ⁿ⁾,表示第n类商品中第l个单品的特征向量，M⁽ⁿ⁾为的维度，表示维空间，N为一整套服装搭配 中商品类别的种类总数。

将一整套服装搭配表示成：

t＝{t₁,...,t_N}表示一整套服装搭配O_t中的每个单品的索引；

假设一共有U个用户，对于每一个用户u，u＝1,...,U,对于一整套服装搭配O_t的喜爱程度用评分表示。

张量分解已经被深入的研究，在很多研究中都考虑到了成分之间更高阶数的相互作 用。在我们的问题中，我们观察到的张量是很稀少的。在所有可能的一整套服装中，每个用户只能对很少一部分进行评分。在有限数量的观察中，得到有效的更高阶的交互作 用是很困难的，因此我们只能通过将它分解成一些在潜在空间中一组成对的交互作用来 建立的模型。简单的因式分解模型的使用有效地避免了过度拟合，同样，它也能够 得到更加有效的学习算法。

将用户u与一整套服装搭配O_t之间的评分表示成：

表示用户u对于第n类商品的喜好程度，D表示映射空间的维度，R^D表 示D维空间。

在公式的第一部分中，我们对用户对于时尚单品的喜爱程度建立模型，这部分我们主要去观察用户的购买行为和浏览行为以及用户在一些社交网络上分享的关于服 装的图片等等。

表示第n类商品中与用户匹配的单品的特征向量；表示一系列的函数，用于将第n类商品的特征映射到潜在空间中，与用户进 行匹配。

表示根据用户u的人脸特征得到的用户属性特征对于第n类商品的合适度；

表示与第m类商品匹配的第n类商品中单品的特征向量；表示一系列的函数，用于将第n类商品的特征映射到潜在空间中，与第m 类的商品进行匹配。

表示一系列的函数，用于将第m类商品的特征映射到潜在空间中，与第n类的商品进行匹配。

根据一个用户u对于一整套服装总的评分分将得分最高的一整套服装搭推荐给用户u。

购物网站日渐盛行，为了能够改善用户的购物体验，节省时间，增加购物兴趣，本发明提出融合人脸属性分析的服装搭配推荐方法。主要包括四个部分：(1)建立模型学 习不同商品之间的搭配度；(2)学习用户的行为得到他们的喜爱偏好；(3)通过人脸特 征分析得到用户的人脸属性；(4)根据前三部分信息给用户推荐最适合他们的一整套服 装。

在推荐系统中，因式分解技术获得了很大的成功，很多模型被提出来分解用户-商品评分矩阵，为了加强这些模型的性能，很多工作研究了矩阵因式分解中附属信息的使用，并且使用线性函数将特征向量从特征空间映射到低维的潜在空间。有的工作提出在 矩阵的分解中用梯度推进的方式来自动构造特征函数。本发明将这种梯度推进的方式延 伸到张量分解，并且使用排列算法而不是回归算法。

由于不同的用户对于不同的服装搭配的喜好程度可能有很大的差别，所以我们在训 练集中加入偏好对，偏好对作为训练数据的使用已经成为学习排列函数常用的方法。

Z表示在训练集中用户与整套服装对(u,O_t)的总数。

所以，把学习问题转化为下列目标函数的学习：

Q表示正则化项：

这个函数运用到了一个正规化的逻辑回归模型，通过这个函数我们将一组(i,j)分 为两类，y(i,j)＝1表示y(i,j)＝-1则表示相反。

(1)建立模型学习不同商品之间的搭配程度

与音乐电影不同的是，时尚商品的数量是非常巨大的，一个商品可能有很少甚至没 有用户选择，因此仅仅使用用户与商品之间的关系来描述商品之间的特性是不适用的。我们可以使用商品的辅助信息来捕捉商品之间的关系。在网上，商品的信息非常多，我 们可以从商品的图片、卖家的描述信息中获取商品的信息，例如价格、流行程度等。

首先我们需要获取商品的信息，主要来自两个方面，一方面是商品的视觉特征，一方面是商品的文字信息。商品的视觉特征可以从商品的图片中获取，商品的文字信息可 以从卖家的商品描述信息中获得。对于视觉特征，首先利用显著区域检测的方法，定位 商品在图片中的位置，然后对商品的进行特征提取，包括RGB直方图，HOG特征等等。 由于提取的特征维度较高，通常有几千上万维，我们需要利用主成分分析(PCA)的方 法进行降维。对于商品的描述信息，我们使用的文字信息包括种类、名字以及在网站上 描述，每个文字出现的次数组成特征向量。

对商品的视觉信息和文字信息进行处理后，可以得到商品的特征向量。根据得到的 商品的特征向量，利用梯度下降的方法来预测不同商品之间的匹配度即

通常，对于每一个函数我们可以选择一个参数化的模型，例如可以是一个关于c⁽ⁿ⁾的线性函数，但是，c⁽ⁿ⁾中的特征可能来 自多模态的，并且网上关于某个商品的其他信息也是非常丰富的，因此线性模型不能有 效的处理这些异构的信息。因此我们选择用梯度下降法。

令和分别为和当前的估计值， 相应的一组的评分为令

则优化目标函数相当于最小化下 列函数：

的梯度可以表示e_l，这样我们可以将作为样本构造训练集， 并且从中学习到一个回归函数，并且，从中我们可以学习到一个小的回归决策树。与其他的方法相比，决策树具有这样的优势，能够处理c⁽ⁿ⁾中的异构特征。

(2)学习用户的行为得到他们的喜爱偏好

为了产生更好的推荐，我们需要学习用户过去的行为。一个人搭配或者选择的服装 能够反应一个人的品味，这些品味和喜好可以从用户的社交网络上得到。但是，对于某个用户，我们能够得到的整套服装的数量是非常有限的。然而，我们发现具有相同品味 的用户分享的服装搭配的数量是很多的，因此我们不仅要学习用户的行为，还要学习其 他人的行为。

基于用户这些过去的行为，我们将高维的用户与商品之间顺序交互作用分解成为在 低维中一组成对的交互作用。对于用户u我们需要学习我们将他们链接成一个向量

假设是P的子集，表示只含有用户u的偏好对。利用之前学习到的我们定义c_i为关于的映射：

并且令

则评分可以被重写为：

我们修改了逻辑回归(LR)中牛顿法的置信域来解决这个优化问题。

(3)通过人脸特征分析得到用户的人脸属性

某个用户可能比较偏向于某些风格，但是人的外形特征是会随时变化的，比如发型、 妆容、是否带眼镜、发色、胖瘦、年龄等等，这些属性特征可以通过人脸特征分析得到。根据得到的用户属性特征，我们可以推测不同的用户特征与服装之间的搭配程度，这一 步与步骤(2)中推测用户的喜爱偏好与服装之间的适合度相似。

首先，我们预先定义一组可描述的视觉特征，例如性别、人种、发色、年龄、是否 戴眼镜、胖瘦等等。然后，根据用户的人脸图片，可以使用人脸检测器在图片中检测人 脸，该检测器还会返回人脸的姿态角度以及基准点的位置：两只眼睛的眼角以及嘴角。 通过这些基准点可以对人脸进行矫正。基于之前的人脸区域检测，我们需要将图片的背 景掩盖，避免给分类器造成干扰因素。对于检测到的人脸中的每一个区域，我们可以 提取特征，例如LBP，HSV，LPQ等，对人脸进行描述。

然后，针对每一个预定的属性，我们可以训练一个分类器对属性进行预测。分类器可以选择具有RBF内核的SVM模型。

(4)根据前三部分信息给用户推荐最适合他们的一整套服装：

综合前三部分的内容，可以得到用户u与一整套服装O_t之间的评分

公式中的三个部分，分别表示用户对于时尚单品的喜爱程度，用户人脸属性与每个 单品的匹配程度，以及单品之间的匹配程度。综合分析这三个部分，我们可以得到一个用户u对于一整套服装总的评分r，然后我们将得分r最高的一整套服装推荐给用户u。

在本专利中我们提出了针对服装的个性化推荐的问题，并融合了人脸分析技术，自 动给用户推荐他们喜欢的服装。用户与商品，人脸属性特征与商品，商品与商品之间的交互作用我们用到了张量分解的方法，为了解决时尚商品的多模态特征，我们使用了梯 度递减的方法来学习非线性函数来将特征向量从特征空间映射到潜在空间。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员 来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种融合人脸属性分析的服装搭配推荐方法，其特征在于，包括如下步骤：

步骤一：学习一个参数化模型，用于计算不同商品之间的搭配程度；

步骤二：根据用户的购买记录和浏览记录，得到用户对于不同商品搭配的喜好程度；

步骤三：根据用户的人脸图片提取出人脸特征，根据提取的人脸特征得到用户的属性特征，再根据学习到的参数化模型计算不同属性特征与不同商品之间的合适度；

步骤四：根据步骤一到步骤三的分析，综合推荐与用户搭配度最高的整套服装搭配。

2.根据权利要求1所述的融合人脸属性分析的服装搭配推荐方法，其特征在于，将一整套服装搭配配置为一个列表，所述列表中包括一组不同类别的单品，服装推荐系统中可同时配置成若干个列表；

服装推荐系统中，第n类商品的集合表示成：

其中，L⁽ⁿ⁾表示F⁽ⁿ⁾中商品的总数，表示第n类商品中第l个单品的特征向量，M⁽ⁿ⁾为的维度，表示维空间，N为一整套服装搭配中商品类别的种类总数；

将一整套服装搭配表示成：

t＝{t₁,...,t_N}表示一整套服装搭配O_t中的每个单品的索引；

假设一共有U个用户，对于每一个用户u，u＝1,...,U,对于一整套服装搭配O_t的喜爱程度用评分表示；

将用户u与一整套服装搭配O_t之间的评分表示成：

表示用户u对于第n类商品的喜好程度，D表示映射空间的维度，R^D表示D维空间；

表示第n类商品中与用户匹配的单品的特征向量；表示一系列的函数，用于将第n类商品的特征映射到潜在空间中，与用户进行匹配；

表示根据用户u的人脸特征得到的用户属性特征对于第n类商品的合适度；

表示与第m类商品匹配的第n类商品中单品的特征向量；表示一系列的函数，用于将第n类商品的特征映射到潜在空间中，与第m类的商品进行匹配；

表示一系列的函数，用于将第m类商品的特征映射到潜在空间中，与第n类的商品进行匹配；

根据一个用户u对于一整套服装总的评分分将得分最高的一整套服装搭推荐给用户u。