CN111400525A - 基于视觉组合关系学习的时尚服装智能搭配与推荐方法 - Google Patents

Abstract

本发明公开了一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，该方法针对服装视觉信息的抽取，多服饰视觉兼容度与相互影响关系的建模，能够智能的为服装进行匹配，获取服装之间的匹配评分，进一步地辅助搭配类别分析，能够智能识别当前搭配中所缺少的部分，并对缺少单品进行针对性预测；通过模型训练与优化策略，模型能够自适应的学习专家经验，并能智能的为用户生成美观的服装搭配。

Description

基于视觉组合关系学习的时尚服装智能搭配与推荐方法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法。

背景技术

服装是人们日常生活中必不可缺的一部分，一套好的服装搭配不仅仅可以提升用户的自信，同时还能在一定程度上反馈用户的个性偏好。然而，在日常生活中，大部分人都能够搭配一套合适漂亮的服装，尤其是对于那些没有美感和相关经验的人。同时，基于服装搭配关系的学习，能够进一步帮助推荐系统更好的为用户推荐服装的搭配方案。

传统的方法大多是基于专家经验的服装搭配方案生成和推荐，但是这种方法一来过于依赖人为的经验与数据标注(每一次都需要专家人工辅助推荐)，成本非常之高，二来无法对新的服装商品进行处理，只能完成原有服装方案的重现，无法智能的理解用户服装搭配意图与场景。

发明内容

本发明的目的是提供一种基于视觉组合关系学习时尚服装智能搭配与推荐方法，模型训练结束后不依赖人工标注数据，能够对新的服装进行自动的识别分析，并智能完成时尚搭配，为用户生成搭配建议。

本发明的目的是通过以下技术方案实现的：

一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，包括：

获取若干套专家标注并搭配的服装集合；

搭建神经网络模型并进行网络训练：从任一套服装集合中随机删除一件服装，删除一件服装后的服装集合作为训练样本，并通过神经网络模型提取训练样本的整体表征向量，在提取训练样本的整体表征向量时，利用计算机视觉技术提取服装的视觉信息，并建模不同服装的视觉兼容度与相互影响关系；利用训练样本的整体表征向量计算训练样本与每一候选服装的匹配评分，从而根据匹配评分训练神经网络模型；

将单品服装作为输入，基于训练好的神经网络模型，生成成套的服装集合。

由上述本发明提供的技术方案可以看出，针对服装视觉信息的抽取，多服饰视觉兼容度与相互影响关系的建模，能够智能的为服装进行匹配，获取服装之间的匹配评分，进一步地辅助搭配类别分析，能够智能识别当前搭配中所缺少的部分，并对缺少单品进行针对性预测；通过模型训练与优化策略，模型能够自适应的学习专家经验，并能智能的为用户生成美观的服装搭配。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，如图1所示，其主要包括：

步骤1、获取若干套专家标注并搭配的服装集合。

本发明实施例中，第l套专家标注并搭配的服装集合表示为：O_l＝{p₁,2,..,_k}，其中，p_i表示服装集合中的第i件服装的相关信息，i＝1,2,…,k，k表示服装总数；服装的相关信息包括：服装的类别信息和服装图片。

本发明实施例中，一套服装集合即为一套完整的服装搭配方案，服装集合的具体数目可根据实际情况设定。

示例性的，服装类别可以包括：男士长裤，男士短裤，长裙，短裙等；通常情况下，一个服装集合中不会出现相同类别的服装。

本发明实施例中，专家标注并搭配的服装集合可以通过自动爬取得到，在后续神经网络模型学习完成后就可以智能的为用户进行推荐了，不再继续依赖专家标注并搭配的服装集合。

步骤2、搭建神经网络模型并进行网络训练：从任一套服装集合中随机删除一件服装，删除一件服装后的服装集合作为训练样本，并通过神经网络模型提取训练样本的整体表征向量，在提取训练样本的整体表征向量时，利用计算机视觉技术提取服装的视觉信息，并建模不同服装的视觉兼容度与相互影响关系；利用训练样本的整体表征向量计算训练样本与每一候选服装的匹配评分，从而根据匹配评分训练神经网络模型。

本发明实施例中，针对服装搭配的问题特点，提出了一种组合感知的优化策略。具体来说，不同于常见的分类以及预测问题，从现有服装搭配库(即专家标注并搭配的服装集合)中学习服装搭配关系是比较困难的，因为没有确定的输入信号与监督信号。换句话来说，服装搭配中的每一件衣服都有可能是被搭配的衣服，也有可能是用户已经购买过或者选择需要被搭配的衣服。因此，在神经网络模型学习搭配过程中，首先随机在已有的服装搭配中选取一件单品，并将其从搭配方案中删除，将该删除的服装看作是模型训练的预测服装，删除后的搭配方案即是训练样本P。

对于训练样本，通过预先搭建的神经网络模型提取整体表征向量，基于神经网络，模型通过采用计算机视觉技术，智能分析服装图片信息，提取服装美学特征，进一步地，建模服装搭配间的互关联性与视觉一致性等，挖掘服装搭配的视觉相关性以及类别的互补兼容性，优选实施方式如下：

1)提取每一服装的视觉信息。

根据步骤1获得到的信息，首先需要从服装图片中提取视觉信息，即将图片转化成计算机可识别、可理解、可计算的特征向量。

本发明实施例中，通过一个预训练的多层卷积神经网络，获得服装的视觉表征向量x_i，然后通过一个全连接层，对视觉表征向量进行降维：

其中，

表示降维后的第i件服装的视觉表征向量，

是可调权重，

表示全连接层的偏差；σ是激活函数，示例性的，可以采用ReLu函数作为激活函数。

本领域技术人员可以理解，预训练过程中没有对多层卷积神经网络中的全连接层进行训练，因此，视觉表征向量x_i是通过预训练的多层卷积神经网络的卷积层得到。

2)基于服装的视觉信息，利用注意力机制来学习服装集合中两两服装之间的空间兼容关系，从而得到训练样本的视觉兼容表征向量。

对于第1)步中学习到的服装图片特征，本发明进一步建模一套服装中两两之间的兼容关系，具体地，本发明提出了一种多属性空间，例如服装的颜色空间，纹理空间，具体地，采用一个线性层对降维后的视觉表征向量进行处理，来生成相应服装在不同属性空间的特征表示，并通过注意力机制来学习两两服装之间的多空间兼容关系：

其中，

分别为第i件服装、第j件服装在空间s的特征表示，

表示第i件服装与第j件服装在属性空间s中的视觉关联分数；

分别表示注意力机制中Q、K映射矩阵的权重，d_s表示的是服装在属性空间s的特征维度，

是视觉关联的注意力权重。

生成服装在特征空间上的表征向量：

本领域技术人员可以理解，上式是特征降维的操作，即将特征维度由属性空间中的维度d_s转换为特征空间的维度。

通过合并不同属性空间上的表征向量，得到训练样本的视觉兼容表征向量

3)根据服装的类别信息，生成服装类别两两关系矩阵，从而得到训练样本的类别表征向量。

此处的步骤3)与前述的步骤1)～2)不区分执行的先后顺序，可以一前一后执行，也可以同步执行。

本发明实施例提出一种针对服装类别搭配关系建模过程，具体来说就是学习服装搭配过程中，服装类别之间的兼容关系。通过对已收集的服装搭配方案(也即步骤1获得的服装集合)进行分析，提取其中的类别信息，根据服装集合中每一件服装的类别信息确定类别I与类别J共同出现的次数f_c(C(p_i),C(p_j))，从而生成服装类别两两关系矩阵，矩阵中的两两兼容概率表示为：

其中，C(p_i)、C(p_j)表示第i件服装、第j件服装类别，即，各自属于类别I、类别J；C(P)表示训练样本P中两两服装组成的类别集合，S表示若干训练样本构成的集合；Max(f_c)和Min(f_c)表示从全部服装集合中统计的所有类别两两出现数目的最大值与最小值，比如，步骤1中获得了10套服装集合，模型需要从中学习现有的搭配经验，通过统计这10套服装集合中类别两两组合的概率，例如有5套衣服存在短袖和短裤组合，那么短袖和短裤的组合数目为5，概率为5/10＝0.5；有三套有短裤凉鞋，那么短裤凉鞋概率为0.3；后续我们需要把短裤的类别向量化，这个向量就是[0.5,…,0.3]，通过统计就可以选出所有类别两两出现数目的最大值与最小值；由此可以获得训练样本P中第i件服装的类别向量

中的每一个元素表示的是训练样本P中第i件服装类别C(p_i)与全部服装集合中所有类别的兼容概率向量，具体的

n表示总共服装类别数目。

这样对于样本集合P，有

再通过一个线性参数W_C，生成训练样本的类别表征向量：H(P)＝C^PW_C。

示例性的，假设全部服装集合中一共有30个类别的服装，训练样本P有其中的4个类别，那么C^P就是一个4*30维的向量，C^P中每一件服装类别向量

为30维。

4)结合视觉兼容表征向量与类别表征向量得到训练样本的整体表征向量，表示为：

其中，V(p)、H(P)分别为训练样本的视觉兼容表征向量、类别表征向量。

通过上述方式获得训练样本的整体表征向量后，可以通过下述公式计算与各个候选服装之间的匹配评分：

其中，P表示训练样本(也即随机删掉一件服装后的服装集合)，x_c是候选服装的视觉表征向量(可通过前文介绍的预训练的多层卷积神经网络，从候选服装的图片中提取)；I是多个候选服装的表征向量构成的集合。

本发明中，候选商品从训练的批数据中随机获取，根据匹配评分构造神经网络模型的损失函数，并采用随机梯度下降算法优化神经网络模型的的参数θ，损失函数表示为：

其中，m表示候选服装的数目。

步骤3、将单品服装作为输入，基于训练好的神经网络模型，生成成套的服装集合。

通过以上步骤训练出用于服装智能搭配的神经网络模型，之后，可为用户生成时尚服装搭配建议，同时为用户自动化地依次生成搭配中所需要的单品服饰。具体如下：

将单品服装(可以是新服装，也可以是之前训练时所涉及的服装)作为输入，所述单品服装是用于初步选择的一个服装，基于训练好的神经网络模型生成相搭配的若干候选单品服装，并推荐给用户；根据用户的指令从候选单品服装中选出相应单品服装放入服装集合；将服装集合作为输入，继续使用上述方式，并不断更新服装集合，最终完成一整套服装搭配；如此，就完成一次智能服装搭配方案的生成。

本发明实施例中，输入的单品服装主要是单品服装对应的相关信息，例如，前文介绍的服装的类别信息和服装图片。

本发明实施例中，生成相搭配的若干候选单品服装，是通过计算与输入单品服装的匹配评分得到，此阶段下服装集合只有用户初步选择的一个服装，因此，匹配评分计算中，带入公式的

即为单品服装的视觉表征向量；在后续过程中，更新了服装集合，将通过前文的方式来计算服装集合的整体表征向量。

本发明实施例上述方案，针对服装视觉信息的抽取，多服饰视觉兼容度与相互影响关系的建模，能够智能的为服装进行匹配，获取服装之间的匹配评分，进一步地辅助搭配类别分析，能够智能识别当前搭配中所缺少的部分，并对缺少单品进行针对性预测(具体通过前文介绍的匹配评分体现)；通过模型训练与优化策略，模型能够自适应的学习专家经验，并能智能的为用户生成美观的服装搭配。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，包括：

获取若干套专家标注并搭配的服装集合；

搭建神经网络模型并进行网络训练：从任一套服装集合中随机删除一件服装，删除一件服装后的服装集合作为训练样本，并通过神经网络模型提取训练样本的整体表征向量，在提取训练样本的整体表征向量时，利用计算机视觉技术提取服装的视觉信息，并建模不同服装的视觉兼容度与相互影响关系；利用训练样本的整体表征向量计算训练样本与每一候选服装的匹配评分，从而根据匹配评分训练神经网络模型；

将单品服装作为输入，基于训练好的神经网络模型，生成成套的服装集合。

2.根据权利要求1所述的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，第l套专家标注并搭配的服装集合表示为：O_l＝{p₁，p₂，..，p_k}，其中，p_i表示服装集合中的第i件服装的相关信息，i＝1，2，...，k，k表示服装总数；服装的相关信息包括：服装的类别信息和服装图片。

3.根据权利要求1所述的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，通过神经网络模型提取训练样本的整体表征向量的步骤包括：

提取每一服装的视觉信息，并利用注意力机制来学习服装集合中两两服装之间的空间兼容关系，从而得到训练样本的视觉兼容表征向量；同时，根据服装的类别信息，生成服装类别两两关系矩阵，从而得到训练样本的类别表征向量；结合视觉兼容表征向量与类别表征向量得到训练样本的整体表征向量。

4.根据权利要求3所述的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，所述提取每一服装的视觉信息包括：

通过一个预训练的多层卷积神经网络，获得服装的视觉表征向量x_i，然后通过一个全连接层，对视觉表征向量进行降维：

其中，

表示降维后的第i件服装的视觉表征向量，W_f ⁽¹⁾，W_f ⁽²⁾是可调权重，

表示模型偏差；σ是激活函数。

5.根据权利要求3所述的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，所述利用注意力机制来学习服装集合中两两服装之间的空间兼容关系，从而得到训练样本的视觉兼容表征包括：

采用一个线性层对降维后的视觉表征向量进行处理，来生成相应服装在不同属性空间的特征表示，并通过注意力机制来学习两两服装之间的多空间兼容关系：

其中，

分别为第i件服装、第j件服装在空间s的特征表示；

表示第i件服装与第j件服装在属性空间s中的视觉关联分数；W_s ^q、W_s ^k分别表示注意力机制中Q、K映射矩阵的权重；d_s表示服装在属性空间s的特征维度，

是视觉关联的注意力权重；

生成服装在特征空间上的表征向量：

通过合并不同属性空间上的表征向量，得到训练样本的视觉兼容表征向量

6.根据权利要求3所述的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，所述根据服装的类别信息，生成服装类别两两关系矩阵，从而得到训练样本的类别表征向量包括：

根据服装集合中每一件服装的类别信息确定类别I与类别J共同出现的次数f_c(C(p_i)，C(p_j))，从而生成服装类别两两关系矩阵，矩阵中的两两兼容概率表示为：

其中，C(p_i)、C(p_j)表示第i件服装、第j件服装的类别，即，各自属于类别I、类别J；C(P)表示训练样本P中两两服装组成的类别集合，S表示若干训练样本构成的集合；Max(f_c)和Min(f_c)表示从全部服装集合中统计的所有类别两两出现数目的最大值与最小值，由此获得训练样本P中第i件服装的类别向量

中的每一个元素表示的是训练样本P中第i件服装的类别C(p_i)与全部服装集合中所有的兼容概率向量，

对于训练样本P，有

再通过一个线性参数W_C，生成训练样本的类别表征向量：H(P)＝C^PW_C。

7.根据权利要求3或5或6所述的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，结合视觉兼容表征向量与类别表征向量得到训练样本的整体表征向量的公式为：

其中，V(P)、H(P)分别为训练样本的视觉兼容表征向量、类别表征向量。

8.根据权利要求1所述的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，利用训练样本的整体表征向量计算训练样本与每一候选服装的匹配评分的计算公式为：

其中，P表示训练样本，

表示训练样本的整体表征向量，x_c是候选服装的视觉表征向量；I是多个候选服装的表征向量构成的集合。

9.根据权利要求1所述的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，根据匹配评分训练神经网络模型包括：

根据匹配评分构造神经网络模型的损失函数，并采用随机梯度下降算法优化神经网络模型的的参数θ，损失函数表示为：

其中，

表示候选服装的匹配评分，m表示候选服装的数目。

10.根据权利要求1所述的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，将单品服装作为输入，基于训练好的神经网络模型，生成成套的服装集合包括：

将单品服装作为输入，基于训练好的神经网络模型生成相搭配的若干候选单品服装，并推荐给用户；根据用户的指令从候选单品服装中选出相应单品服装放入服装集合；

将服装集合作为输入，继续使用上述方式，并不断更新服装集合，最终完成一整套服装搭配。

Images