CN114821202B - 一种基于用户偏好的服装推荐方法 - Google Patents

Abstract

本发明公开了一种基于用户偏好的服装推荐方法，涉及服装推荐技术领域，本系统包括如下步骤：（1）获取用户输入的服装图像信息。（2）通过服装风格识别模型对用户输入的服装图像进行风格识别，并获得风格标签。（3）通过获得的风格标签在服装数据集中筛选出与风格标签一致的K件服装。（4）通过服装属性识别模型获取用户输入的服装图像的特征向量，获取所述K件服装的特征向量。（5）根据相似度公式计算用户输入的服装图像与所述K件服装的相似度值，推荐给用户相似度最高的服装。解决了基于浅层次特征的服装相似度计算没有很好提取到服装风格特征的问题，能将与用户输入图片的服装风格最相似的服装推荐给用户。

Description

一种基于用户偏好的服装推荐方法

技术领域

本发明属于服装推荐技术领域，主要涉及一种基于用户偏好的服装推荐方法。

背景技术

随着生活的不断提高，穿暖已经远远不能满足大众的要求，如何穿出合适的搭配以及在不同场景下如何进行穿搭已经成为目前大众追求的目标。在“互联网+”的大环境下，人们的消费理念已经逐渐发生了改变，线上消费的方式极大的降低了购物的时间，并且由于线上购物可以有更多的选择空间，这种方式已经成为了一种潮流和趋势。

基于消费者服装风格偏好研究显示，由于用户性格、生活节奏、社会引导等原因越来越多的消费者倾向于购买固定风格偏好的服装。一些成熟的服装品牌抓住了消费者喜欢购买固定风格服装的特点，因此，这些品牌在长期生产经营过程中形成了自身固定的服装风格。香奈儿、迪奥、路易威登等高档奢侈品牌以及部分中高档服装品牌都有各自固定的服装风格。但是，由于这些品牌的服装风格比较单一并且价格比较昂贵，因此它们的目标客户群体相对较少。绝大部分消费者倾向于购买更平价的服装品牌，然而平价服装品牌为了扩大目标消费者群体，难以形成固定的服装风格。据调查，大型平价服装品牌都是多风格混卖，例如优衣库、森马、LILY、ZARA、H&M等。这些服装品牌并不局限于某一种固定的服装风格，这对于消费者来说是不友好的，消费者往往希望用更少的时间买到心仪的服装。

公开号为CN111967930A的中国专利公开了“一种基于多网络融合的服装风格识别推荐方法”根据摄像头获取到的人体图像利用卷积神经网络得到服装的局部特征和全局特征，得到服装风格分类标签，然后通过服装风格分类标签进行服装推荐。这个方法得到的服装风格分类标签并不十分准确，仅仅依靠用户的外貌来定义，而并未了解用户自己所偏爱的风格。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于用户偏好的服装推荐方法，其目的是根据用户的个人偏好来预测用户对某件服装的偏好，然后进行推荐。

为实现上述目的，按照本发明的一个方面，提供了一种基于用户偏好的服装推荐方法，包括如下步骤：

步骤（1），获取用户输入的服装图像信息；

步骤（2），通过服装风格识别模型对用户输入的服装图像进行风格识别，并获得风格标签；

步骤（3），通过获得的风格标签在服装数据集中筛选出与风格标签一致的K件服装；

步骤（4），通过服装属性识别模型获取用户输入的服装图像的特征向量，获取所述K件服装的特征向量；

步骤（5），根据相似度公式计算用户输入的服装图像与所述K件服装的相似度值，推荐给用户相似度最高的服装。

优选的，步骤（2）中的服装风格识别模型包括卷积神经网络与分类器，其中的卷积神经网络分为7个阶段，第一个阶段经过3x3的卷积操作，BN层和Swish激活函数处理，并作为第二阶段的输入；第二阶段到第六阶段是重复堆叠的残差结构，残差结构分为左右两个分支，左分支首先是1×1的卷积层起到升维作用，再利用一个5×5的深度可分离卷积层进行卷积操作，最后使用一个1×1的卷积层起到降维作用，右分支直接与左分支的结果进行相加，得到最后的输出，卷积层包含BN层和Swish激活函数；第七阶段由一个1×1的卷积层、BN层、Swish激活函数、平均池化层和全连接层所组成。

优选的，所述风格识别模型中的分类器能够学习到细粒度的服装图像分类，采用 分权分类损失函数来实现服装分类，并以分类的结果为依据对数据集进行过滤；分权分类 损失函数分为两部分：

需要输入三个样本构成 三元组，分别是参考样本，正样本和负样本，分权分类损失函数的目标是使参考样本和正样 本之间的距离最小，而和负样本之间的距离最大，而

经过计算可以得出对应服装 所属元素信息的概率，整个网络的损失函数表示如下：

式中，β表示比例，m表示参考样本图像，n⁺表示正样本图像，n^-表示负样本图像，p(m，n⁺)表示参考样本和正样本之间的欧式距离，p(m，n^-)表示参考样本和负样本之间的欧式距离，L表示特定阈值。Z _i 表示卷积神经网络中最后一个全连接层第i个节点的输出值，n为输出的节点数量，即分类的类别个数。

优选的，所述服装属性识别模型分为8个子模型，包括裙长属性识别模型、裤长属性识别模型、衣长属性识别模型、袖长属性识别模型、领型属性识别模型、领深属性识别模型、颈线属性识别模型和脖颈属性识别模型。

优选的，所述的服装属性识别模型分为5个阶段：

在第一阶段中，先经过1×1卷积，再经过Relu激活函数处理，最后进行最大池化操作作为下一阶段的输入；

在第二阶段中，由三个多深度融合残差块所构成，第一个多深度融合残差块分为三条支路，左边路径由1×1卷积和BN层构成，1×1卷积主要是起到匹配输入与输出维度差异的作用，中间路径由1×1卷积、LN层、3×3卷积、GELU层、1×1卷积、关键点注意力模块和通道注意力模块所构成，1×1卷积的主要作用分别是减少通道数和恢复通道数，使得它们中间的3×3卷积层的输入和输出的通道数都较小，右边路径由两个3×3卷积、LN层、3×3卷积、GELU层和一个1×1卷积构成，1×1卷积用于控制通道数量，最后将三条支路进行联合输出，而第二个多深度融合残差块与第三个多深度融合残差块是一样的，与第一个多深度残差块的区别是左边路径不需要经过1×1卷积，而是直接进行跳跃连接。

在第三阶段中，由三个多深度融合残差块构成，第一个多深度融合残差块与第二阶段中的第一个多深度融合残差块相同，第二个和第三个多深度融合残差块与第二阶段中的第二个多深度融合残差块相同。

在第四阶段中，由九个多深度融合残差块所构成，第一个多深度融合残差块与第三阶段中的第一个多深度融合残差块相同，第二个到第九个多深度融合残差块与第三阶段中的第二个多深度融合残差块相同。

在第五阶段中，由三个多深度融合残差块和全连接层所构成，第一个多深度融合残差块与第四阶段中的第一个多深度融合残差块相同，第二个和第三个多深度融合残差块与第三阶段中的第二个多深度融合残差块相同，最后通过全连接层输出特征向量。

其中所述关键点注意力模块，使用卷积和反卷积的组合提取特征和恢复特征图。网络分为3个阶段，每个阶段由3×3的卷积层和4×4的反卷积层组成，为扩大感受野，获得不同关键点之间的联系，在网络的第一阶段后加入非局均值算法；

其中所述通道注意力模块，先使用最大池化强调特征中响应更强烈的部分，即强调服装的整体轮廓。再使用全局平均池化保留了特征图的整体特征。此外，全局平均池化是把二维的特征图用一个数表示，也相当于获得了全局感受野，使用尺寸为7×7的卷积核进行卷积，然后加入两个全连接层，最后用sigmoid函数获得0～1之间的权重，这个权重值可看作是经过特征选择后的每个通道的重要程度，将获得的权重与特征图相乘，就得到了基于通道注意力的最终的特征图。

优选的，步骤（5）中相似度计算公式为：

其中，ω₁表示特征数量相似度权重系数，ω₂表示特征相似性大小决定的相似度权 重系数，服装M中属性的数量为 m，服装N中属性的数量为n ，服装M、N间相似属性的数量为 k，属性包括裙长属性、裤长属性、衣长属性、袖长属性、领型属性、领深属性、颈线属性和脖 颈属性；α _i (i=1，2，..，k)表示各相似特征的权重系数。其中

，M _j 和N _j 分别代表服装M、N中属性对应的特征向量中的第j个元素，p表示特征向量中元素的 个数。

优选的，采用选择排序法按相似度值大小推荐与用户输入图像风格最相似的服装。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)服装属性识别模型的卷积神经网络使用了多深度融合残差块，可以使得网络在增加深度的同时，还能降低计算复杂度并解决梯度消失的问题，多深度融合残差块相对基础残差块而言增加了宽度，从而网络在进行反向传播时能够保证更多的weights参与到学习训练中，在网络中嵌入了注意力模块，能够提升模型的关键特征提取能力。

(2)本发明采用的服装相似度计算公式，考虑了服装的整体相似性和服装的局部相似性，并采用权重分配来计算相似度，从而更全面的计算服装间的相似性。

(3)本发明通过服装风格识别模型从数据集中筛选出服装图像，通过服装属性识别模型提取服装属性的特征向量来计算服装的相似度，并使用选择排序法来推荐最相似的服装，能更精准的推荐与用户输入最相似的服装。

附图说明

图1为本发明实施例提供的一种基于用户偏好的服装推荐方法的流程示意图；

图2为本发明实施例提供的一种基于用户偏好的服装推荐方法的服装属性识别模型的网络结构图；

图3为本发明实施例提供的一种基于用户偏好的服装推荐方法的服装属性识别模型的关键点注意力模块和通道注意力模块的网络结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，是实施例提供的一种基于用户偏好的服装推荐方法流程示意图；实施例提供的一种基于用户偏好的服装推荐方法包括如下步骤：

（1）获取用户输入的服装图像信息。

优选的，所述的一种基于用户偏好的服装推荐方法中用户输入的图片信息，可以为网上寻找的图片，也可以为自己所拍摄的照片。

（2）通过服装风格识别模型对用户输入的服装图像进行风格识别，并获得风格标签。

其中服装推荐方法将服装风格分为8个类别，包括古典风格、中性风格、运动风格、休闲风格、简约风格、欧美风格、嘻哈风格和名媛风格。

其中服装风格识别模型中的卷积神经网络分为7个阶段，第一个阶段经过3×3的卷积操作，BN层和Swish激活函数处理，并作为第二阶段的输入。第二阶段到第六阶段是重复堆叠的残差结构。残差结构分为左右两个分支，左分支首先是1×1的卷积层起到升维作用，再利用一个5×5的深度可分离卷积层进行卷积操作，最后使用一个1×1的卷积层起到降维作用，右分支直接与左分支的结果进行相加，得到最后的输出，卷积层包含BN层和Swish激活函数。第七阶段由一个1×1的卷积层、BN层、Swish激活函数、平均池化层和全连接层所组成。卷积神经网络与分类器相连作为服装风格识别模型。

其中服装风格识别模型中的分类器能够学习到细粒度的服装图像分类，实现服装 风格精准分类。采用分权分类损失函数来实现服装分类，并以分类的结果为依据对数据集 进行过滤。分权分类损失函数分为两部分，其中分权分类损失函数分为两部分：

需要输入三个样本构成三元组，分别是参考样 本，正样本和负样本，分权分类损失函数的目标是使参考样本和正样本之间的距离最小，而 和负样本之间的距离最大，而

经过计算可以得出对应服装所属元素信息的概率， 整个网络的损失函数表示如下：

式中，β表示比例，m表示参考样本图像，n⁺表示正样本图像，n^-表示负样本图像，p(m，n⁺)表示参考样本和正样本之间的欧式距离，p(m，n^-)表示参考样本和负样本之间的欧式距离，L表示特定阈值。Z _i 表示卷积神经网络中最后一个全连接层第i个节点的输出值，n为输出的节点数量，即分类的类别个数。

（3）通过获得的风格标签在服装数据集中筛选出与风格标签一致的K件服装。

其中服装数据集是基于8种常见用户风格偏好而搭建的，通过搜索淘宝、蘑菇街等时尚热门网站上的服装图像并按8种常见用户偏好的表述对其进行筛选和分类，建立了古典、中性、运动、休闲、简约、欧美、嘻哈和名媛8种用户风格的数据集。

（4）通过服装属性识别模型获取用户输入的服装图像的特征向量，获取所述K件服装的特征向量。

其中服装属性识别模型分为8个子模型，包括裙长属性识别模型、裤长属性识别模型、衣长属性识别模型、袖长属性识别模型、领型属性识别模型、领深属性识别模型、颈线属性识别模型和脖颈属性识别模型。

如图2所示，其中服装属性识别模型分为5个阶段，即服装属性识别模型中的8个子模型均包含5个阶段。

在第一阶段中，先经过1×1卷积，再经过Relu激活函数处理，最后进行最大池化操作作为下一阶段的输入。

在第二阶段中，由三个多深度融合残差块所构成，第一个多深度融合残差块分为三条支路，左边路径由1×1卷积和BN层构成，1×1卷积主要是起到匹配输入与输出维度差异的作用，中间路径由1×1卷积、LN层、3×3卷积、GELU层、1×1卷积、关键点注意力模块和通道注意力模块所构成，1×1卷积的主要作用分别是减少通道数和恢复通道数，使得它们中间的3×3卷积层的输入和输出的通道数都较小，右边路径由两个3×3卷积、LN层、3×3卷积、GELU层和一个1×1卷积构成，1×1卷积用于控制通道数量，最后将三条支路进行联合输出，而第二个多深度融合残差块与第三个多深度融合残差块是一样的，与第一个多深度残差块的区别是左边路径不需要经过1×1卷积，而是直接进行跳跃连接。

在第三阶段中，由三个多深度融合残差块构成，第一个多深度融合残差块与第二阶段中的第一个多深度融合残差块相同，第二个和第三个多深度融合残差块与第二阶段中的第二个多深度融合残差块相同。

在第四阶段中，由九个多深度融合残差块所构成，第一个多深度融合残差块与第三阶段中的第一个多深度融合残差块相同，第二个到第九个多深度融合残差块与第三阶段中的第二个多深度融合残差块相同。

在第五阶段中，由三个多深度融合残差块和全连接层所构成，第一个多深度融合残差块与第四阶段中的第一个多深度融合残差块相同，第二个和第三个多深度融合残差块与第三阶段中的第二个多深度融合残差块相同，最后通过全连接层输出特征向量。

如图3所示，其中所述关键点注意力模块，使用卷积和反卷积的组合提取特征和恢复特征图。网络分为3个阶段，每个阶段由3×3的卷积层和4×4的反卷积层组成。为扩大感受野，获得不同关键点之间的联系，在网络的第一阶段后加入非局部均值算法。

如图3所示，其中所述通道注意力模块，先使用最大池化强调特征中响应更强烈的部分，即强调服装的整体轮廓。再使用全局平均池化保留了特征图的整体特征。此外，全局平均池化是把二维的特征图用一个数表示，也相当于获得了全局感受野，使用尺寸为7×7的卷积核进行卷积，然后加入两个全连接层，最后用sigmoid函数获得0～1之间的权重，这个权重值可看作是经过特征选择后的每个通道的重要程度，将获得的权重与特征图相乘，就得到了基于通道注意力的最终的特征图。

（5）根据相似度公式计算用户输入的服装图像与所述K件服装的相似度值，推荐给用户相似度最高的服装。

其中相似度计算公式为：

其中，ω₁表示特征数量相似度权重系数，ω₂表示特征相似性大小决定的相似度权 重系数，服装M中属性的数量为 m，服装N中属性的数量为n ，服装M、N间相似属性的数量为 k，属性包括裙长属性、裤长属性、衣长属性、袖长属性、领型属性、领深属性、颈线属性和脖 颈属性；α _i (i=1，2，..，k)表示各相似特征的权重系数。其中

，M _j 和N _j 分别代表服装M、N中属性对应的特征向量中的第j个元素，p表示特征向量中元素的 个数。

其中，采用选择排序法按相似度值大小推荐与用户输入图像风格最相似的服装。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (6)

1.一种基于用户偏好的服装推荐方法，其特征在于，包括如下步骤：

步骤（1），获取用户输入的服装图像信息；

步骤（2），通过服装风格识别模型对用户输入的服装图像进行风格识别，并获得风格标签；

所述步骤（2）中的服装风格识别模型包括卷积神经网络与分类器，其中的卷积神经网络分为7个阶段，第一个阶段经过3×3的卷积操作，BN层和Swish激活函数处理，并作为第二阶段的输入；第二阶段到第六阶段是重复堆叠的残差结构，残差结构分为左右两个分支，左分支首先是1×1的卷积层起到升维作用，再利用一个5×5的深度可分离卷积层进行卷积操作，最后使用一个1×1的卷积层起到降维作用，右分支直接与左分支的结果进行相加，得到最后的输出，卷积层包含BN层和Swish激活函数；第七阶段由一个1×1的卷积层、BN层、Swish激活函数、平均池化层和全连接层所组成；

步骤（3），通过获得的风格标签在服装数据集中筛选出与风格标签一致的K件服装；

步骤（4），通过服装属性识别模型获取用户输入的服装图像的特征向量，获取所述K件服装的特征向量；

步骤（5），根据相似度公式计算用户输入的服装图像与所述K件服装的相似度值，推荐给用户相似度最高的服装。

2.根据权利要求1所述的一种基于用户偏好的服装推荐方法，其特征在于：所述步骤（2）中的服装风格识别模型采用分权分类损失函数来实现服装分类，并以分类的结果为依据在服装数据集中筛选出服装图像；

分权分类损失函数分为两部分，其中

需要 输入三个样本构成三元组，分别是参考样本，正样本和负样本，分权分类损失函数的目标是 使参考样本和正样本之间的距离最小，而和负样本之间的距离最大，而

经过计算 可以得出对应服装所属元素信息的概率，整个网络的损失函数表示如下：

式中，β表示比例，m表示参考样本图像，n⁺表示正样本图像，n^-表示负样本图像，p (m，n⁺)表示参考样本和正样本之间的欧式距离，p(m，n^-)表示参考样本和负样本之间的欧式距离，L表示特定阈值，Z _i 表示卷积神经网络中最后一个全连接层第i个节点的输出值，n为输出的节点数量，即分类的类别个数。

3.根据权利要求1所述的一种基于用户偏好的服装推荐方法，其特征在于：所述步骤（4）的服装属性识别模型分为8个子模型，包括裙长属性识别模型、裤长属性识别模型、衣长属性识别模型、袖长属性识别模型、领型属性识别模型、领深属性识别模型、颈线属性识别模型和脖颈属性识别模型。

4.根据权利要求1所述的一种基于用户偏好的服装推荐方法，其特征在于：所述步骤（4）的服装属性识别模型分为5个阶段；

在第一阶段中，先经过1×1卷积，再经过Relu激活函数处理，最后进行最大池化操作作为下一阶段的输入；

在第二阶段中，由三个多深度融合残差块所构成，第一个多深度融合残差块分为三条支路，左边路径由1×1卷积和BN层构成，1×1卷积是起到匹配输入与输出维度差异的作用，中间路径由1×1卷积、LN层、3×3卷积、GELU层、1×1卷积、关键点注意力模块和通道注意力模块所构成，1×1卷积的作用分别是减少通道数和恢复通道数，使得它们中间的3×3卷积层的输入和输出的通道数都较小，右边路径由两个3×3卷积、LN层、3×3卷积、GELU层和一个1×1卷积构成，1×1卷积用于控制通道数量，最后将三条支路进行联合输出；而第二个多深度融合残差块与第三个多深度融合残差块是一样的，与第一个多深度残差块的区别是左边路径不需要经过1×1卷积，而是直接进行跳跃连接；

在第三阶段中，由三个多深度融合残差块构成，第一个多深度融合残差块与第二阶段中的第一个多深度融合残差块相同，第二个和第三个多深度融合残差块与第二阶段中的第二个多深度融合残差块相同；

在第四阶段中，由九个多深度融合残差块所构成，第一个多深度融合残差块与第三阶段中的第一个多深度融合残差块相同，第二个到第九个多深度融合残差块与第三阶段中的第二个多深度融合残差块相同；

在第五阶段中，由三个多深度融合残差块和全连接层所构成，第一个多深度融合残差块与第四阶段中的第一个多深度融合残差块相同，第二个和第三个多深度融合残差块与第三阶段中的第二个多深度融合残差块相同，最后通过全连接层输出特征向量；

其中所述关键点注意力模块，使用卷积和反卷积的组合提取特征和恢复特征图，关键点注意力模块分为3个阶段，每个阶段由3×3的卷积层和4×4的反卷积层组成，为扩大感受野，获得不同关键点之间的联系，在第一阶段后加入非局部均值算法；

其中所述通道注意力模块，先使用最大池化强调特征中响应更强烈的部分，即强调服装的整体轮廓，再使用全局平均池化保留了特征图的整体特征；此外，全局平均池化是把二维的特征图用一个数表示，也相当于获得了全局感受野，使用尺寸为7×7的卷积核进行卷积，然后加入两个全连接层，最后用sigmoid函数获得0～1之间的权重，这个权重值可看作是经过特征选择后的每个通道的重要程度，将获得的权重与特征图相乘，就得到了基于通道注意力的最终的特征图。

5.根据权利要求1所述的一种基于用户偏好的服装推荐方法，其特征在于：所述步骤（5）中的相似度计算公式为：

其中，ω₁表示特征数量相似度权重系数，ω₂表示特征相似性大小决定的相似度权重系 数，服装M中属性的数量为 m，服装N中属性的数量为n ，服装M、N间相似属性的数量为k，属 性包括裙长属性、裤长属性、衣长属性、袖长属性、领型属性、领深属性、颈线属性和脖颈属 性；α _i 表示各相似特征的权重系数，i=1，2，..，k；其中

，M _j 和N _j 分别代表 服装M、N中属性对应的特征向量中的第j个元素，p表示特征向量中元素的个数。

6.根据权利要求1所述的一种基于用户偏好的服装推荐方法，其特征在于：所述步骤（5）中，采用选择排序法按相似度值大小推荐与用户输入图像风格最相似的服装。

Images