CN110738540B - 一种基于生成对抗网络的模特衣服推荐方法 - Google Patents

Abstract

本发明提供一种基于生成对抗网络的模特衣服推荐方法，包括将每个模特衣服图像与每个训练平面化衣服图像进行配对得到衣服图像匹配对；将训练模特衣服图像和训练平面化衣服图像输入至对生成对抗网络模型中的生成器和判别器中进行训练，得到含有已训练生成器和已训练判别器中已训练生成对抗网络模型；将待匹配模特衣服图像输入至已训练生成对抗网络模型中进行图像匹配，已训练生成对抗网络模型输入匹配到的训练平面化衣服图像；根据训练平面化衣服图像在预设衣服图像数据库中进行筛选并得到衣服推荐结果。本发明的一种基于生成对抗网络的模特衣服推荐方法，提高了推荐结果的精确度，避免了因切割衣服图像可能存在的背景及皮肤误差。

Description

一种基于生成对抗网络的模特衣服推荐方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于生成对抗网络的模特衣服推荐方法。

背景技术

随着互联网的普及和发展，电子商务已经渗透到个人生活中，网上购物的理念逐渐深入人心。将网上购物和时尚深度融合，充分发挥互联网在购物领域的优越性和集成性，已经刻不容缓。包括电影、电视剧、时尚街拍的网络视频是互联网数据的一大组成部分，随着其数量和流量的飞跃性增长，视频用户群也在飞速扩大。视频中的明星同款往往会成为人们追捧的潮流，而这些同款中最大的组成部分便是服装。如何快速且准确的检索出居中明星同款并推荐给用户，成为了视频用户普遍关注的热点，研究结果能极大提升了周边产业转化率和用户体验满意度，互联网思维的发散更能挖掘出潜在的用户兴趣需求。

目前通常是通过物体识别算法获取衣服在图像中的所在坐标，根据坐标分割出衣服图像并将其放入数据库中进行检索，目前的推荐方法往往会因为背景或皮肤等噪音对推荐的精确度造成影响。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于生成对抗网络的模特衣服推荐方法，其能解决目前的推荐方法往往会因为背景或皮肤等噪音对推荐的精确度造成影响的问题。

本发明提供目的采用以下技术方案实现：

一种基于生成对抗网络的模特衣服推荐方法，包括以下步骤：

步骤A、衣服图像配对，获取网络上的若干训练模特衣服图像和若干训练平面化衣服图像，将每个所述模特衣服图像与每个所述训练平面化衣服图像进行配对得到衣服图像匹配对；

步骤B、构建生成对抗网络模型，将所述训练模特衣服图像和所述训练平面化衣服图像输入至对所述生成对抗网络模型中的生成器和判别器中进行训练，得到含有已训练生成器和已训练判别器中已训练生成对抗网络模型；

步骤C、平面化图像匹配，将待匹配模特衣服图像输入至所述已训练生成对抗网络模型中进行图像匹配，所述已训练生成对抗网络模型输入匹配到的训练平面化衣服图像；

步骤D、衣服推荐，根据所述训练平面化衣服图像在预设衣服图像数据库中进行筛选并得到衣服推荐结果。

进一步地，所述步骤A包括：

步骤A1、获取若干训练模特衣服图像和若干训练平面化衣服图像，根据类别对所述训练模特衣服图像进行模特ID标定，根据类别对所述训练平面化衣服图像进行平面化ID标定；

步骤A2、根据所述模特ID和所述平面化ID对所述训练模特衣服图像和所述平面化衣服图像进行配对并得到衣服图像匹配对。

进一步地，所述模特ID包括上衣、外套、裤子、半身裙、连衣裙、连身裤，所述平面化ID包括上衣、外套、裤子、半身裙、连衣裙、连身裤。

进一步地，所述步骤A2具体为：当所述模特ID和所述平面化ID相同时，将所述模特ID对应的所述训练模特衣服图像与所述平面化ID对应的所述平面化衣服图像进行配对并得到衣服图像匹配对。

进一步地，所述步骤B包括：

步骤B1、将所述训练模特衣服输入至所述生成器中，所述生成器输出第一输出图像；

步骤B2、将第一输出图像与所述已训练模特衣服融合组成一张新的第一融合图像，根据所述训练模特衣服在所述衣服图像匹配对中找出对应的所述训练平面化衣服，将所述衣服图像匹配对中的图像进行融合得到第二融合图像；将所述第一融合图像和所述第二融合图像分别输入至所述判别器中，所述判别器分别输出数值s_r和s_f；

步骤B3、将所述训练平面化衣服和所述第一输出图像分别输入至所述判别器中，所述判别器输出数值p_r和p_f；

步骤B4、根据所述s_r、s_f、p_r及p_f计算所述判别器的损失函数、所述生成器的损失函数以及所述生成对抗网络模型中的分类器的损失函数；

步骤B5、将所述训练模特衣服图像和所述训练平面化衣服图像输入至所述生成对抗网络模型中的生成器和判别器中进行训练，直到所述判别器的损失函数、所述生成器的损失函数以及所述生成对抗网络模型中的分类器的损失函数均达到收敛，得到已收敛的已训练生成对抗网络模型。

进一步地，所述步骤B5具体为：根据随机梯度下降算法将所述训练模特衣服图像和所述训练平面化衣服图像输入至所述生成对抗网络模型中的生成器和判别器中进行训练，直到所述判别器的损失函数、所述生成器的损失函数以及所述生成对抗网络模型中的分类器的损失函数均达到收敛，得到已收敛的所述已训练生成对抗网络模型。

进一步地，所述步骤C具体为：将待匹配模特衣服图像输入至所述已训练生成对抗网络模型中进行图像转换，所述已训练生成对抗网络模型根据所述待匹配模特衣服图像筛选出对应的所述衣服图像匹配对，在所述衣服图像匹配对中筛选出对应的训练平面化衣服图像。

进一步地，所述步骤D具体为：使用预设VGG网络模型提取所述训练平面化衣服图像中的衣服特征，根据所述衣服特征在预设衣服数据库中进行筛选并得到衣服推荐结果。

进一步地，所述衣服推荐结果为至少十张衣服图像。

进一步地，还包括：步骤E、将所述衣服推荐结果发送至用户端。

相比现有技术，本发明的有益效果在于：本发明的一种基于生成对抗网络的模特衣服推荐方法，通过将获取到的若干训练模特衣服图像和若干训练平面化衣服图像进行配对得到衣服图像匹配对；将衣服匹配对作为训练数据输入至生成对抗网络模型中进行训练，得到已训练生成对抗网络模型；将待匹配模特衣服图像输入至所述已训练生成对抗网络模型中的生成器中进行图像转换，所述已训练生成对抗网络模型输出匹配到的训练平面化衣服图像；根据所述训练平面化衣服图像在预设衣服图像数据库中进行筛选并得到衣服推荐结果；整个过程提高了推荐结果的精确度，使推荐的结果更加精确，避免了因切割衣服图像可能存在的背景及皮肤误差。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的一种基于生成对抗网络的模特衣服推荐方法的流程图一；

图2为本发明的一种基于生成对抗网络的模特衣服推荐方法的流程图二；

图3为本发明的一种基于生成对抗网络的模特衣服推荐方法的流程图三；

图4为本发明的一种基于生成对抗网络的模特衣服推荐方法的工作状态示意图一；

图5为本发明的一种基于生成对抗网络的模特衣服推荐方法的工作状态示意图二；

图6为本发明的一种基于生成对抗网络的模特衣服推荐方法的工作状态示意图三。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

如图1-3所示的本发明的一种基于生成对抗网络的模特衣服推荐方法，具体包括以下步骤：

步骤A、衣服图像配对，获取网络上的若干训练模特衣服图像和若干训练平面化衣服图像，将每个模特衣服图像与每个训练平面化衣服图像进行配对得到衣服图像匹配对；本实施例中的步骤A具体包括以下步骤：

步骤A1、获取若干训练模特衣服图像和若干训练平面化衣服图像，根据类别对训练模特衣服图像进行模特ID标定，根据类别对训练平面化衣服图像进行平面化ID标定；本实施例中主要从互联网上爬去获得若干训练模特衣服图像和若干训练平面化衣服图像，上述图像来自多种不同的品牌，例如：zara、uniqlo、bershka、lee、ca、moco等20多个品牌，以品牌为单位，各类别(分为上衣、外套、裤装、连衣裙、连体裤、半身裙6个类别)包含训练模特衣服图像和训练平面化衣服图像，本实施例中一共获取图像共计20万余张。根据类别标定对应的ID，模特ID包括上衣、外套、裤子、半身裙、连衣裙、连身裤，平面化ID包括上衣、外套、裤子、半身裙、连衣裙、连身裤。

步骤A2、根据模特ID和平面化ID对训练模特衣服图像和平面化衣服图像进行配对并得到衣服图像匹配对。如图4所示，具体为当模特ID和平面化ID相同时，将模特ID对应的训练模特衣服图像与平面化ID对应的平面化衣服图像进行配对并得到衣服图像匹配对。例如：当模特ID为上衣，平面化ID为上衣，则将其对应的训练模特衣服图像和平面化衣服图像进行配对得到衣服图像匹配对。在本实施例中，模特ID还包括品牌名称，平面化ID还包括品牌名称，即在配对过程中将类别以及品牌都相同的训练模特衣服图像和平面化衣服图像进行配对。训练平面化衣服图像为只含有衣服的平面图像，训练模特衣服图像为人体穿着衣服时的图像，图像中包括人体和衣服。

步骤B、构建生成对抗网络模型，将训练模特衣服图像和训练平面化衣服图像输入至对生成对抗网络模型中的生成器和判别器中进行训练，得到含有已训练生成器和已训练判别器中已训练生成对抗网络模型；在本实施例中是基于生成对抗网络(CatGAN)的基础上，生成对抗网络(CatGAN)模型主要投三个部分：生成器、判别器和分类器组成。如图5所示，生成器在一个解码-译码的变型框架下实现，该框架在对应的层之间跳跃链接，具体体现在译码阶段网络会把对应层的特征进行连接，再接着去进行卷积或者批标准化，进而进行上采样，这样的框架通常被称之为“U-Net”。判别器则是一个卷积的“PatchGAN”，用来判别图像中的每一个块是真的还是假的；分类器是一个类别分类网络，类似于图像分类网络，其用来判定生成的图片是否属于正确的类别。CatGAN的生成器主要使用用于学习从一张人体衣服图像x到一张平面化衣服图像的映射y：G:x→y；而其判别器被定义为D:x×y→{0,1}，其中0代表判别器输入的匹配对是假的，反之，1则是真的匹配对；分类器则是被定义为

其中

是是一个由m-1个0一个1组成m维向量，m代表类别个数，在本论文中m＝6，向量中的1代表此张图像属于某个特定的类别，0的意义则相反。

在本实施例中步骤B包括以下步骤：

步骤B1、将训练模特衣服输入至生成器中，生成器输出第一输出图像；

步骤B2、将第一输出图像与已训练模特衣服融合组成一张新的第一融合图像，根据训练模特衣服在衣服图像匹配对中找出对应的训练平面化衣服，将衣服图像匹配对中的图像进行融合得到第二融合图像；将第一融合图像和第二融合图像分别输入至判别器中，判别器分别输出数值s_r和s_f；其中s_r是判别器输入为真实匹配对的输出，s_f是判别器输入为假的匹配岁的输出，判别将此损失回传，用于调整判别器的参数。

步骤B3、将训练平面化衣服和第一输出图像分别输入至判别器中，判别器输出数值p_r和p_f；

步骤B4、根据s_r、s_f、p_r及p_f计算判别器的损失函数、生成器的损失函数以及生成对抗网络模型中的分类器的损失函数。在本实施例中，如图5所示，生成器在一个解码-译码的变型框架下实现，该框架在对应的层之间跳跃链接，具体体现在译码阶段网络会把对应层的特征进行连接，再接着去进行卷积或者批标准化，进而进行上采样，这样的框架通常被称之为“U-Net”。判别器则是一个卷积的“PatchGAN”，用来判别图像中的每一个块是真的还是假的；分类器是一个类别分类网络，类似于图像分类网络，其用来判定生成的图片是否属于正确的类别。CatGAN的生成器主要使用用于学习从一张人体衣服图像x到一张平面化衣服图像的映射y：G:x→y；而其判别器被定义为D:x×y→{0,1}，其中0代表判别器输入的匹配对是假的，反之，1则是真的匹配对；分类器则是被定义为

其中

是是一个由m-1个0，一个1组成m维向量，m代表类别个数，在本论文中m＝6，向量中的1代表此张图像属于某个特定的类别，0的意义则相反。

判别器的损失函数如公式(1)所示：

L_D←logs_r+(1-logs_f) (1)

其中，L_D为判别器的损失函数。

分类器的损失函数如公式(2)所示：

L_C←Cross_entory(p_r)+Cross_entory(p_f) (2)

其中，L_C为分类器的损失函数。

生成器的损失函数如公式(3)所示：

其中，L_G为分类器的损失函数，

为生成器生成图像与标准图像的差值。

步骤B5、将训练模特衣服图像和训练平面化衣服图像输入至生成对抗网络模型中的生成器和判别器中进行训练，直到判别器的损失函数、生成器的损失函数以及生成对抗网络模型中的分类器的损失函数均达到收敛，得到已收敛的已训练生成对抗网络模型。具体为：根据随机梯度下降算法(SGD)将训练模特衣服图像和训练平面化衣服图像输入至生成对抗网络模型中的生成器和判别器中进行训练，直到判别器的损失函数、生成器的损失函数以及生成对抗网络模型中的分类器的损失函数均达到收敛，得到已收敛的已训练生成对抗网络模型。

步骤C、平面化图像匹配，将待匹配模特衣服图像输入至已训练生成对抗网络模型中的进行图像匹配，具体为：将待匹配模特衣服图像输入至已训练生成对抗网络模型中的生成器中进行图像转换，生成语待匹配模特衣服图像对应的训练平面化衣服图像；如图6所示，在本实施例中将待匹配模特衣服图像输入至已训练生成对抗网络模型中进行图像匹配，具体为将待匹配模特衣服图像输入至已训练生成对抗网络模型中生成器中进行图像转换，已训练生成对抗网络模型根据待匹配模特衣服图像筛选出对应的衣服图像匹配对，在衣服图像匹配对中筛选出对应的训练平面化衣服图像。图6中的输入即为将待匹配模特衣服图像输入值已训练生成对抗网络模型中的已训练生成器中进行图像转换，即可输出对应的如图6中的真实平面化图像，图6中的CatGAN即为本发明中的生成对抗网络模型，因此由生成对抗网络模型中生成器输出对应的训练平面化衣服图像。

步骤D、衣服推荐，根据训练平面化衣服图像在预设衣服图像数据库中进行筛选并得到衣服推荐结果。具体为：使用预设VGG网络模型提取训练平面化衣服图像中的衣服特征，根据衣服特征在预设衣服数据库中进行筛选并得到衣服推荐结果。衣服推荐结果为至少十张衣服图像。

步骤E、将衣服推荐结果发送至用户端。

本发明的一种基于生成对抗网络的模特衣服推荐方法，通过将获取到的若干训练模特衣服图像和若干训练平面化衣服图像进行配对得到衣服图像匹配对；将衣服匹配对作为训练数据输入至生成对抗网络模型中进行训练，得到已训练生成对抗网络模型；将待匹配模特衣服图像输入至所述已训练生成对抗网络模型中的生成器中进行图像转换，所述已训练生成对抗网络模型中的生成器输输出对应的训练平面化衣服图像；根据所述训练平面化衣服图像在预设衣服图像数据库中进行筛选并得到衣服推荐结果；整个过程提高了推荐结果的精确度，使推荐的结果更加精确，避免了因切割衣服图像可能存在的背景及皮肤误差。

以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims (9)

1.一种基于生成对抗网络的模特衣服推荐方法，其特征在于包括以下步骤：

步骤A、衣服图像配对，获取网络上的若干训练模特衣服图像和若干训练平面化衣服图像，将每个所述模特衣服图像与每个所述训练平面化衣服图像进行配对得到衣服图像匹配对；

步骤B、构建生成对抗网络模型，将所述训练模特衣服图像和所述训练平面化衣服图像输入至所述生成对抗网络模型中的生成器和判别器中进行训练，得到含有已训练生成器和已训练判别器的 已训练生成对抗网络模型；

步骤C、平面化图像匹配，将待匹配模特衣服图像输入至所述已训练生成对抗网络模型中进行图像匹配，所述已训练生成对抗网络模型输入匹配到的训练平面化衣服图像；

步骤D、衣服推荐，根据所述训练平面化衣服图像在预设衣服图像数据库中进行筛选并得到衣服推荐结果；

其中，所述步骤B包括：

步骤B1、将所述训练模特衣服输入至所述生成器中，所述生成器输出第一输出图像；

步骤B2、将第一输出图像与所述训练模特衣服融合组成一张新的第一融合图像，根据所述训练模特衣服在所述衣服图像匹配对中找出对应的所述训练平面化衣服，将所述衣服图像匹配对中的图像进行融合得到第二融合图像；将所述第一融合图像和所述第二融合图像分别输入至所述判别器中，所述判别器分别输出数值s_r和s_f；

步骤B3、将所述训练平面化衣服和所述第一输出图像分别输入至所述判别器中，所述判别器输出数值p_r和p_f；

步骤B4、根据所述s_r、所述s_f、所述p_r及所述p_f计算所述判别器的损失函数、所述生成器的损失函数以及所述生成对抗网络模型中的分类器的损失函数；

步骤B5、将所述训练模特衣服图像和所述训练平面化衣服图像输入至生成对抗网络模型中的生成器和判别器中进行训练，直到所述判别器的损失函数、所述生成器的损失函数以及所述生成对抗网络模型中的分类器的损失函数均达到收敛，得到已收敛的已训练生成对抗网络模型。

2.如权利要求1所述的一种基于生成对抗网络的模特衣服推荐方法，其特征在于：所述步骤A包括：

步骤A1、获取若干训练模特衣服图像和若干训练平面化衣服图像，根据类别对所述训练模特衣服图像进行模特ID标定，根据类别对所述训练平面化衣服图像进行平面化ID标定；

步骤A2、根据所述模特ID和所述平面化ID对所述训练模特衣服图像和所述平面化衣服图像进行配对并得到衣服图像匹配对。

3.如权利要求2所述的一种基于生成对抗网络的模特衣服推荐方法，其特征在于：所述模特ID包括上衣、外套、裤子、半身裙、连衣裙、连身裤，所述平面化ID包括上衣、外套、裤子、半身裙、连衣裙、连身裤。

4.如权利要求2所述的一种基于生成对抗网络的模特衣服推荐方法，其特征在于：所述步骤A2具体为：当所述模特ID和所述平面化ID相同时，将所述模特ID对应的所述训练模特衣服图像与所述平面化ID对应的所述平面化衣服图像进行配对并得到衣服图像匹配对。

5.如权利要求1所述的一种基于生成对抗网络的模特衣服推荐方法，其特征在于：所述步骤B5具体为：根据随机梯度下降算法将所述训练模特衣服图像和所述训练平面化衣服图像输入至所述生成对抗网络模型中的生成器和判别器中进行训练，直到所述判别器的损失函数、所述生成器的损失函数以及所述生成对抗网络模型中的分类器的损失函数均达到收敛，得到已收敛的所述已训练生成对抗网络模型。

6.如权利要求1所述的一种基于生成对抗网络的模特衣服推荐方法，其特征在于：所述步骤C具体为：将待匹配模特衣服图像输入至所述已训练生成对抗网络模型中进行图像转换，所述已训练生成对抗网络模型根据所述待匹配模特衣服图像筛选出对应的所述衣服图像匹配对，在所述衣服图像匹配对中筛选出对应的训练平面化衣服图像。

7.如权利要求1所述的一种基于生成对抗网络的模特衣服推荐方法，其特征在于：所述步骤D具体为：使用预设VGG网络模型提取所述训练平面化衣服图像中的衣服特征，根据所述衣服特征在预设衣服数据库中进行筛选并得到衣服推荐结果。

8.如权利要求1所述的一种基于生成对抗网络的模特衣服推荐方法，其特征在于：所述衣服推荐结果为至少十张衣服图像。

9.如权利要求1所述的一种基于生成对抗网络的模特衣服推荐方法，其特征在于：还包括：

步骤E、将所述衣服推荐结果发送至用户端。

Images