CN110659958A - 基于生成对抗网络的服饰搭配生成方法 - Google Patents

Abstract

本发明提供了基于生成对抗网络的服饰搭配生成方法，该方法包括：收集在线用户的服饰物品搭配生成训练集和测试集；采用所述训练集训练生成对抗网络服饰搭配生成模型；采用所述测试集对训练完成的生成对抗网络服饰搭配生成模型进行测试；对测试效果进行验证，并给出了生成对抗网络服饰搭配生成模型的结构和训练方式。本发明提出的基于生成对抗网络的服饰搭配生成方法，在实际应用中，对于较小的数据集，其生成对抗网络服饰搭配生成模型可以解决因缺少足够多的备选数据而导致的推荐不充分的问题；对于较大的数据集，可以在数据集中搜索与生成的服饰图片最类似的服饰，以解决推荐复杂度过高的问题。

Description

基于生成对抗网络的服饰搭配生成方法

技术领域

本发明涉及服饰推荐领域，尤其涉及一种基于生成对抗网络的服饰搭配生成方法。

背景技术

随着时装产业向在线业务的快速发展，时尚相关的计算机视觉问题如今已引起越来越多的关注。其中关于时尚的服饰搭配生成方法成为热门的研究方向之一，其任务是推荐与给定服饰单品完美匹配的另一件服饰。设计时尚服饰搭配生成方法的关键是对时尚物品之间的兼容性进行建模。目前业界已经对此问题进行了诸多探索，例如距离度量学习，孪生神经网络和回归神经网络等多种方法。尽管它们在预测兼容性方面取得了成功，但在现实生活场景中，其应用仍然存在问题。值得注意的是，这些方法仅衡量已有物品之间的兼容性。当给定的数据集很小或有限时，可能没有足够的物品作为推荐备选而导致推荐不充分，例如，未考虑不同用户对不同服饰搭配的偏好差异、推荐复杂度较高，以及未考虑各种类别(如上衣，下衣，鞋子等)服饰间的搭配关系。另一方面，当数据集很大时，由于需要计算每个物品之间的兼容性，生成推荐将会面临效率问题，另外，由于大多数方法使用深度神经网络，这将耗费巨大的计算资源。

发明内容

针对上述问题，本发明使用生成对抗网络(GANs)模型来构建一种个性化服饰搭配生成方法。该方法完成以下功能：对于不同的用户，根据其风格偏好特征，分析一件其已拥有的服饰物品(例如上衣)，生成另一件与之搭配的服饰物品(例如下衣)。并将重点考虑以下技术问题：服饰物品之间配合度的学习；服饰物品搭配与用户之间配合度的学习；期望生成逼真的服饰图片。

生成对抗网络在为不同应用场合合成逼真图像方面取得了巨大成功，在本发明中将其应用于个性化服饰搭配生成领域。首先使用编码器网络将给定的服饰物品图像映射到隐向量表示，该隐向量与表征用户风格偏好的另一矢量一起输入到生成器网络以生成目标服饰物品图像，同时构建了两个判别器网络用以指导生成器网络的生成过程：一个是经典的真/假判别器，它学会分类真假服饰物品图像；另一种是兼容性判别器，它模拟时尚服饰物品之间的兼容性。

除了服饰物品之间的兼容性外，本发明还在推荐过程中综合考虑了每个用户的个人偏好问题。个性化是时尚产业的一个重要趋势。给定相同的输入查询服饰物品，不同的用户可能喜欢使用不同的服饰物品来与之组合搭配。虽然个性化推荐在电影和音乐推荐等领域普遍存在，但大多数时尚推荐仍然不是基于用户的，在探索个性化的少数研究工作中，已有发明的设置中没有提供给定查询物品，因此没有考虑物品之间的兼容性。本发明综合考虑了上述两点，可以根据用户的风格偏好合成与给定查询物品相兼容的新时尚单品。

在大多数时尚相关的图像合成任务中，合成任务只是微调时尚单品的形状。相比较而言，本发明给定的输入查询服饰物品图像与目标服饰物品图像分别从属于不同的类别(类别包括上衣，下衣等)，在保证目标服饰物品图像与给定的输入查询服饰物品图像具有相同风格的同时，彻底改变了输出服饰物品外在的形式。

本发明的一种基于生成对抗网络的服饰搭配生成方法包括如下步骤：

S1)收集总共由797名在线用户精心制作的共208814套服饰物品搭配作为数据集，对于每个用户，分别选取221和41套服饰物品搭配用于训练和测试，其中每套服饰物品搭配由两件来自不同类别的服饰单品组成，即上衣和下衣，在797名在线用户中，训练集共包括102217件上衣、76245件下衣以及176137件套装；测试集共包括26899件上衣、23642件下衣以及32677件套装；

S2)采用步骤S1)收集的训练集训练生成对抗网络服饰搭配生成模型；

S3)采用步骤S1)收集的测试集对步骤S2)训练完成的生成对抗网络服饰搭配生成模型进行测试，以完成如下两个任务：一、给定一件上衣作为给定输入查询服饰物品图像，设计一件下衣作为目标服饰物品图像与之搭配；二、给定一件下衣作为给定输入查询服饰物品图像，设计一件上衣作为目标服饰物品图像与之搭配；

S4)对步骤S3)的测试效果进行验证。

本发明使用在线用户合成的数万套服饰搭配来评估本发明提出的方法的性能。结果表明，对用户的风格偏好进行建模并使用兼容性判别器对于产生良好的时尚服饰物品设计非常重要。采用本发明的方法生成的服饰物品图像具有真实性和多样性，与其他方法产生的相比，具有更好的视觉质量和更高的匹配度。不同于已有的服饰推荐系统，其目标是推荐已存在的服饰物品，本发明提出的一种基于生成对抗网络的服饰搭配生成方法。在实际应用中，对于较小的数据集，本发明的生成对抗网络服饰搭配生成模型可以解决已有方法因缺少足够多的备选数据而导致的推荐不充分的问题；对于较大的数据集，可以在数据集中搜索与生成的服饰图片最类似的服饰，以此解决已有方法推荐复杂度过高的问题。

附图说明

图1为本发明生成对抗网络服饰搭配生成模型整体框架图

图2为本发明的部分实验效果

图3为生成的图像及其在真实图像数据集中的最近邻服饰

图4为对于相同的输入服饰图像，针对不同用户设计的服饰物品

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本发明的实施例中，总共收集了由797名在线用户精心制作的208814套服饰物品搭配作为数据集。对于每个用户，分别选取221和41套服饰物品搭配用于训练和测试。每套服饰物品搭配由两件来自不同类别的服饰单品组成，即上衣和下衣，在797名在线用户中，训练集共包括102217件上衣和76245件下衣；测试集共包括26899件上衣和23642件下衣。在该实施例中分别测试了两个任务：一、给定一件上衣作为给定输入查询服饰物品图像，设计一件下衣作为目标服饰物品图像与之搭配；二、给定一件下衣作为给定输入查询服饰物品图像，设计一件上衣作为目标服饰物品图像与之搭配。所述数据集的一些统计数据在表1中给出。

表1数据集的详细统计数据

	用户	上衣	下衣	套装
					训练集	797	102,217	76,245	176,137
测试集	797	26,899	23,642	32,677

本发明提出的基于生成对抗网络的服饰搭配生成方法采用生成对抗网络服饰搭配生成模型实现，该模型包括：编码器—生成器架构、真/假判别器D、兼容性判别器，所述编码器—生成器架构包括编码器F₁和生成器G。首先使用编码器—生成器架构中编码器F₁中的卷积神经网络提取给定输入服饰物品图像特征，将所述给定输入查询服饰物品图像信息映射到特征隐空间，由于本发明的方法考虑不同用户的偏好特征，所以需要将此隐空间与用户风格偏好信息隐空间结合作为生成器G的输入；编码器—生成器架构中生成器G由一个多层反卷积网络构成，该多层反卷积网络用于目标服饰物品图像的生成；真/假判别器用于判别生成的目标服饰物品图像的质量，形成对抗训练，所述真/假判别器D作为传统生成对抗网络的判别部分，用于指导生成逼真的目标服饰物品图像；兼容性判别器用于学习服饰物品之间的配合度以及服饰物品搭配与用户之间的配合度，通过评分指导生成器G的学习，所述兼容性判别器作为配合度判别器，用于指导生成器G合成服饰物品间配合度高且服饰物品搭配与用户风格偏好配合度高的服饰物品图像。

个性化服饰搭配生成方法的任务是在给定输入查询服饰物品图像(即时尚单品)的条件下为特定用户设计不同类别的服饰物品图像与之搭配。通常有如下两个要求：(1)真实性要求，即由生成对抗网络(GAN)模型合成的输出服饰物品图像应当具有逼真的视觉效果。(2)兼容性要求，即由生成对抗网络(GANs)模型合成的输出服饰物品图像应当与给定输入查询服饰物品图像具有统一的风格。

如图1所示，本发明使用编码器—生成器架构来完成合成的输出服饰物品图像的生成推荐过程。编码器F₁对给定输入查询服饰物品图像进行下采样，直到它被压缩成低维隐空间表示z_q，即编码器F₁将给定的输入查询服饰物品图像映射到隐向量z_q表示，该隐向量z_q包含了给定输入查询服饰物品图像的语义属性，例如，类别，颜色，样式等，并且将其作为生成目标服饰物品的基本依据。为了实现个性化设计，一种方法是沿用大多数条件生成对抗网络模型的策略，将用户的身份信息作为离散标签输入到生成器中。然而，在实际操作中发现，离散标签不足以描述用户的风格偏好。因此，使用从训练集中学习的用户向量θ_u来表示任一用户u的风格偏好特征。将隐向量z_q和用户向量θ_u按通道拼接起来，然后将其组合输入到生成器G中以生成目标服饰物品图像。

生成器G的结构参数如表2所示，其包括1层全连接层FC和7层反卷积层，全连接层的维度为8×8×256，全连接层后面依次连接1层批量归一化网络层和1层激活层，该激活层的激活函数采用LeakyReLU函数；DeConv m(其中m＝1,2,…,7)表示第m层反卷积层，其由表2中相应反卷积层右侧的前三个参数表征，分别表示第m层反卷积层卷积核的大小，维度，卷积步长，每一层反卷积层后面均依次连接1层批量归一化网络层以及1层激活层，第1-6层反卷积层连接的激活层的激活函数均采用LeakyReLU函数，第7层反卷积层连接的激活层的激活函数采用Tanh函数。

表2生成器网络的结构参数

为了确保生成器G输出的目标服饰物品图像符合真实性要求和兼容性要求，本发明使用具有两个判别器的生成对抗网络训练生成器G。

1.真/假判别器设计

为了使生成的目标服饰物品图像满足真实性要求，本发明设计了真/假判别器D用于训练生成器G，使得生成的目标服饰物品图像看起来更真实。

1.1真/假判别器的结构组成

真/假判别器D的结构参数如表3所示，其中Conv n(其中，n＝1,2,3,4)表示第n层卷积层，其右侧的参数分别表示卷积核的大小，维度，卷积步长，以及依次连接在该层卷积层后面的批量归一化网络层和激活层所采用的激活函数，全连接层FC右侧的参数分别表示全连接层的维度和连接在该层全连接层后面的激活层所采用的激活函数，最后一层(即第2层)全连接层无需激活层，只需要全连接层的维度。

表3真/假判别器网络的结构参数

Conv1	5×5,channel＝64,stride＝2,BN，LeakyReLU
		Conv2	5×5,channel＝128,stride＝2,BN,LeakyReLU
Conv3	5×5,channel＝256,stride＝2,BN,LeakyReLU
		Conv4	5×5,channel＝512,stride＝2,BN,LeakyReLU
FC	1024，LeakyReLU
		FC	1

1.2真/假判别器的训练

使用真/假判别器D用于生成器G的训练时，真实的目标服饰物品图像比生成的目标服饰物品图像具有更高的概率估计。因此，真/假判别器的最小二乘损失函数为：

其中，x_r表示真实的目标服饰物品图像，x_f表示生成的目标服饰物品图像，P和Q分别表示真实的目标服饰物品图像数据分布和生成的目标服饰物品图像数据分布，E表示数学期望，x_r～P表示x_r服从P分布，D表示服饰物品图像输入到真/假判别器D得到的概率估计，真/假判别器通过在x_r和x_f之间保持边界间隙来区分真实的目标服饰物品图像数据和生成的目标服饰物品图像数据。通过最小化以下损失函数来训练生成器G以消除该边界间隙。

公式(2)中各字母的含义与公式(1)中相同字母的解释一致。

2.兼容性判别器设计

兼容性判别器用于模拟用户的服装风格偏好并指导生成器G的训练，使得生成的目标服饰物品图像与给定的输入服饰物品图像具有相似的风格，对用户的服装风格偏好的建模也是在兼容性判别器的训练过程中完成的，下面两个小节将详细介绍兼容性判别器的结构组成以及训练方法。

2.1兼容性判别器的结构组成

兼容性判别器由两部分组成：第一个是孪生神经网络，其由依次连接的13层卷积层和3层全连接层FC组成，孪生神经网络的详细参数如表4所示。其中Conv k(其中，k＝1,2,…,13)表示第k层卷积层，其右侧的参数分别表示卷积核的大小，维度，卷积步长，以及依次连接在该层卷积层后面的批量归一化网络层和激活层所采用的激活函数，其中，包含maxpo ol的卷积层表示在激活层之后还连接有最大池化层，全连接层FC右侧的参数分别表示全连接层的维度，依次连接在该层全连接层后面的批量归一化网络层和激活层所采用的激活函数，dropout为神经元随机失活概率，最后一层(即第3层)全连接层无需批量归一化网络层和激活层等，只需要全连接层的维度。

表4孪生神经网络的结构参数

由于该孪生神经网络的主要作用是将服饰物品图像映射到隐空间表示，以此获得服饰物品图像的语义属性，例如类别，颜色，样式等，所以将该孪生神经网络表示为编码器F₂。首先，编码器F₂将一对服饰物品图像，即给定的输入查询服饰物品图像x_q和生成的目标服饰物品图像x_c作为输入，每个服饰物品图像都被转换为一个64维的隐向量表示：

z_i＝F(x_i),i∈{q,c}. (3)

需要注意的是，此编码器F₂与编码器—生成器架构中的编码器F₁共享参数。

兼容性判别器的第二个部分是一个度量网络，其主要作用是衡量服饰物品图像之间的兼容性以及用户对不同服饰物品图像搭配的风格偏好程度，并将其表示为M。在度量网络中，需要将隐向量z_q和z_c联系起来，得到一个能够反映给定的输入查询服饰物品图像和生成的目标服饰物品图像之间兼容性的分数。已有的大多数经典方法采用各种距离函数度量或者使用向量内积的方式将上述两个隐向量联系起来，结果表明，这并不是最佳的方案，本发明选择采用z_q和z_c的逐元素乘积来得到一套服饰物品搭配的隐空间表示：

z_o＝z_q⊙z_c. (4)

其中，z_q和z_c是两个同阶矩阵，⊙表示哈达玛积。

考虑到个性化问题，一种方法是对于任一用户u，使用离散的条件标签对数据集按用户进行划分，另一种方法是对任一用户u都使用一个与之对应的可学习矢量θ_u来描述他/她的风格偏好。值得注意的是，该矢量θ_u也是编码器F₂网络参数的一部分，不同于离散的条件标签在生成对抗网络服饰搭配生成模型的整个训练过程中保持不变，θ_u在生成对抗网络服饰搭配生成模型训练期间，是逐渐完成对用户风格偏好的建模，其可以从已有的数据集中捕获到不同用户对服饰搭配的差异性或者相似性，进而更好地提升生成对抗网络服饰搭配生成模型的性能，这在下文的实验评估中会有更详细的实验分析。

同样，θ_u也通过逐元素乘积与z_o结合，其结果被输入到度量网络M中，以获得最终的兼容性分数，即，

s_u,o＝M(θ_u⊙z_o), (5)

其中，M由1层全连接层构成，将64维的隐空间映射到一个数值标量，θ_u和z_o是两个同阶矩阵，⊙表示哈达玛积。

2.2兼容性判别器的训练

为了训练兼容性判别器，将训练集分为正训练集O⁺和负训练集O^-：

其中o⁺表示用户u在线分享的一套服饰的搭配，代表用户u偏好的服饰搭配，并将其标注为正样本。o^-代表训练集中的负样本，为随机搭配的服饰套装或其他用户的正样本，由给定的输入查询服饰物品图像

和来自目标类别(不同于给定的输入查询服饰物品图像的类别)的随机服饰物品

组成，或者是由除当前用户u以外的其他用户创建的一套服饰负样本

反映了给定服饰物品和随机服饰物品

之间的“不相容性”，而对于负样本

就物品间的搭配关系而言，

和

符合兼容性要求，但这种搭配风格并不被当前用户所偏好，它描述了当前用户u与套装

之间的不兼容性。因此，本发明设计此负样本的主要目的是学习不同用户之间风格偏好的差异。

设计的服饰物品图像还可以与给定的服饰物品图像组成新的生成训练集O^*：

其中o^*表示使用本发明的生成对抗网络服饰搭配生成模型为用户u设计的一套服饰搭配，其由给定的服饰物品图像

和生成对抗网络服饰搭配生成模型生成的服饰物品图像

组成。兼容性判别器应当能够正确区分正样本和负样本，将更高的兼容性分数分配给正样本，即期望对正样本的兼容性评分高于对负样本的兼容性评分：

为实现此目的，并考虑到不同用户的风格偏好差异，编码器F₂和度量网络M应当减小以下损失函数：

其中σ(·)是sigmoid函数，θ_FM包括编码器F₂和度量网络M中的参数，

是正则化系数，E表示数学期望，o^+,-～O^+,-表示o^+,-的取值范围为正训练集O⁺和负训练集O^-，为了确保所设计的服饰与给定服饰具有良好的搭配关系，并且它们的组合结果满足用户u的风格偏好，让生成样本o^*获得与正样本o⁺相似的兼容性分数，即

同样，这可以通过优化生成器G的参数来实现，应当减小以下损失函数

3.对抗训练

本发明的方法的总体目标是最小化以下损失函数

其中L_FM与编码器F₂，度量网络M和用户偏好向量θ_u有关。仅与真/假判别器D相关。

和

都与生成器G相关。所有这些损失函数彼此互补，并最终使本发明的生成对抗网络服饰搭配生成模型获得期望的结果。给定一组来自训练集的训练样本，首先通过减少损失函数L_FM的损失来训练兼容性判别器；然后训练真/假判别器以减少损失函数的损失；之后，保持两种判别器参数固定，并通过减少损失函数

和损失函数

中的损失来优化生成器G的参数，遍历完训练集中的所有训练样本，从而完成生成对抗网络服饰搭配生成模型的训练。

将测试集中测试样本中的用户风格偏好和图像特征信息输入训练完成的生成对抗网络服饰搭配生成模型，合成配合度高(即服饰物品间配合度高且服饰物品搭配与该测试样本中的用户风格偏好配合度高)且逼真的目标服饰物品图像。图2-4中颜色深浅的不同代表服饰的不同颜色，其中，图2展示了本发明的部分视觉效果，第一行为给定的输入查询服饰物品图像，第二行为生成对抗网络服饰搭配生成模型生成的目标服饰物品图像，可以看出生成的目标服饰物品图像与给定的输入查询服饰物品图像具有良好的搭配关系。图3展示了真实图像测试集中与部分生成的目标服饰物品图像结果最近邻的5件服饰，从图3中可以看出，生成对抗网络服饰搭配生成模型生成的目标服饰物品图像结果与真实服饰物品图像非常相似，几乎无法区分。对于需要实物的购买目的等应用，可以使用这种生成的目标服饰物品图像结果来有效地查找目标结果。图4展示了为不同的用户生成的不同的服饰物品图像。这样的生成结果在现实生活中具有广阔的应用前景。

另外，本发明从两个方面定量评估生成对抗网络服饰搭配生成模型的有效性：

1、生成对抗网络服饰搭配生成模型生成的目标服饰物品图像与给定输入查询服饰物品图像具有良好的搭配关系。使用受试者工作特征曲线下面积(AUC)和填空(FITB)时尚推荐实验来评估生成的服饰物品图像与给定输入查询服饰物品图像之间的搭配关系。对于AUC值，分别将数据集中的真实服饰搭配(正样本)，生成对抗网络服饰搭配生成模型设计的服饰搭配(生成样本)与随机的服饰搭配(负样本)的兼容性得分做降序排列，然后分别计算正样本与生成样本的得分高于负样本的比例，值越高说明搭配关系越好；对于FITB值，从一组候选项(包含一个正样本或一个生成样本以及三个负样本)中选择最兼容的服饰物品，然后分别计算正样本与生成样本被挑选出的比例，比例值越高说明搭配关系越好。

2、生成对抗网络服饰搭配生成模型生成的目标服饰物品图像具有良好的视觉效果。通过测试FID(Fréchet Inception Distance，Fréchet初始距离)值来衡量生成的目标服饰物品图像的质量，FID测量了生成对抗网络服饰搭配生成模型生成的目标服饰物品图像数据分布与真实的目标服饰物品图像数据分布的相近程度，值越小说明越相近，生成的目标服饰物品图像质量越高。

由表5中AUC和FITB的结果可知，本发明提出的基于生成对抗网络的服饰搭配生成方法可以生成风格搭配的服饰，由FID的结果可知，生成的目标服饰物品的图像质量也较高。

表5定量实验结果

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围。凡采用等同替换或等效替换，这些变化是显而易见，一切利用本发明构思的发明创造均在保护之列。

Claims (9)

1.一种基于生成对抗网络的服饰搭配生成方法，其特征在于，该方法包括如下步骤：

S1)收集总共由797名在线用户精心制作的共208814套服饰物品图像搭配作为数据集，对于每个用户，分别选取221和41套服饰物品图像搭配用于训练和测试，其中每套服饰物品图像搭配由两件来自不同类别的服饰单品组成，即上衣和下衣，在797名在线用户中，训练集共包括102217件上衣、76245件下衣以及176137套服饰物品图像搭配；测试集共包括26899件上衣、23642件下衣以及32677套服饰物品图像搭配；

S2)采用步骤S1)收集的训练集训练生成对抗网络服饰搭配生成模型；

S3)采用步骤S1)收集的测试集对步骤S2)训练完成的生成对抗网络服饰搭配生成模型进行测试，以完成如下两个任务：一、给定一件上衣作为给定输入查询服饰物品图像，设计一件下衣作为目标服饰物品图像与之搭配；二、给定一件下衣作为给定输入查询服饰物品图像，设计一件上衣作为目标服饰物品图像与之搭配；

S4)对步骤S3)的测试效果进行验证。

2.根据权利要求1所述的基于生成对抗网络的服饰搭配生成方法，其特征在于，所述步骤S2)中生成对抗网络服饰搭配生成模型的结构包括：编码器—生成器架构、真/假判别器D、兼容性判别器，其中，编码器—生成器架构包括编码器F₁和生成器G；

所述生成对抗网络服饰搭配生成模型首先使用编码器—生成器架构中编码器F₁中的卷积神经网络提取给定输入查询服饰物品图像特征，将所述给定输入查询服饰物品图像特征信息映射到特征隐空间，考虑到不同用户的风格偏好特征，将所述特征隐空间与用户风格偏好特征信息隐空间结合作为生成器G的输入；编码器—生成器架构中的生成器G由一个多层反卷积网络构成，该多层反卷积网络用于目标服饰物品图像的生成；真/假判别器D用于判别生成的目标服饰物品图像的质量，形成对抗训练，所述真/假判别器D作为传统生成对抗网络的判别部分，用于指导生成逼真的目标服饰物品图像；兼容性判别器用于学习给定输入查询服饰物品图像与目标服饰物品图像之间的配合度以及学习输入查询服饰物品图像与目标服饰物品图像的搭配与用户风格偏好之间的配合度，通过评分指导生成器G的学习。

3.根据权利要求2所述的基于生成对抗网络的服饰搭配生成方法，其特征在于，所述编码器—生成器架构用于目标服饰物品图像的生成推荐过程，其具体包括：

所述编码器—生成器架构中的编码器F₁对给定输入查询服饰物品图像进行下采样，直到所述编码器F₁将所述给定输入查询服饰物品图像映射到隐向量z_q表示，该隐向量z_q包含了所述给定输入查询服饰物品图像的语义属性，并且将所述语义属性作为生成目标服饰物品图像的基本依据，并将从所述训练集中学习的用户向量θ_u用来表示任一用户u的风格偏好特征，将隐向量z_q和用户向量θ_u按通道拼接起来，然后将其组合输入到生成器G中以生成目标服饰物品图像；

生成器G的结构包括依次连接的1层全连接层FC和7层反卷积层，全连接层的维度为8×8×256，并在全连接层后反卷积层之前依次连接1层批量归一化网络层BN和1层激活层，该激活层的激活函数采用LeakyReLU函数；采用DeConv m，m＝1,2,…,7，表示第m层反卷积层，每一层反卷积层均包括3个参数，分别为反卷积层的卷积核大小，维度和卷积步长，所有反卷积层的卷积核大小均为5×5，第1-7层反卷积层的维度分别为256，256，256，256，128，64，3，第1-7层反卷积层的卷积步长分别为2，1，2，1，2，2，1，每一层反卷积层后下一层反卷积层之前均依次连接1层批量归一化网络层BN以及1层激活层，第1-6层反卷积层连接的激活层的激活函数均采用LeakyReLU函数，第7层反卷积层连接的激活层的激活函数采用Tanh函数。

4.根据权利要求3所述的基于生成对抗网络的服饰搭配生成方法，其特征在于，所述真/假判别器D的结构由依次连接的4层卷积层和2层全连接层FC组成，每一层卷积层均包括3个参数，分别为卷积核的大小，维度，卷积步长，其中Conv n，n＝1,2,3,4，表示第n层卷积层，所有卷积层的卷积核大小均为5×5，第1-4层卷积层的维度分别为64，128，256，512，第1-4层卷积层的卷积步长均为2，每一层卷积层后下一层卷积层之前依次连接1层批量归一化网络层BN和1层激活层，第1-4层卷积层连接的激活层所采用的激活函数均为LeakyReLU；第1-2层全连接层FC的维度分别为1024，1，并在第1层全连接层后下一层全连接层之前还连接1层激活层，该激活层所采用的激活函数为LeakyReLU，第2层全连接层无需激活层，只需要全连接层的维度。

5.根据权利要求4所述的基于生成对抗网络的服饰搭配生成方法，其特征在于，所述兼容性判别器的结构由两部分组成：第一部分是孪生神经网络，其由依次连接的13层卷积层和3层全连接层FC组成，每一层卷积层均包括3个参数，分别为卷积核的大小，维度，卷积步长，其中Conv k，k＝1,2,…,13，表示第k层卷积层，第7，10，13层卷积层的卷积核大小为1×1，其余10层卷积层的卷积核大小均为3×3，第1-2层卷积层的维度为64，第3-4层卷积层的维度为128，第5-7层卷积层的维度为256，剩余6层卷积层的维度为512，第1层卷积层的卷积步长为2，剩余12层卷积层的卷积步长为1，每一层卷积层后下一层卷积层之前依次连接1层批量归一化网络层BN和1层激活层，第1-13层卷积层连接的激活层所采用的激活函数均为ReLU，其中，第2、4、7、10、13层卷积层在激活层之后还连接有最大池化层m axpool；第1-3层全连接层的维度分别为1024，512，64，第1-2层全连接层后下一层全连接层之前依次连接1层批量归一化网络层BN和1层激活层，第1-2层全连接层连接的激活层所采用的激活函数均为ReLU，第1-2层全连接层的神经元随机失活概率dropout均为0.5，第3层全连接层无需批量归一化网络层和激活层以及神经元随机失活概率，只需要全连接层的维度；

将该孪生神经网络表示为编码器F₂，首先，所述编码器F₂将给定输入查询服饰物品图像x_q和生成的目标服饰物品图像x_c作为输入，所述给定输入查询服饰物品图像x_q和生成的目标服饰物品图像x_c都被转换为一个64维的隐向量表示：

z_i＝F(x_i),i∈{q,c}.

所述编码器F₂与所述编码器—生成器架构中的编码器F₁共享参数；

所述兼容性判别器的第二部分是一个度量网络，用于衡量服饰物品图像之间的兼容性以及用户对不同服饰物品图像搭配的风格偏好程度，并将其表示为M；在度量网络中，需要将隐向量z_q和z_c联系起来，得到一个能够反映给定输入查询服饰物品图像和生成的目标服饰物品图像之间兼容性的分数，采用z_q和z_c的逐元素乘积来得到一套服饰物品图像搭配的隐空间表示：

z_o＝z_q⊙z_c.

其中，z_q和z_c是两个同阶矩阵，⊙表示哈达玛积；

考虑到个性化问题，对任一用户u都使用一个与之对应的可学习矢量θ_u来描述他/她的风格偏好，该矢量θ_u也是所述编码器F₂结构参数的一部分，θ_u在生成对抗网络服饰搭配生成模型训练期间，逐渐完成对用户风格偏好的建模；

同样，θ_u也通过逐元素乘积与z_o结合，其结果被输入到度量网络M中，以获得最终的兼容性分数，即，

s_u,o＝M(θ_u⊙z_o),

其中，M由1层全连接层构成，用于将64维的隐空间映射到一个数值标量，θ_u和z_o是两个同阶矩阵，⊙表示哈达玛积。

6.根据权利要求5所述的基于生成对抗网络的服饰搭配生成方法，其特征在于，所述步骤S2)中训练生成对抗网络服饰搭配生成模型时，所述真/假判别器D用于生成器G的训练时，所述训练集中真实的目标服饰物品图像比生成的目标服饰物品图像具有更高的概率估计，因此，所述真/假判别器D的最小二乘损失函数为：

其中，x_r表示所述训练集中与给定输入查询服饰物品图像对应的真实目标服饰物品图像，x_f表示生成的目标服饰物品图像，P和Q分别表示真实目标服饰物品图像数据分布和生成的目标服饰物品图像数据分布，E表示数学期望，x_r～P表示x_r服从P分布，D表示服饰物品图像输入到所述真/假判别器D得到的概率估计，所述真/假判别器D通过在x_r和x_f之间保持边界间隙来区分真实目标服饰物品图像数据和生成的目标服饰物品图像数据，这通过最小化以下损失函数来训练生成器G以消除该边界间隙，

训练所述兼容性判别器时，将所述训练集分为正训练集O⁺和负训练集O^-：

其中o⁺表示当前用户u在线分享的一套服饰的搭配，代表当前用户u风格偏好的服饰搭配，并将其标注为正样本，o^-代表所述训练集中的负样本，由给定输入查询服饰物品

和来自目标类别的随机服饰物品

组成，或者是由除当前用户u以外的其他用户创建的一套服饰物品搭配

负样本

反映了给定输入查询服饰物品图像

和随机服饰物品图像

之间的不相容性，而对于负样本就服饰物品间的搭配关系而言，

和

符合兼容性要求，但这种搭配风格并不被当前用户u所偏好，它描述了当前用户u与套装之间的不兼容性，设计此负样本的目的是学习不同用户之间风格偏好的差异；

生成的目标服饰物品图像还可以与给定输入查询服饰物品图像组成新的生成训练集O^*：

其中o^*表示使用生成对抗网络服饰搭配生成模型为当前用户u设计的一套服饰搭配，即生成样本，其由给定输入查询服饰物品图像和生成对抗网络服饰搭配生成模型生成的目标服饰物品图像

组成，所述兼容性判别器应当能够正确区分正样本和负样本，将更高的兼容性分数分配给正样本，即期望对正样本的兼容性评分高于对负样本的兼容性评分：

考虑到不同用户的风格偏好差异，所述编码器F₂和所述度量网络M应当减小以下损失函数：

其中σ(·)是sigmoid函数，θ_FM包括所述编码器F₂和所述度量网络M中的参数，

是正则化系数，E表示数学期望，o^+,-～O^+,-表示o^+,-的取值范围为正训练集O⁺和负训练集O^-，为了确保生成的目标服饰物品图像与给定输入查询服饰物品图像具有良好的搭配关系，并且它们的组合结果满足当前用户u的风格偏好，让当前用户u的生成样本o^*获得与正样本o⁺相似的兼容性分数，即

这通过优化所述生成器G的参数来实现，应当减小以下损失函数

在所述生成对抗网络服饰搭配生成模型的训练中，其总体目标是最小化以下损失函数：

其中损失函数L_FM与所述编码器F₂、所述度量网络M和用户偏好向量θ_u有关，损失函数

仅与所述真/假判别器D相关，损失函数

和

都与所述生成器G相关，所有这些损失函数彼此互补；

依次输入所述训练集中所有的训练样本，对于每一组训练样本，首先通过减少损失函数L_FM的损失来训练所述兼容性判别器；然后训练所述真/假判别器D以减少损失函数的损失；之后，保持两种判别器的参数固定，并通过减少损失函数

和损失函数

中的损失来优化所述生成器G的参数，从而完成所述生成对抗网络服饰搭配生成模型的训练。

7.根据权利要求3所述的基于生成对抗网络的服饰搭配生成方法，其特征在于，所述语义属性包括类别，颜色，样式。

8.根据权利要求1-7任意一项所述的基于生成对抗网络的服饰搭配生成方法，其特征在于，所述步骤S3)中对训练完成的生成对抗网络服饰搭配生成模型进行测试包括：将所述测试集中待测试样本中的用户风格偏好和给定输入查询服饰物品图像特征信息输入训练完成的生成对抗网络服饰搭配生成模型，生成服饰物品间配合度高且服饰物品搭配与该测试样本中的用户风格偏好配合度高，并且逼真的目标服饰物品图像。

9.根据权利要求1-7任意一项所述的基于生成对抗网络的服饰搭配生成方法，其特征在于，所述步骤S4)中对步骤S3)的测试效果进行验证包括从两个方面定量评估生成对抗网络服饰搭配生成模型的有效性：

1)生成对抗网络服饰搭配生成模型生成的目标服饰物品图像与给定输入查询服饰物品图像具有良好的搭配关系：使用受试者工作特征曲线下面积AUC和填空FITB时尚推荐实验来评估生成的目标服饰物品图像与给定输入查询服饰物品图像之间的搭配关系；对于AUC值，分别将所述训练集中的真实服饰搭配，即正样本、生成对抗网络服饰搭配生成模型设计的服饰搭配，即生成样本、以及随机的服饰搭配，即负样本的兼容性得分做降序排列，然后分别计算正样本与生成样本的得分高于负样本的比例，值越高说明搭配关系越好；对于FITB值，从一组候选项中选择最兼容的服饰物品，然后分别计算正样本与生成样本被挑选出的比例，比例值越高说明搭配关系越好，所述候选项包含一个正样本或一个生成样本以及三个负样本；

2)生成对抗网络服饰搭配生成模型生成的目标服饰物品图像具有良好的视觉效果：通过测试初始距离FID值来衡量生成的目标服饰物品图像的质量，FID值测量了生成对抗网络服饰搭配生成模型生成的目标服饰物品图像数据分布与真实目标服饰物品图像数据分布的相近程度，值越小说明越相近，生成的目标服饰物品图像质量越高。

Images