CN116266251A - 一种草图生成对抗网络、渲染生成对抗网络及其服饰设计方法 - Google Patents

Abstract

本发明公开了一种草图生成对抗网络、渲染生成对抗网络及其服饰设计方法，属于生成对抗模型以及服饰辅助设计领域。草图生成对抗网络包括一个草图生成器和一个草图判别器；渲染生成对抗网络包括一个渲染生成器和一个渲染判别器；基于无监督的草图生成对抗网络，利用潜变量的信息生成草图图像，草图判别器判别生成草图的真假；有监督的渲染生成对抗网络基于纹理与草图的映射关系生成时尚单品信息，渲染判别器判断合成的图像是否与真实的图像相似。采用两种训练方案优化草图生成对抗网络和渲染生成对抗网络，即端到端的训练策略和两步式训练策略。输入草图和真实图像作为真实的图像对、草图和合成图像作为合成搭配的图像对，学习生成纹理的真实性。

Description

一种草图生成对抗网络、渲染生成对抗网络及其服饰设计 方法

技术领域

本发明属于生成对抗模型以及服饰辅助设计领域，涉及一种草图生成对抗网络和一种渲染生成对抗网络及基于两个网络的服饰辅助设计方法，所述方法使用随机隐变量信息和纹理信息作为最原始的输入。

背景技术

着装中的时尚因素可以诠释自我的个性与特点，在如今的社会生活中扮演着重要角色。为了追随时尚趋势以及感知消费者在不同的社会环境中时尚品味的变化，时尚设计师会将美学、自然、文化和社会因素应用到时尚单品的设计中，同时满足既实用又美观的需求。传统的时装设计通常从设计一个草图开始，在用草图表达了自己的美学观点之后，通过上色变成一幅色彩丰富的时装插图，然后，通过选择纹理和布料完成完整单品设计过程。“AutoCAD”是一个较为流行的辅助设计系统，它的易于使用性也减少了很多设计师的学习成本。设计师利用系统中可用的资源，交互式地完成产品的设计过程，大大减少了设计工作量。“Photoshop”是“Adobe”公司开发的另一款图像处理软件，它不仅方便了设计人员进行图像的编辑和渲染，也为制作矢量图形和3D图像提供了便利。虚拟现实技术也被用于辅助时装设计，通过计算机模拟生成三维虚拟空间，其结合了计算机图形学、仿真、传感和显示技术，旨在帮助设计师建立三维时装模型来减少制作实物的时间和成本。以上这些传统的方法通常由一系列的复杂操作构成，如二维(2D)缝纫模式和创建草图模式，需要使用者花费大量的时间去学习使用而且需要使用者具备丰富的时尚领域知识去设计生产所需的3D服饰。基于传统方法的服饰设计设计师依然停留在他们单一的维度来检查和设计时装，缺乏与用户需求的互动效果，这样会造成设计师不能根据用户的要求来创造更加个性化的时装设计。

深度学习技术的最新进展使智能设计变得可行，目前在时尚领域的研究主要集中于图像合成。其中，生成对抗网络是时尚图像生成的强大工具，生成模型这些年分别在无监督条件和有监督条件的网络设计中进行了探索，许多基于潜码的无监督模型在生成图像中都取得了很好的效果。然而，这些无监督的模型在生成图像时利用潜码信息作为输入，不能控制生成的类型和纹理。为了使生成的过程更具有可控性，基于条件信息的有监督的生成模型可以在已建立的草图中学习绘制纹理。已有的许多基于生成对抗网络的时装生成模型将图像分解为多个类别，如上衣、下衣和鞋子等，或者只能生成纯色的衣服和有规则纹理的衣服，生成模型的生成能力不足导致在处理具有复杂纹理的时尚单品图像生成时生成的图像质量下降。此外，现有的许多时尚图像生成方法通常需要大量的监督信息(如单品草图、单品二值图、单品纹理和单品类别等)，过度基于监督信息学习到的生成模型不具有时尚设计的能力，不能在真实环境中具有时尚辅助设计的功能。

发明内容

本发明依托现有的对抗网络模型，提出一种基于人工智能的服饰设计方法。基于无监督的草图生成对抗网络，利用潜变量的信息生成草图图像，草图判别器判别生成草图的真假；然后，渲染生成对抗网络基于纹理与草图的映射关系生成时尚单品信息，渲染判别器判断合成的图像是否与真实的图像相似。基于此思路，本发明提出了一种基于草图生成对抗网络和渲染生成对抗网络的服饰设计方法。

所述草图生成对抗网络是一种无监督的草图生成对抗网络，包括一个草图生成器和一个草图判别器；基于潜在空间编码的随机性，所述草图生成器从潜在空间生成大量多样性的绘画草图种子，完成从潜在空间到生成草图的转换；所述草图判别器判别生成图像是否具有相应的服饰语义。

进一步的，草图生成对抗网络中所述草图生成器包含两部分，一个是映射网络部分，映射网络由8个全连接层构成，由输入的隐变量生成中间层的隐变量，隐变量的多少由生成图像的像素大小控制；所述草图生成器的第二部分采用逐级增加像素的方式生成多个尺度信息的图像，采用残差网络的设计架构，使用双线性滤波进行上采样和下采样，以学习下一层的残差值，通过利用一个残差网络结构的跳跃连接从低分辨率的特征映射到最终生成的图像。

所述渲染生成对抗网络是一种有监督的草图生成对抗网络，包括一个渲染生成器和一个渲染判别器。所述渲染生成器采用编码器-解码器的结构，对两个输入草图信息和纹理信息分别采用降采样的过程中进行特征交互。所述的渲染判别器采用“Patch-GAN”，利用草图和生成图像的结合作为渲染判别器的条件，采用带有路径长度正则化的对抗损失函数。

进一步的，所述渲染生成器包括条件交互模块，条件交互模块分为两个部分，特征归一化层和参数生成层。特征归一化层用于准确的表征草图信息和纹理信息之间的特征交互，消除由条件不同带来的巨大差异；参数生成层利用两个卷积层来生成用于调制解调的缩放和移动参数。

一种基于草图生成对抗网络和渲染生成对抗网络的服饰设计方法，包括以下步骤：

A、构建包含草图信息和时尚单品信息的服饰数据集；使用边缘检测的方法，基于干净图像背景的时尚数据构造草图图像，生成草图-时尚单品匹配对数据。

B、设计草图生成对抗网络：所述草图生成对抗网络包括一个草图生成器和一个草图判别器，所述草图生成器利用随机潜在空间生成大量多样性的绘画草图种子，完成从潜在空间到生成草图的转换，所述草图判别器判别生成图像是否具有相应的服饰语义。值得注意的是，本研究要求生成各种各样的时尚类别，如上衣、背包和帽子等，这些不同属性的特征图具有很大差异，草图生成器需要控制模型特征层的变化实现一定程度的接纠缠。

C、设计渲染生成对抗网络：所述渲染生成对抗网络，包括一个渲染生成器和一个渲染判别器，其特征在于，所述渲染生成器采用编码器-解码器的结构，对两个输入草图信息和纹理信息分别采用降采样的过程中进行特征交互；所述的渲染判别器采用“Patch-GAN”，利用草图和生成图像的结合作为渲染判别器的条件，采用带有路径长度正则化的对抗损失函数。将草图信息和纹理信息作为网络的输入，通过特征融合模块充分捕获两种不同信息的相互映射方式，交互式的生成逼真的图像。

D、采用两种可选优化草图生成对抗网络和渲染生成对抗网络的训练方案为：一种是端到端的训练策略，将两种生成对抗网络联合训练，草图判别器学习潜在隐码合成图像的真实性，渲染判别器学习预测生成单品图像的真实性；另一种是两步式训练策略，分而治之的优化两个生成对抗网络，草图生成器用来由隐码生成假的草图，草图判别器根据草图生成器的生成图像预测结果的真实性，渲染生成器利用输入的草图和纹理信息生成时尚单品图像，同时草图判别器以输入的草图为条件来判别生成图像的真实性。

进一步地，所述步骤A构建服饰设计数据集包括以下步骤：

A1、构建不同类别的细粒度服饰属性集，综合服饰电商的关键字搜索项，包含类别、纹理、款式、颜色和细节等信息，将背景复杂的单品删去，构建时尚单品数据；

A2、构建包含草图信息和时尚单品信息的服饰数据集，基于干净图像背景的时尚单品图像，使用边缘检测方法，如Holistically-Nested Edge Detection，构造草图图像，生成草图-时尚单品匹配对数据。

进一步地，所述步骤B设计草图生成对抗网络包括以下步骤：

B1、所述草图生成器采用“StyleGAN2”的无监督生成结构，草图生成对抗网络包含两部分，一个是映射网络部分，映射网络由8个全连接层构成，由输入的隐变量生成中间层的隐变量，隐变量的多少由生成图像的像素大小控制，构造时尚单品数据集的图像像素大小为256×256，中间层隐变量的大小为14个，这14个隐变量将作为合成网络的输入；

B2、所述草图生成对抗网络的第二部分采用逐级增加像素的方式生成多个尺度信息的图像，采用残差网络结构的设计使用双线性滤波进行上采样和下采样，以学习下一层的残差值，通过利用一个残差网络结构的跳跃连接从低分辨率的特征映射到最终生成的图像。

进一步地，所述步骤C设计渲染生成对抗网络包括以下步骤：

C1、所述渲染生成对抗网络采用一种编码器-解码器的生成结构，设计条件交互模块，在编码的过程中使草图信息和纹理信息这两种输入产生充分的交互和映射；其中，编码器的结构由7个草图/纹理交互模块和9个残差块组成，解码器由4个卷积块组成；

C2、设计条件交互模块，条件交互模块分为两个部分，特征归一化层和参数生成层。特征归一化层用于准确的表征草图信息和纹理信息之间的特征交互，消除由条件不同带来的巨大差异；参数生成层利用两个卷积层来生成用于调制解调的缩放和移动参数；

C3、所述渲染判别器采用“Patch-GAN”的结构，将由渲染生成器生成的图像和草图连接起来，将连接的图像划分为若干个patch，然后对于划分的N×N个图像判断生成的单品图像是否为真，再对划分的所有patch的判定结果求平均，最后给出判定的输出；

C4、选取重建损失、感知损失和风格损失作为除了对抗损失之外的另外的附加监督信息，重建损失使生成图像和输入图像保持整体结构的一致性；感知损失利用预训练的“VGG”神经网络的中间层提取到图像的高级语义信息，保证生成图像和单品图像的纹理一致性；利用风格损失缩小激活图协方差之间的差异，有效的避免了生成图像的棋盘效应。

进一步的，所述步骤D中：

对于端到端的训练策略，在迭代过程中，草图生成器首先利用潜在代码随机生成草图，然后利用哈希感知算法计算出和生成草图最相似的原域中草图；

对于端到端的训练策略，利用匹配出的原域中的草图和原域中的纹理作为渲染生成器的输入，生成的图像结果和草图结果分别利用草图判别器和渲染判别器获得匹配度的得分，用于更新草图生成器、草图判别器、渲染生成器和渲染判别器。

进一步的，所述步骤D中：

对于两步式训练策略，利用两步骤训练完成服饰生成的任务，第一步是通过隐码生成草图图像完成图像设计的任务；第二步将纹理传播到草图中；

对于两步式训练策略，第一步由草图生成器生成的草图图像与真实的草图域计算匹配分数，用梯度下降策略更新草图生成器和草图判别器；第二步由草图和纹理作为渲染生成器的输入，得到单品生成图像和对应的真实图像的结果取更新渲染判别器，采用梯度下降的策略更新单品生成器和单品判别器；在分而治之的策略中，草图生成器、草图判别器、渲染生成器和渲染判别器在两次迭代中分别更新。

具体地，无监督的草图生成对抗网络的输入是随机的潜在隐变量，在一次迭代的过程中，草图生成对抗网络通过潜在隐变量的信息输出合成图像，合成图像和真实的图像分别作为正样本和负样本输入草图判别器，学习图像到潜在隐变量的映射方式。对于渲染生成对抗网络的输入分为两个部分，其中一部分为使用对单品图像进行边缘检测构造出的草图图像，另一部为采集的单品时尚图像。在一次迭代的过程中，输入草图和真实图像作为真实的图像对，输入草图和合成图像作为合成搭配的图像对，分别作为正样本和负样本对输入到渲染判别器中对抗学习生成纹理的真实性。特别的，另外利用重建损失使生成图像和输入图像保持整体结构的一致性；利用感知损失使合成图像的语义信息和真实图像的语义信息保持一致；利用风格损失使生成图像避免了棋盘效应的出现。

本发明的有益效果是：本发明提出了一种基于生成对抗网络的时尚服饰设计生成方法，旨在帮助设计师完成设计过程。特别的，为了利用潜在空间的随机性和多样性，引入无监督的草图生成对抗网络来完成时装项目草图的设计。为了将不同的纹理裁剪成不同的设计草图，本发明在渲染生成对抗网络中设计了使用多条件的交互的生成模块，用于学习草图到纹理的语义映射。基于不同的场景，本发明基于草图设计模块和渲染生成模块开发了两种不同的训练策略。具体的，第一种是基于端到端的联合优化草图生成对抗网络和渲染生成对抗网络的训练方案，第二种是分而治之的训练方案，草图生成对抗网络和渲染生成对抗网络被分开去优化迭代。此框架对时尚辅助设计和服饰搭配等实际应用领域具有巨大的潜力。

附图说明

图1是本发明的基于生成对抗网络的时尚服饰设计生成方法的流程图；

图2是本发明的基于生成对抗网络的时尚服饰设计生成方法模型框架图；

图3是本发明的渲染生成网络的模型框架图；

图4是本发明方法生成的设计衣服图像结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

附图1显示了本发明提供的基于生成对抗网络的时尚服饰设计生成方法的流程图，其详述如下：

步骤S1：构建服饰设计数据集。本发明使用的用于训练的数据来自于www.ployvore.com网站，网站内的用户既可以上传自己的图像，也可以分享和修改自己创建的图像，其他用户可以对用户创建的图像进行打分和评价。网站内的所有图片均具有干净的图片背景，本发明主要构建了不同类别、纹理和款式的时尚单品信息。用于训练的数据集包含七个与时尚相关的类别，包括裙子、牛仔裤、上衣、背包、帽子、短裤和夹克。

在构造草图时，首先通过“opencv”中的“按位非”算法得到一个二进制掩码，然后通过边缘检测算法“Holistically-Nested Edge Detection”提取相应的草图。为了获得高质量的纹理用于训练，在时尚单品图像的前景对象中随机裁剪了小区域，大小为32×32。

步骤S2：设计草图生成对抗网络。本发明提出了一种无监督的草图生成模型对抗网络，模型基于生成对抗网络“StyleGAN2”的架构，如图2中所示，网络由输入的随机隐变量合成草图，表示为

其中，G_s表示草图生成器，z表示输入草图生成器中的噪声，I_s代表输入的草图信息。映射网络由8个全连接层构成，由输入的隐变量生成中间层的隐变量。图像合成网络用残差网络结构的设计，使用双线性滤波进行上采样和下采样，以学习下一层的残差值，通过利用一个残差网络结构的跳跃连接从低分辨率的特征映射到最终生成的图像。草图判别器使用路径正则化的方式确保生成结果的多样性，判别器的目标函数可以表示为：

其中

表示由草图生成器生成的草图，/>

表示生成草图的图像域，D_s表示草图判别器，G_s表示草图生成器，噪声z符合标准高斯分布/>

为了使训练过程更加稳定，路径长度正则化可以表述为:

其中z_w是通过8个全连接层后生成的中间层的隐向量，利用雅可比矩阵

得到生成器映射的局部度量的尺度，草图生成对抗网络的目标函数可以表述为：

其中

表示使草图生成器的/>

最小，/>

表示使草图判别器的

最大，/>

表示整个草图生成对抗网络的对抗过程。

步骤S3：设计渲染生成对抗网络。本发明提出的渲染生成对抗网络如图3所示，分为两部分：一个编码器-解码器结构的渲染生成器和一个渲染判别器。渲染对抗网络的输入为草图图像和纹理图像。

其中，渲染生成器主要学习由草图和纹理图像到时尚单品图像的映射，表示为

其中，I_s代表输入的草图信息，I_t代表输入的纹理信息，P_s，t代表生成的时尚单品图像。为了充分利用输入的草图信息和纹理信息，设计条件交互模块(CFI)去学习一个映射函数可以使草图和纹理进行交互，进而生成逼真的图像。其中，条件特征交互模块CFI可以分解为特征归一化模块(FNL)和参数生成模块(PGL)。首先，草图I_s和纹理I_t使用卷积层进行降采样，形成第一个特征映射I’_s和I’_t。在特征归一化模块FNL中，首先对I’_s进行批归一化得到/>

在/>

参数生成模块PGL中，将I’_s经过卷积模块/>

得到学习尺度γ_s，将I’_s经过卷积模块/>

得到偏置β_s。这样由条件特征交互模块CFI计算I′_s的特征可以表述为：

其中，

代表取/>

的均值，/>

代表取/>

的方差，同样的，I′_s，2,I′_t，2,I′_s，3,I′_t，3和I′_s，4也是按照同样的方式计算。

渲染生成对抗网络的目标函数包含4种类型的损失函数：对抗损失、重建损失、感知损失和风格损失。其中，对抗损失采用的是PatchGAN的鉴别器架构，优化判别器D_r的损失可以表述为：

其中，G_r表示渲染生成器，P_s，t代表输入草图图像I_s对应的真值。

其次，为了保持合成图像和真实图像的颜色和纹理一致性，利用重建损失惩罚生成图像和原始图像的颜色差异，重建损失定义如下：

此外，为了使合成的图像具有和真值相同的语义信息，利用在“ImageNet”上预训练的VGG-19的relu-3和relu-8层来计算感知损失，定义如下：

其中，

代表渲染生成器G_r的合成图像，Λ_i(x)为VGG-19模型第i层的特征图。最后，为了使生成图像更加关注生成的局部细节信息，使用风格损失从“ImageNet”上预训练的VGG-19提取relu-3和relu-8层中提取特征的Gram矩阵，定义风格损失如下：

代表Gram矩阵，最终需要满足的生成器目标函数为：

其中，λ₁、λ₂和λ₃是预先定义的参数，在多次尝试调整后选取最优参数使生成的图像最为真实。

步骤S4：对于端到端的训练策略，在迭代过程中，草图生成器首先利用潜在代码随机生成草图，然后利用哈希感知算法计算出和生成草图最相似的原域中草图。然后，利用匹配出的原域中的草图和原域中的纹理作为渲染生成器的输入，生成的图像结果和草图结果分别利用草图判别器和渲染判别器获得匹配度的得分，用于更新草图生成器、草图判别器、渲染生成器和渲染判别器。

对于分而治之的时装设计策略，利用两步骤训练完成服饰生成的任务，第一步是通过隐码生成草图图像完成图像设计的任务；第二步将纹理传播到草图中。第一步由草图生成器生成的草图图像与真实的草图域计算匹配分数，用梯度下降策略更新草图生成器和草图判别器；第二步由草图和纹理作为渲染生成器的输入，得到单品生成图像和对应的真实图像的结果取更新渲染判别器，采用梯度下降的策略更新单品生成器和单品判别器；在分而治之的策略中，草图生成器、草图判别器、渲染生成器和渲染判别器在两次迭代中分别更新。

本发明的主要贡献有以下两点：(1)建立了一个包含7类时尚物品的大规模数据集，并根据时尚数据集通过边缘检测算法构造出草图时尚单品数据集。(2)提出了用于设计师辅助设计的基于生成对抗网络的时尚服饰设计生成方法，使用无监督草图生成对抗网络的完成设计师的第一步草图绘制，为了使不同的纹理按照草图的语义信息映射到草图上，本发明提出一个基于条件特征的交互模块的渲染生成对抗网络来完成单品时尚图像的生成。基于不同的业务场景，在草图生成对抗网络和渲染生成对抗网络的基础上提出了端到端的训练方案和分而治之的训练方案去训练优化网络，为后期时尚辅助设计开拓了巨大的研究空间。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种草图生成对抗网络，包括一个草图生成器和一个草图判别器，其特征在于，基于潜在空间编码的随机性，所述草图生成器从潜在空间生成大量多样性的绘画草图种子，完成从潜在空间到生成草图的转换；所述草图判别器判别生成图像是否具有相应的服饰语义。

2.如权利要求1所述的草图生成对抗网络，其特征在于，所述草图生成器包含两部分，一是映射网络部分，所述映射网络由8个全连接层构成，由输入的隐变量生成中间层的隐变量，隐变量的多少由生成图像的像素大小控制；所述草图生成器的第二部分采用逐级增加像素的方式生成多个尺度信息的图像，采用残差网络的设计架构，使用双线性滤波进行上采样和下采样，以学习下一层的残差值，通过利用一个残差网络结构的跳跃连接从低分辨率的特征映射到最终生成的图像。

3.一种渲染生成对抗网络，包括一个渲染生成器和一个渲染判别器，其特征在于，所述渲染生成器采用编码器-解码器的结构，对两个输入草图信息和纹理信息分别采用降采样的过程中进行特征交互；所述的渲染判别器采用“Patch-GAN”，利用草图和生成图像的结合作为判别器的条件，采用带有路径长度正则化的对抗损失函数。

4.如权利要求3所述的渲染生成对抗网络，其特征在于，所述渲染生成器包括条件交互模块，所述条件交互模块分为特征归一化层和参数生成层，所述特征归一化层用于准确的表征草图信息和纹理信息之间的特征交互，消除由条件不同带来的巨大差异，所述参数生成层利用两个卷积层来生成用于调制解调的缩放和移动参数。

5.一种基于草图生成对抗网络、渲染生成对抗网络的服饰设计方法，其特征在于包括步骤：

A、构建包含草图信息和时尚单品信息的服饰数据集；使用边缘检测的方法，基于干净的时尚数据构造草图图像，生成草图-时尚单品匹配对数据；

B、设计草图生成对抗网络：所述草图生成对抗网络包括一个草图生成器和一个草图判别器；基于潜在空间编码的随机性，所述草图生成器从潜在空间生成大量多样性的绘画草图种子，完成从潜在空间到生成草图的转换；所述草图判别器判别生成图像是否具有相应的服饰语义；

C、设计渲染生成对抗网络：所述渲染生成对抗网络，包括一个渲染生成器和一个渲染判别器，其特征在于，所述渲染生成器采用编码器-解码器的结构，对两个输入草图信息和纹理信息分别采用降采样的过程中进行特征交互；所述的渲染判别器采用“Patch-GAN”，利用草图和生成图像的结合作为渲染判别器的条件，采用带有路径长度正则化的对抗损失函数；将草图信息和纹理信息作为渲染生成对抗网络的输入，通过特征融合模块充分捕获两种不同信息的相互映射方式，交互式的生成逼真的图像；

D、采用两种可选优化草图生成对抗网络和渲染生成对抗网络的训练方案为：一种是端到端的训练策略，将两种生成对抗网络联合训练，草图判别器学习潜在隐码合成图像的真实性，渲染判别器学习预测生成单品图像的真实性；另一种是两步式训练策略，分而治之的优化两个生成对抗网络，草图生成器用来由隐码生成假的草图，草图判别器根据草图生成器的生成图像预测结果的真实性，渲染生成器利用输入的草图和纹理信息生成时尚单品图像，同时草图判别器以输入的草图为条件来判别生成图像的真实性。

6.如权利要求5所述的服饰设计方法，其特征在于，所述步骤A包括：

A1、构建不同类别的细粒度服饰属性集，综合服装电商的关键字搜索项，包含类别、纹理、款式、颜色和细节信息，将背景复杂的单品删去，构建时尚单品数据；

A2、构建包含草图信息和时尚单品信息的服饰数据集，基于干净的时尚背景单品图使用边缘检测的方法构造草图图像，生成草图-时尚单品匹配对数据。

7.如权利要求5所述的服饰设计方法，其特征在于，所述步骤B包括：

B1、所述草图生成器采用StyleGAN2的无监督生成结构，草图生成对抗网络包含两部分，一个是映射网络部分，映射网络由8个全连接层构成，由输入的隐变量生成中间层的隐变量，隐变量的多少由生成图像的像素大小控制，构造时尚单品数据集的图像像素大小为，中间层隐变量的大小为14个，这14个隐变量将作为合成网络的输入；

B2、所述草图生成对抗网络的第二部分采用逐级增加像素的方式生成多个尺度信息的图像，采用残差网络结构的设计使用双线性滤波进行上采样和下采样，以学习下一层的残差值，通过利用一个残差网络结构的跳跃连接从低分辨率的特征映射到最终生成的图像。

8.如权利要求5所述的服饰设计方法，其特征在于，所述步骤C包括：

C1、所述渲染生成对抗网络采用一种编码器-解码器的生成结构，设计条件交互模块，在编码的过程中使草图信息和纹理信息这两种输入产生充分的交互和映射；其中，编码器的结构由7个草图/纹理交互模块和9个残差块组成，解码器由4个卷积块组成；

C2、设计条件交互模块，条件交互模块分为两个部分，特征归一化层和参数生成层；特征归一化层用于准确的表征草图信息和纹理信息之间的特征交互，消除由条件不同带来的巨大差异；参数生成层利用两个卷积层来生成用于调制解调的缩放和移动参数；

C3、所述渲染判别器采用“Patch-GAN”的结构，将由渲染生成器生成的图像和草图连接起来，将连接的图像划分为若干个patch，然后对于划分的N×N个图像判断生成的单品图像是否为真，再对划分的所有patch的判定结果求平均，最后给出判定的输出；

C4、选取重建损失、感知损失和风格损失作为除了对抗损失之外的另外的附加监督信息，重建损失使生成图像和输入图像保持整体结构的一致性；感知损失利用预训练的“VGG”神经网络的中间层提取到图像的高级语义信息，保证生成图像和单品图像的纹理一致性；利用风格损失缩小激活图协方差之间的差异，避免生成图像的棋盘效应。

9.如权利要求5所述的服饰设计方法，其特征在于，所述步骤D中：

对于端到端的训练策略，在迭代过程中，草图生成器首先利用潜在代码随机生成草图，然后利用哈希感知算法计算出和生成草图最相似的原域中草图；

对于端到端的训练策略，利用匹配出的原域中的草图和原域中的纹理作为渲染生成器的输入，生成的图像结果和草图结果分别利用草图判别器和渲染判别器获得匹配度的得分，用于更新草图生成器、草图判别器、渲染生成器和渲染判别器。

10.如权利要求5或9所述的服饰设计方法，其特征在于，所述步骤D中：

对于两步式训练策略，利用两步骤训练完成服饰生成的任务，第一步是通过隐码生成草图图像完成图像设计的任务；第二步将纹理传播到草图中；

对于两步式训练策略，第一步由草图生成器生成的草图图像与真实的草图域计算匹配分数，用梯度下降策略更新草图生成器和草图判别器；第二步由草图和纹理作为渲染生成器的输入，得到单品生成图像和对应的真实图像的结果取更新渲染判别器，采用梯度下降的策略更新单品生成器和单品判别器；在分而治之的策略中，草图生成器、草图判别器、渲染生成器和渲染判别器在两次迭代中分别更新。

Images