CN112991480A

CN112991480A - 基于深度学习的服装自动设计方法、系统及计算机设备

Info

Publication number: CN112991480A
Application number: CN202110296187.4A
Authority: CN
Inventors: 温苗苗; 郑泽宇; 尚文祥; 何治; 李鸽; 杨波波; 马锐; 胡海滨; 石磊
Original assignee: Hangzhou Zhiyi Technology Co ltd
Current assignee: Hangzhou Zhiyi Technology Co ltd
Priority date: 2021-03-19
Filing date: 2021-03-19
Publication date: 2021-06-18

Abstract

本公开涉及一种基于深度学习的服装自动设计方法、系统及计算机设备，旨在解决现有技术中的当前的生成模型无法针对特定的需求生成特定的服装图像数据的问题。基于深度学习的服装自动设计方法，包括：接收采集到的服装图像数据；对接收到的服装图像数据进行属性标注，得到标注完成的服装图像数据，并形成服装自动设计数据集；以原始图像、替换属性图像和图像属性替换信息作为服装自动设计生成模型输入，并输出生成服装图像；原始图像和替换属性图像均取自服装自动设计数据集。系统包括数据接收单元、标注单元和服装生成单元。服装自动设计生成模型可以根据需求，预先定义的图像属性替换信息，可以针对特定的需求生成特定的服装图像数据。

Description

基于深度学习的服装自动设计方法、系统及计算机设备

技术领域

本公开属于服装自动生成技术领域，具体涉及一种基于深度学习的服装自动设计方法、系统及计算机设备。

背景技术

图像生成技术是通过输入的信息进行特定图像生成的图像技术，是计算机视觉邻域比较难的技术之一。虽然该技术难度较高，但是在很多方面都有广泛的应用：在内容创建方面，广告公司通过图像生成技术生成不同风格的广告图像，该广告图像与广告内容匹配，并能够产生新的广告创意。在内容感知方面，摄影师可以通过图像技术改变人物的发型，面部表情等，寻找到人物的最佳表情和妆容表情等。在数据增强方面，在实际的计算机视觉的识别任务中，经常会遇到样本不平衡的情况，在样本不平衡的情况下，通过图像生成技术生成新的图像数据，补全类别偏少的类别样本，改善样本不平衡带来的影响。

在更早期的图像生成技术，有使用FCN（全卷积神经网络）与UNet（一种结构为U形的神经网络结构）的全卷积结构进行图像生成，但是该结构只能适用于图像的转换，从一张图像转换为另一种风格的图像，如图像分割，图像风格转换等，同时必须使用监督学习的方法，该方法对数据的标注需求巨大，同时模型能处理的任务也相对比较固定，无法满足灵感设计需求。

此外技术人员通常也使用VAE（全称为Variational Autoencoder，中文名称为变分自编码器）与GAN（全称为Generative Adversarial Networks ，中文名称为生成式对抗网络，是一种深度学习模型）的结构来进行图像生成，辅助CNN（全称为ConvolutionalNeural Networks，中文名称为卷积神经网络）的特征提取结构，使用对抗生成的学习方法进行模型训练并进行图像生成，比较流程的结构就是多层上采样加上CNN特征提取结构。由于使用对抗训练的方法，对于数据的精细标注不再是强需求，同时因为训练时并不使用强监督的方法进行训练，机器进行数据生成时有了多样性，可以生成全新的数据。在GAN图像生成领域，虽然通用的图像生成技术已经有了很大的进步和发展，但是直接应用于服装领域，尤其是服装数据对细节比较敏感的情况下，其生成效果还存在以下方面的不足：

1、当前的服装生成模型可控性比较差，生成的效果难以保证，会生成一些效果比较差的不可用数据。2、当前的生成模型只能进行单一的功能的服装图像生成，无法针对特定的需求生成特定的服装图像数据。3、当前的服装生成模型，在采样时，对服装图像数据的采样要求：要替换的属性部位信息不同，其他位置信息需要相同，来训练或设计服装，这样导致服装数据采样难度较大。

发明内容

本公开涉及一种基于深度学习的服装自动设计方法、系统及计算机设备，旨在解决现有技术中的当前的生成模型只能进行单一的功能的服装图像生成，无法针对特定的需求生成特定的服装图像数据的问题。

为了解决上述技术问题，本公开所采用的技术方案为：

一种基于深度学习的服装自动设计方法，包括以下步骤：

接收采集到的服装图像数据；

对接收到的服装图像数据进行属性标注，得到标注完成的服装图像数据，并形成服装自动设计数据集；

以原始图像、替换属性图像和图像属性替换信息作为服装自动设计生成模型输入，并输出生成服装图像；在生成服装图像时，服装自动设计生成模型根据图像属性替换信息将原始图像中的指定属性替换掉替换属性图像中的对应属性，得到生成服装图像；所述原始图像和替换属性图像均取自服装自动设计数据集。

进一步改进的方案：所述服装自动设计生成模型包括生成模型和判别模型；

所述生成模型以原始图像、替换属性图像和图像属性替换信息作为输入，并输出生成服装图像；

所述判别模型用于判别出生成服装图像是否达标的质量信息。

基于上述方案，所述生成模型用于生成服装图像，判别模型用于判别出生成服装图像的质量是否达标，根据质量信息保留生成质量达标的生成服装图像，可以保证生成服装图像的效果。

进一步改进的方案：所述生成服装图像的质量信息包括用于判别生成服装图像的质量是否达标的真假信息，生成服装图像质量达标则判别为真，生成服装图像质量不达标则判别为假。

基于上述方案，判别模型根据真假信息，来判别出生成服装图像的质量是否达标，若生成服装图像质量达标则判别为真，则保留生成质量达标的生成服装图像，若生成服装图像质量达标则判别为假，则不保留质量不达标的生成服装图像，从而保证生成服装图像的效果。

进一步改进的方案：所述生成服装图像的质量信息还包括判别是否包含正确属性的属性信息。

基于上述方案，通过判断生成服装图像是否包含正确属性的属性信息，从而可以进一步判断在判别为真的生成服装图像中，是否有为成功替换掉指定的属性；若包含正确属性，则说明属性成功替换，生成服装图像生成服装图像达标，若不包含正确属性，则说明属性未成功替换，生成服装图像生成服装图像未达标，；从而进一步保证了生成服装图像的效果。

进一步改进的方案：所述生成模型的构建方法包括：采用upcov2d与conv-block进行连续堆叠构建；先进行4次下采样，再进行4次上采样，每次下采样图像长宽尺寸变为原来的1/2，每次上采样图像长宽尺寸变为原来的2倍；

所述判别模型的构建方法包括：采用conv-block进行连续堆叠构成并下采样4次，每次下采样图像长宽尺寸变为原来的1/2。

基于上述方案，使用多层conv-block进行堆叠构建生成模型的方法可以有效加强特征层的表达能力；此外，生成模型输入与输出的尺寸相同。

进一步改进的方案：所述生成模型和判别模型构建完成后，还包括训练步骤：

S101、以原始图像、替换属性图像和图像属性替换信息作为生成模型的训练输入，并输出生成服装图像；

S102、以服装训练数据和生成模型输出的生成服装图像作为判别模型的训练输入，并输出用于判别生成服装图像的质量是否达标的真假信息，生成服装图像质量达标则判别为真，生成服装图像质量不达标则判别为假；

循环步骤S101或S102，直到判别模型对服装训练图像和生成服装图像的判断均稳定的判别为真，则生成模型和判别模型训练结束；

所述原始图像、替换属性图像、服装训练图像均取自服装自动设计数据集。

基于上述方案，服装训练数据和生成服装图像作为判别模型的输入对，送入判别模型进行训练，判别模型输出该图像的真假信息，判别模型还可以进一步输出属性信息，当判别模型对服装训练图像和生成服装图像的判断均稳定的判别为真时，即当判别模型无法区分服装训练数据（真实数据）与生成服装图像（生成数据）时，说明生成模型生成的生成服装图像非常真实，即可得到训练良好的生成模型和判别模型；判别模型和生成模型共同训练，当生成模型训练好时，同时判别模型也训练完毕。在模型训练稳定性方面，引入了wgan机制（wgan是一种生成对抗模型训练方法，可以提高模型训练的稳定性与性能）对模型梯度进行约束，大幅度提高了模型的训练稳定性和训练后模型的测试性能。

进一步改进的方案：在对接收到的服装图像数据进行属性标注的步骤中，标注的属性包括领型和袖长。

基于上述方案，在生成服装图像时，主要通过领型或袖长的替换来生成新的服装图像。

进一步改进的方案：在接收采集到的服装图像数据的步骤中，服装图像数据为包含上装的服装图像数据。

基于上述方案，主要通过领型或袖长的替换来生成新的服装图像，因领型或袖长所属于上装，故在接收采集到的服装图像数据为包含上装的服装图像数据。

第二方面，本公开提供了一种基于深度学习的服装自动设计系统，包括：

数据接收单元，用于接收采集到的服装图像数据；

标注单元，用于对接收到的服装图像数据进行属性标注，得到标注完成的服装图像数据，并形成服装自动设计数据集；

服装生成单元，以原始图像、替换属性图像和图像属性替换信息作为输入，并输出生成服装图像；在生成服装图像时，服装生成单元根据图像属性替换信息将原始图像中的指定属性替换掉替换属性图像中的对应属性，得到生成服装图像；所述原始图像和替换属性图像均取自服装自动设计数据集。

第三方面，本公开提供了一种计算机设备，包括通信连接的存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行计算机程序实现第一方面任一方案所述基于深度学习的服装自动设计方法的步骤。

第四方面，本公开提供了一种存储包含在第一方面中任意一种设计中的所述防止多人写入导致数据被覆盖的方法的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如在第一方面中任意一种可能设计中的所述基于深度学习的服装自动设计方法。

本公开的有益效果为：

本公开中，对服装图像数据进行了属性标注，并作为原始图像和替换属性图像的数据来源；以原始图像、替换属性图像和图像属性替换信息作为服装自动设计生成模型输入，并输出生成服装图像；服装自动设计生成模型根据图像属性替换信息将原始图像中的指定属性替换掉替换属性图像中的对应属性。一方面，服装自动设计生成模型可以根据需求，预先定义的图像属性替换信息，可以针对特定的需求生成特定的服装图像数据。另一方面，服装自动设计生成模型对于服装图像数据的采样要求较低，不要求非替换属性的部位保持相同，便可以实现生成服装图像的设计生成，降低了采样难度。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简要介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关附图。

图1是本公开中基于深度学习的服装自动设计方法的流程示意图。

图2是本公开中服装自动设计生成模型设计服装时的框架结构示意图。

图3是本公开中服装自动设计生成模型的构建示意图。

图4是本公开中训练服装自动设计生成模型时的框架结构示意图。

图5是本公开中服装自动设计生成模型的设计效果图。

图6是本公开中计算机设备的框架结构示意图。

具体实施方式

下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚完整的描述。应当理解，此处所描述的具体实施例仅仅用于解释本公开，并不用于限定本公开。基于本公开的实施例，本领域技术人员在没有创造性劳动的前提下所获得的所有其他实施例，都属于本公开的保护范围。

第一方面，参阅图1至图5，本公开提供了一种基于深度学习的服装自动设计方法，包括以下步骤：

S100、接收采集到的服装图像数据；

其中，在采集服装图像数据的过程中，要求图像内容清晰，服装图像数据源自于现有的服装。当采集到的服装图像数据用于训练模型时，需要保证服装图像数据属性的多样性，需进行不同面料、不同图案与不同场景等不同服装图像样品的服装图像数据收集。

S200、对接收到的服装图像数据进行属性标注，得到标注完成的服装图像数据，并形成服装自动设计数据集；

对接收到的服装图像数据进行属性标注，其中，属性包括领型和袖型等属性；对服装图像数据进行标注后，得到标注完成的服装图像数据，一方面可以用于作为服装自动设计生成模型的输入并生成服装图像，另一方面也可以用于训练服装自动设计生成模型。此外，在服装自动设计数据集标注时，需要设置严格的标注要求，保证标注的准确性和全面性，需要标注的信息主要为服装图像的袖长和领型信息。标注时需要注意标注信息的属性类别平衡，对于标注量较少的属性类别需要进行多次采集与标注。

S300、以原始图像、替换属性图像和图像属性替换信息作为服装自动设计生成模型输入，并输出生成服装图像；在生成服装图像时，服装自动设计生成模型根据图像属性替换信息将原始图像中的指定属性替换掉替换属性图像中的对应属性，得到生成服装图像；所述原始图像和替换属性图像均取自服装自动设计数据集。

其中，替换属性图像为需要替换服装中属性的服装图像，取自服装自动设计数据集。

其中，原始图像为包含替换属性图像中需要替换的属性的服装图像，取自服装自动设计数据集，并将该属性替换到替换属性图像中。

其中，图像属性替换信息是指将原始图像中指定的属性替换掉替换属性图像中对应属性的控制信息。

在生成服装图像时，以原始图像、替换属性图像和图像属性替换信息作为服装自动设计生成模型输入；根据图像属性替换信息将原始图像中的指定属性替换掉替换属性图像中的对应属性。例如：原始图像A的属性包括领型a1和袖长a2，替换属性图像B的属性包括领型b1和袖长b2，图像属性替换信息为原始图像A中的袖长a2替换掉替换属性图像B中的袖长b2，获得生成服装图像C，生成服装图像C为包含领型b1和袖长a2的服装图像。

在上述方案的基础上，所述服装自动设计生成模型包括生成模型和判别模型。

其中，生成模型：以原始图像、替换属性图像和图像属性替换信息作为输入，并输出生成服装图像。

参阅图3，其中一种可能的生成模型的构建方法包括：采用upcov2d（向上采样卷积）与conv-block（由多个卷积层组成的卷积组）进行连续堆叠构建；先进行4次下采样，再进行4次上采样，每次下采样图像长宽尺寸变为原来的1/2，每次上采样图像长宽尺寸变为原来的2倍，生成模型输入与输出的尺寸相同。使用多层conv-block进行堆叠构建生成模型的方法可以有效加强特征层的表达能力。

其中，判别模型：用于判别出生成服装图像是否达标的质量信息。

参阅图3，其中一种可能的判别模型的构建方法包括：采用conv-block进行连续堆叠构成并下采样4次，每次下采样图像长宽尺寸变为原来的1/2。采用conv-block连续多次堆叠构建判别模型可以良好地提取图像的特征。

所述生成服装图像的质量信息包括用于判别生成服装图像的质量是否达标的真假信息（即输出真假图像二分类），生成服装图像质量达标则判别为真，生成服装图像质量不达标则判别为假，通过判别模型保留判别结果为真的生成服装图像。生成服装图像的真或假判断指标界限根据实际应用情况进行界定，预先定义好。

在上述方案的基础上，一种改进型的方案：所述生成服装图像的质量信息还包括判别是否包含正确属性的属性信息。即：对生成模型生成的数据进行分类判别，即判别生成服装图像中是否包含原始图像中需要替换的指定属性（领型或袖长等属性），若包含则说明替换成功，若不包含则说明替换失败。例如：原始图像A的属性包括领型a1和袖长a2，替换属性图像B的属性包括领型b1和袖长b2，图像属性替换信息为原始图像A中的袖长a2替换掉替换属性图像B中的袖长b2；获得生成服装图像C，判断生成服装图像C是否包含袖长a2，若包含袖长a2则说明替换成功，若不包含袖长a2则说明替换失败。

参阅图4，在上述方案的基础上，所述生成模型和判别模型构建完成后，还包括训练的步骤：

循环步骤S101或S102，直到判别模型对服装训练图像和生成服装图像的判断均稳定的判别为真，则生成模型和判别模型训练结束；稳定的判别为真指的是指连续多次判断为真，例如连续1000次的判断为真。

服装训练数据和生成服装图像作为判别模型的输入对，送入判别模型进行训练，判别模型输出该图像的真假信息，判别模型还可以进一步输出属性信息，当判别模型对服装训练图像和生成服装图像的判断均稳定的判别为真时，即当判别模型无法区分服装训练数据（真实数据）与生成服装图像（生成数据）时，说明生成模型生成的生成服装图像非常真实，即可得到训练良好的生成模型和判别模型；判别模型和生成模型共同训练，当生成模型训练好时，同时判别模型也训练完毕。

所述原始图像、替换属性图像、服装训练图像均取自服装自动设计数据集。且服装自动设计数据集中采集到的服装图像数据，要求图像内容清晰；其中，服装图像数据源自于现有的服装。为了使模型更加稳定，需要保证数据的多样性，需进行不同面料、不同图案与不同场景等不同服装图像样品的服装图像数据收集。再进一步的，可以在标注完成后，从服装自动设计数据集中按照一定的属性比例进行服装图像挑选，挑选的目的是保证属性的服装图像数量保持均衡，挑选完成后得到训练数据集，所述原始图像、替换属性图像、服装训练图像均从训练数据集中获取。此外，对于服装图像数据的采样，不要求服装非替换属性（即服装上除了衣领和袖子以外的部位）的部位保持相同，便可以对生成模型和判别模型进行训练，降低了采样难度。

在模型训练稳定性方面，引入了wgan机制（wgan是一种生成对抗模型训练方法，可以提高模型训练的稳定性与性能）对模型梯度进行约束，大幅度提高了模型的训练稳定性和训练后模型的测试性能。

在上述任一方案的基础上，在对接收到的服装图像数据进行属性标注的步骤中，标注的属性包括但不限于领型和袖长等属性。

在上述方案的基础上，在接收采集到的服装图像数据的步骤中，服装图像数据为包含上装的服装图像数据。其中，上装包括：各种类型的上装以及包含上半身的裙装。在服装自动设计数据集收集时（即进行不同属性下的服装图像数据收集），需要保证采集的服装图像数据的高质量（服装清洗无遮挡），保证采集数据不包含裤装类和半身裙类服装数据，只需要包含各种类型的上装和裙装（不包含半身裙）的数据。

数据接收单元，用于接收采集到的服装图像数据；

第二方面中，各步骤的执行以及各名词的解释，参照第一方面中的解释和说明，这里不再进行赘述。

第三方面，参阅图6，本公开提供了一种计算机设备，包括通信连接的存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行计算机程序实现第一方面所述基于深度学习的服装自动设计方法的步骤。

具体举例的，所述存储器可以但不限于包括随机存取存储器（Random-AccessMemory，RAM）、只读存储器（Read-Only Memory，ROM）、闪存（Flash Memory）、先进先出存储器（First Input First Output，FIFO）和/或先进后出存储器（First Input Last Output，FILO）等；所述处理器可以不限于采用型号为STM32F105系列的微处理器；所述收发器可以但不限于为无线保真（Wireless Fidelity，WiFi）、无线收发器、蓝牙无线收发器、通用分组无线服务技术（General Packet Radio Service，GPRS）无线收发器和/或紫蜂协议（ZigBee）无线收发器等。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。

本公开提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见如上第一方面中的任意一种设计所述的基于深度学习的服装自动设计方法，于此不再赘述。

第四方面，本公开还提供了一种存储包含在第一方面中任意一种设计中的所述防止多人写入导致数据被覆盖的方法的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如在第一方面中任意一种可能设计中的所述基于深度学习的服装自动设计方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒（Memory Stick）等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

本公开提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如上第一方面中任意一种可能设计所述的基于深度学习的服装自动设计方法，于此不再赘述。

第四方面，本公开提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如在第一方面中任意一种可能方案中的所述基于深度学习的服装自动设计方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

以上所描述的实施例仅仅是示意性的，若涉及到作为分离部件说明的单元，其可以是或者也可以不是物理上分开的；若涉及到作为单元显示的部件，其可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本公开方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims

1.一种基于深度学习的服装自动设计方法，其特征在于，包括以下步骤：

接收采集到的服装图像数据；

2.根据权利要求1所述的一种基于深度学习的服装自动设计方法，其特征在于：所述服装自动设计生成模型包括生成模型和判别模型；

3.根据权利要求2所述的一种基于深度学习的服装自动设计方法，其特征在于：所述生成服装图像的质量信息包括用于判别生成服装图像的质量是否达标的真假信息，生成服装图像质量达标则判别为真，生成服装图像质量不达标则判别为假。

4.根据权利要求3所述的一种基于深度学习的服装自动设计方法，其特征在于：所述生成服装图像的质量信息还包括判别是否包含正确属性的属性信息。

5.根据权利要求2所述的一种基于深度学习的服装自动设计方法，其特征在于：

所述生成模型的构建方法包括：采用upcov2d与conv-block进行连续堆叠构建；先进行4次下采样，再进行4次上采样，每次下采样图像长宽尺寸变为原来的1/2，每次上采样图像长宽尺寸变为原来的2倍；

6.根据权利要求5所述的一种基于深度学习的服装自动设计方法，其特征在于：所述生成模型和判别模型构建完成后，还包括训练步骤：

7.根据权利要求1至6任一所述的一种基于深度学习的服装自动设计方法，其特征在于：在对接收到的服装图像数据进行属性标注的步骤中，标注的属性包括领型和袖长。

8.根据权利要求7所述的一种基于深度学习的服装自动设计方法，其特征在于：在接收采集到的服装图像数据的步骤中，服装图像数据为包含上装的服装图像数据。

9.一种基于深度学习的服装自动设计系统，其特征在于，包括：

数据接收单元，用于接收采集到的服装图像数据；

10.一种计算机设备，其特征在于，包括通信连接的存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行计算机程序实现如权利要求1-8任一所述基于深度学习的服装自动设计方法的步骤。