CN115618452A - 具有设计师风格的服装图像智能生成系统 - Google Patents

具有设计师风格的服装图像智能生成系统 Download PDF

Info

Publication number
CN115618452A
CN115618452A CN202211571187.1A CN202211571187A CN115618452A CN 115618452 A CN115618452 A CN 115618452A CN 202211571187 A CN202211571187 A CN 202211571187A CN 115618452 A CN115618452 A CN 115618452A
Authority
CN
China
Prior art keywords
style
sketch
picture
designer
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211571187.1A
Other languages
English (en)
Other versions
CN115618452B (zh
Inventor
吴迪
于志旺
蒋佳楠
李星霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202211571187.1A priority Critical patent/CN115618452B/zh
Publication of CN115618452A publication Critical patent/CN115618452A/zh
Application granted granted Critical
Publication of CN115618452B publication Critical patent/CN115618452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/12—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种具有设计师风格的服装图像智能生成系统，包括灵感图片区域单元、画板区域单元、参考图片区域单元和展示板区域单元；所述灵感图片区域单元用于设计师浏览服装图片，并对选择其中的图片生成设计师风格的草图；所述画板区域单元用于显示生成的设计师风格的草图，并供设计师对设计师风格的草图进行调整；所述参考图片区域用于对设计师浏览不同服装风格的图片，并选则某个服装风格的图片作为参考图片。本发明能根据设计师指定的服装图片，生成与设计师风格一致的服装草图，同时也能根据设计师指定的服装风格对生成的草图进行风格迁移，生成真实的，具有特定风格的服装图片。

Description

具有设计师风格的服装图像智能生成系统
技术领域
本发明涉及服装设计，尤其涉及一种具有设计师风格的服装图像智能生成系统。
背景技术
随着数字信息技术的发展和大数据时代的到来，数据的分析和利用在各个行业中发挥着越来越重要的作用。在创意设计领域，过去几年出现了越来越多的数据驱动的设计支持工具。其中一些工具已经集成到专业的设计软件或平台中。
具体到时装设计领域，素描是设计过程中的基本阶段。而数字辅助被认为是促进传统手绘草图发展的关键技术。自动生成手绘草图的研究已得到更多的研究者的关注和跟随。
在服装设计中，设计师需要根据一个设计主题来设计服装。在设计服装的过程中，设计师通常需要浏览和搜索大量与特定主题相关的服装图片来寻找能启发设计灵感的服装素材。然后设计师需要根据他们自己的设计灵感来安排设计素材，包括草图，颜色，纹理和细节。尽管一些技术能从服装图片自动生成服装草图，但是它们主要聚焦于抽取图片的物体轮廓，虽然服装草图通常包括丰富的线条变化，并可以通过线条的粗细，线条的虚实改变来展示服装的立体感和服装的纹理风格。例如，在服装草图中，服装的外部轮廓通常由粗实线表示，服装内部的褶皱和缝合线通常用细实线表示。但是服装设计的过程不仅仅是画草图。设计师需要根据草图的绘制风格选择合适的颜色，来丰富服装的样式和风格。例如，当设计师创作一套服装设计时，他会考虑怎么为苗条体态的服装搭配颜色，以使得服装模特看起来更加突出。
因此现有的技术存在如下问题：
1.在之前的研究中，数据驱动的设计创意支持工具通常是面向专业设计师，而没有考虑半专业设计师的设计需求。这与创意设计工具在数据采集阶段没有考虑多样化的输入数据特征有关。
2.大部分现存的工作不能生成具有设计师风格的个性化草图，只能生成与草图相似的物体轮廓。同时，现存的方法需要大量的设计师手稿来作为训练数据，然而获取大量的手绘草图与对应的彩图是困难的。这与在方法设计的过程中，没有有效利用草图的风格特征有关，同时之前的方法没有考虑怎么在有限数量的场景下，最大化利用有效的数据特征。
3.目前研究方法中，多数风格迁移都是对整张图片进行风格变换，而服装图片具有清晰的轮廓。对于服装图片的风格迁移，只能将颜色和纹理迁移到服装轮廓内，而不是覆盖整个图像。之前的研究没有解决服装设计特定领域的痛点。此外，将指定图片的风格迁移到服装草图上，需要将服装草图的内容与风格特征进行分离，然后将指定图片的颜色风格特征与服装草图的内容特征进行重组，从而生成新的服装图片，这些功能是之前的研究中没有考虑到的。
4.目前的创意设计工具中，没有将草图生成功能和风格迁移功能整合到一个系统中。根据问卷调查的反馈结果，这会严重影响设计师的设计效率。
发明内容
针对现有技术存在的问题，本发明公开了一种具有设计师风格的服装图像智能生成系统。本发明能根据设计师指定的服装图片，生成与设计师风格一致的服装草图，同时也能根据设计师指定的服装风格对生成的草图进行风格迁移，生成真实的，具有特定风格的服装图片。
为解决上述问题，本发明的技术方案如下：
一种具有设计师风格的服装图像智能生成系统，包括灵感图片区域单元、画板区域单元、参考图片区域单元和展示板区域单元；所述灵感图片区域单元用于设计师浏览服装图片，并对选择其中的图片生成设计师风格的草图；所述画板区域单元用于显示生成的设计师风格的草图，并供设计师对设计师风格的草图进行调整；
所述参考图片区域用于对设计师浏览不同服装风格的图片，并选则某个服装风格的图片作为参考图片，并将参考图片风格迁移至草图，形成显示风格迁移后服装图片列表；
所述展示板区域单元用于显示风格迁移后服装图片列表，并供设计师进行风格迁移后服装图片的选取。
进一步的改进，所述草图通过草图生成网络生成，草图生成网络包括编码器模块、通道特征自适应正则化模块、带有通道注意力机制的生成器模块、第一损失函数模块和带有通道注意力机制的判别器模块；
所述编码器模块使用VGG-16预训练网络分别从输入的设计师的手绘草图和对应的服装图片抽取手绘草图的风格特征和服装图片的内容特征，然后对草图生成网络训练得到训练后的草图生成网络；训练后的草图生成网络用于根据服装图片自动生产对应的设计师风格的草图；
特征自适应正则化模块通过考虑通道特征和全局特征统计的相关性，选择生成的设计师风格的草图的风格特征权重和服装图片的内容特征权重，从而能控制生成草图的形状和细节；带有通道注意力机制的生成器模块用于生成具有清晰轮廓和完整细节的服装草图；损失函数模块通过缩小源域图像和目标域图像之间的损失函数值，使得生成的草图更加接近设计师的设计风格；判别器模块通过判别生成的图片是否真实，从而提高生成器生成的图片质量。
进一步的改进，所述编码器模块的公式如下：
Figure 100002_DEST_PATH_IMAGE001
（1）
Figure 100002_DEST_PATH_IMAGE002
（2）
Figure 100002_DEST_PATH_IMAGE003
（3）
其中，
Figure 100002_DEST_PATH_IMAGE004
表示服装RGB图片提取的服装内容特征，
Figure 100002_DEST_PATH_IMAGE005
表示服装草图提取的草图特征，
Figure 100002_DEST_PATH_IMAGE006
表示生成草图提取的草图特征，
Figure 100002_DEST_PATH_IMAGE007
表示预训练了的VGG-16神经网络模块，
Figure 100002_DEST_PATH_IMAGE008
表示服装RGB图片的像素值向量，
Figure 100002_DEST_PATH_IMAGE009
表示设计师手绘草图像素值向量，
Figure 100002_DEST_PATH_IMAGE010
表示生成草图像素值向量。
进一步的改进，所述通道特征自适应正则化模块包括自适应正则化计算网络层，自适应正则化计算网络层包括参数
Figure 100002_DEST_PATH_IMAGE011
；
Figure 100002_DEST_PATH_IMAGE012
是由全连接层生成的动态学习的放射参数；
Figure 100002_DEST_PATH_IMAGE013
分别代表逐实例的特征平均值参数和标准差参数以及逐层的特征平均值参数和标准差参数；
Figure 100002_DEST_PATH_IMAGE014
代表学习率，
Figure 100002_DEST_PATH_IMAGE015
表示由优化器确定的更新向量的参数；
Figure 100002_DEST_PATH_IMAGE016
的取值范围为[0,1],用于对参数更新步长施加界限；当
Figure 55844DEST_PATH_IMAGE016
的取值接近1，实例正则化对生成器的特征影响更大；当
Figure 300880DEST_PATH_IMAGE016
的取值接近0，层正则化对生成器的特征影响更大；具体如下：
Figure 100002_DEST_PATH_IMAGE017
（4）
Figure 100002_DEST_PATH_IMAGE018
（5）
Figure 100002_DEST_PATH_IMAGE019
（6）
Figure 100002_DEST_PATH_IMAGE020
（7）
其中，
Figure 100002_DEST_PATH_IMAGE021
表示自适应层和实例正则化方法，
Figure 100002_DEST_PATH_IMAGE022
表示实例正则化后的特征，
Figure 100002_DEST_PATH_IMAGE023
表示输入特征，既可以是内容特征，也可以是风格特征，
Figure 100002_DEST_PATH_IMAGE024
表示偏置参数，
Figure 100002_DEST_PATH_IMAGE025
表示截断函数，输出函数值的取值范围为0-1。
进一步的改进，所述带有通道注意力机制的生成器模块通过计算得到的权重参数
Figure 100002_DEST_PATH_IMAGE026
得到一系列的带注意力权重的图像通道特征，具体如下：
Figure 100002_DEST_PATH_IMAGE027
（8）
Figure 100002_DEST_PATH_IMAGE028
（9）
其中，
Figure 100002_DEST_PATH_IMAGE029
代表来自源域彩图的编码特征的第（i，j）个激活图的特征值；
Figure 100002_DEST_PATH_IMAGE030
为sigmoid激活函数，
Figure 100002_DEST_PATH_IMAGE031
为辅助分类器，x为输入风格特征，c为特征的通道数量，k为特征图的数量，
Figure 100002_DEST_PATH_IMAGE032
为经过注意力加权后的特征图向量，
Figure 100002_DEST_PATH_IMAGE033
为第c个通道特征的注意力权重，
Figure 100002_DEST_PATH_IMAGE034
为第c个通道的原始特征图。
进一步的改进，所述第一损失函数模块的损失函数包括草图判别器网络损失函数、草图生成器网络损失函数、 草图生成器的通道注意力损失函数和草图判别器的通道注意力损失函数；
草图判别器网络损失函数如下：
Figure 100002_DEST_PATH_IMAGE035
（10）
草图生成器网络损失函数如下：
Figure 100002_DEST_PATH_IMAGE036
（11）
草图生成器的通道注意力损失函数如下：
Figure 100002_DEST_PATH_IMAGE037
（12）
草图判别器的通道注意力损失函数如下：
Figure 100002_DEST_PATH_IMAGE038
（13）
Figure 100002_DEST_PATH_IMAGE039
为Gram矩阵，
Figure 100002_DEST_PATH_IMAGE040
为草图生成器网络的损失函数，
Figure 100002_DEST_PATH_IMAGE041
为对原始RGB图片的内容特征与原始草图的风格特征做特征正则化之后的目标草图特征，
Figure 100002_DEST_PATH_IMAGE042
为草图生成器中通道注意力网络的损失函数，
Figure 100002_DEST_PATH_IMAGE043
为生成器网络中的辅助分类器，用于区分该草图为原始草图还是生成的草图，
Figure DEST_PATH_IMAGE044
为输入图片的特征，
Figure 100002_DEST_PATH_IMAGE045
为草图判别器中通道注意力网络的损失函数，
Figure 100002_DEST_PATH_IMAGE046
为判别器网络中的辅助分类器，通过关注目标域中的真实图像和伪图像之间的差异来帮助模型进行微调，
Figure 100002_DEST_PATH_IMAGE047
为草图生成器网络，
Figure 100002_DEST_PATH_IMAGE048
为判别器网络损失函数，E为求期望值，
Figure 100002_DEST_PATH_IMAGE049
为判别器网络函数，
Figure 100002_DEST_PATH_IMAGE050
为生成的草图特征向量；
训练草图生成网络使得草图判别器网络损失函数、草图生成器网络损失函数、 草图生成器的通道注意力损失函数和草图判别器的通道注意力损失函数均最小。
进一步的改进，所述风格迁移通过风格迁移网络进行，所述风格迁移网络包括两个编码模块，一个解码模块和一个损失函数模块；其中，一个编码模块用于抽取草图的内容特征
Figure 100002_DEST_PATH_IMAGE051
，另一个编码模块用于抽取参考图片的风格特征
Figure 100002_DEST_PATH_IMAGE052
，从而将生成图片的内容特征和风格特征进行解耦合，使得选择的参考图片与草图的内容不同时，生成图片不会受到参考图片的内容干扰；风格迁移网络进行输入时，为了提取平移不变的风格信息，通过四种图像转换方法增强输入的RGB图像；通过随机擦除线条和加粗线条的方式来增强输入的草图图像，四种图像转换方式包括裁剪，水平翻转、旋转和缩放；风格迁移网络在训练阶段，图像转换方法是随机配置和组合的，然后得到转换后的RGB图像特征
Figure 100002_DEST_PATH_IMAGE053
和草图特征
Figure 100002_DEST_PATH_IMAGE054
；为了保证解码器合成图像的特征在不同变换方法下与原始图像相比不发生变化，在解码后生成的图像特征
Figure 100002_DEST_PATH_IMAGE055
和原始的图像特征
Figure 100002_DEST_PATH_IMAGE056
之间使用重构损失；为了更好提取与内容无关的风格特征，使用三元组损失来保证生成的图片只提取参考的RGB图片的风格特征，而不提取参考图片的内容特征，其中内容相同的图片的风格特征的余弦相似度值越高，内容不同图片的风格特征的余弦相似度值越低；
Figure 100002_DEST_PATH_IMAGE057
代表一个范围区间，
Figure 100002_DEST_PATH_IMAGE058
和
Figure 100002_DEST_PATH_IMAGE059
是相同图片的特征，
Figure 100002_DEST_PATH_IMAGE060
是随机的其他图像的特征；损失函数模块的损失函数引导编码模块根据图像每个区域的语义信息，而不是根据图像的绝对像素位置来映射风格特征：
Figure 100002_DEST_PATH_IMAGE061
（14）
其中，
Figure 100002_DEST_PATH_IMAGE062
为风格提取模块的三元组损失函数，
Figure 464971DEST_PATH_IMAGE058
表示经过变换后RGB图片通过风格编码模块提取的风格特征，
Figure 329022DEST_PATH_IMAGE059
表示未经变换的同一张RGB图片通过风格编码模块提取的风格特征，
Figure 474220DEST_PATH_IMAGE060
表示来自随机不同图片的风格特征向量；
为了使编码模块提取的风格特征能更加关注颜色和精细的纹理，并使解码模块通过记忆这些独特的内容与风格之间的关系来生成原始图片的风格，使用了互信息损失函数来确保风格编码模块尽可能的获得独特的风格信息，并使内容编码器解耦合风格和内容特征之间的关系；为了鉴别不同的图像，使用风格分类器损失函数，
Figure 100002_DEST_PATH_IMAGE063
使用一个线性层来执行计算，并产生风格类别预测向量和风格类别标签；同时通过最小化互信息，可进一步解耦风格特征与内容特征之间的关联，H代表交叉熵，假设风格信息不能通过内容信息来预测，为了使模型能够处理输入图像为抽象的草图和笔画变形的草图，使用内容三元组损失函数来增强输入草图的内容特征；在内容三元组损失中，
Figure 100002_DEST_PATH_IMAGE064
代表间距，
Figure 100002_DEST_PATH_IMAGE065
和
Figure 100002_DEST_PATH_IMAGE066
代表对应相同RGB图像的草图内容特征，
Figure 100002_DEST_PATH_IMAGE067
代表随机的其他图像；通过使用内容三元组损失函数，使得生成图片的内容特征对草图的线条变化更鲁棒，并且使得生成图片具有更合理的语义信息和清晰的服装轮廓；第二损失函数模块的完整损失函数如下：
Figure 100002_DEST_PATH_IMAGE068
（15）
Figure 100002_DEST_PATH_IMAGE069
（16）
Figure 100002_DEST_PATH_IMAGE070
（17）
Figure 100002_DEST_PATH_IMAGE071
（18）
Figure 100002_DEST_PATH_IMAGE072
为用于提取风格类别的交叉熵损失函数，exp为指数函数，
Figure 100002_DEST_PATH_IMAGE073
为风格分类器，
Figure 100002_DEST_PATH_IMAGE074
为风格标签，取值范围为0-200，
Figure 100002_DEST_PATH_IMAGE075
为RGB图片提取的风格特征，j为风格类别数量总和；MI为互信息函数，用于解耦合风格特征和内容特征之间的关系，
Figure 100002_DEST_PATH_IMAGE076
为图片的内容特征，H为熵值，
Figure 100002_DEST_PATH_IMAGE077
为基于内容特征得到图片风格特征的熵值；
Figure 100002_DEST_PATH_IMAGE078
为内容提取模块损失函数，d为均方距离，
Figure 100002_DEST_PATH_IMAGE079
为自动编码器模块整体的损失函数，
Figure 100002_DEST_PATH_IMAGE080
为生成RGB图片的判别器模块，
Figure 100002_DEST_PATH_IMAGE081
为草图风格编码器，
Figure 100002_DEST_PATH_IMAGE082
为RGB图片的内容编码器，
Figure 100002_DEST_PATH_IMAGE083
为输入RGB图片的特征，
Figure 100002_DEST_PATH_IMAGE084
为输入草图的特征。
本发明的优点：
1.服装设计师在绘制手稿之前，需要浏览大量的服装图片，思考设计灵感。在之前的创意设计工具中，并没有考虑到这一设计过程。针对这些不足，该系统设计了一个灵感图区域，以供设计师快速浏览大量灵感图片，帮助设计师产生设计灵感。
2.在之前的研究方法中，没有考虑到收集大量的成对的服装草图图像数据集是困难的，同时设计师手绘草图具有特定的设计师风格特征，其他的创意设计工具并没有考虑该特征。针对这些不足，我们使用带有自适应正则化和通道注意力机制的对抗生成网络，可以在有限数量草图的场景下，产生大量的具有设计师风格的手绘草图。
3.风格迁移功能能够根据设计师选择的服装颜色风格，对设计师创作的服装草图进行上色，从而能提高服装设计的效率。在之前的研究方法中，没有将草图生成功能和风格迁移功能整合到一个系统中，这会严重影响设计师的设计效率。针对这些不足，我们提出将草图生成功能和风格迁移功能所对应的两个算法嵌入到一个系统中，并设计了相应的系统用户界面。
附图说明
图1为系统用户界面；
图2为个性化草图生成网络架构图；
图3为风格迁移网络架构概述图；
图4为通过变体方法生成的风格迁移后的图片用户反馈分布图；
图5为在绘制草图任务上的完成时间对比图；
图6为草图配色设计任务上的完成时间对比图。
具体实施方式
为了使本发明的目的、优点更加清楚明白，以下结合附图及实施例对本发明的一种具有时尚设计师风格的服装图像智能生成系统进行进一步的详细说明。
如图1所示，在该系统中，我们设计了一个用户界面，该用户界面包括四个部分，分别是a灵感图片区域，用于设计师浏览服装图片，启发设计灵感，同时可以选择图片来生成设计师风格的草图；b画板区域，用于显示生成的服装草图，同时设计师可以对草图进行调整；c参考图片区域，用于设计师浏览服装风格并选择参考图片进行风格迁移；d展示板区域，用于显示风格迁移后服装图片列表，并放大显示用户感兴趣的服装图片。当设计师进入该系统界面，设计师首先会浏览大量的服装灵感图，来思考整个设计的主题和风格。在整个设计过程种，设计师需要考虑服装的腰线，袖型，领型和装饰细节等。对于没有设计师历史手稿数据的用户，点击“粗粒度草图生成”按钮，系统能生成一个具有完整轮廓的草图。对于有设计师历史手稿数据的用户，点击“细粒度草图生成”按钮，系统能根据设计师历史手稿数据的设计风格，生成类似风格的服装草图。设计师可以在生成草图后进行适当细节调整，或者对该服装的草图生成效果不满意，选择另外的服装进行草图生成。当绘制草图完成后，设计师可以在参考图片区域选择符合草图设计风格的参考服装图片，进行指定颜色风格的服装风格迁移。当在参考图片区域选种某张图片后，点击展示板区域的更新按钮，便能生成风格迁移后的服装图片，并且可以多次选择参考图片，生成多张风格迁移后的服装图片，为设计师提供多种设计方案。
草图生成网络包含五个模块，分别是编码器模块，通道特征自适应正则化模块，带有通道注意力机制的生成器模块，损失函数模块和带有通道注意力机制的判别器模块。编码器模块使用VGG预训练网络分别从草图和服装图片抽取内容特征和草图风格特征。特征自适应正则化模块通过考虑通道特征和全局特征统计的相关性，可以灵活选择是保留草图的风格特征权重大还是保留服装图片的内容特征权重大，从而能控制生成草图的形状和细节。带有通道注意力机制的生成器模块能生成具有清晰轮廓和完整细节的服装草图。损失函数模块通过缩小源域图像和目标域图像之间的损失函数值，从而使得生成的草图能更加接近设计师的设计风格。判别器模块通过判别生成的图片是否真实，从而使得生成器生成的图片质量更高。
编码器模块的公式如下：
Figure 34033DEST_PATH_IMAGE001
（1）
Figure 894541DEST_PATH_IMAGE002
（2）
Figure 296704DEST_PATH_IMAGE003
（3）
特征自适应正则化模块，我们在VGG网络中增加了自适应层和实例结合的正则化计算网络层（Adaptive Layer and Instance Normalization），该自适应正则化计算网络层包括参数
Figure 100002_DEST_PATH_IMAGE085
。
Figure 100002_DEST_PATH_IMAGE086
是由全连接层生成的参数。
Figure 90216DEST_PATH_IMAGE013
分别代表逐实例和逐层的特征平均值参数和标准差参数。
Figure 411476DEST_PATH_IMAGE014
代表学习率，
Figure 493702DEST_PATH_IMAGE015
表示由优化器确定的更新向量的参数。
Figure 699555DEST_PATH_IMAGE016
的取值范围为[0,1],用于对参数更新步长施加界限。当
Figure 285257DEST_PATH_IMAGE016
的取值接近1，实例正则化对生成器的特征影响更大；当
Figure 308577DEST_PATH_IMAGE016
的取值接近0，层正则化对生成器的特征影响更大。因此，自适应层和实例结合的正则化计算网络层能够选择性地保留或更改图片的内容特征和风格特征。
Figure 705247DEST_PATH_IMAGE017
（4）
Figure 183633DEST_PATH_IMAGE018
（5）
Figure 155000DEST_PATH_IMAGE019
（6）
Figure 818062DEST_PATH_IMAGE020
（7）
在带有通道注意力的生成器模块，
Figure 874880DEST_PATH_IMAGE008
,
Figure 156957DEST_PATH_IMAGE009
代表一对服装草图和彩图的样例。编码器模块是一个预训练的VGG网络，
Figure 100002_DEST_PATH_IMAGE087
代表来自源域彩图的编码特征的第（i，j）个激活图的特征值。辅助分类器
Figure 100002_DEST_PATH_IMAGE088
被训练来学习源图像的第K个特征图的权重参数
Figure 100002_DEST_PATH_IMAGE089
通过使用全局平均池化和全局最大池化。通过计算得到的权重参数
Figure 107464DEST_PATH_IMAGE089
，我们能计算得到一系列的带注意力权重的图像通道特征。
Figure 941428DEST_PATH_IMAGE027
（8）
Figure 488472DEST_PATH_IMAGE028
（9）
损失函数模块的计算公式如下，格莱姆矩阵用于计算特征图的空间级协方差。判别器损失确保生成器生成的草图特征
Figure 574239DEST_PATH_IMAGE010
对笔画随机变形的鲁棒性和笔画风格的真实性，生成器损失确保生成器对于输入的各种服装图片都能生成高质量的草图，生成器的均方损失确保生成的草图特征
Figure 254619DEST_PATH_IMAGE010
与源域图像的内容特征
Figure 790643DEST_PATH_IMAGE008
一致。
Figure 290894DEST_PATH_IMAGE035
（10）
Figure 100002_DEST_PATH_IMAGE090
（11）
Figure 508249DEST_PATH_IMAGE037
（12）
Figure 308715DEST_PATH_IMAGE038
（13）
该系统不仅能让设计师对草图进行调整，也能将设计师指定的颜色风格迁移到生成后的草图，从而生成真实的服装图片。在这部分，用户能选择一个参考的服装图片，点击更新按钮，从而将草图转换成一个与参考图片相同颜色风格的真实服装图片。设计师能通过多次选择不同的服装参考图片，从而生成多个不同设计风格的服装图片。
图3描述了风格迁移网络架构，该网络包含两个编码模块，一个解码模块和一个损失函数模块。一个编码模块单独抽取草图的内容特征
Figure 625427DEST_PATH_IMAGE004
，另一个编码模块抽取参考图片的风格特征
Figure 878553DEST_PATH_IMAGE052
，从而将生成图片的内容特征和风格特征进行解耦合，这样的好处是当选择的参考图片与草图的内容不同时，生成图片不会受到参考图片的内容干扰。同时为了提取平移不变的风格信息，我们通过四种图像转换方式增强输入的RGB图像，分别是裁剪，水平翻转、旋转和缩放四种方法。同时我们通过随机擦除线条和加粗线条的方式来增强输入的草图图像。在训练阶段，这些图像转换方法是随机配置和组合的，然后我们得到转换后的RGB图像特征
Figure 696337DEST_PATH_IMAGE053
和草图特征
Figure 961096DEST_PATH_IMAGE054
。为了保证解码器合成图像的特征在不同变换方法下与原始图像相比不发生变化，我们在解码后生成的图像特征
Figure 576273DEST_PATH_IMAGE055
和原始的图像特征
Figure 316696DEST_PATH_IMAGE056
之间使用重构损失。为了增强风格特征的内容不变性，使用三元组损失来鼓励生成草图与原始草图内容相同的图片的风格特征的余弦相似度值越高，内容不同图片的风格特征的余弦相似度值越低。
Figure 813536DEST_PATH_IMAGE057
代表一个范围区间，
Figure 323015DEST_PATH_IMAGE058
和
Figure 840584DEST_PATH_IMAGE059
是相同图片的特征，
Figure 209248DEST_PATH_IMAGE060
是随机的其他图像的特征。该损失函数引导编码器模块根据图像每个区域的语义信息，而不是根据图像的绝对像素位置来映射风格特征。
Figure 103255DEST_PATH_IMAGE061
（14）
为了使编码器模块提取的风格特征能更加关注颜色和精细的纹理，并使解码器通过记忆这些独特的内容与风格之间的关系来生成原始图片的风格，我们使用了互信息损失函数来确保风格编码器尽可能的获得独特的风格信息，并使内容编码器解耦合风格和内容特征之间的关系。为了鉴别不同的图像，我们使用了风格分类器损失函数，
Figure 998398DEST_PATH_IMAGE063
使用一个线性层来执行计算，并产生风格类别预测向量和风格类别标签。同时通过最小化互信息，该模型可进一步解耦风格特征与内容特征之间的关联，H代表交叉熵，我们假设风格信息不能通过内容信息来预测。为了使模型能够处理输入图像为抽象的草图和笔画变形的草图，我们使用内容三元组损失函数来增强输入草图的内容特征。在内容三元组损失中，
Figure 421290DEST_PATH_IMAGE064
代表间距，
Figure 11671DEST_PATH_IMAGE065
和
Figure 709368DEST_PATH_IMAGE066
代表对应相同RGB图像的草图内容特征，
Figure 930790DEST_PATH_IMAGE067
代表随机的其他图像。通过使用内容三元组损失函数，模型使得生成图片的内容特征对草图的线条变化更鲁棒，并且使得生成图片具有更合理的语义信息和清晰的服装轮廓。最后是编码器模块的完整损失函数。
Figure 196686DEST_PATH_IMAGE068
（15）
Figure 133418DEST_PATH_IMAGE069
（16）
Figure 634807DEST_PATH_IMAGE070
（17）
Figure 973384DEST_PATH_IMAGE071
（18）
当编码器模块训练完成，我们开始训练对抗生成网络来细化编码器模块生成的图片。在对抗生成网络中，生成器是一个编解码结构，将特征
Figure 144602DEST_PATH_IMAGE055
作为输入，生成最后的结果
Figure 100002_DEST_PATH_IMAGE091
。对抗生成网络的损失函数如下：
Figure 100002_DEST_PATH_IMAGE092
（19）
Figure 100002_DEST_PATH_IMAGE093
（20）
我们从三个方面评估了系统在自动生成个性化的服装草图和服装风格迁移功能的性能。首先，我们做了一个用户调研来验证生成不同质量的草图对草图风格迁移的影响。第二，我们对草图生成和草图风格迁移执行了图灵测试来验证其功能是否达到人类的水平。该图灵测试分为两部分，一个是评估生成的草图是否具有设计师风格，另一个是评估风格迁移后生成的服装图片质量是否接近人类设计师的水平甚至更好。第三，我们使用了两个量化指标来评估实验性能，分别是弗雷切感知距离（Frechet Inception Distance）和均方误差（Mean Square Error）。
我们通过用户研究检验了网络模型两个组件的性能及其对生成草图质量的影响，分别是模型中的通道注意力机制和自适应通道特征层级和实例级结合的正则化计算网络层。我们同时也使用了量化指标弗雷切感知距离和均方误差来度量模型的性能。弗雷切感知距离用于测量合成图像的整体语义真实性，弗雷切感知距离的值越少，生成图片的质量越高。均方误差用于测量生成的图像与原始图像之间的重建误差，该值越小，生成的图像的质量就越高。我们的对比方法是一个自监督草图到图像转换网络，其他的对比方法是我们提出方法的变体。通过表1的结果显示，我们提出的网络模型比其他草图到图像转换的方法性能要好，同时，通道注意力机制和自适应通道特征层级和实例级结合正则化计算网络层对生成高质量的草图贡献较大。
表1：与其他对比方法和方法变体的量化指标比较
Figure DEST_PATH_IMAGE094
我们根据三个比较条件对不同方法生成的风格迁移后的图片用户反馈分类，如图4所示，其中，对比（1）表示有通道注意力模块（A）与无通道注意力机制的模块（B）进行对比，对比（2）表示有特征自适应正则化模块（A）与没有自适应通道特征层级和实例级结合正则化计算网络层的模块（B）进行对比，对比（3）表示有通道注意力模块（A）与只有自适应通道特征层级和实例级结合正则化计算网络层的模块（B）进行对比。为了统一参与者的评估尺度，我们将用户偏好划分为三个层级，分别是非常好，有点好和差不多。结果显示，81%的参与者更偏好有自适应通道特征层级和实例级结合正则化计算网络层的模型生成的风格迁移图像，73%的参与者更偏好有通道注意力机制的模型生成的风格迁移图像。综上所述，自适应通道特征层级和实例级结合正则化计算网络层组件和通道注意力组件对图像风格迁移有很大的影响。
我们还对人类设计师和系统辅助设计师绘制草图与草图配色设计的完成时间做了一个用户调研，以此来评估相对于设计师独立设计，系统辅助设计的效率是否有提高。我们邀请了30名设计学生（12名男性，18名女性，平均年龄23岁）参与这个设计实验。每个参与者被要求完成10套服装设计作品，该设计要求为将尺寸为300*600的服装设计草图修改为尺寸为300*150的服装设计草图，所有的参与者被要求遵循设计风格，只改变草图位置，线条。如图5和图6所示，其中X轴表示设计完成的套数，Y轴表示每套完成的时间，单位为分钟，当参与者完成1套服装设计作品时，人类设计师独立设计和系统辅助设计完成时间相差不大，随着设计作品数量的增加，人类设计师独立设计完成的时间首先显著增加，然后再逐步降低，这是由于人类设计师进行服装设计时初始设计后会有一个明显的疲劳期，使得设计速度变慢，而随着经验的增加，之后服装的设计时长会逐渐降低，而系统辅助设计的完成时间逐步减低且明显小于人类设计师独立设计完成的时间。
用户完成绘制草图任务和服装配色任务的时间平均值和均方值对比的表如表2所示：
表2 用户完成绘制草图任务和服装配色任务的时间平均值和均方值对比
Figure DEST_PATH_IMAGE095
以上仅为本发明的一个具体实施实例，并不限定本发明的范围，在本发明的构思和原则之内所做的任何修改、同等替换和改进等，都属于本发明的保护范围之内。

Claims (7)

1.一种具有设计师风格的服装图像智能生成系统，其特征在于，包括灵感图片区域单元、画板区域单元、参考图片区域单元和展示板区域单元；所述灵感图片区域单元用于设计师浏览服装图片，并对选择其中的图片生成设计师风格的草图；所述画板区域单元用于显示生成的设计师风格的草图，并供设计师对设计师风格的草图进行调整；
所述参考图片区域用于对设计师浏览不同服装风格的图片，并选则某个服装风格的图片作为参考图片，并将参考图片风格迁移至草图，形成显示风格迁移后服装图片列表；
所述展示板区域单元用于显示风格迁移后服装图片列表，并供设计师进行风格迁移后服装图片的选取。
2.如权利要求1所述的具有设计师风格的服装图像智能生成系统，其特征在于，所述草图通过草图生成网络生成，草图生成网络包括编码器模块、通道特征自适应正则化模块、带有通道注意力机制的生成器模块、第一损失函数模块和带有通道注意力机制的判别器模块；
所述编码器模块使用VGG-16预训练网络分别从输入的设计师的手绘草图和对应的服装图片抽取手绘草图的风格特征和服装图片的内容特征，然后对草图生成网络训练得到训练后的草图生成网络；训练后的草图生成网络用于根据服装图片自动生产对应的设计师风格的草图；
特征自适应正则化模块通过考虑通道特征和全局特征统计的相关性，选择生成的设计师风格的草图的风格特征权重和服装图片的内容特征权重，从而能控制生成草图的形状和细节；带有通道注意力机制的生成器模块用于生成具有清晰轮廓和完整细节的服装草图；损失函数模块通过缩小源域图像和目标域图像之间的损失函数值，使得生成的草图更加接近设计师的设计风格；判别器模块通过判别生成的图片是否真实，从而提高生成器生成的图片质量。
3.如权利要求2所述的具有设计师风格的服装图像智能生成系统，其特征在于，所述编码器模块的公式如下：
Figure DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
Figure DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE007
表示服装RGB图片提取的服装内容特征，
Figure DEST_PATH_IMAGE008
表示服装草图提取的草图特征，
Figure DEST_PATH_IMAGE009
表示生成草图提取的草图特征，
Figure DEST_PATH_IMAGE010
表示预训练了的VGG-16神经网络模块，
Figure DEST_PATH_IMAGE011
表示服装RGB图片的像素值向量，
Figure DEST_PATH_IMAGE012
表示设计师手绘草图像素值向量，
Figure DEST_PATH_IMAGE013
表示生成草图像素值向量。
4.如权利要求2所述的具有设计师风格的服装图像智能生成系统，其特征在于，所述通道特征自适应正则化模块包括自适应正则化计算网络层，自适应正则化计算网络层包括参数
Figure DEST_PATH_IMAGE014
；
Figure DEST_PATH_IMAGE015
是由全连接层生成的动态学习的放射参数；
Figure DEST_PATH_IMAGE016
分别代表逐实例的特征平均值参数和标准差参数以及逐层的特征平均值参数和标准差参数；
Figure DEST_PATH_IMAGE017
代表学习率，
Figure DEST_PATH_IMAGE018
表示由优化器确定的更新向量的参数；
Figure DEST_PATH_IMAGE019
的取值范围为[0,1],用于对参数更新步长施加界限；当
Figure 26241DEST_PATH_IMAGE019
的取值接近1，实例正则化对生成器的特征影响更大；当
Figure 615486DEST_PATH_IMAGE019
的取值接近0，层正则化对生成器的特征影响更大；具体如下：
Figure DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE021
Figure DEST_PATH_IMAGE022
Figure DEST_PATH_IMAGE023
Figure DEST_PATH_IMAGE024
Figure DEST_PATH_IMAGE025
Figure DEST_PATH_IMAGE026
Figure DEST_PATH_IMAGE027
其中，
Figure DEST_PATH_IMAGE028
表示自适应层和实例正则化方法，
Figure DEST_PATH_IMAGE029
表示实例正则化后的特征，
Figure DEST_PATH_IMAGE030
表示输入特征，既可以是内容特征，也可以是风格特征，
Figure DEST_PATH_IMAGE031
表示偏置参数，
Figure DEST_PATH_IMAGE032
表示截断函数，输出函数值的取值范围为0-1。
5.如权利要求2所述的具有设计师风格的服装图像智能生成系统，其特征在于，所述带有通道注意力机制的生成器模块通过计算得到的权重参数
Figure DEST_PATH_IMAGE033
得到一系列的带注意力权重的图像通道特征，具体如下：
Figure DEST_PATH_IMAGE034
Figure DEST_PATH_IMAGE035
Figure DEST_PATH_IMAGE036
Figure DEST_PATH_IMAGE037
其中，
Figure DEST_PATH_IMAGE038
代表来自源域彩图的编码特征的第（i，j）个激活图的特征值；
Figure DEST_PATH_IMAGE039
为sigmoid激活函数，
Figure DEST_PATH_IMAGE040
为辅助分类器，x为输入风格特征，c为特征的通道数量，k为特征图的数量，
Figure DEST_PATH_IMAGE041
为经过注意力加权后的特征图向量，
Figure DEST_PATH_IMAGE042
为第c个通道特征的注意力权重，
Figure DEST_PATH_IMAGE043
为第c个通道的原始特征图。
6.如权利要求2所述的具有设计师风格的服装图像智能生成系统，其特征在于，所述第一损失函数模块的损失函数包括草图判别器网络损失函数、草图生成器网络损失函数、 草图生成器的通道注意力损失函数和草图判别器的通道注意力损失函数；
草图判别器网络损失函数如下：
Figure 208272DEST_PATH_IMAGE044
（10）
草图生成器网络损失函数如下：
Figure DEST_PATH_IMAGE045
（11）
草图生成器的通道注意力损失函数如下：
Figure DEST_PATH_IMAGE046
（12）
草图判别器的通道注意力损失函数如下：
Figure DEST_PATH_IMAGE047
（13）
Figure DEST_PATH_IMAGE048
为Gram矩阵，
Figure DEST_PATH_IMAGE049
为草图生成器网络的损失函数，
Figure DEST_PATH_IMAGE050
为对原始RGB图片的内容特征与原始草图的风格特征做特征正则化之后的目标草图特征，
Figure DEST_PATH_IMAGE051
为草图生成器中通道注意力网络的损失函数，
Figure DEST_PATH_IMAGE052
为生成器网络中的辅助分类器，用于区分该草图为原始草图还是生成的草图，
Figure DEST_PATH_IMAGE053
为输入图片的特征，
Figure DEST_PATH_IMAGE054
为草图判别器中通道注意力网络的损失函数，
Figure DEST_PATH_IMAGE055
为判别器网络中的辅助分类器，通过关注目标域中的真实图像和伪图像之间的差异来帮助模型进行微调，
Figure DEST_PATH_IMAGE056
为草图生成器网络，
Figure DEST_PATH_IMAGE057
为判别器网络损失函数，E为求期望值，
Figure DEST_PATH_IMAGE058
为判别器网络函数，
Figure DEST_PATH_IMAGE059
为生成的草图特征向量；
训练草图生成网络使得草图判别器网络损失函数、草图生成器网络损失函数、 草图生成器的通道注意力损失函数和草图判别器的通道注意力损失函数均最小。
7.如权利要求1所述的具有设计师风格的服装图像智能生成系统，其特征在于，所述风格迁移通过风格迁移网络进行，所述风格迁移网络包括两个编码模块，一个解码模块和一个损失函数模块；其中，一个编码模块用于抽取草图的内容特征
Figure DEST_PATH_IMAGE060
，另一个编码模块用于抽取参考图片的风格特征
Figure DEST_PATH_IMAGE061
；风格迁移网络进行输入时，通过四种图像转换方法增强输入的RGB图像，通过随机擦除线条和加粗线条的方式来增强输入的草图图像，四种图像转换方式包括裁剪，水平翻转、旋转和缩放；风格迁移网络在训练阶段，图像转换方法是随机配置和组合的，然后得到转换后的RGB图像特征
Figure DEST_PATH_IMAGE062
和草图特征
Figure DEST_PATH_IMAGE063
；在解码后生成的图像特征
Figure DEST_PATH_IMAGE064
和原始的图像特征
Figure DEST_PATH_IMAGE065
之间使用重构损失；使用三元组损失来保证生成的图片只提取参考的RGB图片的风格特征，而不提取参考图片的内容特征，其中内容相同的图片的风格特征的余弦相似度值越高，内容不同图片的风格特征的余弦相似度值越低；
Figure DEST_PATH_IMAGE066
代表一个范围区间，
Figure DEST_PATH_IMAGE067
和
Figure DEST_PATH_IMAGE068
是相同图片的特征，
Figure DEST_PATH_IMAGE069
是随机的其他图像的特征；损失函数模块的损失函数引导编码模块根据图像每个区域的语义信息来映射风格特征：
Figure DEST_PATH_IMAGE070
（14）
其中，
Figure DEST_PATH_IMAGE071
为风格提取模块的三元组损失函数，
Figure 738568DEST_PATH_IMAGE067
表示经过变换后RGB图片通过风格编码模块提取的风格特征，
Figure 490623DEST_PATH_IMAGE068
表示未经变换的同一张RGB图片通过风格编码模块提取的风格特征，
Figure 500036DEST_PATH_IMAGE069
表示来自随机不同图片的风格特征向量；
使用互信息损失函数来确保风格编码模块尽可能的获得独特的风格信息，并使内容编码器解耦合风格和内容特征之间的关系；使用风格分类器损失函数，
Figure DEST_PATH_IMAGE072
使用一个线性层来执行计算，并产生风格类别预测向量和风格类别标签；同时通过最小化互信息，进一步解耦风格特征与内容特征之间的关联；H代表交叉熵，假设风格信息不能通过内容信息来预测，使用内容三元组损失函数来增强输入草图的内容特征；在内容三元组损失中，
Figure DEST_PATH_IMAGE073
代表间距，
Figure DEST_PATH_IMAGE074
和
Figure DEST_PATH_IMAGE075
代表对应相同RGB图像的草图内容特征，
Figure DEST_PATH_IMAGE076
代表随机的其他图像；第二损失函数模块的完整损失函数如下：
Figure DEST_PATH_IMAGE077
（15）
Figure DEST_PATH_IMAGE078
（16）
Figure DEST_PATH_IMAGE079
（17）
Figure DEST_PATH_IMAGE080
（18）
Figure DEST_PATH_IMAGE081
为用于提取风格类别的交叉熵损失函数，exp为指数函数，
Figure DEST_PATH_IMAGE082
为风格分类器，
Figure DEST_PATH_IMAGE083
为风格标签，取值范围为0-200，
Figure DEST_PATH_IMAGE084
为RGB图片提取的风格特征，j为风格类别数量总和；MI为互信息函数，用于解耦合风格特征和内容特征之间的关系，
Figure DEST_PATH_IMAGE085
为图片的内容特征，H为熵值，
Figure DEST_PATH_IMAGE086
为基于内容特征得到图片风格特征的熵值；
Figure DEST_PATH_IMAGE087
为内容提取模块损失函数，d为均方距离，
Figure DEST_PATH_IMAGE088
为自动编码器模块整体的损失函数，
Figure DEST_PATH_IMAGE089
为生成RGB图片的判别器模块，
Figure DEST_PATH_IMAGE090
为草图风格编码器，
Figure DEST_PATH_IMAGE091
为RGB图片的内容编码器，
Figure DEST_PATH_IMAGE092
为输入RGB图片的特征，
Figure DEST_PATH_IMAGE093
为输入草图的特征。
CN202211571187.1A 2022-12-08 2022-12-08 具有设计师风格的服装图像智能生成系统 Active CN115618452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211571187.1A CN115618452B (zh) 2022-12-08 2022-12-08 具有设计师风格的服装图像智能生成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211571187.1A CN115618452B (zh) 2022-12-08 2022-12-08 具有设计师风格的服装图像智能生成系统

Publications (2)

Publication Number Publication Date
CN115618452A true CN115618452A (zh) 2023-01-17
CN115618452B CN115618452B (zh) 2023-03-10

Family

ID=84879717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211571187.1A Active CN115618452B (zh) 2022-12-08 2022-12-08 具有设计师风格的服装图像智能生成系统

Country Status (1)

Country Link
CN (1) CN115618452B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402590A (zh) * 2023-06-06 2023-07-07 武汉纺织大学 一种基于人工智能的个性化服装商城系统及推荐方法
CN117993480A (zh) * 2024-04-02 2024-05-07 湖南大学 面向设计师风格融合和隐私保护的aigc联邦学习方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464210A (zh) * 2017-07-06 2017-12-12 浙江工业大学 一种基于生成式对抗网络的图像风格迁移方法
CN110135032A (zh) * 2019-04-30 2019-08-16 厦门大学 一种基于对抗生成网络的辅助服装生成方法和装置
US20190370936A1 (en) * 2018-06-04 2019-12-05 Adobe Inc. High Resolution Style Transfer
CN111539116A (zh) * 2020-04-28 2020-08-14 嘉兴市福慧自在科技有限公司 一种基于人工智能的服装设计辅助系统及设计方法
KR20200122091A (ko) * 2019-04-17 2020-10-27 김다인 유명 의상 디자이너 스타일 코디 제안 시스템 및 그 운용방법
CN111862274A (zh) * 2020-07-21 2020-10-30 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像风格迁移方法及装置
CN112017301A (zh) * 2020-07-24 2020-12-01 武汉纺织大学 用于服装图像特定相关区域的风格迁移模型及方法
CN113065495A (zh) * 2021-04-13 2021-07-02 深圳技术大学 图像相似度的计算方法、目标对象重识别方法及系统
WO2022022001A1 (zh) * 2020-07-27 2022-02-03 百果园技术(新加坡)有限公司 对风格迁移网络进行压缩的方法及风格迁移的方法、装置和系统
CN114117897A (zh) * 2021-11-10 2022-03-01 阿里巴巴达摩院(杭州)科技有限公司 生成设计图的方法、设备和介质
CN114445268A (zh) * 2022-01-29 2022-05-06 大连工业大学 一种基于深度学习的服装风格迁移方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464210A (zh) * 2017-07-06 2017-12-12 浙江工业大学 一种基于生成式对抗网络的图像风格迁移方法
US20190370936A1 (en) * 2018-06-04 2019-12-05 Adobe Inc. High Resolution Style Transfer
KR20200122091A (ko) * 2019-04-17 2020-10-27 김다인 유명 의상 디자이너 스타일 코디 제안 시스템 및 그 운용방법
CN110135032A (zh) * 2019-04-30 2019-08-16 厦门大学 一种基于对抗生成网络的辅助服装生成方法和装置
CN111539116A (zh) * 2020-04-28 2020-08-14 嘉兴市福慧自在科技有限公司 一种基于人工智能的服装设计辅助系统及设计方法
CN111862274A (zh) * 2020-07-21 2020-10-30 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像风格迁移方法及装置
CN112017301A (zh) * 2020-07-24 2020-12-01 武汉纺织大学 用于服装图像特定相关区域的风格迁移模型及方法
WO2022022001A1 (zh) * 2020-07-27 2022-02-03 百果园技术(新加坡)有限公司 对风格迁移网络进行压缩的方法及风格迁移的方法、装置和系统
CN113065495A (zh) * 2021-04-13 2021-07-02 深圳技术大学 图像相似度的计算方法、目标对象重识别方法及系统
CN114117897A (zh) * 2021-11-10 2022-03-01 阿里巴巴达摩院(杭州)科技有限公司 生成设计图的方法、设备和介质
CN114445268A (zh) * 2022-01-29 2022-05-06 大连工业大学 一种基于深度学习的服装风格迁移方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HUANG, XUN, AND SERGE BELONGIE: "Arbitrary style transfer in real-time with adaptive instance normalization" *
LIU Y, CHEN W, LIU L, ET AL.: "Swapgan: A multistage generative approach for person-to-person fashion style transfer" *
王文靖: "基于深度学习的服装外观智能设计研究" *
陈佳等: "基于注意力机制的CycleGAN 服装局部风格迁移研究" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402590A (zh) * 2023-06-06 2023-07-07 武汉纺织大学 一种基于人工智能的个性化服装商城系统及推荐方法
CN116402590B (zh) * 2023-06-06 2023-09-15 武汉纺织大学 一种基于人工智能的个性化服装商城系统及推荐方法
CN117993480A (zh) * 2024-04-02 2024-05-07 湖南大学 面向设计师风格融合和隐私保护的aigc联邦学习方法

Also Published As

Publication number Publication date
CN115618452B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN115618452B (zh) 具有设计师风格的服装图像智能生成系统
Li et al. Manigan: Text-guided image manipulation
Tan et al. Michigan: multi-input-conditioned hair image generation for portrait editing
CN110211196B (zh) 一种基于姿势引导的虚拟试穿方法及装置
CN111915693A (zh) 基于草图的人脸图像生成方法及系统
CN108921123A (zh) 一种基于双重数据增强的人脸识别方法
Liu et al. Psgan++: Robust detail-preserving makeup transfer and removal
Liu et al. Verbal-person nets: Pose-guided multi-granularity language-to-person generation
Chen et al. Scripted video generation with a bottom-up generative adversarial network
CN101409070A (zh) 基于运动图像解析的音乐重构方法
Zhang et al. A comprehensive survey on computational aesthetic evaluation of visual art images: Metrics and challenges
CN113393550A (zh) 一种姿态和纹理引导的时尚服装设计合成方法
Yi et al. Quality metric guided portrait line drawing generation from unpaired training data
Dai et al. New product design with automatic scheme generation
Gao et al. Wallpaper texture generation and style transfer based on multi-label semantics
Huang et al. Multi-density sketch-to-image translation network
Galatolo et al. TeTIm-Eval: a novel curated evaluation data set for comparing text-to-image models
Huang et al. Generative adversarial networks with adaptive semantic normalization for text-to-image synthesis
Trémeau et al. Deep learning for material recognition: most recent advances and open challenges
CN111489405A (zh) 基于条件增强生成对抗网络的人脸草图合成系统
Chen et al. Learning to Evaluate the Artness of AI-generated Images
Li et al. A deep learning based interactive sketching system for fashion images design
Yang et al. Semantics-preserving sketch embedding for face generation
Wu et al. Preserving structural consistency in arbitrary artist and artwork style transfer
Xing et al. Stylized Image Generation based on Music-image Synesthesia Emotional Style Transfer using CNN Network.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant