CN115130390A - 一种面向人体图像的服装色彩生成系统及方法 - Google Patents

一种面向人体图像的服装色彩生成系统及方法 Download PDF

Info

Publication number
CN115130390A
CN115130390A CN202210865198.4A CN202210865198A CN115130390A CN 115130390 A CN115130390 A CN 115130390A CN 202210865198 A CN202210865198 A CN 202210865198A CN 115130390 A CN115130390 A CN 115130390A
Authority
CN
China
Prior art keywords
color
human body
image
body image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210865198.4A
Other languages
English (en)
Inventor
张海军
李静侃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202210865198.4A priority Critical patent/CN115130390A/zh
Publication of CN115130390A publication Critical patent/CN115130390A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种面向人体图像的服装色彩生成系统及方法，属于服装的辅助设计领域。针对服装自动化上色问题，先构建人体图像数据集，包括原始人体图像、局部灰度化人体图像以及对应的人体解析图像；再设计局部可控的服装色彩生成系统，包括一个色彩特征提取模块以及一个色彩生成对抗网络。色彩特征提取模块从参考素材中提取出配色方案并生成色彩特征图，实现色彩渲染的局部可控性。色彩生成对抗网络包括一个“双编码器‑单解码器”结构的生成器以及一个判别器，生成器融合人体特征与色彩特征，对人体图像中的服装区域进行自动化上色。色彩生成系统采用生成器与判别器对抗的方式去训练，并搭配多种辅助损失函数，实现了高质量的人体图像生成。

Description

一种面向人体图像的服装色彩生成系统及方法
技术领域
本发明属于生成对抗模型领域，涉及服装的辅助设计领域，特别涉及一种面向人体图像的服装色彩生成方法，所述方法使用人体图像、人体解析图和参考素材作为最原始的输入。
背景技术
如今，随着人们物质水平的提高，服装的功能已不仅仅是保暖蔽体，更需要在设计上满足穿衣者表达个性的需求。服装设计的一大重要任务是配色选取，色彩是服装给人的第一印象，也决定了服装的整体风格和适用场合。在生活场景中，色彩搭配也是普通人群追求穿衣时尚的主要考虑元素。服装配色理念中，色彩呼应可以提高穿搭和谐度，色彩对比可以突出视觉焦点，色块面积能够展示服装层次。服装的整体色调可以凸现穿衣者的气质和氛围，例如棕色系的温柔、橙色系的活泼或黑色系的坚毅。配色方案与穿衣季节、场景也息息相关，例如夏季适合冷色来展现清凉感，会议仪式中偏好深色来展示庄严感。掌握服装中的主色、辅助色和点缀色的运用也是配色设计的一大要点。在传统的设计流程中，设计师操作Photoshop或AutoCAD等设计辅助软件，将配色素材人工填绘在样衣草图中。然而，这一设计过程会带来的一定人力成本、试错成本和时间成本。在设计服务端，设计师的创作效率、沟通效率和培养成本也被如Photoshop等专业研发工具的操作难度所限制。在消费端，市场的喜好和潮流更新迭代十分快速，容易造成供需方的信息不对称，最后导致整个行业链的库存积压。因此，服装设计的数字化研发有着广阔的发展前景。随着人工智能技术的迅速发展，运用计算机视觉领域的相关知识可以简化服装设计流程中的一些步骤。
生成对抗网络具有强大的图像生成能力，已经有大量的工作将其应用于图像转换任务当中去，包括图像的上色任务。目前基于AI技术的自动图像上色任务可以分为两种，包括无引导信息的上色任务以及有引导信息的上色任务，而服装色彩设计任务可以视作一种有引导信息的上色任务。在传统设计流程中，设计师的配色灵感往往来自于经验和历史素材，灵感产生后，再通过专业软件将配色方案填充至服装中。然而，当前的上色网络需要人为主动在图像上添加引导信息，也缺乏从参考素材到配色方案的转换过程，因此难以实现服装色彩设计的完全自动化。为了使整个服装上色任务自动化，可以通过相关图像处理技术从参考素材中提取出配色方案，参考素材可以是任意选取的图像，例如自然景观或者艺术图像等，随后应用生成对抗网络技术，将配色方案自动渲染到服装图像上。为了获得更好的服装展示效果，可选用人体模特图像作为渲染对象。
设计师从灵感产生到创作出数字样衣，只需要短短一步，省略了取色、上色等中间过程，避开使用传统设计辅助软件，极大地缩短了研发时间，也避免了人工失误。此外，本发明提出的方法降低了设计门槛，对于简单的配色设计任务做到完全智能化，并且可以在不同版型衣物间相互迁移，降低了生产端的设计成本和时间成本，能够将资源留存给纹理、印花等更高端的设计任务。
发明内容
本发明提出了一种面向人体图像的服装色彩生成系统及方法，该方法在不破坏服装区域原有的纹理特征基础上，仅改变其色彩特征，实现了人体图像的局部可控的色彩渲染。该方法依托于生成对抗网络技术，构建了一个以人体图像、人体解析图和参考素材为输入的色彩生成系统。参考素材作为色彩特征来源，人体解析图则可用于指定渲染的区域，系统的输出为一张服装区域经过参考素材渲染后的人体图像。基于该系统，不仅可以生成服装色彩多样化的人体图像，而且可以人为指定色彩生成的具体区域，例如上衣、裤子、鞋子等。
所述服装色彩生成系统包括一个色彩特征提取模块以及一个色彩生成对抗网络。色彩特征提取模块根据参考素材中的色彩分布以及人体解析图中的服装位置，将参考素材转换为一张局部色彩特征图；色彩生成对抗网络包括一个生成器和一个判别器，生成器通过所采用的“双编码器-单解码器”的结构，融合色彩特征与人体特征，实现对人体图像中服装区域的色彩渲染；判别器对人体图像的真实性进行预测，在网络训练过程中，促使生成器提高人体图像的生成质量。
进一步的，所述色彩特征提取模块包括三个部分，分别是色彩聚类模块、色彩特征编码器以及色彩特征广播模块。色彩聚类模块通过Kmeans算法对参考素材的像素点进行聚类并提取出主色系，排除无用的色彩信息；色彩特征编码器将主色系转换为一维的色彩特征向量；色彩特征广播模块将色彩特征向量广播至目标区域，从而建立色彩特征与目标服装区域之间的空间对应关系，减轻目标人体图像生成过程中色彩特征对其他区域的干扰，获得一张与人体图像长宽相同、通道数不同的局部色彩特征图。
进一步的，所述生成器包括双编码器模块、残差网络模块和人体特征解码器三个部分。其中，所述双编码器模块包含一个人体特征编码器和一个色彩特征编码器，两个编码器的结构相同，均由四组下采样的卷积层构成。随着层数的增加，卷积层输出的特征图通道数也成倍增长。双编码器的每一层输出都通过SPADE模块做双向特征交融，所述SPADE模块通过空间自适应归一化层保留图像特征融合过程中的语义信息。所述残差网络模块由八个残差块构成，每个残差块内部包含两组卷积层、实例归一化层和RELU激活层，所述残差块输入与输出之间使用跳跃连接的结构；目的在于增强网络网络的性能，缓解梯度消失的问题。所述人体特征解码器由四组上采样的反卷积层构成，随着层数的增加，反卷积层输出特征图的通道数成倍减少，解码服装区域经过色彩渲染后的人体图像。
进一步的，所述判别器由五组降采样的卷积层构成，输出一个尺寸为l×c的二维矩阵，该矩阵中的每个值都对应着生成图像中某个具体的感受野，并对其所对应的感受野进行真实性的预测。作为优选，l取16，c取12。
进一步的，所述色彩生成对抗网络采用端到端的方式进行训练，通过生成器与判别器之间的博弈，不断降低生成对抗损失，从而生成逼真的局部色彩渲染后的人体图像；训练过程中除了生成对抗损失之外，还包括重构损失和感知损失，用于辅助生成对抗训练；其中，所述重构损失用于惩罚生成人体图像与原始人体图像的像素点距离，所述感知损失惩罚生成人体图像与原始人体图像的语义信息差距。
另外，本发明提供了一种面向人体图像的服装色彩生成方法，包括以下步骤：
A、构建人体图像数据集：构建包含原始人体信息、局部灰度化人体信息和人体解析信息的人体图像数据集。
B、设计色彩特征提取模块：所述色彩特征提取模块根据参考素材中的色彩分布以及人体解析图中的服装位置，将参考素材转换为一张局部色彩特征图。
C、设计色彩生成对抗网络：所述色彩生成对抗网络包括一个生成器和一个判别器，所述生成器通过所采用的“双编码器-单解码器”的结构，融合色彩特征与人体特征，实现对人体图像中服装区域的色彩渲染；所述判别器对人体图像的真实性进行预测，在网络训练过程中，促使生成器提高人体图像的生成质量。
D、色彩生成对抗网络训练：所述色彩生成对抗网络采用端到端的方式进行训练，通过生成器与判别器之间的博弈，不断降低对抗损失函数，从而生成逼真的局部色彩渲染后的人体图像。此外，为提高生成图像的质量，加入重构损失以及感知损失辅助整体的生成对抗训练。
具体的，所述步骤A包括：
A1、使用爬虫技术，从时尚服装网站中爬取高分辨率模特图像，并将模特图像的分辨率调整为M×N；使用人体解析模型，构建每张人体图像对应的人体的解析图。作为优选，M取256，M取192。
A2、利用人体解析图，选取人体图像中某一服装单品区域进行灰度化；对灰度化后的区域进行灰度压缩，从256个灰度级别压缩至d个灰度级别，保留原始图像基本的纹理信息和图案信息，并强化原始图像与局部灰度图像的差异性。作为优选，d取20。
具体的，色彩特征提取模块包括一个色彩聚类模块、一个色彩特征编码器以及一个色彩特征广播模块。所述步骤B包括：
B1、色彩聚类模块基于人体解析图及原始人体图像，提取出目标服装单品区域的像素点，并使用Kmeans算法对像素点进行聚类；对聚类中心进行排序，将关联像素点数量最多的r个聚类中心作为服装单品区域的主色系，并构建主色系图像。
B2、色彩特征编码器由一个降采样的全卷积网络构成，该全卷积网络将主色系图像编码为一维色彩特征向量。色彩编码模块最后一个卷积层的卷积核数量为256，因此色彩特征向量的长度为256。
B3、色彩特征广播模块基于人体解析图将色彩特征向量广播至目标服装单品区域的像素点位置，其余位置均赋值0，从而建立色彩特征与目标服装区域之间的空间对应关系，减轻目标人体图像生成过程中色彩特征对其他区域的干扰，获得一张与人体图像长宽相同、通道数不同的局部色彩特征图；在模型测试阶段，所述色彩特征广播模块实现人体图像色彩生成的局部可控性。
具体的，生成器包括双编码器模块、残差网络模块和人体特征解码器三个部分，所述步骤C包括：
C1、所述双编码器包含两个相同的编码器结构，一个人体特征编码器和一个色彩特征编码器；两个编码器均由四组下采样的卷积层构成，双编码器的每一层输出都会通过SPADE模块做双向特征交融，所述SPADE模块通过空间自适应归一化层保留图像特征融合过程中的语义信息。
C2、所述残差网络模块由八个残差块构成，每个残差块内部包含两组卷积层、实例归一化层和RELU激活层，所述残差块输入与输出之间使用了跳跃连接的结构。
C3、所述人体特征解码器由四组上采样的反卷积层构成，随着层数的增加，反卷积层输出特征图的通道数也成倍减少，解码服装区域经过色彩渲染后的人体图像，所述人体图像与原始人体图像尺寸相同、通道数相同。
C4、所述判别器接收局部色彩渲染后的人体图像，并对该图像进行真实性的预测；所述判别器由五组降采样的卷积层构成，输出一个尺寸为l×c的二维矩阵，该矩阵中的每个值都对应着生成图像中某个具体的感受野，并对其所对应的感受野进行真实性的预测。
具体的，所述步骤D包括：
D1、训练判别器；这一过程中，固定生成器权重；所述判别器对原始人体图像和生成人体图像的真实性进行判断，并尽可能的将原始图像判断为真，生成图像判断为假；在判别器训练过程中，计算生成对抗损失，并使用Adam优化器更新判别器的权重；
D2、训练生成器；这一过程中，固定判别器权重，计算生成对抗损失、重构损失和感知损失；其中，所述生成对抗损失用于引导生成器生成更为真实的人体图像，使得判别器尽可能将生成图像判断为真；所述重构损失表示生成人体图像与原始人体图像的像素点距离，感知损失表示两者由VGG19计算出来的特征图之间的距离；所述重构损失和所述感知损失用于辅助生成对抗训练；在所述判别器训练过程中，使用Adam优化器更新生成器的权重。
本发明的有益效果是：本发明设计了一种色彩生成系统，并基于系统，提出了一种面向人体图像的服装色彩生成方法。给定人体图像和参考素材图像，该色彩生成系统能够生成一张局部色彩渲染后的人体图像，渲染的服装区域可以人为指定。通过更换参考素材图像，可以任意定制服装的配色方案，实现个性化的服装色彩设计。特别的，为了实现渲染区域的局部可控性，引入色彩特征提取模块作为参考素材的预处理模块。为了融合色彩特征和人体特征，使用“双编码器-单解码器”的生成对抗网络结构，该结构可以有效的保留原始人体图像的纹理信息与图案信息，仅对人体图像进行局部色彩特征的渲染。通过生成器和判别器博弈的方式进行训练，并引入多种辅助损失函数，提高人体图像的生成质量。
附图说明
图1是本发明的面向人体图像的服装色彩生成系统的框架图。
图2是本发明的面向人体图像的服装色彩生成方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
附图1是本发明的面向人体图像的服装色彩生成系统的框架图，附图2显示了本发明提供的面向人体图像的服装色彩生成方法的流程图，其详述如下。
步骤S1：构建人体图像数据集。本发明使用的人体图像数据集来自于www.zalando.com网站，该网站是一个大型网络电子商城，主要经营的产品包括衣服和鞋子。从该网站上爬取6万余张高清模特图像，经过清洗，构建了一套包含19323张模特图像的数据集，模特图像的上身着装均为单品，类别包括衬衫、T恤和毛衣，其中男性模特图像和女性模特图像的比例约为2:1。为了降低训练过程中的显存占用，将模特图像的分辨率均调整为256×192。
使用MMAN网络对人体图像数据集进行解析，得到每张人体图像对应的人体解析图。每张人体解析图中包含18个标签，包括上衣、裤子、裙子等部分，其中每个标签分别用不同的RGB像素值来表示。基于人体解析图，对人体图像的上衣区域进行灰度化处理，接着再对灰度区域进行灰度压缩，从256个灰度级别压缩至20个灰度级别。该步骤最终构建出一组由原始人体图像X＝{x1,x2,…,xn}、局部灰度化人体图像
Figure BDA0003756795690000061
Figure BDA0003756795690000062
以及人体解析图像
Figure BDA0003756795690000063
组成的训练数据集，其中，n表示数据集中人体图像的数量。
步骤S2：设计色彩特征提取模块。色彩特征提取模块的作用是生成与局部灰度化人体图像相对应的局部色彩特征图，该模块包含三个子部分，一个色彩聚类模块、一个色彩特征编码器以及一个色彩特征广播模块。如图2中所示，色彩特征提取模块可以将任意的参考素材转化为局部色彩特征图，表示为C:
Figure BDA0003756795690000064
其中Y＝{y1,y2,…,yn}表示为一组参考素材，
Figure BDA0003756795690000071
表示为一组局部色彩特征图。
首先，C中的色彩聚类模块对y中的像素点进行Kmeans聚类，对聚类中心进行排序得到y中的主色系，并根据比例构建主色系图像。然后，C中的色彩编码器将主色系图像转化为长度为256的一维特征向量。最后，C中的色彩特征广播模块找到xp中的目标区域，将色彩特征向量广播至该区域，并将其他区域的值均置为0，得到一张尺寸与xp相同，通道数为256的局部色彩特征图。
步骤S3：设计色彩生成对抗网络。本发明提出了一种色彩生成对抗网络，包括生成器G和判别器D两个部分，其网络结构如图2中所示。所述生成器G整体的设计原理参考了自编码器的结构，首先将人体特征与色彩特征嵌入到低维特征空间，然后再从低维特征中还原出高维的图像特征。具体的，所述生成器G是一种“双编码器-单解码器”的结构，总共分为三个部分：一个双编码器模块E、一个残差网络模块R以及一个人体特征解码器Fp，其中双编码器模块E还可以分为一个人体特征编码器Ep、一个色彩特征编码器Ec以及SPADE模块。双编码器模块接收局部色彩特征图yc和局部灰度化人体图像xgray，Ec和Ep分别对两者进行特征编码。Ec和Ep中每一个卷积层输出的特征图都会通过SPADE模块进行特征融合，使得人体的浅层语义特征和深层细节特征均能与色彩特征高度融合。双编码器的最后一层输出与色彩融合后的人体特征wp，整个过程可表示为wp＝E(yc，xgray)。接着残差网络模块接收人体特征wp并对其进行进一步的特征提取。Fp将会做最后的特征解码工作，最终得到一张服装区域经过色彩渲染后的人体图像
Figure BDA0003756795690000072
整个解码过程可以表示为
Figure BDA0003756795690000073
一组由原始人体图像X＝{x1，x2，...，xn}，最终生成一组色彩渲染后的人体图像
Figure BDA0003756795690000074
Figure BDA0003756795690000075
判别器D用于判断生成图像
Figure BDA0003756795690000076
的真实性。D会对
Figure BDA0003756795690000077
进行全卷积操作，经过5个卷积层之后，输出一个尺寸为16×12的二维矩阵，矩阵中的每个值即代表对应的感受野的真实性概率，范围为0-1之间。
步骤S4：色彩生成对抗网络训练。本发明所提出的色彩生成对抗网络通过生成器与判别器的博弈与对抗的方式进行训练，其目标函数以对抗损失函数为主，并增加重构损失以及感知损失辅助训练。
对抗损失函数的目的在于提高生成器G的图像生成质量以及提高判别器D判别数据真假的能力，在训练过程中，两者不断学习进步，促使生成器G生成以假乱真的人体图像。对抗损失函数可表示为：
Figure BDA0003756795690000081
其中，D(x)表示判别器D对原始人体图像x的真实性预测值，
Figure BDA0003756795690000082
表示判别器D对生成人体图像
Figure BDA00037567956900000812
真实性预测值，x～pdata(X)表示x从X的分布中采样，
Figure BDA0003756795690000083
表示
Figure BDA0003756795690000084
从
Figure BDA0003756795690000085
的分布中采样，
Figure BDA0003756795690000086
表示求期望。
重构损失计算的是生成图像和目标图像之间的像素距离，可以惩罚生成图像与目标图像之间的色彩差异，具体形式如下：
Figure BDA0003756795690000087
其中，
Figure BDA0003756795690000088
表示原始人体图像x与生成人体图像
Figure BDA0003756795690000089
之间的L1范数距离。
感知损失计算的是生成图像和目标图像之间的感知特征距离，感知特征通过预训练好的VGG19网络来提取。感知损失能够惩罚生成图像和目标图像语义信息差距，其具体计算方式如下：
Figure BDA00037567956900000810
其中，φj(x)表示x输入VGG19后第j层网络输出的特征图。
最终整体的目标损失函数可以表示为：
Figure BDA00037567956900000811
其中，λ1和λ2分别表示重构损失和感知损失在整体损失中的比例。
在训练过程中，生成器G和判别器D均使用Adam优化器更新网络权重，学习率均设置为5×10-5。每一轮训练过程中，同一批数据会输入网络两次。第一次训练判别器D，更新判别器D的权重，第二次训练生成器G，更新生成器G的权重。在不断的迭代过程中，最终达到目标损失函数的最小化。
本发明的主要贡献有以下两点：(1)本发明构建了一个人体图像数据集，通过爬虫技术从时尚服装网站上爬取模特图像，并使用人体解析模型构造了模特图像对应的人体解析图以及局部灰度化人体图像。(2)本发明提出了一种用于设计师辅助设计的面向人体图像的服装色彩生成方法。使用色彩特征提取模块可以从参考素材中提取出配色方案并生成色彩特征图，避免了人工取色的繁琐步骤。使用双输入的色彩生成对抗网络可以将人体图像与色彩特征图进行特征融合，并可以控制色彩渲染至人体图像的任意服装单品上，实现了配色的自动填充。整个色彩生成系统采用生成对抗的策略去训练，并搭配多种辅助损失函数，实现了高质量的人体图像生成。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向人体图像的服装色彩生成系统，其特征在于，包括一个色彩特征提取模块以及一个色彩生成对抗网络，所述色彩特征提取模块根据参考素材中的色彩分布以及人体解析图中的服装位置，将参考素材转换为一张局部色彩特征图；所述色彩生成对抗网络包括一个生成器和一个判别器，所述生成器通过所采用的“双编码器-单解码器”的结构，融合色彩特征与人体特征，实现对人体图像中服装区域的色彩渲染；所述判别器对人体图像的真实性进行预测，在网络训练过程中，促使生成器提高人体图像的生成质量。
2.如权利要求1所述服装色彩生成系统，其特征在于，所述色彩特征提取模块包括一个色彩聚类模块、一个色彩特征编码器以及一个色彩特征广播模块；所述色彩聚类模块通过Kmeans算法提取出参考素材的主色系分布，排除无用的色彩信息；色彩特征编码器将主色系转换为一维的色彩特征向量；色彩特征广播模块将色彩特征向量广播至目标区域，从而建立色彩特征与目标服装区域之间的空间对应关系，减轻目标人体图像生成过程中色彩特征对其他区域的干扰，获得一张与人体图像长宽相同、通道数不同的局部色彩特征图。
3.如权利要求1所述的服装色彩生成系统，其特征在于，所述生成器包括双编码器模块、残差网络模块和人体特征解码器三个部分，其中，所述双编码器模块包含一个人体特征编码器和一个色彩特征编码器，两个编码器的结构相同，均由四组下采样的卷积层构成，双编码器的每一层输出都通过SPADE模块做双向特征交融，所述SPADE模块通过空间自适应归一化层保留图像特征融合过程中的语义信息；所述残差网络模块由八个残差块构成，每个残差块内部包含两组卷积层、实例归一化层和RELU激活层，所述残差块输入与输出之间使用跳跃连接的结构；所述人体特征解码器由四组上采样的反卷积层构成，随着层数的增加，反卷积层输出特征图的通道数成倍减少，解码服装区域经过色彩渲染后的人体图像。
4.如权利要求1所述的服装色彩生成系统，其特征在于，所述判别器由五组降采样的卷积层构成，输出一个尺寸为l×c的二维矩阵，该矩阵中的每个值都对应着生成图像中某个具体的感受野，并对其所对应的感受野进行真实性的预测。
5.如权利要求1所述的服装色彩生成系统，其特征在于，所述色彩生成对抗网络采用端到端的方式进行训练，通过生成器与判别器之间的博弈，不断降低生成对抗损失，从而生成逼真的局部色彩渲染后的人体图像；训练过程中除了生成对抗损失之外，还包括重构损失和感知损失，用于辅助生成对抗训练；其中，所述重构损失用于惩罚生成人体图像与原始人体图像的像素点距离，所述感知损失惩罚生成人体图像与原始人体图像的语义信息差距。
6.一种面向人体图像的服装色彩生成方法，包括以下步骤：
A、构建人体图像数据集：构建包含原始人体信息、局部灰度化人体信息和人体解析信息的人体图像数据集；
B、设计色彩特征提取模块：所述色彩特征提取模块根据参考素材中的色彩分布以及人体解析图中的服装位置，将参考素材转换为一张局部色彩特征图；
C、设计色彩生成对抗网络：所述色彩生成对抗网络包括一个生成器和一个判别器，所述生成器通过所采用的“双编码器-单解码器”的结构，融合色彩特征与人体特征，实现对人体图像中服装区域的色彩渲染；所述判别器对人体图像的真实性进行预测，在网络训练过程中，促使生成器提高人体图像的生成质量；
D、色彩生成对抗网络训练：所述色彩生成对抗网络采用端到端的方式进行训练，通过生成器与判别器之间的博弈，不断降低对抗损失函数，从而生成逼真的局部色彩渲染后的人体图像；此外，为提高生成图像的质量，加入重构损失以及感知损失辅助整体的生成对抗训练。
7.如权利要求6所述的服装色彩生成方法，其特征在于，所述步骤A包括：
A1、使用爬虫技术，从时尚服装网站中爬取高分辨率模特图像，并将模特图像的分辨率调整为M×N；使用人体解析模型，构建每张人体图像对应的人体的解析图；
A2、利用人体解析图，选取人体图像中某一服装单品区域进行灰度化；对灰度化后的区域进行灰度压缩，从256个灰度级别压缩至d个灰度级别，保留原始图像基本的纹理信息和图案信息，并强化原始图像与局部灰度图像的差异性。
8.如权利要求6所述的服装色彩生成方法，其特征在于，所述色彩特征提取模块包括一个色彩聚类模块、一个色彩特征编码器以及一个色彩特征广播模块；所述步骤B包括：
B1、所述色彩聚类模块基于人体解析图及原始人体图像，提取出目标服装单品区域的像素点，并使用Kmeans算法对像素点进行聚类；对聚类中心进行排序，将关联像素点数量最多的r个聚类中心作为服装单品区域的主色系，并构建主色系图像；
B2、所述色彩特征编码器由一个降采样的全卷积网络构成，该全卷积网络将主色系图像编码为一维色彩特征向量；
B3、所述色彩特征广播模块基于人体解析图将色彩特征向量广播至目标服装单品区域的像素点位置，其余位置均赋值0，从而建立色彩特征与目标服装区域之间的空间对应关系，减轻目标人体图像生成过程中色彩特征对其他区域的干扰，获得一张与人体图像长宽相同、通道数不同的局部色彩特征图；在模型测试阶段，所述色彩特征广播模块实现人体图像色彩生成的局部可控性。
9.如权利要求6所述的服装色彩生成方法，其特征在于，所述生成器包括双编码器模块、残差网络模块和人体特征解码器三个部分，所述步骤C包括：
C1、所述双编码器包含两个相同的编码器结构，一个人体特征编码器和一个色彩特征编码器；两个编码器均由四组下采样的卷积层构成，双编码器的每一层输出都会通过SPADE模块做双向特征交融，所述SPADE模块通过空间自适应归一化层保留图像特征融合过程中的语义信息；
C2、所述残差网络模块由八个残差块构成，每个残差块内部包含两组卷积层、实例归一化层和RELU激活层，所述残差块输入与输出之间使用了跳跃连接的结构；
C3、所述人体特征解码器由四组上采样的反卷积层构成，随着层数的增加，反卷积层输出特征图的通道数也成倍减少，解码服装区域经过色彩渲染后的人体图像，所述人体图像与原始人体图像尺寸相同、通道数相同；
C4、所述判别器接收局部色彩渲染后的人体图像，并对该图像进行真实性的预测；所述判别器由五组降采样的卷积层构成，输出一个尺寸为l×c的二维矩阵，该矩阵中的每个值都对应着生成图像中某个具体的感受野，并对其所对应的感受野进行真实性的预测。
10.如权利要求6所述的服装色彩生成方法，其特征在于，所述步骤D包括：
D1、训练判别器；这一过程中，固定生成器权重；所述判别器对原始人体图像和生成人体图像的真实性进行判断，并尽可能的将原始图像判断为真，生成图像判断为假；在判别器训练过程中，计算生成对抗损失，并使用Adam优化器更新判别器的权重；
D2、训练生成器；这一过程中，固定判别器权重，计算生成对抗损失、重构损失和感知损失；其中，所述生成对抗损失用于引导生成器生成更为真实的人体图像，使得判别器尽可能将生成图像判断为真；所述重构损失表示生成人体图像与原始人体图像的像素点距离，感知损失表示两者由VGG19计算出来的特征图之间的距离；所述重构损失和所述感知损失用于辅助生成对抗训练；在所述判别器训练过程中，使用Adam优化器更新生成器的权重。
CN202210865198.4A 2022-07-21 2022-07-21 一种面向人体图像的服装色彩生成系统及方法 Pending CN115130390A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210865198.4A CN115130390A (zh) 2022-07-21 2022-07-21 一种面向人体图像的服装色彩生成系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210865198.4A CN115130390A (zh) 2022-07-21 2022-07-21 一种面向人体图像的服装色彩生成系统及方法

Publications (1)

Publication Number Publication Date
CN115130390A true CN115130390A (zh) 2022-09-30

Family

ID=83384721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210865198.4A Pending CN115130390A (zh) 2022-07-21 2022-07-21 一种面向人体图像的服装色彩生成系统及方法

Country Status (1)

Country Link
CN (1) CN115130390A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116860145A (zh) * 2023-08-31 2023-10-10 小舟科技有限公司 一种基于用户bci信息的aigc个性化图像生成方法及相关装置
CN118537425A (zh) * 2024-05-20 2024-08-23 启东市高洋机电制造有限公司 一种基于聚类分层的衬布花型智能分色方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116860145A (zh) * 2023-08-31 2023-10-10 小舟科技有限公司 一种基于用户bci信息的aigc个性化图像生成方法及相关装置
CN116860145B (zh) * 2023-08-31 2023-11-24 小舟科技有限公司 一种基于用户bci信息的aigc个性化图像生成方法及相关装置
CN118537425A (zh) * 2024-05-20 2024-08-23 启东市高洋机电制造有限公司 一种基于聚类分层的衬布花型智能分色方法及系统

Similar Documents

Publication Publication Date Title
CN110211196B (zh) 一种基于姿势引导的虚拟试穿方法及装置
Jetchev et al. The conditional analogy gan: Swapping fashion articles on people images
CN115130390A (zh) 一种面向人体图像的服装色彩生成系统及方法
CN110378985A (zh) 一种基于gan的动漫绘画辅助创作方法
CN110097609B (zh) 一种基于样本域的精细化绣花纹理迁移方法
US20160026926A1 (en) Clothing matching system and method
CN113538610B (zh) 一种基于稠密流的虚拟试衣方法
CN113393550B (zh) 一种姿态和纹理引导的时尚服装设计合成方法
CN110853119B (zh) 一种鲁棒的基于参考图片的妆容迁移方法
CN111161405B (zh) 一种动物毛发三维重建方法
CN110097615B (zh) 一种联合风格化和去风格化的艺术字编辑方法和系统
CN114581356B (zh) 基于风格迁移数据增广的图像增强模型泛化方法
CN116266251A (zh) 一种草图生成对抗网络、渲染生成对抗网络及其服饰设计方法
CN110322530A (zh) 一种基于深度残差网络的可交互图像着色
Huang et al. A fully-automatic image colorization scheme using improved CycleGAN with skip connections
Xiang et al. RamGAN: region attentive morphing GAN for region-level makeup transfer
Ye et al. Multi-style transfer and fusion of image’s regions based on attention mechanism and instance segmentation
Jo et al. Generative artificial intelligence and building design: early photorealistic render visualization of façades using local identity-trained models
CN109658508A (zh) 一种多尺度细节融合的地形合成方法
CN115018729B (zh) 一种面向内容的白盒图像增强方法
CN114898021B (zh) 音乐舞台表演视频的智能卡通化方法
CN114612964A (zh) 图像转换方法、装置、设备及存储介质
CN117236433B (zh) 辅助盲人生活的智能通信感知方法、系统、设备及介质
Li Quality Optimization of Virtual Reality-Based Efficient Net Model in ArtWorks
Xu et al. SGDM: An Adaptive Style-Guided Diffusion Model for Personalized Text to Image Generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination