CN113160033B - 服装风格迁移系统与方法 - Google Patents

服装风格迁移系统与方法 Download PDF

Info

Publication number
CN113160033B
CN113160033B CN202110367703.8A CN202110367703A CN113160033B CN 113160033 B CN113160033 B CN 113160033B CN 202110367703 A CN202110367703 A CN 202110367703A CN 113160033 B CN113160033 B CN 113160033B
Authority
CN
China
Prior art keywords
style
image
clothing
migration
garment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110367703.8A
Other languages
English (en)
Other versions
CN113160033A (zh
Inventor
余锋
杜成虎
姜明华
周昌龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Publication of CN113160033A publication Critical patent/CN113160033A/zh
Application granted granted Critical
Publication of CN113160033B publication Critical patent/CN113160033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于服装智能制造技术领域，公开了一种服装风格迁移系统与方法，包括图像信息处理单元、图像特征提取单元、风格迁移生成单元和生成图像增强单元；所述图像信息处理单元用于选择采集目标风格服装图像以及待转换风格的服装图像；所述图像特征提取单元用于处理目标服饰风格特征和自身风格特征；所述风格迁移生成单元用于对待转换风格的服饰进行对应风格的迁移融合；所述生成图像增强单元用于生成待转换风格服饰图像的语义分割图，并利用语义分割图对变形的背景进行割离，还原迁移图像的背景。利用其中一方服装的风格，渲染生成由另一方形状，轮廓限定的新的样式的服装。能够大幅提高服装设计的效率，提升用户感官体验。

Description

服装风格迁移系统与方法
技术领域
本发明属于智能服装技术领域，更具体地，涉及一种服装风格迁移系统与方法。
背景技术
目前，用户在生活中进行网上服饰选购时，又可能出现对一件服装的风格和另一件服装的样式产生搭配的感性联想，但是没有实物作为参考，导致服装展示效果存在一定缺陷，给用户购物带来较差的体验。
现有技术公开了一种服装风格的设计搭配方法，通过统计大量的服装数据，计算其中的粗粒度的风格权重，然后根据权重来搭配用户适合风格的列表。一方面，由于用户喜好的多样性，有限的数据存量并不能满足所有用户的需求，另一方面，在多种条件限定之下，很少的给用户多自由度的选择，若在最后的结果列表中没有用户心仪的选择，则接下来系统就会失去它的作用。
公开号为CN111680760A的中国专利“服装风格识别方法、装置、电子设备及存储介质”、申请号为2019105277723的中国专利“基于PCCS体系通过色域判断服装风格类别的方法”均是通过算法来区分不同服装之间的不同风格，而没有将已知的服装风格转嫁到别的服装上形成新的服装样式。申请号为2018116283598的中国专利“一种服装款型风格匹配的方法及其系统”采用一种服装款型匹配的方法和系统，其预先在数据库中存入服装结构属性，根据风格属性权重计算服装风格的诊断结果，再根据用户的穿衣风格从数据库推出适合用户的风格，最后依靠用户手动从中挑选最满意的一款。该方法所涉及到的数据库比较庞大负责，且算法要计算不同的用户和服装之间的权重，最后进行合适风格的选取搭配，算法相对比较复杂，而且用户自由度不高，不能自主进行设计服装风格。
发明内容
本发明所要解决的技术问题是提供一种服装风格迁移系统与方法，能够优化现有的服装风格迁移系统的系统结构和算法。
为解决上述技术问题，本发明所采用的技术方案是：一种服装风格迁移系统，包括图像信息处理单元、图像特征提取单元、风格迁移生成单元和生成图像增强单元；
所述图像信息处理单元用于选择采集目标风格服装图像以及待转换风格的服装图像；
所述图像特征提取单元用于处理目标服饰风格特征和自身风格特征；
所述风格迁移生成单元用于对待转换风格的服饰进行对应风格的迁移融合；
所述生成图像增强单元用于生成待转换风格服饰图像的语义分割图，并利用语义分割图对变形的背景进行割离，还原迁移图像的背景。
优选的方案中，所述目标风格服装图像，是指需要对其特征进行学习迁移的图像作为示范图像进行风格学习；待转换风格的服装图像是指需要被更换风格的服装图像。
优选的方案中，采用图像预处理，对系统所需求的关键服饰信息进行筛选和提取；
其中图像预处理是指对图像进行w×h大小的缩放，并对图像进行语义分割，剔除图像中强干扰的背景，并保留服装部分；
所述语义分割是指创建对应大小的单通道图像，其中分别将不同的服装类型用不同的编码表示，如将背景统一用数值a表示，上衣用数值b表示，下衣用数值c表示，在同一编码的区域和图像进行与操作，便可对图像进行分割。
优选的方案中，所述对风格的提取在于提取目标风格服装图像中的颜色、花纹和纹理风格特征和待转换风格的服装图像的形状和/或轮廓特征。
优选的方案中，所述对风格的迁移，采用风格迁移算法将目标风格服装图像A的风格特征迁移到另一件待转换风格的服装图像B的形状和/或轮廓特征上，生成具有B的状和/或轮廓和A的风格特征的结果。
优选的方案中，所述语义分割图是将图像中的风格特征单独的分割出来，其余部分被分割为背景，利用分割图像将迁移过风格的服装图像和原图像的背景进行融合，实现迁移后对图像背景的还原。
优选的方案中，风格特征的表示方法为，颜色采用cmyk色系，图案采用向量化图案，纹理采用四方或两方连续光栅化图片，风格特征为上述一种特征或多种特征的组合；
具体表示方法为，特征字符串+颜色字符串+图案存储位置+纹理存储位置+排列方式，其中特征字符串是整个风格特征的名称，根据风格特征的规模选择合适的位宽，颜色字符串是背景颜色，图案存储位置是指构成轮廓的图案的物理存储位置，此处的构成轮廓的图案以矢量图的方式存储，纹理存储位置是四方或两方连续光栅化图片的物理存储位置。
一种采用上述的一种服装风格迁移系统的迁移方法，使用具有编码和解码功能的卷积神经网络，其步骤如下：
S1、对输入的风格代表图像进行分割处理，通过语义分割算法单独将图像中的服装提取出来；
S2、对提取的风格代表图像和原始的形状代表图像进行通道方向的连接，并使用网络中的编码部分对图像进行卷积编码，提取图像高级的特征信息；
S3、将通过编码得到的目标风格服装图像的颜色，花纹，纹理细粒度信息和待转换风格的服装图像的轮廓、形状，位置信息进行融合，即进行n次维度不变的卷积操作；
S4、利用服装风格迁移算法，对两类服装的细粒度信息和形状信息，进行卷积融合；
细粒度信息包括颜色，花纹和纹理特征；
形状信息包括形状、轮廓和自身相对位置关系；
S5、利用网络中的解码部分对融合的高级特征向量进行进一步解码，将服装的细粒度信息和形状信息进行重新组合，生成合理的合成后的服装图像；
S6、将被分割的待转换风格的服装图像的原背景和已转换风格的服装图像进行拼接融合，合成最后保持背景信息的服装图像。
优选的方案中，采用一组成对的服饰A,B，进行风格从A迁移到B的转换；
采用局部到局部的迁移方法，仅对服装的局部颜色和纹理风格的迁移；
若迁移后背景失真，则利用语义分割对其进行无关部分的补充，以提高图像的生成质量。
优选的方案中，使用目标服装的风格特征由参考服装所确定，通过服装的迁移过程后，目标服装除外缘轮廓外，汲取到了全部的参考服装风格；利用卷积神经网络经过多层卷积提取到的服装颜色，图案，纹理等高维度的混合特征向量，即该特征向量拥有潜在的所有特征风格特征的细粒度信息；还包括利用反卷积操作对该特征向量进行解码操作，根据神经网络的反向传播，以实现风格特征的识别。
本发明提供了一种服装风格迁移系统与方法，通过采用上述的技术方案，与现有技术相比，具有以下的有益效果：
（1）本发明提供的新型的服装风格迁移系统通过两张不相关的包含服装的图像，利用其中一方服装的风格，渲染生成由另一方形状，轮廓限定的新的样式的服装。利用局部特征提取算法，将注意力只关注在图像中服装的风格上，避免背景的干扰。使用背景还原的融合算法，保证了在算法生成图像之后，对其余背景部分产生变化的还原，以最大程度保证图像的高质量，相比于现有技术，可极大减少计算成本和降低系统复杂性，提高了图像的呈现效果，以提升用户感官体验；
在用户进行网上服装选购的时候，可能会对一件服装的风格和另一件服装的样式产生搭配的感性联想，但是没有实物作为参考，导致服装展示效果存在一定缺陷，给用户购物带来较差的体验。本发明所提供的这种新型的服装风格迁移系统，可以任意选择心仪的两张服装图像，通过算法，将服装A的风格迁移到服装B上，生成新的服装，让用户够很大程度上自由的搭配自己喜欢的风格样式，且只关注服装本身，对背景部分做了很大程度上的保留，提升了用户体验。本发明能够大幅提高服装设计的效率。
（2）本发明提供的这种新型的服装风格迁移系统，不仅可以应用在线上商城中，在其他嵌入式设备中同样适用。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明的服装风格迁移系统的流程示意图。
具体实施方式
实施例1：
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
参照图1所示，是本发明提供的新型的服装风格迁移系统一个实施例的示意图。实施例提供的这种服装风格迁移包括图像信息处理单元、图像特征提取单元、风格迁移生成单元和生成图像增强单元；
其中，图像信息处理单元包括处理提取图像中的目标风格服装和目标待转换服装。
目标风格服装包含要提取风格特征的服装部分，包括服装的颜色、纹理、花纹，徽章等；目标待转换服装指要转换服装风格的图像中的服装部分，包括服装的轮廓，形状位置等信息。图像信息处理采用卷积神经网络的图像分割算法，将服装部分单独分割出来。
图像特征提取单元采用卷积神经网络的特征提取算法，对目标风格服装的特征进行提取，以及对目标待转换服装的形状，布局轮廓等特征进行提取。
风格迁移生成单元采用特征融合算法，采用卷积神经网络将提取的服装风格特征（颜色、纹理、花纹，徽章等）和服装的形状，布局轮廓等特征进行特征融合，再根据反向传播，训练生成模型，最后利用训练好的生成模型产生新的服装种类。
生成图像增强单元包括对算法生成的图像进行优化处理的模块，首先对图像中的背景和服装利用卷积神经网络的图像分割算法进行分割，将整个待转换图像进行处理后，针对算法对图像中服装的边界判定不到位的情况，而产生的全局风格转变问题，通过背景的语义分割图进行重组以及融合还原，将融合边界进行平滑处理后，得到最终的风格迁移服装图像效果。
另有实施例提供的一种新型的服装风格迁移系统与方法，通过两张不相关的包含服装的图像，利用其中一方服装的风格，渲染生成由另一方形状，轮廓限定的新的样式的服装。利用局部特征提取算法，将注意力只关注在图像中服装的风格上，避免背景的干扰。使用背景还原的融合算法，保证了在算法生成图像之后，对其余背景部分产生变化的还原，以最大程度保证图像的高质量，相比于现有技术，可极大减少计算成本和降低系统复杂性，提高了图像的呈现效果，以提升用户感官体验；
本发明提供的新型的服装风格迁移系统，可以实时准确的对既定的服装进行风格的迁移；且相比于现有技术而言，无需进行大量的数组存储，极大减少了计算量和存储成本，降低了对图像处理单元处理性能的要求，并可提高实时性，是服装风格迁移最高效的技术方案，具有极大的价值。
实施例2：
一种新型的服装风格迁移系统与方法，包括图像信息处理单元、图像特征提取单元、风格迁移生成单元和生成图像增强单元；
图像信息处理单元用于选择采集目标风格服装图像以及待转换风格的服装图像；
图像特征提取单元用于处理目标服饰风格特征和自身风格特征；
风格迁移生成单元用于对待转换风格的服饰进行对应风格的迁移融合；
生成图像增强单元用于生成待转换风格服饰图像的语义分割图，并利用语义分割图对变形的背景进行割离，还原迁移图像的背景。
优选的，风格特征的表示方法为，颜色采用cmyk色系，图案采用向量化图案，纹理采用四方或两方连续光栅化图片，风格特征为上述一种特征或多种特征的组合。
具体表示方法为，特征字符串+颜色字符串+图案存储位置+纹理存储位置+排列方式，其中特征字符串是整个风格特征的名称，根据风格特征的规模选择合适的位宽，颜色字符串是背景颜色，图案存储位置是指构成轮廓的图案的物理存储位置，此处的构成轮廓的图案以矢量图的方式存储，纹理存储位置是四方或两方连续光栅化图片的物理存储位置。进一步优选的，还包括可扩展的字符串，包括比例字符串，即纹理与图案之间的缩放比例；还包括填充字符串，即纹理在图案中的填充方式，例如填充的起点位置，填充的方向向量。
优选的，上述的服装风格迁移系统，其目标风格服装图像，是指需要对其特征进行学习迁移的图像作为示范图像进行风格学习；待转换风格的服装图像是指需要被更换风格的服装图像。
优选的，上述的服装风格迁移系统，采用图像预处理，对系统所需求的关键服饰信息进行筛选和提取。
其中图像预处理是指对图像进行w×h（256×192）大小的缩放，并对图像进行语义分割，剔除图像中强干扰的背景，并保留服装部分。所述语义分割是指创建对应大小的单通道图像，并将背景统一用数值a表示，上衣用数值b表示，下衣用数值c表示。
优选的，上述的服装风格迁移系统，对风格的提取在于提取目标风格服装图像中的颜色，花纹等风格特征和待转换风格的服装图像的形状，轮廓等特征。
优选的，上述的服装风格迁移系统，对风格的迁移，采用风格迁移算法将目标风格服装图像A的风格信息迁移到另一件待转换风格的服装图像B上，生成具有B的形状和A的风格的结果。
优选的，上述的服装风格迁移系统，其语义分割图是将图像中的服饰单独的分割出来，其余部分被分割为背景，利用分割图像将迁移过风格的服装图像和原图像的背景进行融合，实现迁移后对图像背景的还原，可选的图像分割算法有SegNet和Mask R-CNN。
优选的，上述的服装风格迁移系统，网络中的编码部分用于对服装图像进行卷积编码，变成高维特征向量。常用的编码器有Unet中的编码器，pix2pix和pix2pixHD中的编码部分。
优选的，上述的服装风格迁移系统，网络中的解码部分用于对融合的特征向量进行解码，常用的解码器有Unet中的编码器，pix2pix和pix2pixHD中的解码部分。
优选的，上述的服装风格迁移系统，网络中融合提取图像高级特征的n（n=9）次维度不变的卷积操作，可以采用连续的9层残差结构进行提取。
优选地，上述的服装风格迁移系统，还包括对算法生成的图像进行优化处理的模块，会出现分割转换后，算法对图像中服装的边界判定不到位，而产生的全局风格转变问题，通过生成单元对服装以外的图像部分利用图像语义分割算法进行重组还原，达到最好的图像呈现效果。
一种服装风格迁移系统，采用深度学习的算法，将复杂的服装风格，例如纹理、颜色等设计元素进行迁移操作，进行多模块化的处理，只关注服装与服装之间的特征关联，保证了除服装以外的背景部分不受算法影响。多模块化处理指对人体图像的不同部分通过语义分割进行单独的提取，如提取目标图像和参考图像中的上衣，进行单独的风格迁移，实现图像处理的模块化，上衣，下衣，鞋等则形成多模块化。
实施例3：
一种采用上述的一种服装风格迁移系统的迁移方法，使用具有编码和解码功能的卷积神经网络，其步骤如下：
S1、对输入的风格代表图像进行分割处理，通过语义分割算法单独将图像中的服装提取出来；
S2、对提取的风格代表图像和原始的形状代表图像进行通道方向的连接，并使用网络中的编码部分对图像进行卷积编码，提取图像高级的特征信息；
图像高级的特征信息即为服装图像经过超深神经网络卷积后得到的特征向量。
S3、将通过编码得到的目标风格服装图像的颜色，花纹，纹理等细粒度信息和待转换风格的服装图像的轮廓、形状，位置等信息进行融合，即进行n次维度不变的卷积操作；
S4、利用服装风格迁移算法，对两类服装的细粒度信息，如，颜色，花纹和形状信息，如轮廓，方位进行卷积融合；
S 5、利用网络中的解码部分对融合的特征向量进行解码，期间，会将服装的颜色，花纹和轮廓等信息进行重新组合，生成合理的合成后的服装图像；
S6、将被分割的待转换风格的服装图像的原背景和已转换风格的服装图像进行拼接融合，合成最后保持背景信息的服装图像。
优选的方案中，采用一组成对的服饰A,B，进行风格从A迁移到B的转换；
采用局部到局部的迁移方法，专注对服装的颜色纹理等风格的迁移，对于迁移后失真的背景，利用语义分割对其进行无关部分的补充，提高图像的生成质量。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本实用新型的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本实用新型的保护范围之内。

Claims (5)

1.一种服装风格迁移系统，其特征是，包括图像信息处理单元、图像特征提取单元、风格迁移生成单元和生成图像增强单元；
采用图像预处理，对系统所需求的关键服饰信息进行筛选和提取；
其中图像预处理是指对图像进行w×h大小的缩放，并对图像进行语义分割，剔除图像中强干扰的背景，并保留服装部分；
所述语义分割是指创建对应大小的单通道图像，其中分别将不同的服装类型用不同的编码表示，将背景统一用数值a表示，上衣用数值b表示，下衣用数值c表示，在同一编码的区域和图像进行与操作，便可对图像进行分割；
所述语义分割图是将图像中的风格特征单独的分割出来，其余部分被分割为背景，利用分割图像将迁移过风格的服装图像和原图像的背景进行融合，实现迁移后对图像背景的还原；
所述对风格的提取在于提取目标风格服装图像中的颜色、花纹和纹理风格特征和待转换风格的服装图像的形状和/或轮廓特征；
所述图像信息处理单元用于选择采集目标风格服装图像以及待转换风格的服装图像；
所述图像特征提取单元用于处理目标服饰风格特征和自身风格特征；所述风格迁移生成单元用于对待转换风格的服饰进行对应风格的迁移融合；
所述对风格的迁移，采用风格迁移算法将目标风格服装图像A的风格特征迁移到另一件待转换风格的服装图像B的形状和/或轮廓特征上，生成具有B的状和/或轮廓和A的风格特征的结果；风格特征的表示方法为，颜色采用cmyk色系，图案采用向量化图案，纹理采用四方或两方连续光栅化图片，风格特征为上述多种特征的组合；
具体表示方法为，特征字符串+颜色字符串+图案存储位置+纹理存储位置+排列方式，其中特征字符串是整个风格特征的名称，根据风格特征的规模选择合适的位宽，颜色字符串是背景颜色，图案存储位置是指构成轮廓的图案的物理存储位置，此处的构成轮廓的图案以矢量图的方式存储，纹理存储位置是四方或两方连续光栅化图片的物理存储位置；
所述生成图像增强单元用于生成待转换风格服饰图像的语义分割图，并利用语义分割图对变形的背景进行割离，还原迁移图像的背景。
2.根据权利要求1所述的服装风格迁移系统，其特征是，所述目标风格服装图像，是指需要对其特征进行学习迁移的图像作为示范图像进行风格学习；待转换风格的服装图像是指需要被更换风格的服装图像。
3.一种采用权利要求1~2任意一项所述的一种服装风格迁移系统的迁移方法，其特征是，使用具有编码和解码功能的卷积神经网络，其步骤如下：
S1、对输入的风格代表图像进行分割处理，通过语义分割算法单独将图像中的服装提取出来；
S2、对提取的风格代表图像和原始的形状代表图像进行通道方向的连接，并使用网络中的编码部分对图像进行卷积编码，提取图像高级的特征信息；
S3、将通过编码得到的目标风格服装图像的颜色，花纹，纹理细粒度信息和待转换风格的服装图像的轮廓、形状，位置信息进行融合，即进行n次维度不变的卷积操作；
S4、利用服装风格迁移算法，对两类服装的细粒度信息和形状信息，进行卷积融合；
细粒度信息包括颜色，花纹和纹理特征；
形状信息包括形状、轮廓和自身相对位置关系；
S5、利用网络中的解码部分对融合的高级特征向量进行进一步解码，将服装的细粒度信息和形状信息进行重新组合，生成合理的合成后的服装图像；
S6、将被分割的待转换风格的服装图像的原背景和已转换风格的服装图像进行拼接融合，合成最后保持背景信息的服装图像。
4.根据权利要求3所述的采用服装风格迁移系统的迁移方法，其特征是：采用一组成对的服饰A,B，进行风格从A迁移到B的转换；
采用局部到局部的迁移方法，仅对服装的局部颜色和纹理风格的迁移；
若迁移后背景失真，则利用语义分割对其进行无关部分的补充，以提高图像的生成质量。
5.根据权利要求3所述的采用服装风格迁移系统的迁移方法，所使用目标服装的风格特征由参考服装所确定，通过服装的迁移过程后，目标服装除外缘轮廓外，汲取到了全部的参考服装风格；利用卷积神经网络经过多层卷积提取到的服装颜色，图案，纹理的高维度的混合特征向量，即该特征向量拥有潜在的所有特征风格特征的细粒度信息；还包括利用反卷积操作对该特征向量进行解码操作，根据神经网络的反向传播，以实现风格特征的识别。
CN202110367703.8A 2020-12-28 2021-04-06 服装风格迁移系统与方法 Active CN113160033B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011574025 2020-12-28
CN2020115740254 2020-12-28

Publications (2)

Publication Number Publication Date
CN113160033A CN113160033A (zh) 2021-07-23
CN113160033B true CN113160033B (zh) 2023-04-28

Family

ID=76888880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110367703.8A Active CN113160033B (zh) 2020-12-28 2021-04-06 服装风格迁移系统与方法

Country Status (1)

Country Link
CN (1) CN113160033B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630139A (zh) * 2022-02-11 2023-08-22 华为云计算技术有限公司 数据生成的方法、装置、设备和存储介质
CN114782653B (zh) * 2022-06-23 2022-09-27 杭州彩连科技有限公司 一种自动扩充服饰设计版型的方法和系统
CN115641254A (zh) * 2022-10-13 2023-01-24 北京沃东天骏信息技术有限公司 迁移方法和装置
CN115496990B (zh) * 2022-11-18 2023-03-24 武汉纺织大学 一种基于深度学习的服装图像解析方法
CN116402590B (zh) * 2023-06-06 2023-09-15 武汉纺织大学 一种基于人工智能的个性化服装商城系统及推荐方法
CN117078790B (zh) * 2023-10-13 2024-03-29 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768335A (zh) * 2020-07-02 2020-10-13 北京工商大学 一种基于cnn的用户交互式图像局部服饰风格迁移方法
WO2020238120A1 (en) * 2019-05-30 2020-12-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for single-modal or multi-modal style transfer and system for random stylization using the same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805803B (zh) * 2018-06-13 2020-03-13 衡阳师范学院 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法
CN109523460A (zh) * 2018-10-29 2019-03-26 北京达佳互联信息技术有限公司 图像风格的迁移方法、迁移装置和计算机可读存储介质
CN110222722A (zh) * 2019-05-14 2019-09-10 华南理工大学 交互式图像风格化处理方法、系统、计算设备及存储介质
CN110956654B (zh) * 2019-12-02 2023-09-19 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN111210487A (zh) * 2020-02-28 2020-05-29 深圳壹账通智能科技有限公司 图案生成方法和系统
CN111967930A (zh) * 2020-07-10 2020-11-20 西安工程大学 一种基于多网络融合的服装风格识别推荐方法
CN112017301A (zh) * 2020-07-24 2020-12-01 武汉纺织大学 用于服装图像特定相关区域的风格迁移模型及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238120A1 (en) * 2019-05-30 2020-12-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for single-modal or multi-modal style transfer and system for random stylization using the same
CN111768335A (zh) * 2020-07-02 2020-10-13 北京工商大学 一种基于cnn的用户交互式图像局部服饰风格迁移方法

Also Published As

Publication number Publication date
CN113160033A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN113160033B (zh) 服装风格迁移系统与方法
He et al. Latent video diffusion models for high-fidelity long video generation
Zhu et al. Be your own prada: Fashion synthesis with structural coherence
Zheng et al. Bridging global context interactions for high-fidelity image completion
CN111368662B (zh) 一种人脸图像属性编辑方法、装置、存储介质及设备
Frühstück et al. Insetgan for full-body image generation
US20200151963A1 (en) Training data set generation apparatus and method for machine learning
CN108288072A (zh) 一种基于生成对抗网络的面部表情合成方法
Kim et al. Style-controlled synthesis of clothing segments for fashion image manipulation
Huang et al. Tech: Text-guided reconstruction of lifelike clothed humans
CN110852941A (zh) 一种基于神经网络的二维虚拟试衣方法
CN112950661A (zh) 一种基于注意力生成对抗网络人脸卡通画生成方法
CN111833236B (zh) 产生模拟用户的三维脸部模型的方法及装置
CN114067088A (zh) 虚拟穿戴方法、装置、设备、存储介质及程序产品
CN113393550A (zh) 一种姿态和纹理引导的时尚服装设计合成方法
CN111861945A (zh) 一种文本引导的图像修复方法和系统
CN111476241A (zh) 一种人物服饰转换方法及系统
CN117011207A (zh) 一种基于扩散模型的虚拟试衣方法
CN115496650A (zh) 一种基于生成对抗网络的妆容迁移方法
Modak et al. A deep learning framework to reconstruct face under mask
CN113393546B (zh) 基于服装类别及纹理图案控制的时尚服装图像生成方法
Liu et al. Translate the facial regions you like using self-adaptive region translation
CN117151990B (zh) 一种基于自注意力编码解码的图像去雾方法
CN116777738A (zh) 基于服装区域对齐和风格保持调制的真实性虚拟试穿方法
CN116168186A (zh) 一种服装长度可控的虚拟试衣图生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant