CN114445268A - 一种基于深度学习的服装风格迁移方法及系统 - Google Patents

一种基于深度学习的服装风格迁移方法及系统 Download PDF

Info

Publication number
CN114445268A
CN114445268A CN202210112799.8A CN202210112799A CN114445268A CN 114445268 A CN114445268 A CN 114445268A CN 202210112799 A CN202210112799 A CN 202210112799A CN 114445268 A CN114445268 A CN 114445268A
Authority
CN
China
Prior art keywords
style
image
clothing
generator
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210112799.8A
Other languages
English (en)
Inventor
王伟珍
张功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Polytechnic University
Original Assignee
Dalian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Polytechnic University filed Critical Dalian Polytechnic University
Priority to CN202210112799.8A priority Critical patent/CN114445268A/zh
Publication of CN114445268A publication Critical patent/CN114445268A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的服装风格迁移方法与系统，涉及服装设计技术领域，包括数据采集与处理模块、特征分析与提取模块、风格模型生成与应用模块、图像迁移与生成模块以及图像输出模块。数据采集与处理模块用于选择风格图像以及图像预处理；特征提取模块主要对颜色特征、纹理特征、轮廓特征进行提取；风格模型生成与应用模块用于生成风格模型；图像迁移与生成模块包括个性化风格迁移功能和快速风格迁移功能，用于将源服装图像进行语义分割，并通过上述模块可直接进行风格迁移，或者通过调用风格模型库中的风格模型实现快速风格迁移；图像输出模块用于提高生成图像分辨率并显示。缩短了风格迁移时间长，改善了生成的服装图像的整体效果。

Description

一种基于深度学习的服装风格迁移方法及系统
技术领域
本发明涉及智能服装设计技术领域，具体涉及一种基于深度学习的服装风格迁移方法及系统。
背景技术
时尚是一个瞬息万变的行业，每个季节的设计都在变化，时尚行业对服装风格的要求也越来越个性化。然而，在传统的服装设计过程中，服装设计师需要花费大量的时间构思和不断的绘制草图以比较不同的服装风格，而服装风格迁移可实现这一效果(服装风格迁移是将目标风格图像中的风格迁移至源服装图像中，使源服装图像中的服装具有目标风格图像中的风格)。随着人工智能在各个行业应用地不断深入，服装产业也在利用人工智能加速产业变革。
目前，现有的针对服装的风格迁移应用较少，尽管存在一部分软件也可以实现风格迁移，如申请号为202010628294.8的中国专利，但是仅支持限定范围的风格或者需要用户其他操作才能完成风格迁移，无法辅助设计师完成更快更加个性化的服装设计。
而有一小部分技术可以实现个性化风格迁移，如申请号为202110367703.8的中国专利，虽然提高了服装设计中风格迁移的自由度和个性化，但是由于在提取过程中缺乏对风格图像和服装图像细节的分析，生成图像效果仍然较差且失败率较高，同时该技术尽管减少了风格迁移时间，但是对使用该技术的硬件设备配置要求极高。
在迁移过程中，有一部分技术关注到了风格图像局部特征细节，如申请号为202010721195.4的中国专利，由于数据集大，且不同风格模型花费时间也不同，需要不断训练来确定参数。所以需要花费不少时间来完成风格迁移且忽略了生成的服装图像的整体效果，这也会不能很好的给予服装设计师灵感。
发明内容
为克服以上难点，本发明提出一种基于深度学习的服装风格迁移方法及系统，以解决现有技术中风格迁移时间长且忽略了生成的服装图像的整体效果的技术问题。
为了实现上述目的，本发明采用的技术方案是：
一方面，本发明提供了一种基于深度学习的服装风格迁移方法，所述方法包括：
获取源服装内容图像，并对所述源服装内容图像进行预处理；
使用单阶段实例分割对预处理之后的源服装内容图像进行分割，区分出图像的背景与服装各部位信息，并对服装中关键部位进行标注，得到所述源服装内容图像中的内容特征；
获取目标风格图像，并对所述目标风格图像进行预处理；
使用聚类分析方法对预处理之后的目标风格图像进行风格特征分析；所述风格特征至少包括：颜色、纹理和轮廓；
对分析出的风格特征进行特征提取；
获取训练好的风格模型；所述风格模型利用基于深度卷积的生成对抗网络生成，所述生成对抗网络包括生成器和判别器，训练好的风格模型中保存有生成器和判别器的权重参数训练值；
将提取出的内容特征和风格特征输入至训练好的风格模型的生成器中，生成服装图像；
将生成器生成的服装图像采用插值算法提升图像分辨率，输出具有目标风格图像风格的服装图像。
进一步地，获取训练好的风格模型，包括：
S201、设置训练次数、学习率、批量处理值以及卷积层数；
S202、建立生成器G和判别器D，生成器中采用反卷积操作，判别器中采用卷积操作，并加入dropout来防止过拟合；
S203、在判别器中，加入前向传播网络；在生成器中，加入反向传播网络；
S204、在判别器中，所使用的激活函数在前2/3层中使用softmax函数，在后1/3层使用LeakyRelu函数；在生成器中，所使用的激活函数除了最后一层，全部使用LeakyRelu函数，最后一层使用Tanh函数；
S205、在生成器中，所使用的为小批量梯度下降算法，所使用的优化器为adam优化器对梯度进行优化；
S206、固定生成器参数，对判别器进行迭代，不断更新判别器参数，直至判别器输出概率值为0.7；
S207、固定判别器参数，对生成器进行迭代，不断更新生成器参数，直至判别器输出概率值为0.7；
S208、计算生成器生成图像与判别器判别结果的误差，若优于上次结果，则替换上次所更新的神经网络权重值，并保存于以.pk为后缀的文件中，若次于上次结果，则保持不变；
S209、循环迭代S206、S207、S208的操作，当循环迭代次数等于训练次数，停止训练，其风格模型已通过S208保存于.pk文件中。
进一步地，获取训练好的风格模型，包括：
从风格模型库中调用训练好的风格模型。
进一步地，所述生成对抗网络的损失函数计算公式如下：
L(G)＝r1Lc(C,G)+r2Lx(S,G)
其中，C-输入图像；S-风格图像；G-生成图像；L(G)-总损失；r1-内容损失权重；r2-风格损失权重；
内容损失函数Lc，公式如下：
Figure BDA0003495343650000041
其中，l表示深度卷积神经网络的第l层卷积层；并且pl是它们在l层中的相应特征表示；在每个层中，存在Nl个滤波器，每个滤波器具有大小为Dl的矢量化特征映射；
风格损失函数Ls，公式如下：
Figure BDA0003495343650000042
其中，wγ为加权因子，Ml为特征大小。
进一步地，使用聚类分析方法对预处理之后的目标风格图像进行风格特征分析，包括：
针对轮廓特征，先将图像转化为灰度图像，然后使用Canny边缘检测算子，高斯滤波平滑图像后，用一阶偏导的有限差分来计算梯度的幅值和方向，并对梯度幅值进行非极大值抑制，用双阈值算法检测和连接边缘检测图像轮廓，最后对图像轮廓特征提取。
进一步地，使用聚类分析方法对预处理之后的目标风格图像进行风格特征分析，包括：
针对色彩特征分析，使用k-均值算法将颜色聚类到预定义数量的组中；
根据色彩占总体的比率大小，使用颜色直方图分析不同色彩在整幅图像中所占的比例，提取流行服装的主色调以及流行服装中各色彩比例关系；所述流行服装为服装销售网站销量排名前预设位的服装。
进一步地，使用聚类分析方法对预处理之后的目标风格图像进行风格特征分析，包括：
针对纹理特征分析，将图像进行灰度化，使用LOG算子和灰度共生矩阵进行特征分析，使用灰度直方图查看灰度值分布情况，对其纹理特征中的能量ASM、对比度CON、相关度CORRLN以及熵ENT这四个特征进行分析和提取；其中，ASM为灰度共生矩阵中各元素的平方和，用来描述纹理的粗细程度；CON为灰度共生矩阵中主对角线附近的惯性矩，用来描述纹理沟纹的深浅；CORRLN为灰度共生矩阵在行列上元素的相似程度，用来描述图像局部纹理的相关性；ENT为交叉熵，用来描述图像纹理的均匀性；
进一步地，所述生成对抗网络使用的目标函数为：
Figure BDA0003495343650000051
其中，G为生成器，D为判别器，pdata(x)为真实样本输入，pz(x)随机样本分布，f1、f2、f3分别为色彩、纹理以及轮廓特征标签，而f＝αf1+βf2+λf3。
又一方面，本发明还提供了一种基于深度学习的服装风格迁移系统，所述系统包括：
数据采集与处理模块，用于获取并预处理源服装内容图像和目标风格图像；
内容提取模块，用于使用单阶段实例分割对所述数据采集与处理模块预处理之后的源服装内容图像进行分割，区分出图像的背景与服装各部位信息，并对服装中关键部位进行标注，得到所述源服装内容图像中的内容特征；
特征提取模块，用于使用聚类分析方法对所述数据采集与处理模块预处理之后的目标风格图像进行风格特征分析及提取；所述风格特征至少包括：颜色、纹理和轮廓；
风格模型生成模块，用于生成风格模型，计算损失函数，对所述风格模型进行训练，所述风格模型利用基于深度卷积的生成对抗网络生成，所述生成对抗网络包括生成器和判别器，训练好的风格模型中保存有生成器和判别器的权重参数训练值；同时训练好的风格模型保存于风格模型库中，便于后续风格迁移时调用所保存的风格模型；
图像迁移与生成模块包括个性化风格迁移子模块和快速风格迁移子模块，所述个性化风格迁移子模块用于：将所述特征提取模块提取出的风格特征和所述内容提取模块提取出的内容特征输入至训练好的风格模型的生成器中，生成服装图像，实现个性化风格迁移；所述快速风格迁移子模块用于将从所述风格模型库调用的风格模型和所述内容提取模块提取出的内容特征输入至训练好的生成器中，生成服装图像，实现快速风格迁移。
又一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上述基于深度学习的服装风格迁移方法。
本发明的优点和积极效果：
(1)、本发明将机器学习中的k均值算法、回归分析和聚类分析的特征分析方法与生成对抗网络相结合，这种方法可以分析色彩特征、纹理特征以及轮廓特征，更加精准的提取风格特征，以便于后续风格迁移生成的图像细节更加突出，更加符合局部特征细节分析与提取和整体效果协调的风格迁移的需求(局部特征细节分析与提取和整体效果协调的风格迁移)；
(2)、本发明对生成对抗网络中目标函数和参数设置做出了修改，优化了图像生成效果；
(3)、本发明在生成图像后，结合插值法进一步提高输出图像分辨率。
综上所述，本发明通过输入目标服装风格图像，经过对该图像的风格进行特征提取以及生成对抗网络对服装风格的学习，使得源服装图像的风格具有目标风格图像中的风格。
本发明中，先对颜色等细节特征进行分析筛选出有用信息后再去提取特征，实现的是选择性全局迁移，替代了传统的整体迁移或局部迁移，解决了生成的服装图像的整体效果不佳、不协调的问题，通过改进特征提取环节、目标函数以及对生成服装图像进行图像增强来优化服装图像生成效果，提升迁移效果的个性化以及细节与整体的协调性。
本发明在进行服装风格迁移时，提前训练多种风格模型，建立风格模型库，迁移学习再去训练新风格模型，减少用户训练等待时间；能够减少风格迁移时间，降低实现该技术的硬件配置要求，给设计师提供灵感，缩短设计师的设计时间，使得设计师更快地设计出更新颖的作品。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于深度学习的服装风格迁移方法的流程图；
图2为本发明实施例中生成对抗网络结构图；
图3为本发明实施例中基于深度学习的服装风格迁移系统的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明公开了一种基于深度学习的服装风格迁移方法及系统，目的是提升风格迁移图像生成效果，减少数据集训练时间，同时也是为服装设计师提供设计灵感，缩短创作时间。
如图1所示，其示出了本发明实施例公开的一种基于深度学习的服装风格迁移方法，该方法具体包括步骤如下：
步骤1：获取目标风格图像和源服装内容图像，并对目标风格图像和源服装内容图像进行预处理；
所采集的目标风格图像中所包含的风格为需要迁移的风格，该图像的风格特征需要被提取；服装内容图像中风格是需要被替换的风格，而内容需要保留。
预处理包括：对图像进行分辨率调整、图像分割、添加标签信息等处理。
具体地，目标风格图像中的图像像素大小调整为w*h，并对图像进行图像分割。图像分割包括语义分割和实例分割，使用语义分割对背景部分与服装部分分离操作，使用实例分割对服装各部位进行分割和对服装相关部分添加标签信息。
步骤2：使用单阶段实例分割对源服装图像进行分割，区分出图像的背景与服装各部位信息，并对服装中关键部位进行标注，得到内容特征；
具体地，在单阶段实例分割中使用BlendMask法(BlendMask法是一种一阶段的密集实例分割方法)，使用COCO数据集进行训练，该方法先使用单阶段目标检测器FCOS进行目标检测，然后使用聚类方法分组再对图像进行分割及标注；具体地，其服装区域分割为袖、领、胸部、腰臀部、以及腿部，并对其分别标注为c1、c2、c3、c4和c5，其他背景使用其他字母与数字标注。
步骤3：使用聚类分析方法对预处理之后的目标风格图像进行风格特征分析；
其中，对风格特征的分析，主要针对目标风格图像中的颜色、纹理、轮廓的分析和提取。
针对色彩特征分析与提取，可以使用聚类分析中的k-均值算法将颜色聚类到预定义数量的组中，此外，根据色彩占总体的比率大小，提取流行服装(该流行服装依据于服装销售网站销量)的主色调以及流行服装中各色彩比例关系。
为了得到更加详细的颜色特征，使用Dirac增量密度分布对单通道图像建立数学模型，公式如下：
Figure BDA0003495343650000091
其中，u为强度值，x为输入像素值，σ为灰度图灰度值。
而对于色彩丰富的RGB图像，使用高斯混合模型，先验概率如下：
Figure BDA0003495343650000092
其中，x为像素值，n为色彩的数量，ui为均值，∑i为协方差，φi为第i个向量分量特征具有的权重。
具体包括以下步骤：
S301、获取之前得到的服装图像的实例分割图；
S302、为了得到更加详细的颜色特征，使用Dirac增量密度分布对单通道图像建立数学模型，公式如下：
Figure BDA0003495343650000093
其中，u为强度值，x为输入像素值，σ为灰度图灰度值。
S303、基于上述数学模型，使用聚类算法中的k-均值算法将颜色聚类到预定义数量的组中，具体地，分析出36种服装主色调值范围即得到色彩类别(色彩太多只能聚类来减少色彩量来减少运算量)；
S304、将服装图像中服装与背景分离，获取图像中服装每个像素的RGB值；
S305、对于色彩丰富的RGB图像，使用高斯混合模型，获得颜色偏差的概率，先验概率如下：
Figure BDA0003495343650000101
其中，x为像素值，n为色彩的数量，ui为均值，∑i为协方差，φi为第i个向量分量特征具有的权重。
S306、使用颜色直方图分析每种色彩类别的像素数/总像素数得到服装中每种色彩类别占总体色彩的比例，以此获取色彩比例而又不丢失色彩分布。
针对纹理特征分析与提取，将图像进行灰度化，使用灰度直方图和灰度共生矩阵进行特征分析，使用灰度直方图查看灰度值分布情况，灰度直方图中灰度值分布情况的n阶矩为：
Figure BDA0003495343650000102
其中，n＝1时，t1为图像灰度值的分散情况；n＝2时，t2为图像灰度对比度的量度，即显示出图像纹理的深浅程度；n＝3时，t3为灰度直方图的偏斜程度；n＝3时，t4为图像中纹理灰度的反差。
使用LOG算子(Laplacian of Gaussian，高斯拉普拉斯算子)和灰度共生矩阵影像进行纹理特征提取，对其纹理特征中的能量ASM、对比度CON、相关度CORRLN以及熵ENT这四个特征进行分析和提取。其中，ASM为灰度共生矩阵中各元素的平方和，用来描述纹理的粗细程度；CON为灰度共生矩阵中主对角线附近的惯性矩，用来描述纹理沟纹的深浅；CORRLN为灰度共生矩阵在行列上元素的相似程度，用来描述图像局部纹理的相关性；ENT为交叉熵，用来描述图像纹理的均匀性。
针对轮廓特征分析与提取，先将图像转化为灰度图像，然后使用Canny算子，高斯滤波平滑图像后，用一阶偏导的有限差分来计算梯度的幅值和方向，并对梯度幅值进行非极大值抑制，用双阈值算法检测和连接边缘检测图像轮廓，最后对图像轮廓特征提取。
使用聚类分析方法分析该风格轮廓适合的款式类型。
步骤4：对上述分析的特征进行特征提取；
使用SIFT(Scale-invariant feature transform，尺度不变特征变换)、HOG(Histogram of Oriented Gradient，方向梯度直方图)等方法实现特征提取和特征转换；
为解决低层次特征提取与特征匹配问题，在SIFT中进行如下操作：
(1)、将扫描到尺度上的图像位置，通过高斯微分函数来识别兴趣点；
(2)、找到区域最大值来确定关键点；
(3)、根据图像的局部的梯度方向，则每个关键点包含八个方向(左上、上、右上、右、右下、下、左下和左)，进行尺度和位置的变换。
在对局部边缘处理，弱化光干扰时，采用HOG法，具体操作如下：
(1)、使用Gamma校正，进行图像归一化；
(2)、计算图像梯度，获取轮廓信息并将图像像素分成
Figure BDA0003495343650000111
大小的切片；
(3)、统计每个切片的梯度直方图，并使每7个切片组成一个切块，生成HOG的特征描述。
步骤5：将上述输出的内容特征和风格特征作为基于生成对抗网络的风格模型的输入，生成服装图像Clo1；
个性化风格迁移为将服装内容图像A的内容分离出来，风格图像B中的风格分离出来，由图像A的内容和图像B的风格生成新图像。在该过程中，需要先训练出相关风格模型(这里的风格模型其实质是保存了生成器和判别器不断更新的权重参数最终训练值)，然后进行风格迁移。
生成对抗网络所使用的目标函数为：
Figure BDA0003495343650000112
Figure BDA0003495343650000113
其中，G为生成器，D为判别器，pdatα(x)为真实样本输入，pz(x)随机样本分布，f1、f2、f3分别为色彩、纹理以及轮廓特征标签，而f＝αf1+βf2+λf3。
训练风格模型通过两种损失函数来实现：
内容损失函数Lc，公式如下：
Figure BDA0003495343650000121
其中，l表示生成对抗网络GAN中的深度卷积神经网络的第l层卷积层。并且pl是它们在l层中的相应特征表示；在每个层中，存在Nl个滤波器，每个滤波器具有大小为Dl的矢量化特征映射。
风格损失函数Ls，公式如下：
Figure BDA0003495343650000122
其中，wγ为加权因子，Ml为特征大小。
最后，生成目标的损失函数是内容损失函数和风格损失函数的加权和，损失函数计算公式如下：
L(G)＝r1Lc(C,G)+r2Ls(S,G)；
其中，C-输入图像；S-风格图像；G-生成图像；L(G)-总损失；r1-内容损失权重；r2-风格损失权重。
通过在大量的服装数据集上训练生成对抗网络，根据输入目标风格图像的不同，生成具有图像的风格也不相同。
生成的风格模型可选择性的存入风格模型库，以便后续风格迁移时可以从风格模型库中直接调用，避免花费时间重复训练数据。通过调用风格模型库中的风格模型可以在短时间(几秒)内进行快速风格迁移。
步骤6：将训练好的风格模型生成的服装图像Clon采用插值算法提升图像分辨率，最后输出具有目标风格图像风格的服装图像。
利用所选基函数，求出对应的每个像素的权值，使用插值算法(插值算法根据所选基函数实现)，最终获取分辨率较高的输出图像。其中，所选基函数如下所示：
Figure BDA0003495343650000123
其中，a＝0.5，x为坐标值。
快速风格迁移为将服装内容图像A的内容分离出来，从风格模型库中直接调用风格模型，由服装内容图像A的内容和风格模型的风格生成新图像。
本发明将机器学习中的k均值算法、回归分析和聚类分析的特征分析方法与生成对抗网络相结合，这种方法可以分析色彩特征，纹理特征以及轮廓特征，更加精准的提取风格特征，以便于后续风格迁移生成的图像细节更加突出，更加符合需求(局部特征细节分析与提取和整体效果协调的风格迁移)。
本发明通过输入目标服装风格图像，经过对该图像的风格进行特征提取以及生成对抗网络对服装风格的学习，使得源服装图像的风格具有目标风格图像中的风格。该方法与系统，能够减少风格迁移时间，提升迁移效果的个性化以及细节与整体的协调性，降低实现该技术的硬件配置要求，给设计师提供灵感，缩短设计师的设计时间，使得设计师更快地设计出更新颖的作品。
为了便于理解，下面对生成对抗网络的构建和训练过程进行详细说明。基于生成对抗网络的风格模型的结构如图2所示，基于生成对抗网络的风格模型的构建和训练过程具体包括以下步骤：
S201、设置相关参数，训练次数、学习率、批量处理值以及卷积层数等；
S202、使用卷积神经网络建立生成器G和判别器D，生成器中采用反卷积操作，判别器中采用卷积操作，并加入dropout来防止过拟合；
S203、在判别器中，加入前向传播网络；在生成器中，加入反向传播网络；
S204、在判别器中，所使用的激活函数在前2/3层中使用softmax函数，在后1/3层使用LeakyRelu函数；在生成器中，所使用的激活函数除了最后一层，全部使用LeakyRelu函数，最后一层使用Tanh函数；
S205、在生成器中，所使用的为小批量梯度下降算法，所使用的优化器为adam优化器对梯度进行优化；
S206、固定生成器参数，对判别器进行迭代，不断更新判别器参数，直至判别器输出概率值为0.7；
S207、固定判别器参数，对生成器进行迭代，不断更新生成器参数，直至判别器输出概率值为0.7；
S208、计算误差(生成器生成图像与判别器判别结果进行比较)，若优于上次结果，则替换上次所更新的参数(风格模型就是保存这些参数，这些参数是神经网络中权重值)，并保存于以.pk为后缀的文件中,若次于上次结果，则保持不变；
S209、循环迭代S206、S207、S208的操作，当循环迭代次数等于训练次数，停止训练，其风格模型已通过步骤S208保存于.pk文件中。
本发明中，对生成对抗网络中目标函数和参数设置做出了修改，提高了图像生成效果和缩短了数据集训练时间。
对应本发明中的一种基于深度学习的服装风格迁移方法，本发明还提供了一种基于深度学习的服装风格迁移系统，如图3所示，该系统包括：
数据采集与处理模块，用于图像的采集与图像的预处理操作，具体是获取并预处理源服装内容图像和目标风格图像；
内容提取模块，用于使用单阶段实例分割对所述数据采集与处理模块预处理之后的源服装内容图像进行分割，区分出图像的背景与服装各部位信息，并对服装中关键部位进行标注，得到所述源服装内容图像中的内容特征；
特征提取模块，用于分析目标风格图像的细节特征和剔除杂余信息并将需要的特征提取出来；具体是使用聚类分析方法对所述数据采集与处理模块预处理之后的目标风格图像进行风格特征分析及提取；所述风格特征至少包括：颜色、纹理和轮廓；
风格模型生成模块，用于生成风格模型，计算损失函数，对所述风格模型进行训练，所述风格模型利用基于深度卷积的生成对抗网络生成，所述生成对抗网络包括生成器和判别器，训练好的风格模型中保存有生成器和判别器的权重参数训练值；同时训练好的风格模型保存于风格模型库中，便于后续风格迁移时调用所保存的风格模型；
图像迁移与生成模块包括个性化风格迁移子模块和快速风格迁移子模块，所述个性化风格迁移子模块用于：将所述特征提取模块提取出的风格特征和所述内容提取模块提取出的内容特征输入至训练好的风格模型的生成器中，生成服装图像，实现个性化风格迁移；所述快速风格迁移子模块用于将从所述风格模型库调用的风格模型和所述内容提取模块提取出的内容特征输入至训练好的生成器中，生成服装图像，实现快速风格迁移。
个性化风格迁移需要对数据集训练才能生成风格模型，快速风格迁移则只需要使用已保存的风格模型就可以在极短时间内完成风格迁移。
对于本发明实施例一种基于深度学习的服装风格迁移系统的而言，由于其与上面实施例中的一种基于深度学习的服装风格迁移方法相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分一种基于深度学习的服装风格迁移方法的说明即可，此处不再详述。
本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的一种基于深度学习的服装风格迁移方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于深度学习的服装风格迁移方法，其特征在于，所述方法包括：
获取源服装内容图像，并对所述源服装内容图像进行预处理；
使用单阶段实例分割对预处理之后的源服装内容图像进行分割，区分出图像的背景与服装各部位信息，并对服装中关键部位进行标注，得到所述源服装内容图像中的内容特征；
获取目标风格图像，并对所述目标风格图像进行预处理；
使用聚类分析方法对预处理之后的目标风格图像进行风格特征分析；所述风格特征至少包括：颜色、纹理和轮廓；
对分析出的风格特征进行特征提取；
获取训练好的风格模型；所述风格模型利用基于深度卷积的生成对抗网络生成，所述生成对抗网络包括生成器和判别器，训练好的风格模型中保存有生成器和判别器的权重参数训练值；
将提取出的内容特征和风格特征输入至训练好的风格模型的生成器中，生成服装图像；
将生成器生成的服装图像采用插值算法提升图像分辨率，输出具有目标风格图像风格的服装图像。
2.根据权利要求1所述的一种基于深度学习的服装风格迁移方法，其特征在于，获取训练好的风格模型，包括：
S201、设置训练次数、学习率、批量处理值以及卷积层数；
S202、建立生成器G和判别器D，生成器中采用反卷积操作，判别器中采用卷积操作，并加入dropout来防止过拟合；
S203、在判别器中，加入前向传播网络；在生成器中，加入反向传播网络；
S204、在判别器中，所使用的激活函数在前2/3层中使用softmax函数，在后1/3层使用LeakyRelu函数；在生成器中，所使用的激活函数除了最后一层，全部使用LeakyRelu函数，最后一层使用Tanh函数；
S205、在生成器中，所使用的为小批量梯度下降算法，所使用的优化器为adam优化器对梯度进行优化；
S206、固定生成器参数，对判别器进行迭代，不断更新判别器参数，直至判别器输出概率值为0.7；
S207、固定判别器参数，对生成器进行迭代，不断更新生成器参数，直至判别器输出概率值为0.7；
S208、计算生成器生成图像与判别器判别结果的误差，若优于上次结果，则替换上次所更新的神经网络权重值，并保存于以.pk为后缀的文件中，若次于上次结果，则保持不变；
S209、循环迭代S206、S207、S208的操作，当循环迭代次数等于训练次数，停止训练，其风格模型已通过S208保存于.pk文件中。
3.根据权利要求1所述的一种基于深度学习的服装风格迁移方法，其特征在于，获取训练好的风格模型，包括：
从风格模型库中调用训练好的风格模型。
4.根据权利要求2所述的一种基于深度学习的服装风格迁移方法，其特征在于，所述生成对抗网络的损失函数计算公式如下：
L(G)＝r1Lc(C，G)+r2Ls(S，G)
其中，C-输入图像；S-风格图像；G-生成图像；L(G)-总损失；r1-内容损失权重；r2-风格损失权重；
内容损失函数Lc，公式如下：
Figure FDA0003495343640000021
其中，l表示深度卷积神经网络的第l层卷积层；并且pl是它们在l层中的相应特征表示；在每个层中，存在Nl个滤波器，每个滤波器具有大小为Dl的矢量化特征映射；
风格损失函数Ls，公式如下：
Figure FDA0003495343640000031
其中，wγ为加权因子，Ml为特征大小。
5.根据权利要求1所述的一种基于深度学习的服装风格迁移方法，其特征在于，使用聚类分析方法对预处理之后的目标风格图像进行风格特征分析，包括：
针对轮廓特征，先将图像转化为灰度图像，然后使用Canny边缘检测算子，高斯滤波平滑图像后，用一阶偏导的有限差分来计算梯度的幅值和方向，并对梯度幅值进行非极大值抑制，用双阈值算法检测和连接边缘检测图像轮廓，最后对图像轮廓特征提取。
6.根据权利要求1所述的一种基于深度学习的服装风格迁移方法，其特征在于，使用聚类分析方法对预处理之后的目标风格图像进行风格特征分析，包括：
针对色彩特征分析，使用k-均值算法将颜色聚类到预定义数量的组中；
根据色彩占总体的比率大小，使用颜色直方图分析不同色彩在整幅图像中所占的比例，提取流行服装的主色调以及流行服装中各色彩比例关系；所述流行服装为服装销售网站销量排名前预设位的服装。
7.根据权利要求1所述的一种基于深度学习的服装风格迁移方法，其特征在于，使用聚类分析方法对预处理之后的目标风格图像进行风格特征分析，包括：
针对纹理特征分析，将图像进行灰度化，使用LOG算子和灰度共生矩阵进行特征分析，使用灰度直方图查看灰度值分布情况，对其纹理特征中的能量ASM、对比度CON、相关度CORRLN以及熵ENT这四个特征进行分析和提取；其中，ASM为灰度共生矩阵中各元素的平方和，用来描述纹理的粗细程度；CON为灰度共生矩阵中主对角线附近的惯性矩，用来描述纹理沟纹的深浅；CORRLN为灰度共生矩阵在行列上元素的相似程度，用来描述图像局部纹理的相关性；ENT为交叉熵，用来描述图像纹理的均匀性；
8.根据权利要求2所述的一种基于深度学习的服装风格迁移方法，其特征在于，所述生成对抗网络使用的目标函数为：
Figure FDA0003495343640000041
其中，G为生成器，D为判别器，pdata(x)为真实样本输入，pz(x)随机样本分布，f1、f2、f3分别为色彩、纹理以及轮廓特征标签，而f＝αf1+βf2+λf3。
9.一种基于深度学习的服装风格迁移系统，其特征在于，所述系统包括：
数据采集与处理模块，用于获取并预处理源服装内容图像和目标风格图像；
内容提取模块，用于使用单阶段实例分割对所述数据采集与处理模块预处理之后的源服装内容图像进行分割，区分出图像的背景与服装各部位信息，并对服装中关键部位进行标注，得到所述源服装内容图像中的内容特征；
特征提取模块，用于使用聚类分析方法对所述数据采集与处理模块预处理之后的目标风格图像进行风格特征分析及提取；所述风格特征至少包括：颜色、纹理和轮廓；
风格模型生成模块，用于生成风格模型，计算损失函数，对所述风格模型进行训练，所述风格模型利用基于深度卷积的生成对抗网络生成，所述生成对抗网络包括生成器和判别器，训练好的风格模型中保存有生成器和判别器的权重参数训练值；同时训练好的风格模型保存于风格模型库中，便于后续风格迁移时调用所保存的风格模型；
图像迁移与生成模块包括个性化风格迁移子模块和快速风格迁移子模块，所述个性化风格迁移子模块用于：将所述特征提取模块提取出的风格特征和所述内容提取模块提取出的内容特征输入至训练好的风格模型的生成器中，生成服装图像，实现个性化风格迁移；所述快速风格迁移子模块用于将从所述风格模型库调用的风格模型和所述内容提取模块提取出的内容特征输入至训练好的生成器中，生成服装图像，实现快速风格迁移。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如权利要求1～8任一项所述的基于深度学习的服装风格迁移方法。
CN202210112799.8A 2022-01-29 2022-01-29 一种基于深度学习的服装风格迁移方法及系统 Pending CN114445268A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210112799.8A CN114445268A (zh) 2022-01-29 2022-01-29 一种基于深度学习的服装风格迁移方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210112799.8A CN114445268A (zh) 2022-01-29 2022-01-29 一种基于深度学习的服装风格迁移方法及系统

Publications (1)

Publication Number Publication Date
CN114445268A true CN114445268A (zh) 2022-05-06

Family

ID=81371798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210112799.8A Pending CN114445268A (zh) 2022-01-29 2022-01-29 一种基于深度学习的服装风格迁移方法及系统

Country Status (1)

Country Link
CN (1) CN114445268A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115618452A (zh) * 2022-12-08 2023-01-17 湖南大学 具有设计师风格的服装图像智能生成系统
CN116128717A (zh) * 2023-04-17 2023-05-16 四川观想科技股份有限公司 一种基于神经网络的图像风格迁移方法
WO2024078399A1 (zh) * 2022-10-13 2024-04-18 北京沃东天骏信息技术有限公司 迁移方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078399A1 (zh) * 2022-10-13 2024-04-18 北京沃东天骏信息技术有限公司 迁移方法和装置
CN115618452A (zh) * 2022-12-08 2023-01-17 湖南大学 具有设计师风格的服装图像智能生成系统
CN116128717A (zh) * 2023-04-17 2023-05-16 四川观想科技股份有限公司 一种基于神经网络的图像风格迁移方法

Similar Documents

Publication Publication Date Title
Zanjani et al. Stain normalization of histopathology images using generative adversarial networks
CN114445268A (zh) 一种基于深度学习的服装风格迁移方法及系统
CN107679466B (zh) 信息输出方法和装置
CN107633522B (zh) 基于局部相似性活动轮廓模型的脑部图像分割方法和系统
WO2019089578A1 (en) Font identification from imagery
CN110705425B (zh) 一种基于图卷积网络的舌象多标签分类方法
US20130071816A1 (en) Methods and systems for building a universal dress style learner
CN108846404B (zh) 一种基于相关约束图排序的图像显著性检测方法及装置
CN107506792B (zh) 一种半监督的显著对象检测方法
CN109033978B (zh) 一种基于纠错策略的cnn-svm混合模型手势识别方法
CN109359515A (zh) 一种用于对目标对象的属性特征进行识别的方法及装置
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
CN113095333B (zh) 无监督特征点检测方法及装置
US20210248729A1 (en) Superpixel merging
Chawathe Rice disease detection by image analysis
CN110427912A (zh) 一种基于深度学习的人脸检测方法及其相关装置
Sathish et al. Analysis of Convolutional Neural Networks on Indian food detection and estimation of calories
CN111028923A (zh) 数字病理图像染色归一化方法、电子装置及存储介质
CN108564569B (zh) 一种基于多核分类学习的混凝土裂缝检测方法及装置
CN109801275A (zh) 基于图像识别的马铃薯病害检测方法和系统
CN112861718A (zh) 一种轻量级特征融合人群计数方法及系统
Wang et al. Dermoscopic image segmentation through the enhanced high-level parsing and class weighted loss
CN117576079A (zh) 一种工业产品表面异常检测方法、装置及系统
Shao et al. Research on automatic identification system of tobacco diseases
CN117197479A (zh) 一种应用玉米果穗外表面的图像分析方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination