CN112861884B - 一种基于深度学习的服饰图像外观属性修改方法 - Google Patents

一种基于深度学习的服饰图像外观属性修改方法 Download PDF

Info

Publication number
CN112861884B
CN112861884B CN202110293375.1A CN202110293375A CN112861884B CN 112861884 B CN112861884 B CN 112861884B CN 202110293375 A CN202110293375 A CN 202110293375A CN 112861884 B CN112861884 B CN 112861884B
Authority
CN
China
Prior art keywords
attribute
image
fake
clothing
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110293375.1A
Other languages
English (en)
Other versions
CN112861884A (zh
Inventor
陈彦
司新建
胡洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110293375.1A priority Critical patent/CN112861884B/zh
Publication of CN112861884A publication Critical patent/CN112861884A/zh
Application granted granted Critical
Publication of CN112861884B publication Critical patent/CN112861884B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的服饰图像外观属性修改方法，该方法主要包括：获取颜色属性、领口样式属性和袖子长度属性这三个服饰外观属性的子数据集；建立基于深度学习的服饰图像外观属性修改模型；使用三个子数据集对基于深度学习的服饰图像外观属性修改模型进行训练；使用训练好的基于深度学习的服饰图像外观属性修改模型对待测试服饰图像进行外观属性修改。本发明提出了一种将属性编码与内容编码分离表示的方法，使用这种方法进行服饰图像外观属性迁移，可以提升生成服饰图像的质量和外观属性迁移的成功率，同时保证生成服饰图像中与迁移的外观属性不相关的部分维持原状。

Description

一种基于深度学习的服饰图像外观属性修改方法
技术领域
本发明属于图像处理领域，具体涉及一种基于深度学习的服饰图像外观属性修改方法。
背景技术
图像编辑和转换一直是计算机视觉领域的热门研究方向。能够对图像中的某些属性进行编辑和迁移在特定场景下是非常有用的，例如用户对于图像中的某个视觉属性不满意的情况。对于购物网站来说，如果能够以让用户以低学习成本来修改商品服饰图像的属性，无疑可以大幅提升用户体验。
近年来深度学习和生成对抗网络得到了快速发展。越来越多的图像编辑任务都开始利用生成对抗网络(GAN)完成。然而已有的大部分工作都是在人脸数据集上完成，而鲜少在服饰图像这个更加广阔的应用场景上实现。相比起人脸图像，服饰图像属性编辑具有较高的难度，这主要是由于服饰图像种类繁多、属性复杂，更有颜色、纹理这种人脸数据上不具有的属性。
利用生成对抗网络对于服饰图像属性进行迁移有两大挑战，首先是如何生成高质量的属性迁移图像，使得得到的图像看起来真实；其次是在迁移属性时，如何保证不会影响原图的其他属性。本发明通过设计网络结构与损失函数，将属性和内容分开处理，实现了上述要求，实验证明这是一个有效的尝试。
发明内容
本发明的目的在于，提出一种基于深度学习的服饰图像外观属性修改方法，这种方法主要包括数据集的获取与清洗、网络结构的设计、网络训练方法和损失函数的选择。
本发明提出的一种基于深度学习的服饰图像外观属性修改方法，包括以下步骤：
步骤1：在公开的服饰属性数据集Shopping100k中，通过Category属性筛选出上半身服饰，并分别根据颜色属性、领口样式属性和袖子长度属性这三个服饰外观属性建立三个子数据集：颜色属性数据集Datacolor、领口样式属性数据集Datacollar以及袖子长度属性数据集Datasleeve，其中，颜色属性数据集Datacolor包括38359张仅在颜色属性上进行了分类标注的服饰图像，即包括38359张真实样本图像；领口样式属性数据集Datacollar包括18076张仅在领口样式属性上进行了分类标注的服饰图像，即包括18076张真实样本图像；袖子长度属性数据集Datasleeve包括45791张仅在袖子长度属性上进行了分类标注的服饰图像，即包括45791张真实样本图像；
步骤2：建立基于深度学习的服饰图像外观属性修改模型，所述基于深度学习的服饰图像外观属性修改模型共包括四个独立的神经网络模型，分别为：基于深度卷积神经网络的属性编码器Ea，用于提取输入服饰图像的属性相关的特征，得到输入服饰图像的属性编码；基于深度卷积神经网络的内容编码器Ec，用于提取输入服饰图像的内容特征，输出为输入服饰图像的内容编码；解码器Dec，接收属性编码和内容编码作为输入，按照属性编码以及内容编码表示的特征生成伪图像；判别器D，将来自三个子数据集的真实样本图像或者由解码器Dec生成的伪图像作为输入，输出为对输入的真伪判别结果以及输入在颜色、袖子长度或领口样式这三个服饰外观属性上的分类结果；
步骤3：使用步骤1得到的三个子数据集，对步骤2建立的基于深度学习的服饰图像外观属性修改模型进行训练，得到训练好的基于深度学习的服饰图像外观属性修改模型，其中，对基于深度学习的服饰图像外观属性修改模型的训练采取了循环训练的策略，循环次数为80000次，每次循环中依次进行三次子训练，这三次子训练分别对应三个服饰图像外观属性：领口样式属性、袖子长度属性和颜色属性；
步骤4：使用训练好的基于深度学习的服饰图像外观属性修改模型对待测试服饰图像进行外观属性修改。
本发明提出了一种将属性编码与内容编码分离表示的方法，使用这种方法进行服饰图像外观属性迁移，可以提升生成服饰图像的质量和外观属性迁移的成功率；同时保证生成服饰图像中与迁移的外观属性不相关的部分维持原状。与已有的服饰图像外观属性迁移方法相比，本发明具有精确修改外观属性、对生成服饰图像其他部分影响低的优点。
附图说明
图1是基于深度学习的服饰图像外观属性修改模型的整体结构图
图2是AdaIN的结构示意图
图3是本发明进行颜色属性迁移的结果图
图4是本发明进行领口样式属性迁移的结果图
图5是本发明进行袖子长度属性迁移的结果图
图6是本发明4个关键点检测结果以及对应生成的属性框的示意图
具体实施方式
本发明主要提出了一套基于生成对抗网络，对服饰图像外观属性进行迁移的方法。下面结合附图对本发明的细节进行描述。
本发明提出了一种基于深度学习的服饰图像外观属性修改方法，该方法的实现步骤如下：
步骤1：对Kenan Emir Ak在论文中公开的服饰属性数据集Shopping100k根据服饰外观属性建立了三个子数据集。服饰属性数据集Shopping100k共包括近10万张图像，每张图像在12个服饰图像外观属性上分别进行了标注，每个服饰图像外观属性都有数个类别，如袖子长度属性就包括9个可能的类别：3/4长度，Spaghetti(露肩)，Sleeveless(无袖)，Elbow(到手肘长度)，Extra Long(加长)，Extra Short(超短)，Long(长)，Short(短)，Strapless(无肩带)。注意到Shopping100k数据集中并非每一张图像都在所有的服饰图像外观属性上有对应的类别标注。根据本发明的实际需求，仅选取上半身服饰这个类别(通过服饰属性数据集Shopping100k中的Category属性筛选)，在此基础上为每个服饰图像外观属性建立单独的子数据集，例如袖子长度属性数据集中，仅包含在袖子长度属性上进行了分类标注的服饰图像。最终得到三个子数据集，包括颜色属性数据集(包括38359张服饰图像，即包括38359张真实样本图像)Datacolor、领口样式属性数据集(包括18076张服饰图像，即包括18076张真实样本图像)Datacollar和袖子长度属性数据集(包括45791张服饰图像，即包括45791张真实样本图像)Datasleeve。
步骤2：建立基于深度学习的服饰图像外观属性修改模型，图1展示了基于深度学习的服饰图像外观属性修改模型的整体结构。所述基于深度学习的服饰图像外观属性修改模型共包括四个独立的神经网络模型，分别为：基于深度卷积神经网络的属性编码器Ea，用于提取输入服饰图像的属性相关的特征，得到输入服饰图像的属性编码；基于深度卷积神经网络的内容编码器Ec，用于提取输入服饰图像的内容特征，输出为输入服饰图像的内容编码；解码器Dec，接收属性编码和内容编码作为输入，按照属性编码以及内容编码表示的特征生成伪图像；判别器D，将来自三个子数据集的真实样本图像或者由解码器Dec生成的伪图像作为输入，输出对来自三个子数据集的真实样本图像或者由解码器Dec生成的伪图像的真伪判别结果以及来自三个子数据集的真实样本图像或者由解码器Dec生成的伪图像在三个服饰外观属性(颜色、袖子长度与领口样式)的分类结果。属性编码和内容编码分别包含了服饰图像中不同部分的信息，内容编码指在特征上与属性编码不相关的信息。
步骤3：使用步骤1得到的三个子数据集，对步骤2建立的基于深度学习的服饰图像外观属性修改模型进行训练。训练采取了循环训练的策略，循环次数为80000次，每次循环训练依次进行三次子训练，这三次子训练分别对应三个服饰图像外观属性：领口样式属性、袖子长度属性和颜色属性。
对所述基于深度学习的服饰图像外观属性修改模型进行训练的具体步骤包括步骤3.1-步骤3.6，其中，步骤3.1-步骤3.3对应一次循环训练中的领口样式属性子训练；步骤3.4对应一次循环训练中的袖子长度属性子训练；步骤3.5对应一次循环训练中的颜色属性子训练：
步骤3.1：从领口样式属性数据集Datacollar中获取两张服饰图像src和ref，这两张服饰图像具有不同的领口样式属性分类，它们的领口样式属性分类标签分别用lsrc和lref表示。
步骤3.2：训练判别器D：
使用属性编码器Ea分别提取服饰图像src和ref的属性编码as和ar：
as＝Ea(src)
ar＝Ea(ref)
将服饰图像src送入内容编码器Ec得到服饰图像src的内容编码cs：
cs＝Ec(src)
将服饰图像src送入判别器D，得到判别器D对于服饰图像src是否为领口样式属性数据集Datacollar中真实样本图像的判别结果advreal以及对于服饰图像src的领口样式属性分类结果clsreal。判别器D在多次循环训练后由于对抗损失函数
Figure GDA0003498857680000048
的约束，学习到来自领口样式属性数据集Datacollar中的真实样本图像分布，因此advreal代表了服饰图像src接近领口样式属性数据集Datacollar中真实样本图像分布的程度。
advreal,clsreal＝D(src)
使用advreal和clsreal计算一次判别器D的对抗损失函数
Figure GDA0003498857680000046
和分类损失函数
Figure GDA0003498857680000047
Figure GDA0003498857680000041
Figure GDA0003498857680000042
其中
Figure GDA0003498857680000043
采用二元交叉熵损失函数计算，binary_cross_entropy为PyTorch自带的损失函数，用于接收两个相同维度的张量并计算它们之间的交叉熵损失。在
Figure GDA0003498857680000044
的计算中要求advreal的结果接近1，用于监督判别器D正确判断领口样式属性数据集中Datacollar的真实样本图像为真。
Figure GDA0003498857680000045
使用了交叉熵损失函数计算，用于监督判别器D对于服饰图像src进行正确的领口样式属性分类。
为了修改服饰图像外观属性，需要将ar与as进行重组。ar与as都是192维度的张量，分别沿着ar与as中最后一个维度对张量ar与as进行划分，有：
ar＝[r1,r2,r3]
as＝[s1,s2,s3]
其中ri与si(i＝1，2，3)分别代表了属性编码ar与as中对应于第i个属性的特征编码，ri与si均为64维度的张量。要将服饰图像ref中的第i个属性(本发明中，i＝1对应于颜色属性，i＝2对应于领口样式属性，i＝3对应于袖子长度属性，这里为第2个属性领口样式)迁移到服饰图像src中，需要将ar与as重组得到arec：
arec＝[s1,r2,s3]
将arec与cs送入解码器Dec得到伪图像fake：
fake＝Dec(cs,arec)
将伪图像fake送入判别器D，得到判别器D对于伪图像fake接近领口样式属性数据集Datacollar中真实样本图像分布程度的判别结果advfake以及对于伪图像fake的领口样式属性分类结果clsfake。由于判别器D在多次循环训练后学习到领口样式属性数据集Datacollar中真实样本图像分布，因此advfake代表了伪图像fake接近领口样式属性数据集Datacollar中真实样本图像分布的程度。使用advfake计算一次判别器D的对抗损失函数
Figure GDA0003498857680000051
advfake,clsfake＝D(fake)
Figure GDA0003498857680000052
其中
Figure GDA0003498857680000053
采用了二元交叉熵损失函数计算，要求advfake的结果接近0，用于监督判别器D正确判断生成的伪图像fake为假。
判别器D总的损失函数为：
Figure GDA0003498857680000054
其中，λadv、λcls分别代表判别器D总的对抗损失函数和分类损失函数的权重。λadv、λcls均为经验参数，可根据实际情况进行调节。本发明中，λadv的取值为1，λcls的取值为0.5。
采用上述判别器D总的损失函数并使用Pytorch框架的自动求导与反向传播机制，更新判别器D的参数，得到在领口样式属性修改任务上更新参数后的判别器D′。
步骤3.3：训练属性编码器Ea、内容编码器Ec与解码器Dec：
继续使用步骤3.1从领口样式属性数据集Datacollar中取出的服饰图像src与服饰图像ref。由于在实际训练中，步骤3.2使用Pytorch框架的反向传播机制后计算图被摧毁，因此需要重复步骤3.2中伪图像fake的生成过程，其中，计算图是指输入服饰图像被输入基于深度学习的服饰图像外观属性修改模型后，经过一系列计算得到的基于深度学习的服饰图像外观属性修改模型中各网络层参数之间的计算关系，计算图用于反向传播时计算梯度。
使用内容编码器Ec提取服饰图像src的内容编码cs：
cs＝Ec(src)
将服饰图像src与服饰图像ref分别送入属性编码器Ea得到服饰图像src的属性编码as与服饰图像ref的属性编码ar：
as＝Ea(src)
ar＝Ea(ref)
为了修改服饰图像外观属性，需要将ar与as进行重组。ar与as都是192维度的张量，分别沿着ar与as中最后一个维度对张量ar与as划分，有：
ar＝[r1,r2,r3]
as＝[s1,s2,s3]
其中ri与si分别代表了属性编码ar与as中对应于第i个属性(第2个属性为领口样式属性)的特征编码，ri与si均为64维度的张量。要将服饰图像ref中的第2个属性迁移到服饰图像src中，需要将ar与as重组得到arec：
arec＝[s1,r2,s3]
将arec与cs送入解码器Dec得到伪图像fake(这里的伪图像fake与步骤3.2中得到的伪图像fake相同)
fake＝Dec(cs,arec)
将伪图像fake送入判别器D′，得到判别器D′对于伪图像fake接近领口样式属性数据集Datacollar中真实样本图像分布程度的判别结果advfake′以及对于伪图像fake领口样式属性分类结果clsfake′。lref为服饰图像ref在领口样式属性上的分类标签。
advfake′,clsfake′＝D′(fake)
Figure GDA0003498857680000061
Figure GDA0003498857680000062
其中，
Figure GDA0003498857680000063
分别表示属性编码器Ea、内容编码器Ec与解码器Dec的对抗损失函数以及属性编码器Ea、内容编码器Ec与解码器Dec的分类损失函数。
Figure GDA0003498857680000064
采用了二元交叉熵损失函数计算，要求advfake′的结果接近1，使得生成的伪图像fake成功欺骗能够分辨输入服饰图像真伪的判别器D′，使其判断伪图像fake为领口样式属性数据集中的真实样本图像，来约束属性编码器Ea、内容编码器Ec与解码器Dec生成尽可能真实的服饰图像。
Figure GDA0003498857680000065
采用交叉熵损失函数计算，
Figure GDA0003498857680000071
的约束使得生成的伪图像fake在领口样式属性上的分类类别由原来服饰图像src的分类类别变为服饰图像ref的分类类别。
为了避免这种修改方式生成的伪图像fake将其他与领口样式属性不相关的属性也进行了修改，本发明还使用了基于PyTorch的开源视觉时尚分析工具箱mmfashion获取领口样式属性数据集Datacollar中每一张服饰图像的关键点，将对应于服饰图像ref中的第i个属性(这里为第2个属性领口样式属性)的关键点取出，使用取出的这些属性关键点，获取领口样式属性相关区域的框，如图6所示。利用获取的领口样式属性相关区域的框，将领口样式属性相关区域分别从伪图像fake和服饰图像src中去掉，分别获得伪图像fake和服饰图像src中与领口样式属性不相关的区域，获得与领口样式属性不相关的区域的过程用函数Funrelate()表示，此处的不相关指服饰图像像素上的不相关。因此，属性编码器Ea、内容编码器Ec与解码器Dec的像素损失函数
Figure GDA0003498857680000072
有如下形式：
Figure GDA0003498857680000073
其中，||*||1表示L1范数，
Figure GDA0003498857680000074
是为了约束基于深度学习的服饰图像外观属性修改模型，防止在生成的伪图像fake中将与领口样式属性不相关的区域进行了修改。
综上，属性编码器Ea、内容编码器Ec与解码器Dec总的损失函数为
Figure GDA0003498857680000075
其中，λadv、λcls和λpix分别代表属性编码器Ea、内容编码器Ec与解码器Dec对抗损失函数、分类损失函数和像素损失函数的权重。λadv、λcls和λpix均为经验参数，可根据实际情况进行调节。本发明中，λadv的取值为1，λcls的取值为0.5，λpix的取值为5。
采用属性编码器Ea、内容编码器Ec与解码器Dec总的损失函数
Figure GDA0003498857680000076
并使用Pytorch框架的自动求导与反向传播机制，更新属性编码器Ea、内容编码器Ec与解码器Dec的参数，得到在领口样式属性修改任务上更新参数后的属性编码器Ea′、内容编码器Ec′与解码器Dec′。
每次训练都使得基于深度学习的服饰图像外观属性修改模型在该服饰图像外观属性(此处指领口样式属性)上修改的效果好一点。
步骤3.4：从袖子长度属性数据集Datasleeve中获取两张具有不同袖子长度属性分类的服饰图像src′和ref′，基于步骤3.2得到的在领口样式属性修改任务上更新参数后的判别器D′和步骤3.3得到的在领口样式属性修改任务上更新参数后的属性编码器Ea′、内容编码器Ec′与解码器Dec′，继续训练基于深度学习的服饰图像外观属性修改模型，其训练思路与步骤3.1-步骤3.3相同，最后得到在袖子长度属性修改任务上更新参数后的判别器以及在袖子长度属性修改任务上更新参数后的属性编码器、内容编码器与解码器。
步骤3.5：继续从颜色属性数据集Datacolor中获取两张具有不同颜色属性分类的服饰图像src″和服饰图像ref″，基于步骤3.4得到的在袖子长度属性修改任务上更新参数后的判别器以及在袖子长度属性修改任务上更新参数后的属性编码器、内容编码器与解码器，继续训练基于深度学习的服饰图像外观属性修改模型，其训练思路与步骤3.1-步骤3.3相同，但在步骤3.3中，由于颜色属性的修改并不涉及服饰图像结构的变化，因此不再计算像素损失函数，属性编码器、内容编码器与解码器总的损失函数中不再包括像素损失函数。最后得到在颜色属性修改任务上更新参数后的判别器以及在颜色属性修改任务上更新参数后的属性编码器、内容编码器与解码器。
步骤3.6：重复步骤3.1-3.5直到达到给定的循环次数，最终得到训练好的基于深度学习的服饰图像外观属性修改模型及其参数。使用Pytorch提供的torch.save()函数，将训练好的基于深度学习的服饰图像外观属性修改模型的参数持久化保存为.pth格式的文件，以便测试和展示使用。
步骤4：使用训练好的基于深度学习的服饰图像外观属性修改模型进行测试：
从磁盘中读取.pth格式的文件，将保存的训练好的基于深度学习的服饰图像外观属性修改模型的参数加载到内存中，获得训练好的基于深度学习的服饰图像外观属性修改模型中的属性编码器
Figure GDA0003498857680000081
内容编码器
Figure GDA0003498857680000082
与解码器Declast。给定两张待测试服饰图像src″′和ref″′，以及需要迁移的服饰图像外观属性序号(本发明中，属性序号1对应于颜色属性，属性序号2对应于领口样式属性，属性序号3对应于袖子长度属性)。以迁移颜色属性为例，将服饰图像src″′分别送入属性编码器
Figure GDA0003498857680000083
和内容编码器
Figure GDA0003498857680000084
中，将服饰图像ref″′送入属性编码器
Figure GDA0003498857680000085
中，得到属性编码a″′s和a″′r以及内容编码c″′s。
Figure GDA0003498857680000086
Figure GDA0003498857680000087
Figure GDA0003498857680000088
要迁移的颜色属性序号为1，得到a″′rec：
a″′rec＝[r″′1,s″′2,s″′3]
将a″′rec与c″′s送入解码器Declast即可得到伪图像fake″′，伪图像fake″′具有与服饰图像src″′相同的形状结构，但颜色却与服饰图像ref″′相同，由此完成了服饰图像外观属性(以颜色属性为例)的迁移。
进一步地，在步骤1中，Shopping100k数据集本来包含了10万余张服饰图像，并对每张服饰图像在领口样式、颜色、袖子长度等属性上进行了标注。但并非每张服饰图像在每个属性上都有标注，对于未被标注的属性，数据集作者用‘-1’来表示。本发明是在颜色、袖子长度与领口样式属性上进行循环训练的，因此对每个子数据集(颜色、领口样式、袖子长度)都使用了独立的Dataloader来加载在当前属性上有标注的数据。
在加载每个子数据集的数据过程中，还对每个子数据集中的每张服饰图像进行了数据增强和标准化操作。具体而言，对于三个子数据集中的任意一个子数据集，其中的每张服饰图像都被按照原尺寸读入，然后使用Pytorch提供的resize()函数将每张服饰图像的尺寸均修改为256*256，随后对每张服饰图像进行随机翻转，以增加该子数据集的容量；由于每张服饰图像具有8bit的色深，像素值范围在0～255之间，在对每张服饰图像进行随机翻转之后，使用PyTorch的toTensor函数将每张服饰图像的像素值归一化到[0,1]区间，然后使用[0.5,0.5]的均值和标准差将每张服饰图像像素值的范围归一化到[-1,1]区间，这是因为神经网络的输入输出最好是0均值，这样参数比较好学习。
同时，由于每个子数据集中的服饰图像存在属性类别分布不均匀的情况，因此，在三个子数据集中的任意一个子数据集中，使用Pytorch提供的Datasampler工具，将出现频率低的属性类别对应的服饰图像进行多次采样，即重采样，通过重采样使得该子数据集中的服饰图像在属性类别分布上较为均衡，以提升判别器的属性分类准确率，进而间接地提升修改属性的成功率。
进一步地，在步骤2中建立的四个独立的神经网络模型均采用了深度卷积网络。属性编码器Ea输出属性编码a，内容编码器Ec输出内容编码c，解码器Dec负责接收输入a与c，其中a是一个192维度的张量，a与c同时输入解码器Dec，最终得到256*256*3的伪图像fake。解码器Dec的具体结构参数如表1所示，解码器Dec由6个Resblk结构依次串联组成，并在最后一个Resblk结构之后连接一个toImg层。所述toImg层由归一化层、激活函数和卷积层依次串联组成，用于将上一个Resblk结构输出的包含64通道的特征图张量的通道数降低为3，变成RGB图像，其中，toImg层中的归一化层为IN(Instance Normalization)层，toImg层中的激活函数为LeakyReLU。
每个Resblk结构有着归一化层-激活函数-卷积层-归一化层-激活函数-卷积层的结构，其中每个Resblk结构中的归一化层均为AdaIN(Adaptive InstanceNormalization)，每个Resblk结构中的激活函数均为LeakyReLU，每个Resblk结构中的卷积层中的卷积核尺寸均为3*3、卷积层的步长均为1。每个AdaIN由两个全连接层fcbeta和fcgamma以及一个IN(Instance Normalization)层组成，如图2所示。
对于任意一个AdaIN，AdaIN接受的输入包括来自上一个卷积层输出的维度为C*H*W的特征图fea以及属性编码a，其中，C、H、W均为大于1的整数，表1中标注的输出维度就是C*H*W。特征图fea作为AdaIN中IN层的唯一输入，其输出为IN层输出的特征图IN(fea)；属性编码a分别通过AdaIN中的全连接层fcbeta与fcgamma得到相应的beta与gamma，由此AdaIN通过属性编码a对IN层输出的特征图IN(fea)在通道C的维度上进行缩放和偏移，从而实现属性迁移的目的，其中，对IN(fea)的缩放采用gamma实现，对IN(fea)的偏移采用beta实现。
AdaIN(fea,a)＝(1+fcgamma(a))*IN(fea)+fcbeta(a)
其中，fcgamma(a)＝gamma，fcbeta(a)＝beta。
上述在步骤2中出现的所有IN(Instance Normalization)层的结构和功能均相同。
表1解码器的具体结构参数表
网络层 归一化层 采样方式 输出维度
ResBlk AdaIN 16*16*512
ResBlk AdaIN 16*16*512
ResBlk AdaIN 上采样 32*32*512
ResBlk AdaIN 上采样 64*64*256
ResBlk AdaIN 上采样 128*128*128
ResBlk AdaIN 上采样 256*256*64
toImg IN 256*256*3
进一步地，在步骤3中，在每次循环中先从领口样式属性数据集对应的Dataloader中获取服饰图像，进行训练；然后从袖子长度属性数据集对应的Dataloader中获取服饰图像，进行训练；最后从颜色属性数据集对应的Dataloader中获取服饰图像，进行训练。为了保证不修改与领口样式或袖子长度属性不相关区域，在对领口样式和袖子长度属性进行训练时使用了mmfashion框架标注的属性关键点。mmfashion是香港中文大学开源的时尚图像多任务框架，提供关键点检测、属性预测等功能。本发明使用mmfashion的关键点检测功能，对领口样式属性数据集以及袖子长度属性数据集中的每张服饰图像的6个关键点(衣服左底部边缘关键点、衣服右底部边缘关键点、左袖底部关键点，右袖底部关键点，左领口边缘关键点和右领口边缘关键点)均进行检测，然后取出其中的4个关键点(左袖底部关键点，右袖底部关键点，左领口边缘关键点和右领口边缘关键点)，如图6所示。
对于领口样式属性数据集中的任意一张服饰图像，将对应于服饰图像中领口样式属性的关键点左领口边缘关键点和右领口边缘关键点取出，由此生成领口样式属性框，所述领口样式属性框左上角x坐标由该服饰图像左领口边缘关键点的x坐标减10个像素得到，y坐标由该服饰图像左领口边缘关键点的y坐标减10个像素得到；所述领口样式属性框右下角x坐标由该服饰图像右领口边缘关键点的x坐标加30个像素得到，y坐标由该服饰图像右领口边缘关键点的y坐标加10个像素得到。
对于袖子长度属性数据集中的任意一张服饰图像，将对应于服饰图像中袖子长度属性的关键点左袖底部关键点和右袖底部关键点取出，由此生成左袖子对应的属性框和右袖子对应的属性框，其中，所述左袖子对应的属性框左上角x坐标为0，y坐标为0；所述左袖子对应的属性框右下角x坐标由该服饰图像左袖底部关键点的x坐标加30个像素得到，y坐标为255。所述右袖子对应的属性框左上角x坐标为该服饰图像右袖底部关键点x坐标，y坐标为0；所述右袖子对应的属性框右下角x坐标为255，y坐标为255。在从领口样式属性数据集对应的Da taloader中获取服饰图像进行训练时，使用生成的领口样式属性框提取伪图像fake和图像src中与领口样式属性无关的区域，计算像素损失函数；在从袖子长度属性数据集对应的Dataloa der中获取服饰图像进行训练时，使用生成的左袖子对应的属性框和右袖子对应的属性框提取伪图像fake和图像src中与袖子长度属性无关的区域，计算像素损失函数。通过这样的约束，保证了在修改某一服饰图像外观属性时，其他与该服饰图像外观属性无关的区域和属性可以维持不变。图6展示了如何利用关键点生成对应的属性框。
进一步地，在步骤4的测试过程中，本实施例验证了对于256*256像素的服饰图像在仅有服饰图像外观属性分类标注的情况下，本发明提出的方法在服饰图像外观属性迁移任务上的有效性。在本实施例中分别选取颜色、领口样式和袖子长度三种服饰图像外观属性进行实验。这三种服饰图像外观属性进行迁移所得结果分别如图3、图4和图5所示。从图3中可以看出，训练好的基于深度学习的服饰图像外观属性修改模型可以在保证服饰整体形状和其他属性不变的情况下，将最左侧一列的参考服饰的颜色迁移到最上一行的样例服饰上；图4和图5则分别展示了从参考服饰中迁移领口样式和袖子长度的结果。可以看出，本发明可以有效对服饰图像外观属性进行迁移。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合；本领域的技术人员根据本发明技术方案的技术特征所做出的任何非本质的添加、替换，均属于本发明的保护范围。

Claims (3)

1.一种基于深度学习的服饰图像外观属性修改方法，其特征在于，该方法包括以下步骤：
步骤1：在公开的服饰属性数据集Shopping100k中，通过Category属性筛选出上半身服饰，并分别根据颜色属性、领口样式属性和袖子长度属性这三个服饰外观属性建立三个子数据集：颜色属性数据集Datacolor、领口样式属性数据集Datacollar以及袖子长度属性数据集Datasleeve，其中，颜色属性数据集Datacolor包括38359张仅在颜色属性上进行了分类标注的服饰图像，即包括38359张真实样本图像；领口样式属性数据集Datacollar包括18076张仅在领口样式属性上进行了分类标注的服饰图像，即包括18076张真实样本图像；袖子长度属性数据集Datasleeve包括45791张仅在袖子长度属性上进行了分类标注的服饰图像，即包括45791张真实样本图像；
步骤2：建立基于深度学习的服饰图像外观属性修改模型，所述基于深度学习的服饰图像外观属性修改模型共包括四个独立的神经网络模型，分别为：基于深度卷积神经网络的属性编码器Ea，用于提取输入服饰图像的属性相关的特征，得到输入服饰图像的属性编码；基于深度卷积神经网络的内容编码器Ec，用于提取输入服饰图像的内容特征，输出为输入服饰图像的内容编码；解码器Dec，接收属性编码和内容编码作为输入，按照属性编码以及内容编码表示的特征生成伪图像；判别器D，将来自三个子数据集的真实样本图像或者由解码器Dec生成的伪图像作为输入，输出为对输入的真伪判别结果以及输入在颜色、袖子长度或领口样式这三个服饰外观属性上的分类结果；
步骤3：使用步骤1得到的三个子数据集，对步骤2建立的基于深度学习的服饰图像外观属性修改模型进行训练，得到训练好的基于深度学习的服饰图像外观属性修改模型，其中，对基于深度学习的服饰图像外观属性修改模型的训练采取了循环训练的策略，循环次数为80000次，每次循环训练中依次进行三次子训练，这三次子训练分别对应三个服饰图像外观属性：领口样式属性、袖子长度属性和颜色属性；
步骤4：使用训练好的基于深度学习的服饰图像外观属性修改模型对待测试服饰图像进行外观属性修改；
其中，所述步骤3中对基于深度学习的服饰图像外观属性修改模型进行训练的具体步骤包括步骤3.1-步骤3.6，其中，步骤3.1-步骤3.3对应一次循环训练中的领口样式属性子训练；步骤3.4对应一次循环训练中的袖子长度属性子训练；步骤3.5对应一次循环训练中的颜色属性子训练：
步骤3.1：从领口样式属性数据集Datacollar中获取两张服饰图像src和ref，这两张服饰图像具有不同的领口样式属性分类，它们的领口样式属性分类标签分别用lsrc和lref表示；
步骤3.2：训练判别器D：
使用属性编码器Ea分别提取服饰图像src和ref的属性编码as和ar：
as＝Ea(src)
ar＝Ea(ref)
将服饰图像src送入内容编码器Ec得到服饰图像src的内容编码cs：
cs＝Ec(src)
将服饰图像src送入判别器D，得到判别器D对于服饰图像src是否为领口样式属性数据集Datacollar中真实样本图像的判别结果advreal以及对于服饰图像src的领口样式属性分类结果clsreal；判别器D在多次循环训练后由于对抗损失函数
Figure FDA0003498857670000021
的约束，学习到来自领口样式属性数据集Datacollar中的真实样本图像分布，因此advreal代表了服饰图像src接近领口样式属性数据集Datacollar中真实样本图像分布的程度；
advreal，clsreal＝D(src)
使用advreal和clsreal计算一次判别器D的对抗损失函数
Figure FDA0003498857670000022
和分类损失函数
Figure FDA0003498857670000023
Figure FDA0003498857670000024
Figure FDA0003498857670000025
其中
Figure FDA0003498857670000026
采用二元交叉熵损失函数计算，binary_cross_entropy为PyTorch自带的损失函数，用于接收两个相同维度的张量并计算它们之间的交叉熵损失，在
Figure FDA0003498857670000027
的计算中要求advreal的结果接近1，用于监督判别器D正确判断领口样式属性数据集中Datacollar的真实样本图像为真；
Figure FDA0003498857670000028
使用了交叉熵损失函数计算，用于监督判别器D对于服饰图像src进行正确的领口样式属性分类；
为了修改服饰图像外观属性，需要将ar与as进行重组，ar与as都是192维度的张量，分别沿着ar与as中最后一个维度对张量ar与as进行划分，有：
ar＝[r1，r2，r3]
as＝[s1，s2，s3]
其中ri与si分别代表了属性编码ar与as中对应于第i个属性的特征编码，i＝1，2，3；ri与si均为64维度的张量；要将服饰图像ref中的第i个属性迁移到服饰图像src中，需要将ar与as重组得到arec；i＝1对应于颜色属性，i＝2对应于领口样式属性，i＝3对应于袖子长度属性，在此次子训练中，i＝2；
arec＝[s1，r2，s3]
将arec与cs送入解码器Dec得到伪图像fake：
fake＝Dec(cs，arec)
将伪图像fake送入判别器D，得到判别器D对于伪图像fake接近领口样式属性数据集Datacollar中真实样本图像分布程度的判别结果advfake以及对于伪图像fake的领口样式属性分类结果clsfake；使用advfake计算一次判别器D的对抗损失函数
Figure FDA0003498857670000031
advfake，clsfake＝D(fake)
Figure FDA0003498857670000032
其中
Figure FDA0003498857670000033
采用了二元交叉熵损失函数计算，要求advfake的结果接近0，用于监督判别器D正确判断生成的伪图像fake为假；
判别器D总的损失函数为：
Figure FDA0003498857670000034
其中，λadv、λcls分别代表判别器D总的对抗损失函数和分类损失函数的权重，λadv、λcls均为经验参数，可根据实际情况进行调节；
采用上述判别器D总的损失函数并使用Pytorch框架的自动求导与反向传播机制，更新判别器D的参数，得到在领口样式属性修改任务上更新参数后的判别器D′；
步骤3.3：训练属性编码器Ea、内容编码器Ec与解码器Dec：
继续使用步骤3.1从领口样式属性数据集Datacollar中取出的服饰图像src与服饰图像ref，由于在实际训练中，步骤3.2使用Pytorch框架的反向传播机制后计算图被摧毁，因此需要重复步骤3.2中伪图像fake的生成过程，其中，计算图是指输入服饰图像被输入基于深度学习的服饰图像外观属性修改模型后，经过一系列计算得到的基于深度学习的服饰图像外观属性修改模型中各网络层参数之间的计算关系，计算图用于反向传播时计算梯度；
使用内容编码器Ec提取服饰图像src的内容编码cs：
cs＝Ec(src)
将服饰图像src与服饰图像ref分别送入属性编码器Ea得到服饰图像src的属性编码as与服饰图像ref的属性编码ar：
as＝Ea(src)
ar＝Ea(ref)
为了修改服饰图像外观属性，需要将ar与as进行重组，ar与as都是192维度的张量，分别沿着ar与as中最后一个维度对张量ar与as划分，有：
ar＝[r1，r2，r3]
as＝[s1，s2，s3]
其中ri与si分别代表了属性编码ar与as中对应于第i个属性的特征编码，i＝1，2，3；ri与si均为64维度的张量，要将服饰图像ref中的第2个属性迁移到服饰图像src中，需要将ar与as重组得到arec：
arec＝[s1，r2，s3]
将arec与cs送入解码器Dec得到伪图像fake，这里的伪图像fake与步骤3.2中得到的伪图像fake相同，
fake＝Dec(cs，arec)
将伪图像fake送入判别器D′，得到判别器D′对于伪图像fake接近领口样式属性数据集Datacollar中真实样本图像分布程度的判别结果advfake′以及对于伪图像fake领口样式属性的分类结果clsfake′，lref为服饰图像ref在领口样式属性上的分类标签，
advfake′，clsfake′＝D′(fake)
Figure FDA0003498857670000041
Figure FDA0003498857670000042
其中，
Figure FDA0003498857670000043
分别表示属性编码器Ea、内容编码器Ec与解码器Dec的对抗损失函数以及属性编码器Ea、内容编码器Ec与解码器Dec的分类损失函数；
Figure FDA0003498857670000044
果用二元交叉熵损失函数计算，要求advfake′的结果接近1，使得生成的伪图像fake成功欺骗能够分辨输入服饰图像真伪的判别器D′，使其判断伪图像fake为领口样式属性数据集中的真实样本图像，来约束属性编码器Ea、内容编码器Ec与解码器Dec生成尽可能真实的服饰图像；
Figure FDA0003498857670000045
采用交叉熵损失函数计算，
Figure FDA0003498857670000046
的约束使得生成的伪图像fake在领口样式属性上的分类由原来服饰图像src的分类变为服饰图像ref的分类；
为了避免生成的伪图像fake将其他与领口样式属性不相关的属性也进行了修改，还使用了基于PyTorch的开源视觉时尚分析工具箱mmfashion获取领口样式属性数据集Datacollar中每一张服饰图像的关键点，将对应于服饰图像ref中的领口样式属性的关键点取出，使用取出的这些属性关键点，获取领口样式属性相关区域的框，利用获取的领口样式属性相关区域的框，将领口样式属性相关区域分别从伪图像fake和服饰图像src中去掉，分别获得伪图像fake和服饰图像src中与领口样式属性不相关的区域，获得与领口样式属性不相关的区域的过程用函数Funrelate()表示，因此，属性编码器Ea、内容编码器Ec与解码器Dec的像素损失函数有如下形式：
Figure FDA0003498857670000051
其中，||*||1表示L1范数，
Figure FDA0003498857670000052
是为了约束基于深度学习的服饰图像外观属性修改模型，防止在生成的伪图像fake中将与领口样式属性不相关的区域进行了修改；
综上，属性编码器Ea、内容编码器Ec与解码器Dec总的损失函数为
Figure FDA0003498857670000053
其中，λadv、λcls和λpix分别代表属性编码器Ea、内容编码器Ec与解码器Dec对抗损失函数、分类损失函数和像素损失函数的权重；λadv、λcls和λpix均为经验参数，可根据实际情况进行调节；
采用属性编码器Ea、内容编码器Ec与解码器Dec总的损失函数
Figure DEST_PATH_IMAGE002
并使用Pytorch框架的自动求导与反向传播机制，更新属性编码器Ea、内容编码器Ec与解码器Dec的参数，得到在领口样式属性修改任务上更新参数后的属性编码器Ea′、内容编码器Ec′与解码器Dec′；
步骤3.4：从袖子长度属性数据集Datasleeve中获取两张具有不同袖子长度属性分类的服饰图像src′和ref′，基于步骤3.2得到的在领口样式属性修改任务上更新参数后的判别器D′和步骤3.3得到的在领口样式属性修改任务上更新参数后的属性编码器Ea′、内容编码器Ec′与解码器Dec′，继续训练基于深度学习的服饰图像外观属性修改模型，其训练思路与步骤3.1-步骤3.3相同，最后得到在袖子长度属性修改任务上更新参数后的判别器以及在袖子长度属性修改任务上更新参数后的属性编码器、内容编码器与解码器；
步骤3.5：继续从颜色属性数据集Datacolor中获取两张具有不同颜色属性分类的服饰图像src″和服饰图像ref″，基于步骤3.4得到的在袖子长度属性修改任务上更新参数后的判别器以及在袖子长度属性修改任务上更新参数后的属性编码器、内容编码器与解码器，继续训练基于深度学习的服饰图像外观属性修改模型，其训练思路与步骤3.1-步骤3.3相同，但在步骤3.3中，由于颜色属性的修改并不涉及服饰图像结构的变化，因此不再计算像素损失函数，属性编码器、内容编码器与解码器总的损失函数中不再包括像素损失函数，最后得到在颜色属性修改任务上更新参数后的判别器以及在颜色属性修改任务上更新参数后的属性编码器、内容编码器与解码器；
步骤3.6：重复步骤3.1-步骤3.5直到达到给定的循环次数，最终得到训练好的基于深度学习的服饰图像外观属性修改模型及其参数，使用Pytorch提供的torch.save()函数，将训练好的基于深度学习的服饰图像外观属性修改模型的参数持久化保存为.pth格式的文件，以便测试和展示使用。
2.根据权利要求1所述的基于深度学习的服饰图像外观属性修改方法，其特征在于，所述步骤4中使用训练好的基于深度学习的服饰图像外观属性修改模型对待测试服饰图像进行外观属性修改具体包括：
从磁盘中读取.pth格式的文件，将保存的训练好的基于深度学习的服饰图像外观属性修改模型的参数加载到内存中，获得训练好的基于深度学习的服饰图像外观属性修改模型中的属性编码器
Figure FDA0003498857670000061
内容编码器
Figure FDA0003498857670000062
与解码器Declast；给定两张待测试服饰图像src″′和ref″′，以及需要迁移的服饰图像外观属性序号i＝1，将服饰图像src″′分别送入属性编码器
Figure FDA0003498857670000069
和内容编码器
Figure FDA0003498857670000064
中，将服饰图像ref″′送入属性编码器
Figure FDA0003498857670000065
和，得到属性编码a″s和a″′r以及内容编码c″′s：
Figure FDA0003498857670000066
Figure FDA0003498857670000067
Figure FDA0003498857670000068
由此得到a″′rec：
a″′rec＝[r″′1，s″′2，s″′3]
将a″′rec与c″′s送入解码器Declast即可得到伪图像fake″′，伪图像fake″′具有与服饰图像src″′相同的形状结构，但颜色属性分类却与服饰图像ref″′相同，由此完成了服饰图像颜色属性的迁移。
3.根据权利要求1所述的基于深度学习的服饰图像外观属性修改方法，其特征在于，所述λadv的取值为1，λcls的取值为0.5，λpix的取值为5。
CN202110293375.1A 2021-03-19 2021-03-19 一种基于深度学习的服饰图像外观属性修改方法 Expired - Fee Related CN112861884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110293375.1A CN112861884B (zh) 2021-03-19 2021-03-19 一种基于深度学习的服饰图像外观属性修改方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110293375.1A CN112861884B (zh) 2021-03-19 2021-03-19 一种基于深度学习的服饰图像外观属性修改方法

Publications (2)

Publication Number Publication Date
CN112861884A CN112861884A (zh) 2021-05-28
CN112861884B true CN112861884B (zh) 2022-05-03

Family

ID=75993526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110293375.1A Expired - Fee Related CN112861884B (zh) 2021-03-19 2021-03-19 一种基于深度学习的服饰图像外观属性修改方法

Country Status (1)

Country Link
CN (1) CN112861884B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147526B (zh) * 2022-06-30 2023-09-26 北京百度网讯科技有限公司 服饰生成模型的训练、生成服饰图像的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2019202799A1 (en) * 2018-06-28 2020-01-16 Adobe Inc. A method to automatically predict handle locations for skinningtransformations using deep learning

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467820B2 (en) * 2018-01-24 2019-11-05 Google Llc Image style transfer for three-dimensional models
CN110909754B (zh) * 2018-09-14 2023-04-07 哈尔滨工业大学（深圳） 一种属性生成对抗网络及基于该网络的搭配服饰生成方法
CN110490791B (zh) * 2019-07-10 2022-10-18 西安理工大学 基于深度学习风格迁移的服饰图像艺术化生成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2019202799A1 (en) * 2018-06-28 2020-01-16 Adobe Inc. A method to automatically predict handle locations for skinningtransformations using deep learning

Also Published As

Publication number Publication date
CN112861884A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
Liu et al. Rethinking image inpainting via a mutual encoder-decoder with feature equalizations
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
CN110321873B (zh) 基于深度学习卷积神经网络的敏感图片识别方法及系统
CN111814794B (zh) 文本检测方法、装置、电子设备及存储介质
CN108229559B (zh) 服饰检测方法、装置、电子设备、程序和介质
CN107729948A (zh) 图像处理方法及装置、计算机产品和存储介质
CN105354248A (zh) 基于灰度的分布式图像底层特征识别方法及系统
CN110110652A (zh) 一种目标检测方法、电子设备及存储介质
Ding et al. METEOR: Measurable energy map toward the estimation of resampling rate via a convolutional neural network
Guo et al. Scale-robust deep-supervision network for mapping building footprints from high-resolution remote sensing images
CN112861884B (zh) 一种基于深度学习的服饰图像外观属性修改方法
CN115761791A (zh) 基于2d图像的人体语义预测模块、虚拟换衣模型及方法
CN112884758A (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN113393546B (zh) 基于服装类别及纹理图案控制的时尚服装图像生成方法
Liu et al. Double Mask R‐CNN for Pedestrian Detection in a Crowd
CN115601283B (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
CN117058554A (zh) 电力设备目标检测方法、模型训练方法和装置
Wang et al. Self-attention deep saliency network for fabric defect detection
EP3588441B1 (en) Imagification of multivariate data sequences
CN116977265A (zh) 缺陷检测模型的训练方法、装置、计算机设备和存储介质
CN116012626A (zh) 建筑立面图像的素材匹配方法、装置、设备和存储介质
Yang et al. [Retracted] Footballer Action Tracking and Intervention Using Deep Learning Algorithm
CN109583584A (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统
CN109492579A (zh) 一种基于st-sin的视频物体检测方法及系统
CN114863232A (zh) 一种基于双向多级特征金字塔的阴影检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220503

CF01 Termination of patent right due to non-payment of annual fee