CN110852941B - 一种基于神经网络的二维虚拟试衣方法 - Google Patents

一种基于神经网络的二维虚拟试衣方法 Download PDF

Info

Publication number
CN110852941B
CN110852941B CN201911069738.2A CN201911069738A CN110852941B CN 110852941 B CN110852941 B CN 110852941B CN 201911069738 A CN201911069738 A CN 201911069738A CN 110852941 B CN110852941 B CN 110852941B
Authority
CN
China
Prior art keywords
human body
image
clothing
neural network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911069738.2A
Other languages
English (en)
Other versions
CN110852941A (zh
Inventor
苏卓
孙峰
周凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201911069738.2A priority Critical patent/CN110852941B/zh
Publication of CN110852941A publication Critical patent/CN110852941A/zh
Application granted granted Critical
Publication of CN110852941B publication Critical patent/CN110852941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络的二维虚拟试衣方法。本发明输入原始人物图和目标服装图；提取人体外形图、人体关节点图和人体解析图；通过编解码器网络生成目标人体解析图；卷积神经网络生成变形服装图；编解码器网络生成粗略结果图和服装掩码图；粗略结果图与变形服装图通过服装掩码图进行重组生成最终效果图。本发明应用了二维图片深度学习算法，相比于昂贵的三维硬件采集设备和计算量较大的三维计算，成本低、效率高；使用神经网络方法，通过编码解码结构生成目标人体解析图，能最大限度指导神经网络保留原始图片中人的各部位特征，使用卷积神经网络对目标服装图进行服装变形，能够最大限度地保留目标服装图的纹理信息。

Description

一种基于神经网络的二维虚拟试衣方法
技术领域
本发明涉及计算机视觉、图像处理领域，具体涉及一种基于神经网络的二维虚拟试衣方法。
背景技术
随着互联网技术的发展，网上购物方式越来越普及。相比于实体店购物，网上在线购物具有商品种类多、购物方便等优势。在所有的商品种类中，服装商品占有重要的比重。但是在线服装购物也有一些缺陷。相比于实体店购物中可以实时地换装查看服装效果，在线服装购物无法提供针对消费者本身的效果图，消费者无法实时直观地获取服装对自身形象的影响。虚拟试衣技术可以通过为消费者提供穿戴效果图解决这一问题。
虚拟试衣是用户不用脱去身上衣服，实现查看换装效果的一种技术应用。现有的技术应用主要以三维虚拟试衣技术为主，通过三维采集设备采集人的三维信息并结合服装的特征进行合成，或者通过用户提供的身体数据信息合成人体的三维模型结合服装的特征进行结合。整体上来说，三维虚拟试衣需要进行大量的数据采集或者三维数据计算，硬件成本高，普及率低。
随着人工智能技术的发展，产生了二维虚拟试衣技术。这些技术主要通过输入用户提供的个人照片，以及想要查看效果的服装模型图，运行神经网络进行训练，生成人穿着该服装的效果图，但受限与人工智能相关技术的发展，生成的图片容易产生纹理丢失、身体部位丢失等问题，影响最终的生成质量。
现有的技术之一为一种基于人工智能为虚拟试衣者提供三维效果的穿搭系统及方法，基于人工智能为虚拟试衣者提供三维效果的穿搭系统，包括用户管理模块，3D建模模块，人工智能模块，数据库，专家系统模块等，利用人工智能技术解决了线上试衣的问题。该发明缺点是基于3D技术，现实中3D技术成本高，普及率较低，不适合大规模线上试衣的推广。
现有的技术之二为一种基于移动终端的实时三维虚拟试衣方法，其步骤为：服装三维模型的建立；人体三维模型的建立；三维人体模型着装过程和实时的三维立体展示。该发明缺点是3D建模技术难度高，硬件基础成本高，需要三维扫描技术，适用性较低，程序较为复杂。
现有的技术之三为一种由粗到细的二维虚拟试衣技术，对输入的人的照片进行处理，得到姿态图、人体身份图和人体外形，将这些信息和需要更换的目标服装图输入到神经网络中进行训练得到服装掩码，并进行薄板样条变换，将变换之后的结果再次输入到神经网络中训练得到最终的试衣效果图。该发明缺点是通过神经网络结合薄板样条变换的方法，容易造成服装纹理的丢失和服装外形的错位。
发明内容
本发明的目的是克服现有方法的不足，提出了一种基于神经网络的二维虚拟试衣方法。本发明解决的主要问题是，如何采用基于人工智能的方式，对二维图片进行处理，不使用三维数据或者三维处理方法，对图片中的人物进行换装；如何使用神经网络技术和相应的编码解码结构，使目标商品原始信息保留较为完整，使合成的结果更为符合人的预期。
为了解决上述问题，本发明提出了一种基于神经网络的二维虚拟试衣方法，所述方法包括：
步骤一，从服装数据集筛选并输入原始人物图和目标服装图，并处理成统一尺寸；
步骤二，对所述处理成统一尺寸的原始人物图进行进一步处理生成人体外形图、人体关节点图和人体解析图作为人体部分特征；
步骤三，使用所述人体部分特征和步骤一得到的统一尺寸的目标服装图，使用卷积神经网络D中的编码解码结构输出目标人体解析图；
步骤四，使用神经网络E对步骤一得到的统一尺寸的目标服装图按照所述目标人体解析图中的服装层进行变形，生成变形服装图；
步骤五，使用所述变形服装图、目标人体解析图和步骤二得到的人体外形图、人体关节点图和人体解析图通过神经网络F中的编码解码结构进行训练，生成最终的效果图；
步骤六，将步骤一中的目标服装图改为与原始人物图所穿着衣服不同的服装图，重复步骤二、三、四、五的过程，其中步骤三、四、五中的神经网络D、E、F不需要再训练，直接输出结果应用到之后的步骤。经过步骤五输出的最终效果图即为原始人物图中的人物换装之后的图片。
优选地，所述通过神经网络F中的编码解码结构进行训练，生成最终的效果图，具体包括：
按照人体解析图中的人脸和头发部分图层像素值为1的区域分割原始人物图中的人脸和头发区域。将变形服装图、目标人体解析图和原始人物图中的人脸和头发区域在图层对应维度进行组合形成一个整体；
将所述整体通过神经网络F中U-net结构的编码解码网络进行训练。编码器包含6个卷积层，解码器包含6个相对应的反卷积层，卷积核尺寸为4*4，除了编码器的最后一层和解码器的第一层，将编码器相应层生成的特征图和解码器相对应层生成的特征图进行组合，作为下一层卷积层的输入，最后一层卷积层生成四个图层，其中前三层称为粗略结果图，最后一层称为服装掩码图；
将变形服装图与所述服装掩码图进行对应像素相乘，生成最终效果图的第一部分。新建一个图层，该图层每一层的值为1减去服装掩码图对应像素的值，该图层称为掩码互补图。将所述粗略结果图与掩码互补图进行对应像素相乘，生成最终结果图的第二部分。将生成结果图的第一部分与第二部分对应像素值进行相加，得到最终效果图；
将所述最终效果图和统一尺寸的原始人物图通过神经网络G中的VGG19网络前五层卷积层分别输出两部分的对比结果图，对两部分的对比结果求L1损失，得到风格损失结果。对最终结果图和统一尺寸的原始人物图的对应像素值求L1损失，将风格损失和L1像素损失相加作为神经网络F最终的损失函数进行训练，直到损失函数的结果达到收敛。
本发明提出的一种基于神经网络的二维虚拟试衣方法，应用了二维图片深度学习算法，相比于昂贵的三维硬件采集设备和计算量较大的三维计算，成本低、效率高；各部分之间的输入输出互相联系，进行不同特征的提取和整合，提高了效率，使生成的结果更加符合人的预期；使用神经网络方法，通过编码解码结构生成目标人体解析图，能最大限度指导神经网络保留原始图片中人的各部位特征，使用卷积神经网络对目标服装图进行服装变形，能够最大限度地保留目标服装图的纹理信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例的二维虚拟试衣方法总体流程图；
图2是本发明实施例的服装变形算法流程图；
图3是本发明实施例的试衣生成算法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的本发明实施例的二维虚拟试衣方法总体流程图，如图1所示，该方法包括：
S1，从服装数据集筛选并输入原始人物图和目标服装图，并处理成统一尺寸；
S2，对所述处理成统一尺寸的原始人物图进行进一步处理生成人体外形图、人体关节点图和人体解析图作为人体部分特征；
S3，使用所述人体部分特征和S1得到的统一尺寸的目标服装图，使用卷积神经网络D中的编码解码结构输出目标人体解析图；
S4，使用神经网络E对S1得到的统一尺寸的目标服装图按照所述目标人体解析图中的服装层进行变形，生成变形服装图；
S5，使用所述变形服装图、S3生成的目标人体解析图和S2得到的人体外形图、人体关节点图和人体解析图通过神经网络F中的编码解码结构进行训练，生成最终的效果图；
S6，将S1中的目标服装图改为与原始人物图所穿着衣服不同的服装图，重复S2、S3、S4、S5的过程，其中S3、S4、S5中的神经网络不需要再训练，直接输出结果应用到之后的步骤。经过S5输出的最终效果图即为原始人物图中的人物换装之后的图片。
步骤S1，具体如下：
服装数据集来源于服装购物网站。数据集为获取的服装商品图和对应的穿着该服装商品的人物图。分为训练和测试部分，输入都为原始人物图和目标服装图。其中训练部分服装商品图为图片中人穿的服装对应的服装商品图，测试部分目标服装图为随机分配的服装商品图。原始人物图指的是包含需要换装的人的图片，此图片需要尽可能完整地保留人的正面特征；目标服装图指的是对原始人物图中的人物需要更换的衣服的图片。目标服装图需要尽可能保留服装的纹理、形状等重要特征。将这两部分图片运用中心等比例切割和等比例缩放的方式处理成统一尺寸。这里为了便于训练，将目标服装设定为原始人物图中的人物穿着的服装对应的服装图。
步骤S2，具体如下：
S2-1：使用姿态提取方法提取人体关节点，该方法使用卷积神经网络A进行训练，生成人体的18个关节点。从18个关节部位中筛选出7个，包括左眼、右眼、鼻子、左肩、右肩、左手、右手。每个关节点单独生成一个二进制图层，在每个图层中，以该层对应的关键点为中心，在附近的11*11像素的矩形区域内的值设为1，其他像素点的值设为0；
S2-2：使用生成对抗神经网络B1生成人体解析图。生成对抗网络中的生成器使用u-net结构，生成16个图层，每个图层表示一个人体部位占有的区域，这16个图层称为人体解析图。生成对抗网络中的判别器使用卷积神经网络B2对生成的每个解析部分的像素点进行判断，若判断该像素点属于该图层的人体部位，像素点的值设为1，否则设为0；
S2-3：利用Mask r-cnn方法生成人体外形图，该方法利用卷积神经网络C进行训练得到特征图，对特征图进行分类和回归训练，得到人的整体外形图。对结果中的人的分类像素用1表示，背景部分的像素用0表示，生成一个二进制掩码图层。
步骤S3，具体如下：
S3-1：输入S2提取到的人体关节点图，包括7层二进制图，人体解析图，包括3层RGB图，以及人体外形图，包括1层二进制图。将上述所有图层在图层维度上进行组合，形成一个图层整体；
S3-2：将S31生成的图层整体通过U-Net结构的编码解码神经网络D，编码器有6个卷积层，解码器有6个相对应的反卷积层，卷积核尺寸为4*4，在编码器和解码器之间增加跳变结构，除了编码器的最后一层和解码器的第一层，将编码器相应层生成的特征图和解码器相对应层生成的特征图进行组合，作为下一层卷积层的输入，最后一层生成代表原始人物图中的人物穿着目标服装之后的目标人体解析图，包括16个层，每个层代表人的一个部位，相应部位像素值用1表示，其他区域像素值用0表示；
S3-3：对每个解析部分的应用公式(1)所示的交叉熵得到的像素级损失求和作为损失函数进行训练，直到损失函数的结果达到收敛。
其中，H和W表示图像的宽和高，i表示图像中的像素点，C表示划分部位的数量，c表示其中的一个部位，yic表示生成的像素值，表示真实的像素值。
步骤S4，如图2所示，具体如下：
S4-1：输入S3生成的目标人体解析图16个层中的服装层和S1处理成统一尺寸的目标服装图，将两种输入通过卷积神经网络E分别进行提取图像特征、特征匹配和参数回归，得到对应目标商品图的薄板样条变换参数；
S4-2：对目标服装图应用薄板样条变换参数进行薄板样条变换，生成变形服装图，与原始人物图的相应区域像素值如公式(2)所示求L1损失，将该损失作为损失函数对神经网络E进行训练，直到损失函数的结果达到收敛。
L＝||I-I0||1, (2)
其中，I为生成变形服装图生成的像素值，I0为原始人物图相应区域的像素值，L表示所求L1损失的结果。
步骤S5，如图3所示，具体如下：
S5-1：按照S2生成的人体解析图中的人脸和头发部分图层像素值为1的区域分割原始人物图中的人脸和头发区域。将变形服装图、目标人体解析图和原始人物图中的人脸和头发区域在图层对应维度进行组合形成一个整体；
S5-2：将S5-1形成的整体通过神经网络F中U-net结构的编码解码网络进行训练。编码器包含6个卷积层，解码器包含6个相对应的反卷积层，卷积核尺寸为4*4，除了编码器的最后一层和解码器的第一层，将编码器相应层生成的特征图和解码器相对应层生成的特征图进行组合，作为下一层卷积层的输入，最后一层卷积层生成四个图层，其中前三层称为粗略结果图，最后一层称为服装掩码图；
S5-3：将S4生成的变形服装图与S5-2生成的服装掩码图进行对应像素相乘，生成最终效果图的第一部分。新建一个图层，该图层每一层的值为1减去服装掩码图对应像素的值，该图层称为掩码互补图。将S5-2生成的粗略结果图与掩码互补图进行对应像素相乘，生成最终结果图的第二部分。将生成结果图的第一部分与第二部分对应像素值进行相加，得到最终效果图；
S5-4：将S5-3生成的最终效果图和S1处理成统一尺寸的原始人物图通过神经网络G中的VGG19网络前五层卷积层分别输出两部分的对比结果图，对两部分的对比结果求L1损失，得到风格损失结果。对最终结果图和S1处理成统一尺寸的原始人物图的对应像素值求L1损失，将风格损失和L1像素损失相加作为神经网络F最终的损失函数进行训练，直到损失函数的结果达到收敛。
本发明实施例提出的一种基于神经网络的二维虚拟试衣方法，应用了二维图片深度学习算法，相比于昂贵的三维硬件采集设备和计算量较大的三维计算，成本低、效率高；各部分之间的输入输出互相联系，进行不同特征的提取和整合，提高了效率，使生成的结果更加符合人的预期；使用神经网络方法，通过编码解码结构生成目标人体解析图，能最大限度指导神经网络保留原始图片中人的各部位特征，使用卷积神经网络对目标服装图进行服装变形，能够最大限度地保留目标服装图的纹理信息。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种基于神经网络的二维虚拟试衣方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (1)

1.一种基于神经网络的二维虚拟试衣方法，其特征在于，所述方法包括：
步骤一，从服装数据集筛选并输入原始人物图和目标服装图，并处理成统一尺寸；
步骤二，对所述处理成统一尺寸的原始人物图进行进一步处理生成人体外形图、人体关节点图和人体解析图作为人体部分特征；
步骤三，使用所述人体部分特征和步骤一得到的统一尺寸的目标服装图，使用卷积神经网络D中的编码解码结构输出目标人体解析图；
步骤四，使用神经网络E对步骤一得到的统一尺寸的目标服装图按照所述目标人体解析图中的服装层进行变形，生成变形服装图；
步骤五，使用所述变形服装图、目标人体解析图和步骤二得到的人体外形图、人体关节点图和人体解析图通过神经网络F中的编码解码结构进行训练，生成最终的效果图；
步骤六，将步骤一中的目标服装图改为与原始人物图所穿着衣服不同的服装图，重复步骤二、三、四、五的过程，其中步骤三、四、五中的神经网络D、E、F不需要再训练，直接输出结果应用到之后的步骤；经过步骤五输出的最终效果图即为原始人物图中的人物换装之后的图片；
其中，所述使用卷积神经网络D中的编码解码结构输出目标人体解析图，具体为：
输入所述人体关节点图，包括7层二进制图，人体解析图，包括3层RGB图，以及所述人体外形图，包括1层二进制图；将上述所有图层在图层维度上进行组合，形成一个图层整体；
将所述图层整体通过U-Net结构的编码解码神经网络D，编码器有6个卷积层，解码器有6个相对应的反卷积层，卷积核尺寸为4*4，在编码器和解码器之间增加跳变结构，除了编码器的最后一层和解码器的第一层，将编码器相应层生成的特征图和解码器相对应层生成的特征图进行组合，作为下一层卷积层的输入，最后一层生成代表原始人物图中的人物穿着目标服装之后的目标人体解析图，包括16个层，每个层代表人的一个部位，相应部位像素值用1表示，其他区域像素值用0表示；
对每个解析部分的应用以下公式所示的交叉熵得到的像素级损失求和作为损失函数进行训练，直到损失函数的结果达到收敛；
H和W表示图像的宽和高，i表示图像中的像素点，C表示划分部位的数量，c表示其中的一个部位，yic表示生成的像素值，表示真实的像素值；
其中，所述通过神经网络F中的编码解码结构进行训练，生成最终的效果图，具体为：
按照所述人体解析图中的人脸和头发部分图层像素值为1的区域分割原始人物图中的人脸和头发区域；将所述变形服装图、目标人体解析图和原始人物图中的人脸和头发区域在图层对应维度进行组合形成一个整体；
将所述整体通过神经网络F中U-net结构的编码解码网络进行训练；编码器包含6个卷积层，解码器包含6个相对应的反卷积层，卷积核尺寸为4*4，除了编码器的最后一层和解码器的第一层，将编码器相应层生成的特征图和解码器相对应层生成的特征图进行组合，作为下一层卷积层的输入，最后一层卷积层生成四个图层，其中前三层称为粗略结果图，最后一层称为服装掩码图；
将所述变形服装图与所述服装掩码图进行对应像素相乘，生成最终效果图的第一部分；新建一个图层，该图层每一层的值为1减去服装掩码图对应像素的值，该图层称为掩码互补图；将所述粗略结果图与掩码互补图进行对应像素相乘，生成最终结果图的第二部分；将生成结果图的第一部分与第二部分对应像素值进行相加，得到最终效果图；
将所述最终效果图和统一尺寸的原始人物图通过神经网络G中的VGG19网络前五层卷积层分别输出两部分的对比结果图，对两部分的对比结果求L1损失，得到风格损失结果；对最终结果图和统一尺寸的原始人物图的对应像素值求L1损失，将风格损失和L1像素损失相加作为神经网络F最终的损失函数进行训练，直到损失函数的结果达到收敛。
CN201911069738.2A 2019-11-05 2019-11-05 一种基于神经网络的二维虚拟试衣方法 Active CN110852941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911069738.2A CN110852941B (zh) 2019-11-05 2019-11-05 一种基于神经网络的二维虚拟试衣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911069738.2A CN110852941B (zh) 2019-11-05 2019-11-05 一种基于神经网络的二维虚拟试衣方法

Publications (2)

Publication Number Publication Date
CN110852941A CN110852941A (zh) 2020-02-28
CN110852941B true CN110852941B (zh) 2023-08-01

Family

ID=69599514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911069738.2A Active CN110852941B (zh) 2019-11-05 2019-11-05 一种基于神经网络的二维虚拟试衣方法

Country Status (1)

Country Link
CN (1) CN110852941B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200717B (zh) * 2020-10-26 2021-07-27 广州紫为云科技有限公司 基于神经网络的复杂服装虚拟试衣方法、装置及存储介质
CN112613439A (zh) * 2020-12-28 2021-04-06 湖南大学 一种新型的虚拟试衣网络
CN113052980B (zh) * 2021-04-27 2022-10-14 云南大学 一种虚拟试衣方法及系统
CN113313173B (zh) * 2021-06-01 2023-05-30 中山大学 基于图表示和改进Transformer的人体解析方法
CN113436058B (zh) * 2021-06-24 2023-10-20 深圳市赛维网络科技有限公司 一种人物虚拟换衣方法、终端设备及存储介质
CN113592971B (zh) * 2021-07-29 2024-04-16 西安交通大学 一种虚拟人体图像生成方法、系统、设备及介质
CN114067088A (zh) * 2021-11-16 2022-02-18 百果园技术(新加坡)有限公司 虚拟穿戴方法、装置、设备、存储介质及程序产品
CN114663552B (zh) * 2022-05-25 2022-08-16 武汉纺织大学 一种基于2d图像的虚拟试衣方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018027549A1 (zh) * 2016-08-09 2018-02-15 深圳市赛亿科技开发有限公司 一种虚拟试衣的系统及方法
CN108648053A (zh) * 2018-05-10 2018-10-12 南京衣谷互联网科技有限公司 一种用于虚拟试衣的成像方法
CN109740529A (zh) * 2018-12-29 2019-05-10 广州二元科技有限公司 一种基于神经网络绘图的虚拟试衣方法
CN110211196A (zh) * 2019-05-28 2019-09-06 山东大学 一种基于姿势引导的虚拟试穿方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018027549A1 (zh) * 2016-08-09 2018-02-15 深圳市赛亿科技开发有限公司 一种虚拟试衣的系统及方法
CN108648053A (zh) * 2018-05-10 2018-10-12 南京衣谷互联网科技有限公司 一种用于虚拟试衣的成像方法
CN109740529A (zh) * 2018-12-29 2019-05-10 广州二元科技有限公司 一种基于神经网络绘图的虚拟试衣方法
CN110211196A (zh) * 2019-05-28 2019-09-06 山东大学 一种基于姿势引导的虚拟试穿方法及装置

Also Published As

Publication number Publication date
CN110852941A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110852941B (zh) 一种基于神经网络的二维虚拟试衣方法
Cai et al. PiiGAN: generative adversarial networks for pluralistic image inpainting
Alldieck et al. imghum: Implicit generative models of 3d human shape and articulated pose
CN110728219B (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN108334816A (zh) 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN112950775A (zh) 一种基于自监督学习的三维人脸模型重建方法及系统
Zhang et al. Content-adaptive sketch portrait generation by decompositional representation learning
CN110223370B (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN113838176B (zh) 模型的训练方法、三维人脸图像生成方法及设备
CN110197462A (zh) 一种人脸图像实时美化与纹理合成方法
Xu et al. Grm: Large gaussian reconstruction model for efficient 3d reconstruction and generation
CN115049556A (zh) 一种基于StyleGAN的人脸图像修复方法
CN115115805A (zh) 三维重建模型的训练方法、装置、设备及存储介质
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
Ping et al. Visual enhancement of single-view 3D point cloud reconstruction
Banerjee et al. Fast face image synthesis with minimal training
Zeng et al. Joint 3D facial shape reconstruction and texture completion from a single image
Lu et al. Parametric shape estimation of human body under wide clothing
Yang et al. BareSkinNet: De‐makeup and De‐lighting via 3D Face Reconstruction
CN113393546A (zh) 基于服装类别及纹理图案控制的时尚服装图像生成方法
Yang et al. Expression transfer for facial sketch animation
CN115908712A (zh) 基于图像的三维重建及模型训练方法、设备及存储介质
Li et al. 3d shape reconstruction of furniture object from a single real indoor image
Lee et al. Holistic 3D face and head reconstruction with geometric details from a single image
CN114723984A (zh) 一种全自动的人像数据匿名化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant