CN110211196A - 一种基于姿势引导的虚拟试穿方法及装置 - Google Patents

一种基于姿势引导的虚拟试穿方法及装置 Download PDF

Info

Publication number
CN110211196A
CN110211196A CN201910452735.0A CN201910452735A CN110211196A CN 110211196 A CN110211196 A CN 110211196A CN 201910452735 A CN201910452735 A CN 201910452735A CN 110211196 A CN110211196 A CN 110211196A
Authority
CN
China
Prior art keywords
target body
posture
clothes
portrait
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910452735.0A
Other languages
English (en)
Other versions
CN110211196B (zh
Inventor
刘东岳
宋雪萌
郑娜
陈召峥
聂礼强
关惟俐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910452735.0A priority Critical patent/CN110211196B/zh
Publication of CN110211196A publication Critical patent/CN110211196A/zh
Application granted granted Critical
Publication of CN110211196B publication Critical patent/CN110211196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种基于姿势引导的虚拟试穿方法及装置。其中，一种基于姿势引导的虚拟试穿方法，包括提取并利用目标人体的姿势关键点信息的特征和原人体体型的特征，预测目标人体的体型；利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布。

Description

一种基于姿势引导的虚拟试穿方法及装置
技术领域
本公开属于虚拟试穿领域，尤其涉及一种基于姿势引导的虚拟试穿方法及装置。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
近年来随着多媒体技术的发展，在线虚拟试穿任务的研究越来越受到重视。通常，传统的在线虚拟试穿系统主要基于计算机图形学对人体或者衣服进行3D建模，但是3D建模通常需要使用昂贵的扫描仪设备，这对于很多普通人来说是不可行的。
在线购物平台中的衣服通常是平整的，不能够和人的体型相匹配。对衣服进行合理的几何弯曲，使得衣服能够跟消费者的体型进行自适应匹配，从而能够试穿任务得以简化，并且能够尽可能的保留衣服的纹理和颜色信息。目前的衣服弯曲工作主要是匹配目标人体体型特征，根据匹配的分数来预测一系列的弯曲参数，利用这些弯曲参数对衣服使用薄板样条插值进行合理的变形。但是由于姿势的变化，目标的人体的体型轮廓无从得知。在生成最终的试穿效果时，一方面希望尽可能的保留衣服的纹理和颜色特征，另一方面，希望不合理的衣服变形以及衣领边界被遗忘。
发明人发现，现有的，在线虚拟试穿方法存在以下问题：
1)姿势变换会带来输入和输出的空间不匹配，无法保证在转换姿势的同时，一方面衣服能够合理地覆盖在目标人体身上，另一方面保持除了试穿区域以外的其他区域人物特征。
2)没有任何额外的体型的输入，且目标人体的体型无从得知，穿在人体身上的衣服无法根据目标人体进行相应变形。
3)衣领部分僵硬的盖在人体身上，使得生成的试穿效果不自然、僵硬。
发明内容
为了解决上述问题，本公开的第一个方面提供一种基于姿势引导的虚拟试穿方法，其基于注意力机制的双向生成对抗网络，能够有效规范服装和人体之间的对齐和生成一致性，提高虚拟试穿的效果。
为了实现上述目的，本公开采用如下技术方案：
一种基于姿势引导的虚拟试穿方法，包括：
提取并利用目标人体的姿势关键点信息的特征和原人体体型的特征，预测目标人体的体型；
利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；
将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布。
为了解决上述问题，本公开的第二个方面提供一种基于姿势引导的虚拟试穿装置，其基于注意力机制的双向生成对抗网络，能够有效规范服装和人体之间的对齐和生成一致性，提高虚拟试穿的效果。
为了实现上述目的，本公开采用如下技术方案：
一种基于姿势引导的虚拟试穿装置，包括：
预测目标人体体型模块，其用于提取并利用目标人体的姿势关键点信息的特征和原人体体型的特征，预测目标人体的体型；
服装与目标人体匹配模块，其用于利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；
试穿合成人像输出模块，其用于将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布。
为了解决上述问题，本公开的第三个方面提供一种计算机可读存储介质，其基于注意力机制的双向生成对抗网络，能够有效规范服装和人体之间的对齐和生成一致性，提高虚拟试穿的效果。
为了实现上述目的，本公开采用如下技术方案：
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于姿势引导的虚拟试穿方法中的步骤。
为了解决上述问题，本公开的第四个方面提供一种计算机设备，其基于注意力机制的双向生成对抗网络，能够有效规范服装和人体之间的对齐和生成一致性，提高虚拟试穿的效果。
为了实现上述目的，本公开采用如下技术方案：
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于姿势引导的虚拟试穿方法中的步骤。
本公开的有益效果是：
本公开解决了基于2D图片的在线虚拟试穿任务，为了生成更逼真的试穿图片效果，本公开利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布；本公开基于注意力机制的双向生成对抗网络来生成最终的试穿效果，该网络同时对服装和人体对齐以及生成一致性进行建模，有效地保持了将要试穿衣服的颜色和纹理特征，并且生成更具鲁棒性的结果。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开实施例提供的一种基于姿势引导的虚拟试穿方法流程图。
图2是本公开实施例提供的服装与目标人体匹配流程图。
图3是本公开实施例提供的基于注意力机制的双向生成对抗网络生成最终试穿合成人像流程图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例的一种基于姿势引导的虚拟试穿方法，包括：
S101：提取并利用目标人体的姿势关键点信息的特征和原人体体型的特征，预测目标人体的体型。
在具体实施中，步骤S101中预测目标人体的体型的具体过程包括：
S1011：使用目标人体姿势关键点信息与原人体体型信息构建目标人体体型预测网络：
其中代表与目标人体姿势关键点PB对齐的目标人体体型。SA代表原人体体型的掩码。Θp代表网络参数。
本实施例采用编码器-解码器结构构建目标人体体型预测网络，将SA和PB的级联作为输入。具体而言，使用具有跳连结构的UNet网络，其将层1的所有信道与层n-1的信道相连，有助于在编码器和解码器之间传播原始信息。这里n是所有层的总数。
S1012：由于目标人体体型掩码的预测可以被视为一组二元分类问题，因此在解码器的顶部，本实施例引入sigmoid函数并对采用交叉熵损失构建损失函数：
其中，H代表体型掩码图像的高度，W代表体型掩码图像的宽度。
Sij B表示高度i及宽度j的体型掩码图像的真正的目标人体体型掩码。
表示与高度i及宽度j的体型掩码图像的目标人体姿势关键点PB对齐的目标人体体型。
由于预测的目标人体体型掩码可以被视为一个灰度图像，因此本实施例使用L1损失函数来计算其与真正的目标人体体型掩码SB之间的区别：
最终的损失函数如下：
LS＝LC+L1
S102：利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装，如图2所示。
本实施例构建了一个几何匹配模块(GMM)。使用两个卷积神经网络分别学习服装c和SA与PB的级联p的特征，并在此基础上计算出c和p的匹配分数。基于该分数，本实施例通过回归预测得到θ。之后，基于θ利用薄板样条插值方法得到形变的服装Tθ(c)。
服装是试穿者能够穿戴的物品，在本实施例中试穿者以人为例。作为服装，例如能够列举出上衣、裙子、裤子、鞋、帽子等。另外，衣服不限于上衣、裙子，裤子、鞋、帽子等。
服装的特征信息包括但不限于颜色、种类及形状特征。
目标人体的体型参数包括胸围、腹围、腰围、身高、肩宽及体重中的至少1个参数。另外，体型参数中包括的参数不限于这些参数。例如，体型参数可以还包括袖长、裤裆到裤脚的长度等参数。目标人体的姿势关键点比如人体的肩部、颈部、膝部、大腿部、头部等关键点。
需要说明的是，第一卷积神经网络和第二卷积神经网络可选择相同结构的卷积神经网络，也可采用不同结构的卷积神经网络，本领域技术人员可根据实际情况来具体选择。
使用两个卷积神经网络分别学习服装c和SA与PB的级联p的特征，并在此基础上计算出c和p的匹配分数的具体过程为：
在得到服装c和SA与PB的级联p的特征后，通过一个matching层将两个高级特征组合为单个张量，将组合后的张量作为输入，输入到一个回归网络，最后计算出c和p的匹配分数。
基于θ利用薄板样条插值方法得到形变的服装Tθ(c)的具体过程为：
在通过回归预测得到匹配分数θ，也就是空间转换参数后，将其作为薄板样条变换模块的输入，其中薄板样条(TPS)变换模块T，是一种常用的2D图像插值方法，它的物理意义是：假设在原形状中有个点，这个点在形变之后新坐标之下对应新的个点。用一个薄钢板的形变来模拟2D形变，确保这个点能够正确匹配，那么怎样的形变，可以使钢板的弯曲能量最小。TPS插值是这个问题的数值解法。在本实施例中用于将图像变形为输出c＝Tθ(c)。
基于θ利用薄板样条插值方法得到形变的服装Tθ(c)的好处是：
(1)在实际操作层面，该方法的好处是易操作，且计算量较小
(2)在应用层面，该方法的好处是所得结果较为精确，能够保证图像变形结果输出的稳定性。
由于本实施例的目标是尽量减少Tθ(c)和真正的变形服装之间的差异，因此本实施例使用L1损失函数在像素级别进行计算：
S103：将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布。
具体地，所述基于注意力机制的双向生成对抗网络包括两个生成器，每个生成器均包含两个编码器和一个解码器；每个生成器后均串接有并联连接的转换层和注意层。
输出试穿合成人像的过程包括：
将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至一个生成器中，得到粗糙的目标人物图像；
使用注意力机制对粗糙的目标人物图像进行微调，并将最终获得的目标人物图像和原人物的服装输入另一个生成器中，从而保证合成人像与原始人像保持相同的数据分布。
在具体实施中，如图3所示，步骤S103的过程包括：
S1031：构建一个包含两个编码器和一个解码器的生成器G，将S2中得到的形变后的服装Tθ(c)和原始人物图像IA与目标人体姿势关键点PB的级联p输入该生成器中，得到目标人物图像
S1032：本实施例采用注意力机制来推动试穿网络更加关注(目标)试穿区域，实现形变服装与目标人体之间的无缝对齐。为此，本实施例引入了一个转换层LI，它的重点是生成粗糙的目标人物图像使其作为模板。同时，本实施例设计了一个注意层LA，用于生成与目标人体形状相同的注意力掩码A。根据和掩码A，可以生成最终的目标人物图像
其中⊙代表元素矩阵乘法。
由于本实施例期望试穿区域的注意力得分更高，其它区域的注意力得分更低，因此本实施例使用L1对注意力部分进行正则化：
其中M代表真实图像的试穿区域掩码。TV代表L1范数TV正则化，用来以惩罚注意力掩码A的梯度并确保空间平滑。λTV代表权衡非负超参数。
最后使用标准的GAN损失规范生成图像与真实图像IB：
其中D代表生成对抗网络中的鉴别器，P代表数据分布。
为了更好的捕捉图像的像素特征以及边缘、颜色和纹理等特性，本实施例采用了L1损失和VGG19感知损失构建该部分的损失函数：
其中代表真实图像的特征图，用于某些预先训练的CNN中的第i层，λi代表常系数。
S1033：将最终获得的目标人物图像和原人物的服装输入另一个生成器中，从而保证合成人像与原始人像保持相同的数据分布。
为了规范双向生成一致性，本实施例构造了损失函数：
最后，整个试穿部分的损失函数可以表示为：
L＝λGLGAN+λCycGLCycG+λAttenLAtten+λCONLCON+λCycCLCycC
其中λG、λCycG、λAtten、λCON和λCycC表示控制每个损失部分的相对重要性的超参数。
本实施例解决了基于2D图片的在线虚拟试穿任务，为了生成更逼真的试穿图片效果，本实施例利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布；本实施例基于注意力机制的双向生成对抗网络来生成最终的试穿效果，该网络同时对服装和人体对齐以及生成一致性进行建模，有效地保持了将要试穿衣服的颜色和纹理特征，并且生成更具鲁棒性的结果。
实施例二
本实施例的一种基于姿势引导的虚拟试穿装置，其包括：
(1)预测目标人体体型模块，其用于提取并利用目标人体的姿势关键点信息的特征和原人体体型的特征，预测目标人体的体型；
具体地，在所述预测目标人体体型模块中，采用编码器-解码器结构构建目标人体体型预测网络。
(2)服装与目标人体匹配模块，其用于利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；
(3)试穿合成人像输出模块，其用于将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布。
具体地，在所述试穿合成人像输出模块中，所述基于注意力机制的双向生成对抗网络包括两个生成器，每个生成器均包含两个编码器和一个解码器；每个生成器后均串接有并联连接的转换层和注意层。
所述试穿合成人像输出模块，包括：
粗糙图像获取模块，其用于将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至一个生成器中，得到粗糙的目标人物图像；
粗糙图像调整模块，其用于使用注意力机制对粗糙的目标人物图像进行微调，并将最终获得的目标人物图像和原人物的服装输入另一个生成器中，从而保证合成人像与原始人像保持相同的数据分布。
本实施例解决了基于2D图片的在线虚拟试穿任务，为了生成更逼真的试穿图片效果，本实施例利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布；本实施例基于注意力机制的双向生成对抗网络来生成最终的试穿效果，该网络同时对服装和人体对齐以及生成一致性进行建模，有效地保持了将要试穿衣服的颜色和纹理特征，并且生成更具鲁棒性的结果。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，，该程序被处理器执行时实现如图1所示的基于姿势引导的虚拟试穿方法中的步骤。
本实施例解决了基于2D图片的在线虚拟试穿任务，为了生成更逼真的试穿图片效果，本实施例利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布；本实施例基于注意力机制的双向生成对抗网络来生成最终的试穿效果，该网络同时对服装和人体对齐以及生成一致性进行建模，有效地保持了将要试穿衣服的颜色和纹理特征，并且生成更具鲁棒性的结果。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如图1所示的基于姿势引导的虚拟试穿方法中的步骤。
本实施例解决了基于2D图片的在线虚拟试穿任务，为了生成更逼真的试穿图片效果，本实施例利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布；本实施例基于注意力机制的双向生成对抗网络来生成最终的试穿效果，该网络同时对服装和人体对齐以及生成一致性进行建模，有效地保持了将要试穿衣服的颜色和纹理特征，并且生成更具鲁棒性的结果。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory ，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于姿势引导的虚拟试穿方法，其特征在于，包括：
提取并利用目标人体的姿势关键点信息的特征和原人体体型的特征，预测目标人体的体型；
利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；
将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布。
2.如权利要求1所述的一种基于姿势引导的虚拟试穿方法，其特征在于，所述基于注意力机制的双向生成对抗网络包括两个生成器，每个生成器均包含两个编码器和一个解码器；每个生成器后均串接有并联连接的转换层和注意层。
3.如权利要求2所述的一种基于姿势引导的虚拟试穿方法，其特征在于，输出试穿合成人像的过程包括：
将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至一个生成器中，得到粗糙的目标人物图像；
使用注意力机制对粗糙的目标人物图像进行微调，并将最终获得的目标人物图像和原人物的服装输入另一个生成器中，从而保证合成人像与原始人像保持相同的数据分布。
4.如权利要求1所述的一种基于姿势引导的虚拟试穿方法，其特征在于，采用编码器-解码器结构构建目标人体体型预测网络。
5.一种基于姿势引导的虚拟试穿装置，其特征在于，包括：
预测目标人体体型模块，其用于提取并利用目标人体的姿势关键点信息的特征和原人体体型的特征，预测目标人体的体型；
服装与目标人体匹配模块，其用于利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；
试穿合成人像输出模块，其用于将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布。
6.如权利要求5所述的一种基于姿势引导的虚拟试穿装置，其特征在于，在所述试穿合成人像输出模块中，所述基于注意力机制的双向生成对抗网络包括两个生成器，每个生成器均包含两个编码器和一个解码器；每个生成器后均串接有并联连接的转换层和注意层。
7.如权利要求6所述的一种基于姿势引导的虚拟试穿装置，其特征在于，所述试穿合成人像输出模块，包括：
粗糙图像获取模块，其用于将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至一个生成器中，得到粗糙的目标人物图像；
粗糙图像调整模块，其用于使用注意力机制对粗糙的目标人物图像进行微调，并将最终获得的目标人物图像和原人物的服装输入另一个生成器中，从而保证合成人像与原始人像保持相同的数据分布。
8.如权利要求5所述的一种基于姿势引导的虚拟试穿装置，其特征在于，在所述预测目标人体体型模块中，采用编码器-解码器结构构建目标人体体型预测网络。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的基于姿势引导的虚拟试穿方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一项所述的基于姿势引导的虚拟试穿方法中的步骤。
CN201910452735.0A 2019-05-28 2019-05-28 一种基于姿势引导的虚拟试穿方法及装置 Active CN110211196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910452735.0A CN110211196B (zh) 2019-05-28 2019-05-28 一种基于姿势引导的虚拟试穿方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910452735.0A CN110211196B (zh) 2019-05-28 2019-05-28 一种基于姿势引导的虚拟试穿方法及装置

Publications (2)

Publication Number Publication Date
CN110211196A true CN110211196A (zh) 2019-09-06
CN110211196B CN110211196B (zh) 2021-06-15

Family

ID=67789107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910452735.0A Active CN110211196B (zh) 2019-05-28 2019-05-28 一种基于姿势引导的虚拟试穿方法及装置

Country Status (1)

Country Link
CN (1) CN110211196B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852941A (zh) * 2019-11-05 2020-02-28 中山大学 一种基于神经网络的二维虚拟试衣方法
CN111062777A (zh) * 2019-12-10 2020-04-24 中山大学 一种可保留示例衣服细节的虚拟试穿方法及系统
CN111339918A (zh) * 2020-02-24 2020-06-26 深圳市商汤科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN111476241A (zh) * 2020-03-04 2020-07-31 上海交通大学 一种人物服饰转换方法及系统
CN111709874A (zh) * 2020-06-16 2020-09-25 北京百度网讯科技有限公司 图像调整的方法、装置、电子设备及存储介质
CN111768472A (zh) * 2020-05-29 2020-10-13 北京沃东天骏信息技术有限公司 虚拟试衣方法及装置、计算机可存储介质
CN111881351A (zh) * 2020-07-27 2020-11-03 深圳市爱深盈通信息技术有限公司 智能服饰推荐方法、装置、设备及存储介质
CN112508639A (zh) * 2020-11-30 2021-03-16 上海联影智能医疗科技有限公司 虚拟化人体系统的交互方法、电子设备和计算机可读介质
CN112598806A (zh) * 2020-12-28 2021-04-02 深延科技(北京)有限公司 基于人工智能的虚拟试穿方法、装置、计算机设备及介质
CN112991494A (zh) * 2021-01-28 2021-06-18 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备及计算机可读存储介质
CN113297944A (zh) * 2020-12-28 2021-08-24 武汉纺织大学 用于服装虚拟试穿的人体姿势变换方法及系统
CN113469146A (zh) * 2021-09-02 2021-10-01 深圳市海清视讯科技有限公司 目标检测方法及设备
CN113822175A (zh) * 2021-09-03 2021-12-21 西安工程大学 一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法
CN114821811A (zh) * 2022-06-21 2022-07-29 平安科技（深圳）有限公司 人物合成图像生成方法、装置、计算机设备及存储介质
WO2022161234A1 (zh) * 2021-01-27 2022-08-04 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备、存储介质
CN114913104A (zh) * 2022-05-11 2022-08-16 平安科技（深圳）有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN115272632A (zh) * 2022-07-07 2022-11-01 武汉纺织大学 基于姿态迁移的虚拟试衣方法
WO2023088277A1 (zh) * 2021-11-16 2023-05-25 百果园技术(新加坡)有限公司 虚拟穿戴方法、装置、设备、存储介质及程序产品
WO2024093762A1 (zh) * 2022-11-04 2024-05-10 华为技术有限公司 引导框显示方法及电子设备
CN114913104B (zh) * 2022-05-11 2024-06-28 平安科技（深圳）有限公司 图像处理方法、图像处理装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010121201A2 (en) * 2009-04-17 2010-10-21 Reveal Imaging Technologies, Inc. Method and system for threat image projection
CN104484816A (zh) * 2014-12-19 2015-04-01 常州飞寻视讯信息科技有限公司 基于大数据分析的服装导购系统和方法
CN105374057A (zh) * 2014-08-08 2016-03-02 株式会社东芝 虚拟试穿装置及虚拟试穿方法
CN108960959A (zh) * 2018-05-23 2018-12-07 山东大学 基于神经网络的多模态互补服装搭配方法、系统及介质
CN109345337A (zh) * 2018-09-14 2019-02-15 广州多维魔镜高新科技有限公司 一种网购试穿戴方法、虚拟试衣镜、系统及存储介质
US10282720B1 (en) * 2018-07-16 2019-05-07 Accel Robotics Corporation Camera-based authorization extension system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010121201A2 (en) * 2009-04-17 2010-10-21 Reveal Imaging Technologies, Inc. Method and system for threat image projection
CN105374057A (zh) * 2014-08-08 2016-03-02 株式会社东芝 虚拟试穿装置及虚拟试穿方法
CN104484816A (zh) * 2014-12-19 2015-04-01 常州飞寻视讯信息科技有限公司 基于大数据分析的服装导购系统和方法
CN108960959A (zh) * 2018-05-23 2018-12-07 山东大学 基于神经网络的多模态互补服装搭配方法、系统及介质
US10282720B1 (en) * 2018-07-16 2019-05-07 Accel Robotics Corporation Camera-based authorization extension system
CN109345337A (zh) * 2018-09-14 2019-02-15 广州多维魔镜高新科技有限公司 一种网购试穿戴方法、虚拟试衣镜、系统及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PRUTHA DATE 等: "Fashioning with Networks: Neural Style Transfer to Design Clothes", 《HTTP://WWW.STITCHFIX.COM/WELCOM/SCHEDULE》 *
曾伟航 等: "3D网络试衣间的研究", 《信息技术》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852941B (zh) * 2019-11-05 2023-08-01 中山大学 一种基于神经网络的二维虚拟试衣方法
CN110852941A (zh) * 2019-11-05 2020-02-28 中山大学 一种基于神经网络的二维虚拟试衣方法
CN111062777A (zh) * 2019-12-10 2020-04-24 中山大学 一种可保留示例衣服细节的虚拟试穿方法及系统
CN111062777B (zh) * 2019-12-10 2022-06-24 中山大学 一种可保留示例衣服细节的虚拟试穿方法及系统
WO2021169806A1 (zh) * 2020-02-24 2021-09-02 深圳市商汤科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN111339918A (zh) * 2020-02-24 2020-06-26 深圳市商汤科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN111339918B (zh) * 2020-02-24 2023-09-19 深圳市商汤科技有限公司 图像处理方法、装置、计算机设备及存储介质
US11430167B2 (en) 2020-02-24 2022-08-30 Shenzhen Sensetime Technology Co., Ltd. Image processing method and apparatus, computer device, and storage medium
CN111476241B (zh) * 2020-03-04 2023-04-21 上海交通大学 一种人物服饰转换方法及系统
CN111476241A (zh) * 2020-03-04 2020-07-31 上海交通大学 一种人物服饰转换方法及系统
CN111768472A (zh) * 2020-05-29 2020-10-13 北京沃东天骏信息技术有限公司 虚拟试衣方法及装置、计算机可存储介质
CN111709874B (zh) * 2020-06-16 2023-09-08 北京百度网讯科技有限公司 图像调整的方法、装置、电子设备及存储介质
CN111709874A (zh) * 2020-06-16 2020-09-25 北京百度网讯科技有限公司 图像调整的方法、装置、电子设备及存储介质
CN111881351A (zh) * 2020-07-27 2020-11-03 深圳市爱深盈通信息技术有限公司 智能服饰推荐方法、装置、设备及存储介质
CN112508639A (zh) * 2020-11-30 2021-03-16 上海联影智能医疗科技有限公司 虚拟化人体系统的交互方法、电子设备和计算机可读介质
CN113297944A (zh) * 2020-12-28 2021-08-24 武汉纺织大学 用于服装虚拟试穿的人体姿势变换方法及系统
CN112598806A (zh) * 2020-12-28 2021-04-02 深延科技(北京)有限公司 基于人工智能的虚拟试穿方法、装置、计算机设备及介质
WO2022161234A1 (zh) * 2021-01-27 2022-08-04 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备、存储介质
CN112991494B (zh) * 2021-01-28 2023-09-15 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备及计算机可读存储介质
CN112991494A (zh) * 2021-01-28 2021-06-18 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备及计算机可读存储介质
CN113469146A (zh) * 2021-09-02 2021-10-01 深圳市海清视讯科技有限公司 目标检测方法及设备
CN113822175B (zh) * 2021-09-03 2023-09-01 西安工程大学 一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法
CN113822175A (zh) * 2021-09-03 2021-12-21 西安工程大学 一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法
WO2023088277A1 (zh) * 2021-11-16 2023-05-25 百果园技术(新加坡)有限公司 虚拟穿戴方法、装置、设备、存储介质及程序产品
CN114913104A (zh) * 2022-05-11 2022-08-16 平安科技（深圳）有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN114913104B (zh) * 2022-05-11 2024-06-28 平安科技（深圳）有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN114821811B (zh) * 2022-06-21 2022-09-30 平安科技（深圳）有限公司 人物合成图像生成方法、装置、计算机设备及存储介质
CN114821811A (zh) * 2022-06-21 2022-07-29 平安科技（深圳）有限公司 人物合成图像生成方法、装置、计算机设备及存储介质
CN115272632A (zh) * 2022-07-07 2022-11-01 武汉纺织大学 基于姿态迁移的虚拟试衣方法
WO2024093762A1 (zh) * 2022-11-04 2024-05-10 华为技术有限公司 引导框显示方法及电子设备

Also Published As

Publication number Publication date
CN110211196B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN110211196A (zh) 一种基于姿势引导的虚拟试穿方法及装置
Reed et al. Learning what and where to draw
CN114663199B (zh) 一种动态展示的实时三维虚拟试衣系统及方法
CN108921123A (zh) 一种基于双重数据增强的人脸识别方法
CN109376582A (zh) 一种基于生成对抗网络的交互式人脸卡通方法
CN110599573B (zh) 一种基于单目相机的人脸实时交互动画的实现方法
CN109359538A (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
CN104008564B (zh) 一种人脸表情克隆方法
CN107610209A (zh) 人脸表情合成方法、装置、存储介质和计算机设备
Maddala et al. Yoganet: 3-d yoga asana recognition using joint angular displacement maps with convnets
CN104331164B (zh) 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法
CA2227361A1 (en) Method and apparatus for providing real-time animation utilizing a database of expressions
CN108363973A (zh) 一种无约束的3d表情迁移方法
CN110473266A (zh) 一种基于姿态指导的保留源场景人物动作视频生成方法
CN108830913A (zh) 基于用户颜色引导的语义级别线稿上色方法
Zhu et al. Simpose: Effectively learning densepose and surface normals of people from simulated data
CN108932517A (zh) 一种基于精细化网络模型的多标签服装解析方法
CN102567716A (zh) 一种人脸合成系统及实现方法
Song et al. AgeGAN++: Face aging and rejuvenation with dual conditional GANs
Zhu et al. Facial aging and rejuvenation by conditional multi-adversarial autoencoder with ordinal regression
CN110188449A (zh) 基于属性的可解释的服装信息推荐方法、系统、介质及设备
CN116797699B (zh) 基于三维立体技术的智能动画建模方法及系统
CN106326980A (zh) 机器人和机器人模拟人脸面部运动的方法
Wang et al. Frame-level refinement networks for skeleton-based gait recognition
CN109375766A (zh) 一种基于手势控制的新型学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant