CN113283953A - 一种虚拟试衣方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种虚拟试衣方法、装置、设备及存储介质，该方法包括：获取基础人体图片和基础衣服图片，该基础人体图片包括目标人物，该基础衣服图片包括待为目标人物试穿的目标衣服；提取基础人体图片中目标人物的参考信息，根据该参考信息生成目标人体图片，该参考信息至少包括目标人物的姿态信息；对目标衣服进行拆分处理得到多个衣服子图片，不同的衣服子图片包括目标衣服的不同部分；根据姿态信息对多个衣服子图片进行形变处理，得到多个衣服子目标图片及其各自对应的掩码图像；根据多个衣服子目标图片及其各自对应的掩码图像生成目标衣服图片；根据目标人体图片和目标衣服图片生成试穿效果图。通过该方法能够获得更逼真的试穿效果图。

Description

一种虚拟试衣方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种虚拟试衣方法、装置、设备及存储介质。

背景技术

随着互联网技术的日益发展，线上购物已成为消费者的主要购物方式之一，而消费者通过线上购物的方式购买衣服时，经常难以准确地预测衣服的实际上身效果。为了解决该问题，虚拟试衣技术应运而生，该技术能够将衣服图片与人物图片有机地结合起来，从而生成人物试穿衣服的效果图。

目前现有的虚拟试衣方法，普遍直接针对衣服图片中待试穿的衣服整体做形变处理，然后将形变处理后的衣服与人物图片结合起来，生成最终的试衣效果图。然而，经本申请发明人研究发现，通过上述方式生成的试衣效果图中所试穿的衣服与人物姿态难以很好地贴合，试穿效果不够真实，难以为消费者提供可靠的参考意见。

综上，如何提高虚拟试衣的效果，使得最终生成的试穿效果图更为逼真，已成为目前亟待解决的问题。

发明内容

本申请实施例提供了一种虚拟试衣方法、装置、设备及存储介质，能够有效地提高虚拟试衣的效果，使得最终生成的试穿效果图更加逼真。

有鉴于此，本申请第一方面提供了一种虚拟试衣方法，所述方法包括：

获取基础人体图片和基础衣服图片；所述基础人体图片中包括目标人物，所述基础衣服图片中包括待为所述目标人物试穿的目标衣服；

提取所述基础人体图片中与所述目标人物相关的参考信息，根据所述参考信息生成目标人体图片；所述参考信息至少包括所述目标人物的姿态信息；

对所述基础衣服图片中的目标衣服进行拆分处理，得到N个衣服子图片；所述N为大于1的整数，不同的所述衣服子图片中包括所述目标衣服的不同部分；

根据所述姿态信息对所述N个衣服子图片进行形变处理，得到N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像；根据所述N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像，生成目标衣服图片；

根据所述目标人体图片和所述目标衣服图片，生成试穿效果图。

可选的，所述从所述基础人体图片中提取出所述目标人物的头部信息和姿态信息，根据所述头部信息和姿态信息生成目标人体图片，包括：

通过人体解析模型根据所述基础人体图片提取所述目标人物的头部信息和体型信息；

通过Openpose模型根据所述基础人体图片提取所述姿态信息；

通过人体合成模型根据所述头部信息、所述体型信息和所述姿态信息合成所述目标人体图片。

可选的，所述对所述基础衣服图片中的目标衣服进行拆分处理，得到N个衣服子图片，包括：

按照预设比例沿水平方向对所述目标衣服进行拆分处理，得到所述N个衣服子图片。

可选的，所述对所述基础衣服图片中的目标衣服进行拆分处理，得到N个衣服子图片，包括：

按照所述目标衣服的组成结构对所述目标衣服进行拆分处理，得到所述N个衣服子图片。

可选的，所述根据所述姿态信息对所述N个衣服子图片进行形变处理，得到N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像，包括：

通过第一图像处理模型根据所述姿态信息和所述N个衣服子图片，确定所述N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像。

可选的，所述根据所述N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像，生成目标衣服图片，包括：

针对每个所述衣服子目标图片，根据该衣服子目标图片和该衣服子目标图片对应的掩码图像，确定该衣服子目标图片对应的衣服子试穿图片；所述衣服子试穿图片用于表征所述衣服子目标图片对应的目标衣服部分在所述目标人物身上的试穿效果；

拼接所述N衣服子目标图片各自对应的衣服子试穿图片，得到所述目标衣服图片。

可选的，所述根据所述目标人体图片和所述目标衣服图片，生成试穿效果图，包括：

通过第二图像处理模型根据所述目标人体图片和所述目标衣服图片确定目标掩码图像；所述目标掩码图像用于表征所述目标人物与所述目标衣服之间的遮挡关系；

根据所述目标人体图片、所述目标衣服图片和所述目标掩码图像，生成所述试穿效果图。

本申请第二方面提供了一种虚拟试衣装置，所述装置包括：

基础图片获取模块，用于获取基础人体图片和基础衣服图片；所述基础人体图片中包括目标人物，所述基础衣服图片中包括待为所述目标人物试穿的目标衣服；

人体图片处理模块，用于提取所述基础人体图片中与所述目标人物相关的参考信息，根据所述参考信息生成目标人体图片；所述参考信息至少包括所述目标人物的姿态信息；

衣服图片拆分模块，用于对所述基础衣服图片中的目标衣服进行拆分处理，得到N个衣服子图片；所述N为大于1的整数，不同的所述衣服子图片中包括所述目标衣服的不同部分；

衣服图片处理模块，用于根据所述姿态信息对所述N个衣服子图片进行形变处理，得到N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像；根据所述N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像，生成目标衣服图片；

试穿效果确定模块，用于根据所述目标人体图片和所述目标衣服图片，生成试穿效果图。

可选的，所述衣服图片拆分模块具体用于：

按照预设比例沿水平方向对所述目标衣服进行拆分处理，得到所述N个衣服子图片；

或者，按照所述目标衣服的组成结构对所述目标衣服进行拆分处理，得到所述N个衣服子图片。

本申请第三方面提供了一种设备，所述设备包括：处理器和存储器；

所述存储器，用于存储计算机程序；

所述处理器，用于调用所述计算机程序，以执行第一方面所述的虚拟试衣方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行第一方面所述的虚拟试衣方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例提供了一种虚拟试衣方法，该方法创新性地针对待试穿的目标衣服进行拆分处理，得到多个分别包括目标衣服不同部分的衣服子图片，然后，根据目标人物的姿态信息对各个衣服子图片进行形变处理，并根据在形变处理过程中确定的掩码图像，将形变处理后得到的多个衣服子目标图片拼接起来，得到能够较好地贴合目标人物姿态的完整的目标衣服图片，基于该目标衣服图片生成用于模拟目标人物试穿目标衣服的试穿效果图，能够保证该试穿效果图所展现的试穿效果更为逼真。

附图说明

图1为本申请实施例提供的虚拟试衣方法的流程示意图；

图2为本申请实施例提供的虚拟试衣装置的结构示意图；

图3为本申请实施例提供的服务器的结构示意图；

图4为本申请实施例提供的终端设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

现有的虚拟试衣方法普遍直接对待试穿的衣服整体进行形变处理，然后将形变处理后的衣服与人物图片结合起来生成试穿效果图。然而，经本申请的发明人研究发现，基于上述方法模拟的衣服试穿效果并不理想，试穿效果图中所试穿的衣服通常难以自然地贴合人物的姿态，此类试穿效果图难以为消费者提供可靠的参考意见。

针对上述现有技术存在的问题，本申请实施例提供了一种虚拟试衣方法，该方法另辟蹊径对待试穿的目标衣服进行了拆分处理，并基于目标人物的姿态信息对拆分出的各个衣服子图片进行形变处理，从而使得待试穿的目标衣服能够充分贴合目标人物的姿态，模拟出更真实的衣服试穿效果。

具体的，在本申请实施例提供的虚拟试衣方法中，先获取基础人体图片和基础衣服图片，该基础人体图片中包括目标人物，该基础衣服图片中包括待为目标人物试穿的目标衣服。然后，从基础人体图片中提取出与目标人物相关的参考信息，并根据该参考信息生成目标人体图片，此处的参考信息至少包括目标人物的姿态信息。对基础衣服图片中的目标衣服进行拆分处理，得到N(N为大于1的整数)个衣服子图片，不同的衣服子图片中包括有目标衣服的不同部分。进而，根据目标人物的姿态信息对N个衣服子图片分别进行形变处理，得到各个衣服子图片各自对应的衣服子目标图片，以及各个衣服子目标图片各自对应的掩码图像。利用这N个衣服子目标图片以及这N个衣服子目标图片各自对应的掩码图像，生成贴合目标人物姿态的完整的目标衣服图片。最终，根据目标人体图片和目标衣服图片生成用于表示目标人物试穿目标衣服的试穿效果图。

上述方法创新性地针对待试穿的目标衣服进行拆分处理，得到多个分别包括目标衣服不同部分的衣服子图片，然后，根据目标人物的姿态信息对各个衣服子图片进行形变处理，并根据在形变处理过程中确定的掩码图像，将形变处理后得到的多个衣服子目标图片拼接起来，得到能够较好地贴合目标人物姿态的完整的目标衣服图片，基于该目标衣服图片生成用于模拟目标人物试穿目标衣服的试穿效果图，能够保证该试穿效果图所展现的试穿效果更为逼真。

需要说明的是，本申请实施例提供的虚拟试衣方法可以应用于各类具备图像处理能力的设备，如终端设备和服务器。其中，终端设备可以包括智能手机、计算机、平板电脑等等。服务器可以为应用服务器，也可以为Web服务器，具体部署时，服务器可以为独立服务器，也可以为集群服务器。

下面通过实施例对本申请提供的虚拟试衣方法进行详细介绍。

参见图1，图1为本申请实施例提供的虚拟试衣方法的流程示意图。为了便于描述，下述实施例以服务器作为执行主体为例进行介绍。如图1所示，该虚拟试衣方法包括以下步骤：

步骤101：获取基础人体图片和基础衣服图片；所述基础人体图片中包括目标人物，所述基础衣服图片中包括待为所述目标人物试穿的目标衣服。

当用户需要模拟目标人物试穿目标衣服的效果时，用户可以将包括有目标人物的基础人体图片上传至服务器，与此同时，服务器可以通过网络相应地获取包括有待试穿的目标衣服的基础衣服图片。

以用户通过终端设备上的购物应用程序购买衣服的应用场景为例，当用户想要获知目标人物试穿其当前浏览的目标衣服的效果时，用户可以点击目标衣服展示界面上的试穿控件，并相应地从终端设备本地存储的图片中选择包括有目标人物的基础人体图片，用户点击确认后，终端设备可以将该基础人体图片通过网络传输至服务器。与此同时，服务器可以根据用户当前浏览的网页地址，从数据库中相应地调取包括该目标衣服的基础衣服图片，该基础衣服图片通常为商家预先上传的专用于模拟试穿效果的衣服图片。

应理解，为了确保能够获得较好的试穿效果，上述基础人体图片通常为仅包括目标人物的图片或者目标人物占据主要部分的图片，并且该图片中需要完整地保留目标人物上用于试穿目标衣服的身体部分，例如，假设待试穿的目标衣服为上衣，则基础人体图片中需要包括目标人物完整的上身部分。

应理解，在实际应用中，还可以根据实际情况采取其他方式获取上述基础人体图片和基础衣服图片。例如，当本申请实施例提供的虚拟试衣方法的执行主体为终端设备时，终端设备可以直接获取用户选择的基础人体图片或实时采集用户图像作为基础人体图片，并通过与服务器进行通讯来获取基础衣服图片。本申请在此对获取基础人体图片和基础衣服图片的实现方式不做任何限定。

步骤102：提取所述基础人体图片中与所述目标人物相关的参考信息，根据所述参考信息生成目标人体图片；所述参考信息至少包括所述目标人物的姿态信息。

服务器获取到基础人体图片后，即可从该基础人体图片中提取出与目标人物相关的参考信息，进而根据该参考信息生成目标人体图片；此处的参考信息至少包括目标人物的姿态信息。

应理解，在实际应用中，为了保证最终生成的目标人物穿着有目标衣服的图片更加真实，能够为用户提供更可靠的参考意见，此处的参考信息还可以包括目标人物的头部信息和/或体型信息。

需要说明的是，上述目标人体图片不同于基础人体图片，其中展示的人物通常是基于基础人体图片中目标人物的头部信息、体型信息和姿态信息模拟出的人物，生成该目标人体图片时通常不会参考基础人体图片中目标人物的衣服信息，以便后续可以直接基于该目标人体图片模拟试穿目标衣服。

需要说明的是，上述姿态信息实际上是根据基础人体图片中目标人物的关键点信息确定的，该关键点信息是目标人物身上能够决定该目标人物姿态的关节点的位置信息，从基础人体图片中提取出目标人物的多个关键点信息，即可根据这多个关键点信息确定该目标人物的姿态信息。

具体实现时，服务器可以通过人体解析模型根据基础人体图片提取头部信息和体型信息，通过Openpose模型根据基础人体图片提取姿态信息，进而通过人体合成模型根据该头部信息、体型信息和该姿态信息合成目标人体图片。

即，服务器可以将基础人体图片P输入人体解析模型，获取该人体解析模型从该基础人体图片P中提取出的目标人物的头部信息和体型信息；将基础人体图片P输入Openpose模型，获取该Openpose模型从该基础人体图片P中提取出的目标人物的姿态信息；进而，再将所提取出的头部信息、体型信息和姿态信息输入人体合成模型，利用该人体合成模型将该头部信息和该姿态信息有机地结合起来，生成目标人体图片P’。

需要说明的是，上述人体解析模型、Openpose模型和人体合成模型均为现有技术中较为成熟的神经网络模型，本申请在此直接调用这些已成熟的模型基于基础人体图片P生成目标人体图片P’。

步骤103：对所述基础衣服图片中的目标衣服进行拆分处理，得到N个衣服子图片；所述N为大于1的整数，不同的所述衣服子图片中包括所述目标衣服的不同部分。

服务器获取到基础衣服图片后，可以对该基础衣服图片中的目标衣服进行拆分处理，从而得到N个衣服子图片，这N个衣服子图片中分别包括目标衣服的不同部分。

在一种可能的实现方式中，服务器可以按照预设比例沿水平方向对目标衣服进行拆分处理，得到上述N个衣服子图片。例如，假设预设比例为1:2:1，则服务器可以将基础衣服图片中的目标衣服沿水平方向按照1:2:1的比例分成三份，分别为衣服子图片a、衣服子图片b和衣服子图片c。

应理解，在实际应用中，上述预设比例可以根据实际需求进行设定，本申请在此不对该预设比例做具体限定。此外，服务器除了可以沿水平方向对目标衣服进行拆分处理之外，还可以沿其他方向对目标衣服进行拆分处理，例如，可以按照预设比例沿竖直方向对目标衣服进行拆分处理，又例如，可以根据目标人物的姿态信息确定目标人物的姿态倾斜方向，进而按照预设比例沿该姿态倾斜方向对目标衣服进行拆分处理，等等，本申请在此也不对拆分目标衣服的方向做任何限定。

在另一种可能的实现方式中，服务器可以按照目标衣服的组成结构对目标衣服进行拆分处理，得到N个衣服子图片。例如，假设目标衣服为长袖上衣，服务器可以根据长袖上衣的组成结构，将该长袖上衣拆分为包括左边袖子的衣服子图片、包括上衣主体的衣服子图片以及包括右边袖子的衣服子图片。又例如，假设目标衣服为裤子时，服务器可以根据裤子的组成接口，将该裤子拆分为包括左半边裤腿的衣服子图片和包括右半边裤腿的衣服子图片。再例如，假设目标衣服为带袖的连衣裙，服务器可以根据连衣裙的组成结构，将该连衣裙拆分为包括左边袖子的衣服子图片、包括连衣裙上半身部分的衣服子图片、包括连衣裙下半身部分的衣服子图片以及包括右边袖子的衣服子图片。

应理解，在实际应用中，服务器也可以采取其他方式对基础衣服图片中的目标衣服进行拆分处理，本申请在此也不对目标衣服的拆分方式做具体限定。

需要说明的是，在实际应用中，可以先执行步骤102后执行步骤103，也可以先执行步骤103后执行步骤102，还可以同时执行步骤102和步骤103，本申请在此不对步骤102和步骤103的具体执行顺序做任何限定。

步骤104：根据所述姿态信息对所述N个衣服子图片进行形变处理，得到N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像。

经步骤102提取出基础人体图片中目标人物的姿态信息，以及经步骤103对基础衣服图片中的目标衣服进行拆分处理得到N个衣服子图片后，服务器可以进一步根据目标人物的姿态信息对N个衣服子图片进行形变处理，从而得到N个衣服子图片各自对应的衣服子目标图片，该衣服子目标图片能够表征其对应的衣服子图片包括的目标衣服部分贴合于目标人物姿态的展现形态。此外，在对衣服子图片进行形变处理的过程中，服务器还可以确定各衣服子目标图片各自对应的掩码图像，衣服子目标图片对应的掩码图像能够表征该衣服子目标图片中的目标衣服部分被遮挡的情况。

具体实现时，服务器可以通过第一图像处理模型根据目标人物的姿态信息和N个衣服子图片，确定N个衣服子目标图片以及这N个衣服子目标图片各自对应的掩码图像。

即，服务器可以将N个衣服子图片和目标人物的姿态信息输入第一图像处理模型，该第一图片处理模型对这N个衣服子图片和目标人物的姿态信息进行相应地处理后，输出形变后的N个衣服子目标图片和其各自对应的掩码图像。例如，假设服务器输入至第一图像处理模型的衣服子图片分别为衣服子图片a、衣服子图片b和衣服子图片c，第一图像处理模型将相应地输出与衣服子图片a对应的衣服子目标图片a’、与衣服子图片b对应的衣服子目标图片b’和与衣服子图片c对应的衣服子目标图片c’，以及与衣服子目标图片a’对应的掩码图像a_m、与衣服子目标图片b’对应的掩码图像b_m和与衣服子目标图片c’对应的掩码图像c_m。

应理解，上述第一图像处理模型为预先训练好的神经网络模型，其可以根据输入的姿态信息对包括有目标衣服各个部分的衣服子图片相应地进行形变处理，并且确定形变处理后得到的各衣服子目标图片包括的目标衣服部分被遮挡的情况。

在实际应用中，具体可以通过以下方式训练该第一图像处理模型：获取包括有大量训练样本的训练样本集，每个训练样本中包括拆分待试穿的衣服得到的多个衣服子图片以及人体图片。训练第一图像处理模型之前，可以先利用Openpose模型提取训练样本中人体图片中人物的姿态信息。训练第一图像处理模型时，将该姿态信息和训练样本中多个衣服子图片输入至预先构建的神经网络模型中，通过该神经网络模型根据该姿态信息对这多个衣服子图片相应地进行形变处理，得到这N个衣服子目标图片以及这N个衣服子目标图片各自对应的掩码图像。进而，根据这N个衣服子目标图片各自对应的掩码图像，将这N个衣服子目标图片拼接起来，得到形变处理后的完整的待试穿衣服图片，将该待试穿衣服图片的形变程度与训练样本中人体图片中衣服的形变程度进行对比，根据该二者形变程度的差异值对预先构建的神经网络模型的模型参数进行调整。如此，利用训练样本集中各个训练样本对该预先构建的神经网络模型进行反复迭代训练，直至满足训练结束条件为止。步骤105：根据所述N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像，生成目标衣服图片。

经形变处理得到N个衣服子目标图片以及这N个衣服子目标图片各自对应的掩码图像后，即可基于这N个衣服子目标图片各自对应的掩码图像，对这N个衣服子目标图片进行拼接处理，得到贴合于目标人物姿态的完整的目标衣服图片。

具体实现时，服务器针对每个衣服子目标图片，可以根据该衣服子目标图片和该衣服子目标图片对应的掩码图像，确定该衣服子目标图片对应的衣服子试穿图片，该衣服子试穿图片能够表征该衣服子目标图片对应的目标衣服部分在目标人物身上的试穿效果；然后，拼接这N个衣服子目标图片各自对应的衣服子试穿图片，得到目标衣服图片。

以N个衣服子目标图片分别为衣服子目标图片a’、衣服子目标图片b’和与衣服子目标图片c’，N个衣服子目标图片各自对应的掩码图像分别为掩码图像a_m、掩码图像b_m和掩码图像c_m为例，服务器可以通过式(1)确定目标衣服图片W’：

W’＝a_m*a’+b_m*b’+c_m*c’ (1)

步骤106：根据所述目标人体图片和所述目标衣服图片，生成试穿效果图。

经步骤102获得目标人体图片，经步骤105获得目标衣服图片后，服务器可以将该目标人体图片和目标衣服图片有机地结合起来，生成试穿效果图，该试穿效果图展现了基础人物图片中的目标人物试穿目标衣服的效果。

具体实现时，服务器可以通过第二图像处理模型根据目标人体图片和目标衣服图片确定目标掩码图像，该目标掩码图像能够表征目标人物与目标衣服之间的遮挡关系；然后，服务器根据该目标人体图片、目标衣服图片和目标掩码图像，生成试穿效果图。

即，服务器将目标人体图片P’和目标衣服图片W’输入至第二图像处理模型，该第二图像处理模型对目标人体图片P’和目标衣服图片W’进行相应地分析处理，输出一个目标掩码图像β，该目标掩码图像β可以表征目标人体图片中的人物与目标衣服之间的遮挡关系。进而，服务器可以通过式(2)，根据目标人体图片P’、目标衣服图片W’和目标掩码图像β生成试穿效果图I：

I＝β*P’+(1-β)*W’ (2)

在实际应用中，具体可以通过以下方式训练该第二图像处理模型：获取包括有大量训练样本的训练样本集，每个训练样本中包括经形变处理后得到的待试穿的衣服图片以及人体图片。训练第二图像处理模型之前，可以先通过上述步骤102对人体图片进行处理，根据该人物图片中人物的头部信息、体型信息和姿态信息生成目标人体图片。训练第二图像处理模型时，将目标人体图片和训练样本中待试穿的衣服图片输入至预先构建的神经网络模型中，该神经网络模型通过对目标人体图片和待试穿的衣服图片进行相应地处理，输出对应的掩码图像。然后，利用该掩码图像根据目标人体图片和训练样本中待试穿的衣服的图片，生成穿着有该待试穿的衣服的人体图片，将该人体图片与训练样本中的人体图片进行对比，根据两张图片中衣服与人物之间的贴合度的差异值，对上述预先构建的神经网络模型的模型参数进行调整。如此，利用训练样本集中各个训练样本对该预先构建的神经网络模型进行反复迭代训练，直至满足训练结束条件为止。

上述虚拟试衣方法创新性地针对待试穿的目标衣服进行拆分处理，得到多个分别包括目标衣服不同部分的衣服子图片，然后，根据目标人物的姿态信息对各个衣服子图片进行形变处理，并根据在形变处理过程中确定的掩码图像，将形变处理后得到的多个衣服子目标图片拼接起来，得到能够较好地贴合目标人物姿态的完整的目标衣服图片，基于该目标衣服图片生成用于模拟目标人物试穿目标衣服的试穿效果图，能够保证该试穿效果图所展现的试穿效果更为逼真。

针对上文介绍的虚拟试衣方法，本申请实施例还提供了一种虚拟试衣装置，以使上述虚拟试衣方法在实际中得以应用和实现。

参见图2，图2为本申请实施例提供的一种虚拟试衣装置200的结构示意图，如图2所示，该虚拟试衣装置包括：

基础图片获取模块201，用于获取基础人体图片和基础衣服图片；所述基础人体图片中包括目标人物，所述基础衣服图片中包括待为所述目标人物试穿的目标衣服；

人体图片处理模块202，用于提取所述基础人体图片中与所述目标人物相关的参考信息，根据所述参考信息生成目标人体图片；所述参考信息至少包括所述目标人物的姿态信息；

衣服图片拆分模块203，用于对所述基础衣服图片中的目标衣服进行拆分处理，得到N个衣服子图片；所述N为大于1的整数，不同的所述衣服子图片中包括所述目标衣服的不同部分；

衣服图片处理模块204，用于根据所述姿态信息对所述N个衣服子图片进行形变处理，得到N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像；根据所述N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像，生成目标衣服图片；

试穿效果确定模块205，用于根据所述目标人体图片和所述目标衣服图片，生成试穿效果图。

可选的，所述人体图片处理模块202具体用于：

通过人体解析模型根据所述基础人体图片提取所述目标人物的头部信息和体型信息；

通过Openpose模型根据所述基础人体图片提取所述姿态信息；

通过人体合成模型根据所述头部信息、体型信息和所述姿态信息合成所述目标人体图片。

可选的，所述衣服图片拆分模块203具体用于：

按照预设比例沿水平方向对所述目标衣服进行拆分处理，得到所述N个衣服子图片。

可选的，所述衣服图片拆分模块203具体用于：

按照所述目标衣服的组成结构对所述目标衣服进行拆分处理，得到所述N个衣服子图片。

可选的，所述衣服图片处理模块204具体用于：

通过第一图像处理模型根据所述姿态信息和所述N个衣服子图片，确定所述N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像。

可选的，所述衣服图片处理模块204具体用于：

针对每个所述衣服子目标图片，根据该衣服子目标图片和该衣服子目标图片对应的掩码图像，确定该衣服子目标图片对应的衣服子试穿图片；所述衣服子试穿图片用于表征所述衣服子目标图片对应的目标衣服部分在所述目标人物身上的试穿效果；

拼接所述N衣服子目标图片各自对应的衣服子试穿图片，得到所述目标衣服图片。

可选的，所述试穿效果确定模块205具体用于：

通过第二图像处理模型根据所述目标人体图片和所述目标衣服图片确定目标掩码图像；所述目标掩码图像用于表征所述目标人物与所述目标衣服之间的遮挡关系；

根据所述目标人体图片、所述目标衣服图片和所述目标掩码图像，生成所述试穿效果图。

上述虚拟试衣装置创新性地针对待试穿的目标衣服进行拆分处理，得到多个分别包括目标衣服不同部分的衣服子图片，然后，根据目标人物的姿态信息对各个衣服子图片进行形变处理，并根据在形变处理过程中确定的掩码图像，将形变处理后得到的多个衣服子目标图片拼接起来，得到能够较好地贴合目标人物姿态的完整的目标衣服图片，基于该目标衣服图片生成用于模拟目标人物试穿目标衣服的试穿效果图，能够保证该试穿效果图所展现的试穿效果更为逼真。

本申请实施例还提供了一种用于虚拟试衣的设备，该设备具体可以是服务器或终端设备，下面将从硬件实体化的角度对本申请实施例提供的服务器和终端设备进行介绍。

参见图3，图3为本申请实施例提供的一种服务器300的结构示意图。该服务器300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在服务器300上执行存储介质330中的一系列指令操作。

服务器300还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图3所示的服务器结构。

其中，CPU 322用于执行如下步骤：

获取基础人体图片和基础衣服图片；所述基础人体图片中包括目标人物，所述基础衣服图片中包括待为所述目标人物试穿的目标衣服；

提取所述基础人体图片中与所述目标人物相关的参考信息，根据所述参考信息生成目标人体图片；所述参考信息至少包括所述目标人物的姿态信息；

对所述基础衣服图片中的目标衣服进行拆分处理，得到N个衣服子图片；所述N为大于1的整数，不同的所述衣服子图片中包括所述目标衣服的不同部分；

根据所述姿态信息对所述N个衣服子图片进行形变处理，得到N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像；根据所述N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像，生成目标衣服图片；

根据所述目标人体图片和所述目标衣服图片，生成试穿效果图。

可选的，CPU 322还可以用于执行本申请实施例提供的虚拟试衣方法的任意一种实现方式的步骤。

参见图4，图4为本申请实施例提供的一种终端设备的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括计算机、平板电脑、个人数字助理(英文全称：PersonalDigitalAssistant，英文缩写：PDA)等任意终端设备，以终端为计算机为例：

图4示出的是与本申请实施例提供的终端相关的计算机的部分结构的框图。参考图4，计算机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路410、存储器420、输入单元430、显示单元440、传感器450、音频电路460、无线保真(英文全称：wirelessfidelity，英文缩写：WiFi)模块470、处理器480、以及电源490等部件。本领域技术人员可以理解，图4中示出的计算机结构并不构成对计算机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储器420可用于存储软件程序以及模块，处理器480通过运行存储在存储器420的软件程序以及模块，从而执行计算机的各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器480是计算机的控制中心，利用各种接口和线路连接整个计算机的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器420内的数据，执行计算机的各种功能和处理数据，从而对计算机进行整体监控。可选的，处理器480可包括一个或多个处理单元；优选的，处理器480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器480中。

在本申请实施例中，该终端所包括的处理器480还具有以下功能：

获取基础人体图片和基础衣服图片；所述基础人体图片中包括目标人物，所述基础衣服图片中包括待为所述目标人物试穿的目标衣服；

提取所述基础人体图片中与所述目标人物相关的参考信息，根据所述参考信息生成目标人体图片；所述参考信息至少包括所述目标人物的姿态信息；

对所述基础衣服图片中的目标衣服进行拆分处理，得到N个衣服子图片；所述N为大于1的整数，不同的所述衣服子图片中包括所述目标衣服的不同部分；

根据所述姿态信息对所述N个衣服子图片进行形变处理，得到N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像；根据所述N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像，生成目标衣服图片；

根据所述目标人体图片和所述目标衣服图片，生成试穿效果图。

可选的，所述处理器480还用于执行本申请实施例提供的虚拟试衣方法的任意一种实现方式的步骤。

本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种虚拟试衣方法中的任意一种实施方式。

本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种虚拟试衣方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种虚拟试衣方法，其特征在于，所述方法包括：

获取基础人体图片和基础衣服图片；所述基础人体图片中包括目标人物，所述基础衣服图片中包括待为所述目标人物试穿的目标衣服；

提取所述基础人体图片中与所述目标人物相关的参考信息，根据所述参考信息生成目标人体图片；所述参考信息至少包括所述目标人物的姿态信息；

对所述基础衣服图片中的目标衣服进行拆分处理，得到N个衣服子图片；所述N为大于1的整数，不同的所述衣服子图片中包括所述目标衣服的不同部分；

根据所述姿态信息对所述N个衣服子图片进行形变处理，得到N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像；根据所述N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像，生成目标衣服图片；

根据所述目标人体图片和所述目标衣服图片，生成试穿效果图。

2.根据权利要求1所述的方法，其特征在于，所述提取所述基础人体图片中与所述目标人物相关的参考信息，根据所述参考信息生成目标人体图片，包括：

通过人体解析模型根据所述基础人体图片提取所述目标人物的头部信息和体型信息；

通过Openpose模型根据所述基础人体图片提取所述姿态信息；

通过人体合成模型根据所述头部信息、所述体型信息和所述姿态信息合成所述目标人体图片。

3.根据权利要求1所述的方法，其特征在于，所述对所述基础衣服图片中的目标衣服进行拆分处理，得到N个衣服子图片，包括：

按照预设比例沿水平方向对所述目标衣服进行拆分处理，得到所述N个衣服子图片；

或者，按照所述目标衣服的组成结构对所述目标衣服进行拆分处理，得到所述N个衣服子图片。

4.根据权利要求1所述的方法，其特征在于，所述根据所述姿态信息对所述N个衣服子图片进行形变处理，得到N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像，包括：

通过第一图像处理模型根据所述姿态信息和所述N个衣服子图片，确定所述N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像。

5.根据权利要求1所述的方法，其特征在于，所述根据所述N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像，生成目标衣服图片，包括：

针对每个所述衣服子目标图片，根据该衣服子目标图片和该衣服子目标图片对应的掩码图像，确定该衣服子目标图片对应的衣服子试穿图片；所述衣服子试穿图片用于表征所述衣服子目标图片对应的目标衣服部分在所述目标人物身上的试穿效果；

拼接所述N个衣服子目标图片各自对应的衣服子试穿图片，得到所述目标衣服图片。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标人体图片和所述目标衣服图片，生成试穿效果图，包括：

通过第二图像处理模型根据所述目标人体图片和所述目标衣服图片确定目标掩码图像；所述目标掩码图像用于表征所述目标人物与所述目标衣服之间的遮挡关系；

根据所述目标人体图片、所述目标衣服图片和所述目标掩码图像，生成所述试穿效果图。

7.一种虚拟试衣装置，其特征在于，所述装置包括：

基础图片获取模块，用于获取基础人体图片和基础衣服图片；所述基础人体图片中包括目标人物，所述基础衣服图片中包括待为所述目标人物试穿的目标衣服；

人体图片处理模块，用于提取所述基础人体图片中与所述目标人物相关的参考信息，根据所述参考信息生成目标人体图片；所述参考信息至少包括所述目标人物的姿态信息；

衣服图片拆分模块，用于对所述基础衣服图片中的目标衣服进行拆分处理，得到N个衣服子图片；所述N为大于1的整数，不同的所述衣服子图片中包括所述目标衣服的不同部分；

衣服图片处理模块，用于根据所述姿态信息对所述N个衣服子图片进行形变处理，得到N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像；根据所述N个衣服子目标图片以及所述N个衣服子目标图片各自对应的掩码图像，生成目标衣服图片；

试穿效果确定模块，用于根据所述目标人体图片和所述目标衣服图片，生成试穿效果图。

8.根据权利要求7所述的装置，其特征在于，所述衣服图片拆分模块具体用于：

按照预设比例沿水平方向对所述目标衣服进行拆分处理，得到所述N个衣服子图片；

或者，按照所述目标衣服的组成结构对所述目标衣服进行拆分处理，得到所述N个衣服子图片。

9.一种设备，其特征在于，所述设备包括：处理器和存储器；

所述存储器，用于存储计算机程序；

所述处理器，用于调用所述计算机程序，以执行权利要求1至6任一项所述的虚拟试衣方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至6任一项所述的虚拟试衣方法。

Images