CN116229216A - 虚拟换衣方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种虚拟换衣方法、装置、计算机设备和存储介质。方法包括：确定多组样本；每组样本中包括目标服装数据和换衣对象数据；换衣对象数据是从呈现对象穿戴原始服装的原始穿衣图像中提取的；原始服装与目标服装数据表征的目标服装的类别一致；通过待训练的换衣模型从换衣对象数据中学习对象的关键点与原始服装的关键点之间的位置关系；同一类别的服装的关键点对应的语义一致；基于位置关系对换衣对象数据和目标服装数据进行虚拟换衣处理，得到待训练的换衣模型输出的换衣图像；根据换衣图像和原始穿衣图像之间的差异确定目标损失，并根据目标损失对待训练的换衣模型进行优化，以得到训练完毕的换衣模型。采用本方法能够提高数据资源利用率。

Description

虚拟换衣方法、装置、计算机设备和存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种虚拟换衣方法、装置、计算机设备和存储介质。

背景技术

近年来电子商务发展迅速，越来越多的消费者选择在电商平台上进行购物。但是消费者线上购买服装这类非标准品时，仅能凭借商家提供的数据和个人经验，因此，虚拟换衣技术应运而生。

传统技术中，至少需要商品衣服和对应穿戴该商品衣服的模特图片这类配对数据，通过对配对数据进行深度学习实现虚拟换衣的任务。这种方法过于依赖配对数据，对于除配对数据外的其他数据利用率低，导致数据资源的浪费。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据资源利用率的虚拟换衣方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种虚拟换衣方法。方法包括：

确定多组样本；每组样本中包括目标服装数据和换衣对象数据；换衣对象数据是从呈现对象穿戴原始服装的原始穿衣图像中提取的；原始服装与目标服装数据表征的目标服装的类别一致；

通过待训练的换衣模型从换衣对象数据中学习对象的关键点与原始服装的关键点之间的位置关系；同一类别下的服装的关键点对应的语义一致；

基于位置关系对换衣对象数据和目标服装数据进行虚拟换衣处理，得到待训练的换衣模型输出的换衣图像；换衣图像中呈现对象穿戴目标服装的效果；

根据换衣图像和原始穿衣图像之间的差异确定目标损失，并根据目标损失对待训练的换衣模型进行优化，以得到训练完毕的换衣模型。

在一些实施例中，换衣对象数据包括对象骨架数据和原装关键点数据；原装关键点数据用于表征原始服装的关键点；通过待训练的换衣模型从换衣对象数据中学习对象的关键点与原始服装的关键点之间的位置关系，包括：

基于待训练的换衣模型中的门控机制从对象骨架数据中提取出骨架关键点数据；

通过对骨架关键点数据与原装关键点数据进行关联处理，学习对象的骨架关键点与原始服装的关键点之间的位置关系。

在一些实施例中，换衣对象数据包括对象纹理数据和区域掩码数据；区域掩码数据是指抠去影响目标服装穿戴的区域之后剩余的区域的掩码；基于待训练的换衣模型中的门控机制从对象骨架数据中提取出骨架关键点数据，包括：

对对象纹理数据和区域掩码数据进行融合，得到对象融合数据；

根据待训练的换衣模型中的门控数据从对象融合数据中提取出穿戴区域数据；穿戴区域数据用于指示对象穿戴目标服装时的穿戴区域；

根据穿戴区域数据从对象骨架数据中提取出骨架关键点数据。

在一些实施例中，基于位置关系对换衣对象数据和目标服装数据进行虚拟换衣处理，得到待训练的换衣模型输出的换衣图像，包括：

根据位置关系将目标服装的关键点映射，得到目标服装的目标关键点数据；目标关键点数据用于表征对象穿戴目标服装时目标服装的关键点的位置；

基于目标关键点数据对目标服装数据进行调整，得到形变服装数据；形变服装数据表征的形变服装与对象的姿态相匹配；

对形变服装数据和换衣对象数据进行虚拟换衣处理，得到待训练的换衣模型输出的换衣图像。

在一些实施例中，基于目标关键点数据对目标服装数据进行调整，得到形变服装数据，包括：

对目标关键点数据和目标服装数据进行特征提取，得到形变特征数据；

根据形变特征数据对目标服装数据中的目标服装图像进行形变，得到形变服装数据。

在一些实施例中，目标损失包括第一损失；第一损失是根据换衣图像与原始穿衣图像之间的差异确定的；目标损失还包括第二损失或第三损失中的至少一种；第二损失是根据目标服装关键点数据和原装关键点数据之间的差异确定的；第三损失是根据形变服装数据和换衣对象数据中的原始服装数据之间的差异确定的。

在一些实施例中，对形变服装数据和换衣对象数据进行虚拟换衣处理，得到待训练的换衣模型输出的换衣图像，包括：

对形变服装数据和换衣对象数据进行第一分辨率的融合处理，得到第一分辨率对应的换衣结果；

从第一分辨率的下一分辨率起，依次确定当前分辨率，对形变服装数据、换衣对象数据和当前分辨率的上一分辨率对应的换衣结果进行融合处理，得到当前分辨率对应的换衣结果；

对最后一分辨率对应的换衣结果进行非线性映射处理，得到换衣图像。

第二方面，本申请还提供了一种虚拟试衣装置。装置包括：

确定模块，用于确定多组样本；每组样本中包括目标服装数据和换衣对象数据；换衣对象数据是从呈现对象穿戴原始服装的原始穿衣图像中提取的；原始服装与目标服装数据表征的目标服装的类别一致；

学习模块，用于通过待训练的换衣模型从换衣对象数据中学习对象的关键点与原始服装的关键点之间的位置关系；同一类别下的服装的关键点对应的语义一致；

输出模块，用于基于位置关系对换衣对象数据和目标服装数据进行虚拟换衣处理，得到待训练的换衣模型输出的换衣图像；换衣图像中呈现对象穿戴目标服装的效果；

优化模块，用于根据换衣图像和原始穿衣图像之间的差异确定目标损失，并根据目标损失对待训练的换衣模型进行优化，以得到训练完毕的换衣模型。

第三方面，本申请还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法中的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法中的步骤。

第五方面，本申请还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。

上述虚拟换衣方法、装置、计算机设备、存储介质和计算机程序产品，通过每组样本中的目标服装数据和换衣对象数据作为待训练的换衣模型的训练数据，换衣对象数据是从原始穿衣图像中提取的，目标服装数据所表征的目标服装并非原始穿衣图像中的原始服装，目标服装和原始服装不要求完全一致，只要同类别即可。通过待训练的换衣模型从换衣对象数据中学习对象的关键点与原始服装的关键点之间的位置关系，同类别的服装的关键点对应的语义一致，上述位置关系一定程度上能够反映目标服装的关键点与对象的关键点之间的关系，进而基于位置关系能够实现换衣对象数据和目标服装数据的虚拟换衣处理，能够得到准确的换衣图像，基于换衣图像与原始图像之间的差异确定目标损失，根据目标损失优化待训练的换衣模型，以得到训练完毕的换衣模型，只需目标服装与原始服装同一类别，无需完全一致，大大提高了数据资源的利用率。

附图说明

图1为一个实施例中虚拟换衣方法的流程示意图；

图2为一个实施例中换衣模型中关键点预测单元的结构示意图；

图3为一个实施例中换衣模型中服装形变单元的结构示意图；

图4为一个实施例中换衣模型中试穿单元的结构示意图；

图5为一个实施例中残差块的结构示意图；

图6为一个实施例中换衣模型的结构示意图；

图7为一个实施例中虚拟换衣装置的结构框图；

图8为一个实施例中计算机设备的内部结构图；

图9为另一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一些实施例中，如图1所示，提供了一种虚拟换衣方法，以该方法应用于计算机设备为例进行说明，可以理解，计算机设备包括终端或服务器中的至少一种，该方法包括以下步骤：

S102，确定多组样本。

其中，每组样本中包括目标服装数据和换衣对象数据；换衣对象数据是从呈现对象穿戴原始服装的原始穿衣图像中提取的；原始服装与目标服装数据表征的目标服装的类别一致。

示例性地，计算机设备可以针对目标服装的类别查找呈现对象穿戴该类别的原始服装的原始穿衣图像。计算机设备可以将上述目标服装和原始穿衣图像作为一组训练数据。可以理解，由于本实施例提供的虚拟换衣方法采用的是无配对数据训练，即无商品衣服和对应穿戴该商品衣服的穿衣图像，因此需要依靠该商品衣服的种类去查找穿戴同种类衣服的原始穿衣图像并随机选择其中一个原始穿衣图片，然后组成一组训练数据。

计算机设备可以针对每组训练数据，获取目标服装的目标服装数据并从原始穿衣图像中提取穿衣对象数据，得到每组样本。

在一些实施例中，计算机设备可以获取针对目标服装标注的分类标签(cloth-class)，以确定目标服装的类别。分类标签可以包括长袖、短袖、连衣裙、半身裙、长裤或短裤等服装种类中的至少一种。

在一些实施例中，目标服装数据可以包括目标服装关键点数据(cloth-points)、目标服装图像、目标服装掩码(cloth-mask)和目标服装的分类标签。目标服装关键点数据用于表征初始的目标服装上的各个关键点的位置。目标服装关键点数据可以是目标服装的关键点坐标。目标服装掩码是目标服装图像对应的掩码。目标服装的分类标签用于指示目标服装的类别。

在一些实施例中，换衣对象数据还包括原始服装图像和相应的原始图像掩码。可以理解，原始服装图像中呈现穿戴在对象上形变的原始服装。

在一些实施例中，换衣对象数据可以包括原始穿衣图像、原始服装的分类标签(person-cloth-class)、对象纹理数据(densepose-uv)、对象骨架数据(pose)、原装关键点数据(person-cloth-points)、对象区域图像(agno-person)、区域掩码数据(agno-parse)和对象的部件分割掩码(human parse)。原始服装的分类标签用于指示原始服装的类别。对象纹理数据用于在纹理空间表征对象的姿态。对象纹理数据可以是对象的纹理贴图坐标。对象骨架数据是指对象的中轴，保持了对象的形状结构信息，能够反映对象的形状结构。原装关键点数据用于表征对象穿戴原始服装时该原始服装的关键点位置。原始关键点数据可以是原始服装的关键点坐标。区域掩码数据用于表征抠去影响所述目标服装穿戴的区域之后剩余的区域的掩码。区域掩码数据与对象区域图像相对应。对象区域图像是抠去影响所述目标服装穿戴的区域之后剩余的区域的图像。可以理解，在目标服装和原始服装的类别为短袖时，对象区域图像可以是抠去原始服装、胳膊和脖子区域之后剩余的区域的图像。部件分割掩码是指对象上多个语义一致的区域的掩码。部件分割掩码可以包括头发、人脸、腿、胳膊或上衣等掩码的至少一种。

在一些实施例中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

S104，通过待训练的换衣模型从换衣对象数据中学习对象的关键点与原始服装的关键点之间的位置关系。

其中，同一类别下的服装的关键点对应的语义一致并。这里的语义一致是指同一类别下的服装对应位置处的关键点表征同一语义，比如，均表征衣领或均表征衣袖等。关键点同类别下的服装的关键点的数量一致。可以理解，不同类别的服装的关键点数量和位置不同。服装的关键点能够用于定位该服装的各个区域位置。比如，对于短袖类别下的服装，可以包括13个关键点。左右侧衣袖分别包括4个关键点，衣袖下摆有2个关键点、衣袖与躯干区域的连接处有2个关键点。衣领包括3个关键点，分别在衣领中心和两侧。短袖服装的下摆有2个关键点。

示例性地，计算机设备可以将各组样本作为待训练的换衣模型的输入。计算机设备可以通过待训练的换衣模型从对象骨架数据中提取骨架关键点数据。骨架关键点数据用于表征对象上与穿戴原始服装相关联的关键点。计算机设备可以通过对骨架关键点数据和原装关键点数据进行关联处理，学习对象的关键点与原始服装的关键点之间的位置关系。

在一些实施例中，对象可以是人体模特。在换衣模型的推理过程中不改变对象处于的姿态。

在一些实施例中，对象骨架数据可以是对象骨架坐标。原装关键点数据可以是原始服装的关键点坐标。计算机设备可以通过待训练的换衣模型中的注意力机制将对象骨架坐标与原始服装的关键点坐标进行关联处理，以获取对象穿戴原始服装时对象的骨架关键点与原始服装的关键点之间的位置关系。可以理解，对象的关键点包括骨架关键点。穿戴同类别下的服装时对象关键点与所穿服装的关键点之间的位置关系存在一致性，即，同类别对应的穿戴时的位置关系在一定程度上是一致的。

在一些实施例中，对象骨架数据可以是热图形式的数据。

S106，基于位置关系对换衣对象数据和目标服装数据进行虚拟换衣处理，得到待训练的换衣模型输出的换衣图像。

其中，换衣图像中呈现对象穿戴目标服装的效果。

示例性地，计算机设备可以基于位置关系对目标服装数据进行调整，得到形变服装数据。形变服装数据表征的形变服装的关键点与对象的骨架关键点之间的关系符合上述位置关系。计算机设备可以对形变服装数据和换衣对象数据进行虚拟换衣处理，得到换衣图像。

S108，根据换衣图像和原始穿衣图像之间的差异确定目标损失，并根据目标损失对待训练的换衣模型进行优化，以得到训练完毕的换衣模型。

示例性地，目标损失可以包括换衣图像判别器损失。计算机设备可以将换衣图像和原始穿衣图像作为判别器的输入，得到判别器输出的换衣图像判别器损失。可以理解，判别器是基于真实的穿衣图像训练得到的。判别器能够判断输入的图像是否为真实的穿衣图像。计算机设备可以朝着目标损失减小的方向对待训练的换衣模型进行优化，得到训练完毕的换衣模型。

在一些实施例中，目标损失可以包括换衣图像感知损失。计算机设备可以针对换衣图像和原始图像进行感知损失的计算，得到换衣图像感知损失。可以理解，感知损失的计算可以通过基于视觉几何群网络(Visual Geometry Group Network，VGG)的感知损失函数实现。

在一些实施例中，计算机设备可以确定待处理服装数据和待处理对象数据。待处理对象数据是从呈现待换衣对象穿戴与待处理服装同类的服装的图像中提取的。待处理服装数据用于表征待处理服装。计算机设备可以将待处理服装数据和待处理对象数据作为训练完毕的换衣模型的输入，得到换衣模型输出的目标换衣图像。可以理解，在实际场景中，用户在选择商品衣服进行虚拟试穿时，只需提供该用户穿戴同类衣服的图像就能实现虚拟换装。

上述虚拟换衣方法中，通过每组样本中的目标服装数据和换衣对象数据作为待训练的换衣模型的训练数据，换衣对象数据是从原始穿衣图像中提取的，目标服装数据所表征的目标服装并非原始穿衣图像中的原始服装，目标服装和原始服装不要求完全一致，只要同类别即可。通过待训练的换衣模型从换衣对象数据中学习对象的关键点与原始服装的关键点之间的位置关系，同类别的服装的关键点对应的语义一致，上述位置关系一定程度上能够反映目标服装的关键点与对象的关键点之间的关系，进而基于位置关系能够实现换衣对象数据和目标服装数据的虚拟换衣处理，能够得到准确的换衣图像，基于换衣图像与原始图像之间的差异确定目标损失，根据目标损失优化待训练的换衣模型，以得到训练完毕的换衣模型，只需目标服装与原始服装同一类别，无需完全一致，大大提高了数据资源的利用率。

在一些实施例中，换衣对象数据包括对象骨架数据和原装关键点数据；原装关键点数据用于表征原始服装的关键点；通过待训练的换衣模型从换衣对象数据中学习对象的关键点与原始服装的关键点之间的位置关系，包括：基于待训练的换衣模型中的门控机制从对象骨架数据中提取出骨架关键点数据；通过对骨架关键点数据与原装关键点数据进行关联处理，学习对象的骨架关键点与原始服装的关键点之间的位置关系。

示例性地，计算机设备可以基于待训练的换衣模型中的门控机制从对象骨架数据中提取出骨架关键点数据。可以理解，对象穿戴服装时服装往往不能覆盖整个对象，对象上存在穿戴服装相关的区域和穿戴服装不相关的区域，换衣模型中的门控机制正是用于限制穿戴服装不相关的区域，保留对穿戴服装友好的区域。计算机设备可以对骨架关键点数据和原装关键点数据进行融合处理，得到位置关联数据。位置关联数据用于表征骨架关键点与原始服装的关键点之间的位置关系。

在一些实施例中，计算机设备可以对骨架关键点数据和原装关键点数据进行初步融合处理，得到初步融合数据。计算机设备可以对初步融合数据和原装关键点数据进行进阶融合处理，得到位置关联数据。

在一些实施例中，计算机设备可以对骨架关键点数据进行编码处理，得到编码后的骨架关键点数据。计算机设备可以从编码后的骨架关键点数据中提取出骨架关键点数据。

在一些实施例中，计算机设备可以对原装关键点数据进行多阶编码处理，得到编码后的原装关键点数据。比如，多阶编码处理可以是二阶编码处理。

在一些实施例中，计算机设备可以对骨架关键点数据进行编码处理，得到编码后的骨架关键点数据。计算机设备可以将编码后的骨架关键点数据和编码后的原装关键点数据进行矩阵乘法操作，得到初步融合数据。计算机设备可以对初步融合数据和编码后的原装关键点数据进行矩阵乘法操作，得到位置关联数据。

在一些实施例中，编码处理可以是先卷积处理后进行实例正则化最后非线性激活(conv-IN-prelu)。

本实施例中，基于待训练的换衣模型中的门控机制从对象骨架数据中提取出骨架关键点数据；通过对骨架关键点数据与原装关键点数据进行关联处理，学习对象的骨架关键点与原始服装的关键点之间的位置关系，位置关系一定程度上能够反映目标服装的关键点与对象的关键点之间的关系，进而基于位置关系能够实现对象和目标服装的虚拟换衣，得到准确的换衣图像。

在一些实施例中，换衣对象数据包括对象纹理数据和区域掩码数据；区域掩码数据是指抠去影响目标服装穿戴的区域之后剩余的区域的掩码；基于待训练的换衣模型中的门控机制从对象骨架数据中提取出骨架关键点数据，包括：对对象纹理数据和区域掩码数据进行融合，得到对象融合数据；根据待训练的换衣模型中的门控数据从对象融合数据中提取出穿戴区域数据；穿戴区域数据用于指示对象穿戴目标服装时的穿戴区域；根据穿戴区域数据从对象骨架数据中提取出骨架关键点数据。

示例性地，计算机设备可以对对象纹理数据(buv)和区域掩码数据(bnc)进行拼接，得到对象融合数据(bnc|buv)。可以理解，区域掩码数据中缺少穿戴目标服装相关的区域，而对象纹理数据是完整的，通过将二者拼接可以起到互补的作用。计算机设备可以对对象融合数据进行编码处理，得到编码后的对象融合数据。计算机设备可以通过待训练的换衣模型中的第一门控数据从编码后的对象融合数据中提取出穿戴区域数据。计算机设备可以通过穿戴区域数据对编码后的对象骨架数据进行加权映射，得到骨架关键点数据。可以理解，穿戴区域数据实际上是编码后的对象骨架数据的注意力权重。

在一些实施例中，计算机设备可以对穿戴区域数据和编码后的对象骨架数据进行按元素相乘的操作，得到骨架关键点数据。

本实施例中，对对象纹理数据和区域掩码数据进行融合，得到对象融合数据；根据待训练的换衣模型中的门控数据从对象融合数据中提取出穿戴区域数据；根据穿戴区域数据从对象骨架数据中提取出骨架关键点数据，后续将骨架关键点数据与原装关键点数据进行关联，能够提取出位置关系，位置关系一定程度上能够反映对象穿戴目标服装时目标服装的关键点与对象的关键点之间的关系，进而基于位置关系能够得到准确的换衣图像。

在一些实施例中，基于位置关系对换衣对象数据和目标服装数据进行虚拟换衣处理，得到待训练的换衣模型输出的换衣图像，包括：根据位置关系将目标服装的关键点映射，得到目标服装的目标关键点数据；目标关键点数据用于表征对象穿戴目标服装时目标服装的关键点的位置；基于目标关键点数据对目标服装数据进行调整，得到形变服装数据；形变服装数据表征的形变服装与对象的姿态相匹配；对形变服装数据和换衣对象数据进行虚拟换衣处理，得到待训练的换衣模型输出的换衣图像。

示例性地，计算机设备可以通过位置关联数据对目标服装关键点数据进行加权映射，得到加权后的关键点数据。计算机设备可以对加权后的关键点数据和位置关联数据进行叠加处理，得到目标服装的目标关键点数据。

计算机设备可以对目标关键点数据和目标服装数据进行融合处理，得到形变服装数据。可以理解，上述融合处理的过程中目标关键点数据会引导目标服装数据的调整方向。计算机设备可以对形变服装数据和换衣对象数据进行融合处理，得到换衣图像。

在一些实施例中，计算机设备可以对位置关联数据和目标服装关键点数据进行按元素相乘的操作，得到加权后的关键点数据。

在一些实施例中，计算机设备可以对加权后的关键点数据和位置关联数据进行按元素相加的操作，得到目标服装的目标关键点数据。

在一些实施例中，计算机设备可以对位置关联数据进行编码处理，得到编码后的位置关联数据。计算机设备可以通过编码后的位置关联数据对目标服装关键点数据进行加权映射，得到加权后的关键点数据。计算机设备可以对加权后的关键点数据和编码后的位置关联数据进行叠加处理后再进行编码处理，得到目标服装的目标关键点数据。

在一些实施例中，计算机设备可以对形变服装数据和换衣对象数据进行多分辨率的融合处理，得到换衣图像。

本实施例中，根据位置关系将目标服装的关键点映射，得到目标服装的目标关键点数据；基于目标关键点数据对目标服装数据进行调整，得到形变服装数据；对形变服装数据和换衣对象数据进行虚拟换衣处理，得到待训练的换衣模型输出的换衣图像，通过位置关系引导目标服装形变，进而将形变后的服装穿戴在对象上，得到准确的换衣图像。

在一些实施例中，如图2所示，为换衣模型中关键点预测单元的结构示意图。关键点预测单元的输出包括目标关键点数据和预测的部件分割掩码。计算机设备可以通过待训练的换衣模型中的第二门控数据从穿戴区域数据中进阶提取出进阶区域数据。进阶区域数据相较于穿戴区域数据更加细节，穿戴区域数据表征的区域相较于进阶区域数据表征的区域范围范围更大，为避免位置关系的提取不够全面，因此采用穿戴区域数据。计算机设备可以对进阶区域数据进行编码处理，得到编码后的进阶区域数据。需要说明的是，本申请实施例中对图像中任务对象的眼睛打码，是出于保护隐私的考虑，并非本申请的处理。

计算机设备可以通过进阶区域数据对目标服装掩码进行加权映射处理，得到加权后的目标服装掩码。可以理解，计算机设备具体可以对目标服装掩码进行编码处理，得到编码后的目标服装掩码。计算机设备可以对进阶区域数据和编码后的目标服装掩码进行按元素相乘的操作，得到加权后的目标服装掩码。

计算机设备可以对目标关键点数据和加权后的目标服装掩码进行融合处理，得到初步服装融合数据。可以理解，计算机设备可以对加权后的目标服装掩码进阶编码，得到进阶编码后的目标服装掩码。计算机设备可以对进阶编码后的目标服装掩码和目标关键点数据进行维度变换1，使得二者维度相匹配，得到维度变换后的目标服装掩码和目标关键点数据。计算机设备可以对维度变换后的目标服装掩码和目标关键点数据进行矩阵乘法的操作，得到初步服装融合数据。

计算机设备可以对初步服装融合数据和加权后的目标服装掩码进行进阶融合处理，得到服装融合数据。可以理解，计算机设备具体可以对初步服装融合数据进行维度变换2，使得维度变换后的初步服装融合数据与进阶编码后的目标服装掩码的维度相匹配。计算机设备可以对维度变换后的初步服装融合数据和进阶编码后的目标服装掩码进行矩阵乘法的操作，得到服装融合数据。

计算机设备可以通过服装融合数据对进阶区域数据进行加权映射，得到加权后的进阶区域数据。可以理解，计算机设备具体可以对服装融合数据进行编码处理，得到编码后的服装融合数据。计算机设备可以对编码后的服装融合数据和编码后的进阶区域数据进行按元素相乘的操作，得到加权后的进阶区域数据。

计算机设备可以对服装融合数据和加权后的进阶区域数据进行叠加处理，得到预测的部件分割掩码。可以理解，计算机设备具体可以对编码后的服装融合数据和加权后的进阶区域数据进行按元素相加的操作，得到预测的部件分割掩码。其中，预测的部件分割掩码是对象穿戴目标服装时的部件分割掩码。

计算机设备可以将编码后的骨架关键点数据和编码后的原装关键点数据进行维度变换后再进行矩阵乘法操作，得到初步融合数据。计算机设备可以对初步融合数据进行维度变换，得到维度变换后的初步融合数据。计算机设备可以对维度变换后的初步融合数据和编码后的原装关键点数据进行矩阵乘法操作，得到位置关联数据。

在一些实施例中，换衣模型中可以包括多个级联的关键点预测单元。每个点预测单元的输出为作为下一关键点预测单元的输入。

在一些实施例中，基于目标关键点数据对目标服装数据进行调整，得到形变服装数据，包括：对目标关键点数据和目标服装数据进行特征提取，得到形变特征数据；根据形变特征数据对目标服装数据中的目标服装图像进行形变，得到形变服装数据。

示例性地，计算机设备可以目标关键点数据、预测的部件分割掩码和对象骨架数据进行编码处理，得到对象编码数据。计算机设备可以对目标服装掩码和目标服装图像进行编码处理，得到目标服装编码数据。计算机设备可以对对象编码数据和目标服装编码数据进行融合处理，得到形变特征数据。计算机设备可以根据形变特征数据对目标服装图像进行插值处理，得到形变服装数据。形变服装数据可以包括形变服装图像和形变服装掩码。

在一些实施例中，计算机设备可以对对象编码数据和目标服装编码数据进行初步融合处理，得到初始形变特征数据。计算机设备可以对对象编码数据和初始形变特征数据进阶融合，得到进阶形变特征数据。计算机设备可以通过进阶形变特征数据对目标服装编码数据进行加权映射处理，得到加权后的目标服装编码数据。计算机设备可以对进阶形变特征数据和加权后的目标服装编码数据进行叠加处理，得到形变特征数据。计算机设备可以根据形变特征数据对目标服装图像进行双线性插值处理，得到形变服装数据。其中，双线性插值处理可以通过网格采样(grid sample)实现。

在一些实施例中，如图3所示，为换衣模型中服装形变单元的结构示意图。计算机设备可以将目标关键点数据、预测的部件分割掩码和对象骨架数据作为多层编码器的输入，并对多层编码器的输出进行编码处理，得到对象编码数据。计算机设备可以将目标服装掩码和目标服装图像作为多层编码器的输入，并对多层编码器的输出进行编码处理，得到目标服装编码数据。其中，多层编码器用于实现由高到低的分辨率特征的提取，随着编码的层级升高分辨率越低，相应的特征更高维。

计算机设备可以对目标服装编码数据和对象编码数据进行维度变换1，并对维度变换后的目标服装编码数据和对象编码数据进行矩阵乘法的操作，得到初始形变特征数据。计算机设备可以对初始形变特征数据进行维度变换2，并对维度变换后的初始形变特征数据和对象编码数据进行矩阵乘法的操作，得到进阶形变特征数据。计算机设备可以对进阶形变特征数据进行编码处理，得到编码后的进阶形变特征数据。计算机设备可以对编码后的进阶形变特征数据和目标服装编码数据进行按元素相乘的操作，得到加权后的目标服装编码数据。计算机设备可以加权后的目标服装编码数据和编码后的进阶形变特征数据进行按元素相加的操作，得到形变特征数据。计算机设备可以根据形变特征数据对目标服装图像进行双线性插值处理，得到形变服装数据。

在一些实施例中，计算机设备可以根据形变特征数据对目标服装图像和目标服装掩码进行双线性插值处理，得到形变服装数据。

在一些实施例中，形变特征数据是流特征(flow)。

本实施例中，对目标关键点数据和目标服装数据进行特征提取，得到形变特征数据；根据形变特征数据对目标服装数据中的目标服装图像进行形变，得到形变服装数据，通过形变特征数据引导目标服装图像进行形变，使得形变服装数据与对象穿戴目标服装时目标服装的形状相符，进而实现准确的虚拟换衣。

在一些实施例中，目标损失包括第一损失；第一损失是根据换衣图像与原始穿衣图像之间的差异确定的；目标损失还包括第二损失或第三损失中的至少一种；第二损失是根据目标服装关键点数据和原装关键点数据之间的差异确定的；第三损失是根据形变服装数据和换衣对象数据中的原始服装数据之间的差异确定的。

示例性地，第一损失可以包括换衣图像感知损失和换衣图像判别器损失。计算机设备可以将换衣图像和原始穿衣图像输入至第一判别器，得到第一判别器输出的换衣图像判别器损失。第一损失用于评价试穿单元的性能。

计算机设备可以将预测的部件分割掩码、对象的部件分割掩码和对象骨架数据输入至第二判别器中，得到第二判别器输出的分割掩码判别器损失。第二判别器是基于真实的部件分割掩码训练得到的，能够判断输入的部件分割掩码是否是真实的部件分割掩码。计算机设备可以对目标服装关键点数据和原装关键点数据进行均绝对误差的计算，得到关键点损失。计算机设备可以对预测的部件分割掩码和对象的部件分割掩码进行感知损失的计算，得到分割掩码感知损失。第二损失包括分割掩码判别器损失、关键点损失和分割掩码感知损失。第二损失用于评价关键点预测单元的性能。

计算机设备可以将形变服装图像和形变服装掩码输入至第三判别器，得到第三判别器输出的形变服装判别器损失。第三判别器是基于真实的被穿戴的服装训练出的，能够判断输入的形变服装是否是真实的形变服装。计算机设备可以对形变服装掩码和原始服装掩码进行感知损失的计算，得到形变服装感知损失。计算机设备可以对形变服装图像和原始服装图像进行分类预测，得到形变服装类别损失。可以理解，形变服装与原始服装应属于同一类别。计算机设备可以针对每轮训练得到的形变特征数据进行相邻梯度平滑损失的计算，得到形变特征损失。第三损失包括形变服装判别器损失、形变服装感知损失、形变服装类别损失和形变特征损失。

计算机设备可以对第一损失、第二损失和第三损失进行加权求和得到目标损失，并朝着目标损失减小的方向对待训练的换衣模型进行优化，得到训练完毕的换衣模型。

本实施例中，通过多种损失监督待训练的换衣模型的优化，能够保证换衣模型训练过程的准确性，保证训练完毕的换衣模型的性能。

在一些实施例中，对形变服装数据和换衣对象数据进行虚拟换衣处理，得到待训练的换衣模型输出的换衣图像，包括：对形变服装数据和换衣对象数据进行第一分辨率的融合处理，得到第一分辨率对应的换衣结果；从第一分辨率的下一分辨率起，依次确定当前分辨率，对形变服装数据、换衣对象数据和当前分辨率的上一分辨率对应的换衣结果进行融合处理，得到当前分辨率对应的换衣结果；对最后一分辨率对应的换衣结果进行非线性映射处理，得到换衣图像。

示例性地，计算机设备可以对对象区域图像、区域掩码数据、对象骨架数据、对象纹理数据和形变服装数据进行编码处理，得到第一编码数据。计算机设备可以对目标关键点数据、预测的部件分割掩码、第一编码数据、对象区域图像、区域掩码数据、对象骨架数据、对象纹理数据和形变服装数据进行第一分辨率的融合处理，得到第一分辨率对应的换衣结果。计算机设备可以从第一分辨率的下一分辨率起，依次确定当前分辨率，对目标关键点数据、预测的部件分割掩码、对象区域图像、区域掩码数据、对象骨架数据、对象纹理数据、形变服装数据和当前分辨率的上一分辨率对应的换衣结果进行融合处理，得到当前分辨率对应的换衣结果。计算机设备可以对最后一分辨率对应的换衣结果进行编码处理后进行非线性激活，得到换衣图像。其中，每一分辨率小于下一分辨率。

在一些实施例中，如图4所示，为换衣模型中试穿单元的结构示意图。计算机设备可以将第一编码数据、形变服装数据和换衣对象数据作为第一分辨率下的残差块的输入，得到第一分辨率下的残差块输出的第一分辨率对应的换衣结果。从第一分辨率的下一分辨率起，依次确定当前分辨率，将形变服装数据、换衣对象数据和当前分辨率的上一分辨率对应的换衣结果作为当前分辨率下的残差块的输入，得到当前分辨率下的残差块输出的当前分辨率对应的换衣结果。计算机设备可以对最后一分辨率下的残差块输出的最后一分辨率对应的换衣结果进行编码处理后进行非线性激活，得到换衣图像。非线性激活函数可以是双曲正切函数。

在一个实施例中，如图5所示，为残差块的结构示意图。由于每个残差块都有不同分辨率的输出，当前分辨率下的残差块可以上一分辨率对应的换衣结果进行上采样处理，上采样后的换衣结果符合当前分辨率。计算机设备可以对目标关键点数据和预测的部件分割掩码进行初始卷积处理后进阶卷积处理，得到第二编码数据。当前分辨率下的残差块可以对对象区域图像、区域掩码数据、对象骨架数据、对象纹理数据、形变服装数据和上采样后的换衣结果进行合并处理，得到合并数据。计算机设备可以对合并数据和第二编码数据进行按元素相乘的操作，得到初始换衣结果。计算机设备可以对第二编码数据和初始换衣结果进行按元素相加的操作，得到换衣结果。

在一些实施例中，如图6所示，为换衣模型的结构示意图。目标服装和原始服装的类别可以是短袖。箭头指向的部分为各单元的输出。换衣模型包括关键点预测单元、服装形变单元和试穿单元。关键点预测单元的输入包括目标服装关键点数据、目标服装掩码、区域掩码数据、对象骨架数据、对象纹理数据和原装关键点数据。关键点预测单元的输出包括预测的部件分割掩码和目标关键点数据。服装形变单元的输入包括预测的部件分割掩码、目标关键点数据、对象骨架数据、目标服装掩码和目标服装图像。服装形变单元的输出包括形变服装掩码和形变服装图像。试穿单元的输入包括形变服装掩码、形变服装图像、对象区域图像、区域掩码数据、对象骨架数据和对象纹理数据。试穿单元的输出包括换衣图像。

本实施例中，对形变服装数据和换衣对象数据进行第一分辨率的融合处理，得到第一分辨率对应的换衣结果；从第一分辨率的下一分辨率起，依次确定当前分辨率，对形变服装数据、换衣对象数据和当前分辨率的上一分辨率对应的换衣结果进行融合处理，得到当前分辨率对应的换衣结果；对最后一分辨率对应的换衣结果进行非线性映射处理，得到换衣图像，通过多分辨率的融合处理，结合多分辨率的特征，从而得到准确的换衣图像。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的虚拟换衣方法的虚拟换衣装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个虚拟换衣装置实施例中的具体限定可以参见上文中对于虚拟换衣方法的限定，在此不再赘述。

在一些实施例中，如图7所示，提供了一种虚拟换衣装置700，包括：确定模块702、学习模块704、输出模块706和优化模块708，其中：

确定模块702，用于确定多组样本；每组样本中包括目标服装数据和换衣对象数据；换衣对象数据是从呈现对象穿戴原始服装的原始穿衣图像中提取的；原始服装与目标服装数据表征的目标服装的类别一致。

学习模块704，用于通过待训练的换衣模型从换衣对象数据中学习对象的关键点与原始服装的关键点之间的位置关系；同一类别下的服装的关键点对应的语义一致。

输出模块706，用于基于位置关系对换衣对象数据和目标服装数据进行虚拟换衣处理，得到待训练的换衣模型输出的换衣图像；换衣图像中呈现对象穿戴目标服装的效果。

优化模块708，用于根据换衣图像和原始穿衣图像之间的差异确定目标损失，并根据目标损失对待训练的换衣模型进行优化，以得到训练完毕的换衣模型。

在一些实施例中，换衣对象数据包括对象骨架数据和原装关键点数据；原装关键点数据用于表征原始服装的关键点；学习模块704，用于基于待训练的换衣模型中的门控机制从对象骨架数据中提取出骨架关键点数据；通过对骨架关键点数据与原装关键点数据进行关联处理，学习对象的骨架关键点与原始服装的关键点之间的位置关系。

在一些实施例中，换衣对象数据包括对象纹理数据和区域掩码数据；区域掩码数据是指抠去影响目标服装穿戴的区域之后剩余的区域的掩码；学习模块704，用于对对象纹理数据和区域掩码数据进行融合，得到对象融合数据；根据待训练的换衣模型中的门控数据从对象融合数据中提取出穿戴区域数据；穿戴区域数据用于指示对象穿戴目标服装时的穿戴区域；根据穿戴区域数据从对象骨架数据中提取出骨架关键点数据。

在一些实施例中，输出模块706，用于根据位置关系将目标服装的关键点映射，得到目标服装的目标关键点数据；目标关键点数据用于表征对象穿戴目标服装时目标服装的关键点的位置；基于目标关键点数据对目标服装数据进行调整，得到形变服装数据；形变服装数据表征的形变服装与对象的姿态相匹配；对形变服装数据和换衣对象数据进行虚拟换衣处理，得到待训练的换衣模型输出的换衣图像。

在一些实施例中，输出模块706，用于对目标关键点数据和目标服装数据进行特征提取，得到形变特征数据；根据形变特征数据对目标服装数据中的目标服装图像进行形变，得到形变服装数据。

在一些实施例中，输出模块706，用于对形变服装数据和换衣对象数据进行第一分辨率的融合处理，得到第一分辨率对应的换衣结果；

从第一分辨率的下一分辨率起，依次确定当前分辨率，对形变服装数据、换衣对象数据和当前分辨率的上一分辨率对应的换衣结果进行融合处理，得到当前分辨率对应的换衣结果；

对最后一分辨率对应的换衣结果进行非线性映射处理，得到换衣图像。

在一些实施例中，目标损失包括第一损失；第一损失是根据换衣图像与原始穿衣图像之间的差异确定的；目标损失还包括第二损失或第三损失中的至少一种；第二损失是根据目标服装关键点数据和原装关键点数据之间的差异确定的；第三损失是根据形变服装数据和换衣对象数据中的原始服装数据之间的差异确定的。

上述虚拟换衣装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多组样本。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种虚拟换衣方法。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种虚拟换衣方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8或图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种虚拟换衣方法，其特征在于，所述方法包括：

确定多组样本；每组所述样本中包括目标服装数据和换衣对象数据；所述换衣对象数据是从呈现对象穿戴原始服装的原始穿衣图像中提取的；所述原始服装与所述目标服装数据表征的目标服装的类别一致；

通过待训练的换衣模型从所述换衣对象数据中学习所述对象的关键点与原始服装的关键点之间的位置关系；同一类别下的服装的关键点对应的语义一致；

基于所述位置关系对所述换衣对象数据和所述目标服装数据进行虚拟换衣处理，得到所述待训练的换衣模型输出的换衣图像；所述换衣图像中呈现所述对象穿戴目标服装的效果；

根据所述换衣图像和所述原始穿衣图像之间的差异确定目标损失，并根据所述目标损失对所述待训练的换衣模型进行优化，以得到训练完毕的换衣模型。

2.根据权利要求1所述的方法，其特征在于，所述换衣对象数据包括对象骨架数据和原装关键点数据；所述原装关键点数据用于表征所述原始服装的关键点；所述通过待训练的换衣模型从所述换衣对象数据中学习所述对象的关键点与原始服装的关键点之间的位置关系，包括：

基于待训练的换衣模型中的门控机制从所述对象骨架数据中提取出骨架关键点数据；

通过对所述骨架关键点数据与所述原装关键点数据进行关联处理，学习所述对象的骨架关键点与原始服装的关键点之间的位置关系。

3.根据权利要求2所述的方法，其特征在于，所述换衣对象数据包括对象纹理数据和区域掩码数据；所述区域掩码数据是指抠去影响所述目标服装穿戴的区域之后剩余的区域的掩码；所述基于待训练的换衣模型中的门控机制从所述对象骨架数据中提取出骨架关键点数据，包括：

对所述对象纹理数据和所述区域掩码数据进行融合，得到对象融合数据；

根据待训练的换衣模型中的门控数据从所述对象融合数据中提取出穿戴区域数据；所述穿戴区域数据用于指示所述对象穿戴所述目标服装时的穿戴区域；

根据所述穿戴区域数据从所述对象骨架数据中提取出骨架关键点数据。

4.根据权利要求2所述的方法，其特征在于，所述基于所述位置关系对所述换衣对象数据和所述目标服装数据进行虚拟换衣处理，得到所述待训练的换衣模型输出的换衣图像，包括：

根据所述位置关系将所述目标服装的关键点映射，得到所述目标服装的目标关键点数据；所述目标关键点数据用于表征所述对象穿戴所述目标服装时所述目标服装的关键点的位置；

基于所述目标关键点数据对所述目标服装数据进行调整，得到形变服装数据；所述形变服装数据表征的形变服装与所述对象的姿态相匹配；

对所述形变服装数据和所述换衣对象数据进行虚拟换衣处理，得到所述待训练的换衣模型输出的换衣图像。

5.根据权利要求4所述的方法，其特征在于，所述基于所述目标关键点数据对所述目标服装数据进行调整，得到形变服装数据，包括：

对所述目标关键点数据和所述目标服装数据进行特征提取，得到形变特征数据；

根据所述形变特征数据对所述目标服装数据中的目标服装图像进行形变，得到形变服装数据。

6.根据权利要求5所述的方法，其特征在于，所述目标损失包括第一损失；所述第一损失是根据所述换衣图像与所述原始穿衣图像之间的差异确定的；所述目标损失还包括第二损失或第三损失中的至少一种；所述第二损失是根据目标服装关键点数据和所述原装关键点数据之间的差异确定的；所述第三损失是根据形变服装数据和所述换衣对象数据中的原始服装数据之间的差异确定的。

7.根据权利要求4所述的方法，其特征在于，所述对所述形变服装数据和所述换衣对象数据进行虚拟换衣处理，得到所述待训练的换衣模型输出的换衣图像，包括：

对所述形变服装数据和所述换衣对象数据进行第一分辨率的融合处理，得到所述第一分辨率对应的换衣结果；

从所述第一分辨率的下一分辨率起，依次确定当前分辨率，对所述形变服装数据、所述换衣对象数据和所述当前分辨率的上一分辨率对应的换衣结果进行融合处理，得到当前分辨率对应的换衣结果；

对最后一分辨率对应的换衣结果进行非线性映射处理，得到换衣图像。

8.一种虚拟试衣装置，其特征在于，所述装置包括：

确定模块，用于确定多组样本；每组所述样本中包括目标服装数据和换衣对象数据；所述换衣对象数据是从呈现对象穿戴原始服装的原始穿衣图像中提取的；所述原始服装与所述目标服装数据表征的目标服装的类别一致；

学习模块，用于通过待训练的换衣模型从所述换衣对象数据中学习所述对象的关键点与原始服装的关键点之间的位置关系；同一类别下的服装的关键点对应的语义一致；

输出模块，用于基于所述位置关系对所述换衣对象数据和所述目标服装数据进行虚拟换衣处理，得到所述待训练的换衣模型输出的换衣图像；所述换衣图像中呈现所述对象穿戴目标服装的效果；

优化模块，用于根据所述换衣图像和所述原始穿衣图像之间的差异确定目标损失，并根据所述目标损失对所述待训练的换衣模型进行优化，以得到训练完毕的换衣模型。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images