CN115861488B - 高分辨率虚拟换装方法、系统、设备及存储介质 - Google Patents

Abstract

本发明公开了一种高分辨率虚拟换装方法、系统、设备及存储介质，它们是一一对应的方案，相关方案中：首先，通过预先收集虚拟换装数据，可以解决高分辨率样本缺失的问题，并将其用于网络训练，也可以保证输出图像的视觉效果，提升用户体验；其次，使用了基于知识蒸馏的虚拟换装方案，借助教师‑学生的知识蒸馏的网络架构，可以训练出高性能的虚拟换装模型，从而较好的生成拟合模特姿势的换装结果，并且，在线上部署时避免了复杂的数据预处理流程，可大大降低真实使用时的计算量和时延。

Description

高分辨率虚拟换装方法、系统、设备及存储介质

技术领域

本发明涉及计算机视觉领域，尤其涉及一种高分辨率虚拟换装方法、系统、设备及存储介质。

背景技术

在电商场景中，商品的广告创意作为最终呈现给用户的直接表现形式，是表达商品信息最直接有效的载体，能够直接影响用户对商品的关注度。对平台来说，自动化地产出模特服装图用于代替单调的服饰白底图作为广告创意，能够提升用户体验；对用户而言，模特试穿图提供的丰富信息，也能够提升用户体验。但是，对广告主来说，对每种服饰款式拍摄模特试穿示意图是需要耗费大量的精力，导致部分服饰商品缺乏对应的模特试穿图。因此如何自动化地产出高分辨率的模特试穿图是提高电商场景的工作效率与用户体验的一个研究问题。

虚拟换装方案的定义为给定一个模特图和一个目标服装图，虚拟换装方案生成模特身穿对应服装的图片。围绕虚拟换装这个问题，研究者们提出并迭代了多种方法。对于之前的部分方法，在测试阶段需要复杂的图像预处理用于获取虚拟换装方案案需要的信息输入，服饰商品体量大且更新换代速度快，复杂的预处理在电商场景中会极大浪费计算资源；同时，复杂的图像预处理在测试时会导致方案最终的效果对良好的图像预处理有较大依赖性，图像预处理出现的问题会导致方案最终生成效果真实性大大减弱。

最近有部分新方案在测试阶段无需预处理，但是这些方案主要面对低分辨率的图像生成，而在电商场景中所需的创意图像通常具有较高分辨率，生成的低分辨率图像无法满足电商场景的使用需求。数据是虚拟换装方案的源头，经过调研发现学术界和业界缺乏高分辨率的数据集用于驱动整个虚拟换装方案进行高分辨率虚拟换装。因此，亟需一种高分辨率的虚拟换装方案，以提升电商场景的工作效率与用户体验。

发明内容

本发明的目的是提供一种高分辨率虚拟换装方法、系统、设备及存储介质，可以提升电商场景的工作效率与用户体验。

本发明的目的是通过以下技术方案实现的：

一种高分辨率虚拟换装方法，包括：

收集虚拟换装数据：从电商平台收集服装品类的素材图像，并通过数据清洗与分类检测获得虚拟换装数据集，虚拟换装数据集中每一数据为一个图像对，图像对记为（模特图，服装图），其中，模特图中模特身着服饰和服装图中的服饰一一对应；

使用知识蒸馏的网络架构训练虚拟换装模型：虚拟换装模型中包含相同结构的教师网络与学生网络的网络模型，虚拟换装模型的每一个输入为（模特图，服装图，任意一张其他服装图）形成的三元组，以及从模特图中提取的人体姿态与躯干信息；将输入中的模特图、任意一张其他服装图以及从模特图中提取的人体姿态与躯干信息输入至教师网络，由教师网络结合从模特图中提取的人体姿态与躯干信息对所述任意一张其他服装图进行变换，再结合所述模特图生成模特换装试穿图，所述模特换装试穿图中模特身着所述任意一张其他服装图中的服装；将输入中的服装图，以及教师网络生成的模特换装试穿图输入至所述学生网络，由学生网络输出重建的模特图；基于知识蒸馏的损失函数，以及重建的模特图与输入中的模特图计算的重建损失函数构建总损失函数训练所述虚拟换装模型；

在线虚拟换装：将服装素材图与模特图输入至训练后的学生网络，获得模特换装图，所述模特换装图中的模特身着服装素材图中的服装。

一种高分辨率虚拟换装系统，包括：

虚拟换装数据收集单元，用于从电商平台收集服装品类的素材图像，并通过数据清洗与分类检测获得虚拟换装数据集，虚拟换装数据集中每一数据为一个图像对，图像对记为（模特图，服装图），其中，模特图中模特身着服饰和服装图中的服饰一一对应；

虚拟换装模型构建与训练单元，用于使用知识蒸馏的网络架构训练虚拟换装模型：虚拟换装模型中包含相同结构的教师网络与学生网络的网络模型，虚拟换装模型的每一个输入为（模特图，服装图，任意一张其他服装图）形成的三元组，以及从模特图中提取的人体姿态与躯干信息；将输入中的模特图、任意一张其他服装图以及从模特图中提取的人体姿态与躯干信息输入至教师网络，由教师网络结合从模特图中提取的人体姿态与躯干信息对所述任意一张其他服装图进行变换，再结合所述模特图生成模特换装试穿图，所述模特换装试穿图中模特身着所述任意一张其他服装图中的服装；将输入中的服装图，以及教师网络生成的模特换装试穿图输入至所述学生网络，由学生网络输出重建的模特图；基于重建的模特图与输入中的模特图构建损失函数构建总损失函数训练所述虚拟换装模型；

在线虚拟换装单元，用于将服装素材图与模特图输入至训练后的学生网络，获得模特换装图，所述模特换装图中的模特身着服装素材图中的服装。

一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。

一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。

由上述本发明提供的技术方案可以看出，一方面，通过预先收集虚拟换装数据，可以解决高分辨率样本缺失的问题，并将其用于网络训练，也可以保证输出图像的视觉效果，提升用户体验；另一方面，使用了基于知识蒸馏的虚拟换装方案，借助教师-学生的知识蒸馏的网络架构，可以训练出高性能的虚拟换装模型，从而较好的生成拟合模特姿势的换装结果，并且，在线上部署时避免了复杂的数据预处理流程，可大大降低真实使用时的计算量和时延。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种高分辨率虚拟换装方法的流程图；

图2本发明实施例提供的收集虚拟换装数据的示意图；

图3本发明实施例提供的使用知识蒸馏的网络架构训练虚拟换装模型的示意图；

图4本发明实施例提供的在线虚拟换装的示意图；

图5本发明实施例提供的一种高分辨率虚拟换装系统的示意图；

图6本发明实施例提供的一种处理设备的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

首先对本文中可能使用的术语进行如下说明：

术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。

下面对本发明所提供的一种高分辨率虚拟换装方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。

实施例一

如图1所示，一种高分辨率虚拟换装方法，主要包括如下步骤：

1、收集虚拟换装数据：从电商平台收集服装品类的素材图像，并通过数据清洗与分类检测获得虚拟换装数据集，虚拟换装数据集中每一数据为一个图像对，图像对记为（模特图，服装图），其中，模特图中模特身着服饰和服装图中的服饰一一对应。

2、使用知识蒸馏的网络架构训练虚拟换装模型：虚拟换装模型中包含相同结构的教师网络与学生网络的网络模型，虚拟换装模型的每一个输入为（模特图，服装图，任意一张其他服装图）形成的三元组，以及从模特图中提取的人体姿态与躯干信息；将输入中的模特图、任意一张其他服装图以及从模特图中提取的人体姿态与躯干信息输入至教师网络，由教师网络结合从模特图中提取的人体姿态与躯干信息对所述任意一张其他服装图进行变换，再结合所述模特图生成模特换装试穿图，所述模特换装试穿图中模特身着所述任意一张其他服装图中的服装；将输入中的服装图，以及教师网络生成的模特换装试穿图输入至所述学生网络，由学生网络输出重建的模特图；基于重建的模特图与输入中的模特图构建损失函数构建总损失函数训练所述虚拟换装模型。

3、在线虚拟换装：将服装素材图与模特图输入至训练后的学生网络，获得模特换装图，所述模特换装图中的模特身着服装素材图中的服装。

为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的一种高分辨率虚拟换装方法进行详细描述。

一、收集虚拟换装数据。

本发明实施例提供一种自动化的高分辨率虚拟换装数据收集方法，可以从电商平台纷繁复杂的图片素材库中自动化地清洗筛选符合要求的虚拟换装图片对，以解决高分辨率样本缺失的问题，并且经过清洗且内容多样的图像对虚拟换装方案提供了必要的训练保障。

如图2所示，收集虚拟换装数据主要步骤包括：

1）从电商平台的日志中收集服装品类的素材图像（候选图像）。

2）对通过人脸检测模块（Face Detection）逐一判断每一素材图像中是否包含模特。根据人脸检测模型的检测结果初步区分出模特图和服装图，检测出人脸的素材图像暂时划分为模特图，否则为服装图。

3）针对部分模特图中模特朝向非正向的情况，通过逻辑回归分类器（LogisticRegression）对模特图和服装图进行进一步区分，确定所有模特图与服装图；对同一服装单品的多个模特图和多个服装图，将服装图与模特图两两组合，生成对应的候选图像对。

4）对所有候选图像对进行中心裁剪后，根据图像直方图相似度、结构化相似度等方法确定图片相似性（similarity computation），根据图像相似性，针对上一步生成的候选图像对，对每一个模特图，保留图像相似性最高的服装图构成的图像对，并判断保留的每一图像对中模特图与服装图的相似性是否低于阈值，筛选出相似性不低于阈值的图像对。此处所涉及的阈值可以由用户根据实际情况或者经验进行设定。

本阶段的筛选中，对于每一模特图都可以选出相似性最高的服装图，但是，需要保证相似性不低于阈值，否则，即便模特图与其对应相似性最高的服装图构成的图像对会被移除，此处相应模特图无法构造符合要求的图像对。

5）对筛选出的图像对进行标注（例如，可以使用人工标注方式），以修复上述处理过程中遗留的问题，获得由一系列图像对构成的虚拟换装数据。图2右侧部分提供了两个图像对的示例，每一图像对中包含相同的服装。

本发明实施例中，这里采用标注修复上述处理过程中遗留的问题的主要原因是：训练集应该保障高度的准确性，这样才能为模型提供一个效果保障。这里主要处理如下问题：1）上述人脸检测模块和逻辑回归分类器在分类中极小概率造成的误分类，因此，需要修正。2）上述图片相似性匹配算法在匹配过程中，即使有些图片到达要求的相似度阈值也不能百分百满足是一对正确的匹配样本，所以，也需要移除。因此，为了保证训练数据完全正确，使用标注的方式做了一个强保障。

示例性的，以淘宝电商场景为例，最终可以收集10万对左右的高质量高分辨率虚拟换装数据。

二、数据预处理。

本发明实施例提出了基于知识蒸馏的虚拟换装方案。基于知识蒸馏的网络架构，能够在线上部署测试的时候摆脱掉复杂的数据预处理流程。在训练阶段，只需要对虚拟换装数据做数据预处理，所述数据预处理流程包括：通过图像抠图（image matting）与人体分割（human parsing）的方式从每一图像对模特图中提取模特所在区域的图像，并通过人体姿态估计（pose estimation）与人体稠密姿态估计（densepose estimation）的方式提取人体姿态与躯干信息。通过上面的数据预处理，能够为后续虚拟换装模型提供丰富的人体姿态、躯干的信息，通过虚拟换装模型生成拟合模特姿势的换装结果。

考虑到图像抠图、人体分割、人体姿态估计、人体稠密姿态估计的具体实施方式可参照常规技术，因此，不做赘述。此处获得的人体姿态与躯干信息是人体分割，人体姿态估计和人体稠密姿态估计综合得到的结果。其中，人体分割结果提供了人体各个部分的区域信息，人体姿态估计根据关键点得到了人体姿态躯干信息；人体稠密姿态估计相比人体姿态估计补充了更加稠密的信息。

本领域技术人员可以理解，人体姿态估计与人体稠密姿态估计属于并列的方案，学术上将pose estimation和Densepose区分来，Densepose作为一个专属名词。

三、使用知识蒸馏的网络架构训练虚拟换装模型。

本发明实施例中，虚拟换装模型包括：相同结构的教师网络（Teacher Network）与学生网络（Student Network）的网络模型，其中教师网络和学生网络的网络结构保持一致。虚拟换装模型的每一个输入为（模特图，服装图，任意一张其他服装图）形成的三元组，以及从模特图中提取的人体姿态与躯干信息，三元组中的任意一张其他服装图是指其他任一个图像对中的服装图。

如图3所示，将输入中的模特图、任意一张其他服装图以及从模特图中提取的人体姿态与躯干信息输入至教师网络，由教师网络结合从模特图中提取的人体姿态与躯干信息对所述任意一张其他服装图进行变换，再结合所述模特图生成模特换装试穿图，所述模特换装试穿图中模特身着所述任意一张其他服装图中的服装；将输入中的服装图，以及教师网络生成的模特换装试穿图输入至所述学生网络。由学生网络输出重建的模特图。

本发明实施例中，所述教师网络和学生网络结构相同，包括：服装变形模块（warpclothes module）与试穿结果生成模块（try-on generation module）。

1）所述服装变形模块，结合从模特图中提取的人体姿态与躯干信息对所述任意一张其他服装图进行变换。

在传统的变形模块中，大部分工作采用薄板样条变换（TPS）的变化方法，通过学习TPS的变换矩阵参数来实现服装变形的任务。但是该方法无法扩展到高分辨率图片的变形中，采用TPS的高分辨率服装图变换常常会产出畸变；本发明实施例中，采用稠密建模的方法去表达变换前后的关系：光流图像常常被用于视频分析领域，能够表达相邻时刻的物体在变化情况，因此，所述服装变形模块采用了光流（optical flow）变化的方法建模所述任意一张其他服装图变换前后的变化情况，在高分辨率情况下也能很好建模服装形态的改变，方式如下：首先通过图像抠图区分出所述任意一张其他服装图中的服装区域和背景区域，确定所述任意一张其他服装图中的服装形状信息，然后，利用所述任意一张其他服装图中的服装形状信息，以及预处理得到的人体姿态与躯干信息信息，通过算法估计所述任意一张其他服装图和模特图构成的光流场，之后利用估计出的光流场对对应的所述任意一张其他服装图进行变换，生成符合模特图中人体姿态的服装图片（即任意一张其他服装图的变换结果）。

2）试穿结果生成模块，结合任意一张其他服装图的变换结果与所述模特图生成模特换装试穿图。

本发明实施例中，学生网络和教师网络的网络结构保持一致，学生网络的输入为模特换装试穿图与输入中的服装图，同样的，先通过服装变形模块估计模特换装试穿图与输入中的服装图构成的光流场，并利用光流场对输入中的服装图进行变换，获得的服装图变换结果与模特换装试穿图再通过试穿结果生成模块的处理，得到重建的模特图。

本发明实施例中，试穿结果生成模块可以使用Res-UNet网络，通过编解码（Encoder-Decoder）架构实现。

本发明实施例中，使用三部分损失函数来构建总损失函数（LOSS）。第一部分为：基于重建的模特图与输入中的模特图构建的重建损失函数。第二部分为知识蒸馏的损失函数，所述知识蒸馏的损失函数用于拉近教师网络与学生网络估计的光流场，将教师网络中学到的丰富的数据预处理结果（即人体姿态与躯干信息）传递给学生网络，使得学生网络在不输入丰富的数据预处理结果的情况下获得丰富的语义信息。第三部分为光流平滑损失函数，用于对教师网络与学生网络估计的光流场进行平滑约束，它是基于先验的损失函数，使相邻点的偏移保持平滑，不会出现突变；保障了稠密建模的光流在相邻位置上变化情况不会太大，有利用生成更真实的服装变形情况。

通过以上总损失函数对虚拟换装模型进行训练，不断优化虚拟换装模型的参数，直至收敛。具体的训练流程可参见常规技术实现，本发明不做赘述。

四、在线虚拟换装。

本发明实施例中，利用训练后的学生网络进行在线服务，如图4所示，在线虚拟换装时，从日志中收集待处理的服装品类的素材图像，经过数据清洗（Data Filter）与分类检测（参见前述第一部分的介绍）获得若干待处理的图像对，所述待处理的图像对包含服装素材图与模特图；将每一待处理的图像对分别输入至训练后的学生网络，获得模特换装图。

本发明实施例中，Imagematting学名为图片抠图，可以理解为一种更精细的图片前景分割方法，在本发明实施例中主要用于从素材图像中分割出服装，得到服装图。

本发明实施例提供的上述方案，一方面，通过预先收集虚拟换装数据，可以解决高分辨率样本缺失的问题，并将其用于网络训练，也可以保证输出图像的视觉效果，提升用户体验；另一方面，使用了基于知识蒸馏的虚拟换装方案，借助教师-学生的知识蒸馏的网络架构，可以训练出高性能的虚拟换装模型，从而较好的生成拟合模特姿势的换装结果，并且，在线上部署时避免了复杂的数据预处理流程，可大大降低真实使用时的计算量和时延。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

实施例二

本发明还提供一种高分辨率虚拟换装系统，其主要基于前述实施例提供的方法实现，如图5所示，该系统主要包括：

虚拟换装数据收集单元，用于从电商平台收集服装品类的素材图像，并通过数据清洗与分类检测获得虚拟换装数据集，虚拟换装数据集中每一数据为一个图像对，图像对记为（模特图，服装图），其中，模特图中模特身着服饰和服装图中的服饰一一对应；

虚拟换装模型构建与训练单元，用于使用知识蒸馏的网络架构训练虚拟换装模型：虚拟换装模型中包含相同结构的教师网络与学生网络的网络模型，虚拟换装模型的每一个输入为（模特图，服装图，任意一张其他服装图）形成的三元组，以及从模特图中提取的人体姿态与躯干信息；将输入中的模特图、任意一张其他服装图以及从模特图中提取的人体姿态与躯干信息输入至教师网络，由教师网络结合从模特图中提取的人体姿态与躯干信息对所述任意一张其他服装图进行变换，再结合所述模特图生成模特换装试穿图，所述模特换装试穿图中模特身着所述任意一张其他服装图中的服装；将输入中的服装图，以及教师网络生成的模特换装试穿图输入至所述学生网络，由学生网络输出重建的模特图；基于重建的模特图与输入中的模特图构建损失函数构建总损失函数训练所述虚拟换装模型；

在线虚拟换装单元，用于将服装素材图与模特图输入至训练后的学生网络，获得模特换装图，所述模特换装图中的模特身着服装素材图中的服装。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

实施例三

本发明还提供一种处理设备，如图6所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。

进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。

本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：

输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；

输出设备可以为显示终端；

存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。

实施例四

本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。

本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种高分辨率虚拟换装方法，其特征在于，包括：

收集虚拟换装数据：从电商平台收集服装品类的素材图像，并通过数据清洗与分类检测获得虚拟换装数据集，虚拟换装数据集中每一数据为一个图像对，图像对包括模特图与服装图，其中，模特图中模特身着服饰和服装图中的服饰一一对应；

使用知识蒸馏的网络架构训练虚拟换装模型：虚拟换装模型中包含相同结构的教师网络与学生网络的网络模型，虚拟换装模型的每一个输入为模特图、服装图与任意一张其他服装图形成的三元组，以及从模特图中提取的人体姿态与躯干信息；将输入中的模特图、任意一张其他服装图以及从模特图中提取的人体姿态与躯干信息输入至教师网络，由教师网络结合从模特图中提取的人体姿态与躯干信息对所述任意一张其他服装图进行变换，再结合所述模特图生成模特换装试穿图，所述模特换装试穿图中模特身着所述任意一张其他服装图中的服装；将输入中的服装图，以及教师网络生成的模特换装试穿图输入至所述学生网络，由学生网络输出重建的模特图；基于知识蒸馏的损失函数，以及重建的模特图与输入中的模特图计算的重建损失函数构建总损失函数训练所述虚拟换装模型；

在线虚拟换装：将服装素材图与模特图输入至训练后的学生网络，获得模特换装图，所述模特换装图中的模特身着服装素材图中的服装；

其中，所述从电商平台收集服装品类的素材图像，并通过数据清洗与分类检测获得虚拟换装数据集的步骤包括：

从电商平台的日志中收集服装品类的素材图像；

对通过人脸检测模块逐一判断每一素材图像中是否包含模特，初步区分出模特图和服装图；

再通过逻辑回归分类器对初步区分的模特图和服装图进行进一步区分，确定所有模特图与服装图；对同一服装单品的多个模特图和多个服装图，将服装图与模特图两两组合，生成对应的候选图像对；

对所有候选图像对进行中心裁剪后，根据图像相似性，对每一个模特图，选择图像相似性最高的服装图作为一个图像对，并判断保留的每一图像对中模特图与服装图的相似性是否低于阈值，筛选出相似性不低于阈值的图像对；

对筛选出的图像对进行标注，获得由一系列图像对构成的虚拟换装数据。

2.根据权利要求1所述的一种高分辨率虚拟换装方法，其特征在于，该方法还包括数据预处理流程，所述数据预处理流程是针对虚拟换装数据集进行预处理，依次通过图像抠图与人体分割的方式从每一图像对模特图中提取模特所在区域的图像，并通过人体姿态估计与人体稠密姿态估计的方式提取人体姿态与躯干信息。

3.根据权利要求1所述的一种高分辨率虚拟换装方法，其特征在于，所述教师网络包括：服装变形模块与试穿结果生成模块；

其中，所述服装变形模块，结合从模特图中提取的人体姿态与躯干信息对所述任意一张其他服装图进行变换，包括：结合人体姿态与躯干信息估计所述任意一张其他服装图与模特图构成的光流场，再利用估计的光流场对所述任意一张其他服装图进行变换；

试穿结果生成模块，结合任意一张其他服装图的变换结果与所述模特图生成模特换装试穿图。

4.根据权利要求1所述的一种高分辨率虚拟换装方法，其特征在于，所述学生网络输出重建的模特图包括：先估计模特换装试穿图与输入中的服装图构成的光流场，并利用光流场对输入中的服装图进行变换，再利用服装图变换结果与模特换装试穿图，得到重建的模特图。

5.根据权利要求3或4所述的一种高分辨率虚拟换装方法，其特征在于，所述总损失函数还包括：光流平滑损失函数，它是基于先验的损失函数，用于对教师网络与学生网络估计的光流场进行平滑约束。

6.根据权利要求1所述的一种高分辨率虚拟换装方法，其特征在于，在线虚拟换装时，从日志中收集待处理的服装品类的素材图像，经过数据清洗与分类检测获得若干待处理的图像对，所述待处理的图像对包含服装素材图与模特图；将每一待处理的图像对分别输入至训练后的学生网络，获得模特换装图。

7.一种高分辨率虚拟换装系统，其特征在于，基于权利要求1~6任一项所述的方法实现，该系统包括：

虚拟换装数据收集单元，用于从电商平台收集服装品类的素材图像，并通过数据清洗与分类检测获得虚拟换装数据集，虚拟换装数据集中每一数据为一个图像对，图像对包括模特图与服装图，其中，模特图中模特身着服饰和服装图中的服饰一一对应；

虚拟换装模型构建与训练单元，用于使用知识蒸馏的网络架构训练虚拟换装模型：虚拟换装模型中包含相同结构的教师网络与学生网络的网络模型，虚拟换装模型的每一个输入为模特图、服装图与任意一张其他服装图形成的三元组，以及从模特图中提取的人体姿态与躯干信息；将输入中的模特图、任意一张其他服装图以及从模特图中提取的人体姿态与躯干信息输入至教师网络，由教师网络结合从模特图中提取的人体姿态与躯干信息对所述任意一张其他服装图进行变换，再结合所述模特图生成模特换装试穿图，所述模特换装试穿图中模特身着所述任意一张其他服装图中的服装；将输入中的服装图，以及教师网络生成的模特换装试穿图输入至所述学生网络，由学生网络输出重建的模特图；基于重建的模特图与输入中的模特图构建损失函数构建总损失函数训练所述虚拟换装模型；

在线虚拟换装单元，用于将服装素材图与模特图输入至训练后的学生网络，获得模特换装图，所述模特换装图中的模特身着服装素材图中的服装。

8.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~6任一项所述的方法。

9.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~6任一项所述的方法。

Images