CN117745990A

CN117745990A - 一种虚拟试衣方法、装置和存储介质

Info

Publication number: CN117745990A
Application number: CN202410191702.6A
Authority: CN
Inventors: 张乃文; 杨勇杰; 王进
Original assignee: Rainbow Software Co ltd
Current assignee: Rainbow Software Co ltd
Priority date: 2024-02-21
Filing date: 2024-02-21
Publication date: 2024-03-22
Anticipated expiration: 2044-02-21
Also published as: CN117745990B

Abstract

本申请涉及一种虚拟试衣方法、装置和存储介质，其中，该方法包括：获取待试衣服饰图和第一模特图；根据所述待试衣服饰图确定目标服饰图；根据所述第一模特图确定可试衣区域图和第一关键点；其中，可试衣区域包括模特服饰的区域、与所述模特服饰接触的肢体区域和与所述模特服饰接触的背景区域；将所述目标服饰图、所述可试衣区域图、所述第一关键点和噪声图输入训练后的扩散模型，所述训练后的扩散模型通过迭代预测生成试衣效果图。通过本申请，通过将目标服饰图、可试衣区域图、第一关键点和噪声图输入训练后的扩散模型，训练后的扩散模型通过迭代预测生成高质量的试衣效果图，解决了现有的虚拟试衣技术生成的试衣效果图的质量不高的问题。

Description

一种虚拟试衣方法、装置和存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种虚拟试衣方法、装置和存储介质。

背景技术

虚拟试衣技术在电子商务、在线购物等领域具有非常重要的价值，一方面能够更好地展示卖家的商品，另一方面也能够让消费者在购买前就体验穿在其身上的视觉效果。

现有的虚拟试衣技术生成的试衣效果图中，如衣服的光照、阴影、褶皱、纹理等会与实拍图像有显著差异，从而导致生成的试衣效果图的质量不高。

发明内容

在本实施例中提供了一种虚拟试衣方法、装置和存储介质。

第一个方面，在本实施例中提供了一种虚拟试衣方法，所述方法包括：

获取待试衣服饰图和第一模特图；

根据所述待试衣服饰图确定目标服饰图；

根据所述第一模特图确定可试衣区域图和第一关键点；其中，可试衣区域包括模特服饰的区域、与所述模特服饰接触的肢体区域和与所述模特服饰接触的背景区域；

将所述目标服饰图、所述可试衣区域图、所述第一关键点和噪声图输入训练后的扩散模型，所述训练后的扩散模型通过迭代预测生成试衣效果图。

在其中的一些实施例中，所述迭代预测的一个迭代周期包括：

将所述目标服饰图、所述可试衣区域的掩码图、所述第一关键点和当前迭代周期的噪声图输入至所述训练后的扩散模型，生成当前迭代周期的目标试衣图；

将所述当前迭代周期的目标试衣图作为下一迭代周期的噪声图；

将迭代截止周期的目标试衣图作为所述试衣效果图；

其中，第一个迭代周期的噪声图为随机噪声图。

在其中的一些实施例中，所述根据所述待试衣服饰图确定目标服饰图，包括：

根据预设的分类器对所述待试衣服饰图进行分类，获得第一服饰图或第二服饰图。

根据预设的第一服饰分割模型对所述第一服饰图进行分割，得到所述目标服饰图。

根据预设的第二服饰分割模型对所述第二服饰图进行分割，得到所述目标服饰图。

在其中的一些实施例中，所述虚拟试衣方法还包括：

根据所述目标服饰图确定第二关键点。

在其中的一些实施例中，所述将所述目标服饰图、所述可试衣区域图、所述第一关键点和噪声图输入训练后的扩散模型，所述训练后的扩散模型通过迭代预测生成试衣效果图，包括：

将所述目标服饰图、所述第二关键点、所述可试衣区域图、所述第一关键点和噪声图输入训练后的扩散模型，所述训练后的扩散模型通过迭代预测生成试衣效果图。

在其中的一些实施例中，对所述扩散模型进行训练，包括：

向训练模特图中添加随机噪声，得到训练图像集；

根据所述训练图像集对所述扩散模型进行训练，直到所述扩散模型收敛，得到所述训练后的扩散模型。

第二个方面，在本实施例中提供了一种虚拟试衣装置，所述装置包括：

获取模块，用于获取待试衣服饰图和第一模特图；

第一确定模块，用于根据所述待试衣服饰图确定目标服饰图；

第二确定模块，用于根据所述第一模特图确定可试衣区域图和第一关键点；其中，可试衣区域包括模特服饰的区域、与所述模特服饰接触的肢体区域和与所述模特服饰接触的背景区域；

生成模块，用于将所述目标服饰图、所述可试衣区域图、所述第一关键点和噪声图输入训练后的扩散模型，所述训练后的扩散模型通过迭代预测生成试衣效果图。

第三个方面，在本实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一个方面所述的虚拟试衣方法的步骤。

与现有技术相比，在本实施例中提供的一种虚拟试衣方法、装置和存储介质，通过将目标服饰图、可试衣区域图、第一关键点和噪声图输入训练后的扩散模型，训练后的扩散模型通过迭代预测生成高质量的试衣效果图，解决了现有的虚拟试衣技术生成的试衣效果图的质量不高的问题。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是执行本申请实施例的一种虚拟试衣方法的终端的硬件结构框图；

图2是本申请实施例的一种虚拟试衣方法的流程图；

图3是本申请实施例的一个迭代周期的流程图；

图4是本申请实施例的另一种虚拟试衣方法的流程图；

图5是本申请实施例的一种生成试衣效果图的示意图；

图6是本申请实施例的另一种生成试衣效果图的示意图；

图7是本申请实施例的一种虚拟试衣装置的结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是执行本申请实施例的一种虚拟试衣方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的一种虚拟试衣方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（RadioFrequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

本实施例中提供了一种虚拟试衣方法，图2是本申请实施例的一种虚拟试衣方法的流程图，如图2所示，该流程包括如下步骤：

步骤S210，获取待试衣服饰图和第一模特图。

具体地，这里的第一模特图中包括第一目标模特。这里的待试衣服饰图中包括待第一目标模特试衣或换装的目标服饰。这里的目标服饰可以包括上衣、裤子、裙子、鞋子以及配饰等，在此不做具体限定。

步骤S220，根据待试衣服饰图确定目标服饰图。

具体地，根据获取到的待试衣服饰图，确定待试衣服饰图中的待第一目标模特试衣或换装的目标服饰的目标服饰图。这里可以通过图像识别算法或分类器，对待试衣服饰图进行识别或分类，进而确定目标服饰图。

步骤S230，根据第一模特图确定可试衣区域图和第一关键点；其中，可试衣区域包括模特服饰的区域、与模特服饰接触的肢体区域和与模特服饰接触的背景区域。

具体地，根据第一模特图确定可试衣区域图和第一关键点。这里的第一关键点可以为第一目标模特的骨骼点（pose），示例性地，通过预先训练好的骨骼点预测模型，预测得到第一关键点。可试衣区域包括模特服饰的区域、与模特服饰接触的肢体区域和与模特服饰接触的背景区域，这里的模特服饰可以根据目标服饰的类型来确定，如目标服饰的类型为上衣时，则确定模特服饰为上衣，相应的可试衣区域包括上衣的区域、与上衣接触的肢体区域和与上衣接触的背景区域。具体地，可以先获取第一模特图中的可试衣区域的掩码图，根据第一模特图和可试衣区域的掩码图，去除第一模特图中的可试衣区域部分，得到可试衣区域图。

步骤S240，将目标服饰图、可试衣区域图、第一关键点和噪声图输入训练后的扩散模型，训练后的扩散模型通过迭代预测生成试衣效果图。

需要说明的是，本实施例中的虚拟试衣或虚拟换装指的是给定目标模特和目标服饰，通过本实施例提供的虚拟试衣方法使得目标模特穿上目标服饰。

在本实施例中，通过将目标服饰图、可试衣区域图、第一关键点和噪声图输入训练后的扩散模型，训练后的扩散模型通过迭代预测生成高质量的试衣效果图，解决了现有的虚拟试衣技术生成的试衣效果图的质量不高的问题。可以将根据待试衣服饰图确定的目标服饰图直接输入至训练后的扩散模型，不需要根据人体关键点对目标服饰图进行扭曲后再输入至训练后的扩散模型。

在本实施实例中，通过将目标服饰图、可试衣区域图、第一关键点和噪声图输入训练后的扩散模型，训练后的扩散模型通过迭代预测生成试衣效果图，进一步提高了试衣效果图的质量。

在其中的一些实施例中，如图3所示，迭代预测的一个迭代周期包括如下步骤：

步骤S310，将目标服饰图、可试衣区域图、第一关键点和当前迭代周期的噪声图输入至训练后的扩散模型，生成当前迭代周期的目标试衣图。

步骤S320，将当前迭代周期的目标试衣图作为下一迭代周期的噪声图；其中，第一个迭代周期的噪声图为随机噪声图。

步骤S330，将迭代截止周期的目标试衣图作为试衣效果图。

在其中的一些实施例中，根据待试衣服饰图确定目标服饰图，包括：

根据预设的分类器对待试衣服饰图进行分类，获得第一服饰图或第二服饰图。

具体地，待试衣服饰图中包含目标服饰，根据预设的分类器对试衣服饰图进行分类，获得第二服饰图或第二模特图。

根据预设的第一服饰分割模型对第一服饰图进行分割，得到目标服饰图。

具体地，这里的第一服饰图可以为带有复杂背景的服饰图，这里的复杂背景可以为彩色背景或其他图案背景，利用预设的第一服饰分割模型对第一服饰图进行分割，得到特定背景到的目标服饰图，这里的特定背景可以为纯色背景。

在本实施例中，通过对第一服饰图进行预处理，得到特定背景的目标服饰图，将特定背景到的目标服饰图输入训练后的扩散模型，生成相应的试衣效果图，提高了扩散模型的预测效率。

根据预设的第二服饰分割模型对第二服饰图进行分割，得到目标服饰图。

具体地，第二服饰图中可以包括第二目标模特，第二目标模特身着目标服饰，通过预设的第二服饰分割模型对第二服饰图进行分割，得到目标服饰图。这里的第一目标模特和第二目标模特可以为同一模特也可以为不同模特，当第一目标模特和第二目标模特为同一模特时，第一模特图和第二模特图可以为同一模特穿着不同服饰的图像，当第一目标模特和第二目标模特为不同模特时，第一模特图和第二模特图可以为不同模特穿着不同服饰的图像。

在本实施例中，根据预设的第二服饰分割模型对第二服饰图进行分割，得到目标服饰图，实现两个目标模特之间的换装。

在其中的一些实施例中，上述虚拟试衣方法还包括：

根据目标服饰图确定第二关键点。

在其中的一些实施例中，将目标服饰图、可试衣区域图、第一关键点和噪声图输入训练后的扩散模型，训练后的扩散模型通过迭代预测生成试衣效果图，包括：将目标服饰图、第二关键点、可试衣区域图、第一关键点和噪声图输入训练后的扩散模型，训练后的扩散模型通过迭代预测生成试衣效果图。在其中的一些实施例中，对扩散模型进行训练，包括：向训练模特图中添加随机噪声，得到训练图像集；根据训练图像集对扩散模型进行训练，直到扩散模型收敛，得到训练后的扩散模型。

下面通过优选实施例对本实施例进行描述和说明。

本实施例中还提供了一种虚拟试衣方法。图4是本申请实施例的另一种虚拟试衣方法的流程图，如图4所示，该流程包括如下步骤：

步骤S410，准备训练图像集。

具体地，步骤S410包括：

准备训练模特图；

向训练模特图中添加随机噪声，得到训练图像集。

步骤S420，根据训练图像集对扩散模型进行训练，得到训练后的扩散模型。

具体地，步骤S420包括：

将训练图像集输入至扩散模型，对扩散模型进行训练，直到扩散模型收敛，得到训练后的扩散模型。

在一些实施例中，模型可以训练固定迭代次数，比如50万次迭代。损失函数为MSE，预测噪声的均值和方差。模型训练达到固定迭代次数时，输出训练后的扩散模型。

在对扩散模型的训练过程中，扩散模型的输出可以是无噪声的训练模特图，也可以是随机噪声本身；训练的目的是使扩散模型能够分辨图像中的噪声部分，由此可以预测出无噪声的图像。

扩散模型从训练模特图开始，通过扩散过程逐步增加高斯噪声。理论上这不是一次性完成的，而是通过一系列离散的时间步骤逐步进行，其中每一步都进一步加入噪声，直至数据变成纯噪声状态。使用“重参数化技巧”（The reparameterization trick）简化加噪的计算，允许模型在任意时间步直接生成噪声数据。后续的反扩散过程（即下述的图像生成过程）则是从噪声状态开始，逐步减少噪声并恢复数据，模型在每个迭代步骤中学习逆转噪声的影响。这里的重参数化技巧有助于优化去噪过程，提高模型在各个时间步的去噪效率。这种迭代方式使得扩散模型能够高效处理和生成复杂的图像数据。

S430，获取待试衣服饰图和第一模特图。

具体地，首先获取原始服饰图，将原始服饰图作为输入送给服饰分类器，以判别该服饰是否是虚拟试衣算法支持的服饰，如是，则将原始服饰图作为待试衣服饰图，否则给用户错误提示。服饰分类器判断是否为支持的服饰，主要要求包括：单件衣服、平整（非折叠）、正面、大小比例合适等。服饰分类器的输入为服饰图，服饰分类器的输出为是否是虚拟试衣方法支持的服饰（是或否）。待试衣服饰图可以为第一服饰图或第二服饰图，其中，第一服饰图仅包含目标服饰，第二服饰图包含穿着目标服饰的第二目标模特。在一些示例性实施例中，可以根据预设的分类器对待试衣服饰图像进行分类，判断待试衣服饰图为第一服饰图或是第二服饰图。

具体地，第一模特图中的第一目标模特可以是预置模特，也可以是用户上传的图像中的模特。如果是用户上传的图像，需要通过分类器来判别该图像是否符合要求，分类器的主要差别依据包括：人像比例合适、正面、姿态符合服装模特标准、较正面（服饰可见区域为正面）、衣着类型符合要求等，若符合要求，则该模特可以作为第一目标模特。选择第一目标模特后，确定目标模特图，这里可以将选择的第一目标模特的对应的图像作为目标模特图。而后，对目标模特图进行预处理，包括：背景处理，在背景处理时，如果图片背景以白色为主（允许有轻微的光照变化），则直接将目标模特图作为第一模特图，如果图片背景不符合上述要求，则使用人像分割算法，将目标模特抠取出来再合成到白色背景上，得到第一模特图。

步骤S440，根据待试衣服饰图和第一模特图确定目标服饰图、可试衣区域图和第一关键点。

具体地，根据待试衣服饰图获取目标服饰图，包括：

在一些实施例中，如果待试衣服饰图为第一服饰图，对第一服饰图进行以下操作：

1）若第一服饰图中背景以白色为主（允许有轻微的光照变化），则可以直接将第一服饰图作为目标服饰图。

2）如果第一服饰图背景非上述背景，可以使用第一服饰分割模型，将目标服饰分割出来合成到白色背景上，得到目标服饰图。

3）如果第一服饰图背景非上述背景，还可以使用内衬分割模型将可见内衬（领口、袖口、下摆）分割出来，以便在训练时做不同扰动，以同时支持平拍或挂拍、衣架挂拍、服饰穿在假人或真人身上；在一些实施例中，可以将一张训练服饰图分为背景、衣服主体、内衬3个区域。

示例性地，可使用卷积神经网络（CNN）或Transformer来实现内衬分割模型，其中卷积神经网络一般使用U-Net来实现，通过对称的卷积和反卷积层进行图像的下采样和上采样，以实现精确的像素级分割，其实施方式为搜集数据、标注、训练、推理（预测），内衬分割模型的损失函数主要包括交叉熵损失、Dice损失等。内衬分割模型的输入为训练服饰图，内衬分割模型的输出为服饰掩膜（mask）、内衬掩膜（包括领口、袖口、下摆等可能露出服饰内衬的区域）、背景（即除服饰掩膜、内衬掩膜以外的区域），即内衬分割模型的输出为纯衣服图片。

在一些实施例中，如果待试衣服饰图为第二服饰图，对第二服饰图进行以下操作：

使用第二服饰分割模型，将模特身着的目标服饰分割出来，得到目标服饰图。

在一些实施例中，可以将目标服饰区域裁剪至合适的尺寸和比例，使得目标服饰尽可能充满图像区域，以更充分地利用有效信息。

具体地，根据第一模特图确定可试衣区域图和第一关键点，包括：

在一些实施例中，使用预先训练好的骨骼点（pose）模型预测第一模特图中模特的骨骼点（pose），即，第一关键点。示例性地，可使用卷积神经网络（CNN）或Transformer来实现骨骼点模型，通过对称的卷积和反卷积层进行图像的下采样和上采样，以实现精确的像素级分割，其实施方式为搜集数据、标注、训练、推理（预测），其损失函数包括均方误差损失（MSE），它衡量预测的关键点位置与实际关键点位置之间的平方差，但对离群点敏感；平均绝对误差损失（MAE），衡量预测值与实际值之间差异的绝对值，对离群点的敏感度较低；平滑L1损失，结合了MSE和MAE的优点，适用于不同大小的误差；以及结构化损失函数，考虑人体关键点之间的相对位置和结构关系。此外，热图损失也在姿态估计方法中被广泛使用，它通过计算预测热图和实际热图之间的MSE或交叉熵损失来进行优化。骨骼点模型的输入为原始训练模特图，输出为骨骼点关键点，如人体的主要骨骼关键点包括头部、上半身和下半身的多个部位。在头部区域，它检测脖子和头顶。上半身的关键点包括肩部的左肩和右肩，胳膊部分的左上臂、右上臂、左前臂和右前臂，以及胸部和腰部的左腰与右腰。下半身则涵盖了大腿的左大腿和右大腿，小腿的左小腿和右小腿，以及膝盖的左膝和右膝，还有脚踝的左脚踝和右脚踝。

在一些实施例中，可以使用可试衣区域分割模型预测可试衣区域的掩码图，可试衣区域包括服饰区域（与目标服饰图对应类别的服饰，比如目标服饰图为上衣，则服饰区域也为上衣区域，如训练服饰图为裤子，则服饰区域也为裤子）、和服饰区域接触的皮肤区域（例如脖子和手臂）、和服饰区域接触的部分背景区域（因为换装后的服饰区域有可能会比原服饰外扩，要确保可试衣区域都覆盖到）。可试衣区域的掩码图也可使用多个算法模型组合起来获得，比如人体解析模型（human parsing）、稠密姿态估计（dense pose）等。示例性地，可使用卷积神经网络（CNN）或Transformer来实现可试衣区域分割模型，其中卷积神经网络一般使用U-Net来实现，通过对称的卷积和反卷积层进行图像的下采样和上采样，以实现精确的像素级分割，其实施方式为搜集数据、标注、训练、推理（预测），可试衣区域分割模型的损失函数主要包括交叉熵损失、Dice损失等。可试衣区域分割模型的输入为第一模特图，可试衣区域分割模型的输出为可试衣区域的掩码图，根据第一模特图和可试衣区域的掩码图，去除第一模特图中的可试衣区域部分，得到可试衣区域图。

在一些实施例中，还可以使用预先训练好的骨骼点（pose）模型预测目标服饰图中目标服饰的骨骼点（pose），即，第二关键点。

步骤S450，根据目标服饰图、可试衣区域图和第一关键点，通过训练后的扩散模型，生成试衣效果图。

具体地，将可试衣区域图、第一关键点、目标服饰图和噪声图输入至训练后的扩散模型，训练后的扩散模型通过迭代预测生成试衣效果图。迭代预测的一个迭代周期包括：将可试衣区域图、第一关键点、目标服饰图和当前迭代周期的噪声图输入至训练后的扩散模型，生成当前迭代周期的目标试衣图；将当前迭代周期的目标试衣图作为下一迭代周期的噪声图；将迭代截止周期的目标试衣图作为试衣效果图；其中，第一个迭代周期的噪声图为随机噪声图。

在一些实施例中，生成试衣效果图的示意性流程图如图5所示，图5中以待试衣服饰图为第一服饰图作为示例。在第一个迭代周期，将随机噪声图、可试衣区域图、第一关键点和目标服饰图输入至训练后的扩散模型，得到目标试衣图1；在第二个迭代周期，将目标试衣图1作为噪声图和可试衣区域图、第一关键点、目标服饰图输入至训练后的扩散模型，得到目标试衣图2；在第n个迭代周期，将目标试衣图n-1作为噪声图和可试衣区域图、第一关键点、目标服饰图输入至训练后的扩散模型，得到目标试衣图n；直至迭代截止周期，将输出的目标试衣图作为试衣效果图。

在一些实施例中，生成试衣效果图的示意性流程图如图6所示，图6中以待试衣服饰图为第二服饰图作为示例。

在一些实施例中，将试衣效果图输入超分辨率模块，输出更高分辨率的试衣效果图。

在一些实施例中，使用预先训练好的人像分割模型将试衣效果图中的人体分割出来，将分割出来的部分合成到目标背景上，以生成背景更加复杂的试衣效果图。如在第一模特图的背景是非白色背景时，可以合成到原背景上，使得背景和原背景保持一致。这部分也可以使用扩散模型来生成，使得结果更加真实、自然。

在一些实施例中，可以将可试衣区域图、第一关键点、第二关键点、目标服饰图和噪声图输入至训练后的扩散模型，训练后的扩散模型通过迭代预测生成试衣效果图，进一步提高了生成的试衣效果图的质量。

上述通过训练后的扩散模型生成试衣效果图的原理如下：将可试衣区域图、第一关键点、目标服饰图分别经过一系列的编码（编码的过程中分辨率逐步减少，特征逐步从低维升到高维），再经过一系列的解码（解码过程中分辨率逐步增加，最终恢复至原有分辨率）。在分辨率最小、特征维度最高的阶段，使用交叉注意力机制，充分融合各输入编码形成的高维特征，以更好地保持目标服饰图像细节而不发生变化。中间可以经过多阶段处理，例如先生成小分辨率的中间结果，再基于该中间结果生成更大分辨率的结果。训练后的扩散模型首先是输入编码阶段，由多个卷积层组成，负责处理可试衣区域图、第一关键点和目标服饰图，逐步降低图像分辨率的同时增加特征维度以捕获更高级的抽象特征。在分辨率比较低、网络比较深的层，使用自注意力和交叉注意力进行特征融合，确保生成图像在风格和细节上的一致性。之后进入解码和分辨率增强阶段，通过多个上采样层或类似结构逐步增加图像分辨率，重建图像细节和质量，逐渐接近原始分辨率。中间处理阶段可能会生成低分辨率的中间图像，作为过渡后基于这些中间结果生成更高分辨率的最终输出。在本实施例中，将可试衣区域图、第一关键点和第一服饰图输入至训练后的扩散模型，生成高质量的试衣效果图，解决了现有的虚拟试衣技术生成的试衣效果图的质量不高的问题。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中还提供了一种虚拟试衣装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图7是本申请实施例的一种虚拟试衣装置的结构框图，如图7所示，该装置包括：

获取模块710，用于获取待试衣服饰图和第一模特图；

第一确定模块720，用于根据待试衣服饰图确定目标服饰图；

第二确定模块730，用于根据第一模特图确定可试衣区域图和第一关键点；其中，可试衣区域包括模特服饰的区域、与模特服饰接触的肢体区域和与模特服饰接触的背景区域；

生成模块740，用于将目标服饰图、可试衣区域图、第一关键点和噪声图输入训练后的扩散模型，训练后的扩散模型通过迭代预测生成试衣效果图。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取待试衣服饰图和第一模特图；

S2，根据待试衣服饰图确定目标服饰图；

S3，根据第一模特图确定可试衣区域图和第一关键点；其中，可试衣区域包括模特服饰的区域、与模特服饰接触的肢体区域和与模特服饰接触的背景区域；

S4，根据目标服饰图、可试衣区域图和第一关键点，通过训练后的扩散模型，生成试衣效果图。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的一种虚拟试衣方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种虚拟试衣方法。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims

1.一种虚拟试衣方法，其特征在于，所述方法包括：

获取待试衣服饰图和第一模特图；

根据所述待试衣服饰图确定目标服饰图；

2.根据权利要求1所述的虚拟试衣方法，其特征在于，所述迭代预测的一个迭代周期包括：

将所述目标服饰图、所述可试衣区域图、所述第一关键点和当前迭代周期的噪声图输入至所述训练后的扩散模型，生成当前迭代周期的目标试衣图；

将迭代截止周期的目标试衣图作为所述试衣效果图；

其中，第一个迭代周期的噪声图为随机噪声图。

3.根据权利要求2所述的虚拟试衣方法，其特征在于，所述根据所述待试衣服饰图确定目标服饰图，包括：

4.根据权利要求3所述的虚拟试衣方法，其特征在于，所述根据所述待试衣服饰图确定目标服饰图，包括：

5.根据权利要求3所述的虚拟试衣方法，其特征在于，所述根据所述待试衣服饰图确定目标服饰图，包括：

6.根据权利要求1所述的虚拟试衣方法，其特征在于，所述方法还包括：

根据所述目标服饰图确定第二关键点。

7.根据权利要求6所述的虚拟试衣方法，其特征在于，所述将所述目标服饰图、所述可试衣区域图、所述第一关键点和噪声图输入训练后的扩散模型，所述训练后的扩散模型通过迭代预测生成试衣效果图，包括：

8.根据权利要求1所述的虚拟试衣方法，其特征在于，对所述扩散模型进行训练，包括：

向训练模特图中添加随机噪声，得到训练图像集；

9.一种虚拟试衣装置，其特征在于，所述装置包括：

获取模块，用于获取待试衣服饰图和第一模特图；

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的虚拟试衣方法的步骤。