CN114170250A - 图像处理方法、装置和电子设备 - Google Patents

Abstract

本申请提供一种图像处理方法、装置和电子设备。该图像处理方法包括：获取人体图像和替换服饰图像，人体图像包括：人体对象，替换服饰图像包括：替换服饰对象；解析人体图像，得到人体对象对应的骨架图像和多个第一分割区域图像；将骨架图像、至少一个第一分割区域图像和替换服饰图像输入第一图像生成模型得到多个第二分割区域图像；将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入第二图像生成模型得到形变后的替换服饰图像；将人体图像和形变后的替换服饰图像合成，得到目标图像，目标图像包括：穿戴形变后的替换服饰对象的人体对象。本申请能够高效并且高质量的生成服饰上身图。

Description

图像处理方法、装置和电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置和电子设备。

背景技术

在电商平台中，通过服饰上身图像能够更好的展示服饰的外观和款式，但是针对不同款式的服饰，需要模特多次试衣以拍摄不同的服饰上身图像，这样会增加人力成本，降低得到服饰上身图像的效率。

基于上述问题，目前依赖立体人体模型、立体服饰模型以及图像编辑软件得到服饰上身图像，该方式需要经验丰富的图像编辑人员，并且编辑一张服饰上身图像，需要花费较长的时间，效率较低。

发明内容

本申请的多个方面提供一种图像处理方法、装置和电子设备，用以解决目前服饰上身图像产出效率低的问题。

本申请实施例提供一种图像处理方法，包括：获取人体图像和替换服饰图像，人体图像包括：人体对象，替换服饰图像包括：替换服饰对象；解析人体图像，得到人体对象对应的骨架图像和多个第一分割区域图像，多个第一分割区域图像为人体对象中包括原始服饰的区域图像；将骨架图像、至少一个第一分割区域图像和替换服饰图像输入第一图像生成模型进行图像生成，以使替换服饰图像与至少一个第一分割区域图像匹配，得到多个第二分割区域图像，多个第二分割区域图像为人体对象中包括替换服饰对象的区域图像；将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入第二图像生成模型进行图像生成，以得到形变后的替换服饰图像，形变后的替换服饰图像包括：形变后的替换服饰对象，形变后的替换服饰对象与人体对象契合；将人体图像和形变后的替换服饰图像合成，得到目标图像，目标图像包括：穿戴形变后的替换服饰对象的人体对象。

本申请实施例还提供一种图像处理装置，包括：获取模块，用于获取人体图像和替换服饰图像，人体图像包括：人体对象，替换服饰图像包括：替换服饰对象；

解析模块，用于解析人体图像，得到人体对象对应的骨架图像和多个第一分割区域图像，多个第一分割区域图像为人体对象中包括原始服饰的区域图像；

第一图像生成模块，用于将骨架图像、至少一个第一分割区域图像和替换服饰图像输入第一图像生成模型进行图像生成，以使替换服饰图像与至少一个第一分割区域图像匹配，得到多个第二分割区域图像，多个第二分割区域图像为人体对象中包括替换服饰对象的区域图像；

第二图像生成模块，用于将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入第二图像生成模型进行图像生成，以得到形变后的替换服饰图像，形变后的替换服饰图像包括：形变后的替换服饰对象，形变后的替换服饰对象与人体对象契合；

确定模块，用于将人体图像和形变后的替换服饰图像合成，得到目标图像，目标图像包括：穿戴形变后的替换服饰对象的人体对象。

本申请实施例还提供一种电子设备，包括：存储器和处理器；存储器用于存储程序指令；处理器用于调用存储器中的程序指令执行如上述的图像处理方法。

在本申请实施例中，在电商平台展示服饰的场景中，根据获取到的人体图像和替换服饰图像，用模型对人体图像和替换服饰图像进行图像处理后，即可得到包含有穿戴形变后的替换服饰对象的人体对象的目标图像，为电商商家提供了自动化的目标图像生成能力，提高了服饰上身图像的产出效率。此外，通过先对人体图像进行解析，得到第一分割区域图像，然后通过第一图像生成模型生成第二分割区域图像，通过第二图像生成模型生成包含形变后的替换服饰对象的替换服饰图像，最后得到目标图像，能够得到替换服饰对象更契合人体对象的目标图像，进而提高了服饰上身图像的质量。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请示例性实施例提供的一种图像处理方法的示意图；

图2为本申请示例性实施例提供的一种图像处理方法的步骤流程图；

图3为本申请示例性实施例提供的一种人体图像解析的示意图；

图4为本申请示例性实施例提供的一种第二图像生成模型生成第二分割区域图的示意图；

图5为本申请示例性实施例提供的一种第二图像生成模型生成形变后的替换服饰图像的过程示意图；

图6为本申请示例性实施例提供的另一种图像处理方法的步骤流程图；

图7为本申请示例性实施例提供的一种对抗网络模型生成目标图像的过程示意图；

图8为本申请示例性实施例提供的一种图像处理装置的结构框图；

图9为本申请示例性实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对现有电商平台中商家的服饰上身图的产出效率较低的问题，在本申请实施例中，根据获取到的人体图像和替换服饰图像，通过模型对人体图像和替换服饰图像进行图像处理后，即可得到包含有穿戴形变后的替换服饰对象的人体对象的目标图像，为电商商家提供了自动化的目标图像生成能力，提高了服饰上身图像的产出效率。此外，通过先对人体图像进行解析，得到第一分割区域图像，然后通过第一图像生成模型生成第二分割区域图像，通过第二图像生成模型生成形变后的替换服饰图像，最后得到目标图像，能够得到替换服饰对象更契合人体对象的目标图像，进而提高了服饰上身图像的质量。

在本实施例中，并不限定图像处理方法的执行设备。可选地，图像处理方法可以借助云计算系统实现整体的图像系统功能。例如，图像处理方法可以应用于云服务器，以便借助于云上资源的优势运行各种生成目标图像的神经网络模型；相对于应用于云端，图像处理方法也可以应用于常规服务器、云服务器或服务器阵列等服务端设备。

此外，本申请实施例提供的图像处理方法可应用于服饰行业，例如，服装行业和饰品行业，采用本申请实施例提供的图像处理方法可以满足各种用户的个性化的定制需求，例如，服装的替换，包括：服饰的替换与叠加。具体为，人体图像中人体对象的原始上衣与替换服饰图像中上衣的替换，人体图像中人体对象的原始裤装与替换服饰图像中的裤装的替换，人体图像中人体对象的原始饰品与替换服饰图像中的饰品的替换，此外，在人体图像中人体对象不穿有上衣时，可以将替换服饰图像中上衣叠加在人体对象的上衣对应得区域，在人体图像中人体对象不穿有裤装时，可以将替换服饰图像中裤装叠加在人体对象的裤装对应得区域，在人体图像中人体对象不戴有饰品时，可以将替换服饰图像中饰品叠加在人体对象的饰品对应得区域，本申请实施例对于上述多种应用场景能够快速、高效、高质量的为用户生成符合其定制化需求的目标图像。

例如，对于电商平台出售服饰的商家，该商家需要在电商平台展示其所出售的多个服饰的模特图，则可以采用本申请实施例提供的图像处理方法，快速生成各个服饰对应的目标图像，既服饰上身图。还例如，对于线下出售服饰的商家，需要给每个实体服饰配有服饰上身图，则也可以采用本申请实施例提供的图像处理方法，快速生成各个服饰对应的目标图像，既服饰上身图。再例如，对于购买服饰的客户，可以先采集到购买服饰的平铺图以及自身对应得人体图像，然后采用本申请实施例提供的图像处理方法，快速生成该服饰对应自身的目标图像，既服饰上身图。在本实施例中，图像处理方法可以为服装行业生成各服饰对应的服饰上身图，有利于降低商家得到服饰上身图的时间成本以及人力成本，可保证高效生成具有较高精度的服饰上身图。

示例性的，参照图1，商家客户端将采集的人体图像和替换服饰图像发送给服务器，服务器将获取到的人体图像进行解析得到骨架图像和多个第一分割区域图像，然后服务器将替换服饰图像、骨架图像和至少一个第一分割区域图像输入第一图像生成模型，经过第一图像生成模型的编码器和解码器进行图像处理后，得到多个第二分割区域图像，然后服务器将多个第二分割区域图像、人体图像、骨架图像和替换服饰图像输入第二图像生成模型，经过第二图像生成模型的卷积网络层和形变层进行图像处理后得等形变后的替换服饰图像，然后服务器将形变后的替换服饰图像、人体图像、骨架图像和多个第二分割区域图像输入对抗网络模型进行图像处理，得到目标图像，服务器可以生成的目标图像发送给商家客户端，进而使商家可以快速的得到高质量的目标图像。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图2为本申请示例性实施例提供的一种图像处理方法的步骤流程图。如图2所示该图像处理方法，具体包括以下步骤：

S201、获取人体图像和替换服饰图像。

其中，人体图像包括：人体对象；替换服饰图像包括：替换服饰对象。具体的，人体图像和替换服饰图像可以是由终端设备通过摄像头采集的，然后发送给服务器，服务器接收到该人体图像和替换服饰图像。人体对象是用户设定的模特，该人体对象穿戴有原始服饰，如上衣、裤装以及饰品等，其中，上衣包括：背心、短袖、长袖等各种上衣。裤装包括：短裤、中裤或长裤等各种裤装。饰品包括：围巾、帽子、手套、鞋子、项链、手链等各种饰品。替换服饰对象是用户需要人体对象需要替换的服饰。其中，替换服饰图像中的替换服饰对象的初始状态为平铺状态或者扭曲状态。

在本实施例中，替换服饰对象用于替换人体图像中人体对象对应的原始服饰，使人体对象显示穿戴有替换服饰图像中的服饰对象。具体为，替换服饰对象为上衣，则替换人体对象的原始服饰中的上衣，替换服饰对象为裤装，则替换人体对象的原始服饰的裤装，替换服饰对象为饰品，则替换人体对象的原始服饰中对应得饰品。例如，参照图3，包括：人体图像A，该人体图像A的原始图像包括：长袖上衣A4和裤装A6。参照图4，包括替换服饰图像D，替换服饰图像D包括替换服饰对象，该替换服饰对象为短袖上衣，本申请实施例能够通过对人体图像A和替换服饰图像D进行图像处理后，将替换服饰图像D中的短袖替换人体图像A中的长袖上衣，得到穿戴有替换服饰对象（短袖）的人体对象的目标图像，并且在目标图像中，替换服饰对象（短袖）可以契合人体对象A。

S202、解析人体图像，得到人体对象对应的骨架图像和多个第一分割区域图像。

在本实施例中，可以采用OpenPose技术（关键点检测技术）提取人体图像中人体对象的骨骼特征，得到骨架图像，骨架图像能够表示人体对象的姿态。其中，骨骼特征包括关键点以及相连关键点之间的连线。如17个关键点，分别为左右眼睛、鼻子、左右耳朵、脖子、左右肩膀、左右肘、左右手、左右胯、左右膝盖、左右脚。例如，参照图3，骨架图像B为人体图像A对应的骨架图像。

其中，多个第一分割区域图像为人体对象中包括原始服饰的区域图像。具体的，多个第一分割区域图像中对象可以拼接后得到人体图像。每个第一分割区域图像为人体图像的一部分。在实现过程中，可以采用LIP（人体分割模型）解析人体图像，得到多个第一分割区域图像。

例如，参照图3，多个第一分割区域图像为C，其中，第一分割区域图像C1与人体图像A中的背景A1对应，第一分割区域图像C2与人体图像A中的头发A2对应，第一分割区域图像C3与人体图像A中的（脸部、脖子以及耳朵）A3对应，第一分割区域图像C4与人体图像A中的（原始服饰）上衣A4对应，第一分割区域图像C5与人体图像A中的（左手和右手）A5对应，第一分割区域图像C6与人体图像A中的（原始服饰）裤装A6对应。

S203、将骨架图像、至少一个第一分割区域图像和替换服饰图像输入第一图像生成模型进行图像生成，以使替换服饰图像与至少一个第一分割区域图像匹配，得到多个第二分割区域图像。

本申请实施例中，第一图像生成模型是预先训练的，第一图像生成模型可以是unet结构的卷积网络层。其中，替换服饰图像与至少一个第一分割区域图像匹配是指替换服饰图像中替换服饰对象的边缘与对应的第一分割区域图像的边缘匹配，如图4中替换服饰图像E4的替换服饰对象下边缘与图3中第一分割区域图像C6中裤装的上边缘匹配，图4中替换服饰图像E4的替换服饰对象上边缘与图3中第一分割区域图像C3中脖子的下边缘匹配。

其中，输入第一图像生成模型的至少一个第一分割区域图像根据替换服饰图像确定，其中，若替换服饰对象是需要叠加在人体对象上，则可以将所有的第一分割区域图像输入第一图像生成模型，例如，对于人体图像中人体对象未佩戴饰品、未穿上衣或者未穿裤装的情况，则属于替换服饰对象是需要叠加在人体对象的情况。在具体实现过程中，可以通过图像识别技术，先确定替换服饰对象的类型，如上衣、裤装或者其他饰品等。然后根据替换服饰对象的类型，确定人体图像中人体对象对应得区域的原始穿戴情况，如替换服饰对象是上衣，则确定人体图像中人体对象是否穿有上衣。若没有穿有上衣，则将所有的第一分割区域图像输入第一图像生成模型。

可选地，若替换服饰对象需要替换人体对象上对应区域的原始服饰，则将S202得到的多个第一分割区域图像中的原始服饰对应的第一分割区域图像去除，剩下的其他第一分割区域图像为输入至第一图像生成模型的至少一个第一分割区域图像。例如，参照图4，替换服饰图像D中的替换服饰对象为短袖，则将图3中多个第一分割区域图像C中的长袖对应得第一分割区域图像C4去除，将第一分割区域图像（C1、C2、C3、C5和C6）作为至少一个第一分割区域图像CX，输入第一图像生成模型。

进一步地，参照图4，将骨架图像B、至少一个第一分割区域图像CX和替换服饰图像D输入第一图像生成模型40，第一图像生成模型40输出多个第二分割区域图像E。其中，多个第二分割区域图像E为人体对象中包括替换服饰对象的区域图像。可以理解，多个第二分割区域图像为人体对象对应该替换服饰对象的分割区域图像。例如，参照图4，多个第二分割区域图像E包括：背景对应的第二分割区域图像E1、头发对应的第二分割区域图像E2、脸部、脖子以及耳朵对应的第二分割区域图像E3，替换服饰对象对应的第二分割区域图像E4，左右胳膊对应的第二分割区域图像E5，裤装对应的第二分割区域图像E6。其中，各第二分割区域图像（E1至E6）中的对象组合后，可以得到将人体图像中人体对象穿戴的上衣替换成替换服饰对象。此外，替换服饰对象对应的第二分割区域图像E4是指形变后的替换服饰对象对应得区域图像。

本申请实施例提供的第一图像生成模型具有泛化能力，可以实现替换服饰对象与人体对象穿戴的对应的原始服饰进行替换，也可以实现替换服饰对象形变后叠加在穿戴原始服饰的人体对象上。例如，若第一状态的服饰对象为上衣，则采用上衣替换原本人体对象的原始上衣，若人体对象未穿戴原始上衣，则可以直接将第一状态的服饰对象叠加在人体对象上。还例如，若第一状态的服饰对象为饰品，如项链，则采用该项链替换原本人体对象佩戴的原始项链，若人体对象未佩戴项链，则可以将直接将项链叠加在人体对象上。

S204、将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入第二图像生成模型进行图像生成，以得到形变后的替换服饰图像。

在本申请实施例中，第二图像生成模型是预先训练的，可以对输入的人体图像、替换服饰图像、骨架图像和多个第二分割区域图像进行图像处理，输出形变后的替换服饰图像。其中，形变后的替换服饰图像包括：形变后的替换服饰对象，形变后的替换服饰对象与人体对象契合。例如，参照图5，将人体图像A、替换服饰图像D、骨架图像B和多个第二分割区域图像E输入第二图像生成模型50进行图像生成，以得到形变后的替换服饰图像F。其中，形变后的替换服饰对象的状态更契合人体对象的姿态，因此，能够提高最后得到目标图像的质量。

S205、将人体图像和形变后的替换服饰图像合成，得到目标图像。

在本申请实施例中，可以通过图像处理技术，将形变后的替换服饰图像中的形变后的替换服饰对象替换人体图像中对应的原始服饰，得到目标图像。也可以通过将人体图像和形变后的替换服饰图像输入预先训练的对抗网络模型，得到目标图像。其中，目标图像包括：穿戴形变后的替换服饰对象的人体对象。

在本申请实施例中，根据获取到的人体图像和替换服饰图像，通过模型对人体图像和替换服饰图像进行图像处理后，即可得到包含有穿戴形变后的服饰对象的人体对象的目标图像，为电商商家提供了自动化的目标图像生成能力，提高了服饰上身图像的产出效率。此外，通过先对人体图像进行解析，得到第一分割区域图像，然后通过第一图像生成模型生成第二分割区域图像，通过第二图像生成模型生成形变后的替换服饰图像，最后得到目标图像，能够得到替换服饰对象更契合人体对象的目标图像，进而提高了服饰上身图像的质量。

在本申请实施例中，提供了另一种图像处理方法，如图6所示，该图像处理方法具体包括以下步骤：

S601、获取人体图像和替换服饰图像。

S602、解析人体图像，得到人体对象对应的骨架图像和多个第一分割区域图像。

S603、将骨架图像、至少一个第一分割区域图像和替换服饰图像输入第一图像生成模型的编码器，对骨架图像、至少一个第一分割区域图像和替换服饰图像进行编码，得到第一图像特征。

S604、将第一图像特征输入至第一图像生成模型的解码器，对第一图像特征进行解码，得到多个第二分割区域图像。

参照图4，第一图像生成模型40包括编码器41和解码器42，其中，编码器41中的编码参数和解码器42中的解码参数均是预先训练得到的。编码器41基于输入的骨架图像B、至少一个第一分割区域图像CX和替换服饰图像D，编码得到第一图像特征43，将第一图像特征43输入至解码器42进行解码，得到多个第二分割区域图像E。

此外，在第一图像生成模型的训练过程，获取训练样本和标签数据，训练样本为样本人体图像和样本替换服饰图像，其中，样本人体图像包括样本人体对象，样本替换服饰图像包括样本替换服饰对象。标签数据为样本目标图像，样本目标图像包括：穿戴有样本替换服饰对象的样本人体对象。然后将样本人体图像进行解析得到样本骨架图像和多个样本第一分割区域图像，对样本目标图像进行解析得到多个样本第二分割区域图像。再者，将样本骨架图像、至少一个样本第一分割区域图像和样本替换服饰图像输入第一图像生成模型进行图像生成，得到多个预测第二分割区域图像，根据损失函数，确定多个预测第二分割区域图像和多个样本第二分割区域图像的损失值，根据损失值调整第一图像生成模型，直到损失值小于第一损失值阈值时，得到训练完成的第一图像生成模型。将该训练完成的第一图像生成模型用于S203中多个第二分割区域图像的确定。

在第一图像生成模型训练阶段，可以先获取到样本人体图像和样本替换服饰图像作为训练样本，样本替换服饰图像作为标签图像，其中，样本人体图像包括样本人体对象，样本替换服饰图像包括样本替换服饰对象，标签图像包括：穿戴有样本替换服饰对象的样本人体对象。然后将样本人体图像进行解析得到样本骨架图像和多个样本第一分割区域图像，对标签图像进行解析得到多个样本第二分割区域图像。再者，将样本骨架图像、至少一个样本第一分割区域图像和样本替换服饰图像输入第一图像生成模型进行图像生成，得到多个预测第二分割区域图像，然后采用第一损失函数确定多个预测第二分割区域图像和多个样本第二分割区域图像的第一损失值，然后通过第一损失值调整第一图像生成模型的模型参数，直到第一图像生成模型输出的多个预测第二分割区域图像与多个样本第二分割区域图像的第一损失值小于第一损失值阈值，训练完成第一图像生成模型，将该训练完成的第一图像生成模型用于S203中多个第二分割区域图像的确定。

在本申请实施例中，第一损失函数为交叉熵损失函数。具体为，先采用交叉熵损失函数对输出的多个预测第二分割区域图像进行分类，再计算多个预测第二分割区域图像中与多个样本第二分割区域图像属于相同类别对应的损失函数，得到各个类别对应的损失值，然后采用OHEM算法在多个损失值中确定损失值较大的N个损失值作为第一损失值，采用这N个损失值调整第一图像生成模型的模型参数。其中，相同类别是指多个预测第二分割区域图像中和多个样本第二分割区域图像中表示同一部位的分割区域图像。例如，多个预测第二分割区域图像中脸对应的预测第二分割区域图像和多个样本第二分割区域图像中脸对应的样本第二分割区域图像属于同一类别。多个预测第二分割区域图像中上衣对应的预测第二分割区域图像和多个样本第二分割区域图像上衣对应的样本第二分割区域图像属于同一类别。此外，OHEM算法能够确定多个预测第二分割区域图像中预测结果较差的分割区域图像，实现对第一图像生成模型的模型参数精准调整。

S605、将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入第二图像生成模型的卷积网络层进行图像处理，以得到替换服饰图像的各个像素的目标偏移信息。

其中，S605包括：将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入卷积网络层的多个下采样层进行特征提取，得到第一偏移信息；将第一偏移信息输入卷积网络层的多个上采样层，在上采样层中，采用注意力机制，对第一偏移信息进行特征提取，得到目标偏移信息。

可选的，S605包括：将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入卷积网络层的多个下采样层进行特征提取，得到第一偏移信息；将第一偏移信息输入卷积网络层的多个上采样层，在上采样层中，采用注意力机制，对第一偏移信息进行特征提取，得到每个上采样层对应输出的第二偏移信息；将第一偏移信息和多个第二偏移信息进行线性穿插，得到目标偏移信息。

具体地， 在人体图像输入卷积网络层前需要根据替换服饰对象确定是否进行预处理，其中，若替换服饰对象是需要叠加在人体对象上，则不需要对人体图像进行预处理，若替换服饰对象是需要替换人体对象对应得原始服饰，则需要对人体图像进行预处理，预处理是指将替换服饰对象对应得原始服饰区域去除，输入卷积网络层的为去除对应原始服饰区域的人体图像。

例如，参照图5，第二像生成模型包括卷积网络层和形变层，其中卷积网络层包括多个下采样层（如，下采样层D1、下采样层D2以及下采样层D3）和多个上采样层（如上采样层E1、上采样层E2和上采样层E3），由于替换服饰对象（短袖）需要替换人体对象对应得原始图像（长袖），则需要将长袖对应得特征去除，将去除对应原始服饰的人体图像AX出入卷积网络层。在图5中，将除对应原始服饰的人体图像AX、替换服饰图像D、骨架图像B和多个第二分割区域图像E输入下采样层D1进行特征提取，得到第一下采样特征P1，然后将第一下采样特征P1输入下采样层D2进行特征提取，得到第二下采样特征P2。然后将第二下采样特征P2输入下采样层D3进行特征提取，得到第一偏移信息P3，可以理解，多个下采样层中最后一个下采样层输出的为第一偏移信息。然后对第一偏移信息P3进行上采样，具体为将第一偏移信息P3输入上采样层E1，得到上采样层E1输出的第二偏移信息P4，将第二偏移信息P4和第二下采样特征P2输入上采样层E2，得到上采样层E2输出的第二偏移信息P5，将第二偏移信息P5和第一下采样特征P1输入上采样层E3，得到上采样层E3输出的第二偏移信息P6。

其中，注意力机制是指下采样层的输出与当前上采样层的输出叠加后作为对应下一个上采样层的输入。例如，下采样层D1的输出P1与当前上采样层的输出E2叠加后作为对应下一个上采样层E3的输入。此外，在本申请实施例中，将第一偏移信息输入卷积网络层的多个上采样层，在上采样层中，采用注意力机制，对第一偏移信息P3进行特征提取，得到的是最后一个上采样层输出的第二偏移信息P6，可以将该第二偏移信息P6作为目标偏移信息。可选地，也可以将第一偏移信息P3和第二偏移信息P4、第二偏移信息P5以及第二偏移信息P6进行线性穿插得到目标偏移信息。

在本申请实施例中，目标偏移信息是指服饰图像中服饰对象对应的各个像素的偏移量。线性穿插是指将第一偏移信息通过线性穿插为替换服饰图像大小（如258×258）的目标第一偏移信息，将各个第二偏移信息分别通过线性穿插为替换服饰图像大小（如258×258）的目标第二偏移信息，然后将目标第一偏移信息和各个目标第二偏移信息进行平均计算得到目标偏移信息，此外各个第二偏移信息分辨率更高进而能够提高得到目标偏移信息的准确度。

S606、将目标偏移信息和替换服饰图像输入第二图像生成模型的形变层，对替换服饰图像按照目标偏移信息进行变形，得到形变后的替换服饰图像。

参照图5，在形变层52中是根据Flow Warp（光流变形）方式使替换服饰图像D按照目标偏移信息行变形，得到形变后的替换服饰图像F。

在第二图像生成模型的训练阶段，是将去除对应服饰区域的样本人体图像、多个样本第二分割区域图像、样本骨架图像和样本替换服饰图像作为训练样本输入至卷积网络层，得到预测第一偏移信息、和多个预测第二偏移信息，然后将标签图像进行处理后（如抠图）得到形变后的样本替换服饰图像。本申请实施例中，采用多个下采样层输出的预测第一偏移信息以及各个上采样层输出的预测第二偏移信息，以及预测目标偏移信息，分别与样本替换服饰图像进行形变后得到预测替换服饰图像，采用预测替换服饰图像与形变后的样本替换服饰图像计算第二损失值，采用各个第二损失值调整第二图像生成模型的模型参数，可以实现对不同分辨率的特征进行监督，提高训练得到第二图像生成模型的图像生成的准确度。

例如，将样本替换服饰图像和预测第一偏移信息输入形变层得到第一预测替换服饰图像，采样第二损失函数计算第一预测替换服饰图像与形变后的样本替换服饰图像的第二损失值，根据该第二损失值调整第二图像生成模型的模型参数。然后将样本替换服饰图像和上采样层E3输出的第二预测偏移信息输入形变层得到第二预测替换服饰图像，采样第二损失函数计算第二预测替换服饰图像与形变后的样本替换服饰图像的第二损失值，根据该第二损失值调整第二图像生成模型的模型参数。然后将样本替换服饰图像和上采样层E2输出的第二预测偏移信息输入形变层得到第三预测替换服饰图像，采样第二损失函数计算第三预测替换服饰图像与形变后的样本替换服饰图像的第二损失值，根据该第二损失值调整第二图像生成模型的模型参数。然后将样本替换服饰图像和上采样层E2输出的第二预测偏移信息输入形变层得到第四预测替换服饰图像，采样第二损失函数计算第四预测替换服饰图像与形变后的样本替换服饰图像的第二损失值，根据该第二损失值调整第二图像生成模型的模型参数。然后将第一预测偏移信息和各个第二预测偏移信息进行线性穿插后得到目标预测偏移信息，将样本替换服饰图像和目标预测偏移信息输入形变层得到第五预测替换服饰图像，采样第二损失函数计算第五预测替换服饰图像与形变后的样本替换服饰图像的第二损失值，根据该第二损失值调整第二图像生成模型的模型参数。

其中，第二损失函数可以是L2loss损失函数，其中L2loss是通过比较两张图的欧式距离作为第二损失值。此外，第二损失函数的监督可以分为两部分，一部分是计算预测替换服饰图像中替换服饰对象的边缘区域（如，衣领、袖口等）和形变后的样本替换服饰图像中服饰对象的边缘区域的损失值，另一部分是计算预测替换服饰图像中替换服饰对象的各个像素和形变后的样本替换服饰图像中替换服饰对象的各个像素的损失值，在这两个损失值都小于第二损失值阈值的情况下，确定第二图像生成模型训练完成。

可选的，在训练第二图像生成模型过程中还包括：确定目标预测偏移信息中的像素的偏移量与相邻像素的偏移量的差值的平均值的绝对值作为损失值，调整第二图像生成模型的模型参数。进而保证预测替换服饰图像的形变平滑。此外，对高分辨率的上采样层的参数进行权重惩罚，例如，参照图5，在每次训练第二图像生成模型时，均对上采样层E3的权重参数乘以大于0且小于1的数值进而达到权重惩罚的目的。其中，权重惩罚也可以使预测替换服饰图像的形变更加平滑。

本申请实施例采用第二图像生成模型，可以利用从低分辨率到高分辨率的级联回归，对更高分辨率的上采样层进行权重惩罚以衰减保证变形后的替换服饰对象平滑且更好地保留原替换服饰对象中的图案，最终的形变层是有由多个不同分辨率的上采样的输出求和得到，以此实现形变后的替换服饰图像中替换服饰对象的高精度地对齐和局部的平滑。

S607、将人体图像、骨架图像、形变后的替换服饰图像和多个第二分割区域图像输入对抗网络模型进行图像处理，得到目标图像。

其中，S607包括：将人体图像、骨架图像、形变后的替换服饰图像和多个第二分割区域图像输入对抗网络模型的多个生成层进行图像处理，得到最后一个生成层的输出特征为目标特征，对目标特征进行特征图像转换，得到目标图像，其中，人体图像、骨架图像、形变后的替换服饰图像、多个第二分割区域图像和当前生成层的输出特征拼接后作为下一个生成层的输入特征。

可选地，S607包括：将人体图像、骨架图像、形变后的替换服饰图像和多个第二分割区域图像输入对抗网络模型的多个生成层进行图像处理，得到每个生成层的输出特征，其中，人体图像、骨架图像、形变后的替换服饰图像、多个第二分割区域图像和当前生成层的输出特征拼接后作为下一个生成层的输入特征；将每个生成层的输出特征叠加后，得到目标特征；对目标特征进行特征图像转换后，得到目标图像。

本申请实施例中，具体地， 在人体图像输入对抗网络模型前需要根据替换服饰对象确定是否进行预处理，其中，若替换服饰对象是需要叠加在人体对象上，则不需要对人体图像进行预处理，若替换服饰对象是需要替换人体对象对应得原始服饰，则需要对人体图像进行预处理，预处理是指将替换服饰对象对应得原始服饰区域去除，输入对抗网络模型的为去除对应原始服饰区域的人体图像。

其中，对抗网络模型是预先训练的，参照图7，例如，对抗网络模型70包括：多个生成层，如生成层K1、生成层K2、生成层K3和生成层K4。将去除对应原始服饰（长袖）的人体图像AX、骨架图像B、形变后的替换服饰图像F以及多个第二分割区域图像E输入生成层K1进行图像生成，得到生成层K1的输出特征S1。将特征图像S1与去除对应原始服饰（长袖）的人体图像AX、骨架图像B、形变后的替换服饰图像F以及多个第二分割区域图像E拼接后输入生成层K2进行图像生成，得到生成层K2的输出特征S2。将输出特征S2与去除对应原始服饰（长袖）的人体图像AX、骨架图像B、形变后的替换服饰图像F以及多个第二分割区域图像E拼接后输入生成层K3进行图像生成，得到生成层K3的输出图像S3。将输出特征S3与去除对应原始服饰（长袖）的人体图像AX、骨架图像B、形变后的替换服饰图像F以及多个第二分割区域图像E拼接后输入生成层K4进行图像生成，得到生成层K4的输出特征S4。其中，可以直接将输出特征S4作为目标特征，然后将目标特征进行特征图像转换得到输出图像G。也可以将输出特征S1、输出特征S2、输出特征S3和输出特征S4叠加后得到目标特征，然后将该目标特征进行特征图像转换后得等目标图像G。

可选的，也可以只去除对应原始服饰（长袖）的人体图像AX和形变后的替换服饰图像F输入多个生成层，生成对应的目标图像G。在本申请实施例中，采用对抗网络模型能够利用骨架图像、多个第二分割区域图像预测出人体对象原本被遮挡的区域，如图7中人体对象的胳膊，给服饰对象上身后增加立体阴影，能够提高服饰上身的真实感，并且生成分辨率较高（如1024*1024），清晰且质量高的目标图像。此外，将每个生成层的输出特征与人去除对应原始服饰（长袖）的人体图像AX、骨架图像B、形变后的替换服饰图像F以及多个第二分割区域图像E进行拼接后作为下一层生成层的输入，可以保留人体对象以及形变后的替换服饰图像中服饰对象的细节。将不同生成层的输出特征叠加后作为目标图像的目标特征，能够提高目标图像的分辨率。

在对抗网络模型的训练阶段，对抗网络模型采用多个生成层和辨别器保证目标图像的生成质量。其中，将去除对应服饰区域的样本人体图像、多个样本第二分割区域图像、样本骨架图像和形变后的样本替换服饰图像作为训练样本，采用上述方式输入生成层，得到预测目标图像，然后辨别器采用Hinge loss（一种损失函数）计算预测目标图像和标签图像的第三损失值，采用该第三损失值调整多个生成层的模型参数。此外，也可以采用L2loss计算预测目标图像和标签图像的第三损失值。

可选地，辨别器可以计算各个生成层输出的每个输出特征对应得输出图像与标签图像的损失值，实现不同生成层（分辨率）的分类训练，可以使对抗网络模型在使用阶段输出不同分辨率的预测目标图像。例如，计算输出特征S1对应输出图像和标签图像的损失值，采用该损失值调整生成层K1的参数。计算输出特征S2对应输出图像和标签图像的损失值，采用该损失值调整生成层K1和K2的参数。计算输出特征S3对应输出图像和标签图像的损失值，采用该损失值调整生成层K1、K2和K3的参数。计算输出特征S4对应输出图像和标签图像的损失值，采用该损失值调整生成层K1、K2、K3和K4的参数。

在本申请实施例中，通过第一图像生成模型输出多个第二分割区域图像，实现虚拟试衣的合理性估计。第二图像生成模型输出形变后的替换服饰图像实现替换服饰对象细节还原，并且使替换服饰对象形变为更契合人体对象的状态。卷积网络模型能够输出高分辨率目标图像。此外，得到目标图像只需要用户输入人体图像和替换服饰图像，无需指定人体对象穿戴哪一类型的原始服饰，提高了用户的体验感，即人体图像中人体对象无论穿着短袖还是长袖，替换服饰图像中的短袖都可以在目标图像中穿在该人体对象上。

在本申请实施例中，除了提供图像处理方法之外，还提供一种图像处理装置，如图8所示，该图像处理装置80包括：

获取模块81，用于获取人体图像和替换服饰图像，人体图像包括：人体对象，替换服饰图像包括：替换服饰对象；

解析模块82，用于解析人体图像，得到人体对象对应的骨架图像和多个第一分割区域图像，多个第一分割区域图像为人体对象中包括原始服饰的区域图像；

第一图像生成模块83，用于将骨架图像、至少一个第一分割区域图像和替换服饰图像输入第一图像生成模型进行图像生成，以使替换服饰图像与至少一个第一分割区域图像匹配，得到多个第二分割区域图像，多个第二分割区域图像为人体对象中包括替换服饰对象的区域图像；

第二图像生成模块84，用于将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入第二图像生成模型进行图像生成，以得到形变后的替换服饰图像，形变后的替换服饰图像包括：形变后的替换服饰对象，形变后的替换服饰对象与人体对象契合；

确定模块85，用于将人体图像和形变后的替换服饰图像合成，得到目标图像，目标图像包括：穿戴形变后的替换服饰对象的人体对象。

在一可选实施例中，第一图像生成模块83具体用于：将骨架图像、至少一个第一分割区域图像和替换服饰图像输入第一图像生成模型的编码器，对骨架图像、至少一个第一分割区域图像和替换服饰图像进行编码，得到第一图像特征；将第一图像特征输入至第一图像生成模型的解码器，对第一图像特征进行解码，得到多个第二分割区域图像。

在一可选实施例中，第二图像生成模块84包括：

第一处理单元，用于将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入第二图像生成模型的卷积网络层进行图像处理，以得到替换服饰图像的各个像素的目标偏移信息；

变形单元，用于将目标偏移信息和替换服饰图像输入第二图像生成模型的形变层，对替换服饰图像按照目标偏移信息进行变形，得到形变后的替换服饰图像。

在一可选实施例中，第一处理单元具体用于：将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入卷积网络层的多个下采样层进行特征提取，得到第一偏移信息；将第一偏移信息输入卷积网络层的多个上采样层，在上采样层中，采用注意力机制，对第一偏移信息进行特征提取，得到目标偏移信息。

在一可选实施例中，第一处理单元具体用于：将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入卷积网络层的多个下采样层进行特征提取，得到第一偏移信息；将第一偏移信息输入卷积网络层的多个上采样层，在上采样层中，采用注意力机制，对第一偏移信息进行特征提取，得到每个上采样层对应输出的第二偏移信息；将第一偏移信息和多个第二偏移信息进行线性穿插，得到目标偏移信息。

在一可选实施例中，确定模块85包括：

第二处理单元，用于将人体图像、骨架图像、形变后的替换服饰图像和多个第二分割区域图像输入对抗网络模型进行图像处理，得到目标图像。

在一可选实施例中，第二处理单元具体用于：将人体图像、骨架图像、形变后的替换服饰图像和多个第二分割区域图像输入对抗网络模型的多个生成层进行图像处理，得到最后一个生成层的输出特征为目标特征，其中，人体图像、骨架图像、形变后的替换服饰图像、多个第二分割区域图像和当前生成层的输出特征拼接后作为下一个生成层的输入图像；对目标特征进行特征图像转换，得到目标图像。

在一可选实施例中，第二处理单元具体用于：将人体图像、骨架图像、形变后的替换服饰图像和多个第二分割区域图像输入对抗网络模型的多个生成层进行图像处理，得到每个生成层的输出特征，其中，人体图像、骨架图像、形变后的替换服饰图像、多个第二分割区域图像和当前生成层的输出特征拼接后作为下一个生成层的输入特征；将每个生成层的输出特征叠加后，得到目标特征。

本申请实施例提供的图像处理装置，在电商平台展示服饰的场景中，根据获取到的人体图像和替换服饰图像，通过模型对人体图像和替换服饰图像进行图像处理后，即可得到包含有穿戴形变后的替换服饰对象的人体对象的目标图像，为电商商家提供了自动化的目标图像生成能力，提高了服饰上身图像的产出效率。此外，通过先对人体图像进行解析，得到第一分割区域图像，然后通过第一图像生成模型生成第二分割区域图像，通过第二图像生成模型生成形变后的替换服饰图像，最后得到目标图像，能够得到替换服饰对象更契合人体对象的目标图像，进而提高了服饰上身图像的质量。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图9为本申请示例性实施例提供的一种电子设备的结构示意图。该电子设备用于运行上身图像处理方法。如图9所示，该电子设备包括：存储器94和处理器95。

存储器94，用于存储计算机程序，并可被配置为存储其它各种数据以支持在电子设备上的操作。该存储器94可以是对象存储(Object Storage Service，OSS)。

存储器94可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。

处理器95，与存储器94耦合，用于执行存储器94中的计算机程序，以用于：获取人体图像和替换服饰图像，人体图像包括：人体对象，替换服饰图像包括：替换服饰对象；解析人体图像，得到人体对象对应的骨架图像和多个第一分割区域图像，多个第一分割区域图像为人体对象中包括原始服饰的区域图像；将骨架图像、至少一个第一分割区域图像和替换服饰图像输入第一图像生成模型进行图像生成，以使替换服饰图像与至少一个第一分割区域图像匹配，得到多个第二分割区域图像，多个第二分割区域图像为人体对象中包括替换服饰对象的区域图像；将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入第二图像生成模型进行图像生成，以得到形变后的替换服饰图像，形变后的替换服饰图像包括：形变后的替换服饰对象，形变后的替换服饰对象与人体对象契合；将人体图像和形变后的替换服饰图像合成，得到目标图像，目标图像包括：穿戴形变后的替换服饰对象的人体对象。

进一步可选地，处理器95在将骨架图像、至少一个第一分割区域图像和替换服饰图像输入第一图像生成模型进行图像生成，以使替换服饰图像与至少一个第一分割区域图像匹配，得到多个第二分割区域图像时，具体用于：将骨架图像、至少一个第一分割区域图像和替换服饰图像输入第一图像生成模型的编码器，对骨架图像、至少一个第一分割区域图像和替换服饰图像进行编码，得到第一图像特征；将第一图像特征输入至第一图像生成模型的解码器，对第一图像特征进行解码，得到多个第二分割区域图像。

在一可选实施例中，处理器95在将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入第二图像生成模型进行图像生成，以得到形变后的替换服饰图像时，具体用于：将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入第二图像生成模型的卷积网络层进行图像处理，以得到替换服饰图像的各个像素的目标偏移信息；将目标偏移信息和替换服饰图像输入第二图像生成模型的形变层，对替换服饰图像按照目标偏移信息进行变形，得到形变后的替换服饰图像。

在一可选实施例中，处理器95在将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入第二图像生成模型的卷积网络层进行图像处理，以得到替换服饰图像的各个像素的目标偏移信息时，具体用于：将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入卷积网络层的多个下采样层进行特征提取，得到第一偏移信息；将第一偏移信息输入卷积网络层的多个上采样层，在上采样层中，采用注意力机制，对第一偏移信息进行特征提取，得到目标偏移信息。

在一可选实施例中，处理器95在将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入第二图像生成模型的卷积网络层进行图像处理，以得到替换服饰图像的各个像素的目标偏移信息时，具体用于：将人体图像、替换服饰图像、骨架图像和多个第二分割区域图像输入卷积网络层的多个下采样层进行特征提取，得到第一偏移信息；将第一偏移信息输入卷积网络层的多个上采样层，在上采样层中，采用注意力机制，对第一偏移信息进行特征提取，得到每个上采样层对应输出的第二偏移信息；将第一偏移信息和多个第二偏移信息进行线性穿插，得到目标偏移信息。

在一可选实施例中，处理器95在将人体图像和形变后的替换服饰图像合成，得到目标图像，目标图像包括：穿戴形变后的替换服饰对象的人体对象时，具体用于：将人体图像、骨架图像、形变后的替换服饰图像和多个第二分割区域图像输入对抗网络模型进行图像处理，得到目标图像。

在一可选实施例中，处理器95在将人体图像、骨架图像、形变后的替换服饰图像和多个第二分割区域图像输入对抗网络模型进行图像处理，得到目标图像时，具体用于：

将人体图像、骨架图像、形变后的替换服饰图像和多个第二分割区域图像输入对抗网络模型的多个生成层进行图像处理，得到最后一个生成层的输出特征为目标特征，其中，人体图像、骨架图像、形变后的替换服饰图像、多个第二分割区域图像和当前生成层的输出特征拼接后作为下一个生成层的输入图像；对目标特征进行特征图像转换，得到目标图像。

在一可选实施例中，处理器95在将人体图像、骨架图像、形变后的替换服饰图像和多个第二分割区域图像输入对抗网络模型进行图像处理，得到目标图像时，具体用于：将人体图像、骨架图像、形变后的替换服饰图像和多个第二分割区域图像输入对抗网络模型的多个生成层进行图像处理，得到每个生成层的输出特征，其中，人体图像、骨架图像、形变后的替换服饰图像、多个第二分割区域图像和当前生成层的输出特征拼接后作为下一个生成层的输入特征；将每个生成层的输出特征叠加后，得到目标特征。

进一步，如图9所示，该电子设备还包括：防火墙91、负载均衡器92、通信组件96、电源组件98等其它组件。图9中仅示意性给出部分组件，并不意味着电子设备只包括图9所示组件。

本申请实施例提供的电子设备，在电商平台展示服饰的场景中，根据获取到的人体图像和替换服饰图像，用过模型人体图像和替换服饰图像进行图像处理后，即可得到包含有穿戴形变后的替换服饰对象的人体对象的目标图像，为电商商家提供了自动化的目标图像生成能力，提高了服饰上身图像的产出效率。此外，通过先对人体图像进行解析，得到第一分割区域图像，然后通过第一图像生成模型生成第二分割区域图像，通过第二图像生成模型生成形变后的替换服饰图像，最后得到目标图像，能够得到替换服饰对象更契合人体对象的目标图像，进而提高了服饰上身图像的质量。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序/指令被处理器执行时，致使处理器实现图2或图6所示方法中的步骤。

相应地，本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，当计算机程序/指令被处理器执行时，致使处理器实现图2或图6所示方法中的步骤。

上述图9中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。

上述图9中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取人体图像和替换服饰图像，所述人体图像包括：人体对象，所述替换服饰图像包括：替换服饰对象；

解析所述人体图像，得到所述人体对象对应的骨架图像和多个第一分割区域图像，所述多个第一分割区域图像为所述人体对象中包括原始服饰的区域图像；

将所述骨架图像、至少一个所述第一分割区域图像和所述替换服饰图像输入第一图像生成模型进行图像生成，以使所述替换服饰图像与至少一个所述第一分割区域图像匹配，得到多个第二分割区域图像，所述多个第二分割区域图像为所述人体对象中包括所述替换服饰对象的区域图像；

将所述人体图像、所述替换服饰图像、所述骨架图像和所述多个第二分割区域图像输入第二图像生成模型进行图像生成，以得到形变后的替换服饰图像，所述形变后的替换服饰图像包括：形变后的所述替换服饰对象，形变后的所述替换服饰对象与所述人体对象契合；

将所述人体图像和所述形变后的替换服饰图像合成，得到目标图像，所述目标图像包括：穿戴所述形变后的替换服饰对象的人体对象。

2.根据权利要求1所述的图像处理方法，其特征在于，所述将所述骨架图像、至少一个所述第一分割区域图像和所述替换服饰图像输入第一图像生成模型进行图像生成，以使所述替换服饰图像与至少一个所述第一分割区域图像匹配，得到多个第二分割区域图像，包括：

将所述骨架图像、至少一个所述第一分割区域图像和所述替换服饰图像输入第一图像生成模型的编码器，对所述骨架图像、所述至少一个第一分割区域图像和所述替换服饰图像进行编码，得到第一图像特征；

将所述第一图像特征输入至所述第一图像生成模型的解码器，对所述第一图像特征进行解码，得到所述多个第二分割区域图像。

3.根据权利要求1所述的图像处理方法，其特征在于，所述将所述人体图像、所述替换服饰图像、所述骨架图像和所述多个第二分割区域图像输入第二图像生成模型进行图像生成，以得到形变后的替换服饰图像，包括：

将所述人体图像、所述替换服饰图像、所述骨架图像和所述多个第二分割区域图像输入所述第二图像生成模型的卷积网络层进行图像处理，以得到所述替换服饰图像的各个像素的目标偏移信息；

将所述目标偏移信息和所述替换服饰图像输入所述第二图像生成模型的形变层，对所述替换服饰图像按照所述目标偏移信息进行变形，得到所述形变后的替换服饰图像。

4.根据权利要求3所述的图像处理方法，其特征在于，所述将所述人体图像、所述替换服饰图像、所述骨架图像和所述多个第二分割区域图像输入所述第二图像生成模型的卷积网络层进行图像处理，以得到所述替换服饰图像的各个像素的目标偏移信息，包括：

将所述人体图像、所述替换服饰图像、所述骨架图像和所述多个第二分割区域图像输入所述卷积网络层的多个下采样层进行特征提取，得到第一偏移信息；

将所述第一偏移信息输入所述卷积网络层的多个上采样层，在所述上采样层中，采用注意力机制，对所述第一偏移信息进行特征提取，得到所述目标偏移信息。

5.根据权利要求3所述的图像处理方法，其特征在于，所述将所述人体图像、所述替换服饰图像、所述骨架图像和所述多个第二分割区域图像输入所述第二图像生成模型的卷积网络层进行图像处理，以得到所述替换服饰图像的各个像素的目标偏移信息，包括：

将所述人体图像、所述替换服饰图像、所述骨架图像和所述多个第二分割区域图像输入所述卷积网络层的多个下采样层进行特征提取，得到第一偏移信息；

将所述第一偏移信息输入所述卷积网络层的多个上采样层，在所述上采样层中，采用注意力机制，对所述第一偏移信息进行特征提取，得到每个所述上采样层对应输出的第二偏移信息；

将所述第一偏移信息和多个所述第二偏移信息进行线性穿插，得到所述目标偏移信息。

6.根据权利要求1至5任一项所述的图像处理方法，其特征在于，所述将所述人体图像和所述形变后的替换服饰图像合成，得到目标图像，包括：

将所述人体图像、所述骨架图像、所述形变后的替换服饰图像和所述多个第二分割区域图像输入对抗网络模型进行图像处理，得到所述目标图像。

7.根据权利要求6所述的图像处理方法，其特征在于，所述将所述人体图像、所述骨架图像、所述形变后的替换服饰图像和所述多个第二分割区域图像输入对抗网络模型进行图像处理，得到所述目标图像，包括：

将所述人体图像、所述骨架图像、所述形变后的替换服饰图像和所述多个第二分割区域图像输入对抗网络模型的多个生成层进行图像处理，得到最后一个生成层的输出特征为目标特征，其中，所述人体图像、所述骨架图像、所述形变后的替换服饰图像、所述多个第二分割区域图像和当前生成层输出特征拼接后作为下一个生成层的输入特征；

对所述目标特征进行特征图像转换，得到所述目标图像。

8.根据权利要求6所述的图像处理方法，其特征在于，所述将所述人体图像、所述骨架图像、所述形变后的替换服饰图像和所述多个第二分割区域图像输入对抗网络模型进行图像处理，得到所述目标图像，包括：

将所述人体图像、所述骨架图像、所述形变后的替换服饰图像和所述多个第二分割区域图像输入对抗网络模型的多个生成层进行图像处理，得到每个生成层的输出特征，其中，所述人体图像、所述骨架图像、所述形变后的替换服饰图像、所述多个第二分割区域图像和当前生成层输出特征拼接后作为下一个生成层的输入特征；

将所述每个生成层的输出特征叠加后，得到目标特征；

对所述目标特征进行特征图像转换，得到所述目标图像。

9.一种图像处理装置，其特征在于，包括：

获取模块，用于获取人体图像和替换服饰图像，所述人体图像包括的人体对象，所述替换服饰图像包括：替换服饰对象；

解析模块，用于解析所述人体图像，得到所述人体对象对应的骨架图像和多个第一分割区域图像，所述多个第一分割区域图像为所述人体对象中包括原始服饰的区域图像；

第一图像生成模块，用于将所述骨架图像、至少一个所述第一分割区域图像和所述替换服饰图像输入第一图像生成模型进行图像生成，以使所述替换服饰图像与至少一个所述第一分割区域图像匹配，得到多个第二分割区域图像，所述多个第二分割区域图像为所述人体对象中包括所述替换服饰对象的区域图像；

第二图像生成模块，用于将所述人体图像、所述替换服饰图像、所述骨架图像和所述多个第二分割区域图像输入第二图像生成模型进行图像生成，以得到形变后的替换服饰图像，所述形变后的替换服饰图像包括：形变后的所述替换服饰对象，形变后的所述替换服饰对象与所述人体对象契合；

确定模块，用于将所述人体图像和所述形变后的替换服饰图像合成，得到目标图像，所述目标图像包括：穿戴所述形变后的替换服饰对象的人体对象。

10.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器用于存储程序指令；

所述处理器用于调用所述存储器中的程序指令执行如权利要求1至8中任一项所述的图像处理方法。

Images