CN113269895A

CN113269895A - 图像处理方法、装置及电子设备

Info

Publication number: CN113269895A
Application number: CN202010121521.8A
Authority: CN
Inventors: 汪春奇; 吴国华; 马飞; 张佶; 赵中州; 唐鑫
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2020-02-17
Filing date: 2020-02-17
Publication date: 2021-08-17

Abstract

本申请实施例公开了图像处理方法、装置及电子设备，所述方法包括：确定包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像；对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成合成图像。通过本申请实施例，能够以更低的成本获得更真实更准确的试穿效果。

Description

图像处理方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，特别是涉及图像处理方法、装置及电子设备。

背景技术

在商品对象信息服务系统中，服饰类的商品对象信息是其中一个很重要的类目。消费者用户可以通过具体的客户端对服饰类的商品对象的详情信息、用户评价信息等进行浏览，如果符合自己的需求，可以进行在线购买。

但是，用户在线选购服饰类的商品对象过程中的一个痛点在于，难以确定具体的商品对象的上身效果。虽然能够通过其他已购买用户提供的评价信息、“买家秀”等信息中上传的照片等获得一些具体的上身效果信息，但是，其他用户上传的照片由于存在拍摄效果、个体身材等方面的差异，当前的买家用户实际所能获得的有效信息仍然十分有限。另外，即使其他用户上传的上身效果图效果比较好，通常也不能代表当前用户就一定能够获得相同的上身效果。上述情况的存在，往往会影响到用户的购物决策。另外，也存在退货或者换货率比较高等情况，造成对系统资源的浪费。

现有技术中存在一些为用户提供虚拟试衣的方案。例如，一种方案中，可以将用户头部抠图，放在模特身上，达到试衣效果，但是，这种方案下，通常只能对服装的颜色是否匹配自己的肤色等进行判断，而无法确定出是否匹配自己的身材。另一种方案是对人体和衣服分别进行3维建模与仿真，获得试衣效果图。这种方案能够获得相对真实的试衣效果，但是，其成本昂贵，需要耗费大量的资源。

因此，如何以更低的成本为用户提供更准确的试穿效果信息，成为需要本领域技术人员解决的技术问题。

发明内容

本申请提供了图像处理方法、装置及电子设备，能够以更低的成本获得更真实更准确的试穿效果。

本申请提供了如下方案：

一种图像处理方法，包括：

确定包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像；

对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；

根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成合成图像。

一种图像合成网络模型训练方法，包括：

获得训练样本，所述训练样本包括多幅包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像；

根据所述商品对象的目标部位信息，以及所述人体图像对应的人体部位解析结果，将所述人体图像分为包括所述目标部位对应像素的第三图像，以及去掉所述目标部位对应像素后的第四图像；

将所述人体图像对应的人体姿态估计结果、所述第四图像、第二图像中的商品对象本体图像输入到合成网络模型中，并通过多次迭代，对所述合成网络模型的参数进行优化。

一种提供虚拟试穿效果信息的方法，包括：

服务端接收第一用户客户端提交虚拟试穿请求信息；

根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成虚拟试穿效果图像。

一种提供虚拟试穿效果信息的方法，包括：

第一用户客户端在目标页面中提供用于提交虚拟试穿请求信息的操作选项；

通过所述操作选项接收到虚拟试穿请求后，提交到服务端，所述服务端用于确定包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像，对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成虚拟试穿效果图像；

接收所述服务端返回的虚拟试穿效果图像并进行展示。

一种生成商品对象图的方法，包括：

提供包含有人体图像的第一图像；

接收包含有商品对象本体图像的第二图像；

根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成合成图像，以用于对所述合成图像作为商品对象图进行发布。

一种商品对象信息发布方法，包括：

第二用户客户端向服务端提交包含有商品对象本体图像的第二图像，所述服务端用于提供包含有人体图像的第一图像，并对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析，根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成合成图像；

接收所述服务端返回的所述合成图像；

将所述合成图像作为商品对象图提交到服务端进行发布。

一种图像处理装置，包括：

图像确定单元，用于确定包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像；

图像分析单元，用于对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；

图像合成单元，用于根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成合成图像。

一种图像合成网络模型训练装置，包括：

训练样本获得单元，用于获得训练样本，所述训练样本包括多幅包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像；

图像划分单元，用于根据所述商品对象的目标部位信息，以及所述人体图像对应的人体部位解析结果，将所述人体图像分为包括所述目标部位对应像素的第三图像，以及去掉所述目标部位对应像素后的第四图像；

参数优化单元，用于将所述人体图像对应的人体姿态估计结果、所述第四图像、第二图像中的商品对象本体图像输入到合成网络模型中，并通过多次迭代，对所述合成网络模型的参数进行优化。

一种提供虚拟试穿效果信息的装置，应用于服务端，包括：

试穿请求接收单元，用于接收第一用户客户端提交虚拟试穿请求信息；

图像合成单元，用于根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成虚拟试穿效果图像。

一种提供虚拟试穿效果信息的装置，应用于第一用户客户端，包括：

操作选项提供单元，用于在目标页面中提供用于提交虚拟试穿请求信息的操作选项；

试穿请求提交单元，用于通过所述操作选项接收到虚拟试穿请求后，提交到服务端，所述服务端用于确定包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像，对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成虚拟试穿效果图像；

试穿效果图像展示单元，用于接收所述服务端返回的虚拟试穿效果图像并进行展示。

一种生成商品对象图的装置，包括：

第一图像提供单元，用于提供包含有人体图像的第一图像；

第二图像接收单元，用于接收包含有商品对象本体图像的第二图像；

图像合成单元，用于根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成合成图像，以用于对所述合成图像作为商品对象图进行发布。

一种商品对象信息发布装置，应用于第二用户客户端，包括：

图像提交单元，用于向服务端提交包含有商品对象本体图像的第二图像，所述服务端用于提供包含有人体图像的第一图像，并对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析，根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成合成图像；

合成图像接收单元，用于接收所述服务端返回的所述合成图像；

合成图像发布单元，用于将所述合成图像作为商品对象图提交到服务端进行发布。

一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法的步骤。

根据本申请提供的具体实施例，本申请公开了以下技术效果：

通过本申请实施例，可以对第一图像中的人体图像进行人体姿态估计以及人体部位解析，根据人体图像对应的人体姿态估计以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将所述商品对象本体图像对应的形变处理结果匹配到所述人体图像中对应的目标部位，生成合成的图像。也就是说，通过本申请实施例，可以将具体商品对象本体图像进行形变处理后，将其匹配到包含有人体图像信息的第一图像中，以此获得合成后的图像。由于该合成图像是在第一图像中包括的人体图像信息基础上进行合成的，甚至还能够与第一图像中人体图像的姿态等实现贴合，因此可以获得更真实、更能反映具体用户实际试穿效果的合成图像。并且，在这种方式下，不需要进行三维建模等处理，因此，能够以更低的成本获得更真实更准确的试穿效果。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的合成图像示意图；

图2是本申请实施例提供的第一方法的流程图；

图3是本申请实施例提供的人体图像处理示意图；

图4是本申请实施例提供的另一人体图像处理意图；

图5是本申请实施例提供的图像合成过程示意图；

图6是本申请实施例提供的第二方法的流程图；

图7是本申请实施例提供的第三方法的流程图；

图8是本申请实施例提供的第四方法的流程图；

图9是本申请实施例提供的第五方法的流程图；

图10是本申请实施例提供的第六方法的流程图；

图11是本申请实施例提供的第一装置的示意图；

图12是本申请实施例提供的第二装置的示意图；

图13是本申请实施例提供的第三装置的示意图；

图14是本申请实施例提供的第四装置的示意图；

图15是本申请实施例提供的第五装置的示意图；

图16是本申请实施例提供的第六装置的示意图；

图17是本申请实施例提供的电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例中，为了能够以更低的成本为用户提供更准确的试穿效果信息，首先可以确定包含有人体图像信息的第一图像(具体可以是以具体用户或者其关联的用户为拍摄对象的照片或者视频等)，以及包含有商品对象本体图像信息的第二图像(例如，可以是具体商品对象信息系统中的商品图等)，可以根据人体图像对应的人体姿态估计以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将所述商品对象本体图像对应的形变处理结果匹配到所述人体图像中对应的目标部位，生成合成的图像。也就是说，通过本申请实施例，可以将具体商品对象本体图像进行形变处理后，将其匹配到包含有人体图像信息的第一图像中，以此获得合成后的图像。例如，如图1所示，第一图像可以是与具体的第一用户(消费者用户、买家用户等)等对应的照片等图像，第二图像可以是用户想要试穿的商品对象图，通过本申请实施例中所提供的方法，可以根据第一图像中人体图像的姿态等，对该第二图像进行形变处理，然后合成到该第一图像中。以此获得的合成图像，是在第一图像中包括的人体图像信息基础上进行合成的，甚至还能够与第一图像中人体图像的姿态等实现贴合，因此可以获得更真实、更能反映具体用户实际试穿效果的合成图像。并且，在这种方式下，不需要进行三维建模等处理，因此，能够以更低的成本获得更真实更准确的试穿效果。

具体的，本申请实施例首先通过以下实施例一提供了一种图像处理方法，该方法主要从技术层面对本申请实施例提供的图像合成方法等进行介绍，在后续的实施例中，将会结合该技术的具体应用场景进行介绍。

实施例一

首先，该实施例一提供了一种图像处理方法，参见图2，该方法具体可以包括：

S201：确定包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像；

其中，具体包含有人体图像的第一图像可以是以具体人物为拍摄对象的照片、视频等，第二图像则可以是具体商品对象的图片。具体的，第一图像可以是用户上传的照片、视频等。第二图像则可以是由商家或者卖家用户等提供的商品图，或者，也可以是从商品对象信息库中自动提取的符合条件的商品图，等等。

S202：对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；

在确定出具体的第一图像以及第二图像后，首先可以对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析。其中，所谓的人体姿态估计也就是从第一图像中估计出人体骨骼关键点(比如头，左手，右脚等)或者在关键点的基础上保留一些三维的姿态信息等等。人体解析(Human Semantic Segmentation)是一种将图片中人体的各个部位(例如头发，脸部，肢体，手臂等)识别出来的方法。例如，如图3所示，假设第一图像为图3中的(a)所示，人体姿态估计结果可以如图3中的(b)所示(当然，也可以有其他的形式)，人体部位解析结果则可以如图3中的(c)所示。其中，具体的人体姿态估计以及人体部位解析方案可以采用已有的方式来实现，这里不再详述。

S203：根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将所述商品对象本体图像对应的形变处理结果匹配到所述人体图像中对应的目标部位，生成合成图像。

在得到人体姿态估计以及人体部位解析结果后，可以用于对第二图像中的商品对象本体图像进行形变处理。例如，在原始的第二图像中，商品对象本体图像可能是一个平铺展示的状态，进行形变处理后，可以使其更贴合第一图像中的人体形态，两者合成后可以获得将该商品对象“穿”在第一图像中的人体身上的效果。

具体实现时，为了能够更方便的对所述第二图像中的商品对象本体图像进行形变处理，还可以首先根据所述商品对象对应的目标部位信息，以及所述人体图像对应的人体部位解析结果，将所述人体图像分为仅包括所述目标部位对应像素的第三图像，以及去掉所述目标部位对应像素后的第四图像。例如，假设某第二图像中的商品对象是一件上衣，则其目标部位是上半身，此时，就可以将第一图像中的人体图像划分为“上衣部分”(对应第三图像)以及“去上衣部分”(对应第四图像)。其中，对于“去上衣部分”，由于第一图像中人体穿着的衣物与第二图像中具体商品对象的款式可能有所不同，例如，第一图像中人体穿着的衣物可能是件长袖，第二图像中的商品对象则是一件短袖的衣服，在匹配到人体上之后，只能遮挡胳膊的上半部分。因此，具体在生成第四图像时，可以暂且不论具体商品对象的款式，直接将具体商品对象对应的目标部位对应的像素全部去掉，例如，原来的第一图像中人体穿着的是一件短袖的上衣，在生成第四图像时，除了将上衣部分对应的像素去掉，胳膊部分未被该上衣遮挡的部位也可以一起去掉。例如，对于图3中的(a)所示的第一图像，第二图像中的商品对象对应的目标部位是上本身，则具体生成的“去上衣部分”的第四图像可以如图4所示。当然，在后续具体进行图像合成的过程中，还可以根据第二图像中具体商品对象的实际情况，以及之前获得的人体姿态估计结果等，实现对具体商品对象本体图像无法覆盖的部分像素进行恢复。例如，后续将第二图像中的商品对象本体图像进行形变处理，并匹配到第三图像中时，手臂的前半部分是无法覆盖到的，此时，还可以实现对这部分手臂对应的像素的恢复，使得整体的合成图像更真实自然。

在将第一图像中的人体图像划分为第三图像以及第四图像后，可以根据所述第三图像的形变情况，对所述第二图像中的商品对象本体图像进行形变处理，同时，可以根据人体图像对应的人体姿态估计结果，将所述商品对象本体图像对应的形变处理结果与所述第四图像进行合成，生成合成图像。

具体实现时，具体对第二图像中的商品对象本体图像进行形变处理，以及具体的图像合成步骤可以分为两步独立完成，或者，在另一种实现方式下，也可以通过同一个合成网络模型而同步完成。

具体的，对于后者，具体的合成网络模型中可以包括第一编码器、第二编码器以及一个解码器。其中，第一编码器的输入可以为人体图像对应的人体姿态估计结果以及所述第四图像。第二编码器的输入可以为第二图像中的商品对象本体图像，这两个编码器分别用于对输入图像进行特征提取，提取出的特征可以输入到解码器中，最终生成具体的合成图像。其中，对于第二编码器提取出的特征信息，在输入到具体的解码器之前，还可以首先通过一个空间变换网络模型进行处理，也即所谓的形变处理，这样，可以使得解码器输出的合成图像结果更真实的体现出具体的商品对象“穿着”在第一图像中人体上的状态。

其中，关于具体的第一编码器、第二编码器、解码器中的具体参数，可以是预先通过训练样本学习获得的。而空间变换网络模型的具体参数信息，则可以根据当前需要处理的第一图像以及第二图像的实际情况来进行确定。

具体的，首先可以利用空间变化网络模型对所述第二图像中的商品对象本体图像进行多次迭代的空间变换，并在每次迭代后，通过空间变换结果与所述第三图像之间的形变程度一致性对比，实现对所述空间变化网络模型进行参数优化。直到算法收敛，可以获得一组参数，这组参数在作用于第二图像中的商品对象本体时，可以获得与第三图像之间的形变程序的一致性符合条件的形变处理结果。

在获取到空间变换网络的具体参数信息后，可以进入具体的合成过程。具体的，如图5所示，首先可以将所述人体图像对应的人体姿态估计结果、所述第四图像输入到合成网络模型的第一编码器中进行特征提取。并将所述第二图像中的商品对象本体图像输入到所述合成网络模型的第二编码器中进行特征提取。然后，可以将参数优化后的空间变换网络模型(也即，通过STN网络进行TPS变换)作用于第二编码器的特征提取结果，并与所述第一编码器的特征提取结果进行连接，输入到所述合成网络模型的解码器中，生成合成图像。

其中，具体实现时，所述第一编码器、第二编码器以及所述解码器都可以分别为多层运算结构。并且，所述参数优化后的空间变换网络模型作用于第二编码器的多个中间层的特征提取结果；然后，将所述第一编码器多个中间层的特征提取结果，以及所述第二编码器多个中间层的特征提取结果对应的空间变换结果，输入到所述解码器中。之所以将各个中间层的特征提取结果输入到解码器中，是因为，中间层的特征提取结果通常是对输入图像进行了深层次的挖掘而获得的，这种特征中可能会包括一些人类无法理解或者定义，但是对于最终结果的生成非常有意义的特征，因此，通过将这种中间层的特征提取结果输入到解码层进行解码，可以获得关于原始输入图像的更多细节特征，有利于提高图像的合成质量。

另外，所述第一编码器以及第二编码器的多层运算结构对应的输入图像，可以分别为对原始输入图像的下采样图像，这样可以在逐渐缩小原始输入图像的分辨率的过程中，获得原始输入图像的全局特征。相应的，所述解码器的多层运算结构对应多次上采样处理，以使得输出的合成结果具有与原始输入图像相同的分辨率。例如，在编码器中，每一层输入的图片是16×16像素，第二层输入的是8×8像素，第三层是4×4像素。通过这种方式，可以更好的获取输入图像的全局特征信息，保持全局的一致性。相应的，解码器的第一层可以是4×4像素，第二层是8×8像素，第三层是16×16像素，这样，可以使得最终输出的合成图像保持与原始输入图像相同的分辨率。

再者，在具体实现时，编码器中各个层的特征提取结果可以直接汇总到解码器的最后一层，或者，在另一种方式下，所述第一编码器多个中间层的特征提取结果，以及所述第二编码器多个中间层的特征提取结果对应的空间变换结果，可以分别输入到所述解码器中对应相同分辨率的中间层，实现相同规格的网络层之间的残差连接。例如，如图5所示，第一编码器的第一层对应16×16像素，第二层输入的是8×8像素，而解码器的第一层对应4×4像素，第二层对应8×8像素，第三层对应16×16像素。因此，第一编码器的第一层提取出的特征可以输入到解码器的第三层，第二层提取出的特征可以输入到解码器的第二层。类似的，第二编码器的第一层提取出的特征经过空间网络变换后，可以输入到解码器的第三层，第二层提取出的特征经过空间网络变换后，可以输入到解码器的第二层，第三层提取出的特征经过空间网络变换后，可以输入到解码器的第一层，等等。通过这种方式，可以实现在尽可能保留一些细节信息的同时，便于网络优化。

需要说明的是，在具体实现时，所述第一图像可以根据具体的应用场景来确定，例如，在一种场景下，可以是用户上传的以指定人物(例如，当前用户本人，或者与当前用户具有某种关系的其他人，等等)为拍摄对象的照片或者视频图像。

其中，如果具体的第一图像是视频图像，则图像中人体图像的姿态可能是动态变化的，在这种情况下，在对商品对象本体图像进行扭曲处理的过程中，还可以根据视频中人体图像姿态的变化，改变对商品对象本体图像的抽取处理方式，以跟随人体图像姿态的变化。

在可选的实施方式中，还可以根据具体需要合成的商品图像的特点等，提供引导功能。例如，在根据用户上传的某第一图像进行合成之后，可以对合成图像的效果进行评估，如果效果不够理想，则还可以引导用户采用更有效的姿势重新拍照并上传第一图像，等等。引导的方式可以包括文字、语音、动画等等。其中，关于何种姿势更有效可以是由卖家用户进行配置，或者，还可以通过预先训练获得的模型进行计算，等等。

总之，在本申请实施例中，通过对第一图像中的人体图像进行人体姿态估计以及人体部位解析，可以根据人体图像对应的人体姿态估计以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将所述商品对象本体图像对应的形变处理结果匹配到所述人体图像中对应的目标部位，生成合成的图像。也就是说，通过本申请实施例，可以将具体商品对象本体图像进行形变处理后，将其匹配到包含有人体图像信息的第一图像中，以此获得合成后的图像。由于该合成图像是在第一图像中包括的人体图像信息基础上进行合成的，甚至还能够与第一图像中人体图像的姿态等实现贴合，因此可以获得更真实、更能反映具体用户实际试穿效果的合成图像。并且，在这种方式下，不需要进行三维建模等处理，因此，能够以更低的成本获得更真实更准确的试穿效果。

实施例二

在前述实施例一中，在一种情况下，可以通过合成网络模型来生成具体的合成图像。具体实现时，可以预先通过大量的训练样本，对该合成网络模型进行训练，使得模型中的参数得到优化，进而可以应用到具体的图像合成过程中。因此，本申请实施例二还提供了一种图像合成网络模型训练方法，参见图6，该方法具体可以包括：

S601：获得训练样本，所述训练样本包括多幅包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像；

S602：对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；

S603：根据所述商品对象的目标部位信息，以及所述人体图像对应的人体部位解析结果，将所述人体图像分为包括所述目标部位对应像素的第三图像，以及去掉所述目标部位对应像素后的第四图像；

S604：将所述人体图像对应的人体姿态估计结果、所述第四图像、第二图像中的商品对象本体图像输入到合成网络模型中，并通过多次迭代，对所述合成网络模型的参数进行优化。

具体实现时，由于通常需要对具体的商品对象本体进行形变处理，因此，具体合成网络模型还可以与空间变换网络模型相结合，共同完成图像的合成处理过程。而具体在训练的过程中，空间网络模型的参数以及合成网络模型的参数都需要优化，因此，在一种比较优选的方式下，可以实现对上述参数的同步优化。也即，在每一次迭代过程中，可以将各种模型的损失函数相加，并以该相加后的损失函数进行最小化为目标，进行各项参数的优化，最终当算法收敛时，结束训练过程。

具体的，在上述方式下，在每次迭代过程中，可以执行以下步骤：

首先，利用空间变化网络模型对所述第二图像中的商品对象本体图像进行空间变换，通过空间变换结果与所述第三图像之间的形变程度一致性对比，产生第一损失函数。具体的，该第一损失函数可以为L1Loss，所谓L1Loss具体是指将空间变换结果与第三图像进行像素点到像素点的匹配，只要有一个像素点不匹配，损失函数的函数值就会比较大，因此，该函数的敏感度会比较高。

之后，可以将所述人体图像对应的人体姿态估计结果、所述第四图像输入到合成网络模型的第一编码器中进行特征提取；将所述第二图像中的商品对象本体图像输入到所述合成网络模型的第二编码器中进行特征提取，并利用所述参数优化后的空间变换网络模型对所述第二编码器提取的特征进行空间变换处理。之后，再将所述第一编码器的特征提取结果以及第二编码器提取的特征对应的空间变换处理后的结果，输入到所述合成网络模型的解码器中，生成合成图像，并通过将所述合成图像与所述第一图像的一致性对比，产生第二损失函数。例如，具体可以是VGG Loss。VGG Loss与L1Loss之间的不同在于，VGG Loss可以允许两幅图像之间存在一定的差异，只要在整体上保持一致即可。

得到合成图像后，可以将所述合成图像与所述第一图像输入到判别网络模型中，产生所述判别网络模型的第三损失与所述生成网络模型的第二损失之间的抗衡损失函数。例如，具体可以表示为GAN Loss。其中，判别网络的输入是一张图片，输出是该图片是真实的或者合成的。生成网络模型的目标是，将合成的图像输入到判别网络，判别网络输出的结果中，该图片属于真实图片的概率越高越好。

最后，再对所述第一损失函数、第二损失函数以及抗衡损失函数进行联合优化。也即，可以将上述各损失函数相加，按照梯度下降法等原则，实现对生产网络模型以及空间变换网络模型中的各项参数的优化。之后，再进行下一次迭代。也就是说，每一次迭代过程，都可以实现对生产网络模型以及空间变换网络模型的联合训练。

实施例三

该实施例三是从具体应用的角度本申请实施例提供的方案进行介绍。具体的，该实施例三中的应用场景可以是在商品对象销售系统中，第一用户(例如，买家用户、消费者用户等)具有虚拟试穿需求时，可以通过系统的服务端为用户提供具体的虚拟试穿效果。具体的，从系统架构角度而言，该系统可以涉及到商品对象销售系统的服务端，以及提供给第一用户的客户端。参见图7，该实施例三主要从前述服务端的角度，提供了一种提供虚拟试穿效果信息的方法，该方法具体可以包括：

S701：服务端接收第一用户客户端提交虚拟试穿请求信息；

具体实现时，服务端可以通过多种方式向第一用户提供用于提交具体虚拟试穿请求的入口，相应的，第一用户可以通过多种方式发起具体的虚拟试穿请求。例如，在一种方式下，服务端可以向所述第一用户客户端提供推送消息，并在所述推送消息中提供用于提交所述虚拟试穿请求信息的操作选项，这样，所述第一用户客户端可以在消息详情信息页面中展示所述操作选项，并通过该操作选项接收所述虚拟试穿请求信息。也即，第一用户可以在接收到服务端推送的消息后，点击进入消息详情页面，在该页面中可以展示出具体的用于发起虚拟试穿请求的入口，之后，可以通过该入口提交具体的试穿请求信息。其中，服务端在向具体的第一用户进行消息推送时，可以是预先根据第一用户的标签、喜好等特征进行目标用户群体圈定，然后，向这种目标用户群体发送具体的消息，等等。

或者，在另一种方式下，也可以在具体商品对象的详情页面中提供用于发起虚拟试穿请求的入口。例如，某第一用户在浏览某衣服的详情页面的过程中，对该衣服可能比较感兴趣，此时，可以直接在该详情页面中发起针对该衣服的虚拟试穿请求。具体实现时，服务端可以首先接收所述第一用户客户端对目标商品对象的详情信息页面进行浏览的请求，然后，向所述第一用户客户端返回所述详情信息页面的页面数据，所述详情信息页面中包括用于提交所述虚拟试穿请求信息的操作选项，这样，所述第一用户客户端可以通过该操作选项提交具体的虚拟试穿请求信息。

当然，具体实现时，还可以有其他的发起虚拟试穿请求的实现方式，这里不再一一介绍。

S702：确定包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像；

接收到具体的虚拟试穿请求后，还可以确定出具体包含有人体图像信息的第一图像，以及包含有商品对象本体图像信息的第二图像。其中，上述第一图像以及第二图像可以携带在具体的虚拟试穿请求中，或者，也可以是在接收到具体的请求后再通过一定的方式另行确定。

例如，在通过推送消息的方式接收虚拟试穿请求的情况下，对于首次使用该功能的第一用户而言，第一用户在提交虚拟试穿请求时，可以同时上传第一图像，该第一图像可以是关于该第一用户本人或者与其具有某种关系的用户的照片、视频等。在完成首次上传后，服务端还可以保存具体第一用户与第一图像之间的关联关系信息，这样，以后再使用该功能时，可以重复使用该第一图像进行图像的合成。

而关于具体第二图像，可以通过多种具体的方式来确定。例如，一种方式下，可以根据所述第一用户的历史行为记录关联的服饰类商品对象信息，提供候选的包含有服饰类商品对象本体图像信息的图像，然后，根据所述用户的选择结果，确定所述第二图像。也就是说，在第一用户通过接收到的推送消息发起的虚拟试穿请求的情况下，可以根据该第一用户曾经浏览、收藏、关注过的商品对象或者与其相似/相关的商品对象中，为第一用户提供一商品对象列表，第一用户可以从中选择自己想要试穿的商品对象。其中，具体可以从所述商品对象关联的详情信息中，选择符合条件的图像作为候选图像。也就是说，对于一个商品对象而言，其详情信息中可能会包括多幅图像，但是可能并不是每一幅都适合作为本申请实施例中的第二图像。例如，其中一些包含模特人物的图像，或者背景过于复杂的图像，等等。因此，可以将这些图像过滤掉，选择合适的图像作为第二图像供用户进行选择。另外，对于选择出的第二图像，还可以进行裁剪、去背景等预处理，以便于后续的合成处理操作。

或者，另一种方式下，也可以提供用于提交所述第二图像的操作选项，这样，可以通过该操作选项接收所述第一用户客户端提交的所述包含有服饰类商品对象本体图像信息的第二图像。例如，第一用户可以在上传第一图像的同时，上传具体需要获得试穿效果的第二图像，等等。

另外，在具体商品对象的详情页中提供操作选项的情况下，具体的第二图像可以是直接从当前商品对象的详情信息中获取，同样可以进行图像的筛选、预处理等。而关于第一图像，也可以是由第一用户上传，或者，使用第一用户曾经上传过的图像，等等。

S703：对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；

S704：根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成虚拟试穿效果图像。

其中，S703～S704可以与实施例一中的S203～S204相同，这里不再详述。

实施例四

该实施例四是与实施例三相对应的，从第一用户客户端的角度，提供了一种提供虚拟试穿效果信息的方法，参见图8，该方法具体可以包括：

S801：第一用户客户端在目标页面中提供用于提交虚拟试穿请求信息的操作选项；

S802：通过所述操作选项接收到虚拟试穿请求后，提交到服务端，所述服务端用于确定包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像，对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成虚拟试穿效果图像；

S803：接收所述服务端返回的虚拟试穿效果图像并进行展示。

实施例五

该实施例五是对本申请实施例提供的另一种应用场景进行介绍。在该实施例五中，具体的应用场景可以是第二用户(商家用户、卖家用户等)在发布商品对象信息的过程中，可能具有通过具体的模特人物等对具体商品对象的上身效果进行表达的需求。在现有技术中，第二用户通常需要聘请或者雇佣实际的模特人物，将具体的衣物等穿在模特人物身上，再进行拍照，等等。而在本申请实施例中，则可以为第二用户提供用于生成合成图像的工具或者客户端页面，并由服务端提供一些可选的第一图像，其中可以包含人体图像信息。第二用户则可以通过客户端或者具体的页面提交具体需要展示的包含商品对象本体图像的第二图像。然后，由具体的合成工具或者服务端提供合成图像。之后，第二用户则可以利用这种合成图像作为商品对象的信息进行发布。具体的，还可以根据多种不同的第一图像，生成多个合成图像供第二用户选择，等等。

具体的，本申请实施例五从具体的合成工具或者服务端的角度，提供了一种生成商品对象图的方法，参见图9，该方法具体可以包括：

S901：提供包含有人体图像的第一图像；

S902：接收包含有商品对象本体图像的第二图像；

S903：对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；

S904：根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成合成图像，以用于对所述合成图像作为商品对象图进行发布。

其中，所述包含有人体图像的第一图像可以为多幅；具体在生成合成图像时，可以将所述第二图像分别与多幅所述第一图像进行合成，获得多幅合成图像，以便所述第二用户从中选择可作为商品对象图发布的合成图像。

实施例六

该实施例六是从第二用户客户端的角度，提供了一种商品对象信息发布方法，参见图10，该方法具体可以包括：

S1001：第二用户客户端向服务端提交包含有商品对象本体图像的第二图像，所述服务端用于提供包含有人体图像的第一图像，并对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析，根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成合成图像；

S1002：接收所述服务端返回的所述合成图像；

S1003：将所述合成图像作为商品对象图进行发布。

关于上述实施例二至实施例六中的未详述部分，可以参见前述实施例一中的记载，这里不再赘述。

另外，除了前述应用场景外，本申请实施例还可以与其他具体应用场景相结合，例如，可以在直播场景下提供上述功能。具体的，假设某“主播”用户通过直播的方式介绍某服装的信息并进行线上销售，进入该直播间的用户如果感兴趣可以在线购买。在传统的方式下，买家用户只能通过主播的介绍来了解该服装，但是无法获知该服装在自己身上的上身效果。针对该情况，“主播”用户可以先向服务器提交具体服装的图像，或者，在关联某网络销售系统的情况下，也可以指定具体的服装在该系统中的ID等信息，服务器可以从该网络销售系统中提取符合条件的商品图。另外，可以在买家用户侧的界面中提供“试穿”入口，通过该入口，买家用户可以提交自己的照片等图像，然后服务器便可以生成对应的合成图像，使得买家用户可以查看到具体服装“穿”在自己身上的效果，以便于用户更好的进行购物决策。

另一种应用场景可以是线下实体店铺中的“虚拟试衣镜”场景。在服饰类商品的线下实体店铺中，通常会为顾客提供试衣镜，用户选择好自己所感兴趣的服饰后，可以到试衣间进行试穿，再走到试衣镜前查看具体的上身效果。但是，整个过程会比较耗时，如果感兴趣的服装有多件，则需要顾客花费大量的时间，才能够分别获得试穿效果。针对该情况，本申请实施例可以在线下实体店铺中提供虚拟试衣镜效果，该虚拟试衣镜可以带有显示屏，显示屏上可以显示出可选的商品对象的信息，用户可以从中选择自己感兴趣的商品对象。另外，虚拟试衣镜还可以带有摄像头等图像采集设备，用户选择了某商品对象后，可以摆出某种姿势，摄像头可以对其进行拍照，然后根据用户具体摆出的姿势的情况，对商品对象的本体图像进行扭曲处理，再与用户照片进行合成，生成合成图像，并通过显示屏进行展示。这样，用户可以直接通过虚拟试衣镜中显示出的合成图像查看到具体某件服饰的上身效果，而不用亲自到试衣间试穿实际的服饰。如果需要对其他服饰查看试穿效果，只需要重新返回到虚拟试衣镜的主界面选择其他的商品对象，还可以重新摆出新的姿势进行拍照等，相应的，可以从显示屏中查看到更多商品对象的上身效果。通过这种方式，可以缩短顾客的试衣时间，同时提升实体店铺的智能化程度，提升用户体验。

需要说明的是，本申请实施例中可能会涉及到对用户数据的使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下(例如，用户明确同意，对用户切实通知，等)，在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。

与实施例一相对应，本申请实施例还提供了一种图像处理装置，参见图11，该装置可以包括：

图像确定单元1101，用于确定包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像；

图像分析单元1102，用于对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；

图像合成单元1103，用于根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成合成图像。

其中，所述图像合成单元具体可以包括：

图像拆解子单元，用于根据所述商品对象对应的目标部位信息，以及所述人体图像对应的人体部位解析结果，将所述人体图像分为包括所述目标部位的第三图像，以及去掉所述目标部位后的第四图像；

合成子单元，用于根据所述人体姿态估计结果以及第三图像的形变情况，对所述第二图像中的商品对象本体图像进行形变处理，并将所述商品对象本体图像对应的形变处理结果与所述第四图像进行合成，生成合成图像。

具体的，合成子单元具体可以包括：

空间变化网络模型参数优化子单元，用于利用空间变化网络模型对所述第二图像中的商品对象本体图像进行多次迭代的空间变换，并在每次迭代后，通过空间变换结果与所述第三图像之间的形变程度一致性对比，对所述空间变化网络模型进行参数优化；

第一特征提取子单元，用于将所述人体图像对应的人体姿态估计结果、所述第四图像输入到合成网络模型的第一编码器中进行特征提取；

第二特征提取子单元，用于将所述第二图像中的商品对象本体图像输入到所述合成网络模型的第二编码器中进行特征提取；

特征连接子单元，用于利用参数优化后的空间变换网络模型对第二编码器的特征提取结果进行空间变换处理，并将空间变换结果与所述第一编码器的特征提取结果进行连接，将连接结果输入到所述合成网络模型的解码器中，生成合成图像。

其中，所述第一编码器、第二编码器以及所述解码器分别为多层运算结构；

所述特征连接子单元具体可以用于：

利用参数优化后的空间变换网络模型对所述第二编码器的多个中间层运算结构的特征提取结果进行空间变换处理；将所述第一编码器多个中间层的特征提取结果，以及所述第二编码器多个中间层运算结构的特征提取结果对应的空间变换结果，输入到所述解码器中；所述中间层运算结构的特征提取结果用于获得原始输入图像的细节特征。

其中，所述第一编码器以及第二编码器的多层运算结构对应的输入图像，分别为对原始输入图像的下采样图像，以用于逐层缩小原始输入图像的分辨率，获得原始输入图像的全局特征；所述解码器的多层运算结构对应多次上采样处理，以使得输出的合成结果具有与原始输入图像相同的分辨率。

所述第一编码器多个中间层的特征提取结果，以及所述第二编码器多个中间层的特征提取结果对应的空间变换结果，分别输入到所述解码器中对应相同分辨率的中间层。

另外，该装置还可以包括：

像素恢复单元，用于在生成合成图像时，根据所述人体姿态估计结果，将所述目标部位信息中，所述商品对象本体图像无法覆盖的部分进行恢复。

其中，所述第一图像为用户上传的包含人体图像照片或者视频图像。

与实施例二相对应，本申请实施例还提供了一种图像合成网络模型训练装置，参见图12，该装置可以包括：

训练样本获得单元1201，用于获得训练样本，所述训练样本包括多幅包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像；

图像分析单元1202，用于对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；

图像划分单元1203，用于根据所述商品对象的目标部位信息，以及所述人体图像对应的人体部位解析结果，将所述人体图像分为包括所述目标部位对应像素的第三图像，以及去掉所述目标部位对应像素后的第四图像；

参数优化单元1204，用于将所述人体图像对应的人体姿态估计结果、所述第四图像、第二图像中的商品对象本体图像输入到合成网络模型中，并通过多次迭代，对所述合成网络模型的参数进行优化。

其中，参数优化单元可以包括：

第一损失函数生成子单元，用于利用空间变化网络模型对所述第二图像中的商品对象本体图像进行空间变换，通过空间变换结果与所述第三图像之间的形变程度一致性对比，产生第一损失函数；

第二特征提取子单元，用于将所述第二图像中的商品对象本体图像输入到所述合成网络模型的第二编码器中进行特征提取，并利用所述参数优化后的空间变换网络模型对所述第二编码器提取的特征进行空间变换处理；

第二损失函数生成子单元，用于将所述第一编码器的特征提取结果以及第二编码器提取的特征对应的空间变换处理后的结果，输入到所述合成网络模型的解码器中，生成合成图像，并通过将所述合成图像与所述第一图像的一致性对比，产生第二损失函数；

抗衡损失函数生成子单元，用于将所述合成图像与所述第一图像输入到判别网络模型中，产生所述判别网络模型的第三损失与所述生成网络模型的第二损失之间的抗衡损失函数；

联合优化子单元，用于对所述第一损失函数、第二损失函数以及抗衡损失函数进行联合优化。

与实施例三相对应，本申请实施例还提供了一种提供虚拟试穿效果信息的装置，该装置应用于服务端，参见图13，该装置可以包括：

试穿请求接收单元1301，用于接收第一用户客户端提交虚拟试穿请求信息；

图像确定单元1302，用于确定包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像；

图像分析单元1303，用于对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；

图像合成单元1304，用于根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成虚拟试穿效果图像。

具体实现时，该装置还可以包括：

向所述第一用户客户端提供推送消息，并在所述推送消息中提供用于提交所述虚拟试穿请求信息的操作选项，以便所述第一用户客户端在消息详情信息页面中展示所述操作选项，并通过该操作选项接收所述虚拟试穿请求信息。

此时，图像确定单元具体可以用于：

根据所述第一用户的历史行为记录关联的商品对象信息，提供候选的包含有商品对象本体图像的图像；

根据所述第一用户的选择结果，确定所述第二图像。

更为具体的，可以从所述商品对象关联的详情信息中，选择符合条件的图像作为候选图像。

或者，另一种确定第二图像的方式下，所述图像确定单元具体可以用于：

提供用于提交所述第二图像的操作选项，以便通过该操作选项接收所述第一用户客户端提交的所述包含有服饰类商品对象本体图像信息的第二图像。

另一种接收请求的方式下，该装置还可以包括：

页面数据提供单元，用于向所述第一用户客户端返回所述详情信息页面的页面数据，所述详情信息页面中包括用于提交所述虚拟试穿请求信息的操作选项，以便所述第一用户客户端通过该操作选项提交所述虚拟试穿请求信息；

所述图像确定单元具体可以用于：从所述目标商品对象关联的图像中确定所述第二图像。

另外，所述图像确定单元还可以用于：

根据所述虚拟试穿请求中携带的信息，确定所述包含有人体图像信息的第一图像。

再者，该装置还可以包括：

保存单元，用于对所述第一图像进行保存，以用于与其他虚拟试穿请求对应的第二图像进行合成，生成所述虚拟试穿效果图像。

其中，所述第一图像包括：以所述第一用户或所述第一用户的关联用户为拍摄对象的照片或视频图像。

与实施例四相对应，本申请实施例还提供了一种提供虚拟试穿效果信息的装置，参见图14，该装置应用于第一用户客户端，包括：

操作选项提供单元1401，用于在目标页面中提供用于提交虚拟试穿请求信息的操作选项；

试穿请求提交单元1402，用于通过所述操作选项接收到虚拟试穿请求后，提交到服务端，所述服务端用于确定包含有人体图像的第一图像，以及包含有商品对象本体图像的第二图像，对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成虚拟试穿效果图像；

试穿效果图像展示单元1403，用于接收所述服务端返回的虚拟试穿效果图像并进行展示。

与实施例五相对应，本申请实施例还提供了一种生成商品对象图的装置，参见图15，该装置可以包括：

第一图像提供单元1501，用于提供包含有人体图像的第一图像；

第二图像接收单元1502，用于接收包含有商品对象本体图像的第二图像；

图像分析单元1503，用于对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析；

图像合成单元1504，用于根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成合成图像，以用于对所述合成图像作为商品对象图进行发布。

其中，所述包含有人体图像信息的第一图像为多幅；

所述图像合成单元具体可以用于：将所述第二图像分别与多幅所述第一图像进行合成，获得多幅合成图像，以便所述第二用户从中选择可作为商品对象图发布的合成图像。

与实施例六相对应，本申请实施例还提供了一种商品对象信息发布装置，参见图16，该装置应用于第二用户客户端，包括：

图像提交单元1601，用于向服务端提交包含有商品对象本体图像的第二图像，所述服务端用于提供包含有人体图像的第一图像，并对所述第一图像中的人体图像进行人体姿态估计以及人体部位解析，根据人体图像对应的人体姿态估计结果以及人体部位解析结果，对所述第二图像中的商品对象本体图像进行形变处理，并将形变处理后的商品对象本体图像匹配到所述人体图像中对应的目标部位，生成合成图像；

合成图像接收单元1602，用于接收所述服务端返回的所述合成图像；

合成图像发布单元1603，用于将所述合成图像作为商品对象图提交到服务端进行发布。

另外，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述实施例一至实施例六中的方法的步骤。

以及一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述实施例一至实施例六中的方法的步骤。

其中，图17示例性的展示出了电子设备的架构，具体可以包括处理器1710，视频显示适配器1711，磁盘驱动器1712，输入/输出接口1713，网络接口1714，以及存储器1720。上述处理器1710、视频显示适配器1711、磁盘驱动器1712、输入/输出接口1713、网络接口1714，与存储器1720之间可以通过通信总线1730进行通信连接。

其中，处理器1710可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。

存储器1720可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1720可以存储用于控制电子设备1700运行的操作系统1721，用于控制电子设备1700的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器1723，数据存储管理系统1724，以及图像处理系统1725等等。上述图像处理系统1725就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器1720中，并由处理器1710来调用执行。

输入/输出接口1713用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口1714用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1730包括一通路，在设备的各个组件(例如处理器1710、视频显示适配器1711、磁盘驱动器1712、输入/输出接口1713、网络接口1714，与存储器1720)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1710、视频显示适配器1711、磁盘驱动器1712、输入/输出接口1713、网络接口1714，存储器1720，总线1730等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本申请所提供的图像处理方法、装置及电子设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，

所述生成合成图像，包括：

根据所述商品对象对应的目标部位信息，以及所述人体图像对应的人体部位解析结果，将所述人体图像分为包括所述目标部位第三图像，以及去掉所述目标部位后的第四图像；

根据所述人体姿态估计结果以及第三图像的形变情况，对所述第二图像中的商品对象本体图像进行形变处理，并将所述商品对象本体图像对应的形变处理结果与所述第四图像进行合成，生成合成图像。

3.根据权利要求2所述的方法，其特征在于，

所述生成合成图像，包括：

利用空间变化网络模型对所述第二图像中的商品对象本体图像进行多次迭代的空间变换，并在每次迭代后，通过空间变换结果与所述第三图像之间的形变程度一致性对比，对所述空间变化网络模型进行参数优化；

将所述人体图像对应的人体姿态估计结果、所述第四图像输入到合成网络模型的第一编码器中进行特征提取；

将所述第二图像中的商品对象本体图像输入到所述合成网络模型的第二编码器中进行特征提取；

利用参数优化后的空间变换网络模型对第二编码器的特征提取结果进行空间变换处理，并将空间变换结果与所述第一编码器的特征提取结果进行连接，将连接结果输入到所述合成网络模型的解码器中，生成合成图像。

4.根据权利要求3所述的方法，其特征在于，

所述第一编码器、第二编码器以及所述解码器分别为多层运算结构；

所述利用参数优化后的空间变换网络模型对第二编码器的特征提取结果进行空间变换处理，包括：

利用参数优化后的空间变换网络模型对所述第二编码器的多个中间层运算结构的特征提取结果进行空间变换处理；

所述生成合成图像，包括：

将所述第一编码器多个中间层的特征提取结果，以及所述第二编码器多个中间层运算结构的特征提取结果对应的空间变换结果，输入到所述解码器中；所述中间层运算结构的特征提取结果用于获得原始输入图像的细节特征。

5.根据权利要求4所述的方法，其特征在于，

所述第一编码器以及第二编码器的多层运算结构对应的输入图像，分别为对原始输入图像的下采样图像，以用于逐层缩小原始输入图像的分辨率，获得原始输入图像的全局特征；

所述解码器的多层运算结构对应多次上采样处理，以使得输出的合成结果具有与原始输入图像相同的分辨率。

6.根据权利要求5所述的方法，其特征在于，

7.根据权利要求2所述的方法，其特征在于，还包括：

在生成合成图像时，根据所述人体姿态估计结果，将所述目标部位信息中，所述商品对象本体图像无法覆盖的部分进行恢复。

8.根据权利要求1至7任一项所述的方法，其特征在于，

所述第一图像为用户上传的包含人体图像照片或者视频图像。

9.一种图像合成网络模型训练方法，其特征在于，包括：

10.根据权利要求9所述的方法，其特征在于，

在每次迭代过程中，执行以下步骤：

利用空间变化网络模型对所述第二图像中的商品对象本体图像进行空间变换，通过空间变换结果与所述第三图像之间的形变程度一致性对比，产生第一损失函数；

将所述第二图像中的商品对象本体图像输入到所述合成网络模型的第二编码器中进行特征提取，并利用所述参数优化后的空间变换网络模型对所述第二编码器提取的特征进行空间变换处理；

将所述第一编码器的特征提取结果以及第二编码器提取的特征对应的空间变换处理后的结果，输入到所述合成网络模型的解码器中，生成合成图像，并通过将所述合成图像与所述第一图像的一致性对比，产生第二损失函数；

将所述合成图像与所述第一图像输入到判别网络模型中，产生所述判别网络模型的第三损失与所述生成网络模型的第二损失之间的抗衡损失函数；

对所述第一损失函数、第二损失函数以及抗衡损失函数进行联合优化。

11.一种提供虚拟试穿效果信息的方法，其特征在于，包括：

服务端接收第一用户客户端提交虚拟试穿请求信息；

12.根据权利要求11所述的方法，其特征在于，

所述接收第一用户客户端提交的虚拟试穿请求信息之前，还包括：

13.根据权利要求12所述的方法，其特征在于，

所述确定包含有商品对象本体图像的第二图像，包括：

根据所述第一用户的选择结果，确定所述第二图像。

14.根据权利要求13所述的方法，其特征在于，

所述提供候选的包含有服饰类商品对象本体图像信息的图像，包括：

从所述服饰类商品对象关联的详情信息中，选择符合条件的图像作为候选图像。

15.根据权利要求12所述的方法，其特征在于，

所述确定包含有商品对象本体图像的第二图像，包括：

提供用于提交所述第二图像的操作选项，以便通过该操作选项接收所述第一用户客户端提交的所述包含有商品对象本体图像的第二图像。

16.根据权利要求11所述的方法，其特征在于，

接收所述第一用户客户端对目标商品对象的详情信息页面进行浏览的请求；

向所述第一用户客户端返回所述详情信息页面的页面数据，所述详情信息页面中包括用于提交所述虚拟试穿请求信息的操作选项，以便所述第一用户客户端通过该操作选项提交所述虚拟试穿请求信息；

所述确定包含有商品对象本体图像的第二图像，包括：

从所述目标商品对象关联的图像中确定所述第二图像。

17.根据权利要求11所述的方法，其特征在于，

所述确定包含有人体图像的第一图像，包括：

根据所述虚拟试穿请求中携带的信息，确定所述包含有人体图像的第一图像。

18.根据权利要求17所述的方法，其特征在于，

对所述第一图像进行保存，以用于与其他虚拟试穿请求对应的第二图像进行合成，生成所述虚拟试穿效果图像。

19.根据权利要求11至18任一项所述的方法，其特征在于，

所述第一图像包括：以所述第一用户或所述第一用户的关联用户为拍摄对象的照片或视频图像。

20.一种提供虚拟试穿效果信息的方法，其特征在于，包括：

接收所述服务端返回的虚拟试穿效果图像并进行展示。

21.一种生成商品对象图的方法，其特征在于，包括：

提供包含有人体图像的第一图像；

接收包含有商品对象本体图像的第二图像；

22.根据权利要求21所述的方法，其特征在于，

所述包含有人体图像的第一图像为多幅；

所述生成合成图像，包括：

将所述第二图像分别与多幅所述第一图像进行合成，获得多幅合成图像，以便所述第二用户从中选择可作为商品对象图发布的合成图像。

23.一种商品对象信息发布方法，其特征在于，包括：

接收所述服务端返回的所述合成图像；

将所述合成图像作为商品对象图提交到服务端进行发布。

24.一种图像处理装置，其特征在于，包括：

25.一种图像合成网络模型训练装置，其特征在于，包括：

26.一种提供虚拟试穿效果信息的装置，其特征在于，应用于服务端，包括：

27.一种提供虚拟试穿效果信息的装置，其特征在于，应用于第一用户客户端，包括：

28.一种生成商品对象图的装置，其特征在于，包括：

第一图像提供单元，用于提供包含有人体图像的第一图像；

29.一种商品对象信息发布装置，其特征在于，应用于第二用户客户端，包括：

30.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行权利要求1至23任一项所述的方法的步骤。

31.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至23任一项所述的方法的步骤。