CN113191843A

CN113191843A - 模拟服饰试穿方法、装置、电子设备及存储介质

Info

Publication number: CN113191843A
Application number: CN202110468719.8A
Authority: CN
Inventors: 于宏鑫
Original assignee: Beijing Sensetime Technology Development Co Ltd
Current assignee: Beijing Sensetime Technology Development Co Ltd
Priority date: 2021-04-28
Filing date: 2021-04-28
Publication date: 2021-07-30
Anticipated expiration: 2041-04-28
Also published as: CN113191843B

Abstract

本公开提供了一种模拟服饰试穿方法、装置、电子设备及存储介质，该方法包括：获取虚拟服饰素材以及现实场景图像；识别所述现实场景图像中目标人体的关键点信息；基于所述目标人体的关键点信息，对所述虚拟服饰素材进行调整；将调整后的虚拟服饰素材与所述目标图像区域进行融合，得到试穿效果图像。

Description

模拟服饰试穿方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种模拟服饰试穿方法、装置、电子设备及存储介质。

背景技术

在线上购物场景下，用户通过电商平台购买衣服过程中，衣服的风格、颜色、尺码的选择都是根据商品简介中的模特图、尺码表作为参照，由用户根据自己的经验来选择，或者根据用户输入的身高体重等推荐合适的尺码。但是目前这种购买方式，用户买到的衣服很可能出现尺码、款式不合适的问题，导致退换货频繁。另外，在线下购物场景下，用户虽然可以实际感受衣服的款式材质等，但是也是需要亲自试穿后才能确定衣服是否适合自己，但是频繁试穿衣服也会影响购买衣服的效果以及体验。

发明内容

有鉴于此，本公开至少提供一种模拟服饰试穿方法、装置、电子设备及存储介质。

第一方面，本公开提供了一种模拟服饰试穿方法，包括：

获取虚拟服饰素材以及现实场景图像；

识别所述现实场景图像中目标人体的关键点信息；

基于所述目标人体的关键点信息，对所述虚拟服饰素材进行调整；

将调整后的虚拟服饰素材与所述目标人体所在的目标图像区域进行融合，得到试穿效果图像。

上述方法中，通过将识别到的目标图像区域与虚拟服饰素材进行融合处理，得到试穿效果图像，该试穿效果图像为在目标人体上叠加虚拟服饰素材的图像，通过生成的试穿效果图像，可以清晰的展示目标人体穿着虚拟服饰素材对应的实体服饰的试穿效果，目标人体对应的用户无需在线下试穿实体服饰就可以得到试穿效果，提高了试穿的灵活性和效率。同时，通过展示试穿效果图像，可以缓解用户在不清楚试穿效果的情况下购买实体服饰带来的退换问题，减少了资源的浪费。

进一步地，由于虚拟服饰素材与目标人体并不完全适配，会造成虚拟服饰素材与目标人体所在的目标图像区域不匹配，为了缓解上述问题，本公开实施方式中，可以基于目标人体的关键点信息，对虚拟服饰素材进行调整，再将调整后的虚拟服饰素材与目标图像区域进行融合，得到试穿效果图像，提高试穿效果图像的展示效果。

一种可能的实施方式中，所述虚拟服饰素材为在标准人体图像上生成的符合标准人体的关键点信息的服饰素材；

所述基于所述目标人体的关键点信息，对所述虚拟服饰素材进行调整，包括：

获取所述虚拟服饰素材对应的标准人体的关键点信息；

确定所述目标人体的关键点信息与所述标准人体的关键点信息中具有相同关键点标识的匹配关键点对；

基于各匹配关键点对的位置信息，确定所述虚拟服饰素材的调整比例；

按照所述调整比例，对所述虚拟服饰素材进行调整。

一种可能的实施方式中，所述方法还包括：

基于当前采集的所述现实场景图像，识别当前现实场景的光环境信息；

基于所述光环境信息，调整所述虚拟服饰素材的渲染参数值；

所述将调整后的虚拟服饰素材与所述目标人体所在的目标图像区域进行融合，得到试穿效果图像，包括：

对所述目标图像区域和调整渲染参数值后的虚拟服饰素材进行融合处理，生成所述试穿效果图像。

上述方法中，通过基于识别到的当前现实场景的光环境信息，调整虚拟服饰素材的渲染参数值，使得虚拟服饰素材呈现的明暗程度与当前现实场景的光环境信息相匹配，进而在对目标图像区域和调整渲染参数值后的虚拟服饰素材进行融合处理，生成试穿效果图像时，可以提高生成的试穿效果图像的展示效果。

一种可能的实施方式中，所述方法还包括：

识别当前采集的现实场景图像中目标人体的属性信息；

所述获取虚拟服饰素材，包括：

获取与所述目标人体的属性信息相匹配的虚拟服饰素材。

这里，可以识别现实场景图像中目标人体的属性信息，通过识别到的属性信息，可以灵活的获取虚拟服饰素材，使得获取的虚拟服饰素材更加符合用户的需求，提高了虚拟服饰素材的获取效率。

一种可能的实施方式中，所述属性信息包括以下至少一种：年龄、性别、肤色、胖瘦程度、妆容风格、穿衣风格。

一种可能的实施方式中，在生成试穿效果图像之后，还包括：

将所述试穿效果图像与所述虚拟服饰素材对应的服饰购买信息对应存储；

响应于作用于任一所述试穿效果图像的触发操作，获取所述服饰购买信息。

这里，可以将试穿效果图像与虚拟服饰素材对应的服饰购买信息对应存储，进而响应于作用于任一试穿效果图像的触发操作，获取服饰购买信息，方便用户购买虚拟服饰素材对应的实体服饰，提升购物便捷程度，节省了时间成本。

以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。

第二方面，本公开提供了一种模拟服饰试穿装置，包括：

获取模块，用于获取虚拟服饰素材以及现实场景图像；

识别模块，用于识别所述现实场景图像中目标人体的关键点信息；

调整模块，用于基于所述目标人体的关键点信息，对所述虚拟服饰素材进行调整；

生成模块，用于将调整后的虚拟服饰素材与所述目标人体所在的目标图像区域进行融合，得到试穿效果图像。

所述调整模块，在基于所述目标人体的关键点信息，对所述虚拟服饰素材进行调整时，具体用于：

获取所述虚拟服饰素材对应的标准人体的关键点信息；

按照所述调整比例，对所述虚拟服饰素材进行调整。

一种可能的实施方式中，所述装置还包括：参数调整模块，用于：

所述生成模块，在将调整后的虚拟服饰素材与所述目标人体所在的目标图像区域进行融合，得到试穿效果图像时，用于：

将所述目标图像区域和调整渲染参数值后的虚拟服饰素材进行融合处理，生成所述试穿效果图像。

一种可能的实施方式中，所述装置还包括：属性识别模块，用于：

识别当前采集的现实场景图像中目标人体的属性信息；

所述获取模块，在获取虚拟服饰素材时，用于：

获取与所述目标人体的属性信息相匹配的虚拟服饰素材。

一种可能的实施方式中，在生成试穿效果图像之后，还包括：响应模块，用于：

第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的模拟服饰试穿方法的步骤。

第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的模拟服饰试穿方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种模拟服饰试穿方法的流程示意图；

图2示出了本公开实施例所提供的一种模拟服饰试穿方法中，对目标图像区域和虚拟服饰素材进行融合处理，得到试穿效果图像的具体方式的流程示意图；

图3示出了本公开实施例所提供的一种虚拟试衣装置的架构示意图；

图4示出了本公开实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

考虑到在线上购物的方式中，用户买到的衣服很可能出现尺码、款式不合适的问题，导致退换货频繁，以及在线下购物场景下，用户虽然可以实际感受衣服的款式材质等，但是也是需要亲自试穿后才能确定衣服是否适合自己，但是频繁试穿衣服也会影响购买衣服的效果以及体验。为了缓解上述问题，本公开实施例提供了一种模拟服饰试穿方法、装置、电子设备及存储介质。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种模拟服饰试穿方法进行详细介绍。本公开实施例所提供的模拟服饰试穿方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、个人数字助理(Personal Digital Assistant，PDA)、计算设备、可穿戴设备、增强现实(AugmentedReality，AR)设备等。在一些可能的实现方式中，该模拟服饰试穿方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例所提供的模拟服饰试穿方法的流程示意图，该方法包括S101-S103，其中：

S101，获取虚拟服饰素材以及现实场景图像；

S102，识别所述现实场景图像中目标人体所在的目标图像区域；

S103，对所述目标图像区域和所述虚拟服饰素材进行融合处理，得到试穿效果图像。

上述方法中，通过将识别到的目标图像区域与虚拟服饰素材进行融合处理，得到试穿效果图像，该试穿效果图像为在目标人体上叠加虚拟服饰素材的图像，通过生成的试穿效果图像，可以清晰的展示目标人体穿着虚拟服饰素材对应的实体衣服的试衣效果，目标人体对应的用户无需在线下试穿实体衣服就可以得到试衣效果，提高了试衣的灵活性和效率。同时，通过展示试穿效果图像，可以缓解用户在不清楚试衣效果的情况下购买实体衣服带来的退换问题，减少了资源的浪费。

下述针对S101-S103进行具体说明。

在S101中，获取现实场景图像的方式既可以由AR设备自带的摄像装置采集，也可以通过现实场景独立部署的摄像头采集现实场景图像。两种方式可以结合当前使用状态进行自由选择。示例性的，在执行主体为AR眼镜时，该AR眼镜由于无法采集持有者的全身身体图像，故可以在现实场景中部署摄像头，摄像头的安装位置为能够采集到目标人体全身图像的位置，以便部署的摄像头采集的现实场景图像中包括目标人体的全身图像。

示例性的，在执行主体为展示设备时，该展示设备上设置的摄像头能够采集到目标人体的身体图像，故无需额外部署其他摄像头，可以直接使用展示设备上设置的摄像头采集现实场景图像。

虚拟服饰素材可以为基于实体服饰图像，生成的与实体服饰匹配的虚拟服饰的贴纸素材等。其中，实体服饰可以为任一能够穿戴的物品；比如，虚拟服饰可以包括虚拟的服装、鞋、帽、袜子、手套、围巾、领带、配饰、包、伞等物品。

实施时，可以通过用户关注的店铺或者用户购物车中添加的物品，获取虚拟服饰素材。比如，可以获取与用户关注的店铺中包括的实体衣服匹配的虚拟服饰素材。或者，也可以确定与用户购物车中添加的物品的风格、款式等相同的实体衣服，获取与该实体衣服匹配的虚拟服饰素材。

一种可选实施方式中，所述方法还包括：识别当前采集的现实场景图像中目标人体的属性信息；其中，所述属性信息包括以下至少一种：年龄、性别、肤色、胖瘦程度、妆容风格、穿衣风格。示例性的，妆容风格可以包括：优雅型、自然型、古典型、时尚型等；穿衣风格可以包括：甜美、淑女、清新、田园、休闲、运动、中性、通勤等。

实施时，可以使用训练好的属性识别神经网络，识别当前采集的现实场景图像中目标人体的属性信息，比如，可以在属性识别神经网络中设置多个任务，每个任务对应一种属性，进而神经网络可以输出现实场景图像中目标人体的一种或多种属性信息。

也可以先使用图像分割神经网络，确定现实场景图像中目标人体对应的目标区域图像，再利用训练好的属性识别神经网络，识别目标区域图像中目标人体的属性信息。

在获取到目标人体的属性信息之后，进一步可以获取与所述目标人体的属性信息相匹配的虚拟服饰素材。示例性的，可以预先为每个虚拟服饰素材关联对应的属性信息。故在得到目标人体的属性信息之后，可以获取与目标人体的属性信息相匹配的虚拟服饰素材。

在S102中，目标人体所在的目标图像区域即为由人体轮廓信息围成的图像区域。示例性的，可以通过关键点识别神经网络识别目标人体的人体轮廓点信息，进而基于人体轮廓点信息确定目标人体所在的目标图像区域的图像范围。示例性的，还可以利用训练后的图像分割神经网络，确定现实场景图像中目标人体所在的目标图像区域，即确定了目标人体的目标图像区域在现实场景图像对应的图像坐标系下的位置信息。

可以根据下述步骤训练图像分割神经网络：获取训练样本，训练样本中包括每个人体样本的轮廓区域信息；将训练样本输入至待训练的图像分割神经网络中，得到训练样本对应的预测结果；基于预测结果和训练样本中包括每个人体样本的轮廓区域信息，确定损失值，再基于损失值调整待训练的图像分割神经网络的网络参数，直至训练后的图像分割神经网络的损失值小于设置的损失阈值。

在S103中，可以将虚拟服饰素材与目标图像区域进行融合，得到试穿效果图像，比如，可以将目标图像区域中各个像素点的像素信息与虚拟服饰素材中对应像素点的像素信息进行加权叠加，得到试穿效果图像。或者，识别目标图像区域中与虚拟服饰素材对应的区域，进而将确定的与虚拟服饰素材对应的区域中各个像素点的像素信息替换为虚拟服饰素材中对应像素点的像素信息，得到试穿效果图像。其中，试穿效果图像中展示有目标人体穿着虚拟服饰的试衣效果。

一种可选实施方式中，参见图2所示，所述对所述目标图像区域和所述虚拟服饰素材进行融合处理，得到试穿效果图像，包括：

S201，识别所述现实场景图像中目标人体的关键点信息；

S202，基于所述目标人体的关键点信息，对所述虚拟服饰素材进行调整；

S203，将调整后的虚拟服饰素材与所述目标人体所在的目标图像区域进行融合，得到试穿效果图像。

由于虚拟服饰素材与目标人体并不完全适配，会造成虚拟服饰素材与目标人体对应的目标图像区域不匹配，为了缓解上述问题，本公开实施方式中，可以基于目标人体的关键点信息，对虚拟服饰素材进行调整，再将调整后的虚拟服饰素材与目标图像区域进行融合，得到试穿效果图像，提高试穿效果图像的展示效果。

在S201中，利用训练后的关键点识别神经网络，识别目标图像区域中目标人体的关键点信息，关键点信息中包括关键点的位置信息、关键点的标识信息等。关键点的位置信息可以为关键点在现实场景图像对应的图像坐标系下的坐标值；关键点的标识信息可以使用数字和/或字母进行标识，和/或，关键点的标识信息可以使用关键点的名称进行标识，比如，肩部关键点、头部关键点等。

其中，目标人体的关键点的数量，可以根据精准度需求进行设置，关键点的数量越多，精准度越高；比如目标人体的关键点可以为17个、108个等。目标人体的关键点可以包括目标人体的轮廓区域上的位置点，也可以包括目标人体的肢体上的关节点等。

在S202中，虚拟服饰素材为在标准人体图像上生成的符合标准人体的关键点信息的服饰素材；由于虚拟服饰素材是针对标准人体的，使得标准人体的虚拟服饰素材可能不完全适应于目标人体，故需要对虚拟服饰素材进行调整，以便调整后的虚拟服饰素材与目标人体能够匹配。其中，标准人体的人体结构可以为满足人体标准体形数据的人体结构。

在S202中，基于所述目标人体的关键点信息，对所述虚拟服饰素材进行尺寸调整，可以包括：

S2021，获取所述虚拟服饰素材对应的标准人体的关键点信息；

S2022，确定所述目标人体的关键点信息与所述标准人体的关键点信息中具有相同关键点标识的匹配关键点对；

S2023，基于各匹配关键点对的位置信息，确定所述虚拟服饰素材的调整比例；

S2024，按照所述调整比例，对所述虚拟服饰素材进行调整。

可以对标准人体对应的人体图像进行关键点识别，确定虚拟服饰素材对应的标准人体的关键点信息，其中，标准人体的关键点可以根据需要进行设置，比如，标准人体的关键点可以包括肩部关键点、脚部关键点、头部关键点、颈部关键点等。这里，标准人体关键点的数量既可以与目标人体关键点的数量一致，也可以与目标人体关键点的数量不一致。标准人体的关键点信息可以在首次识别后预先存储好，在执行到S2021时可以直接获取预先存储好的标准人体的关键点信息。

进一步地，可以确定目标人体的关键点信息与标准人体的关键点信息中，具有相同关键点标识的匹配关键点对，比如，可以将目标人体的肩部关键点、与标准人体的肩部关键点作为匹配关键点对；或者，可以将目标人体的关键点1与标准人体的关键点1作为匹配关键点对。每个关键点标识可表示人体中某个部位，相同关键点标识的匹配关键点对可表示目标人体和标准人体中分别表示同一部位的关键点，但该同一部位的关键点分别在目标人体和标准人体上的位置信息不一定相同。

接着，可以基于各匹配关键点对的位置信息，确定虚拟服饰素材的调整比例。示例性的，可以根据下述步骤确定调整比例：

第一、可以先确定目标人体的关键点信息中选取的两个第一关键点之间的第一距离，其中，选取的两个第一关键点为能够表征目标人体的体型尺寸的关键点，比如，选取的两个第一关键点可以为左肩关键点和右肩关键点，左肩关键点和右肩关键点之间的第一距离可以表征目标人体的肩宽；在比如，选取的第一关键点可以为腰部左侧关键点和对称的腰部右侧关键点，腰部左侧关键点和腰部右侧关键点之间的第一距离可以表征目标人体的腰宽；再比如，选取的第一关键点可以为头部关键点与脚部关键点，头部关键点与脚部关键点之间的第一距离可以表征目标人体的身高等。

第二、基于各匹配关键点对的位置信息，可以确定标准人体上与选择的第一关键点对应的第二关键点，再可以确定两个第二关键点之间的第二距离。

第三、可以基于第一距离和对应的第二距离，确定虚拟服饰素材对应的调整比例；比如，可以基于目标人体上的左肩关键点和右肩关键点之间的第一距离、与标准人体上的左肩关键点和右肩关键点之间的第二距离，确定虚拟服饰素材对应的肩部的调整比例。

最后，可以按照确定的调整比例，对虚拟服饰素材进行调整。示例性的，可以使用图像缩放的方式，按照调整比例，对虚拟服饰素材进行尺寸调整，得到尺寸调整后的虚拟服饰素材。

在S203中，在一些实施方式中，在可以将调整后的虚拟服饰素材与目标图像区域进行融合，得到试穿效果图像；比如，可以将目标图像区域上的像素点的像素信息替换为尺寸调整后的虚拟服饰素材上对应像素点的像素信息。

实施时，还可以根据目标人体的关键点信息、和虚拟服饰素材，确定目标图像区域的渲染范围，将尺寸调整后的虚拟服饰素材与确定的渲染范围进行融合，得到试穿效果图像。

一种可选实施方式中，所述方法还包括：

S104，基于当前采集的所述现实场景图像，识别当前现实场景的光环境信息；

S105，基于所述光环境信息，调整所述虚拟服饰素材的渲染参数值。

示例性的，光环境信息可以包括光照强度、图像亮度等信息。再根据识别到的光环境信息，调整虚拟服饰素材的渲染参数值，比如，可以调整虚拟服饰素材对应的表征明暗程度的渲染参数值，比如，最大光线强度参数等；或者，可以调整虚拟服饰素材对应的表征反光程度的渲染参数值。比如，反射参数等。

在S103中，对所述目标图像区域和所述虚拟服饰素材进行融合处理，得到试穿效果图像，包括：对所述目标图像区域和调整渲染参数值后的虚拟服饰素材进行融合处理，生成所述试穿效果图像。

比如，可以将目标图像区域上的像素点的像素信息替换为调整渲染参数值后的虚拟服饰素材上对应像素点的像素信息，生成试穿效果图像。

一种可选实施方式中，在生成试穿效果图像之后，还包括：

将所述试穿效果图像与所述虚拟服饰素材对应的服饰购买信息对应存储；响应于作用于任一所述试穿效果图像的触发操作，获取所述服饰购买信息。

在生成试衣效果之后，可以将试穿效果图像与虚拟服饰素材对应的服饰购买信息关联存储，比如，服饰购买信息可以为虚拟服饰素材对应的链接、网址、尺码、价格等信息。

在检测到任一试穿效果图像被触发时，响应于该触发操作，获取被触发的试穿效果图像对应的服饰购买信息。

下面，以执行主体为AR设备为例进行说明，模拟服饰试穿方法的过程可以包括：

步骤1、以服饰为衣服进行示例性说明，在购物平台中，预先设置各个服装店铺下实体衣服对应的虚拟服饰素材，并可以将虚拟服饰素材与店铺标识、或者属性信息关联存储。其中，购物平台可以为第三方的网购平台，也可以为实体店铺对应的独立购物平台。

步骤2、启动AR设备，控制AR设备获取并展示店铺列表，在检测到用户选中目标店铺之后，可以从购物平台中获取与目标店铺的店铺标识关联的虚拟服饰素材库，其中，虚拟服饰素材库中的虚拟服饰素材可以按照属性信息进行分类，比如，可以将虚拟服饰素材按照上装、下装、连衣裙等衣服款式进行分类；也可以按照男装、女装进行分类。再可以响应于款式选择操作，确定选择的衣服款式，并展示该衣服款式下的虚拟服饰素材，且可以根据用户的切换操作，切换展示不同的虚拟服饰素材。

步骤3、在任一虚拟服饰素材被触发后，可以启动虚拟试衣的功能选项，并可以通过摄像设备获取现实场景图像。

步骤4、在可以通过图像分割神经网络，对现实场景图像进行识别，确定现实场景图像中目标人体所在的目标图像区域，即得到目标人体所在的前景区域，进而可以在AR设备上生成并真实目标人体的全身肢体图像。

步骤5、可以识别目标图像区域中目标人体的关键点信息，该关键点信息中可以包括：人体轮廓的关键点标识以及关键点的坐标信息，和/或肢体上的关节点标识和关节点的坐标信息。

步骤6、可以利用目标人体的关键点信息，得到在目标人体上叠加虚拟服饰素材的试穿效果图像。

示例性的，步骤6可以包括：

步骤6.1、确定选择的虚拟服饰素材所覆盖的标准人体图像上的标准人体的关键点信息，其中，虚拟服饰素材为在标准人体图像上生成的符合标准人体的关键点信息的服饰素材；

步骤6.2、基于标准人体的关键点信息指示的关键点标识，从目标人体的关键点信息中确定具有相同关键点标识的关键点；

步骤6.3、在遍历得到具有相同标识的目标人体的关键点之后，基于遍历得到的关键点可确定虚拟服饰素材对应的渲染范围；

步骤6.4、选取渲染范围内的虚拟服饰素材的像素点的像素信息，可以将该像素点的像素信息作为目标人体上对应像素点的像素信息，通过将对应位置处的像素点的像素信息进行替换，得到将虚拟服饰素材渲染到目标人体对应部位的试衣效果。

可选的，在步骤6中，除了直接进行像素点的像素信息替换之外，还可以结合识别到的当前现实场景的环境信息，如光照强度信息等，对虚拟服饰素材渲染参数值进行调整。比如，原虚拟服饰素材的渲染参数值对应标准光照强度信息B，识别到现实场景图像对应的当前光照强度信息为光照强度信息A，则可以调整当前展示的虚拟服饰素材的渲染参数值对应光照强度信息A。

可选的，在步骤6中，还可以包括：首先，获取虚拟服饰素材对应的标准人体的关键点信息，并确定目标人体的关键点信息与标准人体的关键点信息中具有相同关键点标识的匹配关键点对；其次，可以基于各匹配关键点对的位置信息，确定虚拟服饰素材的调整比例；并可以按照调整比例，对虚拟服饰素材进行调整；进而可以将调整后的虚拟服饰素材与目标图像区域进行融合，得到试穿效果图像。

可选的，在步骤6之后，还可以包括：

步骤7、控制AR设备展示渲染后的、穿着有虚拟服饰素材的试穿效果图像。

步骤8、在展示试穿效果图像之后，还可以响应于切换操作，重新确定虚拟试衣素材，并重新生成试穿效果图像。

步骤9、可以将试穿效果图像与虚拟服饰素材对应的服饰购买信息对应存储，并响应于作用于任一试穿效果图像的触发操作，获取服饰购买信息。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于相同的构思，本公开实施例还提供了一种模拟服饰试穿装置，参见图3所示，为本公开实施例提供的模拟服饰试穿装置的架构示意图，包括获取模块301、识别模块302、调整模块303、生成模块304，具体的：

获取模块301，用于获取虚拟服饰素材以及现实场景图像；

识别模块302，用于识别所述现实场景图像中目标人体的关键点信息；

调整模块303，用于基于所述目标人体的关键点信息，对所述虚拟服饰素材进行调整；

生成模块304，用于将调整后的虚拟服饰素材与所述目标人体所在的目标图像区域进行融合，得到试穿效果图像。

所述调整模块303，在基于所述目标人体的关键点信息，对所述虚拟服饰素材进行调整时，用于：

获取所述虚拟服饰素材对应的标准人体的关键点信息；

按照所述调整比例，对所述虚拟服饰素材进行调整。

一种可能的实施方式中，所述装置还包括：参数调整模块305，用于：

所述生成模块304，在将调整后的虚拟服饰素材与所述目标人体所在的目标图像区域进行融合，得到试穿效果图像时，用于：

一种可能的实施方式中，所述装置还包括：属性识别模块306，用于：

识别当前采集的现实场景图像中目标人体的属性信息；

所述获取模块301，在获取虚拟服饰素材时，用于：

获取与所述目标人体的属性信息相匹配的虚拟服饰素材。

一种可能的实施方式中，在生成试穿效果图像之后，还包括：响应模块307，用于：

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图4所示，为本公开实施例提供的电子设备的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：

获取虚拟服饰素材以及现实场景图像；

识别所述现实场景图像中目标人体的关键点信息；

此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的模拟服饰试穿方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的模拟服饰试穿方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims

1.一种模拟服饰试穿方法，其特征在于，包括：

获取虚拟服饰素材以及现实场景图像；

识别所述现实场景图像中目标人体的关键点信息；

2.根据权利要求1所述的方法，其特征在于，所述虚拟服饰素材为在标准人体图像上生成的符合标准人体的关键点信息的服饰素材；

获取所述虚拟服饰素材对应的标准人体的关键点信息；

按照所述调整比例，对所述虚拟服饰素材进行调整。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：

识别当前采集的现实场景图像中目标人体的属性信息；

所述获取虚拟服饰素材，包括：

获取与所述目标人体的属性信息相匹配的虚拟服饰素材。

5.根据权利要求4所述的方法，其特征在于，所述属性信息包括以下至少一种：年龄、性别、肤色、胖瘦程度、妆容风格、穿衣风格。

6.根据权利要求1至5任一所述的方法，其特征在于，在生成试穿效果图像之后，还包括：

7.一种模拟服饰试穿装置，其特征在于，包括：

获取模块，用于获取虚拟服饰素材以及现实场景图像；

8.根据权利要求7所述的装置，其特征在于，所述虚拟服饰素材为在标准人体图像上生成的符合标准人体的关键点信息的服饰素材；

获取所述虚拟服饰素材对应的标准人体的关键点信息；

按照所述调整比例，对所述虚拟服饰素材进行调整。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的模拟服饰试穿方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的模拟服饰试穿方法的步骤。