CN115222862B - 虚拟人衣物生成方法、装置、设备、介质及程序产品 - Google Patents

虚拟人衣物生成方法、装置、设备、介质及程序产品 Download PDF

Info

Publication number
CN115222862B
CN115222862B CN202210748674.4A CN202210748674A CN115222862B CN 115222862 B CN115222862 B CN 115222862B CN 202210748674 A CN202210748674 A CN 202210748674A CN 115222862 B CN115222862 B CN 115222862B
Authority
CN
China
Prior art keywords
clothes
target
digital
laundry
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210748674.4A
Other languages
English (en)
Other versions
CN115222862A (zh
Inventor
曹佳炯
丁菁汀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210748674.4A priority Critical patent/CN115222862B/zh
Publication of CN115222862A publication Critical patent/CN115222862A/zh
Application granted granted Critical
Publication of CN115222862B publication Critical patent/CN115222862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本说明书实施例公开了一种虚拟人衣物生成方法、装置、设备、介质及程序产品。其中，该方法包括：获取目标用户穿着目标衣物时进行拍摄得到的目标衣物图像；将目标衣物图像输入衣物属性识别模型中，输出目标衣物对应的目标属性信息，上述衣物属性识别模型由多张已知属性信息的衣物图像进行训练得到；根据目标属性信息从数字化衣物数据库包括的多件第一衣物各自对应的数字化衣物中确定目标衣物对应的目标数字化衣物；基于目标数字化衣物对目标用户对应的虚拟人进行渲染，得到已穿着目标数字化衣物的目标虚拟人。

Description

虚拟人衣物生成方法、装置、设备、介质及程序产品
技术领域
本说明书涉及数字化技术领域，尤其涉及一种虚拟人衣物生成方法、装置、设备、介质及程序产品。
背景技术
近年来，元宇宙和数字孪生成为了学术界和工业界的热门话题。这两个课题主要是创造出一个和物理世界平行的数字世界，人们可以在这个世界中完成物理世界中可以完成的事儿，例如在数字世界中有一个自己的形象。目前，元宇宙和数字孪生中近期最有可能实现应用的是虚拟人(数字人)技术，即通过对物理世界的用户进行数字化。
虚拟人技术主要包含两个部分，一部分是对于人体的数字化(例如人脸、手、躯干等等)，另一部分是对于衣物和配置的数字化。目前，生成虚拟人衣物的方法主要包括两种：一种主要依赖于设计人员的设计，即设计人员需要先对市面常见的各类衣物进行数字世界的手工建模，然后再通过渲染引擎对设计好的数字化衣物进行渲染，从而得到最后穿在虚拟人身上的效果；另一种主要基于NeRF模型进行虚拟人衣物的生成。
发明内容
本说明书实施例提供了一种虚拟人衣物生成方法、装置、设备、介质及程序产品，通过根据物理世界用户穿着的衣物属性，确定数字世界最接近的衣物模型，从而实现实时虚拟人衣物数字化。上述技术方案如下：
第一方面，本说明书实施例提供了一种虚拟人衣物生成方法，包括：
获取目标衣物图像；上述目标衣物图像为目标用户穿着目标衣物时进行拍摄得到的图像；
将上述目标衣物图像输入衣物属性识别模型中，输出上述目标衣物对应的目标属性信息；上述衣物属性识别模型由多张已知属性信息的衣物图像进行训练得到；
基于上述目标属性信息从数字化衣物数据库中确定上述目标衣物对应的目标数字化衣物；上述数字化衣物数据库包括多件第一衣物各自对应的数字化衣物；
基于上述目标数字化衣物对上述目标用户对应的虚拟人进行渲染，得到已穿着上述目标数字化衣物的目标虚拟人。
在一种可能的实现方式中，上述基于上述目标属性信息从数字化衣物数据库中确定上述目标衣物对应的目标数字化衣物，包括：
将上述目标属性信息输入属性匹配模型中，输出上述目标属性信息对应的目标向量；上述属性匹配模型由多件第二衣物各自对应的多张衣物图像中上述第二衣物对应的属性信息进行训练得到；
基于上述目标向量确定上述目标衣物与数字化衣物数据库中的数字化衣物之间的相似度；
将满足预设条件的上述相似度对应的上述数字化衣物确定为上述目标衣物对应的目标数字化衣物。
在一种可能的实现方式中，上述目标属性信息包括以下至少一种：上述目标衣物的颜色、类型、材质、样式。
在一种可能的实现方式中，上述属性匹配模型对应的损失函数为对比学习损失函数；上述对比学习损失函数用于拉近同一件上述第二衣物对应的多张衣物图像中上述第二衣物对应的属性信息之间的向量空间距离，拉远不同上述第二衣物的属性信息之间的向量空间距离。
在一种可能的实现方式中，上述基于上述目标属性信息从数字化衣物数据库中确定上述目标衣物对应的目标数字化衣物之前，上述方法还包括：
获取多件第一衣物各自对应的M张第一图像；上述M为大于2的整数；上述M张第一图像为上述第一衣物的M个不同角度的图像；上述M个不同角度的并集范围大于第一预设角度范围；
基于上述多件第一衣物各自对应的M张第一图像重建上述多件第一衣物各自对应的数字化衣物。
在一种可能的实现方式中，上述获取多件第一衣物各自对应的M张第一图像，包括：
获取多件第一衣物各自对应的N张第二图像；上述N为大于2且小于M的整数；上述N张第二图像为从上述第一衣物的N个不同角度进行拍摄得到的图像；上述N个不同角度的并集范围大于第二预设角度范围，且小于或等于上述M个不同角度的并集范围；上述第二预设角度范围小于上述第一预设角度范围；
将上述多件第一衣物各自对应的N张第二图像分别输入多角度数据生成模型中，输出上述多件第一衣物各自对应的M张第一图像；上述多角度数据生成模型由多件第三衣物各自对应的N张图像以及上述多件第三衣物各自对应的M张标准图像进行训练得到；上述M张标准图像为通过图像采集设备从上述第三衣物的M个不同角度进行拍摄得到的图像。
在一种可能的实现方式中，上述基于上述多件第一衣物各自对应的M张第一图像重建上述多件第一衣物各自对应的数字化衣物，包括：
将上述第一衣物对应的M张第一图像输入重建模型中，输出上述第一衣物对应的第一初始数字化衣物；
将上述第一初始数字化衣物按照目标角度进行映射，得到上述第一衣物的目标角度对应的映射图像；上述目标角度为上述M个不同角度中的角度；
基于上述映射图像与上述目标角度对应的上述第一图像确定上述第一初始数字化衣物的损失结果；
在上述损失结果不满足预设损失条件的情况下，基于上述第一初始数字化衣物的损失结果更新上述第一初始数字化衣物，得到第二初始数字化衣物；
将上述第一衣物对应的第一初始数字化衣物更新为对应的上述第二初始数字化衣物；
再次执行将上述第一初始数字化衣物按照目标角度进行映射，得到上述第一衣物的目标角度对应的映射图像的步骤，直至上述损失结果满足上述预设损失条件时，将满足上述预设损失条件的损失结果对应的第一初始数字化衣物确定为上述第一衣物对应的数字化衣物。
第二方面，本说明书实施例提供了一种虚拟人衣物生成装置，所述装置包括：
第一获取模块，用于获取目标衣物图像；上述目标衣物图像为目标用户穿着目标衣物时进行拍摄得到的图像；
属性识别模块，用于将上述目标衣物图像输入衣物属性识别模型中，输出上述目标衣物对应的目标属性信息；上述衣物属性识别模型由多张已知属性信息的衣物图像进行训练得到；
确定模块，用于基于上述目标属性信息从数字化衣物数据库中确定上述目标衣物对应的目标数字化衣物；上述数字化衣物数据库包括多件第一衣物各自对应的数字化衣物；
渲染模型，用于基于上述目标数字化衣物对上述目标用户对应的虚拟人进行渲染，得到已穿着上述目标数字化衣物的目标虚拟人。
在一种可能的实现方式中，上述确定模块包括：
属性匹配单元，用于将上述目标属性信息输入属性匹配模型中，输出上述目标属性信息对应的目标向量；上述属性匹配模型由多件第二衣物各自对应的多张衣物图像中上述第二衣物对应的属性信息进行训练得到；
第一确定单元，用于基于上述目标向量确定上述目标衣物与数字化衣物数据库中的数字化衣物之间的相似度；
第二确定单元，用于将满足预设条件的上述相似度对应的上述数字化衣物确定为上述目标衣物对应的目标数字化衣物。
在一种可能的实现方式中，上述目标属性信息包括以下至少一种：上述目标衣物的颜色、类型、材质、样式。
在一种可能的实现方式中，上述属性匹配模型对应的损失函数为对比学习损失函数；上述对比学习损失函数用于拉近同一件上述第二衣物对应的多张衣物图像中上述第二衣物对应的属性信息之间的向量空间距离，拉远不同上述第二衣物的属性信息之间的向量空间距离。
在一种可能的实现方式中，上述装置还包括：
第二获取模块，用于获取多件第一衣物各自对应的M张第一图像；上述M为大于2的整数；上述M张第一图像为上述第一衣物的M个不同角度的图像；上述M个不同角度的并集范围大于第一预设角度范围；
重建模块，用于基于上述多件第一衣物各自对应的M张第一图像重建上述多件第一衣物各自对应的数字化衣物。
在一种可能的实现方式中，上述第二获取模块包括：
获取单元，用于获取多件第一衣物各自对应的N张第二图像；上述N为大于2且小于M的整数；上述N张第二图像为从上述第一衣物的N个不同角度进行拍摄得到的图像；上述N个不同角度的并集范围大于第二预设角度范围，且小于或等于上述M个不同角度的并集范围；上述第二预设角度范围小于上述第一预设角度范围；
多角度数据生成单元，用于将上述多件第一衣物各自对应的N张第二图像分别输入多角度数据生成模型中，输出上述多件第一衣物各自对应的M张第一图像；上述多角度数据生成模型由多件第三衣物各自对应的N张图像以及上述多件第三衣物各自对应的M张标准图像进行训练得到；上述M张标准图像为通过图像采集设备从上述第三衣物的M个不同角度进行拍摄得到的图像。
在一种可能的实现方式中，上述重建模块包括：
重建单元，用于将上述第一衣物对应的M张第一图像输入重建模型中，输出上述第一衣物对应的第一初始数字化衣物；
映射单元，用于将上述第一初始数字化衣物按照目标角度进行映射，得到上述第一衣物的目标角度对应的映射图像；上述目标角度为上述M个不同角度中的角度；
第三确定单元，用于基于上述映射图像与上述目标角度对应的上述第一图像确定上述第一初始数字化衣物的损失结果；
第一更新单元，用于在上述损失结果不满足预设损失条件的情况下，基于上述第一初始数字化衣物的损失结果更新上述第一初始数字化衣物，得到第二初始数字化衣物；
第二更新单元，用于将上述第一衣物对应的第一初始数字化衣物更新为对应的上述第二初始数字化衣物；
第四确定单元，用于再次执行将上述第一初始数字化衣物按照目标角度进行映射，得到上述第一衣物的目标角度对应的映射图像的步骤，直至上述损失结果满足上述预设损失条件时，将满足上述预设损失条件的损失结果对应的第一初始数字化衣物确定为上述第一衣物对应的数字化衣物。
第三方面，本说明书实施例提供了一种电子设备，包括：处理器以及存储器；
上述处理器与上述存储器相连；
上述存储器，用于存储可执行程序代码；
上述处理器通过读取上述存储器中存储的可执行程序代码来运行与上述可执行程序代码对应的程序，以用于执行本说明书实施例第一方面或第一方面的任意一种可能的实现方式提供的方法。
第四方面，本说明书实施例提供了一种计算机存储介质，上述计算机存储介质存储有多条指令，上述指令适于由处理器加载并执行本说明书实施例第一方面或第一方面的任意一种可能的实现方式提供的方法。
第五方面，本说明书实施例提供了一种包含指令的计算机程序产品，当上述计算机程序产品在计算机或处理器上运行时，使得上述计算机或上述处理器执行本说明书实施例第一方面或第一方面的任意一种可能的实现方式提供的虚拟人衣物生成方法。
本说明书实施例通过获取目标用户穿着目标衣物时进行拍摄得到的目标衣物图像，将上述目标衣物图像输入衣物属性识别模型中，输出上述目标衣物对应的目标属性信息，上述衣物属性识别模型由多张已知属性信息的衣物图像进行训练得到；基于上述目标属性信息从数字化衣物数据库中确定上述目标衣物对应的目标数字化衣物，上述数字化衣物数据库包括多件第一衣物各自对应的数字化衣物；基于上述目标数字化衣物对上述目标用户对应的虚拟人进行渲染，得到已穿着上述目标数字化衣物的目标虚拟人，从而根据物理世界目标用户穿着的目标衣物属性，确定数字世界最接近的目标数字化衣物，实现在目标用户交互过程中实时虚拟人衣物数字化，既虚拟人衣物生成的效率，又保障了目标用户在数字世界的虚拟形象与物理世界的真实形象的一致性。
附图说明
为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为相关技术中提供的一种基于NeRF模型进行虚拟人衣物生成的实现过程示意图；
图2为本说明书一示例性实施例提供的一种虚拟人衣物生成系统的架构示意图；
图3为本说明书一示例性实施例提供的一种虚拟人衣物生成方法的流程示意图；
图4为本说明书一示例性实施例提供的一种基于目标属性信息确定目标衣物对应的目标数字化衣物的实现过程示意图；
图5为本说明书一示例性实施例提供的一种确定数字化衣物数据库中数字化衣物的特征向量的实现过程示意图；
图6为本说明书一示例性实施例提供的一种数字化衣物数据库中的数字化衣物重建过程示意图；
图7为本说明书一示例性实施例提供的一种获取用于重建数字化衣物的第一衣物对应的M张第一图像的实现过程示意图；
图8为本说明书一示例性实施例提供的一种重建第一衣物对应的数字化衣物的具体实现过程示意图；
图9A为本说明书一示例性实施例提供的另一种虚拟人衣物生成方法的流程示意图；
图9B为本说明书一示例性实施例提供的另一种虚拟人衣物生成方法的流程示意图；
图10为本说明书一示例性实施例提供的一种虚拟人衣物生成装置的结构示意图；
图11为本说明书一示例性实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述。
本说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在相关技术中，第一种虚拟人衣物生成方法主要依赖于设计人员对市面常见的各类衣物进行数字世界的手工建模，其衣物类型有限，且只有经过设计师提前设计的素材才能进行展示，无法根据用户现有的穿着进行实时数字化，应用的场景较为受限。
第二种基于NeRF模型进行虚拟人衣物生成的过程如图1所示，首先需要采集物理世界的用户穿着衣物时多个视角的标准化衣物图像，然后再将上述多个视角的标准化衣物图像输入NeRF模型中，输出用户穿着的衣物对应的数字化衣物，最后根据上述数字化衣物对虚拟人进行渲染，从而生成穿着数字化衣物的虚拟人。这类方法主要依赖多个视角的衣物图像对物理世界用户穿着的衣物进行数字重建，虽然不需要依赖设计人员，但是需要多个视角的标准化衣物图像，而在现实世界的实时交互中往往很难采集到能够用于数字化衣物重建的标准化衣物图像，且NeRF模型不能泛化使用，重建数字化衣物耗时较长，也无法高效地根据用户现有的穿着进行实时数字化。
请参考图2，图2为本说明书一示例性实施例提供的一种虚拟人衣物生成系统的架构示意图。如图2所示，虚拟人衣物生成系统可以包括：终端210和服务器220。其中：
终端210可以为用户端，具体包括一个或多个用户端。在终端210中可安装用户版的软件以及摄像头，用于在终端210对应的目标用户需要虚拟形象时，对穿着目标衣物的目标用户进行拍摄，从而得到的目标衣物图像。终端210中任意一个用户端均可以建立与网络之间的数据关系，并通过该网络和服务器220建立数据连接关系，例如发送目标衣物图像等。其中，终端210中任意一个用户端可以但不限于是安装有用户版软件的手机、平板电脑、笔记本电脑等设备。
服务器220可以是能提供多种虚拟人衣物生成的服务器，可以通过网络接收终端210中任意一个用户端发送的目标衣物图像等数据，并根据目标衣物图像中目标衣物对应的目标属性信息从数字化衣物数据库包括的多件第一衣物各自对应的数字化衣物中确定目标衣物对应的目标数字化衣物，从而实现根据目标数字化衣物对目标用户对应的虚拟人进行渲染，得到已穿着目标数字化衣物的目标虚拟人。服务器220还可以给目标用户对应的终端210或与上述目标用户正在交互的其它终端210发送目标用户对应的目标虚拟人，以使终端210能够在安装的用户版软件中展示上述目标虚拟人。服务器220可以但不限于是硬件服务器、虚拟服务器、云服务器等。
网络可以是在服务器220和终端210中任意一个用户端之间提供通信链路的介质，也可以是包含网络设备和传输介质的互联网，不限于此。传输介质可以是有线链路(例如但不限于，同轴电缆、光纤和数字用户线路(digital subscriber line，DSL)等)或无线链路(例如但不限于，无线上网(wireless fidelity，WIFI)、蓝牙和移动设备网络等)。
示例性地，在直播场景中，为了体现直播的个性化以及趣味性，目标用户可以在终端210上安装的直播软件中使用一个能够代表自己形象的虚拟人进行直播。同时，为了提高实时交互过程中虚拟人与目标用户在直播时形象的一致性，可以在目标用户交互的过程中实时对穿着目标衣物的目标用户进行拍摄，得到对应的目标衣物图像，并将上述目标衣物图像通过该网络发送至服务器220，以使服务器220能够根据目标衣物图像确定的目标衣物对应的目标数字化衣物对目标用户进行实时交互时对应的虚拟人进行渲染，从而得到已穿着目标数字化衣物的目标虚拟人，并将上述目标虚拟人通过网络发送至目标用户对应的终端210或正在观看目标用户直播的其它用户对应的终端210进行展示，以使目标用户对应的虚拟人的穿着能够根据目标用户现有的穿着进行实时数字化，保障目标用户在数字世界的虚拟形象与物理世界的真实形象的一致性。
可以理解地，图2所示的虚拟人衣物生成系统包括但不限于运用在直播、会议、游戏、视频、线上课堂等多种场景中。
可以理解地，上述虚拟人衣物生成不限于上述服务器220执行，还可以仅由上述终端210单独执行。即上述终端210可以通过摄像头获取到的目标用户穿着目标衣物时对应的目标衣物图像，并根据目标衣物图像中目标衣物对应的目标属性信息从终端210上存储的数字化衣物数据库包括的多件第一衣物各自对应的数字化衣物中确定目标衣物对应的目标数字化衣物，从而实现根据目标数字化衣物对目标用户对应的虚拟人进行渲染，得到已穿着目标数字化衣物的目标虚拟人。本说明书实施例对此不作具体限定，以下实施例全部以由服务器220执行上述虚拟人衣物生成为例进行说明。
可以理解地，图2所示的虚拟人衣物生成系统中的终端210和服务器220的数目仅作为示例，在具体实现中，该虚拟人衣物生成系统中可以包含任意数目的用户端和服务器。本说明书实施例对此不作具体限定。例如但不限于，终端210可以是多个用户端组成的终端集群，服务器220可以是多个服务器组成的服务器集群。
接下来结合图2，介绍本说明书实施例提供的虚拟人衣物生成方法。具体请参考图3，其为本说明书一示例性实施例提供的一种虚拟人衣物生成方法的流程示意图。如图3所示，该虚拟人衣物生成方法包括以下几个步骤：
S302，获取目标衣物图像。
具体地，在穿着目标衣物的目标用户进行实时交互的过程中，服务器220可以通过网络接收终端210发送的通过摄像头采集到的目标衣物图像。上述目标衣物图像为目标用户穿着目标衣物时进行拍摄得到的图像。
可以理解地，上述目标衣物图像对应的拍摄角度可以是目标用户穿着目标衣物时的正面、侧面或后面等任意角度，本申请实施例对此不作限定。
可以理解地，获取的目标衣物图像中目标衣物对应的拍摄角度越大、或者目标衣物图像中目标衣物对应的面积占比越大，最后得到的目标衣物对应的目标数字化衣物的准确率就越高，其目标虚拟人对应的虚拟形象与目标用户在现实世界中交互时的真实形象就越一致。
S304，将目标衣物图像输入衣物属性识别模型中，输出目标衣物对应的目标属性信息。
具体地，上述衣物属性识别模型由多张已知属性信息的衣物图像进行训练得到。上述衣物属性识别模型的结构可以但不限于是对于多个属性形成多任务学习的网络结构，其损失函数可以但不限于是多个多分类损失函数，即每一个多分类损失函数对应一种类型的属性分类。上述目标属性信息包括但不限于以下至少一种：目标衣物的颜色、类型、材质、样式等。
S306，基于目标属性信息从数字化衣物数据库中确定目标衣物对应的目标数字化衣物。
具体地，上述数字化衣物数据库包括多件第一衣物各自对应的数字化衣物。上述目标数字化衣物为上述多件第一衣物各自对应的数字化衣物中与目标衣物最匹配的数字化衣物。具体如图4所示，上述S306的实现过程主要包括以下几个步骤：
S402，将目标属性信息输入属性匹配模型中，输出目标属性信息对应的目标向量。
具体地，由于属性是离散的，且实际运用时目标衣物图像对应的目标属性信息中往往不止一个属性，实时交互过程中直接使用目标属性信息与数字化衣物数据库中每件数字化衣物的属性信息进行匹配不仅匹配效率较低，而且还不能够匹配到较为准确地数字化衣物。因此，需要将上述目标属性信息转换为对应的特征向量(目标向量)，从而拉近来自同一件衣物的属性信息之间的距离，拉远来自不同衣物的属性信息之间的距离，以实现通过属性信息对应的向量将不同的衣物区分开，提高实时交互过程中数字化衣物的匹配效率以及准确率。
具体地，上述属性匹配模型由多件第二衣物各自对应的多张衣物图像中上述第二衣物对应的属性信息进行训练得到。上述属性匹配模型可以但不限于是多层感知(multilayer Perceptron，MLP)模型。上述第二衣物与上述第一衣物可以是现实世界中相同的衣物，也可以是现实世界中不同的衣物，本说明书实施例对此不作限定。
可选地，由于属性是离散的，直接对其进行编码不能到达同一件衣物多个属性信息之间连续的效果，上述属性匹配模型对应的损失函数可以为对比学习损失函数。上述对比学习损失函数用于拉近同一件第二衣物对应的多张衣物图像中第二衣物对应的属性信息之间的向量空间距离，拉远不同第二衣物的属性信息之间的向量空间距离。
进一步地，在属性匹配模型进行训练时，只有将同一件第二衣物不同角度的多张衣物图像中第二衣物各自对应的属性信息输入属性匹配模型后，其输出的多张衣物图像的属性信息的多个向量之间的差距在预设范围内时，才可确定上述属性匹配模型训练完成。
可以理解地，上述预设范围越小，属性匹配模型训练的效果就越好，最终基于目标属性信息对应的目标向量从数字化衣物数据库中匹配到的目标数字化衣物与目标衣物的一致性就越高。
S404，基于目标向量确定目标衣物与数字化衣物数据库中的数字化衣物之间的相似度。
具体地，当确定目标衣物的目标属性信息对应的目标向量之后，可以计算出目标向量与数字化衣物数据库中每件数字化衣物对应的特征向量之间的相似度，即目标衣物与数字化衣物数据库中的数字化衣物之间的相似度。上述相似度可以但不限于是余弦相似度、欧式距离等。
进一步地，数字化衣物数据库中每件数字化衣物对应的特征向量的确定过程如图5所示，首先将用于重建第一衣物对应的数字化衣物的M张第一图像输入上述S304中的衣物属性识别模型中，输出每张第一图像对应的属性信息(即M个属性信息)；然后再将上述M个属性信息输入上述S402中的属性匹配模型中，输出M个属性信息各自对应的向量(M个向量)；最后再将上述M个向量进行平均，从而得到第一衣物的数字化衣物对应的特征向量。上述M张第一图像为第一衣物的M个不同角度的图像，上述M个不同角度的并集范围大于第一预设角度范围。
可以理解地，上述M为正整数，且在S404中，不同的第一衣物对应的M取值可以相同，也可以不相同，本说明书实施例对此不作限定。
可以理解地，上述第一预设角度范围可以是大于0度且小于350度、大于2度且小于360度等大于0且小于或等于360度的范围内角度总和大于或等于预设角度的角度范围，上述预设角度可以是350度、360度等，本说明书实施例对此不作限定。上述第一预设角度范围越大，获取的关于第一衣物的数据就越多，重建得到的第一衣物对应的数字化衣物就越准确。
可选地，由于一张目标衣物图像中对应的目标衣物的角度有限，而目标衣物的不同角度对应的目标属性信息可能不同，即其对应的目标向量也可能不同，为了提高实时交互过程中匹配到的目标数字化衣物的准确性，避免由于数字化衣物数据库中数字化衣物对应的M个向量被平均后对目标数字化衣物匹配的影响，当确定目标衣物的目标属性信息对应的目标向量之后，也可以直接计算出目标向量与数字化衣物数据库中每件数字化衣物的M个向量中每个向量之间的相似度，得到每件数字化衣物对应的M个相似度，然后再将每件数字化衣物对应的M个相似度中最高的相似度确定为目标衣物与数字化衣物数据库中的数字化衣物之间的相似度。上述相似度可以但不限于是余弦相似度、欧式距离等。
可以理解地，由于现实生活中的衣物数量以及类型有限，数字化衣物数据库中的数字化衣物越多，则实时交互过程中通过目标衣物的目标属性信息对应的目标向量与数字化衣物数据库中的数字化衣物进行匹配得到虚拟世界的目标数字化衣物与现实世界的目标衣物一致的概率就越高，目标用户在数字世界的虚拟形象与物理世界的真实形象的就越相似。
S406，将满足预设条件的相似度对应的数字化衣物确定为目标衣物对应的目标数字化衣物。
可选地，可以直接将数字化衣物数据库中与目标衣物的相似度最高的数字化衣物确定为目标衣物对应的目标数字化衣物。
可选地，为了进一步提高实时交互过程中虚拟世界的目标数字化衣物与物理世界目标用户穿着的目标衣物之间的一致性，服务器220也可以将数字化衣物数据库中与目标衣物的相似度最高的K个数字化衣物通过网络发送至目标用户对应的终端210。终端210在接收到上述K个数字化衣物之后，可以在对应的页面中展示上述K个数字化衣物，以供目标用户基于上述展示页面通过目标操作(包括但不限于点击、滑动等)从K个数字化衣物中选择目标数字化衣物。终端210接收到目标用户的目标操作之后，可以响应于上述目标操作向服务器220发送目标用户选择的目标数字化衣物或目标数字化衣物对应的身份标识等，以使服务器220能够根据目标用户选择的目标数字化衣物对其对应的虚拟人进行渲染，实现虚拟人衣物的生成。上述K可以为2、3、4等任意正整数，本说明书实施例对此不作限定。
进一步地，在目标用户通过终端210进行交互的过程中，为了进一步提高实时交互过程中虚拟世界的目标数字化衣物与物理世界目标用户穿着的目标衣物之间的一致性，可以通过移动终端220获取多张不同角度的目标衣物图像，或者当终端210处于固定位置时，在目标用户发生动作时获取多张不同角度的目标衣物图像，然后依次通过上述S304中的衣物属性识别模型以及上述S402中的属性匹配模型得到每张目标衣物图像对应的目标向量，然后后再将上述多张目标衣物图像对应的目标向量平均，从而得到目标衣物对应的目标向量，最后按照S404和S406得到目标衣物对应的目标数字化衣物，从而不仅能够提高实时交互过程中虚拟世界的目标数字化衣物与物理世界目标用户穿着的目标衣物之间的一致性，还根据能够在用户交互过程中根据目标用户的穿着实时调整对应的目标数字化衣物，以确保目标虚拟人对应的虚拟形象与目标用户在现实世界中交互时的真实形象的一致性。
S308，基于目标数字化衣物对目标用户对应的虚拟人进行渲染，得到已穿着目标数字化衣物的目标虚拟人。
具体地，服务器220可以利用渲染引擎将目标数字化衣物渲染到目标用户对应的虚拟人身上，从而得到已穿着目标数字化衣物的目标虚拟人。服务器220还可以通过网络将上述目标虚拟人发送至目标用户对应的终端210或者与目标用户对应的终端210正在进行交互的需要目标用户的虚拟形象的其它终端210，以供终端210向用户展示上述目标虚拟人。
本说明书实施例通过获取目标衣物图像，目标衣物图像为目标用户穿着目标衣物时进行拍摄得到的图像；将目标衣物图像输入衣物属性识别模型中，输出目标衣物对应的目标属性信息，衣物属性识别模型由多张已知属性信息的衣物图像进行训练得到；基于目标属性信息从数字化衣物数据库中确定目标衣物对应的目标数字化衣物，数字化衣物数据库包括多件第一衣物各自对应的数字化衣物；基于目标数字化衣物对目标用户对应的虚拟人进行渲染，得到已穿着目标数字化衣物的目标虚拟人。由此，本说明书实施例可以通过在实时交互过程中目标用户穿着目标衣物时进行拍摄得到的目标衣物图像对应的目标属性信息直接从数字化衣物数据库中找到与目标衣物对应的目标数字化衣物，解决了重建数字化衣物耗时较长，也无法高效地根据用户现有的穿着进行实时数字化，应用场景较为受限的问题。此外，本说明书实施例还通过基于目标属性信息确定目标衣物对应的目标数字化衣物的方式提高了实时交互过程中虚拟人衣物生成的效率以及准确率，保障了交互过程中生成的虚拟世界中的目标数字化衣物与现实世界中的目标衣物的一致性。
图6示例性示出了本说明书实施例提供的数字化衣物数据库中数字化衣物的重建过程示意图。如图6所示，本说明书实施例S306中的数字化衣物数据库中的数字化衣物重建过程包括以下几个步骤：
S602，获取多件第一衣物各自对应的M张第一图像。
具体地，上述M为大于2的整数。上述M张第一图像为第一衣物的M个不同角度的图像。上述第一衣物为现实世界中已存在的衣物。上述M个不同角度的并集范围大于第一预设角度范围。上述第一预设角度范围可以大于1度且小于360度、大于10度且小于360度等大于0且小于或等于360度的范围内角度总和大于或等于预设角度的角度范围，上述预设角度可以是350度、360度等，本说明书实施例对此不作限定。
可以理解地，第一预设角度范围越大，获取的关于第一衣物的数据就越多，重建得到的第一衣物对应的数字化衣物就越准确。
具体地，如图7所示，S602的实现过程可以包括以下几个步骤：
S702，获取多件第一衣物各自对应的N张第二图像。
具体地，当用户想要重建物理世界的第一衣物对应的虚拟世界的数字化衣物时，可以使用终端210或者专业的图像采集设备采集第一衣物对应的N张图像。上述N为大于2且小于M的整数。上述N张第二图像为从上述第一衣物的N个不同角度进行拍摄得到的图像。上述N个不同角度的并集范围大于第二预设角度范围，且小于或等于上述M个不同角度的并集范围。上述第二预设角度范围小于上述第一预设角度范围。
S704，将多件第一衣物各自对应的N张第二图像分别输入多角度数据生成模型中，输出多件第一衣物各自对应的M张第一图像。
具体地，为了解决现实世界的实时交互中很难采集到多个视角的标准化衣物图像的问题，本说明书实施例通过多角度数据生成模型，实现只需要采集少量的衣物图像，就可以生成多张数字化衣物重建时需要的多个视角的标准化衣物图像，提高采集多个视角的标准化衣物图像的效率以及数字化衣物重建的效率。上述多角度数据生成模型由多件第三衣物各自对应的N张图像以及上述多件第三衣物各自对应的M张标准图像进行训练得到。上述第三衣物可以是物理世界中与第一衣物或第二衣物相同的衣物，也可以是物理世界中与第一衣物或第二衣物不相同的衣物，本说明书实施例对此不作限定。上述M张标准图像为通过专业的图像采集设备从第三衣物的M个不同角度进行拍摄得到的图像。
S604，基于多件第一衣物各自对应的M张第一图像重建多件第一衣物各自对应的数字化衣物。
具体地，如图8所示，重建第一衣物对应的数字化衣物的实现过程可以包括以下几个步骤：
S802，将第一衣物对应的M张第一图像输入重建模型中，输出第一衣物对应的第一初始数字化衣物。
具体地，上述重建模型可以但不限于是NeRF模型等。重建模型可以根据第一衣物对应的M张第一图像中每张第一图像对应角度的像素重合，估计具体3D位置的密度和颜色等，从而估计出第一衣物对应的第一初始数字化衣物。
S804，将第一初始数字化衣物按照目标角度进行映射，得到第一衣物的目标角度对应的映射图像。
具体地，上述重建模型可以为无监督模型。为了提高重建模型的重建效果，得到较为准确的数字化衣物，可以将重建模型估计的第一初始数字化衣物按照目标角度进行映射，并根据第一衣物的目标角度对应的映射图像确定的第一初始数字化衣物的损失结果对重建模型进行训练，以确保在无监督地条件下得到较为准确的数字化衣物。上述目标角度为上述M个不同角度中的角度。
可以理解地，上述角度可以是指具体地角度，也可以是指角度范围，本说明书实施例对此不作限定。
S806，基于映射图像与目标角度对应的第一图像确定第一初始数字化衣物的损失结果。
可选地，可以通过计算映射图像与目标角度对应的第一图像中每个像素之间的差异，然后将每个像素之间的差异之和或加权平均值等确定为第一初始数字化衣物的损失结果。
可选地，可以将映射图像与目标角度对应的第一图像转换为各自对应的图像特征向量，然后再将两个图像特征向量之间的距离确定为第一初始数字化衣物的损失结果。
可以理解地，也可以使用其它的方式确定映射图像与目标角度对应的第一图像之间的差异，从而确定第一初始数字化衣物的损失结果，本说明实施例对此不作限定。
S808，判断损失结果是否满足预设损失条件。
具体地，上述预设损失条件可以是第一初始数字化衣物的损失结果中的损失值为0，或小于0.1等，本说明书实施例对此不作限定。
S810，若否，则基于第一初始数字化衣物的损失结果更新第一初始数字化衣物，得到第二初始数字化衣物。
具体地，当损失结果不满足预设损失条件时，可以基于第一初始数字化衣物的损失结果对重建模型中的参数进行更新，从而得到更新后的重建模型以及第二初始数字化衣物。
S812，将第一衣物对应的第一初始数字化衣物更新为对应的第二初始数字化衣物。
具体地，得到更新后的第二初始数字化衣物后，为了确定重建模型的训练效果，需要将第一衣物对应的第一初始数字化衣物更新为对应的第二初始数字化衣物，并再次执行上述S804，将第一初始数字化衣物按照目标角度进行映射，得到第一衣物的目标角度对应的映射图像，直至损失结果满足预设损失条件时，才执行S814。
S814，若是，将满足预设损失条件的损失结果对应的第一初始数字化衣物确定为第一衣物对应的数字化衣物。
具体地，当损失结果满足预设损失条件时，说明重建模型已训练完成，可以直接将满足预设损失条件的损失结果对应的第一初始数字化衣物确定为第一衣物对应的数字化衣物，并将多件第一衣物各自对应的数字化衣物存储于数字化衣物数据库。
可以理解地，若不考虑重建模型在进行数字化衣物重建时所需的时长且有条件获取到目标用户穿着目标衣物时对应的多张目标衣物图像，又想要进一步确保在实时交互过程中虚拟人衣物生成的准确性与实时性，可以按照图9A所示的虚拟人衣物方法的流程，即直接获取目标用户穿着目标衣物时的N张目标衣物图像，然后通过S704中的多角度数据生成模型得到目标衣物对应的M张标准化图像，最后按照S604的实现过程重建目标衣物对应的目标数字化衣物，并对目标用户对应的虚拟人进行渲染，得到已穿着目标数字化衣物的目标虚拟人。上述N为大于2且小于M的整数。上述N张目标衣物图像为从目标衣物的N个不同角度进行拍摄得到的图像。上述N个不同角度的并集范围大于S702中的第二预设角度范围，且小于或等于M张标准化图像对应的M个不同角度的并集范围。
可以理解地，由于重建模型为无监督模型，不具备泛化使用能力，其在每次进行重建的过程中往往都需要大量的时间进行训练，并且在实时交互的过程中可能难以获取到目标衣物的N张目标衣物图像，例如在会议场景中，终端210固定，目标用户的位置固定，很有可能只能获取到一张正面的目标衣物图像，此时，为了进一步提高虚拟人衣物生成的效率，也可以按照图9B所示的虚拟人衣物方法的流程，即按照S302-S308结合S602-S604确定目标数字化衣物，并对目标用户对应的虚拟人进行渲染，从而得到已穿着目标数字化衣物的目标虚拟人。
请参考图10，图10为本说明书一示例性实施例提供的一种虚拟人衣物生成装置。该虚拟人衣物生成装置1000包括：
第一获取模块1010，用于获取目标衣物图像；上述目标衣物图像为目标用户穿着目标衣物时进行拍摄得到的图像；
属性识别模块1020，用于将上述目标衣物图像输入衣物属性识别模型中，输出上述目标衣物对应的目标属性信息；上述衣物属性识别模型由多张已知属性信息的衣物图像进行训练得到；
确定模块1030，用于基于上述目标属性信息从数字化衣物数据库中确定上述目标衣物对应的目标数字化衣物；上述数字化衣物数据库包括多件第一衣物各自对应的数字化衣物；
渲染模型1040，用于基于上述目标数字化衣物对上述目标用户对应的虚拟人进行渲染，得到已穿着上述目标数字化衣物的目标虚拟人。
在一种可能的实现方式中，上述确定模块1030包括：
属性匹配单元，用于将上述目标属性信息输入属性匹配模型中，输出上述目标属性信息对应的目标向量；上述属性匹配模型由多件第二衣物各自对应的多张衣物图像中上述第二衣物对应的属性信息进行训练得到；
第一确定单元，用于基于上述目标向量确定上述目标衣物与数字化衣物数据库中的数字化衣物之间的相似度；
第二确定单元，用于将满足预设条件的上述相似度对应的上述数字化衣物确定为上述目标衣物对应的目标数字化衣物。
在一种可能的实现方式中，上述目标属性信息包括以下至少一种：上述目标衣物的颜色、类型、材质、样式。
在一种可能的实现方式中，上述属性匹配模型对应的损失函数为对比学习损失函数；上述对比学习损失函数用于拉近同一件上述第二衣物对应的多张衣物图像中上述第二衣物对应的属性信息之间的向量空间距离，拉远不同上述第二衣物的属性信息之间的向量空间距离。
在一种可能的实现方式中，上述虚拟人衣物生成装置1000还包括：
第二获取模块，用于获取多件第一衣物各自对应的M张第一图像；上述M为大于2的整数；上述M张第一图像为上述第一衣物的M个不同角度的图像；上述M个不同角度的并集范围大于第一预设角度范围；
重建模块，用于基于上述多件第一衣物各自对应的M张第一图像重建上述多件第一衣物各自对应的数字化衣物。
在一种可能的实现方式中，上述第二获取模块包括：
获取单元，用于获取多件第一衣物各自对应的N张第二图像；上述N为大于2且小于M的整数；上述N张第二图像为从上述第一衣物的N个不同角度进行拍摄得到的图像；上述N个不同角度的并集范围大于第二预设角度范围，且小于或等于上述M个不同角度的并集范围；上述第二预设角度范围小于上述第一预设角度范围；
多角度数据生成单元，用于将上述多件第一衣物各自对应的N张第二图像分别输入多角度数据生成模型中，输出上述多件第一衣物各自对应的M张第一图像；上述多角度数据生成模型由多件第三衣物各自对应的N张图像以及上述多件第三衣物各自对应的M张标准图像进行训练得到；上述M张标准图像为通过图像采集设备从上述第三衣物的M个不同角度进行拍摄得到的图像。
在一种可能的实现方式中，上述重建模块包括：
重建单元，用于将上述第一衣物对应的M张第一图像输入重建模型中，输出上述第一衣物对应的第一初始数字化衣物；
映射单元，用于将上述第一初始数字化衣物按照目标角度进行映射，得到上述第一衣物的目标角度对应的映射图像；上述目标角度为上述M个不同角度中的角度；
第三确定单元，用于基于上述映射图像与上述目标角度对应的上述第一图像确定上述第一初始数字化衣物的损失结果；
第一更新单元，用于在上述损失结果不满足预设损失条件的情况下，基于上述第一初始数字化衣物的损失结果更新上述第一初始数字化衣物，得到第二初始数字化衣物；
第二更新单元，用于将上述第一衣物对应的第一初始数字化衣物更新为对应的上述第二初始数字化衣物；
第四确定单元，用于再次执行将上述第一初始数字化衣物按照目标角度进行映射，得到上述第一衣物的目标角度对应的映射图像的步骤，直至上述损失结果满足上述预设损失条件时，将满足上述预设损失条件的损失结果对应的第一初始数字化衣物确定为上述第一衣物对应的数字化衣物。
上述虚拟人衣物生成装置中各模块的划分仅用于举例说明，在其他实施例中，可将虚拟人衣物生成装置按照需要划分为不同的模块，以完成上述虚拟人衣物生成装置的全部或部分功能。本说明书实施例中提供的虚拟人衣物生成装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本说明书实施例中所描述的虚拟人衣物生成方法的全部或部分步骤。
请参阅图11，图11为本说明书一示例性实施例提供的一种电子设备的结构示意图。如图11所示，该电子设备1100可以包括：至少一个处理器1110、至少一个通信总线1120、用户接口1130、至少一个网络接口1140、存储器1150。其中，通信总线1120可用于实现上述各个组件的连接通信。
其中，用户接口1130可以包括显示屏(Display)和摄像头(Camera)，可选用户接口还可以包括标准的有线接口、无线接口。
其中，网络接口1140可选的可以包括蓝牙模块、近场通信(Near FieldCommunication，NFC)模块、无线保真(Wireless Fidelity，Wi-Fi)模块等。
其中，处理器1110可以包括一个或者多个处理核心。处理器1110利用各种接口和线路连接整个电子设备1100内的各个部分，通过运行或执行存储在存储器1150内的指令、程序、代码集或指令集，以及调用存储在存储器1150内的数据，执行路由电子设备1100的各种功能和处理数据。可选的，处理器1110可以采用数字信号处理(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1110可集成处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1110中，单独通过一块芯片进行实现。
其中，存储器1150可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选的，该存储器1150包括非瞬时性计算机可读介质。存储器1150可用于存储指令、程序、代码、代码集或指令集。存储器1150可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如获取功能、属性识别功能、渲染功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1150可选的还可以是至少一个位于远离前述处理器1110的存储装置。如图11所示，作为一种计算机存储介质的存储器1150中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。
具体地，处理器1110可以用于调用存储器1150中存储的程序指令，并具体执行以下操作：
获取目标衣物图像；上述目标衣物图像为目标用户穿着目标衣物时进行拍摄得到的图像。
将上述目标衣物图像输入衣物属性识别模型中，输出上述目标衣物对应的目标属性信息；上述衣物属性识别模型由多张已知属性信息的衣物图像进行训练得到。
基于上述目标属性信息从数字化衣物数据库中确定上述目标衣物对应的目标数字化衣物；上述数字化衣物数据库包括多件第一衣物各自对应的数字化衣物。
基于上述目标数字化衣物对上述目标用户对应的虚拟人进行渲染，得到已穿着上述目标数字化衣物的目标虚拟人。
在一些可能的实施例中，上述处理器1110基于上述目标属性信息从数字化衣物数据库中确定上述目标衣物对应的目标数字化衣物时，具体用于执行：
将上述目标属性信息输入属性匹配模型中，输出上述目标属性信息对应的目标向量；上述属性匹配模型由多件第二衣物各自对应的多张衣物图像中上述第二衣物对应的属性信息进行训练得到。
基于上述目标向量确定上述目标衣物与数字化衣物数据库中的数字化衣物之间的相似度。
将满足预设条件的上述相似度对应的上述数字化衣物确定为上述目标衣物对应的目标数字化衣物。
在一些可能的实施例中，上述目标属性信息包括以下至少一种：上述目标衣物的颜色、类型、材质、样式。
在一些可能的实施例中，上述属性匹配模型对应的损失函数为对比学习损失函数；上述对比学习损失函数用于拉近同一件上述第二衣物对应的多张衣物图像中上述第二衣物对应的属性信息之间的向量空间距离，拉远不同上述第二衣物的属性信息之间的向量空间距离。
在一些可能的实施例中，上述处理器1110基于上述目标属性信息从数字化衣物数据库中确定上述目标衣物对应的目标数字化衣物之前，还用于执行：
获取多件第一衣物各自对应的M张第一图像；上述M为大于2的整数；上述M张第一图像为上述第一衣物的M个不同角度的图像；上述M个不同角度的并集范围大于第一预设角度范围。
基于上述多件第一衣物各自对应的M张第一图像重建上述多件第一衣物各自对应的数字化衣物。
在一些可能的实施例中，上述处理器1110获取多件第一衣物各自对应的M张第一图像时，具体用于执行：
获取多件第一衣物各自对应的N张第二图像；上述N为大于2且小于M的整数；上述N张第二图像为从上述第一衣物的N个不同角度进行拍摄得到的图像；上述N个不同角度的并集范围大于第二预设角度范围，且小于或等于上述M个不同角度的并集范围；上述第二预设角度范围小于上述第一预设角度范围。
将上述多件第一衣物各自对应的N张第二图像分别输入多角度数据生成模型中，输出上述多件第一衣物各自对应的M张第一图像；上述多角度数据生成模型由多件第三衣物各自对应的N张图像以及上述多件第三衣物各自对应的M张标准图像进行训练得到；上述M张标准图像为通过图像采集设备从上述第三衣物的M个不同角度进行拍摄得到的图像。
在一些可能的实施例中，上述处理器1110基于上述多件第一衣物各自对应的M张第一图像重建上述多件第一衣物各自对应的数字化衣物时，具体用于执行：
将上述第一衣物对应的M张第一图像输入重建模型中，输出上述第一衣物对应的第一初始数字化衣物。
将上述第一初始数字化衣物按照目标角度进行映射，得到上述第一衣物的目标角度对应的映射图像；上述目标角度为上述M个不同角度中的角度。
基于上述映射图像与上述目标角度对应的上述第一图像确定上述第一初始数字化衣物的损失结果。
在上述损失结果不满足预设损失条件的情况下，基于上述第一初始数字化衣物的损失结果更新上述第一初始数字化衣物，得到第二初始数字化衣物；
将上述第一衣物对应的第一初始数字化衣物更新为对应的上述第二初始数字化衣物。
再次执行将上述第一初始数字化衣物按照目标角度进行映射，得到上述第一衣物的目标角度对应的映射图像的步骤，直至上述损失结果满足上述预设损失条件时，将满足上述预设损失条件的损失结果对应的第一初始数字化衣物确定为上述第一衣物对应的数字化衣物。
本说明书实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述实施例中的一个或多个步骤。上述虚拟人衣物生成装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时，全部或部分地产生按照本说明书实施例上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者通过上述计算机可读存储介质进行传输。上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字多功能光盘(DigitalVersatile Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。在不冲突的情况下，本实施例和实施方案中的技术特征可以任意组合。
以上所述的实施例仅仅是本说明书的优选实施例方式进行描述，并非对本说明书的范围进行限定，在不脱离本说明书的设计精神的前提下，本领域普通技术人员对本说明书的技术方案作出的各种变形及改进，均应落入权利要求书确定的保护范围内。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书和说明书中记载的动作或步骤可以按照不同于说明书记载的实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

Claims (11)

1.一种虚拟人衣物生成方法，所述方法包括：
获取目标衣物图像；所述目标衣物图像为目标用户穿着目标衣物时进行拍摄得到的图像；
将所述目标衣物图像输入衣物属性识别模型中，输出所述目标衣物对应的目标属性信息；所述衣物属性识别模型由多张已知属性信息的衣物图像进行训练得到；
基于所述目标属性信息从数字化衣物数据库中确定所述目标衣物对应的目标数字化衣物；所述数字化衣物数据库包括多件第一衣物各自对应的数字化衣物；
基于所述目标数字化衣物对所述目标用户对应的虚拟人进行渲染，得到已穿着所述目标数字化衣物的目标虚拟人。
2.如权利要求1所述的方法，所述基于所述目标属性信息从数字化衣物数据库中确定所述目标衣物对应的目标数字化衣物，包括：
将所述目标属性信息输入属性匹配模型中，输出所述目标属性信息对应的目标向量；所述属性匹配模型由多件第二衣物各自对应的多张衣物图像中所述第二衣物对应的属性信息进行训练得到；
基于所述目标向量确定所述目标衣物与数字化衣物数据库中的数字化衣物之间的相似度；
将满足预设条件的所述相似度对应的所述数字化衣物确定为所述目标衣物对应的目标数字化衣物。
3.如权利要求1或2所述的方法，所述目标属性信息包括以下至少一种：所述目标衣物的颜色、类型、材质、样式。
4.如权利要求2所述的方法，所述属性匹配模型对应的损失函数为对比学习损失函数；所述对比学习损失函数用于拉近同一件所述第二衣物对应的多张衣物图像中所述第二衣物对应的属性信息之间的向量空间距离，拉远不同所述第二衣物的属性信息之间的向量空间距离。
5.如权利要求1所述的方法，所述基于所述目标属性信息从数字化衣物数据库中确定所述目标衣物对应的目标数字化衣物之前，所述方法还包括：
获取多件第一衣物各自对应的M张第一图像；所述M为大于2的整数；所述M张第一图像为所述第一衣物的M个不同角度的图像；所述M个不同角度的并集范围大于第一预设角度范围；
基于所述多件第一衣物各自对应的M张第一图像重建所述多件第一衣物各自对应的数字化衣物。
6.如权利要求5所述的方法，所述获取多件第一衣物各自对应的M张第一图像，包括：
获取多件第一衣物各自对应的N张第二图像；所述N为大于2且小于M的整数；所述N张第二图像为从所述第一衣物的N个不同角度进行拍摄得到的图像；所述N个不同角度的并集范围大于第二预设角度范围，且小于或等于所述M个不同角度的并集范围；所述第二预设角度范围小于所述第一预设角度范围；
将所述多件第一衣物各自对应的N张第二图像分别输入多角度数据生成模型中，输出所述多件第一衣物各自对应的M张第一图像；所述多角度数据生成模型由多件第三衣物各自对应的N张图像以及所述多件第三衣物各自对应的M张标准图像进行训练得到；所述M张标准图像为通过图像采集设备从所述第三衣物的M个不同角度进行拍摄得到的图像。
7.如权利要求5所述的方法，所述基于所述多件第一衣物各自对应的M张第一图像重建所述多件第一衣物各自对应的数字化衣物，包括：
将所述第一衣物对应的M张第一图像输入重建模型中，输出所述第一衣物对应的第一初始数字化衣物；
将所述第一初始数字化衣物按照目标角度进行映射，得到所述第一衣物的目标角度对应的映射图像；所述目标角度为所述M个不同角度中的角度；
基于所述映射图像与所述目标角度对应的所述第一图像确定所述第一初始数字化衣物的损失结果；
在所述损失结果不满足预设损失条件的情况下，基于所述第一初始数字化衣物的损失结果更新所述第一初始数字化衣物，得到第二初始数字化衣物；
将所述第一衣物对应的第一初始数字化衣物更新为对应的所述第二初始数字化衣物；
再次执行将所述第一初始数字化衣物按照目标角度进行映射，得到所述第一衣物的目标角度对应的映射图像的步骤，直至所述损失结果满足所述预设损失条件时，将满足所述预设损失条件的损失结果对应的第一初始数字化衣物确定为所述第一衣物对应的数字化衣物。
8.一种虚拟人衣物生成装置，所述装置包括：
获取模块，用于获取目标衣物图像；所述目标衣物图像为目标用户穿着目标衣物时进行拍摄得到的图像；
属性识别模块，用于将所述目标衣物图像输入衣物属性识别模型中，输出所述目标衣物对应的目标属性信息；所述衣物属性识别模型由多张已知属性信息的衣物图像进行训练得到；
确定模块，用于基于所述目标属性信息从数字化衣物数据库中确定所述目标衣物对应的目标数字化衣物；所述数字化衣物数据库包括多件第一衣物各自对应的数字化衣物；
渲染模型，用于基于所述目标数字化衣物对所述目标用户对应的虚拟人进行渲染，得到已穿着所述目标数字化衣物的目标虚拟人。
9.一种电子设备，包括：处理器和存储器；
所述处理器与所述存储器相连；
所述存储器，用于存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1-7任一项所述的方法。
10.一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任一项的方法步骤。
11.一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或所述处理器执行如权利要求1-7任一项所述的虚拟人衣物生成方法。
CN202210748674.4A 2022-06-29 2022-06-29 虚拟人衣物生成方法、装置、设备、介质及程序产品 Active CN115222862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210748674.4A CN115222862B (zh) 2022-06-29 2022-06-29 虚拟人衣物生成方法、装置、设备、介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210748674.4A CN115222862B (zh) 2022-06-29 2022-06-29 虚拟人衣物生成方法、装置、设备、介质及程序产品

Publications (2)

Publication Number Publication Date
CN115222862A CN115222862A (zh) 2022-10-21
CN115222862B true CN115222862B (zh) 2024-03-01

Family

ID=83609984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210748674.4A Active CN115222862B (zh) 2022-06-29 2022-06-29 虚拟人衣物生成方法、装置、设备、介质及程序产品

Country Status (1)

Country Link
CN (1) CN115222862B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115809696B (zh) * 2022-12-01 2024-04-02 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置
CN115908663B (zh) * 2022-12-19 2024-03-12 支付宝(杭州)信息技术有限公司 一种虚拟形象的衣物渲染方法、装置、设备及介质
CN116188637B (zh) * 2023-04-23 2023-08-15 世优（北京）科技有限公司 数据同步方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760271A (zh) * 2012-06-13 2012-10-31 洪全报 一种服装与对象人体自动匹配装置及方法
CN104391971A (zh) * 2014-12-05 2015-03-04 常州飞寻视讯信息科技有限公司 一种智能服饰搭配自动推荐方法
CN108109055A (zh) * 2018-01-08 2018-06-01 中国石油大学(华东) 一种基于图像渲染的跨场景服装检索方法
CN110210523A (zh) * 2019-05-13 2019-09-06 山东大学 一种基于形状图约束的模特穿着衣物图像生成方法及装置
CN111784845A (zh) * 2020-06-12 2020-10-16 腾讯科技（深圳）有限公司 基于人工智能的虚拟试穿方法、装置、服务器及存储介质
CN112337105A (zh) * 2020-11-06 2021-02-09 广州酷狗计算机科技有限公司 虚拟形象生成方法、装置、终端及存储介质
CN112402958A (zh) * 2020-10-27 2021-02-26 腾讯科技（深圳）有限公司 一种图像处理方法、装置和存储介质
CN113129450A (zh) * 2021-04-21 2021-07-16 北京百度网讯科技有限公司 虚拟试衣方法、装置、电子设备和介质
CN113191843A (zh) * 2021-04-28 2021-07-30 北京市商汤科技开发有限公司 模拟服饰试穿方法、装置、电子设备及存储介质
CN113987344A (zh) * 2021-10-26 2022-01-28 雅莹集团股份有限公司 基于版型库的3d服装款式智能模拟方法及其成本估算方法
CN114049432A (zh) * 2021-11-02 2022-02-15 百果园技术(新加坡)有限公司 一种人体测量方法、装置、电子设备及存储介质
CN114119908A (zh) * 2020-08-27 2022-03-01 北京陌陌信息技术有限公司 一种服装模型驱动方法、设备和存储介质
CN114638929A (zh) * 2022-03-10 2022-06-17 平安普惠企业管理有限公司 线上虚拟试衣方法、装置、电子设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760271A (zh) * 2012-06-13 2012-10-31 洪全报 一种服装与对象人体自动匹配装置及方法
CN104391971A (zh) * 2014-12-05 2015-03-04 常州飞寻视讯信息科技有限公司 一种智能服饰搭配自动推荐方法
CN108109055A (zh) * 2018-01-08 2018-06-01 中国石油大学(华东) 一种基于图像渲染的跨场景服装检索方法
CN110210523A (zh) * 2019-05-13 2019-09-06 山东大学 一种基于形状图约束的模特穿着衣物图像生成方法及装置
CN111784845A (zh) * 2020-06-12 2020-10-16 腾讯科技（深圳）有限公司 基于人工智能的虚拟试穿方法、装置、服务器及存储介质
CN114119908A (zh) * 2020-08-27 2022-03-01 北京陌陌信息技术有限公司 一种服装模型驱动方法、设备和存储介质
CN112402958A (zh) * 2020-10-27 2021-02-26 腾讯科技（深圳）有限公司 一种图像处理方法、装置和存储介质
CN112337105A (zh) * 2020-11-06 2021-02-09 广州酷狗计算机科技有限公司 虚拟形象生成方法、装置、终端及存储介质
CN113129450A (zh) * 2021-04-21 2021-07-16 北京百度网讯科技有限公司 虚拟试衣方法、装置、电子设备和介质
CN113191843A (zh) * 2021-04-28 2021-07-30 北京市商汤科技开发有限公司 模拟服饰试穿方法、装置、电子设备及存储介质
CN113987344A (zh) * 2021-10-26 2022-01-28 雅莹集团股份有限公司 基于版型库的3d服装款式智能模拟方法及其成本估算方法
CN114049432A (zh) * 2021-11-02 2022-02-15 百果园技术(新加坡)有限公司 一种人体测量方法、装置、电子设备及存储介质
CN114638929A (zh) * 2022-03-10 2022-06-17 平安普惠企业管理有限公司 线上虚拟试衣方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ruiyun Yu等.VTNFP:An Image-Based Virtual Try-On Network With Body and Clothing Feature Preservation.《2019 IEEE/CVF International Conference on Computer Vision》.2020,10510-10519. *
郭亮.实时虚拟服装渲染系统.《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》.2016,第2016年卷(第07期),B024-374. *

Also Published As

Publication number Publication date
CN115222862A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN115222862B (zh) 虚拟人衣物生成方法、装置、设备、介质及程序产品
US11468636B2 (en) 3D hand shape and pose estimation
US11782272B2 (en) Virtual reality interaction method, device and system
CN108875539B (zh) 表情匹配方法、装置和系统及存储介质
KR20230079180A (ko) 인간 캐릭터의 음악 반응 애니메이션
CN110728319B (zh) 一种图像生成方法、装置以及计算机存储介质
CN111369428A (zh) 虚拟头像生成方法和装置
US20230130535A1 (en) User Representations in Artificial Reality
CN114092678A (zh) 图像处理方法、装置、电子设备及存储介质
KR20230078777A (ko) 3차원 재구성 방법, 장치와 시스템, 매체 및 컴퓨터 기기
CN114998935A (zh) 图像处理方法、装置、计算机设备及存储介质
CN113095206A (zh) 虚拟主播生成方法、装置和终端设备
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN117635897B (zh) 三维对象的姿态补全方法、装置、设备、存储介质及产品
KR20230152723A (ko) 평균 스무딩을 사용하여 이미지-대-이미지 모델들 압축
US11694383B2 (en) Edge data network for providing three-dimensional character image to user equipment and method for operating the same
CN111104827A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN117197405A (zh) 三维物体的增强现实方法、系统及存储介质
US20220157016A1 (en) System and method for automatically reconstructing 3d model of an object using machine learning model
CN110381374B (zh) 图像处理方法和装置
CN117011449A (zh) 三维面部模型的重构方法和装置、存储介质及电子设备
CN115376198A (zh) 视线方向估计方法、装置、电子设备、介质及程序产品
CN116309005A (zh) 虚拟换装方法、装置、电子设备及可读介质
CN110675491A (zh) 一种基于虚拟人物形象设定的实现方法及智能终端
US20240185512A1 (en) 3d wrist tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant