CN114663199A - 一种动态展示的实时三维虚拟试衣系统及方法 - Google Patents

一种动态展示的实时三维虚拟试衣系统及方法 Download PDF

Info

Publication number
CN114663199A
CN114663199A CN202210532736.8A CN202210532736A CN114663199A CN 114663199 A CN114663199 A CN 114663199A CN 202210532736 A CN202210532736 A CN 202210532736A CN 114663199 A CN114663199 A CN 114663199A
Authority
CN
China
Prior art keywords
face
human
database
digital
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210532736.8A
Other languages
English (en)
Other versions
CN114663199B (zh
Inventor
余锋
王画
姜明华
刘筱笑
周昌龙
宋坤芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN202210532736.8A priority Critical patent/CN114663199B/zh
Publication of CN114663199A publication Critical patent/CN114663199A/zh
Application granted granted Critical
Publication of CN114663199B publication Critical patent/CN114663199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种动态展示的实时三维虚拟试衣系统及方法，包括信息采集单元、数据存储单元、数字人构建单元、虚拟试衣单元、推送单元；信息采集单元用于对用户人体数据、用户人脸图像、人机交互指令的信息采集；数据存储单元用于人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库、三维场景数据库的构建和存储；数字人构建单元用于根据所述信息采集单元得到的信息对所述数据存储单元中的人体模型进行重构；虚拟试衣单元用于对所述服装样本进行缝合、布料模拟，完成试衣展示；推送单元用于对所述数字人在三维场景中的展示动画进行实时渲染完成三维虚拟试衣过程，并上传云端或者客户端进行保存。本发明可以满足用户个性化需求。

Description

一种动态展示的实时三维虚拟试衣系统及方法
技术领域
本发明涉及到计算机图像处理技术领域和机器学习技术领域，特别涉及到一种动态展示的实时三维虚拟试衣系统及方法。
背景技术
随着我国全面进入小康社会,城镇居民生活水平普遍提高，网络购物因此在全球范围内得以迅速发展。在网络平台上可购买的众多商品类别中，服装是人们购买频率较高的品类之一。然而线上购物的快速发展也给消费者带来了很多方面的顾虑，网购服装尺寸不合身、外观与图片不符等造成的退换货问题经常困扰着消费者与商家，虚拟试衣技术因此应运而生。消费者可依据服装尺寸、合身程度、款式或颜色在虚拟试衣产品上试穿服装，体验服装的穿着效果，从而减少消费者网络在线购买服装的顾虑，降低服装购买的退货率。
目前基于深人工智能的虚拟试衣仍然以二维服装照片为主，虽然有些网站已开始利用虚拟视觉软件向广大消费者提供三维虚拟试穿服务，但现有的三维试衣系统缺乏真实试穿效果，并且有些虚拟试衣系统中获取的三维人体模型只是局部逼近人体，没有考虑购买者的脸型，头发等信息，缺乏准确的人体三维模型。在这种情况下，客户很难方便快捷地做出自己最理想的选择；此外，现有的三维试衣系统大多都没有考虑如何保护购买者的人体隐私，存在很大隐患。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种动态展示的实时三维虚拟试衣系统及方法，打通了数字元宇宙与现实服装产业链的壁垒，将现实世界的人快速匹配建模到数字世界中，并在数字世界中进行虚拟试衣及展示，通过对现实世界的模拟完成元宇宙和现实世界的互通，从而实现服装领域的跨越式发展。该系统的目的在于能够在保证用户隐私的情况下，保证数字人模型最大程度的逼近真实人体，并通过静态、动态的试衣展示，辅助布料模拟等技术，实现逼真的试穿展示。
本发明提供一种动态展示的实时三维虚拟试衣系统及方法，包括：信息采集单元、数据存储单元、数字人构建单元、虚拟试衣单元、推送单元；
所述信息采集单元用于对用户人体数据、用户人脸图像、人机交互指令的信息采集；
所述数据存储单元用于人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库、三维场景数据库的构建和存储；
所述数字人构建单元用于根据所述信息采集单元得到的信息对所述数据存储单元中的人体模型进行重构，得到用户自定义的私人虚拟数字人；
所述虚拟试衣单元用于对服装样本进行缝合、布料模拟，并根据数字人骨骼动画和三维场景的选择完成试衣展示；
所述推送单元用于对数字人在三维场景中的展示动画进行实时渲染完成三维虚拟试衣过程，并上传云端或者手机客户端进行保存。
优选的方案中，所述用户人体数据参数和人机交互指令通过系统的触控屏进行输入，用于对数据存储单元中的人体模型数据库、发型、肤色贴图库进行替换选择，所述用户输入参数包括用户的身体数据信息，包括性别、身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围；
所述用户人脸图像通过系统的摄像头进行拍照上传得到。
优选的方案中，所述人体模型数据库包含多种类型的人体骨架模型，每种骨架类型按中国服装号型GB/T 1335-2008标准建通过3D建模软件得到多种人体模型；所述发型肤色贴图库通过3D建模软件构建各类型的发型库以及不同颜色和肤色的贴图库；所述服装样板数据库通过服装样板制作软件得到每件待试穿服装的二维样板文件存储在服装样板库；所述骨骼动画按照人体模型数据库中的骨架模型通过3D建模软件制作不同类型的展示骨骼动画并存储在骨骼动画数据库中；所述三维场景数据通过三维建模软件制作不同待试穿场景存储在三维场景数据库中。
优选的方案中，所述数字人构建单元的步骤包括：
1）通过用户输入身体部分尺寸数据值，包括性别、身高、头围、颈围、胸围、腰围、臀 围、大腿围、小腿围，先通过用户输入的性别信息确定男（女）数字人模型，用
Figure 414639DEST_PATH_IMAGE001
分别表 示数字人模型的身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围数据大小，
用
Figure 128517DEST_PATH_IMAGE002
分别表示第b个数字人模型的身高、头围、颈围、胸围、腰围、臀围、大腿 围、小腿围数据大小，b表示人体模型数据库中的数字人模型的编号；系统自动计算输入尺 寸与人体模型库中数字人模型对应部位的尺寸偏差大小关系，计算公式如下所示：
Figure 642675DEST_PATH_IMAGE003
p b 表示用户输入身体尺寸数据与数字人模型尺寸数据的偏差，w a 表示身体部分尺寸数据在模型中的影响权重值，系统选择最小p b 对应的编号b的数字人模型作为用户的专属数字人；
2）通过对用户人脸拍照得到的用户人脸图像上传分析，系统基于机器学习网络框架将该人脸图像替换步骤1）中的数字人体模型的脸部信息实现数字人脸部重建；
3）用户输入人机交互指令，在发型肤色贴图库中，挑选自定义的发型和肤色并进行替换选择，得到用户自定义的私人虚拟数字人。
优选的方案中，所述机器学习网络框架部分由4部分组成：人脸关键点检测模块、人脸生成模块、人脸判别模块、人脸重构模块：
人脸关键点检测模块用于对人脸的68个关键点进行提取，这些关键点包含眉毛、眼睛、鼻子、嘴巴周围的51个关键点以及17个面部轮廓关键点。该模块先读取用户的输入图像并进行预处理转换为灰阶图像，然后使用对该灰阶图像进行特征点识别来检测人脸中的特征点；
人脸生成模块用于新的人脸生成，该网络的输入有2部分，分别为带有随机噪声的人脸图像和人脸关键点检测模块检测到的关键点信息，通过深度卷积网络A 1中的a个卷积、池化层的作用提取人脸图像的特征信息，然后得到输出特征。其中人脸关键点的输入充当特征加权的作用，对关键点周围n*n区域内的像素按从中心到边缘的顺序进行均值o、标准差为p的正态分布的加权分配，最后图像中像素(i , j)处的特征F(x ij )计算公式如下所述：
Figure 83889DEST_PATH_IMAGE004
其中M(F ij )为图像像素(i , j)处的人脸关键点检测模块提取到的特征，∆x为该像素离关键点的距离，x ij 表示图像的像素位置，f(x ij )为图像像素(i , j)处的特征的权重；
人脸判别模块用于对人脸生成模块生成的人脸和真实人脸样本进行概率判别，其输入为人脸生成模块的输出图像和真实样本的人脸图像，通过使用人脸生成模块中相同的深度卷积网络A 2进行特征提取，并在网络末端添加Softmax函数作为网络分类器，得到一个概率输出结果；
人脸生成模块中的深度卷积网络A 1和人脸判别模块中的深度卷积网络A 2采用相同的神经网络，但不共享参数；
人脸重构模块先对数字人人脸模型关键点处进行形变处理，使3D数字人人脸模型中的关键点位置与人脸生成模块所生成图像的关键点位置对应，然后将生成图像作为人脸贴图，对输出脸部图像进行贴图，实现人脸替换的过程。
其训练过程如下步骤所述：
S1，初始化人脸生成模块的深度卷积网络A 1的参数θ 1 和人脸判别模块的深度卷积网络A 2的参数θ 2 ；
S2，从真实图像样本中采集i'个样本
Figure 757316DEST_PATH_IMAGE005
，从先验分布噪声中采集i' 个噪声样本
Figure 127249DEST_PATH_IMAGE006
，并通过深度卷积网络A 2生成 i'个样本
Figure 128703DEST_PATH_IMAGE007
；
S3，固定深度卷积网络A 1，训练深度卷积网络A 2，准确判别真实样本和生成样本，循环n次更新判别器；
S4，使用较小的学习率来更新一次深度卷积网络A 1的参数，训练深度卷积网络A 1使其减小生成样本与真实样本之间的差距；
S5，多次更新迭代之后，直至深度卷积网络A 2判别不出样本来自于生成器的输出还是真实的输出，结束训练；
其训练过程中的损失函数由下述交叉熵来表示：
Figure 124341DEST_PATH_IMAGE008
其中，E为期望，
Figure 901541DEST_PATH_IMAGE009
和
Figure 691643DEST_PATH_IMAGE010
分别为深度卷积网络A 1和深度卷积网络A 2的可微函数，j' 是真实样本，k为随机噪声，
Figure 180393DEST_PATH_IMAGE011
为人脸判别模块中的生成的概率数据，P j' 表示真 实样本的概率分布，P k(k)表示人脸生成模块生成的假样本的概率分布，p表示人脸生成模块 在整个深度学习框架的权重占比大小。
优选的方案中，所述虚拟试衣单元进一步包括：服装缝合模块、布料模拟模块、动态展示模块；
所述服装缝合模块用于对用户挑选的服装二维样板在制定的缝合信息规则下进行布料缝合，得到三维服装；
所述缝合信息规则包括：
1）三维空间坐标系的构建，以数字人模型的头顶最高点为原点建立三维空间坐标系，z轴方向为数字人模型脚部指向头部的方向，x轴方向为数字人模型眼朝方向，y轴方向为数字人模型左手方向；
2）关键点信息库构建，遍历二维服装样板的所有边缘关键点并对其进行编号排序后存储在数据存储单元的服装样本数据库中，其中对要进行缝合的对应关键点进行标记，分别记录服装样板与数字人模型要进行初始定位点的空间坐标信息；
3）空间点的对齐，将服装定位关键点放在人体模型定位点对应位置的相同z轴坐标值处，且距x轴h个单位坐标，然后对三维空间下服装对应的相同编号关键点分别进行单向顺序移动，实现空间关键点的对齐；
4）人体模型表面信息构建，将人体模型表面分为多个随机大小的离散三角形，其中保证每个三角形的面积在设定的阈值范围（p，q）内，将所有三角形的顶点坐标信息存储在数据存储单元的人体模型数据库中；
5）服装点的定位，判断三维空间坐标系中的布料三角形的顶点坐标(m,n)是否在距人体模型最近的表面三角形的外部，不在外部的布料顶点通过计算顶点与布料网格体三角面的投影距离，取投影距离最短的投影点作为外部布料顶点移动后的点；
所述布料模拟模块通过对人体模型上的服装受到的内力和外力进行力学分析模拟，实现动态三维服装试穿；
所述动态展示模块是将虚拟数字人放在用户从三维场景数据库中挑选的试衣场景中，然后将用户从骨骼动画数据库中挑选的试衣展示动作重定向至数字人，实现动态的三维服装试穿；
所述骨骼重定向是指将骨骼动画数据库中的同一组动画应用于数字人构建单元生成的数字人之中，骨骼动画数据库存储了每一种类型角色的各类型动态展示动画，系统通过骨骼重定向将新构建的试衣数字人的骨骼与骨骼动画数据库中的骨骼进行一一匹配，将骨骼动画数据库中的每根骨骼的位移数据复制到虚拟数字人的对应骨骼上，实现数字人的动态展示动画。
优选的方案中，所述布料模拟模块通过构建布料力学模型并构建算法对布料模型进行解析来实现布料模拟，所述力学模型建模方法包括质点—弹簧模型；所述布料模拟算法包括投影动力学方法。
优选的方案中，所述推送单元包括将静态试衣结果和动态结果展示在显示器端，并将静态照片和动态视频上传至云端。
本发明还提供一种动态展示的实时三维虚拟试衣方法，包括如下步骤：
步骤1，信息采集，包括用户人体数据参数、用户人脸图像、人机交互指令的信息采集；
步骤2，构建人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库、三维场景数据库，并进行存储；
所述人体模型数据库包含多种类型的人体骨架模型，每种骨架类型按中国服装号型GB/T 1335-2008标准建通过3D建模软件得到多种人体模型；所述发型肤色贴图库通过3D建模软件构建各类型的发型库以及不同颜色和肤色的贴图库；所述服装样板数据库通过服装样板制作软件得到每件待试穿服装的二维样板文件存储在服装样板库；所述骨骼动画按照人体模型数据库中的骨架模型通过3D建模软件制作不同类型的展示骨骼动画并存储在骨骼动画数据库中；所述三维场景数据通过三维建模软件制作不同待试穿场景存储在三维场景数据库中；
步骤3，根据信息采集得到的信息对人体模型数据库中的人体模型进行重构，得到用户专属数字人；
步骤4，对服装样板进行缝合、布料模拟，并根据数字人骨骼动画和三维场景的选择完成试衣展示；
步骤5，对数字人在三维场景中的展示动画进行实时渲染完成三维虚拟试衣过程，并上传云端或者手机客户端进行保存。
本发明提供一种动态展示的实时三维虚拟试衣系统及方法，通过采用上述的技术方案，与现有技术相比，具有以下的有益效果：
（1）自定义的参数化人体建模
系统通过将数字人体建模分为基于深度学习的脸部建模和基于数据库的模型选择两个部分，极大的减少了人体建模的时间，且最大程度上还原了试衣人体的身体和脸部特征，使得系统更加具有真实感；同时参数化的建模可以极大程度上保护用户的隐私。
（2）实时的服装试穿展示
系统通过布料缝合、布料模拟等技术实现对二维样板服装的三维缝合、模拟，且通过相关算法实现了更加快速的模拟，可以根据用户选择的展示动作实时的模拟出相关的展示效果，增加了服装的真实感和表现力，极大提高了用户体验。
（3）多样化的试衣效果展示
系统通过对多种三维场景的建模以及人体动作的重定向技术的研究，可以实现多种场景下多种动作的试衣展示，一定程度上增加了试衣的多样性，使得消费者能够更加多角度的观察试衣后的效果以及试穿场景的适配度。
附图说明
下面结合附图和实施例对本发明作进一步说明；
图1为本发明提供的一种动态展示的实时三维虚拟试衣系统的框架示意图；
图2为本发明提供的一种动态展示的实时三维虚拟试衣系统的深度学习网络框架图；
图3为本发明提供的一种动态展示的实时三维虚拟试衣系统的布料模拟算法流程图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1所示，是实施例提供的一种动态展示的实时三维虚拟试衣系统的框架示意图，主要包括：信息采集单元、数据存储单元、数字人构建单元、虚拟试衣单元、推送单元，下面主要对几个单元的工作方式和流程进行介绍。
（1）信息采集单元
所述信息采集单元用于对用户人体数据、用户人脸图像、人机交互指令的信息采集；
所述用户人体数据参数和人机交互指令通过系统的触控屏进行输入，用于对数据存储单元中的人体模型数据库、发型、肤色贴图库进行替换选择，所述用户输入参数包括用户的身体数据信息，包括性别、身高、头围、颈围、胸围、腰围、臀围、大腿围；
可选的，人机交互指令信息包括挑选数字人的发型及颜色、数字人肤色等信息；
所述用户人脸图像通过系统装置的摄像头进行拍照上传得到。
（2）数据存储单元
所述数据存储单元用于人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库、三维场景数据库的构建和存储；
所述人体模型数据库包含男/女2种类别，j种类型的人体骨架模型，每种骨架类型按中国服装号型GB/T 1335-2008标准建通过3D建模软件得到多种人体模型；所述发型肤色贴图库通过3D建模软件构建各类型的发型库以及不同颜色和肤色的贴图库；所述服装样板数据库通过服装样板制作软件得到每件待试穿服装的二维样板文件存储在服装样板库；所述骨骼动画按照人体模型数据库中的骨架模型通过3D建模软件制作不同类型的展示骨骼动画并存储在骨骼动画数据库中；所述三维场景数据通过三维建模软件制作不同待试穿场景存储在三维场景数据库中。
可选的，3D建模软件可以是Blender、C4D、Maya、3DMax、ZBrush。
（3）数字人构建单元
所述数字人构建单元用于根据所述信息采集单元得到的信息对所述数据存储单元中的人体模型进行重构，得到用户自定义的私人虚拟数字人；
所述数字人构建单元的步骤包括：
1）通过用户输入身体部分尺寸数据值，包括性别、身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围，先通过用户输入的性别信息确定男（女）数字人模型，
用
Figure 261613DEST_PATH_IMAGE001
分别表示数字人模型的身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿 围数据大小，用
Figure 581736DEST_PATH_IMAGE002
分别表示第b个数字人模型的身高、头围、颈围、胸围、腰围、臀围、大 腿围、小腿围数据大小，b表示人体模型数据库中的数字人模型的编号；系统自动计算输入 尺寸与人体模型库中数字人模型对应部位的尺寸偏差大小关系，计算公式如下所示：
Figure 746001DEST_PATH_IMAGE003
p b 表示用户输入身体尺寸数据与数字人模型尺寸数据的偏差，w a 表示身体部分尺寸数据在模型中的影响权重值，系统选择最小p b 对应的编号b的数字人模型作为用户的专属数字人；
2）通过对用户人脸拍照得到的用户人脸图像上传分析，系统基于机器学习网络框架将该人脸图像替换步骤1）中的数字人体模型的脸部信息实现数字人脸部重建；
2）通过对用户人脸拍照得到的用户人脸图像上传分析，系统基于机器学习网络框架将该人脸图像替换步骤1）中的数字人体模型的脸部信息实现数字人脸部重建；
3）用户输入人机交互指令，在发型肤色贴图库中，挑选自定义的发型和肤色并进行替换选择，得到用户自定义的私人虚拟数字人。
所述机器学习网络框架部分由4部分组成：人脸关键点检测模块、人脸生成模块、人脸判别模块、人脸重构模块：
人脸关键点检测模块用于对人脸的68个关键点进行提取，这些关键点包含眉毛、眼睛、鼻子、嘴巴周围的51个关键点以及17个面部轮廓关键点。该模块先读取用户的输入图像并进行预处理转换为灰阶图像，然后使用对该灰阶图像进行特征点识别来检测人脸中的特征点；
人脸生成模块用于新的人脸生成，该网络的输入有2部分，分别为带有随机噪声的人脸图像和人脸关键点检测模块检测到的关键点信息，通过深度卷积网络A 1中的a个卷积、池化层的作用提取人脸图像的特征信息，然后得到输出特征；其中人脸关键点的输入充当特征加权的作用，对关键点周围n*n区域内的像素按从中心到边缘的顺序进行均值o、标准差为p的正态分布的加权分配，最后图像中像素(i , j)处的特征F(x ij )计算公式如下所述：
Figure 39491DEST_PATH_IMAGE004
其中M(F ij )为图像像素(i , j)处的人脸关键点检测模块提取到的特征，∆x为该像素离关键点的距离，x ij 表示图像的像素位置，f(x ij )为图像像素(i , j)处的特征的权重；
人脸判别模块用于对人脸生成模块生成的人脸和真实人脸样本进行概率判别，其输入为人脸生成模块的输出图像和真实样本的人脸图像，通过使用人脸生成模块中相同的深度卷积网络A 2进行特征提取，并在网络末端添加Softmax函数作为网络分类器，得到一个概率输出结果；
人脸生成模块中的深度卷积网络A 1和人脸判别模块中的深度卷积网络A 2采用相同的神经网络，但不共享参数；
人脸重构模块先对数字人人脸模型关键点处进行形变处理，使3D数字人脸模型中的关键点位置与人脸生成模块所生成图像的关键点位置对应，然后将生成图像作为人脸贴图，对输出脸部图像进行贴图，实现人脸替换的过程。
其训练过程如下步骤所述：
S1，初始化人脸生成模块的深度卷积网络A 1的参数θ 1 和人脸判别模块的深度卷积网络A 2的参数θ 2 ；
S2，从真实图像样本中采集i'个样本
Figure 173669DEST_PATH_IMAGE005
，从先验分布噪声中采集i' 个噪声样本
Figure 285981DEST_PATH_IMAGE006
，并通过深度卷积网络A 2生成 i'个样本
Figure 168618DEST_PATH_IMAGE007
；
S3，固定深度卷积网络A 1，训练深度卷积网络A 2，准确判别真实样本和生成样本，循环n次更新判别器；
S4，使用较小的学习率来更新一次深度卷积网络A 1的参数，训练深度卷积网络A 1使其减小生成样本与真实样本之间的差距；
S5，多次更新迭代之后，直至深度卷积网络A 2判别不出样本来自于生成器的输出还是真实的输出，结束训练；
其训练过程中的损失函数由下述交叉熵来表示：
Figure 756594DEST_PATH_IMAGE008
其中，E为期望，
Figure 881414DEST_PATH_IMAGE009
和
Figure 113812DEST_PATH_IMAGE010
分别为深度卷积网络A 1和深度卷积网络A 2的可微函数，j' 是真实样本，k为随机噪声，
Figure 947776DEST_PATH_IMAGE011
为人脸判别模块中的生成的概率数据，P j' 表示真 实样本的概率分布，P k(k)表示人脸生成模块生成的假样本的概率分布，p表示人脸生成模块 在整个深度学习框架的权重占比大小。
（4）虚拟试衣单元
所述虚拟试衣单元用于对所述服装样本进行缝合、布料模拟，并根据数字人骨骼动画和三维场景的选择完成试衣展示；
所述虚拟试衣单元进一步包括：服装缝合模块、布料模拟模块、动态展示模块；
所述服装缝合模块用于对用户挑选的服装二维样板在制定的缝合信息规则下进行布料缝合，得到三维服装;
所述缝合信息规则包括：
1）三维空间坐标系的构建，以数字人模型的头顶最高点为原点建立三维空间坐标系，z轴方向为数字人模型脚部指向头部的方向，x轴方向为数字人模型眼朝方向，y轴方向为数字人模型左手方向；
2）关键点信息库构建，遍历二维服装样板的所有边缘关键点并对其进行编号排序后存储在数据存储单元的服装样本数据库中，其中对要进行缝合的对应关键点进行标记，分别记录服装样板与数字人模型要进行初始定位点的空间坐标信息；
3）空间点的对齐， 将服装定位关键点放在人体模型定位点对应位置的相同z轴坐标值处，且距x轴h个单位坐标，然后对三维空间下服装对应的相同编号关键点分别进行单向顺序移动，实现空间关键点的对齐；
4）人体模型表面信息构建，将人体模型表面分为多个随机大小的离散三角形，其中保证每个三角形的面积在设定的阈值范围（p，q）内，将所有三角形的顶点坐标信息存储在数据存储单元的人体模型数据库中；
5）服装点的定位，判断三维空间坐标系中的布料三角形的顶点坐标(m,n)是否在距人体模型最近的表面三角形的外部，不在外部的布料顶点通过计算顶点与布料网格体三角面的投影距离，取投影距离最短的投影点作为外部布料顶点移动后的点。
所述布料模拟模块通过对人体模型上的服装受到的内力和外力进行力学分析模拟，实现动态三维服装试穿；
所述动态展示模块是将虚拟数字人放在用户从三维场景数据库中挑选的试衣场景中，然后将用户从骨骼动画数据库中挑选的试衣展示动作重定向至数字人，实现动态的三维服装试穿；
优选的方案中，所述布料模拟模块通过构建布料力学模型并构建算法对布料模型进行解析来实现布料模拟，所述力学模型建模方法包括以下中的一项或多项：质点—弹簧模型、有限元连续体模型；所述布料模拟算法包括以下中的一项或多项：时间积分法、基于位置约束的动力学法、投影动力学法。
所述布料模拟模块采用质点—弹簧物理模型来构建布料网格体模型，使用投影动力学算法来进行布料解析：
质点—弹簧物理模型将布料离散化为多个三角形的带约束的网格，网格的每一个 顶点都是质点，被赋予一个特定的质量，为了模拟织物内部不同方向上纤维的相互作用，对 不同类型的弹簧设置不同的阻尼系数和弹性系数。通常而言，这些连接相邻粒子的弹簧由 结构弹簧、剪切弹簧以及弯曲弹簧组成；对于织物上的各个质点，在
Figure 445884DEST_PATH_IMAGE012
时刻它所受到的力包 括内力和外力两部分，基于牛顿第二定律F=ma，建立如下方程来描述织物上质点的运动规 律：
Figure 921865DEST_PATH_IMAGE013
其中p为质点的偏移量，F 内 (p,t)内为质点在t时刻受到的内力，由结构弹簧、剪切弹簧以及弯曲弹簧这三个弹簧力组成，F 外 (p,t)外为质点在t时刻受到的外力，包括重力、风力；
把质点—弹簧物理模型转换为一个约束系统，对织物的每个质点进行约束，通过约束质点的移动来满足织物的物理特性，通过PBD（position based dynamics）来求解上式，对于一件织物，PBD把其描述为由N个质子和M个约束组成的集合，具体过程如下：
1）对于每个质点，初始化i，初始化
Figure 8770DEST_PATH_IMAGE014
；
2）对于每个质点，根据外力更新当前速度，速度v i 满足
Figure 262902DEST_PATH_IMAGE015
；
3）对于每个质点，预测的位置值p i 满足
Figure 497575DEST_PATH_IMAGE016
；
4）对于每个质点，执行碰撞检测更新位置信息，不断调整受约束顶点位置，使其在收敛后可以满足各个约束关系；
5）更新每个质点的位置和速度：
Figure 262399DEST_PATH_IMAGE017
；
6）迭代上述步骤2）-5）至模拟结束；
其中m i 用来表示质子的质量，x i 用来表示质子的位置，v i 用来表示质子的速度，p i 表示质点位置的预测值，
Figure 469390DEST_PATH_IMAGE018
表示在没有任何力的情况下质点的位置和速度，w i 用来表 示质点质量的倒数，用于步骤2）中的w i F 外 (x i )来求得质点的加速度，Δt表示质点从上一层 到下一层所经历的时间差。
优选的方案中，所述约束分为边约束、弯曲约束、顶点约束。其中边约束、弯曲约束来替代弹簧质点物理模型中的弹簧的作用，模拟布料受到的力的作用；顶点约束用来模拟布料自碰撞。
规定每个离散三角形都有质量，且每个质点的质量规定为与其相邻三角形的质量的三分之一的总和，对于边(p 1 ,p 2 )，构建边约束方程C stretch (p 1 ,p 2 )：
Figure 379577DEST_PATH_IMAGE019
其中p 1 ,p 2 为一个边约束关联的两个顶点的位置坐标，l 0 为该边静息状态下的长度；对于相邻的三角形(p 1 ,p 2 ,p 3 )和三角形(p 1 ,p 2 ,p 4 )，用约束方程来构建弯曲约束方程C bend (p 1 ,p 2 ,p 3 ,p 4 )：
Figure 413130DEST_PATH_IMAGE021
该式表示两个邻接三角面的法线夹角与夹角
Figure 106279DEST_PATH_IMAGE022
的差值，其中(p 2 -p 1 )得到p 1 指p 2 的向量，(p 3 -p 1 )得到p 1 指p 3 的向量，(p 2 -p 1 )×(p 3 -p 1 )表示由(p 1 ,p 2 ,p 3 )三个点构成的三角面 的法向量，
Figure 964514DEST_PATH_IMAGE023
是对该法向量做归一化处理后的结果，得到该法向量的单 位向量，
Figure 858652DEST_PATH_IMAGE024
表示 p 1 ,p 2 ,p 4 构成的三角面的单位法向量，两个单位法向量 的点积的
Figure 67916DEST_PATH_IMAGE025
表示两个法向量的夹角，
Figure 830336DEST_PATH_IMAGE022
为两个三角形的初始夹角；
为了模拟布料的自碰撞，对顶点q和三角形(p 1 ,p 2 ,p 3 )进行约束：
Figure 75502DEST_PATH_IMAGE026
该式中(q-p 1 )表示p 1 指向顶点q的向量，
Figure 124229DEST_PATH_IMAGE027
表示 p 1 ,p 2 ,p 3 三角面 的单位法向量，两向量的点积表示(q-p 1 )在单位向量
Figure 571522DEST_PATH_IMAGE027
的投影，h为布料 的厚度。
所述骨骼重定向是指将骨骼动画数据库中的同一组动画应用于数字人构建单元生成的不同数字人之中，骨骼动画数据库存储了每一种类型角色的各类型动态展示动画，系统通过骨骼重定向将新构建的试衣数字人的骨骼与骨骼动画数据库中的骨骼进行一一匹配，将骨骼动画数据库中的每根骨骼的位移数据复制到虚拟数字人的对应骨骼上，实现数字人的动态展示动画。
（5）推送单元
所述推送单元用于对所述数字人在三维场景中的展示动画进行实时渲染完成三维虚拟试衣过程，并可以上传云端或者手机客户端进行保存。
所述推送单元包括将静态试衣结果和动态结果展示在显示器端，并将静态照片和动态视频上传至云端。
本发明实施例还一种动态展示的实时三维虚拟试衣方法，包括如下步骤：
步骤1，信息采集，包括用户输入参数、用户人脸图像、人机交互指令的信息采集；
步骤2，构建人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库、三维场景数据库，并进行存储；
所述人体模型数据库包含多种类型的人体骨架模型，每种骨架类型按中国服装号型标准建通过3D建模软件得到多种人体模型；所述发型肤色贴图库通过3D建模软件构建各类型的发型库以及不同颜色和肤色的贴图库；所述服装样板数据库通过服装样板制作软件得到每件待试穿服装的二维样板文件存储在服装样板库；所述骨骼动画按照人体模型数据库中的骨架模型通过3D建模软件制作不同类型的展示骨骼动画并存储在骨骼动画数据库中；所述三维场景数据通过三维建模软件制作不同待试穿场景存储在三维场景数据库中；
步骤3，根据信息采集得到的信息对人体模型数据库中的人体模型进行重构，得到用户专属数字人；
步骤4，对服装样板进行缝合、布料模拟，并根据数字人骨骼动画和三维场景的选择完成试衣展示；
步骤5，对数字人在三维场景中的展示动画进行实时渲染完成三维虚拟试衣过程，并上传云端或者手机客户端进行保存。
各步骤的具体实现方式与系统的中各单元相同，本发明不予撰述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种动态展示的实时三维虚拟试衣系统，其特征在于，包括：信息采集单元、数据存储单元、数字人构建单元、虚拟试衣单元、推送单元；
所述信息采集单元用于对用户人体数据、用户人脸图像、人机交互指令的信息采集；
所述数据存储单元用于人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库、三维场景数据库的构建和存储；
所述数字人构建单元用于根据所述信息采集单元得到的信息对所述数据存储单元中的人体模型进行重构，得到用户自定义的私人虚拟数字人；
所述虚拟试衣单元用于对服装样本进行缝合、布料模拟，并根据数字人骨骼动画和三维场景的选择完成试衣展示；
所述推送单元用于对数字人在三维场景中的展示动画进行实时渲染完成三维虚拟试衣过程，并上传云端或者手机客户端进行保存。
2.如权利要求1所述的一种动态展示的实时三维虚拟试衣系统，其特征在于：所述数字人构建单元的具体处理过程如下：
1）通过用户输入身体部分尺寸数据值，包括性别、身高、头围、颈围、胸围、腰围、臀围、 大腿围、小腿围，先通过用户输入的性别信息确定男或女数字人模型，用
Figure 133238DEST_PATH_IMAGE001
分别表示数 字人模型的身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围数据大小，用
Figure 136704DEST_PATH_IMAGE002
分别表示 第b个数字人模型的身高、头围、颈围、胸围、腰围、臀围、大腿围、小腿围数据大小，b表示人 体模型数据库中的数字人模型的编号；系统自动计算输入尺寸与人体模型库中数字人模型 对应部位的尺寸偏差大小关系，计算公式如下所示：
Figure 966120DEST_PATH_IMAGE003
p b 表示用户输入身体尺寸数据与数字人模型尺寸数据的偏差，w a 表示身体部分尺寸数据在模型中的影响权重值，系统选择最小p b 对应的编号b的数字人模型作为用户的专属数字人；
2）通过对用户人脸拍照得到的用户人脸图像上传分析，系统基于机器学习网络框架将该人脸图像替换步骤1）中的数字人体模型的脸部信息实现数字人脸部重建；
3）用户输入人机交互指令，在发型肤色贴图库中，挑选自定义的发型和肤色并进行替换选择，得到用户自定义的私人虚拟数字人。
3.如权利要求2所述的一种动态展示的实时三维虚拟试衣系统，其特征在于：所述机器学习网络框架部分由4部分组成：人脸关键点检测模块、人脸生成模块、人脸判别模块、人脸重构模块：
人脸关键点检测模块用于对人脸的68个关键点进行提取，这些关键点包含眉毛、眼睛、鼻子、嘴巴周围的51个关键点以及17个面部轮廓关键点；该模块先读取用户的输入图像并进行预处理转换为灰阶图像，然后使用对该灰阶图像进行特征点识别来检测人脸中的特征点；
人脸生成模块用于新的人脸生成，该人脸生成模块的输入有2部分，分别为带有随机噪声的人脸图像和人脸关键点检测模块检测到的关键点信息，通过深度卷积网络A 1中的a个卷积、池化层的作用提取人脸图像的特征信息，然后得到输出特征；其中人脸关键点的输入充当特征加权的作用，对关键点周围n*n区域内的像素按从中心到边缘的顺序进行均值o、标准差为p的正态分布的加权分配，最后图像中像素(i , j)处的特征F(x ij )计算公式如下所述：
Figure 290922DEST_PATH_IMAGE004
其中M(F ij )为图像像素(i , j)处的人脸关键点检测模块提取到的特征，∆x为该像素离关键点的距离，x ij 表示图像的像素位置，f(x ij )为图像像素(i , j)处的特征的权重；
人脸判别模块用于对人脸生成模块生成的人脸和真实人脸样本进行概率判别，其输入为人脸生成模块的输出图像和真实样本的人脸图像，通过使用与人脸生成模块中相同的深度卷积网络A 2进行特征提取，并在网络末端添加Softmax函数作为网络分类器，得到一个概率输出结果；
人脸生成模块中的深度卷积网络A 1和人脸判别模块中的深度卷积网络A 2采用相同的神经网络，但不共享参数；
人脸重构模块先对数字人人脸模型关键点处进行形变处理，使3D数字人人脸模型中的关键点位置与人脸生成模块所生成图像的关键点位置对应，然后将生成图像作为人脸贴图，对输出脸部图像进行贴图，实现人脸替换的过程。
4.如权利要求3所述的一种动态展示的实时三维虚拟试衣系统，其特征在于：所述机器学习网络框架的训练过程包括如下步骤：
S1，初始化人脸生成模块的深度卷积网络A 1的参数θ 1 和人脸判别模块的深度卷积网络A 2的参数θ 2 ；
S2，从真实图像样本中采集i'个样本
Figure 863986DEST_PATH_IMAGE005
，从先验分布噪声中采集i'个噪声 样本
Figure 957844DEST_PATH_IMAGE006
，并通过深度卷积网络A 2生成 i'个样本
Figure 223740DEST_PATH_IMAGE007
；
S3，固定深度卷积网络A 1，训练深度卷积网络A 2，准确判别真实样本和生成样本，循环n次更新判别器；
S4，使用较小的学习率来更新一次深度卷积网络A 1的参数，训练深度卷积网络A 1使其减小生成样本与真实样本之间的差距；
S5，多次更新迭代之后，直至深度卷积网络A 2判别不出样本来自于生成器的输出还是真实的输出，结束训练；
其训练过程中的损失函数由下述交叉熵来表示：
Figure 537303DEST_PATH_IMAGE008
其中，E为期望，
Figure 179637DEST_PATH_IMAGE009
和
Figure 393581DEST_PATH_IMAGE010
分别为深度卷积网络A 1和深度卷积网络A 2的可微函数，j'是真 实样本，k为随机噪声，
Figure 564799DEST_PATH_IMAGE011
为人脸判别模块中的生成的概率数据，P j' 表示真实样本 的概率分布，P k(k)表示人脸生成模块生成的假样本的概率分布，p表示人脸生成模块在整个 深度学习框架的权重占比大小。
5.如权利要求1所述的一种动态展示的实时三维虚拟试衣系统，其特征在于：所述虚拟试衣单元进一步包括：服装缝合模块、布料模拟模块、动态展示模块；
所述服装缝合模块用于对用户挑选的服装二维样板在制定的缝合信息规则下进行布料缝合，得到三维服装；
所述布料模拟模块通过对人体模型上的服装受到的内力和外力进行力学分析模拟，实现动态三维服装试穿；
所述动态展示模块是将虚拟数字人放在用户从三维场景数据库中挑选的试衣场景中，然后将用户从骨骼动画数据库中挑选的试衣展示动作重定向至数字人，实现动态的三维服装试穿；
所述骨骼重定向是指将骨骼动画数据库中的同一组动画应用于数字人构建单元生成的数字人之中，骨骼动画数据库存储了每一种类型角色的各类型动态展示动画，系统通过骨骼重定向将新构建的试衣数字人的骨骼与骨骼动画数据库中的骨骼进行一一匹配，将骨骼动画数据库中的每根骨骼的位移数据复制到虚拟数字人的对应骨骼上，实现数字人的动态展示动画。
6.如权利要求5所述的一种动态展示的实时三维虚拟试衣系统，其特征在：所述缝合信息规则包括：
1）三维空间坐标系的构建，以数字人模型的头顶最高点为原点建立三维空间坐标系，z轴方向为数字人模型脚部指向头部的方向，x轴方向为数字人模型眼朝方向，y轴方向为数字人模型左手方向；
2）关键点信息库构建，遍历二维服装样板的所有边缘关键点并对其进行编号排序后存储在数据存储单元的服装样本数据库中，其中对要进行缝合的对应关键点进行标记，分别记录服装样板与数字人模型要进行初始定位点的空间坐标信息；
3）空间点的对齐，将服装定位关键点放在人体模型定位点对应位置的相同z轴坐标值处，且距x轴h个单位坐标，然后对三维空间下服装对应的相同编号关键点分别进行单向顺序移动，实现空间关键点的对齐；
4）人体模型表面信息构建，将人体模型表面分为多个随机大小的离散三角形，其中保证每个三角形的面积在设定的阈值范围（p，q）内，将所有三角形的顶点坐标信息存储在数据存储单元的人体模型数据库中；
5）服装点的定位，判断三维空间坐标系中的布料三角形的顶点坐标(m,n)是否在距人体模型最近的表面三角形的外部，不在外部的布料顶点通过计算顶点与布料网格体三角面的投影距离，取投影距离最短的投影点作为外部布料顶点移动后的点。
7.如权利要求5所述的一种动态展示的实时三维虚拟试衣系统，其特征在于：所述布料模拟模块通过构建布料力学模型并构建算法对布料模型进行解析来实现布料模拟，所述力学模型建模方法包括以下中的一项或多项：质点—弹簧模型、有限元连续体模型；所述布料模拟算法包括以下中的一项或多项：时间积分法、基于位置约束的动力学法、投影动力学法。
8.如权利要求1所述的一种动态展示的实时三维虚拟试衣系统，其特征在于：所述人体模型数据库包含多种类型的人体骨架模型，每种骨架类型按中国服装号型GB/T 1335-2008标准建通过3D建模软件得到多种人体模型；所述发型肤色贴图库通过3D建模软件构建各类型的发型库以及不同颜色和肤色的贴图库；所述服装样板数据库通过服装样板制作软件得到每件待试穿服装的二维样板文件存储在服装样板库；所述骨骼动画按照人体模型数据库中的骨架模型通过3D建模软件制作不同类型的展示骨骼动画并存储在骨骼动画数据库中；所述三维场景数据通过三维建模软件制作不同待试穿场景存储在三维场景数据库中。
9.一种动态展示的实时三维虚拟试衣方法，其特征在于，包括如下步骤：
步骤1，信息采集，包括用户输入参数、用户人脸图像、人机交互指令的信息采集；
步骤2，构建人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库、三维场景数据库，并进行存储；
步骤3，根据信息采集得到的信息对人体模型数据库中的人体模型进行重构，得到用户专属数字人；
步骤4，对服装样板进行缝合、布料模拟，并根据数字人骨骼动画和三维场景的选择完成试衣展示；
步骤5，对数字人在三维场景中的展示动画进行实时渲染完成三维虚拟试衣过程，并上传云端或者手机客户端进行保存。
CN202210532736.8A 2022-05-17 2022-05-17 一种动态展示的实时三维虚拟试衣系统及方法 Active CN114663199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210532736.8A CN114663199B (zh) 2022-05-17 2022-05-17 一种动态展示的实时三维虚拟试衣系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210532736.8A CN114663199B (zh) 2022-05-17 2022-05-17 一种动态展示的实时三维虚拟试衣系统及方法

Publications (2)

Publication Number Publication Date
CN114663199A true CN114663199A (zh) 2022-06-24
CN114663199B CN114663199B (zh) 2022-08-30

Family

ID=82037162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210532736.8A Active CN114663199B (zh) 2022-05-17 2022-05-17 一种动态展示的实时三维虚拟试衣系统及方法

Country Status (1)

Country Link
CN (1) CN114663199B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272379A (zh) * 2022-08-03 2022-11-01 杭州新迪数字工程系统有限公司 一种基于投影的三维网格模型外轮廓提取方法及系统
CN115629895A (zh) * 2022-12-23 2023-01-20 北京蔚领时代科技有限公司 一种支持跨应用调用的数字人创建系统
CN115661354A (zh) * 2022-11-07 2023-01-31 深圳市十二篮服饰有限公司 一种3d智能试衣模型系统
CN115761143A (zh) * 2022-12-07 2023-03-07 武汉纺织大学 一种基于2d图像的3d虚拟换装模型生成方法及装置
CN115908701A (zh) * 2022-10-27 2023-04-04 浙江大学 基于style3d的虚拟试衣方法及系统
CN115937964A (zh) * 2022-06-27 2023-04-07 北京字跳网络技术有限公司 姿态估计的方法、装置、设备和存储介质
CN116030224A (zh) * 2022-12-30 2023-04-28 广州市玄武无线科技股份有限公司 一种ar产品展示方法、装置、电子设备及存储介质
CN116645494A (zh) * 2023-06-29 2023-08-25 云创设计(深圳)集团有限公司 基于模型矫正的虚拟试衣系统及方法
CN116664733A (zh) * 2023-07-28 2023-08-29 腾讯科技（深圳）有限公司 虚拟服装预测方法、装置、设备及计算机可读存储介质
CN116819925A (zh) * 2023-08-29 2023-09-29 廊坊市珍圭谷科技有限公司 一种基于全息投影的互动娱乐系统及方法
CN116863066A (zh) * 2023-05-16 2023-10-10 北京盈锋科技有限公司 一种3d数字id生成方法
CN117237583A (zh) * 2023-11-16 2023-12-15 创云融达信息技术(天津)股份有限公司 一种基于上传头像的虚拟试穿方法和系统
CN117292097A (zh) * 2023-11-23 2023-12-26 南昌世弘泛亚科技股份有限公司 Ar试穿互动体验方法及系统
CN117392330A (zh) * 2023-12-11 2024-01-12 江西省映尚科技有限公司 一种元宇宙虚拟数字人制作方法及系统
CN117726729A (zh) * 2024-01-30 2024-03-19 北京烽火万家科技有限公司 基于虚拟数字人技术的名片制作方法、系统、介质及设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123753A (zh) * 2014-08-13 2014-10-29 中山大学 基于服装图片的三维虚拟试衣方法
WO2016000304A1 (zh) * 2014-06-30 2016-01-07 京东方科技集团股份有限公司 一种虚拟试衣方法及虚拟试衣系统
CN105956912A (zh) * 2016-06-06 2016-09-21 施桂萍 一种网络试衣的实现方法
US20160300393A1 (en) * 2014-02-27 2016-10-13 Yasuo Kinoshita Virtual trial-fitting system, virtual trial-fitting program, virtual trial-fitting method, and storage medium in which virtual fitting program is stored
CN107316340A (zh) * 2017-06-28 2017-11-03 河海大学常州校区 一种基于单张照片的快速人脸建模方法
CN107833271A (zh) * 2017-09-30 2018-03-23 中国科学院自动化研究所 一种基于Kinect的骨骼重定向方法及装置
CN108510437A (zh) * 2018-04-04 2018-09-07 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质
CN109523345A (zh) * 2018-10-18 2019-03-26 河海大学常州校区 基于虚拟现实技术的WebGL虚拟试衣系统和方法
US20190311488A1 (en) * 2010-06-08 2019-10-10 Styku, LLC Method and system for wireless ultra-low footprint body scanning
CN111028354A (zh) * 2018-10-10 2020-04-17 成都理工大学 一种基于图像序列的模型形变人脸三维重建方案
CN113052976A (zh) * 2021-03-18 2021-06-29 浙江工业大学 基于uv位置图与cgan的单图像大姿态三维彩色人脸重建方法
WO2021258920A1 (zh) * 2020-06-24 2021-12-30 百果园技术(新加坡)有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN114373043A (zh) * 2021-12-16 2022-04-19 聚好看科技股份有限公司 一种头部三维重建方法及设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190311488A1 (en) * 2010-06-08 2019-10-10 Styku, LLC Method and system for wireless ultra-low footprint body scanning
US20160300393A1 (en) * 2014-02-27 2016-10-13 Yasuo Kinoshita Virtual trial-fitting system, virtual trial-fitting program, virtual trial-fitting method, and storage medium in which virtual fitting program is stored
WO2016000304A1 (zh) * 2014-06-30 2016-01-07 京东方科技集团股份有限公司 一种虚拟试衣方法及虚拟试衣系统
CN104123753A (zh) * 2014-08-13 2014-10-29 中山大学 基于服装图片的三维虚拟试衣方法
CN105956912A (zh) * 2016-06-06 2016-09-21 施桂萍 一种网络试衣的实现方法
CN107316340A (zh) * 2017-06-28 2017-11-03 河海大学常州校区 一种基于单张照片的快速人脸建模方法
CN107833271A (zh) * 2017-09-30 2018-03-23 中国科学院自动化研究所 一种基于Kinect的骨骼重定向方法及装置
CN108510437A (zh) * 2018-04-04 2018-09-07 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质
CN111028354A (zh) * 2018-10-10 2020-04-17 成都理工大学 一种基于图像序列的模型形变人脸三维重建方案
CN109523345A (zh) * 2018-10-18 2019-03-26 河海大学常州校区 基于虚拟现实技术的WebGL虚拟试衣系统和方法
WO2021258920A1 (zh) * 2020-06-24 2021-12-30 百果园技术(新加坡)有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN113052976A (zh) * 2021-03-18 2021-06-29 浙江工业大学 基于uv位置图与cgan的单图像大姿态三维彩色人脸重建方法
CN114373043A (zh) * 2021-12-16 2022-04-19 聚好看科技股份有限公司 一种头部三维重建方法及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MUKHIDDIN TOSHPULATOV等: "Generative adversarial networks and their application to 3D face generation: A survey", 《IMAGE & VISION COMPUTING》 *
YUHAN LIU等: "3D Virtual Try-On System Using Personalized Avatars:Augmented Walking in the Real World", 《THE THIRTEENTH INTERNATIONAL CONFERENCE ON ADVANCES IN COMPUTER-HUMAN INTERACTIONS》 *
朱红强 等: "个性化三维虚拟试衣系统研究", 《计算机与现代化》 *
雍俊海 等: "基于物理的布料模拟研究综述", 《包装工程》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937964A (zh) * 2022-06-27 2023-04-07 北京字跳网络技术有限公司 姿态估计的方法、装置、设备和存储介质
CN115937964B (zh) * 2022-06-27 2023-12-15 北京字跳网络技术有限公司 姿态估计的方法、装置、设备和存储介质
CN115272379B (zh) * 2022-08-03 2023-11-28 上海新迪数字技术有限公司 一种基于投影的三维网格模型外轮廓提取方法及系统
CN115272379A (zh) * 2022-08-03 2022-11-01 杭州新迪数字工程系统有限公司 一种基于投影的三维网格模型外轮廓提取方法及系统
CN115908701A (zh) * 2022-10-27 2023-04-04 浙江大学 基于style3d的虚拟试衣方法及系统
CN115661354A (zh) * 2022-11-07 2023-01-31 深圳市十二篮服饰有限公司 一种3d智能试衣模型系统
CN115761143B (zh) * 2022-12-07 2023-09-19 武汉纺织大学 一种基于2d图像的3d虚拟换装模型生成方法及装置
CN115761143A (zh) * 2022-12-07 2023-03-07 武汉纺织大学 一种基于2d图像的3d虚拟换装模型生成方法及装置
CN115629895A (zh) * 2022-12-23 2023-01-20 北京蔚领时代科技有限公司 一种支持跨应用调用的数字人创建系统
CN116030224B (zh) * 2022-12-30 2023-12-26 广州市玄武无线科技股份有限公司 一种ar产品展示方法、装置、电子设备及存储介质
CN116030224A (zh) * 2022-12-30 2023-04-28 广州市玄武无线科技股份有限公司 一种ar产品展示方法、装置、电子设备及存储介质
CN116863066A (zh) * 2023-05-16 2023-10-10 北京盈锋科技有限公司 一种3d数字id生成方法
CN116645494A (zh) * 2023-06-29 2023-08-25 云创设计(深圳)集团有限公司 基于模型矫正的虚拟试衣系统及方法
CN116645494B (zh) * 2023-06-29 2024-02-23 云创设计(深圳)集团有限公司 基于模型矫正的虚拟试衣系统及方法
CN116664733A (zh) * 2023-07-28 2023-08-29 腾讯科技（深圳）有限公司 虚拟服装预测方法、装置、设备及计算机可读存储介质
CN116664733B (zh) * 2023-07-28 2024-01-30 腾讯科技（深圳）有限公司 虚拟服装预测方法、装置、设备及计算机可读存储介质
CN116819925B (zh) * 2023-08-29 2023-11-14 廊坊市珍圭谷科技有限公司 一种基于全息投影的互动娱乐系统及方法
CN116819925A (zh) * 2023-08-29 2023-09-29 廊坊市珍圭谷科技有限公司 一种基于全息投影的互动娱乐系统及方法
CN117237583A (zh) * 2023-11-16 2023-12-15 创云融达信息技术(天津)股份有限公司 一种基于上传头像的虚拟试穿方法和系统
CN117237583B (zh) * 2023-11-16 2024-02-09 创云融达信息技术(天津)股份有限公司 一种基于上传头像的虚拟试穿方法和系统
CN117292097A (zh) * 2023-11-23 2023-12-26 南昌世弘泛亚科技股份有限公司 Ar试穿互动体验方法及系统
CN117292097B (zh) * 2023-11-23 2024-02-02 南昌世弘泛亚科技股份有限公司 Ar试穿互动体验方法及系统
CN117392330A (zh) * 2023-12-11 2024-01-12 江西省映尚科技有限公司 一种元宇宙虚拟数字人制作方法及系统
CN117392330B (zh) * 2023-12-11 2024-03-08 江西省映尚科技有限公司 一种元宇宙虚拟数字人制作方法及系统
CN117726729A (zh) * 2024-01-30 2024-03-19 北京烽火万家科技有限公司 基于虚拟数字人技术的名片制作方法、系统、介质及设备

Also Published As

Publication number Publication date
CN114663199B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114663199B (zh) 一种动态展示的实时三维虚拟试衣系统及方法
Jiang et al. Bcnet: Learning body and cloth shape from a single image
Alldieck et al. imghum: Implicit generative models of 3d human shape and articulated pose
Bertiche et al. Pbns: Physically based neural simulator for unsupervised garment pose space deformation
US10679046B1 (en) Machine learning systems and methods of estimating body shape from images
CN109427007B (zh) 基于多视角的虚拟试衣方法
CN107578323B (zh) 三维真实人体在线虚拟试衣方法
CN104123753A (zh) 基于服装图片的三维虚拟试衣方法
Magnenat-Thalmann Modeling and simulating bodies and garments
JP2024522287A (ja) 三次元人体再構成方法、装置、デバイスおよび記憶媒体
Li et al. In-home application (App) for 3D virtual garment fitting dressing room
CN113610612B (zh) 一种3d虚拟试衣方法、系统及存储介质
CN112102480B (zh) 图像数据处理方法、装置、设备以及介质
CN107680166A (zh) 一种智能定制服装的方法和装置
CN115951784B (zh) 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法
Kwon et al. Optimal camera point selection toward the most preferable view of 3-d human pose
CN109655011A (zh) 一种人体建模维度测量的方法及系统
WO2020104990A1 (en) Virtually trying cloths & accessories on body model
Song et al. Data-driven 3-D human body customization with a mobile device
CN115564871A (zh) 训练试衣模型的方法、虚拟试衣方法及相关装置
CN117557755B (zh) 虚拟场景中师生化身服饰可视化方法及系统
JP2010211732A (ja) 物体認識装置および方法
Lu et al. Parametric shape estimation of human body under wide clothing
CN117333601B (zh) 基于人工智能的数字虚拟服装生成方法及装置
Hauswiesner et al. Image-based clothes transfer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant