CN115908701A - 基于style3d的虚拟试衣方法及系统 - Google Patents
基于style3d的虚拟试衣方法及系统 Download PDFInfo
- Publication number
- CN115908701A CN115908701A CN202211326478.4A CN202211326478A CN115908701A CN 115908701 A CN115908701 A CN 115908701A CN 202211326478 A CN202211326478 A CN 202211326478A CN 115908701 A CN115908701 A CN 115908701A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- fitting
- human body
- model
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000000694 effects Effects 0.000 claims abstract description 64
- 230000009471 action Effects 0.000 claims abstract description 52
- 238000009958 sewing Methods 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 238000004088 simulation Methods 0.000 claims abstract description 13
- 230000001815 facial effect Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 23
- 239000004744 fabric Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 4
- 239000003086 colorant Substances 0.000 description 4
- 210000002414 leg Anatomy 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明属于虚拟试衣技术领域，提供一种基于style3d的虚拟试衣的方法及系统，本发明利用RSA加密算法进行加密和解密，对用户的个人信息进行保护，防止了信息的泄露，同时当所述目标用户再次使用虚拟试衣时，提取所述目标用户存储在私密存储区域的信息内容，减少重复输入。本发明通过将数字人体建模分为基于深度学习的脸部建模和基于数据库的模型选择两个部分，极大的减少了人体建模的时间，且最大程度上还原了试衣人体的身体和脸部特征，使得系统更加具有真实感；通过对二维样板服装的三维缝合、模拟，且通过相关算法实现了更加快速的模拟，可以根据用户选择的展示动作实时的模拟出相关的展示效果，增加了服装的真实感和表现力，极大提高了用户体验。
Description
技术领域
本发明属于虚拟试衣技术领域，特别涉及一种基于style3d的虚拟试衣方法及系统。
背景技术
目前虚拟试衣系统中获取的三维人体模型只是局部逼近人体，没有考虑购买者的脸型，头发等信息，缺乏准确的人体三维模型。在这种情况下，客户很难方便快捷地做出自己最理想的选择；并且需要用户自行输入好多数据，在输入过程中可能出现填错或量错的问题，使建立的三维模型不准确；此外，现有的三维试衣系统大多都没有考虑如何保护购买者的人体隐私，存在很大隐患。对于基于style3d的虚拟试衣的研究仍有非常大的空白有待填补。
发明内容
为了实现上述目的，本发明提供以下技术方案：
本发明提供一种基于style3d的虚拟试衣的方法，包括：
(1)建立和存储基础三维模型数据库，包括人体模型数据库、发型肤色贴图库、服装样板数据库、动画数据库、三维试衣场景库；
(2)获取用户的身材指标数据，包括用户人体数据和用户人脸图像的信息；
(3)构建目标人体三维模型，利用预先构建的基础三维模型根据所述用户的身材指标数据构建所述用户的目标人体三维模型，并对所述目标人体三维模型进行加密保存；
(4)根据所述目标用户选择的服装样本，对所述服装样本进行布料模拟、虚拟缝合和制作；
(5)响应于所述用户对目标衣物的选择操作，利用所述目标人体三维模型为所述用户执行选择操作后的目标衣物呈现多方位的实时渲染效果，完成三维虚拟试衣过程，并上传云端或者手机客户端进行保存。
终端可以直接使用显示屏显示该服装信息，用户通过显示屏对搭配的结果进行挑选，可以更为直观的了解搭配的结果；终端还可以将该服装对应的服装信息发送给该用户对应的便携式终端上，例如该用户的手机、平板电脑等，具体此处不做限定。
终端可以通过自身的数据采集器获取到用户的个人数据，也可以是接收其它终端发送的用户的个人数据，具体此处不做限定。
进一步的，步骤(1)中基础三维模型数据库建立是通过终端从云服务器下载并预先保存N个三维虚拟人体模型作为所述基础三维模型数据库，包括人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库；其中N为大于1的自然数。
所述基础三维人体模型数据库包括，包括人体模型数据库、发型肤色贴图库、服装样板数据库、动画数据库、三维试衣场景库；
其中，所述人体模型数据库包含多种类型的人体骨架模型，每种骨架类型按中国服装号型GB/T1335-2008标准建通过3D建模软件得到多种人体模型；
所述发型肤色贴图库通过3D建模软件构建各类型的发型库以及不同颜色和肤色的贴图库；
所述服装样板数据库通过服装样板制作软件得到每件待试穿服装的二维样板文件存储在服装样板库；
所述动画数据库，通过互联网上的云端服务器进行下载不同的动画动作信息并导入存储在动画数据库中，动画动作信息包括抬腿动作、双臂摇摆动作、双臂展开动作、下蹲动作、起立动作、步行前进动作、跳舞动作等等，动画动作的种类并不限于以上所述；
所述三维场景数据通过三维建模软件制作不同待试穿场景存储在三维场景数据库中；其中，每种待试衣服的类型至少对应一个三维试衣场景。三维试衣场景可以为教堂、球场、山顶、办公室、卧室、地铁内等等，三维试衣场景的种类并不限于以上所述。
进一步的，步骤(2)中，用户的身材指标数据获取的过程为：
通过手机拍摄和深度摄像头拍摄获取目标用户的二维面部照片以及根据用户输入数据得到用户人体数据，所述用户人体数据包括身高、体重体型数据信息；
根据手机拍摄获取的用户人体二维面部照片，确定所述目标用户的脸部信息；
对所述用户二维面部图像进行预处理；
所述图像预处理包含对输入图像的归类筛选以及重设置大小；对输入的图像数据采用训练好的图像分类深度学习模型根据人体脸部部位进行辅助分类；利用曲面重建算法基于预处理后的用户二维面部图像生成所述初始人体脸部信息模型；
通过深度摄像头获取目标用户的人体图像；
根据用户输入身体特征信息校准所述更新的基础三维模型；
所述人体尺寸信息可以包括身高、体重等信息。
进一步的，步骤(3)中，构建所述用户的目标人体三维模型包括以下步骤：
根据用户的身材实际尺寸信息，在预先保存的N个虚拟人体模型中选择匹配的虚拟人体模型作为初始三维虚拟人体模型；
基于用户人体数据，终端对云服务器的初始三维虚拟人体模型进行网格训练处理，并采用SMPL模型对人体进行参数化表示；
SMPL为一种数据驱动的三维人体模型，由10个体型参数β和72个姿态参数θ控制；
SMPL模型可以表示为：
M(β，θ)＝W(TP(β，θ)，J(γ)，θ，W)；
TP(β，θ)＝T+Bs(γ)+BP(θ)；
其中，M()为重构后的模型函数；
TP为网格顶点的位置；
W为标准线性混合SMPL函数；
β为体型参数；
θ为姿态参数；
T为人体平均模型；
Bs(β)和Bp(θ)为SMPL模型在体型参数β和姿态参数θ作用下顶点相对于T的偏移量；
J(β)为体型参数β对关节产生的影响；
w为混合权重。
终端对所述用户数据进行信息私密判定，所述私密信息包括，所述目标用户的二维面部照片以及身体数据，当终端判断所述接收到的信息包含私密信息时，将所述信息进行私密存储，并从默认存储模块删除所述信息。
根据获取的身材指标数据对所述初始三维虚拟人体模型进行修正，得到所述用户的目标人体三维模型；所述目标人体三维模型利用RSA加密算法进行加密，加密的具体过程为：
终端判定用户数据是否为私密信息，所述私密信息包括目标用户的二维面部照片及人体尺寸信息、目标用户的虚拟三维人体模型；
终端分别生成公钥和私钥进行加密和解密，其中，公钥上传到服务器端；
当终端判断接收到的信息包含私密信息时，则将接收到的信息进行私密存储存并从默认存储模块删除所述接收到的信息；当所述目标用户再次使用虚拟试衣时，可使用本地私钥对本地数据进行私密访问，提取所述目标用户存储在私密存储区域的信息内容，减少重复输入；
其中，所述RSA加密算法步骤：
(31)随机生成素数；
(32)生成密钥；
(321)随机生成两个素数p和q，并且满足p≠q；
(322)计算出s＝p×q；
(323)计算小于s并且与s互质的整数的个数，即计算出s的欧拉函数
(324)随机选择正整数e，要求满足，且e与互质；
(325)计算e对于的模反元素d，得到d≡e-1mod(s)；
(326)得到密钥对，公钥为(s，e)，私钥为(s，d)；
(33)进行加密处理：
加密过程中通过处理私密信息获得密文C，计算公式如下：
C＝fe(M)＝Memod(s)；
其中，fe()为加密函数；M为私密信息，n为密钥长度，(s,e)为给用户的公钥，C则是加密后的密文；
解密过程中使用私钥解锁密文以获取私密信息；计算公式如下：M’＝fd(c)＝cdmod(s)；
其中，fd()为解密函数；c为传送的密文，(s,d)为私钥，M’是解密后的私密信息。
优选地，所述私密信息包括所述目标用户的二维面部照片及人体尺寸信息、目标用户的虚拟三维人体模型中的任何一个或多个。
优选地，当所述接收到的信息包括私密信息私密信息时，将所述信息进行私密存储。
优选地，将所述信息进行私密存储包括：将接收到的信息从默认存储模块移入私密存储模块，并从默认存储模块中删除所述信息。
优选地，将所述信息进行私密存储包括：将包括私密信息私密信息存储到私密存储模块，不包括私密信息存储到默认存储模块。
优选地，在通过安全认证后进入所述私密存储模块。
优选的，对服装布料制作的规则为：
取待试穿服装的目标人体三维模型；
服装样板数据库通过服装样板制作软件得到每件待试穿服装的二维样板文件存储在服装样板库；
根据用户挑选的服装二维样板在制定缝合信息规则下进行布料缝合，并对人体模型上的服装受力进行力学分析模拟和修改，将修改过面料参数的纸样置于优化后SMPL模型的所述目标人体三维模型的对应位置后完成纸样的虚拟缝合，完成虚拟缝合的各样片摆放到所述人体虚拟模型各个部位并进行加载和试穿；
其中，试穿过程利用MarvelousDesigner服装设计软件将算法生成的SMPL模型作为输入，形成试衣效果模型进行个性化服装展示与试衣。所述缝合信息规则为，对虚拟人体三维模型设有安排点和安排面，通过安排点、安排面可将衣片对应到相应的部位，且可根据需要进行调整、追加或删除；三维排布是在人体模特上进行部位安排点排布样板，将样板安排在相应身体的部位；安排点是根据安排面设定的，根据目标用户的需要设定安排点的位置，安排点将排布在安排面上，同时设定在虛拟模特的身体各个部位，将板片一对应放在相应的位置；缝合时将样片对应缝纫在一起。
将所述目标用户的人体三维模型与待试穿服装的三维模型进行融合，得到三维试衣图像；
进一步的，步骤(5)的具体步骤为：
所述终端从云服务器下载三维试衣场景；
所述终端将下载的三维试衣场景导入至所述试衣场景数据库；
将试衣效果模型与所述三维试衣场景融合生成试衣效果动画，对所述三维试衣场景进行全方位旋转，所述三维试衣场景与试衣效果模型在横切面固定；将所述试衣效果模型导入到选定的所述三维试衣场景中并与所述三维试衣场景进行渲染合成；
控制所述试衣效果模型执行与所述三维试衣场景相适配的动画动作，生成试衣效果动画；呈现多方位的渲染效果，完成三维虚拟试衣过程。
所述三维试衣场景内对应设有至少一个动画动作，通过终端预先建立有动画数据库，所述动画数据库保存有若干个动画动作，所述三维试衣场景直接调用动画数据库，实现试衣效果模型的动作变化。
由于使示意效果模型在三维试衣场景中进行动画展示可以有效的体现待试衣服在不同试衣场景中的穿着展示效果是否达到目标用户的心理预期，进一步提高了用户体验。
优选的，所述终端为服务器终端；供大量数据存储处理使用，可为众多数量的用户进行智能化服装匹配服务；终端也可以为便携式终端，例如手机、平板电脑、笔记本、个人电脑等终端，可以为该终端的使用者提供便携式的智能化服装匹配服务。本发明还提供一种基于style3d的虚拟试衣系统，所述系统包括：
数据存储单元，用于人体模型数据库、发型肤色贴图库、服装样板数据库、动画数据库、三维场景数据库的构建和存储；
信息采集单元，用于采集用户的身材指标数据，包括用户深度图像及用户身体特征信息的采集；
三维模型构建单元，用于根据所述信息采集单元得到的信息对所述数据存储单元中的人体模型进行重构，目标人体三维模型并对含有私密信息进行加密处理；
其中，三维模型构建单元包含，
信息分析模块，用于判断所述信息是否包括私密信息；
默认存储模块，用于存储不包括私密信息的数据；
私密存储模块，用于存储包括私密信息的数据；
安全认证模块，用于进入所述私密存储区域的安全认证；
虚拟试衣单元，用于对服装样本进行缝合、布料模拟，并根据数字人骨骼动画和三维场景的选择完成试衣展示；
展示推送单元，用于所述试衣效果模型与所述三维试衣场景融合生成试衣效果动画，并上传云端或者手机客户端进行保存。
本发明还提供一种计算机设备，所述计算机设备包括处理器、存储器及存储所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的虚拟试衣方法。
本发明还提供一种存储介质，所述存储介质为计算机可读的存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的虚拟试衣方法。
本发明提供一种基于style3d的虚拟试衣方法及系统，基于深度图像采集设备的三维试衣方法，通过深度图像采集设备建立目标人体三维模型，能够更加精准地重现人体、服装的形态；通过身材指标数据调整预先构建的人体基础模型，又根据调整后的人体基础模型调整预先构建的服装模型，在实时处理时无需另外建立模型，而只需调整模型的部分参数，加快了虚拟试衣的计算速度。由于计算速度快，通过深度图像采集设备可实时采集试穿者的运动状态，并实时调整输出的试穿画面，可实现360度观看穿衣效果。
本发明具有以下有益效果：
(1)用户个人信息的私密保护
本发明通过利用RSA加密算法进行加密和解密，对用户的个人信息进行保护，防止了信息的泄露，同时当所述目标用户再次使用虚拟试衣时，可使用本地私钥对本地数据进行私密访问，提取所述目标用户存储在私密存储区域的信息内容，减少重复输入。
(2)自定义的参数化人体建模
本发明通过将数字人体建模分为基于深度学习的脸部建模和基于数据库的模型选择两个部分，极大的减少了人体建模的时间，且最大程度上还原了试衣人体的身体和脸部特征，使得系统更加具有真实感；同时参数化的建模可以极大程度上保护用户的隐私。
(3)实时的服装试穿展示
本发明通过布料缝合、布料模拟等技术实现对二维样板服装的三维缝合、模拟，且通过相关算法实现了更加快速的模拟，可以根据用户选择的展示动作实时的模拟出相关的展示效果，增加了服装的真实感和表现力，极大提高了用户体验。
(4)多样化的试衣效果展示
本发明通过对多种三维场景的建模以及实时采集试穿者的运动状态研究，可以实现多种场景下多种动作的试衣展示，一定程度上增加了试衣的多样性，使得消费者能够更加多角度的观察试衣后的效果以及试穿场景的适配度。
附图说明
图1是本发明的虚拟试衣流程图。
图2是本发明构建用户的目标人体三维模型的流程图。
图3是本发明的虚拟试衣系统示意图。
图4是本发明的三维模型构建单元的模块示意图。
具体实施方式
以下结合附图对本发明的具体实施方式做详细描述，应当指出的是，实施例只是对发明的具体阐述，不应视为对发明的限定，实施例的目的是为了让本领域技术人员更好地理解和再现本发明的技术方案，本发明的保护范围仍应当以权利要求书所限定的范围为准。
如图1所示，本发明提供一种基于style3d的虚拟试衣的方法，包括：
S1，建立和存储基础三维模型数据库，包括人体模型数据库、发型肤色贴图库、服装样板数据库、动画数据库、三维试衣场景库；
基础三维模型数据库建立是通过终端从云服务器下载并预先保存N个三维虚拟人体模型作为所述基础三维模型数据库，包括人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库；其中N为大于1的自然数。
所述基础三维人体模型数据库包括，包括人体模型数据库、发型肤色贴图库、服装样板数据库、动画数据库、三维试衣场景库；
其中，所述人体模型数据库包含多种类型的人体骨架模型，每种骨架类型按中国服装号型GB/T1335-2008标准建通过3D建模软件得到多种人体模型；
所述发型肤色贴图库通过3D建模软件构建各类型的发型库以及不同颜色和肤色的贴图库；
所述服装样板数据库通过服装样板制作软件得到每件待试穿服装的二维样板文件存储在服装样板库；
所述动画数据库，通过互联网上的云端服务器进行下载不同的动画动作信息并导入存储在动画数据库中，动画动作信息包括抬腿动作、双臂摇摆动作、双臂展开动作、下蹲动作、起立动作、步行前进动作、跳舞动作等等，动画动作的种类并不限于以上所述；
所述三维场景数据通过三维建模软件制作不同待试穿场景存储在三维场景数据库中；其中，每种待试衣服的类型至少对应一个三维试衣场景。
三维试衣场景可以为教堂、球场、山顶、办公室、卧室、地铁内等等，三维试衣场景的种类并不限于以上所述。
S2，获取用户的身材指标数据，包括用户人体数据和用户人脸图像的信息；
用户的身材指标数据获取的过程为：
通过手机拍摄和深度摄像头拍摄获取目标用户的二维面部照片以及根据用户输入数据得到用户人体数据，所述用户人体数据包括身高、体重体型数据信息；
根据手机拍摄获取的用户人体二维面部照片，确定所述目标用户的脸部信息；
对所述用户二维面部图像进行预处理；
所述图像预处理包含对输入图像的归类筛选以及重设置大小；对输入的图像数据采用训练好的图像分类深度学习模型根据人体脸部部位进行辅助分类；利用曲面重建算法基于预处理后的用户二维面部图像生成所述初始人体脸部信息模型；
通过深度摄像头获取目标用户的人体图像；
具体操作时，用户可以站立在深度摄像头的摄像范围内，在规定的时间内(如10秒)平稳地转身一圈，以30Hz频率的图像处理速度为例，摄像头每秒可以拍摄30幅人体图像，转身360度后可获得300多幅不同角度的人体图像。
S3，构建目标人体三维模型，利用预先构建的基础三维模型根据所述用户的身材指标数据构建所述用户的目标人体三维模型，并对所述目标人体三维模型进行加密保存；
如图2所示，构建所述用户的目标人体三维模型包括以下步骤：
根据用户的身材实际尺寸信息，在预先保存的N个虚拟人体模型中选择匹配的虚拟人体模型作为初始三维虚拟人体模型；
身材实际尺寸信息可以包括肩宽、胸围、腰围、腿长和/或手臂长等信息；
根据所述人体尺寸信息创建所述目标用户的人体三维模型；
具体地说，预先保存的N个虚拟人体模型为三维的虚拟人体模型，上述N个虚拟人体模型通过人体实际尺寸信息进行分类并存储在虚拟人体模型数据库中，虚拟人体模型的尺寸信息对应的人体实际尺寸信息包含身高、胸围、臀围、腰围等，但并不限于以上所述。比如，目标用户实际身高为1.8米，则三维的虚拟人体模型的身高为7.2厘米，即目标用户的实际尺寸与人体模型的尺寸比例为25:1。所述比例可根据实际情况进行选择，并不限于以上所述。当输入人体实际尺寸信息时，终端通过查找虚拟人体模型数据库，找到与输入人体实际尺寸信息最接近的虚拟人体模型，并将该虚拟模型从虚拟人体数据库导出作为初始三维虚拟人体模型。该虚拟人体模型数据库与云端服务器相连，可于云端服务器下载制作完成的虚拟人体模型到上述虚拟人体模型数据库。
通过终端的摄像头拍摄目标用户身体的全方位录像信息，对获取的目标用户身体的全方位录像信息进行检测获取目标用户的人体轮廓线和人体特征点，也可以在采用摄像头拍摄目标用户身体的全方位录像信息时，实时获取目标用户身体的轮廓和特征点，所述特征点包含人脸区域中心点、两边肩部顶点、胳膊中心点、两手的指尖点、人体中心点、膝盖顶点、两脚脚跟点和两脚脚尖点等等，特征点的种类并不限于以上所述。
基于用户人体数据，终端对云服务器的初始三维虚拟人体模型进行网格训练处理，并采用SMPL模型对人体进行参数化表示；
SMPL为一种数据驱动的三维人体模型，由10个体型参数β和72个姿态参数θ控制；
SMPL模型可以表示为：
M(β，θ)＝W(TP(β，θ)，J(γ)，θ，w)
TP(β，θ)＝T+Bs(γ)+BP(θ)；
其中，M()为重构后的模型函数；
TP为网格顶点的位置；
W为标准线性混合SMPL函数；
β为体型参数；
θ为姿态参数；
T为人体平均模型；
Bs(β)和Bp(θ)为SMPL模型在体型参数β和姿态参数θ作用下顶点相对于T的偏移量；
J(β)为体型参数β对关节产生的影响；
w为混合权重；
W为标准线性混合SMPL函数。
终端对所述用户数据进行信息私密判定，所述私密信息包括，所述目标用户的二维面部照片以及身体数据，当终端判断所述接收到的信息包含私密信息时，将所述信息进行私密存储，并从默认存储模块删除所述信息。
根据获取的身材指标数据对所述初始三维虚拟人体模型进行修正，得到所述用户的目标人体三维模型；所述目标人体三维模型利用RSA加密算法进行加密，加密的具体过程为：
终端判定用户数据是否为私密信息，所述私密信息包括目标用户的二维面部照片及人体尺寸信息、目标用户的虚拟三维人体模型；
终端分别生成公钥和私钥进行加密和解密，其中，公钥上传到服务器端；
当终端判断接收到的信息包含私密信息时，则将接收到的信息进行私密存储存并从默认存储模块删除所述接收到的信息；当所述目标用户再次使用虚拟试衣时，可使用本地私钥对本地数据进行私密访问，提取所述目标用户存储在私密存储区域的信息内容，减少重复输入；
其中，所述RSA加密算法步骤：
(31)随机生成素数；
(32)生成密钥；
(321)随机生成两个素数p和q，并且满足p≠q；
(322)计算出s＝p×q；
(323)计算小于s并且与s互质的整数的个数，即计算出s的欧拉函数
(324)随机选择正整数e，要求满足，且e与互质；
(325)计算e对于的模反元素d，得到d≡e-1mod(s)
d≡e-1mod(n)；
(326)得到密钥对，公钥为(s，e)，私钥为(s，d)；
(33)进行加密处理：
加密过程中通过处理私密信息获得密文C；计算公式如下C＝fe(M)＝Memod(s)：
其中，fe()为加密函数；M为私密信息，(s,e)为给用户的公钥，C则是加密后的密文；
解密过程中使用私钥解锁密文以获取私密信息；计算公式如下：
M’＝fd(c)＝cdmod(s)；
其中，fd()为解密函数；c为传送的密文，(n,d)为私钥，M’是解密后的私密信息。
优选地，所述私密信息包括所述目标用户的二维面部照片及人体尺寸信息、目标用户的虚拟三维人体模型中的任何一个或多个。
优选地，当所述接收到的信息包括私密信息私密信息时，将所述信息进行私密存储。
优选地，将所述信息进行私密存储包括：将接收到的信息从默认存储模块移入私密存储模块，并从默认存储模块中删除所述信息。
优选地，将所述信息进行私密存储包括：将包括私密信息私密信息存储到私密存储模块，不包括私密信息存储到默认存储模块。
优选地，在通过安全认证后进入所述私密存储模块。
S4，根据所述目标用户选择的服装样本，对所述服装样本进行布料模拟、虚拟缝合和制作；
对服装布料制作的规则为：
取待试穿服装的目标人体三维模型；
服装样板数据库通过服装样板制作软件得到每件待试穿服装的二维样板文件存储在服装样板库；
根据用户挑选的服装二维样板在制定缝合信息规则下进行布料缝合，并对人体模型上的服装受力进行力学分析模拟和修改，将修改过面料参数的纸样置于优化后SMPL模型的所述目标人体三维模型的对应位置后完成纸样的虚拟缝合，完成虚拟缝合的各样片摆放到所述人体虚拟模型各个部位并进行加载和试穿；
其中，试穿过程利用MarvelousDesigner服装设计软件将算法生成的SMPL模型作为输入，形成试衣效果模型进行个性化服装展示与试衣。
所述缝合信息规则为，对虚拟人体三维模型设有安排点和安排面，通过安排点、安排面可将衣片对应到相应的部位，且可根据需要进行调整、追加或删除；三维排布是在人体模特上进行部位安排点排布样板，将样板安排在相应身体的部位；安排点是根据安排面设定的，根据目标用户的需要设定安排点的位置，安排点将排布在安排面上，同时设定在虛拟模特的身体各个部位，将板片一对应放在相应的位置；缝合时将样片对应缝纫在一起。
将所述目标用户的人体三维模型与待试穿服装的三维模型进行融合，得到三维试衣图像；
S5，响应于所述用户对目标衣物的选择操作，利用所述目标人体三维模型为所述用户执行选择操作后的目标衣物呈现多方位的实时渲染效果，完成三维虚拟试衣过程，并上传云端或者手机客户端进行保存；
具体地说，试衣场景数据库导入有若干三维试衣场景，具体导入方式为:
所述终端从云服务器下载三维试衣场景；所述终端将下载的三维试衣场景导入至所述试衣场景数据库；
试衣效果模型与所述三维试衣场景融合生成试衣效果动画，对所述三维试衣场景进行全方位旋转，所述三维试衣场景与试衣效果模型在横切面固定；将所述试衣效果模型导入到选定的所述三维试衣场景中并与所述三维试衣场景进行渲染合成；
具体地说，试衣场景数据库导入有若干三维试衣场景，具体导入方式为:终端从云服务器下载三维试衣场景，然后将下载的三维试衣场景导入至试衣场景数据库中。其中每种待试衣服的类型至少对应一个三维试衣场景。三维试衣场景可以为教堂、球场、山顶、办公室、卧室、地铁内等等，三维试衣场景的种类并不限于以上所述。
选取已建立的试衣效果模型，将该试衣效果模型导入到选定的三维试衣场景中。若该试衣效果模型中的待试衣服为婚纱，则选定的对应的三维试衣场景为教堂，将该试衣效果模型与该三维试衣场景进行渲染合成；渲染合成后，三维试衣场景与试衣效果模型在横切面固定，三维试衣场景与试衣效果模型为三维立体结构，当试衣效果模型为正向站立视角时，以该试衣效果模型所在空间的垂直方向所在的面为横切面。当三维试衣场景与试衣效果在横切面固定时，可以对三维试衣场景进行全方位旋转，通过全方位旋转可以观察试衣效果模型的全方位视角，同时可以进行缩放观察试衣效果模型在三维试衣场景下的试衣效果，提高了用户体验。
渲染合成后，也可以从动画动作数据库中选择试衣者期待的动作。其中该动画动作数据库预先录入有动画动作信息，录入的方式为通过互联网上的云端服务器进行下载导入，动画动作信息包括抬腿动作、双臂摇摆动作、双臂展开动作、下蹲动作、起立动作、步行前进动作、跳舞动作等等，动画动作的种类并不限于以上所述。
控制所述试衣效果模型执行与所述三维试衣场景相适配的动画动作，生成试衣效果动画；呈现多方位的渲染效果，完成三维虚拟试衣过程。
所述三维试衣场景内对应设有至少一个动画动作，通过终端预先建立有动画数据库，所述动画数据库保存有若干个动画动作，所述三维试衣场景直接调用动画数据库，实现试衣效果模型的动作变化。
由于使示意效果模型在三维试衣场景中进行动画展示可以有效的体现待试衣服在不同试衣场景中的穿着展示效果是否达到目标用户的心理预期，进一步提高了用户体验。
优选的，终端可以直接使用显示屏显示该服装信息，用户通过显示屏对搭配的结果进行挑选，可以更为直观的了解搭配的结果；终端还可以将该服装对应的服装信息发送给该用户对应的便携式终端上，例如该用户的手机、平板电脑等，本发明不做限定。
终端可以通过自身的数据采集器获取到用户的个人数据，也可以是接收其它终端发送的用户的个人数据，本发明不做限定。所述终端为服务器终端；供大量数据存储处理使用，可为众多数量的用户进行智能化服装匹配服务；终端也可以为便携式终端，例如手机、平板电脑、笔记本、个人电脑等终端，可以为该终端的使用者提供便携式的智能化服装匹配服务。
如图3所示，本发明还提供一种基于style3d的虚拟试衣系统，所述系统包括：
数据存储单元1，用于人体模型数据库、发型肤色贴图库、服装样板数据库、动画数据库、三维场景数据库的构建和存储；
信息采集单元2，用于采集用户的身材指标数据，包括用户深度图像及用户身体特征信息的采集；其中，深度神经网络训练需要主流的深度学习框架如TensorFlow和深度学习算法如DNN(深度神经网络算法)不断抽象和特征提取服装搭配图片，进而能判断所推荐的服装是否符合主流审美观。
三维模型构建单元3，用于根据所述信息采集单元得到的信息对所述数据存储单元中的人体模型进行重构，目标人体三维模型并对含有私密信息进行加密处理；
如图4所示，三维模型构建单元3包含，
信息分析模块31，用于判断所述信息是否包括私密信息；
默认存储模块32，用于存储不包括私密信息的数据；
私密存储模块33，用于存储包括私密信息的数据；
安全认证模块34，用于进入所述私密存储区域的安全认证；
虚拟试衣单元4，用于对服装样本进行缝合、布料模拟，并根据数字人骨骼动画和三维场景的选择完成试衣展示；
展示推送单元5，用于所述试衣效果模型与所述三维试衣场景融合生成试衣效果动画，并上传云端或者手机客户端进行保存。
本发明还提供一种计算机设备，所述计算机设备包括处理器、存储器及存储所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的虚拟试衣方法。
本发明还提供一种存储介质，所述存储介质为计算机可读的存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的虚拟试衣方法。
本发明基于深度图像采集设备的三维试衣方法，通过深度图像采集设备建立目标人体三维模型，能够更加精准地重现人体、服装的形态；通过身材指标数据调整预先构建的人体基础模型，又根据调整后的人体基础模型调整预先构建的服装模型，在实时处理时无需另外建立模型，而只需调整模型的部分参数，加快了虚拟试衣的计算速度。由于计算速度快，通过深度图像采集设备可实时采集试穿者的运动状态，并实时调整输出的试穿画面，可实现360度观看穿衣效果。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
Claims (10)
1.一种基于style3d的虚拟试衣方法，其特征在于，包括：
(1)建立和存储基础三维模型数据库，包括人体模型数据库、发型肤色贴图库、服装样板数据库、动画数据库、三维试衣场景库；
(2)获取用户的身材指标数据，包括用户人体数据和用户人脸图像的信息；
(3)构建目标人体三维模型，利用预先构建的基础三维模型根据所述用户的身材指标数据构建所述用户的目标人体三维模型，并对所述目标人体三维模型进行加密保存；
(4)根据所述目标用户选择的服装样本，对所述服装样本进行布料模拟、虚拟缝合和制作；
(5)响应于所述用户对目标衣物的选择操作，利用所述目标人体三维模型为所述用户执行选择操作后的目标衣物呈现多方位的实时渲染效果，完成三维虚拟试衣过程，并上传云端或者手机客户端进行保存。
2.根据权利要求1所述的一种基于style3d的虚拟试衣的方法，其特征在于，步骤(1)中所述基础三维模型数据库建立是通过终端从云服务器下载并预先保存N个三维虚拟人体模型作为所述基础三维模型数据库，所述基础三维模型数据库包括人体模型数据库、发型肤色贴图库、服装样板数据库、骨骼动画数据库，其中N为大于1的自然数。
3.根据权利要求1所述的一种基于style3d的虚拟试衣的方法，其特征在于，步骤(2)中，所述身材指标数据获取方法包括：通过手机拍摄和深度摄像头拍摄获取目标用户的二维面部照片以及根据用户输入数据得到用户人体数据，所述用户人体数据包括身高、体重体型数据信息。
4.根据权利要求3所述的一种基于style3d的虚拟试衣的方法，其特征在于，步骤(3)中，构建所述用户的目标人体三维模型包括以下步骤：
根据用户的身材实际尺寸信息，在预先保存的N个三维虚拟人体模型中选择匹配的三维虚拟人体模型作为初始三维虚拟人体模型；
基于用户人体数据，终端对云服务器的初始三维虚拟人体模型进行网格训练处理，并采用SMPL模型对人体进行参数化表示；
并根据获取的身材指标数据对所述初始三维虚拟人体模型进行修正，得到所述用户的目标人体三维模型；
所述目标人体三维模型利用RSA加密算法进行加密，加密的具体过程为：
终端判定用户数据是否为私密信息，所述私密信息包括目标用户的二维面部照片及人体尺寸信息、目标用户的虚拟三维人体模型；
终端分别生成公钥和私钥对私密信息进行加密和解密，其中，公钥上传到服务器端；
当终端判断接收到的信息包含私密信息私密信息时，则将接收到的信息进行私密存储存并从默认存储模块删除所述接收到的信息；当所述目标用户再次使用虚拟试衣时，可使用本地私钥对本地数据进行私密访问，提取所述目标用户存储在私密存储区域的信息内容，减少重复输入；
加密过程中通过处理私密信息获得密文C，计算公式如下：
C＝fe(M)＝Memod(s)；
其中，fe()为加密函数；M为私密信息，(s,e)为给用户的公钥，C则是加密后的密文；
解密过程中使用私钥解锁密文以获取私密信息，计算公式如下：
M’＝fd(c)＝cdmod(s)；
其中，fd()为解密函数；c为传送的密文，(s,d)为私钥，M’是解密后的私密信息。
5.根据权利要求1所述的一种基于style3d的虚拟试衣的方法，其特征在于，步骤(4)的具体过程为：
根据用户挑选的服装二维样板在制定缝合信息规则下进行布料缝合，并对人体模型上的服装受力进行力学分析模拟和修改，将修改过面料参数的纸样置于优化后SMPL模型的所述目标人体三维模型的对应位置后完成纸样的虚拟缝合，完成虚拟缝合的各样片摆放到所述人体虚拟模型各个部位并进行加载和试穿；
其中，试穿过程利用MarvelousDesigner服装设计软件将算法生成的SMPL模型作为输入，形成试衣效果模型进行个性化服装展示与试衣。
6.根据权利要求5所述的一种基于style3d的虚拟试衣的方法，其特征在于，步骤(5)的具体步骤为：
将试衣效果模型与所述三维试衣场景融合生成试衣效果动画，对所述三维试衣场景进行全方位旋转，所述三维试衣场景与试衣效果模型在横切面固定；将所述试衣效果模型导入到选定的所述三维试衣场景中并与所述三维试衣场景进行渲染合成；
控制所述试衣效果模型执行与所述三维试衣场景相适配的动画动作，生成试衣效果动画；
呈现多方位的渲染效果，完成三维虚拟试衣过程。
7.根据权利要求6所述的一种基于style3d的虚拟试衣的方法，其特征在于，所述三维试衣场景内对应设有至少一个动画动作，通过终端预先建立有动画数据库，所述动画数据库保存有若干个动画动作，所述三维试衣场景直接调用动画数据库，实现试衣效果模型的动作变化。
8.一种基于style3d的虚拟试衣系统，其特征在于，所述系统适用于权利要求1-7中任一所述的虚拟试衣的方法，包括：数据存储单元、信息采集单元、三维模型构建单元、虚拟试衣单元、展示推送单元；
数据存储单元，用于人体模型数据库、发型肤色贴图库、服装样板数据库、动画数据库、三维场景数据库的构建和存储；
信息采集单元，用于采集用户的身材指标数据，包括用户深度图像及用户身体特征信息的采集；
三维模型构建单元，用于根据所述信息采集单元得到的信息对所述数据存储单元中的人体模型进行重构，得到目标人体三维模型并对含有私密信息进行加密处理；
三维模型构建单元包含，
信息分析模块，用于判断所述信息是否包括私密信息；
默认存储模块，用于存储不包括私密信息的数据；
私密存储模块，用于存储包括私密信息的数据；
安全认证模块，用于进入所述私密存储区域的安全认证；
虚拟试衣单元，用于对服装样本进行缝合、布料模拟，并根据数字人骨骼动画和三维场景的选择完成试衣展示；
展示推送单元，用于所述试衣效果模型与所述三维试衣场景融合生成试衣效果动画，并上传云端或者手机客户端进行保存。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器及存储所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～7任一项所述的虚拟试衣方法。
10.一种存储介质，其特征在于，所述存储介质为计算机可读的存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如权利要求1～7任一项所述的虚拟试衣方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211326478.4A CN115908701A (zh) | 2022-10-27 | 2022-10-27 | 基于style3d的虚拟试衣方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211326478.4A CN115908701A (zh) | 2022-10-27 | 2022-10-27 | 基于style3d的虚拟试衣方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115908701A true CN115908701A (zh) | 2023-04-04 |
Family
ID=86480491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211326478.4A Pending CN115908701A (zh) | 2022-10-27 | 2022-10-27 | 基于style3d的虚拟试衣方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115908701A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645494A (zh) * | 2023-06-29 | 2023-08-25 | 云创设计(深圳)集团有限公司 | 基于模型矫正的虚拟试衣系统及方法 |
| CN117830535A (zh) * | 2024-01-15 | 2024-04-05 | 内蒙古工业大学 | 一种用于蒙古族袍服展示的vr系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130083065A1 (en) * | 2011-08-02 | 2013-04-04 | Jessica Schulze | Fit prediction on three-dimensional virtual model |
| CN104992464A (zh) * | 2015-06-19 | 2015-10-21 | 上海卓易科技股份有限公司 | 虚拟试衣系统及试衣方法 |
| CN113272849A (zh) * | 2018-10-19 | 2021-08-17 | 帕菲特利有限责任公司 | 帕菲特利perfitly ar/vr平台 |
| CN114663199A (zh) * | 2022-05-17 | 2022-06-24 | 武汉纺织大学 | 一种动态展示的实时三维虚拟试衣系统及方法 |
-
2022
- 2022-10-27 CN CN202211326478.4A patent/CN115908701A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130083065A1 (en) * | 2011-08-02 | 2013-04-04 | Jessica Schulze | Fit prediction on three-dimensional virtual model |
| CN104992464A (zh) * | 2015-06-19 | 2015-10-21 | 上海卓易科技股份有限公司 | 虚拟试衣系统及试衣方法 |
| CN113272849A (zh) * | 2018-10-19 | 2021-08-17 | 帕菲特利有限责任公司 | 帕菲特利perfitly ar/vr平台 |
| CN114663199A (zh) * | 2022-05-17 | 2022-06-24 | 武汉纺织大学 | 一种动态展示的实时三维虚拟试衣系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张靖: "《网络信息安全技术》", 31 July 2020, 北京：北京理工大学出版社, pages: 35 - 36 * |
| 陈萱: "《电子商务概论》", 28 February 2005, 上海：上海交通大学出版社, pages: 294 - 296 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645494A (zh) * | 2023-06-29 | 2023-08-25 | 云创设计(深圳)集团有限公司 | 基于模型矫正的虚拟试衣系统及方法 |
| CN116645494B (zh) * | 2023-06-29 | 2024-02-23 | 云创设计(深圳)集团有限公司 | 基于模型矫正的虚拟试衣系统及方法 |
| CN117830535A (zh) * | 2024-01-15 | 2024-04-05 | 内蒙古工业大学 | 一种用于蒙古族袍服展示的vr系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200380333A1 (en) | System and method for body scanning and avatar creation | |
| US11640672B2 (en) | Method and system for wireless ultra-low footprint body scanning | |
| US10628666B2 (en) | Cloud server body scan data system | |
| US20190130649A1 (en) | Clothing Model Generation and Display System | |
| CN115908701A (zh) | 基于style3d的虚拟试衣方法及系统 | |
| CN108305312B (zh) | 3d虚拟形象的生成方法和装置 | |
| US20110298897A1 (en) | System and method for 3d virtual try-on of apparel on an avatar | |
| US10311508B2 (en) | Garment modeling simulation system and process | |
| TW200828043A (en) | Terminal try-on simulation system and operating and applying method thereof | |
| CN108734557A (zh) | 用于生成服饰推荐信息的方法、装置和系统 | |
| CN107251025A (zh) | 用于从三维模型生成虚拟内容的系统和方法 | |
| CN107251026A (zh) | 用于生成虚拟情境的系统和方法 | |
| CN114663199A (zh) | 一种动态展示的实时三维虚拟试衣系统及方法 | |
| Neumann et al. | Capture and Statistical Modeling of Arm‐Muscle Deformations | |
| CN113610612B (zh) | 一种3d虚拟试衣方法、系统及存储介质 | |
| Li et al. | In-home application (App) for 3D virtual garment fitting dressing room | |
| CN109523345A (zh) | 基于虚拟现实技术的WebGL虚拟试衣系统和方法 | |
| CN110291560A (zh) | 用于创建人的三维虚拟表示的方法 | |
| KR102419329B1 (ko) | 가상현실(vr) 기기를 이용한 스마트 스타일링 정보 제공 시스템 및 그 방법 | |
| AU2017260525B2 (en) | Method and system for body scanning and display of biometric data | |
| CN107403351A (zh) | 一种用于电商平台的商品展示方法及其配套软件、设备 | |
| CN108549484B (zh) | 基于人体动态姿态的人机交互方法和装置 | |
| WO2018182938A1 (en) | Method and system for wireless ultra-low footprint body scanning | |
| KR20190057516A (ko) | 증강현실을 이용한 인공지능형 토탈패션 스타일링 시스템 | |
| KR20200067102A (ko) | 메이크업 제품의 현실적인 렌더링을 시뮬레이션하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |