CN113129450B - 虚拟试衣方法、装置、电子设备和介质 - Google Patents
虚拟试衣方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN113129450B CN113129450B CN202110433104.1A CN202110433104A CN113129450B CN 113129450 B CN113129450 B CN 113129450B CN 202110433104 A CN202110433104 A CN 202110433104A CN 113129450 B CN113129450 B CN 113129450B
- Authority
- CN
- China
- Prior art keywords
- target object
- virtual model
- information
- garment
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000009877 rendering Methods 0.000 claims abstract description 32
- 230000004044 response Effects 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 4
- 230000003190 augmentative effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 19
- 210000000988 bone and bone Anatomy 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000037303 wrinkles Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000011664 nicotinic acid Substances 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开公开了一种虚拟试衣方法、装置、电子设备和介质，具体涉及增强现实技术和深度学习技术领域，尤其涉及人机交互的增强现实领域。虚拟试衣方法包括：获取目标对象的图像；基于所述目标对象的图像，生成针对所述目标对象的3D虚拟模型；响应于对多个服装样本中至少一个服装样本的选择，将所选择的至少一个服装样本的3D模型与所述3D虚拟模型相关联，得到关联3D图像数据；以及对所述关联3D图像数据进行渲染，以便呈现。
Description
技术领域
本公开涉及增强现实技术和深度学习技术领域，尤其涉及人机交互的增强现实技术领域，具体涉及一种基于自动生成的虚拟人体试衣系统和方法。
背景技术
随着电子商务的迅猛发展，线上购物已经成为趋势，其中，服装销售占了很大比重。与线下服装销售相比，线上购买服装存在资源丰富、价格透明等优势。然而，消费者倾向于依据自己的感受挑选服装，仅仅依靠线上模特展示是不够的。原因在于，每个人都有自己独特的身材，不同的服装在每个人身上的穿搭效果不同。因此，需要一种快速、真实的虚拟试衣技术。
发明内容
本公开提供了一种虚拟试衣方法、装置、电子设备和介质。
根据本公开的一方面，提供了一种虚拟试衣方法，包括：
获取目标对象的图像；
基于目标对象的图像，生成针对目标对象的3D虚拟模型；
响应于对多个服装样本中至少一个服装样本的选择，将所选择的至少一个服装样本的3D模型与3D虚拟模型相关联，得到关联3D图像数据；以及
对关联3D图像数据进行渲染，以便呈现。
根据本公开的另一方面，提供了一种虚拟试衣装置，包括：
获取模块，用于获取目标对象的图像；
生成模块，用于基于目标对象的图像，生成针对目标对象的3D虚拟模型；
关联模块，用于响应于对多个服装样本中至少一个服装样本的选择，将所选择的至少一个服装样本的3D模型与3D虚拟模型相关联，得到关联3D图像数据；以及
渲染模块，用于对关联3D图像数据进行渲染，以便呈现。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开的一方面的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开的一方面的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开的一方面的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1A是根据本公开实施例的虚拟试衣方法的流程图；
图1B是根据本公开实施例的生成针对目标对象的3D虚拟模型的流程图；
图1C是根据本公开实施例的对关联3D图像数据进行渲染的流程图；
图2是根据本公开实施例的3D虚拟模型的示意图；
图3是根据本公开实施例的人体参数输入界面的示意图；
图4是根据本公开实施例的提供经过渲染的3D图像以供呈现的示意图；
图5是根据本公开实施例的渲染过程的示意图；
图6是根据本公开实施例的虚拟试衣装置的示意图；
图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
通常2D虚拟试衣仅使用用户头部图片，配合提前预置的待试穿的上下装正面2D图片，直接拼接图片而成。然而，2D虚拟试衣技术仅能提供固定视角的预览效果，无法实现多视角、多姿势的试穿效果，并且因为服装图片为2D图片，缺乏3D服装的材质、几何属性，因此无法实现不同体型和姿态情况下的物理仿真模拟。机器人仿生试穿需要使用实体的仿生机器人，该机器人需要足够的自由度满足不同躯干尺寸的呈现，成本非常高昂。实时动捕类算法则要求用户在试穿期间始终站在镜头前面，对于手机等屏幕较小的终端设备，不利于尝试全身试穿，同时用户模型的建立单纯基于摄像头采集的图像数据来估算用户躯体位置和尺寸，无法精确呈现用户身体的外形尺寸，并且在用户穿着宽松衣服的时候，误差较大。
图1A是根据本公开实施例的虚拟试衣方法100的流程图。
在步骤S110，获取目标对象的图像。在一些实施例中，图像可以是用户上传的人物图像，包括但不限于全身照、半身照等等。
在步骤S120，基于目标对象的图像，生成针对目标对象的3D虚拟模型。在一些实施例中，3D虚拟模型包括骨骼点数据以及与骨骼点数据相关联的表面网格(Mesh)点数据。
在步骤S130，响应于对多个服装样本中至少一个服装样本的选择，将所选择的至少一个服装样本的3D模型与3D虚拟模型相关联，得到关联3D图像数据。在一些实施例中，可以通过交互界面，例如图形用户界面(GUI，Graphical User Interface)，选择目标对象希望试穿的服装品牌、型号及尺寸。
在一些实施例中，服装样本的3D模型包括与服装样本绑定的服装骨骼信息。可以通过将所选择的至少一个服装样本的3D模型的服装骨骼信息与3D虚拟模型的骨骼点数据进行映射，来实现服装样本的3D模型与3D虚拟模型的关联。
在步骤S140，对关联3D图像数据进行渲染，以便呈现。在一些实施例中，将关联3D图像数据渲染为一个具备真实感的3D图像。
在一些实施例中，还可以根据预设人体比例和/或接收到的人体参数对步骤S120中生成的3D虚拟模型进行调整。例如可以通过图形用户界面(GUI)输入对3D虚拟模型进行调整的人体参数，使得3D虚拟形象的形状与目标对象的身体特征更加匹配。输入的人体参数可以包括目标对象的三围、腿围、身高、腿长中的至少一些，可以基于输入的人体参数，根据预设人体比例缩放得到其他人体参数的值。在一些实施例中，也可以选择不进行任何输入。在一些实施例中，3D虚拟模型包括骨骼点以及与骨骼点相关联的表面网格点，通过调整3D虚拟模型的骨骼点数据的位置信息，可以改变表面网格点位置，从而调整3D虚拟模型的形状信息。
本公开的实施例通过基于所述目标对象的图像生成目标对象的3D虚拟模型来与服装样本相关联，使得能够向用户呈现出选择穿搭的服装与目标对象的3D虚拟模型同步运动的展示效果，从而相对简单的方式提供更准确的试穿效果。
图1B是根据本公开实施例的生成针对目标对象的3D虚拟模型的流程图。
在步骤S1201，对目标对象的图像进行识别，得到目标对象的人体特征信息。人体特征信息可以包括脸部形象信息、四肢长短比例信息和躯干粗细信息中至少一项。
在步骤S1202，生成3D虚拟模型，使得3D虚拟模型与人体特征信息之间的相似度高于预定阈值。
在一些实施例中，由于已经获取目标对象的图像，并且3D虚拟模型包括骨骼点以及与骨骼点相关联的表面网格点，因此可以通过调整3D虚拟模型的骨骼点数据的位置信息，来改变表面网格点位置，从而使3D虚拟模型的脸部形象信息、四肢长短比例信息和躯干粗细信息等人体特征信息与真实目标对象的人体特征信息之间的相似度高于预定阈值。通过这种方式，能够提供更准确的3D虚拟模型。
图1C是根据本公开实施例的对关联3D图像数据进行渲染的流程图。
在步骤S1501，在3D虚拟模型上添加目标对象的运动姿态数据或静态姿势数据，以得到添加结果。运动姿态可以包括肢体动作。
在步骤S1502，计算服装样本与目标对象之间的贴合度。
具体地，服装样本在不同的目标对象上呈现出不同的纹理，例如褶皱、凸起、凹陷等形状变化。计算贴合度，以真实地模拟服装样本在该目标对象上的各种形状变化，形成褶皱、凹凸等效果。
在步骤S1503，基于添加结果和贴合度，根据渲染属性信息，对关联3D图像数据进行渲染。渲染属性信息可以包括服装样本属性信息、光照信息和对象皮肤信息中的至少一项。在一些实施例中，从素材库获取服装样本的服装样本属性，并从本地数据库获取光照信息和对象皮肤信息。也可以仅获取以上列出的渲染属性信息中的至少一项。
本公开的实施例通过在3D虚拟模型上添加运动姿态数据或静态姿势数据并计算服装样本与目标对象之间的贴合度，能够使渲染结果中体现出目标对象的运动姿态或静止姿势以及服装穿在目标对象身上的褶皱、凸起和凹陷等细节信息，从而提供更生动、更逼真的服装试穿效果。
下面将参考图2至图5来说明根据本公开实施例的虚拟试衣方法的示例。
图2是根据本公开实施例的生成和调整3D虚拟模型的示意图。
如图2所示，目标对象的图像210可以是用户上传的人物图像，包括但不限于全身照、半身照等等。
基于目标对象的图像210生成针对目标对象的3D虚拟模型220。在一些实施例中，3D虚拟模型包括骨骼点数据以及与骨骼点数据相关联的表面网格点数据。
在生成3D虚拟模型之后，还可以对所生成的3D虚拟模型220进行调整，以得到更精确的3D虚拟模型230。调整方式有多种，例如可以借助于骨骼驱动的3D模型来实现对3D虚拟模型220的调整，或者通过对多组混合变形(Blendshape)进行线性加权来实现对3D虚拟模型的调整。
在一些实施例中，通过对目标对象的图像进行识别，得到目标对象的人体特征信息。通过调整3D虚拟模型的骨骼点数据的位置信息，可以改变表面网格点位置，从而调整所生成的3D虚拟模型220。例如可以在交互界面中向用户展示包括多个骨骼点的虚拟模型，响应于用户在交互界面中例如通过拖拽或移动的方式改变骨骼点的位置，可以改变表面与骨骼点对应的网格点的位置，从而改变3D虚拟模型的形状。通过这种方式，可以使经调整的3D虚拟模型230与人体特征信息之间的相似度高于预定阈值。人体特征信息包括脸部形象、四肢长短比例和躯干粗细中至少一项。
在又一些实施例中，可以根据预设人体比例和/或接收到的人体参数对3D虚拟模型220进行调整。例如可以通过图形用户界面(GUI)输入对3D虚拟模型进行调整的人体参数，使得3D虚拟形象的形状与目标对象的身体特征更加匹配。输入的人体参数可以包括目标对象的三围、腿围、身高、腿长中的至少一些，可以基于输入的人体参数，根据预设人体比例缩放得到其他人体参数的值。
如图2所示，受到目标对象的图像210中的衣物影响，所生成的3D虚拟模型220的腰围、腿围等比目标对象的真实腰围、腿围大，因此，对象可以对所生成的3D虚拟模型220进行调整，以得到与目标对象具有大体上一致的腰围、腿围及其他人体特征信息的调整后的3D虚拟模型230。通过对所生成的3D虚拟模型220进行调整，以得到更精确的3D虚拟模型230，并进一步将服装样本的3D模型与调整后的3D虚拟模型230相关联，可以向对象呈现服装样本在目标对象上的更真实的试穿效果。
图3是根据本公开实施例的人体参数输入界面的示意图。
如图3所示的人体参数输入界面包括多个输入区域310，用于输入对3D虚拟模型进行调整的人体参数。例如输入的人体参数可以包括目标对象的三围、腿围、身高、腿长中的至少一项。
可以仅输入所列出的人体参数中的一些，并基于已经输入的人体参数而缩放得到其他人体参数。在不希望进行输入，或者不了解目标对象的躯干属性的情况下，也可以选择不输入任何人体参数。
图4是根据本公开实施例的提供经过渲染的3D图像以供呈现的示意图。
如图4所示，3D虚拟模型410可以是通过上述方式生成的或调整的3D虚拟模型。可以响应于对多个服装样本中至少一个服装样本的选择，将所选择的至少一个服装样本的3D模型与3D虚拟模型相关联，得到关联3D图像数据420。例如，可以向用户呈现交互界面，用户可以通过该交互界面来选择希望试穿的服装的相关信息，包括但不限于服装的品牌、型号及尺寸。可以根据用户输入的服装相关信息来给用户提供多个服装样本，响应于用户在多个服装样本中选择了一个或多个服装样本，从素材库中检索针对所选服装样本的服装3D模型，以与3D虚拟模型相关联。例如，可以将用户选择的上衣A的3D模型以及用户选择的裙子B的3D模型均与基于能够体现用户身材特征的3D虚拟模型410相关联，以便于后续进行渲染。
服装的3D模型包括但不限于服装骨骼信息。在一些实施例中，可以在设计师在设计阶段为服装3D模型手动绑定服装骨骼信息。可以从素材库中获取所选择的至少一个服装样本的服装骨骼信息，将该服装骨骼信息与3D虚拟模型的骨骼点数据进行映射，以实现所选择的至少一个服装样本的3D模型与所述3D虚拟模型相关联。通过这种方式，可以实现服装与虚拟形象同步运动的展示效果。
在得到关联3D图像数据420之后，可以对关联3D图像数据420进行渲染，得到渲染后的3D图像数据430。
图5是根据本公开实施例的渲染过程的示意图。
如图5所示，可以利用骨骼动画引擎510、物理引擎520和3D渲染引擎530来对通过上述方式得到的关联3D图像数据执行渲染。如上所述，关联3D图像数据包括彼此关联的3D虚拟模型以及服装样本的3D模型。骨骼动画引擎510、物理引擎520和3D渲染引擎530可以为计算机软件模块，也可以包括软件、硬件、固件的任意组合，本公开实施例对此不作限制。
可以将关联3D图像数据中的3D虚拟模型提供给骨骼动画引擎510，骨骼动画引擎510在3D虚拟模型上添加目标对象的运动姿态数据或静态姿势数据，以得到添加结果数据。运动姿态可以包括肢体动作。
物理引擎520计算服装样本与目标对象之间的贴合度。例如可以根据服装样本的3D模型于目标对象的3D虚拟模型来计算服装样本与目标对象之间的贴合度，以便于在渲染结果中体现出服装样本在目标对象上的纹理，例如褶皱、凸起、凹陷等形状变化。物理引擎520计算贴合度，以真实地模拟服装样本在该目标对象上的各种形状变化，形成褶皱、凹凸等效果。
3D渲染引擎530获取渲染属性信息，例如可以从素材库获取服装样本的服装样本属性，并从本地数据库获取光照信息和对象皮肤信息。3D渲染引擎530也可以获取以上列出的渲染属性信息中的至少一项。3D渲染引擎953基于骨骼动画引擎510提供的添加结果和物理引擎520提供的贴合度，根据渲染属性信息，对关联3D图像数据进行渲染。在渲染过程中，可以基于渲染后的3D图像数据与图像识别出的目标对象的人体特征信息之间的相似度来调整渲染结果，直至所述相似度高于预定阈值。因此，3D虚拟模型可以准确地呈现目标对象的各种人体特征信息。可以在用户界面中呈现渲染后的3D图像数据，从而向用户呈现直观、准确的3D试穿效果。
本公开的实施例通过将服装样本的3D模型与3D虚拟模型相关联，使得能够向用户呈现出选择穿搭的服装与目标对象的3D虚拟模型同步运动的展示效果，而不会出现如2D虚拟试衣中的分层效果。
通过本公开的以上各实施例，为目标对象建立了3D虚拟模型，在希望查看多视角、多姿势、多场景的试衣效果时，不需要调整目标对象的身体姿势，仅需要在终端设备上点击即可以查看。进一步地，由于本公开实施例的方法使用的是用户上传目标对象的图像，而不是实时拍摄的用户图像，因此可以由其他对象根据试穿效果为目标对象选择服装。例如，在由其他对象为目标对象选购服装时，将渲染后的3D图像呈现给该其他对象，以观看试穿效果。
图6是根据本公开实施例的虚拟试衣装置600的示意图。
如图6所示，虚拟人体试衣装置600包括获取模块610、生成模块620、关联模块630和渲染模块640。
获取模块610用于获取目标对象的图像。图像可以是用户上传的人物图像，包括但不限于全身照、半身照等等。
生成模块620用于基于目标对象的图像，生成针对目标对象的3D虚拟模型。在一些实施例中，3D虚拟模型包括骨骼点数据以及与骨骼点数据相关联的表面网格点数据。
关联模块630用于响应于对多个服装样本中至少一个服装样本的选择，将所选择的至少一个服装样本的3D模型与3D虚拟模型相关联，得到关联3D图像数据。在一些实施例中，可以通过图形用户界面GUI选择目标对象希望试穿的服装品牌、型号及尺寸。在一些实施例中，服装样本的3D模型包括与服装样本绑定的服装骨骼信息。可以通过将所选择的至少一个服装样本的3D模型的服装骨骼信息与3D虚拟模型的骨骼点数据进行映射，来实现服装样本的3D模型与3D虚拟模型的关联。
渲染模块640用于对关联3D图像数据进行渲染，以便呈现。在一些实施例中，将关联3D图像数据渲染为一个具备真实感的3D图像。
在一些实施例中，除了获取模块610、生成模块620、关联模块630和渲染模块640之外，虚拟试衣装置600还可以包括调整模块。调整模块可以根据预设人体比例和/或接收到的人体参数对所述3D虚拟模型进行调整。例如调整模块可以对生成模块620生成的3D虚拟模型进行调整。在一些实施例中，可以通过GUI输入对3D虚拟模型进行调整的人体参数，使得3D虚拟形象的形状与目标对象的身体特征更加匹配。输入的人体参数可以包括目标对象的三围、腿围、身高、腿长中的至少一些，可以基于输入的人体参数，根据预设人体比例缩放得到其他人体参数的值。在一些实施例中，也可以选择不进行任何输入。在一些实施例中，3D虚拟模型包括骨骼点以及与骨骼点相关联的表面网格点，通过调整3D虚拟模型的骨骼点数据的位置信息，可以改变表面网格点位置，从而调整3D虚拟模型的形状信息。例如可以通过交互界面来接收用户输入的用于对3D虚拟模型进行调整的人体参数，使得3D虚拟形象的形状与目标对象的身体特征更加匹配。根据输入的人体参数得到调整后的3D虚拟模型。在一些实施例中，可以利用骨骼驱动的3D模型或多组Blendshape进行线性加权来调整3D虚拟模型。还可以通过调整3D虚拟模型的骨骼点数据的位置信息，来改变表面网格点位置，从而调整3D虚拟模型的形状信息。
本公开的实施例通过基于所述目标对象的图像生成目标对象的3D虚拟模型来与服装样本相关联，使得能够向用户呈现出选择穿搭的服装与目标对象的3D虚拟模型同步运动的展示效果，从而相对简单的方式提供更准确的试穿效果。
根据本公开的实施例，还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。通过基于所述目标对象的图像生成目标对象的3D虚拟模型来与服装样本相关联，使得能够向用户呈现出选择穿搭的服装与目标对象的3D虚拟模型同步运动的展示效果，从而相对简单的方式提供更准确的试穿效果。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如方法100。例如，在一些实施例中，上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM703并由计算单元701执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (13)
1.一种虚拟试衣方法，包括：
获取目标对象的图像；
基于所述目标对象的图像，生成针对所述目标对象的3D虚拟模型；
响应于对多个服装样本中至少一个服装样本的选择，将所选择的至少一个服装样本的3D模型与所述3D虚拟模型相关联，得到关联3D图像数据；
在所述3D虚拟模型上添加所述目标对象的运动姿态数据或静态姿势数据，以得到添加结果；
计算所述服装样本与所述目标对象之间的贴合度；以及
基于所述添加结果和贴合度，根据渲染属性信息，对所述关联3D图像数据进行渲染，以便呈现。
2.根据权利要求1所述的方法，还包括：
根据预设人体比例和/或接收到的人体参数对所述3D虚拟模型进行调整。
3.根据权利要求1所述的方法，其中，所述3D虚拟模型包括骨骼点数据以及与骨骼点数据相关联的表面网格点数据。
4.根据权利要求1所述的方法，其中，生成针对所述目标对象的3D虚拟模型包括：
对所述目标对象的图像进行识别，得到所述目标对象的人体特征信息；以及
生成所述3D虚拟模型，使得所述3D虚拟模型与所述人体特征信息之间的相似度高于预定阈值。
5.根据权利要求4所述的方法，其中，所述人体特征信息包括脸部形象信息、四肢长短比例信息、躯干粗细信息中至少一项。
6.根据权利要求1所述的方法，其中，所述服装样本的3D模型包括与所述服装样本绑定的服装骨骼信息，
所述将所选择的至少一个服装样本的3D模型与所述3D虚拟模型相关联包括：
将所述至少一个服装样本的3D模型的所述服装骨骼信息与所述3D虚拟模型的骨骼点数据进行映射。
7.根据权利要求2所述的方法，其中，对所述3D虚拟模型进行调整还包括，通过调整所述3D虚拟模型的骨骼点数据的位置信息来调整所述3D虚拟模型的形状信息。
8.根据权利要求1所述的方法，其中，
所述渲染属性信息包括服装样本属性信息、光照信息和对象皮肤信息中的至少一项。
9.根据权利要求1所述的方法，其中，所述图像是静态图片。
10.一种虚拟试衣装置，包括：
获取模块，用于获取目标对象的图像；
生成模块，用于基于所述目标对象的图像，生成针对所述目标对象的3D虚拟模型；
关联模块，用于响应于对多个服装样本中至少一个服装样本的选择，将所选择的至少一个服装样本的3D模型与所述3D虚拟模型相关联，得到关联3D图像数据；以及
渲染模块，在所述3D虚拟模型上添加所述目标对象的运动姿态数据或静态姿势数据，以得到添加结果；计算所述服装样本与所述目标对象之间的贴合度；以及基于所述添加结果和贴合度，根据渲染属性信息，对所述关联3D图像数据进行渲染，以便呈现。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～9中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～9中任一项所述的方法。
13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110433104.1A CN113129450B (zh) | 2021-04-21 | 2021-04-21 | 虚拟试衣方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110433104.1A CN113129450B (zh) | 2021-04-21 | 2021-04-21 | 虚拟试衣方法、装置、电子设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113129450A CN113129450A (zh) | 2021-07-16 |
| CN113129450B true CN113129450B (zh) | 2024-04-05 |
Family
ID=76778838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110433104.1A Active CN113129450B (zh) | 2021-04-21 | 2021-04-21 | 虚拟试衣方法、装置、电子设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113129450B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793409A (zh) * | 2021-09-10 | 2021-12-14 | 上海幻电信息科技有限公司 | 虚拟道具展示方法及装置 |
| JP7055526B1 (ja) * | 2021-11-26 | 2022-04-18 | 株式会社Vrc | 情報処理装置、情報処理方法、情報処理システム、及びプログラム |
| CN115222862B (zh) * | 2022-06-29 | 2024-03-01 | 支付宝(杭州)信息技术有限公司 | 虚拟人衣物生成方法、装置、设备、介质及程序产品 |
| CN115147681B (zh) * | 2022-06-30 | 2023-07-21 | 北京百度网讯科技有限公司 | 服饰生成模型的训练、生成服饰图像的方法和装置 |
| CN115272564B (zh) * | 2022-07-15 | 2023-06-06 | 中关村科学城城市大脑股份有限公司 | 动作视频发送方法、装置、设备和介质 |
| CN115331309A (zh) * | 2022-08-19 | 2022-11-11 | 北京字跳网络技术有限公司 | 用于识别人体动作的方法、装置、设备和介质 |
| CN116051694B (zh) * | 2022-12-20 | 2023-10-03 | 百度时代网络技术（北京）有限公司 | 虚拟形象生成方法、装置、电子设备以及存储介质 |
| CN116824014B (zh) * | 2023-06-29 | 2024-06-07 | 北京百度网讯科技有限公司 | 用于虚拟形象的数据生成方法、装置、电子设备、介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298797A (zh) * | 2011-08-31 | 2011-12-28 | 深圳市美丽同盟科技有限公司 | 三维虚拟试衣的方法、装置及系统 |
| CN104463596A (zh) * | 2014-11-04 | 2015-03-25 | 于森 | 一种服装定制服务平台及定制方法 |
| WO2015167039A1 (ko) * | 2014-04-28 | 2015-11-05 | (주)에프엑스기어 | 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치 및 방법 |
| CN106327589A (zh) * | 2016-08-17 | 2017-01-11 | 北京中达金桥技术股份有限公司 | 基于Kinect的3D虚拟试衣镜的实现方法及系统 |
| WO2017106934A1 (en) * | 2015-12-24 | 2017-06-29 | Mport Pty Ltd | Computer implemented frameworks and methodologies configured to enable the generation, processing and management of 3d body scan data, including shared data access protocols and collaborative data utilisation, and identify verification for 3d environments |
| CN107895315A (zh) * | 2017-12-25 | 2018-04-10 | 戴睿 | 一种基于虚拟现实的网购试衣系统及方法 |
| CN107924532A (zh) * | 2015-08-10 | 2018-04-17 | 立体丈量公司 | 用于提供服装模型的描绘的方法及设备 |
| CN110363867A (zh) * | 2019-07-16 | 2019-10-22 | 芋头科技（杭州）有限公司 | 虚拟装扮系统、方法、设备及介质 |
| CN110751730A (zh) * | 2019-07-24 | 2020-02-04 | 叠境数字科技（上海）有限公司 | 一种基于深度神经网络的穿衣人体体型估计方法 |
| KR20200023970A (ko) * | 2018-08-27 | 2020-03-06 | 전호윤 | 가상 피팅 지원 시스템 |
| CN111695471A (zh) * | 2020-06-02 | 2020-09-22 | 北京百度网讯科技有限公司 | 虚拟形象生成方法、装置、设备以及存储介质 |
| CN111882380A (zh) * | 2020-06-30 | 2020-11-03 | 飞诺门阵(北京)科技有限公司 | 一种虚拟试衣的方法、装置、系统及电子设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6404426B1 (en) * | 1999-06-11 | 2002-06-11 | Zenimax Media, Inc. | Method and system for a computer-rendered three-dimensional mannequin |
| US20120306850A1 (en) * | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Distributed asynchronous localization and mapping for augmented reality |
| US10109112B2 (en) * | 2014-12-12 | 2018-10-23 | Ebay Inc. | Fit simulation garment |
-
2021
- 2021-04-21 CN CN202110433104.1A patent/CN113129450B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298797A (zh) * | 2011-08-31 | 2011-12-28 | 深圳市美丽同盟科技有限公司 | 三维虚拟试衣的方法、装置及系统 |
| WO2015167039A1 (ko) * | 2014-04-28 | 2015-11-05 | (주)에프엑스기어 | 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치 및 방법 |
| CN104463596A (zh) * | 2014-11-04 | 2015-03-25 | 于森 | 一种服装定制服务平台及定制方法 |
| CN107924532A (zh) * | 2015-08-10 | 2018-04-17 | 立体丈量公司 | 用于提供服装模型的描绘的方法及设备 |
| WO2017106934A1 (en) * | 2015-12-24 | 2017-06-29 | Mport Pty Ltd | Computer implemented frameworks and methodologies configured to enable the generation, processing and management of 3d body scan data, including shared data access protocols and collaborative data utilisation, and identify verification for 3d environments |
| CN106327589A (zh) * | 2016-08-17 | 2017-01-11 | 北京中达金桥技术股份有限公司 | 基于Kinect的3D虚拟试衣镜的实现方法及系统 |
| CN107895315A (zh) * | 2017-12-25 | 2018-04-10 | 戴睿 | 一种基于虚拟现实的网购试衣系统及方法 |
| KR20200023970A (ko) * | 2018-08-27 | 2020-03-06 | 전호윤 | 가상 피팅 지원 시스템 |
| CN110363867A (zh) * | 2019-07-16 | 2019-10-22 | 芋头科技（杭州）有限公司 | 虚拟装扮系统、方法、设备及介质 |
| CN110751730A (zh) * | 2019-07-24 | 2020-02-04 | 叠境数字科技（上海）有限公司 | 一种基于深度神经网络的穿衣人体体型估计方法 |
| CN111695471A (zh) * | 2020-06-02 | 2020-09-22 | 北京百度网讯科技有限公司 | 虚拟形象生成方法、装置、设备以及存储介质 |
| CN111882380A (zh) * | 2020-06-30 | 2020-11-03 | 飞诺门阵(北京)科技有限公司 | 一种虚拟试衣的方法、装置、系统及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| Research of Interactive 3D Virtual Fitting Room on Web Environment;Rong Li etal.;《2011 Fourth International Symposium on Computational Intelligence and Design》;20111117;全文 * |
| 虚拟试衣技术的现状研究;王佳等;《轻功科技》;20201231;第36卷(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113129450A (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113129450B (zh) | 虚拟试衣方法、装置、电子设备和介质 | |
| US11662829B2 (en) | Modification of three-dimensional garments using gestures | |
| US11270373B2 (en) | Method system and medium for generating virtual contexts from three dimensional models | |
| US20200380333A1 (en) | System and method for body scanning and avatar creation | |
| KR102346320B1 (ko) | 고속 3d 모델 피팅 및 인체 측정법 | |
| US11164381B2 (en) | Clothing model generation and display system | |
| US9984409B2 (en) | Systems and methods for generating virtual contexts | |
| US20160078663A1 (en) | Cloud server body scan data system | |
| KR102130709B1 (ko) | 디지털 패션 기반 제품 미리보기를 이용한 커스텀 의류 제작 서비스 제공 방법 | |
| US20110298897A1 (en) | System and method for 3d virtual try-on of apparel on an avatar | |
| CN113362263A (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
| CN116342782A (zh) | 生成虚拟形象渲染模型的方法和装置 | |
| CN111599002A (zh) | 用于生成图像的方法和装置 | |
| WO2016109035A1 (en) | Generating and displaying an actual sized interactive object | |
| US10482646B1 (en) | Directable cloth animation | |
| WO2018182938A1 (en) | Method and system for wireless ultra-low footprint body scanning | |
| CN110349269A (zh) | 一种目标穿戴物试戴方法及系统 | |
| CN115147508B (zh) | 服饰生成模型的训练、生成服饰图像的方法和装置 | |
| CN116385643B (zh) | 虚拟形象生成、模型的训练方法、装置及电子设备 | |
| CN115147578B (zh) | 风格化三维人脸生成方法、装置、电子设备及存储介质 | |
| CN116416361A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| KR20230077646A (ko) | 실감형 패션 메타버스 서비스 제공하는 방법, 그 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체 | |
| CN116977417A (zh) | 位姿估计方法、装置、电子设备及存储介质 | |
| Yan et al. | Animation of Refitted 3D Garment Models for Reshaped Bodies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |