CN106251200B - 基于实例的虚拟试衣方法 - Google Patents

基于实例的虚拟试衣方法 Download PDF

Info

Publication number
CN106251200B
CN106251200B CN201610603275.3A CN201610603275A CN106251200B CN 106251200 B CN106251200 B CN 106251200B CN 201610603275 A CN201610603275 A CN 201610603275A CN 106251200 B CN106251200 B CN 106251200B
Authority
CN
China
Prior art keywords
clothes
deformation
human body
deformation matrix
triangular facet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610603275.3A
Other languages
English (en)
Other versions
CN106251200A (zh
Inventor
石敏
王俊铮
毛天露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN201610603275.3A priority Critical patent/CN106251200B/zh
Publication of CN106251200A publication Critical patent/CN106251200A/zh
Application granted granted Critical
Publication of CN106251200B publication Critical patent/CN106251200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于实例的虚拟试衣方法,包含以下步骤,1)获取服装变形矩阵数据,从不同人体体型的服装上获取服装的变形矩阵数据;服装的变形矩阵是指把同一款服装穿到两个不同体型的人体上,从而由这两件服装对应的三角面上计算他们的仿射变形矩阵;2)获取服装粗变形,所述粗变形是指过滤了服装款式信息的服装变形,根据获取的服装变形矩阵,得到两个人体模型的服装粗变形;3)虚拟试衣过程,所述虚拟试衣过程是应用之前求得的每个人体的每件服装的变形矩阵对服装进行变形,并处理变形后的服装,使其能更好地贴合指定人体。

Description

基于实例的虚拟试衣方法
技术领域
本发明属于虚拟现实技术领域和计算机图形学领域,具体涉及一种基于实例 的虚拟试衣方法。
背景技术
随着电子商务的不断发展,网购服装也越来越受人们的青睐,但由于服装对 于不同人的穿戴效果差异很大,图文信息展示的服装细节也十分有限,导致客户 很难准确估计自己试穿的效果,这在影响网购服装数量的同时,也使得网购服装 的退换货率居高不下。为解决这个问题,虚拟试衣相关技术应运而生,并受到越 来越多的关注。目前,虚拟试衣相关技术的研究已经取得了一定成果,但是仍然 存在一些问题需要进一步研究。
现有的虚拟试衣方法研究通常分为虚拟试衣镜技术和3D虚拟试衣技术。虚 拟试衣镜是指,当购物者站在虚拟试衣镜前时,装置自动显示试穿新衣以后的三 维图像,如德国Total Immersion公司的“Trylive”,日本Digital Fashion 公司的“Active Lab”等。现存服装的虚拟试衣镜,大多仍是将具有3D效果的 二维图片映射到人体前面,不能很好的模拟逼真的布料质感和褶皱,服装也不能 根据人的体型进行自动调整,达不到满意的试衣效果。
3D虚拟试衣技术是真正意义上的三维试衣技术,其根据用户真实的人体体 型系数构造三维人体模型,随后通过服装变形算法变形服装,从而获得逼真的人 体服装姿态。3D虚拟试衣技术的关键在于服装变形算法,其研究可以分为基于 物理的变形方法和基于几何的变形方法。基于物理的变形方法可以得到效果很好 的服装,但速度较慢,而且对于体型差异过大的情况,还需要配合手工的拖拽, 这在实际的虚拟试衣中是不可接受的。基于几何的变形方法大多根据人体的体型 差异来变形服装,从而获得效果较好的合身于目标人体的服装,但这样的变形为 了达到合身的要求,很难保存服装原有的款式,这是不符合实际情况的。
在服装变形中,如何在兼顾速度的效果情况下,遵从人体变形,得到合身服 装,并且保留服装的款式信息,这个问题还没有得到很好的解决。
发明内容
本发明致力于解决3D虚拟试衣的服装变形中存在的上述问题。通常情况下, 虚拟试衣平台存储的服装模型数据和用户的人体模型数据是庞大的,很难为每个 人体模型都准备好合身的所有款式的服装模型,所以当用户选择试穿一件服装模 型时,需要把该服装模型变形至合身于这个用户的体型,从而把该款式的服装呈 现在用户自己体型的人体模型上。为此,本发明所公开的基于实例的虚拟试衣方 法包含以下步骤,
1)获取服装变形矩阵数据,从不同人体体型的服装上获取服装的变形矩阵 数据;服装的变形矩阵是指把同一款服装穿到两个不同体型的人体上,由这两件 服装对应的三角面上计算他们的仿射变形矩阵;
上述步骤1)是数据准备工作,具体包含以下步骤:
(1)准备人体模型库和服装模型库,并把服装都穿到人体模型上;
(2)选取一个人体模型作为标准体型,获取该体型和其他体型上的服装的变 形矩阵;
(3)把人体模型和服装模型的三角面进行匹配,并把服装的三角面都分配给 人体三角面;
(4)把获取的服装三角面的变形矩阵转为列向量,并按人体三角面的顺序进 行排序。
2)获取服装粗变形,所述粗变形是指过滤了服装款式信息的服装变形,根据 获取的服装变形矩阵,得到两个人体模型的服装粗变形;
具体包含以下步骤:
(1)把之前获取的人体模型和标准人模的多件服装的变形矩阵降维后,得 到特征矩阵;
(2)把多件贴身的标准服装的变形矩阵用特征矩阵进行降维和重构,使其保 留共性的人体变形,去除服装款式的变形;
(3)根据求得的服装和人体三角面的对应关系,把粗变形矩阵按照服装三角 面的顺序重新排列。
3)虚拟试衣过程,所述虚拟试衣过程是应用之前求得的每个人体的每件服 装的变形矩阵对服装进行变形,并处理变形后的服装,使其能更好地贴合指定人 体,具体包含以下步骤:
(1)根据指定人体和选取的服装的变形矩阵变形服装;
(2)对变形后的服装作平滑和消除穿透处理;
(3)把合身的服装和指定的人体用计算机图像显示出来。
附图说明
图1为本发明训练集矩阵图。
图2为本发明测试集矩阵图。
图3为本发明虚拟试衣过程示意图。
具体实施方式
下面结合附图,对本发明进一步详细说明。
一种基于实例的虚拟试衣方法,包含以下步骤,
1)获取服装变形矩阵数据
(1)首先准备人体模型库和服装模型库,人体模型库的获取可以从网上直 接下载人体模型资源,也可以从一个人体模型出发,把它变形得到多个人体。为 了快速构建人体模型库,从网上下载了人体模型资源后,通过人体建模软件,把 它们变形为不同体型的人模。服装模型同样也可以从网上下载资源,或者通过服 装建模软件制作。最后用服装建模软件把服装穿到所有人体模型上,在这个过程 中应当保证服装的三角面数量不变。
(2)选取一个体型适中的人体模型作为标准人体,分别计算其他人体的服 装和这个人体对应服装的变形矩阵。其中,一个变形矩阵Q由两件服装中对应的 两个三角面x(x1,x2,x3),y(y1.y2.y3)的6个顶点和它们法线上的两个点x4,y4 确定。其公式如下:
Q[Δx2,Δx3,Δx4]=[Δy2,Δy3,Δy4]
其中,Δxi=Δxi-Δx1,i=2,3,Δx4=Δx2×Δx3,Δy同理。
(3)一件含T个三角面的服装有T个变形矩阵,把服装的三角面匹配到人 体三角面上,就可以把不同三角面数量的服装模型的变形矩阵统一表示,即,把 标准人体的k款服装的变形矩阵D1,,k排列为[D1,...Dj...,Dk],Dj=[q1,q2,...,qc]是第 j件服装的变形矩阵拉直排列的列向量,q是变形矩阵拉直后的列向量。
(4)由于实际变形时,每个服装三角面都要进行变形,即,它们都要对应 一个变形矩阵。当排列变形矩阵时,每个人体三角面也都要对应一个变形矩阵。 所以,人体三角面和服装三角面的匹配规则如下,先从人体三角面出发找到和其 质心距离最近的服装三角面作为它的对应三角面,若质心距离大于阈值则标记为 未找到,对于没有对应三角面的服装三角面,则从它们出发寻找和其质心距离最 近的人体三角面作为对应三角面,即,服装三角面和人体三角面是多对多的关系。
总之,当准备好两个人体模型和相应服装后,从对应的两件服装上计算变形 矩阵并把它们按照人体模型三角面的序号进行排列,对于未找到对应服装三角面 的人体三角面,用单位矩阵作为其变形矩阵。最后,把所有款式的服装的变形矩 阵依次排列,把它们的一部分作为训练集矩阵,一部分作为测试集矩阵。
2)获取服装粗变形
(1)在得到两个人体模型的多款服装变形后,保留这些变形矩阵中共性的 信息,去除其独有的信息,即关于服装款式变化的信息。
(2)对训练集矩阵进行降维,得到尽可能保留了原有信息的特征空间,这 个降维过程中只保留了变形矩阵间共性的主要的变化,类似于有损压缩的过程。 如果把训练集矩阵再通过这个特征空间进行降维和重构,会得到信息损失的服装 变形矩阵集,但信息损失较少。所以用测试集矩阵来进行降维,可以得到信息损 失较多的服装变形矩阵集。
具体实施过程如下:
设训练集有k款服装,首先计算训练集矩阵[D1,…Dj…,Dk](如图1所示) 的均值:
计算训练集矩阵与其均值的差值:
Li=Di-Ψ,i=1,2,…,k
构建协方差矩阵:
求得协方差矩阵C的前p个特征向量并排列,得特征空间w=(u1,u2,…,up), 用测试集矩阵Γ[G1,...Gj...,Gm](如图2所示)降维得:
ΩG=wT(Γ-ΨG)
ΩG取前n列得 和w即是把服装款式信息过滤后的变形矩阵集,把这 些变形矩阵应用到标准服装上,从中选择效果最好的一款服装的变形矩阵作为这 两个人体模型的服装粗变形矩阵Gf,变形矩阵的应用方式在下节虚拟试衣过程中 叙述。
(3)根据之前计算好的人体三角面和服装三角面的对应关系,把服装粗变 形矩阵中的变形矩阵按照服装三角面的序号重新排序,以方便之后的调用。某些 服装三角面和人体三角面不是相互对应的,即,若服装三角面Ti对应的人体三 角面Tj,其对应的服装三角面并不是Ti,则最后Ti将被应用Tj对应的服装三 角面的变形矩阵,这种情况多数是由于服装褶皱上的三角面在第一次分配对应三 角面时,没有被分配造成的,这其实有利于在变形矩阵中消除褶皱等服装款式信 息,凸显人体体型的变化。
3)虚拟试衣过程
在之前的步骤中,准备好标准人体对应于其他人体的服装粗变形矩阵,对于 任意一款标准人体的服装,只需要应用粗变形矩阵,并适当调整,就可以得到相 应体型下的该款式的服装(如图3所示),具体实施过程如下:
(1)变形矩阵的应用方式。给定一款标准人体上的服装,以及标准人体对 应于目标人体的变形矩阵,把这个变形矩阵应用至服装上的过程如下,由于每一 个服装三角面都对应一个粗变形矩阵,则目标三角面y(y1.y2.y3),服装三角面 x(x1,x2,x3)和变形矩阵Q就可以建立3个三元方程组,每个三角面单独求解会 导致原本共点的服装三角面不共点,使得变形的模型很多毛刺。把所有方程组放 到一起统一求解,可以解决共点问题。
(2)应用服装粗变形矩阵后,服装和人体可能还会有穿透,检查每个服装 顶点,如果该顶点和距离其最近的人体顶点构成的向量与人体顶点法线的乘积为 负,则可以判定发生了穿透。若服装顶点出现穿透,则按距离其最近的人体顶点 的法线方向修正服装顶点位置,直到不发生穿透。
(3)把指定的人体和其合身的服装用计算机图像显示出来。
目前已有的3D引擎功能日益强大,其自带的实时全局光照和基于物理的着色方法可以帮助使用者快速创建栩栩如生的三维场景,借助3D引擎可以把人体服装 模型的网格和纹理细节很好地展示出来。
实施例
1)首次使用者实施例
对于首次使用者,先计算该使用者和标准人体的服装粗变形矩阵。用户输入 其人体模型,借助服装建模软件给这个人体模型穿上训练集和测试集中的服装, 然后获取标准人体和用户人体的服装粗变形矩阵,得到变形矩阵集后,抽取这些 变形矩阵中共性的信息,得到服装粗变形矩阵。最后把服装粗变形矩阵应用到用 户指定的某款服装上。
2)非首次使用者实施例
对于非首次使用者,由于之前计算过该使用者与标准人体的服装粗变形矩 阵,所以当用户选择或输入一件标准人体上的新款式的服装时,直接把服装变形 矩阵应用至该服装,并做相关调整后,就可以得到和用户身材契合的新服装了。
3)群体使用者实施例
若使用者想观察大规模人群同时穿某款服装时,该款服装的展示效果,可以 把之前计算好的不同体型的人体模型的服装粗变形矩阵应用到这款服装上,从而 迅速得到该款服装的群体展示效果。
如上所述,对本发明进行了详细地说明,显然,只要实质上没有脱离本发明 的发明点及效果、对本领域的技术人员来说是显而易见的变形,也均包含在本发 明的保护范围之内。

Claims (3)

1.一种基于实例的虚拟试衣方法,其特征在于,包含以下步骤,
1)获取服装变形矩阵数据,从不同人体体型的服装上获取服装的变形矩阵数据;服装的变形矩阵是指把同一款服装穿到两个不同体型的人体上,由这两件服装对应的三角面上计算他们的仿射变形矩阵;
2)获取服装粗变形,所述粗变形是指过滤了服装款式信息的服装变形,根据获取的服装变形矩阵,得到两个人体模型的服装粗变形;
3)虚拟试衣过程,所述虚拟试衣过程是应用之前求得的每个人体的每件服装的变形矩阵对服装进行变形,并处理变形后的服装,使其能更好地贴合指定人体;
所述步骤2)包含以下步骤:
(1)把之前获取的人体模型和标准人模的多件服装的变形矩阵降维后,得到特征矩阵;
(2)把多件贴身的标准服装的变形矩阵用特征矩阵进行降维,使其保留共性的人体变形,去除服装款式的变形;
(3)根据求得的服装和人体三角面的对应关系,把粗变形矩阵按照服装三角面的顺序重新排列。
2.根据权利要求1所述基于实例的虚拟试衣方法,其特征在于,所述步骤1)包含以下步骤:
(1)准备人体模型库和服装模型库,并把服装都穿到人体模型上;
(2)选取一个人体模型作为标准体型,获取该体型和其他体型上的服装的变形矩阵;
(3)把人体模型和服装模型的三角面进行匹配,并把服装的三角面都分配给人体三角面;
(4)把获取的服装三角面的变形矩阵转为列向量,并按人体三角面的顺序进行排序。
3.根据权利要求1所述基于实例的虚拟试衣方法,其特征在于,所述步骤3)包含以下步骤:
(1)根据指定人体和选取的服装的变形矩阵变形服装;
(2)对变形后的服装作平滑和消除穿透处理;
(3)把合身的服装和指定的人体用计算机图像显示出来。
CN201610603275.3A 2016-07-27 2016-07-27 基于实例的虚拟试衣方法 Active CN106251200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610603275.3A CN106251200B (zh) 2016-07-27 2016-07-27 基于实例的虚拟试衣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610603275.3A CN106251200B (zh) 2016-07-27 2016-07-27 基于实例的虚拟试衣方法

Publications (2)

Publication Number Publication Date
CN106251200A CN106251200A (zh) 2016-12-21
CN106251200B true CN106251200B (zh) 2019-10-18

Family

ID=57604349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610603275.3A Active CN106251200B (zh) 2016-07-27 2016-07-27 基于实例的虚拟试衣方法

Country Status (1)

Country Link
CN (1) CN106251200B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488779A (zh) * 2019-09-12 2021-03-12 爱唯秀股份有限公司 立体试衣方法
CN112734936B (zh) * 2020-12-09 2023-07-11 北京维盛视通科技有限公司 虚拟服装穿戴方法、穿戴比例计算方法及装置、电子设备
CN112907710B (zh) * 2021-02-05 2023-08-29 华北电力大学 基于条件自编码器的共享体型特征空间学习方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201104312D0 (en) * 2011-03-14 2011-04-27 Bell Alexandra Improved virtual try on simulation service
CN104346826B (zh) * 2013-07-24 2017-09-15 深圳市华创振新科技发展有限公司 一种个性化的身体模型定制方法
CN104021589A (zh) * 2014-06-27 2014-09-03 江苏中佑石油机械科技有限责任公司 一种三维模拟试衣方法
CN105006014B (zh) * 2015-02-12 2017-07-18 上海交通大学 虚拟衣物快速模拟试穿的实现方法及系统
CN105427386A (zh) * 2015-12-24 2016-03-23 南京邮电大学 基于输入人体姿态实时生成的服装变形方法

Also Published As

Publication number Publication date
CN106251200A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
Jiang et al. Bcnet: Learning body and cloth shape from a single image
Yang et al. Physics-inspired garment recovery from a single-view image
Brouet et al. Design preserving garment transfer
CN114663199B (zh) 一种动态展示的实时三维虚拟试衣系统及方法
Yang et al. Detailed garment recovery from a single-view image
US9147207B2 (en) System and method for generating image data for on-line shopping
Zhao et al. M3d-vton: A monocular-to-3d virtual try-on network
EP1352347B1 (en) Production and visualisation of garments
US20200151963A1 (en) Training data set generation apparatus and method for machine learning
CN108537888B (zh) 一种基于骨架的快速试衣方法
CN109427007B (zh) 基于多视角的虚拟试衣方法
CN107251026A (zh) 用于生成虚拟情境的系统和方法
Shen et al. Gan-based garment generation using sewing pattern images
Yasseen et al. Sketch-based garment design with quad meshes
Li et al. In-home application (App) for 3D virtual garment fitting dressing room
CN106251200B (zh) 基于实例的虚拟试衣方法
Cho et al. An implementation of a garment-fitting simulation system using laser scanned 3D body data
Huang et al. CLO3D-Based 3D Virtual Fitting Technology of Down Jacket and Simulation Research on Dynamic Effect of Cloth
Li et al. Feature curve-net-based three-dimensional garment customization
CN111028354A (zh) 一种基于图像序列的模型形变人脸三维重建方案
CN114375463A (zh) 从身体的隐藏扫描中估计裸露体形的方法
Gunatilake et al. An ICT based Solution for Virtual Garment Fitting for Online Market Place: A Review of Related Literature
Gasós et al. E-tailor: Integration of 3D scanners, CAD and virtual-try-on technologies for online retailing of made-to-measure garments
Vladimirov et al. Overview of Methods for 3D Reconstruction of Human Models with Applications in Fashion E-Commerce
Cheng et al. A 3D virtual show room for online apparel retail shop

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant