CN109598798B - 虚拟物拟合方法及虚拟物拟合服务系统 - Google Patents
虚拟物拟合方法及虚拟物拟合服务系统 Download PDFInfo
- Publication number
- CN109598798B CN109598798B CN201811389108.9A CN201811389108A CN109598798B CN 109598798 B CN109598798 B CN 109598798B CN 201811389108 A CN201811389108 A CN 201811389108A CN 109598798 B CN109598798 B CN 109598798B
- Authority
- CN
- China
- Prior art keywords
- user
- virtual object
- fitting
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000009471 action Effects 0.000 claims abstract description 45
- 230000000694 effects Effects 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 22
- 230000008859 change Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000005259 measurement Methods 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 12
- 210000000988 bone and bone Anatomy 0.000 description 11
- 210000001503 joint Anatomy 0.000 description 10
- 230000037237 body shape Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 210000000323 shoulder joint Anatomy 0.000 description 4
- 210000003857 wrist joint Anatomy 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 210000002310 elbow joint Anatomy 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/16—Cloth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种虚拟物拟合方法和虚拟物拟合服务系统。该虚拟物拟合方法,包括以下步骤:判断用户是否位于体验区域;当所述用户位于体验区域时,加载对应于用户所输入的设定信息的3D标准数码形象;获取具有预先设定的姿势的用户的深度图像;利用所述用户的深度图像,将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象;将所述用户选择的虚拟物拟合至用户数码形象;以及将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中。
Description
本申请是申请日为2013年12月13日、申请号为201310686790.9、发明名称为“利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统”的发明专利申请的分案申请。
技术领域
本发明涉及一种虚拟物拟合方法及虚拟物拟合服务系统,特别是,涉及一种方法及系统,利用反映用户的外观特征和骨骼结构的3D人体模型,使用户不直接试戴所需物,也可通过虚拟物拟合来判断整体面貌(look)。
背景技术
最近,随着深度传感器的出现,用户的图形信息和关节的动作信息可通过低廉的费用较容易地获得。因此,通过应用深度传感器,多种服务中所使用的用户界面中发生了改变。特别是,随着用户界面的改变,新的用户参与型服务登场。该参与型服务中的一个便是用户不直接试穿衣服或饰品等物品,且可虚拟佩戴的虚拟物拟合服务。
现有的虚拟物拟合服务为单纯地接收深度传感器中所提供的用户的动作,控制被操纵(rigging)或换肤(skinning)的数码形象,并提供将操纵的物品动漫的服务。该服务与用户的体形无关,因此,向用户提供的服务具有缺乏真实感的问题。
此外,现有技术中,开发了通过3D全身扫描机来扫描用户的外观,从而制作适合于用户体形的匹配型物品的服务。但是,该服务中所使用的3D全身扫描机价格较高,在扫描过程中,用户的动作被限制,具有不能较好地反映实时变动的用户动作的问题。
因此,就算用户虚拟地试穿衣服或饰品等,也需要一种可实时地进行处理的解决方案,并需要一种可反映用户的动作来提供更具真实感的直观服务。
发明内容
技术课题
本发明提供一种方法和系统,用户不是实际佩戴所需物品而是通过虚拟地拟合,从而容易地掌握该物品是否适合于用户。
本发明提供一种方法和系统,将虚拟物拟合至反映用户外观身体特征的用户数码形象,从而用户不直接佩戴物品也确认整体面貌,并可容易地判断虚拟物是否适合于自己。
本发明提供一种方法和系统,将用户的动作反映至虚拟物被拟合的用户数码形象中,可提供实际用户佩戴该虚拟物的活动的真实感效果。
本发明提供一种方法和系统,将具虚拟物的购买信息和数字信息的识别标记叠加至用户数码形象的捕获画面中,使用户可容易地购买该虚拟物,且便于更有效地来修改该虚拟物。
技术方案
根据本发明的一个实施例的虚拟物拟合方法,包括以下步骤:判断用户是否位于体验区域;当所述用户位于体验区域时,加载对应于用户所输入的设定信息的3D标准数码形象;获取具有预先设定的姿势的用户的深度图像;利用所述用户的深度图像,将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象;将所述用户选择的虚拟物拟合至用户数码形象;以及将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中,且所述应用的步骤,包括以下步骤:将输入于深度传感器的动作信息动作重定向于所述用户数码影像中;计算用户的肩膀的上下差分;将所计算的肩膀的上下差分逆反映于所述重定向结果;以及以逆反映结果为基础,控制关节的动作信息抵消差分误差。
根据本发明的一个实施例的虚拟物拟合方法,包括以下步骤:基于用户输入的设定信息来加载3D标准数码形象;利用所述用户的深度图像,将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象;将所述用户选择的虚拟物拟合至用户数码形象;将用户的彩色图像合成至所述虚拟物被拟合的用户数码形象,来反馈给用户;以及将实时变化的用户的动作应用至所述虚拟物被拟合的用户数码形象中,所述应用的步骤,包括以下步骤:将输入于深度传感器的动作信息动作重定向于所述用户数码影像中;计算用户的肩膀的上下差分;将所计算的肩膀的上下差分逆反映于所述重定向结果;以及以逆反映结果为基础,控制关节的动作信息抵消差分误差。
根据本发明的一个实施例的虚拟物拟合方法,包括以下步骤:从用户接收对于虚拟物的选择;根据所述用户的身体特征,将所述选择的虚拟物被拟合的3D标准数码形象改变成用户数码形象;感应所述用户的实时动作从而应用至用户数码形象中;将根据所述用户的实时动作变化的照明效果应用至用户数码形象中;将所述动作和照明效果被应用的用户数码形象反馈给用户;以及将实时变化的用户的动作应用至应用所述照明效果的用户数码形象中,所述应用的步骤,包括以下步骤:将输入于深度传感器的动作信息动作重定位于所述用户数码影像中;计算用户的肩膀的上下差分;将所计算的肩膀的上下差分逆反映于所述重定向结果;以及以逆反映结果为基础,控制关节的动作信息抵消差分误差。
根据本发明的一个实施例的虚拟物拟合方法,包括以下步骤:向位于虚拟物拟合服务的体验区域的用户提供用于选择虚拟物的界面;显示所述用户选择的虚拟物被拟合的用户数码形象;当所述用户选择显示的用户数码形象时,生成与虚拟物的购买信息或数字信息相关的识别标记;以及将所述生成的识别标记叠加至用户数码形象的捕获画面中来进行提供,所述显示的用户数码形象,通过对输入于深度传感器的动作信息进行动作重定向,应用实时变化的用户动作,所述显示的用户数码形象,通过将所计算的用户的肩膀的上下差分逆反映于重定向结果,控制关节的动作信息抵消差分误差。
根据本发明的一个实施例的虚拟物拟合服务系统,包括:显示器,用来显示用户的体验图像,向用户提供虚拟物的拟合服务;彩色图像拍摄装置,用来实时地捕获所述用户,收集用户的彩色图像;深度图像拍摄装置,用来检测所述用户的动作和身体尺寸;虚拟物拟合装置,根据所述用户的动作和身体尺寸,将3D标准数码形象转换成用户数码形象,并将虚拟物拟合至所述用户数码形象中,且,所述虚拟物的拟合装置,通过将输入于深度传感器的动作信息动作重定向于所述用户数码形象,将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中,将所计算的用户的肩膀的上下差分逆反映于重定向结果,控制关节的动作信息抵消差分误差,其中,所述虚拟物拟合装置,将所述虚拟物被拟合的用户数码形象与彩色图像合成,来反馈给所述显示器。
根据本发明的一个实施例的虚拟物拟合服务系统,包括:显示器,用来显示用户的体验图像,向用户提供虚拟物的拟合服务;彩色图像拍摄装置,用来实时地捕获所述用户,收集用户的彩色图像;深度图像拍摄装置,用来检测所述用户的动作和身体尺寸;虚拟物拟合装置,根据所述用户输入的设定信息,加载3D标准数码形象,并利用所述用户的深度图像,将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象,并将所述用户选择的虚拟物拟合至用户数码形象中,通过将被输入于所述深度图像拍摄装置的动作信息动作重定向于所述用户数码形象,将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中,通过将所计算的用户的肩膀的上下差分逆反映于重定向结果,控制关节的动作信息抵消差分误差,其中,所述虚拟物拟合装置,将所述虚拟物被拟合的用户数码形象与彩色图像合成,来反馈给所述显示器。
根据本发明的一个实施例的利用显示器、彩色图像拍摄装置、和深度图像拍摄装置的虚拟物拟合服务系统,所述虚拟物拟合服务系统包括:虚拟物拟合装置,从用户接收对于虚拟物的选择,并根据所述用户的身体特征,将所述选择的虚拟物被拟合的3D标准数码形象改变成用户数码形象,所述虚拟物拟合装置,通过将输入于所述深度图像拍摄装置的动作信息动作重定向于所述用户数码形象,将虚拟物拟合至所述用户数码形象中,通过将所计算的用户的肩膀的上下差分逆反映于重定向结果,控制关节的动作信息抵消差分误差。
根据本发明的一个实施例的利用显示器和彩色图像拍摄装置的虚拟物拟合服务系统,所述虚拟物拟合服务系统包括:虚拟物拟合装置,通过显示器向用户提供用于选择虚拟物的界面,并利用通过深度图像拍摄装置获取的深度图像来生成所述用户选择的虚拟物被拟合的用户数码形象,且当所述用户选择所显示的用户数码形象时,将与虚拟物的购买信息或数字信息相关的识别标记叠加至用户数码形象的捕获画面中来进行提供,所述虚拟物拟合装置,通过将输入于所述深度图像拍摄装置的动作信息动作重定向于所述用户数码形象,将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中,通过将所计算的用户的肩膀的上下差分逆反映于重定向结果,控制关节的动作信息抵消差分误差。
根据本发明的一个实施例的虚拟物拟合方法,可包括以下步骤:判断用户是否位于体验区域;当所述用户位于体验区域时,加载对应于用户所输入的设定信息的3D标准数码形象;获取具有预先设定的姿势的用户的深度图像;利用所述用户的深度图像,将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象;将所述用户选择的虚拟物拟合至用户数码形象;以及将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中。
根据本发明的一个实施例的虚拟物拟合方法,其中,将所述3D标准数码形象改变成反映用户的外观身体特征的用户数码形象的步骤,可包括以下步骤:从所述用户的深度图像将3D图形块复原;利用所述3D图形块,来改变3D标准数码形象的关节长度信息;以及利用所述3D图形块,来改变3D标准数码形象的体积信息。
根据本发明的一个实施例的虚拟物拟合方法,其中,将所述3D图形块复原的步骤,可包括以下步骤:利用所述深度图像的当前像素和相邻像素的深度信息,表示成3D网格;以及根据所述深度信息和几何信息来决定构成网格的顶点的3D位置。
根据本发明的一个实施例的虚拟物拟合方法,其中,改变所述3D标准数码形象的关节长度信息的步骤,可包括以下步骤:利用所述3D图形块来推定用户的关节结构;以及从所述推定的关节结构提取用户的关节长度信息,应用至3D标准数码形象的关节长度信息中。
根据本发明的一个实施例的虚拟物拟合方法,其中,改变所述3D标准数码形象的体积信息的步骤,可包括以下步骤:从经所述3D图形块推定出的用户的关节结构,生成相对于关节行进方向的垂直剖面;以及利用复原的所述3D图形块和剖面之间的交叉点,来调整3D标准数码形象的体积信息。
根据本发明的一个实施例的虚拟物拟合方法,其中,将所述用户选择的虚拟物拟合至用户数码形象的步骤,可包括以下步骤:决定所述3D标准数码形象和用户数码形象各自网格之间的移动变位;以及将所述决定的移动变位应用至虚拟物的顶点。
根据本发明的一个实施例的虚拟物拟合方法,其中,所述应用至虚拟物被拟合的用户数码形象中的步骤,可基于构成所述用户数码形象的关节结构的三自由度旋转和三自由度移动,来将用户数码形象的动作重定向。
根据本发明的一个实施例的虚拟物拟合方法,其中,所述应用至虚拟物被拟合的用户数码形象中的步骤,可根据所述用户数码形象的动作,将照明效果渲染至虚拟物。
根据本发明的一个实施例的虚拟物拟合方法,可进一步包括以下步骤:将用户的彩色图像合成至所述虚拟物被拟合的用户数码形象,来反馈给用户。
根据本发明的另一个实施例的虚拟物拟合方法,可包括以下步骤:基于用户输入的设定信息来加载3D标准数码形象;利用所述用户的深度图像,将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象;将所述用户选择的虚拟物拟合至用户数码形象;以及将用户的彩色图像合成至所述虚拟物被拟合的用户数码形象,来反馈给用户。
根据本发明的另一个实施例的虚拟物拟合方法,其中,将所述3D标准数码形象改变成反映用户的外观身体特征的用户数码形象的步骤,可基于所述用户的外观身体特征,来改变所述3D标准数码形象的关节长度信息和体积信息。
根据本发明的又另一个实施例的虚拟物拟合方法,可包括以下步骤:从用户接收对于虚拟物的选择;根据所述用户的身体特征,将所述选择的虚拟物被拟合的3D标准数码形象改变成用户数码形象;感应所述用户的实时动作从而应用至用户数码形象中;将根据所述用户的实时动作变化的照明效果应用至用户数码形象中;将所述动作和照明效果被应用的用户数码形象反馈给用户。
根据本发明的又另一个实施例的虚拟物拟合方法,其中,将所述3D标准数码形象改变成用户数码形象的步骤,可基于所述用户的身体特征,来改变所述3D标准数码形象的关节长度信息和体积信息。
根据本发明的又另一个实施例的虚拟物拟合方法,其中,感应所述用户的实时动作从而应用至用户数码形象中的步骤,可基于构成所述用户数码形象的关节结构的关节的三自由度旋转和三自由度移动,来将用户数码形象的动作重定向。
根据本发明的又另一个实施例的虚拟物拟合方法,其中,将所述照明效果应用至用户数码形象中的步骤,可针对构成所述虚拟物的3D网格来决定考虑光源的环境映射。
根据本发明的又另一个实施例的虚拟物拟合方法,可包括以下步骤:向位于虚拟物拟合服务的体验区域的用户提供用于选择虚拟物的界面;显示所述用户选择的虚拟物被拟合的用户数码形象;当所述用户选择显示的用户数码形象时,生成与虚拟物的购买信息或数字信息相关的识别标记;以及将所述生成的识别标记叠加至用户数码形象的捕获画面中来进行提供。
根据本发明的又另一个实施例的虚拟物拟合方法,其中,显示所述用户选择的虚拟物被拟合的用户数码形象的步骤,可将对应于所述用户输入的设定信息的3D标准数码形象改变成反映用户的身体特征的用户数码形象来进行显示。
根据本发明的又另一个实施例的虚拟物拟合方法,其中,所述用户数码形象,可以是所述3D标准数码形象的关节长度信息和体积信息基于所述用户的外观身体特征被改变的数码形象。
根据本发明的一个实施例的虚拟物拟合服务系统,可包括:显示器,用来显示用户的体验图像,向用户提供虚拟物的拟合服务;彩色图像拍摄装置,用来实时地捕获所述用户,收集用户的彩色图像;深度图像拍摄装置,用来检测所述用户的动作和身体尺寸;虚拟物拟合装置,根据所述用户的动作和身体尺寸,将3D标准数码形象转换成用户数码形象,并将虚拟物拟合至所述用户数码形象中,且其中,所述虚拟物拟合装置,可将所述虚拟物被拟合的用户数码形象与彩色图像合成,来反馈给所述显示器。
根据本发明的一个实施例的虚拟物拟合服务系统,其中,所述虚拟物拟合装置,可利用从所述用户的深度图像复原的3D图形块,来改变3D标准数码形象的关节长度信息和体积信息。
根据本发明的一个实施例的虚拟物拟合服务系统,其中,所述虚拟物拟合装置,基于构成所述用户数码形象的关节结构的关节的三自由度旋转和三自由度移动,来将用户数码形象的动作重定向。
根据本发明的一个实施例的虚拟物拟合服务系统,其中,所述虚拟物拟合装置,可根据所述用户数码形象的动作,将照明效果渲染至虚拟物。
根据本发明的另一个实施例的虚拟物拟合服务系统,可包括:显示器,用来显示用户的体验图像,向用户提供虚拟物的拟合服务;彩色图像拍摄装置,用来实时地捕获所述用户,收集用户的彩色图像;深度图像拍摄装置,用来检测所述用户的动作和身体尺寸;虚拟物拟合装置,根据所述用户输入的设定信息,加载3D标准数码形象,并利用所述用户的深度图像,将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象,并将所述用户选择的虚拟物拟合至用户数码形象中,且其中,所述虚拟物拟合装置,将所述虚拟物被拟合的用户数码形象与彩色图像合成,来反馈给所述显示器。
根据本发明的又另一个实施例的虚拟物拟合服务系统,其利用显示器、彩色图像拍摄装置、和深度图像拍摄装置,且所述虚拟物拟合服务系统可包括:虚拟物拟合装置,从用户接收对于虚拟物的选择,并根据所述用户的身体特征,将所述选择的虚拟物被拟合的3D标准数码形象改变成用户数码形象。
根据本发明的又另一个实施例的虚拟物拟合服务系统,其中,所述虚拟物拟合装置,可感应所述用户的实时动作,来应用至用户数码形象中,或是将根据用户的实时动作变化的照明效果应用至用户数码形象中,然后反馈给用户。
根据本发明的又另一个实施例的虚拟物拟合服务系统,其利用显示器和彩色图像拍摄装置,且所述虚拟物拟合服务系统可包括:虚拟物拟合装置,可通过显示器向用户提供用于选择虚拟物的界面,并利用通过深度图像拍摄装置获取的深度图像来生成所述用户选择的虚拟物被拟合的用户数码形象,且当所述用户选择所显示的用户数码形象时,将与虚拟物的购买信息或数字信息相关的识别标记叠加至用户数码形象的捕获画面中来进行提供。
根据本发明的又另一个实施例的虚拟物拟合服务系统,其中,所述虚拟物拟合装置,可根据所述用户的外观身体特征,改变所述3D标准数码形象的关节长度信息和体积信息来生成用户数码形象。
技术效果
根据本发明的一个实施例,由于用户不是实际佩戴所需物品而是通过虚拟地拟合,因此可容易地掌握该物品是否适合于用户。
根据本发明的一个实施例,由于将虚拟物拟合至反映用户外观身体特征的用户数码形象,因此,用户不直接佩戴物品也可确认整体面貌,并可容易地判断虚拟物是否适合于自己。
根据本发明的一个实施例,由于将用户的动作反映至虚拟物被拟合的用户数码形象中,因此,可提供实际用户佩戴该虚拟物的活动的真实感效果。
根据本发明的一个实施例,由于将具虚拟物的购买信息和数字信息的识别标记叠加至用户数码形象的捕获画面中,因此,用户可容易地购买该虚拟物,并可更有效地来修改该虚拟物。
附图说明
图1是示出根据一个实施例的虚拟物拟合服务系统的示图。
图2是示出根据一个实施例,通过虚拟物拟合服务系统,向用户显示出虚拟物拟合结果的示图。
图3是示出根据一个实施例的3D标准数码形象和关节结构的对应关系的示图。
图4是示出根据一个实施例,将用户的体积信息反映至3D标准数码形象中的过程的示图。
图5是示出根据一个实施例的用户的8个主要身体部位的测量结果的示图。
图6是示出根据一个实施例的用户的骨骼结构的示图。
图7是示出根据一个实施例的推定用户的关节位置的过程的示图。
图8是示出根据一个实施例的虚拟物拟合方法的示图。
图9是具体示出根据图8的用户测量模式的运作过程的示图。
图10是具体示出根据图8的虚拟物的体验模式的运作过程的示图。
图11是具体示出根据图8的虚拟物的体验结果模式的运作过程的示图。
具体实施方式
以下,参照附图对本发明的实施例进行详细地说明。
本发明提供一种系统和方法,利用至少一个深度传感器来检测用户的实际外观身体特征,并利用反映外观身体特征的用户数码形象来拟合虚拟物。由此,根据本发明的一个实施例,用户可不用繁琐地试戴多个虚拟物,只要通过将适合于自身身体特征的虚拟物事先体验来进行确认,用户便可容易地选择虚拟物。
以下,参照附图对下列过程进行说明。通过电脑亭(kiosk)形态的虚拟物拟合服务系统来测出人体的外观图形,从而自动生成反映用户身体特征的用户数码形象,并将用户所需的虚拟物应用到用户数码形象中,根据用户的动作,实时地来物理性模拟衣服的皱痕或拟合度,然后反馈给用户。
图1是示出根据一个实施例的虚拟物拟合服务系统的示图。
参照图1,虚拟物拟合服务系统可包括显示器102、深度传感器103、106、107。此外,显示器102可具备用来实时地拍摄用户当前外观的视频监控。拟合服务系统可运营成电脑亭形态的系统。该拟合服务系统可设置在销售服饰、饰品等物品的商场中。
当不需要电脑亭形态时,系统可适用于由显示器102、深度传感器103组合的家庭式TV系统、PC系统、或移动终端中。在这种情况下,视频监控可以是另外附加的视频监控,也可以是安装在TV中的视频监控,或是安装在深度传感器中的RGB彩色视频监控。
显示器102可向用户提供体验虚拟物的拟合服务。此外,可考虑用户的视线来安装显示器102,即,显示器102可如同用户在照镜子的感觉显示出拟合服务的体验图像。因此,视频监控可实时地捕获用户来显示出体验图像。
此外,深度传感器103可测量用户的身体体型,并捕获用户的动作。在这种情况下,为了正确地检测出用户的身体体型,深度传感器102或深度传感器103可安装在拟合服务系统的下端、侧面、背面。拟合服务系统中配备的深度传感器的个数不受限制,深度传感器越多准确度也就越高。此外,以最小规格,拟合服务系统的深度传感器可安装在用户的正面。
拟合服务系统中安装的深度传感器与视频监控须针对一个标准坐标系被几何校正。在此,几何校正可以是指针对标准坐标系来校正各深度传感器和视频监控的相对坐标系,并校正深度传感器和视频监控内部的光学投影系数的过程。
拟合服务系统可区分为静止模式、用户测量模式、虚拟物的体验模式、虚拟物的体验结果模式来进行运作。
首先,在静止模式中,拟合服务系统可判断用户是否进入体验区域105。拟合服务系统可通过安装在显示器102中的视频监控来拍摄用户,当用户正面面对显示器时,通过显示器102如同用户在照镜子一样显示出图像。同时,显示器102在特定区域中显示出虚拟物拟合服务系统的操作提示,因此,可等待用户进入体验区域105。
此外,当用户进入体验区域105时,拟合服务系统可转换成用户测量模式。此外,拟合服务系统可引导用户从体验区域105移动至检测区域104。由此,拟合服务系统可在检测区域104中测量用户的体型。拟合服务系统可通过显示器102的用户界面UI(userinterface)向用户提出是否有体验虚拟物拟合服务的意向。
在这种情况下,系统在拍摄用户动态的深度图像中利用用户区域的最高部位与地面之间的深度信息值来获取用户的身高信息,并可根据身高上下调整UI的位置,从而在通过手势的UI中解决由于身高用户较难执行UI按钮的问题。可基于用户身高信息,计算用户将手臂向上或向两边伸展时可达到的3D空间,并使UI相关的按钮位于将计算的3D空间投影至显示器102的图像坐标系时的投影区域之内,从而解决用于身高用户的交互的问题。即,在显示器102画面中用户可伸展手臂的画面区域内显示UI相关的按钮,用户不用特别地移动位置也可与系统进行交互。
当用户通过显示器102中显示的用户界面UI来输入性别信息时,虚拟物拟合装置101在存储器中加载对应于用户选择的性别信息的3D标准数码形象。在这种情况下,不仅是性别信息,可通过年龄、人种、儿童等多样的分类信息,利用符合用户的身体特征或体验环境的定制数码形象,来实现该服务。
图2是示出根据一个实施例,通过虚拟物拟合服务系统,向用户显示出虚拟物拟合结果的示图。
为了获取用户的3D图形信息,拟合服务系统可通过显示器203来显示预先设定的特定姿势的剪影图像。
在这种情况下,剪影图像利用先前获取的用户的身高信息将标准数码形象整体缩放(scaling)来调整尺寸后,将更改后的标准数码形象从直角(orthographic)坐标系往显示器102方向正面投射,来生成2D剪影图像,然后显示在画面中。由此,可更直观地引导用户姿势。
此外,拟合服务系统可通过显示器203来显示用户所请求的将特定姿势维持一定时间以上的消息。在这种情况下,当用户在检测区域或体验区域中一定时间期间维持显示器203中所显示的特定姿势时,深度传感器103在拍摄用户的深度图像后,可将深度图像传送给虚拟物拟合装置201。深度传感器204的运作方式也可同样适用于位于用户背面的深度传感器。
此后,通过虚拟物的体验模式,虚拟物拟合装置201可利用深度图像,将3D标准数码形象转换成反映用户的外观身体特征的用户数码形象。在这种情况下,虚拟物拟合装置201将用户选择的虚拟物应用至用户数码形象中后,可附加地应用对用户的动作或虚拟物具影响的照明效果。由此,虚拟物拟合装置201将用户数码形象中的虚拟物的渲染图像与通过视频监控202拍摄的用户的彩色图像合成后,可通过显示器203来提供给用户。用户通过用户数码形象与彩色图像合成的结果,可感觉到自身佩戴虚拟物在照镜子的感觉。由于上述过程中将视频监控202的图像和用户数码形象左右变换(flip)来显示,因此具有在照镜子的效果。
由于用户在改变虚拟物的同时,将选择的虚拟物应用至用户数码形象,并在用户数码形象与用户进行相同的动作时,计算虚拟物的更改,然后将更改的虚拟物的渲染结果与用户的视频监控合成,实时地进行体验,,因此可在其中选择佩戴最适合于自己的虚拟物的用户数码形象。由此,虚拟物拟合装置201可从静止模式转换成虚拟物的体验结果模式,捕获用户选择的数码虚拟物被合成至用户的视频监控的结果图像来提供给用户。在这种情况下,可一起提供类似有关用户所选择的数码虚拟物的信息的存取的QR码和智能编码信息。此外,可将用户体验的特定姿势的深度图像、彩色图像、关节图像、虚拟物信息存储在用于以后再体验或再购买的数据库中,用户可利用提供的QR码等来进行存储。
图3是示出根据一个实施例的3D标准数码形象和关节结构的对应关系的示图。
虚拟物拟合装置可对应于用户输入的性别信息来加载3D标准数码形象。此外,为了获取用户的3D图形信息,拟合服务系统通过显示器将用户特定姿势的剪影图像提供至用户界面。此外,在用户预先设定的时间期间,拟合服务系统可通过显示器来提供用户请求维持特定姿势的用户界面UI。由此,用户可在观看显示器的同时一定时间期间维持特定的姿势。
在这种情况下,深度传感器可拍摄正维持特定姿势的用户的深度图像,从而传送给虚拟物拟合装置。此外,视频监控可拍摄正维持特定姿势的用户的彩色图像,从而传送给虚拟物拟合装置。虚拟物拟合装置可存储一定时间内同时拍摄的自深度传感器传送的深度图像和自视频监控传送的彩色图像。此后,虚拟物拟合装置可利用深度图像来复原用户的图形,并推定关节结构。当深度传感器提供用户的动作信息时,虚拟物拟合装置可将用户的各关节的关节信息一同存储。
虚拟物拟合装置可利用深度图像的当前像素和邻近当前像素的相邻像素的深度信息,来生成由三角形或矩形构成的3D网格(mesh)。此后,虚拟物拟合装置可利用深度图像中的当前像素的深度信息和几何校正信息,来决定构成3D网格的各顶点(vertex)的3D位置,从而将经标准坐标系表示的用户的3D图形块401、402复原。
当3D图形块被复原时,虚拟物拟合装置可推定用户的关节结构。在一个例子中,虚拟物拟合装置可设置体素(voxel),该体素可包括标准坐标系中被复原的3D图形块。
即,虚拟物拟合装置可通过特定尺寸的体素来构成3D图形块。虚拟物拟合装置可判断构成体素和3D图形块的3D网格是否在3D空间上产生交叉。如上所述,虚拟物拟合装置可基于各体素在3D空间上与3D图形块的交叉发生与否,来决定是否填入空间上的个别体素还是空出。
此外,当发生交叉时,虚拟物拟合装置可基于引起交叉的深度传感器的相机原点来确认可视性(visibility),从而决定用户的人体内部体素的填入。具体来说,由于虚拟物拟合装置可提取所有表面体素所参与的可视性局部外观(visible local appearance)的最大似然(likelihood)色彩,用于形成3D图形块,从而可决定填入各表面体素。在此,可视性在各深度传感器的视点(viewpoint)中被决定。
此外,虚拟物拟合装置可利用用户的各人体部位的3D骨骼信息和人体测量信息,在用户的骨骼结构中推定各关节的位置。具体来说,虚拟物拟合装置可利用各部位生成的3D骨骼信息来推定各关节的位置,并对照初始姿势的标准数码形象的各关节的相邻关节的位置信息,利用用户关节位置和该关节的相邻关节的位置信息来提取各关节的旋转角。
此外,虚拟物拟合装置可利用3D标准数码形象的各部位信息和用户的人体测量信息中所包含的各部位信息间的误差率,来推定用户的关节位置。当关节位置被推定时,可生成用户的关节结构骨架结构。推定关节位置的过程将参照图7来说明。
用户数码形象可通过将关节长度反映至3D数码形象中来决定。即,当用户的关节结构生成时,可提取有关用户的身高和手臂、腿的长度等基本的关节长度信息。由此,虚拟物拟合装置利用用户的关节长度信息来改变3D标准数码形象的关节的长度信息,从而可调整3D标准数码形象的骨骼结构,使3D标准数码形象与用户的骨骼结构相一致。
当3D标准数码形象被操纵(rigging)时,随着骨骼结构的长度变化,3D标准数码形象的外观3D图形块也随之变形。在此,操纵可以是指根据3D数码形象的关节动作来控制各关节结构中附属的3D数码形象的顶点的位置,从而来改变3D数码形象的图形。
图4是示出根据一个实施例,将用户的体积信息反映至3D标准数码形象中的过程的示图。
图3的过程虽然是指在3D标准数码形象中反映用户的关节之间的长度信息,但还未反映用户的体积信息。虚拟物拟合装置可利用用户的关节结构,来将用户的体积信息反映至3D标准数码形象中。
在一个例子中,为了将用户的体积信息反映至3D标准数码形象中,虚拟物拟合装置可在用户的关节结构中生成相对于关节与关节之间标准轴的垂直剖面。例如,关节是指肩膀、臂肘等骨与骨连接的部位。标准轴显示出从肩膀关节至臂肘关节的3D方向矢量(vector)。垂直剖面是指根据方向矢量,按一定的比例或是用户所定义的比例,垂直于方向矢量的3D剖面。即,虚拟物拟合装置可生成相对于关节行进方向的垂直剖面。例如,虚拟物拟合装置可生成腰部剖面、胸部剖面等。
图4中,以用户的腰部剖面404为中心进行说明。虚拟物拟合装置收集被复原的用户3D图形块401、402和腰部剖面404之间的3D交叉点,将其投影至3D剖面中来收集2D图形信息405、406的信息。由此获取的2D图形信息的总长度对应于该剖面的身体部分的全围信息(图5),并可直观地进行测量。
此外,使用相同的方法,虚拟物拟合装置可从3D标准图形中提取将对应于腰部剖面404的交叉点投影所获得的2D图形信息409,并决定用户的2D图形信息405与2D图形信息409之间的平面差分值,以及用户的2D图形信息406与2D图形信息409之间的平面差分值。
在这种情况下,将标准数码形象的2D图形信息409以预先设定的间隔采样(sampling),获得的标准点410为中心往垂直于各标准点的曲率的方向延伸来找出与用户的2D图形信息406、407的交叉点411。在这种情况下,两点之间的距离为差分值。
在这种情况下,2D图形信息407与用户穿着实际服饰状态下的剖面相关,因此,虚拟物拟合装置为了使2D图形信息409与用户的2D图形信息405、406交叉扩展至2D图形信息407时,可利用用户的人体图形的人体测量属性。例如,腰部的人体测量属性是指标准的腰部剖面404为具有椭圆形形态的信息,该特征可在3D标准数码形象生成时预先反映。因此,虚拟物拟合装置可基于用户的2D图形信息405和用户的2D图形信息406各自的平面差分值,以腰部剖面404的中心408为中心,计算出2D图形信息409往外部扩展,可变形为2D图形信息407的变形率。在这种情况下,2D图形信息409可在不超过用户的2D图形信息405和用户的2D图形信息406的范围内被扩展变形至2D图形信息407。2D的扩展信息可利用剖面的3D平面信息来决定3D图形的变形程度。
将上述各关节的剖面的扩展信息针对整个关节进行计算后,可利用相邻剖面之间的扩展信息,通过线形或非线形插值法(interpolation)来扩展两个剖面之间的3D标准数码形象的顶点的3D位置。各剖面的扩展信息可并联处理,因此可利用多重处理器或GPU等来快速计算。
此外,在上述方法中,如图5所述,利用身体主要部位的全围信息及关节信息可获取身高、臂长、腿长的身体尺寸测量信息。该信息可应用于现有的数码形象变形法,例如接收输入的用户各部位的长度信息,通过3D变形(morphing)技术来改变3D标准数码形象的尺寸。此外,上述身体部位的测量信息对应于现有服饰销售中所使用的服饰尺寸计数法,用户在选择服饰时可直接接收所提供的信息,本发明除了通过控制长度、体积从标准数码形象变为用户数码形象以外,还确保与现有变形技术的交互性以及直接将身体尺寸信息提供给用户,因此,可用于体验之外的物品购买。
图5是示出根据一个实施例的用户的8个主要身体部位的测量结果的示图。身体部位可在关节结构上任意选定并测量。
通过该过程,用户的体积信息被反映至3D标准数码形象中。结果,根据本发明的一个实施例,将用户的关节长度信息和体积信息反映至3D标准数码形象中进行变形,从而可生成反映用户的外观身体特征的用户数码形象。
图6是示出根据一个实施例的用户的骨骼结构的示图。
虚拟物拟合装置可利用从深度传感器检测出的深度图像来决定用户的骨骼结构。具体来说,虚拟物拟合装置可基于从深度图像导出的3D图形块来决定用户的骨骼结构,然后从用户的骨骼结构推定关节结构。
为此,虚拟物拟合装置利用人体各部位的3D骨骼信息和部位信息来提取人体的身高信息。此外,虚拟物拟合装置可从用户的身高来判定手臂、腿、膝盖等平均具有多少长度的各部位平均长度后,将各部位平均长度应用至各部位的3D骨骼结构中。由此,虚拟物拟合装置可将曲线匹配至用户的各身体部分的3D骨骼信息中来推定关节位置。
在上述长度信息的估计过程中,针对类似用户头发的黑色区域或是从相机的视点来看深度值急剧变化的区域,深度传感器可能不提供深度信息。在这种情况下,在侧量类似身高的长度信息时可能发生错误。为解决该问题,利用深度传感器提供的彩色图像来补充深度传感器不能提供的有关错误区域的3D信息。利用相机补正信息将深度传感器中获取的深度信息投影至深度传感器的彩色图像中。在这种情况下,由于深度传感器中没有头发部分的深度信息,因此头发部分没有被投影。在彩色图像中,由于利用深度信息被投影的彩色图像的色彩值来检索周边相似的色彩,因此,可从彩色图像中获取头发区域的信息。假设,为测量用户站直时,可利用脸部区域中检测的深度信息来计算头部所在的3D平面,且彩色图像中检测的头发区域的最高点的像素坐标值被反向投影(backprojection)至3D平面时,可准确地测量出用户的身高信息。
图7是示出根据一个实施例的推定用户的关节位置的过程的示图。
虚拟物拟合装置将用户右臂的3D骨骼下端部32至相当于用户的手长度的区域附近具有最小围长的点推定为手腕关节的位置34。此外,虚拟物拟合装置利用用户的测量信息,将推定为肩膀的区域附近剖面的围长突然变化的点推定为肩膀关节的位置36。
当手腕和肩膀关节的位置被推定时,由于肘部关节是用户的手臂中肩膀和手腕关节之间唯一弯曲的部分,因此,虚拟物拟合装置将距离连接手腕关节的位置34和肩膀关节的位置36的线最远的点推定为肘部关节的位置38。
如上所述,虚拟物拟合装置可将位置推定较明确的或是膝盖肘部等存在屈折较容易推定的关节位置来先推定,并利用先推定的关节的位置和用户测量信息来自动地推定剩下未推定的关节位置。此外,虚拟物拟合装置可综合推定的关节位置信息来推定任意姿势的用户的整个骨骼结构。
图8是示出根据一个实施例的虚拟物拟合方法的示图。
在步骤801中,虚拟物拟合服务系统可执行静止模式。此外,在步骤802中,拟合服务系统可执行用户测量模式。在步骤803中,拟合服务系统可执行虚拟物的体验模式。此外,在步骤804中,拟合服务系统以虚拟物的体验结果模式来运作。其中,静止模式在图1和图2中已说明,在此省略详细说明,且步骤802、步骤803、步骤804将分别在图9、图10、图11中被说明。
图9是具体示出根据图8的用户测量模式的运作过程的示图。
在步骤901中,拟合服务系统可感应用户是否进入体验区域。此外,在步骤902中,拟合服务系统可语音询问用户是否将体验虚拟物拟合服务。在这种情况下,用户没有体验意向时,拟合服务系统可重新运作为静止模式。此外,用户有体验意向时,在步骤903中,拟合服务系统可接收用户的设定信息。在此,用户的设定信息可以是指用户的性别信息。
由此,在步骤904中,拟合服务系统可加载对应于用户的性别信息的3D标准数码形象。此后,在步骤905中,拟合服务系统可向用户请求将特定姿势维持一段时间,随后,测量维持特定姿势的用户的外观身体特征。在步骤906中,拟合服务系统可基于深度图像来复原用户的3D图形并推定出关节的结构。此后,在步骤907中,拟合服务系统可将用户的外观身体特征反映至3D标准数码形象中,从而生成用户数码形象。具体来说,拟合服务系统可改变3D标准数码形象的关节长度信息和体积信息来生成用户数码形象。用户数码形象生成的过程可参照图2至图6。
图10是具体示出根据图8的虚拟物的体验模式的运作过程的示图。
在步骤1001中,拟合服务系统可从用户接收对于虚拟物的选择。即,用户可从多个虚拟物中选择自身想拟合的虚拟物。
在步骤1002中,拟合服务系统可将虚拟物拟合至用户数码形象中。如上所述的,用户数码形象可以是指利用从深度图像导出的3D图形块,在3D标准数码形象上反映出用户的外观身体特征关节结构和体积结构。
在一个例子中,假设各虚拟物被预先拟合至3D标准数码形象中。在这种情况下,拟合服务系统可利用构成虚拟物的顶点与3D标准数码形象的网格之间的距离,将3D标准数码形象变为用户数码形象时所发生的3D标准数码形象的网格与用户数码形象地网格之间的移动变位反映至虚拟物的顶点中。由此,虚拟物被拟合的3D标准数码形象可容易地变形为虚拟物被拟合的用户数码形象。即,拟合服务系统从3D标准数码形象生成用户数码形象时,3D标准数码形象中被拟合的虚拟物一同变形,从而使该虚拟物拟合至用户数码形象中。
此外,可利用类似质点弹簧(mass-spring)模式的单纯物理模拟或现有的商用模拟引擎(例如nvidia物理现象或APEX)等,将虚拟物拟合至用户数码形象中。
在步骤1003中,拟合服务系统可将用户的动作应用至用户数码形象中。当3D标准数码形象被重定向时,本发明的通过关节信息变形及反映体积信息的用户数码形象生成过程,用于定义构成3D标准数码形象的关节结构和图形的各顶点之间的关节移动的顶点移动程度的相关系数(skin weight)也被保存在用户数码形象中。由此,针对用户数码形象控制构成关节结构的各关节的旋转和移动,从而类似标准数码形象的图像变形,来决定用户数码形象的图形。
在一个例子中,拟合服务系统可实时地控制运动的用户数码形象的图形,使深度传感器中输入的用户的动作(运动)信息与用户数码形象的关节结构相一致。不仅如此,拟合服务系统可进行模拟控制,使用户数码形象中拟合的虚拟物的各顶点的位置与用户数码形象的图形变形相一致,从而进行变形使虚拟物与用户的动作相一致。
由于拟合服务系统可基于构成用户数码形象的关节结构的各关节的局部三自由度旋转和三自由度移动来进行运动重定向(motion retargeting),因此,可将实时变化的用户的动作反映至用户数码形象中。
在这种情况下,当深度传感器提供用户的动作(运动)信息时,拟合服务系统可进行控制,使约20个左右的关节的局部旋转及移动对应于用户数码形象。当深度传感器不提供动作信息时,如上所述,参照图6和图7的说明,将用户的动作反映至用户数码形象中。
当深度传感器提供用户的动作信息时,根据深度传感器的探测角内用户动作输入的多少,在深度传感器所提供的标准坐标系中,臀部中心(Hipcenter)关节(根关节)以三自由度移动的关节可能会上下移动。该现象,例如在深度传感器没有收集用户的臀部(hip)以下的下体信息时也可能发生。在这种情况下,反映用户动作的用户数码形象被上下移动并发生误差,从而可能较难实现真实的虚拟物拟合体验。
根据本发明的一个实施例,可利用用户数码形象的3D图形信息和深度传感器中导出的图像帧的深度信息来控制不必要的臀部中心(hipcenter)的上下移动。其中,用户数码形象的图形通过利用深度传感器中提供的重定向的动作信息被控制。
例如,距离用户拟合服务系统较近时,深度传感器中可能不提供用户的下体信息。由此,深度传感器提供的用户的动作信息可能会以臀部中心(hipcenter)为中心不规则地上下移动。如上所述,上下不规则地移动的用户的动作信息被重定向的用户数码形象可能会往不必要的方向被改变图形。因此,将相同的帧中输入的深度图像的3D图形块以标准坐标系为中心比较时,用户的肩膀部分中可能会导出上下差分。
拟合服务系统可将上下差分部分逆反映在有关用户数码形象的动作的重定向结果中,进行控制使关节的移动信息来抵消差分误差,从而使用户数码形象的肩膀部分的网格图形映射至深度图像的肩膀部分的网格图形中。即,拟合服务系统可逆控制用户数码形象的根(root)关节,因此,可防止肩膀上下移动的现象。
在步骤1004中,拟合服务系统可将虚拟物的照明效果反映至用户数码形象中。
具体来说,拟合服务系统可反映周边的照明效果来真实地渲染虚拟物。在一个例子中,拟合服务系统可针对根据用户数码形象的动作被改变的虚拟物的3D网格,预先拍摄拟合服务系统中设置的空间的半球形或立方形环境图(environment map)。由此,拟合服务系统可针对空间上配置的光源各自的3D网格,利用光线跟踪(ray tracing)技术或着色(shader)技术来真实地渲染虚拟物。当利用该性能预先构建太阳光的外部环境、荧光灯的办公室环境等多种环境图,并使用该环境图来渲染时,用户可虚拟体验自身选择的衣服在该环境中看上去为何种色感,从而来决定是否购买。
在步骤1005中,拟合服务系统可将用户数码形象与彩色图像合成。具体来说,拟合服务系统将虚拟物被拟合至用户数码形象的结果在彩色图像上渲染,从而以增强现实来进行合成。此后,拟合服务系统可通过显示器将虚拟物的拟合结果提供给用户。用户可接收自己选择的虚拟物被拟合的用户数码形象根据用户的动作被实时交互控制的结果。在这种情况下,为了在多种环境下确认色感,从视频监控中捕获图像时可预先与可显示该色感的传感器参数值(例如,白色平衡,伽玛等)匹配设置,从而来捕获图像,由此,用户可享受到具有更真实色感的服务。
在一个例子中,拟合服务系统可利用几何校正信息,将虚拟物被拟合的用户数码形象的渲染图像和捕获用户的彩色图像合成,然后通过显示器实时地反馈给用户。当用于收集深度图像和彩色图像的各传感器被精密地几何校正时,图像合成可通过增强现实较容易地表现。
结果,拟合服务系统可提供类似镜像模式的感觉用户在照镜子时的彩色图像。在这种情况下,通过镜像模式表示的彩色图像可通过收集彩色图像的传感器(视频监控)来表现。
但是,当传感器不支持镜像模式时,拟合服务系统可利用传感器之间的几何校正信息,来将用户的动作信息转换为传感器坐标系。此外,拟合服务系统在传感器坐标系的局部坐标系中以构成图像的横向轴的局部坐标系轴为中心,左右对称移动,从而可实现镜像模式。
在步骤1006中,当从用户接收到对于改变虚拟物的请求时,拟合服务系统可重新回到步骤1001。此外,没有从用户接收到对于改变虚拟物的请求时,拟合服务系统可将实时变动的用户的动作应用至用户数码形象中。
图11是具体示出根据图8的虚拟物的体验结果模式的运作过程的示图。
在步骤1101中,拟合服务系统可提供用户数码形象与彩色图像合成的结果。
在步骤1102中,当用户针对体验的虚拟物选择自己喜欢的姿势中与彩色图像合成的用户数码形象时,拟合服务系统可接收选择结果。由此,拟合服务系统可捕获用户选择的用户数码形象的画面。
在步骤1103中,拟合服务系统可生成与用户选择当时的虚拟物的购买信息和数字信息相关的识别标记。在一个例子中,拟合服务系统可将用户选择的虚拟物的购买场所位置、联系信息、网站链接信息等购买信息生成为类似QR码的智能编码。
不仅如此,拟合服务系统可将用户选择的虚拟物的衣长,裤端等之后需要修改的虚拟物的数字信息生成为另外的QR码。该数字信息可存储在与维修部连接的另外的数据库中。该维修部可通过QR码接收传达的数字信息,或是访问数据库来确认数字信息。
在步骤1104中,拟合服务系统可将识别标记叠加至用户数码形象的捕获画面中来提供给用户。该捕获画面可通过照片打印、或邮件传送、与社交网络服务交互的多种方式被提供。
如上所述,本发明可通过拟合服务系统将用户预先设定的特有姿势维持一段时间后,实时地生成反映用户体型的用户数码形象,并在反映用户选择的虚拟物后实时地反映用户的动作。此外,应用用户所选择的虚拟物的用户数码形象通过位于用户正面的显示器以增强现实被提供,从而可立即确认佩戴该虚拟物的用户自身的整体面貌或虚拟物拟合信息。
根据实施例的方法,其可通过多种计算机手段以可执行的程序指令形态被记录在计算机可读媒体中。该计算机可读媒体可包括独立的或结合的程序指令、数据文件、数据结构等。该媒体中记录的程序指令可为了本发明被专门设计和创建,或为计算机软件技术人员熟知而应用。
如上所示,本发明虽然已参照有限的实施例和附图进行了说明,但是本发明并不局限于所述实施例,在本发明所属领域中具备通常知识的人均可以从此记载中进行各种修改和变形。
因此,本发明的范围不受说明的实施例的局限或定义,而是由后附的权利要求范围以及权利要求范围等同内容定义。
附图标号说明
101:虚拟物拟合装置
102:显示器
103、106、107:深度图像拍摄装置
104:检测区域
105:体验区域
Claims (13)
1.一种虚拟物拟合方法,包括以下步骤:
判断用户是否位于体验区域;
当所述用户位于体验区域时,加载对应于用户所输入的设定信息的3D标准数码形象;
使用深度传感器来获取具有预先设定的姿势的用户的深度图像;
利用所述用户的深度图像,将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象;
将所述用户选择的虚拟物拟合至用户数码形象;以及
将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中,且
所述应用的步骤,包括以下步骤:
当所述用户的下体信息未被提供给所述深度传感器时,通过以标准坐标系为中心比较所述深度图像的3D图形块来导出所述用户的肩膀部分中的上下差分;以及
通过将所述导出的肩膀部分中的上下差分反向反映到所述用户数码形象的运作的重定向结果,将所述用户的肩膀部分的网格图形映射至所述深度图像的肩膀部分的网格图形中。
2.如权利要求1所述的虚拟物拟合方法,其中,将所述3D标准数码形象改变成反映用户的外观身体特征的用户数码形象的步骤,包括以下步骤:
从所述用户的深度图像将3D图形块复原;
利用所述3D图形块,来改变3D标准数码形象的关节长度信息;以及
利用所述3D图形块,来改变3D标准数码形象的体积信息。
3.如权利要求2所述的虚拟物拟合方法,其中,将所述3D图形块复原的步骤,包括以下步骤:
利用所述深度图像的当前像素和相邻像素的深度信息,表示成3D网格;以及
根据所述深度信息和几何信息来决定构成网格的顶点的3D位置。
4.如权利要求2所述的虚拟物拟合方法,其中,改变所述3D标准数码形象的关节长度信息的步骤,包括以下步骤:
利用所述3D图形块来推定用户的关节结构;以及
从所述推定的关节结构提取用户的关节长度信息,应用至3D标准数码形象的关节长度信息中。
5.如权利要求2所述的虚拟物拟合方法,其中,改变所述3D标准数码形象的体积信息的步骤,包括以下步骤:
从经所述3D图形块推定出的用户的关节结构,生成相对于关节行进方向的垂直剖面;以及
利用复原的所述3D图形块和剖面之间的交叉点,来调整3D标准数码形象的体积信息。
6.如权利要求1所述的虚拟物拟合方法,其中,将所述用户选择的虚拟物拟合至用户数码形象的步骤,包括以下步骤:
决定所述3D标准数码形象和用户数码形象各自网格之间的移动变位;以及
将所述决定的移动变位应用至虚拟物的顶点。
7.如权利要求1所述的虚拟物拟合方法,其中,所述应用至虚拟物被拟合的用户数码形象中的步骤,是基于构成所述用户数码形象的关节结构的三自由度旋转和三自由度移动,来将用户数码形象的动作重定向。
8.如权利要求1所述的虚拟物拟合方法,其中,所述应用至虚拟物被拟合的用户数码形象中的步骤,是根据所述用户数码形象的动作,将照明效果渲染至虚拟物。
9.如权利要求1所述的虚拟物拟合方法,进一步包括以下步骤:
将用户的彩色图像合成至所述虚拟物被拟合的用户数码形象,来反馈给用户。
10.一种虚拟物拟合服务系统,包括:
显示器,用来显示用户的体验图像,向用户提供虚拟物的拟合服务;
彩色图像拍摄装置,用来实时地捕获所述用户,收集用户的彩色图像;
深度图像拍摄装置,用来使用深度传感器来检测所述用户的动作和身体尺寸;
虚拟物拟合装置,根据所述用户的动作和身体尺寸,将3D标准数码形象转换成用户数码形象,并将虚拟物拟合至所述用户数码形象中,将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中,且,
所述虚拟物的拟合装置,
当所述用户的下体信息未被提供给所述深度传感器时,通过以标准坐标系为中心比较所述深度图像的3D图形块来导出所述用户的肩膀部分中的上下差分;以及
通过将所述导出的肩膀部分中的上下差分反向反映到所述用户数码形象的运作的重定向结果,将所述用户的肩膀部分的网格图形映射至所述深度图像的肩膀部分的网格图形中。
11.如权利要求10所述的虚拟物拟合服务系统,其中,所述虚拟物拟合装置,利用从所述用户的深度图像复原的3D图形块来改变3D标准数码形象的关节长度信息和体积信息。
12.如权利要求10所述的虚拟物拟合服务系统,其中,所述虚拟物拟合装置,基于构成所述用户数码形象的关节结构的关节的三自由度旋转和三自由度移动,来将用户数码形象的动作重定向。
13.如权利要求10所述的虚拟物拟合服务系统,其中,所述虚拟物拟合装置,根据所述用户数码形象的动作,将照明效果渲染至虚拟物。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811389108.9A CN109598798B (zh) | 2012-12-14 | 2013-12-13 | 虚拟物拟合方法及虚拟物拟合服务系统 |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2012-0146536 | 2012-12-14 | ||
KR20120146536 | 2012-12-14 | ||
KR1020130125889A KR101707707B1 (ko) | 2012-12-14 | 2013-10-22 | 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템 |
KR10-2013-0125889 | 2013-10-22 | ||
CN201310686790.9A CN103871106A (zh) | 2012-12-14 | 2013-12-13 | 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统 |
CN201811389108.9A CN109598798B (zh) | 2012-12-14 | 2013-12-13 | 虚拟物拟合方法及虚拟物拟合服务系统 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310686790.9A Division CN103871106A (zh) | 2012-12-14 | 2013-12-13 | 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109598798A CN109598798A (zh) | 2019-04-09 |
CN109598798B true CN109598798B (zh) | 2023-11-28 |
Family
ID=50909610
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310686790.9A Pending CN103871106A (zh) | 2012-12-14 | 2013-12-13 | 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统 |
CN201811389108.9A Active CN109598798B (zh) | 2012-12-14 | 2013-12-13 | 虚拟物拟合方法及虚拟物拟合服务系统 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310686790.9A Pending CN103871106A (zh) | 2012-12-14 | 2013-12-13 | 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9607419B2 (zh) |
CN (2) | CN103871106A (zh) |
Families Citing this family (75)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8564534B2 (en) * | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
US10332176B2 (en) | 2014-08-28 | 2019-06-25 | Ebay Inc. | Methods and systems for virtual fitting rooms or hybrid stores |
US20140368499A1 (en) * | 2013-06-15 | 2014-12-18 | Rajdeep Kaur | Virtual Fitting Room |
JP5605885B1 (ja) * | 2014-02-27 | 2014-10-15 | 木下 泰男 | 仮想試着システムおよび仮想試着プログラム |
CN105022982B (zh) * | 2014-04-22 | 2019-03-29 | 北京邮电大学 | 手部运动识别方法和装置 |
US20150307279A1 (en) * | 2014-04-24 | 2015-10-29 | Integrated Technologies Group Corp. | Retail automation platform |
CN104008571B (zh) * | 2014-06-12 | 2017-01-18 | 深圳奥比中光科技有限公司 | 基于深度相机的人体模型获取方法及网络虚拟试衣系统 |
US10529009B2 (en) | 2014-06-25 | 2020-01-07 | Ebay Inc. | Digital avatars in online marketplaces |
RU2551731C1 (ru) * | 2014-07-02 | 2015-05-27 | Константин Александрович Караваев | Способ виртуального подбора одежды |
US10653962B2 (en) * | 2014-08-01 | 2020-05-19 | Ebay Inc. | Generating and utilizing digital avatar data for online marketplaces |
US10169909B2 (en) * | 2014-08-07 | 2019-01-01 | Pixar | Generating a volumetric projection for an object |
US10366447B2 (en) | 2014-08-30 | 2019-07-30 | Ebay Inc. | Providing a virtual shopping environment for an item |
US9928412B2 (en) | 2014-10-17 | 2018-03-27 | Ebay Inc. | Method, medium, and system for fast 3D model fitting and anthropometrics |
KR102240302B1 (ko) * | 2014-10-21 | 2021-04-14 | 삼성전자주식회사 | 가상 피팅 장치 및 이의 가상 피팅 방법 |
US10204375B2 (en) * | 2014-12-01 | 2019-02-12 | Ebay Inc. | Digital wardrobe using simulated forces on garment models |
US9307360B1 (en) | 2015-01-09 | 2016-04-05 | NinthDecimal, Inc. | Systems and methods to identify a predefined geographical region in which a mobile device is located |
JP6302132B2 (ja) * | 2015-03-20 | 2018-03-28 | 株式会社東芝 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
KR101740326B1 (ko) | 2015-03-23 | 2017-06-08 | 한국전자통신연구원 | 증강현실 기반 실감체험 장치 및 제공 방법 |
US10310616B2 (en) | 2015-03-31 | 2019-06-04 | Ebay Inc. | Modification of three-dimensional garments using gestures |
US9695529B2 (en) * | 2015-04-21 | 2017-07-04 | Artlink International Development Limited | Knitted outer covering and a method and system for making three-dimensional patterns for the same |
FR3035991B1 (fr) * | 2015-05-07 | 2021-01-29 | Arts | Procede de generation d'un modele virtuel en trois dimensions d'au moins une partie d'un squelette d'un individu |
CN104992361A (zh) * | 2015-06-25 | 2015-10-21 | 上海卓易科技股份有限公司 | 一种网上购买衣服的方法及装置 |
CN105139437A (zh) * | 2015-06-29 | 2015-12-09 | 天脉聚源(北京)科技有限公司 | 一种虚拟球员肤色匹配过滤方法及装置 |
US10373244B2 (en) | 2015-07-15 | 2019-08-06 | Futurewei Technologies, Inc. | System and method for virtual clothes fitting based on video augmented reality in mobile phone |
KR102136223B1 (ko) * | 2015-08-18 | 2020-07-21 | 삼성전자주식회사 | LFD(large format display) 장치 및 그 제어 방법 |
WO2017030255A1 (en) * | 2015-08-18 | 2017-02-23 | Samsung Electronics Co., Ltd. | Large format display apparatus and control method thereof |
CN105141944B (zh) * | 2015-09-10 | 2017-07-04 | 相汇网络科技(杭州)有限公司 | 一种多维立体成像试衣镜 |
RU2615911C1 (ru) * | 2015-12-08 | 2017-04-11 | Общество С Ограниченной Ответственностью "Дрессформер" | Способ и система построения реалистичного 3d аватара покупателя для виртуальной примерочной |
KR102279063B1 (ko) * | 2016-03-31 | 2021-07-20 | 삼성전자주식회사 | 이미지 합성 방법 및 그 전자장치 |
US9933855B2 (en) * | 2016-03-31 | 2018-04-03 | Intel Corporation | Augmented reality in a field of view including a reflection |
CN106056663B (zh) * | 2016-05-19 | 2019-05-24 | 京东方科技集团股份有限公司 | 增强现实场景中的渲染方法、处理模块和增强现实眼镜 |
JP6724582B2 (ja) * | 2016-06-15 | 2020-07-15 | 富士通株式会社 | 画像生成装置、画像生成プログラム及び画像生成方法 |
TWI625687B (zh) * | 2016-11-01 | 2018-06-01 | 緯創資通股份有限公司 | 互動式服飾試穿方法及其顯示系統與電腦可讀取記錄媒體 |
CN106778474A (zh) * | 2016-11-14 | 2017-05-31 | 深圳奥比中光科技有限公司 | 3d人体识别方法及设备 |
CN106778489A (zh) * | 2016-11-14 | 2017-05-31 | 深圳奥比中光科技有限公司 | 人脸3d特征身份信息库的建立方法及设备 |
US10460525B1 (en) * | 2017-03-30 | 2019-10-29 | Amazon Technologies, Inc. | Clothing item measurement and visualization system |
WO2018186398A1 (ja) * | 2017-04-07 | 2018-10-11 | 日本電気株式会社 | 学習データ生成装置、学習データ生成方法、および記録媒体 |
CN108734758B (zh) * | 2017-04-25 | 2021-02-09 | 腾讯科技(深圳)有限公司 | 一种形象模型配置方法、装置和计算机存储介质 |
US11094136B2 (en) | 2017-04-28 | 2021-08-17 | Linden Research, Inc. | Virtual reality presentation of clothing fitted on avatars |
US11145138B2 (en) * | 2017-04-28 | 2021-10-12 | Linden Research, Inc. | Virtual reality presentation of layers of clothing on avatars |
US10665022B2 (en) * | 2017-06-06 | 2020-05-26 | PerfectFit Systems Pvt. Ltd. | Augmented reality display system for overlaying apparel and fitness information |
US10957115B2 (en) * | 2017-07-05 | 2021-03-23 | Trendage, Inc. | Wearable item visualizer |
CN107551549A (zh) * | 2017-08-09 | 2018-01-09 | 广东欧珀移动通信有限公司 | 游戏形象调整方法及其装置 |
US10812113B2 (en) | 2017-09-05 | 2020-10-20 | Electronics And Telecommunications Research Institute | Method of detecting and correcting error in mesh and apparatus for same |
US10529086B2 (en) * | 2017-11-22 | 2020-01-07 | Futurewei Technologies, Inc. | Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system |
US10417829B2 (en) * | 2017-11-27 | 2019-09-17 | Electronics And Telecommunications Research Institute | Method and apparatus for providing realistic 2D/3D AR experience service based on video image |
CN109993595A (zh) * | 2017-12-29 | 2019-07-09 | 北京三星通信技术研究有限公司 | 个性化推荐商品及服务的方法、系统及设备 |
US10901687B2 (en) * | 2018-02-27 | 2021-01-26 | Dish Network L.L.C. | Apparatus, systems and methods for presenting content reviews in a virtual world |
CN110298720A (zh) * | 2018-03-23 | 2019-10-01 | 真玫智能科技(深圳)有限公司 | 一种服装定制设计方法及平台 |
US10339597B1 (en) * | 2018-04-09 | 2019-07-02 | Eric Blossey | Systems and methods for virtual body measurements and modeling apparel |
CN109345337A (zh) * | 2018-09-14 | 2019-02-15 | 广州多维魔镜高新科技有限公司 | 一种网购试穿戴方法、虚拟试衣镜、系统及存储介质 |
US11538045B2 (en) | 2018-09-28 | 2022-12-27 | Dish Network L.L.C. | Apparatus, systems and methods for determining a commentary rating |
US10885708B2 (en) * | 2018-10-16 | 2021-01-05 | Disney Enterprises, Inc. | Automated costume augmentation using shape estimation |
WO2020096403A1 (en) | 2018-11-09 | 2020-05-14 | Samsung Electronics Co., Ltd. | Textured neural avatars |
RU2713695C1 (ru) * | 2019-02-21 | 2020-02-06 | Самсунг Электроникс Ко., Лтд. | Текстурированные нейронные аватары |
CN111309220A (zh) * | 2018-12-11 | 2020-06-19 | 阿里巴巴集团控股有限公司 | 交互方法、图片处理方法及装置 |
US10748350B1 (en) * | 2019-05-17 | 2020-08-18 | Roblox Corporation | Modification of animated characters |
US11175730B2 (en) | 2019-12-06 | 2021-11-16 | Facebook Technologies, Llc | Posture-based virtual space configurations |
US11521263B2 (en) * | 2020-01-22 | 2022-12-06 | Cxn, Inc. | Interactive remote selection and ordering of wholesale fashion items |
US11257280B1 (en) | 2020-05-28 | 2022-02-22 | Facebook Technologies, Llc | Element-based switching of ray casting rules |
US11256336B2 (en) | 2020-06-29 | 2022-02-22 | Facebook Technologies, Llc | Integration of artificial reality interaction modes |
US11373375B2 (en) * | 2020-08-27 | 2022-06-28 | Micron Technology, Inc. | Augmented reality product display |
US11178376B1 (en) | 2020-09-04 | 2021-11-16 | Facebook Technologies, Llc | Metering for display modes in artificial reality |
US11398079B2 (en) | 2020-09-23 | 2022-07-26 | Shopify Inc. | Systems and methods for generating augmented reality content based on distorted three-dimensional models |
US11127209B1 (en) | 2020-11-06 | 2021-09-21 | King Abdulaziz University | Method and system for virtual outfit fitting based on a smart wardrobe |
KR102543605B1 (ko) * | 2020-11-16 | 2023-06-20 | (주)클로버추얼패션 | 온라인 피팅 방법 및 장치 |
US11294475B1 (en) | 2021-02-08 | 2022-04-05 | Facebook Technologies, Llc | Artificial reality multi-modal input switching model |
US11651564B2 (en) | 2021-06-15 | 2023-05-16 | Tailr LLC | System and method for virtual fitting of garments over a communications network |
CN113409431B (zh) * | 2021-06-22 | 2022-06-03 | 广州方硅信息技术有限公司 | 基于运动数据重定向的内容生成方法、装置及计算机设备 |
US20230005231A1 (en) * | 2021-07-02 | 2023-01-05 | Viettel Group | System and method for reconstructing a 3d human body from anthropometric measurements |
JP7470999B2 (ja) | 2021-12-24 | 2024-04-19 | EncodeRing株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
CN114511377A (zh) * | 2022-01-17 | 2022-05-17 | 阿里巴巴(中国)有限公司 | 虚拟试衣方法及装置 |
CN114998490B (zh) * | 2022-06-08 | 2023-03-17 | 北京百度网讯科技有限公司 | 一种虚拟对象生成方法、装置、设备及存储介质 |
WO2024014197A1 (ja) * | 2022-07-14 | 2024-01-18 | ソニーグループ株式会社 | 映像処理装置、映像処理方法およびプログラム |
CN117893289A (zh) * | 2024-03-15 | 2024-04-16 | 长园电力技术有限公司 | 一种基于ar和ai的虚拟试穿系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004341642A (ja) * | 2003-05-13 | 2004-12-02 | Nippon Telegr & Teleph Corp <Ntt> | 画像合成表示方法、画像合成表示プログラム、並びにこの画像合成表示プログラムを記録した記録媒体 |
CN101819663A (zh) * | 2009-08-27 | 2010-09-01 | 珠海琳琅信息科技有限公司 | 一种服装虚拟试穿系统 |
GB201102794D0 (en) * | 2011-02-17 | 2011-03-30 | Metail Ltd | Online retail system |
CN102043882A (zh) * | 2010-12-27 | 2011-05-04 | 上海工程技术大学 | 面向真人的服装三维虚拟试衣系统 |
CN102156810A (zh) * | 2011-03-30 | 2011-08-17 | 北京触角科技有限公司 | 增强现实实时虚拟试衣系统及方法 |
JP2011248443A (ja) * | 2010-05-24 | 2011-12-08 | Fujifilm Corp | 拡張現実映像の提示装置及び提示方法 |
CN102346895A (zh) * | 2010-07-30 | 2012-02-08 | 李嘉辉 | 虚拟物兑换方法及系统 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8013852B2 (en) | 2002-08-02 | 2011-09-06 | Honda Giken Kogyo Kabushiki Kaisha | Anthropometry-based skeleton fitting |
KR20060079883A (ko) | 2005-01-03 | 2006-07-07 | 삼성전자주식회사 | 이미지 합성방법 및 이를 적용한 영상재생장치 |
KR20070051384A (ko) | 2005-11-15 | 2007-05-18 | 에스케이씨앤씨 주식회사 | 네트워크를 이용한 의류 비즈니스 방법 |
CN100543775C (zh) * | 2007-07-26 | 2009-09-23 | 上海交通大学 | 基于多目相机的三维人体运动跟踪的方法 |
CA2734143C (en) * | 2008-08-15 | 2021-08-31 | Brown University | Method and apparatus for estimating body shape |
US20110279475A1 (en) * | 2008-12-24 | 2011-11-17 | Sony Computer Entertainment Inc. | Image processing device and image processing method |
US9159151B2 (en) | 2009-07-13 | 2015-10-13 | Microsoft Technology Licensing, Llc | Bringing a visual representation to life via learned input from the user |
US20110025689A1 (en) * | 2009-07-29 | 2011-02-03 | Microsoft Corporation | Auto-Generating A Visual Representation |
US9240067B2 (en) * | 2009-10-15 | 2016-01-19 | Yeda Research & Development Co. Ltd. | Animation of photo-images via fitting of combined models |
US10628729B2 (en) * | 2010-06-08 | 2020-04-21 | Styku, LLC | System and method for body scanning and avatar creation |
EP2455895A1 (en) | 2010-11-17 | 2012-05-23 | DNA Interactif Fashion | A device for supporting a user in selecting clothes |
US20120204118A1 (en) * | 2011-02-08 | 2012-08-09 | Lefar Marc P | Systems and methods for conducting and replaying virtual meetings |
CN102298797A (zh) * | 2011-08-31 | 2011-12-28 | 深圳市美丽同盟科技有限公司 | 三维虚拟试衣的方法、装置及系统 |
CN202331464U (zh) * | 2011-11-23 | 2012-07-11 | 杭州森动数码科技有限公司 | 一种互动虚拟试衣装置 |
CN102737338A (zh) * | 2012-05-24 | 2012-10-17 | 深圳市美丽同盟科技有限公司 | 新型虚拟试衣方法及系统 |
CN102750439A (zh) * | 2012-05-24 | 2012-10-24 | 深圳市美丽同盟科技有限公司 | 服饰对体型跟踪的方法及装置 |
-
2013
- 2013-12-13 CN CN201310686790.9A patent/CN103871106A/zh active Pending
- 2013-12-13 CN CN201811389108.9A patent/CN109598798B/zh active Active
- 2013-12-13 US US14/106,532 patent/US9607419B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004341642A (ja) * | 2003-05-13 | 2004-12-02 | Nippon Telegr & Teleph Corp <Ntt> | 画像合成表示方法、画像合成表示プログラム、並びにこの画像合成表示プログラムを記録した記録媒体 |
CN101819663A (zh) * | 2009-08-27 | 2010-09-01 | 珠海琳琅信息科技有限公司 | 一种服装虚拟试穿系统 |
JP2011248443A (ja) * | 2010-05-24 | 2011-12-08 | Fujifilm Corp | 拡張現実映像の提示装置及び提示方法 |
CN102346895A (zh) * | 2010-07-30 | 2012-02-08 | 李嘉辉 | 虚拟物兑换方法及系统 |
CN102043882A (zh) * | 2010-12-27 | 2011-05-04 | 上海工程技术大学 | 面向真人的服装三维虚拟试衣系统 |
GB201102794D0 (en) * | 2011-02-17 | 2011-03-30 | Metail Ltd | Online retail system |
CN102156810A (zh) * | 2011-03-30 | 2011-08-17 | 北京触角科技有限公司 | 增强现实实时虚拟试衣系统及方法 |
Non-Patent Citations (1)
Title |
---|
基于增强现实的物联网物体识别与虚拟交互;沈克等;《计算机工程》;20100905(第17期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
US9607419B2 (en) | 2017-03-28 |
US20140168217A1 (en) | 2014-06-19 |
CN103871106A (zh) | 2014-06-18 |
CN109598798A (zh) | 2019-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109598798B (zh) | 虚拟物拟合方法及虚拟物拟合服务系统 | |
KR101707707B1 (ko) | 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템 | |
US11640672B2 (en) | Method and system for wireless ultra-low footprint body scanning | |
US10628666B2 (en) | Cloud server body scan data system | |
JP4473754B2 (ja) | 仮想試着装置 | |
CN106373178B (zh) | 生成人工图像的装置和方法 | |
US10311508B2 (en) | Garment modeling simulation system and process | |
KR20180112756A (ko) | 표정 검출 성능을 갖는 머리-장착형 디스플레이 | |
US10360444B2 (en) | Image processing apparatus, method and storage medium | |
JP6373026B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
CN105556508A (zh) | 虚拟镜子的装置、系统和方法 | |
CN104813340A (zh) | 从2d图像序列导出准确身体尺寸测量的系统和方法 | |
US20220198780A1 (en) | Information processing apparatus, information processing method, and program | |
KR101499698B1 (ko) | 깊이 정보 기반으로 3차원 의상 착용 모델을 제공하는 장치 및 방법 | |
CN113610612B (zh) | 一种3d虚拟试衣方法、系统及存储介质 | |
EP2462564B1 (en) | Representation of complex and/or deformable objects, and virtual fitting of wearable objects | |
CN105814604B (zh) | 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统 | |
KR101499699B1 (ko) | 깊이 정보 기반으로 사용자의 3차원 신체 모델을 생성하는 방법 및 장치 | |
CN108549484B (zh) | 基于人体动态姿态的人机交互方法和装置 | |
WO2018182938A1 (en) | Method and system for wireless ultra-low footprint body scanning | |
CN108205823A (zh) | Mr全息真空体验店和体验方法 | |
WO2018173205A1 (ja) | 情報処理システム、その制御方法、及びプログラム | |
KR20170143223A (ko) | 3d 실감체험 콘텐츠 서비스 제공 장치 및 방법 | |
CN109299989A (zh) | 虚拟现实试衣系统 | |
WO2022081745A1 (en) | Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |