CN103871106A - 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统 - Google Patents

Abstract

本发明提供一种利用人体模型的虚拟物拟合方法和虚拟物拟合服务系统。该虚拟物拟合方法，包括以下步骤：判断用户是否位于体验区域；当所述用户位于体验区域时，加载对应于用户所输入的设定信息的3D标准数码形象；获取具有预先设定的姿势的用户的深度图像；利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象；将所述用户选择的虚拟物拟合至用户数码形象；以及将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中。

Description

利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统

技术领域

本发明涉及一种虚拟物拟合方法及虚拟物拟合服务系统，特别是，涉及一种方法及系统，利用反映用户的外观特征和骨骼结构的3D人体模型，使用户不直接试戴所需物，也可通过虚拟物拟合来判断整体面貌(look)。

背景技术

最近，随着深度传感器的出现，用户的图形信息和关节的动作信息可通过低廉的费用较容易地获得。因此，通过应用深度传感器，多种服务中所使用的用户界面中发生了改变。特别是，随着用户界面的改变，新的用户参与型服务登场。该参与型服务中的一个便是用户不直接试穿衣服或饰品等物品，且可虚拟佩戴的虚拟物拟合服务。

现有的虚拟物拟合服务为单纯地接收深度传感器中所提供的用户的动作，控制被操纵(rigging)或换肤(skinning)的数码形象，并提供将操纵的物品动漫的服务。该服务与用户的体形无关，因此，向用户提供的服务具有缺乏真实感的问题。

此外，现有技术中，开发了通过3D全身扫描机来扫描用户的外观，从而制作适合于用户体形的匹配型物品的服务。但是，该服务中所使用的3D全身扫描机价格较高，在扫描过程中，用户的动作被限制，具有不能较好地反映实时变动的用户动作的问题。

因此，就算用户虚拟地试穿衣服或饰品等，也需要一种可实时地进行处理的解决方案，并需要一种可反映用户的动作来提供更具真实感的直观服务。

发明内容

技术课题

本发明提供一种方法和系统，用户不是实际佩戴所需物品而是通过虚拟地拟合，从而容易地掌握该物品是否适合于用户。

本发明提供一种方法和系统，将虚拟物拟合至反映用户外观身体特征的用户数码形象，从而用户不直接佩戴物品也确认整体面貌，并可容易地判断虚拟物是否适合于自己。

本发明提供一种方法和系统，将用户的动作反映至虚拟物被拟合的用户数码形象中，可提供实际用户佩戴该虚拟物的活动的真实感效果。

本发明提供一种方法和系统，将具虚拟物的购买信息和数字信息的识别标记叠加至用户数码形象的捕获画面中，使用户可容易地购买该虚拟物，且便于更有效地来修改该虚拟物。

技术方案

根据本发明的一个实施例的虚拟物拟合方法，可包括以下步骤：判断用户是否位于体验区域；当所述用户位于体验区域时，加载对应于用户所输入的设定信息的3D标准数码形象；获取具有预先设定的姿势的用户的深度图像；利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象；将所述用户选择的虚拟物拟合至用户数码形象；以及将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中。

根据本发明的一个实施例的虚拟物拟合方法，其中，将所述3D标准数码形象改变成反映用户的外观身体特征的用户数码形象的步骤，可包括以下步骤：从所述用户的深度图像将3D图形块复原；利用所述3D图形块，来改变3D标准数码形象的关节长度信息；以及利用所述3D图形块，来改变3D标准数码形象的体积信息。

根据本发明的一个实施例的虚拟物拟合方法，其中，将所述3D图形块复原的步骤，可包括以下步骤：利用所述深度图像的当前像素和相邻像素的深度信息，表示成3D网格；以及根据所述深度信息和几何信息来决定构成网格的顶点的3D位置。

根据本发明的一个实施例的虚拟物拟合方法，其中，改变所述3D标准数码形象的关节长度信息的步骤，可包括以下步骤：利用所述3D图形块来推定用户的关节结构；以及从所述推定的关节结构提取用户的关节长度信息，应用至3D标准数码形象的关节长度信息中。

根据本发明的一个实施例的虚拟物拟合方法，其中，改变所述3D标准数码形象的体积信息的步骤，可包括以下步骤：从经所述3D图形块推定出的用户的关节结构，生成相对于关节行进方向的垂直剖面；以及利用复原的所述3D图形块和剖面之间的交叉点，来调整3D标准数码形象的体积信息。

根据本发明的一个实施例的虚拟物拟合方法，其中，将所述用户选择的虚拟物拟合至用户数码形象的步骤，可包括以下步骤：决定所述3D标准数码形象和用户数码形象各自网格之间的移动变位；以及将所述决定的移动变位应用至虚拟物的顶点。

根据本发明的一个实施例的虚拟物拟合方法，其中，所述应用至虚拟物被拟合的用户数码形象中的步骤，可基于构成所述用户数码形象的关节结构的三自由度旋转和三自由度移动，来将用户数码形象的动作重定向。

根据本发明的一个实施例的虚拟物拟合方法，其中，所述应用至虚拟物被拟合的用户数码形象中的步骤，可根据所述用户数码形象的动作，将照明效果渲染至虚拟物。

根据本发明的一个实施例的虚拟物拟合方法，可进一步包括以下步骤：将用户的彩色图像合成至所述虚拟物被拟合的用户数码形象，来反馈给用户。

根据本发明的另一个实施例的虚拟物拟合方法，可包括以下步骤：基于用户输入的设定信息来加载3D标准数码形象；利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象；将所述用户选择的虚拟物拟合至用户数码形象；以及将用户的彩色图像合成至所述虚拟物被拟合的用户数码形象，来反馈给用户。

根据本发明的另一个实施例的虚拟物拟合方法，其中，将所述3D标准数码形象改变成反映用户的外观身体特征的用户数码形象的步骤，可基于所述用户的外观身体特征，来改变所述3D标准数码形象的关节长度信息和体积信息。

根据本发明的又另一个实施例的虚拟物拟合方法，可包括以下步骤：从用户接收对于虚拟物的选择；根据所述用户的身体特征，将所述选择的虚拟物被拟合的3D标准数码形象改变成用户数码形象；感应所述用户的实时动作从而应用至用户数码形象中；将根据所述用户的实时动作变化的照明效果应用至用户数码形象中；将所述动作和照明效果被应用的用户数码形象反馈给用户。

根据本发明的又另一个实施例的虚拟物拟合方法，其中，将所述3D标准数码形象改变成用户数码形象的步骤，可基于所述用户的身体特征，来改变所述3D标准数码形象的关节长度信息和体积信息。

根据本发明的又另一个实施例的虚拟物拟合方法，其中，感应所述用户的实时动作从而应用至用户数码形象中的步骤，可基于构成所述用户数码形象的关节结构的关节的三自由度旋转和三自由度移动，来将用户数码形象的动作重定向。

根据本发明的又另一个实施例的虚拟物拟合方法，其中，将所述照明效果应用至用户数码形象中的步骤，可针对构成所述虚拟物的3D网格来决定考虑光源的环境映射。

根据本发明的又另一个实施例的虚拟物拟合方法，可包括以下步骤：向位于虚拟物拟合服务的体验区域的用户提供用于选择虚拟物的界面；显示所述用户选择的虚拟物被拟合的用户数码形象；当所述用户选择显示的用户数码形象时，生成与虚拟物的购买信息或数字信息相关的识别标记；以及将所述生成的识别标记叠加至用户数码形象的捕获画面中来进行提供。

根据本发明的又另一个实施例的虚拟物拟合方法，其中，显示所述用户选择的虚拟物被拟合的用户数码形象的步骤，可将对应于所述用户输入的设定信息的3D标准数码形象改变成反映用户的身体特征的用户数码形象来进行显示。

根据本发明的又另一个实施例的虚拟物拟合方法，其中，所述用户数码形象，可以是所述3D标准数码形象的关节长度信息和体积信息基于所述用户的外观身体特征被改变的数码形象。

根据本发明的一个实施例的虚拟物拟合服务系统，可包括：显示器，用来显示用户的体验图像，向用户提供虚拟物的拟合服务；彩色图像拍摄装置，用来实时地捕获所述用户，收集用户的彩色图像；深度图像拍摄装置，用来检测所述用户的动作和身体尺寸；虚拟物拟合装置，根据所述用户的动作和身体尺寸，将3D标准数码形象转换成用户数码形象，并将虚拟物拟合至所述用户数码形象中，且其中，所述虚拟物拟合装置，可将所述虚拟物被拟合的用户数码形象与彩色图像合成，来反馈给所述显示器。

根据本发明的一个实施例的虚拟物拟合服务系统，其中，所述虚拟物拟合装置，可利用从所述用户的深度图像复原的3D图形块，来改变3D标准数码形象的关节长度信息和体积信息。

根据本发明的一个实施例的虚拟物拟合服务系统，其中，所述虚拟物拟合装置，基于构成所述用户数码形象的关节结构的关节的三自由度旋转和三自由度移动，来将用户数码形象的动作重定向。

根据本发明的一个实施例的虚拟物拟合服务系统，其中，所述虚拟物拟合装置，可根据所述用户数码形象的动作，将照明效果渲染至虚拟物。

根据本发明的另一个实施例的虚拟物拟合服务系统，可包括：显示器，用来显示用户的体验图像，向用户提供虚拟物的拟合服务；彩色图像拍摄装置，用来实时地捕获所述用户，收集用户的彩色图像；深度图像拍摄装置，用来检测所述用户的动作和身体尺寸；虚拟物拟合装置，根据所述用户输入的设定信息，加载3D标准数码形象，并利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象，并将所述用户选择的虚拟物拟合至用户数码形象中，且其中，所述虚拟物拟合装置，将所述虚拟物被拟合的用户数码形象与彩色图像合成，来反馈给所述显示器。

根据本发明的又另一个实施例的虚拟物拟合服务系统，其利用显示器、彩色图像拍摄装置、和深度图像拍摄装置，且所述虚拟物拟合服务系统可包括：虚拟物拟合装置，从用户接收对于虚拟物的选择，并根据所述用户的身体特征，将所述选择的虚拟物被拟合的3D标准数码形象改变成用户数码形象。

根据本发明的又另一个实施例的虚拟物拟合服务系统，其中，所述虚拟物拟合装置，可感应所述用户的实时动作，来应用至用户数码形象中，或是将根据用户的实时动作变化的照明效果应用至用户数码形象中，然后反馈给用户。

根据本发明的又另一个实施例的虚拟物拟合服务系统，其利用显示器和彩色图像拍摄装置，且所述虚拟物拟合服务系统可包括：虚拟物拟合装置，可通过显示器向用户提供用于选择虚拟物的界面，并利用通过深度图像拍摄装置获取的深度图像来生成所述用户选择的虚拟物被拟合的用户数码形象，且当所述用户选择所显示的用户数码形象时，将与虚拟物的购买信息或数字信息相关的识别标记叠加至用户数码形象的捕获画面中来进行提供。

根据本发明的又另一个实施例的虚拟物拟合服务系统，其中，所述虚拟物拟合装置，可根据所述用户的外观身体特征，改变所述3D标准数码形象的关节长度信息和体积信息来生成用户数码形象。

技术效果

根据本发明的一个实施例，由于用户不是实际佩戴所需物品而是通过虚拟地拟合，因此可容易地掌握该物品是否适合于用户。

根据本发明的一个实施例，由于将虚拟物拟合至反映用户外观身体特征的用户数码形象，因此，用户不直接佩戴物品也可确认整体面貌，并可容易地判断虚拟物是否适合于自己。

根据本发明的一个实施例，由于将用户的动作反映至虚拟物被拟合的用户数码形象中，因此，可提供实际用户佩戴该虚拟物的活动的真实感效果。

根据本发明的一个实施例，由于将具虚拟物的购买信息和数字信息的识别标记叠加至用户数码形象的捕获画面中，因此，用户可容易地购买该虚拟物，并可更有效地来修改该虚拟物。

附图说明

图1是示出根据一个实施例的虚拟物拟合服务系统的示图。

图2是示出根据一个实施例，通过虚拟物拟合服务系统，向用户显示出虚拟物拟合结果的示图。

图3是示出根据一个实施例的3D标准数码形象和关节结构的对应关系的示图。

图4是示出根据一个实施例，将用户的体积信息反映至3D标准数码形象中的过程的示图。

图5是示出根据一个实施例的用户的8个主要身体部位的测量结果的示图。

图6是示出根据一个实施例的用户的骨骼结构的示图。

图7是示出根据一个实施例的推定用户的关节位置的过程的示图。

图8是示出根据一个实施例的虚拟物拟合方法的示图。

图9是具体示出根据图8的用户测量模式的运作过程的示图。

图10是具体示出根据图8的虚拟物的体验模式的运作过程的示图。

图11是具体示出根据图8的虚拟物的体验结果模式的运作过程的示图。

具体实施方式

以下，参照附图对本发明的实施例进行详细地说明。

本发明提供一种系统和方法，利用至少一个深度传感器来检测用户的实际外观身体特征，并利用反映外观身体特征的用户数码形象来拟合虚拟物。由此，根据本发明的一个实施例，用户可不用繁琐地试戴多个虚拟物，只要通过将适合于自身身体特征的虚拟物事先体验来进行确认，用户便可容易地选择虚拟物。

以下，参照附图对下列过程进行说明。通过电脑亭(kiosk)形态的虚拟物拟合服务系统来测出人体的外观图形，从而自动生成反映用户身体特征的用户数码形象，并将用户所需的虚拟物应用到用户数码形象中，根据用户的动作，实时地来物理性模拟衣服的皱痕或拟合度，然后反馈给用户。

图1是示出根据一个实施例的虚拟物拟合服务系统的示图。

参照图1，虚拟物拟合服务系统可包括显示器102、深度传感器103、106、107。此外，显示器102可具备用来实时地拍摄用户当前外观的视频监控。拟合服务系统可运营成电脑亭形态的系统。该拟合服务系统可设置在销售服饰、饰品等物品的商场中。

当不需要电脑亭形态时，系统可适用于由显示器102、深度传感器103组合的家庭式TV系统、PC系统、或移动终端中。在这种情况下，视频监控可以是另外附加的视频监控，也可以是安装在TV中的视频监控，或是安装在深度传感器中的RGB彩色视频监控。

显示器102可向用户提供体验虚拟物的拟合服务。此外，可考虑用户的视线来安装显示器102，即，显示器102可如同用户在照镜子的感觉显示出拟合服务的体验图像。因此，视频监控可实时地捕获用户来显示出体验图像。

此外，深度传感器103可测量用户的身体体型，并捕获用户的动作。在这种情况下，为了正确地检测出用户的身体体型，深度传感器102或深度传感器103可安装在拟合服务系统的下端、侧面、背面。拟合服务系统中配备的深度传感器的个数不受限制，深度传感器越多准确度也就越高。此外，以最小规格，拟合服务系统的深度传感器可安装在用户的正面。

拟合服务系统中安装的深度传感器与视频监控须针对一个标准坐标系被几何校正。在此，几何校正可以是指针对标准坐标系来校正各深度传感器和视频监控的相对坐标系，并校正深度传感器和视频监控内部的光学投影系数的过程。

拟合服务系统可区分为静止模式、用户测量模式、虚拟物的体验模式、虚拟物的体验结果模式来进行运作。

首先，在静止模式中，拟合服务系统可判断用户是否进入体验区域105。拟合服务系统可通过安装在显示器102中的视频监控来拍摄用户，当用户正面面对显示器时，通过显示器102如同用户在照镜子一样显示出图像。同时，显示器102在特定区域中显示出虚拟物拟合服务系统的操作提示，因此，可等待用户进入体验区域105。

此外，当用户进入体验区域105时，拟合服务系统可转换成用户测量模式。此外，拟合服务系统可引导用户从体验区域105移动至检测区域104。由此，拟合服务系统可在检测区域104中测量用户的体型。拟合服务系统可通过显示器102的用户界面UI（user interface)向用户提出是否有体验虚拟物拟合服务的意向。

在这种情况下，系统在拍摄用户动态的深度图像中利用用户区域的最高部位与地面之间的深度信息值来获取用户的身高信息，并可根据身高上下调整UI的位置，从而在通过手势的UI中解决由于身高用户较难执行UI按钮的问题。可基于用户身高信息，计算用户将手臂向上或向两边伸展时可达到的3D空间，并使UI相关的按钮位于将计算的3D空间投影至显示器102的图像坐标系时的投影区域之内，从而解决用于身高用户的交互的问题。即，在显示器102画面中用户可伸展手臂的画面区域内显示UI相关的按钮，用户不用特别地移动位置也可与系统进行交互。

当用户通过显示器102中显示的用户界面UI来输入性别信息时，虚拟物拟合装置101在存储器中加载对应于用户选择的性别信息的3D标准数码形象。在这种情况下，不仅是性别信息，可通过年龄、人种、儿童等多样的分类信息，利用符合用户的身体特征或体验环境的定制数码形象，来实现该服务。

图2是示出根据一个实施例，通过虚拟物拟合服务系统，向用户显示出虚拟物拟合结果的示图。

为了获取用户的3D图形信息，拟合服务系统可通过显示器203来显示预先设定的特定姿势的剪影图像。

在这种情况下，剪影图像利用先前获取的用户的身高信息将标准数码形象整体缩放（scaling）来调整尺寸后，将更改后的标准数码形象从直角（orthographic）坐标系往显示器102方向正面投射，来生成2D剪影图像，然后显示在画面中。由此，可更直观地引导用户姿势。

此外，拟合服务系统可通过显示器203来显示用户所请求的将特定姿势维持一定时间以上的消息。在这种情况下，当用户在检测区域或体验区域中一定时间期间维持显示器203中所显示的特定姿势时，深度传感器103在拍摄用户的深度图像后，可将深度图像传送给虚拟物拟合装置201。深度传感器204的运作方式也可同样适用于位于用户背面的深度传感器。

此后，通过虚拟物的体验模式，虚拟物拟合装置201可利用深度图像，将3D标准数码形象转换成反映用户的外观身体特征的用户数码形象。在这种情况下，虚拟物拟合装置201将用户选择的虚拟物应用至用户数码形象中后，可附加地应用对用户的动作或虚拟物具影响的照明效果。由此，虚拟物拟合装置201将用户数码形象中的虚拟物的渲染图像与通过视频监控202拍摄的用户的彩色图像合成后，可通过显示器203来提供给用户。用户通过用户数码形象与彩色图像合成的结果，可感觉到自身佩戴虚拟物在照镜子的感觉。由于上述过程中将视频监控202的图像和用户数码形象左右变换（flip）来显示，因此具有在照镜子的效果。

由于用户在改变虚拟物的同时，将选择的虚拟物应用至用户数码形象，并在用户数码形象与用户进行相同的动作时，计算虚拟物的更改，然后将更改的虚拟物的渲染结果与用户的视频监控合成，实时地进行体验，，因此可在其中选择佩戴最适合于自己的虚拟物的用户数码形象。由此，虚拟物拟合装置201可从静止模式转换成虚拟物的体验结果模式，捕获用户选择的数码虚拟物被合成至用户的视频监控的结果图像来提供给用户。在这种情况下，可一起提供类似有关用户所选择的数码虚拟物的信息的存取的QR码和智能编码信息。此外，可将用户体验的特定姿势的深度图像、彩色图像、关节图像、虚拟物信息存储在用于以后再体验或再购买的数据库中，用户可利用提供的QR码等来进行存储。

图3是示出根据一个实施例的3D标准数码形象和关节结构的对应关系的示图。

虚拟物拟合装置可对应于用户输入的性别信息来加载3D标准数码形象。此外，为了获取用户的3D图形信息，拟合服务系统通过显示器将用户特定姿势的剪影图像提供至用户界面。此外，在用户预先设定的时间期间，拟合服务系统可通过显示器来提供用户请求维持特定姿势的用户界面UI。由此，用户可在观看显示器的同时一定时间期间维持特定的姿势。

在这种情况下，深度传感器可拍摄正维持特定姿势的用户的深度图像，从而传送给虚拟物拟合装置。此外，视频监控可拍摄正维持特定姿势的用户的彩色图像，从而传送给虚拟物拟合装置。虚拟物拟合装置可存储一定时间内同时拍摄的自深度传感器传送的深度图像和自视频监控传送的彩色图像。此后，虚拟物拟合装置可利用深度图像来复原用户的图形，并推定关节结构。当深度传感器提供用户的动作信息时，虚拟物拟合装置可将用户的各关节的关节信息一同存储。

虚拟物拟合装置可利用深度图像的当前像素和邻近当前像素的相邻像素的深度信息，来生成由三角形或矩形构成的3D网格(mesh)。此后，虚拟物拟合装置可利用深度图像中的当前像素的深度信息和几何校正信息，来决定构成3D网格的各顶点(vertex)的3D位置，从而将经标准坐标系表示的用户的3D图形块401、402复原。

当3D图形块被复原时，虚拟物拟合装置可推定用户的关节结构。在一个例子中，虚拟物拟合装置可设置体素(voxel)，该体素可包括标准坐标系中被复原的3D图形块。

即，虚拟物拟合装置可通过特定尺寸的体素来构成3D图形块。虚拟物拟合装置可判断构成体素和3D图形块的3D网格是否在3D空间上产生交叉。如上所述，虚拟物拟合装置可基于各体素在3D空间上与3D图形块的交叉发生与否，来决定是否填入空间上的个别体素还是空出。

此外，当发生交叉时，虚拟物拟合装置可基于引起交叉的深度传感器的相机原点来确认可视性(visibility)，从而决定用户的人体内部体素的填入。具体来说，由于虚拟物拟合装置可提取所有表面体素所参与的可视性局部外观(visible local appearance)的最大似然(likelihood)色彩，用于形成3D图形块，从而可决定填入各表面体素。在此，可视性在各深度传感器的视点(viewpoint)中被决定。

此外，虚拟物拟合装置可利用用户的各人体部位的3D骨骼信息和人体测量信息，在用户的骨骼结构中推定各关节的位置。具体来说，虚拟物拟合装置可利用各部位生成的3D骨骼信息来推定各关节的位置，并对照初始姿势的标准数码形象的各关节的相邻关节的位置信息，利用用户关节位置和该关节的相邻关节的位置信息来提取各关节的旋转角。

此外，虚拟物拟合装置可利用3D标准数码形象的各部位信息和用户的人体测量信息中所包含的各部位信息间的误差率，来推定用户的关节位置。当关节位置被推定时，可生成用户的关节结构骨架结构。推定关节位置的过程将参照图7来说明。

用户数码形象可通过将关节长度反映至3D数码形象中来决定。即，当用户的关节结构生成时，可提取有关用户的身高和手臂、腿的长度等基本的关节长度信息。由此，虚拟物拟合装置利用用户的关节长度信息来改变3D标准数码形象的关节的长度信息，从而可调整3D标准数码形象的骨骼结构，使3D标准数码形象与用户的骨骼结构相一致。

当3D标准数码形象被操纵(rigging)时，随着骨骼结构的长度变化，3D标准数码形象的外观3D图形块也随之变形。在此，操纵可以是指根据3D数码形象的关节动作来控制各关节结构中附属的3D数码形象的顶点的位置，从而来改变3D数码形象的图形。

图4是示出根据一个实施例，将用户的体积信息反映至3D标准数码形象中的过程的示图。

图3的过程虽然是指在3D标准数码形象中反映用户的关节之间的长度信息，但还未反映用户的体积信息。虚拟物拟合装置可利用用户的关节结构，来将用户的体积信息反映至3D标准数码形象中。

在一个例子中，为了将用户的体积信息反映至3D标准数码形象中，虚拟物拟合装置可在用户的关节结构中生成相对于关节与关节之间标准轴的垂直剖面。例如，关节是指肩膀、臂肘等骨与骨连接的部位。标准轴显示出从肩膀关节至臂肘关节的3D方向矢量(vector)。垂直剖面是指根据方向矢量，按一定的比例或是用户所定义的比例，垂直于方向矢量的3D剖面。即，虚拟物拟合装置可生成相对于关节行进方向的垂直剖面。例如，虚拟物拟合装置可生成腰部剖面、胸部剖面等。

图4中，以用户的腰部剖面404为中心进行说明。虚拟物拟合装置收集被复原的用户3D图形块401、402和腰部剖面404之间的3D交叉点，将其投影至3D剖面中来收集2D图形信息405、406的信息。由此获取的2D图形信息的总长度对应于该剖面的身体部分的全围信息（图5），并可直观地进行测量。

此外，使用相同的方法，虚拟物拟合装置可从3D标准图形中提取将对应于腰部剖面404的交叉点投影所获得的2D图形信息409，并决定用户的2D图形信息405与2D图形信息409之间的平面差分值，以及用户的2D图形信息406与2D图形信息409之间的平面差分值。

在这种情况下，将标准数码形象的2D图形信息409以预先设定的间隔采样（sampling），获得的标准点410为中心往垂直于各标准点的曲率的方向延伸来找出与用户的2D图形信息406、407的交叉点411。在这种情况下，两点之间的距离为差分值。

在这种情况下，2D图形信息407与用户穿着实际服饰状态下的剖面相关，因此，虚拟物拟合装置为了使2D图形信息409与用户的2D图形信息405、406交叉扩展至2D图形信息407时，可利用用户的人体图形的人体测量属性。例如，腰部的人体测量属性是指标准的腰部剖面404为具有椭圆形形态的信息，该特征可在3D标准数码形象生成时预先反映。因此，虚拟物拟合装置可基于用户的2D图形信息405和用户的2D图形信息406各自的平面差分值，以腰部剖面404的中心408为中心，计算出2D图形信息409往外部扩展，可变形为2D图形信息407的变形率。在这种情况下，2D图形信息409可在不超过用户的2D图形信息405和用户的2D图形信息406的范围内被扩展变形至2D图形信息407。2D的扩展信息可利用剖面的3D平面信息来决定3D图形的变形程度。

将上述各关节的剖面的扩展信息针对整个关节进行计算后，可利用相邻剖面之间的扩展信息，通过线形或非线形插值法（interpolation）来扩展两个剖面之间的3D标准数码形象的顶点的3D位置。各剖面的扩展信息可并联处理，因此可利用多重处理器或GPU等来快速计算。

此外，在上述方法中，如图5所述，利用身体主要部位的全围信息及关节信息可获取身高、臂长、腿长的身体尺寸测量信息。该信息可应用于现有的数码形象变形法，例如接收输入的用户各部位的长度信息，通过3D变形(morphing)技术来改变3D标准数码形象的尺寸。此外，上述身体部位的测量信息对应于现有服饰销售中所使用的服饰尺寸计数法，用户在选择服饰时可直接接收所提供的信息，本发明除了通过控制长度、体积从标准数码形象变为用户数码形象以外，还确保与现有变形技术的交互性以及直接将身体尺寸信息提供给用户，因此，可用于体验之外的物品购买。

图5是示出根据一个实施例的用户的8个主要身体部位的测量结果的示图。身体部位可在关节结构上任意选定并测量。

通过该过程，用户的体积信息被反映至3D标准数码形象中。结果，根据本发明的一个实施例，将用户的关节长度信息和体积信息反映至3D标准数码形象中进行变形，从而可生成反映用户的外观身体特征的用户数码形象。

图6是示出根据一个实施例的用户的骨骼结构的示图。

虚拟物拟合装置可利用从深度传感器检测出的深度图像来决定用户的骨骼结构。具体来说，虚拟物拟合装置可基于从深度图像导出的3D图形块来决定用户的骨骼结构，然后从用户的骨骼结构推定关节结构。

为此，虚拟物拟合装置利用人体各部位的3D骨骼信息和部位信息来提取人体的身高信息。此外，虚拟物拟合装置可从用户的身高来判定手臂、腿、膝盖等平均具有多少长度的各部位平均长度后，将各部位平均长度应用至各部位的3D骨骼结构中。由此，虚拟物拟合装置可将曲线匹配至用户的各身体部分的3D骨骼信息中来推定关节位置。

在上述长度信息的估计过程中，针对类似用户头发的黑色区域或是从相机的视点来看深度值急剧变化的区域，深度传感器可能不提供深度信息。在这种情况下，在侧量类似身高的长度信息时可能发生错误。为解决该问题，利用深度传感器提供的彩色图像来补充深度传感器不能提供的有关错误区域的3D信息。利用相机补正信息将深度传感器中获取的深度信息投影至深度传感器的彩色图像中。在这种情况下，由于深度传感器中没有头发部分的深度信息，因此头发部分没有被投影。在彩色图像中，由于利用深度信息被投影的彩色图像的色彩值来检索周边相似的色彩，因此，可从彩色图像中获取头发区域的信息。假设，为测量用户站直时，可利用脸部区域中检测的深度信息来计算头部所在的3D平面，且彩色图像中检测的头发区域的最高点的像素坐标值被反向投影（backprojection）至3D平面时，可准确地测量出用户的身高信息。

图7是示出根据一个实施例的推定用户的关节位置的过程的示图。

虚拟物拟合装置将用户右臂的3D骨骼下端部32至相当于用户的手长度的区域附近具有最小围长的点推定为手腕关节的位置34。此外，虚拟物拟合装置利用用户的测量信息，将推定为肩膀的区域附近剖面的围长突然变化的点推定为肩膀关节的位置36。

当手腕和肩膀关节的位置被推定时，由于肘部关节是用户的手臂中肩膀和手腕关节之间唯一弯曲的部分，因此，虚拟物拟合装置将距离连接手腕关节的位置34和肩膀关节的位置36的线最远的点推定为肘部关节的位置38。

如上所述，虚拟物拟合装置可将位置推定较明确的或是膝盖肘部等存在屈折较容易推定的关节位置来先推定，并利用先推定的关节的位置和用户测量信息来自动地推定剩下未推定的关节位置。此外，虚拟物拟合装置可综合推定的关节位置信息来推定任意姿势的用户的整个骨骼结构。

图8是示出根据一个实施例的虚拟物拟合方法的示图。

在步骤801中，虚拟物拟合服务系统可执行静止模式。此外，在步骤802中，拟合服务系统可执行用户测量模式。在步骤803中，拟合服务系统可执行虚拟物的体验模式。此外，在步骤804中，拟合服务系统以虚拟物的体验结果模式来运作。其中，静止模式在图1和图2中已说明，在此省略详细说明，且步骤802、步骤803、步骤804将分别在图9、图10、图11中被说明。

图9是具体示出根据图8的用户测量模式的运作过程的示图。

在步骤901中，拟合服务系统可感应用户是否进入体验区域。此外，在步骤902中，拟合服务系统可语音询问用户是否将体验虚拟物拟合服务。在这种情况下，用户没有体验意向时，拟合服务系统可重新运作为静止模式。此外，用户有体验意向时，在步骤903中，拟合服务系统可接收用户的设定信息。在此，用户的设定信息可以是指用户的性别信息。

由此，在步骤904中，拟合服务系统可加载对应于用户的性别信息的3D标准数码形象。此后，在步骤905中，拟合服务系统可向用户请求将特定姿势维持一段时间，随后，测量维持特定姿势的用户的外观身体特征。在步骤906中，拟合服务系统可基于深度图像来复原用户的3D图形并推定出关节的结构。此后，在步骤907中，拟合服务系统可将用户的外观身体特征反映至3D标准数码形象中，从而生成用户数码形象。具体来说，拟合服务系统可改变3D标准数码形象的关节长度信息和体积信息来生成用户数码形象。用户数码形象生成的过程可参照图2至图6。

图10是具体示出根据图8的虚拟物的体验模式的运作过程的示图。

在步骤1001中，拟合服务系统可从用户接收对于虚拟物的选择。即，用户可从多个虚拟物中选择自身想拟合的虚拟物。

在步骤1002中，拟合服务系统可将虚拟物拟合至用户数码形象中。如上所述的，用户数码形象可以是指利用从深度图像导出的3D图形块，在3D标准数码形象上反映出用户的外观身体特征关节结构和体积结构。

在一个例子中，假设各虚拟物被预先拟合至3D标准数码形象中。在这种情况下，拟合服务系统可利用构成虚拟物的顶点与3D标准数码形象的网格之间的距离，将3D标准数码形象变为用户数码形象时所发生的3D标准数码形象的网格与用户数码形象地网格之间的移动变位反映至虚拟物的顶点中。由此，虚拟物被拟合的3D标准数码形象可容易地变形为虚拟物被拟合的用户数码形象。即，拟合服务系统从3D标准数码形象生成用户数码形象时，3D标准数码形象中被拟合的虚拟物一同变形，从而使该虚拟物拟合至用户数码形象中。

此外，可利用类似质点弹簧（mass-spring）模式的单纯物理模拟或现有的商用模拟引擎（例如nvidia物理现象或APEX）等，将虚拟物拟合至用户数码形象中。

在步骤1003中，拟合服务系统可将用户的动作应用至用户数码形象中。当3D标准数码形象被重定向时，本发明的通过关节信息变形及反映体积信息的用户数码形象生成过程，用于定义构成3D标准数码形象的关节结构和图形的各顶点之间的关节移动的顶点移动程度的相关系数（skin weight）也被保存在用户数码形象中。由此，针对用户数码形象控制构成关节结构的各关节的旋转和移动，从而类似标准数码形象的图像变形，来决定用户数码形象的图形。

在一个例子中，拟合服务系统可实时地控制运动的用户数码形象的图形，使深度传感器中输入的用户的动作（运动）信息与用户数码形象的关节结构相一致。不仅如此，拟合服务系统可进行模拟控制，使用户数码形象中拟合的虚拟物的各顶点的位置与用户数码形象的图形变形相一致，从而进行变形使虚拟物与用户的动作相一致。

由于拟合服务系统可基于构成用户数码形象的关节结构的各关节的局部三自由度旋转和三自由度移动来进行运动重定向(motion retargeting)，因此，可将实时变化的用户的动作反映至用户数码形象中。

在这种情况下，当深度传感器提供用户的动作（运动）信息时，拟合服务系统可进行控制，使约20个左右的关节的局部旋转及移动对应于用户数码形象。当深度传感器不提供动作信息时，如上所述，参照图6和图7的说明，将用户的动作反映至用户数码形象中。

当深度传感器提供用户的动作信息时，根据深度传感器的探测角内用户动作输入的多少，在深度传感器所提供的标准坐标系中，臀部中心（Hipcenter）关节（根关节）以三自由度移动的关节可能会上下移动。该现象，例如在深度传感器没有收集用户的臀部(hip)以下的下体信息时也可能发生。在这种情况下，反映用户动作的用户数码形象被上下移动并发生误差，从而可能较难实现真实的虚拟物拟合体验。

根据本发明的一个实施例，可利用用户数码形象的3D图形信息和深度传感器中导出的图像帧的深度信息来控制不必要的臀部中心（hipcenter）的上下移动。其中，用户数码形象的图形通过利用深度传感器中提供的重定向的动作信息被控制。

例如，距离用户拟合服务系统较近时，深度传感器中可能不提供用户的下体信息。由此，深度传感器提供的用户的动作信息可能会以臀部中心（hipcenter）为中心不规则地上下移动。如上所述，上下不规则地移动的用户的动作信息被重定向的用户数码形象可能会往不必要的方向被改变图形。因此，将相同的帧中输入的深度图像的3D图形块以标准坐标系为中心比较时，用户的肩膀部分中可能会导出上下差分。

拟合服务系统可将上下差分部分逆反映在有关用户数码形象的动作的重定向结果中，进行控制使关节的移动信息来抵消差分误差，从而使用户数码形象的肩膀部分的网格图形映射至深度图像的肩膀部分的网格图形中。即，拟合服务系统可逆控制用户数码形象的根(root)关节，因此，可防止肩膀上下移动的现象。

在步骤1004中，拟合服务系统可将虚拟物的照明效果反映至用户数码形象中。

具体来说，拟合服务系统可反映周边的照明效果来真实地渲染虚拟物。在一个例子中，拟合服务系统可针对根据用户数码形象的动作被改变的虚拟物的3D网格，预先拍摄拟合服务系统中设置的空间的半球形或立方形环境图(environment map)。由此，拟合服务系统可针对空间上配置的光源各自的3D网格，利用光线跟踪(ray tracing)技术或着色(shader)技术来真实地渲染虚拟物。当利用该性能预先构建太阳光的外部环境、荧光灯的办公室环境等多种环境图，并使用该环境图来渲染时，用户可虚拟体验自身选择的衣服在该环境中看上去为何种色感，从而来决定是否购买。

在步骤1005中，拟合服务系统可将用户数码形象与彩色图像合成。具体来说，拟合服务系统将虚拟物被拟合至用户数码形象的结果在彩色图像上渲染，从而以增强现实来进行合成。此后，拟合服务系统可通过显示器将虚拟物的拟合结果提供给用户。用户可接收自己选择的虚拟物被拟合的用户数码形象根据用户的动作被实时交互控制的结果。在这种情况下，为了在多种环境下确认色感，从视频监控中捕获图像时可预先与可显示该色感的传感器参数值（例如，白色平衡，伽玛等）匹配设置，从而来捕获图像，由此，用户可享受到具有更真实色感的服务。

在一个例子中，拟合服务系统可利用几何校正信息，将虚拟物被拟合的用户数码形象的渲染图像和捕获用户的彩色图像合成，然后通过显示器实时地反馈给用户。当用于收集深度图像和彩色图像的各传感器被精密地几何校正时，图像合成可通过增强现实较容易地表现。

结果，拟合服务系统可提供类似镜像模式的感觉用户在照镜子时的彩色图像。在这种情况下，通过镜像模式表示的彩色图像可通过收集彩色图像的传感器（视频监控）来表现。

但是，当传感器不支持镜像模式时，拟合服务系统可利用传感器之间的几何校正信息，来将用户的动作信息转换为传感器坐标系。此外，拟合服务系统在传感器坐标系的局部坐标系中以构成图像的横向轴的局部坐标系轴为中心，左右对称移动，从而可实现镜像模式。

在步骤1006中，当从用户接收到对于改变虚拟物的请求时，拟合服务系统可重新回到步骤1001。此外，没有从用户接收到对于改变虚拟物的请求时，拟合服务系统可将实时变动的用户的动作应用至用户数码形象中。

图11是具体示出根据图8的虚拟物的体验结果模式的运作过程的示图。

在步骤1101中，拟合服务系统可提供用户数码形象与彩色图像合成的结果。

在步骤1102中，当用户针对体验的虚拟物选择自己喜欢的姿势中与彩色图像合成的用户数码形象时，拟合服务系统可接收选择结果。由此，拟合服务系统可捕获用户选择的用户数码形象的画面。

在步骤1103中，拟合服务系统可生成与用户选择当时的虚拟物的购买信息和数字信息相关的识别标记。在一个例子中，拟合服务系统可将用户选择的虚拟物的购买场所位置、联系信息、网站链接信息等购买信息生成为类似QR码的智能编码。

不仅如此，拟合服务系统可将用户选择的虚拟物的衣长，裤端等之后需要修改的虚拟物的数字信息生成为另外的QR码。该数字信息可存储在与维修部连接的另外的数据库中。该维修部可通过QR码接收传达的数字信息，或是访问数据库来确认数字信息。

在步骤1104中，拟合服务系统可将识别标记叠加至用户数码形象的捕获画面中来提供给用户。该捕获画面可通过照片打印、或邮件传送、与社交网络服务交互的多种方式被提供。

如上所述，本发明可通过拟合服务系统将用户预先设定的特有姿势维持一段时间后，实时地生成反映用户体型的用户数码形象，并在反映用户选择的虚拟物后实时地反映用户的动作。此外，应用用户所选择的虚拟物的用户数码形象通过位于用户正面的显示器以增强现实被提供，从而可立即确认佩戴该虚拟物的用户自身的整体面貌或虚拟物拟合信息。

根据实施例的方法，其可通过多种计算机手段以可执行的程序指令形态被记录在计算机可读媒体中。该计算机可读媒体可包括独立的或结合的程序指令、数据文件、数据结构等。该媒体中记录的程序指令可为了本发明被专门设计和创建，或为计算机软件技术人员熟知而应用。

如上所示，本发明虽然已参照有限的实施例和附图进行了说明，但是本发明并不局限于所述实施例，在本发明所属领域中具备通常知识的人均可以从此记载中进行各种修改和变形。

因此，本发明的范围不受说明的实施例的局限或定义，而是由后附的权利要求范围以及权利要求范围等同内容定义。

附图标号说明

101：虚拟物拟合装置

102：显示器

103、106、107：深度图像拍摄装置

104：检测区域

105：体验区域

Claims (27)

1.一种虚拟物拟合方法，包括以下步骤：

判断用户是否位于体验区域；

当所述用户位于体验区域时，加载对应于用户所输入的设定信息的3D标准数码形象；

获取具有预先设定的姿势的用户的深度图像；

利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象；

将所述用户选择的虚拟物拟合至用户数码形象；以及

将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中。

2.如权利要求1所述的虚拟物拟合方法，其中，将所述3D标准数码形象改变成反映用户的外观身体特征的用户数码形象的步骤，包括以下步骤：

从所述用户的深度图像将3D图形块复原；

利用所述3D图形块，来改变3D标准数码形象的关节长度信息；以及

利用所述3D图形块，来改变3D标准数码形象的体积信息。

3.如权利要求2所述的虚拟物拟合方法，其中，将所述3D图形块复原的步骤，包括以下步骤：

利用所述深度图像的当前像素和相邻像素的深度信息，表示成3D网格；以及

根据所述深度信息和几何信息来决定构成网格的顶点的3D位置。

4.如权利要求2所述的虚拟物拟合方法，其中，改变所述3D标准数码形象的关节长度信息的步骤，包括以下步骤：

利用所述3D图形块来推定用户的关节结构；以及

从所述推定的关节结构提取用户的关节长度信息，应用至3D标准数码形象的关节长度信息中。

5.如权利要求2所述的虚拟物拟合方法，其中，改变所述3D标准数码形象的体积信息的步骤，包括以下步骤：

从经所述3D图形块推定出的用户的关节结构，生成相对于关节行进方向的垂直剖面；以及

利用复原的所述3D图形块和剖面之间的交叉点，来调整3D标准数码形象的体积信息。

6.如权利要求1所述的虚拟物拟合方法，其中，将所述用户选择的虚拟物拟合至用户数码形象的步骤，包括以下步骤：

决定所述3D标准数码形象和用户数码形象各自网格之间的移动变位；以及

将所述决定的移动变位应用至虚拟物的顶点。

7.如权利要求1所述的虚拟物拟合方法，其中，所述应用至虚拟物被拟合的用户数码形象中的步骤，是基于构成所述用户数码形象的关节结构的三自由度旋转和三自由度移动，来将用户数码形象的动作重定向。

8.如权利要求1所述的虚拟物拟合方法，其中，所述应用至虚拟物被拟合的用户数码形象中的步骤，是根据所述用户数码形象的动作，将照明效果渲染至虚拟物。

9.如权利要求1所述的虚拟物拟合方法，进一步包括以下步骤：

将用户的彩色图像合成至所述虚拟物被拟合的用户数码形象，来反馈给用户。

10.一种虚拟物拟合方法，包括以下步骤：

基于用户输入的设定信息来加载3D标准数码形象；

利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象；

将所述用户选择的虚拟物拟合至用户数码形象；以及

将用户的彩色图像合成至所述虚拟物被拟合的用户数码形象，来反馈给用户。

11.如权利要求10所述的虚拟物拟合方法，其中，将所述3D标准数码形象改变成反映用户的外观身体特征的用户数码形象的步骤，是基于所述用户的外观身体特征，来改变所述3D标准数码形象的关节长度信息和体积信息。

12.一种虚拟物拟合方法，包括以下步骤：

从用户接收对于虚拟物的选择；

根据所述用户的身体特征，将所述选择的虚拟物被拟合的3D标准数码形象改变成用户数码形象；

感应所述用户的实时动作从而应用至用户数码形象中；

将根据所述用户的实时动作变化的照明效果应用至用户数码形象中；

将所述动作和照明效果被应用的用户数码形象反馈给用户。

13.如权利要求12所述的虚拟物拟合方法，其中，将所述3D标准数码形象改变成用户数码形象的步骤，是基于所述用户的身体特征，来改变所述3D标准数码形象的关节长度信息和体积信息。

14.如权利要求12所述的虚拟物拟合方法，其中，感应所述用户的实时动作从而应用至用户数码形象中的步骤，是基于构成所述用户数码形象的关节结构的关节的三自由度旋转和三自由度移动，来将用户数码形象的动作重定向。

15.如权利要求12所述的虚拟物拟合方法，其中，将所述照明效果应用至用户数码形象中的步骤，是针对构成所述虚拟物的3D网格来决定考虑光源的环境映射。

16.一种虚拟物拟合方法，包括以下步骤：

向位于虚拟物拟合服务的体验区域的用户提供用于选择虚拟物的界面；

显示所述用户选择的虚拟物被拟合的用户数码形象；

当所述用户选择显示的用户数码形象时，生成与虚拟物的购买信息或数字信息相关的识别标记；以及

将所述生成的识别标记叠加至用户数码形象的捕获画面中来进行提供。

17.如权利要求16所述的虚拟物拟合方法，其中，显示所述用户选择的虚拟物被拟合的用户数码形象的步骤，是将对应于所述用户输入的设定信息的3D标准数码形象改变成反映用户的身体特征的用户数码形象来进行显示。

18.如权利要求17所述的虚拟物拟合方法，其中，所述用户数码形象，是所述3D标准数码形象的关节长度信息和体积信息基于所述用户的外观身体特征被改变的数码形象。

19.一种虚拟物拟合服务系统，包括：

显示器，用来显示用户的体验图像，向用户提供虚拟物的拟合服务；

彩色图像拍摄装置，用来实时地捕获所述用户，收集用户的彩色图像；

深度图像拍摄装置，用来检测所述用户的动作和身体尺寸；

虚拟物拟合装置，根据所述用户的动作和身体尺寸，将3D标准数码形象转换成用户数码形象，并将虚拟物拟合至所述用户数码形象中，且

其中，所述虚拟物拟合装置，将所述虚拟物被拟合的用户数码形象与彩色图像合成，来反馈给所述显示器。

20.如权利要求19所述的虚拟物拟合服务系统，其中，所述虚拟物拟合装置，利用从所述用户的深度图像复原的3D图形块来改变3D标准数码形象的关节长度信息和体积信息。

21.如权利要求19所述的虚拟物拟合服务系统，其中，所述虚拟物拟合装置，基于构成所述用户数码形象的关节结构的关节的三自由度旋转和三自由度移动，来将用户数码形象的动作重定向。

22.如权利要求19所述的虚拟物拟合服务系统，其中，所述虚拟物拟合装置，根据所述用户数码形象的动作，将照明效果渲染至虚拟物。

23.一种虚拟物拟合服务系统，包括：

显示器，用来显示用户的体验图像，向用户提供虚拟物的拟合服务；

彩色图像拍摄装置，用来实时地捕获所述用户，收集用户的彩色图像；

深度图像拍摄装置，用来检测所述用户的动作和身体尺寸；

虚拟物拟合装置，根据所述用户输入的设定信息，加载3D标准数码形象，并利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象，并将所述用户选择的虚拟物拟合至用户数码形象中，且

其中，所述虚拟物拟合装置，将所述虚拟物被拟合的用户数码形象与彩色图像合成，来反馈给所述显示器。

24.一种利用显示器、彩色图像拍摄装置、和深度图像拍摄装置的虚拟物拟合服务系统，所述虚拟物拟合服务系统包括：

虚拟物拟合装置，从用户接收对于虚拟物的选择，并根据所述用户的身体特征，将所述选择的虚拟物被拟合的3D标准数码形象改变成用户数码形象。

25.如权利要求24所述的虚拟物拟合服务系统，其中，所述虚拟物拟合装置，感应所述用户的实时动作，来应用至用户数码形象中，或是将根据用户的实时动作变化的照明效果应用至用户数码形象中，然后反馈给用户。

26.一种利用显示器和彩色图像拍摄装置的虚拟物拟合服务系统，所述虚拟物拟合服务系统包括：

虚拟物拟合装置，通过显示器向用户提供用于选择虚拟物的界面，并利用通过深度图像拍摄装置获取的深度图像来生成所述用户选择的虚拟物被拟合的用户数码形象，且当所述用户选择所显示的用户数码形象时，将与虚拟物的购买信息或数字信息相关的识别标记叠加至用户数码形象的捕获画面中来进行提供。

27.如权利要求26所述的虚拟物拟合服务系统，其中，所述虚拟物拟合装置，根据所述用户的外观身体特征，改变所述3D标准数码形象的关节长度信息和体积信息来生成用户数码形象。

Images