CN105528799B

CN105528799B - 虚拟试衣装置及其虚拟试衣方法

Info

Publication number: CN105528799B
Application number: CN201510640103.9A
Authority: CN
Inventors: 郑智元; 金道均; 朱垠贞; 郭永民; 申丞镐; 韩宣瑛
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2014-10-21
Filing date: 2015-09-30
Publication date: 2021-02-09
Anticipated expiration: 2035-09-30
Also published as: KR102240302B1; CN105528799A; EP3211587A1; KR20160046471A; US10152829B2; EP3211587A4; WO2016064121A1; US20170316617A1

Abstract

本发明提供一种虚拟试衣装置及其虚拟试衣方法。根据所述虚拟试衣方法，通过拍摄用户而获取实拍图像，并基于用户的体型和运动而获取包含有对应于用户的化身的虚拟图像，且通过分析实拍图像和虚拟图像而判断分别对应于实拍图像和虚拟图像的合成区域，并将实拍图像的合成区域与虚拟图像的合成区域进行合成，从而输出虚拟试衣图像。

Description

虚拟试衣装置及其虚拟试衣方法

技术领域

本发明涉及一种虚拟试衣装置及其虚拟试衣方法，尤其涉及一种可通过合成实拍图像与虚拟图像而给用户提供具有实感的虚拟试衣体验的虚拟试衣装置及其虚拟试衣方法。

背景技术

近来，利用虚拟现实的内容迅速兴起而成为下一代内容。尤其，各个企业和消费者针对虚拟试衣(Virtual Fitting)的关注也在与日俱增，所述虚拟试衣是指在虚拟空间中通过与自身相同的化身(avatar)而试穿虚拟衣服并购买衣服的行为。

另外，在虚拟试衣中作为核心的一点在于虚拟空间中通过化身试穿的衣服的感觉应当能够如实再现用户在实际空间中穿戴时的感觉。具体而言，需要在虚拟体验中确认的事项不仅包括虚拟空间中试穿的衣服在颜色或设计方面是否适合自己，而且还包括直接穿上衣服或者穿上衣服之后运动时是否有不适感。无法提供如同现实般的体验的虚拟试衣的意义仅止于提供新技术体验或趣味性，却不能提供购买等具有实际意义的服务。

为了解决这样的问题，虚拟试衣应当最大限度地反映用户的气质或实际模样，并且需要提供适穿度，该适穿度反映的是在虚拟空间中试穿的衣服实际上有多合身于用户的身体的程度。

在现有技术中，为了提供虚拟试衣而利用了增强现实(Augmented Reality；AR)方式和虚拟现实(virtual reality；VR)方式。增强现实方式是一种如下的方式：从摄像机获取包含有用户的体型和运动的实拍图像，然后分离用户，并适应于分离的用户的模样而使虚拟衣服的大小和形状变形，然后套上并进行合成。虚拟现实方式是一种如下的方式：从摄像机获取包含有用户的体型和运动的图像，然后生成具有与用户相同的体型的化身，并将虚拟衣服穿戴于化身而显示。

然而，对于增强现实方式而言，虽然可如实反映用户的模样而呈现出自然的样态，然而毕竟是简单地将虚拟衣服套在用户图像上的方式，因此无法提供虚拟衣服究竟有多合身于用户身体之类的适穿度。并且，由于无法消除实拍图像中用户实际穿戴的衣服，因此存在实际穿戴的衣服与虚拟衣服重叠而表现的问题。例如，在实际穿上长袖衬衫的状态下，如果作为虚拟衣服选择了半截袖或无袖衬衫，则由于实际穿戴的衣服也如实显示，因此存在显得不自然的问题。

另外，对于虚拟现实方式而言，由于利用具有与用户相同的体型的化身，因此可以准确提供用于反映虚拟衣服究竟有多合身之类的适穿度，并具有可通过台步、篮球等预定义的多样的运动而观察穿戴虚拟衣服并做运动的模样的优点。然而，由于渲染技术和三维形状捕捉技术的局限性，存在着用户无法通过化身真切体验自己并显得不自然的问题。

发明内容

本发明是为了解决上述技术问题而提出的，其目的在于提供一种当用户体验虚拟试衣时通过将增强现实方式的实拍图像与虚拟现实方式的虚拟图像进行合成而能够提供更加实际且更具试穿感的虚拟试衣图像的虚拟试衣装置及其虚拟试衣方法。

为了达到上述目的，根据本发明的一个实施例的虚拟试衣方法包括如下步骤：通过拍摄用户而获取实拍图像；基于所述用户的体型和运动而获取包含有对应于所述用户的化身的虚拟图像；通过分析所述实拍图像和虚拟图像而判断分别对应于所述实拍图像和所述虚拟图像的合成区域；将所述实拍图像的合成区域与所述虚拟图像的合成区域进行合成，并输出虚拟试衣图像。

而且，在执行所述判断的步骤中，可包括如下步骤：通过分析所述实拍图像而判断所述用户实际穿戴的实际衣服所处的区域；通过分析所述虚拟图像而判断所述化身穿戴的虚拟衣服所处的区域；将所述实际衣服所处的区域与所述虚拟衣服所处的区域进行比较，并判断分别对应于所述实拍图像和所述虚拟图像的合成区域。

并且，在判断所述合成区域的步骤中，可将所述实际衣服所处的区域判断为所述虚拟图像的合成区域，且将所述实际衣服并不处于其中的区域当中所述虚拟衣服所处的区域判断为所述虚拟图像的合成区域，并将所述实际衣服和所述虚拟衣服均不处于其中的区域判断为所述实拍图像的合成区域。

而且，所述虚拟试衣方法还可以包括如下步骤：接收用于选择实际饰品和虚拟饰品中的一个饰品的用户命令；当选择所述实际饰品时，将包含有所述实际饰品的预定区域判断为所述实拍图像的合成区域，当选择所述虚拟饰品时，将包含有所述虚拟饰品的预定区域判断为所述虚拟图像的合成区域。

并且，在获取所述实拍图像的步骤中，可利用图像摄像机拍摄用户而获取所述实拍图像；在获取所述虚拟图像的步骤中，可利用深度或图像摄像机而拍摄所述用户的体型和运动，并基于拍摄的所述用户的体型和运动而生成化身并获取虚拟图像。

而且，在输出所述虚拟试衣图像的步骤中，可包括如下步骤：通过反映用户想要穿戴的虚拟衣服的特性信息而生成所述虚拟试衣图像。

并且，在生成所述虚拟试衣图像的步骤中，可包括如下步骤：当所述用户运动时，基于所述虚拟衣服的特性信息而判断对应于所述用户的运动的所述虚拟衣服的拉伸量；当所述虚拟衣服的拉伸量为已设定临界值以上时，中止包含于所述虚拟试衣图像中的用户图像和虚拟衣服的运动或者控制运动的速度。而且，所述已设定临界值既可以是一个特定值，也可以是预定的范围。

而且，在生成所述虚拟试衣图像的步骤中，可包括如下步骤：当所述用户运动时，判断所述用户的体型变化；基于所述虚拟衣服的特性信息以及所述用户的体型变化而生成所述虚拟试衣图像。

并且，在生成所述虚拟试衣图像的步骤中，可包括如下步骤：接收外力信息；基于所述虚拟衣服的特性信息以及所述外力信息而生成所述虚拟试衣图像。

而且，在生成所述虚拟试衣图像的步骤中，可基于所述虚拟衣服的主要部位信息而表示出所述虚拟衣服的主要部位及用户图像上相匹配的部位，从而生成所述虚拟试衣图像。

另外，为了达到上述目的，根据本发明的另一实施例的虚拟试衣装置包括：实拍图像获取单元，通过拍摄用户而获取所述用户的实拍图像；虚拟图像获取单元，基于所述用户的体型和运动而获取包含有对应于所述用户的化身的虚拟图像；判断单元，通过分析所述实拍图像和虚拟图像而判断分别对应于所述实拍图像和所述虚拟图像的合成区域；生成单元，通过将所述实拍图像的合成区域与所述虚拟图像的合成区域进行合成而生成虚拟试衣图像；输出单元，输出所述虚拟试衣图像。

并且，所述判断单元可通过分析所述实拍图像而判断所述用户实际穿戴的实际衣服所处的区域，且通过分析所述虚拟图像而判断所述化身穿戴的虚拟衣服所处的区域，并将所述实际衣服所处的区域与所述虚拟衣服所处的区域进行比较，从而判断分别对应于所述实拍图像和所述虚拟图像的合成区域。

而且，所述判断单元可将所述实际衣服所处的区域判断为所述虚拟图像的合成区域，且将所述实际衣服并不处于其中的区域当中所述虚拟衣服所处的区域判断为所述虚拟图像的合成区域，并将所述实际衣服和所述虚拟衣服均不处于其中的区域判断为所述实拍图像的合成区域。

并且，所述虚拟试衣装置还可以包括：输入单元，接收用于选择实际饰品和虚拟饰品中的一个饰品的用户命令，其中，所述判断单元在所述实际饰品得到选择的情况下，将包含有所述实际饰品的预定区域判断为所述实拍图像的合成区域，并在所述虚拟饰品得到选择的情况下，将包含有所述虚拟饰品的预定区域判断为所述虚拟图像的合成区域。

而且，所述实拍图像获取单元可利用图像摄像机拍摄用户而获取所述实拍图像，所述虚拟图像获取单元可利用深度或者图像摄像机而拍摄所述用户的体型和运动，并基于拍摄的所述用户的体型和运动而生成化身并获取虚拟图像。

并且，所述生成单元可通过反映用户所要穿戴的虚拟衣服的特性信息而生成所述虚拟试衣图像。

而且，所述生成单元可如下构成：当所述用户运动时，基于所述虚拟衣服的特性信息而判断对应于所述用户的运动的所述虚拟衣服的拉伸量，当所述虚拟衣服的拉伸量为已设定临界值以上时，中止包含于所述虚拟试衣图像中的用户图像和虚拟衣服的运动或者控制运动的速度。

并且，所述生成单元可如下构成：当所述用户运动时，判断所述用户的体型变化，并基于所述虚拟衣服的特性信息以及所述用户的体型变化而生成所述虚拟试衣图像。

而且，所述生成单元可如下构成：当输入外力信息时，基于所述虚拟衣服的特性信息以及所述外力信息而生成所述虚拟试衣图像。

并且，所述生成单元可如下构成：基于所述虚拟衣服的主要部位信息而表示出所述虚拟衣服的主要部位以及用户图像上相匹配的部位，从而生成所述虚拟试衣图像。

根据如上所述的本发明的多样的实施例，用户即使未亲自穿上衣服，也能够通过更加实际且更具试穿感的虚拟试衣体验而挑选出适于自己的衣服。

附图说明

图1为表示根据本发明的一个实施例的虚拟试衣装置的构造的模块图。

图2为表示根据本发明的一个实施例的虚拟图像获取单元的构造的模块图。

图3为表示根据本发明的一个实施例的判断单元的构造的模块图。

图4a至图4e为表示根据本发明的一个实施例的通过合成实拍图像与虚拟图像而生成虚拟试衣图像的方法的图。

图5为表示根据本发明的一个实施例的生成单元的构造的模块图。

图6a至图9b为用于说明根据本发明的多样的实施例的通过利用虚拟衣服的特性信息和外力信息中的至少一种信息而对虚拟试衣图像进行处理的方法的图。

图10为用于说明根据本发明的一个实施例的虚拟试衣方法的流程图。

具体实施方式

本实施例可加以多样的变换，并可具有多种实施例，对于特定实施例将会在附图中示出，并在说明书中详细说明。然而，这并非旨在将范围限定在特定实施形态，应理解本发明的权利范围也包括包含于所公开的思想和技术中的所有变换、均等物以及替代物。在对实施例的说明中，当认为对相关公知技术的具体说明有可能对主旨造成混乱，则省略其详细说明。

第一、第二等术语可使用于说明多样的构成要素，然而构成要素并不被这些术语所限定。术语只是出于将一个构成要素与其他构成要素加以区分的目的而使用。

本申请中使用的术语只是为了说明特定的实施例，其并非旨在限定权利范围。对于单数的表述而言，只要在文脉中并不表示分明不同的含义，则也包括复数的含义。在本申请中，“包括”或“构成”等术语用于指定说明书中记载的特征、数字、步骤、操作、构成要素、部件或者它们的组合的存在性，不应理解为预先排除一个或一个以上的其他特征、数字、步骤、操作、构成要素、部件或者它们的组合的存在性或可附加性。

在实施例中，“模块”或“单元/部”执行至少一种功能或操作，并可由硬件或软件实现，或者由硬件与软件的结合实现。并且，对于多个“模块”或多个“单元/部”而言，除了有必要以特定硬件形态实现的“模块”或“单元/部”之外，可以一体化为至少一个模块而以至少一个处理器(未图示)形态实现。

以下，参考附图对本发明的多样的实施例进行说明。图1为表示根据本发明的一个实施例的虚拟试衣装置100的构造的模块图。如图1所示，虚拟试衣装置100包括：实拍图像获取单元110、虚拟图像获取单元120、判断单元130、生成单元140、输出单元150。

实拍图像获取单元110利用图像摄像机拍摄用户(衣物使用人员)而获取实拍图像。此时，实拍图像获取单元110可拍摄用户的全身而获取实拍图像，然而这只是一个实施例，也可以拍摄用户的上半身而获取实拍图像。

虚拟图像获取单元120基于用户的体型和运动而获取包含有对应于用户的化身的虚拟图像。在此，对应于用户的化身上可被穿戴用户想要试穿的虚拟衣服。针对虚拟图像获取单元120，将会参考图2详细说明。

如图2所示，虚拟图像获取单元120包括：身体信息获取单元121、3D化身生成单元123、化身动画处理单元125、虚拟衣服处理单元127。

身体信息获取单元121基于利用深度摄像机获取的深度信息而获取用户的体型信息和运动信息。具体而言，身体信息获取单元121可由利用深度摄像机获取的深度图像自动计算用户的身体指数，从而获取用户的体型信息。另外，身体信息获取单元121可基于包含在深度图像中的用户图像的运动而获取用户的运动信息。

另外，虽然可利用深度摄像机获取深度信息，然而这只是一个实施例，也可以通过分析利用图像摄像机获取的实拍图像而获取深度信息。

另外，3D化身生成单元123基于通过身体信息获取单元121获取的体型信息而生成3D形态的化身。具体而言，3D化身生成单元123可通过一种将体型信息应用于标准化身并以主要身体尺寸为中心而执行客户化(Customization)的方法来生成化身，并可将所获取的体型信息直接反映于可变形的化身模型而生成。

或者，当用户为已注册的用户时，3D化身生成单元123可通过加载对应于已注册的用户的化身而生成化身。

化身动画处理单元125可通过反映用户的运动而对化身进行处理，或者可通过反映已注册的化身动作而对化身进行处理。化身动画处理单元125可通过用户运动或已注册动作得到反映的化身动画处理来计算每一帧所对应的化身所采取的特定姿态。

虚拟衣服处理单元126执行给经动画处理的化身穿戴虚拟衣服的图像处理，从而生成包含有穿戴虚拟衣服的化身的虚拟图像。此时，虚拟衣服处理单元126通过虚拟衣服模拟而给化身穿戴虚拟衣服，所述虚拟衣服模拟包括构成化身的端点(vertex)与构成虚拟衣服的端点之间的冲突检测(Collision Detection)以及响应(Response)计算。

再对图1进行说明。判断单元130通过分析实拍图像和虚拟图像而判断分别对应于实拍图像和虚拟图像的合成区域。具体而言，判断单元130可通过分析实拍图像而判断用户实际穿戴的实际衣服所处的区域，并可通过分析虚拟图像而判断化身穿戴的虚拟衣服所处的区域。另外，判断单元130可将实际衣服所处的区域与虚拟衣服所处的区域进行比较，从而判断分别对应于实拍图像和虚拟图像的合成区域。

参考图3而对判断单元130进行更加详细的说明。如图3所示，判断单元130包括：合成标准输入单元131、实拍图像分析单元133、虚拟图像分析单元135、合成区域判断单元137。

合成标准输入单元131接收用于优先合成虚拟图像和实拍图像中的一个图像的用户命令。具体而言，当用户穿戴饰品或者用户想要以虚拟方式穿戴虚拟饰品时，合成标准输入单元131可接收用于选择实际饰品和虚拟饰品中的一个饰品的用户命令。

实拍图像分析单元133通过分析实拍图像而判断用户实际穿戴的实际衣服所处的区域。具体而言，实拍图像分析单元133可通过图像分析而区分用户实际穿戴的实际衣服所处的区域和实际衣服并未处于其中的区域。

虚拟图像分析单元135通过分析虚拟图像而判断化身穿戴的虚拟衣服所处的区域。具体而言，虚拟图像分析单元133可通过图像分析而区分化身穿戴的虚拟衣服所处的区域和虚拟衣服并未处于其中的区域。

合成区域判断单元137可将实际衣服所处的区域与虚拟衣服所处的区域进行比较，从而判断分别对应于实拍区域和虚拟区域的合成区域。具体而言，如下面的表1所示，合成区域判断单元137可将实际衣服所处的区域判断为虚拟图像的合成区域，并将实际衣服并未处于其中的区域中的虚拟衣服所处的区域判断为虚拟图像的合成区域，并将实际衣服和虚拟衣服并未处于其中的区域判断为实拍图像的合成区域。

[表1]

即，合成区域判断单元137可将实际衣服和虚拟衣服中的至少一个所处的区域判断为虚拟图像的合成区域，并将实际衣服和虚拟衣服均未处于其中的区域判断为实拍图像的合成区域。

而且，合成区域判断单元137可基于通过合成标准输入单元131选择的实际饰品和虚拟饰品中的一个饰品而判断合成区域。具体而言，当通过合成标准输入单元131选择了实际饰品时，合成区域判断单元137可将包括实际饰品的预定区域判断为实拍图像的合成区域。另外，当选择了虚拟饰品时，合成区域判断单元137可将包括虚拟饰品的预定区域判断为虚拟图像的合成区域。尤其，合成区域判断单元137可根据饰品的类型而如下面的表2所示地将对应于饰品的区域判断为合成区域。

[表2]

再对图1进行说明。生成单元140将通过判断单元130判断出的实拍图像的合成区域与虚拟图像的合成区域进行合成，从而生成虚拟试衣图像。具体而言，生成单元140可从实拍图像中分离出通过判断单元130判断的实拍图像的合成区域，并可由虚拟图像分离虚拟图像的合成区域。另外，生成单元140可提取实拍图像的合成区域与虚拟图像的合成区域的边界区域所对应的边界信息。在此，边界信息为构成即将在实拍图像(video)中进行合成的边界区域的多个像素的信息，且为构成即将在虚拟图像(graphic)中进行合成的边界区域的多个端点的信息。

为了提取出对包含于虚拟图像的化身和存在于实拍图像的用户双方均一致的边界信息，需要使虚拟图像和实拍图像位于相同的空间，因此生成单元140为了使虚拟图像和实拍图像位于相同空间，可将化身投影于屏幕空间并与实拍图像的用户进行匹配。

另外，生成单元140可基于分离的区域和提取的边界信息而将实拍图像的合成区域与虚拟图像的合成区域进行合成，从而生成虚拟试衣图像。此时，生成单元140可将派对场、办公室、操场、野外等多样的虚拟空间合成为化身与用户合成而成的虚拟试衣图像的背景。

另外，输出单元150输出所生成的虚拟试衣图像。具体而言，输出单元150可通过显示器显示出用户穿戴虚拟衣服的虚拟试衣图像。

以下，参考图4而对虚拟试衣装置通过合成实拍图像与虚拟图像而提供虚拟试衣图像的方法进行说明。

作为本发明的一个实施例，当用户想要试穿图4a所示的虚拟衣服420时，实拍图像获取单元110可如图4a所示地获取包含有用户的实拍图像410。另外，虚拟图像获取单元120可如对图2进行说明的那样通过生成穿戴有虚拟衣服420的化身而获取虚拟图像430。

另外，如图4c所示，实拍图像分析单元133可在实拍图像410中区分被实际衣服所遮挡的区域和并不被实际衣服所遮挡的区域。另外，如图4c所示，虚拟图像分析单元135可在虚拟图像430中区分被虚拟衣服所遮挡的区域和并不被虚拟衣服所遮挡的区域。

另外，如表1中说明的那样，合成区域判断单元137可将实际衣服和虚拟衣服中的至少一个所处的区域判断为虚拟图像的合成区域，并将实际衣服和虚拟衣服并未处于其中的区域判断为实拍图像的合成区域。具体而言，如图4d所示，合成区域判断单元137可将赋予影线(hatching)的区域判断为虚拟图像的合成区域440，并将其余区域判断为实拍图像的合成区域。

另外，生成单元140可将由合成区域判断单元137判断的虚拟图像的合成区域与实拍图像的合成区域进行合成，从而生成如图4e所示的虚拟试衣图像450。

另外，输出单元150可输出由生成单元140生成的虚拟试衣图像450。

如上所述，通过合成实拍图像与虚拟图像而提供虚拟试衣图像，据此，用户可获得更加实际且更加自然的虚拟试衣图像。

另一方面，生成单元140可利用衣服特性信息和外力信息中的至少一种信息而提供具有试穿感的虚拟试衣图像。图5为表示用于提供根据本发明的一个实施例的具有试穿感的虚拟试衣图像的生成单元140的构造的图。如图5所示，生成单元140包括：试衣计算单元141、虚拟衣服信息输入单元142、外力输入单元143、运动控制单元144、体型变化感测单元145、化身动画表现单元146。

当用户穿戴虚拟衣服时，试衣计算单元141基于虚拟衣服处理结果和虚拟衣服特性信息而计算用于表示合身程度的适穿度(用于衡量试穿感)。具体而言，试衣计算单元141基于虚拟衣服的特性而计算出构成化身的端点与构成虚拟衣服的端点之间的距离，从而判断虚拟衣服的拉伸位置和拉伸程度，由此可以计算适穿度。

虚拟衣服信息输入单元142用于提供关于虚拟衣服的特性信息以计算适穿度。在此，虚拟衣服的特性信息可包括衣服多么善于拉伸、质感如何、重量如何等虚拟衣服的布料所具有的特性信息。并且，虚拟衣服的特性信息中可包括衣服的大小、缝纫线位置及缝纫方法、所使用的丝线的特性之类的衣服构造方面的特性。

外力输入单元143可接收提供给化身和虚拟衣服的外力信息。在此，外力信息可包括风向、风强度之类的风信息。

运动控制单元144根据通过试衣计算单元141计算出的试穿感程度而控制化身的运动。具体而言，当虚拟衣服的拉伸程度为已设定临界值以上时，运动控制单元144中断化身的运动或者控制速度，当虚拟衣服的拉伸程度小于已设定值时，运动控制单元144可将化身的运动控制为对应于用户的运动。在此，已设定的临界值既可以是一个值，也可以是预定的范围。

体型变化感测单元145根据用户的运动而感测用户的体型变化。尤其，当用户运动时，如果用户的体型根据用户的运动而改变，则体型变化感测单元145可感测出用户的体型变化。例如，当用户落座而使上身侧部凸现腹部肉体时，体型变化感测单元145可感测出用户的腹部肉体变化。

化身动画表现单元146可基于通过运动控制单元144和体型变化感测单元145而判断的化身的运动以及体型变化而对化身应用动画并进行处理。具体而言，化身动画表现单元146可通过用户运动和体型变化而对具有已设定值以上的适穿度的区域执行动画处理(例如，以不同颜色进行处理)。而且，化身动画表现单元146可以表示出虚拟衣服所要靶定(targeting)的主要部位以及当前化身所穿的虚拟衣服的主要部位。并且，化身动画表现单元146可根据用户选择而将虚拟衣服表现为半透明。

以下，参考图6a至图9b而对本发明的多样的实施例进行说明。

参考图6a而对根据本发明的一个实施例的根据虚拟衣服的试穿感而控制化身的运动的实施例进行说明。

首先，虚拟试衣装置100获取虚拟试衣图像(S610)。此时，虚拟试衣装置100可将实拍图像的合成区域与虚拟图像的合成区域进行合成而获取虚拟试衣图像。在此，虚拟试衣图像中可包含有实拍图像的合成区域与虚拟图像的合成区域合成而成的化身。

另外，虚拟试衣装置100感测用户的运动(S620)。

另外，虚拟试衣装置100基于虚拟衣服的特性信息而判断对应于用户运动的虚拟衣服的拉伸量(S630)。例如，当用户举手时，虚拟试衣装置100可基于虚拟衣服的特性信息并与用户摆动手的动作相对应而判断虚拟衣服关于肩部的拉伸程度。

另外，虚拟试衣装置100判断虚拟衣服的拉伸量是否达到已设定值以上(S640)。

当虚拟衣服的拉伸量达到已设定值以上时(S640-Y)，虚拟试衣装置100中断包含于虚拟试衣图像中的化身的运动(S660)。具体而言，当伴随用户的运动的虚拟衣服的拉伸量达到已设定值以上时(S640-Y)，虚拟试衣装置100判断为虚拟衣服随着用户的运动而过紧地穿戴于化身，并逐渐减小化身中对应于过紧地穿戴虚拟衣服的部分的运动速度，并适时中止对应于过紧地穿戴虚拟衣服的部分的运动。即，当判断为虚拟衣服随着用户的运动而被过紧地穿戴于化身时，虚拟试衣装置100即使在用户运动的情况下也继续显示以往的帧，从而可以中止化身的运动。

在此，虚拟试衣装置100可根据用户的输入而表现出专门的化身运动。例如，虚拟试衣装置100可将基于用户运动而中止化身运动的图像与基于用户运动而反映化身运动的图像进行重叠，从而生成虚拟试衣图像。

当虚拟衣服的拉伸量未达到已设定值时(S640-N)，虚拟试衣装置100根据用户运动而控制化身的运动(S650)。

例如，如图6b的左侧所示，当实际用户670举起右臂时，如果判断为随着举起右臂而使虚拟衣服的右侧肩膀部分拉伸了已设定值以上，则虚拟试衣装置100可如图6b的右侧下方所示的那样控制化身690的运动。然而，如果判断为随着举起右臂而使虚拟衣服的右侧肩膀部分拉伸了小于已设定值，则虚拟试衣装置100可如图6b的右侧上方所示的那样将化身680的运动控制为对应于用户680运动。

如上所述，根据用户的运动而计算适穿度并控制化身的运动，据此，用户可确认基于自身的运动的衣服的适穿程度。

参考图7a而对根据本发明的一个实施例的根据用户的运动而将用户的体型变化反映在化身的实施例进行说明。

首先，虚拟试衣装置100获取虚拟试衣图像(S710)。此时，虚拟试衣装置100可将实拍图像的合成区域与虚拟图像的合成区域进行合成而获取虚拟试衣图像。在此，虚拟试衣图像中可包含有实拍图像的合成区域与虚拟图像的合成区域合成而成的化身。

另外，虚拟试衣装置100感测基于用户运动的体型变化(S720)。例如，虚拟试衣装置100感测出是否因用户落座而使上身侧部发生腹部肉体的变化。

另外，虚拟试衣装置100基于虚拟衣服的特性信息和体型变化程度而判断虚拟衣服的拉伸(S730)。

另外，虚拟试衣装置100判断虚拟衣服的拉伸量是否达到已设定值以上(S740)。

当虚拟衣服的拉伸量达到已设定值以上时(S740-Y)，虚拟试衣装置100计算出基于衣服的拉伸量的衣服的张力(S760)。另外，虚拟试衣装置100基于衣服的张力和身体信息而变更化身的体型并输出(S770)。具体而言，虚拟试衣装置100可基于身体信息和张力而将构成化身的端点的位置移向内部、外部、上方以及下方当中依于衣服的张力的至少一个方向以调整位置。此时，对于利用身体特性信息的情形而言，可根据骨骼、肉体等在衣服的张力作用下容易发生变更的位置、不易发生变更的位置等而确定化身的体型变化。

另外，虚拟试衣装置100可将用户的体型发生变更的部分表现为区别于其他部分。例如，虚拟试衣装置100可以用不同于其他部分的颜色表示出用户的体型发生变更的部分。

然而，当虚拟衣服的拉伸量小于已设定值时(S740-Y)，虚拟试衣装置100根据用户运动而控制化身的运动(S750)。

例如，当用户坐下时，如果虚拟衣服的拉伸量小于已设定值，则虚拟试衣装置100可如图7b的左侧所示的那样以化身躯体无变化的方式输出化身，但如果虚拟衣服的拉伸量为已设定值以上，则虚拟试衣装置100可如图7b的右侧所示地通过反映化身的身体变化(腹部肉体)而输出化身。

如上所述，根据用户的运动而感测体型变化，于是用户可判断虚拟衣服是否过紧地穿戴于自己身体的某部分。

图8为用于说明根据本发明的一个实施例的基于外力信息而对虚拟试衣图像进行处理的实施例的图。

首先，虚拟试衣装置100获取虚拟试衣图像(S810)。此时，虚拟试衣装置100将实拍图像的合成区域与虚拟图像的合成区域进行合成，从而可以获取虚拟试衣图像。在此，虚拟试衣图像中可包含有实拍图像的合成区域与虚拟图像的合成区域合成而成的化身。

另外，虚拟试衣装置100接收外力信息(S820)。在此，外力信息可以是风向、风强度之类的风信息。

另外，虚拟试衣装置100通过反映外力信息而对虚拟衣服进行处理(S830)。具体而言，虚拟试衣装置100可将外力施加于虚拟试衣图像时的端点位置与未施加外力时的端点位置进行比较。另外，虚拟试衣装置100可通过如下方式进行判断：两个端点之间的距离越大，越可能是虚拟衣服飘扬的区域，两个端点之间的距离越小，越可能是虚拟衣服不飘扬的区域。

另外，虚拟试衣装置100输出反映有外力信息的虚拟试衣图像(S840)。在此，虚拟试衣装置100可将飘扬的部分表现为不同于其他部分，以让用户可更加直观地确认飘扬的部分。

如上所述，将外力提供给虚拟试衣图像，据此，用于可对应于外部状况的变化而确认虚拟衣服的试穿感。

图9a为用于说明根据本发明的一个实施例的用于表现虚拟衣服的主要部位的实施例的图。

首先，虚拟试衣装置100获取虚拟试衣图像(S910)。

另外，虚拟试衣装置100获取关于虚拟衣服的主要位置的信息(S920)。在此，如果虚拟衣服为上衣，则虚拟衣服的主要部位可包括肩部缝纫线、手臂的袖端部位等，如果虚拟衣服为下衣，则虚拟衣服的主要部位可包括腿部的袖端部位等。

另外，虚拟试衣装置100将显示于虚拟试衣图像中的虚拟衣服处理为半透明(S930)。

另外，虚拟试衣装置100显示虚拟衣服所要靶定的主要部位以及当前化身所穿的虚拟衣服的主要部位(S940)。具体而言，如图9b所示，虚拟试衣装置100以虚线形态表示出虚拟衣服所要靶定的肩膀线位置1050-1和手臂端部位置1050-2，并以实线形态表示出当前化身所穿的虚拟衣服的肩膀线1060-1和手臂端部位置1060-2。然而，虚拟试衣装置100以虚线表示虚拟衣服所要靶定的主要部位并以实线表示当前化身所穿的虚拟衣服的主要部位的构成方法只不过是一个实施例，也可以用其他方法(例如，颜色、透明度等)不同地表现虚拟衣服所要靶定的主要部位以及当前化身所穿的虚拟衣服的主要部位。

如上所述，表示出虚拟衣服所要靶定的主要部位以及当前化身所穿的虚拟衣服的主要部位，据此，用户可更加直观地确认虚拟衣服是否适于自己的身体。

以下，参考图10而对根据本发明的一个实施例的虚拟试衣装置100的虚拟试衣方法进行说明。

虚拟试衣装置100通过拍摄用户而获取实拍图像(S1010)。

另外，虚拟试衣装置100获取包含有基于用户的体型和运动而生成的化身的虚拟图像(S1020)。此时，化身可被穿戴用户欲予穿戴的虚拟衣服。

另外，虚拟试衣装置100通过分析实拍图像和虚拟图像而判断分别对应于实拍图像和虚拟图像的合成图像(S1030)。具体而言，虚拟试衣装置100可通过分析实拍图像而判断用户实际穿戴的实际衣服所处的区域，并通过分析虚拟图像而判断化身所穿戴的虚拟衣服所处的区域，并将实际衣服所处的区域与虚拟衣服所处的区域进行比较而判断分别对应于实拍图像和虚拟图像的合成区域。此时，虚拟试衣装置100可将实际衣服所处的区域与虚拟衣服所处的区域中的至少一个区域判断为虚拟图像的合成区域，并将实际衣服和虚拟衣服均未处于其中的区域判断为实拍图像的合成区域。

另外，虚拟试衣装置100将实拍图像的合成区域与虚拟图像的合成区域进行合成而生成虚拟试衣图像(S1040)。此时，虚拟试衣装置100可通过反映虚拟衣服的特性信息和外力信息中的至少一种信息而生成虚拟试衣图像。

另外，虚拟试衣装置100输出虚拟试衣图像(S1050)。

根据如上所述的实施例，用户即使没有直接穿上衣服，也能够通过更加实际且更具试穿感的虚拟试衣经验而挑选出适于自己的衣服。

另一方面，根据上述多样的实施例的图像处理装置的图像处理方法可实现为程序而被提供给显示装置或输入装置。尤其，包含有显示装置的控制方法的程序可存储于非易失性可读介质(non-transitory computer readable medium)中而予以提供。

非易失性可读介质并不是寄存器、缓存、内存等短时间存储数据的介质，而是半永久性地存储数据并可借助于设备而读取的介质。具体而言，上述多样的应用或者程序可存储于CD、DVD、硬盘、蓝光光盘、USB、存储卡、ROM等非易失性可读介质而得到提供。

以上，已图示并说明本发明的优选实施例，然而本发明并不局限于上述特定实施例，在不脱离权利要求书中请求保护的本发明的主旨的前提下，本发明所属的技术领域中具有基本知识的人员可实现多样的变形实施，那些变形实施不应该理解为超出本发明的技术思想或展望范围而自成一体。

Claims

1.一种虚拟试衣方法，包括如下步骤：

通过拍摄用户而获取实拍图像；

基于所述用户的体型和运动而获取包含有对应于所述用户的化身的虚拟图像；

通过分析所述实拍图像和虚拟图像而确定分别对应于所述实拍图像和所述虚拟图像的合成区域；以及

将所述实拍图像的合成区域与所述虚拟图像的合成区域进行合成，并输出虚拟试衣图像，

确定所述合成区域的步骤包括：

在所述实拍图像中确定所述用户所穿戴的实际衣服所处的第一区域且在所述虚拟图像中确定所述化身所穿戴的虚拟衣服所处的第二区域；

在所述实拍图像中将除了与所述第一区域以及第二区域对应的第三区域之外的剩余区域确定为所述实拍图像的合成区域；

在所述虚拟图像中将除了与所述实拍图像的合成区域对应的区域之外的剩余区域确定为所述虚拟图像的合成区域。

2.如权利要求1所述的虚拟试衣方法，其中，还包括如下步骤：

接收用于选择实际饰品和虚拟饰品中的一个饰品的用户命令；

当选择所述实际饰品时，将包含有所述实际饰品的预定区域判断为所述实拍图像的合成区域，当选择所述虚拟饰品时，将包含有所述虚拟饰品的预定区域判断为所述虚拟图像的合成区域。

3.如权利要求1所述的虚拟试衣方法，其特征在于，

在获取所述实拍图像的步骤中，利用图像摄像机拍摄用户而获取所述实拍图像；

在获取所述虚拟图像的步骤中，利用深度或图像摄像机而拍摄所述用户的体型和运动，并基于拍摄的所述用户的体型和运动而生成化身并获取虚拟图像。

4.如权利要求1所述的虚拟试衣方法，其中，在输出所述虚拟试衣图像的步骤中，包括如下步骤：

通过反映用户想要穿戴的虚拟衣服的特性信息而生成所述虚拟试衣图像。

5.如权利要求4所述的虚拟试衣方法，其中，在生成所述虚拟试衣图像的步骤中，包括如下步骤：

当所述用户运动时，基于所述虚拟衣服的特性信息而判断对应于所述用户的运动的所述虚拟衣服的拉伸量；以及

当所述虚拟衣服的拉伸量为已设定临界值以上时，中止包含于所述虚拟试衣图像中的用户图像的运动或者控制运动的速度。

6.如权利要求4所述的虚拟试衣方法，其中，在生成所述虚拟试衣图像的步骤中，包括如下步骤：

当所述用户运动时，判断所述用户的体型变化；

基于所述虚拟衣服的特性信息以及所述用户的体型变化而生成所述虚拟试衣图像。

7.如权利要求4所述的虚拟试衣方法，其中，在生成所述虚拟试衣图像的步骤中，包括如下步骤：

接收外力信息；以及

基于所述虚拟衣服的特性信息以及所述外力信息而生成所述虚拟试衣图像。

8.如权利要求4所述的虚拟试衣方法，其特征在于，在生成所述虚拟试衣图像的步骤中，基于所述虚拟衣服的主要部位信息来表示出所述虚拟衣服的主要部位而生成所述虚拟试衣图像。

9.一种虚拟试衣装置，包括：

实拍图像获取单元，通过拍摄用户而获取所述用户的实拍图像；

虚拟图像获取单元，基于所述用户的体型和运动而获取包含有对应于所述用户的化身的虚拟图像；

判断单元，通过分析所述实拍图像和虚拟图像而确定分别对应于所述实拍图像和所述虚拟图像的合成区域；

生成单元，通过将所述实拍图像的合成区域与所述虚拟图像的合成区域进行合成而生成虚拟试衣图像；以及

输出单元，输出所述虚拟试衣图像，

所述判断单元在所述实拍图像中确定所述用户所穿戴的实际衣服所处的第一区域且在所述虚拟图像中确定所述化身所穿戴的虚拟衣服所处的第二区域，并且在所述实拍图像中将除了与所述第一区域以及第二区域对应的第三区域之外的剩余区域确定为所述实拍图像的合成区域，在所述虚拟图像中将除了与所述实拍图像的合成区域对应的区域之外的剩余区域确定为所述虚拟图像的合成区域。

10.如权利要求9所述的虚拟试衣装置，其特征在于，还包括：

输入单元，接收用于选择实际饰品和虚拟饰品中的一个饰品的用户命令，

其中，所述判断单元在所述实际饰品得到选择的情况下，将包含有所述实际饰品的预定区域判断为所述实拍图像的合成区域，并在所述虚拟饰品得到选择的情况下，将包含有所述虚拟饰品的预定区域判断为所述虚拟图像的合成区域。

11.如权利要求9所述的虚拟试衣装置，其特征在于，

所述实拍图像获取单元利用图像摄像机拍摄用户而获取所述实拍图像，

所述虚拟图像获取单元利用深度或者图像摄像机而拍摄所述用户的体型和运动，并基于拍摄的所述用户的体型和运动而生成化身并获取虚拟图像。