CN109409977A - 基于vr的虚拟场景试衣系统、方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开了基于VR的虚拟场景试衣系统，包括摄像头、深度传感器、模特生成系统、试衣系统和试衣展示系统，模特生成系统获取摄像头发送的用户的人脸特征信息以及深度传感器发送的身体深度特征信息生成用户的模特模型并将其发送给试衣系统；试衣系统还用于根据待试衣的衣服匹配得到对应的衣服模型，以及根据用户的模特模型和衣服模型生成试衣模特；以及用于获取用户选择的试衣场景，并根据试衣场景匹配得出系统中的场景模型；试衣展示系统接收试衣系统发送的试衣模特以及场景模型，并根据场景模型将试衣模特显示在相应的试衣场景中。本发明还公开了一种基于VR的虚拟场景试衣方法、电子设备及存储介质。本发明能够给用户提供更好的试衣体验。

Description

基于VR的虚拟场景试衣系统、方法、电子设备及存储介质

技术领域

本发明涉及虚拟试衣系统，尤其涉及一种基于VR的虚拟场景试衣系统、方法、电子设备及存储介质。

背景技术

目前，随着网络，新零售兴起，线下店铺需要给用户更好的用户体验，都会为用户提供试衣，但是现有的试衣都是用户自己直接试衣，这样不仅使得衣服有损伤，同时对于用户来说，也比较麻烦，而且不同的衣服其所穿的场合不同，仅仅单一的试衣并不能够看出衣服的效果。因此，在市面上出现了试衣系统，该试衣系统能够虚拟出相应的衣服、试衣场景、试衣模特等，然后供用户直接参考，能够给用户更好的视觉体验。但是现有的试衣系统大致有两种：其一：将衣服直接贴在用户身上，但这种贴合效果很差，衣服没有布料柔软质感，视觉效果很差；其二：将衣服虚拟化得出三维的衣服，然后将其穿在特定的模特身上，但是模特与用户无关，用户往往看不出、或体验不出衣服穿在自身上的效果、感觉等，体验效果差。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供了基于VR的虚拟场景试衣系统，其能够解决现有的试衣系统其用户体验效果差等问题。

本发明的目的之二在于提供了基于VR的虚拟场景试衣方法，其能够解决现有的试衣系统其用户体验效果差等问题。

本发明的目的之三在于提供一种电子设备，其能够解决现有的试衣系统其用户体验效果差等问题。

本发明的目的之四在于提供一种计算机可读存储介质，其能够解决现有的试衣系统其用户体验效果差等问题。

本发明的目的之一采用如下技术方案实现：

基于VR的虚拟场景试衣系统，包括摄像头、深度传感器、模特生成系统、试衣系统和试衣展示系统，摄像头、深度传感器分别与模特生成系统连接；模特生成系统、试衣展示系统分别与试衣系统连接；

所述摄像头用于获取用户的人脸特征信息、深度传感器用于获取用户的身体深度特征信息；模特生成系统根据用户的人脸特征信息以及身体深度特征信息生成用户的模特模型并将其发送给试衣系统；试衣系统还用于根据待试衣的衣服匹配得到对应的衣服模型，以及根据用户的模特模型和衣服模型生成试衣模特并将其发送给试衣展示系统，使得试衣展示系统向用户显示试衣效果；试衣系统还用于为试衣模特切换不同的试衣场景。

进一步地，试衣系统还用于识别获取用户的动作姿势，以及根据用户的动作姿势使得试衣模特在相应的试衣场景内向用户显示对应的试衣动画。

进一步地，还包括3D扫描仪和衣服模型生成系统，3D扫描仪通过衣服模型生成系统与试衣系统连接；所述衣服模型生成系统还用于通过3D扫描仪接收每个衣服的3D图像信息，并根据每个衣服的3D图像信息建立对应的衣服模型并存储于系统中。

本发明的目的之二采用如下技术方案实现：

基于VR的虚拟场景试衣方法，包括以下步骤：

用户模型生成步骤：获取用户的信息并生成用户的模特模型；

衣服模型匹配步骤：获取用户选择的衣服并匹配得出衣服的衣服模型；

试衣展示步骤：根据用户的模特模型和衣服的衣服模型生成试衣模特，以及根据用户所选择的试衣场景匹配相应的场景模型，并根据场景模型将试衣模特显示于用户所选择的试衣场景下。

进一步地，还包括试衣动作展示步骤：识别获取用户的动作姿势，并根据用户的动作姿势使得试衣模特在相应的试衣场景内向用户展示对应的试衣动画。

进一步地，所述用户模型生成步骤还包括：用户信息获取步骤：获取用户的人脸特征信息和身体深度特征信息；

处理步骤：根据用户的人脸特征信息生成三维人脸以及根据用户的身体深度特征信息生成三维身体；

模型生成步骤：将三维身体的脸部去除，并将三维人脸经过图像变换后对齐到三维身体的脸部位置上进而生成用户的模特模型。

进一步地，衣服模型的建立过程如下：首先获取每个衣服的多个3D图像并生成对应的初步模型，并对初步模型进行背景去除、黑洞修复、衣服边缘整理的处理操作，进而生成每个衣服的衣服模型；在生成衣服模型时设置每个衣服对应的布料材质。

进一步地，所述场景模型是通过Maya工具创建的。

本发明的目的之三采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明目的之二所采用的基于VR的虚拟场景试衣方法的步骤。

本发明的目的之四采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明目的之二所采用的基于VR的虚拟场景试衣方法的步骤。

相比现有技术，本发明的有益效果在于：

本发明通过获取用户的脸部特征信息以及身体深度特征信息来生成用户的模特模型，并预先在系统中存储每个衣服的衣服模型以及场景模型，通过调用相应的衣服模型以及场景模型，并将其与用户的模特模型结合为用户显示在对应场景下的试衣效果。由于本发明中采用的模特为根据用户自身的信息创建的，用户能够直观地在自身在对应场景下的试衣效果显示，提供给用户更为直观地视觉体验、试衣体验。

附图说明

图1为本发明提供的基于VR的虚拟场景试衣系统模块图；

图2为本发明提供的基于VR的虚拟场景试衣方法流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

本发明将VR技术应用到虚拟试衣系统中，从而能够使得用户看到自身在不同场景下穿着不同衣服时的试衣效果，提供给用户更为直观地视觉体验、试衣体验等。

如图1所示，基于VR的虚拟场景试衣系统包括摄像头、深度传感器、模特生成系统、试衣系统和试衣展示系统。摄像头、深度传感器均与模特生成系统连接。模特生成系统、试衣展示系统分别与试衣系统连接。

其中，摄像头、深度传感器均与模特生成系统电性连接。摄像头采用RGB摄像头，用于获取用户的脸部特征信息；而深度传感器用于获取用户的身体深度特征信息。

其中，模特生成系统根据摄像头发送的用户的脸部特征信息、深度传感器发送的用户的身体深度特征信息生成用户的模特模型；试衣系统用于根据待试衣的衣服匹配得出该衣服对应的衣服模型，并根据用户的模特模型和衣服模型生成试衣模特。试衣展示系统根据试衣模型向用户显示相应的试衣效果，比如通过显示屏、大屏幕等将最终的试衣效果显示给用户观看。

在生成用户的模特模型时，首先根据用户的脸部特征信息生成三维人脸，也即是生成用户的头部；根据身体深度特征信息生成三维身体，也即是生成人的身体；然后再将三维身体的脸部去除，将三维人脸经过简单的三维图像变换并将其对齐到三维身体的脸部位置上而生成三维的模特模型。其中，三维人脸采油工3DMM的方法生成，而三维身体采用SMPL方法生成。另外，对于三维人脸以及三维身体创建的过程也可以通过现有的其他建模方法来实现，本发明对于建模方法不做具体限制。

本发明还能够为用户的试衣效果提供相应的应用场景的选择。因为不同的场景，由于其灯光、风等条件的不同，其衣服的显示效果也不一样，比如灯光复杂的酒吧、吹着微风的海滩、酒会等场景。本发明中对于场景的建立可通过三维建模软件建立，例如Maya等3D工具，然后将其存储于系统中，比如服务器上。由于在不同的场景下，不同布料在灯光、颜色等的展现下不同，比如棉衣没有皮衣光亮。在相同的风下，不同材料表现也不一样，比如皮衣比棉衣硬。因此，在不同的场景下，在显示试衣效果时，可根据不同的衣服材质来显示不同的衣服飘动、显示效果，使得用户了解真实的试衣效果，有更好的用户体验。也即是试衣系统还用于根据用户的选择的试衣场景调用相应的场景模型并为试衣效果显示出对应的试衣场景。比如用户想要显示在酒吧中的试衣效果，就可以调用相应的酒吧场景并将该试衣效果显示在该酒吧场景中，由于酒吧场景中各种灯光的存在，可以使得试衣效果更加逼真，给用户更为直观的体验。

本发明还能够为用户展示不同的试衣动画，比如用户旋转时衣服的飘动效果等。工程师可预先设置相应的动作所对应的试衣动画，并将其存储于服务器上，比如用户试衣转动时的试衣动画。另外，在设置试衣动画时，还要结合衣服的材质来进行设置，比如不同的布料，其在转动时的衣服的飘动效果不同，则对应的试衣动画也就不同。

也即是说，试衣系统还用于识别获取用户的动作姿势，并根据动作姿势以及试衣模特向用户显示对应的试衣效果动画。比如用户可按照系统预设的转动进行转圈，系统就能够识别到该用户的转动，并匹配到该用户的转动动作相应的试衣动画，并在显示器中显示出该用户穿着衣服转动的试衣效果。

本发明中预先会通过工作人员将每件衣服进行处理生成相应的衣服模型，并将其存储于系统中，比如存储到服务器上。也即是，本发明还包括衣服模型生成系统和3D扫描仪，3D扫描仪用于扫描衣服的信息，并将其发送给衣服模型生成系统。衣服模型生成系统根据3D扫描仪发送的衣服的3D图像信息生成衣服的初步模型，以及通过对衣服的初步模型进行背景去除、黑洞修复、衣服边缘整理等处理，进而生成衣服的模型。另外，在生成衣服模型时，还将衣服物理材质与衣服模型进行对应。另外，在获取衣服物理材质时，是通过根据衣服的材质进行处理来生成衣服的法线贴图、色彩贴图、高光贴图以及烘焙贴图处理来得到衣服的材质，比如通过材质生成系统来实现。

本发明还提供了一种基于VR的虚拟场景试衣方法，如图2所示，包括以下步骤：

步骤S1：获取用户的信息并生成用户的模特模型。

而本发明中通过对用户的信息进行获取来生成用户的模特模型，这样在展示时能够结合用户自身的身高、外形等来显示试衣效果，给用户以良好的视觉体验，比现有技术中使用假人或其他的模特来显示试衣效果，有更好的体验感。另外，本发明中对于生成用户的模特模型时，不仅仅采用用户的人脸特征信息、还结合用户的身体深度特征信息来实现，这样可以试衣显示时，其试衣效果更佳逼真，也即是使得试衣的模特接近于用户自身，模仿真实用户试衣的效果。

也即是步骤S1还包括以下步骤：

步骤S11：获取用户的人脸特征信息和身体深度特征信息；

步骤S12：根据用户的人脸特征信息生成三维人脸以及根据用户的身体深度特征信息生成三维身体；

步骤S13：将三维身体的脸部去除，并将三维人脸经过三维图像变换后对齐到三维身体的脸部位置上而生成用户的模特模型。

通过获取用户的模特模型后，再获取用户所选择试衣的衣服，具体为：

步骤S2：获取待试衣的衣服并匹配得出衣服的衣服模型。根据用户所要选择试衣的衣服，来获取该衣服对应的衣服模型。在试衣之前，由工作人员通过3D扫描仪等设备对每个衣服进行扫描，并生成相应的初步衣服模型，然后经过一系列的处理后为每个衣服建立对应的衣服模型，并存储在系统中。这样在试衣时，用户可根据自己的需求选择相应的衣服，进而可在系统中匹配得到相应的衣服模型。

步骤S3：根据用户的模特模型和衣服模型生成试衣模特。

步骤S4：根据该试衣模特向用户显示试衣效果。通过将用户的模特模型与衣服模型结合形成相应的试衣模特，最终将试衣效果显示给用户，由于模特模型是根据用户自身的特征创建的，因此在显示的试衣效果来说，能够给用户像衣服穿在自己身上一样的视觉体验。

步骤S5：获取用户选择的试衣场景并匹配得出相应的场景模型，并根据场景模型将试衣模特显示在该试衣场景下。

另外，本发明还能为试衣提供相应的试衣场景，从而能够使得不同的试衣场景下，显示出相应的试衣效果，让用户能够预先看到衣服在特定场合下的显示效果。另外，对于试衣场景是由工作人员预先通过3D工具创建并存储于系统中的。如果用户想要将试衣显示在某个试衣场景下时，比如用户通过输入设备选择相应的场景按钮，系统就能够调用相应的试衣场景，并显示出在该试衣场景下的试衣效果。

步骤S6：识别用户的试衣动作，并根据试衣模特向用户展示相应的试衣效果的动画。另外，本发明中还可以识别用户的动作，进而显示对应的试衣效果动画。比如用户转圈时，可以将试衣时，转圈的效果显示出来。在制作试衣效果动画时，还要结合相应的衣服的材质进行设置，因为不同的衣服材质其飘动不同。

本发明通过将用户的脸部信息与身体信息进行结合来生成与用户相似度极高的虚拟模特，将该虚拟模特与衣服模型结合为用户显示试衣效果，同时加入了场景的显示效果，能够使得用户更加直观地看到在特定场合下的试衣效果，给用户以更好的视觉试衣体验。

本发明还提供了一种电子设备，其包括存储器、处理器以及存储在存储器上并可在处理上运行的计算机程序，所述处理器执行所述程序时实现如文中所述的基于VR的虚拟场景试衣方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如文中所述的基于VR的虚拟场景试衣方法的步骤。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.基于VR的虚拟场景试衣系统，其特征在于：包括摄像头、深度传感器、模特生成系统、试衣系统和试衣展示系统，摄像头、深度传感器分别与模特生成系统连接；模特生成系统、试衣展示系统分别与试衣系统连接；

所述摄像头用于获取用户的人脸特征信息、深度传感器用于获取用户的身体深度特征信息；模特生成系统根据用户的人脸特征信息以及身体深度特征信息生成用户的模特模型并将其发送给试衣系统；试衣系统还用于根据待试衣的衣服匹配得到对应的衣服模型，以及根据用户的模特模型和衣服模型生成试衣模特并将其发送给试衣展示系统，使得试衣展示系统向用户显示试衣效果；试衣系统还用于获取用户选择的试衣场景，并根据试衣场景匹配得出系统中的场景模型，并将场景模型发送给试衣展示系统，使得试衣展示系统根据场景模型将试衣模特显示在相应的试衣场景中。

2.根据权利要求1所述的系统，其特征在于：试衣系统还用于识别获取用户的动作姿势，以及根据用户的动作姿势使得试衣模特在相应的试衣场景内向用户显示对应的试衣动画。

3.根据权利要求1所述的系统，其特征在于：还包括3D扫描仪和衣服模型生成系统，3D扫描仪通过衣服模型生成系统与试衣系统连接；所述衣服模型生成系统还用于通过3D扫描仪接收每个衣服的3D图像信息，并根据每个衣服的3D图像信息建立对应的衣服模型并存储于系统中。

4.基于VR的虚拟场景试衣方法，其特征在于：包括以下步骤：

用户模型生成步骤：获取用户的信息并生成用户的模特模型；

衣服模型匹配步骤：获取用户选择的衣服并匹配得出衣服的衣服模型；

试衣展示步骤：根据用户的模特模型和衣服的衣服模型生成试衣模特，以及根据用户所选择的试衣场景匹配相应的场景模型，并根据场景模型将试衣模特显示于用户所选择的试衣场景下。

5.根据权利要求4所述的方法，其特征在于：还包括试衣动作展示步骤：识别获取用户的动作姿势，并根据用户的动作姿势使得试衣模特在相应的试衣场景内向用户展示对应的试衣动画。

6.根据权利要求4所述的方法，其特征在于：所述用户模型生成步骤还包括：用户信息获取步骤：获取用户的人脸特征信息和身体深度特征信息；

处理步骤：根据用户的人脸特征信息生成三维人脸以及根据用户的身体深度特征信息生成三维身体；

模型生成步骤：将三维身体的脸部去除，并将三维人脸经过图像变换后对齐到三维身体的脸部位置上进而生成用户的模特模型。

7.根据权利要求4所述的方法，其特征在于：衣服模型的建立过程如下：首先获取每个衣服的多个3D图像并生成对应的初步模型，并对初步模型进行背景去除、黑洞修复、衣服边缘整理的处理操作，进而生成每个衣服的衣服模型；在生成衣服模型时设置每个衣服对应的布料材质。

8.根据权利要求4所述的方法，其特征在于：所述场景模型是通过Maya工具创建的。

9.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求4-8中任一项所述的基于VR的虚拟场景试衣方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求4-8中任一项所述的基于VR的虚拟场景试衣方法的步骤。