CN108961415A - 基于深度图像采集设备的三维试衣方法及系统 - Google Patents

Abstract

本发明具体涉及一种基于深度图像采集设备的三维试衣方法及系统，所述方法包括：步骤S1，通过深度图像采集设备获取试穿者模型；步骤S2，根据试穿者模型调整预先构建的人体基础模型；步骤S3，根据调整后的人体基础模型修改预先构建的服装模型，得到符合试穿者模型的服装三维模拟图像；步骤S4，融合服装三维模拟图像和深度图像采集设备采集的图像数据得到试穿画面。本发明提供的基于深度图像采集设备的三维试衣方法及系统，提高了三维试衣的计算效率和仿真度，能够真实还原试衣者的穿着效果。

Description

基于深度图像采集设备的三维试衣方法及系统

技术领域

本发明涉及三维建模技术领域，具体涉及一种基于深度图像采集设备的三维试衣方法及系统。

背景技术

目前市场上的虚拟试衣技术分为以下几个主要流派：

一种是试衣者可选择与自己身材相仿的服装模特，将衣服试穿在模特替身的身上。

一种是利用体感技术，将2D衣服模型图像简单贴合在人的身体上。

一种是通过数字建模，用户提供的“照片+三维数据”建立一个接近于你的假人，模拟服装在假人身上的静态效果。

无论是通过上述哪种技术实现虚拟试衣，都存在一个致命伤，即不能真实还原试衣者的穿着效果。之所以达不到真实穿衣效果，因为上述的现有技术存在三个技术瓶颈，一是构建的人体3D模型不能准确的反应试衣者的身形；二是构建服装3D模型需要消耗大量计算资源，建模效率极低，不利于批量化的建立服装3D模型；三是衣服往往被几千个甚至几万个质点代表，而这些质点之间、质点与人体之间又存在着相互作用力，很难将人体3D模型与服装3D模型的自然融合，使衣服根据试穿者的身形发生改变。

上述缺陷都严重制约着虚拟试衣技术的推广应用，因此，亟需一种计算效率高、仿真度高的实时虚拟试衣技术。

发明内容

针对现有技术中的缺陷，本发明提供的基于深度图像采集设备的三维试衣方法及系，提高了三维试衣的计算效率和仿真度，能够真实还原试衣者的穿着效果。

第一方面，本发明提供了一种基于深度图像采集设备的三维试衣方法，包括：

通过深度图像采集设备获取试穿者模型；

根据所述试穿者模型调整预先构建的人体基础模型；

根据调整后的人体基础模型修改预先构建的服装模型，得到符合所述试穿者模型的服装三维模拟图像。

本实施例提供的基于深度图像采集设备的三维试衣方法，通过深度图像采集设备建立人体基础模型、服装模型和试穿者模型，模型顶点数据量大，能够更加精准地重现人体、服装的形态；通过试穿者模型调整预先构建的人体基础模型，又根据调整后的人体基础模型调整预先构建的服装模型，在实时处理时无需另外建立模型，而只需调整模型的部分参数，加快了虚拟试衣的计算速度。由于计算速度快，通过深度图像采集设备可实时采集试穿者的运动状态，并实时调整输出的试穿画面，可实现360度观看穿衣效果。

优选地，所述根据所述试穿者模型调整预先构建的人体基础模型，包括：

将所述试穿者模型等比例放大至与预先构建的人体基础模型相同的尺寸；

对所述人体基础模型的每个顶点作如下操作：根据获取所述试穿者模型的顶点，调整所述人体基础模型的顶点坐标，使所述人体基础模型与所述试穿者模型在空间中的位置重合。

优选地，所述人体基础模型的构建方法包括：通过深度图像采集设备获取标准模特的三维数据作为人体基础模型。

优选地，所述服装模型的构建方法包括：

将待建模的服装从内部用硬体框架撑起，所述硬体框架与所述标准模特的形状完全一致；

根据深度图像采集设备获取所述服装的三维数据得到服装模型。

优选地，所述根据深度图像采集设备获取所述服装的三维数据得到服装模型，包括：

通过深度图像采集设备获取所述服装不同角度的三维数据；

将不同角度的三维数据通过空间坐标进行组合，去掉重复位置的顶点，得到服装模型。

优选地，所述根据调整后的人体基础模型修改预先构建的服装模型，得到符合所述试穿者模型的服装三维模拟图像，包括：

根据调整后的人体基础模型修改预先构建的服装模型；

将修改后的服装模型输入物理引擎实时模拟服装布料的变化，得到符合所述试穿者模型的服装三维模拟图像。

优选地，在预先构建完所述人体基础模型和所述服装模型后，还包括：确定所述人体基础模型的顶点与所述服装模型的顶点的对应关系得到顶点关联关系；

所述根据调整后的人体基础模型修改预先构建的服装模型，包括：

对调整后的人体基础模型的各个顶点作如下操作：根据顶点关联关系得到调整后的人体基础模型的顶点P在所述服装模型上对应的顶点F，若所述顶点P的z轴坐标大于所述顶点F的z轴坐标，则所述顶点F的坐标修改为所述顶点P的坐标，否则不修改。

优选地，所述服装模型还包括限制参数，所述限制参数包括拉伸限制参数和回弹限制参数。

优选地，还包括：

通过摄像头获取所述试穿者所处场景的图像；

根据所述深度图像采集设备采集的深度数据得到背景区域的uv坐标；

在所述图像中匹配与所述背景区域的uv坐标对应的像素点；

用匹配到的像素点的像素值替换背景区域的像素点得到背景图像；

融合所述背景图像和所述服装三维模拟图像得到试穿画面。

第二方面，本发明还提供了一种基于深度图像采集设备的三维试衣系统，包括：深度图像采集设备、处理器、存储器、屏幕；

所述处理器与所述深度图像采集设备、所述存储器、所述屏幕电连接；

所述深度图像采集设备用于采集试穿者的人体模型作为试穿者模型；

所述存储器用于存储程序；

所述处理器用于运行所述存储器中的所述程序以执行以下步骤：通过深度图像采集设备获取试穿者模型；根据所述试穿者模型调整预先构建的人体基础模型；根据调整后的人体基础模型修改预先构建的服装模型，得到符合所述试穿者模型的服装三维模拟图像；融合所述服装三维模拟图像和所述深度图像采集设备采集的图像数据得到试穿画面；

所述屏幕用于显示所述处理器输出的试穿画面。

本实施例提供的基于深度图像采集设备的三维试衣系统，通过深度图像采集设备建立人体基础模型、服装模型和试穿者模型，模型顶点数据量大，能够更加精准地重现人体、服装的形态；通过试穿者模型调整预先构建的人体基础模型，又根据调整后的人体基础模型调整预先构建的服装模型，在实时处理时无需另外建立模型，而只需调整模型的部分参数，加快了虚拟试衣的计算速度。由于计算速度快，通过深度图像采集设备可实时采集试穿者的运动状态，并实时调整输出的试穿画面，可实现360度观看穿衣效果。

附图说明

图1为本发明实施例所提供的基于深度图像采集设备的三维试衣方法的流程图；

图2为根据试穿者模型调整预先构建的人体基础模型的调整前后的对比示意图；

图3为基于深度图像采集设备构建的人体基础模型的一个示例；

图4为人体基础模型的碰撞球与服装模型的碰撞球初始化时的对应关系；

图5为服装模型、调整前的人体基础模型、调整后的人体基础模型间的对应位置关系；

图6为发明实施例中的模型的空间坐标轴的示意图；

图7为基于深度图像采集设备的三维试衣系统的使用场景；

图8为基于深度图像采集设备的三维试衣系统的电路框图；

图9为基于深度图像采集设备的三维试衣系统的另一种电路框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例一

如图1所示，本实施例提供了一种基于深度图像采集设备的三维试衣方法，包括：

步骤S1，通过深度图像采集设备获取试穿者模型。

其中，深度图像采集设备为可以采集图像以及图像对应的深度的设备，可以选用rgb-d摄像头(如Kinect)，rgb-d摄像头可以直接输出图像数据和深度数据。图像数据指拍摄到图像中每个像素点的像素值，深度数据指摄像头到人体的距离值，图像数据和深度数据获取的是同一空间范围内的不同类型的数据。

其中，试穿者需要站在图像采集设备前原地转圈，以采集试穿者的身形数据，将深度图像采集设备输出的深度数据通过几何关系映射到三维空间中，得到三维点云数据，即为描述试穿者身形的试穿者模型。步骤S1为利用深度图像采集设备进行进行三维建模的过程，具体建模过程属于现有技术，在此不再赘述。

步骤S2，根据试穿者模型调整预先构建的人体基础模型。

步骤S3，根据调整后的人体基础模型修改预先构建的服装模型，得到符合试穿者模型的服装三维模拟图像。

步骤S4，融合服装三维模拟图像和深度图像采集设备采集的图像数据得到试穿画面。

其中，深度图像采集设备采集的图像数据中试穿者着装的部分用服装模型替换，其余部分保留深度图像采集设备采集的图像数据，以真实地还原试穿者周围的环境。

本实施例提供的基于深度图像采集设备的三维试衣方法，通过深度图像采集设备建立人体基础模型、服装模型和试穿者模型，模型顶点数据量大，能够更加精准地重现人体、服装的形态；通过试穿者模型调整预先构建的人体基础模型，又根据调整后的人体基础模型调整预先构建的服装模型，在实时处理时无需另外建立模型，而只需调整服装模型的部分参数，加快了虚拟试衣的计算速度。由于计算速度快，通过深度图像采集设备可实时采集试穿者的运动状态，并实时调整输出的试穿画面，可实现360度观看穿衣效果。

其中，人体基础模型的构建方法包括：通过深度图像采集设备获取标准模特的三维数据作为人体基础模型，构建的人体基础模型如图3所示。通过上述方法构建的模型顶点数据量大，能够更加精准地重现人体、服装的形态，且建模速度快。

其中，服装模型的构建方法包括：

步骤S51，将待建模的服装从内部用硬体框架撑起，硬体框架与标准模特的形状完全一致。这使得建立的服装模型与人体基础模型的贴合度更高，使得后期在根据人体基础模型做调整后得到的仿真效果更加接近真实情况。

步骤S52，根据深度图像采集设备获取服装的三维数据和图像数据得到服装模型。三维数据指空间中的三维顶点，每个顶点具有空间坐标，服装模型正是这些顶点构成的集合。服装模型还存储有每个顶点对应的图像数据，用于在呈现服装模型时对展示的服装模型进行贴图，以真实地表现服装布料的图案和纹理。

其中，步骤S52具体包括：

步骤S521，通过深度图像采集设备获取服装不同角度的三维数据。

步骤S522，将不同角度的三维数据通过空间坐标进行组合，去掉重复位置的顶点，得到服装模型。

通过深度图像采集设备将服装模型进行细化达到10000以上的顶点数量，并保证建立的服装模型没孤立的顶点，让顶点形成闭环。通过上述方法构建的服装模型真实度高、精度高，大幅降低服装建模成本，建模时间短，操作简便，可在短时间内实现批量化服装建模。

在构建完人体基础模型和服装模型后，即可确定人体基础模型顶点与服装模型顶点之间的对应关系得到顶点关联关系，如图4所示，给出了人体基础模型的碰撞球与服装模型的碰撞球初始化时的对应关系，提高服装第一次穿着模拟的速度。由于构建服装模型的过程中使用的硬体框架为构建人体基础模型时的标准模特，使得确定顶点关联关系更加简单方便。

在预先构建完人体基础模型和服装模型后，还包括：通过Nvdia Flex分别计算人体基础模型和服装模型的碰撞点。

其中，Nvdia Flex是一种虚拟引擎，其基于粒子仿真技术和GPU(图形处理器实现实时视觉效果的虚拟仿真。计算碰撞点的方法为：获取模型所有顶点，计算顶点之间的距离如果小于碰撞球半径，不添加碰撞球；如果顶点之间的距离大于半径，则该顶点为碰撞点，在顶点处添加碰撞球。利用Nvdia Flex进行碰撞点的计算属于现有技术，在此不再赘述。

其中，服装模型的顶点上设置有碰撞球，通过调整碰撞球的位置实现模拟服装模型的运动变化。服装模型还包括限制参数，以便更真实地模拟服装布料的拉伸和回弹。

如，拉伸限制参数限制了布料的最大拉伸长度为一个拉伸单位，拉伸单位为一个碰撞球的直径，在调整服装模型的过程中，当两个相邻顶点间的拉伸距离超过一个拉伸单位，则服装模型不在进行拉伸，以限制服装模型无限制的拉伸。

又如，回弹限制参数限制了服装模型顶点的逆方向质量为零。当通过物理引擎对服装模型的拉伸过程进行仿真时，顶点的质量不为零(即正方向质量不为零)，以真实的模仿服装运动变化。但当对服装回弹的过程进行仿真时，若相邻碰撞球间的距离大于或等于一个碰撞球的直径，则顶点质量不为零，若相邻碰撞球间的距离小于一个碰撞球的直径，则顶点质量立即设置为零。由于顶点质量不为零会引起服装的过分回弹导致发生穿越现象，为避免这种现象，通过回弹限制参数的设置，使得在利用动力学方程仿真时，不会发生过分回弹，使得运动过程中的试穿画面更加真实。

通过上述拉伸限制参数和回弹限制参数，保证了布料在模拟过程中不容易出现破损和穿越现象。

为了保证调整后的人体基础模型最大限度的接近试穿者模型，步骤S2的优选实施方式包括：

步骤S21，将试穿者模型等比例放大至与预先构建的人体基础模型相同的尺寸。

步骤S22，对人体基础模型的每个顶点作如下操作：根据试穿者模型的顶点，调整人体基础模型的顶点坐标，使人体基础模型与试穿者模型在空间中的位置重合，调整前后的效果如图2所示。

其中，顶点指构成模型的三维数据中的各个点。

其中，由于各个人体型的差异，采集到的试穿者模型和人体基础模型的顶点数量不一致，如图6所示，根据试穿者模型的顶点调整人体基础模型的顶点坐标的具体方法包括：逐行比对y轴相同的试穿者模型和人体基础模型的顶点，在试穿者模型中找到与人体基础模型的顶点A的x值相同或最接近的顶点B，将顶点A的z轴值改为顶点B的z轴值。图6中，y轴为空间中的竖直轴，y不同表示不同的扫描行；x轴上的顶点为同一扫描行中不同位置的顶点；z轴描述了顶点距离中心轴(即图6中的y轴)的距离。

通过直接调整人体基础模型的顶点坐标，使得调整后的人体基础模型最大限度的趋近与试穿者模型，以真实地反映试穿者的身形，提高了后续根据人体基础模型调整的服装模型的逼真度。

其中，步骤S3的优选实施方式包括：

步骤S31，根据调整后的人体基础模型修改预先构建的服装模型。

步骤S32，将修改后的服装模型输入物理引擎实时模拟服装布料的变化，得到符合试穿者模型的服装三维模拟图像。

物理引擎在模拟服装布料的变化的过程中需要考虑拉伸限制参数和回弹限制参数的限制。

其中，步骤S31的优选实施方式包括：对调整后的人体基础模型的各个顶点作如下操作：根据顶点关联关系得到调整后的人体基础模型的顶点P在服装模型上对应的顶点F，若顶点P的z轴坐标大于顶点F的z轴坐标，则服装模型的顶点F的坐标修改为顶点P的坐标，否则不修改。具体如图5所示，服装模型的顶点F与调整前的人体基础模型的顶点P’之间相互关联。

通过上述方法，在实时显示过程中不需要再次使用Nvdia Flex计算碰撞点，根据预先建立的顶点关联关系，通过人体基础模型这一中间桥梁，可以很快的将试穿者模型的顶点与服装模型的顶点匹配起来，根据调整后的人体基础模型局部调整服装模型，提高了调整服装模型的速率，保证了实时显示试穿效果。

为了提高最终输出画面的清晰度，本实例提供的步骤S4的优选实施方法包括：

步骤S401，通过摄像头获取试穿者所处场景的图像。

步骤S402，根据深度图像采集设备采集的深度数据得到背景区域的uv坐标。

其中，所有的图像文件都是二维的一个平面，水平方向是u，垂直方向是v，通过这个平面的二维的uv坐标系中的uv坐标可以定位图像上的任意一个像素点。

步骤S403，在图像中匹配与背景区域的uv坐标对应的像素点。

步骤S404，用匹配到的像素点的像素值替换背景区域的像素点得到背景图像。

步骤S405，融合背景图像和服装三维模拟图像得到试穿画面。

一般深度图像采集设备直接输出的图像的分辨率不高，因此通过外置摄像头采集的画面图像对背景部分进行补充，提高最终呈现画面的像素。

实施例二

基于与实施例一中提供的基于深度图像采集设备的三维试衣方法相同的发明构思，本实施例提供了一种基于深度图像采集设备的三维试衣系统，如图7、8所示，包括：深度图像采集设备、处理器、存储器、屏幕。

深度图像采集设备与摄像头相邻设置，保证深度图像采集设备与摄像头的视场一致，处理器与深度图像采集设备、摄像头、存储器、屏幕电连接。

深度图像采集设备用于采集试穿者的人体模型作为试穿者模型。

其中，深度图像采集设备可以选用rgb-d摄像头(如Kinect)，rgb-d摄像头可以直接输出图像数据和深度数据。深度图像采集设备也可以采用摄像头和测距装置组合的方式，通过定标就可以获知摄像头输出的图像数据与测距装置输出的深度数据之间的关系，但必须保证通过摄像头采集的图像数据与测距装置输出的深度数据是同比例的。

存储器用于存储程序，处理器用于运行存储器中的程序以执行以下步骤：通过深度图像采集设备获取试穿者模型；根据试穿者模型调整预先构建的人体基础模型；根据调整后的人体基础模型修改预先构建的服装模型，得到符合试穿者模型的服装三维模拟图像；融合服装三维模拟图像和深度图像采集设备采集的图像数据得到试穿画面。

屏幕用于显示处理器输出的试穿画面。

本实施例提供的基于深度图像采集设备的三维试衣系统，通过深度图像采集设备建立人体基础模型、服装模型和试穿者模型，模型顶点数据量大，能够更加精准地重现人体、服装的形态；通过试穿者模型调整预先构建的人体基础模型，又根据调整后的人体基础模型调整预先构建的服装模型，在实时处理时无需另外建立模型，而只需调整服装模型的部分参数，加快了虚拟试衣的计算速度。由于计算速度快，通过深度图像采集设备可实时采集试穿者的运动状态，并实时调整输出的试穿画面，可实现360度观看穿衣效果。

rgb-d摄像头输出图像的分辨率较低，为了系统最终输出画面的清晰度，可通过外置的摄像头来提高输出画面的分辨率。如图7、9所示，摄像头与处理器连接，摄像头的采集的视场与深度图像采集设备的视场一致。摄像头将采集的图像输入处理器，处理器通过通用函数匹配深度图像采集设备和摄像头的采集的图像的坐标，并用摄像头采集的图像作为最终输出的试穿画面中的背景图像，具体处理步骤包括：

步骤S401，通过摄像头获取试穿者所处场景的图像。

步骤S402，根据深度图像采集设备采集的深度数据得到背景区域的uv坐标。

其中，所有的图像文件都是二维的一个平面，水平方向是u，垂直方向是v，通过这个平面的二维的uv坐标系中的uv坐标可以定位图像上的任意一个像素点。

步骤S403，在图像中匹配与背景区域的uv坐标对应的像素点。

步骤S404，用匹配到的像素点的像素值替换背景区域的像素点得到背景图像。

步骤S405，融合背景图像和服装三维模拟图像得到试穿画面。

其中，外置的摄像头优选为4K高清摄像头。

本实施例的系统采用泰坦显卡完成试穿画面的处理和显示，处理速度达到30帧/秒，高于人眼最低分辨帧数，降低了画面卡顿感，提高了试穿画面的实时性，提高了用户体验度。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于深度图像采集设备的三维试衣方法，其特征在于，包括：

通过深度图像采集设备获取试穿者模型；

根据所述试穿者模型调整预先构建的人体基础模型；

根据调整后的人体基础模型修改预先构建的服装模型，得到符合所述试穿者模型的服装三维模拟图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述试穿者模型调整预先构建的人体基础模型，包括：

将所述试穿者模型等比例放大至与预先构建的人体基础模型相同的尺寸；

对所述人体基础模型的每个顶点作如下操作：根据获取所述试穿者模型的顶点，调整所述人体基础模型的顶点坐标，使所述人体基础模型与所述试穿者模型在空间中的位置重合。

3.根据权利要求1所述的方法，其特征在于，所述人体基础模型的构建方法包括：

通过深度图像采集设备获取标准模特的三维数据作为人体基础模型。

4.根据权利要求3所述的方法，其特征在于，所述服装模型的构建方法包括：

将待建模的服装从内部用硬体框架撑起，所述硬体框架与所述标准模特的形状完全一致；

根据深度图像采集设备获取所述服装的三维数据得到服装模型。

5.根据权利要求4所述的方法，其特征在于，所述根据深度图像采集设备获取所述服装的三维数据得到服装模型，包括：

通过深度图像采集设备获取所述服装不同角度的三维数据；

将不同角度的三维数据通过空间坐标进行组合，去掉重复位置的顶点，得到服装模型。

6.根据权利要求1所述的方法，其特征在于，所述根据调整后的人体基础模型修改预先构建的服装模型，得到符合所述试穿者模型的服装三维模拟图像，包括：

根据调整后的人体基础模型修改预先构建的服装模型；

将修改后的服装模型输入物理引擎实时模拟服装布料的变化，得到符合所述试穿者模型的服装三维模拟图像。

7.根据权利要求6所述的方法，其特征在于，

在预先构建完所述人体基础模型和所述服装模型后，还包括：确定所述人体基础模型的顶点与所述服装模型的顶点的对应关系得到顶点关联关系；

所述根据调整后的人体基础模型修改预先构建的服装模型，包括：

对调整后的人体基础模型的各个顶点作如下操作：根据顶点关联关系得到调整后的人体基础模型的顶点P在所述服装模型上对应的顶点F，若所述顶点P的z轴坐标大于所述顶点F的z轴坐标，则所述顶点F的坐标修改为所述顶点P的坐标，否则不修改。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述服装模型还包括限制参数，所述限制参数包括拉伸限制参数和回弹限制参数。

9.根据权利要求1-7中任一项所述的方法，其特征在于，还包括：

通过摄像头获取所述试穿者所处场景的图像；

根据所述深度图像采集设备采集的深度数据得到背景区域的uv坐标；

在所述图像中匹配与所述背景区域的uv坐标对应的像素点；

用匹配到的像素点的像素值替换背景区域的像素点得到背景图像；

融合所述背景图像和所述服装三维模拟图像得到试穿画面。

10.一种基于深度图像采集设备的三维试衣系统，其特征在于，包括：深度图像采集设备、处理器、存储器、屏幕；

所述处理器与所述深度图像采集设备、所述存储器、所述屏幕电连接；

所述深度图像采集设备用于采集试穿者的人体模型作为试穿者模型；

所述存储器用于存储程序；

所述处理器用于运行所述存储器中的所述程序以执行以下步骤：通过深度图像采集设备获取试穿者模型；根据所述试穿者模型调整预先构建的人体基础模型；根据调整后的人体基础模型修改预先构建的服装模型，得到符合所述试穿者模型的服装三维模拟图像；融合所述服装三维模拟图像和所述深度图像采集设备采集的图像数据得到试穿画面；

所述屏幕用于显示所述处理器输出的试穿画面。