CN107230224B - 三维虚拟服装模型制作方法及装置 - Google Patents

Abstract

本发明提供一种三维虚拟服装模型制作方法及系统，其方法包括：A1.从不同角度，获取包含背景的着装人体模特的深度信息和彩色信息；A2.利用深度信息，将着装人体模特从背景中分割出来；A3.利用彩色信息，将服装从人体模特上分割出来；A4.利用人体模特的深度信息查找出服装的关键点，由所述关键点定义出缝合线，根据所述缝合线缝合制作成三维虚拟服装模型。根据深度信息和彩色信息，先后将着装人体模特和服装进行分割，可有效避免拍摄环境背景的限制；利用深度信息，可自动找出服装的关键点，不需要手动标定；同时避免了对各个方向上点云数据进行配准和融合，有效缩短了形成模型的时间，且使获得的服装模型效果更加真实。

Description

三维虚拟服装模型制作方法及装置

技术领域

本发明涉及3D试衣领域，尤其涉及一种三维虚拟服装模型制作方法及装置。

背景技术

随着网络的普及以及电子商务的发展，线上购物已经成为受大众所喜爱的一种潮流。为了解决目前线上购衣无法让用户直观地感受到衣服是否合身，相当数量的国内外企业以及科研单位都就虚拟试衣技术进行了研究与开发工作。在虚拟试衣技术中，衣服模型的制作是其中重要的一环。衣服模型依据数据的形式可以分为二维的衣服和三维的衣服：二维的衣服指的是一张或多张衣服图片，通常为彩色图像；三维的衣服指的是在三维空间中能够全方位展示衣服的表面信息的模型，通常为彩色三维网格模型。三维的衣服相比于二维的衣服所涵盖的信息量更大，尤其体现在能呈现衣服的空间结构。三维的衣服的制作技术主要包含以下几种方式：1.利用三维建模仿真软件设计衣服的样板图案，在衣服的多个样板片上定义重要点、缝合线、固定线，然后经缝合操作建立起三维衣服模型；2.利用摄像机拍摄真实衣服的多个角度的图片，利用图像处理方法合成三维衣服模型；3.利用摄像机拍摄真实衣服的多个角度的图片，对多个角度的衣服图片进行拆片处理，然后定义重要点、缝合线、固定线，之后经缝合操作建立起三维衣服模型；4.利用3D传感器从多个角度对真实衣服进行拍摄，获取到真实衣服各个角度所对应的点云数据，然后经过点云数据的融合形成360°的真实衣服点云，再经过表面重建形成三维衣服模型。方式3的三维衣服模型是基于真实拍摄的衣服图片，经手动拆片、定义重要点、缝合线、再缝合操作制成，相比于方式1提升了衣服的真实效果，相比于方式2利用图像处理的方法建立的三维衣服模型，则在衣服的空间结构和展示效果上更好。但目前方式3采用的是摄像机，而摄像机通常只能拍摄得到二维的图片，这些图片通常又包含背景物体，从背景中分割出衣服通常只能采用手动分割或基于颜色分割的方法。另外基于颜色分割的方法，通常要求衣服的颜色和背景的颜色差异较大，进而利用颜色的差异以及空间位置上的差异分割出衣服。目前这种方式通常采用的拍摄方法是，将衣服置于一平面背景下，平面背景通常都为单色的背景，具体可为单色的幕布，依据所要拍摄的衣服的颜色，从多块单色的幕布中选择与衣服的颜色差异较大的一块幕布作为背景，进行拍摄。这种利用多块幕布的方式虽然可以使得可拍摄和建立的衣服的颜色种类增多，但更换幕布的过程是一个耗时可观的过程。另外，方式1和方式3在进行拆片处理、定义重要点、缝合线时，都需要人工的介入，进行手动处理，过程较繁琐。通过方式4的方法，各个方向的点云数据量通常比较大，在对各个方向的点云数据进行配准和融合时，耗时较长。除此之外，当利用多个3D传感器从各个相应角度对真实衣服进行拍摄时，需要对不同角度的3D传感器进行标定，获取它们之间的相应位置关系，此标定过程较为繁琐。

发明内容

为解决上述问题，本发明提出一种三维虚拟服装模型制作方法及装置，其可自动、快速、高效建立三维虚拟服装的模型。

本发明提供的三维虚拟服装模型制作方法，包括：A1.从不同角度，获取包含背景的着装人体模特的深度信息和彩色信息；A2.利用深度信息，将着装人体模特从背景中分割出来；A3.利用彩色信息，将服装从人体模特上分割出来；A4.利用人体模特的深度信息查找出服装的关键点，由所述关键点定义出缝合线，根据所述缝合线缝合制作成三维虚拟服装模型。

本发明还提供一种包含计算机程序的计算机可读存储介质，该计算机程序可使计算机执行如上所述的方法。

本发明还提供一种三维虚拟服装模型制作装置，包括：至少一个3D传感器、人体模特和处理器；所述3D传感器向目标空间中进行投影，并采集深度图像和彩色图像，所述处理器包含如上所述的计算机可读存储介质。

本发明的有益效果：首先，利用3D传感器的深度信息可快速提取出着装人体模特，有效避免了现有技术中由于服装和背景颜色相近而难以提取的缺陷，脱离了拍摄环境背景的限制。其次，利用彩色信息，可一步到位将服装从已分割出来的人体模特上再次分割出来。最后，利用人体模特的深度信息，自动查找出服装的关键点，不需要手动标定；根据该关键点可进一步自动定义出缝合线，根据获得的缝合线，将不同方向上服装的片段直接进行缝合生成三维服装模型，避免了手动标定缝合线造成的过程繁琐、速度慢，也不需要多个3D传感器之间进行标定，同时避免了对各个方向上点云数据进行配准和融合，有效缩短了形成模型的时间，且使获得的服装模型效果更加真实。

附图说明

图1为本发明具体实施方式中三维虚拟服装模型制作场景示意图。

图2为本发明具体实施方式中3D传感器的侧面结构示意图。

图3为本发明具体实施方式中三维虚拟服装模型制作方法流程图。

图4为本发明具体实施方式中骨架及关节点示意图。

图5为本发明具体实施方式中骨架及关节点投影至服装上的示意图。

图6a为本发明具体实施方式中服装的正面示意图。

图6b为本发明具体实施方式中服装的背面示意图。

图7为本发明具体实施方式中关节模型库中左臂的示意图。

图8a为本发明具体实施方式中服装的正面示意图。

图8b为本发明具体实施方式中服装的背面示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

三维虚拟服装模型制作场景如图1所示，整个拍摄过程是在一个相对独立的拍摄间操作，包括：一个3D传感器和人体模特。在拍摄之前，给人体模特穿上真实的服装。

拍摄间的顶部安装有照明设备，四个照明设备均匀分布在圆形顶棚的四个点上，优选的位置为：照明设备设置在人体模特的正上前方、正后上方、左上角和右上角，所有的照明设备均朝向中间的人体模特，使得光源均匀照射在人体模特上，为3D传感器提供良好的光照条件，并且不会存在明显的光照不均匀的状况。除了在人体模特的上方安装照明设备，同样的，在底部同样也可以安装照明设备，也可以增加照明设备的数量，进一步使得拍摄件的光照环境良好。

拍摄间的正中央，放置的是穿戴真实服装的人体模特。人体模特的左右臂需与上衣身体部分清楚分离，双臂和上衣身体部分自肩部以下无贴合处。人体模特的双脚分开，左右腿不交叉，也不会分开太宽。具体的，人体模特具有这样一种姿态：笔直站立，双脚张开距离略小于肩宽，双手自然下垂与身体不接触，留有一定距离。人体模特的此种姿态，确保了在穿戴真实衣服之后，能够利用所述3D传感器拍摄到衣服足够多的有效信息，而不会因为人体姿态的问题，比如手臂交叉、双腿并拢等，造成拍摄衣服全方位数据难，或所拍摄的衣服数据存在大范围缺失的问题。

3D传感器固定在可调节高度的三脚架上，在拍摄上衣时，3D传感器所处的高度为胸部的位置，其可以获取到上衣的有效数据；在拍摄裤子时，3D传感器处于膝关节与臀部的中间位置，有利于获取到裤子的有效数据；当拍摄裙装等一体式服装时，3D传感器处于肚脐与胸部的中间位置，有利于获取一体式服装的有效数据。

图1的场景中，只利用一个3D传感器对着装人体模特从多个角度进行拍摄，在其中一个情形下，将3D传感器所在的支撑架放于一圆形导轨上，导轨有导轮和电机，电机运行可推动导轮滚动，从而带动所述支撑架上的所述3D传感器绕着以所述穿戴服装的人体模特为圆心进行拍摄。另外一个情形为：3D传感器保持不动，将着装人体模特放置于可360°可旋转的转盘上；拍摄时由电机带动转盘进行转动，每转动一个角度停留一段时间用于3D传感器进行拍摄。在另一实施例中，利用多个3D传感器对着装人体模特从多个角度进行拍摄，具体地，利用四个3D传感器进行拍摄，四个所述3D传感器放置在穿戴服装的人体模特的四个方向，正前方，正后方，正左侧，正右侧；拍摄时，四个述3D传感器保持不动。

3D传感器主要包括深度相机和彩色相机，用于向目标空间中投影或获取目标空间的深度信息和彩色信息。深度相机按种类主要分为结构光深度相机、TOF深度相机以及双目视觉深度相机。

基于结构光三角法的深度相机利用激光投影装置向空间中投射经编码的标准结构光图案，空间中目标深度的不同将标准结构光图案进行了调制，通过图像相关等算法获取调制后的结构光图像与标准结构光图案的差别，根据结构光三角法建立该差别与目标深度之间的关系就可求解出整个目标空间的深度图像。

基于时间飞行法的深度相机利用激光投影装置向目标发射激光脉冲，由光接收装置获取脉冲并记录下发射到接收的光飞行时间，根据飞行时间可以计算出目标的深度图像。

基于双目视觉原理的深度相机，本质上与结构光三角法原理相似，区别在于结构光三角法是主动测量，而双目视觉则是被动测量。利用左右相机获取的图像在视差上的差别，并由视觉算法获取该视差后进一步利用三角法测量原理计算出目标的深度值。

一般地，前两种深度相机中都需要借助于激光投影装置来向空间中投射光学信号，而对于双目视觉深度相机而言，目前也会常常利用激光投影装置来增加空间中物体的纹理信息以提高测量精度。因为，激光投影装置对于深度相机而言异常重要，往往激光投影装置的性能、体积、功耗将直接影响深度相机的精度、体积等。在后续的说明中，3D传感器中的深度相机以基于激光投影装置的深度相机为例进行说明。

图2所示的为3D传感器的侧面结构示意图，3D传感器101主要组成部件有激光投影模组104、采集模组105、主板103、处理器102、RGB相机107。激光投影模组104、采集模组105以及RGB相机107一般被安装在同一个深度相机平面上，且处于同一条基线，每个模组或相机都对应一个进光窗口108。一般地，处理器102被集成在主板103上，而激光投影模组104与采集模组105通过接口106与主板连接，在一种实施例中所述的接口为FPC接口。其中，激光投影模组用于向目标空间中投射经编码的结构光图案，采集模组105采集到该结构光图像后通过处理器102的处理从而得到目标空间的深度图像。在一个实施例中，结构光图像为红外激光散斑图案，图案具有颗粒分布相对均匀但具有很高的局部不相关性，这里的局部不相关性指的是图案中各个子区域都具有较高的唯一性。对应的采集模组105为与激光投影模组104对应的红外相机。利用处理器获取深度图像具体地指接收到由采集模组采集到的散斑图案后，通过计算散斑图案与参考散斑图案之间的偏离值来进一步得到深度图像。

在对着装人体模特进行拍摄前，需要对3D传感器内置的彩色相机和深度相机进行标定，获取到彩色相机的内部参数、深度相机的内部参数、彩色相机与深度相机的外部参数。根据所述标定数据，可建立起彩色图像和深度图像的映射关系。具体公式如下：

Z_Depth＝Depth(x,y) (3)

P_RGB(X_RGB,Y_RGB,Z_RGB)＝R.P_Depth+T (4)

其中，X_Depth、Y_Depth及Z_Depth为深度图像中各个像素对应的三维点云数据的坐标值；o_{x_RGB}、o_{y_RGB}分别对应于所述深度相机原点的x轴和y轴坐标；f_{x_RGB}，f_{y_RGB}，分别对应于所述深度相机的x轴和y轴方向的焦距；Depth(x,y)代表深度图像每一像素的值；P_Depth为所述深度图像各像素的三维坐标P_Depth(X_Depth,Y_Depth,Z_Depth)；R为旋转矩阵，R_x,R_y,R_z分别为绕x，y，z轴的旋转分量；T为平移矩阵，T_x,T_y,T_z分别为沿x，y，z轴的平移分量；P_RGB(X_RGB,Y_RGB,Z_RGB)为所述彩色图像中各个像素的三维坐标；f_{x_RGB}，f_{y_RGB}，分别对应于所述彩色相机的x轴和y轴方向的焦距；o_{x_RGB}，o_{y_RGB}，分别对应于所述彩色相机原点的x轴和y轴坐标。

如图3所示，三维虚拟服装模型制作方法，包括：A1.从不同角度，获取包含背景的着装人体模特的深度信息和彩色信息；A2.利用深度信息，将着装人体模特从背景中分割出来；A3.利用彩色信息，将服装从人体模特上分割出来；A4.利用人体模特的深度信息查找出服装的关键点，由所述关键点定义出缝合线，根据所述缝合线缝合制作成三维虚拟服装模型。

标定完成之后，利用3D传感器对着装人体模特从不同角度进行拍摄，获取到包含背景的着装人体模特的彩色图像和深度图像；在以下的说明中，以获得着装人体模特的正面、背面、左边和右边四个方向为例进行说明，其服装为一件短袖T恤。由于服装穿戴在人体模特上，服装和人体模特的深度图像为一体的，可通过深度阈值的设定，将着装人体模特从拍摄背景中分割出来。即使背景的颜色和服装的颜色相近，或者背景中包含有其他的物件，如：沙发、椅子等，通过该方法，都可快速将着装人体模特分割出来，避免了现有技术中拍摄环境背景的限制。

对于分割出来的着装人体模特，由于服装的颜色和人体模特的肤色具有较大的差异，进一步根据彩色相机所获取的彩色图像，利用RGB色彩识别，将服装从人体模特上分割出来，获得四个方向上服装的信息，包括深度信息和彩色信息。

获取四个方向上服装的深度信息和彩色信息后，进行自动化的处理，在服装上查找出关键点。关键点包括：肩点、胸点、腰点、臀部点、手腕点、脚腕点、领口点。根据其服装的种类，分别去查找如上所述关键点中的一种或多种。如短袖上衣,其需查找的关键点包括：肩点、胸点、腰点、领口点。

查找关键点，其中第一种方法为：利用人体模特的深度信息，获取其人体模特的关节点，利用该关节点，投影至服装上查找出关键点。3D传感器可根据人体模特的深度信息，追踪到人体骨架，人体骨架由一系列关节点以及关节点之间的连接线构成。如图4所示(从人体模特角度看)，其关节点包括：头部201、颈部202、双肩中央203、左肩204、右肩205、左肘关节206、右肘关节207、左腕关节208、右腕关节209、左手210、右手211、脊柱中段212、臀部中央213、左臀部214、右臀部215、左膝盖216、右膝盖217、左踝关节218、右踝关节219、左脚220、右脚221。如图5所示，根据所获得的关节点，投影至服装上，可获得部分的关键点，该部分关键点和关节点重合；根据该部分关键点，再自动查找出剩下的关键点。

如下以左肩的关节点(从着装人体模特角度看)为例进行说明。如图6a和6b，将左肩部的关节点A通过上述公式(1)-(6),可投影到服装的彩色图像上，且投影到前后视角两张彩色图像上。因为着装人体模特为直立站姿，所以服装必然也是直挺的。当以竖直线通过关节点A时，与服装的相交处可找到一些点，如前视角的点B1和点C1,后视角的点B1′和点C1′。直线B1AC1将所述前视角的服装图片划分成两个区域，区域301和区域302；直线B1′AC1′将所述后视角的服装图片划分成两个区域，区域303和区域304。对前视角的服装图片，从右往左以竖直线扫描，可得到点E1,即横线坐标值最大的点为点E1,并且对区域301来说，纵向坐标值最大的点为点D1,由此确定了区域301的四个关键点B1、E1、D1、C1。同样的方法可用于后视角的服装图片，得到区域303的四个关键点B1′、E1′、D1′、C1′。由于前后视角的服装的相对位置关系是已知的，由此可得区域301和区域303的四个关键点的对应关系，即B1对应B1′，E1对应E1′,D1对应D1′,C1对应C1′。根据四个关键点的对应关系，可建立缝合线，即B1B1′、E1E1′、D1D1′、C1C1′的缝合线。类似的思想可用于服装其他视角划分出相关区域，并在相关区域确定关键点，并找到不同区域的关键点的对应关系，然后建立关键点与关键点之间的缝合关系。最后利用关键点、缝合线，在三维空间中将多个服装区域缝合制作成服装的三维模型。

查找关键点的第二种方法是：利用人体模特的深度信息，在关节模型库中进行搜索，获取人体模特的关节点，再投影至服装上查找出关键点。首先建立关节模型库，该关节模型库中存储有大量的人体关节模型，包括：左肩、右肩、左肘关节、右肘关节、左腕关节、右腕关节、左手、右手、左臀部、右臀部、左膝盖、右膝盖、左踝关节、右踝关节、左脚、右脚。

方法一中的人体骨架关节点为骨架的点，此关节模型不同于人体骨架，其包含了各关节的具体轮廓及其内外关节点。根据人体模特的深度信息，换算出各深度点之间曲率的关系，到关节模型库中进行搜索匹配曲率关系相同的点，如图7所示，其为模型库中左臂的关节模型，其包含了左肩401、左外肘关节402、左内肘关节403、左外腕关节405、左内腕关节406。根据人体模特的深度信息，匹配可以得到左肩的关节点，将该关节点投影至服装前后视角两张彩色图像上，如图8a和8b，将左肩点(从着装人体模特角度看)投影至前视角的B2点和后视角的B2′。当以竖直线通过B2点时，与服装的相交处可找到一些点，如前视角的点C2,后视角的点C2′。直线B2C2将所述前视角的服装图片划分成两个区域，区域501和区域502；直线B2′C2′将所述后视角的服装图片划分成两个区域，区域503和区域504。对前视角的服装图片，从右往左以竖直线扫描，可得到点E2,即横线坐标值最大的点为点E2,并且对区域501来说，纵向坐标值最大的点为点D2,由此确定了区域501的四个关键点B2、E2、D2、C2。同样的方法可用于后视角的服装图片，得到区域503的四个关键点B2′、E2′、D2′、C2′。由于前后视角的服装的相对位置关系是已知的，由此可得区域201和区域203的四个关键点的对应关系，即B2对应B2′，E2对应E2′,D2对应D2′,C2对应C2′。根据四个关键点的对应关系，可建立缝合线，即B2B2′、E2E2′、D2D2′、C2C2′的缝合线。类似的思想可用于服装其他视角划分出相关区域，并在相关区域确定关键点，并找到不同区域的关键点的对应关系，然后建立关键点与关键点之间的缝合关系。最后利用关键点、缝合线，在三维空间中将多个服装区域缝合制作成服装的三维模型。

为了进一步提高服装关键点的精度，将方法一种得到的关键点和方法二中得到的关键点进行置信度分析，分别对B1和B2，B1′和B2′，E1和E2，E1′和E2′、D1和D2，D1′和D2′，C1和C2，C1′和C2′进行加权平均，获得更加精确的关键点，然后建立关键点与关键点之间的缝合关系。最后利用关键点、缝合线，在三维空间中将多个服装区域缝合制作成服装的三维模型。根据上述三种方法生成的三维虚拟服装模型，不仅快速、自动、高效，且最终获得的服装模型效果更加真实。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (7)

1.一种三维虚拟服装模型制作方法，其特征在于，包括如下步骤：

A1.从不同角度，获取包含背景的着装人体模特的深度信息和彩色信息；

A2.利用深度信息，将着装人体模特从背景中分割出来；

A3.利用彩色信息，将服装从人体模特上分割出来；

A4.利用人体模特的深度信息查找出服装的关键点，由所述关键点定义出缝合线，根据所述缝合线缝合制作成三维虚拟服装模型；所述步骤A4中利用人体模特的深度信息查找出服装的关键点包括如下方式之一：

利用人体模特的深度信息，获取所述人体模特骨架的第一关节点，利用所述第一关节点，投影至服装上查找出第一关键点；或

利用人体模特的深度信息，在关节模型库中进行搜索，获取所述人体模特的第二关节点，利用所述第二关节点，投影至服装上查找出第二关键点；或

利用人体模特的深度信息，获取所述人体模特骨架的第一关节点，利用所述第一关节点，投影至服装上查找出第一关键点；同时利用人体模特的深度信息，在关节模型库中进行搜索，获取所述人体模特的第二关节点，利用所述第二关节点，投影至服装上查找出第二关键点；将所述第一关键点与所述第二关键点进行加权平均，获得最终的关键点。

2.如权利要求1所述的方法，其特征在于，所述不同角度至少包括：正前方、正后方、左侧和右侧；所述不同角度的高度保持一致；

所述关键点包含：肩点、胸点、腰点、臀部点、手腕点、脚腕点、领口点中的一种或多种。

3.一种包含计算机程序的计算机可读存储介质，所述计算机程序可使计算机执行如权利要求1-2任一所述的方法。

4.一种三维虚拟服装模型制作装置，其特征在于，包括：至少一个3D传感器、人体模特和处理器；所述3D传感器向目标空间中进行投影，并采集深度图像和彩色图像，所述处理器包含如权利要求3所述的计算机可读存储介质。

5.如权利要求4所述的装置，其特征在于，所述人体模特的左右双臂与上衣身体部分清楚分离，双臂和上衣身体部分自肩部以下无贴合；所述人体模特的双脚分开，双脚间的距离小于肩宽。

6.如权利要求4所述的装置，其特征在于，所述3D传感器设置在所述人体模特肚脐与胸部的中间位置、膝关节与臀部的中间位置、胸部位置中的一种或多种。

7.如权利要求4所述的装置，其特征在于，还包括照明设备，所述照明设备设置在所述人体模特的以下方位中的一种或几种：左上角、左下角、右上角、右下角、上前方、下前方、后上方、后下方。