CN111311751A - 一种基于深度神经网络的三维衣服模型的重建方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的三维衣服模型的重建方法，采用基于人体模型的衣服分割技术来实现逼真衣服的重建，能够较好的保持衣服几何形态，且方便衣服数据的采集。深度神经网络对模型网格的面片进行分类，将分割结果精细到每一个面。593维网格特征向量主要分析模型面片的几何特征以及其与周边面片的几何关系，以此量化每一个面片的特征。高维特征值具有更高的精确度与鲁棒性，通过深度学习，网格分类所得到的结果精度较高，噪音分布集中，更便于后期处理。图割算法是良好的离散优化方法，能够去除网络分类结果中的噪点，增加分割出的衣服模型的连通度，对模型分割的边缘选择具有较好的优化效果，切割出的衣服模型完整性更高。

Description

一种基于深度神经网络的三维衣服模型的重建方法

技术领域

本发明涉及数据处理领域，具体是一种基于深度神经网络的三维衣服模型的重建方法。

背景技术

人体的三维重建一直以来都是虚拟现实、增强现实的核心技术。随着3D重建技术的进步，和基于结构光和ToF(TimeofFlight)等移动3D扫描传感器的出现，人体三维模型变得越来越普遍，基于Kinect的深度相机和Dome系统的MVS算法均能获得较高质量的三维人体模型。但已有的重建技术更着重于对整个人体的重建而忽视了衣服重建的重要意义。衣服的三维重建可应用于虚拟试衣、服装设计等领域，两者均需要生成大量衣服模型——前者用于人体，渲染出人体换衣后的效果；后者用于衣服模型的复原再加工。就实际操作性而言，衣服的扫描比人体扫描更困难。由于大多数衣服可视为由较薄的面片组成，且刚性较小，易发生严重形变，因此对衣服的拍摄采集需要利用真人或假人模型来作为支撑，维持其特有的三维形态。另一实用场景便是用于虚拟试衣中人体体型的估计。要求进入应用的用户脱去衣服扫描体型过于繁琐，且涉及隐私问题，衣服分割技术将标记出人体三维结构中是衣物的部分，再利用相应的参数进行计算，得出真实的人体体型。

现有的一些衣服模型重建技术一般是利用建模软件，根据实物制作出仿真的衣物，再应用绑定于人体。但此类方法存在以下缺点，一是衣服真实感不佳，难以达到现实材质、色彩的效果；二是制作流程复杂，效率低下，难以批量、工业化生成衣服模型。上述讨论中提及衣服模型的扫描通常需要人体作为支撑，因此衣服重建的核心难题在于解决支撑物(人体)和衣物本身的分离。本方法就基于已有的人体重建技术，期望使用数据驱动的方式，将得到的三维人体模型进行分割，提取人体模型中衣服部分的面片。

发明内容

本发明主要目的在于对真实的衣服进行模型重建。考虑到衣服模型的扫描通常需要人体作为支撑物，因此本发明主要公开了一种基于数据驱动的穿衣人体网格的衣服分割系统，解决了复杂几何形态下衣服模型重建的问题，综合考虑了服装类型、网格几何结构以及被拍摄人体的姿态动作。

本发明一种基于深度神经网络的三维衣服模型的重建方法，分为如下几个步骤：

(1)利用相机全方位采集并重建上百件穿衣人体网格模型；

(2)手动分割人体身上的衣服，并构建衣服网格模型数据集；

(3)提取穿衣人体网格模型中每个面的特征向量；

(4)利用衣服网格模型数据集训练深度神经网络模型；

(5)分割衣服网格模型数据集中的人体网格模型，并应用图割方法(Graph-Cut)进行优化。

作为本发明进一步的方案，所述步骤(1)中相机全方位采集并重建多件穿衣人体网格模型的方法为：利用80个4K分辨率组成的高清环形相机阵列拍摄穿着衣服的静态人物，利用多视角立体重建算法得到点云模型，对该点云进行三角面片处理，获得地面及网格有一定噪声的人体网格模型。

作为本发明进一步的方案，所述步骤(5)中的图割方法如下：记人体网格中面片的分类标记为x＝{x₁,x₂,…,x_N}∈Λ^N，其中Λ＝{0,1,2}，0、1、2分别表示面片被标记为皮肤、上衣、裤子，图割算法用于离散优化如下能量函数：E(x)＝∑_i∈VD(x_i)+∑_(i,j)∈V×VS(x_i,x_j)，其中，函数D(x_i)表示一元能量函数(data term)，S(x_i,x_j)表示二元能量函数，基于最大流算法的图割优化能够在多项式时间内得到最小分割，利用α-展开算法，将本步骤中的优化过程转换为二值图割。

作为本发明进一步的方案，本方法将网格分类技术应用于人体—衣物分割，采集到的三维人体模型构建了一个衣服种类丰富、几何形状各异的衣服网格模型数据集，基于该数据集训练了一个将人体皮肤面皮和体表衣服面皮分类标记的深度神经网络模型。首先，我们采用环形相机系统拍摄一个穿衣人体的多视角图像，利用多视角立体重建(Multi-view Stereo)算法得到该人的三维网格。每一个人体模型将被手动分割出衣服的部分，作为真实分割。然后，计算每一个人体模型的每个面片的特征向量，如法向量、曲率等。最后，这些特征向量将输入训练得到的深度神经网络中，给三维模型上每一个面片标记一个分类。为实现降噪、增加连通度的效果，图割优化将应用于输出的标记点中，最终得到真实的人体—衣服分割。

作为本发明进一步的方案，所述深度神经网络模型的输入是593×N维特征向量，其中N指人体网格模型的面数，深度神经网络将手动分割的衣服网格作为真实分割，进行训练及预测；深度神经网络模型的输出是N维向量，其中N_i表示第i个面片的分类结果，N_i∈{0＝皮肤,1＝衣服,2＝裤子}，将400组人体网格的特征向量输入深度神经网络中，训练得到衣服分割网络，将剩余人体网格的特征向量输入训练好的深度神经网络模型中，得到各面片的分类，作为测试结果。

与现有技术相比，本发明的有益效果是：本发明采用基于人体模型的衣服分割技术来实现逼真衣服的重建。此方法能够较好的保持衣服几何形态，且方便衣服数据的采集。深度神经网络对模型网格的面片进行分类，将分割结果精细到每一个面。593维网格特征向量主要分析模型面片的几何特征以及其与周边面片的几何关系，以此量化每一个面片的特征。高维特征值具有更高的精确度与鲁棒性，通过深度学习，网格分类所得到的结果精度较高，噪音分布集中，更便于后期处理。图割算法是良好的离散优化方法，能够去除网络分类结果中的噪点，增加分割出的衣服模型的连通度。同时图割算法对模型分割的边缘选择具有较好的优化效果，切割出的衣服模型完整性更高.

附图说明

图1为本发明中环形相机阵列拍摄穿着衣服的静态人物的示意图；

图2为本发明中衣服数据集的示意图；

图3为本发明方法的流程示意图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明：

一种基于深度神经网络的三维衣服模型的重建方法，分为如下几个步骤：

(1)利用相机全方位采集并重建上百件穿衣人体网格模型；

(2)手动分割人体身上的衣服，并构建衣服网格模型数据集；

(3)提取穿衣人体网格模型中每个面的特征向量；

(4)利用衣服网格模型数据集训练深度神经网络模型；

(5)分割衣服网格模型数据集中的人体网格模型，并应用图割方法(Graph-Cut)进行优化。

本方法将网格分类技术应用于人体—衣物分割，采集到的三维人体模型构建了一个衣服种类丰富、几何形状各异的衣服网格模型数据集，基于该数据集训练了一个将人体皮肤面皮和体表衣服面皮分类标记的深度神经网络模型。首先，我们采用环形相机系统拍摄一个穿衣人体的多视角图像，利用多视角立体重建(Multi-viewStereo)算法得到该人的三维网格。每一个人体模型将被手动分割出衣服的部分，作为真实分割。然后，计算每一个人体模型的每个面片的特征向量，如法向量、曲率等。最后，这些特征向量将输入训练得到的深度神经网络中，给三维模型上每一个面片标记一个分类。为实现降噪、增加连通度的效果，图割优化将应用于输出的标记点中，最终得到真实的人体—衣服分割。

本发明基于深度神经网络的三维衣服模型的重建方法，在实际应用时的预测流程图见图3，整个方法在具体应用时，还存在以下需要注意的事项：

(1)衣服数据集的采集。采集的过程：利用80个4K分辨率组成的高清环形相机阵列拍摄穿着衣服的静态人物，如图1所示，利用多视角立体重建算法得到点云模型，对该点云进行三角面片处理，获得地面及网格有一定噪声的人体网格模型。衣服的种类包括短袖T恤、长袖T恤、连帽卫衣、羽绒服、夹克衫、短裤、长裤等，见图2。

(2)衣服模型的后期处理。将采集得到的人体模型进行手工分割，分离出人体身上的衣服面片。手动分离出的衣服面片将作为数据集的真实分割参与到网络训练当中。

(3)人体模型特征值提取。本发明的深度神经网络主要应用于模型面片的特征向量。本步骤计算了593维的特征值，包括64维曲率(curvature)、48维主成分分析特征值(PCA)、270维测地几何形状联系(geodesic shape contexts)、15维测地距离(geodesicdistance features)、72维几何形状直径(shape diameter)、24维内侧表面距离(distancefrom medial surface)和100维自转图特征值(spin image)。

(4)深度神经网络预测。深度神经网络的输入是593×N维特征向量，其中N指人体网格模型的面数。深度神经网络将手动分割的衣服网格作为真实分割(ground truth)，进行训练及预测。网络的输出是N维向量，其中N_i表示第i个面片的分类结果，N_i∈{0＝皮肤,1＝衣服,2＝裤子}。将400组人体网格的特征向量输入深度神经网络中，训练得到衣服分割网络。将剩余人体网格的特征向量输入训练好的模型中，得到各面片的分类，作为测试结果。

(5)利用图割算法(graph cut)优化网络输出。模型输出的面片分类结果在衣服边界、人体腋下等部位存在明显噪声，影响衣服分割的完整性及衣服边缘切割的质量。记人体网格中面片的分类标记为x＝{x₁,x₂,…,x_N}∈Λ^N，其中Λ＝{0,1,2}，0、1、2分别表示面片被标记为皮肤、上衣、裤子。图割算法用于离散优化如下能量函数：

其中，函数D(x_i)表示一元能量函数(data term)，而S(x_i,x_j)表示二元能量函数(smoothness term)。基于最大流算法的图割优化能够在多项式时间内得到最小分割，但只能应用于二值分割。利用α-展开算法，能够将本步骤中的优化过程转换为二值图割。

综上所述，本发明采用基于人体模型的衣服分割技术来实现逼真衣服的重建。此方法能够较好的保持衣服几何形态，且方便衣服数据的采集。深度神经网络对模型网格的面片进行分类，将分割结果精细到每一个面。593维网格特征向量计主要分析模型面片的几何特征以及其与周边面片的几何关系，以此量化每一个面片的特征。高维特征值具有更高的精确度与鲁棒性，通过深度学习，网格分类所得到的结果精度较高，噪音分布集中，更便于后期处理。图割算法是良好的离散优化方法，能够去除网络分类结果中的噪点，增加分割出的衣服模型的连通度。同时图割算法对模型分割的边缘选择具有较好的优化效果，切割出的衣服模型完整性更高。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于深度神经网络的三维衣服模型的重建方法，其特征在于，包括如下步骤：

(1)利用相机全方位采集并重建多件穿衣人体网格模型；

(2)手动分割人体身上的衣服，并构建衣服网格模型数据集；

(3)提取穿衣人体网格模型中每个面的特征向量；

(4)利用衣服网格模型数据集训练深度神经网络模型；

(5)分割衣服网格模型数据集中的人体网格模型，并应用图割方法进行优化。

2.根据权利要求1所述的基于深度神经网络的三维衣服模型的重建方法，其特征在于，所述相机为环形相机系统。

3.根据权利要求2所述的基于深度神经网络的三维衣服模型的重建方法，其特征在于，所述深度神经网络模型是基于衣服网格模型数据集训练的一个将人体皮肤面皮和体表衣服面皮分类标记的模型。

4.根据权利要求3所述的基于深度神经网络的三维衣服模型的重建方法，其特征在于，所述深度神经网络模型的输入是593×N维特征向量，其中N指人体网格模型的面数，深度神经网络将手动分割的衣服网格作为真实分割，进行训练及预测；深度神经网络模型的输出是N维向量，其中N_i表示第i个面片的分类结果，N_i∈{0＝皮肤,1＝衣服,2＝裤子}，将400组人体网格的特征向量输入深度神经网络中，训练得到衣服分割网络，将剩余人体网格的特征向量输入训练好的深度神经网络模型中，得到各面片的分类，作为测试结果。

5.根据权利要求4所述的基于深度神经网络的三维衣服模型的重建方法，其特征在于，所述步骤(5)中的图割方法如下：记人体网格中面片的分类标记为x＝{x₁,x₂,…,x_N}∈Λ^N，其中Λ＝{0,1,2}，0、1、2分别表示面片被标记为皮肤、上衣、裤子，图割算法用于离散优化如下能量函数：E(x)＝∑_i∈VD(x_i)+∑_(i,j)∈V×VS(x_i,x_j)，其中，函数D(x_i)表示一元能量函数(data term)，S(x_i,x_j)表示二元能量函数，基于最大流算法的图割优化能够在多项式时间内得到最小分割，利用α-展开算法，将本步骤中的优化过程转换为二值图割。

6.根据权利要求5所述的基于深度神经网络的三维衣服模型的重建方法，其特征在于，所述特征向量包括法向量、曲率。

7.根据权利要求2所述的基于深度神经网络的三维衣服模型的重建方法，其特征在于，所述相机全方位采集并重建多件穿衣人体网格模型的方法为：利用80个4K分辨率组成的高清环形相机阵列拍摄穿着衣服的静态人物，利用多视角立体重建算法得到点云模型，对该点云进行三角面片处理，获得地面及网格有一定噪声的人体网格模型。

Images