CN109427007B - 基于多视角的虚拟试衣方法 - Google Patents

Abstract

基于多视角的虚拟试衣方法，包括：采集人体及衣物的多视角图片；获得人体和衣物的三维模型，分割出单件衣物；获得人体三维骨骼点、衣物对应的特征点；给衣物的三维模型绑定骨骼并设定定点权重；修改衣物的三维模型的动作、形状，和人体的三维模型匹配；反投影至原始多视角的图片上，删除衣物被遮挡部分。发明基于多视角的拍摄系统获得人体及衣物的三维模型，能够将不同大小的衣物模型穿到不同身形的人体模型上，实现了实时的虚拟试衣。

Description

基于多视角的虚拟试衣方法

技术领域

本发明涉及虚拟现实技术领域，具体地说是一种基于多视角的虚拟试衣方法。

背景技术

近年来，随着电子商务的快速发展，在线购衣因其便捷性已得到广大用户的偏爱。可由于衣服款式差异和用户个人喜好的原因，在线购衣的退换货现象十分严重——既耽误买卖家的时间，也造成了运输资源的浪费。因而快速、真实的虚拟试衣技术呼之欲出，逐渐成为企业和研究机构的研发热点。

目前主流的虚拟试衣方法分为两大类：2D、3D虚拟试衣。其中，2D试衣通常是先检测人在图片中的位置，然后把衣服覆盖到原图上。这种方法快速直接，但是缺乏三维空间信息，只能使用人物正面图片，既不真实，也有很大的限制。而在3D试衣中，一般会有人体和衣服的几何模型，通常会根据物理规则，模拟人体-衣服间的相互作用，得到更为真实的试衣效果。不过此过程十分消耗计算资源，很难做到既快又真实。

CN 201711227162.9号中国专利申请公开了一种基于移动终端的实时三维虚拟试衣方法，其步骤为：服装三维模型的建立；人体三维模型的建立；三维人体模型着装过程和实时的三维立体展示。

上述步骤具体还包括了：移动终端获取多张服装图像，在相同背景下的多个角度端获取多张服装图像，并输入服装的材质信息；通过移动终端摄像设备对人体进行全方位扫描；对获取的服装图像进行三维重建形成三维服装模型库。

即通过移动终端摄像设备扫描人体，扫描结果是多张不同角度的人体照片，然后使用多目视觉技术，基于视差原理恢复出物体的三维几何信息，得到三维点云数据。对扫描得到的三维点云数据文件进行平面切割，获取分层轮廓线，并在相邻的轮廓线之间构建局部三角网格面，得到三维模型。

人体建模中包括：读取人体三维模型文件和待试穿衣服的三维模型文件；通过本地读取的方式，获得已经调整并确定的人体三维模型文件和待试穿衣服的三维模型文件，从移动终端本地存储以外的位置下载并读取待试穿衣服的三维模型文件；

通过特征点匹配算法完成三维人体着装过程；获取到人体三维模型的特征点和服装三维模型的特征点，通过特征点匹配算法得到人体三维模型和服装三维模型的匹配结果。

CN 201610844709.9号专利申请提供了一种虚拟试衣方法、虚拟试衣眼镜及虚拟试衣系统，，包括：对目标衣物的特征数据进行采集，并根据采集结果获取衣物图像；将获取的衣物图像与用户的体征图像进行融合，以得出用户穿戴目标衣物的试衣图像；显示上述试衣图像；用于虚拟试衣。

CN 201510640103.9号专利申请提供一种虚拟试衣装置及其虚拟试衣方法，通过拍摄用户而获取实拍图像，并基于用户的体型和运动而获取包含有对应于用户的化身的虚拟图像，且通过分析实拍图像和虚拟图像而判断分别对应于实拍图像和虚拟图像的合成区域，并将实拍图像的合成区域与虚拟图像的合成区域进行合成，从而输出虚拟试衣图像。

发明内容

本发明为解决现有的问题，旨在提供一种基于多视角的虚拟试衣方法。

为了达到上述目的，本发明采用的技术方案包括下述步骤：

步骤一，采集人体及衣物的多视角图片；

步骤二，获得人体和衣物的三维模型，并分割出单件衣物；

步骤三，从所述多视角的图片中获得人体三维骨骼点、衣物对应的特征点；

步骤四，给衣物的三维模型绑定骨骼并设定定点权重，实现自动蒙皮；

步骤五，修改衣物的三维模型的动作、形状，使之和人体的三维模型相匹配；

步骤六，将变形后的衣物的三维模型反投影至原始多视角的图片上，并删除衣物被遮挡部分。

其中，步骤一中采用多相机系统拍摄人物多视角图片，采集过程分为以下两种：需要试衣的用户穿着紧身衣拍摄，重建结果为人体模型。

标准身材的模特穿着需要重建的衣物拍摄，重建出人体模型后经过人工分割得到单件衣物模型。

其中步骤三中，利用深度神经网络获得人体图片上的二维骨骼点位置，运用三角测量和集束调整算法恢复出的人体三维骨骼点，公式为：

其中，I₁,I₂,…,I_n为不同视角的图像，x_ij表示网络在I_i上检测出的序号j的骨骼点，c_ij为网络对x_ij的置信度。

其中步骤四中，给衣物的三维模型绑定骨骼包括：

提取中心线，以若干特征点为顶点构造等值线，然后连接闭合等值线的中心而得到中心线；

提取关节点，即以臂展为基准确定关节点的大致位置，或通过中心线上搜索明显弯曲幅度的关节点，或根据人体特征构造目标函数，通过共轭梯度法找到目标函数最小值从而优化三维骨骼点的位置；

权重计算，将关节点连成人体骨架，以类比热平衡方法计算权重。

其中步骤五中，修改衣物的三维模型的动作、形状依次包括：

粗变形，即缩放衣物模型的相应骨骼使之与人体身材匹配，模型顶点根据线性混合蒙皮算法来进行相应的移动，动作修改，即将衣物模型沿着骨骼层级形变到对应人体模型，并移动衣物模型到相应位置，使之与人体模型对齐；

精细变形，即对于衣物模型上每一个顶点v_i，沿着其法向n_i生成一条射线l_i，l_i与人体模型相交的点为v_i'，交点所在三角形面片及对应三个顶点为f'_i(x_i,y_i,z_i)；若顶点v_i的类别与x_i、y_i、z_i中任一个类别相同，则将v_i沿n_i向外延伸||v′_i-v_i||，得到点

则将衣物拉伸至人体皮肤外侧；计算公式为：

其中，还包括后续的模型优化，则有：

利用拉普拉斯平滑算法对整个衣服模型进行平滑，平滑后的点v_i可表示为

其中N为顶点v_i的相邻点个数，v_j是第j相邻点的位置；

边界平滑，即从模型中找到边界点；将这些边界点排序得到N条边界线；最后，进行平均平滑和双边滤波平滑。

其中步骤五中，还进行防穿透的优化处理，检查衣服模型上的顶点v_i，将v_i沿法向的方向n_i生成射线与衣服模型求交，并依据交点位置来修正顶点位置。其中，在修正顶点位置中，将v_i周围的邻居点P{p₁,p₂,p₃…p_k}按照测地距离分别赋予高斯权重w_j，依照权重移动相应距离得到目标点

公式表示如下：

d_j＝||v_i-p_j||_g

根据权利要求1所述的一种基于多视角的虚拟试衣方法，其特征在于：反投影中，将相机与图像上每个像素点连线并与场景求交：若先交到人体，则该像素透明显示；若交到衣服，则显示衣服上对应的颜色。

本发明克服了现有技术中三维人体与衣物匹配速度慢、衣物变形不够真实等问题，而基于一个多视角的拍摄系统获得人体及衣物的三维模型，能够将不同大小的衣物模型穿到不同身形的人体模型上，实现了实时的虚拟试衣；采用了骨骼中心线的方法，在模型姿态不够标准的情况下能输出较为鲁棒的结果；将目标点的邻居节点按照测地距离分配高斯权重，并依照权重移动目标点，得到的结果相比现有方法更为平滑；可将衣服模型投影到原始多视角图片上，实现了高精度、真实性强的2D虚拟试衣。

附图说明

图1为人物模型中心线提取的示意图；

图2为多相机系统的结构示意图；

图3为衣物与人体模型分割的示意图；

图4为反投影深度检测前后对比图；

图5为虚拟试衣后的效果对比图。

具体实施方式

现结合附图对本发明作进一步地说明。

参见图1-5，图1-5所展示的是本发明的一个实施例，具体包括如下步骤。参见图2，步骤一，采集人体及衣物的多视角图片。

步骤二，获得人体和衣物的三维模型，并分割出单件衣物；即利用图2所示的多相机系统拍摄人物多视角图片，利用传统的基于多视角的三维重建算法得到人体模型。通常采集过程分为以下两种：

让需要试衣的用户穿着紧身衣拍摄，重建结果为人体模型；

参见图3，让标准身材的模特穿着需要重建的衣物拍摄，重建出人体模型后经过人工分割得到单件衣物模型。

步骤三，关键点获取。利用深度神经网络获得图像上的二维骨骼点位置，本实施例中共十六个骨骼点，运用三角测量和集束调整算法恢复出较为精确的人体三维骨骼点。公式可表达为：

其中，I₁,I₂,…,I_n为不同视角的图像，x_ij表示网络在I_i上检测出的序号j的骨骼点，c_ij为网络对x_ij的置信度。

上述目标是使所有十六个三维骨骼点X₁,X₂,…,X₁₆在经过每个视角的重投影变换P_Ii后，与网络的二维骨骼点x_ij尽可能接近。

步骤四，衣物骨骼自动绑定；给衣物的三维模型绑定骨骼并设定定点权重，实现自动蒙皮。

提取中心线；参见图1，通过将模型各点的测地距离作为Morse函数，分别找到头顶、左右手、左右脚五个特征点，然后以这五个特征点为起点，用线性插值的方法构造离散的Morse函数等值线，连接闭合等值线的中心得到反应模型拓扑结构的中心线以近似模型骨骼。

提取关节点；

a根据人体解剖学进行；虽然存在性别、身高、人种等差异，但是人体的躯干与四肢的长度比例十分接近。因此将人的臂展(即左手特征点到右手特征点的测地距离)作为参考基准L，根据每一段骨骼相对于L的比例，可确定出每一个关节点的大致位置；

b对于肘关节、膝关节、脚踝等相邻骨骼存在明显弯曲幅度的关节点，通过找到沿中心线上令P₁PP₂取极小值的点P来得到关节点的位置，其中P1,P2为中心线上目标关节点搜索区间的两个端点，P为位于P1、P2之间中心线上的点。利用点P到关节拟合直线的距离，根据以下公式确定关节点的位置。公式可表达为:

其中MaxDis(P₁P)表示中心线上位于P₁到P之间点到直线P₁P的最大距离，MaxDis(PP₂)表示中心线上位于P到P₂之间点到直线PP₂的最大距离。

c根据一些明显特征，例如到骨骼拟合直线的距离、到近似点的距离、左右两侧骨骼对称性，构造目标函数。通过共轭梯度法找到目标函数最小值，进一步优化三维骨骼点的位置。

上述a、b、c步骤的结合应用在模型平滑上简单高效，效率高。

权重计算，在得到三维骨骼关键点后，连接相应点构成人体骨架，本系统骨架共包含十五根骨头。为了能在之后动画生成时满足平滑的效果，本实施例采用类比热平衡的方法寻找权重，骨头i对于顶点j的权重wⁱ _j为热平衡时该位置的温度。通过求解(-Δ+H)Wⁱ＝HPⁱ可得到所有wⁱ _j。

其中Δ为拉普拉斯算子；

当骨头i是离顶点j距离最近的骨骼时，pⁱ _j＝1，否则pⁱ _j＝0；

当顶点j到离它最近骨头的垂线完全位于人体内部时，d(j)表示垂线长度，否则为0；H为

的对角矩阵。由于许多权重数值非常小，可以对权重进行优化，经优化后每个顶点最多只有四个权重。

语义分割。为了后续衣物的形变，需要对人体模型与衣物模型分别做预处理，得到每个顶点的类别编号，每个顶点的类别由其权重最大的骨骼决定。本实施例按照人体的语义类别将模型分为六类，分别是左臂、右臂、左腿、右腿、头和躯干。

步骤五，修改衣物的三维模型的动作、形状，使之和人体的三维模型相匹配。1)粗形变。根据目标人体模型的三维关键点可以粗略计算出人的身材，包括肩宽、身长，袖长和裤长。按照人的身材相应缩放衣物模型的相应骨骼使之与人体身材匹配，模型顶点根据线性混合蒙皮算法来进行相应的移动，公式如下：

v_i为原始顶点位置，

为移动后的顶点位置。T_j为骨骼j的变换矩阵，w_ij为顶点v_i对骨骼j的权重，其中

这一步骤操作即为目标用户选择适合尺码的衣物。

2)动作修改，已知目标人体模型的三维关键点，将衣物模型沿着骨骼层级形变到对应人体模型，顶点同样按照线性混合蒙皮算法来进行相应的移动，得到与人体模型姿态相同的衣物模型，并移动衣物模型到相应位置，使之与人体模型对齐。

3)精细变形，在得到姿态相同，尺寸相同的衣物模型的基础上，本实施例按照人体的肌肉形状对衣物模型做更加精细的形变。对于衣物模型上每一个顶点V_i，沿着其法向n_i生成一条射线l_i，l_i与人体模型相交的点为v_i'，交点所在三角形面片及对应三个顶点为f'_i(x_i,y_i,z_i)；

若顶点v_i的类别与x_i、y_i、z_i中任一个类别相同，，则将v_i沿n_i向外延伸||v′_i-v_i||，得到点

则将衣物拉伸至人体皮肤外侧；计算公式为：

因为每次移动顶点都是沿着它自己的法向，所以形变后衣服依然保留着原本的褶皱细节。

4)模型优化。经过上述精细形变后，已大致贴合人体模型。但由于单个顶点的移动导致模型变得粗糙，边界不够光滑，接下来需要优化模型使其保持形状不变并且边界光滑。方法如下：

利用拉普拉斯平滑算法对整个衣服模型进行平滑，平滑后的点v_i可表示为

其中N为顶点v_i的相邻点个数，v_j是第j相邻点的位置；反复迭代多次，可以得到光滑的衣服模型。

边界平滑，边界平滑分三步：即找到边界点，对边界点排序，进行平滑操作。首先，依据边界上的边只有一个邻接三角面片的性质，从模型中找到边界点，例如领口、袖口上的点。

然后，将这些边界点按照邻接关系排序可以得到N条边界线。

最后，进行平均平滑和双边滤波平滑。平均平滑--按次序平滑每个点的位置，任一点v_i的目标位置为相邻四个点及其本身的平均值：

双边滤波平滑--再次对边界线进行双边滤波，保持边界不变，平滑噪声。任一点v_i按照如下公式根据其邻接点v_j及其法向n_j修正位置。

d_ij＝||v_i-v_j||

s_ij＝1-n_i·n_j

细节优化。经过上述优化后，人体与衣物可能出现穿透的情况。此时我们再次检查衣服模型上的顶点v_i，将v_i沿着法向的方向n_i生成射线与衣服模型求交。若有交点为v_i’，则说明衣服在人体外侧，需要再次沿着法向修正衣服顶点位置。为了保证模型表面的平滑，本实施例将v_i周围的邻居点P{p₁,p₂,p₃…p_k}按照测地距离分别赋予高斯权重w_j，依照权重移动相应距离得到目标点

公式表示如下：

d_j＝||v_i-p_j|||g

其中，σ是高斯权重w_j中的方差。

最后，步骤六，将变形后的衣物的三维模型反投影至原始多视角的图片上，并删除衣物被遮挡部分。

经过上述步骤，已经得到了人体和衣服相匹配的三维模型，即实现了三维虚拟试衣。按照多相机系统的相机内外参数，可以将衣服模型投影到原始的多视角图像上实现二维虚拟试衣。

为了保证投影后衣服不覆盖原始图像中的人体，本实施例进行了一步深度检测。将相机与图像上每个像素点连线，与场景求交，若先交到人体，则该像素透明显示，若交到衣服，则显示衣服上对应的颜色。由此可以实现将匹配好的衣服覆盖到原图上，且保证正确的深度关系。参见图4，在反投影的基础上进行深度检测，解决了人体模型与衣服模型可能穿透的问题。

上面结合附图及实施例描述了本发明的实施方式，实施例给出的并不构成对本发明的限制，本领域内熟练的技术人员可依据需要做出调整，在所附权利要求的范围内做出各种变形或修改均在保护范围内。

Claims (7)

1.一种基于多视角的虚拟试衣方法，其特征在于包括如下步骤：

步骤一，采集人体及衣物的多视角图片；

步骤二，获得人体和衣物的三维模型，并分割出单件衣物；

步骤三，从所述多视角的图片中获得人体三维骨骼点、衣物对应的特征点；

步骤四，给衣物的三维模型绑定骨骼并设定定点权重，实现自动蒙皮；

步骤五，修改衣物的三维模型的动作、形状，使之和人体的三维模型相匹配；其中，修改衣物的三维模型的动作、形状依次包括：

粗变形，即缩放衣物模型的相应骨骼使之与人体身材匹配，模型顶点根据线性混合蒙皮算法来进行相应的移动，

动作修改，即将衣物模型沿着骨骼层级形变到对应人体模型，并移动衣物模型到相应位置，使之与人体模型对齐；

精细变形，即对于衣物模型上每一个顶点v_i，沿着其法向n_i生成一条射线l_i，l_i与人体模型相交的点为v_i'，交点所在三角形面片及对应三个顶点为f'_i(x_i,y_i,z_i)；

若顶点v_i的类别与x_i、y_i、z_i中任一个类别相同，则将v_i沿n_i向外延伸||v′_i-v_i||，得到点

则将衣物拉伸至人体皮肤外侧；计算公式为：

；

步骤六，将变形后的衣物的三维模型反投影至原始多视角的图片上，并删除衣物被遮挡部分。

2.根据权利要求1所述的一种基于多视角的虚拟试衣方法，其特征在于：步骤三中，利用深度神经网络获得人体图片上的二维骨骼点位置，运用三角测量和集束调整算法恢复出的人体三维骨骼点，公式为：

其中，I₁,I₂,…,I_n为不同视角的图像，x_ij表示网络在I_i上检测出的序号j的骨骼点，c_ij为网络对x_ij的置信度，X_i为三维骨骼点，P_li为I_i上的重投影变换。

3.根据权利要求1所述的一种基于多视角的虚拟试衣方法，其特征在于：步骤四中，给衣物的三维模型绑定骨骼包括：

提取中心线，以若干特征点为顶点构造等值线，然后连接闭合等值线的中心而得到中心线；

提取关节点，即以臂展为基准确定关节点的大致位置，或通过中心线上搜索明显弯曲幅度的关节点，或根据人体特征构造目标函数，通过共轭梯度法找到目标函数最小值从而优化三维骨骼点的位置；

权重计算，将关节点连成人体骨架，以类比热平衡方法计算权重。

4.根据权利要求1所述的一种基于多视角的虚拟试衣方法，其特征在于：还包括后续的模型优化，则有：

利用拉普拉斯平滑算法对整个衣服模型进行平滑，平滑后的点v_i可表示为

其中N为顶点v_i的相邻点个数，v_j是第j相邻点的位置；

边界平滑，即从模型中找到边界点；将这些边界点排序得到N条边界线；最后，进行平均平滑和双边滤波平滑。

5.根据权利要求1或4所述的一种基于多视角的虚拟试衣方法，其特征在于：步骤五中，还进行防穿透的优化处理，检查衣服模型上的顶点v_i，将v_i沿法向的方向n_i生成射线与衣服模型求交，并依据交点位置来修正顶点位置。

6.根据权利要求5所述的一种基于多视角的虚拟试衣方法，其特征在于：修正顶点位置中，将v_i周围的邻居点P{p₁,p₂,p₃…p_k}按照测地距离分别赋予高斯权重w_j，依照权重移动相应距离得到目标点

公式表示如下：

d_j＝||v_i-p_j|||_g

σ是高斯权重w_j中的方差。

7.根据权利要求1所述的一种基于多视角的虚拟试衣方法，其特征在于：反投影中，将相机与图像上每个像素点连线并与场景求交：若先交到人体，则该像素透明显示；若交到衣服，则显示衣服上对应的颜色。

Images