CN112767531A - 面向移动端的虚拟试衣的人体模型脸部分区域建模方法 - Google Patents

Abstract

本发明公开了一种面向移动端虚拟试衣的人体模型脸部分区域建模方法。将人体模型的脸部点云降维渲染为二维图像，检测定位二维人脸界标。根据参考点对，将二维图像界标迁移到三维点云界标，并恢复z值，扩充人体模型的人脸区域界标。基于稀疏三维界标位置和整体性形状约束，对人脸人体模型进行非匹配弱刚性局部配准。使用连接层迭代界标位置，根据整体性形状惩罚人脸模型。切割人体模型的头部区域去除配准干涉，将边界点对作为贝塞尔曲线端点，在配准形成的缺失区域填充插值点并网格化。根据格栅化边界和法向量生成填充环，完成合并拼接。本发明适用于面向移动端虚拟试衣的三维人体重建，提供了身材参考和脸部认同感，有助于虚拟试衣的进一步推广。

Description

面向移动端的虚拟试衣的人体模型脸部分区域建模方法

技术领域

本发明属于计算机视觉技术领域，具体地涉及一种面向移动端虚拟试衣的人体模型脸部分区域建模方法。

背景技术

随着移动互联网的发展和电商的繁荣，在线的虚拟试衣为消费者和商家降低了时间和经济成本，消费者通过移动端提交人体和人脸特征信息，搭配挑选的服装，实现快捷方便的个性化虚拟试衣。其中，二维图像人体特征的获取和三维人体模型的重建模型是虚拟试衣的前提，精确的人体形状估计又是三维人体重建的基础，丰富的脸部细节表达则能增强重建人体模型的真实性。

目前研究存在的缺点是，基于统计人体模型的三维人体重建无法捕捉二维图像中的面部特征，重建的模型面部形状和表情为中性，且缺少面部纹理，其模型仅能为虚拟试衣提供身材参考；基于统计人脸模型的三维人脸重建，重建的范围最大仅能延伸到耳部和颈部，缺少真实的人体支撑，仅能增加消费者对虚拟试衣模型的认同感；将面部特征集成到统计人体模型面临数据集缺失的问题，相对于仅具有清晰的人体结构或者面部特征，同时具备两者的二维图像数据集相对缺失；目前的三维人脸界标定位算法由于缺少足够的三维人脸训练集，算法的鲁棒性和计算速度有待提升；非刚性配准在人脸方面的应用依赖于刚度集等初始值的选择，无法鲁棒的应对存在缺失结构和结构不匹配的情形。

发明内容

针对现有技术中存在的问题，本发明提出了一种面向移动端的虚拟试衣的人体模型脸部分区域建模方法，对三维人体和人脸模型进行局部非匹配弱刚性配准，移除两者的干涉区域，缝合插值生成填充环，生成具有细致面部特征和精准人体形状的三维人体模型，其能够精准的表达人体形状和人脸特征，为虚拟试衣提供身材参考和人脸认同。

为实现上述目的，本发明采用的技术方案是：一种面向移动端虚拟试衣的人体模型脸部分区域建模方法，具体包括如下步骤：

(1)消费者在移动端分别提交真实人体图像和真实人脸图像，将所述人体图像经三维人体重建模块处理后生成三维人体模型，将所述人脸图像经人脸重建模块处理生成三维人脸模型；

(2)将步骤(1)获得的三维人体模型的脸部区域进行渲染降维检测，得到二维渲染人体图像，构建三维人体模型中人脸区域与二维渲染人体图像的参考点对，根据所述参考点对求解两者坐标变换，实现在三维人体模型的脸部区域扩充三维点云界标；对齐扩充的三维点云界标，约束惩罚整体性形状，对三维人体模型与三维人脸模型进行局部非匹配弱刚性配准；

(3)将三维人体模型的头部区域切割，移除脸部区域，获取切割后三维人体模型与三维人脸模型的匹配边界点对。在三维人体模型头部区域切割形成的空白区域进行贝塞尔曲线插值，并三角网格化插值点生成拓扑结构，基于格栅化边界和面片法向量，删除生成拓扑结构的鼓面结构以构建填充环，组合填充环、切割的三维人体模型和三维人脸模型生成具有真实人脸的三维人体模型。

进一步地，步骤(2)具体包含以下子步骤：

(2.1)在人体模型正交投影过程中，保持相机的z轴与三维人体模型的z轴平行，同时，满足所述三维人体模型的前景颜色与背景颜色的灰度差超过0.6，渲染生成二维人体图像；分割裁切二维人体图像的脸部区域，利用人脸目标检测，提取所述二维人体图像的脸部区域界标；

(2.2)三维人体模型的点云三维直角坐标系被降维为二维直角坐标系

其中，O₁为原点，

为二维直角坐标系的x轴基向量，

为二维直角坐标系的y轴基向量，将降维的二维直角坐标系

与二维人体图像的直角坐标系I₂进行转换，具体为：选取降维的二维直角坐标系

与二维人体图像的直角坐标系I₂对应的左耳点对

右耳点对

和头点对

作为参考点，以鼻点

作为生成对应参考点的基准点，

为二维人体图像的二维界标，

为筛选出三维人体模型脸部区域Ω_H-head中z值的最大点；遍历比较二维人体图像的的像素浮点灰度值 N＝0.3R+0.59G+0.11B，其中，R为红色通道值，G为绿色通道值，B为蓝色通道值，

为与

同x值的左侧像素突变点，

为与

同x值的右侧像素突变点，

为与

同y值的上边像素突变点；再以

为基准点，根据三维人脸模型上的坐标值筛选误差位于δ范围内的点，取筛选点云中的极值即为三维人体模型点云的参考点

(2.3)在完成二维人体图像的直角坐标系I₂到降维二维直角坐标系

转换后，在头部区域Ω_H-head中寻找距离二维界标

的多义最近点，选择深度位于前半头范围的最近点作为脸部区域扩充的三维点云界标；

(2.4)求解从三维人脸模型的直角坐标系I₃到三维人体模型的直角坐标系I₁的变换α₂＝f(A,b,C)＝C(Αα₃+b)，其中，α₃为三维人脸模型中的界标，α₂为三维人体模型的界标， A为第一配准系数，b为第二配准系数，C为对角矩阵；该变换实现对人脸模型的旋转、平移和整体性形状缩放，变换顺序具体如下：对齐三维人体模型的脸部区域和人脸模型的三维点云界标，迭代优化第一配准系数A和第二配准系数b，当三维点云界标间的距离误差梯度小于设定阈值或者达到最大迭代步数时，停止优化迭代；之后根据约束人脸的宽度缩放系数和约束人脸的高度缩放系数惩罚头部区域，完成三维人体模型与三维人脸模型的局部非匹配弱刚性配准。

进一步地，步骤(3)具体包含以下子步骤：

(3.1)在完成三维人体模型与三维人脸模型的局部非匹配弱刚性配准后，根据三维人体模型点云的z值移除脸部区域的点云，并对切割后三维人体模型的三角网格结构进行更新；切割的人体模型与配准后人脸模型间仍存在区域空缺Ω_F-bound，以切割后的三维人体模型和三维人脸模型的边界点对作为插值曲线的首末端，利用点云插值填充空缺区域；对于切割后的三维人体模型，三维人体模型的边界点集Ω_H-bound为删除三角面片包含的顶点集Ω_H-fcp与删除的顶点集Ω_H-face的差集；对于变换后的人脸模型，根据每个顶点所构成三角面片的数量判定三维人脸模型的边界点集Ω_F-bound；将三维人脸模型的边界点集Ω_F-bound与三维人体模型的边界点集Ω_H-bound进行边界点配对，对于三维人脸模型的边界点集中的每个点Pf_i，取对应配对点集

即为稠密边界点集中的每个点寻找稀疏边界点集中与该点距离最小的前n个对应点；

(3.2)以边界点对{(Pf_i,Ph_k)}作为插值曲线的首末端点，基于三维贝塞尔曲线，通过添加控制点方式在空白区域生成插值点；选取头部区域Ω_H-head中所有顶点的质心作为相对坐标系的原点，通过变半径插值方式生成控制点，计算Pf_i和Ph_k与坐标轴<e_x,e_y,e_z〉构成的角度差，计算Pf_i和Ph_k与

构成的半径差，并在两者角度差二分之一处插入控制点P_c，并调整α控制贝塞尔曲线的形状；贝塞尔曲线在u∈[0,1]等间隔取值，得到配准后空白区域的插值顶点集{P(u)}，其中，u为插值参数；

(3.3)对插值顶点集{P(u)}和边界点对{(Pf_i,Ph_k)}进行三角网格化处理，取三维德劳内剖分最外层的边界构成三维凸包面集{F_ch}；鼓面仍可能干涉人脸模型原有的拓扑结构，将三维人脸模型的边界点集Ω_F-bound格栅化以拟合逼近生成人脸不规则外形，将Ω_F-bound的y值范围细分为等间隔Δy的区间{[y₀,y₁],[y₁,y₂],...,[y_n-1,y_n]}，将人脸模型的边界点集Ω_F-bound中的边界点Pf_i按格栅区间进行分类；取每个格栅区间中的{Pf_i}的平均值

计算每个格栅区间的左右边界点

和

对于顶点位于不规则外形

内的

计算其法向量

根据法向量

与y,z轴夹角的大小判断

的鼓面或者填充环属性，移除三维凸包面集{F_ch}中的鼓面特征，将填充环与切割头部的人体模型以及变换后的人脸模型进行合并，生成完整无干涉无缝隙的具有真实人脸的人体模型；

(3.4)根据阈值条件对三维人脸模型的纹理进行肤色分类，对人脸颜色求平均值，并将其迁移至三维人体模型和填充环中。

与现有技术相比，本发明的有益效果是：本发明将三维人体模型和三维人脸模型进行装配缝合，通过降维检测，升维扩充的方式添加三维人体模型的人脸区域的界标。对人脸扩充的三维界标对齐和整体性形状进行约束实现人体和人脸的非匹配弱刚性局部配准。为移除干涉，切割三维人体模型的脸部区域，并对形成的空白区域进行贝塞尔曲线插值，生成填充环，缝合生成具有脸部细节的人体模型。本发明为移动端虚拟试衣提供了人体模型脸部分区域建模方法，为虚拟试衣提供基本的身材参考，同时增强了模型的真实感，进一步促进虚拟试衣的推广。

附图说明

图1是本发明面向移动端虚拟试衣的人体模型脸部分区域建模方法流程图；

图2是人体头部区域三维界标补充与弱刚性局部配准图；

图3是头部切割和填充环构建图。

具体实施方式

为了更清楚地说明本发明，下面结合附图对本发明作进一步说明。本领域技术人员应该了解，下面所具体描述的内容是说明性而非限制性的，不应该限制本发明的保护范围。

如图1为本发明面向移动端虚拟试衣的人体模型脸部分区域建模方法流程图，消费者在移动端提交清晰的人体和人脸图像，经过三维人体人脸重建模块产生三维人体和人脸模型组件，在三维人体模型的人脸区域补充三维点云界标后，对两者进行弱刚性局部配准，为去除配准后产生的干涉，切割三维人体模型的头部区域并构建填充环，最终合并各个组件生成应用于虚拟试衣具有详细面部细节的三维人体模型。

本发明的具体过程包括如下步骤：

(1)消费者在移动端分别提交真实人体图像和真实人脸图像，将所述人体图像经三维人体重建模块处理后生成三维人体模型，将所述人脸图像经人脸重建模块处理生成三维人脸模型；

(2)将步骤(1)获得的三维人体模型的脸部区域进行渲染降维检测，得到二维渲染人体图像，构建三维人体模型中人脸区域与二维渲染人体图像的参考点对，根据所述参考点对求解两者坐标变换，实现在三维人体模型的脸部区域扩充三维点云界标；对齐扩充的三维点云界标，约束惩罚整体性形状，对三维人体模型与三维人脸模型进行局部非匹配弱刚性配准；具体包括如下子步骤：

(2.1)人体模型人脸区域三维界标扩充。

在人体模型的人脸区域扩充三维点云坐标和弱刚性局部配准过程如图2所示。在人体模型正交投影过程中，保持相机z轴与人体模型z轴平行以及人体模型前景与背景的灰度差超过0.6，渲染生成二维人体图像。利用人脸目标检测，提取渲染图像的人脸区域界标，并裁切生成人体模型图像的脸部区域，对裁切的人脸图像进行二维标注。

(2.2)在以上渲染过程中，人体模型的点云三维直角坐标系被降维为二维直角坐标系

同时存在降维直角坐标系I'₁与二维人体图像的直角坐标系I₂的转换，其转换如下：

α'₁＝sα₂+w

式中，[x'₁,y'₁]^T为二维直角坐标系I'₁中点α'₁的界标，[x₂,y₂]^T为二维人体图像直角坐标系I₂中α₂的界标，s为二维直角坐标系I'₁与二维人体图像的直角坐标系转换的过渡矩阵，w 为原点O₂相对于O'₁在二维直角坐标系I'₁下的偏移矩阵。由于相机的y轴与人体模型的y轴保持平行，I'₁与I₂的坐标系变换只有原点的平移和坐标轴的缩放，即过渡矩阵s中a₂,a₃＝0。给定两个对应参考点在I'₁与I₂坐标系中的坐标值，可求解过渡矩阵s与原点偏移矩阵w。

选取二维直角坐标系

与二维人体图像的直角坐标系I₂对应的左耳点对

右耳点对

和头点对

作为参考点。其中，鼻点

作为生成对应参考点的基准点，

为二维人体图像的二维界标，

为三维人体模型筛选出头部区域Ω_H-head:{(x_i,y_i,z_i)|y_i>0.5(y_kp-12+y_kp-15)}中z值的最大点。遍历比较二维人体图像的像素浮点灰度值N＝0.3R+0.59G+0.11B，界标点

满足以下条件：

式中，N(x_bg,y_bg)为二维人体图像背景灰度值，α为接近1的阈值系数，

为与

同x值的左侧像素突变点，

为与

同x值的右侧像素突变点，

为与

同y值的上边像素突变点。

在Ω_H-head点云中，以

为基准点，根据坐标值筛选误差位于δ范围内的点，取筛选点云中的极值即为人体模型三维点云的参考点

满足以下条件：

(2.3)在完成二维人体图像的直角坐标系I₂到二维直角坐标系

转换后，需要恢复三维人体模型脸部区域三维界标的z值。对于二维界标，在区域Ω_H-head中寻找距离

最近点，同时满足如下条件：

s.t.z₂-z_min>δ(z_max-z_min)

从而得到脸部区域扩充三维点云界标。

经过坐标转换和恢复z值后，由于三维人体模型的脸部区域表情为中性，形状位移小，三维人体模型的人脸区域三维界标扩充算法的鲁棒性高。但其网格密度小，在恢复z值时，候选点集小，会导致算法精度部分损失，尤其在需要密集界标的唇部，界标精度相对较低，可在配准时降低其权重。

(2.4)人体和人脸模型的弱刚性局部配准。

根据人体和人脸的三维界标，求解从三维人脸模型的直角坐标系I₃到二维人体图像的直角坐标系I₂的变换：α₂＝f(A,b,C)＝C(Αα₃+b)，其中，α₃为三维人脸模型中的界标，A为第一配准系数，b为第二配准系数，C为对角矩阵；该变换实现对人脸模型的旋转、平移和整体性形状缩放，变换顺序具体如下：基于深度学习连接层概念，首先对扩充的人脸三维点云界标对齐施加约束，迭代优化第一配准系数A和第二配准系数b，之后惩罚整体性脸部形状，完成配准。迭代优化第一配准系数A和第二配准系数b，可转化为对全连接层的权重矩阵W和偏置向量m的更新，通过正向传播和误差逆向传播迭代优化全连接层系数，迭代优化目标如和梯度下降更新方法如下：

式中，η为学习率，设定误差梯度

小于某阈值或者达到最大迭代步数时，停止优化迭代，n为三维界标的数量,λ_i为界标的权重系数。

之后根据约束人脸的宽度缩放系数和约束人脸的高度缩放系数惩罚头部区域，完成三维人体模型与三维人脸模型的局部非匹配弱刚性配准。

整体性人脸形状惩罚如下：

式中，C为对角矩阵，c_w,c_h分别约束人脸的宽度和高度的缩放系数，f_w(α)_i，f_h(α)_i为对应三维界标描述的整体性脸宽和脸长特征。在完成人脸扩充的三维界标对齐配准后，对人脸的整体性特征进行惩罚约束能够保证在戴面具过程中面具不会出现过大，过小的情况。

(3)随后将三维人体模型的脸部区域进行切割，移除脸部区域，获取切割后三维人体模型与三维人脸模型的匹配边界点对，在三维人体模型脸部区域切割形成的空白区域进行贝塞尔曲线插值，并三角网格化插值点生成拓扑结构，基于格栅化边界和面片法向量，删除生成拓扑结构的鼓面结构以构建填充环，组合填充环、切割的三维人体模型和三维人脸模型生成具有真实人脸的三维人体模型；如图3，具体包括如下子步骤：

(3.1)人体模型头部切割及边界点对构建。

由于配准并不改变人脸内部的拓扑结构，并不能保证的人体与人脸模型的边界无缝贴合，可能存在边界翘曲现象。在完成人体和人脸的弱刚性局部配准后，仍存在结构干涉和边界缝隙问题，需要对三维人体模型的头部进行切割，根据三维人体模型点云的z值移除人脸区域的点云，如下：

Ω_H-face:{(x_i,y_i,z_i)∈Ω_H-head|y_i-y_kp∈[α₂Δy_kp，α₁Δy_kp],z_i-z_min>βΔz)}

式中，Δy_kp、Δz分别为所有三维界标的y值范围和所有Ω_H-head区域内点云的z值范围，α₁,α₂,β分别为第一比例系数、第二比例系数和第三比例系数。

移除三维人体模型人脸区域Ω_H-face后，并对切割后三维人体模型的三角网格结构进行更新：切割三维人体模型的脸部区域后形成脸部区域空缺，以切割后的三维人体模型和三维人脸模型的边界点对作为插值曲线的首末端，对空缺的区域进行点云插值；对于切割后的三维人体模型，其边界点集Ω_H-bound为删除三角面片包含的顶点集Ω_H-fcp与删除顶点集Ω_H-face的差集，如下：

Ω_H-bound＝Ω_H-fcp-Ω_H-face1-Ω_H-face2

对于变换后的人脸模型，根据每个顶点所构成三角面片的数量Nf_i判定边界点集Ω_F-bound：

Ω_F-bound:{(x_i,y_i,z_i)∈Ω_F|Nf_imod4≠0}

将三维人脸模型的边界点集Ω_F-bound与三维人体模型的边界点集Ω_H-bound进行边界点配对，对于三维人脸模型的边界点集Ω_F-bound中的每个点Pf_i，取对应配对点集

满足：

dist(Pf_i,Ph₁)＝dist(Pf_i,Ω_H-bound)

dist(Pf_i,Ph₂)＝dist(Pf_i,Ω_H-bound|{Ph₁})

...

式中，n与dist(Pf_i,Ph₁)呈正比例关系，dist()函数为点到点集的最小二范式距离，即对于稠密边界点集中的每个点寻找稀疏边界点集中与该点距离最小的前n个对应点。

(3.2)变半径贝塞尔曲线缝合插值。

以边界点对{(Pf_i,Ph_k)}作为插值曲线的首末端点，基于三维贝塞尔曲线，通过添加控制点方式在空白区域生成插值点。选取区域Ω_H-head所有顶点的质心作为相对坐标系的原点，如下：

式中，N(Ω_H-head)为区域Ω_H-head的包含顶点的数量。通过变半径插值方式生成控制点：

式中，计算Pf_i和Ph_k与坐标轴<e_x,e_y,e_z>构成的角度差，计算Pf_i和Ph_k与

构成的半径差，并在两者角度差二分之一处插入控制点P_c，并调整α控制贝塞尔曲线的形状：

最终计算控制点的顶点坐标如下：

贝塞尔曲线在u∈[0,1]等间隔取值，u为插值参数，得到配准后空白区域的插值顶点集 {P(u)}：

式中，P(u)为虚线上的点，f_i(u)为Bernstein基函数，P_i为首末端点和控制点，对u∈[0,1] 等间隔取值，取值数量与dist(Pf_i,Ph₁)成正比例关系，得到配准后空白区域的插值顶点集 {P(u)}。

(3.3)鼓面结构移除与填充环构建。

基于贝塞尔曲线生成插值点后，需要对插值顶点集{P(u)}和边界点对{(Pf_i,Ph_k)}进行三角网格化处理，取三维德劳内剖分最外层的边界构成三维凸包面集{F_ch}。由于鼓面仍可能干涉人脸模型的拓扑结构，将三维人脸模型的边界点集Ω_F-bound格栅化以拟合逼近生成人脸不规则外形，将其y值范围格栅为等间隔Δy区间{[y₀,y₁],[y₁,y₂],...,[y_n-1,y_n]}，将Ω_F-bound中的边界点Pf_i按格栅区间进行分类。取每个格栅区间中{Pf_i}的平均值

计算每个格栅区间的左右边界点

和

如下：

式中，Avg()为均值函数，(xf_i,yf_i,zf_i)为边界点Pf_i的坐标。对于顶点位于不规则外形

内的

计算其法向量

如下：

式中，p₁、p₂和p₃为构成三角形的顶点，γ_y、γ_z为法向量与y,、z轴构成的夹角阈值，根据法向量

与y,z轴夹角的大小判断

的鼓面或者填充环属性。移除三维凸包面集{F_ch}的鼓面特征，将填充环与切割头部的人体模型以及变换后的人脸模型进行合并，生成完整无干涉无缝隙的具有真实人脸的人体模型。

(3.4)人体模型，人脸模型和填充环肤色迁移统一。

为了保证视觉上人体模型，人脸模型和填充环的统一，需保证纹理上的协调，因此，将人脸模型的整体性肤色迁移到其他两者以保持整体纹理的统一性。其RGB与CMY颜色空间的转换如下：

K＝min(255-R，255-G,255-B)

C＝(255-R-K)/(255-K)

M＝(255-G-K)/(255-K)

Y＝(255-B-K)/(255-K)

根据阈值条件对人脸模型的纹理进行肤色分类，对

求均值并将其迁移至人体模型和填充环，如下：

实施例

消费者在移动端提交清晰的人体和人脸图像，经过三维人体人脸重建模块产生三维人体和人脸模型，在三维人体模型的人脸区域补充三维点云界标后，对两者进行弱刚性局部配准，为去除配准后产生的干涉，切割三维人体模型的头部区域并构建填充环，最终合并各个组件生成应用于虚拟试衣具有详细面部细节的三维人体模型。

利用人脸目标检测对渲染人体模型图像界标人脸区域，剪裁出人脸区域。基于现有的人脸图像界标模型方法，标志渲染图像的68个界标，包括眼睛、眉毛、鼻子、嘴巴、牙齿和外轮廓。以图像的鼻点界标为基准点，基于像素的灰度值，分别构建渲染图像的参考点：头点、左耳点和右耳点。利用人体的关节点界标，筛选出脖子以上的点云，以鼻点为基准点，在误差范围内分别构建参考点：头点、左耳点和右耳点。经过坐标转换和恢复z值后，由于人体模型的脸部区域表情为中性，形状位移小，人体模型的人脸区域三维界标扩充算法的鲁棒性高。但其网格密度小，在恢复z值时，候选点集小，会导致算法精度部分损失，尤其在需要密集界标的唇部，界标精度相对较低，可在配准时降低其权重。

在弱刚性局部配准中，设定优化器为Adadelta，其学习率为0.1，梯度下降的早停阈值为，迭代最大步数为3K，在测试集上，稀疏界标位置约束迭代耗时和早停步数统计信息如表1所示：

表1：配准耗时和早停步数

耗时	早停步数
		126.2±33.8s	1118.5±313.1s

早停步数的平均值在1100左右，在1000步后，迭代梯度明显下降，同时三维界标的位置精度已经达到10^-3，仅为初始迭代误差的1％，同时训练时间成本不高，平均迭代训练时间仅为126.2s，由此证明稀疏界标位置迭代优化的收敛性和适用性。

由于配准并不改变人脸内部的拓扑结构，并不能保证的人体与人脸模型的边界无缝贴合，可能存在边界翘曲现象。从头部深度一半处切割人体模型的头部，并去除脸部区域。将切割后的人体模型与人脸进行配准组合，寻找人脸和切合人体模型的边界点，并对边界点配对，其对应关系为一对多或者一对一，一对多的目的在于，防止由于稀疏边界点集中奇点的存在，造成大量稠密边界点只与该奇点配对，影响缝合三角面片分布的均衡性。然后对两者构成的空缺部分基于贝塞尔曲线进行点云插值，对插值点网格化。基于格栅化边界和面片法向量生成填充环，最终合并生成具有脸部细节的人体模型，模型对人体的形状和人脸的形状、纹理、表情都做了详细完整的表达，在虚拟试衣过程中，为测试者提供了身材参照和自我认同感。

本发明人体模型脸部区域的构建方法通过降维渲染、建立参考对和恢复z值的方式补充人体模型的脸部区域的三维界标，利用全连接层对稀疏的三维界标位置进行迭代优化，进一步惩罚约束整体性形状以完成配准转换。将基于贝塞尔曲线的人体模型头部切割和拼接缝合，切割人体模型的头部区域消除对配准后人脸模型的干涉，利用三维贝塞尔曲线插值填充切割导致的空白区域，根据近似边界和法向量移除鼓面结构以创建填充环。与非刚性迭代最近点配准相比，本发明的弱刚性局部配准可以实现全局配准，而不会引起内部结构的变化。

与传统的人体模型构建方法相比，本发明的人体模型脸部区域构建方法具有详细的面部表情和准确的人体形状估计，更适合于移动端虚拟试衣。

Claims (3)

1.一种面向移动端虚拟试衣的人体模型脸部分区域建模方法，其特征在于：具体包括如下步骤：

(1)消费者在移动端分别提交真实人体图像和真实人脸图像，将所述人体图像经三维人体重建模块处理后生成三维人体模型，将所述人脸图像经人脸重建模块处理生成三维人脸模型；

(2)将步骤(1)获得的三维人体模型的脸部区域进行渲染降维检测，得到二维渲染人体图像，构建三维人体模型中人脸区域与二维渲染人体图像的参考点对，根据所述参考点对求解两者坐标变换，实现在三维人体模型的脸部区域扩充三维点云界标；对齐扩充的三维点云界标，约束惩罚整体性形状，对三维人体模型与三维人脸模型进行局部非匹配弱刚性配准；

(3)将三维人体模型的头部区域进行切割，移除脸部区域，获取切割后三维人体模型与三维人脸模型的匹配边界点对，在三维人体模型头部区域切割形成的空白区域进行贝塞尔曲线插值，并三角网格化插值点生成拓扑结构，基于格栅化边界和面片法向量，删除生成拓扑结构的鼓面结构以构建填充环，组合填充环、切割的三维人体模型和三维人脸模型生成具有真实人脸的三维人体模型。

2.根据权利要求1所述面向移动端虚拟试衣的人体脸部分区域建模方法，其特征在于：步骤(2)包括如下子步骤：

(2.1)在人体模型正交投影过程中，保持相机的z轴与三维人体模型的z轴平行，同时，满足所述三维人体模型的前景颜色与背景颜色的灰度差超过0.6，渲染生成二维人体图像；分割裁切二维人体图像的脸部区域，利用人脸目标检测，提取所述二维人体图像的脸部区域界标；

(2.2)三维人体模型的点云三维直角坐标系被降维为二维直角坐标系

其中，O₁为原点，

为二维直角坐标系的x轴基向量，

为二维直角坐标系的y轴基向量，将降维的二维直角坐标系

与二维人体图像的直角坐标系I₂进行转换，具体为：选取降维的二维直角坐标系

与二维人体图像的直角坐标系I₂对应的左耳点对

右耳点对

和头点对

作为参考点，以鼻点

作为生成对应参考点的基准点，

为二维人体图像的二维界标，

为筛选出三维人体模型脸部区域Ω_H-head中z值的最大点；遍历比较二维人体图像的的像素浮点灰度值N＝0.3R+0.59G+0.11B，其中，R为红色通道值，G为绿色通道值，B为蓝色通道值，

为与

同x值的左侧像素突变点，

为与

同x值的右侧像素突变点，

为与

同y值的上边像素突变点；再以

为基准点，根据三维人脸模型上的坐标值筛选误差位于δ范围内的点，取筛选点云中的极值即为三维人体模型点云的参考点

(2.3)在完成二维人体图像的直角坐标系I₂到降维二维直角坐标系

转换后，在头部区域Ω_H-head中寻找距离二维界标

的多义最近点，选择深度位于前半头范围的最近点作为脸部区域扩充的三维点云界标；

(2.4)求解从三维人脸模型的直角坐标系I₃到三维人体模型的直角坐标系I₁的变换α₂＝f(A,b,C)＝C(Αα₃+b)，其中，α₃为三维人脸模型中的界标，α₂为三维人体模型的界标，A为第一配准系数，b为第二配准系数，C为对角矩阵；该变换实现对人脸模型的旋转、平移和整体性形状缩放，变换顺序具体如下：对齐三维人体模型的脸部区域和人脸模型的三维点云界标，迭代优化第一配准系数A和第二配准系数b，当三维点云界标间的距离误差梯度小于设定阈值或者达到最大迭代步数时，停止优化迭代；之后根据约束人脸的宽度缩放系数和约束人脸的高度缩放系数惩罚头部区域，完成三维人体模型与三维人脸模型的局部非匹配弱刚性配准。

3.根据权利要求1所述面向移动端的虚拟试衣人体模型脸部分区域建模方法，其特征在于：步骤(3)包括如下子步骤：

(3.1)在完成三维人体模型与三维人脸模型的局部非匹配弱刚性配准后，根据三维人体模型点云的z值移除脸部区域的点云，并对切割后三维人体模型的三角网格结构进行更新；切割的人体模型与配准后人脸模型间仍存在区域空缺Ω_F-bound，以切割后的三维人体模型和三维人脸模型的边界点对作为插值曲线的首末端，利用点云插值填充空缺区域；对于切割后的三维人体模型，三维人体模型的边界点集Ω_H-bound为删除三角面片包含的顶点集Ω_H-fcp与删除的顶点集Ω_H-face的差集；对于变换后的人脸模型，根据每个顶点所构成三角面片的数量判定三维人脸模型的边界点集Ω_F-bound；将三维人脸模型的边界点集Ω_F-bound与三维人体模型的边界点集Ω_H-bound进行边界点配对，对于三维人脸模型的边界点集中的每个点Pf_i，取对应配对点集

即为稠密边界点集中的每个点寻找稀疏边界点集中与该点距离最小的前n个对应点；

(3.2)以边界点对{(Pf_i,Ph_k)}作为插值曲线的首末端点，基于三维贝塞尔曲线，通过添加控制点方式在空白区域生成插值点；选取头部区域Ω_H-head中所有顶点的质心作为相对坐标系的原点，通过变半径插值方式生成控制点，计算Pf_i和Ph_k与坐标轴<e_x,e_y,e_z>构成的角度差，计算Pf_i和Ph_k与

构成的半径差，并在两者角度差二分之一处插入控制点P_c，并调整α控制贝塞尔曲线的形状；贝塞尔曲线在u∈[0,1]等间隔取值，得到配准后空白区域的插值顶点集{P(u)}，其中，u为插值参数；

(3.3)对插值顶点集{P(u)}和边界点对{(Pf_i,Ph_k)}进行三角网格化处理，取三维德劳内剖分最外层的边界构成三维凸包面集{F_ch}；鼓面仍可能干涉人脸模型原有的拓扑结构，将三维人脸模型的边界点集Ω_F-bound格栅化以拟合逼近生成人脸不规则外形，将Ω_F-bound的y值范围细分为等间隔Δy的区间{[y₀,y₁],[y₁,y₂],...,[y_n-1,y_n]}，将人脸模型的边界点集Ω_F-bound中的边界点Pf_i按格栅区间进行分类；取每个格栅区间中的{Pf_i}的平均值

计算每个格栅区间的左右边界点

和

对于顶点位于不规则外形

内的

计算其法向量

根据法向量

与y,z轴夹角的大小判断

的鼓面或者填充环属性，移除三维凸包面集{F_ch}中的鼓面特征，将填充环与切割头部的人体模型以及变换后的人脸模型进行合并，生成完整无干涉无缝隙的具有真实人脸的人体模型；

(3.4)根据阈值条件对三维人脸模型的纹理进行肤色分类，对人脸颜色求平均值，并将其迁移至三维人体模型和填充环中。

Images