CN107194995A - 一种快速构建真实三维人物模型的方法 - Google Patents

Abstract

本发明所提供的一种快速构建真实三维人物模型的方法，包括步骤：A、通过手机或其他拍照设备获取正面人物头像图片，并上传到服务器，服务器会根据将原图中的人物头像图片进行特征提取，并根据提取的人物特征信息生成一张细节丰富的法线贴图；B、利用准备好的、具有丰富骨骼信息的人物模型，调整骨骼的物理属性，进而调整人物模型身体的表现状态；C、根据通用模型的脸部纹理进行贴图，生成可以控制肢体的、逼真的三维人物模型。

Description

一种快速构建真实三维人物模型的方法

技术领域

本发明涉及一种快速构建真实三维人物模型的方法。

背景技术

虚拟现实技术是仿真技术的一个重要方向。虚拟现实技术主要包括模拟环境、感知、自然技能等方面。

模拟人物是由计算机生成的、实时动态的三维立体逼真模型。

感知是指理想的VR应该具有一切人所具有的感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。

然而，在虚拟现实技术中，如何实现环境、感知、自然技能的完美融合，即如何使虚拟视觉达到以假乱真的效果，则是该领域又一难题。

发明内容

有鉴于此，本发明的主要目的在于，提供一种快速构建真实三维人物模型的方法，包括步骤：

A、通过手机或其他拍照设备获取正面人物头像图片1，并上传到服务器，服务器会根据将原图中的人物头像图片进行特征提取，并根据提取的人物特征信息生成一张细节丰富的法线贴图2；

B、利用准备好的、具有丰富骨骼信息的人物模型3，调整骨骼的物理属性4，进而调整人物模型身体的表现状态5；

C、根据通用模型的脸部纹理进行贴图6，生成可以控制肢体的、逼真的三维人物模型。

由上，依据所生成的法线贴图和纹理贴图，重塑人物脸部模型加之自定义的肢体，以使用户有逼真的视觉效果。

可选的，步骤A包括：

1.人脸空间的建立

将一幅人脸图像用一个N维向量Γ表示，表示为N个像素点。协方差矩阵C的正交特征向量就是组成人脸空间的基向量，即特征脸。

将特征值由大到小排列：λ₁≥λ₂≥...≥λ_r，其对应的特征向量为μ_k。这样每一幅人脸图像都可以投影到由u₁，u₂，...，u_r张成的子空间中。因此，每一幅人脸图像对应于子空间中的一点。同样，子空间的任意一点也对应于一幅图像；

2.图像主成分的选取

主成分C₁，C₂，……，C_p分具有如下几个性质：

1)主成分间互不相关，对任意i和j，C_i和C_j的相关系数

Corr(C_i，C_j)＝0 i≠j

2)组合系数(a_i1，a_i2，……，a_ip)构成的向量为单位向量

3)各主成分的方差是依次递减的，即

Var(C₁)≥Var(C₂)≥……≥Var(C_p)

4)总方差不增不减，即

Var(C₁)+Var(C₂)+……+Var(C_p)

＝Var(x₁)+Var(x₁)+……+Var(x_p)＝p

这一性质说明，主成分是原变量的线性组合，是对原变量信息的一种改组，主成分不增加总信息量，也不减少总信息量。

5)主成分和原变量的相关系数Corr(C_i，C_j)＝a_ij＝a_ji

6)X₁，X₂，……，X_p的相关矩阵为R，a_i1，a_i2，……，a_ip则是相关矩阵R的第i个特征向量。而且，特征值i就是第i主成分的方差，即

Var(C_i)＝λ_i

其中i为相关矩阵R的第i个特征值

λ₁≥λ₂≥……≥λ_p≥0

3.人脸识别

计算该图像中任意位置处的局部图像与人脸空间之间的距离ε。其中，ε是局部图像是否为人脸的度量。因此，计算给定图像任意一点上的ε，就可以得到一映射图ε (x，y)。

可选的，步骤C包括：

一、纹理贴图处理步骤：

1.将原有的纹理贴图中脸部部分进行剔除；

2.对用户上传的人物照片进行脸部识别，并将脸部识别区域进行抠取，并合并到1中的纹理贴图中；

3.由于原有纹理贴图与模型的UV存在对应关系，所以贴合时，新贴图的贴合位置相对模型是固定的。

二、法线贴图处理步骤：

1.将原有的法线贴图中脸部部分进行剔除；

2.将生成的法线贴图合并到1中的法线贴图中；

3.由于原有法线贴图与模型的UV存在对应关系，所以贴合时，新贴图的贴合位置是相对模型是固定的。

附图说明

图1为本发明快速构建真实三维人物模型的方法的流程图；

图2为HOG特征提取示意图；

图3为一个block单元HOG特征提取图；

图4为生成法线贴图的示意图；

图5为合成新纹理贴图和法线贴图的原理示意图；

图6为基于AW-HOW特征的人脸识别方法示意图；

图7为快速构建三维人物模型的流程图。

具体实施方式

为克服现有技术存在的缺陷，本发明提供一种快速构建真实三维人物模型的方法，依据原有贴图信息，合成新的贴图信息，以使用户有逼真的视觉效果。

如图1所示，快速构建真实三维人物模型的方法包括以下步骤：

S10：依据对上传的图片进行人脸识别和特征提取。

首先将人脸图像划分为重合度(overlap)为1/2的若干个统一的均匀小块(block)，并将每个block划分为若干个互不重叠的单元(cell)，分割完成之后对每个单元进行操作。在每个单元内计算各个像素点的梯度方向和幅值，然后将梯度方向均匀划分为若干个方向，通过统计cell上各方向的直方图特征从而得到该cell的梯度直方图，进一步获取每个block的梯度直方图特征，最后级联整幅图像所有的block的特征得到图像的全局HOG特征，其具体步骤如下：

Step1：确定一个大小为n×n的互动采样窗口(即为block)，用于在整幅人脸图像

上进行滑动以提取人脸图像的HOG特征；

Step2：将n×n大小的block分为4个均匀小块cell，以cell为单位，在每个cell 上根据以下公式分别计算出每个像素点的梯度方向以及幅值；

在上式中，I(x，y)是人脸图像上像素点(x，y)的灰度值，m(x，y)为该像素的梯度幅值，θ(x，y)为该像素的梯度方向。图3给出了一个block(n＝8)，中各像素点的梯度示意图，箭头代表梯度方向，长度代表梯度幅值；

Step3：将梯度方向均匀划分为m个有符号方向(m＝8)并将统一单元上所有梯度方向相同的像素的梯度幅值按照高斯权重进行累加，得到cell上的m维梯度方向直方图；

Step4：求出一个block内4个cell的梯度方向直方图，再将4个m维梯度方向直方图级联成4×m维直方图以表达一个block区域的HOG特征；

Step5：按照以下公式，将block区域的4×m维梯度直方图进行一次L2-norm标准化。

其中V为标准化前的HOG特征，V_k为k-norm运算，ε是一个极小值；

Step6：在整个人脸图像中滑动block窗口完成整幅图像所有block的标准化梯度直方图提取。将所有标准化后的直方图向量重新组成一个4m×h维矩阵，用于表达人脸图像的HOG特征。其中4m为一个 block的梯度直方图的维数，h为人脸图像中所有block的个数。

S20：生成新的纹理贴图和法线贴图。

先根据纹理贴图生成灰度图，这里可以把灰度图近似看做高度图，因为黑色是0，白色是255，颜色越黑说明位置越低-照不到光，颜色越白说明位置越高，然后再根据近似的高度图生成法线图，具体做法是取得每个像素周围8个像素的高度，经过sobel梯度算子处理得到x，y值，z取255，再对(x，y，z)进行normalize处理，得到分量范围在[-1，1]之间的单位法线向量，再把该法线向量转化为颜色值(xyz分别对应rgb)，这样得到的图像就是法线图。

S30：裁剪旧的贴图并与新的贴图进行合并。

如图5所示，将生成的纹理贴图以及法线贴图进行等比例放缩，然后与裁剪过的贴图进行融合，生成新的纹理贴图及法线贴图。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明。总之，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种快速构建真实三维人物模型的方法，包括步骤：

A、通过手机或其他拍照设备获取正面人物头像图片(1)，并上传到服务器，服务器会根据将原图中的人物头像图片进行特征提取，并根据提取的人物特征信息生成一张细节丰富的法线贴图(2)；

B、利用准备好的、具有丰富骨骼信息的人物模型(3)，调整骨骼的物理属性(4)，进而调整人物模型身体的表现状态(5)；

C、根据通用模型的脸部纹理进行贴图(6)，生成可以控制肢体的、逼真的三维人物模型。

2.根据权利要求1所述的方法，其特征在于：

对正面人物头像进行特征提取，建立人脸空间，并在其空间中选取图像的主要成分并进行提取，生成详细丰富的法线贴图和纹理贴图。

3.根据权利要求2所述的方法，其特征在于：

将新生成的法线贴图与纹理贴图与原有的纹理贴图和法线贴图进行合并，合并方式为将原有的纹理贴图和法线贴图分为可替换部分和不可替换部分，将新生成的法线贴图与纹理贴图替换掉可替代部分的图像内容，合并成新的纹理贴图与法线贴图。