CN111028354A - 一种基于图像序列的模型形变人脸三维重建方案 - Google Patents

Abstract

本方案设计的人脸三维重建过程包括图像获取、人脸检测、人脸一般模型的建立、特征点提取、模型调整以及皮肤的纹理映射等。通过调用摄像头采集视频获取人脸图像序列，经过人脸检测，判断图像中是否包含单个人脸图像，若包括则提取人脸特征点，采用对标准模型形变的人脸三维重建的方法，并将序列图像后一帧对前一帧的PC A补偿量按其权系数不断融入PCA系数中，迭代更新二维人脸的PCA系数，结合摄像机的空间投影变换关系获得三维模型的形变系数以重建三维模型的形状和颜色。同时，将序列图像每一帧中人脸可见像素点的纹理坐标数据存储在Isomap特征矩阵中并按照其权重求和，根据二维与三维人脸特征点的对应关系并利用反向变换法完成皮肤的纹理映射。

Description

一种基于图像序列的模型形变人脸三维重建方案

技术领域

本发明属于图像识别、三维建模领域，具体为一种基于图像序列的模型形变人脸三维重建的设计和实现方法。

背景技术

随着摄影、照相等相关硬件技术的不断发展，在电影、游戏、医疗等领域，三维技术得到了广泛的应用。相比二维图像，三维图像具有更多的空间信息且贴近人们的生活。近年来，在计算机视觉和图形学中，三维人脸建模的研究成为该领域的核心内容，在三维人脸动画与识别中起到了关键作用。在科学技术进步的不断促进下三维重建技术的水平也在不断地提高，并且融入在社会生产生活的多个方面，如虚拟现实等与计算机视觉和图形学相关的多个方面。应用在虚拟试衣、三维人脸识别和虚拟发型变换等方面的三维重建技术，以其“实时性”和“交互性”赢得了广泛关注。这其中非常关键的就是三维重建技术中的人脸三维重建，可以让人们在现实生活中体验越来越多的便利。

采用3D虚拟试衣技术的虚拟试衣镜能解决消费者在购买衣服时总是需要不停更换自己的衣服而导致费时费力的问题，能够帮助用户对衣服的上身效果有更好的体验；购物网站平台上的虚拟试衣软件解决了消费者逛街购物时路途遥远、精神疲惫以及时间不足等问题的同时，帮助消费者在不能真实试穿的情况下实现真实感试衣体验，避免收货时发现衣服尺寸不合身、样式不满意、颜色和材质与图片描述不符等情况的出现，使得其消费信心和意愿不断增强，同时可以提升卖家的信誉，避免物流等资源的浪费。在虚拟试衣技术中人脸三维重建技术是其中一部分。3D虚拟试衣不仅采集人体体型数据对人体进行三维建模，还需要对人脸进行三维重建，在试衣时，不仅能对挑选的衣服进行试穿，还可更改个人的发型、对各类帽子进行试戴等，而这需要人脸的三维重建技术。

3D虚拟发型变换能解决用户到理发店理发时不知自己选择何种发型的问题，用户可通过对自己重建的三维人脸试戴各种发型，体验效果，不满意随即更换，避免了理发后对自己发型不满意而短期内无法更改变换的困难；同时虚拟发型变换还可应用于视频聊天、网络游戏等多个方面。人脸三维重建是虚拟发型变换系统中重要的一部分。

发明内容

本发明内容是为了实现可移动、便携式的人脸三维重建系统的设计。例如在3D虚拟换衣、发型变换等系统中，以满足常规用户并没有人脸图像采集的特殊设备而只能调用手机摄像头或计算机网络摄像头的情况来获得人脸的图像信息以实现人脸的三维重建。

本发明以Windows为平台，采用VC++为开发环境，结合以机器视觉库OpenCV为主的图像处理工具，编写了人脸三维重建的应用程序，其功能模块包括图像获取、人脸检测、特征点提取、三维人脸重建等。

本发明提出了单目被动法对图像序列基于模型形变重建人脸三维的基本思路。提出采用Haar特征的Adaboost算法为本设计的人脸检测的核心算法，并且采用ASM算法对人脸特征点进行提取并对3DMM进行模型形变。提出了本设计的模型调整算法和本设计使用的纹理映射方法。

1、基于图像序列的模型形变的重建人脸三维重建基本思路：

（1）以改进的PCA算法重建三维人脸的形状和颜色。

（2）将二维人脸图像与形变模型面部对准，利用PCA算法提取二维人脸特征点的PCA特征向量。

（3）不断将序列图像中后一帧对前一帧人脸特征点的PCA特征补偿量按其所占权重融入到二维人脸的PCA系数中，经过不断地迭代优化并结合空间投影变换得到调整三维人脸模型的PCA形变系数以恢复人脸的三维形状与颜色。

2、本设计的模型调整方法主要包括以下三个过程：

（1）采用改进的PCA算法，利用PCA算法得到面部形状和颜色信息PCA系数。

（2）将图像序列中相邻帧人脸特征点PCA特征补偿量按其权系数不断优化二维人脸特征点的PCA系数。

（3）利用二维图像与三维人脸模型特征点的对应关系更新模型形变系数，以重建三维模型形状和颜色。

3、本设计使用的纹理映射方法：

（1）通过Isomap算法对获得的人脸纹理的坐标信息进行非线性降维与存储。

（2）将图像序列每一帧中可见人脸像素点的Isomap纹理特征值按照权重求和。

（3）利用加权平均Isomap算法不断优化人脸纹理数据，最终根据人脸二维图像的纹理信息与三维空间人脸纹理信息的对应关系，利用反向投影变换法完成皮肤的纹理映射。

附图说明

图1 普通人脸三维重建流程图。

图2 图像获取流程图。

图3 人脸检测流程图。

图4 基于图像序列的模型形变三维人脸重建流程图。

图5三维人脸纹理重建流程图。

具体实施方式

一种基于图像序列的模型形变人脸三维重建的设计与实现方法，其具体实现步骤如下：

1、打开计算机默认的网络摄像头采集视频信息。

2、 载入Adaboost人脸检测器，判断视频中是否包含单个人脸图像，若不含人脸图像则无显示，若含有单个人脸则进行后续的人脸三维重建，若含有两个以上人脸则仅对捕捉到的单个人脸进行三维重建，并保持对人脸的不断跟踪。当检测到的人脸宽度小于50像素时重新初始化人脸检测。

3、以ASM算法提取人脸的68个特征点。

4、训练三维人脸的一般模型，将采集到的二维人脸与三维人脸模型进行面部对准。

1）根据检测到人脸图像的大小调整人脸模型的大小。

2）根据当前特定姿势的人脸计算遮挡边界上的顶点，将两个相邻旋转网格的面法线符号翻转之处定义为人脸边界边缘，对于给定的每个2D图像的边缘点，搜索最接近的3D边缘顶点并投影到2D图像用于遮挡边缘拟合。

3）将可见人脸的轮廓特征点与形变模型的可见轮廓特征点对齐。

4）将检测到的人脸中线上的点X坐标统一为0，以鼻尖点为坐标原点，人脸左右半面上的点置为对称，建立坐标系，实现模型的整体调整。

5）利用跟踪器结合Kd树与KNN算法，对序列图像不断追踪和匹配人脸特征点。

5、依据二维图像人脸特征点与三维模型人脸特征的对应关系，将二维图像人脸特征点与三维模型人脸特征点的X、Y坐标进行匹配，通过人脸的姿态估计获得平移、缩放以欧拉角表示俯仰、偏航、滚转等旋转角度的各参数。

6、利用改进的PCA算法，提取二维人脸的PCA系数，通过图像序列不断补充相关信息，将后一帧对前一帧的PCA特征补偿量按其权系数不断融入到二维人脸特征点的PCA系数中，利用迭代优化的算法更新PCA系数。

7、根据空间变换关系形成人脸模型的空间三维点坐标。

8、依据Delaunay 三角剖分原则，实现空间三维点坐标的三维点云网格化。

9、利用Isomap算法对面部纹理信息进行非线性降维并将纹理坐标信息存储在Isomap矩阵中，将图像序列每一帧中可见人脸像素点的Isomap纹理特征值按照权重求和，通过加权平均Isomap算法的级联优化，并根据二维人脸图像点与重建三维点的对应关系及空间变换关系来实现纹理信息的映射。

利用渲染技术完成真实感人脸的三维重建。

Claims (7)

1.一种基于图像序列的模型形变人脸三维重建方案，其特征在于：图像获取、人脸检测、特征提取、人脸的一般模型的建立、人脸三维重建。

2.根据权利要求1所述的一种基于图像序列的模型形变人脸三维重建方案，其特征在于所述图像获取包括：

(1)图像的灰度变换：对人脸图像进行灰度变换的过程即将原始图像的像素颜色分量经灰度变换后，对像素点赋予相应其灰度值，实现图像的灰度变换；

(2)图像的尺度变换：采用具有时间复杂度低且有一定的低通滤波性的特点双线性插值算法，对图像进行尺度变换；

(3)图像的滤波：采用中值滤波的方法，过滤掉原始采集图像中噪声，且较好的保留图像的边缘信息。

3.根据权利要求1所述的一种基于图像序列的模型形变人脸三维重建方案，其特征在于所述人脸检测，本设计在采用Haar特征检测人脸的基础上，依据Adaboost算法实现人脸分类器的训练以检测人脸。

4.根据权利要求1所述的一种基于图像序列的模型形变人脸三维重建方案，其特征在于所述特征提取，为了提高特征点的检测效率，本设计对检测到的人脸图像提取特征点时采用ASM算法，通过建立全局形状模型和局部纹理模型，利用ASM算法对样本进行训练，首先对数据集进行标签的标定与建立，再进行模型的训练与数据的匹配。

5.根据权利要求4所述的一种基于图像序列的模型形变人脸三维重建方案，其特征在于所述特征提取中全局形状模型和局部纹理模型的建立，将边缘处的拐角点、边缘点或T型连接点及相应连线上的等间距中间点选择为特征点，利用PCA算法对数据降维并提取模型形状向量的主成分建立全局模型；在第

个训练样本中选第j个标定点并以此为中心，在其相邻的两点的连线上作垂线，在垂线方向上的内外各取k个点，将该点的灰度信息设置为上述点的灰度值，求取其相应梯度并对梯度进行归一化处理得到局部纹理模型。

6.根据权利要求1所述的一种基于图像序列的模型形变人脸三维重建方案，其特征在于所述人脸的一般模型的建立，在本设计中采用疏密程度为非均匀型的三角形网格模型进行人脸的三维重建，非均匀的疏密程度体现在：人脸曲率变化较大之处（如眼睛、鼻翼等区域）三角形顶点分布相对密集；在人脸曲率变化较小之处（如额头、脸颊等区域）三角形顶点分布稀疏。

7.根据权利要求1所述的一种基于图像序列的模型形变人脸三维重建方案，其特征在于所述人脸的三维重建是一种基于改进的PCA算法人脸的三维重建包括：

(1)模型调整：本设计采用基于模型形变的三维重建法，以改进的PCA算法重建三维人脸的形状和颜色，首先将二维人脸图像与形变模型面部对准，利用PCA算法提取二维人脸特征点的PCA特征向量，然后经过不断地迭代优化并结合空间投影变换得到调整三维人脸模型的PCA形变系数以恢复人脸的三维形状与颜色；(2)纹理映射：本设计采用等距映射Isomap算法对面部纹理信息进行非线性降维并将纹理坐标信息存储在Isomap矩阵中，通过加权平均Isomap算法进行级联优化不断叠加，最后根据二维人脸图像点与重建三维点的对应关系并利用空间变换法来实现纹理信息的映射。

Images