CN104299264B - 一种基于边缘图的三维人脸重建方法及系统 - Google Patents

Abstract

本发明涉及一种基于边缘图的三维人脸重建方法及其系统，其方法包括步骤一：根据二维图像的人脸特征点，生成二维人脸边缘线；步骤二：根据规范化之后的三维人脸样本库建立三维人脸边缘图，同时对规范化之后的三维人脸样本库进行主成份分解得出各特征向量；步骤三：通过遗传算法匹配目标图像的二维人脸边缘线与三维人脸边缘图，进行寻优得到目标图像的三维重建系数序列；步骤四：综合步骤二中的各特征向量及步骤三中的三维重建系数序列重建出三维人脸模型。本方法解决了人脸姿态变换的问题，大大降低了特征点标定对重建造成误差，对稀疏形变模型对标定特征点敏感的问题得到了良好的改进。

Description

一种基于边缘图的三维人脸重建方法及系统

技术领域

本发明涉及计算机图形学、数字图像处理以及人工智能等领域，具体是一种通过平面图像进行三维人脸建模的方法及系统。

背景技术

人脸重建有许多经典方法，如形变模型重建的方法一直是近年的研究热点，其利用线性组合的思想，将已有的样本分解为特征子空间，并利用特征子空间中的基表示特定实例。然而，由于形变模型是通过迭代方法寻求全局最优解，通过三维模型的点点迭代寻优，其寻优过程及其耗时。另外，稀疏形变模型方法，根据面部少量特征点近似求解形变参数来恢复人脸深度信息。由于其速度快、真实度还原较好，多数三维重建算法及后续工作都是建立在稀疏形变模型的方法之上。然而，稀疏形变模型存在两个方面的主要缺点，其一是对人脸姿态的适应性较差，无法对有姿态变化的点进行重建，其二是对目标特征点的标定精度要求高，特征点的标定直接影响了算法的重建精度。为了克服稀疏形变模型的这两个缺点，提出了基于边缘图的三维人脸重建方法。

发明内容

针对经典的形变模型与稀疏形变模型的主要缺点，本发明提供一种三维人脸的快速重建方法及其系统，其对平面照片中人脸姿态变化有很好的适应性，并能减少由于特征点标定误差所带来的影响，达到了对单张任意姿态二维人脸照片能够迅速还原出其三维形状。这对于人脸重构、人脸识别的研究与实际应用的开发都具有重要的理论与实际意义。具体技术方案如下：

一种基于边缘图的三维人脸重建方法，包括如下步骤：

步骤一：根据二维图像的人脸特征点，生成二维人脸边缘线；

步骤二：根据规范化之后的三维人脸样本库建立三维人脸边缘图，同时对规范化之后的三维人脸样本库进行主成份分解得出各特征向量；

步骤三：通过遗传算法匹配目标图像的二维人脸边缘线与三维人脸边缘图，进行寻优得到目标图像的三维重建系数序列；

步骤四：综合步骤二中的各特征向量及步骤三中的三维重建系数序列重建出三维人脸模型。

优选的，所述步骤一进一步具体包括：输入二维图像，标定二维图像上的人脸特征点，再根据特征点所在的不同特征区域将特征点相组合连接，生成描绘人脸特征部位边缘信息的线段集，即二维人脸边缘线，每个特征区域的边缘线中的线段集将构成一个闭合的折线，这条折线位于特征部位的边缘上，将特征部位包含在内，表达特征部位的边缘信息。

所述步骤二中根据规范化之后的三维人脸样本库建立三维人脸边缘图进一步具体包括：输入三维人脸模型样本库，规范化三维人脸模型样本库生成三维样本模型，将人脸特征部位的角点、边缘用点标记，再将这些描绘人脸特征部位边缘信息的点组合连接成为三维样本模型特征部位的3D边缘线；在三维样本模型上表示3D边缘线的闭合折线的内外两侧选取众多点，所选取的这些点需在闭合折线附近、靠近闭合折线，并能够表示闭合折线的(位置、形状、变化趋势等)信息，这些点集就是三维人脸边缘图。

所述步骤三包括如下步骤：

(1)产生初始种群：

设定每代种群包含N个三维重建系数序列：f₁,f₂,…,f_N，其中f＝(β₁,β₂,…,β_m,α,γ,δ,k)∈R^m+4，(α，γ，δ)为人脸对应三个方向，x轴，y轴，z轴的旋转角度，(α,γ,δ)∈(-45°～45°)，根据三维重建系数序列中每个系数的范围，均匀选取系数，作为初代种群；

(2)选择：

首先定义F为每个三维重建系数序列的适应度函数，其为三维人脸边缘图上点到其对应二维人脸边缘线的距离和：F＝1/D，n代表三维人脸边缘图上点的总数目，k为二维人脸边缘线的总数目，O(p_i,l_j)代表三维人脸边缘图上点p_i与其对应二维人脸边缘线上直线l_j的点线间距离，S定义为符号函数，表示点与对应直线间的位置关系：

其中，symbol:-→+代表原边缘图定义时目标点在其对应边缘线内部，而在模型形变后目标点在其对应边缘线外部；symbol:+→-亦然。

然后根据适应度函数F计算种群中每个基因的适应度：F₁,F₂,…,F_N,根据所计算出的适应度序列将上代三维重建系数序列进行降序排列：f′₁,f′₂,…,f′_N，将适应度最大的点作为猴王点f′₁；

(3)交叉：

对(2)中产生的降序序列以猴王点f′₁为中心，按下式进行交叉运算得到下代种群的新点：

_f1＝f′₁；

f_j＝f′₁+λ·(random-0.5)·(f′₁-f′_j)，j＝2,3,…,N；

f′₁为上代猴王点；random为0-1之间的随机数；λ为变异调整系数，取3～5。

(4)变异：

从第二代开始引入变异计算，设变异比例为r_b，那么有i_b＝r_b·N个变异基因；从第二代开始，将上代升序矩阵中排在后面的i_b个较劣的随机产生的三维重建系数序列替代，再重复选择-交叉-变异过程。

通过不断的选择-交叉-变异过程，直到达到预定的最大迭代数M代或预先设定的适应度阈值后，停止迭代，输出最终代的猴王点即为寻优求解的三维重建系数序列。

所述步骤四所利用的重建公式为：

其中，Rotate(α,γ,δ)表示旋转变换，S_i为对规范化之后的三维人脸样本库进行主成份分解得出的各特征向量，(α,γ,δ)∈(-45°～45°)，β_i∈(-3～3)，k≤2。

本发明还涉及一种基于边缘图的三维人脸重建系统，包括初始化模块、三维重建系数序列寻优模块及三维人脸模型重建模块；

所述的初始化模块用于根据二维图像的人脸特征点，生成二维人脸边缘线并将其输出至三维重建系数寻优模块；根据规范化之后的三维人脸样本库建立三维人脸边缘图并将其输出至三维重建系数寻优模块；对规范化之后的三维人脸样本库进行主成份分解得出各特征向量并将其输出至三维人脸模型重建模块；

所述的三维重建系数序列寻优模块用于通过遗传算法匹配目标图像的二维人脸边缘线与三维人脸边缘图，进行寻优得到目标图像的三维重建系数序列并将结果输出至三维人脸模型重建模块；

所述的三维人脸模型重建模块用于重建出三维人脸模型。

本发明的有益效果如下：

由于本发明所提供的基于边缘图的三维人脸重建方法将标定的特征点组合成为人脸特征部位的边缘线，对特征点标定的精度要求不高，避免了因为特征点标定不准确带来的重建误差。于此同时，本方法通过对重建算法加入了尺度变换和旋转变换的考虑，将三维人脸边缘图与二维人脸边缘线相匹配，解决了人脸姿态变换的问题。与经典形变模型方法相比，本方法虽然也是用了大量点进行寻优，但只采用了人脸特征边缘附近的几百个点而没有使用特征不明显、表达信息模糊的次要点，并且采用了寻优高效的遗传算法。与经典方法使用三维人脸全部点进行梯度下降法寻优相比，本方法使速度得到了极大的提高。而相对于稀疏形变模型，本方法克服了稀疏形变模型无法重建任意姿态人脸的缺陷，并且，通过将特征点组成人脸特征部位边缘线，对边缘线进行匹配寻优，大大降低了特征点标定对重建造成误差，使稀疏形变模型对标定特征点敏感的问题得到了良好的改进。

附图说明

图1为本发明一种基于边缘图的三维人脸重建方法的方法流程图。

具体实施方式

本发明主要涉及单张人脸照片的三维重建技术和遗传算法的寻优技术，具体技术方案如下：

(1)对算法进行初始化，包括三维人脸样本库的规范化以及输入二维图片特征点的标定等；

(2)进行如下重建算法：

①根据二维图像的人脸特征点，生成二维人脸边缘线；

②根据规范化后的三维人脸样本库建立三维人脸边缘图；

③根据规范化后的三维人脸样本库，得出平均模型；

④通过遗传算法匹配目标图像的边缘线与边缘图，进行寻优得到目标三维重建系数序列。

(3)得出最终的重建出的人脸三维形状模型。

下面，结合附图，对本发明作进一步说明：

本发明方法具体步骤如下：

1.算法的初始化

算法的初始化过程包括三维人脸的样本库的规范化、三维人脸边缘图的建立、输入二维图片边缘线生成。

三维人脸样本库的规范化在于实现样本库中人脸姿态的校正、原始三维人脸模型的重采样和模型点云对应。

通过标定的特征点建立二维人脸图像的边缘线。首先标定目标图像上的人脸特征点，再根据特征所在的不同特征区域将特征点相组合连接，我们将如此描绘人脸特征部位边缘信息的线段集称为二维人脸边缘线，每个特征区域的边缘线中的线段集将构成一个闭合的折线，这条折线位于特征部位的边缘上，将特征部位包含在内，表达特征部位的边缘信息。同时，通过这种方式生成的边缘线不同于利用边缘算子产生的图像边缘，边缘线由标准特征点产生，与三维样本的边缘线相对应，将被后续步骤中边缘图的构建过程利用。经过上述过程，便够成了目标图像不同特征部位的2D边缘线：左眼、右眼、鼻子、嘴的边缘线。

首先在经过规范化的三维人脸模型样本上，将人脸特征部位(左眼、右眼、鼻子、嘴部)的角点、边缘用点标记，再将这些描绘人脸特征部位边缘信息的点组合连接成为样本模型特征部位的3D边缘线。在样本模型上表示边缘线的闭合折线的内外两侧选取众多点，所选取的这些点需在闭合折线附近、靠近闭合折线，并能够表示闭合折线的位置、形状、变化趋势等信息。这些点集就是闭合折线周围点内具有有用信息的点，可以代表特征区域的边缘线。在重建过程中，将通过这些点对目标人脸的边缘线进行约束，及相似度计算。将这些在三维样本上表示边缘线、用于匹配寻优的点集定义为三维人脸边缘图。

2.重建过程

[1]寻优参数设定

根据形变模型方法，通过给定的样本人脸库，特定人脸可以通过以下公式重建：其中S_i为样本库进行特征分解(PCA)后的m个线性无关的特征向量，β_i为重建系数。基于形变模型的重建算法的重要工作便是估计重建系数。然而，由于本算法旨在对任意姿态的人脸进行重建，故令(α，γ，δ)为人脸对应三个方向(x轴，y轴，z轴)的旋转角度，k为模型的缩放系数。本算法将对系数序列f＝(β₁,β₂,…,β_m,α,γ,δ,k)∈R^m+4进行寻优与估计，则特定人脸的重建公式变换如下：Rotate(α,γ,δ)表示旋转变换。S_i为对规范化之后的三维人脸样本库进行主成份分解得出的各特征向量。由于旋转角及形变系数都不会过大，故对其变化范围进行约束：(α,γ,δ)∈(-45°～45°)；β_i∈(-3～3)；k≤2。

[2]适应度函数定义

为利用遗传算法求解系数序列，需要定义适应度函数。定义F为每个三维重建系数序列的适应度函数，其为三维人脸边缘图上点到其对应二维人脸边缘线的距离和：F＝1/D，n代表三维人脸边缘图上点的总数目，k为二维人脸边缘线的总数目，O(p_i,l_j)代表三维人脸边缘图上点p_i与其对应二维人脸边缘线上直线l_j的点线间距离，S定义为符号函数，表示点与对应直线间的位置关系。

symbol:-→+代表原边缘图定义时目标点在其对应边缘线内部，而在模型形变后目标点在其对应边缘线外部；symbol:+→-亦然。

[3]遗传算法求解过程

本方法采用遗传算法中的猴群算法(江苏大学学报(自然科学版),2002,4(7):88～90)进行求解。遗传算法求解过程主要包含：选择、交叉、变异三个部分。

遗传算法将一个系数序列称为一个基因，而每次寻优过程中的一组系数序列称为一代种群，根据适应度函数每次迭代通过种群不断的选择-交叉-变异，产生下一代更适应(更优)的种群以达到寻优的目的。

(1)初始种群产生，根据[1]中定义的系数序列及其约束范围，根据以下原则产生初始种群：设定每代种群规模为N(即每代种群中包含N个系数序列：f₁,f₂,…,f_N)，根据系数序列中每个系数的范围，均匀选取系数，作为初代种群。

(2)选择，首先根据[2]中定义的适应度函数F计算种群中每个基因的适应度：F₁,F₂,…,F_N,根据所计算出的适应度序列将上代三维重建系数序列进行降序排列：f′₁,f′₂,…,f′_N，将适应度最大的点作为猴王点f′₁。

(3)交叉，对(2)中产生的降序序列以猴王点f′₁为中心，按下式进行交叉运算得到下代种群的新点：

f₁＝f′₁；

f_j＝f′₁+λ·(random-0.5)·(f′₁-f′_j)，j＝2,3,…,N；

f′₁为上代猴王点；random为0-1之间的随机数；λ为变异调整系数，取3～5。

(4)变异，为了避免种群中的点迅速趋近猴王点导致种群中基因的多样性减少，后续寻优变慢，从第二代开始引入变异计算。设变异比例为r_b，那么有i_b＝r_b·N个变异基因。从第二代开始，将上代升序矩阵中排在后面的i_b个较劣的随机产生的三维重建系数序列替代，再重复选择-交叉-变异过程。

通过不断的选择-交叉-变异过程，直到达到预定的最大迭代数M代或预先设定的适应度阈值后，停止迭代，输出最终代的猴王点即为寻优求解的三维重建系数序列。

根据[1]中的公式：便可重建出目标人脸的三维模型。

Claims (4)

1.一种基于边缘图的三维人脸重建方法，其特征在于，包括如下步骤：

步骤一：根据二维图像的人脸特征点，生成二维人脸边缘线；

步骤二：根据规范化之后的三维人脸样本库建立三维人脸边缘图，同时对规范化之后的三维人脸样本库进行主成份分解得出各特征向量；

步骤三：通过遗传算法匹配目标图像的二维人脸边缘线与三维人脸边缘图，进行寻优得到目标图像的三维重建系数序列；

步骤四：综合步骤二中的各特征向量及步骤三中的三维重建系数序列重建出三维人脸模型；

所述步骤三包括如下步骤：

(1)产生初始种群：

设定每代种群包含N个三维重建系数序列：f₁，f₂，…，f_N，其中f＝(β₁，β₂，…，β_m，α，γ，δ，k)∈R^m+4，(α，γ，δ)为人脸对应三个方向，x轴，y轴，z轴的旋转角度，(α，γ，δ)∈(-45°～45°)，根据三维重建系数序列中每个系数的范围，均匀选取系数，作为初代种群；β₁，β₂，…，β_m分别为对应于m个主成分的重建系数，k为模型的缩放系数，R^m+4代表m+4维的实数空间，(α，γ，δ)∈(-45°～45°)代表α，γ，δ三个方向分别在(-45°～45°)的范围内；

(2)选择：

首先定义F为每个三维重建系数序列的适应度函数，其为三维人脸边缘图上点到其对应二维人脸边缘线的距离和：F＝1/D，n代表三维人脸边缘图上点的总数目，h为二维人脸边缘线的总数目，0(p_i，1_j)代表三维人脸边缘图上点p_i与其对应二维人脸边缘线上直线1_j的点线间距离，S定义为符号函数，表示点与对应直线间的位置关系：

symbol：-→+or+→-代表原边缘图定义时目标点在其对应边缘线内部，而在模型形变后目标点在其对应边缘线外部，或者原边缘图定义时目标点在其对应边缘线外部，而在模型形变后目标点在其对应边缘线内部；symbol：-→-or+→+代表原边缘图定义时目标点在其对应边缘线内部，在模型形变后目标点在其对应边缘线内部，或者原边缘图定义时目标点在其对应边缘线外部，在模型形变后目标点在其对应边缘线外部；

然后根据适应度函数F计算种群中每个基因的适应度：F₁，F₂，…，F_N，根据所计算出的适应度将上代三维重建系数序列进行降序排列：f₁′，f_，′，…，f_N′，将适应度最大的点作为猴王点f₁′；

(3)交叉：

对(2)中产生的降序序列以猴王点f₁′为中心，按下式进行交叉运算得到下代种群的新点：

f₁＝f₁′；

f_j＝f₁′+λ·(random-0.5)·(f₁′-f_j′)，j＝2，3，…，N；

f₁′为上代猴王点；random为0-1之间的随机数；λ为变异调整系数，取3～5；

(4)变异：

从第二代开始引入变异计算，设变异比例为r_b，那么有i_b＝r_b·N个变异基因；从第二代开始，将上代升序矩阵中排在后面的i_b个较劣的随机产生的三维重建系数序列替代，再重复选择-交叉-变异过程；

通过不断的选择-交叉-变异过程，直到达到预定的最大迭代数M代或预先设定的适应度阈值后，停止迭代，输出最终代的猴王点即为寻优求解的三维重建系数序列。

2.根据权利要求1所述的一种基于边缘图的三维人脸重建方法，其特征在于，所述步骤四所利用的重建公式为：

其中，Rotate(α，γ，δ)表示旋转变换，S_i为对规范化之后的三维人脸样本库进行主成份分解得出的各特征向量，(α，γ，δ)∈(-45°～45°)，β_i∈(-3～3)，k≤2，k为模型的缩放系数。

3.根据权利要求1所述的一种基于边缘图的三维人脸重建方法，其特征在于，所述步骤一进一步具体包括：输入二维图像，标定二维图像上的人脸特征点，再根据特征点所在的不同特征区域将特征点相组合连接，生成描绘人脸特征部位边缘信息的线段集，即二维人脸边缘线，每个特征区域的边缘线中的线段集将构成一个闭合的折线，这条折线位于特征部位的边缘上，将特征部位包含在内，表达特征部位的边缘信息。

4.根据权利要求1所述的一种基于边缘图的三维人脸重建方法，其特征在于，所述步骤二中根据规范化之后的三维人脸样本库建立三维人脸边缘图进一步具体包括：输入三维人脸模型样本库，规范化三维人脸模型样本库生成三维样本模型，将人脸特征部位的角点、边缘用点标记，再将这些描绘人脸特征部位边缘信息的点组合连接成为三维样本模型特征部位的3D边缘线；在三维样本模型上表示3D边缘线的闭合折线的内外两侧选取众多点，所选取的这些点需在闭合折线附近、靠近闭合折线，并能够表示闭合折线的相关信息，这些点集就是三维人脸边缘图。