CN100585637C - 一种基于立体匹配的人脸三维模型获取方法 - Google Patents

Abstract

一种基于立体匹配的人脸三维模型获取方法，其实现步骤为：(1)使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像，任取其中一幅为基准图像，另一幅为对准图像；(2)分别对两台摄像机进行标定；(3)从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线，使用动态规划算法对轮廓线上的所有像素点进行匹配，并根据已匹配的轮廓线将基准图像中的人脸划分为眼睛、眉毛、鼻子、嘴7个待匹配区域；(4)从每个待匹配区域的外边缘线开始，向区域内部，使用区域增长与动态规划相结合的算法，对基准图像中的待匹配像素点进行匹配；(5)根据摄像机参数计算匹配点对所对应的人脸上实际点的三维坐标，进而得到整个人脸的三维点云数据。

Description

一种基于立体匹配的人脸三维模型获取方法

技术领域：

本发明属于双目立体视觉的技术领域，涉及到基于立体匹配的人脸三维模型获取问题，尤其涉及一种使用区域增长与动态规划相结合的算法，结合人脸特征信息，获取人脸三维点云模型的方法。

背景技术：

立体匹配技术是一种被动三维测量技术，通过建立两幅从不同角度拍摄的被测物体图像的像素点之间的对应关系恢复被测物体的三维信息。立体匹配技术可以获得被测物体的稠密的三维点云数据，无需向被测物体投影光栅，自动化程度较高，并且可以实现实时采集。在三维人脸重建领域中，立体匹配是较为常用的一种技术。

立体匹配算法可以分为局部最优算法和全局最优算法两大类。局部最优算法基于区域相关，使用灰度相似性约束、唯一性约束、视差连续性约束、顺序一致性约束等等约束，算法简单，运算速度快。但是由于这些约束作用范围都仅限于图像的局部区域，获得的结果可能只是局部最优而非全局最优。全局最优算法则是引入了全局最优搜索策略，即在算法中加入全局性约束条件，避免了局部极值的困扰。这些约束条件一般以能量函数最小化的形式体现。全局最优算法匹配准确度高，但算法复杂，运算速度慢。

在众多立体匹配技术算法中，区域增长算法和动态规划算法是在实际场合中使用较多、效果较好的两种。

区域增长算法属于局部最优算法，利用连续性约束，将匹配关系从种子点对传播至图像的其余部分。与传统的逐点独立计算的方法相比，区域增长算法极大地提高了匹配的效率，并且由于加入了连续性约束，对连续表面的匹配效果也更好。

动态规划算法属于全局最优算法，将匹配过程看成是在左右图像对应扫描线上寻找最小化全局能量函数路径的过程，规划出的路径由趋向于具有最小化全局能量函数值的匹配点的集合构成，即正确匹配点集合。动态规划法是全局最优算法中效率较高、匹配效果较好的一种方法。

但是区域增长算法和动态规划算法存在一些共同的缺点：

(1)它们虽然引入了平滑约束，但是都只能在一个方向上实现平滑。区域增长算法只在每个种子点的增长方向上限制搜索范围，而由不同种子点增长出的点、以及同一种子点位于不同增长方向上的点之间相互没有任何约束。动态规划算法中的平滑约束只在规划路径上即同一条扫描线上有效，不同扫描线之间同样没有约束。这种一维的平滑约束效果有限，容易出现错位、拉丝等现象。

(2)缺少对方向的控制。由于图像本身特性分布不均匀，采用不同的增长方向和规划路径，匹配结果也会有比较大的差别。因此区域增长的方向和动态规划的路径是影响最终结果的一个重要因素。但在这两种算法中缺少对这一因素的考虑。

(3)两种算法都存在错误传播的情况。一旦增长的过程中或者动态规划的路径中出现错误的匹配点，就很可能会影响到后续的匹配，使错误向下传播。

(4)在实际应用于三维人脸模型重建时，人脸的一些特征信息是可以用于辅助匹配的。但这两种算法都无法使用这些辅助信息，造成信息的浪费。

由于存在以上缺点，区域增长算法和动态规划算法实际应用于三维人脸模型重建中的效果不能令人满意。

发明内容

针对现有技术所存在的缺点和限制，本发明的目的在于提供一种结合区域增长算法和动态规划算法并辅助以人脸特征信息的基于立体匹配的人脸三维模型获取方法。

本发明采用如下技术方案：对从两个不同角度拍摄的两幅人脸图像，任取其中一幅为基准图像，另一幅为对准图像；首先在基准图像中提取脸和眼睛、眉毛、鼻子、嘴的连续的封闭的单像素宽度的轮廓线，使用动态规划算法为轮廓线上的每一点在对准图像中找到相应的匹配点，即对轮廓线进行匹配，并根据这些已匹配的轮廓线将基准图像中的人脸划分为若干个待匹配区域；然后从这些待匹配区域的外边缘线开始，向待匹配区域的内部，使用区域增长与动态规划相结合的算法，为基准图像中人脸的所有像素点在对准图像中找到对应的匹配点；最后根据摄像机参数计算匹配点对所对应的人脸上实际点的三维坐标，得到整个人脸的三维点云数据。

本发明的方法具体包括以下几个步骤：

步骤1：使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像，任取其中一幅为基准图像，另一幅为对准图像，

步骤2：分别对两台摄像机进行标定，获得各自的内参数矩阵A_L、A_R和外参数矩阵[R_L  T_L]、[R_R  T_R]，

步骤3：从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线，使用动态规划算法对轮廓线上的所有像素点进行匹配，并根据已匹配的轮廓线将基准图像中的人脸划分为7个区域：

步骤3.1：从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的连续的封闭的单像素宽度的轮廓线，

步骤3.2：分别将步骤3.1提取出的基准图像中的每一条轮廓线作为动态规划算法的路径，使用动态规划算法，找到这些轮廓线上的每一个像素点在对准图像中对应的匹配点，

把为基准图像中的像素点在对准图像中找到对应匹配点的过程称为匹配过程，把已经在对准像图像中找到对应匹配点的基准图像中的像素点称为已匹配点，把还没有在对准图像中找到对应匹配点的基准图像中的像素点称为待匹配点，把基准图像中完全由未匹配点组成的区域称为待匹配区域，

步骤3.3：在基准图像中，把眼睛轮廓线包围的区域称为眼睛区域，把眉毛轮廓线包围的区域称为眉毛区域，把鼻子轮廓线包围的区域称为鼻子区域，把嘴轮廓线包围的区域称为嘴区域，把脸部轮廓线所包围的除去眼睛、眉毛、鼻子、嘴区域以外的区域为脸部区域，这些区域均为待匹配区域，相互之间被由已匹配点组成的轮廓线分隔开，

步骤4：在基准图像中，对眼睛待匹配区域、眉毛待匹配区域、鼻子待匹配区域、嘴待匹配区域，从每个待匹配区域的外边缘线开始，向区域内部，使用区域增长与动态规划相结合的算法，对区域内的待匹配像素点进行匹配：

步骤4.1：在基准图像中选取鼻子待匹配区域的连续的单像素宽度的外边缘线l，

步骤4.2：对外边缘线l上的每一个像素点p_k，k＝1，2，3......K，K为l上的像素点数，选取所有与p_k相邻的已匹配点S_Lm，m＝1，2，3......M，M为与p_k相邻的已匹配点数，令S_Lm与S_Lm在对准图中的匹配点S_Rm组成种子点对，根据区域增长算法原理，确定p_k在对准图中的匹配点的搜索范围，

步骤4.3：以l为动态规划算法的路径，使用动态规划算法，对l上的每一点p_k，在对准图中已确定的搜索范围内寻找对应的匹配点，完成l的匹配，

步骤4.4：重复执行步骤4.1、4.2、4.3，为基准图像中鼻子待匹配区域内的所有像素点在对准图像中找到对应的匹配点，

步骤4.5：对眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区域执行步骤4.1、4.2、4.3、4.4，为基准图像中眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区内的所有像素点在对准图像中找到对应的匹配点，

步骤5：在基准图像中，从脸部待匹配区域的外边缘线开始，向区域内部，使用区域增长与动态规划相结合的算法，对基准图像中脸部待匹配区域内的像素点进行匹配，

随着匹配过程的进行，脸部待匹配区域不断向区域内部收缩，区域的外边缘会与眼睛、眉毛、鼻子、嘴的轮廓线相遇，据此将匹配过程分为两个阶段：从匹配过程开始直到脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线中的任意一条相遇为第一阶段，从脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线中的任意一条相遇之后直到整个匹配过程完成为第二阶段，

步骤5.1：在第一阶段中，在基准图像中直接选取脸部待匹配区域的连续的单像素宽度的外边缘线l，在第二阶段中，脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线相遇后，以遇到的轮廓线为脸部待匹配区域的边界的一部分，与原有边界一起形成了新的脸部待匹配区域边界，沿着新的边界选取脸部待匹配区域的连续的单像素宽度的外边缘线l，

步骤5.2：与步骤4.2相同，

步骤5.3：与步骤4.3相同，

步骤5.4：重复执行步骤5.1、5.2、5.3，为基准图像中脸部待匹配区域内的所有像素点在对准图像中找到对应的匹配点，

步骤6：将每个基准图像中的像素点和该像素点在对准图像中对应的匹配点合称为一个匹配点对，根据步骤1得到的两台摄像机的内参数矩阵A_L、A_R和外参数矩阵[R_L  T_L]、[R_R  T_R]，计算步骤4和步骤5得到的匹配点对所对应的人脸上的实际点的三维坐标，进而得到整个人脸的三维点云数据。

与现有技术相比，本发明具有如下优点：

(1)将区域增长和动态规划两种算法分别加以改进并结合，在两个接近垂直的方向上分别同时进行区域增长和动态规划，两种算法的优势叠加，实现了两维的平滑约束，相较于原来单一方向的平滑约束，效能明显加强，匹配准确度更高。同时两种方法相互之间形成一种约束关系，也抑制了错误匹配的产生。

(2)将图像划分为若干区域，匹配关系由区域边缘向内部逐圈地传播，相比于传统区域增长算法中匹配关系由散乱的种子点向四周自由扩散，本发明的算法实现了对运算方向的控制。通过调整初始区域的位置和形状，可以有效地控制后续匹配运算中区域增长的方向和动态规划的路径，使整体匹配运算的方向和图像特性分布相贴合，达到更好的效果。

(3)根据脸和脸部器官的自然轮廓划分区域，令匹配运算沿着人脸表面自然变化的方向进行，将人脸特征信息加入了匹配，提高了在人脸三维模型获取这个特定应用中的信息的利用率，进一步提高了匹配的准确度。

附图说明

图1本发明完整流程图。

图2系统模型示意图。

图3基于灰度相似性的立体匹配算法的基本原理示意图

图4区域增长算法中匹配关系从种子点向四周传播的基本策略示意图。

图5区域增长算法中由多对种子点共同确定当前点搜索范围的示意图。

图6动态规划算法基本原理示意图。

图7动态规划算法中每一级的运算过程示意图。

图8传统动态规划算法的路径选取的示意图。

图9获取人脸图像示意图。

图10根据轮廓线为脸部划分区域示意图。

图11选取待匹配区域边缘线示意图。

图12由种子点对确定l上一点p_L1在对准图像中对应匹配点搜索范围示意图。

图13鼻子区域的运算方向示意图。

图14脸部区域的两个运算阶段示意图。

图15由匹配点对和摄像机内外参数使用空间交汇法计算对应物点的三维坐标示意图。

具体实施方式

下面参照附图，对本发明具体实施方案做出更为详细的描述。

图1为本发明的完整流程图。

图2为本发明的系统模型的示意图。使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像，O_L、O_R分别为两台摄像机的光心，S_L、S_R分别为两台摄像机的成像平面，P为被测人脸上的一个点，P_L，P_R为物点P分别在两台摄像机成像平面上所成的像点。称这种由同一物点在不同摄像机中所成的像点相互为匹配点。任取其中一幅图像为基准图像，另一幅为对准图像，为基准图像中的像素点，在对准图像中搜索对应的匹配点，这个过程称为立体匹配。由匹配点对，根据系统模型，结合两台摄像机的内外参数，可以逆向运算，得到其对应的物点的空间三维坐标。对从两个不同角度拍摄的两幅人脸图像进行立体匹配运算，就可以得到整个人脸的三维点云模型。

图3所示为基于灰度相似性的立体匹配算法的基本原理。基于灰度相似性的立体匹配算法是绝大多数立体匹配算法的基础，通过比较两幅图像中像素点的一定邻域范围内的灰度分布之间的相似程度，来确定两幅图像中像素点的对应匹配关系。如图3所示，(a)为基准图像，(b)为对准图像，基准图像中，P_L为一个像素点，W_L为以P_L为中心的一个窗口区域；对准图像中，虚线框内区域为P_L的对应的匹配点的搜索范围，P_L的匹配点一定在此范围内，搜索范围通常由一个固定的偏移量确定，P_Ri为搜索范围中的一个像素点，W_Ri为以P_Ri为中心的一个与W_L同样大小的窗口区域。W_L、W_Ri称为模板窗。对搜索范围内的每一个像素点P_Ri，计算模板窗W_L和W_Ri之间的相似度函数值ρ。常用的相似度函数有归一化互相关系数(normalized correlation coefficient)和差值平方和(Sum of SquaredDifference，SSD)，分别如式(1)和式(2)所示：

$\mathrm{\ρ}(x,y)=\frac{\underset{(x_L,y_L)\∈W_L,(x_R,y_R)\∈W_R}{\mathrm{\Σ}}[I_L(x_L,y_L)-{\stackrel{\‾}{I}}_L][I_R(x_R,y_R)-{\stackrel{\‾}{I}}_R]}{\sqrt{\underset{(x_L,y_L)\∈W_L}{\mathrm{\Σ}}{[I_L(x_L,y_L)-{\stackrel{\‾}{I}}_L]}^2\underset{(x_R,y_R)\∈W_R}{\mathrm{\Σ}}{[I_R(x_R,y_R)-{\stackrel{\‾}{I}}_R]}^2}}---\left(1\right)$

$\mathrm{\ρ}(x,y)=\underset{(x_L,y_L)\∈W_L,(x_R,y_R)\∈W_R}{\mathrm{\Σ}}[I_L(x_L,y_L)-I_R(x_R,y_R)]---\left(2\right)$

根据相似度函数的不同，选取搜索范围内ρ最大或最小的像素点P_R为P_L在对准图像中的匹配点。若相似度函数为归一化互相关系数，则取ρ最大的像素点为匹配点；如果相似度函数为差值平方和，则取ρ最小的像素点为匹配点。

图4、图5为基于区域增长的立体匹配算法的原理示意图。

图4所示为区域增长算法中匹配关系从种子点向四周传播的基本策略。(a)为基准图像，(b)为对准图像，S_L与S_R为基准图像与对准图像中的一对匹配点，称为种子点对，P_L1和P_L2为基准图像中与S_L相邻的点，根据区域增长的思想，P_L1和P_L2点的匹配点P_R1和P_R2必定在S_L的匹配点S_R附近，P_R1和P_R2点的搜索范围就可以限制在S_R点的一个较小的邻域之内，图4(b)中两个粗线方框区域W_R1和W_R2即分别为P_R1和P_R2点的搜索范围。使用基于灰度相似性的立体匹配算法，在搜索范围内找到P_L1和P_L2的准确匹配点P_R1和P_R2。这是一个匹配关系从已匹配点向四周传播的过程，也是已匹配区域逐步增长扩大的过程。

图5为区域增长算法中由多对种子点共同确定当前点搜索范围的示意图。(a)为基准图像，(b)为对准图像，S_L1和S_R1，S_L2和S_R2是两对种子点对，P_L为基准图像中与S_L1和S_L2相邻的点，W_R1为对准图像中由S_R1确定的P_L匹配点的搜索范围，W_R2为对准图像中由S_R2确定的P_L匹配点的搜索范围，则P_L在对准图像中的匹配点的搜索范围由W_R1和W_R2共同确定，即为图5(b)中所示的W_R1和W_R2的重叠区域W_R。

图6-图8为基于动态规划的立体匹配的原理示意图。

动态规划算法将匹配过程看成是在图像中寻找最小化能量函数E(d)路径的过程，规划出的路径由趋向于具有最小能量函数E(d)的匹配点的集合构成，即正确匹配点集合。式(3)是一个典型的全局能量函数E(d)：

E(d)＝E_data(d)+λE_smooth(d)       (3)

其中 $E_{\mathrm{data}}\left(d\right)=\underset{p\∈V}{\mathrm{\Σ}}m\left(d_p\right)$

$E_{\mathrm{smooth}}\left(d\right)=\underset{(p,q)\∈V_1}{\mathrm{\Σ}}s(d_p+d_q)$

式中：

d为视差；

V为所有像素点的集合，V₁为所有相邻像素点对的集合；

m(d_p)为点p在视差为d时的匹配代价，代表该点的匹配程度，通常基于灰度相似性，值越小匹配度越高；

s为相邻像素点p和q的视差d_p和d_q之差绝对值|d_p-d_q|的一个单调递增函数，是这一对相邻点的平滑代价，代表这两点之间的平滑程度，值越小平滑程度越高；

E_data(d)为全局匹配代价，是所有像素点的匹配代价之和；

E_smooth(d)为全局平滑代价，是所有相邻像素点之间平滑代价之和；

λ为权重系数。

动态规划算法的步骤为：

步骤1：在基准图像中，选取一条由相邻的待匹配像素点组成的待匹配路径，确定路径上的每一点在对准图像中对应的匹配点的搜索范围。这个搜索范围通常是由一个预先设定的偏移量确定的，不过也可以通过其他算法获得。如图6所示，(a)为基准图像，(b)为对准图像，p_i，i＝1，2，3......N，为基准图像中的相邻待匹配像素点，组成一条待匹配路径l，S_i为p_i在对准图中的匹配点的搜索范围，q_ij为S_i中的像素点。

步骤2：将全局能量函数改写成递推形式，如式(4)所示：

$E\left(d\right)=m\left(d_p\right)+\mathrm{\λs}(d_p+d_{\mathrm{pb}})+\underset{\mathrm{pc}\∈\mathrm{Vc}}{\mathrm{\Σ}}{E}_c\left(d_{\mathrm{pc}}\right)---\left(4\right)$

式中：

p为当前像素点；

V_c为p在动态规划路径中的所有子节点的集合；

pb为p的父节点，pc在动态规划路径中的子节点；

m(d_p)为点p在视差为d时的匹配代价，s为相邻像素点p和q的平滑代价；λ为权重系数；

E_c(d_pc)为p在动态规划路径中的子节点pc上的能量函数值。

步骤3：计算每一个节点与其父节点的取值之间的对应关系。自路径末端节点p_N向前至第二个节点p₂，如图7(1)-(3)所示，对其中每一个节点p_i，计算与其父节点p_i-1每一个可能取值所对应的本节点的取值，具体作如下运算：

步骤3.1：对p_i父节点p_i-1的搜索范围内的每一个点q_(i-1)k，找到如果q_(i-1)k为p_i-1的正确匹配点时，那么p_i应该对应的匹配点。具体步骤如下：首先计算q_(i-1)k点视差d_i-1，然后：

步骤3.1.1：对p_i的搜索范围内的每一个点q_ij，计算视差d_i，根据d_i、d_i-1以及p_i所有子节点能量值之和E_c，按式(4)计算从p_N开始到p_i为止的路径上的总的能量函数值E_kj；

步骤3.1.2：在所得的能量函数值E_kj找到最小值，这个最小值对应所的搜索范围中的点q_ij，即为如果q_(i-1)k为p_i-1的正确匹配点时，p_i所应该对应的匹配点q_Opt；

步骤3.1.3：重复步骤3.1.1和3.1.2，为p_i-1的搜索范围内的每一个点q_(i-1)k找到一个对应的p_i最优取值q_Opt

步骤4：对路径首节点p₁，由于没有父节点，式(4)简化为：

$E\left(d\right)=m\left(d_p\right)+\underset{\mathrm{pc}\∈\mathrm{Vc}}{\mathrm{\Σ}}{E}_c\left(d_{\mathrm{pc}}\right)---\left(5\right)$

对p₁的搜索范围内的每一个点q_1k，直接计算能量函数值E_1k，在所得能量函数值中找到最小值，此最小值所对应的q_1k，即为p₁的匹配点；

步骤5：自第二个节点p₂向后至路径末端节点p_N，根据步骤3所得的子节点与父节点取值之间的对应关系，直接得到每一个节点的匹配点。

在传统的动态规划算法中，通常将图像的行扫描线选取为待匹配路径，逐行匹配。如图8所示。

针对现有的区域增长和动态规划两种算法的缺陷，我们提出了以下的改进思想：

首先，不再使用传统区域增长算法中散乱分布的种子点，这种散乱分布的种子点无法控制增长方向，并且种子点和种子点之间、由种子点向不同方向增长出的匹配点之间相互没有联系，缺少约束。取而代之的是对一个区域从边缘开始整体向内部一圈一圈的增长，通过调整初始区域的位置、形状，可以有效地控制接下来增长的方向。

其次，传统区域增长算法仅仅是限定了匹配点的搜索范围，之后仍然使用最基本的基于灰度相关的匹配算法逐点匹配。而本发明在此基础上进一步将动态规划算法结合进来，将每一圈新增长的点看成一个整体，使用动态规划算法进行匹配。对于区域增长算法，后续的匹配运算得到了强化；对于动态规划算法，较小的搜索范围提供了一个更好的基础。从整体上看，则是在两个接近垂直的方向上同时实现平滑约束。

并且，在划分初始区域的时候，充分考虑到对人脸特征信息的利用，根据脸以及脸部器官的自然轮廓划分初始区域，令匹配运算沿着人脸表面自然变化的方向进行，进一步提高了匹配的准确度。

本发明的具体步骤如下：

步骤1：使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像，任取其中一幅为基准图像，另一幅为对准图像。如图9所示，C_L和C_R为两台摄像机，令C_L拍摄的图像为基准图像，C_R拍摄的图像为对准图像。

步骤2：分别对两台摄像机进行标定，获得各自的内参数矩阵A_L、A_R和外参数矩阵[R_L  T_L]、[R_R  T_R]。内参数矩阵 $A=\left[\begin{array}{ccc}{f}_x& s& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right],$ 其中f_x，f_y分别表示u轴和v轴的尺度因子，又称有效焦距，s表示u轴和v轴轴间不垂直因子，(u₀，v₀)表示以像素为单位的图像的主点坐标，也称光学中心。外参数矩阵[R  T]中R为旋转参数矩阵，T为平移参数矩阵。

现在已有多种成熟有效的标定方法可以自由选用，例如文献“A Flexible NewTechnique for Camera Calibration”(Zhang Z Y，IEEE Transactions on PatternAnalysis and Machine Intelligence，2000，20(11)：1330-1334)提出一种被称为平面模板法的标定算法，它主要是首先用理想针孔透视模型来线性求解摄像机的除畸变系数外的内外参数，然后利用实际成像模型来求解畸变系数，最后利用非线性最优化算法来优化所有摄像机内外参数。

步骤3：从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线，使用动态规划算法对轮廓线上的所有像素点进行匹配，并根据已匹配的轮廓线将基准图像中的人脸划分为7个区域：

步骤3.1：从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线。要求轮廓线的宽度为一个像素，每一条轮廓线都是连续并且封闭的。

现在已有多种从图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线的方法，例如可以使用人工手动的方法，直接在图像中画出轮廓线。

步骤3.2：分别将步骤3.1提取出的基准图像中的每一条轮廓线作为动态规划算法的路径，使用动态规划算法，找到这些轮廓线上的每一个像素点在对准图像中对应的匹配点，

把为基准图像中的像素点在对准图像中找到对应匹配点的过程称为匹配过程，把已经在对准像图像中找到对应匹配点的基准图像中的像素点称为已匹配点，把还没有在对准图像中找到对应匹配点的基准图像中的像素点称为待匹配点，把基准图像中完全由未匹配点组成的区域称为待匹配区域，

步骤3.3：如图10所示，粗线为轮廓线，称眼睛轮廓线包围区域R₁和R₂为眼睛区域，眉毛轮廓线包围区域R₃和R₄为眉毛区域，鼻子轮廓线包围区域R₅为鼻子区域，嘴轮廓线包围区域R₆为嘴区域，脸部轮廓线所包围的除去眼睛、眉毛、鼻子、嘴区域以外的区域R₇即图10中阴影区域为脸部区域。脸部轮廓线以外的区域不参加运算。

这些区域均为待匹配区域，其中所有的点都是待匹配点。各个区域相互之间被由已匹配点组成的轮廓线分隔开。

步骤4：在基准图像中，对眼睛待匹配区域、眉毛待匹配区域、鼻子待匹配区域、嘴待匹配区域，从每个待匹配区域的外边缘线开始，向区域内部，使用区域增长与动态规划相结合的算法，对区域内的待匹配像素点进行匹配：

步骤4.1：在基准图像中选取鼻子待匹配区域的连续的单像素宽度的外边缘线l。这里外边缘线指的是待匹配区域中的、与区域外部相邻的像素点所组成的一条曲线，也就是待匹配区域中最靠外面的一圈像素点。

图11(a)为基准图像中的已经划分好区域的人脸；图11(b)为图11(a)的局部放大图，图中R₅是鼻子待匹配区域，R₇是脸部待匹配区域，粗黑线为步骤3.2提取的鼻子轮廓线，细线l为R₅的外边缘线；图11(c)为图11(b)的局部放大图，图中灰色方块为轮廓线，白色方块为边缘线l，边缘线与轮廓线是紧邻的。

步骤4.2：对外边缘线l上的每一个像素点p_k，k＝1，2，3......K，K为l上的像素点数，选取所有与p_k相邻的已匹配点S_Lm，m＝1，2，3......M，M为与p_k相邻的已匹配点数，令S_Lm与S_Lm在对准图中的匹配点S_Rm组成种子点对，根据区域增长算法原理，确定p_k在对准图中的匹配点的搜索范围，

如图12所示，图12(a)为基准图像的局部放大图，图中白色方块为边缘线l，灰色方块为轮廓线，同时也是已匹配点，P_L1是l上的任意一点，S_L1、S_L2是与P_L1相邻的已匹配点；图12(b)为对准图像的局部放大图，图中灰色方块为基准图像中轮廓线像素点在对准图像中对应的匹配点，其中S_R1、S_R2是S_L1、S_L2在对准图像的匹配点，区域W₁、W₂分别为由S_R1、S_R2根据区域增长策略得到的P_L1匹配点的搜索范围，W₁和W₂的重叠区域即图中的粗线方框即为由S_R1、S_R2共同得到的P_L1匹配点在对准图像中的最终搜索范围。

步骤4.3：以l为动态规划算法的路径，使用动态规划算法，对l上的每一点p_k，在对准图中已确定的搜索范围内寻找对应的匹配点，完成l的匹配。

步骤4.4：重复执行步骤4.1、4.2、4.3，为基准图像中鼻子待匹配区域内的所有像素点在对准图像中找到对应的匹配点。如图13所示，图中粗黑线为鼻子轮廓线，细黑线为第一条外边缘线，虚线为第一次匹配完成后选取的第二条新的外边缘线，也是动态规划的路径。箭头所示为区域增长的方向，由初始外边缘线向区域内部一圈一圈地收缩，与动态规划路径接近垂直。

步骤4.5：对眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区域执行步骤4.1、4.2、4.3、4.4，为基准图像中眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区内的所有像素点在对准图像中找到对应的匹配点。

步骤5：在基准图像中，从脸部待匹配区域的外边缘线开始，向区域内部，使用区域增长与动态规划相结合的算法，对基准图像中脸部待匹配区域内的像素点进行匹配。

随着匹配过程的进行，脸部待匹配区域不断向区域内部收缩，区域的外边缘会与眼睛、眉毛、鼻子、嘴的轮廓线相遇，由此将匹配过程分为两个阶段：从匹配过程开始到脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线中任意一条相遇为第一阶段，从脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线中任意一条相遇之后到整个匹配过程完成为第二阶段。

图14(a)为第一阶段示意图，图中粗线为轮廓线，灰色区域为已匹配区域，白色区域为待匹配区域。此时脸部区域向内部收缩匹配，但外边缘还没有与任何轮廓线相遇。

图14(b)为第二阶段示意图，图中粗线为轮廓线，灰色区域为已匹配区域，白色区域为待匹配区域。此时脸部待匹配区域的外边缘已经与轮廓线相遇，轮廓线成为脸部待匹配区域边界的一部分，形成了新的边界。

具体匹配过程如下，各步骤按阶段不同而略有不同：

步骤5.1：在第一阶段中，在基准图像中直接选取脸部待匹配区域的连续的单像素宽度的外边缘线l，在第二阶段中，脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线相遇后，以遇到的轮廓线为脸部待匹配区域的边界的一部分，与原有边界一起形成了新的脸部待匹配区域边界，沿着新的边界选取脸部待匹配区域的连续的单像素宽度的外边缘线l。

如图13所示，图14(a)为第一阶段，虚线为脸部待匹配区域R₇的外边缘线。箭头所示为区域增长方向。图14(b)为第二阶段，虚线为沿新的边界取的外边缘线。箭头所示为新的区域增长方向。

步骤5.2：与步骤4.2相同。

步骤5.3：与步骤4.3相同。

步骤5.4：重复执行步骤5.1、5.2、5.3，为基准图像中脸部待匹配区域内的所有像素点在对准图像中找到对应的匹配点，

步骤6：将每个基准图像中的像素点和该像素点在对准图像中对应的匹配点合称为一个匹配点对，根据步骤1得到的两台摄像机的内参数矩阵A_L、A_R和外参数矩阵[R_L  T_L]、[R_R  T_R]，计算步骤4和步骤5得到的匹配点对所对应的人脸上的实际点的三维坐标，进而得到整个人脸的三维点云数据。

如图15所示，O_L、O_R分别为两台摄像机的光心，S_L、S_R分别为两台摄像机的成像平面，A_L、A_R分别为两台摄像机的内参数矩阵，[R_L  T_L]、[R_R  T_R]分别为两台摄像机的外参数矩阵，P_L、P_R为两台摄像机所拍图像中的一对匹配点。根据A_L、[R_L  T_L]、O_L、P_L计算出一条由O_L发出，并且经过P_L的射线l_L，根据系统模型可知，P_L、P_R对应的人脸上的实际点P也在这条射线上。同理，根据A_R、[R_R  T_R]、O_R、P_R计算出一条由O_R发出，并且经过P_R的射线l_R，P点同样在这条射线上。考虑到计算误差，取射线l_L和l_R的公垂线的中点为P点，由此得到匹配点对P_L和P_R所对应的人脸上的实际点P的三维坐标。对每一个匹配点对重复同样运算，即可得到整个人脸的三维点云数据。

本发明的完整流程图如图1所示。

Claims (1)

1、一种基于立体匹配的人脸三维模型获取方法，其特征在于：

步骤1：使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像，任取其中一幅为基准图像，另一幅为对准图像，

步骤2：分别对两台摄像机进行标定，获得各自的内参数矩阵A_L、A_R和外参数矩阵[R_LT_L]、[R_RT_R]，内参数矩阵 $A=\left[\begin{array}{ccc}{f}_x& s& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right],$ 其中f_x，f_y分别表示u轴和v轴的尺度因子，又称有效焦距，s表示u轴和v轴轴间不垂直因子，(u₀，v₀)表示以像素为单位的图像的主点坐标，也称光学中心，外参数矩阵[R T]中R为旋转参数矩阵，T为平移参数矩阵，

步骤3：从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线，使用动态规划算法对轮廓线上的所有像素点进行匹配，并根据已匹配的轮廓线将基准图像中的人脸划分为7个区域：

步骤3.1：从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的连续的封闭的单像素宽度的轮廓线，

步骤3.2：分别将步骤3.1提取出的基准图像中的每一条轮廓线作为动态规划算法的路径，使用动态规划算法，找到这些轮廓线上的每一个像素点在对准图像中对应的匹配点，

把为基准图像中的像素点在对准图像中找到对应匹配点的过程称为匹配过程，把已经在对准像图像中找到对应匹配点的基准图像中的像素点称为已匹配点，把还没有在对准图像中找到对应匹配点的基准图像中的像素点称为待匹配点，把基准图像中完全由待匹配点组成的区域称为待匹配区域，

步骤3.3：在基准图像中，把眼睛轮廓线包围的区域称为眼睛区域，把眉毛轮廓线包围的区域称为眉毛区域，把鼻子轮廓线包围的区域称为鼻子区域，把嘴轮廓线包围的区域称为嘴区域，把脸部轮廓线所包围的除去眼睛、眉毛、鼻子、嘴区域以外的区域为脸部区域，这些区域均为待匹配区域，相互之间被由已匹配点组成的轮廓线分隔开，

步骤4：在基准图像中，对眼睛待匹配区域、眉毛待匹配区域、鼻子待匹配区域、嘴待匹配区域，从每个待匹配区域的外边缘线开始，向区域内部，使用区域增长与动态规划相结合的算法，对区域内的待匹配像素点进行匹配：

步骤4.1：在基准图像中选取鼻子待匹配区域的连续的单像素宽度的外边缘线l，

步骤4.2：对外边缘线l上的每一个像素点p_k，k＝1，2，3......K，K为l上的像素点数，选取所有与p_k相邻的已匹配点S_Lm，m＝1，2，3......M，M为与p_k相邻的已匹配点数，令S_Lm与S_Lm在对准图中的匹配点S_Rm组成种子点对，根据区域增长算法原理，确定p_k在对准图中的匹配点的搜索范围，

步骤4.3：以l为动态规划算法的路径，使用动态规划算法，对l上的每一点p_k，在对准图中已确定的搜索范围内寻找对应的匹配点，完成l的匹配，

步骤4.4：重复执行步骤4.1、4.2、4.3，为基准图像中鼻子待匹配区域内的所有像素点在对准图像中找到对应的匹配点，

步骤4.5：对眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区域执行步骤4.1、4.2、4.3、4.4，为基准图像中眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区内的所有像素点在对准图像中找到对应的匹配点，

步骤5：在基准图像中，从脸部待匹配区域的外边缘线开始，向区域内部，使用区域增长与动态规划相结合的算法，对基准图像中脸部待匹配区域内的像素点进行匹配，

随着匹配过程的进行，脸部待匹配区域不断向区域内部收缩，区域的外边缘会与眼睛、眉毛、鼻子、嘴的轮廓线相遇，据此将匹配过程分为两个阶段：从匹配过程开始直到脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线中的任意一条相遇为第一阶段，从脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线中的任意一条相遇之后直到整个匹配过程完成为第二阶段，

步骤5.1：在第一阶段中，在基准图像中直接选取脸部待匹配区域的连续的单像素宽度的外边缘线l，在第二阶段中，脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线相遇后，以遇到的轮廓线为脸部待匹配区域的边界的一部分，与原有边界一起形成了新的脸部待匹配区域边界，沿着新的边界选取脸部待匹配区域的连续的单像素宽度的外边缘线l，

步骤5.2：与步骤4.2相同，

步骤5.3：与步骤4.3相同，

步骤5.4：重复执行步骤5.1、5.2、5.3，为基准图像中脸部待匹配区域内的所有像素点在对准图像中找到对应的匹配点，

步骤6：将每个基准图像中的像素点和该像素点在对准图像中对应的匹配点合称为一个匹配点对，根据步骤1得到的两台摄像机的内参数矩阵A_L、A_R和外参数矩阵[R_LT_L]、[R_RT_R]，计算步骤4和步骤5得到的匹配点对所对应的人脸上的实际点的三维坐标，进而得到整个人脸的三维点云数据。

Images