CN101996416A - 3d人脸捕获方法和设备 - Google Patents

Abstract

本发明提供一种3D人脸捕获的方法和设备，所述方法包括：获得人脸彩色图像；获得人脸深度图像；将人脸彩色图像和人脸深度图像进行对齐；对人脸彩色图像进行二维建模，将建模的二维人脸区域罩在图像对齐模块输出的图像上，以获得三维人脸模型；去除三维人脸模型的深度噪声；以及将三维人脸模型和三维人脸模板对齐，并且基于三维人脸模型和三维人脸模板之间的匹配来去除剩余噪声，以获得精确的三维人脸模型。

Description

3D人脸捕获方法和设备

技术领域

本发明涉及一种3D人脸捕获的方法和设备。

背景技术

目前，消费者已经不满足于二维(2D)信息。人们期望在诸如人机交互、自然游戏控制、三维(3D)显示等方面获得新的体验。这些都需要高质量的3D内容，尤其需要3D人脸的信息。

激光扫描仪是捕获3D对象最普遍且方便的装置。使用激光技术，可以获得非常准确的3D表面。某些研究者尝试使用单个相机或多个相机捕获3D人脸。

在公开号为US6556196且名为“用于处理图像的方法和设备”的美国专利中，从2D图像构建3D人脸。发明人提出了形变模型方法来使用2D图像对3D人脸进行建模。通过激光扫描仪捕获的很多精确3D人脸模型来训练形变模型，3D人脸被表示为主成分分析(PCA)参数，通过最小化3D人脸投影和输入图像之间的差异来估计所述PCA参数。但是该发明仅使用2D图像，因此3D人脸重建不稳健。另外，上述发明需要手动标注特征点并且需要非常长的计算时间。

在公开号为US2009052748且名为“从2D表示构建人脸的3D表示的方法和系统”的美国专利中，发明人使用单个中性正面人脸图像重建3D人脸。从2D输入图像检测了部分输入的面部特征，并且最小化了输入特征与来自合成的3D人脸的特征之间的差异。

但是该发明对于输入存在很多限制。此外，从单个人脸图像重建3D人脸是不适定问题，其结果是重建的3D人脸不稳健。

尽管通过激光扫描仪重建的3D人脸非常精确，但是还存在一些问题。问题之一是界面不够友好。另外，扫描是机械处理，这将花费一些时间，并且在激光扫描头部期间人应该保持不动。还有些人认为激光对人眼有害。此外，激光扫描仪非常昂贵以致不能广泛使用。

基于图像的3D人脸建模方法不如激光扫描仪稳健。这些方法花费更多计算时间。而且这些方法不能实现稳健且精确的3D人脸模式。为了得到理想的结果，一些方法需要手动标注特征点。一些方法利用了人脸3D形状和2D纹理PCA模型。由于通过激光扫描的3D人脸数据库训练这些模型，因此获得这些模型是很艰难的工作。

发明内容

由于激光扫描仪装置非常昂贵且界面不友好，并且基于图像的方法也不稳健。本发明提出一种以较便宜的硬件稳健地重建3D人脸的设备和方法。

本发明的设备包括CCD相机、深度相机和数据处理器。这些装置都比激光扫描仪便宜很多。由于深度相机能够捕获深度信息，因此深度相机和CCD相机的组合能够大大提供系统稳健性。

根据本发明的一方面，提供一种3D人脸捕获方法，所述方法包括：获得人脸彩色图像；获得人脸深度图像；将人脸彩色图像和人脸深度图像进行对齐；对人脸彩色图像进行二维建模，将建模的二维人脸区域罩在图像对齐模块输出的图像上，以获得三维人脸模型；去除三维人脸模型的深度噪声；以及将三维人脸模型和三维人脸模板对齐，并且基于三维人脸模型和三维人脸模板之间的匹配来去除剩余噪声，以获得精确的三维人脸模型。

根据本发明的另一方面，提供一种3D人脸捕获设备，所述设备包括：用于获得人脸彩色图像的单元；用于获得人脸深度图像的单元；图像对齐模块，将人脸彩色图像和人脸深度图像进行对齐；三维人脸模型产生模块，用于对人脸彩色图像进行二维建模，将建模的二维人脸区域罩在图像对齐模块输出的图像上，以获得三维人脸模型；第一去噪模块，用于去除三维人脸模型的深度噪声；以及第二去噪模块，用于将三维人脸模型和三维人脸模板对齐，并且基于三维人脸模型和三维人脸模板之间的匹配来去除剩余噪声，以获得精确的三维人脸模型。

附图说明

图1是示出根据本发明的示例性实施例的3D人脸捕获设备的框图；

图2是示出根据本发明的示例性实施例的RGB图像上的面部划分的示意图；

图3是示出根据本发明的示例性实施例的使用迭代算法来去除深度噪声的流程图；

图4是示出根据本发明的示例性实施例的计算尺度无关方差时的加权函数的示图；

图5是示出本发明中使用的3D人脸模板的示例；

图6是示出根据本发明的示例性实施例的多特征ICP算法的流程图；以及

图7示出根据本发明的示例性实施例的3D人脸捕获方法的流程图。

具体实施方式

以下，参照附图来详细说明本发明的实施例。

图1是示出根据本发明的示例性实施例的3D人脸捕获设备的框图。

如图1所示，本发明的3D人脸捕获设备包括：CCD相机、深度相机和数据处理器，所述数据处理器包括图像对齐模块、3D人脸模型产生模块、不基于模型去噪模块和基于模型去噪模块。

CCD相机拍摄人脸的彩色图像(RGB图像)，例如1024×768的彩色图像。

本发明实施例中的深度相机可以是TOF(光照时间)相机，用于获得强度图像和深度图像。

由于CCD相机可捕获人脸RGB图像，而深度相机可捕获强度图像和深度图像，而且经由不同的相机捕获RGB图像和深度图像，因此不能将RGB图像和深度图像直接融合。在本发明中提供了一个图像对齐模块。

图像对齐模块将来自两个不同相机的图像进行对齐，以输出具有6个元素(R，G，B，x，y，z)的图像，即，具有颜色信息和深度信息的图像。

通过相机标定来计算相机内部参数和相机外部参数。

然后，将6元素(R，G，B，x，y，z)的图像输出到3D人脸产生模块。

3D人脸模型产生模块将根据给出的6元素图像产生粗糙的3D人脸模型。具体过程如下：

第一步：在RGB图像中检测人脸区域并在人脸区域中检测两个眼睛。

可以通过传统基于Haar的检测来准确地检测人脸区域和眼睛。

第二步：在RGB图像上划分人脸区域。

划分方法如图2所示，使用椭圆建模2D人脸，并且使用两个眼睛的坐标(x₀，y₀)和(x₁，y₁)来估计椭圆参数。旋转人脸使得y₀＝y₁。

划分的人脸区域是椭圆：

$\frac{{(x-\stackrel{\‾}{x})}^2}{a^2}+\frac{{(y-\stackrel{\‾}{y})}^2}{b^2}=1$

椭圆的中心是

$\stackrel{\‾}{x}=(x_0+x_1)/2$

$\stackrel{\‾}{y}=y_0-a_0\×D$

D是两个眼睛之间的距离，a₀是常量参数。

$D=\sqrt{{(x_0+x_1)}^2+{(y_0+y_1)}^2}=|x_0-x_1|$

椭圆的长轴和短轴分别为：

a＝D×a₁

b＝D×a₂

a₁和a₂是两个常量值。通过建模2D人脸图像来估计a₀、a₁和a₂。

然后，能够获得划分的人脸区域。再将获得的椭圆人脸区域罩在6元素图像上，这样就获得了3D人脸模型，但是在产生的3D人脸模型中存在许多噪声，因此需要对产生的3D人脸模型进行去噪处理。

在本发明中，去噪处理通过不基于模型去噪模块和基于模型去噪模块来完成。

经过前面通过椭圆来划分人脸区域，x方向和y方向的噪声已经减少。不基于模型去噪模块将去除z方向的噪声，即去除深度噪声。

在本发明的示例性实施例中，通过图3示出的迭代算法来去除深度噪声。

这种算法的核心是计算Z方向上的尺度无关方差V。本发明中的尺度无关方差是当所有样本点乘以相同比例因子时保持不变的方差。

首先在步骤S301计算从3D人脸模型产生模块的3D人脸模型的尺度无关方差。如下计算尺度无关方差V：

$V=\frac{\stackrel{\‾}{V}}{V^{\′}}$

$V^{\′}=\mathrm{\Σ}{(X_i-\stackrel{\‾}{X})}^T(X_i-\stackrel{\‾}{X})$

$\stackrel{\‾}{V}=\frac{\mathrm{\ΣW}\left(\right|X_i-\stackrel{\‾}{X}\left|\right)\×{(X_i-\stackrel{\‾}{X})}^T(X_i-\stackrel{\‾}{X})}{\mathrm{\ΣW}\left(\right|X_i-\stackrel{\‾}{X}\left|\right)}$

其中，W(d)是加权函数，如图4所示。加权函数选择的原则是差值d越大，权重越小，并且当差值达到一定阈值时，权重减小为0。X_i是产生的3D人脸模型的第i个顶点，其为矢量，包括x轴，y轴和z轴的信息，

是顶点的均值。

接下来在步骤S302判断尺度无关方差是否大于第一阈值。该第一阈值可以根据实验来选择。例如，首先计算噪声小的3D人脸模型(例如，3D人脸模板)的尺度无关方差，以该值为基础放大一个比例系数(例如，1.2)后作为第一阈值。在经过几次实验，进行小调整，就可以获得合适的第一阈值。

如果尺度无关方差小于第一阈值，则3D人脸模型中不存在噪声，可以不进行不基于模型去噪处理。

如果尺度无关方差大于或等于第一阈值，则在模型中仍然存在噪声。因此，在步骤S303将噪声去除。一般距离3D人脸模型的中心远的3D点被认为是噪声并且被去除。在步骤S303去除噪声之后，重复步骤S301-S303，直到尺度无关方差小于第一阈值。

按照下述方式来判断是否远离3D人脸模型的中心：

首先计算顶点的z方向(即，深度方向)的均值

也就是说，为了去除深度噪声，需要计算深度信息方向的均值。

${\stackrel{\‾}{z}}_{m+1}=\frac{\mathrm{\ΣW}(z_i-{\stackrel{\‾}{z}}_m)\×z_i}{\mathrm{\Σw}(z_i-{\stackrel{\‾}{z}}_m)}$

在本发明的示例性实施例中，均值的计算是个迭代计算均值

的过程。

中的W是权重函数，可以按照图4描述的方式来选择。z_i是第i个顶点的深度坐标。的下标m意思是第m次迭代过程的结果。当

和

差别足够小(例如，该差别为0.0001)时表示参数收敛，迭代过程停止。

然后，将顶点的深度和均值

的差值与第二阈值T进行比较，即判断

是否成立。如果差值大于第二阈值T，则认为该顶点距离3D人脸模型的中心远，即，该顶点为噪声，将其去除。反之，如果差值小于或等于第二阈值T，则该顶点不是噪声，保留该顶点。

第二阈值T的计算过程如下：

$T=\mathrm{const}\×\sqrt{\frac{\mathrm{\ΣW}(z_i-\stackrel{\‾}{z})\×{(z_i-\stackrel{\‾}{z})}^2}{\mathrm{\ΣW}(z_i-\stackrel{\‾}{z})}}$

其中，const是一个常数(例如，3)，

是

收敛的结果。根据上述处理可以去除深度方向的噪声。

经过3D人脸模型产生模块以及不基于模型去噪模块之后，去除了大部分孤立点，能够获得具有少量噪声的3D人脸模型。

由于人脸彼此非常相似，因此还需要通过基于模型去噪模块来对齐3D人脸模型和3D人脸模板并且基于3D人脸模型和3D人脸模板之间的匹配来判断哪些点是噪声，哪些点不是噪声。也就是说，在本发明的基于模型去噪过程中，既对齐了3D人脸模型和3D人脸模板，也去除了噪声。

本发明示例性实施例中的3D人脸模板如图5所示。

这里，3D人脸模板和3D人脸模型具有不同的尺度。然而传统的对齐(诸如迭代邻近点(ICP))算法要求输入模型和参考模型具有相同的大小，这样传统ICP算法不能有效地将3D人脸模型和3D人脸模板进行对齐。因此，本发明提出一个新的对齐算法，称为“多特征ICP”，以解决这一问题。本发明的多特征ICP算法如图6所示。

在根据本发明的多特征ICP算法中，首先在步骤S601，对输入的3D人脸模型粗糙地估计尺度因子，可以按照下面的公式来计算尺度因子s：

$s=\sqrt{\frac{\mathrm{\Σ}(X_i-\stackrel{\‾}{X})\×{(X_i-\stackrel{\‾}{X})}^T}{\mathrm{\Σ}(X_i^{\′}-{\stackrel{\‾}{X}}^{\′})\×{(X_i^{\′}-{\stackrel{\‾}{X}}^{\′})}^T}}$

其中，X_i是3D人脸模型的第i个顶点，

是3D人脸模型顶点的均值。X′_i是3D人脸模板的第i个顶点，

是3D人脸模板顶点的均值。

与传统ICP算法不同，输入的3D人脸模型不仅有顶点坐标，还有颜色信息。另外，还计算了顶法线方向、顶点邻域信息。

然后在步骤S602根据计算的尺度因子对输入的3D人脸模板进行归一化。

接下来，在步骤S603对3D人脸模型和3D人脸模板进行顶点匹配，并且去除3D人脸模型中与3D人脸模板不匹配的那些点(即，噪声点)。在本发明的多特征ICP算法的顶点匹配过程中，为了更鲁棒的计算3D人脸模型和3D人脸模板之间的顶点对应关系，采样多种特征进行点的匹配以寻找相应点，所述多种特征包括顶点的3D坐标、颜色信息、法线方向、顶点邻域信息。使用这些信息，能够快速且稳健地定位正确的相应点。因此，本发明的多特征ICP算法中的顶点匹配更加准确。

在步骤S604，对已匹配的顶点估计平移系数和旋转系数。

然后在步骤S605判断平移系数和旋转系数是否收敛。如果平移系数和旋转系数收敛，则说明3D人脸模型与3D人脸模板已经对齐。相反，如果平移系数和旋转系数不收敛，则进行步骤S606，更新尺度因子，也就是说，按照下述公式重新计算尺度因子：

$s=\sqrt{\frac{\mathrm{\Σ}(X_i-\stackrel{\‾}{X})\×{(X_i-\stackrel{\‾}{X})}^T}{\mathrm{\Σ}(X_i^{\′}-{\stackrel{\‾}{X}}^{\′})\×{(X_i^{\′}-{\stackrel{\‾}{X}}^{\′})}^T}}$

其中，X_i是3D人脸模型的第i个顶点，是3D人脸模型顶点的均值。X′_i是3D人脸模板的第i个顶点，是3D人脸模板顶点的均值。

然后，在步骤S607，根据更新的尺度因子来更新输入的3D人脸模型。接着重复步骤S602-S605，直到平移系数和旋转系数收敛，即，完成3D人脸模型与3D人脸模板的对齐。

多特征ICP估计两个模型之间的尺度因子，并且反复对齐这两个模型。即使两个模型具有不同的尺度，因此本发明的多特征ICP算法也能稳健地将3D人脸模型与3D人脸模板对齐。

根据本发明的3D人脸捕获设备的处理，能够获得非常好的3D人脸模型。

图7示出根据本发明的示例性实施例的3D人脸捕获方法。

在利用CCD和深度相机获得彩色图像和深度图像之后，在步骤S701，通过图像对齐处理来获得具有6个元素(R，G，B，x，y，z)的图像。

在步骤S702，产生3D人脸模型并且去除xy平面上的大部分噪声。

在步骤S703，去除深度方向(即，z方向)中的大部分噪声。

在步骤S704，通过多特征ICP算法将3D人脸模型与3D人脸模板对齐并且减少剩余的噪声点。

上面已经详细描述了多特征ICP算法，在此不再进行重复描述。

通过上述四步处理之后，能够获得精确的3D人脸模型。

根据本发明的3D人脸捕获方法是示例性的，本发明也可应用于各种3D图像捕获，诸如动物的3D图像或者飞机、汽车等交通工具的3D图像。根据本发明所述的方法，能够减少重建3D图像的时间且重建的3D图像更加稳健。另外，产生本发明所述的设备成本较低且便于实现。

Claims (23)

1.一种三维人脸捕获方法，所述方法包括：

获得人脸彩色图像；

获得人脸深度图像；

将人脸彩色图像和人脸深度图像进行对齐；

对人脸彩色图像进行二维建模，将建模的二维人脸区域罩在图像对齐模块输出的图像上，以获得三维人脸模型；

去除三维人脸模型的深度噪声；以及

将三维人脸模型和三维人脸模板对齐，并且基于三维人脸模型和三维人脸模板之间的匹配来去除剩余噪声，以获得精确的三维人脸模型。

2.如权利要求1所述的三维人脸捕获方法，其特征在于在对人脸彩色图像进行二维建模的步骤中，使用椭圆对人脸彩色图像进行二维建模。

3.如权利要求2所述的三维人脸捕获方法，其特征在于去除三维人脸模型的深度噪声的步骤包括：

计算深度方向上的尺度无关方差V；

将尺度无关方差V与第一阈值进行比较来判断三维人脸模型中是否存在噪声。

4.如权利要求3所述的三维人脸捕获方法，其特征在于所述尺度无关方差V的计算方法为：

$V=\frac{\stackrel{\‾}{V}}{V^{\′}}$

$V^{\′}=\mathrm{\Σ}{(X_i-\stackrel{\‾}{X})}^T(X_i-\stackrel{\‾}{X})$

$\stackrel{\‾}{V}=\frac{\mathrm{\ΣW}\left(\right|X_i-\stackrel{\‾}{X}\left|\right)\×{(X_i-\stackrel{\‾}{X})}^T(X_i-\stackrel{\‾}{X})}{\mathrm{\ΣW}\left(\right|X_i-\stackrel{\‾}{X}\left|\right)}$

其中，W()是权重函数，X_i是三维人脸模型的第i个顶点，

是三维人脸模型顶点的均值。

5.如权利要求3所述的三维人脸捕获方法，其特征在于所述第一阈值根据实验选择。

6.如权利要求3所述的三维人脸捕获方法，其特征在于去除三维人脸模型的深度噪声的步骤还包括：

如果三维人脸模型中存在噪声，则计算顶点深度方向的均值

将顶点的深度和均值

的差值与第二阈值T进行比较；

如果所述差值大于第二阈值T，则该顶点为噪声，将其去除。

7.如权利要求6所述的三维人脸捕获方法，其特征在于通过迭代计算均值

${\stackrel{\‾}{z}}_{m+1}=\frac{\mathrm{\ΣW}(z_i-{\stackrel{\‾}{z}}_m)\×z_i}{\mathrm{\Σw}(z_i-{\stackrel{\‾}{z}}_m)}$

其中，W()是权重函数，z_i是第i个顶点的深度坐标，

的下标m是第m次迭代过程的结果，当

和

差别足够小时表示收敛且迭代过程停止，收敛时的结果为均值

8.如权利要求6所述的三维人脸捕获方法，其特征在于第二阈值T为：

$T=\mathrm{const}\×\sqrt{\frac{\mathrm{\ΣW}(z_i-\stackrel{\‾}{z})\×{(z_i-\stackrel{\‾}{z})}^2}{\mathrm{\ΣW}(z_i-\stackrel{\‾}{z})}}$

其中，const是一个常数。

9.如权利要求1所述的三维人脸捕获方法，其特征在于将三维人脸模型和三维人脸模板对齐包括步骤：

a.粗糙地估计尺度因子；

b.根据计算的尺度因子对输入的三维人脸模板进行归一化；

c.利用多种特征对三维人脸模型和三维人脸模板进行顶点匹配；

d.对已匹配的顶点估计平移系数和旋转系数，判断平移系数和旋转系数是否收敛；

e.如果平移系数和旋转系数不收敛，则更新尺度因子；

f.根据更新的尺度因子来更新输入的三维人脸模型；

g.重复上述步骤a-f直到平移系数和旋转系数收敛。

10.如权利要求9所述的三维人脸捕获方法，其特征在于所述多种特征包括顶点的三维坐标、颜色信息、法线方向、顶点邻域信息。

11.如权利要求9所述的三维人脸捕获方法，在步骤c中，如果存在不匹配的顶点，则认为该顶点是噪声并将其去除。

12.一种三维人脸捕获设备，所述设备包括：

用于获得人脸彩色图像的单元；

用于获得人脸深度图像的单元；

图像对齐模块，将人脸彩色图像和人脸深度图像进行对齐；

三维人脸模型产生模块，用于对人脸彩色图像进行二维建模，将建模的二维人脸区域罩在图像对齐模块输出的图像上，以获得三维人脸模型；

第一去噪模块，用于去除三维人脸模型的深度噪声；以及

第二去噪模块，用于将三维人脸模型和三维人脸模板对齐，并且基于三维人脸模型和三维人脸模板之间的匹配来去除剩余噪声，以获得精确的三维人脸模型。

13.如权利要求12所述的三维人脸捕获设备，其特征在于三维人脸模型产生模块使用椭圆对人脸彩色图像进行二维建模。

14.如权利要求13所述的三维人脸捕获设备，其特征在于第一去噪模块计算深度方向上的尺度无关方差V，并且将尺度无关方差V与第一阈值进行比较来判断三维人脸模型中是否存在噪声。

15.如权利要求14所述的三维人脸捕获设备，其特征在于尺度无关方差V的计算方法为：

$V=\frac{\stackrel{\‾}{V}}{V^{\′}}$

$V^{\′}=\mathrm{\Σ}{(X_i-\stackrel{\‾}{X})}^T(X_i-\stackrel{\‾}{X})$

$\stackrel{\‾}{V}=\frac{\mathrm{\ΣW}\left(\right|X_i-\stackrel{\‾}{X}\left|\right)\×{(X_i-\stackrel{\‾}{X})}^T(X_i-\stackrel{\‾}{X})}{\mathrm{\ΣW}\left(\right|X_i-\stackrel{\‾}{X}\left|\right)}$

其中，W()是权重函数，X_i是三维人脸模型的第i个顶点，

是三维人脸模型顶点的均值。

16.如权利要求14所述的三维人脸捕获设备，其特征在于第一阈值根据实验选择。

17.如权利要求14所述的三维人脸捕获设备，其特征在于如果三维人脸模型中存在噪声，则第一去噪模块计算顶点深度方向的均值

并且将顶点的深度和均值

的差值与第二阈值T进行比较，如果所述差值大于第二阈值T，则该顶点为噪声，将其去除。

18.如权利要求17所述的三维人脸捕获设备，其特征在于通过迭代计算均值

${\stackrel{\‾}{z}}_{m+1}=\frac{\mathrm{\ΣW}(z_i-{\stackrel{\‾}{z}}_m)\×z_i}{\mathrm{\Σw}(z_i-{\stackrel{\‾}{z}}_m)}$

其中，W()是权重函数，z_i是第i个顶点的深度坐标，的下标m是第m次迭代过程的结果，当

和

差别足够小时表示收敛且迭代过程停止，收敛时的结果为均值

19.如权利要求17所述的三维人脸捕获设备，其特征在于第二阈值T为：

$T=\mathrm{const}\×\sqrt{\frac{\mathrm{\ΣW}(z_i-\stackrel{\‾}{z})\×{(z_i-\stackrel{\‾}{z})}^2}{\mathrm{\ΣW}(z_i-\stackrel{\‾}{z})}}$

其中，const是一个常数。

20.如权利要求12所述的三维人脸捕获设备，其特征在于第二去噪模块粗糙地估计尺度因子，根据计算的尺度因子对输入的三维人脸模板进行归一化，利用多种特征对三维人脸模型和三维人脸模板进行顶点匹配，对已匹配的顶点估计平移系数和旋转系数，判断平移系数和旋转系数是否收敛，如果平移系数和旋转系数不收敛，则更新尺度因子，根据更新的尺度因子来更新输入的三维人脸模型，然后重复上述处理直到平移系数和旋转系数收敛。

21.如权利要求20所述的三维人脸捕获设备，其特征在于所述多种特征包括顶点的三维坐标、颜色信息、法线方向、顶点邻域信息。

22.如权利要求12所述的三维人脸捕获设备，其特征在于用于获得人脸彩色图像的单元是CCD相机。

23.如权利要求12所述的三维人脸捕获设备，其特征在于用于获得人脸深度图像的单元是深度相机。

Images