CN104680135A - 一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法 - Google Patents

Abstract

本发明公开了一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法，包含构造平均鼻子模型阶段和检测标记点阶段。构造平均鼻子模型是指通过三维图像获取设备获取三维人脸，手动标定人脸标记点，训练平均鼻子模型；检测标记点阶段是指将旋转角度加入三维人脸数据，与平均鼻子模型进行模板匹配，控制旋转角度检测标记点。本发明方法通过构造平均鼻子模型和设置旋转角度，能够对抗人脸的表情、姿态和遮挡变化，并通过将三维人脸转化为深度图，加快检测效率，对促进三维人脸在身份认证方向上的实际应用有着重要作用。

Description

一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法

技术领域

本发明涉及图像处理及模式识别技术领域，尤其涉及三维人脸识别方向中的标记点检测方法。

背景技术

在当今信息时代，个人身份的有效识别与认证在各类安保系统中都是一个亟待解决的问题。生物特征识别因其具有安全性、普遍性、易维护性等优点，为上述问题提供了解决方向。生物特征识别技术是指，利用人体特有的生理信息及行为作为特征，通过计算进行身份识别及验证的技术。人脸识别是生物特征识别的一个分支，具有最自然、友好、用户接受度高、易被采集等优势。

三维人脸识别是指基于三维图像的人脸识别技术，三维人脸带有人脸的原始几何信息，有望克服现今人脸识别中遇到的姿态变化的问题。而现在的三维人脸识别方法一般都是针对没有姿态或只带很小姿态的人脸，具有较大姿态的人脸识别，仍然是个难题。另外，现在的三维人脸识别极少考虑在有遮挡情况下的人脸识别。姿态和遮挡不变的三维人脸识别的难点都在于，在人脸带有较大姿态或遮挡的情况下，人脸某些部分都会损失较多信息，另外，表情变化会使人脸变形，从而人脸几何结构发生变化，导致三维数据变化，在这种情况下，如何能准确地检测出人脸的重要标记点，从而很好地校准人脸，就是需要解决的问题。

鼻尖点是所有标记点中相对刚性、鲁棒性高的标记点，很多方法都尝试检测该标记点作为解决姿态不变的三维人脸识别方法的入口，但是，至今仍然没有很好的方法能解决上述问题。

发明内容

针对目前三维人脸识别领域内现有技术的不足，提出了一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法，该方法在人脸有较大姿态、多种遮挡的情况下，都具有较强的鲁棒性。

为实现上述技术目的，本发明采用的技术方案如下：一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法，该方法包括以下步骤：

(1)构造平均鼻子模型阶段，包括以下子步骤：

(1.1)采集训练人脸：通过三维图像获取设备获取中性姿态和中性表情(即无姿态变化和表情变化)的人脸，作为人脸训练库，并手动定位重要标记点，包括眼睛、鼻子、嘴角点等；

(1.2)校准人脸形状：由训练人脸标记点构成的网格图表示人脸形状，采用普式分析方法将所有人脸形状对齐到统一的形状，并构建以鼻尖点为球心的球形分割人脸，以去掉人脸的无效部分(如头发、耳朵等)；

(1.3)生成人脸深度图：在三维人脸所在坐标系中，在x-y坐标轴上以一定分辨率为间隔建立网格，将z轴坐标值采用双立方插值的方法插值到相应x-y网格上，填补空洞，从而得到三维人脸网格图，将三维人脸网格图对x-y坐标系投影，z轴坐标作为像素值，获得深度图；

(1.4)人脸预处理：对步骤1.3获取的人脸深度图进行中值滤波去掉峰值点，进行高斯平滑滤波平滑人脸去除噪声，降采样到10万像素大小范围内的人脸；

(1.5)生成平均人脸模型：以鼻尖点为基准，将所有训练人脸深度图进行叠加取其平均，得到平均人脸模型，设输入人脸深度图为I_i,i＝1,2,…,K,则平均人脸模型AFM计算如下式：

$\mathrm{AFM}(u,v)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{I}_i(u,v)---\left(5\right)$

其中AFM(u,v)和I_i(u,v)分别表示AFM和I_i对应坐标位置的像素值，K表示人脸数量；

(1.6)生成平均鼻子模型：将鼻子区域从平均人脸模型分割出来，得到平均鼻子模型；在平均鼻子模型的基础上分别构建左半平均鼻子模型和右半平均鼻子模型；所述鼻子模型设置为矩形，包含鼻子的形状，并且保证无用信息较少，避免降低处理人脸损失数据较多的情况的能力；

(2)检测标记点阶段，包括以下子步骤：

(2.1)采集测试人脸：通过三维图像获取设备获取任意表情、姿态和遮挡变化的三维人脸，作为人脸测试库；设测试库中有M张人脸，任意一张人脸F为3×N的矩阵，N是人脸F的点云数量，F表示如下式：

$F_i=\left[\begin{array}{c}{x}_1,x_2,...,x_N\\ y_1,y_2,...,y_N\\ z_1,z_1,...,z_N\end{array}\right]---\left(6\right)$

(2.2)绕Y轴旋转：将测试库的一张人脸以角度β绕Y轴旋转，得到R张三维人脸；旋转公式如下式：

$\left(\begin{array}{c}{x}_i^{\mathrm{\β}}\\ y_i^{\mathrm{\β}}\\ z_i^{\mathrm{\β}}\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin & 0& \cos \mathrm{\β}\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\\ z_i\end{array}\right)---\left(7\right)$

其中，三维坐标点表示为(x_i,y_i,z_i)(i＝1,2,…,N)，对应输出的旋转坐标点为其中β∈[-90°,90°]，以6°为步长，每张测试库中的人脸均有R＝31个旋转角度；对测试库中M张人脸进行旋转，得到M×R张旋转后的三维人脸；

(2.3)生成人脸深度图：对于步骤2.2旋转后的三维人脸，在三维人脸所在坐标系中，在x-y坐标轴上以一定分辨率为间隔建立网格，将z轴坐标值采用双立方插值的方法插值到相应x-y网格上，填补空洞，从而得到三维人脸网格图，将三维人脸网格图对x-y坐标系投影，z轴坐标作为像素值，获得深度图；

(2.4)人脸预处理：对步骤2.3获取的人脸深度图进行中值滤波去掉峰值点，进行高斯平滑滤波平滑人脸去除噪声，降采样到人脸大小在10万像素范围以内；

(2.5)模板匹配，该步骤包括以下子步骤：

(2.5.1)将步骤2.4预处理后的人脸深度图与步骤1.6得到的三个平均鼻子模型进行以标准互相关为准则的模板匹配，标准互相关方法表示如下：

${\mathrm{NC}}_{T,I}(x,y)=\frac{\underset{u=-m}{\overset{m}{\mathrm{\Σ}}}\underset{v=-n}{\overset{n}{\mathrm{\Σ}}}T(u,v)\·I(x+u,y+v)}{\sqrt{\underset{u=-m}{\overset{m}{\mathrm{\Σ}}}\underset{v=-n}{\overset{n}{\mathrm{\Σ}}}{\left(T(u,v)\right)}^2\underset{u=-m}{\overset{m}{\mathrm{\Σ}}}\underset{v=-n}{\overset{n}{\mathrm{\Σ}}}{\left(I(x+u,y+v)\right)}^2}}---\left(8\right)$

其中，模板图像T大小为(2m+1)×(2n+1)，待检测的图像为I，(x,y)为模板T左上角对应在图像I上的坐标，T(u,v)表示模板坐标(u,v)下的像素值，I(x+u,y+v)表示检测图像中坐标(x+u,y+v)的像素值；NC_T,I(x,y)为标准互相关图；

(2.5.2)对于每张人脸深度图，模板匹配之后都得到三张标准互相关图，分别保留最大值作为对应三个平均鼻子模型的匹配系数；

(2.5.3)计算步骤2.5.2得到的三个匹配系数中的最大系数C_i，记下该系数对应的旋转角度β_i，最大系数在标准互相关图中的位置为鼻子区域所在位置，获取对应的鼻尖点；

(2.5.4)将测试库中的一张三维人脸旋转后的R个深度图对应的R个匹配系数{C₁,C₂,…,C_R}进行降序排序，得到{CS₁,CS₂,…,CS_R}；

(2.5.5)设置阈值T，如果最大的匹配系数CS₁大于阈值T，那么直接选取CS₁对应的鼻尖点作为最终的鼻尖点，结束算法；否则，如果CS₁小于阈值T，执行步骤2.5.6；

(2.5.6)统计步骤2.5.4中排前十的匹配系数对应鼻尖点坐标的出现次数，将出现次数最多的鼻尖点坐标定为最终的鼻尖点；

(2.6)采用同样方法检测步骤1.1手动定位的人脸其他重要标记点，最终得到所有的抗表情、姿态和遮挡变化的三维人脸标记点，完成三维人脸标记点检测。

本发明的有益效果是：

1、通过构造完全、左半和右半三个平均鼻子模型，使得算法在人脸带有遮挡和较大姿态变化而使人脸信息损失较多的情况下，仍然能准确地检测到鼻尖点，提高了算法的鲁棒性。

2、将三维人脸转化为深度图，并在深度图上检测鼻尖点，相较于直接在三维人脸上操作，加快了鼻尖点检测效率。

3、加入绕Y轴旋转的操作，在多个旋转角度的人脸上分别检测鼻尖点，提高了检测的鼻尖点的准确性，并使得在较大旋转角度下检测鼻尖点成为可能。

4、采用基于改进的标准互相关的模板匹配的方法进行鼻尖点检测，检测速度快，算法效率高。

5、在模板匹配的相关度不够高的情况下，设置进一步的选择方法，采用统计鼻尖点坐标出现次数的方式，确定最终的鼻尖点，提升了算法的可靠性。

附图说明

图1为本发明方法的总流程图；

图2为手动标记的8个人脸标记点的分布图；

图3为测试人脸检测到的鼻尖点的样例图，(a)为带遮挡变化的人脸，(b)带表情变化的人脸，(c)为带姿势变化的人脸。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

如图1所示，本发明一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法，包括以下步骤：

(1)构造平均鼻子模型阶段，包括以下子步骤：

(1.1)采集训练人脸：本发明采用基于结构光的第二代高质量3D数字化仪采集中性姿态和中性表情的人脸，作为人脸训练库，并手动定位重要标记点，所述重要标记点包括左右眼睛内角点、左右眼睛外角点、鼻尖点、左右嘴角点和下巴点等8个标记点，标记点分布图如图2所示；

(1.2)校准人脸形状：由训练人脸标记点构成的网格图表示人脸形状，采用普式分析方法将所有人脸形状对齐到统一的形状，并构建以鼻尖点为球心的球形分割人脸，去除人脸的无效部分，所述无效部分包括头发、耳朵等；

(1.3)生成人脸深度图：在三维人脸所在坐标系中，在x-y坐标轴上以一定分辨率为间隔建立网格，将z轴坐标值采用双立方插值的方法插值到相应x-y网格上，填补空洞，得到三维人脸网格图，将三维人脸网格图对x-y坐标系投影，z轴坐标作为像素值，获得深度图；根据实验分析，分辨率设置为1mm时，标记点检测准确且速度快；

(1.4)人脸预处理：对步骤1.3获取的人脸深度图进行中值滤波去掉峰值点，进行高斯平滑滤波平滑人脸去除噪声，降采样到10万像素大小范围内的人脸；

(1.5)生成平均人脸模型：以鼻尖点为基准，将所有训练人脸深度图进行叠加取其平均，得到平均人脸模型，设输入人脸深度图为I_i,i＝1,2,…,K,则平均人脸模型AFM计算如下式：

$\mathrm{AFM}(u,v)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{I}_i(u,v)---\left(1\right)$

其中AFM(u,v)和I_i(u,v)分别表示AFM和I_i对应坐标位置的像素值，K表示人脸数量；

(1.6)生成平均鼻子模型：将鼻子区域从平均人脸模型分割出来，得到平均鼻子模型；在平均鼻子模型的基础上分别构建左半平均鼻子模型和右半平均鼻子模型；所述鼻子模型设置为矩形，包含鼻子的形状，并且保证无用信息较少；

(2)检测标记点阶段，包括以下子步骤：

(2.1)采集测试人脸：通过三维图像获取设备获取任意表情、姿态和遮挡变化的三维人脸，作为人脸测试库；设测试库中有M张人脸，分别表示为F₁,F₂,…,F_M，其中任意一张人脸F_i(i＝1,2,…,M)为3×N的矩阵，N是人脸F_i的点云数量，F_i表示如下式：

$F_i=\left[\begin{array}{c}{x}_1,x_2,...,x_N\\ y_1,y_2,...,y_N\\ z_1,z_1,...,z_N\end{array}\right]---\left(2\right)$

(2.2)绕Y轴旋转：将测试库的一张人脸以角度β绕Y轴旋转，得到R张三维人脸；旋转公式如下式：

$\left(\begin{array}{c}{x}_i^{\mathrm{\β}}\\ y_i^{\mathrm{\β}}\\ z_i^{\mathrm{\β}}\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin & 0& \cos \mathrm{\β}\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\\ z_i\end{array}\right)---\left(3\right)$

其中，三维坐标点表示为(x_i,y_i,z_i)(i＝1,2,…,N)，对应输出的旋转坐标点为其中β∈[-90°,90°]，以6°为步长，每张测试库中的人脸均有R＝31个旋转角度；对测试库中M张人脸进行旋转，得到M×R张旋转后的三维人脸；

(2.3)生成人脸深度图：对于步骤2.2旋转后的三维人脸，在三维人脸所在坐标系中，在x-y坐标轴上以一定分辨率为间隔建立网格，将z轴坐标值采用双立方插值的方法插值到相应x-y网格上，填补空洞，从而得到三维人脸网格图，将三维人脸网格图对x-y坐标系投影，z轴坐标作为像素值，获得深度图；

(2.4)人脸预处理：对步骤2.3获取的人脸深度图进行中值滤波去掉峰值点，进行高斯平滑滤波平滑人脸去除噪声，降采样到人脸大小在10万像素范围以内；

(2.5)模板匹配，该步骤包括以下子步骤：

(2.5.1)将步骤2.4预处理后的人脸深度图与步骤1.6得到的三个平均鼻子模型进行以标准互相关NCC为准则的模板匹配，标准互相关方法表示如下：

${\mathrm{NC}}_{T,I}(x,y)=\frac{\underset{u=-m}{\overset{m}{\mathrm{\Σ}}}\underset{v=-n}{\overset{n}{\mathrm{\Σ}}}T(u,v)\·I(x+u,y+v)}{\sqrt{\underset{u=-m}{\overset{m}{\mathrm{\Σ}}}\underset{v=-n}{\overset{n}{\mathrm{\Σ}}}{\left(T(u,v)\right)}^2\underset{u=-m}{\overset{m}{\mathrm{\Σ}}}\underset{v=-n}{\overset{n}{\mathrm{\Σ}}}{\left(I(x+u,y+v)\right)}^2}}---\left(4\right)$

其中，模板图像T大小为(2m+1)×(2n+1)，待检测的图像为I，(x,y)为模板T左上角对应在图像I上的坐标，T(u,v)表示模板坐标(u,v)下的像素值，I(x+u,y+v)表示检测图像中坐标(x+u,y+v)的像素值；NC_T,I(x,y)为标准互相关图；

(2.5.2)对于每张人脸深度图，模板匹配之后都得到三张标准互相关图，分别保留最大值作为对应三个平均鼻子模型的匹配系数；

(2.5.3)计算步骤2.5.2得到的三个匹配系数中的最大系数C_i，记下该系数对应的旋转角度β_i，最大系数在标准互相关图中的位置为鼻子区域所在位置，获取对应的鼻尖点；

(2.5.4)将测试库中的一张三维人脸旋转后的R个深度图对应的R个匹配系数{C₁,C₂,…,C_R}进行降序排序，得到{CS₁,CS₂,…,CS_R}；

(2.5.5)设置阈值T，如果最大的匹配系数CS₁大于阈值T，那么直接选取CS₁对应的鼻尖点作为最终的鼻尖点，结束算法；否则，如果CS₁小于阈值T，执行步骤2.5.6；

(2.5.6)统计步骤2.5.4中排前十的匹配系数对应鼻尖点坐标的出现次数，将出现次数最多的鼻尖点坐标定为最终的鼻尖点，如图3为检测到鼻尖点的测试人脸样例图，图中黑色加号表示鼻尖点的位置；

(2.6)采用同样方法检测步骤1.1手动定位的人脸其他重要标记点，最终得到所有的抗表情、姿态和遮挡变化的三维人脸标记点，完成三维人脸标记点检测。

Claims (1)

1.一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法，其特征在于，该方法包括以下步骤：

(1)构造平均鼻子模型阶段，包括以下子步骤：

(1.1)采集训练人脸：通过三维图像获取设备获取中性姿态和中性表情的人脸，作为人脸训练库，并手动定位重要标记点；

(1.2)校准人脸形状：由训练人脸标记点构成的网格图表示人脸形状，采用普式分析方法将所有人脸形状对齐到统一的形状，并构建以鼻尖点为球心的球形分割人脸，以去除人脸的无效部分；

(1.3)生成人脸深度图：在三维人脸所在坐标系中，在x-y坐标轴上以一定分辨率为间隔建立网格，将z轴坐标值采用双立方插值的方法插值到相应x-y网格上，填补空洞，得到三维人脸网格图，将三维人脸网格图对x-y坐标系投影，z轴坐标作为像素值，获得深度图；

(1.4)人脸预处理：对步骤1.3获取的人脸深度图进行中值滤波去掉峰值点，进行高斯平滑滤波平滑人脸去除噪声，降采样到10万像素大小范围内的人脸；

(1.5)生成平均人脸模型：以鼻尖点为基准，将所有训练人脸深度图进行叠加取其平均，得到平均人脸模型，设输入人脸深度图为I_i,i＝1,2,…,K,则平均人脸模型AFM计算如下式：

$\mathrm{AFM}(u,v)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{I}_i(u,v)---\left(1\right)$

其中AFM(u,v)和I_i(u,v)分别表示AFM和I_i对应坐标位置的像素值，K表示人脸数量；

(1.6)生成平均鼻子模型：将鼻子区域从平均人脸模型分割出来，得到平均鼻子模型；在平均鼻子模型的基础上分别构建左半平均鼻子模型和右半平均鼻子模型；所述鼻子模型设置为矩形，包含鼻子的形状，并且保证无用信息较少；

(2)检测标记点阶段，包括以下子步骤：

(2.1)采集测试人脸：通过三维图像获取设备获取任意表情、姿态和遮挡变化的三维人脸，作为人脸测试库；设测试库中有M张人脸，任意一张人脸F为3×N的矩阵，N是人脸F的点云数量，F表示如下式：

$F=\left[\begin{array}{c}{x}_1,x_2,...,x_N\\ y_1,y_2,...,y_N\\ z_1,z_2,...,z_N\end{array}\right]---\left(2\right)$

(2.2)绕Y轴旋转：将测试库的一张人脸以角度β绕Y轴旋转，得到R张三维人脸；旋转公式如下式：

$\left(\begin{array}{c}{x}_i^{\mathrm{\β}}\\ y_i^{\mathrm{\β}}\\ z_i^{\mathrm{\β}}\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\\ z_i\end{array}\right)---\left(3\right)$

其中，三维坐标点表示为(x_i,y_i,z_i)(i＝1,2,…,N)，对应输出的旋转坐标点为其中β∈[-90°,90°]，以6°为步长，每张测试库中的人脸均有R＝31个旋转角度；对测试库中M张人脸进行旋转，得到M×R张旋转后的三维人脸；

(2.3)生成人脸深度图：对于步骤2.2旋转后的三维人脸，在三维人脸所在坐标系中，在x-y坐标轴上以一定分辨率为间隔建立网格，将z轴坐标值采用双立方插值的方法插值到相应x-y网格上，填补空洞，从而得到三维人脸网格图，将三维人脸网格图对x-y坐标系投影，z轴坐标作为像素值，获得深度图；

(2.4)人脸预处理：对步骤2.3获取的人脸深度图进行中值滤波去掉峰值点，进行高斯平滑滤波平滑人脸去除噪声，降采样到人脸大小在10万像素范围以内；

(2.5)模板匹配，该步骤包括以下子步骤：

(2.5.1)将步骤2.4预处理后的人脸深度图与步骤1.6得到的三个平均鼻子模型进行以标准互相关为准则的模板匹配，标准互相关方法表示如下：

${\mathrm{NC}}_{T,I}(x,y)=\frac{\underset{u=-m}{\overset{m}{\mathrm{\Σ}}}\underset{v=-n}{\overset{n}{\mathrm{\Σ}}}T(u,v)\·I(x+u,y+v)}{\sqrt{\underset{u=-m}{\overset{m}{\mathrm{\Σ}}}\underset{v=-n}{\overset{n}{\mathrm{\Σ}}}{\left(T(u,v)\right)}^2\underset{u=-m}{\overset{m}{\mathrm{\Σ}}}\underset{v=-n}{\overset{n}{\mathrm{\Σ}}}{\left(I(x+u,y+v)\right)}^2}}---\left(4\right)$

其中，模板图像T大小为(2m+1)×(2n+1)，待检测的图像为I，(x,y)为模板T左上角对应在图像I上的坐标，T(u,v)表示模板坐标(u,v)下的像素值，I(x+u,y+v)表示检测图像中坐标(x+u,y+v)的像素值；NC_T,I(x,y)为标准互相关图；

(2.5.2)对于每张人脸深度图，模板匹配之后都得到三张标准互相关图，分别保留最大值作为对应三个平均鼻子模型的匹配系数；

(2.5.3)计算步骤2.5.2得到的三个匹配系数中的最大系数C_i，记下该系数对应的旋转角度β_i，最大系数在标准互相关图中的位置为鼻子区域所在位置，获取对应的鼻尖点；

(2.5.4)将测试库中的一张三维人脸旋转后的R个深度图对应的R个匹配系数{C₁,C₂,…,C_R}进行降序排序，得到{CS₁,CS₂,…,CS_R}；

(2.5.5)设置阈值T，如果最大的匹配系数CS₁大于阈值T，那么直接选取CS₁对应的鼻尖点作为最终的鼻尖点，结束算法；否则，如果CS₁小于阈值T，执行步骤2.5.6；

(2.5.6)统计步骤2.5.4中排前十的匹配系数对应鼻尖点坐标的出现次数，将出现次数最多的鼻尖点坐标定为最终的鼻尖点；

(2.6)采用同样方法检测步骤1.1手动定位的人脸其他重要标记点，最终得到所有的抗表情、姿态和遮挡变化的三维人脸标记点，完成三维人脸标记点检测。