CN113158892A - 一种与纹理和表情无关的人脸识别方法 - Google Patents

Abstract

本发明提供了一种与纹理和表情无关的人脸识别方法，包括：(1)对双目相机采集重建后的人脸点云数据进行预处理，过滤背景点云，压缩点云数据，通过检测鼻尖点，动态截取出待识别的人脸点云数据。(2)将待测点云缩放到标准尺度，计算鼻尖点到其他点云的测地线距离，保留等测地线轮廓上的点云数据，提取刚性区域的特征点云。(3)将特征点云与数据库点云采用迭代最近点算法进行匹配，构造误差函数，多次迭代，得到最终的匹配误差。(4)计算出人脸数据库所有点云的匹配误差，选择误差最小的人脸，与阈值进行比较，完成识别。

Description

一种与纹理和表情无关的人脸识别方法

技术领域

本发明属于图像处理及模式识别技术领域，更具体的是涉及一种与纹理和表情无关的人脸识别方法。

背景技术

近年来，二维人脸识别一直存在的一些问题,光照影响大,图像、视频和高仿面具破解人脸识别事件时有发生。另一方面，随着三维人脸采集技术的发展，三维人脸识别成为研究热点，能够很好地解决二维人脸识别中存在的一些问题。同样三维人脸识别也存在一些问题，不同的表情变化对整个面部的三维识别带来很大的影响，因此如何解决不同表情的识别是一大难点。三维人脸点云数据量巨大，三维识别存在运算量大，识别速度慢的特点，难以满足市场要求，如何进行快速点云处理和人脸识别也是一大难点。

发明内容

发明目的：本发明的主要目的在于解决现有技术中存在的问题，提供一种与纹理和表情无关的人脸识别方法，通过对三维点云的处理，能够利用基于等测地线的刚性区域特征，实现对不同纹理和表情下人脸的快速识别。

一种与纹理和表情无关的人脸识别方法，方法应用于三维点云处理，其特征在于，所述方法包括步骤：

步骤1：对双目相机采集重建后的人脸点云数据进行预处理，动态截取出待识别的人脸点云数据；

步骤2：将待测点云缩放到标准尺度，计算鼻尖点到其他点云的测地线距离，保留等测地线轮廓上的点云数据，提取刚性区域的特征点云；

步骤3：将特征点云与数据库点云采用迭代最近点算法进行匹配，得到最终的匹配误差；

步骤4：计算出人脸数据库所有点云的匹配误差，选择误差最小的人脸，完成识别。

步骤1包含如下步骤：

步骤1.1：使用双目相机采集人脸图像，利用采集到的左右目图像计算出视差值，利用视差值计算出深度值并且生成N个原始点云；

步骤1.2：使用体素化网格方法对原始点云进行处理，通过设定立方体的大小参数s，选取立方体的重心代替点云其他的点，对原始点云进行下采样，获得压缩后的N′个点云同时维持点云的形状和大小；

步骤1.3：点云以双目相机的左相机中心为原点，建立xyz世界坐标系，点云在坐标轴中的分布如图2所示，人脸朝向z轴负方向，遍历点云获得z轴方向数值最小的坐标z_min，选取阈值l(一般取200)，令z轴最大值为z_max＝z_min+l，保留z轴坐标在z_min到z_max之间的点云，删除坐标值高于z_max的点云，过滤掉背景点云。

步骤1.4：采用线性插值的方法对点云进行网格化处理，将点云网格化成m行n列，从上到下遍历每行格点，针对每行格点，从左到右依次遍历，具体的，设定当前遍历第i行第j个格点为α(x_α,y_α,z_α)，以每个格点为圆心画圆，圆的半径为r，计算出圆与当前行相交的两个格点β(x_β,y_β,z_β)和γ(x_γ,y_γ,z_γ)，满足如下关系：

计算α到直线

的距离d_i,j，d_i,j满足如下关系：

令第i行最大的距离为d_i＝max{d_i,j|1<j<n}，此时的点为α_i(x_i,y_i,z_i)，其中α_i∈D，从点集D中选择距离最大的前n₀个点云，进行直线拟合，(滤除偏离过大的点云)，滤除到直线距离小于1的点云，在剩下的点云中选择出z轴坐标值最小的点云α₀(x₀,y₀,z₀)作为鼻尖点；

步骤1.5：根据鼻尖点α₀(x₀,y₀,z₀)的z轴坐标计算出人脸截取半径R和缩放比例ε，遍历剩余所有点云，当点云中任意一点(x,y,z)满足如下条件时：

(x-x₀)²+(y-y₀)²+(z-z₀)²<r² (3)

保留所述点云作为面部区域的N₀个点云；

以鼻尖点α₀(x₀,y₀，z₀)为球心进行缩放，令所有点云(x,y,z)满足如下关系：

使得不同距离采集的点云人脸面部区域能够采集到正确的轮廓，同时使得点云保持在同样的尺度。

步骤2包含如下步骤：

步骤2.1：对整个点云进行三角化，使得每个点云与周围的点云构成三角形，将三角面片数据保存到矩阵S中；

依次计算鼻尖点到周围面部点云的距离，从矩阵S中获取相关路径信息，采用迪克斯特拉算法得到鼻尖点α₀(x₀,y₀,z₀)到每个面部点云的最短距离d_k,k＝1,2,…,N₀，当N₀＞＞4，即为足够大时，鼻尖点到其他点云的测地线距离

近似等于最短距离d_k，即

将测地线距离

数据保存到矩阵D^GD中；

步骤2.2：将测地线距离

相近的点云记为轮廓线，设定选择n₀条轮廓线，遍历点云，寻找出点云中距离鼻尖点最远的点的坐标α_max(x_max,y_max,z_max)，并计算出最远距离d_max，则每个轮廓线之间的间隔距离

设定每个轮廓线覆盖的范围是d_e，则以鼻尖点为球心，对点云进行筛选，使得

满足如下条件：

其中，i＝1,2,…,n₀；

将满足条件的点云存储到点集P^LG中；

步骤2.3：计算点集P^LG中任意一点

与鼻尖点α₀(x₀,y₀,z₀)合成的向量

与y轴正方向

夹角θ，满足如下关系：

令夹角阈值为δ，一般取180°，如果θ<δ判定为刚性区域，即鼻尖点以上的扇形区域；如果θ＞δ判定为非刚性区域，即鼻尖点以下区域；

将刚性区域的点云保存到点集P^face中，一共包含用N^face个点云于面部识别。

步骤3包含如下步骤：

步骤3.1：从人脸数据库中获取一个人脸点集P¹，计算P^face中每一个点

在人脸点集P¹中对应最近的点

计算平均距离e满足如下条件：

根据对应点信息，计算出旋转矩阵P和平移矩阵R，更新点集P¹中点的坐标；

步骤3.2：设置迭代次数为n_f，重复步骤3.1，迭代n_f次，停止迭代，计算出最终的平均距离e，e为最终的匹配误差。

步骤4包含如下步骤：

步骤4.1：将点集P^face与人脸数据库中人脸进行匹配，人脸数据库包含n_num个人脸信息

表示第n_num个人脸信息，计算出每个对应的匹配误差

表示第n_num个匹配误差；

步骤4.2：令最小的匹配误差为

并且设定此时人脸数据库对应的人脸序号为k^face；设置人脸相似度判断阈值ε^face，一般设置为15，如果e_min<ε^face，则判定待测人脸为人脸数据库中的k^face号人脸，如果e_min＞ε^face，则判定待测人脸不在人脸数据库中。

有益效果：本发明相对于传统的二维人脸识别而言，能够有效的抑制光照的干扰，能够有效的防止由图像视频引起的人脸欺诈问题。本发明相对于其他的三维人脸识别技术而言，能够有效的解决纹理和表情的干扰，在不同的纹理和表情下，能够进行较好的识别，算法具有鲁棒性。本发明相对于其他的三维人脸识别算法采用全部的点云而言，可以通过提取轮廓线的方式能够大大降低点云数据量，提高算法的运行速度，提高人脸的识别速度，具有实用性和可行性。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明所述方法的系统流程图。

图2为本发明所述方法的压缩后的原始点云图。

图3为本发明所述方法的提取后的人脸面部区域点云图。

图4为本发明所述方法的等测地线的人脸轮廓图。

图5为本发明所述方法的待测人脸和数据库人脸匹配效果图。

具体实施方式

如图1所示，本发明提供了一种与纹理和表情无关的人脸识别方法，方法应用于三维点云处理，包括如下步骤：

S1：对双目相机采集重建后的人脸点云数据进行预处理，过滤背景点云，压缩点云数据，通过检测鼻尖点，动态截取出待识别的人脸点云数据。

S2：将待测点云缩放到标准尺度，计算鼻尖点到其他点云的测地线距离，保留等测地线轮廓上的点云数据，提取刚性区域的特征点云。

S3：将特征点云与数据库点云采用迭代最近点算法进行匹配，构造误差函数，多次迭代，得到最终的匹配误差。

S4：计算出人脸数据库所有点云的匹配误差，选择误差最小的人脸，与阈值进行比较，完成识别。

进一步地，S1中存在如下步骤：

步骤1.1：使用双目摄像头采集人脸图像，利用采集到的左右目图像计算出视差值，利用视差值计算出深度值并且生成328329个原始点云。

步骤1.2：使用体素化网格方法对原始点云进行处理，通过设定立方体的大小参数5，选取立方体的重心代替点云其他的点，对原始点云进行下采样，获得压缩后的21492个点云同时维持点云的形状和大小。压缩后的点云如图2所示。

步骤1.3：遍历点云获得z轴方向数值最小的坐标z_min＝278.9690，选取阈值l＝200，令z轴最大值为z_max＝478.9690，保留z轴坐标在z_min到z_max之间的点云，删除坐标值高于z_max的点云，过滤掉背景点云。

步骤1.4：采用线性插值的方法对点云进行网格化处理，将点云网格化成400行100列，从上到下遍历每行格点，针对每行格点，从左到右依次遍历，具体的，假设当前遍历第i行第j个格点为α(x_α,y_α,z_α)，以每个格点为圆心画圆，圆的半径为r＝45，计算出圆与当前行相交的两个格点β(x_β,y_β,z_β)和γ(x_γ,y_γ,z_γ)，其满足如下关系：

计算α到直线

的距离，假设距离为d_i,j则满足如下关系：

令第i行最大的距离为d_i＝max{d_i,j|1<j<n}，此时的点为α_i(x_i,y_i,z_i)，其中α_i∈D，从D中选择距离最大的前20个点云，进行直线拟合，滤除偏离过大的点云。在剩下的点云中选择出z值最小的点云α₀(40.12,-14.12,279.54)作为鼻尖点。

步骤1.5：根据鼻尖点的α₀(40.12,-14.12,279.54)的z轴坐标计算出人脸截取半径R＝80和缩放比例ε＝0.9，遍历剩余所有点云，当点云(x,y,z)满足如下条件时：

(x-x₀)²+(y-y₀)²+(z-z₀)²<R² (3)

保留这些点云作为面部区域的N₀＝10514个点云。以鼻尖点α₀为球心进行缩放，令所有点云(x,y,z)满足如下关系：

使得不同距离采集的点云人脸面部区域能够采集到正确的轮廓，同时使得点云保持在同样的尺度，具体如图3所示。

进一步地，S2中存在如下步骤：

步骤2.1：首先对整个点云进行三角化，使得每个点云与周围的点云构成三角形，将三角面片数据保存到矩阵S中。依次计算鼻尖点到周围面部点云的距离，从矩阵S中获取相关路径信息，采用迪克斯特拉算法得到鼻尖点α₀(40.12,-14.12,279.54)到每个面部点云的最短距离d_k,k＝1,2,…,N₀，其中当N₀足够大时，鼻尖点到其他点云的测地线距离

近似等于最短距离d_k,即

将测地线距离

数据保存到矩阵D^GD中。

步骤2.2：选择n₀＝18条轮廓线，遍历点云，40.12,-14.12,279.54寻找出点云中距离鼻尖点最远的点的坐标α_max(39.34,-89.32,305.76)，并计算出最远距离79.64，因此每个轮廓线之间的间隔距离

假设每个轮廓线覆盖的范围是d_e＝0.5，则以鼻尖点为球心，对点云进行筛选，使得

满足如下条件：

将满足条件的点云存储到点集P^LG中，具体如图4所示。

步骤2.3：计算点集P^LG中任意一点

与鼻尖点α₀合成的向量

与y轴正方向

夹角θ，满足如下关系：

令夹角阈值为δ＝85^°，如果θ<δ判定为刚性区域，即鼻尖点以上的扇形区域，受表情变化影响较小，如果θ＞δ判定为非刚性区域，即鼻尖点以下区域，受表情变化影响较大。将刚性区域的点云保存到点集P^face中，一共包含用N^face个点云于面部识别。

进一步地，S3中存在如下步骤：

步骤3.1：从数据库中获取一个人脸点集P¹，计算P^face中每一个点

在P¹点集中对应最近的点

计算平均距离e满足如下条件：

根据对应点信息，计算出旋转矩阵P和平移矩阵R，更新点集P¹中点的坐标。

步骤3.2：设置迭代次数为n_f＝10，重复步骤3.1，迭代n_f次，停止迭代，计算出最终的误差e。

进一步地，S4中存在如下步骤：

步骤4.1：将点集P^face与人脸数据库中人脸进行匹配，人脸库包含n_num＝5个人脸信息

计算出每个对应的匹配误差

步骤4.2：令最小的匹配误差为

并且假设此时数据库对应的人脸序号为k^face＝3；设置人脸相似度判断阈值ε^face＝15，因为e_min<ε^face，则判定待测人脸为数据库中的3号人脸，具体如图5所示。

本发明提供了一种与纹理和表情无关的人脸识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种与纹理和表情无关的人脸识别方法，其特征在于，包括如下步骤：

步骤1：对双目相机采集重建后的人脸点云数据进行预处理，动态截取出待识别的人脸点云数据；

步骤2：将待测点云缩放到标准尺度，计算鼻尖点到其他点云的测地线距离，保留等测地线轮廓上的点云数据，提取刚性区域的特征点云；

步骤3：将特征点云与数据库点云采用迭代最近点算法进行匹配，得到最终的匹配误差；

步骤4：计算出人脸数据库所有点云的匹配误差，选择误差最小的人脸，完成识别。

2.根据权利要求1所述的方法，其特征在于，步骤1包含如下步骤：

步骤1.1：使用双目相机采集人脸图像，利用采集到的左右目图像计算出视差值，利用视差值计算出深度值并且生成N个原始点云；

步骤1.2：使用体素化网格方法对原始点云进行处理，通过设定立方体的大小参数s，选取立方体的重心代替点云其他的点，对原始点云进行下采样，获得压缩后的N′个点云同时维持点云的形状和大小；

步骤1.3：点云以双目相机的左相机中心为原点，建立xyz世界坐标系，人脸朝向z轴负方向，遍历点云获得z轴方向数值最小的坐标z_min，选取阈值l，令z轴最大值为z_max＝z_min+l，保留z轴坐标在z_min到z_max之间的点云，删除坐标值高于z_max的点云，过滤掉背景点云；

步骤1.4：采用线性插值的方法对点云进行网格化处理，将点云网格化成m行n列，从上到下遍历每行格点，针对每行格点，从左到右依次遍历，具体的，设定当前遍历第i行第j个格点为α(x_α，y_α，z_α)，以每个格点为圆心画圆，圆的半径为r，计算出圆与当前行相交的两个格点β(x_β，y_β，z_β)和γ(x_γ，y_γ，z_γ)，满足如下关系：

计算α到直线

的距离d_i，j，d_i，j满足如下关系：

令第i行最大的距离为d_i＝max{d_i，j|1＜j＜n}，此时的点为α_i(x_i，y_i，z_i)，其中α_i∈D，从点集D中选择距离最大的前n₀个点云，进行直线拟合，滤除到直线距离小于1的点云，在剩下的点云中选择出z轴坐标值最小的点云α₀(x₀，y₀，z₀)作为鼻尖点；

步骤1.5：根据鼻尖点α₀(x₀，y₀，z₀)的z轴坐标计算出人脸截取半径R和缩放比例ε，遍历剩余所有点云，当点云中任意一点(x，y，z)满足如下条件时：

(x-x₀)²+(y-y₀)²+(z-z₀)²＜R² (3)

保留所述点云作为面部区域的N₀个点云；

以鼻尖点α₀(x₀，y₀，z₀)为球心进行缩放，令所有点云(x，y，z)满足如下关系：

使得不同距离采集的点云人脸面部区域能够采集到正确的轮廓，同时使得点云保持在同样的尺度。

3.根据权利要求2所述的方法，其特征在于，步骤2包含如下步骤：

步骤2.1：对整个点云进行三角化，使得每个点云与周围的点云构成三角形，将三角面片数据保存到矩阵S中；

依次计算鼻尖点到周围面部点云的距离，从矩阵S中获取相关路径信息，采用迪克斯特拉算法得到鼻尖点α₀(x₀，y₀，z₀)到每个面部点云的最短距离d_k，k＝1，2，...，N₀，当N₀足够大时，鼻尖点到其他点云的测地线距离

近似等于最短距离dk，即

将测地线距离

数据保存到矩阵D^GD中；

步骤2.2：将测地线距离

相近的点云记为轮廓线，设定选择n₀条轮廓线，遍历点云，寻找出点云中距离鼻尖点最远的点的坐标α_max(x_max，y_max，z_max)，并计算出最远距离d_max，则每个轮廓线之间的间隔距离

设定每个轮廓线覆盖的范围是d_e，则以鼻尖点为球心，对点云进行筛选，使得

满足如下条件：

其中，i＝1，2，...，n₀；

将满足条件的点云存储到点集P^LG中；

步骤2.3：计算点集P^LG中任意一点

与鼻尖点α₀(x₀，y₀，z₀)合成的向量

与y轴正方向

夹角θ，满足如下关系：

令夹角阈值为δ，如果θ＜δ判定为刚性区域，即鼻尖点以上的扇形区域；如果θ＞δ判定为非刚性区域，即鼻尖点以下区域；

将刚性区域的点云保存到点集Pf^ace中，一共包含用Nf^ace个点云于面部识别。

4.根据权利要求3所述的方法，其特征在于，步骤3包含如下步骤：

步骤3.1：从人脸数据库中获取一个人脸点集P¹，计算P^face中每一个点

在人脸点集P¹中对应最近的点

计算平均距离e满足如下条件：

根据对应点信息，计算出旋转矩阵P和平移矩阵R，更新点集P¹中点的坐标；

步骤3.2：设置迭代次数为n_f，重复步骤3.1，迭代n_f次，停止迭代，计算出最终的平均距离e，e为最终的匹配误差。

5.根据权利要求4所述的方法，其特征在于，步骤4包含如下步骤：

步骤4.1：将点集P^face与人脸数据库中人脸进行匹配，人脸数据库包含n_num个人脸信息

表示第n_num个人脸信息，计算出每个对应的匹配误差

表示第n_num个匹配误差；

步骤4.2：令最小的匹配误差为

并且设定此时人脸数据库对应的人脸序号为k^face；设置人脸相似度判断阈值ε^face，如果e_min＜ε^face，则判定待测人脸为人脸数据库中的k^face号人脸，如果e_min＞ε^face，则判定待测人脸不在人脸数据库中。

Images