CN117894059A - 一种3d人脸识别方法 - Google Patents

Abstract

本发明公开了一种3D人脸识别方法，涉及人脸识别技术领域，通过获取多姿态人脸图像及预处理，多姿态人脸3D渲染模型训练，将3D人脸区域做网格化划分，将最终获得的3D人脸进行形状和纹理特征提取并与人脸样本空间中人脸进行匹配，完成人脸识别，在人脸识别过程中不会影响到被识别人的自然活动过程，不需要约束人脸与摄像头之间的距离，应用于设有通用监控摄像头的场所，例如电力营业厅，对场所内的人群进行身份识别。

Description

一种3D人脸识别方法

技术领域

本发明涉及人脸识别技术领域，具体涉及一种3D人脸识别方法。

背景技术

3D人脸识别是一种利用三维图像信息进行人脸识别的方法，与传统的基于二维图像的人脸识别方法相比，三维人脸数据包含更加丰富的身份信息，可以减轻环境因素的影响，因此具有更高的准确性和鲁棒性。目前，3D人脸识别技术已经在金融服务、公共安全、人机交互等领域得到了广泛的应用。

从3D人脸识别用到的数据类型的角度，当前三维人脸识别方法可以分为基于点云数据的人脸识别方法、基于RGB-D数据的人脸识别方法、从单目彩色RGB图像进行三维人脸重构的识别方法。基于点云数据的人脸识别方法通过3D扫描技术或深度相机等设备获取人脸的点云数据，从预处理后的点云数据中提取特征，将提取的特征与已存储的人脸特征进行匹配，实现人脸识别。基于RGB-D数据的人脸识别方法通过深度相机等设备获取人脸的RGB-D数据，然后从RGB图像中提取颜色和纹理特征，从深度图像中提取形状特征，将RGB和深度特征进行融合，以获得更加全面的特征表示，将这些特征与库内人脸特征进行匹配，完成人脸识别。基于点云数据和RGB-D数据的人脸识别方法可以抑制环境因素对人脸识别的影响，但其设备不易于广泛布置于自然监控情境中。自然监控是指采用日常监控设备非刻意的针对特定场景和目标的监控状态。自然监控下主要采用单目彩色RGB摄像头，获取RGB二维图像，通过深度学习网络模型进行渲染构建三维人脸，提取人脸特征并与数据库内人脸进行匹配实现人脸识别。运用单目彩色RGB图像进行三维人脸重构，由于获取的信息有限且容易受到环境的影响，往往用于比较特定的身份识别系统，对人脸与识别系统的距离有一定要求。

因此，需要开发一种在自然监控下实现3D人脸重构和高效识别的方法改善上述问题。

发明内容

本发明的目的是提供一种自然监控下多采样3D人脸识别方法，通过深度神经网络模型生成3D人脸，对面部进行区域划分，并投影生成2D面部与图片中的人脸进行差别计算，利用差别数据对3D人脸进一步调整，实现自然活动状态下人脸高效识别，以解决背景技术中不足。

为了实现上述目的，本发明提供如下技术方案：一种3D人脸识别方法，所述识别方法包括以下步骤：

S1、获取多姿态人脸图像及预处理；

步骤S1中，获取多姿态人脸图像及预处理包括以下步骤：

采用YOLOv7多姿态人体检测模型，在自然监控下进行实时人体检测，根据人体区域的服装色彩、纹理跟踪信息，通过在后续视频帧的邻域空间搜索和匹配实现多姿态人体的实时跟踪，并在跟踪到的人体区域内进行实时多姿态人脸的检测；

在自然监控下采样到第一次人脸后，对人脸图像进行预处理，按Openpose定义的68个人脸特征点对人脸进行面部特征点拟合并切割出面部区域后规范化为大小100×100×3的人脸图像，并将人脸图像导入人脸样本空间，将规范化后的面部特征点坐标导入对应编号的人脸坐标空间；

在跟踪人体区域检测到的人脸图像进行预处理后提取面部特征点坐标与人脸坐 标空间内坐标进行比对，设人脸样本空间内第m张人脸的第i个面部特征点的坐标为，计算与当前人脸特征点的差异，函数表达式为：

，

若大于100，认为当前人脸图像与人脸样本空间内人脸存在差异，对人脸图像 进行采样，并导入人脸样本空间；

S2、多姿态人脸3D渲染模型训练；

步骤S2中，利用步骤S1获取的人脸图像训练深度神经网络实现多姿态人脸3D渲染模型的构建，多姿态人脸3D渲染模型包括不确定性感知编码器、形状解码器、纹理解码器；

S3、将3D人脸区域做网格化划分；

S4、人脸识别。

在一个优选的实施方案中，不确定性感知编码器：在编码器中使用不确定性嵌入， 采用表示人脸的形状和纹理，其中，z表示嵌入向量，表示输入人脸 图像，是第i个输入的人脸的形状特征，是与相应特征相关的置信度；针对具有同一性 的图像对，测量和共享相同潜在矢量即的可能性，对于相同的恒等式，形 状和纹理都相等：

，

其中和分别是第i个和第j个输入的人脸的形状和纹理特征的潜在矢量，表示和两个矢量相等的可能性，是狄拉克德尔塔函数；使用对数似 然：

，

其中，和分别表示第i个和第j个输入的人脸的形状的第个特征平均值， 和分别表示第i个和第j个输入的人脸的形状的第个特征的方差，D表示特征空间维 度；

通过在没有不确定性估计的情况下预训练确定性三维重建网络而获得；给定一 组具有相同身份的图像，训练一个不确定性网络来估计人脸识别结果的不确定性，不确定 性网络是与来自编码器的瓶颈层共享相同输入的分支网络；使用优化准则来最大化所有的方程，其中和是相等同一性的配对图像，使用损失函数最小化：

，

其中是不确定性网络的损失函数，P是所有相等同一性的配对图像；

形状解码器：使用切比雪夫图卷积网络作用于3D人脸划分的三维网格，通过回归网格顶点的三维坐标估计人脸形状；

三维网格用无向连通图表示为,其中表示n个顶点的集合，是边 缘的集合；是对顶点之间的连接状态进行编码的邻接矩阵，归一化图拉普拉斯算 子是：

，

其中，是对角线矩阵，，是对角线上的元素，是W矩阵的第 i行第j列元素，是单位矩阵，拉普拉斯算子L通过傅立叶基对角化，，表示第n-1个对角化向量；

其中，是第n-1个特征值，图卷积运算定义为：

，

其中，K表示图卷积中的节点总数，是切比雪夫系数的向量，是 按比例拉普拉斯算子计算的k阶切比雪夫多项式，频域卷积定义为：

，

其中是输出特征图，是第i个人脸的样本空间大小，是对同一性配对的图 卷积运算；

纹理解码器：使用圆柱形展开将每个三维顶点投影到UV空间上，完成纹理解码。

在一个优选的实施方案中，步骤S3中，将3D人脸区域做网格化划分包括以下步骤：

当采样到第一张人脸图像后，对该人脸进行3D渲染，并将3D人脸进行网格化，接下 来采样的人脸同样进行3D渲染网格化，通过投影为2D图像，对相应的网格区域进行交叉验 证，计算当前人脸网格投影和新采样人脸网格投影分别与人脸样本空间中人脸和当前采样 人脸相应人脸部位的差距；设为当前3D人脸第k个部位的网格投影，为新采样人脸3D 渲染后第k个部位的网格投影，对人脸样本空间每个面部的第k个部位计算距 离：

，

，

为人脸样本空间中第m个人脸的第k个部位的投影，为当前3D人脸的第k个 部位与人脸样本空间中人脸第k个部位的距离和，为新采样人脸3D渲染后第k个部位与 人脸样本空间中人脸第k个部位的距离和，当，将第k个部位的网格更新为当前采 样人脸3D渲染网格。

在一个优选的实施方案中，步骤S4中，包括以下步骤：

将最终获得的3D人脸进行形状和纹理特征提取并与人脸样本空间中人脸进行匹配，完成人脸识别。

在上述技术方案中，本发明提供的技术效果和优点：

本发明通过获取多姿态人脸图像及预处理，多姿态人脸3D渲染模型训练，将3D人脸区域做网格化划分，将最终获得的3D人脸进行形状和纹理特征提取并与人脸样本空间中人脸进行匹配，完成人脸识别，在人脸识别过程中不会影响到被识别人的自然活动过程，不需要约束人脸与摄像头之间的距离，通过对目标的跟踪和多次采样进行3D人脸的重构和调节，实现自然活动状态下人脸高效识别，可应用于设有通用监控摄像头的场所，例如电力营业厅，对场所内的人群进行身份识别。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明的人脸识别方法流程图。

图2为本发明的获取多姿态人脸图像流程图。

图3为本发明的深度神经网络实现多姿态人脸3D渲染模型构建流程图。

图4为本发明的人脸3D渲染流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：请参阅图1所示，本实施例所述一种3D人脸识别方法，所述识别方法包括以下步骤：

S1、获取多姿态人脸图像及预处理；

S2、多姿态人脸3D渲染模型训练；

S3、将3D人脸区域做网格化划分；

S4、人脸识别。

一些实施例中，执行步骤S1的过程中，首先通过深度相机获取各种姿态的RGB-D人 脸图像，形成训练用数据样本。通过人工方式对图像中的人脸区域进行标记，精细化样本。 图2为获取多姿态人脸图像流程图，在实际应用过程中，采用YOLOv7多姿态人体检测模型， 在自然监控下进行实时人体检测，根据人体区域的服装色彩、纹理等跟踪信息，通过在后续 视频帧的邻域空间搜索和匹配实现多姿态人体的实时跟踪，并在跟踪到的人体区域内进行 实时多姿态人脸的检测，以加速人脸检测的效率。在自然监控下采样到第一次人脸后，对人 脸图像进行预处理，预处理的目的是将人脸区域中其他信息去除，使人脸区域规范为同尺 寸图像，具体为按Openpose定义的68个人脸特征点对人脸进行面部特征点拟合并切割出面 部区域后规范化为大小100×100×3的人脸图像，并将人脸图像导入人脸样本空间，将规范 化后的面部特征点坐标导入对应编号的人脸坐标空间。在此后，在跟踪人体区域检测到的 人脸图像进行预处理后提取面部特征点坐标与人脸坐标空间内坐标进行比对，假设人脸样 本空间内第m张人脸的第i个面部特征点的坐标为，按以下方法计算与当前人脸特征点的差异：

，

如果超过100即可认为当前人脸图像与人脸样本空间内人脸存在明显差异， 对人脸图像进行采样，并导入人脸样本空间。

一些实施例中，执行步骤S2的过程中，利用步骤S1获取的人脸图像训练如图3所示 的深度神经网络实现多姿态人脸3D渲染模型的构建，多姿态人脸3D渲染模型包括不确定性 感知编码器、形状解码器、纹理解码器。人脸的形状和纹理的理想嵌入向量z对于相同的恒 等式应该保持一致。然而，考虑到输入人脸图像中存在其他外部效应或噪声（例如，姿态、 模糊、遮挡、白化、照明）的可能性，由于不确定特征的不可避免的偏移，不可能回归所有图 像的一致嵌入向量z。使用不确定性感知编码器，该编码器可以通知解码器图像中的哪些特 征是不确定的。这个不确定性项也可能具有特殊的正则化效应，模型能够对有信心的部分 以高保真度重建，对不确定的部分以高通用性重建。

不确定性感知编码器：在编码器中使用不确定性嵌入，采用 表示人脸的形状和纹理，其中是第i个输入的人脸的形状特征，是与相应特征相关的置 信度。针对具有同一性的图像对，测量和共享相同潜在矢量即的可能性， 这意味着对于相同的恒等式，形状和纹理都相等：

，

其中和分别是第i个和第j个输入的人脸的形状和纹理特征的潜在矢量，表示和两个矢量相等的可能性，是狄拉克德尔塔函数。然后，使用对 数似然：

，

其中，和分别表示第i个和第j个输入的人脸的形状的第个特征平均值，和分别表示第i个和第j个输入的人脸的形状的第个特征的方差，D表示特征空间 维度。

首先固定值，该值是通过在没有不确定性估计的情况下预训练确定性三维重建 网络而获得的。然后，给定一组具有相同身份的图像，我们训练一个不确定性网络来估计人 脸识别结果的不确定性。不确定性网络是与来自编码器的瓶颈层共享相同输入的分支网 络。使用优化准则来最大化所有的方程，其中和是相等同一性的配对图像。形式 上，我们使用损失函数来最小化：

，

其中是不确定性网络的损失函数，P是所有相等同一性的配对图像。通过这个 过程，模型学会了如何估计不确定性。这个特殊值可以作为特征的注意力值，并应用于损失 函数。

形状解码器：我们使用切比雪夫图卷积网络，它直接作用于3D人脸划分的三维网格，通过回归网格顶点的三维坐标来估计人脸形状。它适用于具有预定义拓扑的结构化图。

三维网格可以用无向连通图表示为,其中表示n个顶点的集合， 是边缘的集合。是对顶点之间的连接状态进行编码的邻接矩阵。归一化图拉普拉 斯算子是：

，

其中，是对角线矩阵，，是对角线上的元素，是W矩阵的第 i行第j列元素，是单位矩阵。拉普拉斯算子L通过傅立叶基对角化，，表示第n-1个对角化向量。

其中，是第n-1个特征值。图卷积运算定义为：

，

其中，K表示图卷积中的节点总数，是切比雪夫系数的向量，是 按比例拉普拉斯算子计算的k阶切比雪夫多项式，频域卷积可以定义为：

，

其中是输出特征图，是第i个人脸的样本空间大小，是对同一性配对的图 卷积运算。

从高层次的角度来看，图卷积通过使用3D坐标作为每个顶点的输入以及输入特征来估计每个顶点的3D坐标。

纹理解码器：使用圆柱形展开将每个三维顶点投影到UV空间上，从而完成纹理解码。

一些实施例中，执行步骤S3的过程中，如图4所示，当采样到第一张人脸图像后，对 该人脸进行3D渲染，并将3D人脸进行网格化，接下来采样的人脸同样进行3D渲染网格化，通 过投影为2D图像，对相应的网格区域进行交叉验证，计算当前人脸网格投影和新采样人脸 网格投影分别与人脸样本空间中人脸和当前采样人脸相应人脸部位的差距，假设为当前 3D人脸第k个部位的网格投影，为新采样人脸3D渲染后第k个部位的网格投影，对人脸样 本空间每个面部的第k个部位计算距离：

，

，

为人脸样本空间中第m个人脸的第k个部位的投影，为当前3D人脸的第k个 部位与人脸样本空间中人脸第k个部位的距离和，为新采样人脸3D渲染后第k个部位与 人脸样本空间中人脸第k个部位的距离和，当，将第k个部位的网格更新为当前采 样人脸3D渲染网格。

一些实施例中，执行步骤S4的过程中，将最终获得的3D人脸进行形状和纹理特征提取并与人脸样本空间中人脸进行匹配，完成人脸识别。

本申请与现有人脸识别技术通过约束条件获取一张正面人脸进行人脸识别不同，本发明通过新采样人脸与样本空间中人脸差异计算，实现在自然监控下人脸样本的多次采样；

本申请与现有3D人脸渲染技术通常采用编解码器技术不同，本发明融合图卷积技术和编解码器技术实现3D人脸渲染；

本申请与现有人脸识别技术依赖一次3D人脸渲染进行人脸识别不同，本发明通过多次采样人脸，通过人脸网格化后进行交叉验证对3D人脸进行不断修正，最终实现高准确性人脸识别。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (4)

1.一种3D人脸识别方法，其特征在于：所述识别方法包括以下步骤：

S1、获取多姿态人脸图像及预处理；

步骤S1中，获取多姿态人脸图像及预处理包括以下步骤：

采用YOLOv7多姿态人体检测模型，在自然监控下进行实时人体检测，根据人体区域的服装色彩、纹理跟踪信息，通过在后续视频帧的邻域空间搜索和匹配实现多姿态人体的实时跟踪，并在跟踪到的人体区域内进行实时多姿态人脸的检测；

在自然监控下采样到第一次人脸后，对人脸图像进行预处理，按Openpose定义的68个人脸特征点对人脸进行面部特征点拟合并切割出面部区域后规范化为大小100×100×3的人脸图像，并将人脸图像导入人脸样本空间，将规范化后的面部特征点坐标导入对应编号的人脸坐标空间；

在跟踪人体区域检测到的人脸图像进行预处理后提取面部特征点坐标与人脸坐标空间内坐标进行比对，设人脸样本空间内第m张人脸的第i个面部特征点的坐标为，计算与当前人脸/>特征点的差异/>，函数表达式为：

，

若大于100，认为当前人脸图像与人脸样本空间内人脸存在差异，对人脸图像进行采样，并导入人脸样本空间；

S2、多姿态人脸3D渲染模型训练；

步骤S2中，利用步骤S1获取的人脸图像训练深度神经网络实现多姿态人脸3D渲染模型的构建，多姿态人脸3D渲染模型包括不确定性感知编码器、形状解码器、纹理解码器；

S3、将3D人脸区域做网格化划分；

S4、人脸识别。

2.根据权利要求1所述的一种3D人脸识别方法，其特征在于：不确定性感知编码器：在编码器中使用不确定性嵌入，采用表示人脸的形状和纹理，其中，z表示嵌入向量，/>表示输入人脸图像，/>是第i个输入的人脸的形状特征，/>是与相应特征相关的置信度；针对具有同一性的图像对/>，测量/>和/>共享相同潜在矢量即/>的可能性，对于相同的恒等式，形状和纹理都相等：

，

其中和/>分别是第i个和第j个输入的人脸的形状和纹理特征的潜在矢量，/>表示/>和/>两个矢量相等的可能性，/>是狄拉克德尔塔函数；使用对数似然：

，

其中，和/>分别表示第i个和第j个输入的人脸的形状的第/>个特征平均值，/>和/>分别表示第i个和第j个输入的人脸的形状的第/>个特征的方差，D表示特征空间维度；

通过在没有不确定性估计的情况下预训练确定性三维重建网络而获得；给定一组具有相同身份的图像，训练一个不确定性网络来估计人脸识别结果的不确定性，不确定性网络是与来自编码器的瓶颈层共享相同输入的分支网络；使用优化准则来最大化所有/>的方程，其中/>和/>是相等同一性的配对图像，使用损失函数最小化：

，

其中是不确定性网络的损失函数，P是所有相等同一性的配对图像；

形状解码器：使用切比雪夫图卷积网络作用于3D人脸划分的三维网格，通过回归网格顶点的三维坐标估计人脸形状；

三维网格用无向连通图表示为,其中/>表示n个顶点的集合，/>是边缘的集合；/>是对顶点之间的连接状态进行编码的邻接矩阵，归一化图拉普拉斯算子是：

，

其中，是对角线矩阵，/>，/>是对角线上的元素，/>是W矩阵的第i行第j列元素，/>是单位矩阵，拉普拉斯算子L通过傅立叶基对角化/>，，/>表示第n-1个对角化向量；

其中，/>是第n-1个特征值，图卷积运算定义为：

，

其中，K表示图卷积中的节点总数，是切比雪夫系数的向量，/>是按比例拉普拉斯算子计算的k阶切比雪夫多项式，频域卷积定义为：

，

其中是输出特征图，/>是第i个人脸的样本空间大小，/>是对同一性配对的图卷积运算；

纹理解码器：使用圆柱形展开将每个三维顶点投影到UV空间上，完成纹理解码。

3.根据权利要求2所述的一种3D人脸识别方法，其特征在于：步骤S3中，将3D人脸区域做网格化划分包括以下步骤：

当采样到第一张人脸图像后，对该人脸进行3D渲染，并将3D人脸进行网格化，接下来采样的人脸同样进行3D渲染网格化，通过投影为2D图像，对相应的网格区域进行交叉验证，计算当前人脸网格投影和新采样人脸网格投影分别与人脸样本空间中人脸和当前采样人脸相应人脸部位的差距；设为当前3D人脸第k个部位的网格投影，/>为新采样人脸3D渲染后第k个部位的网格投影，对人脸样本空间每个面部的第k个部位/>计算距离：

，

，

为人脸样本空间中第m个人脸的第k个部位的投影，/>为当前3D人脸的第k个部位与人脸样本空间中人脸第k个部位的距离和，/>为新采样人脸3D渲染后第k个部位与人脸样本空间中人脸第k个部位的距离和，当/>，将第k个部位的网格更新为当前采样人脸3D渲染网格。

4.根据权利要求3所述的一种3D人脸识别方法，其特征在于：步骤S4中，包括以下步骤：

将最终获得的3D人脸进行形状和纹理特征提取并与人脸样本空间中人脸进行匹配，完成人脸识别。