CN112686202B - 一种基于3d重建的人头识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于3D重建的人头识别方法及系统，方法包括图像采集，3D人头模型重建，人头识别网络训练和人头识别等步骤；本发明利用人头普遍具有的对称性，将采集到的2D人脸图像进行3D重建，为人头识别增加了更多的信息量，优化了2D人脸图像的识别准确率。与传统的人脸识别方法相比，该人头识别方法在未增加采集数据难度的情况下，提升了身份识别的准确率。

Description

一种基于3D重建的人头识别方法及系统

技术领域

本发明属于图像生物特征识别技术领域，涉及一种人头识别方法及系统，特别涉及一种基于3D重建的人头识别方法及系统。

背景技术

生物特征识别技术是一种通过对生物自身特征进行分析，用以区别生物体个体的计算机技术。生物特征识别技术主要包括人脸识别、声纹识别、指纹识别、虹膜识别等，其中人脸识别的应用最为广泛。与其他生物识别方法相比，人脸识别的优势在于其无感的特点，即识别过程中无需刻意配合的额外操作。当前人脸识别需要解决的难题在于不同场景下面对各种程度的面部遮挡以及各种角度的图像采集时保证识别的准确率。

目前，人脸识别的解决方案主要包括2D识别和3D识别技术。传统的2D人脸识别技术是目前人脸识别技术的主流，技术较为成熟。2D人脸识别的图像数据获取比较简单，只需一个普通的摄像头即可。但由于人的头部是三维的，2D人脸识别采用的人脸平面图像只是三维人头在平面上的投影，这个过程中丢失了人头的部分信息，因此在识别准确度和活体检测的精准性上都有所欠缺，无法达到支付级的安全。3D人脸识别技术中广泛使用的主要有结构光和ToF镜头两种，虽然3D人脸识别可信度较高，但对数据要求苛刻，需要特定的相机或是使用多个角度的相机，不利于普及。

发明内容

为了解决上述技术问题，本发明基于3D重建算法强大的3D建模能力，提供了一种基于3D重建的人头识别方法及系统。

本发明的方法所采用的技术方案是：一种基于3D重建的人头识别方法，其特征在于，包括以下步骤：

步骤1：图像采集；

步骤2：3D人头模型重建；

利用目标对称性构建3D模型，对人头照片进行3D重建，获得3D重建图像；

步骤3：人头识别网络训练；

基于深度卷积神经网络算法，从海量人脸数据集中训练出一个在监控环境下识别精度达到预设值的人头识别网络，

步骤4：人头识别；

将步骤2中获得的3D重建图像输入步骤3中训练好的人头识别网络中进行人头识别。

本发明的方法所采用的技术方案是：一种基于3D重建的人头识别系统，其特征在于：包括图像采集模块、3D人头模型重建模块、人头识别网络训练模块、人头识别模块；

所述图像采集模块，用于图像采集；

所述3D人头模型重建模块，用于3D人头模型重建；

利用目标对称性构建3D模型，对人头照片进行3D重建，获得3D重建图像；

所述人头识别网络训练模块，用于人头识别网络训练；

基于深度卷积神经网络算法，从海量人脸数据集中训练出一个在监控环境下识别精度达到预设值的人头识别网络，

所述人头识别模块，用于人头识别；

将获得的3D重建图像输入训练好的人头识别网络中进行人头识别。

本发明在采集端采集普通的2D人脸图像数据，通过算法将原始图像映射为深度、反射率、全局光照和视点。利用人头的对称性，建立人头的3D模型，包括人头的姿态，形状，反射率，照度。最后对3D人头模型进行识别，并输出结果。预计在基本不提升人头识别复杂度的情况下，提升了识别的准确度。

本发明的优点和积极效果：

本发明利用人头普遍具有的对称性，将采集到的2D人脸图像进行3D重建，为人头识别增加了更多的信息量，优化了2D人脸图像的识别准确率。与传统的人脸识别方法相比，该人头识别方法在未增加采集数据难度的情况下，提升了身份识别的准确率。

附图说明

图1为本发明实施例的方法原理图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于3D重建的人头识别方法，包括以下步骤：

步骤1：图像采集；

本实施例使用普通相机拍摄人脸部分的单张图片，降低了数据采集成本，利于本发明提供的人头识别的推广普及。

步骤2：3D人头模型重建；

利用目标对称性构建3D模型，对人头照片进行3D重建，获得3D重建图像；

本实施例中，3D人头模型重建的目标是通过算法学习生成一个图像几何自编码器，将输入的图像分解为四个因子，分别为深度d、反照度a、光照方向l和视点w。利用对称性进行3D重建。

假设输入的人脸图像为中心对称图形，该编码器的目标是通过一个函数Φ，具体体现为一个神经网络，将输入的图像Ι映射为四个因子，分别是深度d、反照度a、光照方向l和视点w，并通过这四个因子重建图像

本实施例中，通过现有模型Φ，可将原始图像I分解为深度d、反照度a、光照方向l和视点w，同时生成图像的对称置信图(即图像中每个像素点和其几何对称点在内容上对称的概率)，3D重建图像可用

表示。其中，Λ(a,d,l)表示光照函数，Π(Λ(a,d,l),d,w)表示再投影函数；

具体实现包括以下子步骤：

步骤2.1：利用光照函数Λ，在视点w＝0的情况下，利用因子d,l,a生成一个标准视角的重建图像J；此时的重建图像是一个标准图像，并非实际图像。

首先通过深度d计算每个像素点(u,v)的法线n_uv，

表示每个像素(u,v)沿u,v方向垂直于3D表面的法向量，

其中p＝(u,v,1),e_x＝(1,0,0，K^-1表示矩阵K的逆矩阵；

将法线n_uv与光照方向l相乘，得到定向光，将其加入氛围光中；最后，将结果与反照度a_uv相乘，得到光照纹理J_uv＝(k_s+k_dmax{0,<l,n_uv<})·a_uv，其中k_s和k_d由3D模型预测所得，值在0和1之间，代表漫反射和高光反射的系数；

步骤2.2：利用再投影函数Π，通过深度d和具有阴影的标准图像Λ(a,d,l)来模拟视点w的变化，并生成最终的重建图像

设相机拍下的每帧中点P＝(P_x,P_y,P_z)是一个三维点，像素坐标系下有点p＝(u,v,1)。本实施例假设一个FOV相机与物体标称距离1米，FOV的角度θ_FOV为10°左右，通过式(2)将实际世界的点P映射到像素坐标系p下；

其中，W、H、c_u、c_v、f为参数名，θ_FOV为视场角，表示相机的视野范围，∝为数学符号，表示正比于；W，H分别表示图像的宽度和高度；

存在逆变换P＝d_uv·K^-1p，其中d_uv表示每个像素(u,v)标准深度值；

最终再投影函数Π通过式(3)将标准视角的图像J映射为实际重建后图像

标准视角上的一个像素点p(u,v)通过式(3)映射到实际视角的像素点p′(u′,v′)；

p′∝K(d_uv·RK^-1p+T),p′＝(u′,v′,1) (3)

其中，p表示原始图像中像素，p′表示重建后图像中像素；(R,T)代表了视点

的欧式变换(R,T)∈SE(3)，其含义为w_1:3和w_4:6分别表示在x,y,z轴上的旋转角和位移；

步骤2.3：训练模型Φ；

利用对称性构建重建损失函数来促进

这里假定深度d和反照度a是关于一个固定的垂直平面对称的。

为了达到假定的平面对称的效果，对a和d沿水平轴翻转，得到a′,d′；利用a′和d′构建第二个重建

来对对称性进行约束，即：

更新重建损失函数，促使

Ι和

的损失函数为：

其中，

是在(u,v)位置的坐标像素上的L₁距离；Ω表示像素点个数；σ_uv表示(u,v)位置的对称置信度，由模型Φ推出；

对于重构图像

使用第二个置信度图σ′，采用相同的损失函数

用于表示图像中哪些部分是非对称的；算法学习目标即是这两个重建损失的结合：

L₁的损失函数式(5)会对小的几何缺陷非常敏感，致使重建出的图像较为模糊，因此加入一个感知损失项

来缓解这个问题。可以写为：

其中图像编码器e的第k层预测出一个表达e^(k)(I)，第k层的每个像素索引uv有

表示第k层(u,v)位置的对称置信度，Ω^k表示第k层的像素个数；

最后，损失函数可写为

(λ_p＝1)。

步骤3：人头识别网络训练；

基于深度卷积神经网络算法，从海量人脸数据集中训练出一个在监控环境下识别精度达到预设值的人头识别网络，

步骤4：人头识别；

将步骤2中获得的3D重建图像输入步骤3中训练好的人头识别网络中进行人头识别。

具体实现包括以下子步骤：

步骤4.1：对输入3D重建图像进行预处理，获得固定大小的人头模型；

步骤4.2：对预处理后的固定大小的人头模型输入步骤3中训练好的人头识别网络，提取特征向量；

特征提取功能采用残差块结构实现，这种残差块由一系列卷积层组成；

I_n+1＝{I_n,O_n}＝{I_n,Conv_n(I_n)}

Conv_n表示该残差块中的第n个卷积层，I_n,O_n代表第n个卷积层的输入和输出；残差块会保留来自先前卷积层的信息，并将其传递给所有后续的卷积层；

步骤4.3：对提取出的特征向量，与事先建立的3D人头数据库中保存的特征向量逐一进行比对，选择相似度最高的人头作为识别结果。相似度通过计算向量间的距离来衡量。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于3D重建的人头识别方法，其特征在于，包括以下步骤：

步骤1：图像采集；

步骤2：3D人头模型重建；

利用目标对称性构建3D模型，对人头照片进行3D重建，获得3D重建图像；

通过模型Φ，将原始图像I分解为深度d、反照度a、光照方向l和视点w，同时生成图像的对称置信图，3D重建图像

表示；其中，Λ(a，d，l)表示光照函数，Π(Λ(a，d，l)，d，w)表示再投影函数；

具体实现包括以下子步骤：

步骤2.1：利用光照函数Λ，在视点w＝0的情况下，利用因子d，l，a生成一个标准视角的重建图像J；

首先通过深度d计算每个像素点(u，v)的法线n_uv，

表示每个像素(u，v)沿u，v方向垂直于3D表面的法向量，

其中p＝(u，v，1)，e_x＝(1，0，0)，K^-1表示矩阵K的逆矩阵；

将法线n_uv与光照方向l相乘，得到定向光，将其加入氛围光中；最后，将结果与反照度a_uv相乘，得到光照纹理J_uv＝(k_s+k_dmax{0，<l，n_uv>})·a_uv，其中k_s和k_d由3D模型预测所得，值在0和1之间，代表漫反射和高光反射的系数；

步骤2.2：利用再投影函数Π，通过深度d和具有阴影的标准图像Λ(a，d，l)来模拟视点w的变化，并生成最终的重建图像

设相机拍下的每帧中点P＝(P_x，P_y，P_z)是一个三维点，像素坐标系下有点p＝(u，v，1)；通过式(2)将实际世界的点P映射到像素坐标系p下；

其中，W、H、c_u、c_v、f为参数名，θ_FOV为视场角，表示相机的视野范围，∝为数学符号，表示正比于；W，H分别表示图像的宽度和高度；

存在逆变换P＝d_uv·K^-1p，其中d_uv表示每个像素(u，v)标准深度值；

最终再投影函数Π通过式(3)将标准视角的图像J映射为实际重建后图像

标准视角上的一个像素点p(u，v)通过式(3)映射到实际视角的像素点p′(u′，v′)；

p′∝K(d_uv·RK^-1p+T)，p′＝(u′，v′，1) (3)

其中，p表示原始图像中像素，p′表示重建后图像中像素；(R，T)代表了视点

的欧式变换(R，T)∈SE(3)，其含义为w_1：3和w_4：6分别表示在x，y，z轴上的旋转角和位移；

步骤2.3：利用对称性构建重建损失函数来促进

假定深度d和反照度a是关于一个固定的垂直平面对称的；为了达到假定的平面对称的效果，对a和d沿水平轴翻转，得到a′，d′；利用a′和d′构建第二个重建

来对对称性进行约束，即：

更新重建损失函数，促使

I和

的损失函数为：

其中，

是在(u，v)位置的坐标像素上的L₁距离；Ω表示像素点个数；σ_uv表示(u，v)位置的对称置信度，由模型Φ推出；

对于重构图像

使用第二个置信度图σ′，采用相同的损失函数

用于表示图像中哪些部分是非对称的；算法学习目标即是这两个重建损失的结合：

L₁的损失函数式(5)会对小的几何缺陷非常敏感，致使重建出的图像较为模糊，因此加入一个感知损失项

来缓解这个问题，为：

其中图像编码器e的第k层预测出一个表达e^(k)(I)，第k层的每个像素索引uv有

表示第k层(u，v)位置的对称置信度，Ω^k表示第k层的像素个数；

最后，损失函数为

λ_p＝1；

步骤3：人头识别网络训练；

基于深度卷积神经网络算法，从海量人脸数据集中训练出一个在监控环境下识别精度达到预设值的人头识别网络；

步骤4：人头识别；

将步骤2中获得的3D重建图像输入步骤3中训练好的人头识别网络中进行人头识别。

2.根据权利要求1所述的基于3D重建的人头识别方法，其特征在于，步骤4的具体实现包括以下子步骤：

步骤4.1：对输入3D重建图像进行预处理，获得固定大小的人头模型；

步骤4.2：对预处理后的固定大小的人头模型输入步骤3中训练好的人头识别网络，提取特征向量；

特征提取功能采用残差块结构实现，这种残差块由一系列卷积层组成；

I_n+1＝{I_n，O_n}＝{I_n，Conv_n(I_n)}

Conv_n表示该残差块中的第n个卷积层，I_n，O_n代表第n个卷积层的输入和输出；残差块会保留来自先前卷积层的信息，并将其传递给所有后续的卷积层；

步骤4.3：对提取出的特征向量，与事先建立的3D人头数据库中保存的特征向量逐一进行比对，选择相似度最高的人头作为识别结果。

3.根据权利要求2所述的基于3D重建的人头识别方法，其特征在于：步骤4.3中，相似度通过计算向量间的距离来衡量。

4.一种基于3D重建的人头识别系统，其特征在于：包括图像采集模块、3D人头模型重建模块、人头识别网络训练模块、人头识别模块；

所述图像采集模块，用于图像采集；

所述3D人头模型重建模块，用于3D人头模型重建；

利用目标对称性构建3D模型，对人头照片进行3D重建，获得3D重建图像；

通过模型Φ，将原始图像I分解为深度d、反照度a、光照方向l和视点w，同时生成图像的对称置信图，3D重建图像

表示；其中，Λ(a，d，l)表示光照函数，Π(Λ(a，d，l)，d，w)表示再投影函数；

具体实现包括以下模块：

模块2.1，用于利用光照函数Λ，在视点w＝0的情况下，利用因子d，l，a生成一个标准视角的重建图像J；

首先通过深度d计算每个像素点(u，v)的法线n_uv，

表示每个像素(u，v)沿u，v方向垂直于3D表面的法向量，

其中p＝(u，v，1)，e_x＝(1，0，0)，K^-1表示矩阵K的逆矩阵；

将法线n_uv与光照方向l相乘，得到定向光，将其加入氛围光中；最后，将结果与反照度a_uv相乘，得到光照纹理J_uv＝(k_s+k_dmax{0，<l，n_uv>})·a_uv，其中k_s和k_d由3D模型预测所得，值在0和1之间，代表漫反射和高光反射的系数；

模块2.2，用于利用再投影函数Π，通过深度d和具有阴影的标准图像Λ(a，d，l)来模拟视点w的变化，并生成最终的重建图像

设相机拍下的每帧中点P＝(P_x，P_y，P_z)是一个三维点，像素坐标系下有点p＝(u，v，1)；通过式(2)将实际世界的点P映射到像素坐标系p下；

其中，W、H、c_u、c_v、f为参数名，θ_FOV为视场角，表示相机的视野范围，∝为数学符号，表示正比于；W，H分别表示图像的宽度和高度；

存在逆变换P＝d_uv·K^-1p，其中d_uv表示每个像素(u，v)标准深度值；

最终再投影函数Π通过式(3)将标准视角的图像J映射为实际重建后图像

标准视角上的一个像素点p(u，v)通过式(3)映射到实际视角的像素点p′(u′，v′)；

p′∝K(d_uv·RK^-1p+T)，p′＝(u′，v′，1) (3)

其中，p表示原始图像中像素，p′表示重建后图像中像素；(R，T)代表了视点

的欧式变换(R，T)∈SE(3)，其含义为w_1：3和w_4：6分别表示在x，y，z轴上的旋转角和位移；

模块2.3，用于利用对称性构建重建损失函数来促进

假定深度d和反照度a是关于一个固定的垂直平面对称的；为了达到假定的平面对称的效果，对a和d沿水平轴翻转，得到a′，d′；利用a′和d′构建第二个重建

来对对称性进行约束，即：

更新重建损失函数，促使

I和

的损失函数为：

其中，

是在(u，v)位置的坐标像素上的L₁距离；Ω表示像素点个数；σ_uv表示(u，v)位置的对称置信度，由模型Φ推出；

对于重构图像

使用第二个置信度图σ′，采用相同的损失函数

用于表示图像中哪些部分是非对称的；算法学习目标即是这两个重建损失的结合：

L₁的损失函数式(5)会对小的几何缺陷非常敏感，致使重建出的图像较为模糊，因此加入一个感知损失项

来缓解这个问题，为：

其中图像编码器e的第k层预测出一个表达e^(k)(I)，第k层的每个像素索引uv有

表示第k层(u，v)位置的对称置信度，Ω^k表示第k层的像素个数；

最后，损失函数为

λ_p＝1；

所述人头识别网络训练模块，用于人头识别网络训练；

基于深度卷积神经网络算法，从海量人脸数据集中训练出一个在监控环境下识别精度达到预设值的人头识别网络，

所述人头识别模块，用于人头识别；

将获得的3D重建图像输入训练好的人头识别网络中进行人头识别。

Images