CN107844760A - 基于曲面法向分量图神经网络表示的三维人脸识别方法 - Google Patents
基于曲面法向分量图神经网络表示的三维人脸识别方法 Download PDFInfo
- Publication number
- CN107844760A CN107844760A CN201711003898.8A CN201711003898A CN107844760A CN 107844760 A CN107844760 A CN 107844760A CN 201711003898 A CN201711003898 A CN 201711003898A CN 107844760 A CN107844760 A CN 107844760A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- dimensional face
- curved surface
- normal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
一种基于曲面法向分量图神经网络表示的三维人脸识别方法，对给定三维人脸曲面进行预处理；然后将预处理后的正面三维人脸曲面的三维坐标投影到二维平面上，利用投影后的坐标信息估计逐点的法向量，以此生成X、Y和Z三个方向的法向分量图；利用在二维人脸识别中训练好的深度卷积神经网络提取三维人脸各个法向分量图的特征；在神经元位置敏感的匹配模式下，提取各个法向分量图的深度特征，分别采用最近邻分类器或稀疏表示分类器实现三维人脸的比对。本发明的三维人脸识别技术具有简单、易于实现、对表情鲁棒、识别精度高等优点。
Description
技术领域
本发明涉及一种三维人脸识别方法，具体涉及基于曲面法向分量图神经网络表示的三维人脸识别方法。
背景技术
作为一种新型生物特征识别技术，三维人脸识别技术在金融、安防、反恐等领域具有巨大的潜在应用价值。三维人脸识别技术的核心是对三维人脸曲面形状的精确刻画。现有技术主要包括基于三维人脸曲面的点、线、面、法向量、曲率、形状指标等几何量的刻画。同时结合人工设计的特征(如Gabor小波变换和局部二值模式)实现三维人脸曲面的最终表达。特别地，现有相关技术利用人工设计的特征(如Gabor小波变换和局部二值模式)对三维人脸的法向分量图进行编码。然而，对于特定的任务，设计与之相应的人工特征并不容易。随着深度学习的不断发展，基于大样本数据训练所得到的深度卷积神经网络被证明具有良好的推广性能，其效果在多种计算机视觉任务(如目标检测、物体识别、二维人脸识别等)中均明显超出传统人工特征。
发明内容
为了克服人工特征提取三维人脸特征的局限性，本发明的目的在于提供一种基于曲面法向分量图神经网络表示的三维人脸识别方法，该方法利用深度卷积神经网络提取人脸曲面法向分量图的关键特征。一方面，基于三维人脸曲面法向分量图编码的刻画方式已被证明是有效的。另一方面，深度卷积神经网络对图像的特征学习被证明是优于传统的手工特征。本发明将两者的优势有效结合，提出了基于曲面法向分量图深度卷积神经网络表示的三维人脸识别技术。该方法首次将深度学习应用与三维人脸识别技术，有望大幅提高现有三维人脸识别系统的精度。
为实现上述目的，本发明采用如下的技术方案：
一种基于曲面法向分量图神经网络表示的三维人脸识别方法，包括以下步骤：
步骤1.给定一张三维人脸曲面，首先进行预处理；
步骤2.将预处理后的正面三维人脸曲面的三维坐标投影到二维平面上，其投影过程采取最近邻插值法，利用投影后的坐标信息估计逐点的法向量，以此生成X、Y和Z三个方向的法向分量图；
步骤3.提取法向量分量图的特征
利用在二维人脸识别中训练好的深度卷积神经网络提取三维人脸各个法向分量图的特征；
步骤4.人脸比对
在神经元位置敏感的匹配模式下，对步骤3得到的提取各个法向分量图的深度特征，采用稀疏表示分类器实现三维人脸的比对。
本发明进一步的改进在于，预处理包括：三维人脸曲面去噪、鼻尖点自动检测、人脸区域切割以及姿态配准。
本发明进一步的改进在于，预处理的具体过程为：首先对原始三维人脸曲面进行高斯滤波和中值滤波，在滤波后的人脸曲面上计算高斯曲率和中值曲率，根据曲率信息结合一个三维模型来确定鼻尖点的位置；人脸区域定义为以鼻尖点为球心，90cm半径球面与三维人脸曲面的交集部分，采用ICP算法进行姿态配准。
本发明进一步的改进在于，生成X、Y和Z三个方向的法向分量图的具体过程如下：
步骤2.1 三维人脸投影及法向量的矩阵表示
将预处理后的三维人脸曲面投影到二维平面上生成对应的深度图，该深度图用一个m×n×3的矩阵表示：
P＝[pij(x,y,z)]m×n＝[pijk]m×n×{x,y,z}
其中，pij(x,y,z)＝(pijx,pijy,pijk)T表示大小为m×n的深度图像P上ij位置处的三维坐标，与此类似，将深度图像P的单位法向量表示成如下矩阵形式：
N(P)＝[n(pij(x,y,z))]m×n＝[nijk]m×n×{xyz}
其中，N(P)为单位法向量矩阵，n(pij(x,y,z))＝(nijx,nijy,nijz)T表示点pij的单位法向量；
步骤2.2 逐点估计法向量估计
深度图像P上点pij的法向量用该点的局部邻域点拟合平面的法向量来估计：
nijxqijx+nijyqijy+nijzqijz＝nijxpijx+nijypijy+nijzpijz
其中，(nijx,nijy,nijz)T是pij的法向量，(qijx,qijy,qijz)T是pij邻域内的任意一点的坐标，(pijx,pijy,pijz)T是pij的坐标；
步骤2.3 生成X、Y和Z三个方向的法向分量图
将单位法向量矩阵N(P)中的元素n(pij(x,y,z))表示为点pij(x,y,z)的三个法向分量(nijx,nijy,nijz)，把单位法向量矩阵N(P)分解成三个单位法向分量矩阵：
其中，N(X)、N(Y)和N(Z)分别是单位法向量矩阵N(P)在X、Y和Z方向上的法向分量矩阵，其矩阵元素分别是点pij的法向量在X、Y和Z方向上的分量。
本发明进一步的改进在于，提取三维人脸各个法向分量图的特征的具体过程为：给定一个大小为214×214×3的法向分量图(X、Y或Z分量图)和L层的深度卷积神经网络第l层的输出即一个张量型表述子，其中Wl和Hl表示该特征张量的宽和高，Nl表示滤波器的个数；如果所有的都是卷积层，则该张量描述子保留人脸的空间信息；通过在某个空间位置上收集Nl个响应，获得一个Nl维的向量描述子，用该向量对人脸某个特定区域进行表示；考虑到特征维数和泛化能力的折衷，使用最后一个卷积层的激活来提取各个法向分量图的深度特征。
本发明进一步的改进在于，采用稀疏表示分类器实现三维人脸的比对的具体过程如下：给定一个数据集合包含N个来自N个不同人的三维人脸扫描图，定义稀疏表示字典D＝[d1,d2,…,dN]；对一张任意人脸y有：
y＝Dx+ε
其中，ε为重建误差，x是稀疏表示系数，通过下面的优化模型求解：
其中，L表示系数的稀疏性；
假设是优化模型的解，则重建误差向量ri(y)为
其中，ri(y)向量的最小元素给出了人脸y的身份信息，其中，δi表示第i类的特征函数；
现假设每个深度激活特征有K个不同的空间位置，每个法向分量图fi写成：
fi＝[fi1；…；fik；…；fiK]
类似的，字典D和人脸y被表示成：
D＝[D1；…；Dk；…；DK]
其中，Dk＝[f1,k,...,fi,k,...,fn,k]
y＝[y1；…；yk；…；yK]
因此建立局部位置敏感稀疏表示模型：
其中，ωk是在相应位置深度激活特征的重要性权重；
相应的局部敏感重建误差ri(y)为：
一旦确定了稀疏表示系数根据局部敏感重建误差公式计算重建误差向量，最小的ri(y)给出了测试人脸y的身份。
与现有技术相比，本发明具有的有益效果：本发明利用在二维人脸识别中训练好的深度卷积神经网络提取三维人脸各个法向分量图的特征，并且提出了基于神经元位置敏感的匹配模式。在该模式下，采用稀疏表示分类器实现三维人脸的比对。本发明利用深度卷积神经网络提取人脸曲面法向分量图的关键特征。一方面，基于三维人脸曲面法向分量图编码的刻画方式已被证明是有效的。另一方面，深度卷积神经网络对图像的特征学习被证明是优于传统的手工特征。本发明将两者的优势有效结合，提出了基于曲面法向分量图深度卷积神经网络表示的三维人脸识别技术。该技术首次将深度学习应用与三维人脸识别技术，有望大幅提高现有三维人脸识别系统的精度。通过在三个国际上公开的三维人脸识别数据库上的实验，本发明验证了基于法向分量图的三维人脸表示的有效性，基于法向分量图深度表示的有效性和互补性以及基于神经元位置敏感的匹配模式的有效性。与现有大多数三维人脸识别技术相比，所发明的三维人脸识别技术具有简单、易于实现、对表情鲁棒、识别精度高等优点。
附图说明
图1为预处理之后的深度图和三个法向量分量图。其中，图(a)为预处理之后的深度图，图(b)为X方向的法向量分量图，图(c)为Y方向的法向量分量图，图(d)为Z方向的法向量分量图；
图2为本发明的流程图。
具体实施方式
下面结合附图对本发明进行详细描述。
参见图2，本发明包括以下步骤：
步骤1.给定一张三维人脸曲面，首先进行预处理；预处理包括：三维人脸曲面去噪、鼻尖点自动检测、人脸区域切割以及姿态配准环节。
预处理的具体过程为：首先对原始三维人脸曲面进行高斯滤波和中值滤波，在滤波后的人脸曲面上计算高斯曲率和中值曲率，根据曲率信息结合一个三维模型来确定鼻尖点的位置；人脸区域定义为以鼻尖点为球心，90cm半径球面与三维人脸曲面的交集部分。用经典的ICP(IterativeCloset Point)算法进行姿态配准。关于预处理的详细步骤见参考文献：Szeptycki,Przemyslaw,Mohsen Ardabilian,and Liming Chen.A coarse-to-finecurvature analysis-based rotation invariant 3D facelandmarking.International Conference on Biometrics(2009):1-6。
步骤2.将预处理后的正面三维人脸曲面的三维坐标投影到二维平面上，其投影过程采取最近邻插值法。利用投影后的坐标信息估计逐点的法向量，以此生成X、Y和Z三个方向的法向分量图，参见图1(b)、图1(c)和图1(d)。
具体过程如下：
步骤2.1 三维人脸投影及法向量的矩阵表示
将预处理后的三维人脸曲面投影到二维平面上生成对应的深度图，参见图1(a)，该深度图可用一个m×n×3的矩阵表示：
P＝[pij(x,y,z)]m×n＝[pijk]m×n×{x,y,z}
其中，pij(x,y,z)＝(pijx,pijy,pijk)T表示大小为m×n的深度图像P上ij位置处的三维坐标，与此类似，可将深度图像P的单位法向量表示成如下矩阵形式：
N(P)＝[n(pij(x,y,z))]m×n＝[nijk]m×n×{xyz}
其中，N(P)为单位法向量矩阵，n(pij(x,y,z))＝(nijx,nijy,nijz)T表示点pij的单位法向量。
步骤2.2 逐点估计法向量估计
深度图像P上点pij的法向量可以用该点的局部邻域点拟合平面的法向量来估计：
nijxqijx+nijyqijy+nijzqijz＝nijxpijx+nijypijy+nijzpijz
其中，(nijx,nijy,nijz)T是pij的法向量，(qijx,qijy,qijz)T是pij邻域内的任意一点的坐标，(pijx,pijy,pijz)T是pij的坐标。
步骤2.3 生成X、Y和Z三个方向的法向分量图
将单位法向量矩阵N(P)中的元素n(pij(x,y,z))表示为点pij(x,y,z)的三个法向分量(nijx,nijy,nijz)，把单位法向量矩阵N(P)分解成三个单位法向分量矩阵：
其中，N(X)、N(Y)和N(Z)分别是单位法向量矩阵N(P)在X、Y和Z方向上的法向分量矩阵，其矩阵元素分别是点pij的法向量在X、Y和Z方向上的分量。
步骤3.提取法向分量图的特征
与传统方法不同，为了提取更有鉴别力的三维人脸特征，本发明中创新地提出利用在二维人脸识别中训练好的深度卷积神经网络提取三维人脸各个法向分量图的特征。
特别地，采用vgg-deep-face-net。该深度卷积神经网络由16个可学习的权重层组成：13个卷积层加3个全连接层(FC层)。这个深层网络的输入是一个大小为214×214×3的图片，前两个FC层的输出是4096维，而最后一个FC层的输出是2622维或1024维，分别取决于脸部识别和面部验证任务。
具体实现过程中，给定一个大小为214×214×3的法向分量图(X、Y或Z分量图)和L层的深度卷积神经网络第l层的输出即一个张量型表述子，其中Wl和Hl表示该特征张量的宽和高，Nl表示滤波器的个数；如果所有的都是卷积层，则该张量描述子可保留人脸的空间信息；通过在某个空间位置上收集Nl个响应，可以获得一个Nl维的向量描述子，用该向量对人脸某个特定区域进行表示。考虑到特征维数和泛化能力的折衷，本发明只使用最后一个卷积层的激活来提取各个法向分量图的深度特征，提取获得的深度卷积神经网络特征表示为DNPx,DNPy,DNPz。
此外，在三维人脸投影到二维平面上的深度图像上提取的特征表示为DDP(DeepDepth Patterns)。
步骤4.人脸比对
在人脸比对环节，考虑到不同人脸区域对于3D人脸识别具有不同重要性，本发明提出了基于神经元位置敏感的匹配模式(Location-Sensitive Sparse RepresentationClassifier,LS-SRC)。基于神经元位置敏感的匹配模式的主要目的是通过一个训练数据库获得不同神经元位置处的深度卷积特征(512维)，作为三维人脸识别时的权重。在基于神经元位置敏感的匹配模式下，在识别过程中，将该权重与传统的稀疏表示分类器(SparseRepresentation Classifier)结合，即基于神经元位置敏感的匹配模式下的稀疏表示模型(LS-SRC)，对步骤3得到的提取各个法向分量图的深度特征，实现三维人脸的比对。
采用在基于神经元位置敏感的匹配模式下的稀疏表示模型实现三维人脸的比对的具体过程为：给定一个数据集合包含N个来自N个不同人的三维人脸扫描图，定义稀疏表示字典D＝[d1,d2,…,dN]。对一张任意人脸y有：
y＝Dx+ε
其中，ε为重建误差，x是稀疏表示系数，可通过下面的优化模型求解：
其中，L表示系数的稀疏性。
假设是优化模型的解，则重建误差向量ri(y)为
其中，ri(y)向量的最小元素给出了人脸y的身份信息，其中，δi表示第i类的特征函数。
现假设每个深度激活特征有K个不同的空间位置，每个法向分量图可以写成：
fi＝[fi1；…；fik；…；fiK]
类似的，字典D和人脸y可以被表示成：
D＝[D1；…；Dk；…；DK]
其中，Dk＝[f1,k,...,fi,k,...,fn,k]
y＝[y1；…；yk；…；yK]
因此可以建立局部位置敏感稀疏表示模型：
其中，ωk是在相应位置深度激活特征的重要性权重。
相应的局部敏感重建误差ri(y)为：
一旦确定了稀疏表示系数就可以根据局部敏感重建误差公式计算重建误差向量，最小的ri(y)给出了测试人脸y的身份。
为了验证所提方案的有效性，本发明分别采用了FRGCv2.0,BU-3DFE和Bosphorus三个国际标准三维人脸识别数据库进行实验。
FRGCv2.0数据库包含466个人的4007个三维人脸样本。每个人的样本中均有中性表情和其他几种表情的示例。该数据库是目前学术界公开的最大的三维人脸识别数据库。BU-3DFE数据库包含100个人的2500个三维人脸样本。每人包含了24张带六种表情(Happy,Disgust,Fear,Angry,Surprise,Sadness)和一张中性三维人脸。
Bosphorus数据库包含105个人的4666个样本。样本中包括不同的表情、姿态和遮挡的样本。三个库的实验配置中，gallery集合取为每个人的一张中性表情三维人脸，其余样本则为probe集合。特别地，对于Bosphorus数据库，本发明只采用2797个正面姿态三维人脸样本作为probe集合进行评估。
在FRGCv2.0数据库上的实验结果表明：
(1)对法向分量图的深度特征远比对基于三维坐标深度图的深度特征具备更强的身份鉴别力：DDP+NN 71.83％vs.DNPz+NN 91.35％。
(2)与最近邻分类器相比，稀疏表示分类器的比对能力更强：DNPxyz+NN 92.03％vs.DNPxyz+SRC 97.30％。
(3)与传统稀疏表示匹配算法相比，改进后的位置敏感稀疏表示具有更强的比对性能：DNPxyz+SRC 97.30％vs.DNPxyz+LS-SRC98.01％。
(4)所提方案对表情变化具有很强的鲁棒性：在FRGC v2.0中性子库和表情子库上分别获得了99.66％和98.35％的识别精度。
(5)与现有三维人脸识别方法相比，所提方法在三个数据库上均获得了具有绝对竞争力的识别精度。特别地，所提方法在FRGCv2.0,BU-3DFE和Bosphorus三个数据库上的识别精度分别为98.01％、96.1％和97.60％。
Claims (6)
1.一种基于曲面法向分量图神经网络表示的三维人脸识别方法，其特征在于，包括以下步骤：
步骤1.给定一张三维人脸曲面，首先进行预处理；
步骤2.将预处理后的正面三维人脸曲面的三维坐标投影到二维平面上，其投影过程采取最近邻插值法，利用投影后的坐标信息估计逐点的法向量，以此生成X、Y和Z三个方向的法向分量图；
步骤3.提取法向量分量图的特征
利用在二维人脸识别中训练好的深度卷积神经网络提取三维人脸各个法向分量图的特征；
步骤4.人脸比对
在神经元位置敏感的匹配模式下，对步骤3得到的提取各个法向分量图的深度特征，采用稀疏表示分类器实现三维人脸的比对。
2.根据权利要求1所述的基于曲面法向分量图神经网络表示的三维人脸识别方法，其特征在于，预处理包括：三维人脸曲面去噪、鼻尖点自动检测、人脸区域切割以及姿态配准。
3.根据权利要求1或2所述的基于曲面法向分量图神经网络表示的三维人脸识别方法，其特征在于，预处理的具体过程为：首先对原始三维人脸曲面进行高斯滤波和中值滤波，在滤波后的人脸曲面上计算高斯曲率和中值曲率，根据曲率信息结合一个三维模型来确定鼻尖点的位置；人脸区域定义为以鼻尖点为球心，90cm半径球面与三维人脸曲面的交集部分，采用ICP算法进行姿态配准。
4.根据权利要求1所述的基于曲面法向分量图神经网络表示的三维人脸识别方法，其特征在于，生成X、Y和Z三个方向的法向分量图的具体过程如下：
步骤2.1三维人脸投影及法向量的矩阵表示
将预处理后的三维人脸曲面投影到二维平面上生成对应的深度图，该深度图用一个m×n×3的矩阵表示：
P＝[pij(x,y,z)]m×n＝[pijk]m×n×{x,y,z}
其中，pij(x,y,z)＝(pijx,pijy,pijk)T表示大小为m×n的深度图像P上ij位置处的三维坐标，与此类似，将深度图像P的单位法向量表示成如下矩阵形式：
N(P)＝[n(pij(x,y,z))]m×n＝[nijk]m×n×{xyz}
其中，N(P)为单位法向量矩阵，n(pij(x,y,z))＝(nijx,nijy,nijz)T表示点pij的单位法向量；
步骤2.2逐点估计法向量估计
深度图像P上点pij的法向量用该点的局部邻域点拟合平面的法向量来估计：
nijxqijx+nijyqijy+nijzqijz＝nijxpijx+nijypijy+nijzpijz
其中，(nijx,nijy,nijz)T是pij的法向量，(qijx,qijy,qijz)T是pij邻域内的任意一点的坐标，(pijx,pijy,pijz)T是pij的坐标；
步骤2.3生成X、Y和Z三个方向的法向分量图
将单位法向量矩阵N(P)中的元素n(pij(x,y,z))表示为点pij(x,y,z)的三个法向分量(nijx,nijy,nijz)，把单位法向量矩阵N(P)分解成三个单位法向分量矩阵：
<mrow>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mi>P</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mi>X</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mrow>
<mo>&lsqb;</mo>
<msubsup>
<mi>n</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>x</mi>
</msubsup>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mrow>
<mo>&lsqb;</mo>
<msubsup>
<mi>n</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>y</mi>
</msubsup>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mi>Z</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mrow>
<mo>&lsqb;</mo>
<msubsup>
<mi>n</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>z</mi>
</msubsup>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，N(X)、N(Y)和N(Z)分别是单位法向量矩阵N(P)在X、Y和Z方向上的法向分量矩阵，其矩阵元素分别是点pij的法向量在X、Y和Z方向上的分量。
5.根据权利要求1所述的基于曲面法向分量图神经网络表示的三维人脸识别方法，其特征在于，提取三维人脸各个法向分量图的特征的具体过程为：给定一个大小为214×214×3的法向分量图和L层的深度卷积神经网络第l层的输出即一个张量型表述子，其中Wl和Hl表示该特征张量的宽和高，Nl表示滤波器的个数；如果所有的都是卷积层，则该张量描述子保留人脸的空间信息；通过在某个空间位置上收集Nl个响应，获得一个Nl维的向量描述子，用该向量对人脸某个特定区域进行表示；考虑到特征维数和泛化能力的折衷，使用最后一个卷积层的激活来提取各个法向分量图的深度特征。
6.根据权利要求1所述的基于曲面法向分量图神经网络表示的三维人脸识别方法，其特征在于，采用稀疏表示分类器实现三维人脸的比对的具体过程如下：给定一个数据集合包含N个来自N个不同人的三维人脸扫描图，定义稀疏表示字典D＝[d1,d2,…,dN]；对一张任意人脸y有：
y＝Dx+ε
其中，ε为重建误差，x是稀疏表示系数，通过下面的优化模型求解：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mo>|</mo>
<mo>|</mo>
<mi>y</mi>
<mo>-</mo>
<mi>D</mi>
<mi>x</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
<mo>|</mo>
<mo>|</mo>
<mi>x</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>&le;</mo>
<mi>L</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，L表示系数的稀疏性；
假设是优化模型的解，则重建误差向量ri(y)为
<mrow>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mi>y</mi>
<mo>-</mo>
<msub>
<mi>D&delta;</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>,</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<mi>N</mi>
</mrow>
其中，ri(y)向量的最小元素给出了人脸y的身份信息，其中，δi表示第i类的特征函数；
现假设每个深度激活特征有K个不同的空间位置，每个法向分量图fi写成：
fi＝[fi1；…；fik；…；fiK]
类似的，字典D和人脸y被表示成：
D＝[D1；…；Dk；…；DK]
其中，Dk＝[f1,k,...,fi,k,...,fn,k]
y＝[y1；…；yk；…；yK]
因此建立局部位置敏感稀疏表示模型：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>K</mi>
</munderover>
<msub>
<mi>&omega;</mi>
<mi>k</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>y</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>k</mi>
</msub>
<mi>x</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
<mo>|</mo>
<mo>|</mo>
<mi>x</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>&le;</mo>
<mi>L</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，ωk是在相应位置深度激活特征的重要性权重；
相应的局部敏感重建误差ri(y)为：
<mrow>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>K</mi>
</munderover>
<msub>
<mi>&omega;</mi>
<mi>k</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>y</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&delta;</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>,</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<mi>N</mi>
</mrow>
一旦确定了稀疏表示系数根据局部敏感重建误差公式计算重建误差向量，最小的ri(y)给出了测试人脸y的身份。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711003898.8A CN107844760A (zh) | 2017-10-24 | 2017-10-24 | 基于曲面法向分量图神经网络表示的三维人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711003898.8A CN107844760A (zh) | 2017-10-24 | 2017-10-24 | 基于曲面法向分量图神经网络表示的三维人脸识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107844760A true CN107844760A (zh) | 2018-03-27 |
Family
ID=61662832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711003898.8A Pending CN107844760A (zh) | 2017-10-24 | 2017-10-24 | 基于曲面法向分量图神经网络表示的三维人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107844760A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108872130A (zh) * | 2018-06-25 | 2018-11-23 | 北京空间飞行器总体设计部 | 基于神经网络的常用飞行器表面材质识别方法 |
| CN108960288A (zh) * | 2018-06-07 | 2018-12-07 | 山东师范大学 | 基于卷积神经网络的三维模型分类方法及系统 |
| CN109063678A (zh) * | 2018-08-24 | 2018-12-21 | 北京字节跳动网络技术有限公司 | 脸部图像识别的方法、装置及存储介质 |
| CN109766840A (zh) * | 2019-01-10 | 2019-05-17 | 腾讯科技（深圳）有限公司 | 人脸表情识别方法、装置、终端及存储介质 |
| CN110020620A (zh) * | 2019-03-29 | 2019-07-16 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
| CN110659547A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 物体识别方法、装置、车辆和计算机可读存储介质 |
| WO2020034542A1 (zh) * | 2018-08-17 | 2020-02-20 | 平安科技（深圳）有限公司 | 神经网络模型训练、人脸识别方法、装置、设备及介质 |
| CN112183234A (zh) * | 2020-09-10 | 2021-01-05 | 北京华跃信息技术有限公司 | 基于图神经网络的态势感知方法及装置 |
| CN112534445A (zh) * | 2018-07-20 | 2021-03-19 | 意大利电信股份公司 | 具有数量被减少的参数的神经网络 |
| CN113825018A (zh) * | 2021-11-22 | 2021-12-21 | 环球数科集团有限公司 | 一种基于图像处理的视频处理管理平台 |
| US11809986B2 (en) | 2020-05-15 | 2023-11-07 | International Business Machines Corporation | Computing graph similarity via graph matching |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040081020A1 (en) * | 2002-10-23 | 2004-04-29 | Blosser Robert L. | Sonic identification system and method |
| CN105095833A (zh) * | 2014-05-08 | 2015-11-25 | 中国科学院声学研究所 | 用于人脸识别的网络构建方法、识别方法及系统 |
-
2017
- 2017-10-24 CN CN201711003898.8A patent/CN107844760A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040081020A1 (en) * | 2002-10-23 | 2004-04-29 | Blosser Robert L. | Sonic identification system and method |
| CN105095833A (zh) * | 2014-05-08 | 2015-11-25 | 中国科学院声学研究所 | 用于人脸识别的网络构建方法、识别方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| HUIBIN LI等: "Expression-robust 3D face recognition via weighted", 《NEUROCOMPUTING》 * |
| PRZEMYSLAW SZEPTYCKI等: "A coarse-to-fine curvature analysis-based rotation invariant 3D face", 《INTERNATIONAL CONFERENCE ON BIOMETRICS》 * |
| XIAOFAN WEI: ""Three Dimensional Face Recognition via Surface Harmonic Mapping and Deep Learning"", 《CHINESE CONFERENCE ON BIOMETRIC RECOGNITION》 * |
| 洪新海，宋彦: "结合CNN不同层信息的全变量建模人脸特征表达学习方法", 《信号处理》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960288A (zh) * | 2018-06-07 | 2018-12-07 | 山东师范大学 | 基于卷积神经网络的三维模型分类方法及系统 |
| CN108872130A (zh) * | 2018-06-25 | 2018-11-23 | 北京空间飞行器总体设计部 | 基于神经网络的常用飞行器表面材质识别方法 |
| CN110659547A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 物体识别方法、装置、车辆和计算机可读存储介质 |
| CN110659547B (zh) * | 2018-06-29 | 2023-07-14 | 比亚迪股份有限公司 | 物体识别方法、装置、车辆和计算机可读存储介质 |
| CN112534445A (zh) * | 2018-07-20 | 2021-03-19 | 意大利电信股份公司 | 具有数量被减少的参数的神经网络 |
| WO2020034542A1 (zh) * | 2018-08-17 | 2020-02-20 | 平安科技（深圳）有限公司 | 神经网络模型训练、人脸识别方法、装置、设备及介质 |
| WO2020037963A1 (zh) * | 2018-08-24 | 2020-02-27 | 北京字节跳动网络技术有限公司 | 脸部图像识别的方法、装置及存储介质 |
| CN109063678A (zh) * | 2018-08-24 | 2018-12-21 | 北京字节跳动网络技术有限公司 | 脸部图像识别的方法、装置及存储介质 |
| CN109766840A (zh) * | 2019-01-10 | 2019-05-17 | 腾讯科技（深圳）有限公司 | 人脸表情识别方法、装置、终端及存储介质 |
| CN109766840B (zh) * | 2019-01-10 | 2024-02-20 | 腾讯科技（深圳）有限公司 | 人脸表情识别方法、装置、终端及存储介质 |
| CN110020620A (zh) * | 2019-03-29 | 2019-07-16 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
| CN110020620B (zh) * | 2019-03-29 | 2021-07-30 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
| US11809986B2 (en) | 2020-05-15 | 2023-11-07 | International Business Machines Corporation | Computing graph similarity via graph matching |
| CN112183234A (zh) * | 2020-09-10 | 2021-01-05 | 北京华跃信息技术有限公司 | 基于图神经网络的态势感知方法及装置 |
| CN113825018B (zh) * | 2021-11-22 | 2022-02-08 | 环球数科集团有限公司 | 一种基于图像处理的视频处理管理平台 |
| CN113825018A (zh) * | 2021-11-22 | 2021-12-21 | 环球数科集团有限公司 | 一种基于图像处理的视频处理管理平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107844760A (zh) | 基于曲面法向分量图神经网络表示的三维人脸识别方法 | |
| CN107145842B (zh) | 结合lbp特征图与卷积神经网络的人脸识别方法 | |
| CN103258204B (zh) | 一种基于Gabor和EOH特征的自动微表情识别方法 | |
| CN108229444B (zh) | 一种基于整体和局部深度特征融合的行人再识别方法 | |
| CN106407986B (zh) | 一种基于深度模型的合成孔径雷达图像目标识别方法 | |
| CN103605972B (zh) | 一种基于分块深度神经网络的非限制环境人脸验证方法 | |
| CN105512680A (zh) | 一种基于深度神经网络的多视sar图像目标识别方法 | |
| CN106971174A (zh) | 一种cnn模型、cnn训练方法以及基于cnn的静脉识别方法 | |
| CN103984948B (zh) | 一种基于人脸图像融合特征的软双层年龄估计方法 | |
| CN106023220A (zh) | 一种基于深度学习的车辆外观部件图像分割方法 | |
| CN105205449A (zh) | 基于深度学习的手语识别方法 | |
| CN110414378A (zh) | 一种基于异质人脸图像融合特征的人脸识别方法 | |
| CN104915676A (zh) | 基于深层特征学习和分水岭的sar图像分类 | |
| CN104573731A (zh) | 基于卷积神经网络的快速目标检测方法 | |
| CN107679515A (zh) | 一种基于曲面调和形状图像深度表示的三维人脸识别方法 | |
| CN109299701A (zh) | 基于gan扩充多人种特征协同选择的人脸年龄估计方法 | |
| CN105893968A (zh) | 基于深度学习的文本无关的端到端的笔迹识别方法 | |
| CN105138968A (zh) | 人脸认证方法和装置 | |
| CN110503613A (zh) | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 | |
| CN105373777A (zh) | 一种用于人脸识别的方法及装置 | |
| CN105095880A (zh) | 一种基于lgbp编码的手指多模态特征融合方法 | |
| CN104636732A (zh) | 一种基于序列深信度网络的行人识别方法 | |
| CN103279936A (zh) | 基于画像的人脸伪照片自动合成及修正方法 | |
| CN109801225A (zh) | 基于多任务全卷积神经网络的人脸网纹污迹去除方法 | |
| CN108564120A (zh) | 基于深度神经网络的特征点提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |