CN107748871A - 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 - Google Patents

一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 Download PDF

Info

Publication number
CN107748871A
CN107748871A CN201711024463.1A CN201711024463A CN107748871A CN 107748871 A CN107748871 A CN 107748871A CN 201711024463 A CN201711024463 A CN 201711024463A CN 107748871 A CN107748871 A CN 107748871A
Authority
CN
China
Prior art keywords
mrow
msub
msubsup
face
covariance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711024463.1A
Other languages
English (en)
Other versions
CN107748871B (zh
Inventor
达飞鹏
邓星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201711024463.1A priority Critical patent/CN107748871B/zh
Publication of CN107748871A publication Critical patent/CN107748871A/zh
Priority to PCT/CN2018/087385 priority patent/WO2019080488A1/zh
Application granted granted Critical
Publication of CN107748871B publication Critical patent/CN107748871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，包括如下步骤：分别对原始的G个库集人脸模型和P个测试集人脸模型进行自动预处理；根据步骤(1)自动预处理之后的库集人脸模型和测试集人脸模型建立尺度空间并进行多尺度关键点检测及其邻域提取；对每个尺度下的每个关键点邻域提取d×d维的局部协方差描述子，并对这些局部协方差描述子进行多尺度融合构建多尺度协方差描述子；映射局部协方差描述子到可再生希尔伯特空间，提出局部敏感黎曼核稀疏表示对三维人脸进行分类识别。本发明能有效提高单一尺度局部协方差描述子的表述能力，同时局部敏感黎曼核稀疏分类可有效地利用多尺度描述子的局部性。

Description

一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的 三维人脸识别方法
技术领域
本发明涉及数字图像处理和模式识别领域，尤其是一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法。
背景技术
与二维图像不同，三维人脸扫描仪获取的三维人脸数据，能有效地包含人脸固有的空间几何信息。由于三维形状数据对光照、视图的变化鲁棒，并且不像二维数据其像素值易受化妆等影响，这些特点为个体身份的准确认定提供了客观依据。随着时代的演变，人体测量技术的发展以及计算能力的增强，极大地促进了人脸识别方法从纯粹以二维图像为基础的方法向使用人脸空间形状信息的三维人脸识别方法转移。近些年来，包含几何信息的三维人脸识别已经成为研究和应用的热点，尤其是人脸识别大挑战计划(FaceRecognition Grand Challenge，FRGC)的实施，极大地推动了国内外对三维人脸识别的研究。
但是人脸曲面随着年龄的增长、表情变化而发生变化，并且在实际应用中，复杂背景与传感器噪声等问题使得单一尺度的局部协方差描述子难以准确描述人脸的局部特征。通过连续变化的尺度参数获得不同尺度下的视觉处理信息，并整合相关信息，有利于深入地挖掘本质特征，故使用多个尺度融合下的人脸特征进行识别有利于提高人脸特征对尺度变化的鲁棒性。另一方面，将局部协方差描述子构成的空间映射到高维的可再生希尔伯特(Hilbert)空间，能解决协方差矩阵的稀疏表示问题。同时局部性比稀疏性更能从本质上反映空间特性。
发明内容
本发明所要解决的技术问题在于，提供一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，利用连续变化的尺度参数获得不同尺度下的局部协方差描述子，能有效提高单一尺度局部协方差描述子的表述能力，同时局部敏感黎曼核稀疏分类可有效地利用多尺度描述子的局部性。
为解决上述技术问题，本发明提供一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，包括如下步骤：
(1)分别对原始的G个库集人脸模型和P个测试集人脸模型进行自动预处理，用来改善三维数据的质量；
(2)根据步骤(1)自动预处理之后的库集人脸模型和测试集人脸模型建立尺度空间并进行多尺度关键点检测及其邻域提取；
(3)对每个尺度下的每个关键点邻域提取d×d维的局部协方差描述子，并对这些局部协方差描述子进行多尺度融合构建多尺度协方差描述子，d为所提取的特征向量的维数；
(4)映射局部协方差描述子到可再生希尔伯特空间，提出局部敏感黎曼核稀疏表示对三维人脸进行分类识别。
优选的，步骤(1)中，分别对原始的G个库集人脸模型和P个测试集人脸模型进行自动预处理具体包括如下步骤：
(11)对人脸中的一些小孔洞采用其临近三维点云坐标(x，y，z)的有效邻域通过双三次插值进行填补；
(12)人脸切割，根据形状指数，特征和几何约束确定鼻尖点位置，点的形状指数描述符通过其最大曲率和最小曲率计算，表示为
首先计算人脸点云中每一个点的形状指数，并选取形状指数在0.85-1.0范围内的点组成的连通区域作为初始的鼻尖点候选区域；其次计算人脸点云的质心位置，在鼻尖候选区域选择靠质心位置最近的一个连通区域作为鼻尖区域；选取鼻尖区域的质心作为鼻尖点；最后以鼻尖点为球心，90mm为半径做球，切割感兴趣的三维人脸区域；
(13)姿势矫正，通过对切割后的人脸采用主成分分析(Principal ComponentAnalysis，PCA)进行姿态矫正；以鼻尖点为坐标原点，最大的特征值对应的特征向量作为Y轴，最小的特征值对应的特征向量作为Z轴，建立一个新的右手姿势坐标系统(PoseCoordinate System，PCS)；在新的坐标系统中，人脸区域有一个正面姿态，且每个点由唯一的x，y，z坐标表示；
(14)平滑去噪，对空间三维坐标系中的人脸点云三角化，得到空间三角网格，然后用基于网格的平滑算法对人脸区域进行平滑去噪，经过10次迭代处理，得到表面平滑的三维人脸网格。
优选的，步骤(2)中，根据步骤(1)自动预处理之后的库集人脸模型和测试集人脸模型建立尺度空间并进行多尺度关键点检测及其邻域提取，具体包括如下步骤：
(21)通过最远点采样方法对原始人脸均匀采样m个关键点pi0(i＝1,…,m)，本发明中m＝37；
(22)基于网格曲面的高斯平滑来建立尺度空间，并通过连续变化的尺度参数获得不同尺度下的网格处理信息，构建一个包含高斯平滑处理过程的输入网格尺度空间，如式(2)所示：
其中M指原始三维人脸网格，表示近似的σs阶高斯滤波器，并且阶数σs＝2s/kσ0以指数形式变化，其中k和s是相应的平滑参数；三维人脸网格的高斯滤波器经过二项式滤波器卷积后，从每个网格顶点Vi移动到Vj表示Vi的一环邻域Ni中的点，得到新的三维人脸网格，依此类推；为了得到平滑曲面，利用离散卷积值逼近期望的指数增长速度，令 表示平均边缘长度，s＝0,1,…,nscales+2，本发明选择前3个尺度的三维人脸数据和原始人脸数据用于后续处理，原始人脸尺度记为0，所提取的多尺度关键点为pis(i＝1,…,37；s＝0,…,3)；
(23)对于每个尺度s，以关键点pis(i＝1,…,37)为中心，以测地距离r＝13为半径提取关键点邻域Pis(i＝1,…,37)，三维人脸表面用多尺度局部区域{Pis,i＝1,…,37；s＝0,…,3}来表示。
优选的，步骤(3)中，对每个尺度下的每个关键点邻域提取d×d维的局部协方差描述子，并对这些局部协方差描述子进行多尺度融合构建多尺度协方差描述子，具体包括如下步骤：
(31)对每个尺度s下的关键点邻域Pis(i＝1,…,37)中的点提取3个不同类型的特征Fd(d＝1,2,3)，mi为邻域Pis中点的个数：提取测地距离特征F1：F1表示邻域区域Pis中的点到中心点pi的测地距离，测地距离是连接三维人脸曲面上两个点之间的最短距离，是一类即使对形变人脸也具有高判别性的特征；提取梯度特征F2：点的梯度特征F2定义为
其中ny和nz分别表示点法线在x和z轴方向上的值；提取幅度特征F3：的幅度为
其中nx和ny分别表示点法线在x和y轴方向上的值，梯度特征和幅度特征可用来描述三维人脸曲面的几何法向上特定方向上的变化趋势；
(32)构建每个尺度s下关键点邻域的协方差描述子Cis(i＝1,…,37)：根据步骤(31)，对于区域Pis内的每一个点mi为区域Pis中的点数，提取3维特征向量 表示点的第1个测地距离特征F1s，以此类推；表示区域Pis中的所有点的3维特征向量的集合，用一个3×3的协方差矩阵Cis来表示一个给定的三维关键点邻域区域Pis，定义如下：
μs为区域Pis的平均特征向量，协方差矩阵Cis是一个对称正定矩阵，它的对角元素表示的是每个特征的方差，非对角元素表示特征之间的相关性，区域Pis的协方差矩阵Cis具有与其大小无关的独立固定的3×3的维数；
(33)局部协方差描述子的多尺度融合：
其中，s为尺度个数，λs为权重系数，λs为各尺度下的Rank-1的识别率与所有尺度的Rank-1识别率的总和之比，Ci即为第i个关键点的多尺度协方差描述子。
优选的，步骤(4)中，映射局部协方差描述子到可再生希尔伯特空间，提出局部敏感黎曼核稀疏表示对三维人脸进行分类识别具体包括如下步骤：
(41)库集字典建立，给定包含G个库集人脸的黎曼字典D＝{D1,…,Dg,…,DG}，其中Dg＝[Dg,1,Dg,2,…,Dg,m],g＝[1,…,G]，其中表示第g个人的第m个关键点邻域的d×d维的多尺度协方差描述子，D中包含了L＝G·m个协方差描述子；
(42)局部敏感黎曼核稀疏分类，给定一个函数对于测试人脸Y＝[y1,…,ym]，其中表示测试人脸Y的第m个关键点邻域的多尺度协方差描述子，采用局部敏感的黎曼核稀疏分类的LASSO模型如下，
其中λ为正则化参数，表示矢量对应元素相乘。pk∈RN表示局部算子，用于度量测试样本和黎曼字典中各列之间的黎曼距离，即用于测量测试样本和每个训练样本在核特征空间中的黎曼距离，并赋予基向量不同的自由度；
其中表示yk和D之间的Log-Euclidean距离，ε为用来调整局部敏感约束因子权重的衰减速度，设ε＝0.01；
求局部敏感的黎曼核稀疏分类的LASSO模型的解析解，即在等式约束1Txk＝1下，使目标函数最小；该模型是一类典型的有等式约束的最优化问题，可采用拉格朗日乘数法进行求解，通过拉格朗日系数把等式约束和目标函数进行组合，对该式进行最优化求解，得到其解析解为
其中
相比于A1范数约束下的稀疏表示，基于敏感约束下的稀疏表示可以得到更具有判别性的特征和解析解，因此其求解速度比A1范数约束下的稀疏表示快得多，通过直接求解方程的系数矢量xk，可以实现局部敏感黎曼核稀疏表示分类，如下式
其中δg(·)表示仅选择类g对应的系数，rg(Y)为第g类m个描述子的重建残差和的均值，其残差最小的库集人脸模型与测试集人脸模型可以判定为同一个人的三维人脸；
采用能精准测量重建残差的Log-Euclidean高斯核，其对应表达式为：
K(X,Y)＝exp(-γ||log(X)-log(Y)||2) (11)
其中γ为核函数K(X,Y)的参数，本发明的实验参数为λ＝10e-3，γ＝2×10e-2。
本发明的有益效果为：(1)提出直接在三维人脸网格上提取基于关键点邻域的不同类型的有效特征，不仅仅是单一的利用形状区域的几何或空域特征；(2)通过连续变化的尺度参数获得不同尺度下的视觉处理信息，深入地挖掘三维人脸的本质特征，本发明提出使用多个尺度融合下的人脸特征进行识；(3)通过在黎曼核稀疏编码中引入局部约束来产生较好的分类性能，提出了基于局部敏感黎曼核稀疏分类的三维人脸识别方法。
附图说明
图1为本发明的方法流程示意图。
图2为本发明的原始人脸模型示意图。
图3为本发明经切割后的人脸区域模型示意图。
图4为本发明的三维人脸1-3尺度关键点的邻域展示(m＝37)示意图。
具体实施方式
如图1所示，一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，包括如下步骤：
(1)分别对原始的G个库集人脸模型和P个测试集人脸模型进行自动预处理，用来改善三维数据的质量；
(2)根据步骤(1)自动预处理之后的库集人脸模型和测试集人脸模型建立尺度空间并进行多尺度关键点检测及其邻域提取；
(3)对每个尺度下的每个关键点邻域提取d×d维的局部协方差描述子，并对这些局部协方差描述子进行多尺度融合构建多尺度协方差描述子，d为所提取的特征向量的维数；
(4)映射局部协方差描述子到可再生希尔伯特空间，提出局部敏感黎曼核稀疏表示对三维人脸进行分类识别。
实施例1：
如图1-4所示，本发明的一种基于多尺度协方差描述子和局部敏感黎曼核稀疏分类的三维人脸识别方法，在Windows操作系统中通过Matlab R2015b编程工具实现三维人脸识别流程。实验数据来自FRGC v2.0三维人脸数据库，该数据库包含用于测试的466个人的4007张三维人脸模型。
步骤1：分别对原始的G个库集人脸模型和P个测试集人脸模型进行自动预处理的具体处理过程为：
步骤1.1：对人脸中的一些小孔洞采用其临近三维点云坐标(x，y，z)的有效邻域通过双三次插值进行填补；
步骤1.2：人脸切割，根据形状指数(Shape Index)特征和几何约束确定鼻尖点位置，点的形状指数描述符通过其最大曲率和最小曲率计算，表示为
首先计算人脸点云中每一个点的形状指数，并选取形状指数在(0.85-1.0)范围内的点组成的连通区域作为初始的鼻尖点候选区域。其次计算人脸点云的质心位置，在鼻尖候选区域选择靠质心位置最近的一个连通区域作为鼻尖区域。选取鼻尖区域的质心作为鼻尖点。最后以鼻尖点为球心，90mm为半径做球，切割感兴趣的三维人脸区域；
步骤1.3：姿势矫正，通过对切割后的人脸采用主成分分析(Principal ComponentAnalysis，PCA)进行姿态矫正。以鼻尖点为坐标原点，最大的特征值对应的特征向量作为Y轴，最小的特征值对应的特征向量作为Z轴，建立一个新的右手姿势坐标系统(PoseCoordinate System，PCS)。在新的坐标系统中，人脸区域有一个正面姿态，且每个点由唯一的x，y，z坐标表示；
步骤1.4：平滑去噪，对空间三维坐标系中的人脸点云三角化，得到空间三角网格，然后用基于网格的平滑算法对人脸区域进行平滑去噪，经过10次迭代处理，得到表面平滑的三维人脸网格。
步骤2：对步骤1自动预处理之后的库集人脸模型和测试集人脸模型建立尺度空间并进行多尺度关键点检测及其邻域提取，具体处理过程为：
步骤2.1：通过最远点采样方法对原始人脸均匀采样m个关键点pi0(i＝1,…,m)，本发明m＝37；
步骤2.2：基于网格曲面的高斯平滑来建立尺度空间，并通过连续变化的尺度参数获得不同尺度下的网格处理信息。构建一个包含高斯平滑处理过程的输入网格尺度空间，如式(2)所示：
其中M指原始三维人脸网格，表示近似的σs阶高斯滤波器，并且阶数σs＝2s/kσ0以指数形式变化，其中k和s是相应的平滑参数。三维人脸网格的高斯滤波器经过二项式滤波器(从每个网格顶点Vi移动到Vj表示Vi的一环邻域Ni中的点)卷积后，得到新的三维人脸网格，依此类推。为了得到平滑曲面，利用离散卷积值逼近期望的指数增长速度。令 表示平均边缘长度，s＝0,1,…,nscales+2。本发明选择前3个尺度的三维人脸数据和原始人脸数据(原始人脸尺度记为0)用于后续处理。所提取的多尺度关键点为pis(i＝1,…,37；s＝0,…,3)；
步骤2.3：对于每个尺度s，以关键点pis(i＝1,…,37)为中心，以测地距离r＝13为半径提取关键点邻域Pis(i＝1,…,37)。三维人脸表面用多尺度局部区域{Pis,i＝1,…,37；s＝0,…,3}来表示。
步骤3：根据步骤2所提取的多尺度关键点邻域区域Pis(i＝1,…,37,s＝0,…,3)。对每个尺度下的每个关键点邻域提取d×d维的局部协方差描述子，并对这些局部协方差描述子进行多尺度融合构建多尺度协方差描述子，d为所提取的特征向量的维数，具体处理过程为：
步骤3.1：对每个尺度s下的关键点邻域Pis(i＝1,…,37)中的点提取3个不同类型的特征Fd(d＝1,2,3)，mi为邻域Pis中点的个数：
步骤3.1.1：提取测地距离特征F1：F1表示邻域区域Pis中的点到中心点pi的测地距离。测地距离是连接三维人脸曲面上两个点之间的最短距离，是一类即使对形变人脸也具有高判别性的特征；
步骤3.1.2：提取梯度特征F2：点的梯度特征F2定义为
其中ny和nz分别表示点法线在x和z轴方向上的值；
步骤3.1.3：提取幅度特征F3：的幅度为
其中nx和ny分别表示点法线在x和y轴方向上的值。梯度特征和幅度特征可用来描述三维人脸曲面的几何法向上特定方向上的变化趋势。
理论上，测地距离、形状指数、体积、梯度、幅度、形状直径函数、曲度和Laplace-Beltrami描述符等都可用作表述三维人脸的特征。但是为了适应实际需要、降低数据存储量、提高计算效率和增进识别率，本发明选用测地距离、梯度和幅度特征用于构造多尺度协方差描述子。选定的特征能够良好地反映点之间的度量，刻画人脸局部表面和在特定方向上的变化趋势。
步骤3.2：构建每个尺度s下关键点邻域的协方差描述子Cis(i＝1,…,37)：
根据步骤3.1，对于区域Pis内的每一个点mi为区域Pis中的点数，提取3维特征向量 表示点的第1个测地距离特征F1s，以此类推。表示区域Pis中的所有点的3维特征向量的集合。用一个3×3的协方差矩阵Cis来表示一个给定的三维关键点邻域区域Pis，定义如下：
μs为区域Pis的平均特征向量。协方差矩阵Cis是一个对称正定矩阵，它的对角元素表示的是每个特征的方差，非对角元素表示特征之间的相关性。区域Pis的协方差矩阵Cis具有与其大小无关的独立固定的3×3的维数；
步骤3.3：局部协方差描述子的多尺度融合：
其中，s为尺度个数，λs为权重系数。λs为各尺度下的Rank-1的识别率与所有尺度的Rank-1识别率的总和之比。Ci即为第i个关键点的多尺度协方差描述子。
步骤4：根据步骤3所提取的多尺度协方差描述子，提出局部敏感黎曼核稀疏表示对三维人脸进行分类识别。
将局部协方差描述子构成的空间映射到高维的可再生希尔伯特(ReproducingKernel Hibert Space，RKHS)空间，能解决协方差矩阵的稀疏表示问题。但是，局部性比稀疏性更能从本质上反映空间特性。本发明提出局部敏感黎曼核稀疏表示对三维人脸进行分类识别。
步骤4.1：库集字典建立，给定包含G个库集人脸的黎曼字典D＝{D1,…,Dg,…,DG}，其中Dg＝[Dg,1,Dg,2,…,Dg,m],g＝[1,…,G]，其中表示第g个人的第m个关键点邻域的d×d维的多尺度协方差描述子，D中包含了L＝G·m个协方差描述子；
步骤4.2：局部敏感黎曼核稀疏分类，给定一个函数对于测试人脸Y＝[y1,…,ym]，其中表示测试人脸Y的第m个关键点邻域的多尺度协方差描述子，采用局部敏感的黎曼核稀疏分类的LASSO模型如下，
其中λ为正则化参数，表示矢量对应元素相乘。pk∈RN表示局部算子，用于度量测试样本和黎曼字典中各列之间的黎曼距离，即用于测量测试样本和每个训练样本在核特征空间中的黎曼距离，并赋予基向量不同的自由度。
其中表示yk和D之间的Log-Euclidean距离。ε为用来调整局部敏感约束因子权重的衰减速度，本发明设ε＝0.01。
求局部敏感的黎曼核稀疏分类的LASSO模型的解析解，即在等式约束1Txk＝1下，使目标函数最小。该模型是一类典型的有等式约束的最优化问题，可采用拉格朗日乘数法(Lagrange Multiplier)进行求解。通过拉格朗日系数把等式约束和目标函数进行组合，对该式进行最优化求解。得到其解析解为
其中
相比于l1范数约束下的稀疏表示，基于敏感约束下的稀疏表示可以得到更具有判别性的特征和解析解，因此其求解速度比l1范数约束下的稀疏表示快得多。通过直接求解方程的系数矢量xk，可以实现局部敏感黎曼核稀疏表示分类，如下式
其中δg(·)表示仅选择类g对应的系数，rg(Y)为第g类m个描述子的重建残差和的均值，其残差最小的库集人脸模型与测试集人脸模型可以判定为同一个人的三维人脸。
本发明采用能精准测量重建残差的Log-Euclidean高斯核，其对应表达式为：
K(X,Y)＝exp(-γ||log(X)-log(Y)||2) (11)
其中γ为核函数K(X,Y)的参数。本发明的实验参数为λ＝10e-3，γ＝2×10e-2。
以上方法中，库集人脸为离线处理模式，测试人脸为在线处理模式。
实施例2：
采用实施例1的方法，进行实验验证。具体包括以下步骤：
步骤6：身份识别实验，实验均采用R1RR(Rank-one Recognition Rate)作为识别性能指标。
步骤6.1：实验一，本实验采用FRGC v2.0数据库，该库采集了466个对象的4007个人脸点云，包含微笑、吃惊、生气等带表情的人脸。在该数据库上做了三个识别实验，且每个实验都是采用每个对象的第一张中性人脸组成(共466张)库集人脸。(1)Neutralvs.Others，其余的3541张人脸构成测试集；(2)Neutral vs.Neutral，其余中性人脸作为测试集；(3)Neutral vs.Non-neutral，其余非中性人脸作为测试集。三组实验分别得到了98.3％、100％和95.7％的Rank-1识别率。
步骤6.2：实验二，本实验基于Bosphorus数据库，该数据库采集了105个对象的4666张人脸点云，其中表情种类丰富，且表情幅度较大。本实验采用每个人的第一张中性人脸组成的共105幅三维扫描数据作为库集，剩余的中性人脸和带表情的人脸分别作为测试集进行测试。测试集为中性人脸的Rank-1识别率为100％，测试集为愤怒、厌恶、恐惧、高兴、悲伤和惊讶的带表情的人脸的Rank-1识别率分别为97.2％、94.2％、97.1％、96.2％、98.5％和98.6％。由此可知，本发明提出的算法对表情变化具有很好的鲁棒性。
尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。

Claims (5)

1.一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，其特征在于，包括如下步骤：
(1)分别对原始的G个库集人脸模型和P个测试集人脸模型进行自动预处理，用来改善三维数据的质量；
(2)根据步骤(1)自动预处理之后的库集人脸模型和测试集人脸模型建立尺度空间并进行多尺度关键点检测及其邻域提取；
(3)对每个尺度下的每个关键点邻域提取d×d维的局部协方差描述子，并对这些局部协方差描述子进行多尺度融合构建多尺度协方差描述子，d为所提取的特征向量的维数；
(4)映射局部协方差描述子到可再生希尔伯特空间，提出局部敏感黎曼核稀疏表示对三维人脸进行分类识别。
2.如权利要求1所述的基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，其特征在于，步骤(1)中，分别对原始的G个库集人脸模型和P个测试集人脸模型进行自动预处理具体包括如下步骤：
(11)对人脸中的一些小孔洞采用其临近三维点云坐标(x，y，z)的有效邻域通过双三次插值进行填补；
(12)人脸切割，根据形状指数，特征和几何约束确定鼻尖点位置，点的形状指数描述符通过其最大曲率和最小曲率计算，表示为
<mrow> <mi>S</mi> <mi>h</mi> <mi>a</mi> <mi>p</mi> <mi>e</mi> <mi>I</mi> <mi>n</mi> <mi>d</mi> <mi>e</mi> <mi>x</mi> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>-</mo> <mfrac> <mn>1</mn> <mi>&amp;pi;</mi> </mfrac> <msup> <mi>tan</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mfrac> <mrow> <msub> <mi>k</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>k</mi> <mi>min</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>k</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>k</mi> <mi>min</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
首先计算人脸点云中每一个点的形状指数，并选取形状指数在0.85-1.0范围内的点组成的连通区域作为初始的鼻尖点候选区域；其次计算人脸点云的质心位置，在鼻尖候选区域选择靠质心位置最近的一个连通区域作为鼻尖区域；选取鼻尖区域的质心作为鼻尖点；最后以鼻尖点为球心，90mm为半径做球，切割感兴趣的三维人脸区域；
(13)姿势矫正，通过对切割后的人脸采用主成分分析PCA进行姿态矫正；以鼻尖点为坐标原点，最大的特征值对应的特征向量作为Y轴，最小的特征值对应的特征向量作为Z轴，建立一个新的右手姿势坐标系统PCS；在新的坐标系统中，人脸区域有一个正面姿态，且每个点由唯一的x，y，z坐标表示；
(14)平滑去噪，对空间三维坐标系中的人脸点云三角化，得到空间三角网格，然后用基于网格的平滑算法对人脸区域进行平滑去噪，经过10次迭代处理，得到表面平滑的三维人脸网格。
3.如权利要求1所述的基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，其特征在于，步骤(2)中，根据步骤(1)自动预处理之后的库集人脸模型和测试集人脸模型建立尺度空间并进行多尺度关键点检测及其邻域提取，具体包括如下步骤：
(21)通过最远点采样方法对原始人脸均匀采样m个关键点pi0(i＝1,…,m)，本发明中m＝37；
(22)基于网格曲面的高斯平滑来建立尺度空间，并通过连续变化的尺度参数获得不同尺度下的网格处理信息，构建一个包含高斯平滑处理过程的输入网格尺度空间，如式(2)所示：
<mrow> <msub> <mi>M</mi> <mi>s</mi> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>M</mi> <mo>,</mo> <mi>i</mi> <mi>f</mi> <mi> </mi> <mi>s</mi> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mover> <mi>G</mi> <mo>^</mo> </mover> <msub> <mi>&amp;sigma;</mi> <mi>s</mi> </msub> </msub> <mo>&amp;CircleTimes;</mo> <mi>M</mi> <mo>,</mo> <mi>e</mi> <mi>l</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中M指原始三维人脸网格，表示近似的σs阶高斯滤波器，并且阶数σs＝2s/kσ0以指数形式变化，其中k和s是相应的平滑参数；三维人脸网格的高斯滤波器经过二项式滤波器卷积后，从每个网格顶点Vi移动到Vj表示Vi的一环邻域Ni中的点，得到新的三维人脸网格，依此类推；为了得到平滑曲面，利用离散卷积值逼近期望的指数增长速度，令 表示平均边缘长度，s＝0,1,…,nscales+2，本发明选择前3个尺度的三维人脸数据和原始人脸数据用于后续处理，原始人脸尺度记为0，所提取的多尺度关键点为pis(i＝1,…,37；s＝0,…,3)；
(23)对于每个尺度s，以关键点pis(i＝1,…,37)为中心，以测地距离r＝13为半径提取关键点邻域Pis(i＝1,…,37)，三维人脸表面用多尺度局部区域{Pis,i＝1,…,37；s＝0,…,3}来表示。
4.如权利要求1所述的基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，其特征在于，步骤(3)中，对每个尺度下的每个关键点邻域提取d×d维的局部协方差描述子，并对这些局部协方差描述子进行多尺度融合构建多尺度协方差描述子，具体包括如下步骤：
(31)对每个尺度s下的关键点邻域Pis(i＝1,…,37)中的点提取3个不同类型的特征Fd(d＝1,2,3)，mi为邻域Pis中点的个数：提取测地距离特征F1：F1表示邻域区域Pis中的点到中心点pi的测地距离，测地距离是连接三维人脸曲面上两个点之间的最短距离，是一类即使对形变人脸也具有高判别性的特征；提取梯度特征F2：点的梯度特征F2定义为
<mrow> <mi>G</mi> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mrow> <mi>j</mi> <mi>s</mi> </mrow> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mo>&amp;lsqb;</mo> <mfrac> <mrow> <msub> <mi>n</mi> <mi>y</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mrow> <mi>j</mi> <mi>s</mi> </mrow> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>n</mi> <mi>z</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mrow> <mi>j</mi> <mi>s</mi> </mrow> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中ny和nz分别表示点法线在x和z轴方向上的值；提取幅度特征F3：的幅度为
<mrow> <mi>M</mi> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msubsup> <mi>n</mi> <mi>x</mi> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>n</mi> <mi>y</mi> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其中nx和ny分别表示点法线在x和y轴方向上的值，梯度特征和幅度特征可用来描述三维人脸曲面的几何法向上特定方向上的变化趋势；
(32)构建每个尺度s下关键点邻域的协方差描述子Cis(i＝1,…,37)：根据步骤(31)，对于区域Pis内的每一个点mi为区域Pis中的点数，提取3维特征向量 表示点的第1个测地距离特征F1s，以此类推；表示区域Pis中的所有点的3维特征向量的集合，用一个3×3的协方差矩阵Cis来表示一个给定的三维关键点邻域区域Pis，定义如下：
<mrow> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <msub> <mi>m</mi> <mi>i</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>m</mi> <mi>i</mi> </msub> </msubsup> <mrow> <mo>(</mo> <msubsup> <mi>f</mi> <mrow> <mi>j</mi> <mi>s</mi> </mrow> <mi>i</mi> </msubsup> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msubsup> <mi>f</mi> <mrow> <mi>j</mi> <mi>s</mi> </mrow> <mi>i</mi> </msubsup> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
μs为区域Pis的平均特征向量，协方差矩阵Cis是一个对称正定矩阵，它的对角元素表示的是每个特征的方差，非对角元素表示特征之间的相关性，区域Pis的协方差矩阵Cis具有与其大小无关的独立固定的3×3的维数；
(33)局部协方差描述子的多尺度融合：
<mrow> <msub> <mi>C</mi> <mi>i</mi> </msub> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>s</mi> <mo>=</mo> <mn>0</mn> </mrow> <mn>3</mn> </msubsup> <msub> <mi>&amp;lambda;</mi> <mi>s</mi> </msub> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mi>s</mi> </mrow> </msub> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>s</mi> <mo>=</mo> <mn>0</mn> </mrow> <mn>3</mn> </msubsup> <msub> <mi>&amp;lambda;</mi> <mi>s</mi> </msub> <mrow> <mo>(</mo> <mfrac> <mn>1</mn> <mrow> <msub> <mi>m</mi> <mi>i</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>m</mi> <mi>i</mi> </msub> </msubsup> <mo>(</mo> <mrow> <msubsup> <mi>f</mi> <mrow> <mi>j</mi> <mi>s</mi> </mrow> <mi>i</mi> </msubsup> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>s</mi> </msub> </mrow> <mo>)</mo> <msup> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>f</mi> <mrow> <mi>j</mi> <mi>s</mi> </mrow> <mi>i</mi> </msubsup> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>s</mi> </msub> </mrow> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
其中，s为尺度个数，λs为权重系数，λs为各尺度下的Rank-1的识别率与所有尺度的Rank-1识别率的总和之比，Ci即为第i个关键点的多尺度协方差描述子。
5.如权利要求1所述的基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，其特征在于，步骤(4)中，映射局部协方差描述子到可再生希尔伯特空间，提出局部敏感黎曼核稀疏表示对三维人脸进行分类识别具体包括如下步骤：
(41)库集字典建立，给定包含G个库集人脸的黎曼字典D＝{D1,…,Dg,…,DG}，其中Dg＝[Dg,1,Dg,2,…,Dg,m],g＝[1,…,G]，其中表示第g个人的第m个关键点邻域的d×d维的多尺度协方差描述子，D中包含了L＝G·m个协方差描述子；
(42)局部敏感黎曼核稀疏分类，给定一个函数对于测试人脸Y＝[y1,…,ym]，其中表示测试人脸Y的第m个关键点邻域的多尺度协方差描述子，采用局部敏感的黎曼核稀疏分类的LASSO模型如下，
其中λ为正则化参数，表示矢量对应元素相乘。pk∈RN表示局部算子，用于度量测试样本和黎曼字典中各列之间的黎曼距离，即用于测量测试样本和每个训练样本在核特征空间中的黎曼距离，并赋予基向量不同的自由度；
其中表示yk和D之间的Log-Euclidean距离，ε为用来调整局部敏感约束因子权重的衰减速度，设ε＝0.01；
求局部敏感的黎曼核稀疏分类的LASSO模型的解析解，即在等式约束1Txk＝1下，使目标函数最小；该模型是一类典型的有等式约束的最优化问题，可采用拉格朗日乘数法进行求解，通过拉格朗日系数把等式约束和目标函数进行组合，对该式进行最优化求解，得到其解析解为
<mrow> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>=</mo> <mfrac> <msub> <mover> <mi>x</mi> <mo>~</mo> </mover> <mi>k</mi> </msub> <mrow> <msup> <mn>1</mn> <mi>T</mi> </msup> <msub> <mover> <mi>x</mi> <mo>~</mo> </mover> <mi>k</mi> </msub> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
其中
相比于范数约束下的稀疏表示，基于敏感约束下的稀疏表示可以得到更具有判别性的特征和解析解，因此其求解速度比范数约束下的稀疏表示快得多，通过直接求解方程的系数矢量xk，可以实现局部敏感黎曼核稀疏表示分类，如下式
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>d</mi> <mi>e</mi> <mi>n</mi> <mi>t</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> <mrow> <mo>(</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <mi>g</mi> </munder> <msub> <mi>r</mi> <mi>g</mi> </msub> <mrow> <mo>(</mo> <mi>Y</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <mi>g</mi> </munder> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <msubsup> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <mo>{</mo> <mi>K</mi> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>K</mi> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mi>g</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <msub> <mi>&amp;delta;</mi> <mi>g</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;delta;</mi> <mi>g</mi> </msub> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mi>K</mi> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>D</mi> <mi>g</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <msub> <mi>&amp;delta;</mi> <mi>g</mi> </msub> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mi>K</mi> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mi>g</mi> </msub> <mo>,</mo> <msub> <mi>D</mi> <mi>g</mi> </msub> <mo>)</mo> </mrow> <msub> <mi>&amp;delta;</mi> <mi>g</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>}</mo> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中δg(·)表示仅选择类g对应的系数，rg(Y)为第g类m个描述子的重建残差和的均值，其残差最小的库集人脸模型与测试集人脸模型可以判定为同一个人的三维人脸；
采用能精准测量重建残差的Log-Euclidean高斯核，其对应表达式为：
K(X,Y)＝exp(-γ||log(X)-log(Y)||2) (11)
其中γ为核函数K(X,Y)的参数，本发明的实验参数为λ＝10e-3，γ＝2×10e-2。
CN201711024463.1A 2017-10-27 2017-10-27 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 Active CN107748871B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711024463.1A CN107748871B (zh) 2017-10-27 2017-10-27 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
PCT/CN2018/087385 WO2019080488A1 (zh) 2017-10-27 2018-05-17 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711024463.1A CN107748871B (zh) 2017-10-27 2017-10-27 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法

Publications (2)

Publication Number Publication Date
CN107748871A true CN107748871A (zh) 2018-03-02
CN107748871B CN107748871B (zh) 2021-04-06

Family

ID=61254210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711024463.1A Active CN107748871B (zh) 2017-10-27 2017-10-27 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法

Country Status (2)

Country Link
CN (1) CN107748871B (zh)
WO (1) WO2019080488A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764351A (zh) * 2018-05-30 2018-11-06 佛山科学技术学院 一种基于测地距离的黎曼流形保持核学习方法及装置
CN108830888A (zh) * 2018-05-24 2018-11-16 中北大学 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法
WO2019080488A1 (zh) * 2017-10-27 2019-05-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
CN109871818A (zh) * 2019-02-27 2019-06-11 东南大学 基于法向量分布直方图和协方差描述子的人脸识别方法
CN110083715A (zh) * 2019-03-20 2019-08-02 杭州电子科技大学 一种基于核稀疏表示的三维模型分类检索方法
CN111860668A (zh) * 2020-07-27 2020-10-30 辽宁工程技术大学 一种针对原始3d点云处理的深度卷积网络的点云识别方法
CN111858991A (zh) * 2020-08-06 2020-10-30 南京大学 一种基于协方差度量的小样本学习算法
CN112001231A (zh) * 2020-07-09 2020-11-27 哈尔滨工业大学（深圳） 加权多任务稀疏表示的三维人脸识别方法、系统及介质
CN112164098A (zh) * 2020-09-02 2021-01-01 武汉大学 一种利用车载LiDAR系统预测城市道路局部坍塌的方法
CN112733758A (zh) * 2021-01-15 2021-04-30 哈尔滨工业大学（深圳） 黎曼几何不变性下基于曲线的三维人脸识别方法及系统
CN113740220A (zh) * 2021-09-07 2021-12-03 中国人民解放军国防科技大学 基于高分辨气溶胶资料的多尺度三维变分同化方法

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287997B (zh) * 2019-05-28 2023-04-18 沈阳航空航天大学 一种自适应加权局部约束稀疏编码方法
CN110276408B (zh) * 2019-06-27 2022-11-22 腾讯科技（深圳）有限公司 3d图像的分类方法、装置、设备及存储介质
CN110490912B (zh) * 2019-07-17 2023-03-31 哈尔滨工程大学 基于局部灰度顺序模型描述符的3d-rgb点云配准方法
CN112307809B (zh) * 2019-07-26 2023-07-25 中国科学院沈阳自动化研究所 一种基于稀疏特征点云的主动目标识别方法
CN110555245B (zh) * 2019-08-13 2023-10-24 中国航发贵阳发动机设计研究所 一种三维尺度精准关注部位提取应力梯度的方法
CN110991227B (zh) * 2019-10-23 2023-06-30 东北大学 一种基于深度类残差网络的三维物体识别和定位方法
CN111126246B (zh) * 2019-12-20 2023-04-07 陕西西图数联科技有限公司 基于3d点云几何特征的人脸活体检测方法
CN111127658A (zh) * 2019-12-23 2020-05-08 北京工商大学 一种基于点云重建三角网格曲面的保特征曲面重建方法
CN111104749B (zh) * 2019-12-24 2023-09-15 山东恒道如一数字传媒有限公司 一种基于渐进式外接球结构的碰撞检测算法
CN111079684B (zh) * 2019-12-24 2023-04-07 陕西西图数联科技有限公司 一种基于粗糙-精细拟合的三维人脸检测方法
CN113052193B (zh) * 2019-12-27 2023-07-11 沈阳新松机器人自动化股份有限公司 机器人重定位方法及系统
CN111241960B (zh) * 2020-01-06 2023-05-30 佛山科学技术学院 一种基于维纳滤波与pca的人脸识别方法及系统
CN111369458B (zh) * 2020-02-28 2023-04-07 中国人民解放军空军工程大学 基于多尺度滚动引导滤波平滑的红外弱小目标背景抑制方法
CN111369610B (zh) * 2020-03-05 2022-09-06 山东交通学院 基于可信度信息的点云数据粗差定位和剔除方法
CN111444802B (zh) * 2020-03-18 2022-05-20 重庆邮电大学 一种人脸识别方法、装置及智能终端
CN111611996B (zh) * 2020-04-22 2023-06-20 青岛联合创智科技有限公司 一种点云特征点描述子的计算方法
CN111563959B (zh) * 2020-05-06 2023-04-28 厦门美图之家科技有限公司 人脸三维可形变模型的更新方法、装置、设备及介质
CN111768485B (zh) * 2020-06-28 2024-01-12 北京百度网讯科技有限公司 三维图像的关键点标注方法、装置、电子设备及存储介质
CN111814874B (zh) * 2020-07-08 2024-04-02 东华大学 一种用于点云深度学习的多尺度特征提取增强方法及系统
CN112002014B (zh) * 2020-08-31 2023-12-15 中国科学院自动化研究所 面向精细结构的三维人脸重建方法、系统、装置
CN112183276B (zh) * 2020-09-21 2024-02-09 西安理工大学 基于特征描述符的部分遮挡人脸识别方法
CN112836582B (zh) * 2021-01-05 2023-09-26 北京大学 基于动态稀疏子空间的高维流系统结构变点在线检测方法
CN112733705A (zh) * 2021-01-07 2021-04-30 中科魔镜(深圳)科技发展有限公司 一种基于人体面部的3d智能分析系统
CN112766215A (zh) * 2021-01-29 2021-05-07 北京字跳网络技术有限公司 人脸融合方法、装置、电子设备及存储介质
CN113111548B (zh) * 2021-03-27 2023-07-21 西北工业大学 一种基于周角差值的产品三维特征点提取方法
CN113724400A (zh) * 2021-07-26 2021-11-30 泉州装备制造研究所 一种面向倾斜摄影的多属性融合建筑物点云提取方法
CN113657259B (zh) * 2021-08-16 2023-07-21 西安航空学院 基于鲁棒特征提取的单样本人脸识别方法
CN113674332B (zh) * 2021-08-19 2024-05-21 上海应用技术大学 一种基于拓扑结构与多尺度特征的点云配准方法
CN113763274B (zh) * 2021-09-08 2023-06-06 湖北工业大学 一种联合局部相位锐度定向描述的多源图像匹配方法
CN113887529A (zh) * 2021-11-09 2022-01-04 天津大学 基于运动单元特征分解的三维人脸表情生成系统
CN114511911A (zh) * 2022-02-25 2022-05-17 支付宝(杭州)信息技术有限公司 一种人脸识别方法、装置以及设备
CN114842276B (zh) * 2022-05-18 2024-03-26 扬州大学 一种基于多图融合的典型相关分析的降维方法
CN116026528A (zh) * 2023-01-14 2023-04-28 慈溪市远辉照明电器有限公司 一种高防水安全型三防灯
CN116561809B (zh) * 2023-07-10 2023-10-24 北京中超伟业信息安全技术股份有限公司 一种基于点云识别保密介质的销毁方法
CN117290732B (zh) * 2023-11-24 2024-03-01 山东理工昊明新能源有限公司 故障分类模型的构建方法、风电设备故障分类方法及装置
CN117789185B (zh) * 2024-02-28 2024-05-10 浙江驿公里智能科技有限公司 基于深度学习的汽车油孔姿态识别系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930790A (zh) * 2016-04-19 2016-09-07 电子科技大学 基于核稀疏编码的人体行为识别方法
CN106022228A (zh) * 2016-05-11 2016-10-12 东南大学 一种基于网格纵横局部二值模式的三维人脸识别方法
CN106530338A (zh) * 2016-10-31 2017-03-22 武汉纺织大学 生物组织非线性形变前后mr影像特征点匹配方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650777B (zh) * 2009-09-07 2012-04-11 东南大学 一种基于密集点对应的快速三维人脸识别方法
CN101986328B (zh) * 2010-12-06 2012-06-27 东南大学 一种基于局部描述符的三维人脸识别方法
CN102592136B (zh) * 2011-12-21 2013-10-16 东南大学 基于几何图像中中频信息的三维人脸识别方法
CN104091162B (zh) * 2014-07-17 2017-06-23 东南大学 基于特征点的三维人脸识别方法
CN104463111A (zh) * 2014-11-21 2015-03-25 天津工业大学 多尺度特征区域曲率相融合的三维人脸识别方法
CN104598879A (zh) * 2015-01-07 2015-05-06 东南大学 基于半刚性区域面部轮廓线的三维人脸识别方法
CN106096503A (zh) * 2016-05-30 2016-11-09 东南大学 一种基于关键点和局部特征的三维人脸识别方法
CN107748871B (zh) * 2017-10-27 2021-04-06 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930790A (zh) * 2016-04-19 2016-09-07 电子科技大学 基于核稀疏编码的人体行为识别方法
CN106022228A (zh) * 2016-05-11 2016-10-12 东南大学 一种基于网格纵横局部二值模式的三维人脸识别方法
CN106530338A (zh) * 2016-10-31 2017-03-22 武汉纺织大学 生物组织非线性形变前后mr影像特征点匹配方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DIRK SMEETS等: "meshSIFT: Local surface features for 3D face recognition under expression variations and partial data", 《COMPUTER VISION AND IMAGE UNDERSTANDING》 *
熊风光等: "三维点云模型中特征点描述子及其匹配算法研究", 《小型微型计算机系统》 *
王大为等: "基于 CASIA 3D 的三维人脸数据预处理方法", 《山西师范大学学报》 *
郭梦丽等: "基于关键点和局部特征的三维人脸识别", 《浙江大学学报》 *
马建红等: "利用协方差矩阵法表示深度图像集的鲁棒人脸识别", 《计算机应用研究》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019080488A1 (zh) * 2017-10-27 2019-05-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
CN108830888A (zh) * 2018-05-24 2018-11-16 中北大学 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法
CN108830888B (zh) * 2018-05-24 2021-09-14 中北大学 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法
CN108764351B (zh) * 2018-05-30 2021-08-31 佛山科学技术学院 一种基于测地距离的黎曼流形保持核学习方法及装置
CN108764351A (zh) * 2018-05-30 2018-11-06 佛山科学技术学院 一种基于测地距离的黎曼流形保持核学习方法及装置
CN109871818A (zh) * 2019-02-27 2019-06-11 东南大学 基于法向量分布直方图和协方差描述子的人脸识别方法
CN110083715A (zh) * 2019-03-20 2019-08-02 杭州电子科技大学 一种基于核稀疏表示的三维模型分类检索方法
CN110083715B (zh) * 2019-03-20 2021-05-25 杭州电子科技大学 一种基于核稀疏表示的三维模型分类检索方法
CN112001231A (zh) * 2020-07-09 2020-11-27 哈尔滨工业大学（深圳） 加权多任务稀疏表示的三维人脸识别方法、系统及介质
CN112001231B (zh) * 2020-07-09 2023-07-21 哈尔滨工业大学（深圳） 加权多任务稀疏表示的三维人脸识别方法、系统及介质
CN111860668A (zh) * 2020-07-27 2020-10-30 辽宁工程技术大学 一种针对原始3d点云处理的深度卷积网络的点云识别方法
CN111860668B (zh) * 2020-07-27 2024-04-02 辽宁工程技术大学 一种针对原始3d点云处理的深度卷积网络的点云识别方法
CN111858991A (zh) * 2020-08-06 2020-10-30 南京大学 一种基于协方差度量的小样本学习算法
CN112164098A (zh) * 2020-09-02 2021-01-01 武汉大学 一种利用车载LiDAR系统预测城市道路局部坍塌的方法
CN112733758A (zh) * 2021-01-15 2021-04-30 哈尔滨工业大学（深圳） 黎曼几何不变性下基于曲线的三维人脸识别方法及系统
CN112733758B (zh) * 2021-01-15 2023-09-01 哈尔滨工业大学（深圳） 黎曼几何不变性下基于曲线的三维人脸识别方法及系统
CN113740220A (zh) * 2021-09-07 2021-12-03 中国人民解放军国防科技大学 基于高分辨气溶胶资料的多尺度三维变分同化方法

Also Published As

Publication number Publication date
WO2019080488A1 (zh) 2019-05-02
CN107748871B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN107748871A (zh) 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
CN108898606B (zh) 医学图像的自动分割方法、系统、设备及存储介质
CN107742102B (zh) 一种基于深度传感器的手势识别方法
CN105956582B (zh) 一种基于三维数据的人脸识别系统
CN109559338B (zh) 一种基于加权主成分分析法及m估计的三维点云配准方法
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN105654483B (zh) 三维点云全自动配准方法
CN103077512A (zh) 基于主成分析的数字图像的特征提取与匹配方法及装置
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN103295025A (zh) 一种三维模型最优视图的自动选择方法
CN108303037A (zh) 一种基于点云分析的工件表面形状差异的检测方法及装置
CN113643270A (zh) 一种基于点云数据的图像配准方法及装置
CN110930456A (zh) 基于pcl点云库的钣金零件的三维立体识别及定位方法
CN110009745B (zh) 根据平面基元和模型驱动对点云提取平面的方法
CN103700135B (zh) 一种三维模型局部球面调和特征提取方法
Gao et al. Classification of 3D terracotta warrior fragments based on deep learning and template guidance
CN111709430A (zh) 基于高斯过程回归的室外场景三维点云的地面提取方法
CN109166167A (zh) 一种基于点集体素的多质分界面提取方法
CN110007764B (zh) 一种手势骨架识别方法、装置、系统及存储介质
CN113902779B (zh) 一种基于张量投票方法的点云配准方法
CN106778491A (zh) 人脸3d特征信息的获取方法及设备
CN106886754A (zh) 一种基于三角面片的三维场景下的物体识别方法及系统
CN112800575A (zh) 边界假人建模方法、边界假人模型、座椅舒适性校核方法
Liu et al. Using Retinex for point selection in 3D shape registration
CN112233104A (zh) 实时位移场和应变场检测方法、系统、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant