CN109871818B - 基于法向量分布直方图和协方差描述子的人脸识别方法 - Google Patents
基于法向量分布直方图和协方差描述子的人脸识别方法 Download PDFInfo
- Publication number
- CN109871818B CN109871818B CN201910147060.9A CN201910147060A CN109871818B CN 109871818 B CN109871818 B CN 109871818B CN 201910147060 A CN201910147060 A CN 201910147060A CN 109871818 B CN109871818 B CN 109871818B
- Authority
- CN
- China
- Prior art keywords
- point
- face
- dimensional
- normal vector
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 title claims abstract description 80
- 238000009826 distribution Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 47
- 230000008859 change Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 abstract description 16
- 238000005516 engineering process Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 230000036544 posture Effects 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于法向量分布直方图和协方差描述子的人脸识别方法，包括：对三维人脸进行预处理，去除离群点、填补孔洞、人脸切割以及姿态矫正；构造多尺度空间；利用多尺度形状变化指数进行关键点检测；构造三维法向量分布直方图，先对关键点的三维坐标进行编码，再构造法向量分布直方图；进行三维法向量分布直方图描述子匹配，对库集人脸进行筛选，构造协方差矩阵描述子；进行协方差矩阵描述子匹配。本发明利用人脸的几何特征和局部描述子进行三维人脸识别，减少表情变化对三维人脸识别的影响，提高表情变化条件下三维人脸识别的准确率和效率。
Description
技术领域
本发明属于计算机视觉技术领域，涉及三维识别技术，更为具体的说，是涉及一种基于三维法向量分布直方图和协方差矩阵描述子的三维人脸识别方法。
背景技术
在科技高速发展的今天，人们越来越重视私人信息安全问题，如何准确并可靠地进行身份认证受到人们的高度关注。人脸识别技术(face recognition technology,FRT)综合了不同特征识别技术，有着较高的实用性和可靠性，已成为鉴别个体身份的一个有效手段。
人脸识别技术主要分为二维人脸识别及三维人脸识别两大类。二十一世纪以前，多数研究主要集中在二维人脸识别技术上，目前已经取得了比较好的识别效果，然而，由于二维图像容易受姿态、光照、表情以及化妆等因素的影响，二维人脸识别技术的进一步发展受到了较大限制。近年来，随着三维采集设备和技术的不断发展，三维人脸识别技术得到了飞速发展，已经成为国内外研究的热点。
三维人脸数据是真实人脸在三维空间中的直接表示形式，与二维人脸图像相比，可以更加全面地表示人脸的形状以及拓扑结构等信息，且不受光照及化妆的影响。除此之外，不同姿态下的三维人脸可以通过平移、旋转等操作转化为统一姿态，因此受姿态变化影响较小。然而，三维人脸识别技术也面临着一些难点和挑战。其中，表情变化问题是三维人脸识别技术面临的一个重大挑战。对于三维人脸，不同类型的表情会导致同一对象类内差异变大。识别过程中若不考虑表情变化，可能会使同一对象不同表情的相似度低于不同对象同一表情的相似度，影响人脸识别效果。此外，表情变化会改变人脸的局部形状，增大三维人脸的类内差异，使得基于三维人脸几何信息的识别算法性能下降。因此，在表情变化条件下研究如何提升三维人脸识别效果具有非常重要的理论和实际意义，而现有技术尚存在种种不足，无法取得令人满意的效果。
发明内容
为解决上述问题，本发明公开了一种基于法向量分布直方图和协方差描述子的人脸识别方法，利用人脸的几何特征和局部描述子进行三维人脸识别，减少表情变化对三维人脸识别的影响，提高表情变化条件下三维人脸识别的准确率和效率。本发明基于关键点检测和局部描述子构造，能选取人脸较为稳定且具有代表性的特征用于匹配；提出的两步匹配也能通过筛选候选库集节约识别时间，从而实现表情变化下准确快速的三维人脸识别。
首先，在三维人脸上构造不同的尺度空间，并利用形状变化指数检测出关键点；其次，为了提高识别算法的效率，提出一种基于关键点的两步匹配方法：第一步，在关键点上提取三维法向量分布直方图(3D histograms of normal distributions,3DHoPD)描述子，将测试集人脸与库集人脸上的描述子进行匹配，并除去匹配程度较低的一部分库集人脸，从而减少后续匹配的候选库集人脸数；第二步，在关键点上提取协方差矩阵描述子，再将测试集人脸与剩余的库集人脸在给定的约束条件下进行协方差矩阵描述子匹配；最后，用成功匹配的关键点个数衡量人脸的匹配程度，与测试集人脸匹配程度最高的一张库集人脸即为识别结果。
为了达到上述目的，本发明提供如下技术方案：
基于法向量分布直方图和协方差描述子的人脸识别方法，包括以下步骤：
步骤1:对三维人脸进行预处理，去除离群点、填补孔洞、人脸切割以及姿态矫正；
步骤2:构造多尺度空间
利用高斯滤波，构造出三维人脸的不同尺度空间：
其中M是由原始人脸生成的三维网格，
是尺度为σs的高斯滤波，σs定义如下：
其中
是三维网格的平均边长，s,k和σ0是算法中的参数；
步骤3:利用多尺度形状变化指数进行关键点检测
对在不同尺度的每一张人脸，首先在XOY平面上进行均匀采样，得到一组采样点；再将采样点p以及与p距离在r以内的邻域点视为一个点集Ps；最后对点集进行霍特林变换，将点集转化成局部对齐的点集
此时形状变化指数
由下式计算得出：
在人脸的四个尺度空间中分别进行关键点检测：将形状变化指数大于设定阈值ε的采样点定义为关键点，并将不同尺度空间中的关键点检测结果的并集定义为最终的关键点；
步骤4:进行构造三维法向量分布直方图的第一步，对关键点的三维坐标进行编码
通过计算关键点p的邻域点集的修正协方差矩阵构造一个局部参考系，再将p转化到此参考系中，得到新的三维坐标，修正协方差矩阵C计算公式如下：
其中dm＝||pm-p||2，pm是p的邻域点，r是划分邻域点的半径；局部参考系通过计算C的特征向量获得：对C进行特征值分解得到特征值λ1,λ2以及λ3以及对应的特征向量e1,e2和e3，将e1,e2和e1×e2分别作为局部坐标系的x轴、y轴和z轴；根据构造的局部参考坐标系，点p被转化到新的三维空间中成为prf：
[prf]3×1＝[RF]3×3[p]3×1；
步骤5:进行构造三维法向量分布直方图的第二步，构造法向量分布直方图
首先计算出所有点的法向量，并以指定半径获得关键点p的邻域点集Ps；再将点集中的所有点对应的法向量在x轴上坐标的最小值与最大值作为直方图的范围，并划分成K个相等的间隔，通过计算点集中点的x轴坐标值在各个间隔的分布得到K维的法向量分布直方图；分别对点集中的点对应的法向量在y轴和z轴上进行同样的操作，最后得到的三个法向量分布直方图连接即得到3K维的直方图；
步骤6:进行三维法向量分布直方图描述子匹配，对库集人脸进行筛选
通过计算法向量分布直方图之间的卡方距离得到测试人脸上每一个关键点在库集人脸上的候选匹配点；再计算关键点与候选匹配点在新的三维空间下的欧氏距离，如果距离小于设定的阈值Td即认定为成功匹配；最后用成功匹配的关键点对个数衡量两张人脸的相似度并用于对库集人脸的筛选；
步骤7：构造协方差矩阵描述子
协方差矩阵描述子能够融合不同类型的特征对局部表面进行描述，选择曲率、形状指数、Willmore energy、法向量夹角、局部平面距离以及欧氏距离6个特征进行构造：
曲率衡量了点p的局部表面的偏离程度，计算公式为：
其中kmax(p)和kmin(p)分别是p的最大主曲率和最小主曲率；
形状指数描述了人脸的局部信息，计算公式为：
Willmore energy衡量了局部表面偏离球体的程度，计算公式为：
法向量夹角计算公式为：
其中
为点p处的法向量，
为点p邻域点处的法向量。
局部平面距离反映了局部表面的凹凸程度，计算公式为：
其中
是由p指向p的邻域点集的重心的向量。p到鼻尖点的欧氏距离被定义为另一个特征D(p)；
以指定半径获取点p的邻域点，计算点p与所有邻域点的各类特征，得到特征向量如下：
其中
是关键点pi生成点集中第j个点。协方差矩阵描述子Xi计算公式如下：
其中N是邻域点的个数，Xi的对角线上的元素表示每个特征向量的方差，非对角线上的元素代表了不同元素之间的相关性；
步骤8:进行协方差矩阵描述子匹配
不同协方差矩阵通过计算在黎曼空间中的距离来匹配，通过计算对数行列式距离进行协方差矩阵的匹配：假设
是所有d×d对称正定矩阵形成的空间，X和Y是空间M中的两个协方差矩阵，则这两个矩阵的距离可用以下的公式进行计算：
采用最近邻距离比法对协方差矩阵进行匹配，假设
和
分别是测试人脸和库集人脸的协方差矩阵描述子集，针对测试人脸中的一个协方差矩阵
首先计算库集人脸所有的协方差矩阵与此矩阵的对数行列式距离，得到与
距离最近的协方差矩阵
和第二近的矩阵
再计算最近邻距离比例rdis：
如果rdis比设定的阈值τ小，则认为
是成功匹配的一对协方差矩阵，与测试人脸上关键点成功匹配对数最多的库集人脸被认定是测试人脸的识别结果。
进一步的，所述步骤1具体包括如下过程：
设定一个阈值d，并定义如果一个点与其8个邻域点之间任意一点的欧氏距离大于d，则认为该点为离群点，将其从人脸数据中删除，阈值d按下式定义：
d＝μ+0.6*σ，
其中，μ为点云中任意一点与其邻域点集之间的平均距离，σ是距离的标准方差；
去除离群点后，利用立方差值的方法进行孔洞填补；再以鼻尖点为球心，90mm为半径做球进行切割，此时得到的点云即为所需的人脸区域；
对切割后的人脸点云进行主成分分析，得到3个互相垂直的主方向，将最大特征值对应的特征向量作为y轴，最小特征值对应的特征向量作为z轴，建立右手坐标系；最后把鼻尖点作为新坐标系的原点，将切割后的人脸转换到新的坐标系下，完成姿态矫正。
进一步的，所述步骤4中C进行特征值分解得到的特征值λ1,λ2以及λ3按数值大小降序排列。
进一步的，所述步骤4中，点p被转化到新的三维空间后，对于一个关键点，设定距离阈值Td后，在阈值内进行最近邻搜索得到候选匹配点。
进一步的，所述步骤5中，K设定为5，能够得到15维的法向量分布直方图。
进一步的，所述步骤6中，将保留的库集人脸个数设定为20，成功匹配关键点对数排在前20位的库集人脸作为下一步匹配的候选库集人脸。
进一步的，所述步骤8中，将测地线距离作为进一步的约束条件，测地线距离是连接曲面上两点的曲线最短距离，假设测试人脸上一个关键点到鼻尖点的测地线距离为d1，库集人脸上候选匹配点到鼻尖点的测地线距离为d2，如果d1与d2的差值绝对值小于阈值则认为是符合条件的关键点对。
与现有技术相比，本发明具有如下优点和有益效果：
本发明提出基于多尺度形状变化指数的关键点检测方法，获得的关键点具有较高的稳定性和区分度，对表情变化、数据缺失以及遮挡等都有一定的鲁棒性；在关键点上提取低维高区分度的三维法向量分布直方图描述子进行第一次匹配，将匹配度低的库集人脸除去，为后续匹配节约时间；再构造融合不同特征的协方差矩阵作为描述子，通过匹配此描述子来衡量测试人脸与库集人脸的相似度，得到识别结果。本发明通过关键点检测和局部描述子对三维人脸的局部形状进行了描述，从而提高表情变化下三维人脸识别效率的同时保证了识别准确率。
附图说明
图1为发明方法流程图。
图2是同一张人脸在不同尺度空间的关键点检测结果。
图3是不同人脸上最终关键点的检测结果。
图4是三维法向量分布直方图描述子的构造示意图。
图5是本方法在Bosphorus数据库上的识别效果图。
图6是在Bosphorus数据库上的累积匹配特性曲线(Cumulative MatchCharacteristic,CMC)。
图7是本方法在BU-3DFE数据库上的识别效果图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明在Windows操作系统下选用Matlab2016a作为编程工具，在Bosphorus人脸库和BU-3DFE人脸库上进行实验。这两个人脸数据库均是三维人脸识别中常用的数据库，已成为学术界评价识别性能的标准数据库，包含不同性别、不同年龄的人脸，其中带表情的人脸分为愤怒、厌恶、恐惧、快乐、悲伤和吃惊六个类别。通过实验得到的人脸识别率和识别时间证实了本专利提出的识别方法的有效性。应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明提供的基于法向量分布直方图和协方差描述子的人脸识别方法，其流程如图1所示，具体包括以下步骤：
步骤1:为了除去三维人脸数据包含的耳朵、头发和肩膀等冗余区域以及离群点，首先对三维人脸进行预处理，主要步骤包括去除离群点、填补孔洞、人脸切割以及姿态矫正。设定一个阈值d，并定义如果一个点与其8个邻域点之间任意一点的欧氏距离大于d，则认为该点为离群点，将其从人脸数据中删除。阈值d按下式定义：
d＝μ+0.6*σ，
其中，μ为点云中任意一点与其邻域点集之间的平均距离，σ是距离的标准方差。去除离群点后，利用立方差值的方法进行孔洞填补；再以鼻尖点为球心，90mm为半径做球进行切割，此时得到的点云即为所需的人脸区域；对切割后的人脸点云进行主成分分析(PCA)，可以得到3个互相垂直的主方向，将最大特征值对应的特征向量作为y轴，最小特征值对应的特征向量作为z轴，建立右手坐标系；最后把鼻尖点作为新坐标系的原点，将切割后的人脸转换到新的坐标系下，完成姿态矫正。
步骤2:构造多尺度空间。利用高斯滤波，构造出三维人脸的不同尺度空间：
其中M是由原始人脸生成的三维网格，
是尺度为σs的高斯滤波，σs定义如下：
其中
是三维网格的平均边长，s,k和σ0是算法中的参数。
步骤3:利用多尺度形状变化指数进行关键点检测。对在不同尺度的每一张人脸，首先在XOY平面上以4mm的分辨率进行均匀采样，得到一组采样点；再将采样点p以及与p距离在r以内的邻域点视为一个点集Ps，本例中r设定为20mm；最后对点集进行霍特林变换(Hotelling transform)，将点集转化成局部对齐的点集
此时形状变化指数
由下式计算得出：
步骤4:进行构造三维法向量分布直方图的第一步，对关键点的三维坐标进行编码。通过计算关键点p的邻域点集的修正协方差矩阵构造一个局部参考系，再将p转化到此参考系中，得到新的三维坐标。修正协方差矩阵C计算公式如下：
其中dm＝||pm-p||2，pm是p的邻域点，r是划分邻域点的半径，在此处设定为10mm。局部参考系通过计算C的特征向量获得：对C进行特征值分解得到特征值λ1,λ2以及λ3(按数值大小降序排列)以及对应的特征向量e1,e2和e3，将e1,e2和e1×e2分别作为局部坐标系的x轴、y轴和z轴。根据构造的局部参考坐标系，点p被转化到新的三维空间中成为prf：
[prf]3×1＝[RF]3×3[p]3×1。
在新的三维空间中，在局部形状相似的三维表面上的点会距离较近。因此，对于一个关键点，可以设定距离阈值Td后，在阈值内进行最近邻搜索得到候选匹配点，这将会大大减少探索花费的时间。阈值Td在此处设定为3mm。
步骤5:进行构造三维法向量分布直方图的第二步，构造法向量分布直方图。首先计算出所有点的法向量，并以15mm(可根据需要调整数值)为半径获得关键点p的邻域点集Ps；再将点集中的所有点对应的法向量在x轴上坐标的最小值与最大值作为直方图的范围，并划分成K个相等的间隔，通过计算点集中点的x轴坐标值在各个间隔的分布得到K维的法向量分布直方图；分别对点集中的点对应的法向量在y轴和z轴上进行同样的操作，最后得到的三个法向量分布直方图连接即得到3K维的直方图。此处将K设定为5，因此可以得到15维的法向量分布直方图。
步骤6:进行三维法向量分布直方图描述子匹配，对库集人脸进行筛选。描述子的构造示意图如图4所示。测试人脸上每一个关键点在库集人脸上的候选匹配点可以通过计算法向量分布直方图之间的卡方距离得到；再计算关键点与候选匹配点在新的三维空间下的欧氏距离，如果距离小于设定的阈值Td即认定为成功匹配；最后用成功匹配的关键点对个数衡量两张人脸的相似度并用于对库集人脸的筛选。为了使识别效率与正确率有一个较好的平衡，将保留的库集人脸个数设定为20，成功匹配关键点对数排在前20位的库集人脸作为下一步匹配的候选库集人脸。
步骤7：构造协方差矩阵描述子。协方差矩阵描述子可以融合不同类型的特征对局部表面进行描述，此处选择曲率、形状指数、Willmore energy、法向量夹角、局部平面距离以及欧氏距离6个特征进行构造。
曲率衡量了点p的局部表面的偏离程度，计算公式为：
其中kmax(p)和kmin(p)分别是p的最大主曲率和最小主曲率。
形状指数描述了人脸的局部信息，计算公式为：
Willmore energy衡量了局部表面偏离球体的程度，计算公式为：
法向量夹角计算公式为：
其中
为点p处的法向量，
为点p邻域点处的法向量。
局部平面距离反映了局部表面的凹凸程度，计算公式为：
其中
是由p指向p的邻域点集的重心的向量。点p到鼻尖点的欧氏距离被定义为另一个特征D(p)。
以15mm(可根据需要调整数值)为半径获取点p的邻域点，计算点p与所有邻域点的各类特征，得到特征向量如下：
其中
是关键点pi生成点集中第j个点。协方差矩阵描述子Xi计算公式如下：
其中N是邻域点的个数。Xi的对角线上的元素表示每个特征向量的方差，非对角线上的元素代表了不同元素之间的相关性。
步骤8:进行协方差矩阵描述子匹配。协方差矩阵是对称的正定矩阵(symmetricpositive definite,SPD)，所有协方差矩阵构成的空间是一个非线性的黎曼空间，因此不同协方差矩阵需要通过计算在黎曼空间中的距离来匹配。通过计算对数行列式距离进行协方差矩阵的匹配：假设
是所有d×d对称正定矩阵形成的空间，X和Y是空间M中的两个协方差矩阵，则这两个矩阵的距离可用以下的公式进行计算：
采用最近邻距离比法(Nearest Neighbor Distance Ratio,NNDR)对协方差矩阵进行匹配。假设
和
分别是测试人脸和库集人脸的协方差矩阵描述子集，针对测试人脸中的一个协方差矩阵
首先计算库集人脸所有的协方差矩阵与此矩阵的对数行列式距离，得到与
距离最近的协方差矩阵
和第二近的矩阵
再计算最近邻距离比例rdis：
如果rdis比设定的阈值τ小，则认为
是成功匹配的一对协方差矩阵，τ在此处设定为0.9。为了得到更准确的匹配结果，将测地线距离作为进一步的约束条件。测地线距离是连接曲面上两点的曲线最短距离。假设测试人脸上一个关键点到鼻尖点的测地线距离为d1，库集人脸上候选匹配点到鼻尖点的测地线距离为d2，如果d1与d2的差值绝对值小于3mm(可适当调整数值)则认为是符合条件的关键点对。最后，与测试人脸上关键点成功匹配对数最多的库集人脸被认定是测试人脸的识别结果。
图5是在Bosphorus数据库上的累积匹配特性曲线(Cumulative MatchCharacteristic,CMC)。图6是本方法在Bosphorus数据库上的识别效果图。图7是本方法在BU-3DFE数据库上的识别效果图。由这三张图可以看到，在不同数据库上，本发明都能实现较好的识别效果，平均识别准确率均高于96％。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (7)
1.基于法向量分布直方图和协方差描述子的人脸识别方法，其特征在于，包括以下步骤：
步骤1:对三维人脸进行预处理，去除离群点、填补孔洞、人脸切割以及姿态矫正；
步骤2:构造多尺度空间
利用高斯滤波，构造出三维人脸的不同尺度空间：
其中M是由原始人脸生成的三维网格，
是尺度为σs的高斯滤波，σs定义如下：
其中
是三维网格的平均边长，s,k和σ0是算法中的参数；
步骤3:利用多尺度形状变化指数进行关键点检测
对在不同尺度的每一张人脸，首先在XOY平面上进行均匀采样，得到一组采样点；再将采样点p以及与p距离在r以内的邻域点视为一个点集Ps；最后对点集进行霍特林变换，将点集转化成局部对齐的点集
此时形状变化指数θ由下式计算得出：
θ反映了点p所处的局部表面的几何变化情况；
在人脸的四个尺度空间中分别进行关键点检测：将形状变化指数大于设定阈值ε的采样点定义为关键点，并将不同尺度空间中的关键点检测结果的并集定义为最终的关键点；
步骤4:进行构造三维法向量分布直方图的第一步，对关键点的三维坐标进行编码
通过计算关键点p的邻域点集的修正协方差矩阵构造一个局部参考系，再将p转化到此参考系中，得到新的三维坐标，修正协方差矩阵C计算公式如下：
其中dm＝||pm-p||2，pm是p的邻域点，r是划分邻域点的半径；局部参考系通过计算C的特征向量获得：对C进行特征值分解得到特征值λ1,λ2以及λ3以及对应的特征向量e1,e2和e3，将e1,e2和e1×e2分别作为局部坐标系的x轴、y轴和z轴；根据构造的局部参考坐标系，点p被转化到新的三维空间中成为prf：
[prf]3×1＝[RF]3×3[p]3×1；
步骤5:进行构造三维法向量分布直方图的第二步，构造法向量分布直方图
首先计算出所有点的法向量，并以指定半径获得关键点p的邻域点集Ps；再将点集中的所有点对应的法向量在x轴上坐标的最小值与最大值作为直方图的范围，并划分成K个相等的间隔，通过计算点集中点的x轴坐标值在各个间隔的分布得到K维的法向量分布直方图；分别对点集中的点对应的法向量在y轴和z轴上进行同样的操作，最后得到的三个法向量分布直方图连接即得到3K维的直方图；
步骤6:进行三维法向量分布直方图描述子匹配，对库集人脸进行筛选
通过计算法向量分布直方图之间的卡方距离得到测试人脸上每一个关键点在库集人脸上的候选匹配点；再计算关键点与候选匹配点在新的三维空间下的欧氏距离，如果距离小于设定的阈值Td即认定为成功匹配；最后用成功匹配的关键点对个数衡量两张人脸的相似度并用于对库集人脸的筛选；
步骤7：构造协方差矩阵描述子
协方差矩阵描述子能够融合不同类型的特征对局部表面进行描述，选择曲率、形状指数、Willmore energy、法向量夹角、局部平面距离以及欧氏距离6个特征进行构造：
曲率衡量了点p的局部表面的偏离程度，计算公式为：
其中kmax(p)和kmin(p)分别是p的最大主曲率和最小主曲率；
形状指数描述了人脸的局部信息，计算公式为：
Willmore energy衡量了局部表面偏离球体的程度，计算公式为：
法向量夹角计算公式为：
其中
为点p处的法向量，
为点p邻域点处的法向量；
局部平面距离反映了局部表面的凹凸程度，计算公式为：
其中
是由p指向p的邻域点集的重心的向量；点p到鼻尖点的欧氏距离被定义为另一个特征D(p)；
以指定半径获取点p的邻域点，计算点p与所有邻域点的各类特征，得到特征向量如下：
其中
是关键点pi生成点集中第j个点，协方差矩阵描述子Xi计算公式如下：
其中N是邻域点的个数，Xi的对角线上的元素表示每个特征向量的方差，非对角线上的元素代表了不同元素之间的相关性；
步骤8:进行协方差矩阵描述子匹配
不同协方差矩阵通过计算在黎曼空间中的距离来匹配，通过计算对数行列式距离进行协方差矩阵的匹配：假设
是所有d×d对称正定矩阵形成的空间，X和Y是空间M中的两个协方差矩阵，则这两个矩阵的距离可用以下的公式进行计算：
采用最近邻距离比法对协方差矩阵进行匹配，假设
和
分别是测试人脸和库集人脸的协方差矩阵描述子集，针对测试人脸中的一个协方差矩阵
首先计算库集人脸所有的协方差矩阵与此矩阵的对数行列式距离，得到与
距离最近的协方差矩阵
和第二近的矩阵
再计算最近邻距离比例rdis：
如果rdis比设定的阈值τ小，则认为
是成功匹配的一对协方差矩阵，与测试人脸上关键点成功匹配对数最多的库集人脸被认定是测试人脸的识别结果。
2.根据权利要求1所述的基于法向量分布直方图和协方差描述子的人脸识别方法，其特征在于，所述步骤1具体包括如下过程：
设定一个阈值d，并定义如果一个点与其8个邻域点之间任意一点的欧氏距离大于d，则认为该点为离群点，将其从人脸数据中删除，阈值d按下式定义：
d＝μ+0.6*σ，
其中，μ为点云中任意一点与其邻域点集之间的平均距离，σ是距离的标准方差；
去除离群点后，利用立方差值的方法进行孔洞填补；再以鼻尖点为球心，90mm为半径做球进行切割，此时得到的点云即为所需的人脸区域；
对切割后的人脸点云进行主成分分析，得到3个互相垂直的主方向，将最大特征值对应的特征向量作为y轴，最小特征值对应的特征向量作为z轴，建立右手坐标系；最后把鼻尖点作为新坐标系的原点，将切割后的人脸转换到新的坐标系下，完成姿态矫正。
3.根据权利要求1所述的基于法向量分布直方图和协方差描述子的人脸识别方法，其特征在于，所述步骤4中C进行特征值分解得到的特征值λ1,λ2以及λ3按数值大小降序排列。
4.根据权利要求1或3所述的基于法向量分布直方图和协方差描述子的人脸识别方法，其特征在于，所述步骤4中，点p被转化到新的三维空间后，对于一个关键点，设定距离阈值Td后，在阈值内进行最近邻搜索得到候选匹配点。
5.根据权利要求1所述的基于法向量分布直方图和协方差描述子的人脸识别方法，其特征在于，所述步骤5中，K设定为5，能够得到15维的法向量分布直方图。
6.根据权利要求1所述的基于法向量分布直方图和协方差描述子的人脸识别方法，其特征在于，所述步骤6中，将保留的库集人脸个数设定为20，成功匹配关键点对数排在前20位的库集人脸作为下一步匹配的候选库集人脸。
7.根据权利要求1所述的基于法向量分布直方图和协方差描述子的人脸识别方法，其特征在于，所述步骤8中，将测地线距离作为进一步的约束条件，测地线距离是连接曲面上两点的曲线最短距离，假设测试人脸上一个关键点到鼻尖点的测地线距离为d1，库集人脸上候选匹配点到鼻尖点的测地线距离为d2，如果d1与d2的差值绝对值小于阈值则认为是符合条件的关键点对。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910147060.9A CN109871818B (zh) | 2019-02-27 | 2019-02-27 | 基于法向量分布直方图和协方差描述子的人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910147060.9A CN109871818B (zh) | 2019-02-27 | 2019-02-27 | 基于法向量分布直方图和协方差描述子的人脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109871818A CN109871818A (zh) | 2019-06-11 |
| CN109871818B true CN109871818B (zh) | 2023-05-02 |
Family
ID=66919395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910147060.9A Active CN109871818B (zh) | 2019-02-27 | 2019-02-27 | 基于法向量分布直方图和协方差描述子的人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109871818B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949296B (zh) * | 2019-12-10 | 2024-05-31 | 医渡云（北京）技术有限公司 | 基于黎曼空间的词嵌入方法和装置、介质及设备 |
| CN113642354B (zh) * | 2020-04-27 | 2024-07-05 | 武汉Tcl集团工业研究院有限公司 | 人脸姿态的确定方法、计算机设备、计算机可读存储介质 |
| CN111898405A (zh) * | 2020-06-03 | 2020-11-06 | 东南大学 | 基于3DHarris关键点及优化SHOT特征的三维人耳识别方法 |
| CN112001231B (zh) * | 2020-07-09 | 2023-07-21 | 哈尔滨工业大学（深圳） | 加权多任务稀疏表示的三维人脸识别方法、系统及介质 |
| CN113158892B (zh) * | 2021-04-20 | 2024-01-26 | 南京大学 | 一种与纹理和表情无关的人脸识别方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096503A (zh) * | 2016-05-30 | 2016-11-09 | 东南大学 | 一种基于关键点和局部特征的三维人脸识别方法 |
| CN105956582B (zh) * | 2016-06-24 | 2019-07-30 | 深圳市唯特视科技有限公司 | 一种基于三维数据的人脸识别系统 |
| CN107748871B (zh) * | 2017-10-27 | 2021-04-06 | 东南大学 | 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 |
-
2019
- 2019-02-27 CN CN201910147060.9A patent/CN109871818B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109871818A (zh) | 2019-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109871818B (zh) | 基于法向量分布直方图和协方差描述子的人脸识别方法 | |
| Russ et al. | 3D face recognition using 3D alignment for PCA | |
| US11113505B2 (en) | Palm print image matching techniques | |
| CN106022228B (zh) | 一种基于网格纵横局部二值模式的三维人脸识别方法 | |
| Dibeklioglu et al. | 3D facial landmarking under expression, pose, and occlusion variations | |
| Zhou et al. | An efficient 3-D ear recognition system employing local and holistic features | |
| Zhou et al. | A computationally efficient approach to 3d ear recognition employing local and holistic features | |
| Liu et al. | A novel rock-mass point cloud registration method based on feature line extraction and feature point matching | |
| Tang et al. | 3D face recognition with asymptotic cones based principal curvatures | |
| Pan et al. | 3D face recognition by profile and surface matching | |
| Zhang et al. | 3d face recognition using multi-level multi-feature fusion | |
| Pflug et al. | Robust localization of ears by feature level fusion and context information | |
| Zeng et al. | Local feature descriptor based rapid 3D ear recognition | |
| Wu et al. | A Systematic Point Cloud Edge Detection Framework for Automatic Aircraft Skin Milling | |
| CN106339699B (zh) | 三维人脸识别方法和系统 | |
| Xu et al. | SHREC’08 entry: 3D face recognition using moment invariants | |
| Liu et al. | Nose detection on 3D face images by depth-based template matching | |
| Cejnog et al. | Wide angle rigid registration using a comparative tensor shape factor | |
| Pan et al. | Robust metric and alignment for profile-based face recognition: An experimental comparison | |
| Wuhrer et al. | Posture invariant gender classification for 3D human models | |
| Anegsiripong et al. | Personal Identification Based on Fusion of Iris and Periocular Information Using Convolutional Neural Networks | |
| Ahdid et al. | Geodesic distance on Riemannian manifold using Jacobi iterations in 3D face recognition system | |
| He et al. | Maximum-likelihood deformation analysis of different-sized fingerprints | |
| Yu et al. | Quick retrieval method of massive face images based on global feature and local feature fusion | |
| Bentaieb et al. | Nose tip localization on a three dimensional face across pose, expressions and occlusions variations in a Riemannian context |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |