CN110532915B - 基于法向量方位角局部熵的三维人脸遮挡判别方法 - Google Patents

基于法向量方位角局部熵的三维人脸遮挡判别方法 Download PDF

Info

Publication number
CN110532915B
CN110532915B CN201910769312.1A CN201910769312A CN110532915B CN 110532915 B CN110532915 B CN 110532915B CN 201910769312 A CN201910769312 A CN 201910769312A CN 110532915 B CN110532915 B CN 110532915B
Authority
CN
China
Prior art keywords
coordinate
angle
normal vector
local entropy
azimuth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910769312.1A
Other languages
English (en)
Other versions
CN110532915A (zh
Inventor
盖绍彦
毛晓琦
郑东亮
达飞鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910769312.1A priority Critical patent/CN110532915B/zh
Publication of CN110532915A publication Critical patent/CN110532915A/zh
Application granted granted Critical
Publication of CN110532915B publication Critical patent/CN110532915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于法向量方位角局部熵的三维人脸遮挡判别方法，步骤如下：首先得到人脸的三维法向量；其次，计算各法向量的各个方位角：滚转角、俯仰角以及偏转角；按照点云的x，y坐标，对人脸点云进行4*4分块；在各子区域内计算各方位角的局部熵值；提取输入人脸的16个子区域的各方位角局部熵值，得到基于法向量方位角局部熵的特征；使用支持向量机进行训练及测试，以完成对遮挡的判断与识别。本发明检测及分类性能较强，并且对原理简单，易于实现。

Description

基于法向量方位角局部熵的三维人脸遮挡判别方法
技术领域
本发明属于计算机视觉中三维图像识别的领域，具体涉及一种基于法向量方位角局部熵的三维人脸遮挡判别方法。
背景技术
三维人脸遮挡判别技术指的是基于人脸的三维数据，计算机实现对人脸遮挡判别的技术。这项技术在人机交互和身份验证等研究领域具有巨大的应用潜力。与二维数据相比，人脸的三维数据不受光线、姿态、角度等因素的影响，同时包含更丰富的几何信息和拓扑特征，因此基于三维人脸数据的人脸识别研究近年来获得了更广泛的关注。由于遮挡引起的面部变化是人脸识别应用应该考虑的重要因素。遮挡可能是由头发或外部物体引起的，例如眼镜，帽子，围巾或受试者的手。当面部区域被部分遮挡时，其识别性能表现可能会急剧下降，因为遮挡导致了判别信息的丢失。因此，三维人脸中的遮挡问题亟待解决。
然而，三维人脸遮挡判别算法的研究仍面临多重困难。特征选择与提取是研究中的难题之一。在当前三维人脸遮挡判别研究中，研究者们应用的方法主要分为基于面部曲线或径向曲线的方法、基于面部模型和阈值的方法、多模态方法和基于点云几何信息的方法等种类。基于面部曲线或径向曲线的方法，其特征的构造依赖于五官特征点的位置，会由于曲线的选取方式不同，对不同种类的遮挡效果不一；基于面部模型和阈值的方法，无遮挡对照模型的得到和阈值的选取均需要大量的训练样本；多模态方法将除了点云之外的颜色、亮度等其它信息应用起来，但也受制于这些其它信息，需要额外采集人脸点云的RGB图像等；基于点云几何信息的方法能够描述人脸形变的几何特征，这类特征包括法向量、曲率和形状指数等。由于直接对点云的几何信息，因此这类特征稳定性较好，算法的应用价值较高。然而，法向量、曲率和形状指数等特征对人脸形变的描述仍不够全面，对遮挡的敏感程度不够高，判别效果仍有待提升。
图像信息熵计算是三维人脸识别技术研究中的另一难题。关于图像信息熵，它是一种特征的统计形式，它反映了图像中平均信息量的多少，在图像处理及人脸识别等领域中有着广泛的应用。不同的信息种类因统计特性不同，其熵也不同。例如二维图像的灰度熵表示图像中灰度分布的聚集特征所包含的信息量，LBP熵则表示LBP特征分布的聚集特征所包含的信息量，三维点云曲率熵表示点云表面曲率特征的分布包含的信息量。描述不同的特征，所需使用的信息熵是不一样的，效果也各不相同。
发明内容
发明目的：为了解决现有技术的问题，本发明提供一种只需人脸点云本身、不需要任何额外信息的，通过计算人脸各子区域点云法向量方位角的局部熵，表征面部的遮挡情况，提高三维人脸遮挡判别的准确率的基于法向量方位角局部熵的三维人脸遮挡判别方法。
技术方案：本发明给出的基于法向量方位角局部熵的三维人脸遮挡判别方法的步骤如下：
(1)计算输入的人脸各点的三维法向量，假设采样点K的邻近点为Kj＝(xj,yj,zj)，其中j是采样点K周围的邻近点序号，xj,yj,zj分别代表临近点Kj的坐标。则计算过程为：
首先，计算采样点K的3×3协方差矩阵C：
Figure BDA0002173036630000021
式中
Figure BDA0002173036630000022
为K的邻近点Kj的均值，t表示邻近点的个数。
对上式特征值分解，得到特征值λ0、λ1、λ2对应的特征向量为V0、V1、V2。特征值表示的是邻近点Kj,j＝1,2...t远离重心的情况，
Figure BDA0002173036630000031
不失一般性，假设λ0＜λ1＜λ2，则采样点K的切平面T(X)表示为
Figure BDA0002173036630000032
式中V0为采样点K的法向量，即特征值λ0对应的特征向量V0。使用这个方法计算人脸点云各点的法向量
Figure BDA0002173036630000033
下标i表示点云中各点的序号。
(2)不失一般性，根据人脸点云各点Ki的法向量
Figure BDA0002173036630000034
计算人脸各点云的三个方位角滚转角
Figure BDA0002173036630000035
俯仰角
Figure BDA0002173036630000036
以及偏转角
Figure BDA0002173036630000037
i是人脸点云各点的序号；
(3)基于点云的x,y坐标，对人脸点云进行4*4分块；
(4)然后，在各子区域内计算各方位角的局部熵值，假设子区域内有m个点，q是子区域内点的序号，则对这m个点进行法向量夹角熵的计算表达式为：
Figure BDA0002173036630000038
Figure BDA0002173036630000039
Figure BDA00021730366300000310
式中，h(αz,m)，h(αy,m)，h(αx,m)分别表示滚转角αz，俯仰角αy，偏转角αx的局部熵值，其中
Figure BDA00021730366300000311
的计算公式分别为
Figure BDA00021730366300000312
计算时先对方位角
Figure BDA0002173036630000041
和
Figure BDA0002173036630000042
进行取整，式中
Figure BDA0002173036630000043
和
Figure BDA0002173036630000044
分别为小块内法向量取整后方位角
Figure BDA0002173036630000045
和
Figure BDA0002173036630000046
出现的次数，
Figure BDA0002173036630000047
分别是法向量方位角
Figure BDA0002173036630000048
和
Figure BDA0002173036630000049
出现的概率；
(5)提取输入人脸的16个子区域的各方位角局部熵值并串联起来，分别得到基于法向量方位角局部熵的特征向量，其计算表达式为：
hz＝[hz1 hz2 ... hz16]，
hy＝[hy1 hy2 ... hy16]，
hx＝[hx1 hx2 ... hx16]，
其中，hz，hy，hx分别是滚转角αz、俯仰角αy以及偏转角αx的局部熵值特征向量，hz1hz2 ... hz16分别是样本16个子区域滚转角的局部熵值，hy1 hy2 ... hy16分别是样本16个子区域俯仰角的局部熵值，hx1 hx2 ... hx16分别是样本16个子区域偏转角的局部熵值；
(6)将三个方位角局部熵特征向量hz，hy，hx串连在一起作为每张人脸点云样本的最终特征向量S＝[hz hy hx]。
进一步，使用支持向量机进行训练及测试步骤，输入数据为步骤(6)中所提取的最终特征S，以完成遮挡判断与识别。
进一步，训练及测试所使用数据库为Bosphorus数据库。
进一步，本文规定，法向量
Figure BDA00021730366300000410
与xoy平面的夹角为滚转角αz，与xoz平面的夹角为俯仰角αy，与yoz平面的夹角为偏转角αx。
进一步，步骤(2)中计算法向量方位角的方法为：
(21)将人脸点云的各点法向量
Figure BDA00021730366300000411
i是人脸点云中点的序号。
Figure BDA00021730366300000412
分别向平面xoy，平面xoz，平面yoz做映射，得到其分别在这三个平面上的投影
Figure BDA0002173036630000051
Figure BDA0002173036630000052
(22)分别求法向量
Figure BDA0002173036630000053
与
Figure BDA0002173036630000054
的夹角，计算表达式为：
Figure BDA0002173036630000055
Figure BDA0002173036630000056
Figure BDA0002173036630000057
则
Figure BDA0002173036630000058
分别为法向量的滚转角，俯仰角，偏转角。
进一步，所述的最终特征包含滚转角局部熵值、俯仰角局部熵值以及偏转角局部熵值，其计算表达式为：S＝[hz hy hx]。
进一步，所述步骤3中基于点云的x,y坐标，对人脸点云进行4*4分块的方法为：
(31)求得所输入人脸点云的x，y坐标最大最小值；
(32)分别将点云的x，y坐标从小到大排列并将点云的x，y坐标4等分；
(33)x坐标从0～1/4，y坐标从0～1/4记为第1小块，x坐标从0～1/4，y坐标从1/4～2/4记为第2小块，x坐标从0～1/4，y坐标从2/4～3/4记为第3小块，x坐标从0～1/4，y坐标从3/4～4/4记为第4小块，x坐标从1/4～2/4，y坐标从0～1/4记为第5小块，x坐标从1/4～2/4，y坐标从1/4～2/4记为第6小块,x坐标从1/4～2/4，y坐标从2/4～3/4记为第7小块,x坐标从1/4～2/4，y坐标从3/4～4/4记为第8小块,x坐标从2/4～3/4，y坐标从0～1/4记为第9小块,x坐标从2/4～3/4，y坐标从1/4～2/4记为第10小块,x坐标从2/4～3/4，y坐标从2/4～3/4记为第11小块,x坐标从2/4～3/4，y坐标从3/4～4/4记为第12小块,x坐标从3/4～4/4，y坐标从0～1/4记为第13小块,x坐标从3/4～4/4，y坐标从1/4～2/4记为第14小块,x坐标从3/4～4/4，y坐标从2/4～3/4记为第15小块,x坐标从3/4～4/4，y坐标从3/4～4/4记为第16小块；
(34)完成输入人脸16个子区域的划分和排序。再进行步骤(4)，在各子区域进行局部熵的计算。
有益效果：本发明提取三维人脸的法向量方位角，并对其进行分块局部熵统计，得到法向量方位角局部熵特征(Local Entropy of Normal Vector Azimuths,LENVAs)。LENVAs特征使用点云法向量的三个方位角，滚转角、俯仰角和偏转角，进行局部熵计算。不仅维度低，而且可以完整保留人脸表面以及遮挡区域的起伏、高低变化等几何信息。该算法原理简单，计算量小，具有对遮挡区域快速判断的优点。本方法创新地提出了以法向量方位角为原始特征来反映点云表面曲折度的思想，还创造性地将每个块的局部熵值作为最终特征进行计算，以确定遮挡情况。本文揭示了遮挡引起的熵值变化规律，利用熵的变化来确定遮挡，分析了不同遮挡条件下局部熵的变化，指出了LENVAs是分析三维遮挡的有力工具。而基于点云的x，y坐标将输入人脸与进行4*4分块操作，可以划分出输入人脸的16个子区域。这种分块方法会将人脸的五官和其它区域均匀的分开，对五官位置及大小较为鲁棒，由五官分布不同带来的熵值变化较小，能够更灵敏的反映出由遮挡带来的局部熵值变化。完成分块之后，在这些小块内分别进行熵计算，得到无遮挡和不同遮挡情况下的熵特征后，输入SVM进行训练。最终，基于法向量方位角的局部熵实现三维人脸的遮挡判别。本发明针对原始特征选取和统计特征的计算分别提出了创新，在判别实验中取得了较好的效果。
附图说明
图1是实验中所用的Bosphorus人脸库部分人脸的示例图；
图2是本发明的三维人脸遮挡判别方法流程图；
图3是本发明的三维人脸法向量图；
图4是本发明的分块结果图；
图5是本发明的分块排序图；
图6是本发明的遮挡判别准确率的验证统计示意图；
图7是本发明的由遮挡引起的熵值变化图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明。
本发明在Windows操作系统下选用Matlab R2017b作为编程工具，基于BogaziciUniversity于2008年发布的Bosphorus三维人脸库测试本发明所提出的方法。图1展示了Bosphorus库中某对象的无遮挡和4种基本遮挡的示例图。首先从Bosphorus库中任选40个对象用于训练分类器，本实例选用本领域研究中最广泛使用的分类器——支持向量机(SVM)，作为分类器；完成训练之后，选择库中剩余的60个对象用于测试。同时，每个样本选择无遮挡、手遮挡面部、眼镜遮挡、发型遮挡以及手遮挡嘴巴每种情况下各一张图，共200张三维人脸图，作为训练样本。该实例的被测样本个数较为充足(共300张)且包含全部5种遮挡情况，证实本专利提出的识别方法的有效性。
如图2所示，本发明的一种基于法向量方位角局部熵的三维人脸判别方法的具体识别步骤如下：
步骤1:首先，利用经典的PCA方法来估计点的法向量。求得点云法向量示例图如图3的(a)图和(b)图所示。(a)图是无遮挡人脸点云法向量图，(b)图是手遮挡眼睛点云法向量图。可以看出，法向量对遮挡非常敏感，遮挡区域的法向量会发生较大偏转，即其方位角分布会发生较大变化，这也说明了使用法向量方位角的局部熵来检测遮挡是可行的。假设采样点K的邻近点为Kj＝(xj,yj,zj)，采样点K的3×3协方差矩阵为
Figure BDA0002173036630000081
式中
Figure BDA0002173036630000082
为K的邻近点Kj的均值，t是采样点的临近点个数。
对上式特征值分解，得到特征值λ0、λ1、λ2对应的特征向量为V0、V1、V2。特征值表示的是邻近点Kj,j＝1,2...t远离重心的情况，
Figure BDA0002173036630000083
假设λ0＜λ1＜λ2，则采样点K的切平面T(X)表示为
Figure BDA0002173036630000084
式中V0为采样点K的法向量。
步骤2:根据人脸各点的法向量，计算各法向量的方位角。假设扫描的点云坐标为Ki＝(xi,yi,zi)，则根据点云坐标建立坐标系Oxyz，得到点云法向量为
Figure BDA0002173036630000085
然后将其分别向平面xOy，平面xOz，平面yOz做映射，得到其分别在这三个平面上的投影，
Figure BDA0002173036630000086
分别求法向量
Figure BDA0002173036630000087
与
Figure BDA0002173036630000088
的夹角：
Figure BDA0002173036630000089
Figure BDA0002173036630000091
Figure BDA0002173036630000092
则
Figure BDA0002173036630000093
分别为各点法向量的滚转角，俯仰角，偏转角。
步骤3:为更好的反映遮挡情况，且考虑到运算速率，本发明在对人脸三维点云进行对准、切割、去噪等预处理后，先对人脸点云按照x,y坐标进行4*4分块，再进行局部熵计算。这种基于点云x,y坐标的分块方法原理简单计算效率高，只与点云x,y坐标有关，不会受遮挡影响，也不会引入误差因素。而选择4*4分为16块这种方法，是因为这种方法会将人脸的五官和其它区域均匀的分开，对五官位置及大小较为鲁棒，由五官分布不同带来的熵值变化较小，能够更灵敏的反映出由遮挡带来的局部熵值变化。分块结果如图4所示。分块排序如图5所示。
步骤4:进行局部熵计算，提取各子区域局部熵值特征。
步骤4.1:首先，对各子区域内的法向量的方位角进行保留计算，保留至整数位。
步骤4.2:然后在各子区域内对方位角进行统计，统计每个值出现的次数p。并以子区域内点的个数m为分母，计算各角度值出现的概率P。
步骤4.3:分别对子区域内m个点云进行法向量夹角熵的计算。
Figure BDA0002173036630000094
Figure BDA0002173036630000095
Figure BDA0002173036630000101
式中，h(αz,m)，h(αy,m)，h(αx,m)分别表示滚转角αz，俯仰角αy，偏转角αx的局部熵值，其中
Figure BDA0002173036630000102
分别为
Figure BDA0002173036630000103
式中
Figure BDA0002173036630000104
和
Figure BDA0002173036630000105
分别为小块内法向量方位角
Figure BDA0002173036630000106
和
Figure BDA0002173036630000107
取整后的值出现的次数。本课题是对法向量的方位角分布进行分析，因此使用角度出现的次数(概率)来进行熵值计算会比使用角度本身来计算效果更好。
步骤4.4:重复以上步骤，得到16个子区域的三个方位角的局部熵值特征。
步骤5:提取输入人脸的16个子区域的各方位角局部熵值并串联起来，分别得到基于法向量方位角局部熵的特征向量，其计算表达式为：
hz＝[hz1 hz2 ... hz16]，
hy＝[hy1 hy2 ... hy16]，
hx＝[hx1 hx2 ... hx16]，
其中，hz，hy，hx分别式滚转角αz、俯仰角αy以及偏转角αx的局部熵值特征向量，hz1hz2 ... hz16分别是样本16个子区域滚转角的局部熵值，hy1 hy2 ... hy16分别是样本16个子区域俯仰角的局部熵值，hx1 hx2 ... hx16分别是样本16个子区域偏转角的局部熵值；。
步骤6:将三个方位角局部熵特征向量连在一起作为每张人脸点云样本的最终特征向量S＝[hz hy hx]。
步骤7：采用Bosphorus数据库在支持向量机进行训练及测试，输入数据为步骤6中所提取的最终特征S，以完成三维人脸的遮挡判别。
对本实施例进行效果验证：选用本领域研究中最广泛使用的分类器——支持向量机(SVM)，作为分类器。从Bosphorus数据库中任选40个对象用于训练分类器，剩下的60个对象用于测试5类遮挡的判别准确率。Bosphorus数据库是三维人脸遮挡处理领域中最常用的数据库，在遮挡样本中，较为理想的对象有100个，每个对象有5张样本，包括：无遮挡样本1张；4类遮挡样本，手遮挡眼睛、眼睛遮挡、手遮挡嘴部和发型遮挡。每个对象各种情况都只选用1张人脸样本用于训练和测试，因此训练集样本数为200，测试集样本数为300。为减小误差，重复测试20次，取平均值作为最终的识别率。计算5种情况的判别准确率平均值，获得平均判别率，为91.69％，如图5所示的验证效果。
根据各小块熵值的变化，我们绘制了各遮挡情况下的局部熵值变化图，如图6所示。从图中可以观察到，处于遮挡区域的小块，颜色更深，即熵值变化更大；而远离遮挡区域，即不存在遮挡的小块，颜色很浅甚至为白色，即熵值变化很小甚至基本没有变化。说明遮挡的存在会使遮挡区域的法向量方位角局部熵值发生较大的变化，而非遮挡区域的熵值则变化很小。同时也说明了，使用法向量方位角局部熵值来判断遮挡区域是可行的。

Claims (7)

1.基于法向量方位角局部熵的三维人脸遮挡判别方法，其特征在于：包括以下步骤：
(1)计算输入的人脸各点的三维法向量，采样点K的邻近点为Kj＝(xj,yj,zj)，其中j是采样点K周围的临近点序号，xj,yj,zj分别代表各临近点的坐标，t是采样点K的临近点个数；则计算过程为：
首先，计算采样点K的3×3协方差矩阵：
Figure FDA0003589133080000011
式中
Figure FDA0003589133080000012
为K的邻近点Kj的均值；
对上式特征值分解，得到特征值λ0、λ1、λ2及其对应的特征向量为V0、V1、V2；
λ0＜λ1＜λ2，则采样点K的切平面T(X)表示为
Figure FDA0003589133080000013
式中V0为采样点K的法向量；
(2)不失一般性，根据人脸点云各点Ki的法向量
Figure FDA0003589133080000014
计算人脸各点云的三个方位角滚转角
Figure FDA0003589133080000015
俯仰角
Figure FDA0003589133080000016
以及偏转角
Figure FDA0003589133080000017
i是人脸点云各点的序号；
(3)基于点云的x,y坐标，对人脸点云进行4*4分块；
(4)在各小块内计算各方位角的局部熵值，某个小块内有m个点，则对该小块内m个点进行法向量夹角熵的计算表达式为：
Figure FDA0003589133080000021
Figure FDA0003589133080000022
Figure FDA0003589133080000023
式中，h(αz,m)，h(αy,m)，h(αx,m)分别表示滚转角αz，俯仰角αy，偏转角αx的局部熵值，其中
Figure FDA0003589133080000024
分别为
Figure FDA0003589133080000025
计算时先对方位角
Figure FDA0003589133080000026
和
Figure FDA0003589133080000027
进行取整，式中
Figure FDA0003589133080000028
和
Figure FDA0003589133080000029
分别为小块内法向量取整后方位角
Figure FDA00035891330800000210
和
Figure FDA00035891330800000211
出现的次数，
Figure FDA00035891330800000212
分别是法向量方位角
Figure FDA00035891330800000213
和
Figure FDA00035891330800000214
出现的概率,其中q表示在子区域内的点的序号；
Figure FDA00035891330800000215
Figure FDA00035891330800000216
和
Figure FDA00035891330800000217
分别是滚转角、俯仰角以及偏转角；
(5)提取输入人脸的16个子区域的各方位角的局部熵值并串联起来，得到基于法向量方位角局部熵的特征向量，其计算表达式为：
hz＝[hz1 hz2 ... hz16]，
hy＝[hy1 hy2 ... hy16]，
hx＝[hx1 hx2 ... hx16]，
其中，hz，hy，hx分别是滚转角、俯仰角以及偏转角的局部熵值特征向量，hz1 hz2 ... hz16分别是样本16个子区域滚转角的局部熵值，hy1 hy2 ... hy16分别是样本16个子区域俯仰角的局部熵值，hx1 hx2 ... hx16分别是样本16个子区域偏转角的局部熵值；
(6)将三个方位角局部熵特征向量连在一起作为每张人脸点云样本的最终特征向量。
2.根据权利要求1所述的基于法向量方位角局部熵的三维人脸遮挡判别方法，其特征在于：在所述步骤(6)后还包括：步骤(7)、使用支持向量机进行训练及测试，输入数据为步骤(6)中所提取的最终特征，以完成遮挡判断与识别。
3.根据权利要求1所述的基于法向量方位角局部熵的三维人脸遮挡判别方法，其特征在于：训练及测试所使用数据库为Bosphorus数据库。
4.根据权利要求1所述的基于法向量方位角局部熵的三维人脸遮挡判别方法，其特征在于：法向量
Figure FDA0003589133080000031
与xoy平面的夹角为滚转角，与xoz平面的夹角为俯仰角，与yoz平面的夹角为偏转角。
5.根据权利要求3所述的基于法向量方位角局部熵的三维人脸遮挡判别方法，其特征在于：步骤(2)中计算法向量方位角的方法为：
(21)将法向量
Figure FDA0003589133080000032
分别向平面xoy，平面xoz，平面yoz做映射，得到其分别在这三个平面上的投影，
Figure FDA0003589133080000033
(22)分别求法向量
Figure FDA0003589133080000034
与
Figure FDA0003589133080000035
的夹角，计算表达式为：
Figure FDA0003589133080000036
Figure FDA0003589133080000037
Figure FDA0003589133080000038
则
Figure FDA0003589133080000041
分别为法向量的滚转角，俯仰角，偏转角。
6.根据权利要求1所述的基于法向量方位角局部熵的三维人脸遮挡判别方法，其特征在于：所述的最终特征包含滚转角局部熵值、俯仰角局部熵值以及偏转角局部熵值，其计算表达式为：S＝[hz hy hx]。
7.根据权利要求1所述的基于法向量方位角局部熵的三维人脸遮挡判别方法，其特征在于：所述步骤(3)中基于点云的x,y坐标，对人脸点云进行4*4分块的方法为：
(31)求得所输入人脸点云的x，y坐标最大值和最小值；
(32)分别将点云的x，y坐标从小到大排列并将点云的x，y坐标4等分；
(33)x坐标从0～1/4，y坐标从0～1/4记为第1小块，x坐标从0～1/4，y坐标从1/4～2/4记为第2小块，x坐标从0～1/4，y坐标从2/4～3/4记为第3小块，x坐标从0～1/4，y坐标从3/4～4/4记为第4小块，x坐标从1/4～2/4，y坐标从0～1/4记为第5小块，x坐标从1/4～2/4，y坐标从1/4～2/4记为第6小块,x坐标从1/4～2/4，y坐标从2/4～3/4记为第7小块,x坐标从1/4～2/4，y坐标从3/4～4/4记为第8小块,x坐标从2/4～3/4，y坐标从0～1/4记为第9小块,x坐标从2/4～3/4，y坐标从1/4～2/4记为第10小块,x坐标从2/4～3/4，y坐标从2/4～3/4记为第11小块,x坐标从2/4～3/4，y坐标从3/4～4/4记为第12小块,x坐标从3/4～4/4，y坐标从0～1/4记为第13小块,x坐标从3/4～4/4，y坐标从1/4～2/4记为第14小块,x坐标从3/4～4/4，y坐标从2/4～3/4记为第15小块,x坐标从3/4～4/4，y坐标从3/4～4/4记为第16小块；
(34)完成输入人脸16个子区域的划分和排序。
CN201910769312.1A 2019-08-20 2019-08-20 基于法向量方位角局部熵的三维人脸遮挡判别方法 Active CN110532915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910769312.1A CN110532915B (zh) 2019-08-20 2019-08-20 基于法向量方位角局部熵的三维人脸遮挡判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910769312.1A CN110532915B (zh) 2019-08-20 2019-08-20 基于法向量方位角局部熵的三维人脸遮挡判别方法

Publications (2)

Publication Number Publication Date
CN110532915A CN110532915A (zh) 2019-12-03
CN110532915B true CN110532915B (zh) 2022-06-14

Family

ID=68663758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910769312.1A Active CN110532915B (zh) 2019-08-20 2019-08-20 基于法向量方位角局部熵的三维人脸遮挡判别方法

Country Status (1)

Country Link
CN (1) CN110532915B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553195B (zh) * 2020-04-02 2022-11-15 东南大学 基于多位图切平面与多尺度uLBP的三维人脸遮挡判别方法
CN114842516B (zh) * 2022-05-12 2023-04-21 黑龙江省科学院智能制造研究所 一种非接触式3d指纹识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN107679477A (zh) * 2017-09-27 2018-02-09 深圳市未来媒体技术研究院 基于空洞卷积神经网络的人脸深度和表面法向量预测方法
CN109115173A (zh) * 2018-08-23 2019-01-01 西安科技大学 基于直线定位模型的掘进机机身位姿单目视觉测量方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672412B2 (en) * 2014-06-24 2017-06-06 The Chinese University Of Hong Kong Real-time head pose tracking with online face template reconstruction
US9922452B2 (en) * 2015-09-17 2018-03-20 Samsung Electronics Co., Ltd. Apparatus and method for adjusting brightness of image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN107679477A (zh) * 2017-09-27 2018-02-09 深圳市未来媒体技术研究院 基于空洞卷积神经网络的人脸深度和表面法向量预测方法
CN109115173A (zh) * 2018-08-23 2019-01-01 西安科技大学 基于直线定位模型的掘进机机身位姿单目视觉测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
有遮挡人脸识别综述:从子空间回归到深度学习;李小薪,梁荣华;《计算机学报》;20180131;第177-207页 *

Also Published As

Publication number Publication date
CN110532915A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
US10049262B2 (en) Method and system for extracting characteristic of three-dimensional face image
Zhang et al. Fast and robust occluded face detection in ATM surveillance
Tang et al. 3D face recognition using local binary patterns
CN111126240B (zh) 一种三通道特征融合人脸识别方法
Li et al. Efficient 3D face recognition handling facial expression and hair occlusion
CN104573672B (zh) 一种基于邻域保持的鉴别嵌入人脸识别方法
CN111291701B (zh) 一种基于图像梯度和椭圆拟合算法的视线追踪方法
CN106096517A (zh) 一种基于低秩矩阵与特征脸的人脸识别方法
CN103984920A (zh) 一种基于稀疏表示与多特征点的三维人脸识别方法
Bejaoui et al. Fully automated facial expression recognition using 3D morphable model and mesh-local binary pattern
CN110069989A (zh) 人脸图像处理方法及装置、计算机可读存储介质
CN109241813A (zh) 用于非约束人脸识别的判别稀疏保持嵌入方法
Paul et al. Extraction of facial feature points using cumulative histogram
CN110532915B (zh) 基于法向量方位角局部熵的三维人脸遮挡判别方法
Angadi et al. Face recognition through symbolic modeling of face graphs and texture
CN111832405A (zh) 一种基于hog和深度残差网络的人脸识别方法
CN106611158A (zh) 人体3d特征信息的获取方法及设备
Alsawwaf et al. In your face: person identification through ratios and distances between facial features
KR101727833B1 (ko) 얼굴인식을 위한 판별분석 기반의 복합 특징 벡터 생성 장치 및 방법
Gürel et al. Design of a face recognition system
CN116664585B (zh) 基于深度学习的头皮健康状况检测方法及相关装置
Sharma et al. 3D face recognition techniques-a review
CN117636421A (zh) 一种基于边缘特征采集的人脸深伪检测方法
CN111553195B (zh) 基于多位图切平面与多尺度uLBP的三维人脸遮挡判别方法
Boukamcha et al. 3D face landmark auto detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant