CN104504410A - 基于三维点云的三维人脸识别装置和方法 - Google Patents

基于三维点云的三维人脸识别装置和方法 Download PDF

Info

Publication number
CN104504410A
CN104504410A CN201510006212.5A CN201510006212A CN104504410A CN 104504410 A CN104504410 A CN 104504410A CN 201510006212 A CN201510006212 A CN 201510006212A CN 104504410 A CN104504410 A CN 104504410A
Authority
CN
China
Prior art keywords
data
dimensional
point cloud
dimensional point
dimensional face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510006212.5A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201510006212.5A priority Critical patent/CN104504410A/zh
Priority to PCT/CN2015/075338 priority patent/WO2016110007A1/zh
Publication of CN104504410A publication Critical patent/CN104504410A/zh
Priority to US14/952,961 priority patent/US20160196467A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种基于三维点云的三维人脸识别装置和方法，装置包括：对于三维点云特征区域进行定位的特征区域检测单元；将三维点云进行归一化映射到深度图像空间的映射单元；利用不同尺度和方向的Gabor滤波器对三维人脸数据进行不同尺度和方向的响应进行计算的数据计算单元；训练获得的三维人脸数据的视觉词典的储存单元；对于每个像素获得的Gabor响应向量，与视觉词典进行直方图映射的映射计算单元；对于三维人脸数据进行粗分类的分类计算单元；对于三维人脸数据进行识别的识别计算单元。采用本发明的技术方案，对于三维数据的细节纹理描述能力较强，同时对输入三维点云人脸数据的质量适应性更好，因而具有更好的应用前景。

Description

基于三维点云的三维人脸识别装置和方法
技术领域
本发明涉及三维人脸识别技术领域，尤其涉及一种基于三维点云的三维人脸识别装置和方法。
背景技术
三维人脸识别相对于二维人脸识别，有着其对光照鲁棒、受姿态以及表情等因素影响较小等优点，因此在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后，很多学者都将他们的研究投入到该领域中。
CN201010256907提出了三维弯曲不变量的相关特征用来进行人脸特性描述。该方法通过编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分，并运用K最近邻分类方法对三维人脸进行识别。但是由于提取变量相关特征时需要复杂的计算量，因此在效率上限制了该方法的进一步应用；
CN200910197378提出了一种全自动三维人脸检测和姿势纠正的方法。该方法通过对人脸三维曲面进行多尺度的矩分析，提出了脸部区域特征来粗糙地检测人脸曲面，及提出鼻尖区域特征来准确地定位鼻尖的位置，然后进一步精确地分割出完整的人脸曲面，根据人脸曲面的距离信息提出鼻根区域特征来检测鼻根的位置后，建立了一个人脸坐标系，并据此自动地进行人脸姿势的纠正应用。该专利目的在于对三维人脸数据的姿态进行估计，属于三维人脸识别系统的数据预处理阶段。
三维人脸识别是三维人脸领域中许多应用的基础性工作。该领域的初始工作大部分是利用三维数据的信息：如曲率，深度等等对人脸进行描述，但是由于三维数据的采集中有很多数据的噪点，因此曲率等特征由于其本身对于噪音的敏感特性，使得其作为三维人脸的特征描述向量在识别结果上精度不高；后面在将三维数据映射到深度图数据后，很多二维人脸的表象特征开始应用到该领域，如主成分分析(PCA)以及Gabor滤波器特征；但是这些特征也有各自的缺点：(1)对于PCA特征，由于其隶属于全局的表象特征，因此对于三维数据的细节纹理描述能力不足(2)对于Gabor滤波器特征，由于三维数据的噪音问题，导致其对于三维人脸数据的描述能力依赖于获取的三维人脸数据的质量。
发明内容
为了解决上述技术问题，本发明公开一种基于三维点云的三维人脸识别装置和方法，本发明采用如下技术方案来解决上述技术问题：
一种基于三维点云的三维人脸识别装置，其特征在于，包括：
对于三维点云特征区域进行定位的特征区域检测单元；
将三维点云进行归一化映射到深度图像空间的映射单元；
利用不同尺度和方向的Gabor滤波器对三维人脸数据进行不同尺度和方向的响应进行计算的数据计算单元；
训练获得的三维人脸数据的视觉词典的储存单元；
对于每个像素获得的Gabor响应向量，与视觉词典进行直方图映射的映射计算单元；
对于三维人脸数据进行粗分类的分类计算单元；
对于三维人脸数据进行人脸识别的计算单元。
优选的，在上述的一种基于三维点云的三维人脸识别装置中，所述特征区域检测单元包括特征提取单元和对特征区域进行判断的特征区域分类器单元。
优选的，在上述的一种基于三维点云的三维人脸识别装置中，所述特征区域分类器单元为为向量机或者Adaboost。
优选的，在上述的一种基于三维点云的三维人脸识别装置中，所述特征区域为鼻尖区域。
本发明还公开一种基于三维点云的三维人脸识别方法，包括如下步骤：
步骤1数据预处理，首先在三维点云数据中根据数据特性定位出特征区域，作为配准的基准数据，然后对输入三维点云数据与基础人脸数据进行配准；然后利用数据的三维坐标值，将三维点云数据映射为深度图像；在此数据基础上进行表情鲁棒区域的提取；
步骤2特征提取，进行Gabor特征提取，将得到的Gabor响应向量构成原始图像的Gabor响应向量集合；对于得到的向量组，将每个向量都与三维人脸视觉词典中的每个视觉词汇建立对应关系，从而得到视觉词典直方图；
步骤3粗分类，基于视觉词典特征向量，得到输入的三维人脸输入所对应的具体粗分类；
步骤4识别，获取粗分类信息后，将输入数据的视觉词典特征向量与数据库中存储对应粗分类注册数据的特征向量利用最近邻分类器进行对比，实现三维人脸识别。
优选的，在上述的一种基于三维点云的三维人脸识别方法中，所述特征区域为鼻尖区域，检测鼻尖区域的步骤如下：
步骤1：确定阈值，确定域平均负有效能量密度的阈值，定义为thr；
步骤2：利用深度信息选取待处理数据，利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；
步骤3：法向量的计算，计算由深度信息选取出的人脸数据的方向量信息；
步骤4：区域平均负有效能量密度的计算，按照区域平均负有效能量密度的定义，求出待处理数据中个连通域的平均负有效能量密度，选择其中密度值最大的连通域；
步骤5：判定是否找到鼻尖区域，当前区域阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤1重新开始循环。
优选的，在上述的一种基于三维点云的三维人脸识别方法中，输入三维点云数据与基础人脸数据利用ICP算法进行配准。
优选的，在上述的一种基于三维点云的三维人脸识别方法中，在特征提取步骤中，测试人脸图像输入后，经过Gabor滤波，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，将其映射到与之距离最为接近的基元上，提取出原始图像的视觉词典直方图特征。
优选的，在上述的一种基于三维点云的三维人脸识别方法中，粗分类包括训练和识别两部分：在训练时，首先对数据集进行聚类，将所有数据分散到K个子节点中存储，将训练后得到的各个子类的中心作为粗分类参数存储；在粗分类识别时，将输入的数据与各子类参数进行匹配，选出最前的n个子节点数据进行匹配。
优选的，在上述的一种基于三维点云的三维人脸识别方法中，数据匹配在粗分类选取的子节点中进行，每个子节点返回距离输入数据最近的m个注册数据，在主节点中对此n*m个注册数据，利用最近邻分类器实现人脸识别。
与现有技术相比，本发明具有如下技术效果：
采用本发明的方案，作为一个完整的三维人脸识别解决方案，涵盖了数据预处理、数据配准、特征提取以及数据分类的过程，同现有的基于三维点云的三维人脸识别方案相比，本发明的技术方案对于三维数据的细节纹理描述能力较强，同时对输入三维点云人脸数据的质量适应性更好，因而具有更好的应用前景。
附图说明
图1为本发明系统框图
图2为本发明流程框图
图3为本发明三维人脸鼻尖区域示意图
图4为本发明三维人脸鼻尖区域定位示意图
图5为本发明不同姿态三维人脸配准示意图
图6为本发明三维点云数据映射为深度图像的示意图
图7为本发明三维人脸数据的Gabor滤波响应示意图
图8为本发明三维人脸视觉词典的K均值聚类获取过程示意图
图9为本发明三维人脸视觉词典向量特征的建立过程示意图
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1、2所示，本发明公开一种基于三维点云的三维人脸识别装置，具体包括：
对于三维点云特征区域进行定位的特征区域检测单元；
将三维点云进行归一化映射到深度图像空间的映射单元；
利用不同尺度和方向的Gabor滤波器对三维人脸数据进行不同尺度和方向的响应进行计算的数据计算单元；
训练获得的三维人脸数据的视觉词典的储存单元；
对于每个像素获得的Gabor响应向量，与视觉词典进行直方图映射的映射计算单元；
对于三维人脸数据进行粗分类的分类计算单元；
对于三维人脸数据进行识别的识别计算单元。
其中，上述的特征区域检测单元包括特征提取单元和对特征区域进行判断的特征区域分类器单元；体征提取单元针对三维点云的各项特性，如数据深度，数据密度以及更进一步计算数据的三维曲率等内在信息，提取点云数据的各种特征；而上述的特征区域分类器单元在上述基础上行数据点的分类计算，判断其是否属于特征区域；分类器可以是各种强分类器，比如支持向量机，Adaboost等。
由于鼻尖区域具有空点密度大，曲率明显等特性，因此上述特征区域一般为鼻尖区域。
上述的映射单元按照空间信息的(x,y)作为映射的参考空间位置，空间信息的z值作为映射对应数据值，构建从三维点云到深度图像的映射，将原始三维点云数据按照深度信息映射为深度图像；
同时由于三维数据采集过程中存在数据噪点(如数据空洞或者数据跳跃点)，可以利用滤波器(如均值滤波)进行数据噪音过滤。
如图1、2所示，本发明同时公开一种基于三维点云的三维人脸识别方法，包括如下步骤：
步骤1数据预处理，首先在三维点云数据中根据数据特性定位出特征区域，作为配准的基准数据，然后对输入三维点云数据与基础人脸数据进行配准；然后利用数据的三维坐标值，将三维点云数据映射为深度图像；在此数据基础上进行表情鲁棒区域的提取；
步骤2特征提取，进行Gabor特征提取，将得到的Gabor响应向量构成原始图像的Gabor响应向量集合；对于得到的向量组，将每个向量都与三维人脸视觉词典中的每个视觉词汇建立对应关系，从而得到视觉词典直方图；
步骤3粗分类，基于视觉词典特征向量，得到输入的三维人脸输入所对应的具体粗分类；
步骤4识别，获取粗分类信息后，将输入数据的视觉词典特征向量与数据库中存储对应粗分类注册数据的特征向量利用最近邻分类器进行对比，实现三维人脸识别。
如图3、4所示，三维鼻尖区域具有最高的z值(深度值)，明显的曲率值以及较大的数据密度值，因此适合作为数据配准的参考区域。在本发明中，特征区域为鼻尖区域，检测鼻尖区域的步骤如下：
步骤1：确定阈值，确定域平均负有效能量密度的阈值，定义为thr；
步骤2：利用深度信息选取待处理数据，利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；
步骤3：法向量的计算，计算由深度信息选取出的人脸数据的方向量信息；
步骤4：区域平均负有效能量密度的计算，按照区域平均负有效能量密度的定义，求出待处理数据中个连通域的平均负有效能量密度，选择其中密度值最大的连通域；
步骤5：判定是否找到鼻尖区域，当前区域阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤1重新开始循环。
如图5所示，对于不同姿态的三维数据，得到配准的参考区域即鼻尖区域后，按照ICP算法进行数据的配准；配准前后的对比如图所示。
图6为数据由三维点云映射到深度图像的示意图。将不同姿态的三维数据与参考区域进行配准后，首先按照深度信息进行深度图像的获取，然后利用滤波器对于映射后的深度图像中的噪音点(数据突起点或者空洞点)进行补偿去噪，最后对表情鲁棒区域进行选择，得到最终的三维人脸深度图像。
图7是三维人脸数据的Gabor滤波响应示意图。对于每一个尺度每一个方向，三维深度图像都会得到其对应的频域响应。例如四个方向和五个尺度的Gabor核函数，则可以得到20个频域响应图像。每一个深度图像的像素点，则得到一个对应的20维频域响应向量。
图8是三维人脸视觉词典的K均值聚类获取过程。该视觉词典是在三维人脸数据训练集中通过对大量数据的Gabor滤波响应向量集合进行K均值聚类获取的。在实验数据中，每幅深度人脸图像的大小是80*120。任意选取100幅中性表情人脸图像作为训练集。如果将这些图像的Gabor滤波响应向量数据直接存入一个三维张量中，其规模将会是5*4*80*120*100，包括了960000个20维向量。对于K均值聚类算法来说这是非常巨大的数据量。为了解决这个问题，需要将人脸数据首先分割成一系列局部纹理图像，并对每个局部纹理分配一个三维张量以存储其Gabor滤波响应数据。这样通过将原始数据分解，每个局部纹理三维张量的大小为5*4*20*20*100，是原数据规模的1/24，大大提高了算法的效率。
图9说明了三维深度图像的视觉词典直方图特征向量提取流程。当测试人脸图像输入后，经过Gabor滤波后，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，把它映射到与之距离最为接近的基元上。通过这种方式，就可以提取出原始深度图像的视觉词典直方图特征。其大致流程总结如下：
将三维人脸深度图像分割成一些局部纹理区域；
对于每个Gabor滤波响应向量，按照位置的不同将其映射到其对应的视觉分词典的词汇中，并依此为基础建立视觉词典直方图向量作为三维人脸的特诊表达；
将最近邻分类器用来作为最后的人脸识别，其中L1距离被选作为距离度量。
粗分类包括训练和识别两部分：在训练时，首先对数据集进行聚类，将所有数据分散到K个子节点中存储，此处聚类方法可以采用多种方式，如K均值，将训练后得到的各个子类的中心作为粗分类参数存储；在粗分类识别时，将输入的数据与各子类参数(聚类中心)进行匹配，选出最前的n个子节点数据进行匹配，以降低匹配的数据空间，达到缩小搜索范围和加快搜索速度的目的。
本发明的方案中，聚类方法采用K均值聚类，其具体步骤如下：
(1)对于数据对象集，任意选取K个对象作为初始的类中心；
(2)根据类中对象的平均值，将每个对象重新赋给最相似的类；
(3)更新类的平均值，即计算每个类中对象的平均值；
(4)重复步骤(2)(3)直到不再发生变化。
数据匹配在粗分类选取的子节点中进行，每个子节点返回距离输入数据最近的m个注册数据，在主节点中对此n*m个注册数据，利用最近邻分类器实现人脸识别。
获取粗分类信息后，将输入数据的视觉词典特征向量与数据库中存储对应粗分类注册数据的特征向量利用最近邻分类器进行对比，从而实现三维人脸识别的目的。
采用本发明的方案，作为一个完整的三维人脸识别解决方案，涵盖了数据预处理、数据配准、特征提取以及数据分类的过程，同现有的基于三维点云的三维人脸识别方案相比，本发明的技术方案对于三维数据的细节纹理描述能力较强，同时对输入三维点云人脸数据的质量适应性更好，因而具有更好的应用前景。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于三维点云的三维人脸识别装置，其特征在于，包括：
对于三维点云特征区域进行定位的特征区域检测单元；
将三维点云进行归一化映射到深度图像空间的映射单元；
利用不同尺度和方向的Gabor滤波器对三维人脸数据进行不同尺度和方向的响应进行计算的数据计算单元；
训练获得的三维人脸数据的视觉词典的储存单元；
对于每个像素获得的Gabor响应向量，与视觉词典进行直方图映射的映射计算单元；
对于三维人脸数据进行粗分类的分类计算单元；
对于三维人脸数据进行人脸识别的计算单元。
2.根据权利要求1所述一种基于三维点云的三维人脸识别装置，其特征在于：所述特征区域检测单元包括特征提取单元和对特征区域进行判断的特征区域分类器单元。
3.根据权利要求2所述的一种基于三维点云的三维人脸识别装置，其特征在于：所述特征区域分类器单元为为向量机或者Adaboost。
4.根据权利要求1所述的一种基于三维点云的三维人脸识别装置，其特征在于：所述特征区域为鼻尖区域。
5.一种基于三维点云的三维人脸识别方法，其特征在于，包括如下步骤：
步骤1数据预处理，首先在三维点云数据中根据数据特性定位出特征区域，作为配准的基准数据，然后对输入三维点云数据与基础人脸数据进行配准；然后利用数据的三维坐标值，将三维点云数据映射为深度图像；在此数据基础上进行表情鲁棒区域的提取；
步骤2特征提取，进行Gabor特征提取，将得到的Gabor响应向量构成原始图像的Gabor响应向量集合；对于得到的向量组，将每个向量都与三维人脸视觉词典中的每个视觉词汇建立对应关系，从而得到视觉词典直方图；
步骤3粗分类，基于视觉词典特征向量，得到输入的三维人脸输入所对应的具体粗分类；
步骤4识别，获取粗分类信息后，将输入数据的视觉词典特征向量与数据库中存储对应粗分类注册数据的特征向量利用最近邻分类器进行对比，实现三维人脸识别。
6.根据权利要求5所述的一种基于三维点云的人脸识别方法，其特征在于，所述特征区域为鼻尖区域，检测鼻尖区域的步骤如下：
步骤1：确定阈值，确定域平均负有效能量密度的阈值，定义为thr；
步骤2：利用深度信息选取待处理数据，利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；
步骤3：法向量的计算，计算由深度信息选取出的人脸数据的方向量信息；
步骤4：区域平均负有效能量密度的计算，按照区域平均负有效能量密度的定义，求出待处理数据中个连通域的平均负有效能量密度，选择其中密度值最大的连通域；
步骤5：判定是否找到鼻尖区域，当前区域阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤1重新开始循环。
7.根据权利要求5所述的一种基于三维点云的三维人脸识别方法，其特征在于，输入三维点云数据与基础人脸数据利用ICP算法进行配准。
8.根据权利要求5所述的一种基于三维点云的三维人脸识别方法，其特征在于,在特征提取步骤中，测试人脸图像输入后，经过Gabor滤波，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，将其映射到与之距离最为接近的基元上，提取出原始图像的视觉词典直方图特征。
9.根据权利要求5所述的一种基于三维点云的三维人脸识别方法，其特征在于，粗分类包括训练和识别两部分：在训练时，首先对数据集进行聚类，将所有数据分散到K个子节点中存储，将训练后得到的各个子类的中心作为粗分类参数存储；在粗分类识别时，将输入的数据与各子类参数进行匹配，选出最前的n个子节点数据进行匹配。
10.根据权利要求9所述的一种基于三维点云的三维人脸识别方法，其特征在于,数据匹配在粗分类选取的子节点中进行，每个子节点返回距离输入数据最近的m个注册数据，在主节点中对此n*m个注册数据，利用最近邻分类器实现人脸识别。
CN201510006212.5A 2015-01-07 2015-01-07 基于三维点云的三维人脸识别装置和方法 Pending CN104504410A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510006212.5A CN104504410A (zh) 2015-01-07 2015-01-07 基于三维点云的三维人脸识别装置和方法
PCT/CN2015/075338 WO2016110007A1 (zh) 2015-01-07 2015-03-28 基于三维点云的三维人脸识别装置和方法
US14/952,961 US20160196467A1 (en) 2015-01-07 2015-11-26 Three-Dimensional Face Recognition Device Based on Three Dimensional Point Cloud and Three-Dimensional Face Recognition Method Based on Three-Dimensional Point Cloud

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510006212.5A CN104504410A (zh) 2015-01-07 2015-01-07 基于三维点云的三维人脸识别装置和方法

Publications (1)

Publication Number Publication Date
CN104504410A true CN104504410A (zh) 2015-04-08

Family

ID=52945806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510006212.5A Pending CN104504410A (zh) 2015-01-07 2015-01-07 基于三维点云的三维人脸识别装置和方法

Country Status (3)

Country Link
US (1) US20160196467A1 (zh)
CN (1) CN104504410A (zh)
WO (1) WO2016110007A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095715A (zh) * 2015-06-30 2015-11-25 国网山东莒县供电公司 一种电力系统网络的身份认证方法
CN105354555A (zh) * 2015-11-17 2016-02-24 南京航空航天大学 一种基于概率图模型的三维人脸识别方法
WO2016110007A1 (zh) * 2015-01-07 2016-07-14 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN105894047A (zh) * 2016-06-28 2016-08-24 深圳市唯特视科技有限公司 一种基于三维数据的人脸分类系统
CN105956582A (zh) * 2016-06-24 2016-09-21 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别系统
CN106127147A (zh) * 2016-06-23 2016-11-16 深圳市唯特视科技有限公司 一种基于三维数据的人脸深度纹理修复方法
CN106127250A (zh) * 2016-06-24 2016-11-16 深圳市唯特视科技有限公司 一种基于三维点云数据的人脸质量评估方法
CN107239734A (zh) * 2017-04-20 2017-10-10 合肥工业大学 一种用于监狱出入口管理系统的三维人脸识别方法
CN107247916A (zh) * 2017-04-19 2017-10-13 广东工业大学 一种基于Kinect的三维人脸识别方法
CN107423712A (zh) * 2017-07-28 2017-12-01 南京华捷艾米软件科技有限公司 一种3d人脸识别方法
CN107483423A (zh) * 2017-08-04 2017-12-15 北京联合大学 一种用户登录验证方法
CN109657559A (zh) * 2018-11-23 2019-04-19 盎锐（上海）信息科技有限公司 点云深度感知编码引擎
CN110458041A (zh) * 2019-07-19 2019-11-15 国网安徽省电力有限公司建设分公司 一种基于rgb-d相机的人脸识别方法及系统
CN111339973A (zh) * 2020-03-03 2020-06-26 北京华捷艾米科技有限公司 一种对象识别方法、装置、设备及存储介质
CN111753652A (zh) * 2020-05-14 2020-10-09 天津大学 一种基于数据增强的三维人脸识别方法
CN112150608A (zh) * 2020-09-07 2020-12-29 鹏城实验室 一种基于图卷积神经网络的三维人脸重建方法
CN113129269A (zh) * 2021-03-23 2021-07-16 东北林业大学 一种从图像纹理特征中选择变量实现混凝土表面空洞的自动分类方法
WO2023071707A1 (zh) * 2021-10-29 2023-05-04 北京字节跳动网络技术有限公司 视频图像处理方法、装置、电子设备及存储介质

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326851B (zh) * 2016-08-19 2019-08-13 杭州智诺科技股份有限公司 一种人头检测的方法
US10366278B2 (en) * 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
CN106778777B (zh) * 2016-11-30 2021-07-06 成都通甲优博科技有限责任公司 一种车辆匹配方法及系统
CN109993192A (zh) * 2018-01-03 2019-07-09 北京京东尚科信息技术有限公司 目标对象识别方法及装置、电子设备、存储介质
CN108615007B (zh) * 2018-04-23 2019-07-19 深圳大学 基于特征张量的三维人脸识别方法、装置及存储介质
CN108961406B (zh) * 2018-08-10 2022-07-05 北京知道创宇信息技术股份有限公司 地理信息可视化方法、装置及用户终端
CN111783501A (zh) * 2019-04-03 2020-10-16 北京地平线机器人技术研发有限公司 活体检测方法和装置以及相应的电子设备
US10762607B2 (en) * 2019-04-10 2020-09-01 Alibaba Group Holding Limited Method and device for sensitive data masking based on image recognition
CN110197223B (zh) * 2019-05-29 2021-02-09 北方民族大学 基于深度学习的点云数据分类方法
AU2020329148A1 (en) * 2019-08-09 2022-03-17 Clearview Ai, Inc. Methods for providing information about a person based on facial recognition
CN111047631B (zh) * 2019-12-04 2023-04-07 广西大学 一种基于单Kinect加圆盒的多视角三维点云配准方法
US11403734B2 (en) 2020-01-07 2022-08-02 Ademco Inc. Systems and methods for converting low resolution images into high resolution images
CN111428565B (zh) * 2020-02-25 2023-11-14 北京理工大学 一种基于深度学习的点云标识点定位方法及装置
CN111524168B (zh) * 2020-04-24 2023-04-18 中国科学院深圳先进技术研究院 点云数据的配准方法、系统、装置及计算机存储介质
US11978328B2 (en) * 2020-04-28 2024-05-07 Ademco Inc. Systems and methods for identifying user-customized relevant individuals in an ambient image at a doorbell device
CN112183481B (zh) * 2020-10-29 2022-05-20 中科(厦门)数据智能研究院 一种基于结构光摄像头的3d人脸识别方法
CN112288859A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于卷积神经网络的三维人脸建模方法
CN112287864A (zh) * 2020-11-10 2021-01-29 江苏大学 一种三维点云中多中几何基元自动识别方法
CN112419144A (zh) * 2020-11-25 2021-02-26 上海商汤智能科技有限公司 人脸图像的处理方法、装置、电子设备及存储介质
CN112329736B (zh) * 2020-11-30 2022-04-12 上海华瑞银行股份有限公司 人脸识别方法及金融系统
CN113112606B (zh) * 2021-04-16 2023-05-30 深圳臻像科技有限公司 一种基于三维实景建模的人脸校正方法、系统及存储介质
CN113223067B (zh) * 2021-05-08 2021-11-19 广东三姆森科技股份有限公司 针对具有平面基准的非完整三维扫描点云的在线配准方法
CN115830762A (zh) * 2023-01-17 2023-03-21 四川三思德科技有限公司 一种平安社区出入口管控平台、管控方法及管控终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402693A (zh) * 2010-09-09 2012-04-04 富士通株式会社 处理包含字符的图像的方法和设备
CN103971122A (zh) * 2014-04-30 2014-08-06 深圳市唯特视科技有限公司 基于深度图像的三维人脸描述方法及装置
CN104091162A (zh) * 2014-07-17 2014-10-08 东南大学 基于特征点的三维人脸识别方法
CN104143080A (zh) * 2014-05-21 2014-11-12 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置及方法
US20140355843A1 (en) * 2011-12-21 2014-12-04 Feipeng Da 3d face recognition method based on intermediate frequency information in geometric image

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070127787A1 (en) * 2005-10-24 2007-06-07 Castleman Kenneth R Face recognition system and method
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
WO2012126135A1 (en) * 2011-03-21 2012-09-27 Intel Corporation Method of augmented makeover with 3d face modeling and landmark alignment
US8565481B1 (en) * 2011-05-26 2013-10-22 Google Inc. System and method for tracking objects
JP6203077B2 (ja) * 2014-02-21 2017-09-27 株式会社東芝 学習装置、密度計測装置、学習方法、学習プログラム、及び密度計測システム
US20150243031A1 (en) * 2014-02-21 2015-08-27 Metaio Gmbh Method and device for determining at least one object feature of an object comprised in an image
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402693A (zh) * 2010-09-09 2012-04-04 富士通株式会社 处理包含字符的图像的方法和设备
US20140355843A1 (en) * 2011-12-21 2014-12-04 Feipeng Da 3d face recognition method based on intermediate frequency information in geometric image
CN103971122A (zh) * 2014-04-30 2014-08-06 深圳市唯特视科技有限公司 基于深度图像的三维人脸描述方法及装置
CN104143080A (zh) * 2014-05-21 2014-11-12 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置及方法
CN104091162A (zh) * 2014-07-17 2014-10-08 东南大学 基于特征点的三维人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈江丽: ""基于最短距离聚类的K最近邻分类的研究及应用"", 《中国优秀硕士学位论文全文数据库，信息科技辑》 *
陈立生 等，: ""基于几何特征与深度数据的三维人脸识别"", 《人工智能及识别技术》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016110007A1 (zh) * 2015-01-07 2016-07-14 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN105095715A (zh) * 2015-06-30 2015-11-25 国网山东莒县供电公司 一种电力系统网络的身份认证方法
CN105354555A (zh) * 2015-11-17 2016-02-24 南京航空航天大学 一种基于概率图模型的三维人脸识别方法
CN105354555B (zh) * 2015-11-17 2018-08-07 南京航空航天大学 一种基于概率图模型的三维人脸识别方法
CN106127147B (zh) * 2016-06-23 2019-07-26 深圳市唯特视科技有限公司 一种基于三维数据的人脸深度纹理修复方法
CN106127147A (zh) * 2016-06-23 2016-11-16 深圳市唯特视科技有限公司 一种基于三维数据的人脸深度纹理修复方法
CN106127250A (zh) * 2016-06-24 2016-11-16 深圳市唯特视科技有限公司 一种基于三维点云数据的人脸质量评估方法
WO2017219391A1 (zh) * 2016-06-24 2017-12-28 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别系统
CN105956582A (zh) * 2016-06-24 2016-09-21 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别系统
CN105956582B (zh) * 2016-06-24 2019-07-30 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别系统
CN105894047A (zh) * 2016-06-28 2016-08-24 深圳市唯特视科技有限公司 一种基于三维数据的人脸分类系统
CN105894047B (zh) * 2016-06-28 2019-08-27 深圳市唯特视科技有限公司 一种基于三维数据的人脸分类系统
CN107247916A (zh) * 2017-04-19 2017-10-13 广东工业大学 一种基于Kinect的三维人脸识别方法
CN107239734A (zh) * 2017-04-20 2017-10-10 合肥工业大学 一种用于监狱出入口管理系统的三维人脸识别方法
CN107423712A (zh) * 2017-07-28 2017-12-01 南京华捷艾米软件科技有限公司 一种3d人脸识别方法
CN107483423B (zh) * 2017-08-04 2020-10-27 北京联合大学 一种用户登录验证方法
CN107483423A (zh) * 2017-08-04 2017-12-15 北京联合大学 一种用户登录验证方法
CN109657559A (zh) * 2018-11-23 2019-04-19 盎锐（上海）信息科技有限公司 点云深度感知编码引擎
CN109657559B (zh) * 2018-11-23 2023-02-07 盎锐（上海）信息科技有限公司 点云深度感知编码引擎装置
CN110458041A (zh) * 2019-07-19 2019-11-15 国网安徽省电力有限公司建设分公司 一种基于rgb-d相机的人脸识别方法及系统
CN110458041B (zh) * 2019-07-19 2023-04-14 国网安徽省电力有限公司建设分公司 一种基于rgb-d相机的人脸识别方法及系统
CN111339973A (zh) * 2020-03-03 2020-06-26 北京华捷艾米科技有限公司 一种对象识别方法、装置、设备及存储介质
CN111753652A (zh) * 2020-05-14 2020-10-09 天津大学 一种基于数据增强的三维人脸识别方法
CN111753652B (zh) * 2020-05-14 2022-11-29 天津大学 一种基于数据增强的三维人脸识别方法
CN112150608A (zh) * 2020-09-07 2020-12-29 鹏城实验室 一种基于图卷积神经网络的三维人脸重建方法
CN113129269A (zh) * 2021-03-23 2021-07-16 东北林业大学 一种从图像纹理特征中选择变量实现混凝土表面空洞的自动分类方法
WO2023071707A1 (zh) * 2021-10-29 2023-05-04 北京字节跳动网络技术有限公司 视频图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20160196467A1 (en) 2016-07-07
WO2016110007A1 (zh) 2016-07-14

Similar Documents

Publication Publication Date Title
CN104504410A (zh) 基于三维点云的三维人脸识别装置和方法
CN105956582B (zh) 一种基于三维数据的人脸识别系统
US9142011B2 (en) Shadow detection method and device
CN107292234B (zh) 一种基于信息边缘和多模态特征的室内场景布局估计方法
CN104598878A (zh) 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN104298995A (zh) 基于三维点云的三维人脸识别装置及方法
CN103996052B (zh) 基于三维点云的三维人脸性别分类方法
CN104778441A (zh) 融合灰度信息和深度信息的多模态人脸识别装置及方法
US9443137B2 (en) Apparatus and method for detecting body parts
CN104598890A (zh) 一种基于rgb-d视频的人体行为识别方法
CN103971122B (zh) 基于深度图像的三维人脸描述方法
Dib et al. A review on negative road anomaly detection methods
CN104537353A (zh) 基于三维点云的三维人脸年龄分类装置及方法
MX2012007593A (es) Metodo para el reconocimiento de una cabeza.
Dyer Multiscale image understanding
CN104573722A (zh) 基于三维点云的三维人脸种族分类装置和方法
CN106611158A (zh) 人体3d特征信息的获取方法及设备
Yogeswaran et al. 3d surface analysis for automated detection of deformations on automotive body panels
Juang et al. Stereo-camera-based object detection using fuzzy color histograms and a fuzzy classifier with depth and shape estimations
CN104008374B (zh) 一种矿井图像中基于条件随机场的矿工检测方法
US9087381B2 (en) Method and apparatus for building surface representations of 3D objects from stereo images
Bonde et al. Multi scale shape index for 3d object recognition
CN106980878A (zh) 三维模型几何风格的确定方法及装置
CN103390150A (zh) 人体部件检测方法和装置
Lee et al. ELF-Nets: deep learning on point clouds using extended laplacian filter

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150408

RJ01 Rejection of invention patent application after publication