CN105956582A - 一种基于三维数据的人脸识别系统 - Google Patents

一种基于三维数据的人脸识别系统 Download PDF

Info

Publication number
CN105956582A
CN105956582A CN201610472527.3A CN201610472527A CN105956582A CN 105956582 A CN105956582 A CN 105956582A CN 201610472527 A CN201610472527 A CN 201610472527A CN 105956582 A CN105956582 A CN 105956582A
Authority
CN
China
Prior art keywords
depth
face
data
image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610472527.3A
Other languages
English (en)
Other versions
CN105956582B (zh
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201610472527.3A priority Critical patent/CN105956582B/zh
Priority to PCT/CN2016/089294 priority patent/WO2017219391A1/zh
Publication of CN105956582A publication Critical patent/CN105956582A/zh
Application granted granted Critical
Publication of CN105956582B publication Critical patent/CN105956582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种基于三维数据的人脸识别系统,通过在点云层对三维数据质量进行初步评估,检测鼻尖区域,以鼻尖区域作为基准数据进行配准,进行深度人脸图像映射,再次评估图像质量后,进行深度人脸数据进行纹理修复,最后按照训练好的三维人脸视觉词典进行三维数据的视觉词典直方图向量提取,利用分类器实现三维人脸识别。本发明提高了人脸数据的质量和三维人脸识别的效率。

Description

一种基于三维数据的人脸识别系统
所属技术领域
本发明涉及一种人脸识别系统,尤其涉及一种三维深度人脸数据的人脸识别系统。
背景技术
三维人脸识别相对于二维人脸识别,有着其对光照鲁棒、受姿态以及表情等因素影响较小等优点,因此在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后,很多学者都将他们的研究投入到该领域中。
现阶段,三维人脸识别是三维人脸领域中许多应用的基础性工作。该领域的初始工作大部分是利用三维数据的信息:如曲率,深度等等对人脸进行描述,但是由于三维数据的采集中有很多数据的噪点,因此曲率等特征由于其本身对于噪音的敏感特性,使得其作为三维人脸的特征描述向量在识别结果上精度不高;后面再将三维数据映射到深度图数据后,很多二维人脸的表象特征开始应用到该领域,如主成分分析(PCA)以及Gabor滤波器特征;但是这些特征也有各自的缺点:对于PCA特征,由于其隶属于全局的表象特征,因此对于三维数据的细节纹理描述能力不足;对于Gabor滤波器特征,由于三维数据的噪音问题,导致其对于三维人脸数据的描述能力依赖于获取的三维人脸数据的质量。
CN Pat.No.201010256907提出了三维弯曲不变量的相关特征用来进行人脸特性描述。该方法通过编码三维人脸表面相邻节点的弯曲不变量的局部特征,提取弯曲不变量相关特征;对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维,获得主成分,并运用K最近邻分类方法对三维人脸进行识别。但是由于提取变量相关特征时需要复杂的计算量,因此在效率上限制了该方法的进一步应用。
CN Pat.No.200910197378提出了一种全自动三维人脸检测和姿势纠正的方法。该方法通过对人脸三维曲面进行多尺度的矩分析,提出了脸部区域特征来粗糙地检测人脸曲面,及提出鼻尖区域特征来准确地定位鼻尖的位置,然后进一步精确地分割出完整的人脸曲面,根据人脸曲面的距离信息提出鼻根区域特征来检测鼻根的位置后,建立了一个人脸坐标系,并据此自动地进行人脸姿势的纠正应用。该专利目的在于对三维人脸数据的姿态进行估计,属于三维人脸识别系统的数据预处理阶段。
本发明据三维点云的特性,提取三维人脸区域的特征区域进行定位;然后依据此特殊区域首先判断三维点云是否包含合格的三维人脸,在点云层对三维数据质量进行初步评估;如果存在合格的鼻尖区域,则以此区域作为基准数据进行配准;数据配准后根据预设的x、y、z分辨率和位置信息将点云数据映射成深度图像;得到人脸深度图像后再次进行人脸数据质量评估;评估合格后的深度人脸数据进行纹理修复,实现数据去噪以及深度纹理进一步优化;最后按照训练好的三维人脸视觉词典进行三维数据的视觉词典直方图向量提取,利用分类器实现三维人脸识别。本发明目的在于给出完整的三维人脸识别解决方案,涵盖:数据特征区域提取、数据配准、数据预处理、数据质量评估、特征提取以及数据分类。
发明内容
为了提出完整的三维人脸识别解决方案,解决上述技术问题,本发明公开一种基于三维数据的人脸识别系统。
一种基于三维数据的人脸识别系统,包括:三维人脸点云数据输入计算单元;人脸特定区域检测计算单元;数据配准计算单元;深度人脸数据映射计算单元;深度人脸图像评估计算单元;深度人脸纹理修复计算单元;深度人脸特征提取计算单元;三维人脸识别计算单元。
本发明包括如下步骤:
A.三维人脸点云数据的输入;
B.对于三维人脸点云数据中人脸特定区域检测;
C.对于检测到的人脸特定区域进行数据配准;
D.对于配准后的三维人脸点云数据进行深度人脸数据映射;
E.人脸深度数据质量评估计算单元;
F.对于深度人脸数据进行深度人脸纹理修复;
G.人脸深度数的特征提取;
H.对于深度人脸数据进行三维人脸识别。
优选的,在上述的一种基于三维数据的人脸识别系统中,所述的步骤A支持各类三维点云采集设备的数据输入。
优选的,在上述的一种基于三维数据的人脸识别系统中,所述的步骤B包括如下步骤:
步骤一:确定域平均负有效能量密度的阈值,定义为thr;
步骤二:利用数据的深度信息,提取在一定深度范围内的人脸数据作为待处理数据;
步骤三:计算由深度信息选取出的人脸数据的法向量信息;
步骤四:按照区域平均负有效能量密度的定义,求出待处理数据中各连通域的平均负有效能量密度,选择其中密度值最大的连通域;
步骤五:当该区域的阈值大于预定义的thr时,该区域即为鼻尖区域,否则回到步骤一继续。
优选的,在上述的一种基于三维数据的人脸识别系统中,所述的步骤C,包括如下步骤:
步骤一:在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据;
步骤二:得到配准的参考区域后,计算3*3的矩阵,公式如下:
H = Σ i = 1 N Q i Q i T
步骤三:计算旋转矩阵R和平移矩阵t,当X行列值为1时,R=X,t=P-R*Q;
步骤四:获取两个三维数据点集之间的三维空间变换矩阵,从而实现两个点集的配准。
优选的,在上述的一种基于三维数据的人脸识别系统中,所述的步骤D,获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准,其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息;具体计算过程如下:
鼻尖点为N(x,y,z),则空间点P(x1,y1,z1)的图像坐标为:
Ix=(x1-x)+width/2
Iy=(y1-y)+height/2
其中width为深度图像的宽度,height为深度图像的高度;
同时,根据三维点云数据的深度精度预先设定深度分辨率Zref,作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准,公式如下:
I d e p t h = ( z 1 - z ) Z r e f + 255 , z 1 ≤ z 255 , z 1 > z
完成将三维点云数据映射为深度人脸图像的数据映射。
优选的,在上述的一种基于三维数据的人脸识别系统中,所述的步骤E,包括深度特征脸的计算和深度图像数据质量评估,包括如下步骤:
深度特征脸的计算步骤如下:
步骤一:将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量,将这些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M,那么拉伸过后的人脸列向量的维度就是D=M*M。若训练集中有N张深度人脸图像,那么样本矩阵A的维度就是D*N;
步骤二:将训练集中的N张深度人脸图像在对应维度上相加然后求平均,就可以得到深度图像的平均脸;将N张深度图像都减去深度平均脸,得到差值图像数据矩阵Φ;
步骤三:对协方差矩阵C=Φ*ΦT进行特征值分解;根据占据所有特征值能量的比率,选择最大的一些特征值,其所对应的特征向量即为深度特征脸;
步骤四:深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算。
深度图像数据质量评估计算过程如下:
该过程分为训练和评估两个阶段:在训练阶段,如图5(a)所示,训练出深度人脸图像的特征脸,以此为基础张成深度人脸图像空间;在评估阶段,对于输入的深度人脸图像,将其映射为深度特征脸空间中的一点,得到利用深度特征脸表征的近似深度人脸图像;
I a p r = Σ i w i * I e i g e n
然后将近似图像与原始图像进行对比,如果差值大于某个阈值,则说明该深度图像不符合这些深度特征脸代表的类型,评估不通过;否则则认为该图像符合这些深度特征脸代表的类型,评估通过;
E = 0 , a b s ( I a p r - I o r i ) > T h r 1 , a b s ( I a p r - I o r i ) < = T h r
优选的,在上述的一种基于三维数据的人脸识别系统中,所述的步骤F,包括如下步骤:
步骤一:对于深度图像中的噪点进行检测计算单元,噪点类型主要包括数据空洞以及数据的凸起,在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。
步骤二:进行深度数据去噪本发明中采用邻域深度有效值滤波,对上述深度人脸图像中的噪音进行过滤,该滤波表达式可以描述为:
I ( x , y ) = &Sigma; m = - w i n , n = - w i n m = w i n , n = w i n I ( x - m , y - n ) * w ( x - m , y - n )
其中当I(x-m,y-n)为深度图像有效点时,值为当I(x-m,y-n)为深度图像无效点时,值为0。
步骤三:在对奇异点进行初步的低通滤波之后,继续利用边缘保持滤波对于深度图像进行进一步的纹理修复,本发明中边缘保持滤波器采用双边滤波(不限于)。双边滤波器是由两个函数构成,一个函数是通过几何空间距离决定滤波器系数,另一个函数则是由像素差值决定滤波器系数。在双边滤波器中,输出像素的值依赖于邻域像素的值的加权组合:
g ( i , j ) = &Sigma; k , l f ( k , l ) w ( i , j , k , l ) &Sigma; k , l w ( i , j , k , l )
其中,由几何空间距离决定的滤波器系数,其公式为:
d ( i , j , k , l ) = exp ( - ( i - k ) 2 + ( j - l ) 2 2 &sigma; d 2 )
由像素差值决定的滤波器系数,其公式为:
r ( i , j , k , l ) = exp ( - | | f ( i , j ) - f ( k , l ) | | 2 2 &sigma; r 2 )
则权重系数则为空间域系数以及值域系数的乘积:
w ( i , j , k , l ) = exp ( - ( i - k ) 2 + ( j - l ) 2 2 &sigma; d 2 - | | f ( i , j ) - f ( k , l ) | | 2 2 &sigma; r 2 ) .
通过这种结合方式,在图像滤波中同时考虑了空间域与值域的差别,在滤除数据噪音的过程中也可以保留数据中的特定边缘信息,有效的进行了深度人脸图像数据噪音的修复以及人脸深度特性信息的增强。
优选的,在上述的一种基于三维数据的人脸识别系统中,所述的步骤G,分为视觉词汇训练阶段和视觉字典直方图特征提取阶段,包括如下步骤:
在视觉词汇训练阶段,对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor滤波器滤波,通过这种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量;将这些向量按照其所在图像的空间位置进行分组,并对每组向量集合进行K均值聚类,得到的聚类中心为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇(视觉分词典);将每组的视觉向量连接起来,就构成了深度人脸图像的视觉词典。
在视觉词典直方图特征提取阶段,当测试人脸图像输入后,经过Gabor滤波后,将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较,通过距离匹配的方式,把它映射到与之距离最为接近的基元上。通过这种方式,就可以提取出原始深度图像的视觉词典直方图特征。
优选的,在上述的一种基于三维数据的人脸识别系统中,所述的步骤H,包括如下步骤:
步骤一:将三维人脸深度图像分割成一些局部纹理区域;
步骤二:对于每个Gabor滤波响应向量,按照位置的不同将其映射到其对应的视觉分析词典的词汇中,并以此为基础建立视觉词典直方图向量作为三维人脸的特征表达;
步骤三:最近邻分类器被用来作为最后的人脸识别,其中L1距离被选作为距离度量,获得最终的分类结果。
与现有技术相比,本发明具有如下技术效果:
本发明据三维点云的特性,提取三维人脸区域的特征区域进行定位;然后依据此特殊区域首先判断三维点云是否包含合格的三维人脸,在点云层对三维数据质量进行初步评估;如果存在合格的鼻尖区域,则以此区域作为基准数据进行配准;数据配准后根据预设的x、y、z分辨率和位置信息将点云数据映射成深度图像;得到人脸深度图像后再次进行人脸数据质量评估;评估合格后的深度人脸数据进行纹理修复,实现数据去噪以及深度纹理进一步优化;最后按照训练好的三维人脸视觉词典进行三维数据的视觉词典直方图向量提取,利用分类器实现三维人脸识别。提高了人脸数据的质量和三维人脸识别的效率。
附图说明
图1是本发明系统流程图;
图2是本发明鼻尖检测模块示意图;
图3是本发明数据配准模块示意图;
图4是本发明数据空间映射示意图;
图5是本发明人脸深度图像质量评估流程示意图;
图6是本发明深度纹理修复示意图;
图7是本发明特征提取示意图;
图8是本发明人脸识别流程示意图;
图9是本发明系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明公开一种基于三维数据的人脸识别系统,包括:三维人脸点云数据输入计算单元;人脸特定区域检测计算单元;数据配准计算单元;深度人脸数据映射计算单元;深度人脸图像评估计算单元;深度人脸纹理修复计算单元;深度人脸特征提取计算单元;三维人脸识别计算单元。
如图1所示,本发明系统流程如下:
A.三维人脸点云数据的输入;
B.对于三维人脸点云数据中人脸特定区域检测;
C.对于检测到的人脸特定区域进行数据配准;
D.对于配准后的三维人脸点云数据进行深度人脸数据映射;
E.人脸深度数据质量评估计算单元;
F.对于深度人脸数据进行深度人脸纹理修复;
G.人脸深度数的特征提取;
H.对于深度人脸数据进行三维人脸识别。
如图2所示,在上述的一种基于三维数据的人脸识别系统中人脸特定区域检测计算单元,图2(a)中,由于三维点云人脸数据中鼻尖区域的数据信息明显区别于人脸的其他位置,因此本发明中人脸特征区域采用的是鼻尖区域;图2(b)是鼻尖区域定位的流程图,包括如下步骤:
步骤一:确定域平均负有效能量密度的阈值,定义为thr;
步骤二:利用数据的深度信息,提取在一定深度范围内的人脸数据作为待处理数据;
步骤三:计算由深度信息选取出的人脸数据的法向量信息;
步骤四:按照区域平均负有效能量密度的定义,求出待处理数据中各连通域的平均负有效能量密度,选择其中密度值最大的连通域;
步骤五:当该区域的阈值大于预定义的thr时,该区域即为鼻尖区域,否则回到步骤一继续。
如图3所示,在上述的数据配准计算单元,包括如下步骤:
步骤一:在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据;
步骤二:得到配准的参考区域后,计算3*3的矩阵,公式如下:
H = &Sigma; i = 1 N Q i Q i T
步骤三:计算旋转矩阵R和平移矩阵t,当X行列值为1时,R=X,t=P-R*Q;
步骤四:获取两个三维数据点集之间的三维空间变换矩阵,从而实现两个点集的配准。
如图4所示,在上述的深度人脸数据映射计算单元,该计算单元检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准,其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息;具体计算过程如下:
鼻尖点为N(x,y,z),则空间点P(x1,y1,z1)的图像坐标为:
Ix=(x1-x)+width/2
Iy=(y1-y)+height/2
其中width为深度图像的宽度,height为深度图像的高度;
同时,根据三维点云数据的深度精度预先设定深度分辨率Zref,作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准,公式如下:
I d e p t h = ( z 1 - z ) Z r e f + 255 , z 1 &le; z 255 , z 1 > z
完成将三维点云数据映射为深度人脸图像的数据映射。
如图5所示,其中(a)为深度人脸图像的特征脸示意图,深度特征脸的计算过程可以总结为:
步骤一:将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量,将这些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M,那么拉伸过后的人脸列向量的维度就是D=M*M。若训练集中有N张深度人脸图像,那么样本矩阵A的维度就是D*N;
步骤二:将训练集中的N张深度人脸图像在对应维度上相加然后求平均,就可以得到深度图像的平均脸;将N张深度图像都减去深度平均脸,得到差值图像数据矩阵Φ;
步骤三:对协方差矩阵C=Φ*ΦT进行特征值分解;根据占据所有特征值能量的比率,选择最大的一些特征值,其所对应的特征向量即为深度特征脸;
步骤四:深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算。
其中(b)为本发明中的深度图像数据质量评估模块的算法流程,该模块分为训练和评估两个阶段:
在训练阶段,如图5(a)所示,训练出深度人脸图像的特征脸,以此为基础张成深度人脸图像空间;在评估阶段,对于输入的深度人脸图像,将其映射为深度特征脸空间中的一点,得到利用深度特征脸表征的近似深度人脸图像;
I a p r = &Sigma; i w i * I e i g e n
然后将近似图像与原始图像进行对比,如果差值大于某个阈值,则说明该深度图像不符合这些深度特征脸代表的类型,评估不通过;否则则认为该图像符合这些深度特征脸代表的类型,评估通过;
E = 0 , a b s ( I a p r - I o r i ) > T h r 1 , a b s ( I a p r - I o r i ) < = T h r
如图6在上述的深度人脸纹理修复计算单元,包括如下步骤:
步骤一:对于深度图像中的噪点进行检测计算单元,噪点类型主要包括数据空洞以及数据的凸起,在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。
步骤二:进行深度数据去噪,在本发明中采用邻域深度有效值滤波,对上述深度人脸图像中的噪音进行过滤,该滤波表达式可以描述为:
I ( x , y ) = &Sigma; m = - w i n , n = - w i n m = w i n , n = w i n I ( x - m , y - n ) * w ( x - m , y - n )
其中当I(x-m,y-n)为深度图像有效点时,值为当I(x-m,y-n)为深度图像无效点时,值为0。
步骤三:在对奇异点进行初步的低通滤波之后,继续利用边缘保持滤波对于深度图像进行进一步的纹理修复,本发明中边缘保持滤波器采用双边滤波(不限于)。双边滤波器是由两个函数构成,一个函数是通过几何空间距离决定滤波器系数,另一个函数则是由像素差值决定滤波器系数。在双边滤波器中,输出像素的值依赖于邻域像素的值的加权组合:
g ( i , j ) = &Sigma; k , l f ( k , l ) w ( i , j , k , l ) &Sigma; k , l w ( i , j , k , l )
其中,由几何空间距离决定的滤波器系数,其公式为:
d ( i , j , k , l ) = exp ( - ( i - k ) 2 + ( j - l ) 2 2 &sigma; d 2 )
由像素差值决定的滤波器系数,其公式为:
r ( i , j , k , l ) = exp ( - | | f ( i , j ) - f ( k , l ) | | 2 2 &sigma; r 2 )
则权重系数则为空间域系数以及值域系数的乘积:
w ( i , j , k , l ) = exp ( - ( i - k ) 2 + ( j - l ) 2 2 &sigma; d 2 - | | f ( i , j ) - f ( k , l ) | | 2 2 &sigma; r 2 ) .
通过这种结合方式,在图像滤波中同时考虑了空间域与值域的差别,在滤除数据噪音的过程中也可以保留数据中的特定边缘信息,有效的进行了深度人脸图像数据噪音的修复以及人脸深度特性信息的增强。
如图7所示为本发明中的对人脸深度图像数据进行视觉词典直方图特征提取的示意图该过程可以分为视觉词汇训练阶段和视觉字典直方图特征提取阶段。
在视觉词汇训练阶段,对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor滤波器滤波,通过这种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量;将这些向量按照其所在图像的空间位置进行分组,并对每组向量集合进行K均值聚类,得到的聚类中心为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇(视觉分词典);将每组的视觉向量连接起来,就构成了深度人脸图像的视觉词典。
在视觉词典直方图特征提取阶段,当测试人脸图像输入后,经过Gabor滤波后,将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较,通过距离匹配的方式,把它映射到与之距离最为接近的基元上。通过这种方式,就可以提取出原始深度图像的视觉词典直方图特征。
如图8所示为本发明中的人脸识别流程示意图,对纹理优化后的三维人脸图像进行视觉直方图特征提取,特征提取之后采用最近邻分类器与注册数据库中的深度人脸模板进行匹配,获得最终的分类结果。具体步骤如下:
步骤一:将三维人脸深度图像分割成一些局部纹理区域;
步骤二:对于每个Gabor滤波响应向量,按照位置的不同将其映射到其对应的视觉分析词典的词汇中,并以此为基础建立视觉词典直方图向量作为三维人脸的特征表达;
步骤三:最近邻分类器被用来作为最后的人脸识别,其中L1距离被选作为距离度量,获得最终的分类结果。
如图9所示为本发明的系统框图,包括各个模块在系统中的位置以及其主要功能。

Claims (10)

1.一种基于三维数据的人脸识别系统,其特征在于,包括:三维人脸点云数据输入计算单元;人脸特定区域检测计算单元;数据配准计算单元;深度人脸数据映射计算单元;深度人脸图像评估计算单元;深度人脸纹理修复计算单元;深度人脸特征提取计算单元;三维人脸识别计算单元。
2.基于权利要求1所述的一种基于三维数据的人脸识别系统,其特征在于,包括如下步骤:
A.三维人脸点云数据的输入;
B.对于三维人脸点云数据中人脸特定区域检测;
C.对于检测到的人脸特定区域进行数据配准;
D.对于配准后的三维人脸点云数据进行深度人脸数据映射;
E.人脸深度数据质量评估计算单元;
F.对于深度人脸数据进行深度人脸纹理修复;
G.人脸深度数的特征提取;
H.对于深度人脸数据进行三维人脸识别。
3.基于权利要求2所述的一种基于三维数据的人脸识别系统,其特征在于,所述的步骤A支持各类三维点云采集设备的数据输入。
4.基于权利要求2所述的一种基于三维数据的人脸识别系统,其特征在于,所述的步骤B,由于三维点云人脸数据中鼻尖区域的数据信息明显区别于人脸的其他位置,因此人脸特征区域采用的是鼻尖区域,鼻尖区域定位包括如下步骤:
步骤一:确定域平均负有效能量密度的阈值,定义为thr;
步骤二:利用数据的深度信息,提取在一定深度范围内的人脸数据作为待处理数据;
步骤三:计算由深度信息选取出的人脸数据的法向量信息;
步骤四:按照区域平均负有效能量密度的定义,求出待处理数据中各连通域的平均负有效能量密度,选择其中密度值最大的连通域;
步骤五:当该区域的阈值大于预定义的thr时,该区域即为鼻尖区域,否则回到步骤一继续。
5.基于权利要求2所述的一种基于三维数据的人脸识别系统,其特征在于,所述的步骤C包括如下步骤:
步骤一:在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据;
步骤二:得到配准的参考区域后,计算3*3的矩阵,公式如下:
H = &Sigma; i = 1 N Q i Q i T
步骤三:计算旋转矩阵R和平移矩阵t,当X行列值为1时,R=X,t=P-R*Q;
步骤四:获取两个三维数据点集之间的三维空间变换矩阵,从而实现两个点集的配准。
6.基于权利要求2所述的一种基于三维数据的人脸识别系统,其特征在于,所述的步骤D,该步骤检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准,其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息;具体计算过程如下:
鼻尖点为N(x,y,z),则空间点P(x1,y1,z1)的图像坐标为:
Ix=(x1-x)+width/2
Iy=(y1-y)+height/2
其中width为深度图像的宽度,height为深度图像的高度;
同时,根据三维点云数据的深度精度预先设定深度分辨率Zref,作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准,公式如下:
I d e p t h = ( z 1 - z ) Z r e f + 255 , z 1 &le; z 255 , z 1 > z
完成将三维点云数据映射为深度人脸图像的数据映射。
7.基于权利要求2所述的一种基于三维数据的人脸识别系统,其特征在于,所述的步骤E,包括深度特征脸的计算和深度图像数据质量评估,包括如下步骤:
深度特征脸的计算步骤如下:
步骤一:将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量,将这些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M,那么拉伸过后的人脸列向量的维度就是D=M*M。若训练集中有N张深度人脸图像,那么样本矩阵A的维度就是D*N;
步骤二:将训练集中的N张深度人脸图像在对应维度上相加然后求平均,就可以得到深度图像的平均脸;将N张深度图像都减去深度平均脸,得到差值图像数据矩阵Φ;
步骤三:对协方差矩阵C=Φ*ΦT进行特征值分解;根据占据所有特征值能量的比率,选择最大的一些特征值,其所对应的特征向量即为深度特征脸;
步骤四:深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算;
深度图像数据质量评估计算过程如下:
该过程分为训练和评估两个阶段:在训练阶段,如图5(a)所示,训练出深度人脸图像的特征脸,以此为基础张成深度人脸图像空间;在评估阶段,对于输入的深度人脸图像,将其映射为深度特征脸空间中的一点,得到利用深度特征脸表征的近似深度人脸图像;
I a p r = &Sigma; i w i * I e i g e n
然后将近似图像与原始图像进行对比,如果差值大于某个阈值,则说明该深度图像不符合这些深度特征脸代表的类型,评估不通过;否则则认为该图像符合这些深度特征脸代表的类型,评估通过;
E = 0 , a b s ( I a p r - I o r i ) > T h r 1 , a b s ( I a p r - I o r i ) < = T h r .
8.基于权利要求2所述的一种基于三维数据的人脸识别系统,其特征在于,所述的步骤F,包括如下步骤:
步骤一:对于深度图像中的噪点进行检测计算单元,噪点类型主要包括数据空洞以及数据的凸起,在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。
步骤二:进行深度数据去噪本发明中采用邻域深度有效值滤波,对上述深度人脸图像中的噪音进行过滤,该滤波表达式可以描述为:
I ( x , y ) = &Sigma; m = - w i n , n = - w i n m = w i n , n = w i n I ( x - m , y - n ) * w ( x - m , y - n )
其中当I(x-m,y-n)为深度图像有效点时,值为当I(x-m,y-n)为深度图像无效点时,值为0;
步骤三:在对奇异点进行初步的低通滤波之后,继续利用边缘保持滤波对于深度图像进行进一步的纹理修复,本发明中边缘保持滤波器采用双边滤波(不限于)。双边滤波器是由两个函数构成,一个函数是通过几何空间距离决定滤波器系数,另一个函数则是由像素差值决定滤波器系数。在双边滤波器中,输出像素的值依赖于邻域像素的值的加权组合:
g ( i , j ) = &Sigma; k , l f ( k , l ) w ( i , j , k , l ) &Sigma; k , l w ( i , j , k , l )
其中,由几何空间距离决定的滤波器系数,其公式为:
d ( i , j , k , l ) = exp ( - ( i - k ) 2 + ( j - l ) 2 2 &sigma; d 2 )
由像素差值决定的滤波器系数,其公式为:
r ( i , j , k , l ) = exp ( - | | f ( i , j ) - f ( k , l ) | | 2 2 &sigma; r 2 )
则权重系数则为空间域系数以及值域系数的乘积:
w ( i , j , k , l ) = exp ( - ( i - k ) 2 + ( j - l ) 2 2 &sigma; d 2 - | | f ( i , j ) - f ( k , l ) | | 2 2 &sigma; r 2 ) .
9.基于权利要求2所述的一种基于三维数据的人脸识别系统,其特征在于,所述的步骤G,分为视觉词汇训练阶段和视觉字典直方图特征提取阶段,包括如下步骤:
在视觉词汇训练阶段,对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor滤波器滤波,通过这种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量;将这些向量按照其所在图像的空间位置进行分组,并对每组向量集合进行K均值聚类,得到的聚类中心为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇(视觉分词典);将每组的视觉向量连接起来,就构成了深度人脸图像的视觉词典;
在视觉词典直方图特征提取阶段,当测试人脸图像输入后,经过Gabor滤波后,将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较,通过距离匹配的方式,把它映射到与之距离最为接近的基元上;通过这种方式提取出原始深度图像的视觉词典直方图特征。
10.基于权利要求2所述的一种基于三维数据的人脸识别系统,其特征在于,所述的步骤H,包括如下步骤:
步骤一:将三维人脸深度图像分割成一些局部纹理区域;
步骤二:对于每个Gabor滤波响应向量,按照位置的不同将其映射到其对应的视觉分析词典的词汇中,并以此为基础建立视觉词典直方图向量作为三维人脸的特征表达;
步骤三:最近邻分类器被用来作为最后的人脸识别,其中L1距离被选作为距离度量,获得最终的分类结果。
CN201610472527.3A 2016-06-24 2016-06-24 一种基于三维数据的人脸识别系统 Active CN105956582B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610472527.3A CN105956582B (zh) 2016-06-24 2016-06-24 一种基于三维数据的人脸识别系统
PCT/CN2016/089294 WO2017219391A1 (zh) 2016-06-24 2016-07-08 一种基于三维数据的人脸识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610472527.3A CN105956582B (zh) 2016-06-24 2016-06-24 一种基于三维数据的人脸识别系统

Publications (2)

Publication Number Publication Date
CN105956582A true CN105956582A (zh) 2016-09-21
CN105956582B CN105956582B (zh) 2019-07-30

Family

ID=56903917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610472527.3A Active CN105956582B (zh) 2016-06-24 2016-06-24 一种基于三维数据的人脸识别系统

Country Status (2)

Country Link
CN (1) CN105956582B (zh)
WO (1) WO2017219391A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748869A (zh) * 2017-10-26 2018-03-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN108564041A (zh) * 2018-04-17 2018-09-21 广州云从信息科技有限公司 一种基于rgbd相机的人脸检测和修复方法
CN109871818A (zh) * 2019-02-27 2019-06-11 东南大学 基于法向量分布直方图和协方差描述子的人脸识别方法
CN110544233A (zh) * 2019-07-30 2019-12-06 北京的卢深视科技有限公司 基于人脸识别应用的深度图像质量评价方法
CN110675413A (zh) * 2019-09-27 2020-01-10 腾讯科技(深圳)有限公司 三维人脸模型构建方法、装置、计算机设备及存储介质
CN112069995A (zh) * 2020-09-04 2020-12-11 西安西图之光智能科技有限公司 一种深度域人脸稠密特征提取方法、系统和存储介质
WO2021051539A1 (zh) * 2019-09-18 2021-03-25 平安科技(深圳)有限公司 一种人脸识别的方法、装置及终端设备
CN113538315A (zh) * 2021-08-20 2021-10-22 支付宝(杭州)信息技术有限公司 图像处理方法及装置
CN116631022A (zh) * 2023-04-11 2023-08-22 广东德融汇科技有限公司 一种人脸精准识别方法、装置、设备以及存储介质

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492513B (zh) * 2018-05-24 2023-04-07 曜科智能科技(上海)有限公司 光场监控的人脸空间去重方法
CN108846321B (zh) * 2018-05-25 2022-05-03 北京小米移动软件有限公司 识别人脸假体的方法及装置、电子设备
CN109003327B (zh) * 2018-06-29 2022-09-30 平安科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质
CN109087395B (zh) * 2018-07-18 2023-03-28 西安多维机器视觉检测技术有限公司 一种三维重建的方法及系统
CN109215118B (zh) * 2018-09-18 2022-11-29 东北大学 一种基于图像序列的增量式运动结构恢复优化方法
CN109376518A (zh) * 2018-10-18 2019-02-22 深圳壹账通智能科技有限公司 基于人脸识别的防止隐私泄露方法及相关设备
CN111382634B (zh) * 2018-12-29 2023-09-26 河南中原大数据研究院有限公司 一种基于深度视频流的三维人脸识别方法
CN111523358A (zh) * 2019-02-02 2020-08-11 顾泽苍 一种图像信息深度抽出的方法
CN111709998B (zh) * 2019-03-18 2024-06-25 长春工业大学 一种tof相机深度数据测量误差校正的elm空间配准模型方法
CN110458002B (zh) * 2019-06-28 2023-06-23 天津大学 一种轻量级快速人脸识别方法
CN110378270B (zh) * 2019-07-11 2023-03-24 易诚高科(大连)科技有限公司 一种基于质量维度评估参量的人脸识别设备筛选方法
CN110399814B (zh) * 2019-07-12 2023-03-24 武汉科技大学 一种基于局部线性表示领域适应度量的人脸识别方法
CN110458041B (zh) * 2019-07-19 2023-04-14 国网安徽省电力有限公司建设分公司 一种基于rgb-d相机的人脸识别方法及系统
CN110472537B (zh) * 2019-07-31 2024-01-16 腾讯科技(深圳)有限公司 一种自适应识别方法、装置、设备及介质
CN110705432B (zh) * 2019-09-26 2022-10-25 长安大学 一种基于彩色和深度摄像头的行人检测装置及方法
CN110796022B (zh) * 2019-10-09 2023-07-21 奥园智慧生活服务(广州)集团有限公司 一种基于多流形耦合映射的低分辨人脸识别方法
CN113034419B (zh) * 2019-12-05 2022-09-09 上海交通大学 面向机器视觉任务的雷达点云客观质量评价方法及装置
CN111862205B (zh) * 2019-12-18 2024-06-21 北京嘀嘀无限科技发展有限公司 一种视觉定位方法、装置、设备及存储介质
CN111126246B (zh) * 2019-12-20 2023-04-07 陕西西图数联科技有限公司 基于3d点云几何特征的人脸活体检测方法
CN111079700B (zh) * 2019-12-30 2023-04-07 陕西西图数联科技有限公司 一种基于多种数据类型融合的三维人脸识别方法
CN111160278B (zh) * 2019-12-31 2023-04-07 陕西西图数联科技有限公司 基于单个图像传感器的人脸纹理结构数据采集方法
CN111209839B (zh) * 2019-12-31 2023-05-23 上海涛润医疗科技有限公司 人脸识别方法
CN111325828B (zh) * 2020-01-21 2024-03-22 中国电子科技集团公司第五十二研究所 一种基于三目相机的三维人脸采集方法及装置
CN111462108B (zh) * 2020-04-13 2023-05-02 山西新华防化装备研究院有限公司 一种基于机器学习的头面部产品设计工效学评估操作方法
CN111739031B (zh) * 2020-06-19 2023-09-26 华南农业大学 一种基于深度信息的作物冠层分割方法
CN112001926B (zh) * 2020-07-04 2024-04-09 西安电子科技大学 基于多维语义映射rgbd多相机标定方法、系统及应用
CN111860454B (zh) * 2020-08-04 2024-02-09 北京深醒科技有限公司 一种基于人脸识别的模型切换算法
CN112102496B (zh) * 2020-09-27 2024-03-26 安徽省农业科学院畜牧兽医研究所 牛体格测量方法、模型训练方法和系统
CN112364711B (zh) * 2020-10-20 2023-04-07 盛视科技股份有限公司 3d人脸识别方法、装置及系统
CN112288859B (zh) * 2020-10-30 2024-05-24 合肥安达创展科技股份有限公司 一种基于卷积神经网络的三维人脸建模方法
CN112364759B (zh) * 2020-11-10 2022-07-01 易显智能科技有限责任公司 一种驾驶员身份生物识别的方法及相关装置
CN112613407B (zh) * 2020-12-23 2024-08-13 杭州趣链科技有限公司 基于联邦学习的人脸活体检测训练优化方法、装置及设备
CN112927204B (zh) * 2021-02-25 2022-09-20 同济大学 一种基于关键渗水点识别的路面渗水性能评估方法
CN113487663B (zh) * 2021-06-07 2024-03-22 东南大学 一种基于激光三维数据的路面构造深度计算方法
CN114283139B (zh) * 2021-12-27 2024-08-20 常熟理工学院 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置
CN114882086A (zh) * 2022-05-26 2022-08-09 南京工业大学 基于切片最优传输的点云精准配准方法
CN118038515B (zh) * 2023-12-28 2024-08-02 南京泛泰数字科技研究院有限公司 一种人脸识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996052A (zh) * 2014-05-12 2014-08-20 深圳市唯特视科技有限公司 基于三维点云的三维人脸性别分类装置及方法
CN104143080A (zh) * 2014-05-21 2014-11-12 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置及方法
CN104298995A (zh) * 2014-05-06 2015-01-21 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置及方法
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN104537353A (zh) * 2015-01-07 2015-04-22 深圳市唯特视科技有限公司 基于三维点云的三维人脸年龄分类装置及方法
CN104573722A (zh) * 2015-01-07 2015-04-29 深圳市唯特视科技有限公司 基于三维点云的三维人脸种族分类装置和方法
CN104778441A (zh) * 2015-01-07 2015-07-15 深圳市唯特视科技有限公司 融合灰度信息和深度信息的多模态人脸识别装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917914B2 (en) * 2011-04-05 2014-12-23 Alcorn State University Face recognition system and method using face pattern words and face pattern bytes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298995A (zh) * 2014-05-06 2015-01-21 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置及方法
CN103996052A (zh) * 2014-05-12 2014-08-20 深圳市唯特视科技有限公司 基于三维点云的三维人脸性别分类装置及方法
CN104143080A (zh) * 2014-05-21 2014-11-12 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置及方法
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN104537353A (zh) * 2015-01-07 2015-04-22 深圳市唯特视科技有限公司 基于三维点云的三维人脸年龄分类装置及方法
CN104573722A (zh) * 2015-01-07 2015-04-29 深圳市唯特视科技有限公司 基于三维点云的三维人脸种族分类装置和方法
CN104778441A (zh) * 2015-01-07 2015-07-15 深圳市唯特视科技有限公司 融合灰度信息和深度信息的多模态人脸识别装置及方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11238270B2 (en) 2017-10-26 2022-02-01 Orbbec Inc. 3D face identity authentication method and apparatus
CN107748869A (zh) * 2017-10-26 2018-03-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN108564041A (zh) * 2018-04-17 2018-09-21 广州云从信息科技有限公司 一种基于rgbd相机的人脸检测和修复方法
CN108564041B (zh) * 2018-04-17 2020-07-24 云从科技集团股份有限公司 一种基于rgbd相机的人脸检测和修复方法
CN109871818A (zh) * 2019-02-27 2019-06-11 东南大学 基于法向量分布直方图和协方差描述子的人脸识别方法
CN110544233A (zh) * 2019-07-30 2019-12-06 北京的卢深视科技有限公司 基于人脸识别应用的深度图像质量评价方法
WO2021051539A1 (zh) * 2019-09-18 2021-03-25 平安科技(深圳)有限公司 一种人脸识别的方法、装置及终端设备
CN110675413B (zh) * 2019-09-27 2020-11-13 腾讯科技(深圳)有限公司 三维人脸模型构建方法、装置、计算机设备及存储介质
CN110675413A (zh) * 2019-09-27 2020-01-10 腾讯科技(深圳)有限公司 三维人脸模型构建方法、装置、计算机设备及存储介质
CN112069995A (zh) * 2020-09-04 2020-12-11 西安西图之光智能科技有限公司 一种深度域人脸稠密特征提取方法、系统和存储介质
CN112069995B (zh) * 2020-09-04 2024-02-27 西安西图之光智能科技有限公司 一种深度域人脸稠密特征提取方法、系统和存储介质
CN113538315A (zh) * 2021-08-20 2021-10-22 支付宝(杭州)信息技术有限公司 图像处理方法及装置
CN113538315B (zh) * 2021-08-20 2024-02-02 支付宝(杭州)信息技术有限公司 图像处理方法及装置
CN116631022A (zh) * 2023-04-11 2023-08-22 广东德融汇科技有限公司 一种人脸精准识别方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN105956582B (zh) 2019-07-30
WO2017219391A1 (zh) 2017-12-28

Similar Documents

Publication Publication Date Title
CN105956582A (zh) 一种基于三维数据的人脸识别系统
CN105894047A (zh) 一种基于三维数据的人脸分类系统
CN101398886B (zh) 一种基于双目被动立体视觉的快速三维人脸识别方法
CN104680144B (zh) 基于投影极速学习机的唇语识别方法和装置
CN104143080B (zh) 基于三维点云的三维人脸识别装置及方法
CN104598878A (zh) 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN104298995B (zh) 基于三维点云的三维人脸识别装置及方法
CN107767387B (zh) 基于可变感受野尺度全局调制的轮廓检测方法
CN104504410A (zh) 基于三维点云的三维人脸识别装置和方法
CN101908149A (zh) 一种从人脸图像序列中识别脸部表情的方法
CN110532850B (zh) 一种基于视频关节点和混合分类器的跌倒检测方法
CN106991417A (zh) 一种基于模式识别的视觉投影交互系统及交互方法
CN105046197A (zh) 基于聚类的多模板行人检测方法
CN104850838A (zh) 基于表情不变区域的三维人脸识别方法
CN102938065A (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN104778441A (zh) 融合灰度信息和深度信息的多模态人脸识别装置及方法
CN107862267A (zh) 基于完全对称局部韦伯描述子的人脸识别特征提取算法
CN102855468A (zh) 一种相片识别中的单样本人脸识别方法
CN105740781A (zh) 一种三维人脸活体检测的方法和装置
CN103279745A (zh) 一种基于半脸多特征融合的人脸识别方法
CN104537353A (zh) 基于三维点云的三维人脸年龄分类装置及方法
CN104573722A (zh) 基于三维点云的三维人脸种族分类装置和方法
CN107292299A (zh) 基于内核规范相关分析的侧面人脸识别方法
CN105279522A (zh) 一种基于sift的场景物体实时配准方法
CN111274944A (zh) 一种基于单张图像的三维人脸重建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant