CN108615016A - 人脸关键点检测方法和人脸关键点检测装置 - Google Patents
人脸关键点检测方法和人脸关键点检测装置 Download PDFInfo
- Publication number
- CN108615016A CN108615016A CN201810398555.4A CN201810398555A CN108615016A CN 108615016 A CN108615016 A CN 108615016A CN 201810398555 A CN201810398555 A CN 201810398555A CN 108615016 A CN108615016 A CN 108615016A
- Authority
- CN
- China
- Prior art keywords
- face
- point
- point cloud
- dimensional face
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000012937 correction Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 17
- 230000014509 gene expression Effects 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000001331 nose Anatomy 0.000 description 6
- 210000000887 face Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000000492 nasalseptum Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸关键点检测方法和装置。包括获取当前用户的人体深度图像并提取人体深度图像中的人脸深度图像;根据人脸深度图像,生成初始三维人脸点云并对其进行预处理,消除初始三维人脸点云中的噪点和/或空洞,并进行归一化处理,以获得中间三维人脸点云并根据其检测人脸鼻尖点;根据人脸鼻尖点,将中间三维人脸点云进行姿态矫正,以获得目标三维人脸点云;根据预设的巴塞尔人脸模型与目标三维人脸点云,建立优化模型,并根据优化模型生成拟合三维人脸图像;根据拟合三维人脸图像,确定人脸关键点。本发明的检测方法可以提高精确度,能够得到精准的人脸关键点的位置。
Description
技术领域
本发明涉及人脸检测技术领域,特别涉及一种人脸关键点检测方法和一种人脸关键点检测装置。
背景技术
近年来,生物识别技术的出现,能够有效的保障人们的财产安全、人身安全、隐私安全以及社会秩序的稳定,生物识别包括声音识别、手掌识别、指纹识别、人脸识别等,而其中的人脸识别技术是生物识别的一个较新的研究方向,和其它的识别技术相比较,人脸识别有着非接触性、非强制性和并行性的优点,已经广泛应用在银行、企业、安防、手机、电子商务等领域。
目前,人脸识别方面比较成熟的是二维人脸识别,在特定条件下能够满足人们的需求,但是,实际的外界环境时刻在变化,人脸本身也丰富多样,二维人脸识别往往受到光照、姿态和表情的影响,这些因素都可能导致识别失败或者错误识别。
为了克服上面的问题,近几年好多人开始研究三维人脸识别,三维人脸比二维人脸有着更加丰富的信息,即增加了深度信息,如果能够在这些信息中提取到一些表征人脸的唯一特征,有望打破二维人脸识别的瓶颈。考虑到识别速度,直接用整个三维人脸去做匹配不太现实,而在人脸上找到一些能够表征人脸整体和局部特征的关键点,利用关键点构造一些人脸的唯一特征,能够有效的提高人脸识别的效率,因此,关键点检测是人脸识别过程中重要的一步,检测关键点的个数影响识别的速度,检测关键点的精度影响人脸识别的识别率。
目前已有一些三维人脸关键点检测方法,例如,相关技术中通过判断人脸上每一点的凹凸性,从而得到鼻尖点,利用鼻尖点构造出一些人脸特征来匹配识别,这种方法只用到一个关键点,提取的特征不够丰富,只能区分几十张人脸,在大数据情况下并不实用。再例如,还有的相关技术中,将SI和一些曲率特征相结合,检测到人脸上14个关键点(左内外眼角、鼻跟点、右内外眼角、鼻根点、左鼻翼,右鼻翼,鼻隔点,左右嘴唇,上下嘴唇,颏前点),这种检测方法在噪声、缺失影响下,误差比较大,会直接影响人脸识别的识别率。此外,还有的相关技术中,利用一些手工标记关键点的训练集,得到每个关键点周围的一些平均特征,利用这些平均特征在输入人脸上寻找对应的关键点,因为这些平均特征没有唯一表征性,往往会导致关键点检测较大偏差,甚至完全不对应,更不利于之后的人脸识别。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一,提出了一种人脸关键点检测方法和一种人脸关键点检测装置。
为了实现上述目的,本发明的第一方面,提供了一种人脸关键点检测方法,包括:
步骤S110、获取当前用户的人体深度图像,其中,所述人体深度图像包括人脸深度图像、身体深度图像和背景深度图像;
步骤S120、提取所述人体深度图像中的人脸深度图像;
步骤S130、根据所述人脸深度图像,生成初始三维人脸点云;
步骤S140、对所述初始三维人脸点云进行预处理,消除所述初始三维人脸点云中的噪点和/或空洞,并进行归一化处理,以获得中间三维人脸点云;
步骤S150、根据所述中间三维人脸点云,检测人脸鼻尖点;
步骤S160、根据所述人脸鼻尖点,将所述中间三维人脸点云进行姿态矫正,以获得目标三维人脸点云;
步骤S170、根据预设的巴塞尔人脸模型与所述目标三维人脸点云,建立优化模型,并根据所述优化模型生成拟合三维人脸图像;
步骤S180、根据所述拟合三维人脸图像,确定人脸关键点。
可选地,所述人体深度图像包括m×n个像素,其中,m表示像素列数,n表示像素行数,且m和n均为大于或等于1的正整数;
所述步骤S120包括:
设定深度阈值;
将所述人体深度图像中的深度值大于所述深度阈值的深度值设置为0,以去除所述背景深度图像;
分别判断每一行像素中像素值不为0的个数,并记录为c1,c2,…,cn;
判断c1,c2,…,cn中像素值不为0的个数的最小值,并提取最小值所在的行数,生成目标行;
根据所述人体深度图像,将所述目标行以下的深度值设置为0,以去除所述身体深度图像,获得所述人脸深度图像。
可选地,所述步骤S130包括:
根据下述关系式,根据所述人脸深度图像,生成初始三维人脸点云:
pz=double(I(i,j))/camera.scale;
px=(j-camera.cx)*pz/camera.fx;
py=(i-camera.cy)*pz/camera.fy;
其中,(I(i,j)为所述人脸深度图像中各像素点的深度值,px为点云x坐标,py为点云y坐标,pz为点云z坐标,double命令是为了转换I(i,j)的类型,i为人脸深度图像的行数,j为人脸深度图像的列数,camera.fx、camera.fy为摄像头焦距,camera.cx、camera.cy为摄像头主点,camera.scale为摄像头平移参数。
可选地,所述初始三维人脸点云的初始点集为{p1,p2,…,pn},所述初始点集的质心为p0;
所述步骤S140包括:
采用高斯平滑滤波去除所述初始三维人脸点云中的噪点;
采用双三次插值的方法填补所述初始三维人脸点云中的空洞;
将所述初始点集平移到原点,以得到平移之后的目标点集{p1-p0,p2-p0,…,pn-p0};
根据所述目标点集和下述关系式,计算所述初始三维人脸点云的大小:
根据所述目标点集和下述关系式,获得中间三维人脸点云S0:
可选地,所述步骤S150包括:
根据贪婪投影网格化方法,对所述S0进行网格化,得到面片信息;其中,对于S0上任意一点si,设与si相关的面有f1,f2,…,fm,计算每个面的法向量,然后对所有的法向量求平均并单位化,将此单位向量作为si的法向量;
将所述中间三维人脸点云上包含在以si为中心,以预设的r为半径的点作为si的邻域点,计算该邻域点的质心,记为mi,并连接mi和si,以构成向量
计算在si的法向量上的投影大小di;
根据所述di确定人脸鼻尖点。
可选地,所述根据所述di确定人脸鼻尖点的步骤包括:
计算所述中间三维人脸点云上所有点的d值,构成标量集{d1,d2,…,dn},并提取所述标量集中大于0所对应的点形成第一次筛选结果集合;
根据所述第一次筛选结果集合,取到原点的距离在预设的阈值T以内的点,形成第二次筛选结果集合;
根据所述第二次筛选结果集合,取d值最大的点作为最终的鼻尖点。
可选地,所述步骤S160包括:
对所述鼻尖点的邻域点进行主成分分析,以得到三个相互垂直的方向;
利用三个相互垂直的方向计算旋转矩阵,完成姿态矫正,获得目标三维人脸点云。
可选地,在所述步骤S170中:
所述巴塞尔人脸模型满足下述关系式:
所述优化模型满足:
其中,F为巴塞尔人脸模型,为平均人脸,为身份系数,为表情系数,sinput为所述目标三维人脸点云,ICP{F,Sinput}为计算F和Sinput的最小匹配误差,argmin{ICP{F,Sinput}}为求F和Sinput的最小匹配误差最小的时候与的取值;
根据所述优化模型,拟合三维人脸图像。
可选地,所述步骤S180包括:
预先标定所述巴塞尔人脸模型F中的人脸68个关键点;
分别确定拟合的所述三维人脸图像中距离所述巴塞尔人脸模型F中的68个关键点的最近点,生成最近点集合,所述最近点集合形成所述人脸关键点。
本发明的第二方面,提供了一种人脸关键点检测装置,包括:
获取模块,用于获取当前用户的人体深度图像,其中,所述人体深度图像包括人脸深度图像、身体深度图像和背景深度图像;
提取模块,用于提取所述人体深度图像中的人脸深度图像;
生成模块,用于根据所述人脸深度图像,生成初始三维人脸点云;
预处理模块,用于对所述初始三维人脸点云进行预处理,消除所述初始三维人脸点云中的噪点和/或空洞,并进行归一化处理,以获得中间三维人脸点云;
检测模块,用于根据所述中间三维人脸点云,检测人脸鼻尖点;
姿态矫正模块,用于根据所述人脸鼻尖点,将所述中间三维人脸点云进行姿态矫正,以获得目标三维人脸点云;
优化模块,用于根据预设的巴塞尔人脸模型与所述目标三维人脸点云,建立优化模型,并根据所述优化模型生成拟合三维人脸图像;
确定模块,用于根据所述拟合三维人脸图像,确定人脸关键点。
本发明的人脸关键点检测方法和装置。在初始三维人脸点云被预处理后,根据获得的所述中间三维人脸点云,得到点周围的凹凸性,并通过筛选最终得到人脸鼻尖点位置,可以提高精确度。此外,通过所建立的优化模型,拟合出最优的三维人脸,进一步能够得到精准的人脸关键点的位置。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在附图中:
图1为本发明一实施例中人脸关键点检测方法的流程图;
图2为本发明一实施例中获取的人脸深度图像;
图3为对图2中所示的人脸深度图像生成的初始三维人脸点云;
图4为本发明一实施例中第一次筛选结果的示意图;
图5为本发明一实施例中第二次筛选结果的示意图;
图6为本发明一实施例中第三次筛选结果的示意图;
图7为本发明一实施例中姿态矫正前的姿态示意图;
图8为图7中进行姿态矫正后的示意图;
图9为本发明一实施例中人脸关键点检测装置的结构示意图。
附图标记说明
100:人脸关键点检测装置;
110:获取模块;
120:提取模块;
130:生成模块;
140:预处理模块;
150:检测模块;
160:姿态矫正模块;
170:优化模块;
180:确定模块。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
如图1所示,本发明的第一方面,涉及一种人脸关键点检测方法S100,包括:
S110、获取当前用户的人体深度图像,其中,所述人体深度图像包括人脸深度图像、身体深度图像和背景深度图像。
S120、提取所述人体深度图像中的人脸深度图像。
S130、根据所述人脸深度图像,生成初始三维人脸点云。
S140、对所述初始三维人脸点云进行预处理,消除所述初始三维人脸点云中的噪点和/或空洞,并进行归一化处理,以获得中间三维人脸点云。
S150、根据所述中间三维人脸点云,检测人脸鼻尖点。
S160、根据所述人脸鼻尖点,将所述中间三维人脸点云进行姿态矫正,以获得目标三维人脸点云。
S170、根据预设的巴塞尔人脸模型与所述目标三维人脸点云,建立优化模型,并根据所述优化模型生成拟合三维人脸图像。
S180、根据所述拟合三维人脸图像,确定人脸关键点。
本实施例中的人脸关键点检测方法S100,在初始三维人脸点云被预处理后,根据获得的所述中间三维人脸点云,得到点周围的凹凸性,并通过筛选最终得到人脸鼻尖点位置,可以提高精确度。此外,通过所建立的优化模型,拟合出最优的三维人脸,进一步能够得到精准的人脸关键点的位置。
可选地,所述人体深度图像包括m×n个像素,其中,m表示像素列数,n表示像素行数,且m和n均为大于或等于1的正整数;
所述步骤S120包括:
设定深度阈值;
将所述人体深度图像中的深度值大于所述深度阈值的深度值设置为0,以去除所述背景深度图像;
分别判断每一行像素中像素值不为0的个数,并记录为c1,c2,…,cn;
判断c1,c2,…,cn中像素值不为0的个数的最小值,并提取最小值所在的行数,生成目标行;
根据所述人体深度图像,将所述目标行以下的深度值设置为0,以去除所述身体深度图像,获得所述人脸深度图像。
本实施例中的人脸关键点检测方法S100,对所述人体深度图像中的背景深度图像以及身体深度图像进行去除,这是因为,背景深度图像以及身体深度图像对于后续的人脸关键点检测为干扰信息,因此,在关键点检测之前,需要将背景深度图像以及身体深度图像去除,从而得到仅仅包括人脸的人脸深度图像,因此,能够进一步得到精准的人脸关键点的位置。
可选地,所述步骤S130包括:
根据下述关系式,根据所述人脸深度图像(如图2所示),生成初始三维人脸点云(如图3所示):
pz=double(I(i,j))/camera.scale;
px=(j-camera.cx)*pz/camera.fx;
py=(i-camera.cy)*pz/camera.fy;
其中,其中,(I(i,j)为所述人脸深度图像中各像素点的深度值,px为点云x坐标,py为点云y坐标,pz为点云z坐标,double命令是为了转换I(i,j)的类型,i为人脸深度图像的行数,j为人脸深度图像的列数,camera.fx、camera.fy为摄像头焦距,camera.cx、camera.cy为摄像头主点,camera.scale为摄像头平移参数。
需要说明的是,上述所提及的摄像头的相关参数,例如摄像头焦距,摄像头主点,摄像头平移参数中,所提及的摄像头,为获取当前用户的人体深度图像的摄像机。
可选地,所述初始三维人脸点云的初始点集为{p1,p2,…,pn},所述初始点集的质心为p0;
所述步骤S140包括:
采用高斯平滑滤波去除所述初始三维人脸点云中的噪点;
采用双三次插值的方法填补所述初始三维人脸点云中的空洞;
将所述初始点集平移到原点,以得到平移之后的目标点集{p1-p0,p2-p0,…,pn-p0};
根据所述目标点集和下述关系式,计算所述初始三维人脸点云的大小:
根据所述目标点集和下述关系式,获得中间三维人脸点云S0:
可选地,所述步骤S150包括:
根据贪婪投影网格化方法,对所述S0(其为预处理阶段得到的点云人脸)进行网格化,得到面片信息;其中,对于S0上任意一点si,设与si相关的面有f1,f2,…,fm(面的个数跟点密度有关系),计算每个面的法向量,然后对所有的法向量求平均并单位化,将此单位向量作为si的法向量;
将所述中间三维人脸点云上包含在以si为中心,以预设的r为半径的点作为si的邻域点,计算该邻域点的质心,记为mi,并连接mi和si,以构成向量
计算在si的法向量上的投影大小di,作为si的一个特征,di的值越大,si的邻域点所在的曲面越凸,而一般情况下,人脸的鼻尖点所在的邻域曲面属于脸上最凸的部分,所以,可以根据所述di确定人脸鼻尖点。
可选地,为了更加精确的定位鼻尖点,通过三次筛选得到最终的鼻尖点位置:
计算所述中间三维人脸点云上所有点的d值,构成标量集{d1,d2,…,dn},并提取所述标量集中大于0所对应的点形成第一次筛选结果集合,如图4所示;
根据所述第一次筛选结果集合,取到原点的距离在预设的阈值T以内的点,形成第二次筛选结果集合,如图5所示;
根据所述第二次筛选结果集合,取d值最大的点作为最终的鼻尖点,如图6所示。
可选地,所述步骤S160包括:
对所述鼻尖点的邻域点进行主成分分析,以得到三个相互垂直的方向;
利用三个相互垂直的方向计算旋转矩阵,完成姿态矫正,获得目标三维人脸点云,如图7和图8所示。
可选地,在所述步骤S170中:
所述巴塞尔人脸模型满足下述关系式:
所述优化模型满足:
其中,F为巴塞尔人脸模型,为平均人脸,为身份系数,为表情系数,sinput为所述目标三维人脸点云,ICP{F,Sinput}为计算F和Sinput的最小匹配误差,argmin{ICP{F,Sinput}}为求F和Sinput的最小匹配误差最小的时候与的取值;
根据所述优化模型,拟合三维人脸图像。
可选地,所述步骤S180包括:
预先标定所述巴塞尔人脸模型F中的人脸68个关键点;
分别确定拟合的所述三维人脸图像中距离所述巴塞尔人脸模型F中的68个关键点的最近点,生成最近点集合,所述最近点集合形成所述人脸关键点。
本发明的人脸关键点检测方法,首先,在鼻尖点检测部分通过计算点云人脸上每一点的d值,得到点周围的凹凸性,并通过三次筛选得到鼻尖点位置,和已有的方法相比较,精确度大大提高。其次,本发明结合巴塞尔人脸模型,可以检测到点云人脸上68个关键点,也就是说能够提取到更丰富的信息,对人脸的表征性更强。此外,本发明构造的优化模型,通过不断的迭代减小拟合误差,理论上有着更高的精确度。最后,对于输入的任意姿态和表情的人脸图像,本发明是拟合出它的对应三维人脸,然后在输入人脸上找距离三维人脸上68个关键点最近的点作为检测到的关键点,具有一定的抗姿态和抗表情特性。
本发明的第二方面,如图9所示,提供了一种人脸关键点检测装置100,包括:
获取模块110,用于获取当前用户的人体深度图像,其中,所述人体深度图像包括人脸深度图像、身体深度图像和背景深度图像;
提取模块120,用于提取所述人体深度图像中的人脸深度图像;
生成模块130,用于根据所述人脸深度图像,生成初始三维人脸点云;
预处理模块140,用于对所述初始三维人脸点云进行预处理,消除所述初始三维人脸点云中的噪点和/或空洞,并进行归一化处理,以获得中间三维人脸点云;
检测模块150,用于根据所述中间三维人脸点云,检测人脸鼻尖点;
姿态矫正模块160,用于根据所述人脸鼻尖点,将所述中间三维人脸点云进行姿态矫正,以获得目标三维人脸点云;
优化模块170,用于根据预设的巴塞尔人脸模型与所述目标三维人脸点云,建立优化模型,并根据所述优化模型生成拟合三维人脸图像;
确定模块180,用于根据所述拟合三维人脸图像,确定人脸关键点。
本实施例中的人脸关键点检测装置100,在初始三维人脸点云被预处理后,根据获得的所述中间三维人脸点云,得到点周围的凹凸性,并通过筛选最终得到人脸鼻尖点位置,可以提高精确度。此外,通过所建立的优化模型,拟合出最优的三维人脸,进一步能够得到精准的人脸关键点的位置。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。
Claims (10)
1.一种人脸关键点检测方法,其特征在于,包括:
步骤S110、获取当前用户的人体深度图像,其中,所述人体深度图像包括人脸深度图像、身体深度图像和背景深度图像;
步骤S120、提取所述人体深度图像中的人脸深度图像;
步骤S130、根据所述人脸深度图像,生成初始三维人脸点云;
步骤S140、对所述初始三维人脸点云进行预处理,消除所述初始三维人脸点云中的噪点和/或空洞,并进行归一化处理,以获得中间三维人脸点云;
步骤S150、根据所述中间三维人脸点云,检测人脸鼻尖点;
步骤S160、根据所述人脸鼻尖点,将所述中间三维人脸点云进行姿态矫正,以获得目标三维人脸点云;
步骤S170、根据预设的巴塞尔人脸模型与所述目标三维人脸点云,建立优化模型,并根据所述优化模型生成拟合三维人脸图像;
步骤S180、根据所述拟合三维人脸图像,确定人脸关键点。
2.根据权利要求1所述的人脸关键点检测方法,其特征在于,所述人体深度图像包括m×n个像素,其中,m表示像素列数,n表示像素行数,且m和n均为大于或等于1的正整数;
所述步骤S120包括:
设定深度阈值;
将所述人体深度图像中的深度值大于所述深度阈值的深度值设置为0,以去除所述背景深度图像;
分别判断每一行像素中像素值不为0的个数,并记录为c1,c2,…,cn;
判断c1,c2,…,cn中像素值不为0的个数的最小值,并提取最小值所在的行数,生成目标行;
根据所述人体深度图像,将所述目标行以下的深度值设置为0,以去除所述身体深度图像,获得所述人脸深度图像。
3.根据权利要求2所述的人脸关键点检测方法,其特征在于,所述步骤S130包括:
根据下述关系式,根据所述人脸深度图像,生成初始三维人脸点云:
pz=double(I(i,j))/camera.scale;
px=(j-camera.cx)*pz/camera.fx;
py=(i-camera.cy)*pz/camera.fy;
其中,(I(i,j)为所述人脸深度图像中各像素点的深度值,px为点云x坐标,py为点云y坐标,pz为点云z坐标,double命令是为了转换I(i,j)的类型,i为人脸深度图像的行数,j为人脸深度图像的列数,camera.fx、camera.fy为摄像头焦距,camera.cx、camera.cy为摄像头主点,camera.scale为摄像头平移参数。
4.根据权利要求1至3中任意一项所述的人脸关键点检测方法,其特征在于,所述初始三维人脸点云的初始点集为{p1,p2,…,pn},所述初始点集的质心为p0;
所述步骤S140包括:
采用高斯平滑滤波去除所述初始三维人脸点云中的噪点;
采用双三次插值的方法填补所述初始三维人脸点云中的空洞;
将所述初始点集平移到原点,以得到平移之后的目标点集{p1-p0,p2-p0,…,pn-p0};
根据所述目标点集和下述关系式,计算所述初始三维人脸点云的大小:
根据所述目标点集和下述关系式,获得中间三维人脸点云S0:
5.根据权利要求4所述的人脸关键点检测方法,其特征在于,所述步骤S150包括:
根据贪婪投影网格化方法,对所述S0进行网格化,得到面片信息;其中,对于S0上任意一点si,设与si相关的面有f1,f2,…,fm,计算每个面的法向量,然后对所有的法向量求平均并单位化,将此单位向量作为si的法向量;
将所述中间三维人脸点云上包含在以si为中心,以预设的r为半径的点作为si的邻域点,计算该邻域点的质心,记为mi,并连接mi和si,以构成向量
计算在si的法向量上的投影大小di;
根据所述di确定人脸鼻尖点。
6.根据权利要求5所述的人脸关键点检测方法,其特征在于,所述根据所述di确定人脸鼻尖点的步骤包括:
计算所述中间三维人脸点云上所有点的d值,构成标量集{d1,d2,…,dn},并提取所述标量集中大于0所对应的点形成第一次筛选结果集合;
根据所述第一次筛选结果集合,取到原点的距离在预设的阈值T以内的点,形成第二次筛选结果集合;
根据所述第二次筛选结果集合,取d值最大的点作为最终的鼻尖点。
7.根据权利要求6所述的人脸关键点检测方法,其特征在于,所述步骤S160包括:
对所述鼻尖点的邻域点进行主成分分析,以得到三个相互垂直的方向;
利用三个相互垂直的方向计算旋转矩阵,完成姿态矫正,获得目标三维人脸点云。
8.根据权利要求1至3中任意一项所述的人脸关键点检测方法,其特征在于,在所述步骤S170中:
所述巴塞尔人脸模型满足下述关系式:
所述优化模型满足:
其中,F为巴塞尔人脸模型,为平均人脸,为身份系数,为表情系数,sinput为所述目标三维人脸点云,ICP{F,Sinput}为计算F和Sinput的最小匹配误差,arg min{ICP{F,Sinput}}为求F和Sinput的最小匹配误差最小的时候与的取值;
根据所述优化模型,拟合三维人脸图像。
9.根据权利要求8所述的人脸关键点检测方法,其特征在于,所述步骤S180包括:
预先标定所述巴塞尔人脸模型F中的人脸68个关键点;
分别确定拟合的所述三维人脸图像中距离所述巴塞尔人脸模型F中的68个关键点的最近点,生成最近点集合,所述最近点集合形成所述人脸关键点。
10.一种人脸关键点检测装置,其特征在于,包括:
获取模块,用于获取当前用户的人体深度图像,其中,所述人体深度图像包括人脸深度图像、身体深度图像和背景深度图像;
提取模块,用于提取所述人体深度图像中的人脸深度图像;
生成模块,用于根据所述人脸深度图像,生成初始三维人脸点云;
预处理模块,用于对所述初始三维人脸点云进行预处理,消除所述初始三维人脸点云中的噪点和/或空洞,并进行归一化处理,以获得中间三维人脸点云;
检测模块,用于根据所述中间三维人脸点云,检测人脸鼻尖点;
姿态矫正模块,用于根据所述人脸鼻尖点,将所述中间三维人脸点云进行姿态矫正,以获得目标三维人脸点云;
优化模块,用于根据预设的巴塞尔人脸模型与所述目标三维人脸点云,建立优化模型,并根据所述优化模型生成拟合三维人脸图像;
确定模块,用于根据所述拟合三维人脸图像,确定人脸关键点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810398555.4A CN108615016B (zh) | 2018-04-28 | 2018-04-28 | 人脸关键点检测方法和人脸关键点检测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810398555.4A CN108615016B (zh) | 2018-04-28 | 2018-04-28 | 人脸关键点检测方法和人脸关键点检测装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108615016A true CN108615016A (zh) | 2018-10-02 |
CN108615016B CN108615016B (zh) | 2020-06-19 |
Family
ID=63661419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810398555.4A Active CN108615016B (zh) | 2018-04-28 | 2018-04-28 | 人脸关键点检测方法和人脸关键点检测装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108615016B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109671505A (zh) * | 2018-10-25 | 2019-04-23 | 杭州体光医学科技有限公司 | 一种用于医学诊疗辅助的头部三维数据处理方法 |
CN110688929A (zh) * | 2019-09-20 | 2020-01-14 | 北京华捷艾米科技有限公司 | 一种人体骨架关节点定位方法及装置 |
CN110855891A (zh) * | 2019-11-26 | 2020-02-28 | 爱菲力斯(深圳)科技有限公司 | 基于人体姿态调整摄像角度的方法、装置和机器人 |
CN110956066A (zh) * | 2019-05-11 | 2020-04-03 | 初速度(苏州)科技有限公司 | 一种人脸部位测距方法、装置及车载终端 |
CN111079684A (zh) * | 2019-12-24 | 2020-04-28 | 河南中原大数据研究院有限公司 | 一种基于粗糙-精细拟合的三维人脸检测方法 |
CN111091075A (zh) * | 2019-12-02 | 2020-05-01 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
CN111126246A (zh) * | 2019-12-20 | 2020-05-08 | 河南中原大数据研究院有限公司 | 基于3d点云几何特征的人脸活体检测方法 |
CN111160291A (zh) * | 2019-12-31 | 2020-05-15 | 上海易维视科技有限公司 | 基于深度信息与cnn的人眼检测方法 |
CN112329587A (zh) * | 2020-10-30 | 2021-02-05 | 苏州中科先进技术研究院有限公司 | 饮料瓶的分类方法、装置及电子设备 |
CN112365588A (zh) * | 2020-12-01 | 2021-02-12 | 东方梦幻虚拟现实科技有限公司 | 一种虚拟三维体感建模方法、装置及系统 |
CN113343879A (zh) * | 2021-06-18 | 2021-09-03 | 厦门美图之家科技有限公司 | 全景面部图像的制作方法、装置、电子设备及存储介质 |
CN113822256A (zh) * | 2021-11-24 | 2021-12-21 | 北京的卢深视科技有限公司 | 人脸识别方法、电子设备及存储介质 |
CN113947799A (zh) * | 2021-11-11 | 2022-01-18 | 石家庄学院 | 三维人脸数据预处理方法及设备 |
CN116883472A (zh) * | 2023-09-08 | 2023-10-13 | 山东德亿鑫信息科技有限公司 | 一种基于脸部三维图像配准的人脸护理系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103824049A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联神经网络的人脸关键点检测方法 |
CN104598879A (zh) * | 2015-01-07 | 2015-05-06 | 东南大学 | 基于半刚性区域面部轮廓线的三维人脸识别方法 |
CN106327571A (zh) * | 2016-08-23 | 2017-01-11 | 北京的卢深视科技有限公司 | 一种三维人脸建模方法及装置 |
CN106446773A (zh) * | 2016-08-22 | 2017-02-22 | 南通大学 | 一种全自动、鲁棒的三维人脸检测方法 |
CN106575367A (zh) * | 2014-08-21 | 2017-04-19 | 北京市商汤科技开发有限公司 | 用于基于多任务的人脸关键点检测的方法和系统 |
-
2018
- 2018-04-28 CN CN201810398555.4A patent/CN108615016B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103824049A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联神经网络的人脸关键点检测方法 |
CN106575367A (zh) * | 2014-08-21 | 2017-04-19 | 北京市商汤科技开发有限公司 | 用于基于多任务的人脸关键点检测的方法和系统 |
CN104598879A (zh) * | 2015-01-07 | 2015-05-06 | 东南大学 | 基于半刚性区域面部轮廓线的三维人脸识别方法 |
CN106446773A (zh) * | 2016-08-22 | 2017-02-22 | 南通大学 | 一种全自动、鲁棒的三维人脸检测方法 |
CN106327571A (zh) * | 2016-08-23 | 2017-01-11 | 北京的卢深视科技有限公司 | 一种三维人脸建模方法及装置 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109671505B (zh) * | 2018-10-25 | 2021-05-04 | 杭州体光医学科技有限公司 | 一种用于医学诊疗辅助的头部三维数据处理方法 |
CN109671505A (zh) * | 2018-10-25 | 2019-04-23 | 杭州体光医学科技有限公司 | 一种用于医学诊疗辅助的头部三维数据处理方法 |
CN110956066B (zh) * | 2019-05-11 | 2022-06-14 | 魔门塔(苏州)科技有限公司 | 一种人脸部位测距方法、装置及车载终端 |
CN110956066A (zh) * | 2019-05-11 | 2020-04-03 | 初速度(苏州)科技有限公司 | 一种人脸部位测距方法、装置及车载终端 |
CN110688929A (zh) * | 2019-09-20 | 2020-01-14 | 北京华捷艾米科技有限公司 | 一种人体骨架关节点定位方法及装置 |
CN110688929B (zh) * | 2019-09-20 | 2021-11-30 | 北京华捷艾米科技有限公司 | 一种人体骨架关节点定位方法及装置 |
CN110855891A (zh) * | 2019-11-26 | 2020-02-28 | 爱菲力斯(深圳)科技有限公司 | 基于人体姿态调整摄像角度的方法、装置和机器人 |
CN111091075A (zh) * | 2019-12-02 | 2020-05-01 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
CN111091075B (zh) * | 2019-12-02 | 2023-09-05 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
CN111126246A (zh) * | 2019-12-20 | 2020-05-08 | 河南中原大数据研究院有限公司 | 基于3d点云几何特征的人脸活体检测方法 |
CN111126246B (zh) * | 2019-12-20 | 2023-04-07 | 陕西西图数联科技有限公司 | 基于3d点云几何特征的人脸活体检测方法 |
CN111079684A (zh) * | 2019-12-24 | 2020-04-28 | 河南中原大数据研究院有限公司 | 一种基于粗糙-精细拟合的三维人脸检测方法 |
CN111079684B (zh) * | 2019-12-24 | 2023-04-07 | 陕西西图数联科技有限公司 | 一种基于粗糙-精细拟合的三维人脸检测方法 |
CN111160291A (zh) * | 2019-12-31 | 2020-05-15 | 上海易维视科技有限公司 | 基于深度信息与cnn的人眼检测方法 |
CN111160291B (zh) * | 2019-12-31 | 2023-10-31 | 上海易维视科技有限公司 | 基于深度信息与cnn的人眼检测方法 |
CN112329587A (zh) * | 2020-10-30 | 2021-02-05 | 苏州中科先进技术研究院有限公司 | 饮料瓶的分类方法、装置及电子设备 |
CN112329587B (zh) * | 2020-10-30 | 2024-05-24 | 苏州中科先进技术研究院有限公司 | 饮料瓶的分类方法、装置及电子设备 |
CN112365588A (zh) * | 2020-12-01 | 2021-02-12 | 东方梦幻虚拟现实科技有限公司 | 一种虚拟三维体感建模方法、装置及系统 |
CN113343879A (zh) * | 2021-06-18 | 2021-09-03 | 厦门美图之家科技有限公司 | 全景面部图像的制作方法、装置、电子设备及存储介质 |
CN113947799A (zh) * | 2021-11-11 | 2022-01-18 | 石家庄学院 | 三维人脸数据预处理方法及设备 |
CN113822256A (zh) * | 2021-11-24 | 2021-12-21 | 北京的卢深视科技有限公司 | 人脸识别方法、电子设备及存储介质 |
CN116883472A (zh) * | 2023-09-08 | 2023-10-13 | 山东德亿鑫信息科技有限公司 | 一种基于脸部三维图像配准的人脸护理系统 |
CN116883472B (zh) * | 2023-09-08 | 2023-11-14 | 山东德亿鑫信息科技有限公司 | 一种基于脸部三维图像配准的人脸护理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108615016B (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108615016A (zh) | 人脸关键点检测方法和人脸关键点检测装置 | |
CN107341473B (zh) | 手掌特征识别方法、手掌特征识别设备、及存储介质 | |
US8024775B2 (en) | Sketch-based password authentication | |
CN105956582B (zh) | 一种基于三维数据的人脸识别系统 | |
CN105740780B (zh) | 人脸活体检测的方法和装置 | |
CN105740778B (zh) | 一种改进的三维人脸活体检测方法及其装置 | |
CN105574518B (zh) | 人脸活体检测的方法和装置 | |
CN109785396B (zh) | 基于双目相机的写字姿态监测方法、系统、装置 | |
CN108230383A (zh) | 手部三维数据确定方法、装置及电子设备 | |
CN105740781A (zh) | 一种三维人脸活体检测的方法和装置 | |
US20140064602A1 (en) | Method and apparatus for object positioning by using depth images | |
CN108764058A (zh) | 一种基于热成像效应的双摄像头人脸活体检测方法 | |
WO2005020030A2 (en) | Multi-modal face recognition | |
CN105740779A (zh) | 人脸活体检测的方法和装置 | |
US11132531B2 (en) | Method for determining pose and for identifying a three-dimensional view of a face | |
CN107545252A (zh) | 基于多姿态人脸模型的视频中人脸识别方法及装置 | |
CN109858433B (zh) | 一种基于三维人脸模型识别二维人脸图片的方法及装置 | |
CN104794449A (zh) | 基于人体hog特征的步态能量图获取及身份识别方法 | |
CN109274883A (zh) | 姿态矫正方法、装置、终端及存储介质 | |
CN113065532A (zh) | 一种基于rgbd图像的坐姿几何参数检测方法及系统 | |
CN109993108B (zh) | 一种增强现实环境下的手势纠错方法、系统及装置 | |
CN110705355A (zh) | 一种基于关键点约束的人脸姿态估计方法 | |
CN106156739A (zh) | 一种基于脸部轮廓分析的证件照耳朵检测与提取方法 | |
CN112700568B (zh) | 一种身份认证的方法、设备及计算机可读存储介质 | |
CN106204564A (zh) | 一种激光光心提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Face key point detection method and face key point detection device Effective date of registration: 20220311 Granted publication date: 20200619 Pledgee: Industrial Bank Co.,Ltd. Beijing West Railway Station sub branch Pledgor: BeiJing Hjimi Technology Co.,Ltd. Registration number: Y2022110000054 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PP01 | Preservation of patent right |
Effective date of registration: 20231101 Granted publication date: 20200619 |
|
PP01 | Preservation of patent right |