CN106127147B - 一种基于三维数据的人脸深度纹理修复方法 - Google Patents

一种基于三维数据的人脸深度纹理修复方法 Download PDF

Info

Publication number
CN106127147B
CN106127147B CN201610460834.XA CN201610460834A CN106127147B CN 106127147 B CN106127147 B CN 106127147B CN 201610460834 A CN201610460834 A CN 201610460834A CN 106127147 B CN106127147 B CN 106127147B
Authority
CN
China
Prior art keywords
data
face
depth
dimensional
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610460834.XA
Other languages
English (en)
Other versions
CN106127147A (zh
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201610460834.XA priority Critical patent/CN106127147B/zh
Publication of CN106127147A publication Critical patent/CN106127147A/zh
Application granted granted Critical
Publication of CN106127147B publication Critical patent/CN106127147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明通过对海量人脸数据分析,训练获取三维人脸特征区域定位模型;与此同时,通过对应用领域的分析,进一步设定保留边缘滤波器的滤波器参数,提升了深度人脸数据的质量,以此来增加三维人脸识别系统的性能。该系统目的在于对深度人脸数据进行优化修复,增强其信息表达能力,可以用于进一步提升三维人脸识别系统的性能。

Description

一种基于三维数据的人脸深度纹理修复方法
所属技术领域
本发明涉及一种图像处理方法,尤其涉及一种基于三维数据的人脸深度纹理修复方法。
背景技术
如何处理三维人脸识别的人脸数据,直接关系到三维人脸识别的精准度。人脸数据主要有亮度、灰度、色差、纹理等特征,其中纹理特征易受强光、噪点影响,会造成人脸数据中局部区域的识别受影响,所以,处理纹理特征在处理人脸数据中占有较大比重。现有技术对人脸数据的纹理修复不能有效地提高三维人脸识别效率,并且选择的修复区域代表性不足。
为了解决三维人脸识别的人脸数据的修复区域及修复方法不足的问题,本发明基于三维深度人脸数据的深度纹理修复方法,可以用于深度人脸图像中的局部纹理噪音过滤,比如去除来自于三维采集设备中的数据空洞以及数据凸起;也可以用于增加三维人脸的特性信息强度,进一步提升三维人脸识别的性能。
本发明通过对海量人脸数据分析,训练获取三维人脸特征区域定位模型;同时,通过对应用领域的分析,进一步设定保留边缘滤波器的滤波器参数,提升了深度人脸数据的质量,以此来增加三维人脸识别系统中数据处理过程的性能。本发明目的在于对深度人脸数据进行优化修复,增强其信息表达能力,可以用于进一步提升三维人脸识别系统的性能。
一种基于三维数据的人脸深度纹理修复方法包括:三维人脸点云数据输入计算单元;人脸特定区域检测计算单元;数据配准计算单元;深度人脸数据映射计算单元;深度人脸纹理修复计算单元。
优选的,在上述的一种基于三维数据的人脸深度纹理修复方法,其特征在于,包括如下步骤:
A.三维人脸点云数据的输入;
B.对于三维人脸点云数据中人脸特定区域检测;
C.对于检测到的人脸特定区域进行数据配准;
D.对于配准后的三维人脸点云数据进行深度人脸数据映射;
E.对于深度人脸数据进行深度人脸纹理修复。
优选的,在上述的一种基于三维数据的人脸深度纹理修复方法,所述步骤A三维人脸点云数据的输入支持各类三维点云采集设备的数据输入。
优选的,在上述的一种基于三维数据的人脸深度纹理修复方法,所述步骤B对于三维人脸点云数据中人脸特定区域检测,由于三维点云人脸数据中鼻尖区域的数据信息明显区别于人脸的其他位置,因此人脸特征区域采用的是鼻尖区域,鼻尖区域检测计算单元包括如下步骤:
步骤一:确定域平均负有效能量密度的阈值,定义为thr;
步骤二:利用数据的深度信息,提取在一定深度范围内的人脸数据作为待处理数据;
步骤三:计算由深度信息选取出的人脸数据的法向量信息;
步骤四:按照区域平均负有效能量密度的定义,求出待处理数据中各连通域的平均负有效能量密度,选择其中密度值最大的连通域;
步骤五:当该区域的阈值大于预定义的thr时,该区域即为鼻尖区域,否则回到步骤一继续。
优选的,在上述的一种基于三维数据的人脸深度纹理修复方法,所述的步骤C对于检测到的人脸特定区域进行数据配准,包括如下步骤:
步骤一:在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据;
步骤二:得到配准的参考区域后,计算3*3的矩阵,公式如下:
步骤三:计算旋转矩阵R和平移矩阵t,当X行列值为1时,R=X,t=P-R*Q;
步骤四:获取两个三维数据点集之间的三维空间变换矩阵,从而实现两个点集的配准。
优选的,在上述的一种基于三维数据的人脸深度纹理修复方法,所述的D对于配准后的三维人脸点云数据进行深度人脸数据映射,该步骤检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准,其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息;具体计算过程如下:
鼻尖点为N(x,y,z),则空间点P(x1,y1,z1)的图像坐标为:
Ix=(x1-x)+width/2
Iy=(y1-y)+height/2
其中width为深度图像的宽度,height为深度图像的高度;
同时,根据三维点云数据的深度精度预先设定深度分辨率Zref,作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准,公式如下:
完成将三维点云数据映射为深度人脸图像的数据映射。
优选的,在上述的一种基于三维数据的人脸深度纹理修复方法,所述的步骤E对于深度人脸数据进行深度人脸纹理修复,首先对于深度图像中的噪点进行检测,噪点类型主要包括数据空洞以及数据的凸起,在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。
然后进行深度数据去噪,在本发明中采用邻域深度有效值滤波,对上述深度人脸图像中的噪音进行过滤,该滤波表达式可以描述为:
其中当I(x-m,y-n)为深度图像有效点时,值为当I(x-m,y-n)为深度图像无效点时,值为0。
在对奇异点进行初步的低通滤波之后,继续利用边缘保持滤波对于深度图像进行进一步的纹理修复,本发明中边缘保持滤波器采用双边滤波(不限于)。双边滤波器是由两个函数构成,一个函数是通过几何空间距离决定滤波器系数,另一个函数则是由像素差值决定滤波器系数。在双边滤波器中,输出像素的值依赖于邻域像素的值的加权组合:
其中,由几何空间距离决定的滤波器系数,其公式为:
由像素差值决定的滤波器系数,其公式为:
则权重系数则为空间域系数以及值域系数的乘积:
通过这种结合方式,在图像滤波中同时考虑了空间域与值域的差别,在滤除数据噪音的过程中也可以保留数据中的特定边缘信息,有效的进行了深度人脸图像数据噪音的修复以及人脸深度特性信息的增强。
与现有技术相比,本发明具有如下技术效果:
本发明通过对海量人脸数据分析,训练获取三维人脸特征区域定位模型;同时,通过对应用领域的分析,进一步设定保留边缘滤波器的滤波器参数,提升了深度人脸数据的质量,以此来增加三维人脸识别系统中数据处理过程的性能。该系统目的在于对深度人脸数据进行优化修复,增强其信息表达能力,可以用于进一步提升三维人脸识别系统的性能。
附图说明
图1是本发明系统流程图;
图2是本发明人脸鼻尖检测模块示意图;
图3是本发明人脸数据配准模块示意图;
图4是本发明人脸数据空间映射示意图;
图5是本发明深度人脸纹理修复模块示意图;
图6是本发明系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明公开一种基于三维数据的人脸深度纹理修复方法,包括:三维人脸点云数据输入计算单元;人脸特定区域检测计算单元;数据配准计算单元;深度人脸数据映射计算单元;深度人脸纹理修复计算单元。
如图1所示,本发明系统流程如下:
A.三维人脸点云数据的输入;
B.对于三维人脸点云数据中人脸特定区域检测;
C.对于检测到的人脸特定区域进行数据配准;
D.对于配准后的三维人脸点云数据进行深度人脸数据映射;
E.对于深度人脸数据进行深度人脸纹理修复
如图2所示,在上述的一种基于三维数据的人脸深度纹理修复方法中人脸特定区域检测计算单元,图2(a)中,由于三维点云人脸数据中鼻尖区域的数据信息明显区别于人脸的其他位置,因此本发明中人脸特征区域采用的是鼻尖区域;图2(b)是鼻尖区域定位的流程图,包括如下步骤:
步骤一:确定域平均负有效能量密度的阈值,定义为thr;
步骤二:利用数据的深度信息,提取在一定深度范围内的人脸数据作为待处理数据;
步骤三:计算由深度信息选取出的人脸数据的法向量信息;
步骤四:按照区域平均负有效能量密度的定义,求出待处理数据中各连通域的平均负有效能量密度,选择其中密度值最大的连通域;
步骤五:当该区域的阈值大于预定义的thr时,该区域即为鼻尖区域,否则回到步骤一继续。
如图3所示,在上述的数据配准计算单元,包括如下步骤:
步骤一:在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据;
步骤二:得到配准的参考区域后,计算3*3的矩阵,公式如下:
步骤三:计算旋转矩阵R和平移矩阵t,当X行列值为1时,R=X,t=P-R*Q;
步骤四:获取两个三维数据点集之间的三维空间变换矩阵,从而实现两个点集的配准。
如图4所示,在上述的深度人脸数据映射计算单元,该计算单元检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准,其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息;具体计算过程如下:
鼻尖点为N(x,y,z),则空间点P(x1,y1,z1)的图像坐标为:
Ix=(x1-x)+width/2
Iy=(y1-y)+height/2
其中width为深度图像的宽度,height为深度图像的高度;
同时,根据三维点云数据的深度精度预先设定深度分辨率Zref,作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准,公式如下:
完成将三维点云数据映射为深度人脸图像的数据映射。
如图5所示,在上述的深度人脸纹理修复计算单元,首先对于深度图像中的噪点进行检测计算单元,噪点类型主要包括数据空洞以及数据的凸起,在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。
然后进行深度数据去噪,在本发明中采用邻域深度有效值滤波,对上述深度人脸图像中的噪音进行过滤,该滤波表达式可以描述为:
其中当I(x-m,y-n)为深度图像有效点时,值为当I(x-m,y-n)为深度图像无效点时,值为0。
在对奇异点进行初步的低通滤波之后,继续利用边缘保持滤波对于深度图像进行进一步的纹理修复,本发明中边缘保持滤波器采用双边滤波(不限于)。双边滤波器是由两个函数构成,一个函数是通过几何空间距离决定滤波器系数,另一个函数则是由像素差值决定滤波器系数。在双边滤波器中,输出像素的值依赖于邻域像素的值的加权组合:
其中,由几何空间距离决定的滤波器系数,其公式为:
由像素差值决定的滤波器系数,其公式为:
则权重系数则为空间域系数以及值域系数的乘积:
通过这种结合方式,在图像滤波中同时考虑了空间域与值域的差别,在滤除数据噪音的过程中也可以保留数据中的特定边缘信息,有效的进行了深度人脸图像数据噪音的修复以及人脸深度特性信息的增强。
如图6所示,是本发明的系统框图。

Claims (5)

1.一种基于三维数据的人脸深度纹理修复方法,其特征在于,主要包括:
(一)对三维人脸点云数据的输入;
(二)对三维人脸点云数据中人脸特定区域检测;
(三)对检测到的人脸特定区域进行数据配准;
(四)对配准后的三维人脸点云数据进行深度人脸数据映射;
(五)对深度人脸数据进行深度人脸纹理修复,具体包括:
首先对深度图像中的噪点进行检测,噪点类型主要包括数据空洞以及数据凸起,在深度图像中表示为人脸深度数据的零值以及局部纹理的深度凸起值;
然后进行深度去噪,采用领域深度有效值滤波,对深度人脸图像中的噪音进行过滤,过滤表达式如下:
当I(x-m,y-n)为深度图像有效点时,反之w(x-m,y-n)值为0;
在对奇异点进行初步低通滤波后,利用边缘保持滤波对深度图像进行进一步纹理修复,采用双边滤波器,双边滤波器由两个函数构成,一个函数是通过几何空间决定滤波器系数,另一个函数是通过像素差值决定滤波器系数;在双边滤波器中,输出像素的值依赖于相邻像素的值的加权组合:
权重系数为空间域系数以及域值系数的乘积,公式如下:
其中,表示由像素差值决定的滤波器系数; 表示由几何空间距离决定的滤波器系数;r表示像素,d表示距离,(i,j)表示深度图像中的奇异点,(k,l)与(i,j)对应,f(i,j)和f(k,l)表示像素值,w(i,j,k,l)为权重系数。
2.基于权利要求1所述的基于三维数据的人脸深度纹理修复方法,其特征在于,所述(二)对三维人脸点云数据中人脸特定区域检测,具体包括:由于三维点云人脸数据中鼻尖区域的数据信息明显区别人脸的其他位置,因此人脸特征区域采用鼻尖区域,鼻尖区域的检测包括如下步骤:
步骤一:确定区域平均负有效能量密度的阈值,定义为thr;
步骤二:利用数据的深度信息提取在一定深度范围内的人脸数据作为待处理数据;
步骤三:计算由深度信息选取出的人脸数据的法向量信息;
步骤四:按照区域平均负有效能量密度的定义,求出待处理数据中各连通域的平均负有效能量密度,选择其中密度值最大的连通域;
步骤五:当该区域的阈值大于预定义的thr时,该区域即为鼻尖区域。
3.基于权利要求1所述的基于三维数据的人脸深度纹理修复方法,其特征在于,所述(三)对检测到的人脸特定区域进行数据配准,具体包括:
步骤一:在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据;
步骤二:假设得到匹配数据集合对P和Q,计算3×3的矩阵:
其中,N是数据集合的容量;做H矩阵的奇异值(SVD)分解,则H=U∧VT,X=VUT,QT表示Q的转置向量;
步骤三:计算旋转矩阵R和平移矩阵t,当行列式为1时,R=X,t=P-R*Q;
通过上述步骤,获得两个三维数据点集之间的三维空间变换矩阵,实现两个点集的配准。
4.基于权利要求1所述的基于三维数据的人脸深度纹理修复方法,其特征在于,所述(四)对配准后的三维人脸点云数据进行深度人脸数据映射,具体包括:将检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准,其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息,计算过程如下:
设鼻尖点为N(x,y,z),则空间点P(x1,y1,z1)的图像坐标为:
width为深度图像的宽度,height为深度图像的高度;
同时预设深度分辨率,根据三维点云数据的深度精度预先设定深度分辨率Zref,将空间坐标系的z轴作为映射为人脸深度图像的深度值参考基准:
通过上述步骤完成将三维点云数据映射为深度人脸图像数据的映射。
5.基于权利要求1所述的基于三维数据的人脸深度纹理修复方法,其特征在于,主要包括:设置三维人脸点云数据的输入计算单元进行三维人脸点云数据的输入;设置人脸特定区域检测计算单元检测人脸特定区域;设置数据配准单元进行数据配准;设置深度人脸数据映射计算单元进行深度人脸数据映射;设置深度人脸纹理修复计算单元进行深度人脸纹理修复。
CN201610460834.XA 2016-06-23 2016-06-23 一种基于三维数据的人脸深度纹理修复方法 Active CN106127147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610460834.XA CN106127147B (zh) 2016-06-23 2016-06-23 一种基于三维数据的人脸深度纹理修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610460834.XA CN106127147B (zh) 2016-06-23 2016-06-23 一种基于三维数据的人脸深度纹理修复方法

Publications (2)

Publication Number Publication Date
CN106127147A CN106127147A (zh) 2016-11-16
CN106127147B true CN106127147B (zh) 2019-07-26

Family

ID=57269367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610460834.XA Active CN106127147B (zh) 2016-06-23 2016-06-23 一种基于三维数据的人脸深度纹理修复方法

Country Status (1)

Country Link
CN (1) CN106127147B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803065A (zh) * 2016-12-27 2017-06-06 广州帕克西软件开发有限公司 一种基于深度信息的瞳距测量方法以及系统
CN110020578A (zh) * 2018-01-10 2019-07-16 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108765321B (zh) * 2018-05-16 2021-09-07 Oppo广东移动通信有限公司 拍照修复方法、装置、存储介质及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404091A (zh) * 2008-11-07 2009-04-08 重庆邮电大学 基于两步形状建模的三维人脸重建方法和系统
CN103996052A (zh) * 2014-05-12 2014-08-20 深圳市唯特视科技有限公司 基于三维点云的三维人脸性别分类装置及方法
CN104143080A (zh) * 2014-05-21 2014-11-12 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置及方法
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN104573722A (zh) * 2015-01-07 2015-04-29 深圳市唯特视科技有限公司 基于三维点云的三维人脸种族分类装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404091A (zh) * 2008-11-07 2009-04-08 重庆邮电大学 基于两步形状建模的三维人脸重建方法和系统
CN103996052A (zh) * 2014-05-12 2014-08-20 深圳市唯特视科技有限公司 基于三维点云的三维人脸性别分类装置及方法
CN104143080A (zh) * 2014-05-21 2014-11-12 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置及方法
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN104573722A (zh) * 2015-01-07 2015-04-29 深圳市唯特视科技有限公司 基于三维点云的三维人脸种族分类装置和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
小波变换与纹理合成相结合的图像修复;张东 等;《中国图象图形学报》;20151231;第20卷(第7期);第882-894页
小波域的纹理图像快速修复算法;肖志云 等;《仪器仪表学报》;20080731;第29卷(第7期);第1422-1425页

Also Published As

Publication number Publication date
CN106127147A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
CN105956582B (zh) 一种基于三维数据的人脸识别系统
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN107578418B (zh) 一种融合色彩和深度信息的室内场景轮廓检测方法
CN112819772B (zh) 一种高精度快速图形检测识别方法
Hao et al. Improved self-adaptive edge detection method based on Canny
CN108235774B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN106960449B (zh) 基于多特征约束的异源配准方法
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN109308718B (zh) 一种基于多深度相机的空间人员定位装置及方法
CN111126174A (zh) 一种用于机器人抓取零件的视觉检测方法
CN107607053B (zh) 一种基于机器视觉和三维重建技术的立木胸径测量方法
KR102073468B1 (ko) 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법
CN104715491B (zh) 一种基于一维灰度矩的亚像素边缘检测方法
CN106127147B (zh) 一种基于三维数据的人脸深度纹理修复方法
CN111524139B (zh) 一种基于双边滤波器的角点检测方法和检测系统
CN111160362B (zh) 一种fast特征均匀化提取与帧间特征误匹配去除方法
CN114119437B (zh) 一种基于gms的用于改善运动物体畸变的图像拼接方法
CN113034526B (zh) 一种抓取方法、抓取装置及机器人
CN110598647A (zh) 一种基于图像识别的头部姿态识别方法
Wu et al. An improved Canny edge detection algorithm with iteration gradient filter
CN114648544A (zh) 一种亚像素椭圆提取方法
CN112116561B (zh) 基于图像处理融合网络权值的电网传输线检测方法及装置
Park et al. Depth image correction for intel realsense depth camera
CN102609698A (zh) 活体采集侧面掌纹质量评估方法
CN111798506A (zh) 一种图像处理方法、控制方法、终端及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant