CN106127147A - 一种基于三维数据的人脸深度纹理修复方法 - Google Patents

Abstract

本发明通过对海量人脸数据分析，训练获取三维人脸特征区域定位模型；与此同时，通过对应用领域的分析，进一步设定保留边缘滤波器的滤波器参数，提升了深度人脸数据的质量，以此来增加三维人脸识别系统的性能。该系统目的在于对深度人脸数据进行优化修复，增强其信息表达能力，可以用于进一步提升三维人脸识别系统的性能。

Description

一种基于三维数据的人脸深度纹理修复方法

所属技术领域

本发明涉及一种图像处理方法，尤其涉及一种三维深度人脸数据的深度纹理修复方法。

背景技术

如何处理三维人脸识别的人脸数据，直接关系到三维人脸识别的精准度。人脸数据主要有亮度、灰度、色差、纹理等特征，其中纹理特征易受强光、噪点影响，会造成人脸数据中局部区域的识别受影响，所以，处理纹理特征在处理人脸数据中占有较大比重。现有技术对人脸数据的纹理修复不能有效地提高三维人脸识别效率，并且选择的修复区域代表性不足。

为了解决三维人脸识别的人脸数据的修复区域及修复方法不足的问题，本发明基于三维深度人脸数据的深度纹理修复方法，可以用于深度人脸图像中的局部纹理噪音过滤，比如去除来自于三维采集设备中的数据空洞以及数据凸起；也可以用于增加三维人脸的特性信息强度，进一步提升三维人脸识别的性能。

本发明通过对海量人脸数据分析，训练获取三维人脸特征区域定位模型；同时，通过对应用领域的分析，进一步设定保留边缘滤波器的滤波器参数，提升了深度人脸数据的质量，以此来增加三维人脸识别系统中数据处理过程的性能。本发明目的在于对深度人脸数据进行优化修复，增强其信息表达能力，可以用于进一步提升三维人脸识别系统的性能。

一种基于三维数据的人脸深度纹理修复方法包括：三维人脸点云数据输入计算单元；人脸特定区域检测计算单元；数据配准计算单元；深度人脸数据映射计算单元；深度人脸纹理修复计算单元。

优选的，在上述的一种基于三维数据的人脸深度纹理修复方法，其特征在于，包括如下步骤：

A.三维人脸点云数据的输入；

B.对于三维人脸点云数据中人脸特定区域检测；

C.对于检测到的人脸特定区域进行数据配准；

D.对于配准后的三维人脸点云数据进行深度人脸数据映射；

E.对于深度人脸数据进行深度人脸纹理修复。

优选的，在上述的一种基于三维数据的人脸深度纹理修复方法，所述步骤A三维人脸点云数据的输入支持各类三维点云采集设备的数据输入。

优选的，在上述的一种基于三维数据的人脸深度纹理修复方法，所述步骤B对于三维人脸点云数据中人脸特定区域检测，由于三维点云人脸数据中鼻尖区域的数据信息明显区别于人脸的其他位置，因此人脸特征区域采用的是鼻尖区域，鼻尖区域检测计算单元包括如下步骤：

步骤一：确定域平均负有效能量密度的阈值，定义为thr；

步骤二：利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；

步骤三：计算由深度信息选取出的人脸数据的法向量信息；

步骤四：按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域；

步骤五：当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤一继续。

优选的，在上述的一种基于三维数据的人脸深度纹理修复方法，所述的步骤C对于检测到的人脸特定区域进行数据配准，包括如下步骤：

步骤一：在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据；

步骤二：得到配准的参考区域后，计算3*3的矩阵，公式如下：

步骤三：计算旋转矩阵R和平移矩阵t，当X行列值为1时，R＝X，t＝P-R*Q；

步骤四：获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个点集的配准。

优选的，在上述的一种基于三维数据的人脸深度纹理修复方法，所述的D对于配准后的三维人脸点云数据进行深度人脸数据映射，该步骤检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息；具体计算过程如下：

鼻尖点为N(x,y,z)，则空间点P(x1,y1,z1)的图像坐标为：

I_x＝(x1-x)+width/2

I_y＝(y1-y)+height/2

其中width为深度图像的宽度，height为深度图像的高度；

同时，根据三维点云数据的深度精度预先设定深度分辨率Z_ref，作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准，公式如下：

完成将三维点云数据映射为深度人脸图像的数据映射。

优选的，在上述的一种基于三维数据的人脸深度纹理修复方法，所述的步骤E对于深度人脸数据进行深度人脸纹理修复，首先对于深度图像中的噪点进行检测，噪点类型主要包括数据空洞以及数据的凸起，在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。

然后进行深度数据去噪，在本发明中采用邻域深度有效值滤波，对上述深度人脸图像中的噪音进行过滤，该滤波表达式可以描述为：

其中当I(x-m,y-n)为深度图像有效点时，值为当I(x-m,y-n)为深度图像无效点时，值为0。

在对奇异点进行初步的低通滤波之后，继续利用边缘保持滤波对于深度图像进行进一步的纹理修复，本发明中边缘保持滤波器采用双边滤波(不限于)。双边滤波器是由两个函数构成，一个函数是通过几何空间距离决定滤波器系数，另一个函数则是由像素差值决定滤波器系数。在双边滤波器中，输出像素的值依赖于邻域像素的值的加权组合：

其中，由几何空间距离决定的滤波器系数，其公式为：

由像素差值决定的滤波器系数，其公式为：

则权重系数则为空间域系数以及值域系数的乘积：

通过这种结合方式，在图像滤波中同时考虑了空间域与值域的差别，在滤除数据噪音的过程中也可以保留数据中的特定边缘信息，有效的进行了深度人脸图像数据噪音的修复以及人脸深度特性信息的增强。

与现有技术相比，本发明具有如下技术效果：

本发明通过对海量人脸数据分析，训练获取三维人脸特征区域定位模型；同时，通过对应用领域的分析，进一步设定保留边缘滤波器的滤波器参数，提升了深度人脸数据的质量，以此来增加三维人脸识别系统中数据处理过程的性能。该系统目的在于对深度人脸数据进行优化修复，增强其信息表达能力，可以用于进一步提升三维人脸识别系统的性能。

附图说明

图1是本发明系统流程图；

图2是本发明人脸鼻尖检测模块示意图；

图3是本发明人脸数据配准模块示意图；

图4是本发明人脸数据空间映射示意图；

图5是本发明深度人脸纹理修复模块示意图；

图6是本发明系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开一种基于三维数据的人脸深度纹理修复方法，包括：三维人脸点云数据输入计算单元；人脸特定区域检测计算单元；数据配准计算单元；深度人脸数据映射计算单元；深度人脸纹理修复计算单元。

如图1所示，本发明系统流程如下：

A.三维人脸点云数据的输入；

B.对于三维人脸点云数据中人脸特定区域检测；

C.对于检测到的人脸特定区域进行数据配准；

D.对于配准后的三维人脸点云数据进行深度人脸数据映射；

E.对于深度人脸数据进行深度人脸纹理修复

如图2所示，在上述的一种基于三维数据的人脸深度纹理修复方法中人脸特定区域检测计算单元，图2(a)中，由于三维点云人脸数据中鼻尖区域的数据信息明显区别于人脸的其他位置，因此本发明中人脸特征区域采用的是鼻尖区域；图2(b)是鼻尖区域定位的流程图，包括如下步骤：

步骤一：确定域平均负有效能量密度的阈值，定义为thr；

步骤二：利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；

步骤三：计算由深度信息选取出的人脸数据的法向量信息；

步骤四：按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域；

步骤五：当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤一继续。

如图3所示，在上述的数据配准计算单元，包括如下步骤：

步骤一：在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据；

步骤二：得到配准的参考区域后，计算3*3的矩阵，公式如下：

步骤三：计算旋转矩阵R和平移矩阵t，当X行列值为1时，R＝X，t＝P-R*Q；

步骤四：获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个点集的配准。

如图4所示，在上述的深度人脸数据映射计算单元，该计算单元检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息；具体计算过程如下：

鼻尖点为N(x,y,z)，则空间点P(x1,y1,z1)的图像坐标为：

I_x＝(x1-x)+width/2

I_y＝(y1-y)+height/2

其中width为深度图像的宽度，height为深度图像的高度；

同时，根据三维点云数据的深度精度预先设定深度分辨率Z_ref，作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准，公式如下：

完成将三维点云数据映射为深度人脸图像的数据映射。

如图5所示，在上述的深度人脸纹理修复计算单元，首先对于深度图像中的噪点进行检测计算单元，噪点类型主要包括数据空洞以及数据的凸起，在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。

然后进行深度数据去噪，在本发明中采用邻域深度有效值滤波，对上述深度人脸图像中的噪音进行过滤，该滤波表达式可以描述为：

其中当I(x-m,y-n)为深度图像有效点时，值为当I(x-m,y-n)为深度图像无效点时，值为0。

在对奇异点进行初步的低通滤波之后，继续利用边缘保持滤波对于深度图像进行进一步的纹理修复，本发明中边缘保持滤波器采用双边滤波(不限于)。双边滤波器是由两个函数构成，一个函数是通过几何空间距离决定滤波器系数，另一个函数则是由像素差值决定滤波器系数。在双边滤波器中，输出像素的值依赖于邻域像素的值的加权组合：

其中，由几何空间距离决定的滤波器系数，其公式为：

由像素差值决定的滤波器系数，其公式为：

则权重系数则为空间域系数以及值域系数的乘积：

通过这种结合方式，在图像滤波中同时考虑了空间域与值域的差别，在滤除数据噪音的过程中也可以保留数据中的特定边缘信息，有效的进行了深度人脸图像数据噪音的修复以及人脸深度特性信息的增强。

如图6所示，是本发明的系统框图。

Claims (7)

1.一种基于三维数据的人脸深度纹理修复方法，其特征在于，包括：三维人脸点云数据输入计算单元；人脸特定区域检测计算单元；数据配准计算单元；深度人脸数据映射计算单元；深度人脸纹理修复计算单元。

2.基于权利要求1所述的一种基于三维数据的人脸深度纹理修复方法，其特征在于，包括如下步骤：

A.三维人脸点云数据的输入；

B.对于三维人脸点云数据中人脸特定区域检测；

C.对于检测到的人脸特定区域进行数据配准；

D.对于配准后的三维人脸点云数据进行深度人脸数据映射；

E.对于深度人脸数据进行深度人脸纹理修复。

3.基于权利要求2所述的一种基于三维数据的人脸深度纹理修复方法，其特征在于，所述的步骤A支持各类三维点云采集设备的数据输入。

4.基于权利要求2所述的一种基于三维数据的人脸深度纹理修复方法，其特征在于，所述的步骤B，由于三维点云人脸数据中鼻尖区域的数据信息明显区别于人脸的其他位置，因此人脸特征区域采用的是鼻尖区域，鼻尖区域定位包括如下步骤：

步骤一：确定域平均负有效能量密度的阈值，定义为thr；

步骤二：利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；

步骤三：计算由深度信息选取出的人脸数据的法向量信息；

步骤四：按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域；

步骤五：当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤一继续。

5.基于权利要求2所述的一种基于三维数据的人脸深度纹理修复方法，其特征在于，所述的步骤C包括如下步骤：

步骤一：在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据；

步骤二：得到配准的参考区域后，计算3*3的矩阵，公式如下：

$H=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Q}_i{Q}_i^T$

步骤三：计算旋转矩阵R和平移矩阵t，当X行列值为1时，R＝X，t＝P-R*Q；

步骤四：获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个点集的配准。

6.基于权利要求2所述的一种基于三维数据的人脸深度纹理修复方法，其特征在于，所述的步骤D，该步骤检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息；具体计算过程如下：

鼻尖点为N(x,y,z)，则空间点P(x1,y1,z1)的图像坐标为：

I_x＝(x1-x)+width/2

I_y＝(y1-y)+height/2

其中width为深度图像的宽度，height为深度图像的高度；

同时，根据三维点云数据的深度精度预先设定深度分辨率Z_ref，作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准，公式如下：

$I_{depth}=\left\{\begin{array}{cc}\frac{(z1-z)}{Z_{ref}}+255,& z1\≤z\\ 255,& z1>z\end{array}\right.$

完成将三维点云数据映射为深度人脸图像的数据映射。

7.基于权利要求2所述的一种基于三维数据的人脸深度纹理修复方法，其特征在于，所述的步骤E，首先对于深度图像中的噪点进行检测，噪点类型主要包括数据空洞以及数据的凸起，在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值；

然后进行深度数据去噪，在本发明中采用邻域深度有效值滤波，对上述深度人脸图像中的噪音进行过滤，该滤波表达式可以描述为：

$I(x,y)=\underset{m=-win,n=-win}{\overset{m=win,n=win}{\mathrm{\Σ}}}I(x-m,y-n)*w(x-m,y-n)$

其中当I(x-m,y-n)为深度图像有效点时，值为当I(x-m,y-n)为深度图像无效点时，值为0；

在对奇异点进行初步的低通滤波之后，继续利用边缘保持滤波对于深度图像进行进一步的纹理修复，本发明中边缘保持滤波器采用双边滤波(不限于)；双边滤波器是由两个函数构成，一个函数是通过几何空间距离决定滤波器系数，另一个函数则是由像素差值决定滤波器系数；在双边滤波器中，输出像素的值依赖于邻域像素的值的加权组合：

$g(i,j)=\frac{{\mathrm{\Σ}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\Σ}}_{k,l}w(i,j,k,l)}$

其中，由几何空间距离决定的滤波器系数，其公式为：

$d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2})$

由像素差值决定的滤波器系数，其公式为：

$r(i,j,k,l)=\exp (-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{\mathrm{\σ}}_r^2})$

则权重系数则为空间域系数以及值域系数的乘积：

$w(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2}-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{\mathrm{\σ}}_r^2}).$