CN106204557A - 一种基于扩展高斯球与m估计的非完备数据对称特征的提取方法 - Google Patents

Abstract

一种基于扩展高斯球与M估计的非完备数据对称特征的提取方法，属于计算机视觉领域。本发明包括以下步骤：1）采用基于三维扫描仪的方法对缺损人脸模型进行扫描，获取初始镜像数据。2）采用基于空间栅格化的拓扑结构来建立点与点之间的空间拓扑关系，从而去除噪声点云，进行K邻域搜索，然后通过法矢信息来建立扩展高斯球，对出对应点。3）对应点基于主轴粗对齐。4）结合M估计ICP算法精对齐。5）对应点中点集最小二乘拟合计算中心对称面。本发明将扩展高斯球跟改进的ICP算法的优点结合起来，使得特征提取更加精确，能满足更多的特征提取的复杂条件。

Description

一种基于扩展高斯球与M估计的非完备数据对称特征的提取 方法

技术领域

本发明涉及一种非完备数据的对称特征提取方法，特别涉及一种基于扩展高斯球与M估计融合的非完备数据的特征提取方法，属于计算机视觉领域。

背景技术

由于计算机图形扫描设备和几何造型软件的普及，以及图形处理硬件性价比的提高，越来越多的三维模型在各个领域中得到了广泛地应用，因此三维模型的特征提取方法成为了关键。对于模型的提取，首先是对模型进行坐标的预处理，采用的较多的是主成分分析法(Principal component analysis,简称PCA)，传统的PCA算法在三维模型的检索中会出现这样的问题，如果用PCA来预处理用三角面片来描述的模型，处理得到的PCA框架会随着模型三角化的结果而不同。后来不断出现新颖的PCA算法，其中一种针对三角面片模型，对使用每个面片的面积作为权值加以调整，从而解决上述的问题。

杨琼、丁晓青等人2003年也对PCA算法进行了一定的改进，该算法首先引入镜像变换,生成镜像样本，然后依据奇偶分解原理,生成镜象奇、偶对称样本,并分别进行K-L展开,提取镜象奇/偶对称KL特征分量。最后,根据奇/偶对称KL特征分量在颜面中所占能量比例的不同以及对视角、旋转、光照等干扰的不同敏感程度进行特征选择。该算法的突出优势在于显著提高识别性能,不过,该算法并不适用于较强的非对称性或较大的面部器官定位误差的情况。

Liyan Zhang、AnshumanRazdan等人2005年提出了一个快速自动提取颜面特征的方法，拍摄3D面部三角网格作为输入，这种方法首先会自动提取面部表面的左右对称平面，然后计算对称平面与面部表面的交叉点。同时使用面部表面的平均曲率图和对称轮廓曲线的曲率图，自动萃取在对称轮廓的鼻部的三个基本点。这三个基本点可以确定一个颜面的固有坐标系(FICS)。

Benz等人和Hartmann等人分别在2005年和2007年提出了一种利用迭代最近点优化(iterative closest point简称ICP)的方法，首先，使用三个手动选择点，当获得模型的中间面部平面时，可以通过主轴一侧完好区的信息得到需要镜像的数据，接着用ICP算法将镜像数据跟颜面信息进行记录，中间的面部平面被定义为点集的最佳拟合平面，平分原始点跟镜像点之间的距离。

早前Horn就提出过扩展高斯图像(extended Gaussian image，简称EGI)，高斯球是用一个三维形状表示的函数单位球。Horn采用的方法是把三维模型的每一个网格面片的法向和面积映射到高斯球，单位球的球心到球面映射点的方向对应被映射面片的法向，从而得到物体的扩展直方图。但扩展高斯图像有个缺陷，对于凹面的三维模型来说，其高斯图像不是唯一的。

因此，可以利用扩展高斯球跟M估计融合的ICP算法相结合，来对基于对称特征的非完备数据进行特征提取。

发明内容

本发明的目的是提出一种新基于扩展高斯球与M估计的非完备数据的对称特征的提取方法，将扩展高斯球跟改进的ICP算法的优点相结合。

本发明通过以下技术方案来实现，一种基于扩展高斯球与M估计的非完备数据对称特征的提取方法，包括下述步骤:

1)对缺损颜面模型进行扫描，获取初始镜像数据；

2)建立扩展高斯球求取对应点；

3)基于对应点粗对齐；

4)利用M估计ICP算法将对应点进行精对齐；

5)对应点中点集最小二乘拟合计算中心对称面。

优选的，所述步骤1)对缺损颜面模型进行扫描，获取初始镜像数据为：采用三维扫描仪的方法，获取脸部形状与纹理信息。

优选的，所述步骤2)建立扩展高斯图求取对应点包括以下步骤：

(1)为了去除点云数据中的噪声点云并建立空间拓扑关系，需要对扫描得到的点云数据进行预处理：

a.首先采用基于空间栅格化的拓扑结构来建立点与点之间的空间拓扑关系；根据栅格的大小将点云数据划分为大小相等的立方体空间栅格，并将点云数据中的每一个点归入相应的立方体空间栅格中；栅格划分结束后采用链表的结构来存储点云数据；

b.在空间结构栅格化的基础上，采用栅格的连通性来去除多余的噪声点云；

c.采用一种基于空间分块策略的k邻域快速搜索对点云搜索；给定一个查询点，搜寻与其距离最近的k个点，确定相应的立方体空间栅格，比较栅格中的点数是否大于k，如果是就计算点到子栅格的六个面的最短距离，在栅格中进行k邻域搜索，以空间内有k个点为终止条件，记录k个点的序号并复位栅格；

(2)求出曲面的法矢量

点云数据预处理后，其中的离散点具有曲面特性，求出法矢量即曲面的表征参数，利用最小二乘拟合曲面来进行拟合最近邻域点；首先搜索P点的k邻域点并计算其重心O，

最小二乘拟合曲面的法矢为：

$f=\underset{i=1}{\overset{k}{\Σ}}\left|\right|(P_i-O)\·M\left|\right|$

向量M为拟合曲面的法向量，i为P点的k邻域内一点序号；

求得法矢量后对其进行方向调整，设测量点P_i,P_j∈S是曲面上的距离很近的两点，两点的法矢方向应一致，两个法矢的点积m_i,m_j≈+1，否则表示两者方向相反，m_i或m_j应当反向；

(3)将点云数据的法矢量进行单位化

高斯映射是将曲线或曲面上点云数据的法矢量进行单位化，从而反映曲线或曲面的几何特性，并将法矢的起点平移至同一个端点上，各法矢的端点则落在半径为1的单位圆上，曲面的各法矢端点则落在单位球面上，法矢端点在球上的投影点所构成的图像，三维点云的法矢量就是该点邻域所在拟合曲面的法矢，设M为点云其中一点，则其单位法矢量为P_M＝(x,y,z)，根据直角坐标系跟球坐标系的转换公式为：

式中：θ为P_M与Z轴正向夹角，为P_M与X轴正向夹角；

高斯球的坐标为

(4)求解曲面曲率并计算出点的曲率

利用解析法在点云中建立局部坐标系，在坐标系中拟合解析曲面，通过求解曲面的曲率得到点的曲率；在上面计算得到P的法矢量后，以点P为原点建立空间坐标系，坐标轴为(l,m,n)，以点P的法矢方向作为坐标轴l的方向，其余坐标轴在点P的切平面内任取两个方向；

将曲面定义成矢量形式S(m,n)＝[m n l(m,n)]，拟合的最小二次曲面的参数方程为其中a＝l_m,b＝l_n,c＝l_mm,d＝l_mn,e＝l_nn。曲面在P点的一阶偏导数S_m＝[1,0,l_m]^T，S_n＝[0,1,l_n]^T，原点处的单位法矢为

曲面二阶偏导数为S_mm＝[0,0,l_mm]^T,S_mn＝[0,0,l_mn]^T，S_nn＝[0,0,l_nn]^T。

定义并求得曲面第一类基本量A,B,C如下：

A＝S_m ²＝1+a²,B＝S_mS_n＝ab,C＝S_n ²＝1+c²。

定义并求得曲面第二类基本量D,E,F如下：

$D=S_{mn}\·n=\frac{c}{\sqrt{1+a^2+b^2}},E=S_{mn}\·n=\frac{d}{\sqrt{1+a^2+b^2}},F=S_{nn}\·n=\frac{e}{\sqrt{1+a^2+b^2}}.$

曲面的基本量满足公式其中δ为该点的法曲率。

将第一类基本量A,B,C、第二类基本量D,E,F代入上式得到平均曲率H：

$H=\frac{{\mathrm{\δ}}_1+{\mathrm{\δ}}_2}{2}=\frac{AF-2BE+CD}{2(AC-B^2)}.$

(5)建立扩展高斯球

将对应点的曲率信息附加到矢量信息中，形成扩展高斯球；在扩展高斯球中，点云中一点的法矢的起点落在扩展高斯球的球心上，端点落在球面上，每个法向量都带有该点的曲率信息，并且通过点的下标索引来实现点云空间与扩展高斯球空间的联系；

(6)搜索点云中的对应点

建立扩展高斯球的目的是为了快速的搜索两待配准点云中的对应点，通过寻求匹配模板来确定重叠区域，实现基于扩展高斯球的点云配置，然后对扩展高斯球旋转变换，以完成点云的模板匹配；用点云的下标索引来实现点云三维空间与扩展高斯球空间的联系，并通过搜索对应点的曲率信息找到最接近的点对。

优选的，所述步骤3)基于对应点粗对齐为：利用三点对齐坐标变换方法，对点云数据进行初始配准，也就是求两点云之间的变换矩阵来使得对应点粗对齐。

优选的，所述步骤4)M估计ICP算法精对齐为：

基于M估计的ICP方法是最小化下列函数E_r＝∑_jρ(r_i(x_i,p)；σ)，该函数是残差r_i(x_i,p)的函数，该函数具有抑制外点的作用，使得外点几乎不起作用，令r(x,p)＝t则

$\mathrm{\&rho;}(t_i,\mathrm{\&sigma;})=\left\{\begin{array}{cc}log(1+\frac{1}{2}{t_i}^2),& \left|t_i\right|<3\mathrm{\&sigma;}\\ 0,& \left|t_i\right|<3\mathrm{\&sigma;}\end{array}\right.$

其中σ是残差的标准差；E(r)的最小化通过共轭梯度搜索算法来实现。

本发明的有益效果是:将扩展高斯球跟改进的ICP算法的优点结合起来，从而提出一种新的特征提取方法，使得特征提取更加精确，能满足更多的特征提取的复杂条件。

附图说明

图1本发明基于扩展高斯球与M估计的非完备数据对称特征的提取方法步骤流程图；

图2本发明的扩展高斯球建立流程图。

具体实施方式

下面结合附图和基于扩展高斯球与M估计融合的非完备数据的对称特征的提取方法，对本发明的具体实施作进一步描述。

1)扫描缺损颜面模型

目前对于采集三维颜面数据，采用基于三维扫描仪的方法，能够获取较为精确的脸部形状跟纹理信息。

2)建立扩展高斯图，求取对应点

(1)如图2所示，扩展高斯图的建立方法如下所示：为了去除点云数据中的噪声点云并建立空间拓扑关系，需要对扫描得到的点云数据进行处理：

a.首先采用基于空间栅格化的拓扑结构来建立点与点之间的空间拓扑关系。根据栅格的大小将点云数据划分为大小相等的立方体空间栅格，并将点云数据中的每一个点归入相应的立方体空间栅格中。栅格划分结束后采用链表的结构来存储点云数据。

b.在空间结构栅格化的基础上，采用栅格的连通性来去除多余的噪声点云。

c.采用一种基于空间分块策略的k邻域快速搜索对点云搜索。给定一个查询点，搜寻与其距离最近的k个点，确定相应的立方体空间栅格，比较栅格中的点数是否大于k，如果是就计算点到子栅格的六个面的最短距离，在栅格中进行k邻域搜索，以空间内有k个点为终止条件，记录k个点的序号并复位栅格。

(2)求出曲面的法矢量

点云数据预处理后，其中的离散点具有曲面特性，求出法矢量即曲面的表征参数，利用最小二乘拟合曲面来进行拟合最近邻域点；首先搜索P点的k邻域点并计算其重心O，

最小二乘拟合曲面的法矢为：

$f=\underset{i=1}{\overset{k}{\&Sigma;}}\left|\right|(P_i-O)\&CenterDot;M\left|\right|$

向量M为拟合曲面的法向量，i为P点的k邻域内一点序号；

求得法矢量后对其进行方向调整，设测量点P_i,P_j∈S是曲面上的距离很近的两点，两点的法矢方向应一致，两个法矢的点积m_i,m_j≈+1，否则表示两者方向相反，m_i或m_j应当反向；

(3)将点云数据的法矢量进行单位化

高斯映射是将曲线或曲面上点云数据的法矢量进行单位化，从而反映曲线或曲面的几何特性，并将法矢的起点平移至同一个端点上，各法矢的端点则落在半径为1的单位圆上，曲面的各法矢端点则落在单位球面上，法矢端点在球上的投影点所构成的图像，三维点云的法矢量就是该点邻域所在拟合曲面的法矢，设M为点云其中一点，则其单位法矢量为P_M＝(x,y,z)，根据直角坐标系跟球坐标系的转换公式为：

式中：θ为P_M与Z轴正向夹角，为P_M与X轴正向夹角；

高斯球的坐标为

(4)求解曲面曲率并计算出点的曲率。利用解析法在点云中建立局部坐标系，在坐标系中拟合解析曲面，通过求解曲面的曲率得到点的曲率。在上面计算得到P的法矢量后，以点P为原点建立空间坐标系，坐标轴为(l,m,n)，以点P的法矢方向作为坐标轴l的方向，其余坐标轴在点P的切平面内任取两个方向。

将曲面定义成矢量形式S(m,n)＝[m n l(m,n)]，拟合的最小二次曲面的参数方程为其中a＝l_m,b＝l_n,c＝l_mm,d＝l_mn,e＝l_nn。曲面在P点的一阶偏导数S_m＝[1,0,l_m]^T，S_n＝[0,1,l_n]^T，原点处的单位法矢为曲面二阶偏导数为S_mm＝[0,0,l_mm]^T,S_mn＝[0,0,l_mn]^T，S_nn＝[0,0,l_nn]^T。

定义并求得曲面第一类基本量A,B,C如下：

A＝S_m ²＝1+a²,B＝S_mS_n＝ab,C＝S_n ²＝1+c²。

定义并求得曲面第二类基本量D,E,F如下：

$D=S_{mn}\&CenterDot;n=\frac{c}{\sqrt{1+a^2+b^2}},E=S_{mn}\&CenterDot;n=\frac{d}{\sqrt{1+a^2+b^2}},F=S_{nn}\&CenterDot;n=\frac{e}{\sqrt{1+a^2+b^2}}.$

曲面的基本量满足公式其中δ为该点的法曲率。

将第一类基本量A,B,C、第二类基本量D,E,F代入上式得到平均曲率H：

$H=\frac{{\mathrm{\&delta;}}_1+{\mathrm{\&delta;}}_2}{2}=\frac{AF-2BE+CD}{2(AC-B^2)}.$

(5)建立扩展高斯球。将对应点的曲率信息附加到矢量信息中，形成扩展高斯球。在扩展高斯球中，点云中一点的法矢的起点落在扩展高斯球的球心上，端点落在球面上，每个法向量都带有该点的曲率信息，并且通过点的下标索引来实现点云空间与扩展高斯球空间的联系。

(6)搜索点云中的对应点。建立扩展高斯球的目的是为了快速的搜索两待配准点云中的对应点，通过寻求匹配模板来确定重叠区域，实现基于扩展高斯球的点云配置，然后对扩展高斯球旋转变换，以完成点云的模板匹配。用点云的下标索引来实现点云三维空间与扩展高斯球空间的联系，并通过搜索对应点的曲率信息找到最接近的点对。

3)基于对应点粗对齐

对应点搜索完成之后，利用三点对齐坐标变换方法，对点云数据进行初始配准，也就是求两点云之间的变换矩阵来使得对应点粗对齐。由于算法存在局部收敛性问题，因此需要结合ICP算法来进一步对齐。

4)M估计ICP算法精对齐

基于M估计的ICP方法是最小化下列函数E_r＝∑_jρ(r_i(x_i,p)；σ)，该函数是残差r_i(x_i,p)的函数，该函数具有抑制外点的作用，使得外点几乎不起作用，令r(x,p)＝t则

$\mathrm{\&rho;}(t_i,\mathrm{\&sigma;})=\left\{\begin{array}{cc}log(1+\frac{1}{2}{t_i}^2),& \left|t_i\right|<3\mathrm{\&sigma;}\\ 0,& \left|t_i\right|<3\mathrm{\&sigma;}\end{array}\right.$

其中σ是残差的标准差；E(r)的最小化通过共轭梯度搜索算法来实现。

(5)计算对称面

对应点精对齐后利用最小二乘法来计算中心对称面。

Claims (5)

1.一种基于扩展高斯球与M估计的非完备数据对称特征的提取方法，其特征在于，所述提取方法包括下述步骤:

1)对缺损颜面模型进行扫描，获取初始镜像数据；

2)建立扩展高斯球求取对应点；

3)基于对应点粗对齐；

4)利用M估计ICP算法将对应点进行精对齐；

5)对应点中点集最小二乘拟合计算中心对称面。

2.根据权利要求1基于扩展高斯球与M估计的非完备数据对称特征的提取方法，其特征在于，所述步骤1)对缺损颜面模型进行扫描，获取初始镜像数据为：采用三维扫描仪的方法，获取脸部形状与纹理信息。

3.根据权利要求1基于扩展高斯球与M估计的非完备数据对称特征的提取方法，其特征在于，所述步骤2)建立扩展高斯图求取对应点包括以下步骤：

1)为了去除点云数据中的噪声点云并建立空间拓扑关系，需要对扫描得到的点云数据进行预处理：

a.首先采用基于空间栅格化的拓扑结构来建立点与点之间的空间拓扑关系；根据栅格的大小将点云数据划分为大小相等的立方体空间栅格，并将点云数据中的每一个点归入相应的立方体空间栅格中；栅格划分结束后采用链表的结构来存储点云数据；

b.在空间结构栅格化的基础上，采用栅格的连通性来去除多余的噪声点云；

c.采用一种基于空间分块策略的k邻域快速搜索对点云搜索；给定一个查询点，搜寻与其距离最近的k个点，确定相应的立方体空间栅格，比较栅格中的点数是否大于k，如果是就计算点到子栅格的六个面的最短距离，在栅格中进行k邻域搜索，以空间内有k个点为终止条件，记录k个点的序号并复位栅格；

(2)求出曲面的法矢量

点云数据预处理后，其中的离散点具有曲面特性，求出法矢量即曲面的表征参数，利用最小二乘拟合曲面来进行拟合最近邻域点；首先搜索P点的k邻域点并计算其重心O，

最小二乘拟合曲面的法矢为：

$f=\underset{i=1}{\overset{k}{\&Sigma;}}\left|\right|(P_i-O)\&CenterDot;M\left|\right|$

其中向量M为拟合曲面的法向量，i为P点的k邻域内一点序号；

求得法矢量后对其进行方向调整，设测量点P_i,P_j∈S是曲面上的距离很近的两点，两点的法矢方向应一致，两个法矢的点积m_i,m_j≈+1，否则表示两者方向相反，m_i或m_j应当反向；

(3)将点云数据的法矢量进行单位化

高斯映射是将曲线或曲面上点云数据的法矢量进行单位化，从而反映曲线或曲面的几何特性，并将法矢的起点平移至同一个端点上，各法矢的端点则落在半径为1的单位圆上，曲面的各法矢端点则落在单位球面上，法矢端点在球上的投影点所构成的图像，三维点云的法矢量就是该点邻域所在拟合曲面的法矢，设M为点云其中一点，则其单位法矢量为P_M＝(x,y,z)，根据直角坐标系跟球坐标系的转换公式为：

式中：θ为P_M与Z轴正向夹角，为P_M与X轴正向夹角；

高斯球的坐标为

(4)求解曲面曲率并计算出点的曲率

利用解析法在点云中建立局部坐标系，在坐标系中拟合解析曲面，通过求解曲面的曲率得到点的曲率；在上面计算得到P的法矢量后，以点P为原点建立空间坐标系，坐标轴为(l,m,n)，以点P的法矢方向作为坐标轴l的方向，其余坐标轴在点P的切平面内任取两个方向；

将曲面定义成矢量形式S(m,n)＝[m n l(m,n)]，拟合的最小二次曲面的参数方程为其中a＝l_m,b＝l_n,c＝l_mm,d＝l_mn,e＝l_nn。曲面在P点的一阶偏导数S_m＝[1,0,l_m]^T，S_n＝[0,1,l_n]^T，原点处的单位法矢为曲面二阶偏导数为S_mm＝[0,0,l_mm]^T,S_mn＝[0,0,l_mn]^T，S_nn＝[0,0,l_nn]^T。

定义并求得曲面第一类基本量A,B,C如下：

A＝S_m ²＝1+a²,B＝S_mS_n＝ab,C＝S_n ²＝1+c²。

定义并求得曲面第二类基本量D,E,F如下：

$D=S_{mm}\&CenterDot;n=\frac{c}{\sqrt{1+a^2+b^2}},E=S_{mn}\&CenterDot;n=\frac{d}{\sqrt{1+a^2+b^2}},F=S_{nn}\&CenterDot;n=\frac{e}{\sqrt{1+a^2+b^2}}.$

曲面的基本量满足公式其中δ为该点的法曲率。

将第一类基本量A,B,C、第二类基本量D,E,F代入上式得到平均曲率H：

$H=\frac{{\mathrm{\&delta;}}_1+{\mathrm{\&delta;}}_2}{2}=\frac{AF-2BE+CD}{2(AC-B^2)}.$

(5)建立扩展高斯球

将对应点的曲率信息附加到矢量信息中，形成扩展高斯球；在扩展高斯球中，点云中一点的法矢的起点落在扩展高斯球的球心上，端点落在球面上，每个法向量都带有该点的曲率信息，并且通过点的下标索引来实现点云空间与扩展高斯球空间的联系；

(6)搜索点云中的对应点

建立扩展高斯球的目的是为了快速的搜索两待配准点云中的对应点，通过寻求匹配模板来确定重叠区域，实现基于扩展高斯球的点云配置，然后对扩展高斯球旋转变换，以完成点云的模板匹配；用点云的下标索引来实现点云三维空间与扩展高斯球空间的联系，并通过搜索对应点的曲率信息找到最接近的点对。

4.根据权利要求1基于扩展高斯球与M估计的非完备数据对称特征的提取方法，其特征在于，所述步骤3)基于对应点粗对齐为：利用三点对齐坐标变换方法，对点云数据进行初始配准，也就是求两点云之间的变换矩阵来使得对应点粗对齐。

5.根据权利要求1基于扩展高斯球与M估计的非完备数据对称特征的提取方法，其特征在于，所述步骤4)M估计ICP算法精对齐为：

基于M估计的ICP方法是最小化下列函数E_r＝∑_jρ(r_i(x_i,p)；σ)，该函数是残差r_i(x_i,p)的函数，该函数具有抑制外点的作用，使得外点几乎不起作用，令r(x,p)＝t，则

$\mathrm{\&rho;}(t_i,\mathrm{\&sigma;})=\left\{\begin{array}{cc}log(1+\frac{1}{2}{t_i}^2),& \left|t_i\right|<3\mathrm{\&sigma;}\\ 0,& \left|t_i\right|<3\mathrm{\&sigma;}\end{array}\right.$

其中σ是残差的标准差；E(r)的最小化通过共轭梯度搜索算法来实现。