CN102855666A - 基于层次化回归模型的颅面重构方法 - Google Patents

Abstract

本发明公开了一种基于层次化回归模型来实现对未知颅骨进行面皮重构的方法，通过对训练样本集中的颅骨和面皮分别进行处理得到规格化的训练样本数据，通过子空间分析得到颅骨、面皮、眼睛、鼻子、嘴巴五个子空间，并分别建立面皮、眼睛、鼻子、嘴巴的子空间特征对颅骨子空间特征的回归模型；根据回归模型重构未知颅骨的面皮整体和眼睛、鼻子、嘴巴的三维网格模型，最后融合面皮整体和眼睛、鼻子、嘴巴三维网格模型得到重构面皮。本发明不但能够实现面部基本形状和整体结构的精确重构，而且能较好地重构五官局部特征区域。在刑侦、考古、法医人类学、医学手术、美容整容等领域具有重要的应用价值和实用价值。

Description

基于层次化回归模型的颅面重构方法

技术领域

本发明涉及面皮重构的方法，特别涉及一种基于层次化回归模型的颅面重构方法，属于法医人类学技术领域。

背景技术

颅骨是人类面貌的内在生物特征，根据颅骨形态实现面貌重构是法医人类学领域的典型应用项目。传统的手工方法是在待定颅骨的基础上，借助解剖测量和针刺测量途径获得人脸软组织的厚度规律，由艺术家雕塑而成，即需要人类学家、艺术家和医生合作完成，其缺点是较多的依赖重构者个人对颅面特征和艺术的把握，因此其面貌重构的结果受主观因素影响较大，不具备科学推广的价值，并且重构一个颅面需要几天的时间。

目前，现有的根据颅骨形态实现面貌重构的较为科学的方法基本上分为两类：一类是基于软组织厚度测量的方法。通过测量一定数量的颅面样本在颅骨上一些关键特征点处的平均软组织厚度作为经验知识，对于目标颅骨，首先根据这些平均软组织厚度的经验值，获得颅骨关键特征点处的面皮位置，然后通过插值、变形等技术得到整个颅骨的面皮。这类方法只要求在颅骨上标注少量关键特征点，并获得这些点的软组织厚度，所需的数据较少。然而，这些关键特征点处的软组织厚度和颅面形状之间并没有直接的相关关系；另一类是基于统计变形模型的方法。这类方法将一套颅骨和面皮数据组织为一个整体形成一个向量，通过对大量的训练样本进行主成份分析（PCA），建立参数化的颅面统计变形模型，通过优化的方法将统计模型匹配到目标颅骨，获得模型参数实现颅面重构。上述现有方法本质上是针对仅具有小部分数据的颅面样本求解数据缺失这一病态问题，其缺点是优化过程容易陷入局部极小区域，很难体现颅骨的特征点对面皮重构的决定性作用。

发明内容

为了克服现有方法的不足，本发明利用颅骨与面皮的内在本质关系，提供一种能够根据颅骨进行面皮重构的基于层次化回归模型的颅面重构方法。主要用于刑侦、考古、法医人类学、医学手术、美容整容等领域。

为实现上述目的，本发明的技术方案是从面皮中分割出眼睛、鼻子、嘴巴三个特征区域，分别将颅骨、面皮、眼睛、鼻子、嘴巴投影到不同的低维子空间，在低维子空间建立层次化回归模型，包括眼睛、鼻子、嘴巴三个特征区域的局部回归模型和面皮整体的回归模型。对待重构的目标颅骨，利用层次化回归模型能够得到面皮整体重构和眼睛、鼻子、嘴巴三个局部特征区域的重构结果，通过融合整体和局部重构结果得到最终的面皮。

本发明的方法的具体步骤包括：

1)模型训练：

1.1）数据处理：对训练样本集中的颅骨和面皮分别进行非刚性三维数据配准，并将颅骨和面皮的姿态和大小规格化，分别得到顶点个数相同、语义相同、连接关系一致的颅骨三维网格模型样本集和面皮三维网格模型样本集，然后从每个面皮的三维网格模型中分割出眼睛、鼻子、嘴巴三个区域的三维网格模型，最后分别将每个颅骨、面皮、眼睛、鼻子、嘴巴的三维网格模型按点的坐标规格化为一个高维原始特征向量；

1.2）子空间分析：对步骤1.1）中得到的训练样本的颅骨、面皮、眼睛、鼻子、嘴巴的高维原始特征向量集分别进行子空间分析，得到五个子空间投影矩阵，并将这些高维数据投影到相应的低维子空间；

1.3）层次化回归模型建立：分别建立面皮、眼睛、鼻子、嘴巴的子空间特征对颅骨子空间特征的回归模型；

2）颅面重构：

2.1）数据处理：将未知颅骨与训练样本集中的颅骨进行非刚性三维数据配准，将未知颅骨的姿态和大小规格化，并按点的坐标将未知颅骨规格化为一个高维原始特征向量；

2.2）层次化面皮模型重构：利用步骤1.2）中的颅骨子空间投影矩阵将步骤2.1）中得到的未知颅骨的高维原始特征向量投影到颅骨子空间，利用步骤1.3）建立的层次化回归模型得到相应于未知颅骨的面皮、眼睛、鼻子、嘴巴的子空间特征，根据相应的子空间特征恢复出未知颅骨的面皮整体三维网格模型和眼睛、鼻子、嘴巴这三个区域的局部三维网格模型；

2.3)模型融合：融合面皮整体三维网格模型和眼睛、鼻子、嘴巴这三个局部的三维网格模型得到未知颅骨的重构面皮。

优选地，步骤1.2）中所述子空间分析采用独立成份分析ICA、主成份分析PCA中的一种。

优选地，步骤1.3）中所述的回归模型建模采用岭回归、偏最小二乘回归方法中的一种。

优选地，步骤2.3）中所述的模型融合采用如下方法：

首先，定义三维网格模型上顶点P的K阶邻接点如下：定义P本身为P的0阶邻接点；存在一条边与P直接相连的顶点称为P的1阶邻接点；与P的K-1阶邻接点直接相连且不属于P的0阶到K-1阶邻接点集的顶点称为P的K阶邻接点；模型融合的具体步骤为：

a.根据眼睛、鼻子、嘴巴局部三维网格模型与面皮整体三维网格模型上的点对应确定眼睛、鼻子、嘴巴局部三维网格模型到面皮整体三维网格模型的旋转平移变换，并将眼睛、鼻子、嘴巴局部三维网格模型变换到面皮整体三维网格模型；

b.确定变换后眼睛、鼻子、嘴巴局部三维网格模型的边界顶点集L₀＝{X_i，i＝1，2，...，n₀}，以及L₀的0阶到K阶邻接点集h＝0，1，...，K，假定L₀在面皮整体三维网格模型上的对应点集为G₀＝{Y_i，i＝1，2，...，n₀}，确定一个TPS插值变换f满足下面的插值要求

$\left\{\begin{array}{c}f\left(X_i\right)=Y_i,i=\mathrm{1,2},...,n_0\\ f\left(X_i^K\right)=X_i^K,i=\mathrm{1,2},...,n_K\end{array}\right.---\left(1\right);$

c.对所述局部三维网格模型上的顶点作下述变换，对L₀的邻接点集L_h，h=0，1，...，K施行变换f，而所述局部三维网格模型上除这些邻接点以外的其它顶点保持不变，用变换后的顶点代替面皮整体三维网格模型上的对应点，得到融合后的重构面皮。

优选地，所述邻接点阶数K取K=4。

本发明构建了层次化回归模型，包括眼睛、鼻子、嘴巴三个特征区域的局部回归模型和一个面皮整体回归模型。对待重构的目标颅骨，利用层次化回归模型可以得到面皮整体重构和三个局部特征区域的重构结果，通过融合整体和局部重构结果得到最终的重构面皮。与以往针对整体结构或分区的统计方法相比，本发明不但能够实现基本形状和整体结构的精确重构，而且能较好地重构局部特征区域，重构准确度高。此外，本方法更能体现颅骨决定面貌这一本质联系。主要用于刑侦、考古、法医人类学、医学手术、美容整容等领域。

附图说明

图1为本发明所述基于层次化回归模型的颅面重构方法的流程图。

具体实施方式

下面结合附图对本发明所述基于层次化回归模型的颅面重构方法的具体实施方式作进一步详细的说明。

如图1所示，本发明所述基于层次化回归模型的颅面重构方法的主要步骤包括：

1)模型训练：

1.1）数据处理：对训练样本集中的颅骨和面皮分别进行非刚性三维数据配准，并将颅骨和面皮的姿态和大小规格化，分别得到顶点个数相同、语义相同、连接关系一致的颅骨三维网格模型样本集和面皮三维网格模型样本集，然后从每个面皮的三维网格模型中分割出眼睛、鼻子、嘴巴三个区域的三维网格模型，最后分别将每个颅骨、面皮、眼睛、鼻子、嘴巴的三维网格模型按点的坐标规格化为一个高维原始特征向量；

1.2）子空间分析：对步骤1.1）中得到的训练样本的颅骨、面皮、眼睛、鼻子、嘴巴的高维原始特征向量集分别进行子空间分析，得到五个子空间投影矩阵，并将这些高维数据投影到相应的低维子空间；

1.3）层次化回归模型建立：分别建立面皮、眼睛、鼻子、嘴巴的子空间特征对颅骨子空间特征的回归模型；

2）颅面重构：

2.1）数据处理：将未知颅骨与训练样本集中的颅骨进行非刚性三维数据配准，将未知颅骨的姿态和大小规格化，并按点的坐标将未知颅骨规格化为一个高维原始特征向量；

2.2）层次化面皮模型重构：利用步骤1.2）中的颅骨子空间投影矩阵将步骤2.1）中得到的未知颅骨的高维原始特征向量投影到颅骨子空间，利用步骤1.3）建立的层次化回归模型得到相应于未知颅骨的面皮、眼睛、鼻子、嘴巴的子空间特征，根据相应的子空间特征恢复出未知颅骨的面皮整体三维网格模型和眼睛、鼻子、嘴巴这三个区域的局部三维网格模型；

2.3)模型融合：融合面皮整体三维网格模型和眼睛、鼻子、嘴巴这三个局部的三维网格模型得到未知颅骨的重构面皮。

本实施例中假定有n个训练样本，以下为具体的实施步骤：

步骤1).模型训练

步骤1.1）数据处理：把训练样本集中的所有三维颅面数据统一到法兰克福坐标系,按颅骨左耳孔Lp和右耳孔Rp这两个特征点间的距离将颅骨和面皮的大小规格化，选择一个参考颅骨和参考面皮，对训练样本集中的颅骨和面皮分别进行非刚性三维数据配准，分别得到顶点个数相同、语义相同、连接关系一致的颅骨三维网格模型样本集和面皮三维网格模型样本集，人工去除颅骨三维网格模型和面皮三维网格模型中不属于面部的部分,然后从每个面皮的三维网格模型中分割出眼睛、鼻子、嘴巴三个区域的三维网格模型，最后将每个颅骨、面皮、眼睛、鼻子、嘴巴的三维网格模型按点的坐标分别规格化为s，f，e，n，m维的原始特征向量。由于颅骨和面皮数据已经经过配准，所有颅骨的三维网格模型和所有面皮的三维网格模型都分别具有严格的顶点对应和一致的连接关系，因此，在去除每个颅骨和面皮三维网格模型中不属于面部的部分以及分割眼睛、鼻子、嘴巴区域时，仅需对参考数据进行手工操作，其它数据根据对应关系自动实现。非刚性三维数据配准是一个较成熟的技术，有大量的方法供选用，这里以一种迭代的TPS（Thin Plate Spline)配准方法为例描述对颅骨数据的配准，面皮数据的配准过程与颅骨数据的配准过程相同。假定参考颅骨用S₀表示，目标颅骨用T表示，其步骤为：

①在参考颅骨S₀上随机选择N个点M＇₀={L＇_0j|L＇_0j=(x＇_0j，y＇_0j，z＇_0j)，j=1，...，N}，N>6作为特征点，并通过ICP（Iterative Closest Point）方法在目标颅骨T上得到其对应点M＇₂={L＇_2j|L＇_2j=(x＇_2j，y＇_2j，z＇_2j)，j=1，...，N}，将这N对对应点作为TPS变换的控制点集，求取S₀和T间的TPS变换φ，对S₀进行变换φ后得到变换后参考颅骨S₁；

②在参考颅骨S₀上重新随机选择N个点M₀={L_0j|j=(x_0j，y_0j，z_0j)，j=1，...，N}，根据TPS变换φ求取点集M₀在S₁上的对应点集M₁={L_1j|L_1j=(x_1j，y_1j，z_1j)，j=1，...，N}，再通过对S₁和目标颅骨T进行ICP，得到M₁在目标颅骨T上的对应点集M₂={L_2j|L_2j=(x_2j，y_2j，z_2j)，j=1，...，N}，将M₀，M₂这组对应点作为新的控制点集重新求取S₀和T间的TPS变换，得到更新的变换φ，并对S₀进行变换φ以更新S₁；

③如果S₁与目标颅骨T间对应点的误差之和达到给定的阈值要求，或迭代次数超过设定的次数,转入下一步，否则转步骤②,所述阈值和迭代次数能够根据经验来设定；

④根据最后获得的TPS变换φ确定目标颅骨T与参考颅骨S₀间的点对应，利用点对应计算两者间的旋转和平移变换，并对目标颅骨T进行变换以实现姿态调整。

步骤1.2).子空间分析:对训练样本的颅骨、面皮、眼睛、鼻子、嘴巴的高维原始特征向量集分别进行子空间分析，子空间分析采用独立成份分析ICA、主成份分析PCA等，以采用主成份分析PCA为例，保留95％的数据方差，得到五个子空间投影矩阵S_s×s＇，F_f×f＇，E_e×e＇，N_n×n＇，M_m×m＇，并将这些高维数据投影到相应的低维子空间，s＇，f＇，e＇，n＇，m＇为相应的子空间维数。

步骤1.3）层次化回归模型建立：分别建立面皮、眼睛、鼻子、嘴巴的子空间特征对颅骨子空间特征的回归模型，采用岭回归、偏最小二乘回归等方法进行建模，这里采用偏最小二乘回归方法，建立的回归模型为：

$\left\{\begin{array}{c}{Y}_f=M_f{X}_s\\ Y_e=M_e{X}_s\\ Y_n=M_n{X}_s\\ Y_m=M_m{X}_s\end{array}\right.---\left(a\right)$

其中X_s，Y_f，Y_e，Y_n，Y_m分别为颅骨、面皮、眼睛、鼻子、嘴巴子空间特征。

步骤2）颅面重构

步骤2.1）数据处理：将未知颅骨的三维数据统一到法兰克福坐标系，按颅骨左耳孔Lp和右耳孔Rp这两个特征点间的距离将颅骨的大小规格化，并将未知颅骨与训练样本集中的颅骨进行步骤1.1)中所述的非刚性三维数据配准，得到与训练样本集中颅骨一致的未知颅骨的三维网格模型，去除其中不属于面部的部分，按点的坐标排列为一个s维原始特征向量V。

步骤2.2）层次化面皮模型重构：利用步骤1.2）中的颅骨子空间投影矩阵S_s×s＇将未知颅骨的规格化数据V投影到颅骨子空间，得到颅骨子空间特征

利用步骤1.3）建立的层次化回归模型得到相应于未知颅骨的面皮、眼睛、鼻子、嘴巴的子空间特征Y_f，Y_e，Y_n，Y_m，利用子空间投影矩阵S_s×s＇，F_f×f＇，E_e×e＇，N_n×n＇，M_m×m＇，恢复面皮整体三维数据模型F_f×f＇Y_f和眼睛、鼻子、嘴巴这三个区域的局部三维数据模型E_e×e＇Y_e，N_n×n＇Y_n，M_m×m＇Y_m。

步骤2.3)模型融合：融合面皮整体模型和眼睛、鼻子、嘴巴这三个局部模型得到未知颅骨的重构面皮。

模型融合的方法有多种，这里采用一种TPS插值方法。为叙述方便，定义网格模型上顶点P的K阶邻接点如下：定义P本身为P的0阶邻接点；存在一条边与P直接相连的顶点称为P的1阶邻接点；与P的K-1阶邻接点直接相连且不属于P的0阶到K-1阶邻接点集的顶点称为P的K阶邻接点。

模型融合的具体步骤为：

a.根据眼睛、鼻子、嘴巴局部三维网格模型与面皮整体三维网格模型上的点对应确定眼睛、鼻子、嘴巴局部三维网格模型到面皮整体三维网格模型的旋转平移变换，并将眼睛、鼻子、嘴巴局部三维网格模型变换到面皮整体三维网格模型；

b.确定变换后眼睛、鼻子、嘴巴局部三维网格模型的边界顶点集L₀＝{X_i，i＝1，2，...，n₀}，以及L₀的0阶到K阶邻接点集

h＝0，1，...，K，假定L₀在面皮整体三维网格模型上的对应点集为G₀={Y_i，i＝1，2，...，n₀}，确定一个TPS插值变换f满足下面的插值要求，即下述公式（b）；

$\left\{\begin{array}{c}f\left(X_i\right)=Y_i,i=\mathrm{1,2},...,n_0\\ f\left(X_i^K\right)=X_i^K,i=\mathrm{1,2},...,n_K\end{array}\right.---\left(b\right)$

c.对所述局部三维网格模型上的顶点作下述变换，对L₀的邻接点集L_h，h=0，1，...，K施行变换f，而所述局部三维网格模型上除这些邻接点以外的其它顶点保持不变，用变换后的顶点代替面皮整体三维网格模型上的对应点，得到融合后的重构面皮。邻接点阶数K能够根据经验确定,一般取K=4。

总之，本发明的实施例公布的是其较佳的实施方式，但并不限于此。本领域的技术人员极易根据上述实施例领会本发明的精神，只要不脱离本发明的技术方案的基础所作出的任何变型或替换，都在本发明的保护范围之内。

Claims (5)

1.基于层次化回归模型的颅面重构方法，其特征在于，包括下列步骤：

1)模型训练；

1.1）数据处理：对训练样本集中的颅骨和面皮分别进行非刚性三维数据配准，并将颅骨和面皮的姿态和大小规格化，分别得到顶点个数相同、语义相同、连接关系一致的颅骨三维网格模型样本集和面皮三维网格模型样本集，然后从每个面皮的三维网格模型中分割出眼睛、鼻子、嘴巴三个区域的三维网格模型，最后分别将每个颅骨、面皮、眼睛、鼻子、嘴巴的三维网格模型按点的坐标规格化为一个高维原始特征向量；

1.2）子空间分析：对步骤1.1）中得到的训练样本的颅骨、面皮、眼睛、鼻子、嘴巴的高维原始特征向量集分别进行子空间分析，得到五个子空间投影矩阵，并将这些高维数据投影到相应的低维子空间；

1.3）层次化回归模型建立：分别建立面皮、眼睛、鼻子、嘴巴的子空间特征对颅骨子空间特征的回归模型；

2）颅面重构；

2.1）数据处理：将未知颅骨与训练样本集中的颅骨进行非刚性三维数据配准，将未知颅骨的姿态和大小规格化，并按点的坐标将未知颅骨规格化为一个高维原始特征向量；

2.2）层次化面皮模型重构：利用步骤1.2）中的颅骨子空间投影矩阵将步骤2.1）中得到的未知颅骨的高维原始特征向量投影到颅骨子空间，利用步骤1.3）建立的层次化回归模型得到相应于未知颅骨的面皮、眼睛、鼻子、嘴巴的子空间特征，根据相应的子空间特征恢复出未知颅骨的面皮整体三维网格模型和眼睛、鼻子、嘴巴这三个区域的局部三维网格模型；

2.3)模型融合：融合面皮整体三维网格模型和眼睛、鼻子、嘴巴这三个局部的三维网格模型得到未知颅骨的重构面皮。

2.根据权利要求1所述的基于层次化回归模型的颅面重构方法，其特征在于，步骤1.2）中所述子空间分析采用独立成份分析ICA、主成份分析PCA中的一种。

3.根据权利要求2所述的基于层次化回归模型的颅面重构方法，其特征在于，步骤1.3）中所述的回归模型建模采用岭回归、偏最小二乘回归方法中的一种。

4.根据权利要求1-3任一项所述的基于层次化回归模型的颅面重构方法，其特征在于，步骤2.3）中所述的模型融合采用如下方法：

首先，定义三维网格模型上顶点P的K阶邻接点如下：定义P本身为P的0阶邻接点；存在一条边与P直接相连的顶点称为P的1阶邻接点；与P的K-1阶邻接点直接相连且不属于P的0阶到K-1阶邻接点集的顶点称为P的K阶邻接点；模型融合的具体步骤为：

a.根据眼睛、鼻子、嘴巴局部三维网格模型与面皮整体三维网格模型上的点对应确定眼睛、鼻子、嘴巴局部三维网格模型到面皮整体三维网格模型的旋转平移变换，并将眼睛、鼻子、嘴巴局部三维网格模型变换到面皮整体三维网格模型；

b.确定变换后眼睛、鼻子、嘴巴局部三维网格模型的边界顶点集L₀＝{Xi，i＝1，2，...，n₀}，以及L₀的0阶到K阶邻接点集

h＝0，1，...，K，假定L₀在面皮整体三维网格模型上的对应点集为G₀={Y_i，i＝1，2，...，n₀}，确定一个TPS插值变换f满足下面的插值要求

$\left\{\begin{array}{c}f\left(X_i\right)=Y_i,i=\mathrm{1,2},...,n_0\\ f\left(X_i^K\right)=X_i^K,i=\mathrm{1,2},...,n_K\end{array}\right.---\left(1\right);$

c.对所述局部三维网格模型上的顶点作下述变换，对L₀的邻接点集L_h，h=0，1，...，K施行变换f，而所述局部三维网格模型上除这些邻接点以外的其它顶点保持不变，用变换后的顶点代替面皮整体三维网格模型上的对应点，得到融合后的重构面皮。

5.根据权利要求4所述的基于层次化回归模型的颅面重构方法，其特征在于，所述邻接点阶数K的值为4。