CN102521875A - 一种基于张量空间偏最小二乘回归的颅面重构方法 - Google Patents

Abstract

本发明涉及计算机应用技术领域的一种通过在张量空间进行偏最小二乘回归来实现对未知颅骨进行面皮重构的方法。所述方法分别将训练样本中全体颅骨和全体面皮组织为两个四阶张量，通过张量分解将颅骨和面皮变换到不同的张量特征空间，利用偏最小二乘技术分性别进行面皮张量特征对颅骨张量特征的回归建模。对待重构的目标颅骨，按照与训练样本相同的方式变换到颅骨张量特征空间，利用建立的回归模型得到相应的面皮张量特征，根据张量特征重构出目标面皮。本发明所述方法充分体现了颅骨决定面貌这一本质联系，避免了以往基于统计模型的重构中求解数据缺失这一病态问题。在刑侦、考古、法医人类学、医学手术、美容整容等领域具有重要的应用价值。

Description

一种基于张量空间偏最小二乘回归的颅面重构方法

技术领域

本发明涉及面皮重构方法，特别涉及一种通过在张量空间进行偏最小二乘回归来实现对未知颅骨进行面皮重构的方法。主要用于刑侦、考古、法医人类学、医学手术、美容整容等领域。

背景技术

颅骨是人类面貌的内在生物特征，根据颅骨形态实现面貌重构是法医人类学领域的典型应用项目。传统的手工重构是在待定颅骨的基础上，借助解剖测量和针刺测量途径获得人脸软组织的厚度规律，由艺术家雕塑而成，属于人类学家、艺术家和医生的领域，较多的依赖重构者个人对颅面特征和艺术的把握，其结果受主观因素影响较大，不具备科学推广的价值，并且重构一个颅面需要几天的时间。目前，计算机辅助的颅面三维重构已引起国际信息学、人类学、法医学等相关领域的高度重视，成为国际上研究的热点。

典型技术可分为两类：一类是基于软组织厚度测量的方法。通过测量一定数量的颅面样本在颅骨上一些关键特征点处的平均软组织厚度作为经验知识，对于目标颅骨，首先根据这些平均软组织厚度的经验值，获得颅骨关键特征点处的面皮位置，然后通过插值、变形等技术得到整个颅骨的面皮。这类方法只要求在颅骨上标注少量关键特征点，并获得这些点的软组织厚度，所需的数据较少。然而，这些关键特征点处的软组织厚度和颅面形状之间并没有直接的相关关系；另一类是基于统计变形模型的方法。这类方法将一套颅骨和面皮数据组织为一个整体形成一个向量，通过对大量的训练样本进行主成份分析(PCA)，建立参数化的颅面统计变形模型，通过优化的方法将统计模型匹配到目标颅骨，获得模型参数实现颅面重构。这类方法本质上是对仅具有小部分数据的颅面样本求解数据缺失这一病态问题，优化过程容易陷入局部极小，很难体现颅骨对面皮的决定性作用。

发明内容

本发明的目的在于提供一种基于张量空间偏最小二乘回归的颅面重构方法。

为实现上述目的，本发明的技术解决方案是分别将颅骨和面皮变换到不同的张量特征空间，利用偏最小二乘技术分性别进行面皮张量特征对颅骨张量特征和颅面属性的回归建模。对待重构的目标颅骨，利用建立的回归模型得到相应的面皮张量特征，根据张量特征重构出目标面皮。方法简单易行，速度快，充分体现了颅骨决定面貌这一本质联系，重构准确度高。

本发明所述颅面重构方法的主要步骤包括：

1模型训练

1.1数据处理，把训练样本中的三维颅面统一到法兰克福坐标系(FrankfurtHorizontal)并将大小规格化，去除数据中不属于面部的部分，对颅骨和面皮分别进行三维数据配准，将配准后的颅骨和面皮转化为二维深度图。

1.2张量特征提取，将颅骨和面皮分别变换到颅骨张量特征空间和面皮张量特征空间；

1.3回归模型建立，采用偏最小二乘回归分性别建立面皮张量特征对颅骨张量特征和属性(年龄、体重指数BMI)的回归模型。

2颅面重构

2.1数据处理：把待重构的未知颅骨统一到法兰克福坐标系并将大小规格化，将未知颅骨与训练样本中的颅骨进行数据配准，将配准后的未知颅骨转化为二维深度图；

2.2张量特征提取：将未知颅骨变换到颅骨张量特征空间；

2.3特征回归，估计颅骨的性别和属性(年龄、体重指数BMI)，根据其张量特征和属性，利用1.3)中建立的回归模型回归出相应的面皮张量特征；

2.4三维面皮重构，根据回归到的面皮张量特征恢复其二维深度图，将得到的二维深度图转化为三维点云数据。

附图说明

图1为本发明基于张量空间偏最小二乘回归的颅面重构方法的总体流程图。

具体实施方式

下面结合附图对本发明所述一种基于张量空间偏最小二乘回归的颅面重构法作进一步详细的说明。

下面参考图1对本发明基于张量空间偏最小二乘回归的颅面重构方法进行详尽的描述。实现本发明所述方法的具体步骤是：

1模型训练

1.1数据处理：

把三维颅面统一到法兰克福坐标系，按颅骨左耳孔Lp和右耳孔Rp这两个特征点间的距离将颅骨和面皮的大小规格化，人工去除数据中不属于面部的部分，对颅骨训练样本和面皮训练样本分别进行三维数据配准，将配准后的颅骨和面皮转化为二维深度图。

1.2张量特征提取：

按照颅面的生理特征将每个颅骨和每个面皮的深度图分为k个大小相同且部分重叠的小区域，分别将训练样本中全体颅骨和全体面皮的深度图按身份、区域位置、区域横向和纵向信息变化的方向组织为四阶张量D_s∈R^n×k×h×w和D_f∈R^m×k×h×w，其中，n和m分别为训练样本中颅骨和面皮的个数，k为小区域个数，h和w分别是每个小区域的行数和列数，通过执行张量分解和空间降维得：

$\begin{array}{c}{D}_s{\≈C}_s{\×}_1{U}_{\mathrm{people}}{\×}_2{U}_{\mathrm{region}}{\×}_3{U}_{\mathrm{row}}{\×}_4{U}_{\mathrm{column}}=T_s{\×}_1{U}_{\mathrm{peoples}}\\ D_f\≈C_f{\×}_1{V}_{\mathrm{people}}{\×}_2{V}_{\mathrm{region}}{\×}_3{V}_{\mathrm{row}}{\×}_4{V}_{\mathrm{column}}=T_f{\×}_1{V}_{\mathrm{people}}\end{array}$ (1)             其中C_s和C_f是核张量，控制着身份、区域位置、区域横向和纵向这四个模式之间的相互作用， $U_{\mathrm{people}}\∈R^{n{\×n}_s},$ $U_{\mathrm{region}}\∈R^{k{\×k}_s},$ $U_{\mathrm{row}}\∈R^{h{\×h}_s},$ $U_{\mathrm{column}}\∈R^{w{\×w}_s}{V}_{\mathrm{people}}\∈R^{m\×m_f},$ $V_{\mathrm{region}}\∈R^{k{\×k}_f},$ $V_{\mathrm{row}}\∈R^{h{\×h}_f},$ $V_{\mathrm{column}}\∈R^{w{\×w}_f}$ 是行正交的矩阵，n_s，k_s，h_s，w_s，n_f，k_f，h_f，w_f分别是相应空间经过降维以后的空间维数，降维通过去除最小的那些特征值对应的特征向量来实现，T_s＝C_s×₂U_region×₃U_row×₄U_column，T_f＝C_f×₂V_region×₃V_row×₄V_column。令T_s是张量T_s按身份模式展平后的矩阵，T_f是张量T_f按身份模式展平后的矩阵，定义颅骨原始特征向量

其中x_i∈R^hw×1 _{，i＝1，2，K，k}为相应小区域按像素排列生成的向量，则提取的颅骨张量特征为：

$u_{\mathrm{people}}={\left(T_s{T}_s^T\right)}^{-1}{T}_{s}x\∈R^{n_s\×1}\·\·\·\·\·\·\left(2\right)$

定义面皮原始特征向量

其中y_i∈R^hw×1 _{，i＝1，2，K，k}为相应小区域按像素排列生成的向量，则提取的面皮张量特征分别为

$v_{\mathrm{people}}={\left(T_f{T}_f^T\right)}^{-1}{T}_{f}y\∈R^{n_f\×1}\·\·\·\·\·\·\left(3\right)$

1.3回归模型建立：

利用训练样本中颅骨和对应面皮都存在的那些样本，采用偏最小二乘回归建立面皮张量特征对颅骨的张量特征和属性(年龄、体重指数BMI)的回归模型。

v_people＝Mu′_people            ……(4)

其中，

为将颅骨张量特征和年龄、_体重指数等颅面属性结合的向量。

2颅面重构

2.1数据处理：把待重构的未知颅骨统一到法兰克福坐标系并按颅骨左耳孔Lp和右耳孔Rp这两个特征点间的距离将颅骨和面皮的大小规格化，将未知颅骨与训练样本中的颅骨进行数据配准，将配准后的未知颅骨转化为二维深度图。

2.2张量特征提取：将未知颅骨的深度图分为k个大小相同且部分重叠的小区域，令其中x_i∈R^hw×1，i＝1，2，K，k为相应小区域按像素排列生成的向量，则提取的颅骨张量特征为下式(5)：

$u_0={\left(T_s{T}_s^T\right)}^{-1}{T}_s{x}_0\∈R^{n_s\×1}\·\·\·\·\·\·\left(5\right)$

2.3特征回归

令

年龄year、_{体重指数BMI为输入的参数，}利用建立的回归模型(公式4)回归出相应的面皮张量特征v₀。

v₀＝Mu′₀          ……(6)

2.4三维面皮重构

$y_0=T_f^T{v}_0\·\·\·\·\·\·\left(7\right)$

y₀为恢复出的面皮原始特征向量，根据面皮原始特征向量的定义得到面皮的深度图，将得到的深度图转化为三维点云数据。

Claims (4)

1.一种基于张量空间偏最小二乘回归的颅面重构方法，其特征在于，包括下列步骤：

1)模型训练

1.1)数据处理，把训练样本中的三维颅面统一到法兰克福坐标系并将大小规格化，去除数据中不属于面部的部分，对颅骨和面皮分别进行三维数据配准，将配准后的颅骨和面皮转化为二维深度图；

1.2)张量特征提取，将颅骨和面皮分别变换到颅骨张量特征空间和面皮张量特征空间；

1.3)回归模型建立，采用偏最小二乘回归分性别建立面皮张量特征对颅骨张量特征和年龄、体重指数BMI属性的回归模型；

2)颅面重构

2.1)数据处理：把待重构的未知颅骨统一到法兰克福坐标系并将大小规格化，将未知颅骨与训练样本中的颅骨进行数据配准，将配准后的未知颅骨转化为二维深度图；

2.2)张量特征提取：将未知颅骨变换到颅骨张量特征空间；

2.3)特征回归，估计颅骨的性别和年龄、体重指数BMI属性，根据其张量特征和属性，利用1.3)中建立的回归模型回归出相应的面皮张量特征；

2.4)三维面皮重构，根据回归到的面皮张量特征恢复其二维深度图，将得到的二维深度图转化为三维点云数据。

2.按照权利要求1所述的方法，其特征在于，所述第1.2)步中的张量特征空间是由训练样本集中全体样本所确定的特征空间，其确定过程如下：按照颅面的生理特征将每个颅骨和每个面皮的深度图分为大小相同且部分重叠的小区域，分别将训练样本集中全体颅骨和全体面皮的深度图按身份、区域位置、区域的纵向和横向信息变化的方向组织为一个四阶张量D_s∈R^n×k×h×w和D_f∈R^m×k×h×w，其中，n为训练样本集中颅骨的个数，m为面皮的个数，k为每个深度图所确定的小区域个数，h和w分别是每个小区域的行数和列数，通过执行张量分解和空间降维得下式(1)和(2)：

D_s≈C_s×₁U_people×₂U_region×₃U_row×₄U_column＝T_s×₁U_people   ……(1)

其中：C_s是核张量，控制着身份、区域位置、区域纵向和横向这四个模式之间的相互作用， $U_{\mathrm{people}}\∈R^{n{\×n}_s},$ $U_{\mathrm{region}}\∈R^{k{\×k}_s},$ $U_{\mathrm{row}}\∈R^{h{\×h}_s},$ $U_{\mathrm{column}}\∈R^{w{\×w}_s}$ 是四个行正交的矩阵，由其行向量分别确定了相应的模式特征空间，n_s，k_s，h_s，w_s分别是相应空间经过降维以后的空间维数，T_s＝C_s×₂U_region×₃U_row×₄U_column是颅骨身份张量；

D_f≈C_f×₁V_people×₂V_region×₃V_row×₄V_column＝T_f×₁V_people  (2)

其中：C_f是核张量， $V_{\mathrm{people}}\∈R^{m\×m_f},$ $V_{\mathrm{region}}\∈R^{k{\×k}_f},$ $V_{\mathrm{row}}\∈R^{h{\×h}_f},$ $V_{\mathrm{column}}\∈R^{w{\×w}_f}$ 是四个行正交的矩阵，由其行向量分别确定了相应的模式特征空间，n_f，k_f，h_f，w_f分别是相应空间经过降维以后的空间维数，T_f＝C_f×₂V_region×₃V_row×₄V_column是面皮身份张量；

定义颅骨原始特征向量

其中x_i∈R^hw×1 _{，i＝1，2，K，k}为相应小区域按像素排列生成的向量，则提取的颅骨张量特征为下式(3)：

$u_{\mathrm{people}}={\left(T_s{T}_s^T\right)}^{-1}{T}_{s}x\∈R^{n_s\×1}\·\·\·\·\·\·\left(3\right)$

其中：T_s是张量T_s按身份模式展平后的矩阵。所有颅骨的张量特征构成的向量空间为颅骨张量特征空间；

定义面皮原始特征向量

则提取的面皮张量特征为下式(4)：

$v_{\mathrm{people}}={\left(T_f{T}_f^T\right)}^{-1}{T}_{f}y\∈R^{n_f\×1}\·\·\·\·\·\·\left(4\right)$

其中：T_f是张量T_f按身份模式展平后的矩阵，所有面皮的张量特征构成的向量空间为面皮张量特征空间。

3.按照权利要求1所述的方法，其特征在于，所述第2.4)步中根据回归到的面皮张量特征恢复其深度图如下：

$\hat{y}=T_f^T{\hat{v}}_{\mathrm{people}}\·\·\·\·\·\·\left(5\right)$

其中：

为回归到的面皮张量特征，

为恢复出的面皮原始特征向量，根据面皮原始特征向量的定义得到面皮的深度图。

4.按照权利要求2所述的方法，其特征在于，所述训练样本集可以包含一部分仅有颅骨或仅有面皮的样本，但必须包含一定数量的既有颅骨又有面皮的颅面样本。

Images