CN103310440A - 基于典型相关分析的颅骨身份认证方法 - Google Patents

Abstract

本发明公开了一种基于典型相关分析实现从三维人脸模型库中寻找未知颅骨对应人脸的方法。通过对训练样本集中的颅骨和人脸分别进行处理得到规格化的训练样本数据；通过对整体颅骨和整体人脸面皮、及其对应的额头、眼睛、鼻子、嘴巴区域分别进行子空间分析得到十个相应的子空间；利用典型相关分析建立颅骨和人脸子空间特征的相关分析模型，包括整体和四个分区的相关分析模型；通过模型融合实现对未知颅骨的人脸识别。本发明的识别率可达到100％，在刑侦、灾难调查等领域具有重要的应用价值。

Description

基于典型相关分析的颅骨身份认证方法

技术领域

本发明涉及计算机应用技术领域，特别涉及一种利用颅骨与三维面部形态之间的相关性来实现从三维人脸数据库中寻找未知颅骨对应人脸的方法。主要用于刑侦、灾难调查、法医人类学等领域。

背景技术

根据人体骨骼形态进行身份鉴定是法医人类学中最重要的研究内容之一。颅骨是由硬组织构成，相对其它骨骼来说不易被破坏，在死后也能够较完整地留存下来。在很多情况下，刑侦现场仅留存受害人的颅骨，没有其它身源线索，使得DNA等经典检验技术无用武之地，仅能依靠颅骨进行尸源鉴定。根据颅骨对身份进行认证已经成为国际上信息学、人类学、法医学等相关领域的研究热点。

目前颅骨身份认证技术主要有两类：颅像重合和颅面复原。颅像重合技术是将无身源颅骨和失踪人二维人脸照片按相同位姿进行影像重叠，根据面部测量特征点与颅骨解剖特征点所形成的解剖一致性对应关系进行同一身源认证。颅像重合存在设备单一、操作复杂、重合配准效率低等缺陷。颅面复原是利用颅骨对死者去世时的面貌进行重构，旨在为相关人员提供线索，将目标锁定在有限的范围内，或者将复原的三维面貌与失踪人二维照片进行相似性比较，实现身份认证。由于颅面复原本身具有较大的不确定性，因而身份认证的准确率不高。这两种技术本质上都是利用颅骨和面貌形态间的本质关系来实现身份认证，但是如何精确地提取和表示这种复杂的本质关系仍然是科学家面对的难题。

随着CT、三维扫描、视觉重建等三维数据获取技术的迅猛发展，三维数据的获取变得越来越容易，相对于二维照片，三维数据有完整的形态信息，并且受光照，姿势的影响较小。因此，我们提出利用颅骨与三维面部形态之间的相关性来进行身份认证，即从三维人脸模型库中寻找未知颅骨的对应人脸。

发明内容

为了克服现有技术和方法的不足，本发明利用颅骨与三维面部形态之间的相关性，提供一种基于典型相关分析的颅骨身份认证方法。主要用于刑侦、灾难调查、法医人类学等领域。

为实现上述目的，本发明的技术解决方案是利用子空间分析技术将高维的颅骨和人脸数据投影到低维的子空间，提取子空间特征，利用典型相关分析建立颅骨和人脸子空间特征的相关分析模型，包括整体和额头、眼睛、鼻子、嘴巴四个分区的相关分析模型，通过模型融合实现对未知颅骨的人脸识别。方法简单易行，充分体现了颅骨和面貌之间的相关性，准确率高。

本发明所述颅骨身份认证方法的主要步骤包括：

1)模型训练

1.1)数据规格化：对训练样本集中的颅骨和人脸数据分别进行三维非刚性数据配准，并将颅骨和人脸的姿态和大小规格化，分别得到顶点个数相同、语义相同、连接关系一致的颅骨三维网格模型样本集和人脸三维网格模型样本集，然后从每个颅骨和人脸的三维网格模型中分割出额头、眼睛、鼻子、嘴巴四个区域的局部三维网格模型，最后分别将每个颅骨、人脸及额头、眼睛、鼻子、嘴巴四个区域相应的局部颅骨和局部面皮的三维网格模型按点的坐标规格化为一个高维原始特征向量；

1.2)子空间分析：对1.1)中得到的训练样本的整体颅骨、整体人脸及额头、眼睛、鼻子、嘴巴四个区域相应的局部颅骨和局部面皮的高维原始特征向量集分别进行子空间分析，得到十个子空间投影矩阵，并将这些高维原始特征向量投影到相应的低维子空间；

1.3)建立相关分析模型：利用典型相关分析建立颅骨和人脸子空间特征的相关分析模型，包括整体和四个分区的相关分析模型；

2)身份认证

2.1)数据规格化：对未知颅骨和三维人脸模型库中的人脸模型进行与1.1)中训练样本相同的数据规格化，得到相应的整体和局部的高维原始特征向量；

2.2)子空间特征提取：分别利用1.2)中的十个子空间投影矩阵将未知颅骨和三维人脸模型库中的人脸模型的各个高维原始特征向量投影到相应的子空间，得到相应的子空间特征；

2.3)相关性分析：分别利用1.3)中得到的五个相关分析模型对未知颅骨和三维人脸模型库中每个人脸模型的相应子空间特征进行相关性分析，对每个三维人脸模型得到整体相关度和四个局部相关度；

2.4)身份识别：将2.3)得到的整体和四个局部相关度融合得到匹配分值，分值最大的人脸即为未知颅骨的人脸。

优选地，步骤1.2)中所述子空间分析采用独立成份分析ICA、主成份分析PCA中的一种。

优选地，步骤2.4)中所述的融合采用对整体相关度和四个局部相关度进行加权求和的融合策略。

附图说明

图1为本发明基于典型相关分析的颅骨身份认证方法的流程图。

图2为颅骨和人脸三维网格模型及对应的分区模型。

具体实施方式

为了更清楚地介绍本发明的技术方案，下面结合附图对本发明所述一种基于典型相关分析的颅骨身份认证方法作进一步详细的说明。

本实施例中所采用的三维颅骨和人脸数据是从头部CT影像数据重构得到的三维网格数据。

如图1所示，本发明所述基于典型相关分析的颅骨身份认证方法的主要步骤包括：

步骤S101，模型训练。

包含如下分步骤：

步骤S1011，数据规格化。

选择一个参考颅骨和参考面皮数据，人工去除参考颅骨和参考面皮中不属于面部的部分，对训练样本集中的颅骨和面皮分别进行非刚性三维数据配准，分别得到顶点个数相同、语义和连接关系一致的与人脸面部对应的颅骨三维网格模型样本集和人脸面皮三维网格模型样本集，然后从每个颅骨和人脸面皮的三维网格模型中分割出额头、眼睛、鼻子、嘴巴四个区域的局部三维网格模型，最后分别将每个颅骨、人脸面皮及额头、眼睛、鼻子、嘴巴四个区域相应的局部颅骨和局部面皮的三维网格模型按点的坐标分别规格化为一个高维的原始特征向量。在分割额头、眼睛、鼻子、嘴巴区域时，由于颅骨和人脸面皮数据已经经过配准，所有颅骨的三维网格模型和所有人脸面皮的三维网格模型都分别具有严格的顶点对应和一致的连接关系，因此仅需对参考数据进行手工操作，其它数据根据对应关系自动实现。非刚性三维数据配准是一个较成熟的技术，有大量的方法供选用，这里以一种迭代的TPS(Thin PlateSpline)配准方法为例描述对颅骨数据的配准，人脸面皮数据的配准过程与颅骨数据的配准过程相同。假定参考颅骨用S₀表示，待配准的目标颅骨用T表示，其步骤为：

①在参考颅骨S₀上随机选择一定数量的点M₀＝{L_0j|L_0j＝(x_0j，y_0j，z_0j)，j＝1，...，N}，N＞6作为特征点，并通过ICP(Iterative Closest Point)方法在目标颅骨T上得到其对应点M₂＝{L_2j|L_2j＝(x_2j，y_2j，z_2j)，j＝1，...，N}，将这N对对应点作为TPS变换的控制点集，求取S₀和T间的TPS变换f，得到变换后参考颅骨S₁；

②在参考颅骨S₀上重新随机选择一定数量的点M₀＝{L_0j|L_0j＝(x_0j，y_0j，z_0j)，j＝1，...，N}，N＞6，根据得到的TPS变换f求取其在S₁上的对应点M₁＝{L_1j|L_1j＝(x_1j，y_1j，z_1j)，j＝1，...，N}，通过S₁和目标颅骨T间的ICP，得到这些点在目标颅骨T上的对应点M₂＝{L_2j|L_2j＝(x_2j，y_2j，z_2j)，j＝1，...，N}，将M₀，M₂这组对应点作为新的控制点集求取S₀和T间的TPS变换f，更新变换后的参考颅骨S₁；

③以S₁为参考对S₁和目标颅骨T进行ICP，如果S₁与目标颅骨T间对应点的误差之和达到给定的阈值，或迭代次数超过设定的次数，转入下一步，否则转②；

④根据S₁和目标颅骨T间的点对应即可获得目标颅骨T与参考颅骨S₀间的点对应，根据点对应计算两者间的旋转、平移和尺度缩放，并对目标颅骨进行变换以实现姿态和尺度调整。

该方法中的阈值和迭代次数可以根据经验来设定。

步骤S1012，子空间分析。

对训练样本的整体颅骨、整体人脸面皮及额头、眼睛、鼻子、嘴巴四个区域相应的局部颅骨和局部面皮的高维原始特征向量集分别进行主成份分析PCA，保留98％的数据方差，得到十个子空间投影矩阵，并将这些高维原始特征向量投影到相应的低维子空间。以下步骤以整体颅骨和整体人脸面皮为例，其它各个分区的处理过程与整体相同。令S_s′×s和F_f′×f为整体颅骨和面皮的子空间投影矩阵，其中s，f，s′，f′分别为相应的高维原始特征向量的维数和子空间维数，假定x和y分别为颅骨和人脸面皮的高维原始特征向量，

和

为均值向量，则

$x^{\′}=S(x-\stackrel{\‾}{x})---\left(a\right)$

$y^{\′}=F(y-\stackrel{\‾}{y})---\left(b\right)$

为其相应的子空间特征向量。

步骤S1013，建立相关分析模型。

对训练样本的颅骨和人脸面皮子空间特征集进行典型相关分析CCA，建立颅骨和面皮子空间特征的相关分析模型，包括整体和四个分区的相关分析模型，即定义相关度。

令W_x和W_y为对整体颅骨和人脸面皮的子空间特征进行CCA得到的投影矩阵，则一个颅骨和一个面皮的相关度为

$F=\frac{\⟨X_{\mathrm{out}},Y_{\mathrm{out}}\⟩}{\left|\right|X_{\mathrm{out}}\left|\right|\left|\right|X_{\mathrm{out}}\left|\right|}---\left(c\right)$

其中，

x′和y′分别为颅骨和面皮的子空间特征向量，

和

为相应的均值向量。

类似，可计算各分区颅骨和面皮的局部相关度。

步骤S102，身份认证。

包含如下步骤：

步骤S1021，数据规格化。

以S1011中的参考颅骨和参考面皮为参考，对未知颅骨和三维人脸模型库中的人脸模型进行S1011中相同的数据规格化，得到相应的整体和局部的高维原始特征向量。

步骤S1022，子空间特征提取。

分别利用S1012中的十个子空间投影矩阵将未知颅骨和三维人脸模型库中的人脸模型的各个高维原始特征向量投影到相应的子空间，得到相应的子空间特征，投影方式如同公式(a)与公式(b)。

步骤S1023，相关性分析。

与公式(c)类似，分别利用S1013中得到的五个相关分析模型计算未知颅骨和三维人脸模型库中每个人脸模型的整体相关度和四个分区的局部相关度。

步骤S1024，身份识别。

对S1023中得到的整体相关度和四个分区的局部相关度按如下方式进行加权求和得到一个匹配分值，

Score＝w₀F₀+w₁F_k+w₂F_e+w₃F_n+w₄F_m    (d)

其中F₀，F_k，F_e，F_n，F_m分别为整体相关度和额头、眼睛、鼻子、嘴巴的局部相关度，w_i，j＝0，1，...，4是权值，在0与1之间，分值最大的人脸即为未知颅骨的人脸。

本实施例中采用的w₀，w₁，w₂，w₃，w₄为0.2，0.3，0.1，0.1，0.1。

我们采用了127套男性和81套女性颅骨和人脸面皮数据进行实验，随机选择了108套数据进行模型训练，用剩余的100套进行身份认证测试，识别率为100％。

总之，本发明的实施例公布的是其较佳的实施方式，但并不限于此。本领域的普通技术人员极易根据上述实施例，领会本发明的精神，并做出不同的引申和变化，但只要不脱离本发明的精神，都在本发明的保护范围之内。

Claims (4)

1.基于典型相关分析的颅骨身份认证方法，其特征在于，包括下列步骤：

1)模型训练

1.1)数据规格化：对训练样本集中的颅骨和人脸数据分别进行三维非刚性数据配准，并将颅骨和人脸的姿态和大小规格化，分别得到顶点个数相同、语义相同、连接关系一致的颅骨三维网格模型样本集和人脸三维网格模型样本集，然后从每个颅骨和人脸的三维网格模型中分割出额头、眼睛、鼻子、嘴巴四个区域的局部三维网格模型，最后分别将每个颅骨、人脸及额头、眼睛、鼻子、嘴巴四个区域相应的局部颅骨和局部面皮的三维网格模型按点的坐标规格化为一个高维原始特征向量；

1.2)子空间分析：对1.1)中得到的训练样本的整体颅骨、整体人脸及额头、眼睛、鼻子、嘴巴四个区域相应的局部颅骨和局部面皮的高维原始特征向量集分别进行子空间分析，得到十个子空间投影矩阵，并将这些高维原始特征向量投影到相应的低维子空间；

1.3)建立相关分析模型：利用典型相关分析建立颅骨和人脸子空间特征的相关分析模型，包括整体和四个分区的相关分析模型；

2)身份认证

2.1)数据规格化：对未知颅骨和三维人脸模型库中的人脸模型进行与1.1)中训练样本集相同的数据规格化，得到相应的整体和局部的高维原始特征向量；

2.2)子空间特征提取：分别利用1.2)中的十个子空间投影矩阵将未知颅骨和三维人脸模型库中的人脸模型的各个高维原始特征向量投影到相应的子空间，得到相应的子空间特征；

2.3)相关性分析：分别利用1.3)中得到的五个相关分析模型对未知颅骨和三维人脸模型库中每个人脸模型的相应子空间特征进行相关性分析，对每个三维人脸模型得到整体相关度和四个局部相关度；

2.4)身份识别：将2.3)得到的整体和四个局部相关度融合得到匹配分值，分值最大的人脸即为未知颅骨的人脸。

2.根据权利要求1所述的基于典型相关分析的颅骨身份认证方法，其特征在于，步骤1.1)中所述的颅骨三维网格模型和人脸三维网格模型仅包含与人脸面部对应的头部部分。

3.根据权利要求1所述的基于典型相关分析的颅骨身份认证方法，其特征在于，步骤1.2)中所述子空间分析采用独立成份分析ICA、主成份分析PCA中的一种。

4.根据权利要求1所述的基于典型相关分析的颅骨身份认证方法，其特征在于，步骤2.4)中所述的融合采用对整体相关度和四个局部相关度进行加权求和的融合策略。

Images