CN102184410B - 三维复原颅面的识别方法 - Google Patents

Abstract

三维复原颅面的识别方法，包括以下步骤：获取通过预处理复原获得的待识别的颅面模型A，从人脸识别系统中提取一个人脸模型作为标准模型B；将颅面模型A与标准模型B进行整体相似度计算；将颅面模型A与标准模型B进行局部特征的相似度计算；将标准模型的特征点与颅面模型的映射特征点对齐；提取颅面模型A的局部特征A₁和标准模型B中的局部特征B₁；计算两模型的局部特征的相似度。本发明具有既能考虑到整体特征在颅面中的地位，又能突出局部特征在识别中所起的作用的优点。

Description

三维复原颅面的识别方法

技术领域

本发明属于计算机图形处理和人脸识别领域，特别是一种三维复原颅面的识别方法。

技术背景

三维颅面复原在考古、刑侦等方面具有广泛的应用前景，目前三维颅面复原技术日渐成熟，复原得到的三维人脸表面模型更加逼真。但是，如何科学的评价复原结果跟实际人脸的相似程度，目前这样的评估算法鲜有报道。

显然，三维颅面相似度计算具有重要的现实意义，首先，它可以评价颅面复原技术的可行性和有效性；其次，从实际应用的角度去考虑，在复原得到一个三维颅面结果后，如何在一个庞大的三维人脸数据库中快速匹配找到本人，这有助于推广其应用。

三维颅面相似度计算算法有如下几种方法：

Lee等人根据顶点的平均曲率和高斯曲率，分割出人脸深度图像的凸区域，并构造凸区域的拓展高斯图(EGI)，再通过各区域EGI之间的相关性来进行人脸识别。但是，EGI敏感区会跟随尺度变化，所以该方法对大小不同的人脸识别率会较差。

Chua等人提出一种基于点特征(Point Signature，PS)的识别方法，即用点特征来描述某点的局部特征，但是他们只用到了鼻子及以上近似刚体区域的点特征进行比较。

Lee等人又提出先找出鼻尖点，校正人脸姿态，然后提取一定深度的轮廓线，将其中的网格分成多个小区域，利用这些小区域的深度均值和方差进行相似度计算。

Pan等人提出先提取人脸网格上的中轴轮廓线和两条水平轮廓线，用ICP算法进行配准，然后用Hausdorff距离测量两者，并用求和规则对两个距离值进行融合作为总的度量。

Lu等人通过形状因子(shape index)提取内眼角、外眼点和鼻尖等特征点，进行人脸的粗配准，再结合ICP进行精细配准。然后查找控制点，将控制点之间的距离、形状指标和颜色差值相乘作为相似度。

这些现有的算法都是基于局部特征的相似度计算方法，忽略了三维颅面的整体特征，从而具有很大的局限性。本发明正是针对这些算法的不足，同时又汲取现有算法的优点，提出了一种三维颅面相似度的计算方法。该方法融合了三维颅面的整体特征和局部特征，为三维颅面相似度的计算提供了科学依据，同时也为在数据库中查找相似的真实人脸提供了可行性保障。

发明内容

为克服现有技术的上述缺点，本发明提供了一种既能考虑到整体特征在颅面中的地位，又能突出局部特征在识别中所起的作用的三维复原颅面的识别方法。

三维复原颅面的识别方法，包括以下步骤：

1)、获取通过预处理复原获得的待识别的颅面模型A，从人脸识别系统中提取一个人脸模型作为标准模型B；

2)、将颅面模型A与标准模型B进行整体相似度计算：

(2.1)将颅面模型A与标准模型B进行粗配准；

(2.2)利用ICP算法对颅面模型A与标准模型B进行精确配准；

(2.3)计算颅面模型A与标准模型B的整体相似度：

其中：

A_i是颅面模型A中的第i个点，B_i是标准模型B中的第i个点，RMS(A，B)为颅面模型A向标准模型B对齐后的相似度，RMS(B，A)为颅面模型A向标准模型B对齐后的相似度；

3)、将颅面模型A与标准模型B进行局部特征的相似度计算：

(3.1)、在标准模型B上标定一系列的特征点P，分别计算各个特征点的形状因子和曲率因子，并将这些特征点所在的坐标系作为标准坐标系；

(3.2)、获取颅面模型A的中心和标准模型B的中心，将颅面模型A的中心与标准模型B的中心对齐，并使两个中心的大小一致，再使用ICP算法使两个中心精确对齐；

(3.3)、将标准模型上的每一个特征点P沿该特征点所在法线向量向颅面模型映射到特征点P’，以该映射特征点P’为球心寻找与特征点P的形状因子和曲率因子的差距在阈值范围内的所有顶点作为候选特征点，所有的候选特征点形成一个候选区域，计算候选区域的中心点，该候选区域的中心点作为颅面模型A上与标准模型B的特征点P相对应的对应特征点；

所述的形状因子为

其中v_i表示模型中的第i个特征点，k₁＞k₂，k₁为特征点v_i的最大曲率，k₂为特征点v_i的最小曲率；

所述的曲率因子为

(3.4)、将标准模型的特征点与颅面模型的映射特征点对齐；

(3.5)、提取颅面模型A的局部特征A₁和标准模型B中的局部特征B₁；

(3.6)、计算两模型的局部特征的相似度。

进一步，采用ICP算法进行配准包括以下步骤：

(a)、将颅面模型A和标准模型B用点云表示，对标准模型B进行八叉树划分、形成多个子空间；

(b)、将颅面模型A中的每个点a_i通过空间位置的递归搜索，寻找到标准模型B上的与该颅面模型A的点距离最近的子空间，在该子空间中寻找到与该颅面模型A的点距离最近的对应点b_i，点a_i与对应点b_i组成对应点对{(a_i，b_i)}；

(c)、根据这些点对之间的关系，计算颅面模型A和标准模型B之间的变换矩阵T，并将变换矩阵应用到颅面模型A上，A＝A*T；

(d)、计算颅面模型A上所有点在A变换前后的距离平方和，如果该平方和大于预设阈值，则重复执行步骤(b)-(d)，否则停止。

进一步，步骤(3.4)中将标准模型的特征点与颅面模型的映射特征点对齐，包括以下步骤：

(3.4.1)获取颅面模型A中的5个特征点p₁，p₂，L，p₅，获取标准模型B中的5个特征点q₁，q₂，L，q₅，获取一个刚性变换矩阵M，使能量函数E(T)最小，(公式1)

设P＝(p₁，p₂，L，p₅)，Q＝(q₁，q₂，L，q₅)，则上式可化为

E(T)＝||MP-Q||²

＝tr((MP-Q)^t(MP-Q))(公式2)

＝tr(P^tP)+tr(Q^tQ)-2tr(Q^tMP)

要使公式1取最小值，只要tr(Q^tMP)＝tr(MPQ^t)取最大值。对PQ^t进行奇异值分解PQ^t＝UΛV^t，得到正交矩阵U和V，则

tr(MPQ^t)＝tr(MUΛV^t)＝tr(U^tM^tVΛ)(公式3)

当M＝VU^t时，公式3取最大值，此时能量函数也最小；

(3.4.2)将变换矩阵应用到颅面模型A或者标准模型B中，使颅面模型与标准模型对齐。

进一步，步骤(3.5)中局部特征的提取包括以下步骤：

(3.5.1)、将眼睛和鼻子作为模型的局部特征，将眼睛和鼻子形成的T型区域块的边界形状在二维空间中定义好；

(3.5.2)、T型区域块的边界形状投影到模型上，通过寻找模型上离投影线最近的顶点来构成投影形状；

(3.5.3)、采用树形包围盒OBB树紧密围住目标，用线剪取算法将头型形状内的网格切割出来，完成局部特征的提取。

本发明提出了一种整体特征与局部特征相融合的计算方法来计算三维颅面的相似度，并给出了相关的计算理论，本发明的特色如下：

第一、本发明首先分别计算整体特征相似度和局部特征相似度，然后再设置整体特征相似度和局部特征相似度在三维颅面相似度中所占的权重来计算两张颅面的相似度。所以本发明在计算颅面的相似度过程中，既能考虑到整体特征在颅面中的地位，又能通过加大局部特征在计算中所占的权重来突出局部特征所起的作用。

第二，本发明提出了将鼻子和眼睛相连的区域作为特征局部。根据对生物特征的强弱、不同角度人脸关键部位重要性和人脸表情等各种因素的综合分析，来选取鼻子和眼睛作为特征局部。

第三，本发明在局部特征相似度的测量中采用了颅面特征点的自动标定技术。这种技术通过在标准颅面模板上标定特征点，然后将待标定颅面模型与标准颅面模型进行ICP配准，再结合特征点的形状因子和曲率特征来实现待标定颅面模型上特征点的自动标定。

本发明具有既能考虑到整体特征在颅面中的地位，又能突出局部特征所起的作用的优点。

附图说明

图1是本发明的流程图。

图2是人脸的形状因子的表示图。

图3是人脸的曲率因子的表示图。

图4是鼻根点的所有候选特征点的示意图。

图5是计算得到的最终的鼻根特征点的示意图。

图6是标准模型上的特征点。

图7是颅面模型上的特征点。

图8是头部整体模型及其眼睛和鼻子切割出来的局部特征模型。

图9是颅面模型和标准模型上的特征点的示意图。

具体实施方式

参照附图，进一步说明本发明：

三维复原颅面的识别方法，包括以下步骤：

1)、获取通过预处理复原获得的待识别的颅面模型A，从人脸识别系统中提取一个人脸模型作为标准模型B；

2)、将颅面模型A与标准模型B进行整体相似度计算：

(2.1)将颅面模型A与标准模型B进行粗配准；

(2.2)利用ICP算法对颅面模型A与标准模型B进行精确配准；

(2.3)计算颅面模型A与标准模型B的整体相似度：

其中：

A_i是颅面模型A中的第i个点，B_i是标准模型B中的第i个点，RMS(A，B)为颅面模型A向标准模型B对齐后的相似度，RMS(B，A)为颅面模型A向标准模型B对齐后的相似度；

3)、将颅面模型A与标准模型B进行局部特征的相似度计算：

(3.1)、在标准模型B上标定一系列的特征点P，分别计算各个特征点的形状因子和曲率因子，并将这些特征点所在的坐标系作为标准坐标系；

(3.2)、获取颅面模型A的中心和标准模型B的中心，将颅面模型A的中心与标准模型B的中心对齐，并使两个中心的大小一致，再使用ICP算法使两个中心精确对齐；

(3.3)、将标准模型上的每一个特征点P沿该特征点所在法线向量向颅面模型映射到特征点P’，以该映射特征点P’为球心寻找与特征点P的形状因子和曲率因子的差距在阈值范围内的所有顶点作为候选特征点，所有的候选特征点形成一个候选区域，计算候选区域的中心点，该候选区域的中心点作为颅面模型A上与标准模型B的特征点P相对应的对应特征点；

所述的形状因子为其中v_i表示模型中的第i个特征点，k₁＞k₂，k₁为特征点v_i的最大曲率，k₂为特征点v_i的最小曲率；

所述的曲率因子为

(3.4)、将标准模型的特征点与颅面模型的映射特征点对齐；

(3.5)、提取颅面模型A的局部特征A₁和标准模型B中的局部特征B₁；

(3.6)、计算两模型的局部特征的相似度。

进一步，采用ICP算法进行配准包括以下步骤：

(a)、将颅面模型A和标准模型B用点云表示，对标准模型B进行八叉树划分、形成多个子空间；

(b)、将颅面模型A中的每个点a_i通过空间位置的递归搜索，寻找到标准模型B上的与该颅面模型A的点距离最近的子空间，在该子空间中寻找到与该颅面模型A的点距离最近的对应点b_i，点a_i与对应点b_i组成对应点对{(a_i，b_i)}；

(c)、根据这些点对之间的关系，计算颅面模型A和标准模型B之间的变换矩阵T，并将变换矩阵应用到颅面模型A上，A＝A*T；

(d)、计算颅面模型A上所有点在A变换前后的距离平方和，如果该平方和大于预设阈值，则重复执行步骤(b)-(d)，否则停止。

进一步，步骤(3.4)中将标准模型的特征点与颅面模型的映射特征点对齐，包括以下步骤：

(3.4.1)获取颅面模型A中的n个特征点p₁，p₂，Kp_n，获取标准模型B中的n个特征点q₁，q₂，Λq_n，获取一个刚性变换矩阵M，使能量函数E(T)最小，(公式1)

设P＝(p₁，p₂，L，p₅)Q＝(q₁，q₂，L，q₅)，则上式可化为

||MP-Q||²＝tr((MP-Q)^t(MP-Q))＝tr(P^tP)+tr(Q^tQ)-2tr(Q^tMP)(公式2)

要使公式1取最小值，只要tr(Q^tMP)＝tr(MPQ^t)取最大值。对PQ^t进行奇异值分解PQ^t＝UΛV^t，得到正交矩阵U和V，则

E(T)＝||MP-Q||²

＝tr((MP-Q)^t(MP-Q))       (公式3)

＝tr(P^tP)+tr(Q^tQ)-2tr(Q^tMP)

当M＝VU^t时，公式3取最大值，此时能量函数也最小；

(3.4.2)将变换矩阵应用到颅面模型A或者标准模型B中，使颅面模型与标准模型对齐。

进一步，步骤(3.5)中局部特征的提取包括以下步骤：

(3.5.1)、将眼睛和鼻子作为模型的局部特征，将眼睛和鼻子形成的T型区域块的边界形状在二维空间中定义好；

(3.5.2)、T型区域块的边界形状投影到模型上，通过寻找模型上离投影线最近的顶点来构成投影形状；

(3.5.3)、采用树形包围盒OBB树紧密围住目标，用线剪取算法将头型形状内的网格切割出来，完成局部特征的提取。

根据人物脸部漫画给我们的启示，夸大人脸某方面的个性化特征往往能加深我们对这张人脸的认识。所以在计算颅面相似度的过程中，我们要强调人脸局部特征的作用，主要表现在加大局部特征在计算中所占的权重。

本发明首先要解决的问题是颅面的哪些部位可以作为局部特征。经过详细的分析研究，我们发现颅面的上半区域在识别中的重要性明显要比下半区域高。在颅面的正面识别中，眼睛的重要性不言而喻。在颅面的侧面识别中，由于鼻子区域包含了若干个关键的特征点，所以此时鼻子的重要性比眼睛和嘴巴等特征都要高。相比较之下，额头和下巴部分虽然可以通过软组织厚度得到确定，但是它们的生物特征相对较弱；而嘴巴变形幅度较大，所以受表情影响差异也大；脸颊部分则会根据人的胖瘦情况不同而不同，更是难以通过软组织厚度来确定。

本发明为了确定采用哪些人脸部位作为局部特征，特邀请了100名志愿者进行人脸识别试验。在这个试验中，我们挑选了近200幅当前曝光度较高的明星的脸部照片，并且将这些照片事先让这100名志愿者浏览，确保志愿者对这些明星都十分的熟悉。然后抽取明星脸部照片的部分内容让志愿者进行识别。经过试验我们发现，若只抽取明星人脸的某一部位让志愿者进行识别，志愿者对其识别正确率比较低，如表所示。而给定一个明星的眼睛和鼻子两部分，则85％的人都能直接认出这个明星。

抽取的部分	识别正确率
		眼睛	43％
鼻子	2％
		眼睛和鼻子	85％

因此本发明决定将鼻子和眼睛相连的区域作为本发明的局部特征部位(如图3所示)，头部的整体相似度作为辅助识别因子，并通过设置整体特征和局部特征的权重值来融合得到最终颅面的相似度。设整体相似度为S₁，局部相似度为S₂，则最终颅面的相似度S为

S＝15％S₁+85％S₂

本发明提出了一种整体特征与局部特征相融合的计算方法来计算三维颅面的相似度，并给出了相关的计算理论，本发明的特色如下：

第一、本发明首先分别计算整体特征相似度和局部特征相似度，然后再设置整体特征相似度和局部特征相似度在三维颅面相似度中所占的权重来计算两张颅面的相似度。所以本发明在计算颅面的相似度过程中，既能考虑到整体特征在颅面中的地位，又能通过加大局部特征在计算中所占的权重来突出局部特征所起的作用。

第二，本发明提出了将鼻子和眼睛相连的区域作为特征局部。根据对生物特征的强弱、不同角度人脸关键部位重要性和人脸表情等各种因素的综合分析，来选取鼻子和眼睛作为特征局部。

第三，本发明在局部特征相似度的测量中采用了颅面特征点的自动标定技术。这种技术通过在标准颅面模板上标定特征点，然后将待标定颅面模型与标准颅面模型进行ICP配准，再结合特征点的形状因子和曲率特征来实现待标定颅面模型上特征点的自动标定。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.三维复原颅面的识别方法，包括以下步骤：

1）、获取通过预处理复原获得的待识别的颅面模型A，从人脸识别系统中提取一个人脸模型作为标准模型B；

2）、将颅面模型A与标准模型B进行整体相似度计算：

（2.1）将颅面模型A与标准模型B进行粗配准；

（2.2）利用ICP算法对颅面模型A与标准模型B进行精确配准，采用IPC算法进行配准包括以下步骤：

（a）、将颅面模型A和标准模型B用点云表示，对标准模型B进行八叉树划分、形成多个子空间；

（b）、将颅面模型A中的每个点a_i通过空间位置的递归搜索，寻找到标准模型B上的与该颅面模型A的点距离最近的子空间，在该子空间中寻找到与该颅面模型A的点距离最近的对应点b_i，点a_i与对应点b_i组成对应点对{(a_i,b_i)}；

（c）、根据这些点对之间的关系，计算颅面模型A和标准模型B之间的变换矩阵T，并将变换矩阵应用到颅面模型A上，A=A*T；

（d）、计算颅面模型A上所有点在A变换前后的距离平方和，如果该平方和大于预设阈值，则重复执行步骤（b）-（d），否则停止；

（2.3）计算颅面模型A与标准模型B的整体相似度：

$S(A,B)=-\frac{\mathrm{RMS}(A,B)+\mathrm{RMS}(B,A)}{2},$ 其中： $\mathrm{RMS}(A,B)=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|A_i-B_i\left|\right|}^2/n},$ A_i是颅面模型A中的第i个点，B_i是标准模型B中的第i个点，RMS(A,B)为颅面模型A向标准模型B对齐后的相似度，RMS(B,A)为颅面模型A向标准模型B对齐后的相似度；

3）、将颅面模型A与标准模型B进行局部特征的相似度计算：

（3.1）、在标准模型B上标定一系列的特征点P，分别计算各个特征点的形状因子和曲率因子，并将这些特征点所在的坐标系作为标准坐标系；

（3.2）、获取颅面模型A的中心和标准模型B的中心，将颅面模型A的中心与标准模型B的中心对齐，并使两个中心的大小一致，再使用IPC算法使两个中心精确对齐；

（3.3）、将标准模型上的每一个特征点P沿该特征点所在法线向量向颅面模型映射到特征点P’，以该映射特征点P’为球心寻找与特征点P的形状因子和曲率因子的差距在阈值范围内的所有顶点作为候选特征点，所有的候选特征点形成一个候选区域，计算候选区域的中心点，该候选区域的中心点作为颅面模型A上与标准模型B的特征点P相对应的对应特征点；

所述的形状因子为

其中v_i表示模型中的第i个特征点，k₁>k₂，k₁为特征点v_i的最大曲率，k₂为特征点v_i的最小曲率；

所述的曲率因子为 $r\left(v_i\right)=\frac{\sqrt{{k_1}^2\left(v_i\right)+{k_2}^2\left(v_i\right)}}{2};$

（3.4）、将标准模型的特征点与颅面模型的映射特征点对齐；

（3.5）、提取颅面模型A的局部特征A₁和标准模型B中的局部特征B₁；

（3.6）、计算两模型的局部特征的相似度。

2.如权利要求1所述的三维复原颅面的识别方法，其特征在于：

步骤（3.4）中将标准模型的特征点与颅面模型的映射特征点对齐，包括以下步骤：

（3.4.1）获取颅面模型A中的5个特征点p₁,p₂,…,p₅，获取标准模型B中的5个特征点q₁,q₂,…,q₅，获取一个刚性变换矩阵M，使能量函数E(T)最小，

（公式1）

设P=(p₁,p₂,…,p₅)，Q=(q₁,q₂,…,q₅)，则上式可化为

E(T)=‖MP-Q‖²

=tr((MP-Q)^t(MP-Q))              （公式2）

=tr(P^tP)+tr(Q^tQ)-2tr(Q^tMP)

要使公式1取最小值，只要tr(Q^tMP)=tr(MPQ^t)取最大值，对PQ^t进行奇异值分解PQ^t=UΛV^t，得到正交矩阵U和V，则

E(T)=‖MP-Q‖²

=tr((MP-Q)^t(MP-Q))              （公式3）

=tr(P^tP)+tr(Q^tQ)-2tr(Q^tMP)

当M=VU^t时，公式3取最大值，此时能量函数也最小；

（3.4.2）将变换矩阵应用到颅面模型A或者标准模型B中，使颅面模型与标准模型对齐。

3.如权利要求2所述的三维复原颅面的识别方法，其特征在于：步骤（3.5）中局部特征的提取包括以下步骤：

（3.5.1）、将眼睛和鼻子作为模型的局部特征，将眼睛和鼻子形成的T型区域块的边界形状在二维空间中定义好；

（3.5.2）、T型区域块的边界形状投影到模型上，通过寻找模型上离投影线最近的顶点来构成投影形状；

（3.5.3）、采用树形包围盒OBB树紧密围住目标，用线剪取算法将头型形状内的网格切割出来，完成局部特征的提取。

Images