CN106485667B - 一种颅面复原方法 - Google Patents

一种颅面复原方法 Download PDF

Info

Publication number
CN106485667B
CN106485667B CN201510557845.5A CN201510557845A CN106485667B CN 106485667 B CN106485667 B CN 106485667B CN 201510557845 A CN201510557845 A CN 201510557845A CN 106485667 B CN106485667 B CN 106485667B
Authority
CN
China
Prior art keywords
model
cranium
dimensional
subregion
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510557845.5A
Other languages
English (en)
Other versions
CN106485667A (zh
Inventor
邓擎琼
周明全
江海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN201510557845.5A priority Critical patent/CN106485667B/zh
Publication of CN106485667A publication Critical patent/CN106485667A/zh
Application granted granted Critical
Publication of CN106485667B publication Critical patent/CN106485667B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Radiation-Therapy Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种颅面复原方法：构建三维颅面数据库，其中至少包括N个颅面样本，N为大于1的正整数，每个颅面样本中分别包括：由一个三维颅骨模型和一个三维人脸模型组成的颅面模型，以及，颅面模型对应的属性；综合N个颅面样本，确定出三维人脸模型与三维颅骨模型以及属性之间的关联关系；获取待复原的三维颅骨模型及其对应的属性，根据所述关联关系，复原出待复原的三维颅骨模型对应的三维人脸模型。应用本发明所述方法，能够提高复原精度。

Description

一种颅面复原方法
技术领域
本发明涉及计算机应用技术，特别涉及一种颅面复原方法。
背景技术
颅面复原是指根据颅骨和面貌形态学规律对给定颅骨的未知面貌进行科学预测和恢复，它一直是法医学和人类学领域中的一个重要的研究课题。
颅面复原起源于欧洲，至今已有一百多年历史，传统的颅面复原方式为手工颅面复原方式。手工颅面复原方式需要复杂的工艺、复原过程耗时长、复原过程主观性强，这些缺陷均导致手工颅面复原方式的应用受到了很大的限制。
目前采用较多的是计算机辅助的颅面复原方式，其中比较常用的方式有基于特征点软组织厚度的方式等。
基于特征点软组织厚度的方式是指根据待复原颅骨的属性，通过查询软组织厚度统计表获得特征点的软组织厚度，再利用这些软组织厚度以及颅骨特征点位置计算出对应的人脸特征点的位置，进而通过某种变形方法，将人脸模板“罩到”待复原颅骨上，使得变形的人脸模板上的特征点和待复原颅骨的人脸特征点相匹配，从而获得复原结果。
上述方式实现起来简单、高效，但复原过程中仅依据特征点处的软组织厚度，而特征点的数量通常又很少，难以表征细节丰富的人脸，因此上述方式的复原精度较低。
发明内容
有鉴于此，本发明提供了一种颅面复原方法，能够提高复原精度。
为了达到上述目的，本发明的技术方案是这样实现的：
一种颅面复原方法，包括：
构建三维颅面数据库，其中至少包括N个颅面样本，N为大于1的正整数，每个颅面样本中分别包括：由一个三维颅骨模型和一个三维人脸模型组成的颅面模型，以及，颅面模型对应的属性；
综合N个颅面样本，确定出三维人脸模型与三维颅骨模型以及属性之间的关联关系；
获取待复原的三维颅骨模型及其对应的属性，根据所述关联关系，复原出待复原的三维颅骨模型对应的三维人脸模型。
可见，采用本发明所述方案，可基于颅面数据中的N个颅面样本，确定出三维人脸模型与三维颅骨模型以及属性之间的关联关系，这样，后续只要获取到待复原的三维颅骨模型及其对应的属性，即可根据所述关联关系，复原出待复原的三维颅骨模型对应的三维人脸模型，从而克服了现有技术中存在的问题，进而提高了复原精度。
附图说明
图1为本发明颅面复原方法实施例的流程图。
图2为本发明所述三维颅骨模型的示意图。
图3为本发明所述三维人脸模型的示意图。
图4为本发明所述三维颅骨模型中的7个子区域的示意图。
图5为本发明所述三维人脸模型中的7个子区域的示意图。
图6为本发明所述一个真实男性人脸的示意图。
图7为采用本发明所述方式复原出的图6所示男性人脸的示意图。
图8为本发明所述一个真实女性人脸的示意图。
图9为采用本发明所述方式复原出的图8所示女性人脸的示意图。
图10为本发明所述另一个真实女性人脸的示意图。
图11为属性未作改变时采用本发明所述方式复原出的图10所示女性人脸的示意图。
图12为在年龄上增加25岁后采用本发明所述方式复原出的图10所示女性人脸的示意图。
图13为在年龄上增加50岁后采用本发明所述方式复原出的图10所示女性人脸的示意图。
图14为在身体质量指数上增加4.0后采用本发明所述方式复原出的图10所示女性人脸的示意图。
图15为在身体质量指数上减少4.0后采用本发明所述方式复原出的图10所示女性人脸的示意图。
具体实施方式
为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步的详细说明。
图1为本发明颅面复原方法实施例的流程图。如图1所示，包括以下步骤11～13。
步骤11：构建三维颅面数据库，其中至少包括N个颅面样本，N为大于1的正整数，每个颅面样本中分别包括：由一个三维颅骨模型和一个三维人脸模型组成的颅面模型，以及，颅面模型对应的属性。
步骤12：综合N个颅面样本，确定出三维人脸模型与三维颅骨模型以及属性之间的关联关系。
步骤13：获取待复原的三维颅骨模型及其对应的属性，根据所述关联关系，复原出待复原的三维颅骨模型对应的三维人脸模型。
以下分别对上述各步骤的具体实现进行详细说明。
1)构建三维颅面数据库
在实际应用中，可通过与医院进行合作，通过多探测螺旋计算机断层(CT，Computed Tomography)扫描仪获取多个活体样本(活体人)的颅面CT数据，并采用图像处理技术从颅面CT数据中重构出人脸的三维颅骨模型和三维人脸模型，以构建三维颅面数据库，具体实现为现有技术。
如图2～3所示，图2为本发明所述三维颅骨模型的示意图，图3为本发明所述三维人脸模型的示意图。
三维颅面数据库中至少包括N个颅面样本，每个颅面样本可分别对应一个活体样本，N为大于1的正整数，具体取值可根据实际需要而定，每个颅面样本中分别包括：由一个三维颅骨模型和一个三维人脸模型组成的颅面模型，以及，颅面模型对应的属性。
所述属性可包括：年龄、性别和身体质量指数(BMI，Body Mass Index)等；理论上，数据库的规模越大，即N越大，颅面复原精度会越高；本实施中，N的取值可为331，其中男性为170人，女性为161人，男性的年龄跨度为20～70岁，身体质量指数跨度为16.4～32.5，女性年龄跨度为18～75，身体质量指数跨度为17.8～32.9。
2)关联关系确定
在构建出三维颅面数据库之后，可综合N个颅面样本，确定出三维人脸模型与三维颅骨模型以及属性之间的关联关系。
可包括以下步骤：
A、分别对各颅面模型进行预处理；
B、针对每个颅面模型，分别确定出该颅面模型中的三维颅骨模型中的M个预定子区域和该颅面模型中的三维人脸模型中的M个预定子区域，M为大于1的正整数；
C、针对每个颅面模型，分别确定出该颅面模型中的三维颅骨模型中的M个预定子区域的特征表示，并分别确定出该颅面模型中的三维人脸模型中的M个预定子区域的特征表示；
D、针对M个预定子区域中的每个子区域，分别综合N个三维人脸模型中的该子区域的特征表示、N个三维颅骨模型中的该子区域的特征表示以及N个颅面模型对应的属性，确定出三维人脸模型中该子区域的特征表示与三维颅骨模型中该子区域的特征表示以及属性之间的函数关系。
2.1)预处理
步骤A中，分别对各颅面模型进行预处理可包括以下步骤A1～A2。
A1、分别对各颅面模型中的三维颅面模型和三维人脸模型进行全局坐标校正。
即针对每个颅面模型，分别进行以下处理：
A11、在该颅面模型中的三维颅骨模型上标定(可手动标定)P个特征点，P为大于1的正整数，并根据P个特征点构建一个全局坐标系。
P的具体取值可根据实际需要而定，较佳的，P的取值为4，相应的，P个特征点分别为：左侧耳门上点Lp、右侧耳门上点Rp、左侧眶下缘点Or、眉心点Gl。
根据这4个特征点构建全局坐标系的方式可为：
通过左侧耳门上点Lp、右侧耳门上点Rp和左侧眶下缘点Or确定法兰克福平面PlaneF，该平面的法向
将以为法向量且过眉心点Gl的平面与直线LpRp的交点作为全局坐标系的原点Oglobal；
将过原点Oglobal且以法兰克福平面法向为方向的射线作为全局坐标系的Z轴正方向；
将射线OglobalRp作为全局坐标系的X轴正方向；
将过原点Oglobal以Z轴与X轴的叉乘为方向的射线作为全局坐标系的Y轴正方向；
分别对X、Y、Z轴进行归一化处理，使其模均为1。
A12、确定出全局坐标系对应的顶点变换矩阵Mglobal，分别将该颅面模型中的三维颅骨模型中的各顶点坐标与Mglobal相乘，得到经全局坐标校正后的三维颅骨模型，分别将该颅面模型中的三维人脸模型中的各顶点坐标与Mglobal相乘，得到经全局坐标校正后的三维人脸模型。
顶点变换矩阵Mglobal为：
其中，(Xx,Xy,Xz)，(Yx,Yy,Yz),(Zx,Zy,Zz)分别表示X、Y、Z轴的值，(Oglobalx,Oglobaly,Oglobalz)表示原点Oglobal对应的顶点坐标。
A2、从各颅面模型中选出一个作为参考模型，根据选出的参考模型中的三维颅骨模型，分别对除参考模型以外的各颅面模型中的三维颅骨模型进行规格化，建立除参考模型以外的各颅面模型中的三维颅骨模型与参考模型中的三维颅骨模型的顶点间的对应关系，根据选出的参考模型中的三维人脸模型，分别对除参考模型以外的各颅面模型中的三维人脸模型进行规格化，建立除参考模型以外的各颅面模型中的三维人脸模型与参考模型中的三维人脸模型的顶点间的对应关系。
可从各颅面模型中选出一个外形完整、牙齿整齐且顶点分布均匀的颅面模型作为参考模型，其中，外形完整是指无缺失头骨或面皮等。
根据参考模型中的三维颅骨模型，可采用全局配准算法和局部配准算法相结合的非刚性配准算法，分别对除参考模型以外的各颅面模型中的三维颅骨模型进行规格化，以建立除参考模型以外的各颅面模型中的三维颅骨模型与参考模型中的三维颅骨模型的顶点间的对应关系。
类似的，根据参考模型中的三维人脸模型，可采用全局配准算法和局部配准算法相结合的非刚性配准算法，分别对除参考模型以外的各颅面模型中的三维人脸模型进行规格化，以建立除参考模型以外的各颅面模型中的三维人脸模型与参考模型中的三维人脸模型的顶点间的对应关系。
全局配准为粗配准，能使得颅面模型和参考模型大部分都匹配上，只有一些局部的区域存在错配的现象，局部配准即对这些区域进行调整，并且局部配准可根据实际需要执行多次。
较佳的，全局配准算法包括：薄板样条函数(TPS，Thin Plate Spline)，局部配准算法包括：具有紧支撑的径向基函数(CSRBF，Compact Support Radial BasisFunctions)，具体实现均为现有技术。
假设参考模型中的三维颅骨模型中包括m个顶点，参考模型中的三维人脸模型中包括n个顶点，那么经过规格化处理之后，除参考模型以外的各颅面模型中的三维颅骨模型中也将均包括m个顶点，且顶点含义和拓扑结构均与参考模型中的三维颅骨模型保持一致，同样的，经过规格化处理之后，除参考模型以外的各颅面模型中的三维人脸模型中也将均包括n顶点，且顶点含义和拓扑结构均与参考模型中的三维人脸模型保持一致。
2.2)子区域确定
步骤B中，针对每个颅面模型，可分别确定出该颅面模型中的三维颅骨模型中的M个预定子区域和该颅面模型中的三维人脸模型中的M个预定子区域，M为大于1的正整数。
具体的，可从参考模型中的三维颅骨模型中切除无用区域，将剩下的区域分割为M个预定子区域，从参考模型中的三维人脸模型中切除无用区域，将剩下的区域分割为M个预定子区域；针对除参考模型以外的各颅面模型中的三维颅骨模型，分别根据该三维颅骨模型与参考模型中的三维颅骨模型的顶点间的对应关系，确定出该三维颅骨模型中的M个预定子区域；针对除参考模型以外的各颅面模型中的三维人脸模型，分别根据该三维人脸模型与参考模型中的三维人脸模型的顶点间的对应关系，确定出该三维人脸模型中的M个预定子区域。
其中，无用区域可包括：后脑部；由于颅骨复原不关注后脑部，同时为了降低数据量，提高颅面复原的效率和精度，可分别手动地从参考模型中的三维颅骨模型和三维人脸模型中切除后脑部，即耳后部分。
对于参考模型中的三维颅骨模型和三维人脸模型中的剩余区域，可分别手动地将其分割为M个预定子区域，M的具体取值可根据实际需要而定，较佳的，M的取值为7，相应的，7个预定子区域可包括：左眼子区域(left eye)、右眼子区域(right eye)、鼻子子区域(nose)、嘴巴子区域(mouth)、左耳子区域(Left ear)、右耳子区域(right ear)、由除左眼子区域、右眼子区域、鼻子子区域、嘴巴子区域、左耳子区域和右耳子区域以外的区域组成的框架子区域(frame)。
如图4～5所示，图4为本发明所述三维颅骨模型中的7个子区域的示意图，图5为本发明所述三维人脸模型中的7个子区域的示意图；图4和图5中，按照从左到右的顺序，依次为：右眼子区域、左眼子区域、鼻子子区域、嘴巴子区域、右耳子区域、左耳子区域、框架子区域；右眼子区域、左眼子区域、鼻子子区域、嘴巴子区域、右耳子区域和左耳子区域均可称为五官子区域，与框架子区域拥有共同的边界。
在针对每个颅面模型分别确定出该颅面模型中的三维颅骨模型中的M个预定子区域和该颅面模型中的三维人脸模型中的M个预定子区域之后，还需进一步进行以下处理：针对每个颅面模型，分别对该颅面模型中的三维颅骨模型中的M个预定子区域中的Q个预定子区域进行局部坐标校正，Q为正整数，且小于M，并分别对该颅面模型中的三维人脸模型中的M个预定子区域中的Q个预定子区域进行局部坐标校正。
具体的，可针对每个颅面模型中的三维颅骨模型中的Q个预定子区域中的每个子区域，分别进行以下处理：
B11、在该子区域中标定(可手动标定)W个特征点，W为大于1的正整数，并根据W个特征点构建一个局部坐标系。
W的具体取值可根据实际需要而定，较佳的，W的取值为3，3个特征点分别为：特征点V1、特征点V2和特征点V3，3个特征点的具体位置也可根据实际需要而定，但需要保证不能在一条直线上。
根据这3个特征点构建局部坐标系的方式可为：
将特征点V3在直线V1V2上的投影点作为局部坐标系的原点Olocal；
将射线OlocalV3作为局部坐标系的Z轴正方向；
将射线OlocalV1作为局部坐标系的X轴正方向；
将过原点Olocal以Z轴与X轴的叉乘为方向的射线作为局部坐标系的Y轴正方向；
分别对X、Y、Z轴进行归一化处理，使其模均为1。
B12、确定出局部坐标系对应的顶点变换矩阵Mlocal，分别将该子区域中的各顶点坐标与Mlocal相乘，得到经局部坐标校正后的该子区域，分别将与该子区域所属的三维颅骨模型属于同一颅面模型的三维人脸模型中的相同子区域中的各顶点坐标与Mlocal相乘，得到经局部坐标校正后的三维人脸模型中的该子区域。
顶点变换矩阵Mlocal为：
其中，(Xx,Xy,Xz)，(Yx,Yy,Yz),(Zx,Zy,Zz)分别表示X、Y、Z轴的值，(Olocalx,Olocaly,Olocalz)表示原点Olocal对应的顶点坐标值。
Q的具体取值可根据实际需要而定，较佳的，当M的取值为7时，Q的取值可为6，相应的，Q个预定子区域可包括：左眼子区域、右眼子区域、鼻子子区域、嘴巴子区域、左耳子区域、右耳子区域，即五官子区域。
2.3)特征表示和函数关系确定
步骤C中，针对每个颅面模型，可分别确定出该颅面模型中的三维颅骨模型中的M个预定子区域的特征表示，并分别确定出该颅面模型中的三维人脸模型中的M个预定子区域的特征表示，所述特征表示可为：主成分分析(PCA，Principle components Analysis)系数表示。
步骤D中，针对M个预定子区域中的每个子区域，可分别综合N个三维人脸模型中的该子区域的特征表示、N个三维颅骨模型中的该子区域的特征表示以及N个颅面模型对应的属性，确定出三维人脸模型中该子区域的特征表示与三维颅骨模型中该子区域的特征表示以及属性之间的函数关系。
三维颅面数据库中的第i个颅面样本中的三维颅骨模型中的任一子区域(reg＝left eye或right eye或mouth或nose或Left ear或right ear或frame)可表示成由其顶点坐标组成的向量，即：
其中，N表示三维颅面数据库中包括的颅面样本数，mreg表示子区域中包括的顶点数；
采用PCA方法对三维颅面数据库中的所有三维颅骨模型中的该子区域进行统计分析，可构建出该子区域的PCA模型：
表示对N个三维颅骨模型中的该子区域求平均，
对于子区域其PCA系数表示为：
表示主成分个数，具体取值可根据实际需要而定；
为矩阵S的特征向量，并按照对应的特征值σk降序排列，矩阵S为中心化后的子区域即的协方差矩阵；
相应的，式(6)中的αreg还可表示为：
类似的，可构建出三维人脸模型中的每个子区域的PCA模型：
在实际应用中，可采用偏最小二乘回归的方法，针对7个子区域中的每个子区域，分别综合N个三维人脸模型中的该子区域的PCA系数表示、N个三维颅骨模型中的该子区域的PCA系数表示以及N个颅面模型对应的属性，确定出三维人脸模型中该子区域的PCA系数表示与三维颅骨模型中该子区域的PCA系数表示以及属性之间的函数关系：
βreg＝freg(αreg,p)； (14)
p表示属性。
PCA方法和偏最小二乘回归的方法的具体实现均为现有技术
3)颅面复原
在上述基础上，即可进行颅面复原，即获取待复原的三维颅骨模型及其对应的属性，根据所述关联关系，复原出待复原的三维颅骨模型对应的三维人脸模型。
可包括以下步骤：
对待复原的三维颅骨模型进行预处理；
确定出待复原的三维颅骨模型中的M个预定子区域；
分别确定出待复原的三维颅骨模型中的M个预定子区域的特征表示；
针对待复原的三维颅骨模型中的每个子区域，分别进行以下处理：根据该子区域的特征表示、待复原的三维颅骨模型对应的属性，以及，三维人脸模型中该子区域的特征表示与三维颅骨模型中该子区域的特征表示以及属性之间的函数关系，确定出三维人脸模型中该子区域的特征表示，并根据确定出的三维人脸模型中该子区域的特征表示以及该三维人脸子区域对应的PCA模型复原出三维人脸模型中的该子区域；
将复原出的各子区域进行拼接融合，得到待复原的三维颅骨模型对应的三维人脸模型。
3.1)预处理
对待复原的三维颅骨模型进行预处理可包括：
对待复原的三维颅骨模型进行全局坐标校正，即：在待复原的三维颅骨模型上标定P个特征点，并根据P个特征点构建一个全局坐标系；确定出全局坐标系对应的顶点变换矩阵Mglobal，并分别将待复原的三维颅骨模型中的各顶点坐标与Mglobal相乘，得到经全局坐标校正后的待复原的三维颅骨模型；
之后，根据参考模型中的三维颅骨模型，对待复原的三维颅骨模型进行规格化，建立待复原的三维颅骨模型与参考模型中的三维颅骨模型的顶点间的对应关系，即：采用全局配准算法和局部配准算法相结合的非刚性配准算法，对待复原的三维颅骨模型进行规格化。
3.2)子区域确定
根据待复原的三维颅骨模型与参考模型中的三维颅骨模型的顶点间的对应关系，确定出待复原的三维颅骨模型中的M个预定子区域。
并且，在确定出待复原的三维颅骨模型中的M个预定子区域之后，还可进一步进行以下处理：对待复原的三维颅骨模型中的M个预定子区域中的Q个预定子区域进行局部坐标校正。
即针对待复原的三维颅骨模型中的每个子区域，分别进行以下处理：在该子区域中标定W个特征点，并根据W个特征点构建一个局部坐标系；确定出局部坐标系对应的顶点变换矩阵Mlocal，分别将该子区域中的各顶点坐标与Mlocal相乘，得到经局部坐标校正后的该子区域。
3.3)特征表示和子区域复原
可按照式(6)所示方式，分别确定出待复原的三维颅骨模型中的M个预定子区域的PCA系数表示。
之后，可根据待复原的三维颅骨模型中的M个预定子区域的PCA系数表示、待复原的三维颅骨模型对应的属性以及式(14)，分别确定出与待复原的三维颅骨模型对应的三维人脸模型中的M个预定子区域的PCA系数表示。
再之后，针对M个预定子区域中的每个子区域，可根据预先确定出的三维人脸模型中该子区域的PCA模型以及三维人脸模型中该子区域的PCA系数表示，复原出三维人脸模型中的该子区域，即根据待复原的三维颅骨模型对应的三维人脸模型中的M个预定子区域的PCA系数表示以及式(9)等，分别确定出对应的三维人脸模型中的M个预定子区域，即得到复原后的各子区域，并且，将其中的Q个预定子区域(五官子区域)从局部坐标系变回到全局坐标系，即将局部坐标系中的顶点变换逆矩阵作用到每一个顶点上，具体的，将子区域中的各顶点坐标与Mlocal -1相乘，得到全局坐标系下的子区域，具体实现为现有技术。
3.4)拼接融合
在得到三维人脸模型中的各子区域之后，还需要对其进行拼接融合，以得到完整的三维人脸模型。
各五官子区域面积比框架子区域小，理论上和实践中，五官子区域的复原误差比框架子区域小，因此为了使五官子区域尽可能地保持不变，本发明对框架子区域进行变形以使其与各五官子区域拼接融合在一起，该变形只能是局部的，不能是全局的，因为如果采用全局变形，那么当框架子区域和第一个五官子区域进行拼接融合时不会出现问题，但当它与第二个五官子区域进行拼接融合时就会破坏第一次拼接融合的结果，而且后续的拼接融合都会出现这样的问题，基于此，本发明中采用前述提到的具有紧支撑的径向基函数CSRBF，该算法为局部变形算法。
另外，由于鼻子与左右眼以及嘴巴距离很近，如果先把框架子区域和鼻子子区域进行拼接融合，那么该融合结果会在框架子区域与左眼子区域或右眼子区域或嘴巴子区域进行拼接融合时所破坏，同理，如果先把框架子区域和左眼子区域或右眼子区域或嘴巴子区域进行拼接融合，那么拼接融合结果也会在框架子区域和鼻子子区域进行拼接融合时所破坏，为避免这种情况以及尽可能地维持五官子区域不变，本发明所述方案中采用了以下拼接融合策略：
采用CSRBF将框架子区域变形到鼻子子区域，使两者拼接融合在一起；
采用CSRBF将拼接融合后的框架子区域和鼻子子区域进行变形，使其依次和左眼子区域、右眼子区域、嘴巴子区域进行拼接融合；
采用CSRBF将框架子区域依次变形到左耳子区域和右耳子区域，得到待复原的三维颅骨模型对应的三维人脸模型。
采用上述策略后，除鼻子子区域外，别的五官子区域都保持不变，由于CSRBF变形仅限于边界附近区域，因此鼻子子区域的大部分也将保持不变。
如图6～9所示，图6为本发明所述一个真实男性人脸的示意图，图7为采用本发明所述方式复原出的图6所示男性人脸的示意图，图8为本发明所述一个真实女性人脸的示意图，图9为采用本发明所述方式复原出的图8所示女性人脸的示意图，其中，男性的年龄为23岁，身体质量指数为21.05，女性的年龄为20岁，身体质量指数为20.63。
另外，由于本发明所述方案中考虑了属性，因此针对同一个待复原的三维颅骨模型，针对不同的属性可复原出不同的人脸。如图10～15所示，图10为本发明所述另一个真实女性人脸的示意图，该女性的年龄为28岁，身体质量指数为22.14，图11为属性未作改变时采用本发明所述方式复原出的图10所示女性人脸的示意图，图12为在年龄上增加25岁后采用本发明所述方式复原出的图10所示女性人脸的示意图，图13为在年龄上增加50岁后采用本发明所述方式复原出的图10所示女性人脸的示意图，图14为在身体质量指数上增加4.0后采用本发明所述方式复原出的图10所示女性人脸的示意图，图15为在身体质量指数上减少4.0后采用本发明所述方式复原出的图10所示女性人脸的示意图。
总之，采用本发明所述方案，进行了全局和局部两种坐标校正，能消除不同颅面样本在头部姿态和五官位置上的不一致，从而能够更加准确地获得后续所需的关联关系；而且，通过把框架子区域拼接融合到五官子区域，可进一步提高复原结果的精度；另外，本发明所述方案考虑了属性对于人脸的影响，因此针对同一颅骨可快速复原出对应于不同属性的三维人脸模型；再有，本发明所述方案适用范围广泛，可用于刑侦中的尸源鉴定、考古中古人类的面貌复原以及医学整形中的术前预测与辅助手术方案制定等。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种颅面复原方法，其特征在于，包括：
构建三维颅面数据库，其中至少包括N个颅面样本，N为大于1的正整数，每个颅面样本中分别包括：由一个三维颅骨模型和一个三维人脸模型组成的颅面模型，以及，颅面模型对应的属性；
综合N个颅面样本，确定出三维人脸模型与三维颅骨模型以及属性之间的关联关系；
其中，所述综合N个颅面样本，确定出三维人脸模型与三维颅骨模型以及属性之间的关联关系包括：
分别对各颅面模型进行预处理；
针对每个颅面模型，分别确定出该颅面模型中的三维颅骨模型中的M个预定子区域和该颅面模型中的三维人脸模型中的M个预定子区域，M为大于1的正整数；
针对每个颅面模型，分别确定出该颅面模型中的三维颅骨模型中的M个预定子区域的特征表示，并分别确定出该颅面模型中的三维人脸模型中的M个预定子区域的特征表示；
针对M个预定子区域中的每个子区域，分别综合N个三维人脸模型中的该子区域的特征表示、N个三维颅骨模型中的该子区域的特征表示以及N个颅面模型对应的属性，确定出三维人脸模型中该子区域的特征表示与三维颅骨模型中该子区域的特征表示以及属性之间的函数关系；
获取待复原的三维颅骨模型及其对应的属性，根据所述关联关系，复原出待复原的三维颅骨模型对应的三维人脸模型；
其中，所述获取待复原的三维颅骨模型及其对应的属性，根据所述关联关系，复原出待复原的三维颅骨模型对应的三维人脸模型包括：
对待复原的三维颅骨模型进行预处理；
确定出待复原的三维颅骨模型中的M个预定子区域；
分别确定出待复原的三维颅骨模型中的M个预定子区域的特征表示；
针对待复原的三维颅骨模型中的每个子区域，分别进行以下处理：根据该子区域的特征表示、待复原的三维颅骨模型对应的属性，以及，三维人脸模型中该子区域的特征表示与三维颅骨模型中该子区域的特征表示以及属性之间的函数关系，确定出三维人脸模型中该子区域的特征表示，并根据确定出的三维人脸模型中该子区域的特征表示复原出三维人脸模型中的该子区域；
将复原出的各子区域进行拼接融合，得到待复原的三维颅骨模型对应的三维人脸模型。
2.根据权利要求1所述的方法，其特征在于，
所述属性包括：年龄、性别和身体质量指数。
3.根据权利要求1所述的方法，其特征在于，
所述分别对各颅面模型进行预处理包括：
分别对各颅面模型中的三维颅面模型和三维人脸模型进行全局坐标校正；
从各颅面模型中选出一个作为参考模型，根据选出的参考模型中的三维颅骨模型，分别对除参考模型以外的各颅面模型中的三维颅骨模型进行规格化，建立除参考模型以外的各颅面模型中的三维颅骨模型与参考模型中的三维颅骨模型的顶点间的对应关系，根据选出的参考模型中的三维人脸模型，分别对除参考模型以外的各颅面模型中的三维人脸模型进行规格化，建立除参考模型以外的各颅面模型中的三维人脸模型与参考模型中的三维人脸模型的顶点间的对应关系；
所述对待复原的三维颅骨模型进行预处理包括：
对待复原的三维颅骨模型进行全局坐标校正；
根据参考模型中的三维颅骨模型，对待复原的三维颅骨模型进行规格化，建立待复原的三维颅骨模型与参考模型中的三维颅骨模型的顶点间的对应关系。
4.根据权利要求3所述的方法，其特征在于，
所述分别对各颅面模型中的三维颅面模型和三维人脸模型进行全局坐标校正包括：
针对每个颅面模型，分别进行以下处理：
在该颅面模型中的三维颅骨模型上标定P个特征点，P为大于1的正整数，并根据P个特征点构建一个第一全局坐标系；
确定出第一全局坐标系对应的第一顶点变换矩阵，分别将该颅面模型中的三维颅骨模型中的各顶点坐标与第一顶点变换矩阵相乘，得到经全局坐标校正后的三维颅骨模型，分别将该颅面模型中的三维人脸模型中的各顶点坐标与第一顶点变换矩阵相乘，得到经全局坐标校正后的三维人脸模型；
所述对待复原的三维颅骨模型进行全局坐标校正包括：
在待复原的三维颅骨模型上标定P个特征点，并根据P个特征点构建一个第二全局坐标系；
确定出第二全局坐标系对应的第二顶点变换矩阵，并分别将待复原的三维颅骨模型中的各顶点坐标与第二顶点变换矩阵相乘，得到经全局坐标校正后的待复原的三维颅骨模型。
5.根据权利要求4所述的方法，其特征在于，
所述P的取值为4，P个特征点分别为：左侧耳门上点Lp、右侧耳门上点Rp、左侧眶下缘点Or、眉心点Gl；
根据P个特征点构建第一/第二全局坐标系包括：
通过左侧耳门上点Lp、右侧耳门上点Rp和左侧眶下缘点Or确定法兰克福平面PlaneF，该平面的法向量
将以为法向量且过眉心点Gl的平面与直线LpRp的交点作为全局坐标系的原点Oglobal；
将过原点Oglobal且以法兰克福平面法向量为方向的射线作为全局坐标系的Z轴正方向；
将射线OglobalRp作为全局坐标系的X轴正方向；
将过原点Oglobal以Z轴与X轴的叉乘为方向的射线作为全局坐标系的Y轴正方向；
分别对X、Y、Z轴进行归一化处理，使其模均为1；
第一/第二顶点变换矩阵为：
其中，(Xx,Xy,Xz)，(Yx,Yy,Yz),(Zx,Zy,Zz)分别表示X、Y、Z轴的值，(Oglobalx,Oglobaly,Oglobalz)表示原点Oglobal对应的顶点坐标。
6.根据权利要求3所述的方法，其特征在于，
所述从各颅面模型中选出一个作为参考模型包括：
从各颅面模型中选出一个外形完整、牙齿整齐且顶点分布均匀的颅面模型作为参考模型；
所述分别对除参考模型以外的各颅面模型中的三维颅骨模型进行规格化包括：
采用全局配准算法和局部配准算法相结合的非刚性配准算法，分别对除参考模型以外的各颅面模型中的三维颅骨模型进行规格化；
所述分别对除参考模型以外的各颅面模型中的三维人脸模型进行规格化包括：
采用全局配准算法和局部配准算法相结合的非刚性配准算法，分别对除参考模型以外的各颅面模型中的三维人脸模型进行规格化；
所述对待复原的三维颅骨模型进行规格化包括：
采用全局配准算法和局部配准算法相结合的非刚性配准算法，对待复原的三维颅骨模型进行规格化。
7.根据权利要求6所述的方法，其特征在于，
所述全局配准算法包括：薄板样条函数TPS；
所述局部配准算法包括：具有紧支撑的径向基函数CSRBF。
8.根据权利要求3所述的方法，其特征在于，
所述针对每个颅面模型，分别确定出该颅面模型中的三维颅骨模型中的M个预定子区域和该颅面模型中的三维人脸模型中的M个预定子区域包括：
从参考模型中的三维颅骨模型中切除无用区域，将剩下的区域分割为M个预定子区域，从参考模型中的三维人脸模型中切除无用区域，将剩下的区域分割为M个预定子区域；
针对除参考模型以外的各颅面模型中的三维颅骨模型，分别根据该三维颅骨模型与参考模型中的三维颅骨模型的顶点间的对应关系，确定出该三维颅骨模型中的M个预定子区域；
针对除参考模型以外的各颅面模型中的三维人脸模型，分别根据该三维人脸模型与参考模型中的三维人脸模型的顶点间的对应关系，确定出该三维人脸模型中的M个预定子区域；
所述确定出待复原的三维颅骨模型中的M个预定子区域包括：
根据待复原的三维颅骨模型与参考模型中的三维颅骨模型的顶点间的对应关系，确定出待复原的三维颅骨模型中的M个预定子区域。
9.根据权利要求8所述的方法，其特征在于，
所述针对每个颅面模型，分别确定出该颅面模型中的三维颅骨模型中的M个预定子区域和该颅面模型中的三维人脸模型中的M个预定子区域之后，进一步包括：
针对每个颅面模型，分别对该颅面模型中的三维颅骨模型中的M个预定子区域中的Q个预定子区域进行局部坐标校正，Q为正整数，且小于M，并分别对该颅面模型中的三维人脸模型中的M个预定子区域中的Q个预定子区域进行局部坐标校正；
所述确定出待复原的三维颅骨模型中的M个预定子区域之后，进一步包括：
对待复原的三维颅骨模型中的M个预定子区域中的Q个预定子区域进行局部坐标校正。
10.根据权利要求9所述的方法，其特征在于，
所述针对每个颅面模型，分别对该颅面模型中的三维颅骨模型中的M个预定子区域中的Q个预定子区域进行局部坐标校正，并分别对该颅面模型中的三维人脸模型中的M个预定子区域中的Q个预定子区域进行局部坐标校正包括：
针对每个颅面模型中的三维颅骨模型中的Q个预定子区域中的每个子区域，分别进行以下处理：
在该子区域中标定W个特征点，W为大于1的正整数，并根据W个特征点构建一个第一局部坐标系；
确定出第一局部坐标系对应的第一顶点变换矩阵，分别将该子区域中的各顶点坐标与第一顶点变换矩阵相乘，得到经局部坐标校正后的该子区域，分别将与该子区域所属的三维颅骨模型属于同一颅面模型的三维人脸模型中的相同子区域中的各顶点坐标与第一顶点变换矩阵相乘，得到经局部坐标校正后的三维人脸模型中的该子区域；
所述对待复原的三维颅骨模型中的M个预定子区域中的Q个预定子区域进行局部坐标校正包括：
针对待复原的三维颅骨模型中的每个子区域，分别进行以下处理：
在该子区域中标定W个特征点，并根据W个特征点构建一个第二局部坐标系；
确定出第二局部坐标系对应的第二顶点变换矩阵，分别将该子区域中的各顶点坐标与第二顶点变换矩阵相乘，得到经局部坐标校正后的该子区域；
所述将复原出的各子区域进行拼接融合之前，进一步包括：
将Q个预定子区域对应的复原出的子区域中的各顶点坐标分别与第二顶点变换矩阵的逆矩阵相乘，将Q个预定子区域对应的复原出的子区域从局部坐标系变回到全局坐标系。
11.根据权利要求10所述的方法，其特征在于，
所述W的取值为3，W个特征点分别为：特征点V1、特征点V2和特征点V3；
根据W个特征点构建第一/第二局部坐标系包括：
将特征点V3在直线V1V2上的投影点作为局部坐标系的原点Olocal；
将射线OlocalV3作为局部坐标系的Z轴正方向；
将射线OlocalV1作为局部坐标系的X轴正方向；
将过原点Olocal以Z轴与X轴的叉乘为方向的射线作为局部坐标系的Y轴正方向；
分别对X、Y、Z轴进行归一化处理，使其模均为1；
第一/第二顶点变换矩阵为：
其中，(Xx,Xy,Xz)，(Yx,Yy,Yz),(Zx,Zy,Zz)分别表示X、Y、Z轴的值，(Olocalx,Olocaly,Olocalz)表示原点Olocal对应的顶点坐标值。
12.根据权利要求9所述的方法，其特征在于，
所述无用区域包括：后脑部；
所述M个预定子区域包括：左眼子区域、右眼子区域、鼻子子区域、嘴巴子区域、左耳子区域、右耳子区域、由除左眼子区域、右眼子区域、鼻子子区域、嘴巴子区域、左耳子区域和右耳子区域以外的区域组成的框架子区域；
所述Q个预定子区域包括：左眼子区域、右眼子区域、鼻子子区域、嘴巴子区域、左耳子区域、右耳子区域。
13.根据权利要求1所述的方法，其特征在于，
每个子区域的特征表示包括：每个子区域的主成分分析PCA系数表示；
所述针对M个预定子区域中的每个子区域，分别综合N个三维人脸模型中的该子区域的特征表示、N个三维颅骨模型中的该子区域的特征表示以及N个颅面模型对应的属性，确定出三维人脸模型中该子区域的特征表示与三维颅骨模型中该子区域的特征表示以及属性之间的函数关系包括：
采用偏最小二乘回归的方法，分别综合N个三维人脸模型中的该子区域的特征表示、N个三维颅骨模型中的该子区域的特征表示以及N个颅面模型对应的属性，确定出三维人脸模型中该子区域的特征表示与三维颅骨模型中该子区域的特征表示以及属性之间的函数关系；
所述根据确定出的三维人脸模型中该子区域的特征表示复原出三维人脸模型中的该子区域包括：
根据预先确定出的三维人脸模型中该子区域的PCA模型以及三维人脸模型中该子区域的特征表示，复原出三维人脸模型中的该子区域。
14.根据权利要求12所述的方法，其特征在于，
所述将复原出的各子区域进行拼接融合，得到待复原的三维颅骨模型对应的三维人脸模型包括：
采用具有紧支撑的径向基函数CSRBF将框架子区域变形到鼻子子区域，使两者拼接融合在一起；
采用CSRBF将拼接融合后的框架子区域和鼻子子区域进行变形，使其依次和左眼子区域、右眼子区域、嘴巴子区域进行拼接融合；
采用CSRBF将框架子区域依次变形到左耳子区域和右耳子区域，得到待复原的三维颅骨模型对应的三维人脸模型。
CN201510557845.5A 2015-09-02 2015-09-02 一种颅面复原方法 Expired - Fee Related CN106485667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510557845.5A CN106485667B (zh) 2015-09-02 2015-09-02 一种颅面复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510557845.5A CN106485667B (zh) 2015-09-02 2015-09-02 一种颅面复原方法

Publications (2)

Publication Number Publication Date
CN106485667A CN106485667A (zh) 2017-03-08
CN106485667B true CN106485667B (zh) 2019-11-08

Family

ID=58238531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510557845.5A Expired - Fee Related CN106485667B (zh) 2015-09-02 2015-09-02 一种颅面复原方法

Country Status (1)

Country Link
CN (1) CN106485667B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767841B (zh) * 2019-01-15 2021-04-09 北京大学口腔医学院 一种基于颅颌面三维形态数据库的相似模型检索方法及装置
JP6751540B1 (ja) * 2019-05-31 2020-09-09 みずほ情報総研株式会社 形状予測システム、形状予測方法及び形状予測プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339670A (zh) * 2008-08-07 2009-01-07 浙江工业大学 一种计算机辅助的三维颅面复原方法
CN102073776A (zh) * 2011-01-20 2011-05-25 西北大学 一种基于分区统计模型的颅面复原方法
CN103258349A (zh) * 2013-05-30 2013-08-21 西北大学 颅面复原用模型库及颅面复原方法
CN103679816A (zh) * 2013-12-30 2014-03-26 北京师范大学 一种面向刑侦的未知身源颅骨的计算机辅助面貌复原方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9370318B2 (en) * 2012-10-04 2016-06-21 Marius G. LINGURARU Quantitative assessment of the skull
US9216084B2 (en) * 2013-08-09 2015-12-22 Howmedica Osteonics Corp. Patient-specific craniofacial implants

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339670A (zh) * 2008-08-07 2009-01-07 浙江工业大学 一种计算机辅助的三维颅面复原方法
CN102073776A (zh) * 2011-01-20 2011-05-25 西北大学 一种基于分区统计模型的颅面复原方法
CN103258349A (zh) * 2013-05-30 2013-08-21 西北大学 颅面复原用模型库及颅面复原方法
CN103679816A (zh) * 2013-12-30 2014-03-26 北京师范大学 一种面向刑侦的未知身源颅骨的计算机辅助面貌复原方法

Also Published As

Publication number Publication date
CN106485667A (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
US11262597B2 (en) Method, device, and computer program for virtually adjusting a spectacle frame
Guyomarc'h et al. Anthropological facial approximation in three dimensions (AFA 3D): Computer‐assisted estimation of the facial morphology using geometric morphometrics
US7693564B2 (en) System, apparatus and method for forensic facial approximation
Lanitis et al. Automatic face identification system using flexible appearance models
Turner et al. A novel method of automated skull registration for forensic facial approximation
Fenton et al. Skull‐photo superimposition and border deaths: identification through exclusion and the failure to exclude
Benazzi et al. A new OH5 reconstruction with an assessment of its uncertainty
Katina et al. The definitions of three‐dimensional landmarks on the human face: an interdisciplinary view
Vezzetti et al. Geometry-based 3D face morphology analysis: soft-tissue landmark formalization
Deng et al. A regional method for craniofacial reconstruction based on coordinate adjustments and a new fusion strategy
De Jong et al. An automatic 3D facial landmarking algorithm using 2D gabor wavelets
Zhong et al. 3D dental biometrics: Alignment and matching of dental casts for human identification
CN106485667B (zh) 一种颅面复原方法
Smith et al. 3D Modeling of craniofacial ontogeny and sexual dimorphism in children
Zhang et al. Age and sex factors integrated 3D statistical models of adults' heads
WO2022222091A1 (zh) 一种基于单张照片的人物浅浮雕模型生成方法
Hutton et al. Automated registration of 3d faces using dense surface models.
Hu et al. Craniofacial reconstruction based on a hierarchical dense deformable model
Shui et al. A computerized facial approximation method for archaic humans based on dense facial soft tissue thickness depths
Kruggel et al. Automatical adaption of the stereotactical coordinate system in brain MRI datasets
Sun et al. Imperfect symmetry transform for orbital prosthesis modelling
CN114359309A (zh) 基于标定点检测和形状灰度模型匹配的医学图像分割方法
CN113379890A (zh) 一种基于单张照片的人物浅浮雕模型生成方法
Bai et al. Research on custom-tailored swimming goggles applied to the internet
Chui et al. Learning an atlas from unlabeled point-sets

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191108

Termination date: 20200902

CF01 Termination of patent right due to non-payment of annual fee