CN109978998A - 一种基于面部软组织和形状空间的古人类颅面复原方法 - Google Patents

一种基于面部软组织和形状空间的古人类颅面复原方法 Download PDF

Info

Publication number
CN109978998A
CN109978998A CN201910266815.7A CN201910266815A CN109978998A CN 109978998 A CN109978998 A CN 109978998A CN 201910266815 A CN201910266815 A CN 201910266815A CN 109978998 A CN109978998 A CN 109978998A
Authority
CN
China
Prior art keywords
skull
model
modern
looks
soft tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910266815.7A
Other languages
English (en)
Other versions
CN109978998B (zh
Inventor
税午阳
吴秀杰
周明全
邓擎琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute Of Vertebrate Paleontology And Paleoanthropology
Beijing Normal University
Original Assignee
Institute Of Vertebrate Paleontology And Paleoanthropology
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute Of Vertebrate Paleontology And Paleoanthropology, Beijing Normal University filed Critical Institute Of Vertebrate Paleontology And Paleoanthropology
Priority to CN201910266815.7A priority Critical patent/CN109978998B/zh
Publication of CN109978998A publication Critical patent/CN109978998A/zh
Application granted granted Critical
Publication of CN109978998B publication Critical patent/CN109978998B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于面部软组织和形状空间的古人类颅面复原方法，包括以下步骤：(1)基于非刚性配准和主成分分析的统计形状模型；(2)待复原古人类颅骨三维模型的点云稠密对应；(3)基于面部软组织厚度计算面部几何形状；(4)基于面貌统计形状模型的面貌几何形状优化；(5)基于反馈评价的颅面复原结果交互编辑。实现了面貌复原结果几何形状的优化，提高了颅面复原结果的准确性。

Description

一种基于面部软组织和形状空间的古人类颅面复原方法
技术领域
本发明涉及一种基于面部软组织和形状空间的古人类颅面复原方法，属于计算机图形学、人类学、公共安全领域。
背景技术
颅骨面貌复原是根据人体头面部软组织分布以及颅骨与面貌五官间的形态关系，在颅骨或颅骨的石膏模型上用可塑物质(橡皮泥、粘土、塑像蜡等)生成颅骨生前面貌的技术。然而，手工复原技术存在复原技术难度高难掌握、复原结果主观性强、复原过程周期长等局限。近年来，随着三维扫描、医学影像、计算机图形学、机器学习等技术的发展，计算机辅助颅骨面貌复原技术已经成为研究的热点问题之一。与手工面貌复原技术相比较，计算机颅面复原技术具有复原速度快、复原结果客观、复原方法易于掌握等优势。
基于软组织厚度的计算机辅助面貌复原已被国内外学者广泛应用，其主要可分为两类：(1)基于软组织厚度的颅面复原。该方法首先统计不同年龄、性别、种族的少量面部特征点处的软组织厚度均值，然后将其作为待复原颅骨对应特征点处的软组织厚度，从而通过插值或蒙皮技术实现三维颅面复原。例如，Vanezis等人采用激光扫描仪采集颅骨三维模型，在颅骨表面标定40个特征点，根据测量得到的软组织厚度计算颅骨特征点对应的面貌特征点的位置，最后将参考面貌模型向计算出的面貌特征点变形，实现颅面复原[1]。我们在前期工作中分别计算了不同性别、年龄段78个颅骨特征点[2]和面部稠密点的软组织厚度[3]，进而利用薄板样条函数实现参考面貌模型向计算出的面貌特征点的变形，进而实现颅面复原。由于待复原颅骨每个顶点软组织厚度的测量方向与统计软组织厚度时每个样本顶点的测量方向并不一致，使得直接基于软组织厚度计算的面部几何形状并不光滑，且脸颊处存在缺失；此外，该方法也不能生成鼻子、眼睛等的几何形状。(2)基于颅骨配准的颅面复原方法。该方法首先从颅面三维数据库中选择合适的颅骨和面貌模型作为参考颅骨和参考面貌，然后依据颅骨特征点或脊线等信息采用非刚性配准方法将参考颅骨向待复原颅骨进行几何变形，最后将该变形应用于参考面貌模型实现三维颅面复原。例如，Turner等人利用最近点迭代算法和薄板样本函数实现参考颅骨和待复原颅骨的变形，进而将该变形应用于参考面貌模型实现颅面复原[4]。我们在前期工作中利用薄板样条函数和带有紧支撑的径向基函数[5]和颅骨配准与五官配准[6]等方法实现了参考面貌的变形。上述方法也存在参考面貌难以精确选择，参考面貌的细节特征会迁移到面貌复原模型等局限。
面貌统计形状模型能够反映面貌形状间的共性和差异，因此将基于面部稠密软组织厚度的复原方法与面貌统计形状模型相结合，能够克服基于软组织厚度和颅骨配准两种颅面复原技术的局限；此外，通过计算和比较复原模型的软组织分布，编辑复原结果不佳区域的软组织，能够实现颅面复原结果的反馈和交互编辑。因此，针对现有方法的不足，亟待建立一种基于面部稠密软组织和形状空间的颅面复原方法，实现古人类颅骨三维面貌的科学复原。
参考文献：
[1]P.Vanezis,M.Vanezis,G.McCombe,T.Niblett.Facial reconstructionusing 3-D computer graphics.Forensic Sci Int.2000,108(2):81-95.
[2]税午阳,周明全,纪元等.面部软组织厚度测量及其在面貌复原中的应用.人类学学报.2013,32(3):345-353.
[3]W.Shui,M.Zhou,Q.Deng,Z.Wu,Y.Ji,K.Li,T.He,H.Jiang,Denselycalculated facial soft-tissue thickness for craniofacial reconstruction inChinese adults,Forensic Sci Int.2016,266:573.e1-573.e12.
[4]W.D.Turner,R.E.Brown,T.P.Kelliher,et al.A novel method ofautomated skull registration for forensic facial approximation.ForensicSci.Int.2005,154:149-158.
[5]Q.Deng,M.Zhou,W.Shui,Z.Wu,Y.Ji,R.Bai,A novel skull registrationbased on global and local deformations for craniofacial reconstruction,Forensic Sci Int 208(1-3)(2011)95-102.
[6]税午阳,周明全,武仲科等.数据配准的颅骨面貌复原方法.计算机辅助设计与图形学学报,2011,23(4):607-714.
发明内容
本发明的技术解决问题：克服现有技术的不足，提供一种基于面部软组织和形状空间的古人类颅面复原方法，实现了面貌复原结果几何形状的优化，提高了复原结果的准确性。
本发明技术解决方案：一种基于面部软组织和形状空间的古人类颅面复原方法，针对现有基于颅骨配准的面貌复原方法复原结果不准确的问题，设计了一种新的古人类颅骨面貌复原方法，提高了面貌复原结果的准确性。针对医学影像重建获得的现代人的颅骨和面貌三维模型，采用非刚性配准和主成分分析算法确定了颅骨模型间和面貌模型间的点云稠密对应关系，建立了颅骨和面貌的统计形状模型；采用在统一能量函数框架下的非刚性配准和主成分分析方法，在建立古人类颅骨和现代人颅骨顶点间稠密对应的同时实现了颅骨在统计形状空间中的表示，提高颅骨模型顶点稠密对应的准确性；计算现代人面部稠密软组织分布并将其作为复原依据，实现古人类颅骨面貌的初步复原，进一步利用现代人的面貌统计形状模型实现古人类颅骨面貌的精确复原；最后，定量化显示和比较古人类面貌复原结果的面部软组织分布和现代人面部软组织分布的差异发现复原结果不佳的区域，并通过编辑面貌精确复原结果的主成分系数，提高颅面复原的准确性。
包括以下步骤：
第一步依据在从CT影像重建获得的现代人的颅骨和面貌三维模型上标定的颅骨特征点和面貌特征点，采用非刚性配准算法实现颅骨三维模型间和面貌三维模型间的非刚性变形，从而将沿法线方向的投影点作为对应点建立现代人颅骨三维模型间的稠密对应点云。基于所述对应关系采用主成分分析算法通过求解特征值和特征向量建立现代人颅骨的统计形状模型，从而用于第二步古人类颅骨的点云稠密对应；
第二步，根据第一步获得的现代人颅骨的统计形状模型，采用在统一能量函数框架下的非刚性配准和主成分分析方法，建立古人类颅骨和现代人参考颅骨三维模型的稠密对应点云；
第三步，根据第一步获得的现代人颅骨的稠密对应点云和现代人颅骨对应的三维面貌模型，计算性别、年龄因素约束的面部软组织厚度回归模型；利用第二步获得的古人类颅骨的稠密对应点云，实现古人类颅骨面貌的初步复原；
第四步，针对第三步获得的面貌初步复原三维模型和建立的现代人三维面貌的统计形状模型，计算主成分系数实现颅面精确复原；
第五步，基于反馈评价的颅面复原结果交互编辑，通过比较古人类颅面复原结果的面部软组织分布和现代人的面部软组织分布之间的差异，确定复原结果不佳的区域，再通过调整面貌复原结果对应的主城分系数，实现复原面貌的交互编辑。
所述第一步具体步骤如下：
步骤1.1：颅面三维外表面建模和特征点标定；针对采集获得的现代人头部医学影像数据，通过图像分割、三维重建和外表面提取步骤，实现颅骨和面貌外表面的三维建模，并利用软件标定颅骨特征点和面貌特征点，上述特征点将用于颅骨模型配准和面貌模型配准；
步骤1.2：从现代人颅骨外表面模型库中选择任意颅骨作为参考模型，采用带有尺度的最近点迭代算法，计算平移变换、旋转变换和缩放变换，实现颅骨模型库中参考模型向其余样本颅骨模型的刚性配准；采用非刚性最近点迭代算法计算参考模型上每个顶点的仿射变换，实现参考模型向其余样本颅骨模型的非刚性配准；
步骤1.3：将非刚性配准后的现代人颅骨模型间沿法线方向的投影点作为对应点，建立颅骨模型间的点云稠密对应，进而计算现代人颅骨的平均模型meanskull，并将归一化后的平均颅骨作为参考颅骨模型；
步骤1.4：将现代人颅骨模型库中的每个颅骨归一化，采用带有尺度的最近点迭代算法和非刚性最近点迭代算法，计算参考颅骨模型每个顶点的仿射变换，实现参考颅骨模型向现代人颅骨外表面数据库中每个颅骨模型的非刚性配准；
步骤1.5：将配准后的参考颅骨模型和现代人颅骨外表面数据库中每个颅骨模型间沿法线方向的投影点作为对应点，建立现代人颅骨模型的点云稠密对应；
步骤1.6：将步骤1.4中归一化的现代人颅骨模型表示为其中pi表示颅骨每个顶点的坐标，l表示颅骨顶点的个数，则将每个现代人的颅骨模型表示为向量，记为[x0,y0,z0,x1,y1,z1,…,xl-1,yl-1,zl-1]T，采用主成分分析方法计算现代人颅骨模型的主成分skullVector＝[svector0,svector1,…,svectorf]和现代人颅骨对应的主成分系数其中svectori表示统计形状空间中的主成分，sbi表示主成分系数，f表示主成分的个数，进而建立归一化的现代人颅骨的统计形状模型。可将现代人颅骨模型表示为Modernskull＝meanskull+skullVector·Moderncoff，其中Modernskull表示利用统计形状模型计算获得的现代人颅骨，Moderncoff表示该现代人颅骨对应的主成分系数，meanskull表示平均颅骨模型，该模型将用于步骤二中古人类颅骨的点云稠密对应。
所述第二步，具体步骤如下：
步骤2.1：针对三维扫描获得的古人类颅骨的三维模型，采用粗细两次等角度采样的方法计算古人类颅骨的外表面模型。首先将古人类颅骨模型变换到法兰克福坐标系下，定义沿z轴方向的采样间隔为dist，沿水平方向的采样角度间隔为5度，每层轮廓的采样的中心为(0,0,zi)，zi为沿z轴的坐标其值由dist决定，则采用柱面采样初步计算古人类颅骨的外轮廓；然后，针对每层外轮廓点集，计算每层轮廓的中心坐标oi(xi,yi,zi)，将其作为新的每层轮廓的采样的中心，定义沿z轴方向的采样间隔为dist，沿水平方向的采样角度间隔为1度，重新计算古人类颅骨的外轮廓点集；最后，采用最短对角线算法实现古人类颅骨外表面的三维建模；
步骤2.2：针对步骤1.1中已经标定的现代人颅骨特征点，采用最近点迭代算法实现现代人颅骨特征点的配准，采用主成分分析算法计算现代人颅骨的平均特征点、主成分和主成分系数，建立现代人颅骨特征点的统计形状模型；利用该统计形状模型，将现代人颅骨的平均特征点作为初始特征点，采用活动轮廓模型迭代的优化计算古人类颅骨的特征点；
步骤2.3：针对已经计算的古人类颅骨的特征点，采用在统一能量函数框架下的非刚性配准和主成分分析方法，计算参考颅骨模型，实现古人类颅骨的点云稠密对应，进而实现古人类颅骨在统计形状空间中的表示。
所述第三步具体步骤如下：
步骤3.1：针对现代人颅骨的点云稠密对应，计算现代人每个颅骨样本各个顶点的软组织厚度值，建立性别和年龄的软组织厚度回归模型；
步骤3.2：依据推测的古人类的年龄和性别，利用软组织厚度回归模型，计算古人类颅骨的面部软组织分布，并将其用于颅面初步复原。
所述第四步，具体步骤如下：
步骤4.1：针对现代人的面貌三维模型，采用步骤一的非刚性配准方法，建立现代人面貌模型的点云稠密对应。对现代人的面貌三维模型归一化，采用主成分分析方法建立归一化的现代人面貌统计形状模型，主成分记为fMarkVector＝[fmarkvector0,fmarkvector1,…,fmarkvectork]，每个面貌模型对应的主成分系数记为k表示主成分个数，平均面貌模型记为meanface；
步骤4.2：对第三步中的颅面初步复原结果进行归一化，利用归一化的现代人面貌统计形状模型，计算颅面初步复原结果在归一化的现代人面貌统计形状模中的主成分系数Qfmarkcoff，并依据所述系数实现颅面精确复原,记为Fineface＝meanface+fMarkVector·Qfmarkcoff，其中Fineface表示颅面精确复原结果。
所述第五步具体步骤如下：
步骤5.1：针对古人类颅骨和复原面貌的三维模型计算面部软组织厚度分布，计算面貌复原结果每个顶点的软组织厚度与现代人软组织厚度的差异，将软组织分布差异较大的区域作为复原结果不佳的候选区域；
步骤5.2：交互地编辑复原结果不佳区域的软组织厚度分布，从而重新计算新的面貌初步复原结果，最后根据现代人的面貌统计形状模型实现颅面复原。
所述步骤2.3进一步包括：
步骤2.3.1：定义形状空间计算和顶点稠密对应计算的非刚性配准能量函数E(X)，E(X)＝Ed(X)+α·Es(X)+β·El(X)+λEb(X)，其中X＝[X0,X1,…Xh]表示现代人参考颅骨每个顶点对应的仿射变换，h表示顶点数量，α，β和λ分别表示保刚性能量Es(X)、颅骨特征点距离能量El(X)的权值，颅骨轮廓对应点的距离Eb(X)；配准过程中将现代人参考颅骨模型表示为refskull＝{vi}，refskull＝meanskull+skullVector·Rskulllcoff，其中skullVector表示步骤1.2中的现代人颅骨的主成分，Rskulllcoff表示参考颅骨的主成分系数。Ed(X)表示参考颅骨每个顶点vi和古人类颅骨模型对应顶点间的欧式距离，记为其中表示现代人参考颅骨和古人类颅骨最近点间是否具有对应关系,Es(X)＝∑||(Xi-Xj)G||2表示保刚性能量使得邻接区域在变形过程中保持光滑，G＝diag(1,1,1,γ)表示对角矩阵，γ表示刚性系数。El(X)表示标定的颅骨特征点间的距离能量，El(X)＝∑||Xi·QsMarks-sMarksi||2，其中QsMarksi和sMarksi为第二步中计算的古人类颅骨特征点和手工标定的现代人颅骨特征点；对提取的颅骨左右眼眶、鼻骨、左右颧骨和下颌骨的轮廓特进行边缘提取，对其进行等弧长采样，进而通过最近点搜索算法建立轮廓对应点，其距离能量记为Eb(X)＝∑||Xi·QsEdgesi-sEdgesi||2，其中QsEdgesi和sEdgesi为颅骨轮廓采样后的对应点集；配准过程中Qskull表示归一化的古人类颅骨模型，Xi表示现代人参考颅骨每个顶点对应的仿射变换；
步骤2.3.2:优化求解建立稠密对应点云。在每次迭代地优化能量函数E(X)过程中，在相邻层的轮廓点集上通过最近距离建立顶点间的对应关系，从而依据统计形状模型计算古人类颅骨模型的主成分系数及其对应的颅骨几何模型，并将该颅骨模型作为新的参考颅骨模型，进而重复步骤2.3.1直到对应点之间的误差小于阈值时停止。最终通过不断迭代，建立现代人颅骨和古人类颅骨之间顶点的对应关系。
所述步骤3.1进一步包括：
步骤3.1.1：针对现代人颅骨的点云稠密对应，计算每个颅骨各个顶点的软组织厚度值，记为depthi；软组织计算过程中首先采用步骤2.1的等角度采样方法对现代人颅骨进行采样，计算每层颅骨的中心坐标，记为centeri，则现代人颅骨每个顶点pi软组织测量方向定义为软组织厚度值为颅骨顶点和计算获得的面貌对应点之间的欧式距离depthi＝||svpi-fvqi||；
步骤3.1.2：针对现代人每个颅骨各个顶点的面部软组织厚度，建立性别和年龄胖瘦的面部软组织厚度的回归模型，表示为：f(age,bmi,sex)＝a0+a1×age+a2×bmi，其中age,bmi,sex分别表示颅骨的年龄、胖瘦和性别，a0,a1,a2表示回归系数；
所述步骤3.2进一步包括：
步骤3.2.1：依据推测获得的古人类颅骨的年龄、胖瘦和性别，分别记为age,bmi,sex，依据面部软组织厚度回归模型计算古人类颅骨每个顶点的软组织厚度Qdepthi；
步骤3.2.2：根据Qdepthi和古人类颅骨的每个顶点的几何坐标，面貌初步复原结果的顶点坐标为：facei＝pi+Qdepthi×Measurevectori，其中facei表示面貌复原结果的第i个顶点的坐标，表示稠密对应的古人类颅骨第i个顶点的坐标，Measurevectori表示软组织的测量方向。
所述步骤4.2包括以下具体步骤：
步骤4.2.1：将步骤3.2.2中面貌初步复原模型归一化，归一化的结果记为Uestimatedface＝{Ufacei}，其中Ufacei＝facei/scale，scale为缩放系数；
步骤4.2.2：采用非刚性最近点迭代算法实现归一化的平均面貌模型向面貌初步复原模型的非刚性配准，将沿法线方向的投影点作为对应点建立模型间的点云稠密对应；进而采用贝叶斯优化方法计算面貌初步复原模型在面貌统计形状空间中的主成分系数Qfmarkcoff，从而实现颅面精确复原，公式为Newface＝meanface+fMarkVector·Qfmarkcoff，其中Newface表示颅面精确复原结果，meanface和fMarkVector表示步骤4.1计算获得的归一化面貌统计形状模型的平均面貌和主成分。
本发明相对于现有技术具有如下的优点和积极效果：
(1)本发明针对古人类颅骨的面貌复原问题，提出了一种基于面部软组织和形状空间的颅面复原方法，其积极效果主要表现在三方面：(a)颅骨配准的颅面复原方法是将参考颅骨向待复原颅骨变形，从而将该变形应用于参考面貌模型，实现给定颅骨的面貌复原。该方法的实质将参考模型的软组织分布作为待复原颅骨的软组织分布用于颅面复原。在前期研究中发现，颅面复原结果的软组织分布与参谋面貌并不完全一致，因此本发明提出通过直接使用面部稠密点的软组织厚度值实现面貌的初步复原，克服了基于颅骨配准的颅面复原方法的不足。(b)法医人类学已经证明面部软组织的分布与性别、年龄等因素有关，国内外学者已经针对面部少量特征点的软组织厚度，建立了性别、年龄和身体质量指数的软组织回归模型。然而少量特征点处的软组织难以有效表示面部复杂的软组织分布，因此本发明建立了面部稠密点的软组织和属性的回归模型，提高了复原结果的准确性；(c)由于脸颊、眼眶、鼻子等区域难以有效计算软组织分布，使得初步面貌复原结果存在大量缺失区域，因此本发明利用面貌统计形状模型实现了面貌复原结果的几何形状优化，提高了颅面复原结果的准确性。
(2)本发明针对统计形状模型的建立问题，建立了在统一能量函数框架下的非刚性配准和主成分分析方法，在迭代优化求解的过程中将古人类颅骨用颅骨统计形状模型进行表示，提高了点云稠密对应的准确性。最近点迭代算法等刚性配准算法最早用于三维模型的配准，通过查找最近点等策略建立顶点间的对应关系。但是由于刚性配准方法性能的局限，并不能有效建立复杂形状的顶点对应。因此，薄板样条、非刚性最近点迭代等非刚性算法被应用于三维模型的配准，通过提高模型的配准效果提高对应点对应的准确性。然而上述方法也存在配准过程未考虑模型的几何先验形状，最近点搜索过程中范围广、易出错的局限。因此本发明在配准前对古人类颅骨和现代人颅骨模型进行等间距等角度柱面采样，计算外轮廓点集。然后在非刚性优化迭代过程中在相邻层间寻找顶点对应关系，并引入颅骨统计形状模型计算参考颅骨模型，从而提高了颅骨点云稠密对应的准确性。
(3)本发明针对颅面复原结果评价和交互编辑问题，提出了软组织分布反馈评价的颅面复原交互编辑方法。在缺乏古人类颅骨及其对应的真实面貌训练样本集的情况下，基于视觉观察的主观评价被广泛应用。该方法主要是将颅骨和复原面貌的三维模型进行重叠和透明显示，进而评价复原结果的可靠性，然而该方法难以定量计算复原结果不佳的区域。B样条、拉普拉斯等三维几何形状交互编辑方法被应用于三维模型的几何形状编辑，然而由于缺乏人脸三维模型的先验形状约束，使得用户在交互编辑时存在困难。本专利有效的将复原结果不佳区域的识别和三维面貌几何形状编辑相融合，通过交互的编辑复原结果不佳区域的软组织厚度，实现在面貌形状空间约束下的颅面精确复原和交互编辑。
附图说明
图1本发明方法的流程图；
图2为古人类颅骨三维模型；
图3为面部软组织分布展开图；
图4为面部统计形状模型的前12个主成分与几何形状间的关系(PCi表示第i个主成分)；
图5为基于面部稠密软组织厚度的颅面初步复原(左图)和基于面貌统计形状模型的最终复原结果(右图)。
具体实施方式
以下结合附图对本发明的实施例进行详细描述，但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。
如图1所示，本发明一种基于面部软组织和形状空间的古人类颅面复原方法包括如下步骤：
步骤一：基于非刚性配准和主成分分析的统计形状模型；
步骤二：待复原头骨三维模型的点云稠密对应；
步骤三：基于面部软组织厚度计算面部几何形状；
步骤四：基于面貌统计形状模型的颅面几何形状优化；
步骤五：基于反馈评价的颅面复原结果交互编辑。
图1给出了本发明的一种基于面部软组织和形状空间的古人类颅面复原方法基本过程。在步骤一基于医学影像数据重建现代人颅骨和面貌的外表面三维模型，采用非刚性配准方法建立颅骨之间和面貌之间的顶点稠密对应关系，采用主成分分析方法求解主成分和每个颅骨对应的主成分系数，建立颅骨统计形状模型。可利用步骤二建立颅骨特征点的统计形状模型，进而采用活动轮廓模型计算古人类颅骨的特征点，并将其作为颅骨非刚性配准的约束。在颅骨配准前通过采用等角度和等间距的柱面采样方法，对古人类颅骨和现代人颅骨进行外表面轮廓采样，使得对应点搜索过程中仅在相邻层间进行计算，降低了搜索空间，提高了准确性。采用在统一能量函数框架下的非刚性配准和主成分分析方法，实现古人类颅骨顶点间的稠密对应及其在形状统计形状空间中的表示。第三步，基于点云稠密对应的颅骨模型和面貌三维模型，计算每个颅骨每个顶点的软组织厚度，建立性别、年龄和软组织厚度的回归模型。进而针对点云稠密对应的古人类颅骨，计算每个顶点对应的面貌顶点的几何坐标，实现面貌初步复原。第四步，建立归一化的面貌统计形状模型，进而优化基于软组织分布的面貌初步复原结果，提高复原结果的准确性。最后，计算颅面复原结果的面部软组织分布和现代人面部软组织分布的差异，交互地编辑复原结果不佳区域的软组织分布，进而重新计算该区域的面部几何形状，最后通过面貌统计模型优化实现颅面复原结果的交互编辑。
进一步地，所述步骤一包括以下具体步骤：
步骤1.1：颅面三维外表面建模和特征点标定；针对采集获得的现代人头部医学影像数据，通过图像分割、三维重建和外表面提取等步骤，实现颅骨和面貌外表面的三维建模。利用软件标定颅骨特征点，记为其中sMarksi表示第i个特征点的坐标，m表示特征点的个数；利用软件标定面貌特征点，记为其中fMarksi表示第i个面貌特征点，n表示特征点的个数；
步骤1.2：从现代人颅骨外表面模型库中选择任意颅骨作为参考模型，采用带有尺度的最近点迭代算法，计算平移变换T、旋转变换R和缩放变换S，实现颅骨模型库中参考模型向其余样本颅骨模型的刚性配准；采用非刚性最近点迭代算法计算参考模型上每个顶点的仿射变换X，实现参考模型向其余样本颅骨模型的非刚性配准；
步骤1.3：针对配准后的颅骨模型计算平均模型，记为meanskull，并将归一化后的平均颅骨作为参考颅骨模型；
步骤1.4：将现代人颅骨模型库中的每个颅骨归一化，采用带有尺度的最近点迭代算法和非刚性最近点迭代算法，计算参考模型每个顶点的仿射变换实现参考模型向数据库中每个颅骨模型的非刚性配准；
步骤1.5：将配准后两个模型之间的最近点作为对应点，实现现代人颅骨模型间顶点的稠密对应；
步骤1.6：将步骤1.4中归一化的现代人颅骨模型表示为其中pi表示颅骨每个顶点的坐标，l表示颅骨顶点的个数，则将每个现代人的颅骨模型表示为向量，记为[x0,y0,z0,x1,y1,z1,…,xl-1,yl-1,zl-1]T，采用主成分分析方法计算现代人颅骨模型的主成分skullVector＝[svector0,svector1,…,svectorf]和现代人颅骨对应的主成分系数其中svectori表示统计形状空间中的主成分，sbi表示主成分系数，f表示主成分的个数，进而建立归一化的现代人颅骨的统计形状模型。可将现代人颅骨模型表示为Modernskull＝meanskull+skullVector·Moderncoff，其中Modernskull表示利用统计形状模型计算获得的现代人颅骨，Moderncoff表示该现代人颅骨对应的主成分系数，meanskull表示平均颅骨模型，该模型将用于步骤二中古人类颅骨的点云稠密对应。
进一步地，所述步骤二包括以下具体步骤：
步骤2.1：古人类颅骨外表面的建模；针对三维扫描获得的古人类颅骨三维模型，采用二次等角度采样的方法计算古人类颅骨的外表面模型。首先将古人类颅骨模型变换到法兰克福坐标系下，定义沿z轴方向的采样间隔为dist，沿水平方向的采样角度间隔为5度，每层轮廓的采样的中心为(0,0,zi)，zi为沿z轴的坐标其值由dist决定，则采用柱面采样初步计算古人类颅骨的外轮廓；然后，针对每层外轮廓点集，计算每层轮廓的中心坐标oi(xi,yi,zi)，将其作为新的每层轮廓的采样的中心，定义沿水平方向的采样角度间隔为1度，重新计算古人类颅骨的外轮廓点集；最后，采用最短对角线算法实现古人类颅骨外表面的三维建模；
步骤2.2：古人类颅骨特征点的自动标定；针对已经标定的现代人颅骨特征点，采用最近点迭代算法实现颅骨特征点的配准，计算颅骨平均特征点、主成分和主成分系数，建立颅骨特征点的统计形状模型；利用步骤2.1建立的统计形状模型，将平均颅骨特征点作为初始特征点，采用活动轮廓模型迭代的优化计算古人类颅骨的特征点，记为QsMarks；
步骤2.3：古人类颅骨模型的点云稠密对应。针对已经计算的古人类颅骨的特征点，采用在统一能量函数框架下的非刚性配准和主成分分析方法，计算参考颅骨模型，在实现古人类颅骨顶点间的稠密对应的同时迭代实现其在形状统计形状空间中的表示。
所述步骤2.3进一步包括：
步骤2.3.1：定义形状空间计算和顶点稠密对应计算的非刚性配准能量函数E(X)，E(X)＝Ed(X)+α·Es(X)+β·El(X)+λEb(X)，其中X＝[X0,X1,…Xh]表示现代人参考颅骨每个顶点对应的仿射变换，h表示顶点数量，α，β和λ分别表示保刚性能量Es(X)、颅骨特征点距离能量El(X)的权值，颅骨轮廓对应点的距离Eb(X)；配准过程中将现代人参考颅骨模型表示为refskull＝{vi}，refskull＝meanskull+skullVector·Rskulllcoff，其中skullVector表示步骤1.2中的现代人颅骨的主成分，Rskulllcoff表示参考颅骨的主成分系数。Ed(X)表示参考颅骨每个顶点vi和古人类颅骨模型对应顶点间的欧式距离，记为其中表示现代人参考颅骨和古人类颅骨最近点间是否具有对应关系,Es(X)＝∑||(Xi-Xj)G||2表示保刚性能量使得邻接区域在变形过程中保持光滑，G＝diag(1,1,1,γ)表示对角矩阵，γ表示刚性系数。El(X)表示标定的颅骨特征点间的距离能量，El(X)＝∑||Xi·QsMarks-sMarksi||2，其中QsMarksi和sMarksi为第二步中计算的古人类颅骨特征点和手工标定的现代人颅骨特征点；对提取的颅骨左右眼眶、鼻骨、左右颧骨和下颌骨的轮廓特进行边缘提取，对其进行等弧长采样，进而通过最近点搜索算法建立轮廓对应点，其距离能量记为Eb(X)＝∑||Xi·QsEdgesi-sEdgesi||2，其中QsEdgesi和sEdgesi为颅骨轮廓采样后的对应点集；配准过程中Qskull表示归一化的古人类颅骨模型，Xi表示现代人参考颅骨每个顶点对应的仿射变换；
步骤2.3.2:优化求解建立稠密对应点云。在每次迭代地优化能量函数E(X)过程中，在相邻层的轮廓点集上通过最近距离建立顶点间的对应关系，从而依据统计形状模型计算古人类颅骨模型的主成分系数及其对应的颅骨几何模型，并将该颅骨模型作为新的参考颅骨模型，进而重复步骤2.3.1直到对应点之间的误差小于阈值时停止。最终通过不断迭代，建立现代人颅骨和古人类颅骨之间顶点的对应关系。
进一步地，所述步骤三包括以下具体步骤：
步骤3.1：计算现代人颅面数据库中每个样本面部稠密点的软组织厚度；针对点云稠密对应的颅骨模型，计算现代人每个样本每个颅骨顶点的软组织厚度值，建立性别和年龄的软组织厚度回归模型。
步骤3.2：基于软组织分布和属性计算待复原头骨的面部几何形状。依据推测的古人类的年龄和性别，利用软组织厚度回归模型，计算古人类颅骨的面部软组织分布，并将其用于颅面初步复原。
所述步骤3.1进一步包括：
步骤3.1.1：针对现代人颅骨的点云稠密对应，计算每个颅骨各个顶点的软组织厚度值，记为depthi；软组织计算过程中首先采用步骤2.1的等角度采样方法对现代人颅骨进行采样，计算每层颅骨的中心坐标，记为centeri，则现代人颅骨每个顶点pi软组织测量方向定义为软组织厚度值为颅骨顶点和计算获得的面貌对应点之间的欧式距离depthi＝||svpi-fvqi||；
步骤3.1.2：针对现代人每个颅骨各个顶点的面部软组织厚度，建立性别和年龄胖瘦的面部软组织厚度的回归模型，表示为：f(age,bmi,sex)＝a0+a1×age+a2×bmi，其中age,bmi,sex分别表示颅骨的年龄、胖瘦和性别，a0,a1,a2表示回归系数；
所述步骤3.2进一步包括：
步骤3.2.1：依据推测获得的古人类颅骨的年龄、胖瘦和性别，分别记为age,bmi,sex，依据面部软组织厚度回归模型计算古人类颅骨每个顶点的软组织厚度Qdepthi；
步骤3.2.2：根据Qdepthi和古人类颅骨的每个顶点的几何坐标，面貌初步复原结果的顶点坐标为：facei＝pi+Qdepthi×Measurevectori，其中facei表示面貌复原结果的第i个顶点的坐标，表示稠密对应的古人类颅骨第i个顶点的坐标，Measurevectori表示软组织的测量方向。
进一步地，所述步骤四包括以下具体步骤：
步骤4.1：基于非刚性配准和主成分分析的面貌统计形状模型；针对现代人的面貌三维模型，采用步骤一的非刚性配准方法，建立面貌顶点间的稠密对应关系。对面貌三维模型归一化，采用主成分分析方法建立归一化的面貌统计形状模型，主成分记为fMarkVector＝[fmarkvector0,fmarkvector1,…,fmarkvectork]，每个面貌模型对应的主成分系数记为k表示主成分个数，平均面貌模型记为meanface；
步骤4.2：基于面部统计形状模型的颅复原。针对步骤三中的颅面初步复原结果，利用归一化的现代人面貌统计形状模型，计算颅面初步复原结果在归一化的现代人面貌统计形状模中的主成分系数Qfmarkcoff，并依据所述系数实现颅面精确复原,记为Fineface＝meanface+fMarkVector·Qfmarkcoff，其中Fineface表示颅面精确复原结果。
所述步骤4.2进一步包括：
步骤4.2.1：将步骤3.2.2中面貌初步复原模型归一化，归一化的结果记为Uestimatedface＝{Ufacei}，其中Ufacei＝facei/scale，scale为缩放系数；
步骤4.2.2：采用非刚性最近点迭代算法实现归一化的平均面貌模型向面貌初步复原模型的非刚性配准，将沿法线方向的投影点作为对应点建立模型间的点云稠密对应；进而采用贝叶斯优化方法计算面貌初步复原模型在面貌统计形状空间中的主成分系数Qfmarkcoff，从而实现颅面精确复原，公式为Newface＝meanface+fMarkVector·Qfmarkcoff，其中Newface表示颅面精确复原结果，meanface和fMarkVector表示步骤4.1计算获得的归一化面貌统计形状模型的平均面貌和主成分。
在本发明的实施例中：
第一步，针对现代人完整头部的CT影像数据，通过图像分割和边缘轮廓跟踪技术，提取颅骨和面貌的外表面三维模型。在三维重建的现代人颅骨和面貌模型上标定颅骨特征点和面貌特征点，建立现代人颅面三维模型数据库。选择任意现代人颅骨作为参考模型，采用带有尺度的最近点迭代算法和非刚性最近点迭代算法，实现参考模型向现代人颅骨模型库中其余颅骨模型的非刚性配准；将归一化后的平均颅骨作为参考颅骨模型，将颅骨模型库中的每个颅骨归一化，采用带有尺度的最近点迭代算法和非刚性最近点迭代算法，实现参考颅骨模型向颅骨模型库中每个颅骨模型的非刚性配准，进而将配准后两个颅骨模型之间沿法线方向的投影点作为对应点，实现现代人颅骨模型的点云稠密对应；采用主成分分析方法计算现代人颅骨模型的主成分和每个现代人颅骨对应的主成分系数，建立现代人颅骨的统计形状模型。
第二步，针对古人类颅骨模型采用粗细两次等角度采样的方法计算古人类颅骨外表面的三维模型，如图2所示，该模型将用于古人类颅面复原。选择任意现代人颅骨的特征点作为参考特征点，采用带有尺度的最近点迭代算法，实现参考特征点向颅骨模型库中其余头骨特征点的刚性配准；将归一化颅骨平均特征点作为参考特征点，将每个颅骨的特征点归一化，采用带有尺度的最近点迭代算法实现参考特征点向颅骨模型库中每个颅骨特征点的配准，将配准后的颅骨特征点之间的最近点作为对应点；采用主成分分析方法计算现代人颅骨特征点的主成分和每个现代人颅骨特征点对应的主成分系数，建立现代人颅骨特征点的统计形状模型；将现代人的平均颅骨特征点作为初始参考特征点，采用活动轮廓模型计算骨人类颅骨的特征点。将手工标定的现代人的颅骨特征点和计算获得的古人类颅骨的特征点作为约束，采用在统一能量函数框架下的非刚性配准和主成分分析方法，计算参考颅骨模型，建立古人类颅骨模型和现代人颅骨模型间的点云稠密对应及其在形状空间中的表示。
第三步，针对点云稠密对应后的现代人颅骨模型库，计算每个现代人颅骨各顶点的软组织厚度。图3为采用等角度采样的方法计算现代人男性20-30岁的平均软组织分布，不同颜色表示不同软组织厚度值。进而，建立性别、年龄、胖瘦作为因素的面部软组织厚度回归方程。依据推测获得的古人类颅骨的属性信息，计算古人类颅骨每个顶点的软组织厚度，进而计算每个顶点对应的面貌顶点的几何坐标，实现面貌初步复原。
第四步，选择任意现代人的面貌模型作为参考模型，采用带有尺度的最近点迭代算法和非刚性最近点迭代算法，实现参考模型向面貌模型库中每个现代人面貌模型的非刚性配准；将现代人面貌模型库中的每个面貌模型归一化，采用带有尺度的最近点迭代算法和非刚性最近点迭代算法，实现参考模型向面貌模型库中面貌模型的非刚性配准，建立面貌模型间的点云稠密对应；采用主成分分析方法计算现代人面貌模型的主成分和每个面貌模型对应的主成分系数，建立现代人的面貌统计形状模型；图4给出了现代人的面貌统计形状前12个主成分中每个主成分与面貌几何形状的关系，通过调整每个主成分的系数可以实现面貌几何形状的编辑。将面貌初步复原模型归一化，采用非刚性最近点迭代算法实现归一化的平均面貌模型向面貌初步复原模型的非刚性配准，建立模型间的点云稠密对应；根据归一化的现代人的面貌统计形状模型，利用贝叶斯方法计算主成分系数并实现面貌的精确复原。图5给出了基于面貌统计形状模型的复原结果，图5中左图为基于面部稠密软组织厚度计算获得的面貌初步复原结果，右图为在形状空间中求解主成分系数进而实现精确复原，可以看出精确复原的结果能够填补初步复原结果中的缺失信息，也能够克服软组织厚度计算和古人类颅骨和现代人参考颅骨模型间顶点对应不准确造成的初步复原结果几何形状中的噪声等局限，进一步提高复原结果的准确性。
第五步，计算颅面复原模型的软组织分布和现代人的面部软组织分布的颜色量化分布展开图和数值差异，发现复原结果不佳的区域，交互地编辑复原结果不佳区域的软组织分布，重新计算面貌初步复原结果，并利用归一化的面貌统计形状模型和贝叶斯方法计算主成分系数，实现面貌的精确复原。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的范围内，能够轻易想到的变化或替换，都应涵盖在本发明权利要求的保护范围内。

Claims (10)

1.一种基于面部软组织和形状空间的古人类颅面复原方法，其特征在于，包括以下步骤：
第一步，依据在从CT影像重建获得的现代人的颅骨和面貌三维模型上标定的颅骨特征点和面貌特征点，采用非刚性配准算法实现颅骨三维模型间和面貌三维模型间的非刚性变形，从而将沿法线方向的投影点作为对应点建立现代人颅骨三维模型间的稠密对应点云，基于所述对应关系采用主成分分析算法通过求解特征值和特征向量建立现代人颅骨的统计形状模型，从而用于第二步古人类颅骨的点云稠密对应；
第二步，根据第一步获得的现代人颅骨的统计形状模型，采用在统一能量函数框架下的非刚性配准和主成分分析方法，建立古人类颅骨和现代人参考颅骨三维模型的稠密对应点云；
第三步，根据第一步获得的现代人颅骨的稠密对应点云和现代人颅骨对应的三维面貌模型，计算性别、年龄因素约束的面部软组织厚度回归模型；利用第二步获得的古人类颅骨的稠密对应点云，实现古人类颅骨面貌的初步复原；
第四步，针对第三步获得的面貌初步复原三维模型和建立的现代人三维面貌的统计形状模型，计算主成分系数实现颅面精确复原；
第五步，基于反馈评价的颅面复原结果交互编辑，通过比较古人类颅面复原结果的面部软组织分布和现代人的面部软组织分布之间的差异，确定复原结果不佳的区域，再通过调整面貌复原结果对应的主城分系数，实现复原面貌的交互编辑。
2.根据权利要求1所述的一种基于面部软组织和形状空间的古人类颅面复原方法，其特征在于：所述第一步具体步骤如下：
步骤1.1：颅面三维外表面建模和特征点标定；针对采集获得的现代人头部医学影像数据，通过图像分割、三维重建和外表面提取步骤，实现颅骨和面貌外表面的三维建模，并利用软件标定颅骨特征点和面貌特征点，上述特征点将用于颅骨模型配准和面貌模型配准；
步骤1.2：从现代人颅骨外表面模型库中选择任意颅骨作为参考模型，采用带有尺度的最近点迭代算法，计算平移变换、旋转变换和缩放变换，实现颅骨模型库中参考模型向其余样本颅骨模型的刚性配准；采用非刚性最近点迭代算法计算参考模型上每个顶点的仿射变换，实现参考模型向其余样本颅骨模型的非刚性配准；
步骤1.3：将非刚性配准后的现代人颅骨模型间沿法线方向的投影点作为对应点，建立颅骨模型间的点云稠密对应，进而计算现代人颅骨的平均模型meanskull，并将归一化后的平均颅骨作为参考颅骨模型；
步骤1.4：将现代人颅骨模型库中的每个颅骨归一化，采用带有尺度的最近点迭代算法和非刚性最近点迭代算法，计算参考颅骨模型每个顶点的仿射变换，实现参考颅骨模型向现代人颅骨外表面数据库中每个颅骨模型的非刚性配准；
步骤1.5：将配准后的参考颅骨模型和现代人颅骨外表面数据库中每个颅骨模型间沿法线方向的投影点作为对应点，建立现代人颅骨模型的点云稠密对应；
步骤1.6：将步骤1.4中归一化的现代人颅骨模型表示为其中pi表示颅骨每个顶点的坐标，l表示颅骨顶点的个数，则将每个现代人的颅骨模型表示为向量，记为[x0,y0,z0,x1,y1,z1,…,xl-1,yl-1,zl-1]T，采用主成分分析方法计算现代人颅骨模型的主成分skullVector＝[svector0,svector1,…,svectorf]和现代人颅骨对应的主成分系数其中svectori表示统计形状空间中的主成分，sbi表示主成分系数，f表示主成分的个数，进而建立归一化的现代人颅骨的统计形状模型；可将现代人颅骨模型表示为Modernskull＝meanskull+skullVector·Moderncoff，其中Modernskull表示利用统计形状模型计算获得的现代人颅骨，Moderncoff表示该现代人颅骨对应的主成分系数，meanskull表示平均颅骨模型，该模型将用于步骤二中古人类颅骨的点云稠密对应。
3.根据权利要求1所述的一种基于面部软组织和形状空间的古人类颅面复原方法，其特征在于：所述第二步，具体步骤如下：
步骤2.1：针对三维扫描获得的古人类颅骨的三维模型，采用粗细两次等角度采样的方法计算古人类颅骨的外表面模型；首先将古人类颅骨模型变换到法兰克福坐标系下，定义沿z轴方向的采样间隔为dist，沿水平方向的采样角度间隔为5度，每层轮廓的采样的中心为(0,0,zi)，zi为沿z轴的坐标其值由dist决定，则采用柱面采样初步计算古人类颅骨的外轮廓；然后，针对每层外轮廓点集，计算每层轮廓的中心坐标oi(xi,yi,zi)，将其作为新的每层轮廓的采样的中心，定义沿z轴方向的采样间隔为dist，沿水平方向的采样角度间隔为1度，重新计算古人类颅骨的外轮廓点集；最后，采用最短对角线算法实现古人类颅骨外表面的三维建模；
步骤2.2：针对步骤1.1中已经标定的现代人颅骨特征点，采用最近点迭代算法实现现代人颅骨特征点的配准，采用主成分分析算法计算现代人颅骨的平均特征点、主成分和主成分系数，建立现代人颅骨特征点的统计形状模型；利用该统计形状模型，将现代人颅骨的平均特征点作为初始特征点，采用活动轮廓模型迭代的优化计算古人类颅骨的特征点；
步骤2.3：针对已经计算的现代人颅骨的平均特征点和古人类颅骨的特征点，采用在统一能量函数框架下的非刚性配准和主成分分析方法，实现古人类颅骨的点云稠密对应，进而实现古人类颅骨在统计形状空间中的表示。
4.根据权利要求1所述的一种基于面部软组织和形状空间的古人类颅面复原方法，其特征在于：所述第三步具体步骤如下：
步骤3.1：针对现代人颅骨的点云稠密对应，计算现代人每个颅骨样本各个顶点的软组织厚度值，建立性别和年龄的软组织厚度回归模型；
步骤3.2：依据推测的古人类的年龄和性别，利用软组织厚度回归模型，计算古人类颅骨的面部软组织分布，并将其用于颅面初步复原。
5.根据权利要求1所述的一种基于面部软组织和形状空间的古人类颅面复原方法，其特征在于：所述第四步，具体步骤如下：
步骤4.1：针对现代人的面貌三维模型，采用步骤一的非刚性配准方法，建立现代人面貌模型的点云稠密对应；对现代人的面貌三维模型归一化，采用主成分分析方法建立归一化的现代人面貌统计形状模型，主成分记为fMarkVector＝[fmarkvector0,fmarkvector1,…,fmarkvectork]，每个面貌模型对应的主成分系数记为fmarkvectori表示主成分，fmbi表示主成分系数k表示主成分个数，平均面貌模型记为meanface；
步骤4.2：对第三步中的颅面初步复原结果进行归一化，利用归一化的现代人面貌统计形状模型，计算颅面初步复原结果在归一化的现代人面貌统计形状模中的主成分系数Qfmarkcoff，并依据所述系数实现颅面精确复原，记为Fineface＝meanface+fMarkVector·Qfmarkcoff，其中Fineface表示颅面精确复原结果。
6.根据权利要求1所述的一种基于面部软组织和形状空间的古人类颅面复原方法，其特征在于：所述第五步具体步骤如下：
步骤5.1：针对古人类颅骨和复原面貌的三维模型计算面部软组织厚度分布，计算面貌复原结果每个顶点的软组织厚度与现代人软组织厚度的差异，将软组织分布差异较大的区域作为复原结果不佳的候选区域；
步骤5.2：交互地编辑复原结果不佳区域的软组织厚度分布，从而重新计算新的面貌初步复原结果，最后根据现代人的面貌统计形状模型实现颅面复原。
7.根据权利要求3所述的一种基于面部软组织和形状空间的古人类颅面复原方法，其特征在于，所述步骤2.3进一步包括：
步骤2.3.1：定义形状空间计算和顶点稠密对应计算的非刚性配准能量函数E(X)，E(X)＝Ed(X)+α·Es(X)+β·El(X)+λEb(X)，其中X＝[X0,X1,…Xh]表示现代人参考颅骨每个顶点对应的仿射变换，h表示顶点数量，α，β和λ分别表示保刚性能量Es(X)、颅骨特征点距离能量El(X)的权值，颅骨轮廓对应点的距离Eb(X)；配准过程中将现代人参考颅骨模型表示为refskull＝{vi}，refskull＝meanskull+skullVector·Rskulllcoff，其中skullVector表示步骤1.2中的现代人颅骨的主成分，Rskulllcoff表示参考颅骨的主成分系数；Ed(X)表示参考颅骨每个顶点vi和古人类颅骨模型对应顶点间的欧式距离，记为其中表示现代人参考颅骨和古人类颅骨最近点间是否具有对应关系,Es(X)＝∑||(Xi-Xj)G||2表示保刚性能量使得邻接区域在变形过程中保持光滑，G＝diag(1,1,1,γ)表示对角矩阵，γ表示刚性系数；El(X)表示标定的颅骨特征点间的距离能量，El(X)＝∑||Xi·QsMarks-sMarksi||2，其中QsMarksi和sMarksi为第二步中计算的古人类颅骨特征点和手工标定的现代人颅骨特征点；对提取的颅骨左右眼眶、鼻骨、左右颧骨和下颌骨的轮廓特进行边缘提取，对其进行等弧长采样，进而通过最近点搜索算法建立轮廓对应点，其距离能量记为Eb(X)＝∑||Xi·QsEdgesi-sEdgesi||2，其中QsEdgesi和sEdgesi为颅骨轮廓采样后的对应点集；配准过程中Qskull表示归一化的古人类颅骨模型，Xi表示现代人参考颅骨每个顶点对应的仿射变换；
步骤2.3.2:优化求解建立稠密对应点云，在每次迭代地优化能量函数E(X)过程中，在相邻层的轮廓点集上通过最近距离建立顶点间的对应关系，从而依据统计形状模型计算古人类颅骨模型的主成分系数及其对应的颅骨几何模型，并将该颅骨模型作为新的参考颅骨模型，进而重复步骤2.3.1直到对应点之间的误差小于阈值时停止；最终通过不断迭代，建立现代人颅骨和古人类颅骨之间顶点的对应关系。
8.根据权利要求4所述的一种基于面部软组织和形状空间的古人类颅面复原方法，其特征在于；所述步骤3.1进一步包括：
步骤3.1.1：针对现代人颅骨的点云稠密对应，计算每个颅骨各个顶点的软组织厚度值，记为depthi；软组织计算过程中首先采用步骤2.1的等角度采样方法对现代人颅骨进行采样，计算每层颅骨的中心坐标，记为centeri，则现代人颅骨每个顶点pi软组织测量方向定义为软组织厚度值为颅骨顶点和计算获得的面貌对应点之间的欧式距离depthi＝||svpi-fvqi||；
步骤3.1.2：针对现代人每个颅骨各个顶点的面部软组织厚度，建立性别和年龄胖瘦的面部软组织厚度的回归模型，表示为：f(age,bmi,sex)＝a0+a1×age+a2×bmi，其中age,bmi,sex分别表示颅骨的年龄、胖瘦和性别，a0,a1,a2表示回归系数。
9.根据权利要求4所述的一种基于面部软组织和形状空间的古人类颅面复原方法，其特征在于，所述步骤3.2进一步包括：
步骤3.2.1：依据推测获得的古人类颅骨的年龄、胖瘦和性别，分别记为age,bmi,sex，依据面部软组织厚度回归模型计算古人类颅骨每个顶点的软组织厚度Qdepthi；
步骤3.2.2：根据Qdepthi和古人类颅骨的每个顶点的几何坐标，面貌初步复原结果的顶点坐标为：facei＝pi+Qdepthi×Measurevectori，其中facei表示面貌复原结果的第i个顶点的坐标，表示稠密对应的古人类颅骨第i个顶点的坐标，Measurevectori表示软组织的测量方向。
10.根据权利要求5所述的一种基于面部软组织和形状空间的古人类颅面复原方法，其特征在于，所述步骤4.2包括以下具体步骤：
步骤4.2.1：将步骤3.2.2中面貌初步复原模型归一化，归一化的结果记为Uestimatedface＝{Ufacei}，其中Ufacei＝facei/scale，scale为缩放系数；
步骤4.2.2：采用非刚性最近点迭代算法实现归一化的平均面貌模型向面貌初步复原模型的非刚性配准，将沿法线方向的投影点作为对应点建立模型间的点云稠密对应；进而采用贝叶斯优化方法计算面貌初步复原模型在面貌统计形状空间中的主成分系数Qfmarkcoff，从而实现颅面精确复原，公式为Newface＝meanface+fMarkVector·Qfmarkcoff，其中Newface表示颅面精确复原结果，meanface和fMarkVector表示步骤4.1计算获得的归一化面貌统计形状模型的平均面貌和主成分。
CN201910266815.7A 2019-04-03 2019-04-03 一种基于面部软组织和形状空间的古人类颅面复原方法 Expired - Fee Related CN109978998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910266815.7A CN109978998B (zh) 2019-04-03 2019-04-03 一种基于面部软组织和形状空间的古人类颅面复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910266815.7A CN109978998B (zh) 2019-04-03 2019-04-03 一种基于面部软组织和形状空间的古人类颅面复原方法

Publications (2)

Publication Number Publication Date
CN109978998A true CN109978998A (zh) 2019-07-05
CN109978998B CN109978998B (zh) 2020-10-09

Family

ID=67082799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910266815.7A Expired - Fee Related CN109978998B (zh) 2019-04-03 2019-04-03 一种基于面部软组织和形状空间的古人类颅面复原方法

Country Status (1)

Country Link
CN (1) CN109978998B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627147A (zh) * 2022-05-16 2022-06-14 青岛大学附属医院 基于多阈值图像分割的颅面标志点自动识别方法
CN114777744A (zh) * 2022-04-25 2022-07-22 中国科学院古脊椎动物与古人类研究所 一种古生物领域的地质测量方法、装置及电子设备
CN116452755A (zh) * 2023-06-15 2023-07-18 成就医学科技(天津)有限公司 一种骨骼模型构建方法、系统、介质及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184410A (zh) * 2011-05-06 2011-09-14 浙江工业大学 三维复原颅面的识别方法
CN103258349A (zh) * 2013-05-30 2013-08-21 西北大学 颅面复原用模型库及颅面复原方法
CN103679816A (zh) * 2013-12-30 2014-03-26 北京师范大学 一种面向刑侦的未知身源颅骨的计算机辅助面貌复原方法
US20140100485A1 (en) * 2012-10-04 2014-04-10 Marius G. LINGURARU Quantitative assessment of the skull
CN106780591A (zh) * 2016-11-21 2017-05-31 北京师范大学 一种基于颅面稠密对应点云的颅面形态分析及面貌复原方法
US20180068414A1 (en) * 2016-09-08 2018-03-08 Carnegie Mellon University Methods and Software for Generating a Derived 3D Object Model From a Single 2D Image
CN109118455A (zh) * 2018-09-14 2019-01-01 北京师范大学 一种基于现代人软组织分布的古人类头骨颅面交互复原方法
CN109146818A (zh) * 2018-08-24 2019-01-04 青岛大学 一种基于测地线的颅面统计复原方法
US20190021863A1 (en) * 2013-08-09 2019-01-24 Chad Gordon Patient-specific craniofacial implants

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184410A (zh) * 2011-05-06 2011-09-14 浙江工业大学 三维复原颅面的识别方法
US20140100485A1 (en) * 2012-10-04 2014-04-10 Marius G. LINGURARU Quantitative assessment of the skull
US9370318B2 (en) * 2012-10-04 2016-06-21 Marius G. LINGURARU Quantitative assessment of the skull
CN103258349A (zh) * 2013-05-30 2013-08-21 西北大学 颅面复原用模型库及颅面复原方法
US20190021863A1 (en) * 2013-08-09 2019-01-24 Chad Gordon Patient-specific craniofacial implants
CN103679816A (zh) * 2013-12-30 2014-03-26 北京师范大学 一种面向刑侦的未知身源颅骨的计算机辅助面貌复原方法
US20180068414A1 (en) * 2016-09-08 2018-03-08 Carnegie Mellon University Methods and Software for Generating a Derived 3D Object Model From a Single 2D Image
CN106780591A (zh) * 2016-11-21 2017-05-31 北京师范大学 一种基于颅面稠密对应点云的颅面形态分析及面貌复原方法
CN109146818A (zh) * 2018-08-24 2019-01-04 青岛大学 一种基于测地线的颅面统计复原方法
CN109118455A (zh) * 2018-09-14 2019-01-01 北京师范大学 一种基于现代人软组织分布的古人类头骨颅面交互复原方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YAN LI等: "Craniofacial reconstruction based on least square support vector regression", 《2014 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS》 *
热孜万古丽·夏米西丁 等: "改进的基于特征点软组织厚度的颅面复原方法", 《计算机应用研究》 *
税午阳 等: "奇和洞古人类头骨面貌的三维虚拟复原", 《科学通报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114777744A (zh) * 2022-04-25 2022-07-22 中国科学院古脊椎动物与古人类研究所 一种古生物领域的地质测量方法、装置及电子设备
CN114777744B (zh) * 2022-04-25 2024-03-08 中国科学院古脊椎动物与古人类研究所 一种古生物领域的地质测量方法、装置及电子设备
CN114627147A (zh) * 2022-05-16 2022-06-14 青岛大学附属医院 基于多阈值图像分割的颅面标志点自动识别方法
CN116452755A (zh) * 2023-06-15 2023-07-18 成就医学科技(天津)有限公司 一种骨骼模型构建方法、系统、介质及设备
CN116452755B (zh) * 2023-06-15 2023-09-22 成就医学科技(天津)有限公司 一种骨骼模型构建方法、系统、介质及设备

Also Published As

Publication number Publication date
CN109978998B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN107358648B (zh) 基于单张人脸图像的实时全自动高质量三维人脸重建方法
CN101339670B (zh) 一种计算机辅助的三维颅面复原方法
CN109978998A (zh) 一种基于面部软组织和形状空间的古人类颅面复原方法
Damas et al. Forensic identification by computer-aided craniofacial superimposition: a survey
Shui et al. Densely calculated facial soft tissue thickness for craniofacial reconstruction in Chinese adults
Styner et al. Automatic and robust computation of 3D medial models incorporating object variability
CN105279762A (zh) 一种口腔软硬组织ct序列与三维网格模型配准方法
CN104867104B (zh) 基于xct图像非刚度配准的目标鼠解剖结构图谱获取方法
CN106780591A (zh) 一种基于颅面稠密对应点云的颅面形态分析及面貌复原方法
CN109118455B (zh) 一种基于现代人软组织分布的古人类头骨颅面交互复原方法
CN109215064A (zh) 一种基于超像素向导的医学图像配准方法
CN106327479A (zh) 血管造影中介下先心病术中血管辨识的装置及方法
Yuan et al. Personalized design technique for the dental occlusal surface based on conditional generative adversarial networks
CN107221029A (zh) 一种三维图像重建方法
Desvignes et al. 3D semi-landmarks based statistical face reconstruction
CN112085821A (zh) 一种基于半监督的cbct与激光扫描点云数据配准方法
CN107240128A (zh) 一种基于轮廓特征的x线片和彩色照片配准方法
CN114066953A (zh) 一种针对刚性目标的三维多模态图像可变形配准方法
Moser et al. Masquerade: Fine-scale details for head-mounted camera motion capture data
CN104899923A (zh) 基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法
WO2022222091A1 (zh) 一种基于单张照片的人物浅浮雕模型生成方法
CN110717978A (zh) 基于单张图像的三维头部重建方法
Feng et al. 3D reconstruction for maxillary anterior tooth crown based on shape and pose estimation networks
Tian et al. Efficient tooth gingival margin line reconstruction via adversarial learning
Berar et al. 3D statistical facial reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201009

CF01 Termination of patent right due to non-payment of annual fee