CN102073776A - 一种基于分区统计模型的颅面复原方法 - Google Patents
一种基于分区统计模型的颅面复原方法 Download PDFInfo
- Publication number
- CN102073776A CN102073776A CN 201110022354 CN201110022354A CN102073776A CN 102073776 A CN102073776 A CN 102073776A CN 201110022354 CN201110022354 CN 201110022354 CN 201110022354 A CN201110022354 A CN 201110022354A CN 102073776 A CN102073776 A CN 102073776A
- Authority
- CN
- China
- Prior art keywords
- model
- subregion
- skull
- musculus cutaneus
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明属于计算机图像处理领域,具体涉及一种基于分区统计模型的颅面复原方法。该方法通过统计人类颅面模型形状的先验知识,对待复原颅骨进行面皮重建,具体是将颅骨和面皮模型按照不同器官分区后建立基于分区的统计模型,然后分别复原颅骨分区的各个面皮分区,而后再将各个面皮分区拼接为一个面皮整体模型。通过对颅骨面皮分区后,提高了统计模型的表示能力,降低了复原结果的误差。本方法在考古学,法医学以及虚拟手术等领域都有重要的应用价值。
Description
技术领域
本发明属于计算机图像处理技术领域,具体涉及一种基于分区统计模型的颅面复原方法。
背景技术
基于统计模型的计算机辅助颅面复原方法是2005年才出现的一种新的颅面复原方法。其过程是通过建立颅骨与面皮的联合统计模型,得出颅骨和面皮的在高维空间的特征向量和特征值,其中特征向量控制着模型的变形趋势,特征值控制着变形范围,然后再根据待复原颅骨的形状和统计模型联合求解,从而恢复出待复原颅骨对应的面皮。该方法的特点是:不再使用少数特征点来代替颅面特征,而是将所有的顶点均参与到复原过程中,复原结果在细节上具有更强的表示能力,统计变形更符合人脸形状变化规律;且统计可变形模型根据许多真实人脸形状进行统计,模型的形变是在人脸形状空间范围内进行变形,使得复原结果的细节更为符合人脸的生理结构。但是人脸可变形统计模型的建立需要海量的样本,而数据的获取需要耗费大量的人力,物力,实践中往往只能获得少量的样本,经常会遇到的小样本问题。
发明内容
针对现有技术的缺点或不足,本发明的目的是利用颅骨和面皮的相应器官部位部分相关的关系(例如面皮的嘴巴只和颅骨的颌骨以及牙齿等部分相关)提出一种新的基于分区统计模型的颅面复原方法,以解决传统统计模型颅面复原方法中遭遇的小样本问题,更大程度的降低颅面复原结果的误差。
本发明的基本构思是通过将颅骨和面皮模型按照不同器官分区后建立基于分区的统计模型,然后分别复原颅骨分区的各个面皮分区,而后再将各个面皮分区拼接为一个面皮整体模型,所述方法通过下列步骤进行:
步骤一,三维颅骨与面皮分区统计模型建立:
(1)数据预处理:
(1.1)三维颅骨与面皮模型重构:分别获取原始的颅骨与面皮轮廓,然后采用中心射线法剔除轮廓杂质,接着将相邻轮廓拼接,得到无杂质单层三维颅骨与面皮模型;
(1.2)三维颅骨与面皮模型配准:对其中一套重构好的颅骨与面皮模型分别进行法兰克福坐标系校正,将其作为颅骨与面皮模型基准样本,接着将其余重构好的三维颅骨模型与颅骨模型基准样本、三维面皮模型与面皮模型基准样本采用ICP配准方法进行配准处理;
(1.3)建立点对应关系:将所有经配准过的三维颅骨模型与颅骨模型基准样本、三维面皮模型与面皮模型基准样本建立点对应关系,使所有三维颅骨模型和面皮模型都与相对应的基准样本具有相同的顶点个数,并且所有三维颅骨和面皮模型相同序号的顶点具有位置对应的关系;
(2)三维颅骨与颅面模型分区:
(2.1)特征点标定:对颅骨和面皮分别定义特征点,采用预先导入特征点基本空间位置,在三维视图上手动微调特征点位置的方法对经预处理过的三维颅骨与面皮模型分别进行特征点标定;
(2.2)构造辅助分割几何模板:将与某个具体的生理感官区域相关的特征点拟合构造出与各个生理感官区域相对应的辅助分割几何模板,得到颅骨辅助分割几何模板和面皮辅助分割几何模板,颅骨辅助分割几何模板包括三个椭球体和一个四面体,分别对应颅骨的左眼、右眼、嘴巴和鼻子生理感官区域,面皮辅助分割几何模板包括三个椭球体和一个四面体,分别对应面皮的左眼、右眼、嘴巴和鼻子生理感官区域;
(2.3)三维颅骨与面皮模型分区:对于颅骨与面皮辅助分割几何模板中的每一个几何模型,遍历各三维颅骨模型与面皮模型中的每一个顶点,判断对象顶点是否在该几何模型内部,如果顶点在某个几何模型内部,则该顶点属于该几何模型的对应分区,否则,不属于该分区,最后将属于该分区的所有顶点组成一个顶点集合,最终将所有三维颅骨与面皮模型均划分为眼睛、嘴巴、鼻子以及其它生理感官部分四个分区;
(3)分区统计模型的建立:针对眼睛、嘴巴、鼻子以及其它生理感官部分四个独立分区,分别建立颅骨和面皮的分区联合统计模型;
步骤二,待复原颅骨的面皮复原:
(1)数据预处理:
(1.1)三维待复原颅骨模型重构:获取待复原颅骨的原始轮廓,采用中心射线法剔除轮廓杂质,将提取的相邻轮廓拼接,得到无杂质单层三维待复原颅骨模型;
(1.2)三维待复原颅骨模型配准:将重构好的三维待复原颅骨模型通过ICP配准方法,与步骤一(1.2)中所述的颅骨模型基准样本进行配准处理;
(1.3)建立点对应关系:将配准后的三维待复原颅骨模型通过最近欧式距离原理与步骤一(1.2)中所述的颅骨模型基准样本建立点对应关系,使其与颅骨模型基准样本有相同的顶点个数,且相同序号的顶点具有位置对应的关系;
(2)三维待复原颅骨模型分区:
(2.1)特征点标定:根据步骤一(2.1)中定义的颅骨特征点,采用预先导入特征点基本空间位置,在三维视图上手动微调特征点位置的方法对经预处理过的三维待复原颅骨模型进行特征点标定;
(2.2)三维待复原颅骨模型分区:对于步骤一(2.2)中所述的颅骨辅助分割几何模板中的每一个几何模型,遍历待复原颅骨模型中的每一个顶点,判断该顶点是否在该几何模型内部,如果顶点在某个几何模型内部,则该顶点属于该几何模型的对应分区,否则,不属于该分区,最后将属于该分区的所有顶点组成一个顶点集合,最终将待复原颅面模型划分为眼睛、鼻子、嘴巴以及其它部分四个分区;
(3)面皮分区复原:将待复原颅骨的四个分区分别代人到步骤一所建立的四个分区中相应的分区联合统计模型中,分别复原出各个面皮分区;
(4)面皮分区拼接:将复原得出的四个面皮分区采用光滑拼接算法拼接为一个整体面皮。
优选的,步骤一(1.1)中所述的获取原始的颅骨与面皮轮廓采用Snake算法。
优选的,步骤一(1.1)中所述的相邻轮廓拼接采用Ganapathy算法。
优选的,步骤一(2.1)中对颅骨和面皮分别定义37和39个特征点。
优选的,步骤二(1.1)中所述的获取待复原颅骨轮廓采用Snake算法。
优选的,步骤二(1.1)中所述的相邻轮廓拼接采用Ganapathy算法。
优选的,步骤一(3)中分区统计模型的建立过程如下:
设i={ER,NR,MR,OR},代表经过分区的成套颅骨和面皮模型中四个分区的集合,对于第i个分区,设其颅骨相应分区模型为S i =(S 1 ,S 2 ,…,S n ) T ,对应面皮部分为F i =(F 1 ,F 2 ,…,F m ) T ,顶点个数分别为n,m,设j={1,2,…,M},代表第j套颅骨与面皮模型,
每一套颅骨与面皮模型在该分区的部分可以表示为一个行向量:
T i,j=(S 1x, S 1y, S 1z,…. S nx, S ny, S nz,F 1x, F 1y, F 1z,…, F mx, F my, F mz),
则第i个分区下所有成套的颅骨与面皮模型的样本均值
每套颅骨与面皮模型均去除样本均值后,有第i个分区下的协方差矩阵
(式2)
通过特征值和特征向量的定义式 S i P i,k =λ i,k P i,k ,计算出(式2)对应的特征值 λ i,k 和特征向量 P i,k ,其中有意义的特征值的个数等于颅骨与面皮模型套数 M -1,
建立好的各分区统计模型表示为:
优选的,步骤二(3)中面皮分区复原方法如下:
步骤一(3)中建好的各分区统计模型重新表示为:
根据待复原颅骨自身的模型和步骤一中建立的分区联合统计模型通过(式4)对待复原颅骨进行面皮复原,通过偏微分求解,(式4)的解为:
通过(式5与式6)分别计算出待复原颅骨的面皮的各个分区。
优选的,步骤二(4)中所述的光滑拼接算法通过下列步骤实现:
利用各个分区统计模型中的均值模型作为分区曲面变形限制约束,并针对具体的不平滑网格原因,采取相应的平滑拼接算法:
针对分区整体位置不当的问题,采取调整分区重心法:
步骤一,计算不平滑网格分区内所有顶点的重心,即重心A;
步骤二,计算均值模型分区内所有顶点重心,即重心B;
步骤三,将重心A位置对齐到重心B,求出平移变换参数;
步骤四,将平移变换参数施加到不平滑网格分区所有顶点,
针对分区整体位置正确,部分边缘区域顶点位置差别较大的问题,采取调整分区边界重心法:
步骤一,计算不平滑网格分区内边界顶点的重心,即重心C;
步骤二,计算均值模型分区内边界顶点重心,即重心D;
步骤三,将重心C对齐到重心D,求出平移变换参数;
步骤四,将平移变换参数施加到不平滑网格分区所有顶点,
针对两分区边缘处曲率较大的问题,采取调整边界曲率法:
步骤一,调整边界处顶点坐标,根据需要设定平滑系数 t ,其中,对每一个边界顶点根据平滑系数t值进行顶点位置调整,设 V 2是需要平滑的不平滑网格涉及分区模型中某一边界点, V 1是该分区均值模型中的对应点,则调整后的新顶点: V= V 2 +D i,其中 D i=( V 1- V 2)* t 是调整第 i 个边界顶点所进行的平移向量, V 是根据平滑系数 t 对原始顶点 V 2进行调整后的结果;
步骤二,调整分区内其它顶点坐标,根据该分区模型所有边界处顶点的位移来调整当前顶点坐标,每一个边界点的位移对当前顶点的位移影响权重采用倒数平方的加权方式,如(式7),
其中dis i为第 i 个边界点到该方法的步骤一中被调整坐标的顶点的距离, D i是调整第 i 个边界顶点所进行的平移向量,在(式7)中根据所有边界顶点处的平移加权得出该顶点所需要的平移向量 D ,则调整后的顶点 V’ = V+D 。
该方法基于同一颅面中颅骨与面皮上相同生理感官部位之间的部位形状等特征联系,将三维颅骨和面皮模型划分成四个分区,并对各个分区建立独立的统计模型,以此分区独立统计模型为样本数据库,对待复原颅骨相应的各个分区进行独立复原。与现有的技术相比,在相同样本个数情况下,降低了小样本特殊性对整体统计模型复原影响,提高了统计模型的表达能力,有效提高了计算机辅助颅面复原方法复原结果的准确度。
附图说明
图1为本发明的算法流程图;
图2为实施例中颅骨和面皮特征点编码与位置标定示意图,其中图(a)为面皮特征点编码与位置标定示意图,图(b)为颅骨特征点编码与位置标定示意图,图(a)、(b)中黑色圆形点代表为轮廓特征点,黑色三角形点为器官特征点;
图3为实施例中颅骨与面皮辅助分割几何模板,其中(a)为颅骨辅助分隔几何模型,(b)为面皮辅助分隔几何模型;
图4为对比试验中的嘴巴分区统计变形示意图;
图5为对比试验中鼻子分区统计变形示意图;
图6为对比试验中基于整体和分区的统计模型面貌复原结果,其中(a)图为基于全局统计模型的复原结果、(b)图为基于分区统计模型的复原结果、(c)图为原始面皮(ground truth)。
以下结合实施例与附图对本发明作进一步的详细说明。
具体实施方式
需要说明的是本发明中所述的“每套颅骨与面皮模型”或“成套的颅骨与面皮模型”均指提取于同一样本颅面的颅骨与面皮模型。
以下是发明人给出的具体实施例:
实施例1:该实施例通过如下步骤进行:
步骤一,三维颅骨与面皮分区统计模型建立:
(1)数据预处理:
为了将统计的方法应用到颅骨面貌复原的研究工作中,需要对采集的原始数据进行一系列预处理工作,其结果好坏直接影响后续步骤的效果。
(1.1)无杂质单层三维颅骨与面皮模型重构:
本实施例中使用的原始数据均由螺旋CT(Computer Tomography)机采集得到,CT机对人的头部每隔1.5mm进行一次扫描,最终根据每个人头部的大小得到约200-300张CT图像,CT机将这些图像保存成计算机可以识别的DICOM (Digital Imaging and Communication in Medicine)格式的文件;
轮廓提取是三维重建的基础,首先需要对CT图像进行颅骨与面皮轮廓的分别提取,即指面皮或者颅骨最外层轮廓,不包含脖子和耳廓等数据信息。本实施例中采用Snake算法和中心射线法相结合,首先通过Snake算法分别提取颅骨和面皮的轮廓,然后采用中心射线算法进行杂质剔除保证轮廓线单层化,其过程是由中心发射出射线,该射线和轮廓线有多处相交点,则每次只保留最外层的交点,如果最外层的交点是杂质点,则手工去除掉,得到每层CT图像中无杂质单层轮廓点集合;
采用Ganapathy算法,将相邻的轮廓拼接为三维网格模型,当对一套颅骨与面皮的模型所有的轮廓拼接完成后,便得到光滑的、无杂质的三维颅骨和面皮模型;
(1.2)三维颅骨与面皮模型配准:在三维视图中,对其中一套重构好的颅骨和面皮模型分别进行法兰克福坐标系校正,将校正后的颅骨和面皮模型作为基准样本,通过ICP配准处理,将其余重构好的三维颅骨模型与颅骨模型基准样本、三维面皮模型与面皮模型基准样本进行配准处理,去除数据见仿射变换对后续实验步骤的影响;
(1.3)建立点对应关系:将所有经配准过的三维颅骨模型与颅骨模型基准样本、三维面皮模型与面皮模型基准样本建立点对应关系,使所有三维颅骨模型和面皮模型都与相对应的基准样本具有相同的顶点个数,并且所有三维颅骨和面皮模型相同序号的顶点具有位置对应的关系,即使得所有的模型都有相同的顶点个数,以及不同模型的相同序号的顶点都具有位置对应的关系;
(2)三维颅骨与面皮模型分区
(2.1)特征点标定:特征点是用来描述颅骨和面皮的关键特征,本实施例参考MPEG4专家组中人脸和身体动画专业小组的相关研究结论,定义了一套颅面特征点标准:其中对颅骨定义了37个特征点,面皮定义了39个特征点,每个特征点的具体编号和位置见图2;
采用预先导入特征点基本空间位置,在三维视图上手动微调特征点位置的方法对颅面和面皮模型特征点分别进行标定,首先将预先导入特征点构成的网格和待标定模型的相关角度分布值进行对比,产生一个候选特征点的集合,然后采用手工方式从候选点集中标定到准确的特征点;
(2.2)构造辅助分割几何模板:根据颅骨和面皮的生理结构特征定义一套辅助分割几何模板,用以辅助颅面分区的划分。具体是将与某个具体的生理感官区域相关的特征点拟合构造出与各个生理感官区域相对应的辅助分割几何模板,各辅助分割几何模板中的几何模型参数通过相关颅面特征点确定。各几何模版对应特征点对于面皮模型见表1,对于颅骨模型见表2。
表1 面皮模型各分区使用的特征点
除过表中所列特征点编号,其他剩余特征点编号代表面皮上其他生理感官部位。
表2 颅骨模型各分区使用的特征点
除过表中所列特征点编号,其他剩余特征点编号代表颅骨上其他生理感官部位。
通过以上的过程,对颅骨和面皮模型分别构造出一套辅助分割几何模板,颅骨和面皮辅助分割几何模板均由四个和人脸不同部位形状近似的几何模型构成,其中颅骨辅助分割几何模板包括三个椭球体和一个四面体,分别对应颅骨的左眼、右眼、嘴巴和鼻子生理区域,面皮辅助分割几何模板包括三个椭球体和一个四面体,分别对应面皮的左眼、右眼、嘴巴和鼻子生理区域,剩余区域为其他生理感官部位,构造的颅骨与面皮辅助分割几何模板结果如图3。其中的椭球体的构造过程是将若干个特征点代入到椭球体的一般方程中,然后计算出该椭球体对应的参数,得出椭球体方程;
(2.3)三维颅骨和面皮模型分区:使用辅助分割几何模板对三维颅骨和面皮模型进行符合生理的划分。基本过程是:首先对颅骨模型进行分区处理,对颅骨模型中每一个顶点进行遍历,判定该顶点是否归属于颅骨辅助分割几何模板中的四个几何模型中的某一个,如顶点归属于某一个辅助分隔几何中的几何模型,则顶点归属于该分区,否则该顶点属于其他区域;遍历完毕,将颅骨模型的所有顶点划分为四个分区,分别是眼睛、鼻子、嘴巴和其他分区;过程中具体判断某个顶点是否属于某个辅助几何模板所对应的分区时,某个顶点位于辅助分隔几何模板中四个几何模型中某一个的所有表面的反侧(设几何模型所有表面法向量都指向外侧),则认为该顶点在该几何模型的内部。采用相同的方法对面皮模型进行遍历,划分四个份区。划分完毕,归属于一个区域的顶点集合就构成一个分区。
(3)分区统计模型的建立
通过上述处理过程,所有的颅骨和面皮数据都划分成了眼睛、嘴巴、鼻子和其它部分四个分区。针对每个分区,分别建立起颅骨与面皮的分区联合活动统计模型。因为在每个分区中的顶点个数相对来说减少了很多,因此相同样本个数的情况下,在每个独立区域上可以形成一个形状表示能力更强的统计模型。本实施例的建立过程如下:
设i={ER,NR,MR,OR},代表经过分区的成套颅骨和面皮模型中四个分区的集合,对于第i个分区,设其颅骨相应分区模型为S i =(S 1 ,S 2 ,…,S n ) T ,对应面皮部分为F i =(F 1 ,F 2 ,…,F m ) T ,顶点个数分别为n,m,设j={1,2,…,M},代表第j套颅骨与面皮模型,总数为M,
则每套颅骨与面皮模型在该分区的部分可以表示为一个行向量:
T i,j=(S 1x, S 1y, S 1z,…. S nx, S ny, S nz,F 1x, F 1y, F 1z,…, F mx, F my, F mz),
则第i个分区下所有成套的颅骨与面皮模型的样本均值
通过特征值和特征向量的定义式 S i P i,k =λ i,k P i,k ,计算出(式2)对应的特征值 λ i,k 和特征向量 P i,k ,其中有意义的特征值的个数等于颅骨与面皮模型套数 M -1,
建立好的每个分区的独立颅骨与面皮联合统计模型可以表示为:
(式3)
步骤二,待复原颅骨的面皮复原:
(1)数据预处理:
(1.1)三维待复原颅骨模型重构:采用Snake算法从待复原颅骨的图像中获取待复原颅骨的原始轮廓,采用中心射线法剔除轮廓杂质,采用Ganapathy算法将提取的相邻轮廓拼接,得到无杂质单层三维待复原颅骨模型;
(1.2)三维待复原颅骨模型配准:将重构好的三维待复原颅骨模型通过ICP配准方法,与本实施例步骤一(1.2)步骤中所述的颅骨模型基准样本进行配准处理;
(1.3)建立点对应关系:将配准后的三维待复原颅骨模型通过最近欧式距离原理与本实施例步骤一(1.2)步骤中所述的颅骨模型基准样本建立点对应关系,使其与颅骨模型基准样本有相同的顶点个数,且相同序号的顶点具有位置对应的关系;
(2)三维颅骨模型分区:
(2.1)特征点标定:根据本实施例步骤一(2.1)中定义的颅骨特征点,采用预先导入特征点基本空间位置,在三维视图上手动微调特征点位置的方法对经预处理过的三维待复原颅骨模型进行特征点标定;
(2.2)三维待复原颅骨模型分区:对于本实施例步骤一(2.2)中所述的颅骨辅助分割几何模板中的每一个几何模型,分别循环判断待复原颅骨模型中的每一个顶点,判断该顶点是否在该几何模型内部,如果顶点在某个几何模型内部,则该顶点属于该几何模型的对应分区;否则,不属于该分区,最后将属于该分区的所有顶点组成一个顶点集合,最终将待复原颅面模型划分为眼睛、鼻子、嘴巴以及其它部分四个分区;
(3)面皮分区复原:将待复原颅骨的四个分区分别代人到步骤一所建立的四个分区中相应的分区联合统计模型中,分别复原出各个面皮分区;
本实施例步骤一(3)中建立好的每个分区的独立颅骨与面皮联合统计模型可以重新表示为:
当某个颅骨没有对应的面皮信息,可以通过(式4)根据已知的待复原颅骨的信息和该实施例中步骤一得到的分区联合统计模型进行面皮重建。这意味着在该分区的统计模型下(式4)中左边向量的颅骨部分S i =(S 1 ,S 2 ,…,S n ) T 是已知的,而其对应的面皮部分F i =(F 1 ,F 2 ,…,F m ) T 和形变参数b=(b 1 ,b 2 ,…,b t ) T 均是未知参数,构成了一个方程组,
通过偏微分求解,(式4)的解为:
(式5与式6)
通过(式5与式6)分别计算出待复原颅骨的面皮的各个分区;
步骤四,面皮分区拼接:
颅面各个分区的边界形状具有不确定性,因此复原后的面皮模型的各个分区不能直接拼接得到复原面皮模型。基于分区的统计模型中各分区的均值模型是所有样本该分区模型的平均形状,在边界处较为平滑,因此使用该均值模型作为分区曲面变形限制约束。根据分区拼接过程产生不平滑网格的原因,分别采用3种平滑算法平滑分区拼接后形成的不平滑网格:
(1)调整分区重心
针对分区整体位置不当,也就是分区过于偏向某个方向造成的拼接部分不平滑网格的问题,拼接时对整个分区进行刚性的平移变化,将整个分区的重心调整到均值模型对应分区的重心。其步骤如下:
步骤一,计算不平滑网格分区内所有顶点的重心,即重心A;
步骤二,计算均值模型分区内所有顶点重心,即重心B;
步骤三,将重心A位置对齐到重心B,求出平移变换参数;
步骤四,将平移变换参数施加到不平滑网格分区所有顶点,
(2)调整分区边界重心
针对分区整体位置正确,部分边缘区域顶点位置差别较大,造成拼接部分不平滑网格的问题,拼接时采用计算区域边界的重心,突出考虑边界位置,最后将对整个分区区域进行平移变换。其步骤如下:
步骤一,计算不平滑网格分区内边界顶点的重心,即重心C;
步骤二,计算均值模型分区内边界顶点重心,即重心D;
步骤三,将重心C对齐到重心D,求出平移变换参数;
步骤四,将平移变换参数施加到不平滑网格分区所有顶点,
(3)调整边界曲率
针对两分区边缘处曲率较大,造成拼接部分不平滑网格,无法通过对分区进行位置调整改善不平滑网格的问题,本方法采用对分区进行非刚性变换,施加约束变形限制,根据拼接边界处的曲率来约束分区顶点的坐标。具体的算法过程分为如下两步。第一步,调整边界处顶点坐标,首先在边界处平滑。第二步,调整分区内其它顶点坐标,保证分区内所有顶点的相对关系。
具体操作细节如下:
步骤一,调整边界处顶点坐标。首先,由用户根据需要设定平滑系数 t ,其中 t 满足( t 越接近0表示调整幅度越小,为0则表示不对边界顶点进行任何调整,越接近1表示调整幅度越大,为1则表示对边界顶点进行最大程度地调整)。对每一个边界顶点根据平滑系数t值进行顶点位置调整。设 V 2是待平滑分区某一边界点, V 1是均值模型中的对应点,则调整后的新顶点: V= V 2 +D i,其中 D i=( V 1- V 2)* t 。
其中 D i是调整第 i 个边界顶点所进行的平移向量, V 是根据平滑系数 t 对原始顶点 V 2进行调整后的结果。
步骤二,调整分区内其它顶点坐标。为了最大程度上保证对分区的非刚性变化不改变分区的整体形状,即分区内顶点的相对位置关系,对所有分区内顶点进行如下操作:根据该模型所有边界处顶点的位移来调整当前顶点坐标,每一个边界点的位移对当前顶点的位移影响权重采用如下倒数平方的加权方式,如(式7),
其中dis i为第 i 个边界点到该顶点的距离, D i是调整第 i 个边界顶点所进行的平移向量,在(式7)中根据所有边界顶点处的平移加权得出该顶点所需要的平移向量 D 。
实施例2:本实施例中基于实施例1中步骤一所建立的分区统计模型,对另一待复原颅骨进行面皮复原,其面皮复原过程与实施例1中步骤二所述的未知颅骨面皮复原过程相同。
以下是发明人提供的对比试验:
分别采用本发明所提供的方法和基于全局统计模型的颅面复原方法对同一待复原颅骨进行复原,图4和图5分别显示了嘴巴分区和鼻子分区的统计模型的变形情况。
从图4和图5中可以看出,基于分区的统计模型可以在更好的变形细节,通过全局统计模型很难达到这种效果。图6显示了对同一颅骨的基于分区统计模型的面貌复原结果和基于全局统计模型复原结果的对比,从该图可以看出,基于分区统计模型的面貌复原结果要优于基于整体统计模型的面貌复原结果。
表3 基于整体和分区的统计模型面貌复原绝对误差
表4 基于整体和分区的统计模型面貌复原相对误差
表3中列出了基于分区统计模型面貌复原和给予整体统计模型的面貌复原的相对误差的对比,表4中列出了这两种不同复原方法的相对误差对比。从表3中可以看出,基于分区的统计模型在各个分区都达到了更好的复原误差,在总体的复原绝对误差上,基于分区的统计模型平均提高了0.4个像素,相比基于全局的统计模型复原结果,该算法具有更高的准确度。从表4相对误差对比上,总体平均复原误差提高了0.65%。其中复原结果提升最明显的是其鼻子和眼睛等面皮和骨骼联系较为紧密的区域。鼻子区域提升了7.7%的准确度,眼睛分区提升了5.3%的准确度,复原效果提升明显。
Claims (9)
1.一种基于分区统计模型的颅面复原方法,其特征在于,该方法通过下列步骤进行:
步骤一,三维颅骨与面皮分区统计模型建立:
(1)数据预处理:
(1.1)三维颅骨与面皮模型重构:分别获取原始的颅骨与面皮轮廓,然后采用中心射线法剔除轮廓杂质,接着将相邻轮廓拼接,得到无杂质单层三维颅骨与面皮模型;
(1.2)三维颅骨与面皮模型配准:对其中一套重构好的颅骨与面皮模型分别进行法兰克福坐标系校正,将其作为颅骨与面皮模型基准样本,接着将其余重构好的三维颅骨模型与颅骨模型基准样本、三维面皮模型与面皮模型基准样本采用ICP配准方法进行配准处理;
(1.3)建立点对应关系:将所有经配准过的三维颅骨模型与颅骨模型基准样本、三维面皮模型与面皮模型基准样本建立点对应关系,使所有三维颅骨模型和面皮模型都与相对应的基准样本具有相同的顶点个数,并且所有三维颅骨和面皮模型相同序号的顶点具有位置对应的关系;
(2)三维颅骨与颅面模型分区:
(2.1)特征点标定:对颅骨和面皮分别定义特征点,采用预先导入特征点基本空间位置,在三维视图上手动微调特征点位置的方法对经预处理过的三维颅骨与面皮模型分别进行特征点标定;
(2.2)构造辅助分割几何模板:将与某个具体的生理感官区域相关的特征点拟合构造出与各个生理感官区域相对应的辅助分割几何模板,得到颅骨辅助分割几何模板和面皮辅助分割几何模板,颅骨辅助分割几何模板包括三个椭球体和一个四面体,分别对应颅骨的左眼、右眼、嘴巴和鼻子生理感官区域,面皮辅助分割几何模板包括三个椭球体和一个四面体,分别对应面皮的左眼、右眼、嘴巴和鼻子生理感官区域;
(2.3)三维颅骨与面皮模型分区:对于颅骨与面皮辅助分割几何模板中的每一个几何模型,遍历各三维颅骨模型与面皮模型中的每一个顶点,判断对象顶点是否在该几何模型内部,如果顶点在某个几何模型内部,则该顶点属于该几何模型的对应分区,否则,不属于该分区,最后将属于该分区的所有顶点组成一个顶点集合,最终将所有三维颅骨与面皮模型均划分为眼睛、嘴巴、鼻子以及其它生理感官部分四个分区;
(3)分区统计模型的建立:针对眼睛、嘴巴、鼻子以及其它生理感官部分四个独立分区,分别建立颅骨和面皮的分区联合统计模型;
步骤二,待复原颅骨的面皮复原:
(1)数据预处理:
(1.1)三维待复原颅骨模型重构:获取待复原颅骨的原始轮廓,采用中心射线法剔除轮廓杂质,将提取的相邻轮廓拼接,得到无杂质单层三维待复原颅骨模型;
(1.2)三维待复原颅骨模型配准:将重构好的三维待复原颅骨模型通过ICP配准方法,与步骤一(1.2)中所述的颅骨模型基准样本进行配准处理;
(1.3)建立点对应关系:将配准后的三维待复原颅骨模型通过最近欧式距离原理与步骤一(1.2)中所述的颅骨模型基准样本建立点对应关系,使其与颅骨模型基准样本有相同的顶点个数,且相同序号的顶点具有位置对应的关系;
(2)三维待复原颅骨模型分区:
(2.1)特征点标定:根据步骤一(2.1)中定义的颅骨特征点,采用预先导入特征点基本空间位置,在三维视图上手动微调特征点位置的方法对经预处理过的三维待复原颅骨模型进行特征点标定;
(2.2)三维待复原颅骨模型分区:对于步骤一(2.2)中所述的颅骨辅助分割几何模板中的每一个几何模型,遍历待复原颅骨模型中的每一个顶点,判断该顶点是否在该几何模型内部,如果顶点在某个几何模型内部,则该顶点属于该几何模型的对应分区,否则,不属于该分区,最后将属于该分区的所有顶点组成一个顶点集合,最终将待复原颅面模型划分为眼睛、鼻子、嘴巴以及其它部分四个分区;
(3)面皮分区复原:将待复原颅骨的四个分区分别代人到步骤一所建立的四个分区中相应的分区联合统计模型中,分别复原出各个面皮分区;
(4)面皮分区拼接:将复原得出的四个面皮分区采用光滑拼接算法拼接为一个整体面皮。
2.如权利要求1所述的基于分区统计模型的颅面复原方法,其特征在于,步骤一(1.1)中所述的获取原始的颅骨与面皮轮廓采用Snake算法。
3.如权利要求1所述的基于分区统计模型的颅面复原方法,其特征在于,步骤一(1.1)中所述的相邻轮廓拼接采用Ganapathy算法。
4.如权利要求1所述的基于分区统计模型的颅面复原方法,其特征在于,步骤一(2.1)中对颅骨和面皮分别定义37和39个特征点。
5.如权利要求1所述的基于分区统计模型的颅面复原方法,其特征在于,步骤二(1.1)中所述的获取待复原颅骨轮廓采用Snake算法。
6.如权利要求1所述的基于分区统计模型的颅面复原方法,其特征在于,步骤二(1.1)中所述的相邻轮廓拼接采用Ganapathy算法。
7.如权利要求1所述的基于分区统计模型的颅面复原方法,其特征在于,步骤一(3)中分区统计模型的建立过程如下:
设i={ER,NR,MR,OR},代表经过分区的成套颅骨和面皮模型中四个分区的集合,对于第i个分区,设其颅骨相应分区模型为S i =(S 1 ,S 2 ,…,S n ) T ,对应面皮部分为F i =(F 1 ,F 2 ,…,F m ) T ,顶点个数分别为n,m,设j={1,2,…,M},代表第j套颅骨与面皮模型,
每一套颅骨与面皮模型在该分区的部分可以表示为一个行向量:
T i,j=(S 1x, S 1y, S 1z,…. S nx, S ny, S nz,F 1x, F 1y, F 1z,…, F mx, F my, F mz),
则第i个分区下所有成套的颅骨与面皮模型的样本均值
(式1)
通过特征值和特征向量的定义式 S i P i,k =λ i,k P i,k ,计算出(式2)对应的特征值 λ i,k 和特征向量 P i,k ,其中有意义的特征值的个数等于颅骨与面皮模型套数 M -1,
建立好的各分区统计模型表示为:
9.如权利要求1-8任一权利要求所述的基于分区统计模型的颅面复原方法,其特征在于,步骤二(4)中所述的光滑拼接算法通过下列步骤实现:
利用各个分区统计模型中的均值模型作为分区曲面变形限制约束,并针对具体的不平滑网格原因,采取相应的平滑拼接算法:
针对分区整体位置不当的问题,采取调整分区重心法:
步骤一,计算不平滑网格分区内所有顶点的重心,即重心A;
步骤二,计算均值模型分区内所有顶点重心,即重心B;
步骤三,将重心A位置对齐到重心B,求出平移变换参数;
步骤四,将平移变换参数施加到不平滑网格分区所有顶点,
针对分区整体位置正确,部分边缘区域顶点位置差别较大的问题,采取调整分区边界重心法:
步骤一,计算不平滑网格分区内边界顶点的重心,即重心C;
步骤二,计算均值模型分区内边界顶点重心,即重心D;
步骤三,将重心C对齐到重心D,求出平移变换参数;
步骤四,将平移变换参数施加到不平滑网格分区所有顶点,
针对两分区边缘处曲率较大的问题,采取调整边界曲率法:
步骤一,调整边界处顶点坐标,根据需要设定平滑系数 t ,其中,对每一个边界顶点根据平滑系数t值进行顶点位置调整,设 V 2是需要平滑的不平滑网格涉及分区模型中某一边界点, V 1是该分区均值模型中的对应点,则调整后的新顶点: V= V 2 +D i ,其中 D i=( V 1- V 2)* t 是调整第 i 个边界顶点所进行的平移向量, V 是根据平滑系数 t 对原始顶点 V 2进行调整后的结果;
步骤二,调整分区内其它顶点坐标,根据该分区模型所有边界处顶点的位移来调整当前顶点坐标,每一个边界点的位移对当前顶点的位移影响权重采用倒数平方的加权方式,如(式7),
其中dis i为第 i 个边界点到该方法的步骤一中被调整坐标的顶点的距离, D i是调整第 i 个边界顶点所进行的平移向量,在(式7)中根据所有边界顶点处的平移加权得出该顶点所需要的平移向量 D ,则调整后的顶点 V’ = V+D 。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110022354 CN102073776B (zh) | 2011-01-20 | 2011-01-20 | 一种基于分区统计模型的颅面复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110022354 CN102073776B (zh) | 2011-01-20 | 2011-01-20 | 一种基于分区统计模型的颅面复原方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102073776A true CN102073776A (zh) | 2011-05-25 |
CN102073776B CN102073776B (zh) | 2012-12-19 |
Family
ID=44032314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110022354 Active CN102073776B (zh) | 2011-01-20 | 2011-01-20 | 一种基于分区统计模型的颅面复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102073776B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521875A (zh) * | 2011-11-25 | 2012-06-27 | 北京师范大学 | 一种基于张量空间偏最小二乘回归的颅面重构方法 |
CN102525608A (zh) * | 2012-01-18 | 2012-07-04 | 浙江工业大学 | 用于颅顶重建外科手术的颅骨导向模板及其制作方法 |
CN102855666A (zh) * | 2012-08-21 | 2013-01-02 | 北京师范大学 | 基于层次化回归模型的颅面重构方法 |
CN102895031A (zh) * | 2012-09-19 | 2013-01-30 | 深圳市旭东数字医学影像技术有限公司 | 肾脏虚拟手术方法及其系统 |
CN102930602A (zh) * | 2012-10-20 | 2013-02-13 | 西北大学 | 一种基于断层图像的面皮三维表面模型重建方法 |
CN103258349A (zh) * | 2013-05-30 | 2013-08-21 | 西北大学 | 颅面复原用模型库及颅面复原方法 |
CN103679816A (zh) * | 2013-12-30 | 2014-03-26 | 北京师范大学 | 一种面向刑侦的未知身源颅骨的计算机辅助面貌复原方法 |
CN106097294A (zh) * | 2015-04-28 | 2016-11-09 | 西门子公司 | 基于自动对应进行骨重定位 |
CN106485667A (zh) * | 2015-09-02 | 2017-03-08 | 北京师范大学 | 一种颅面复原方法 |
CN106780591A (zh) * | 2016-11-21 | 2017-05-31 | 北京师范大学 | 一种基于颅面稠密对应点云的颅面形态分析及面貌复原方法 |
CN109146818A (zh) * | 2018-08-24 | 2019-01-04 | 青岛大学 | 一种基于测地线的颅面统计复原方法 |
CN109299714A (zh) * | 2017-07-25 | 2019-02-01 | 上海中科顶信医学影像科技有限公司 | Roi模板生成方法、roi提取方法及系统、设备、介质 |
CN109886170A (zh) * | 2019-02-01 | 2019-06-14 | 长江水利委员会长江科学院 | 一种钉螺智能检测识别与统计系统 |
CN110164558A (zh) * | 2019-05-27 | 2019-08-23 | 上海爱圣美科技有限公司 | 一种牙齿模型参数化的方法 |
CN110515350A (zh) * | 2019-08-13 | 2019-11-29 | 北京城建道桥建设集团有限公司 | 一种群孔群锚对中及误差理论分析方法 |
CN111369649A (zh) * | 2018-12-26 | 2020-07-03 | 苏州笛卡测试技术有限公司 | 一种基于高精度三维扫描模型的制作计算机蒙皮动画的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1760658A1 (en) * | 2005-08-30 | 2007-03-07 | Agfa-Gevaert | Method of constructing a gray value model and/or a geometric model of an anatomic entity in a digital medical image. |
CN101131729A (zh) * | 2007-09-25 | 2008-02-27 | 浙江大学 | 一种从头肩的三维扫描原始数据中自动提取脸部区域的方法 |
CN101339670A (zh) * | 2008-08-07 | 2009-01-07 | 浙江工业大学 | 一种计算机辅助的三维颅面复原方法 |
US20090136103A1 (en) * | 2005-06-24 | 2009-05-28 | Milan Sonka | System and methods for image segmentation in N-dimensional space |
-
2011
- 2011-01-20 CN CN 201110022354 patent/CN102073776B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090136103A1 (en) * | 2005-06-24 | 2009-05-28 | Milan Sonka | System and methods for image segmentation in N-dimensional space |
EP1760658A1 (en) * | 2005-08-30 | 2007-03-07 | Agfa-Gevaert | Method of constructing a gray value model and/or a geometric model of an anatomic entity in a digital medical image. |
CN101131729A (zh) * | 2007-09-25 | 2008-02-27 | 浙江大学 | 一种从头肩的三维扫描原始数据中自动提取脸部区域的方法 |
CN101339670A (zh) * | 2008-08-07 | 2009-01-07 | 浙江工业大学 | 一种计算机辅助的三维颅面复原方法 |
Non-Patent Citations (3)
Title |
---|
《中国优秀硕士学位论文全文数据库》 20100930 张彦飞 基于分区的颅面统计重建算法研究与实现 , * |
《计算机工程与应用》 20091231 马艳妮,耿国华,周明全,董建民 《脸部特征点的定位与提取方法》 , 2 * |
《长江大学学报(自然科学版)》 20091231 谢应涛 基于几何特征的三维模型特征提取方法评述 第6卷, 第4期 2 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521875A (zh) * | 2011-11-25 | 2012-06-27 | 北京师范大学 | 一种基于张量空间偏最小二乘回归的颅面重构方法 |
CN102525608A (zh) * | 2012-01-18 | 2012-07-04 | 浙江工业大学 | 用于颅顶重建外科手术的颅骨导向模板及其制作方法 |
CN102525608B (zh) * | 2012-01-18 | 2013-11-27 | 浙江工业大学 | 用于颅顶重建外科手术的颅骨导向模板及其制作方法 |
CN102855666A (zh) * | 2012-08-21 | 2013-01-02 | 北京师范大学 | 基于层次化回归模型的颅面重构方法 |
CN102855666B (zh) * | 2012-08-21 | 2015-03-18 | 北京师范大学 | 基于层次化回归模型的颅面重构方法 |
CN102895031A (zh) * | 2012-09-19 | 2013-01-30 | 深圳市旭东数字医学影像技术有限公司 | 肾脏虚拟手术方法及其系统 |
CN102930602A (zh) * | 2012-10-20 | 2013-02-13 | 西北大学 | 一种基于断层图像的面皮三维表面模型重建方法 |
CN102930602B (zh) * | 2012-10-20 | 2015-03-25 | 西北大学 | 一种基于断层图像的面皮三维表面模型重建方法 |
CN103258349B (zh) * | 2013-05-30 | 2015-09-30 | 西北大学 | 颅面复原用模型库及颅面复原方法 |
CN103258349A (zh) * | 2013-05-30 | 2013-08-21 | 西北大学 | 颅面复原用模型库及颅面复原方法 |
CN103679816B (zh) * | 2013-12-30 | 2018-09-25 | 北京师范大学 | 一种面向刑侦的未知身源颅骨的计算机辅助面貌复原方法 |
CN103679816A (zh) * | 2013-12-30 | 2014-03-26 | 北京师范大学 | 一种面向刑侦的未知身源颅骨的计算机辅助面貌复原方法 |
CN106097294A (zh) * | 2015-04-28 | 2016-11-09 | 西门子公司 | 基于自动对应进行骨重定位 |
CN106097294B (zh) * | 2015-04-28 | 2019-08-16 | 西门子公司 | 基于自动对应进行骨重定位 |
CN106485667A (zh) * | 2015-09-02 | 2017-03-08 | 北京师范大学 | 一种颅面复原方法 |
CN106485667B (zh) * | 2015-09-02 | 2019-11-08 | 北京师范大学 | 一种颅面复原方法 |
CN106780591A (zh) * | 2016-11-21 | 2017-05-31 | 北京师范大学 | 一种基于颅面稠密对应点云的颅面形态分析及面貌复原方法 |
CN106780591B (zh) * | 2016-11-21 | 2019-10-25 | 北京师范大学 | 一种基于颅面稠密对应点云的颅面形态分析及面貌复原方法 |
CN109299714A (zh) * | 2017-07-25 | 2019-02-01 | 上海中科顶信医学影像科技有限公司 | Roi模板生成方法、roi提取方法及系统、设备、介质 |
CN109146818A (zh) * | 2018-08-24 | 2019-01-04 | 青岛大学 | 一种基于测地线的颅面统计复原方法 |
CN109146818B (zh) * | 2018-08-24 | 2022-12-09 | 青岛大学 | 一种基于测地线的颅面统计复原方法 |
CN111369649B (zh) * | 2018-12-26 | 2023-09-01 | 苏州笛卡测试技术有限公司 | 一种基于高精度三维扫描模型的制作计算机蒙皮动画的方法 |
CN111369649A (zh) * | 2018-12-26 | 2020-07-03 | 苏州笛卡测试技术有限公司 | 一种基于高精度三维扫描模型的制作计算机蒙皮动画的方法 |
CN109886170B (zh) * | 2019-02-01 | 2019-12-17 | 河海大学 | 一种钉螺智能检测识别与统计系统 |
CN109886170A (zh) * | 2019-02-01 | 2019-06-14 | 长江水利委员会长江科学院 | 一种钉螺智能检测识别与统计系统 |
CN110164558A (zh) * | 2019-05-27 | 2019-08-23 | 上海爱圣美科技有限公司 | 一种牙齿模型参数化的方法 |
CN110515350A (zh) * | 2019-08-13 | 2019-11-29 | 北京城建道桥建设集团有限公司 | 一种群孔群锚对中及误差理论分析方法 |
CN110515350B (zh) * | 2019-08-13 | 2020-10-16 | 北京城建道桥建设集团有限公司 | 一种群孔群锚对中及误差理论分析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102073776B (zh) | 2012-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102073776B (zh) | 一种基于分区统计模型的颅面复原方法 | |
WO2021017297A1 (zh) | 基于人工智能的脊柱影像处理方法及相关设备 | |
CN105957063B (zh) | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 | |
Shi et al. | Automatic MRI segmentation and morphoanatomy analysis of the vestibular system in adolescent idiopathic scoliosis | |
CN103955945B (zh) | 基于双目视差和活动轮廓的自适应彩色图像分割方法 | |
US10878574B2 (en) | 3D quantitative analysis of retinal layers with deep learning | |
CN103679816A (zh) | 一种面向刑侦的未知身源颅骨的计算机辅助面貌复原方法 | |
CN103258349A (zh) | 颅面复原用模型库及颅面复原方法 | |
Xiao et al. | Joint affinity propagation for multiple view segmentation | |
CN107430690A (zh) | 根据t1 mri的自动3d分割和皮层表面重建 | |
CN103489198A (zh) | 从序列mr图像中自动分割脑干区域的方法 | |
CN105913416A (zh) | 一种自动分割三维人脸模型区域的方法 | |
CN110197462A (zh) | 一种人脸图像实时美化与纹理合成方法 | |
CN103927747B (zh) | 一种基于人脸生物特征的面匹配空间注册方法 | |
CN104573634A (zh) | 一种三维人脸识别方法 | |
CN104809457A (zh) | 一种基于区域化隐函数特征的三维人脸识别方法及系统 | |
CN110796719A (zh) | 一种实时人脸表情重建方法 | |
CN101650777A (zh) | 一种基于密集点对应的快速三维人脸识别方法 | |
CN108230342A (zh) | 一种基于心脏解剖结构的左右心室水平集分割方法 | |
CN106778767B (zh) | 基于orb和主动视觉的视觉图像特征提取及匹配方法 | |
Michelin et al. | Spatio-temporal registration of 3D microscopy image sequences of Arabidopsis floral meristems | |
Gibson et al. | Optic nerve head registration via hemispherical surface and volume registration | |
US11288812B2 (en) | Automatic segmentation process of a 3D medical image by one or several neural networks through structured convolution according to the anatomic geometry of the 3D medical image | |
CN103985113B (zh) | 舌像分割方法 | |
CN105913096A (zh) | 一种无序图像关键帧的提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |