CN104899923A - 基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法 - Google Patents

Abstract

基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法，属于机械工程和医学工程技术领域。本发明基于面数据与体数据融合实现颜面赝复体基础模型的构建，前者由面结构光扫描仪采集，后者为CT扫描仪所采集；面数据进行投影获取到2D图像集合；通过SIFT流计算图像之间相似性，在2D图像集合寻找到与患者过去的照片相匹配的图像组成局部图像集合，进行带有微笑表情几何特征修饰的缺损区3D数据的重建；在颜面赝复体基础模型与缺损区3D数据之间进行基于约束的非刚性对齐算法实现颜面赝复体优化模型的构建。本发明方法可获得基于微笑表情几何特征修饰的颜面赝复体优化模型，提高了赝复体仿真效果和颜面形态赝复质量。

Description

基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法

技术领域

本发明涉及一种颜面赝复体优化模型的构建方法，属于机械工程和医学工程技术领域。

背景技术

传统逆向工程建模技术主要任务是完整几何特征的再现和再设计，而非完备几何特征的测量数据建模技术侧重于通过分析已知数据的信息特点，来推知缺损区域数据的信息，最大限度地恢复缺损区原貌，在医学工程、产品设计与制造、虚拟现实、人体测量、文物保存等领域有很大的应用发展潜力，已成为近年来的一个研究热点。特别是在颜面整形和缺损修复医学领域，据统计,我国每年因肿瘤、外伤、先天畸形等原因造成颌面部缺损发病率为0.24％；而战争中,颌面部战创伤高达全部战伤的23％。利用非完备几何特征的测量数据建模技术，可以准确地构建赝复体的三维设计模型。二十世纪九十年代以来，随着多种仿真赝复材料的研制成功，磁附着固位技术，种植体技术和力学分析系统的建立以及计算机颜面赝复体辅助设计与制作系统的问世，颜面缺损的赝复已不再是简单的缺损修复，形态、色彩、质感、功能仿真修复以及功能重建已成为颜面赝复的主要发展趋势，颌面赝复技术已被发达国家列为口腔修复学标志性技术。微笑作为人类所特有的一种复杂的面部表情，是容貌美的一个重要组成部分。自然、和谐的微笑被认为是容貌美的集中动态体现，带有微笑表情的颜面形态赝复己成为颜面缺损治疗的主要目标之一。

颜面赝复体可分成对称特征和非对称特征两种。对称特征颜面赝复体：颜面的中心对称面可以用来将健康颜面的数据镜像到缺损区。2009年加拿大布雷西亚大学的Sansoni等在“3Dimaging acquisition,modeling,and prototyping for facial defects reconstruction”(Proceedings of SPIE Three Dimensional Imaging Metrology 2009,San Jose CA,2009：1-8)一文中采用鼻尖、额头中及鼻梁标记点组成中心对称面进行人眼赝复，但标记点的可靠性将影响最终计算的结果。2010年意大利博洛尼亚大学的Ciocca等在“Immediate facialrehabilitation in cancer patients using CAD CAM and rapid prototyping technology:a pilot study”(Supportive Care in Cancer,2010,18(6):723-728)一文中使用通用逆向工程软件Rapidform(Korea,INUS Co.)来进行镜像操作,但这些商用软件界面设计复杂，为颜面缺损修复的医生所不容易掌握。对于非对称特征颜面赝复体的修复，全鼻缺损是较常见的临床病例。2009年意大利博洛尼亚大学的Ciocca等在“CAD/CAM bilateral earprostheses construction for Treacher Collins syndrome patients using laser scanningand rapid prototyping”(Computer Methods in Biomechanics and Biomedical Engineering,2009,(1):1-8.)一文中使用鼻手术前预先扫描的鼻数据来进行鼻赝复体的重建，但患者一般不保存手术前的三维数据。2013年博洛尼亚大学的M.Fantini等在“Design and RapidManufacturing of anatomical prosthesis for facial rehabilitation”(InternationalJournal on Interactive Design and Manufacturing(IJIDeM),2013,7(1):51-62.)一文中使用鼻数据库可以根据患者颜面形貌选择合适的参考鼻。国内学者也进行了相关的研究。2010年第四军医大学董岩博士在“汉族人外鼻三维形态数据库的建立与应用”(博士学位论文，第四军医大学，2010.)一文中筛选现有CT数据分别建立了汉族人外鼻三维形态数据库以满足计算机辅助设计鼻赝复体的需要。2010年中国协和医科大学张晋光博士等在“三维形态分析技术在半侧颜面短小患者头面部软组织三维测量及外耳再造的研究”(博士学位论文，中国协和医科大学，2010.)一文中运用三维形态分析技术进行了半侧颜面短小患者头面部软组织三维测量及外耳再造的研究。2012年上海交通大学邱憬博士等在“颌面缺损结构光三维测量与螺旋CT扫描图像的配准”(Journal of Clinical Rehabilitative TissueEngineering Research,2010,14(39).)一文中将螺旋CT扫描重建与三维打印快速成型技术相结合应用于颜面缺损赝复。扬州大学孙进博士团队对颜面部缺损的数据采集和处理技术进行了深入的研究，取得了一系列成果。其中2011年孙进博士的“基于三维视觉测量的对称特征颜面赝复体制备方法”(专利授权号：CN101292914B)和“基于三维视觉测量的非对称特征颜面赝复体制备方法”(专利授权号：CN101292915B)分别获得国家发明专利。以上的研究考虑人体颜面的柔性以及表情变化还很少报道。2006年潘景光博士在“颌面缺损结构光三维测量与螺旋CT扫描图像的配准”(博士学位论文，第四军医大学，2006.)一文中对单侧眶缺损患者进行结构光扫描,在Geomagic软件中对单侧眶缺损患者的数字化模型进行镜像、变形构建眼眶部赝复体。其中潘景光博士采用相位测量轮廓术对正常人面部微笑表情状态进行动态过程的三维测量，为重建微笑表情的面部三维数字化模型进行了初步的研究。由此可见，目前国内外的研究更多地专注于赝复体基本形状的修复，而距离融合表情修饰的颜面形态赝复也还有相当长的距离。

由于人体颜面组织通常表现为准不可压缩性、非线性-塑性-粘弹性等生物力学特性，特别是受表情的影响，在运动过程中会产生变形。人是一个活动的组织，在采集三维扫描和捕捉过程中不可能始终保持表情不变，而根据单一瞬间的颜面数据处理得到的赝复体模型往往不够生动，显得呆板。

发明内容

为了克服现有技术的不足和缺陷，本发明采用先进的数字技术，提供一种基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法，该方法能够提高赝复体的仿真效果。

本发明的人目的是通过以下技术方案实现的，基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法，包括以下步骤:

1)基于数据融合的颜面赝复体基础模型的构建；

2)基于微笑表情几何特征修饰的缺损区3D数据的重建；

3)基于非刚性对齐的颜面赝复体优化模型的构建。

优选的，所述步骤(1)中的基于面数据与体数据融合是指颜面表层数据与凹坑(或有遮挡)的区域体数据的基于薄板样条的非刚性对齐，其中前者由面结构光扫描仪所采集，后者为CT扫描仪所采集；

其中所述面结构光扫描仪采集的颜面表层数据的方法是指对于不同视角采集的深度图像，通过基于栅格结构探测环进而实现基于环的多视图深度图像对齐、基于空间等间隔划分的方法来消除重叠区域、采用体素融合的方法消除孔洞构建颜面表层数据；

所述CT扫描仪采集的凹坑或有遮挡的区域数据的方法是指利用基于截面阈值的区域增长法实现CT体数据重构。

优选的，所述步骤(2)中的缺损区3D数据的重建方法为：

(1)所述面结构光扫描仪采集的颜面表层数据进行投影获取到2D图像集合；

(2)构建带有微笑表情几何特征修饰的缺损区3D数据：选择带有微笑表情的患者过去的照片，在整体图像集合中通过SIFT流(Scale-invariant feature transform)计算图像之间相似性来寻找到与该照片相匹配的图像，然后选择匹配最佳的若干图像与照片组成局部图像集合，进行带有微笑表情几何特征修饰的缺损区3D数据的重建。

优选的，所述步骤(3)中的颜面赝复体基础模型P'与缺损区3D数据P之间进行基于约束的非刚性对齐算法是：

选择的是薄板样条插值算法，定义相应的误差函数，包括

距离误差 $E_{dis}=\underset{i=1}{\overset{n}{\Σ}}{w}_i{\mathrm{dist}}^2(T_i{p}_i,q_i)---\left(1\right)$

平滑误差 $E_{sm}=\underset{\{i,j|\{v_i,v_j\}\∈edges\left(T\right)\}}{\Σ}\left|\right|T_i-T_j|{|}_F^2---\left(2\right)$

优化公式定义如下： $\arg \min E({\widetilde{\mathrm{\ν}}}_1,...,{\widetilde{\mathrm{\ν}}}_n)={\mathrm{\αE}}_{dis}+{\mathrm{\βE}}_{sm}---\left(3\right)$

采用L-BFGS-B算法进行求解。

式(1)中p_i是P'上的顶点，T_i是对应的变换矢量。dist函数是p_i(在P'中)到最近点q_i(在P中)的距离；式(2)中edges是P'上的边；v_i和v_j是该边的顶点；式(3)中α＝0.1；β＝2。

与现有技术相比，本发明有益效果是:由于采用新型算法进行基于微笑表情几何特征修饰的颜面赝复体优化模型的构建，提高赝复体的仿真效果，实现了颜面形态赝复。

附图说明

图1基于微笑表情几何特征修饰的颜面赝复体优化模型构建方法流程图。

具体实施方式

下面结合附图和基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法对本发明的具体实施作进一步描述。

如图1所示，本发明基于微笑表情几何特征修饰的颜面赝复体优化模型构建方法，包括下述步骤:

1)基于数据融合的颜面赝复体基础模型的构建；

颜面体数据是由颜面表层数据以及内部软组织数据所组成。针对患者颜面缺损区域进行三维面结构光扫描，采集到的颜面表层数据精度较高，而凹坑或有遮挡的区域的采集技术难度大；相比较面结构光扫描而言，CT扫描仪能够采集体数据，但颜面表层数据精度不高。因此利用面结构光扫描颜面表层数据，CT扫描仪采集凹坑或有遮挡的区域数据，然后进行两者的融合可以实现颜面赝复体基础模型的构建。在利用面结构光扫描颜面表层数据阶段，对于不同视角采集的深度图像，通过基于栅格结构探测环进而实现基于环的多视图深度图像对齐、基于空间等间隔划分的方法来消除重叠区域、采用体素融合的方法消除孔洞构建完整三维扫描颜面数据；在CT扫描仪采集凹坑或有遮挡的区域数据阶段，利用基于截面阈值的区域增长法实现CT体数据重构；最后通过对两组数据进行基于薄板样条的非刚性配准，从而实现颜面赝复体基础模型的构建。

2)基于微笑表情几何特征修饰的缺损区3D数据的重建；

人体颜面是一个柔性体和人脸表情的结合体。因此要构建基于微笑表情几何特征修饰的颜面赝复体优化模型，首先要考虑微笑表情几何特征(如眉毛的曲率、眼球的扁平程度、嘴巴的张开程等不同表情间变化比较大的信息)的提取的方法。颜面缺损的患者往往没有可以参照的自身三维形貌，但是有其过去的照片。虽然由于维度缺失，通过二维照片来恢复三维数据本身就是一个从低维到高维的病态的过程，但是如果增加额外的先验知识就可以消除病态。缺损区3D数据的重建方法如下：

(1)面结构光扫描仪采集的颜面表层数据进行投影获取到2D图像集合；

(2)构建带有微笑表情几何特征修饰的缺损区3D数据。选择带有微笑表情的患者过去的照片。由于SIFT流是度量两幅图像之间SIFT特征分布一致性的表示，通过SIFT流计算图像之间相似性，在2D图像集合中寻找到与该照片相匹配的图像，然后选择匹配最佳的若干图像与照片组成局部图像集合，进行带有微笑表情几何特征修饰的缺损区3D数据的重建。

3)基于非刚性对齐的颜面赝复体优化模型的构建

将颜面赝复体基础模型与缺损区3D数据进行基于约束的非刚性对齐，来获取颜面赝复体优化模型。非刚性对齐算法选择的是薄板样条插值算法(TPS)。定义相应的误差函数，

包括

距离误差 $E_{dis}=\underset{i=1}{\overset{n}{\Σ}}{w}_i{\mathrm{dist}}^2(T_i{p}_i,q_i)---\left(4\right)$

平滑误差 $E_{sm}=\underset{\{i,j|\{v_i,v_j\}\∈edges\left(T\right)\}}{\Σ}\left|\right|T_i-T_j|{|}_F^2---\left(5\right)$

优化公式定义如下： $\arg \min E({\widetilde{\mathrm{\ν}}}_1,...,{\widetilde{\mathrm{\ν}}}_n)={\mathrm{\αE}}_{dis}+{\mathrm{\βE}}_{sm}---\left(6\right)$

采用L-BFGS-B算法进行求解。

式(4)中p_i是P'上的顶点，T_i是对应的变换矢量。dist函数是p_i(在P'中)到最近点q_i(在P中)的距离；式(5)中edges是P'上的边；v_i和v_j是该边的顶点；式(6)中α＝0.1；β＝2。

Claims (4)

1.基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法，其特征在于，所述建模方法包括以下步骤:

(1)基于面数据与体数据融合的颜面赝复体基础模型的构建；

(2)基于微笑表情几何特征修饰的缺损区3D数据的重建；

(3)基于非刚性对齐的颜面赝复体优化模型的构建。

2.根据权利要求1所述的基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法，其特征是，所述步骤(1)中的基于面数据与体数据融合是指颜面表层数据与凹坑或有遮挡的区域体数据的基于薄板样条的非刚性对齐，其中颜面表层数据由面结构光扫描仪所采集，凹坑或有遮挡的区域体数据为CT扫描仪所采集；

其中所述面结构光扫描仪采集的颜面表层数据的方法是指对于不同视角采集的深度图像，通过基于栅格结构探测环进而实现基于环的多视图深度图像对齐、基于空间等间隔划分的方法来消除重叠区域、采用体素融合的方法消除孔洞构建颜面表层数据；

所述CT扫描仪采集的凹坑或有遮挡的区域数据的方法是指利用基于截面阈值的区域增长法实现CT体数据重构。

3.根据权利要求2所述的基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法，其特征是，所述步骤(2)中的缺损区3D数据的重建方法为：

(1)所述面结构光扫描仪采集的颜面表层数据进行投影获取到2D图像集合；

(2)构建带有微笑表情几何特征修饰的缺损区3D数据：选择带有微笑表情的患者过去的照片，在整体图像集合中通过SIFT流计算图像之间相似性来寻找到与该照片相匹配的图像，然后选择匹配最佳的若干图像与照片组成局部图像集合，进行带有微笑表情几何特征修饰的缺损区3D数据的重建。

4.根据权利要求1所述的基于微笑表情几何特征修饰的颜面赝复体优化模型的构建方法，其特征是，所述步骤(3)中的颜面赝复体基础模型P'与缺损区3D数据P之间进行基于约束的非刚性对齐算法是：

选择的是薄板样条插值算法，定义相应的误差函数，包括

距离误差 $E_{dis}=\underset{i=1}{\overset{n}{\Σ}}{w}_i{\mathrm{dist}}^2(T_i{p}_i,q_i)---\left(1\right)$

平滑误差 $E_{sm}=\underset{\{i,j|\{v_i,v_j\}\∈edges\left(T\right)\}}{\Σ}\left|\right|T_i-T_j|{|}_F^2---\left(2\right)$

优化公式定义如下： $\arg \min E({\widetilde{\mathrm{\ν}}}_1,...,{\widetilde{\mathrm{\ν}}}_n)={\mathrm{\αE}}_{dis}+{\mathrm{\βE}}_{sm}---\left(3\right)$

采用L-BFGS-B算法进行求解。

式(1)中p_i是P'上的顶点，T_i是对应的变换矢量；dist函数是p_i到最近点q_i的距离，其中p_i在P'中，q_i在P中；

式(2)中edges是P'上的边；v_i和v_j是该边的顶点；

式(3)中α＝0.1；β＝2。