CN115222887A - 一种基于容貌的颅颌面骨骼手术规划的设计方法 - Google Patents

Abstract

本发明公开了一种基于容貌的颅颌面骨骼模型的设计方法，即通过对患者术前3D容貌进行编辑，得到患者预期的术后3D容貌；再根据此预期的术后容貌，用构建的面部肌肉软组织、颅颌面骨骼硬组织映射关系神经网络模型，计算出该预期容貌所需对应的面部骨骼位置及外形，得到需手术实施的颅颌面骨骼模型，然后根据得到的面部骨骼模型重建面部骨骼。(1)利用医学大数据深度学习，探究面部软、硬组织间对应关系这一临床技术难点。利用计算机擅长的深度学习神经网络模型解决医学上模糊不清的问题。(2)将面部轮廓整形手术规划，由现阶段的针对骨骼进行设计，转变为以患者预期容貌为指导，预测预期容貌下覆骨骼形态，指导进行手术规划。更容易实现患者的预期容貌要求，降低手术规划的难度，减少对医生经验的依赖。

Description

一种基于容貌的颅颌面骨骼手术规划的设计方法

技术领域

本发明属于医疗领域，利用神经网络技术个性化设计颅颌面骨骼模型，结合颅颌面骨骼技术，实现颅颌面骨骼重建，达到容貌恢复的效果。

背景技术

在颅颌面区域，对于各种原因所致的面部缺损畸形或轮廓缺陷，恢复面部容貌和功能是治疗的首要目的。容貌和功能的恢复离不开颅颌面部骨骼支撑。以往对此类疾病的手术设计主要局限于硬组织骨骼形态轮廓的重建，而对软组织容貌的考虑不够精确细致。规划手术时对面型容貌的关注仅体现在现有商业软件的面型预测功能，或是经验丰富医师对术后软组织面型的判断，而没有预先编辑符合软组织美学的预期容貌来逆向指导手术规划。

当前，颅颌面手术规划对于软组织容貌的关注，依赖于经验丰富高年资医师对容貌改变的经验判断，或不同手术规划软件对术后面型容貌的预测。然而，不论是我们临床实践经验，还是相关研究都表明，术后容貌预测的准确性尚存一定差距。RobertJ通过对14名接受双颌手术患者预测面型与术后实际容貌对比研究指出，DolphinImaging软件容貌预测误差范围为+2mm。下唇预测是最不准确的。因此不建议将Dolphin应用于外科手术的精确治疗计划，以防止患者不切实际的期望和术后的不满。在Ki-UkNam的研究中，他用SimplantPro软件(比利时，鲁汶，Materialise公司)预测接受正颌手术的韩国面部畸形患者的软组织轮廓，并研究其预测的准确性。他发现30个软组织测量值中有18个存在显著误差(P<0.05)，但平均差异相对较小，所有标志点的平均误差为2.03mm。最终结果x轴偏差为0.73mm，y轴偏差为1.39mm，z轴偏差为0.85mm。然而，在一些标志点上，差异更大。

这些预测软件对术后软组织预测的运行算法，大多是基于体积模型，包括有限元模型、质量张量模型和质量弹簧模型。研究显示，质量张量模型和有限元模型预测较准确，但与最擅长处理复杂数据或关系不明数据的人工神经网络来说略显不足。TerHorst开发一种基于深度学习的卷积神经网络模型法来预测下颌前移术后的虚拟软组织轮廓，并将其准确性与传统的质量张量模型(MTM)进行比较。在133例患者样本中，119例用于模型的训练，14例用于模型测试，其结果显示基于深度学习的下面部区域预测的平均绝对误差为1.0±0.6mm，与基于传统质量张良模型的模拟(1.5±0.5mm)相比显著降低(p＝0.02)。

颅颌面手术规划包括面部轮廓整形手术规划、正颌手术规划、颅颌面缺损畸形重建手术规划等。以往临床颅颌面畸形手术规划，主要是依据患者影像学数据，进行骨性结构标志测量分析，依靠资深医师丰富的临床经验制定最终手术方案。其手术方案规划以调整骨骼结构畸形为主要目的，虽有部分商业软件对术后软组织面型进行预测模拟，但并不能直接用以指导手术方案制定，而只是提供了一个粗略的面型参照。

如上所述，由于颅颌面解剖结构的复杂性及手术要求的精准性，数字化技术在颌面外科得到了较快发展并趋于逐渐成熟的状态。数字化技术的快速发展提高了颅颌面手术的精度，但在手术规划过程中软组织的预期容貌并没有形成对硬组织骨骼手术规划的指导。对于术后面型的判断仍然依赖于手术医师的经验及术中的各种不确定因素。

发明内容

本发明公开了一种基于容貌的颅颌面骨骼手术规划的设计方法，即通过对患者术前3D容貌进行编辑，得到患者预期的术后3D容貌；再根据此预期的术后容貌，用构建的面部肌肉软组织、颅颌面骨骼硬组织映射关系神经网络模型，计算出该预期容貌所需对应的面部骨骼位置及外形，得到需手术实施的颅颌面骨骼模型，然后根据得到的面部骨骼模型重建面部骨骼。

该方法通过计算机深度学习技术，利用613例正常人颅颌面CT数据构建出面部软、硬组织映射关系的卷积神经网络模型。通过该网络模型预测预期容貌下覆的面部骨骼位置形态，指导手术规划。具体步骤如下：

(1)数据收集：构建若干例正常人颅颌面CT数据集，分别采用3D重建颅颌面骨骼和肌肉软组织模型，并统一坐标系，将数据集对齐，以STL格式存储；

(2)数据结构化：将统一对齐的正常人颅颌面软组织和硬组织数据进行点云采样处理，用EFPs点云采样软件分别对颏部、下颌角和颧骨区域进行软硬组织配对有序点云采样；软硬组织是指颅颌面骨骼和肌肉软组织；

(3)构建并训练基于深度有监督学习的卷积神经网络模型，随机选取若干例样本作为训练集，若干例样本中的十分之一作为验证集，将软组织点云作为输入层，对应样本的骨骼点云作为输出层，对卷积神经网络模型进行训练；

(4)卷积神经网络模型预测效果测试，将若干例样本做为测试集，对训练好的神经网络模型进行测试，用肌肉软组织点云预测颅颌面骨骼点云，预测的结果与颅颌面骨骼真实值比较，计算模型预测精度；

(5)设计颅颌面骨骼模型，利用CT数据三维重建的肌肉软组织的3D容貌，编辑出预期的3D容貌，用神经网络模型预测该容貌下覆的颅颌面骨骼点云，进行颅颌面骨骼曲面重建，获得颅颌面骨骼模型。

CT数据纳入标准为：

1、年龄范围：18～40岁；

2、头颅CT扫描范围：上界：眼眶上缘5cm水平以上，下界：舌骨水平以下；

3、颅颌面部骨骼形态完整，无缺损；

4、颅颌面骨骼结构正常，无明显畸形(骨性II类畸形、骨性III类畸形、

不对称畸形等)；

5、颅颌面骨无明显手术痕迹(如内固定植入物、明显骨折线、颧骨内推台阶、下颌角区骨磨削痕迹等)。

通过以上标准，纳入CT数据1027例，经Mimics21.0软件进行软、硬组织3D模型重建后,结合软硬组织模型制定以下排除标准：

CT数据排除标准为：

1、面部软组织3D模型结构缺损；

2、面部软组织3D模型形态畸形(包括但不限于各种肿胀、增生、肿物、夸张表情如努嘴等)；

3、面部软组织过于肥厚(测量颏前点软组织厚度＞15mm)；

4、上、下颌牙列未处于正常咬合状态；

5、面部软组织明显手术痕迹(清创缝合后瘢痕等)。

6、软硬组织3D模型表面粗糙、噪声大，不光滑。

经以上纳入、排除标准，收集颅颌面CT数据613例，用于构建颅颌面软硬组织CT数据库。

本发明在数据库建立方面需要用到的软件有Mimics21.0(Materialise公司，比利时)，GeomagicWrap2017(3DSystems公司，美国)。Mimics软件是一款高度集成且易于使用的3D图像生成和编辑软件，它可以输入各种扫描数据(CT、MRI)，建立三维模型进行编辑，然后输出通用CAD(计算机辅助设计)、FEA(有限元分析)、RP(快速原型)格式，可以在PC机上转换大规模数据处理。GeomagicWrap是一款功能非常强大的3D建模数据处理软件，可以将导入的3D数据进行迅速的面片处理、曲面创建、点云编辑、多边形编辑等功能。

本研究有序点云采样软件开发需要的软硬件环境为：

软件环境：Windows10/redhatenterprise5；

硬件环境：E7500+4G内存+320G硬盘+百兆兆网卡+百兆局域网；

开发工具：Myeclipse6.5+MYSQL。

所述步骤(1)中，将原始CT数据导入mimics21.0软件，进行软硬组织分别三维重建。骨骼三维重建CT阈值为：226～3071，软组织三维重建CT阈值为：-390～3071，然后分别进行区域增长完成分割，重建得到独立软硬组织3D头颅模型。

因为原始CT数据库无法看到三维重建后面部软组织外观，所以mimics软件重建后，观察软组织3D模型，依据排除标准,进一步排除不符合条件的数据。经过严格纳入排除标准，将CT数据进行筛选排除后，共保留正常青年人头颅CT数据作为正常人颅颌面CT数据集，并在mimics21.0软件分别进行重建，软硬组织3D模型分别以STL格式导出保存。

所述步骤(2)中，按照如下步骤获得结构化数据：

第一步，613个数据文件夹以序号命名。文件夹内子文件同样以“序号+Bone/Soft”分别命名，便于查询与索引。

第二步，统一局部坐标系及世界坐标系。在GeomagicWrap软件中，对613对颅颌面软硬组织模型统一局部及世界坐标系。规定世界坐标原点为软组织颏前点，定内眦连线为X轴方向水平向右为正，定Z轴为面中线方向垂直向上为正，定眶耳平面为XY平面的平行面。

第三步，测量颏前点的软组织厚度。

在软组织模型上依次手动标定颏前点、双侧内眦点、鼻根点、上唇中点，在硬组织模型上标定双侧眶下缘点及右外耳道上缘中点，通过标定点完成样本局部坐标系的确立；再将局部坐标系与世界坐标系配准；为完成此任务，用Python语言编写GeomagicWrap软件脚本语言执行任务；

第四步，将结构化处理好的的面部软硬组织3D模型数据以STL格式导出保存，同时建立参数表格，表格包含数据编号、颏部软组织厚度、性别、年龄等要素，便于数据检索查询。

所述步骤(2)中，按照如下步骤获得有序点云：设计一个模拟假想球，球心位于软组织感兴趣区域的中心点，如任一点A0。球面与软组织面相交产生一条交线。该交线上任一点A1与过点AO的法线NA0构成一个平面PA1,该平面绕法线NA0旋转，每间隔一固定角度θ与上述交线形成一个采样点，故每条交线上可取的点个数为360/θ。当C逐渐减小时，每个交线上所取的点逐渐增多。而当一系列半径r＝1,2,3，……的球不断与软组织面相交取点时，在该感兴趣区域就采样到了有序点云。过软组织中心点A0的法线NA0于骨面相交于点B0，利用和软组织同样的方法，以点BO为球心，可采样到骨面的有序点云。

所述步骤(2)中，ExtractFacePoints软件进行配对有序点云采样时，操作者在面部软组织表面标定的基点即假想球的球心，为软组织点云的中心；同时该基点的法线与骨骼相交，交点为硬组织骨骼的点云中心。假想球的半径间隔决定内外两圈点云前后相邻点距离即点云稠密度，平面旋转角度决定点云左右相邻点距离亦即点云密度，假想球个数决定生成点云的点的总数量。操作者进行面部感兴趣区域点云采样，在设定好调节点云密度和点云数量的参数后，只需在该区域标定一个基点即假想球球心位置，就会在面部软硬组织表面自动生成采样的点云，同时以Excel格式导出软硬组织配对的有序点云的三维坐标，表格还包含软硬组织基点的三维坐标和基点间法线距离即软组织厚度。

颏部区域点云采样时，选择的软组织基点为颏前点，该点为软组织颏部最突点，设定为颏部区域的点云中心。点云采样参数设定为：球最小半径1.5毫米,球半径间隔1.5毫米，球数量20个，平面边长45毫米，平面旋转角度2度。此采样参数定义的点云信息为：软硬组织曲面各取点3600个(180×20，点云有20层，每层180个点)。

所述步骤(3)中，构建了一个“W”形结构的卷积神经网络——FPNet模型(FacePredictionNet)。FPNet模型是一个包含4层降采样、4层升采样和类似跳跃连接结构的全卷积网络，其特点是卷积层在降采样和升采样部分完全对称，且降采样端的特征图可以跳过深层采样，被拼接至对应的升采样端FPNet模型的整体结构是对输入点云先编码(下采样)，再解码(上采样)，然后回归到跟原始数据一样大小的点云的分类。

网络模型由收缩路径(contractingpath)和扩张路径(expandingpath)组成。其中，收缩路径用于获取上下文信息(context)，扩张路径用于精确的定位(localization)，且两条路径相互对称。该网络能从极少的训练图像中，依靠数据增强将有效的标注数据更为有效地使用。为了能精准的定位，收缩路径上提取出来的局部像素特征会在升采样(upsampling)过程中与新的特征图(featuremap)进行结合(结合局部信息和全局信息，通过信息整合提高像素点类别的预测的准确性)，以最大程度的保留前面降采样(downsampling)过程一些重要的特征信息。而为了能使网络结构能更高效的运行，结构中是没有全连接层(fullyconnectedlayers)，这样可以很大程度上减少需要训练的参数，并得益于特殊的U形结构可以很好的保留图片中的所有信息。

收缩路径上是每两个3×3的卷积层(unpaddedconvolutionallayers)后会跟一个2×2的最大池化层(Maxpoolinglayer:步长为2)，并且每个卷积层后面采用LeakyReLu激活函数来对原始图片进行降采样操作，除此之外，每一次降采样都会增加一杯通道数(doublethenumberoffeaturechannel)。

神经网络在训练过程中，随着深度加深，输入值分布会发生偏移，向取值区间上下两端靠近。在深度神经网络训练过程，为了使得每一层神经网络的输入保持相同分布，采用批归一化BatchNormalization(BN)方法。BN通过一定的规范化手段，把每层神经网络输入值的分布强行拉回到均值为0方差为1的标准正态分布(纠偏回正过程)，使得分布回到非线性函数对输入比较敏感的区域，使得损失函数能发生较大的变化(梯度变大)，避免梯度消失问题。同时梯度变大能加快模型收敛速度，提高训练速度。

采用训练好的FPNet神经网络模型预测骨骼点云。把预期容貌采样得到的颏部、下颌角、颧骨三个组的软组织点云作为输入，在FPNet网络模型中得到输出即为预测的三个区域的骨骼点云。

将输出的预测骨骼点云导入GeomagicWrap2021软件，把骨骼点云重建为三角网格的骨骼曲面。骨骼点云导入软件进行曲面重建前，需要先进行点云下采样和法线修整，否则重建的曲面噪声较大不光滑。点云曲面重建操作如下：在GeomagicWrap2021软件中的“Point”工具栏下的“Uniform”按钮进行下采样，完成均匀间隔距离点云采样后，在“Shading”工具中选择“RepairNormals”中的“AutoOrientNormals”完成点云法线修整。最后通过“HDMeshConstruction”工具完成曲面重建。

有益效果

(1)利用医学大数据深度学习，探究面部软、硬组织间对应关系这一临床技术难点。利用计算机擅长的深度学习神经网络模型解决医学上模糊不清的问题。

(2)将面部轮廓整形手术规划，由现阶段的针对骨骼进行设计，转变为以患者预期容貌为指导，预测预期容貌下覆骨骼形态，指导进行手术规划。更容易实现患者的预期容貌要求，降低手术规划的难度，减少对医生经验的依赖。

(3)有序点云在深度神经网络模型学习中，点与点的关联性更强，任意一个点的相邻前后左右点，都可以轻易用数学式表达出来。这对于人工神经网络模型训练过程中特征提取来说，减少了大量运算，也降低了对网络模型层级结构及样本量的需求。另外，该思路进行采样取点时，所有球的球心都位于软硬组织的共同对应点，保证了采样的点云具有严格的对应关系，这也为后期数据分析处理带来了便利。

附图说明

(1)图1是头颅CT软、硬组织三维重建。

(2)图2是统一局部坐标系与世界坐标系。

(3)图3是模拟假想球与组织面相交有序点云采样示意。

(4)图4是有序点云采样原理图。

(5)图5是面部有序点云采集软件——ExtractFacePoinst工作界面。

(6)图6是颧骨预测点云的曲面重建(左图为网络模型预测的颧骨点云，中图为预测点云的曲面重建，右图预测点云重建的骨面与真实骨面比对)。

(7)图7是颏部预测点云的曲面重建(左图为网络模型预测的颏部点云，中图为预测点云的曲面重建，右图预测点云重建的骨面与真实骨面比对)。

(8)图8是下颌角预测点云的曲面重建(左图为网络模型预测的颏部点云，中图为预测点云的曲面重建，右图预测点云重建的骨面与真实骨面比对)。

(9)图9是颏部、下颌角、颧骨区预测点云曲面重建后与真值的误差比较(色差代表不同部位误差大小)。

具体实施例

参见图1-图9，利用613例正常人颅颌面CT数据构建出面部软、硬组织映射关系的卷积神经网络模型。通过该网络模型预测预期容貌下覆的面部骨骼位置形态，指导手术规划。具体步骤如下：

(1)数据收集：构建613例正常人颅颌面CT数据集，分别采用3D重建颅颌面骨骼和肌肉软组织模型，并统一坐标系，将数据集对齐，以STL格式存储；将原始CT数据导入mimics21.0软件，进行软硬组织分别三维重建。骨骼三维重建CT阈值为：226～3071，软组织三维重建CT阈值为：-390～3071，然后分别进行区域增长完成分割，重建得到独立软硬组织3D头颅模型。

因为原始CT数据库无法看到三维重建后面部软组织外观，所以mimics软件重建后，观察软组织3D模型，依据排除标准,进一步排除不符合条件的数据。经过严格纳入排除标准，将CT数据进行筛选排除后，共保留正常青年人头颅CT数据作为正常人颅颌面CT数据集，并在mimics21.0软件分别进行重建，软硬组织3D模型分别以STL格式导出保存。

(2)数据结构化：将统一对齐的613例正常人颅颌面软组织和硬组织数据进行点云采样处理，用EFPs点云采样软件分别对颏部、下颌角和颧骨区域进行软硬组织配对有序点云采样；软硬组织是指颅颌面骨骼和肌肉软组织；

原始的CT数据经过mimics软件进行三维重建后，得到STL格式的硬组织软组织Bone/Soft配对模型613对；但此时并不能叫做数据库，而只是杂乱的文件系统。为了进行整体数据结构化我们采取以下方式：

第一步，613个数据文件夹以序号命名。文件夹内子文件同样以“序号+Bone/Soft”分别命名，便于查询与索引。

第二步，统一局部坐标系及世界坐标系。在GeomagicWrap软件中，对613对颅颌面软硬组织模型统一局部及世界坐标系。规定世界坐标原点为软组织颏前点，定内眦连线为X轴方向水平向右为正，定Z轴为面中线方向垂直向上为正，定眶耳平面为XY平面的平行面。

第三步，测量颏前点的软组织厚度。

具体为：在软组织模型上依次手动标定颏前点、双侧内眦点、鼻根点、上唇中点，在硬组织模型上标定双侧眶下缘点及右外耳道上缘中点，通过标定点完成样本局部坐标系的确立。再将局部坐标系与世界坐标系配准。为完成此任务，用Python语言编写GeomagicWrap软件脚本语言执行任务。

第四步，将结构化处理好的的面部软硬组织3D模型数据以STL格式导出保存，同时建立参数表格，表格包含数据编号、颏部软组织厚度、性别、年龄等要素，便于数据检索查询。

设计一个模拟假想球，球心位于软组织感兴趣区域的中心点，如任一点A0。球面与软组织面相交产生一条交线。该交线上任一点A1与过点AO的法线NA0构成一个平面PA1,该平面绕法线NA0旋转，每间隔一固定角度θ与上述交线形成一个采样点，故每条交线上可取的点个数为360/θ。当C逐渐减小时，每个交线上所取的点逐渐增多。而当一系列半径r＝1,2,3，……的球不断与软组织面相交取点时，在该感兴趣区域就采样到了有序点云。过软组织中心点A0的法线NA0于骨面相交于点B0，利用和软组织同样的方法，以点BO为球心，可采样到骨面的有序点云。

通过纳入排除标准，收集了正常青年人群头颅CT数据613例，利用mimics21.0软件和GeomagicWrap软件完成了数据集的结构化处理及相关参数标定，统一了世界坐标系及坐标原点，将所有颅颌面软硬组织三维模型在坐标原点对齐。可以根据性别、年龄、颏部软组织厚度等参数，检索查询相应的颅颌面软硬组织3D模型，初步构建了正常青年人群颅颌面软硬组织3D模型数据库。

(3)构建并训练基于深度有监督学习的卷积神经网络模型，随机选取500例样本作为训练集，50例样本中的十分之一作为验证集，将软组织点云作为输入层，对应样本的骨骼点云作为输出层，对卷积神经网络模型进行训练；

(4)卷积神经网络模型预测效果测试，将63例样本做为测试集，对训练好的神经网络模型进行测试，用肌肉软组织点云预测颅颌面骨骼点云，预测的结果与颅颌面骨骼真实值比较，计算模型预测精度；

(5)设计颅颌面骨骼模型，利用CT数据三维重建的肌肉软组织的3D容貌，编辑出预期的3D容貌，用神经网络模型预测该容貌下覆的颅颌面骨骼点云，进行颅颌面骨骼曲面重建，颅颌面骨骼模型。

按照此有序点云采样思想，我们开发一个面部特定区域的有序点云采样软件——ExtractFacePoints。ExtractFacePoints软件由C++语言开发，各模块之间通过TCP协议通讯，第三方库Qt和VTK遵循开源协议使用。根据我们需要完成的采样任务，规定软件应具备以下功能：

1、软件读取正常人的面部软、硬组织STL模型并在主界面显示；2、软件中软硬组织模型显示时可调整透视度，从完全透视到完全不透视，以百分率拖动条控制；按住鼠标右键滑动能进行模型各方向旋转，便于各视角观察取点，按下鼠标滑轮后滑动鼠标可以在屏幕上平移模型，滚动鼠标滑轮可以放大缩小模型；

3、软件具备世界坐标系系统，能与其他3D软件统一对齐的坐标系接轨，且保持坐标原点不变。

4、操作者可以在软件中任意选中软组织模型上的一个基点A0；5、软件自动以点A0为球心，以1.5mm、3mm、4.5mm………30mm为半径做一系列圆球，命名为S1、S2…S20，圆球与软组织面相交得到20条交线；

6、软件自动以交线上任一点A1和过点AO的法线NA0构成一个平面PA1,，然后将平面PA1复制后,沿法线NA0旋转2度，得到平面PA2，旋转4度得到平面PA3…旋转358度得到平面PA180；

7、3D软组织模型、圆球S1、平面PA1的交点为A1，模型、圆球S1、平面PA2的交点为A2………模型、圆球S1、平面PA180的交点为A180，模型、圆球S2、平面PA1的交点为A181……模型、圆球S2、平面PA180的交点为A360………模型、圆球S20、平面PA180的交点为A3600，在3D软组织模型上按此规律采样点A1-点A3600共3600个点；

8、点A0的法线于骨面相交于点B0，利用和软组织同样的方法，得到点B1-点B3600；

9、采样点个数和点云密集度，由相邻两球半径间隔差、球的个数和平面旋转角度θ决定，软件默认球初始半径1.5mm,相邻球半径差1.5mm,20个球，平面每旋转2°取一个采样点，故每个球上采点个数为180个(360°/2°)，共采样3600个点(180×20)；

10、软件具备定义球最小半径、球半径间隔、球数量、平面边长、平面旋转角度的功能，以确保可以采样到软硬组织模型表面任意密集度、任意数量的有序点云；

11、软件自动测量基点处的软组织厚度，即点A0到点B0的距离；

12、操作者在软件中手工标定基点A0点后，自动采样的有序点云在软、硬组织模型上可视化，并提示取点成功，有序点云的各点坐标以Excel表格形式导出到模型文件夹。

步骤(2)实验配置如下:

1.自行开发的有序点云采样软件：ExtractFacePoint软件

2.点云处理软件GeomagicWrap2021软件、CloudCompare2.6.10软件；

3.中央处理器(CentralProcessingUnit,CPU)型号为：Intel(R)Core(TM)i7-10700X，主频2.90GHz，内存32G；

4.操作系统为Windows10Pro,64-bit内存32G；

5.实验所用的编程语言是Python，版本号为3.6.6；

6.显卡型号是NVIDIAGeForceRTX3060,全部可用图形内存28582MB；

7.在anaconda下，进行深度学习环境搭建：

python3.6+cuda9.0+opencv3.3+tensorflow_gpu1.11+pytorch，其中神经网络模型部署在以TensorFlow为后端的Keras深度学习框架下,在网络训练中使用图形处理器(GraphicsProcessingUnit,GPU)进行加速。

针对颏部区域、下颌角区域、颧骨区域。采用的方法是在软硬组织表面采集配对的有序点云，进行软硬组织配对点云的深度学习。为了能将该三部分区域的面部软组织与硬组织表面的点云一一对应，采用了面部特定区域的配对有序点云采样软件——ExtractFacePoints软件。

ExtractFacePoints软件进行配对有序点云采样时，操作者在面部软组织表面标定的基点即假想球的球心，为软组织点云的中心；同时该基点的法线与骨骼相交，交点为硬组织骨骼的点云中心。假想球的半径间隔决定内外两圈点云前后相邻点距离即点云稠密度，平面旋转角度决定点云左右相邻点距离亦即点云密度，假想球个数决定生成点云的点的总数量。操作者进行面部感兴趣区域点云采样，在设定好调节点云密度和点云数量的参数后，只需在该区域标定一个基点即假想球球心位置，就会在面部软硬组织表面自动生成采样的点云，同时以Excel格式导出软硬组织配对的有序点云的三维坐标，表格还包含软硬组织基点的三维坐标和基点间法线距离即软组织厚度。

颏部区域点云采样时，选择的软组织基点为颏前点，该点为软组织颏部最突点，设定为颏部区域的点云中心。点云采样参数设定为：球最小半径1.5毫米,球半径间隔1.5毫米，球数量20个，平面边长45毫米，平面旋转角度2度。此采样参数定义的点云信息为：软硬组织曲面各取点3600个(180×20，点云有20层，每层180个点)。

软件操作流程为：打开ExtractFacePoints软件后，按功能按钮提示，打开目标模型文件夹导入软硬组织模型，按上述点云采样参数完成设定，点击“选点”功能按钮后，该选项卡变蓝，此时就可以进行颏前点标记。标记完成后，软件运行约3～5秒，弹出对话框“提取点成功”，点击“OK”,完成该样本颏部软硬组织配对有序点云采样，点云坐标自动以Excel导出到目标模型文件夹。此时拖动“软组织”透视度功能按钮，可以调节软组织透视程度，以观察硬组织骨面的点云取点情况。如果取点不理想，可以重新点击“取点”，再次采样。

下颌角区域点云采样不同于颏部。首先下颌角区域为双侧对称结构，仅需采集一侧点云即可。其次下颌角区域软组织表面，没有明确的解剖标志点作为区域点云中心。因此，点云采样时需在软件中将软组织透视，以硬组织下颌角前的下颌角切迹点作为解剖标志，确定点云中心点。而颧骨区域点云采样时，同样软组织表面没有可供参考的解剖标志点，需要以硬组织点确定。我们选择颧骨额突后缘的延长线与颧骨下缘的交点作为点云中心点。点云采样后，每个区域各有613个Excel格式点云三维坐标，Excel表格内包含3600个软组织采样点和3600个硬组织采样点，及中心点软组织厚度(即基点间的距离)。

采用估算插值的清洗方法。先将所有缺失值坐标都插值为0，进行预实验。在预实验中以颏部区域软硬组织配对有序点云进行模型训练和测试。当用骨骼点云作为输入层，软组织点云作为输出时，测试集预测到的软组织点云效果较好，无体外孤点；当用软组织点云作为输入层预测骨骼点云时，测试集预测到的骨组织点云始终有一部分体外孤点存在，且这部分体外孤点分布于软组织点云中心。由于颏部软组织点云中心坐标为(0,0,0)，当我们插值缺失点坐标(0,0,0)时，骨组织预测软组织效果好，反之则不行。于是尝试插值为各自点云中心坐标，重新进行预实验，结果体外孤点消失，验证了我们的推测。在进行后续实验时，将各自点云的缺失值都插值为区域点云中心坐标。

构建了一个“W”形结构的卷积神经网络——FPNet模型(FacePredictionNet)。FPNet模型是一个包含4层降采样、4层升采样和类似跳跃连接结构的全卷积网络，其特点是卷积层在降采样和升采样部分完全对称，且降采样端的特征图可以跳过深层采样，被拼接至对应的升采样端FPNet模型的整体结构是对输入点云先编码(下采样)，再解码(上采样)，然后回归到跟原始数据一样大小的点云的分类。首先是输入图像的大小，这是根据最高层的大小来进行反推，最后取较合适的方便计算的输入大小。下采样是通过maxpool2x2来进行1/2下采样的，下采样之间是两个conv卷积层，这里卷积是使用valid卷积。所以在卷积过程中图像的大小会减小。这会造成一个问题，在skipconnection部分concat时候大小不一致，因为在上面有一个copy&crop操作，crop就是为了将大小进行裁剪的操作。上采样是相对于FCN的转置卷积进行上采样。这里是一个up-conv2x2，具体对应的操作是：对行列进行2倍翻倍。

网络模型由收缩路径(contractingpath)和扩张路径(expandingpath)组成。其中，收缩路径用于获取上下文信息(context)，扩张路径用于精确的定位(localization)，且两条路径相互对称。该网络能从极少的训练图像中，依靠数据增强将有效的标注数据更为有效地使用。为了能精准的定位，收缩路径上提取出来的局部像素特征会在升采样(upsampling)过程中与新的特征图(featuremap)进行结合(结合局部信息和全局信息，通过信息整合提高像素点类别的预测的准确性)，以最大程度的保留前面降采样(downsampling)过程一些重要的特征信息。而为了能使网络结构能更高效的运行，结构中是没有全连接层(fullyconnectedlayers)，这样可以很大程度上减少需要训练的参数，并得益于特殊的U形结构可以很好的保留图片中的所有信息。

收缩路径上是每两个3×3的卷积层(unpaddedconvolutionallayers)后会跟一个2×2的最大池化层(Maxpoolinglayer:步长为2)，并且每个卷积层后面采用LeakyReLu激活函数来对原始图片进行降采样操作，除此之外，每一次降采样都会增加一杯通道数(doublethenumberoffeaturechannel)。

神经网络在训练过程中，随着深度加深，输入值分布会发生偏移，向取值区间上下两端靠近。在深度神经网络训练过程，为了使得每一层神经网络的输入保持相同分布，采用批归一化BatchNormalization(BN)方法。BN通过一定的规范化手段，把每层神经网络输入值的分布强行拉回到均值为0方差为1的标准正态分布(纠偏回正过程)，使得分布回到非线性函数对输入比较敏感的区域，使得损失函数能发生较大的变化(梯度变大)，避免梯度消失问题。同时梯度变大能加快模型收敛速度，提高训练速度。

FPNet神经网络模型采用LeakyReLu激活函数。激活函数(Activationfunctions)将非线性特性引入到神经网络中，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中LeakyReLU激活函数是给所有负值赋予一个非零斜率。

采用训练好的FPNet神经网络模型预测骨骼点云。把预期容貌采样得到的颏部、下颌角、颧骨三个组的软组织点云作为输入，在FPNet网络模型中得到输出即为预测的三个区域的骨骼点云。

将输出的预测骨骼点云导入GeomagicWrap2021软件，把骨骼点云重建为三角网格的骨骼曲面。骨骼点云导入软件进行曲面重建前，需要先进行点云下采样和法线修整，否则重建的曲面噪声较大不光滑。点云曲面重建操作如下：在GeomagicWrap2021软件中的“Point”工具栏下的“Uniform”按钮进行下采样，完成均匀间隔距离点云采样后，在“Shading”工具中选择“RepairNormals”中的“AutoOrientNormals”完成点云法线修整。最后通过“HDMeshConstruction”工具完成曲面重建。

把原始CT骨骼模型导入GeomagicWrap2021软件，用上文重建的预测骨骼曲面作为目标骨骼，对原始骨骼模型进行模拟手术，完成手术规划。虚拟手术规划包括截骨、移动、配准、骨面变形等操作。

用预期容貌的颏部软组织形态预测出颏部骨骼曲面，再以此预测的骨骼曲面作为目标进行手术规划。将规划的手术方案与实际术后的骨骼形态进行重叠比对，分析手术规划误差。以均方根误差RMSE值作为评估指标，并以误差小于2mm区域为标准进行准确率计算。

通过下采样与上采样，进行模型结构重塑，搭建了能够深度学习三维点云数据的FPNet(FacePredictNet)网络模型结构。具体来说，FPNet网络模型由两个“V”型结构组成(W型网络结构)，完成两次下采样与上采样，每个下采样数据通过Con_bn(卷积层+BN批标准化+激活函数)层两次后传到最大池化层进行池化运算。重复此过程一次后，再经过(Con_bn+Dropout)层两次后进行上采样，每个上采样经过ConT_bn(反卷积+BN批标准化+激活函数)后完成Dropout层，经两次Con_bn(卷积层+BN批标准化+激活函数)和一次ConT_bn(反卷积层+BN批标准化+激活函数)完成上采样。

Claims (9)

1.一种基于容貌的颅颌面骨骼手术规划的设计方法，其特征在于：

(1)数据收集：构建若干例正常人颅颌面CT数据集，分别采用3D重建颅颌面骨骼和肌肉软组织模型，并统一坐标系，将数据集对齐，以STL格式存储；

(2)数据结构化：将统一对齐的正常人颅颌面软组织和硬组织数据进行点云采样处理，用ExtractFacePoinst点云采样软件分别对颏部、下颌角和颧骨区域进行软硬组织配对有序点云采样；软硬组织是指颅颌面骨骼和肌肉软组织；

(3)构建并训练基于深度有监督学习的卷积神经网络模型，随机选取若干例样本作为训练集，若干例样本中的十分之一作为验证集，将软组织点云作为输入层，对应样本的骨骼点云作为输出层，对卷积神经网络模型进行训练；

(4)卷积神经网络模型预测效果测试，将若干例样本做为测试集，对训练好的神经网络模型进行测试，用肌肉软组织点云预测颅颌面骨骼点云，预测的结果与颅颌面骨骼真实值比较，计算模型预测精度；

(5)设计颅颌面骨骼模型，利用CT数据三维重建的肌肉软组织的3D容貌，编辑出预期的3D容貌，用神经网络模型预测该容貌下覆的颅颌面骨骼点云，进行颅颌面骨骼曲面重建，获得颅颌面骨骼模型。

2.如权利要求1所述的颅颌面骨骼手术规划的设计方法，其特征在于：

所述步骤(1)中，将原始CT数据导入mimics21.0软件，进行软硬组织分别三维重建；骨骼三维重建CT阈值为：226～3071，软组织三维重建CT阈值为：-390～3071，然后分别进行区域增长完成分割，重建得到独立软硬组织3D头颅模型；

原始CT数据库无法看到三维重建后面部软组织外观，所以mimics软件重建后，观察软组织3D模型，依据排除标准,进一步排除不符合条件的数据；经过严格纳入排除标准，将CT数据进行筛选排除后，共保留正常青年人头颅CT数据作为正常人颅颌面CT数据集，并在mimics21.0软件分别进行重建，软硬组织3D模型分别以STL格式导出保存。

3.如权利要求1所述的颅颌面骨骼手术规划的设计方法，其特征在于，所述步骤(2)中，按照如下步骤获得结构化数据：

第一步，613个数据文件夹以序号命名；文件夹内子文件同样以“序号+Bone/Soft”分别命名，便于查询与索引；

第二步，统一局部坐标系及世界坐标系；在GeomagicWrap软件中，对613对颅颌面软硬组织模型统一局部及世界坐标系；规定世界坐标原点为软组织颏前点，定内眦连线为X轴方向水平向右为正，定Z轴为面中线方向垂直向上为正，定眶耳平面为XY平面的平行面；

第三步，测量颏前点的软组织厚度；

在软组织模型上依次手动标定颏前点、双侧内眦点、鼻根点、上唇中点，在硬组织模型上标定双侧眶下缘点及右外耳道上缘中点，通过标定点完成样本局部坐标系的确立；再将局部坐标系与世界坐标系配准；为完成此任务，用Python语言编写GeomagicWrap软件脚本语言执行任务；

第四步，将结构化处理好的的面部软硬组织3D模型数据以STL格式导出保存，同时建立参数表格，表格包含数据编号、颏部软组织厚度、性别、年龄等要素，便于数据检索查询。

4.如权利要求1所述的颅颌面骨骼手术规划的设计方法，其特征在于，所述步骤(2)中，按照如下步骤获得有序点云：设计一个模拟假想球，球心位于软组织感兴趣区域的中心点，如任一点A0；球面与软组织面相交产生一条交线；该交线上任一点A1与过点AO的法线NA0构成一个平面PA1,该平面绕法线NA0旋转，每间隔一固定角度θ与上述交线形成一个采样点，故每条交线上可取的点个数为360/θ；当C逐渐减小时，每个交线上所取的点逐渐增多；而当一系列半径r＝1,2,3，……的球不断与软组织面相交取点时，在该感兴趣区域就采样到了有序点云；过软组织中心点A0的法线NA0于骨面相交于点B0，利用和软组织同样的方法，以点BO为球心，可采样到骨面的有序点云。

5.如权利要求1所述的颅颌面骨骼手术规划的设计方法，其特征在于：所述步骤(2)中，ExtractFacePoints软件进行配对有序点云采样时，操作者在面部软组织表面标定的基点即假想球的球心，为软组织点云的中心；同时该基点的法线与骨骼相交，交点为硬组织骨骼的点云中心；假想球的半径间隔决定内外两圈点云前后相邻点距离即点云稠密度，平面旋转角度决定点云左右相邻点距离亦即点云密度，假想球个数决定生成点云的点的总数量；操作者进行面部感兴趣区域点云采样，在设定好调节点云密度和点云数量的参数后，只需在该区域标定一个基点即假想球球心位置，就会在面部软硬组织表面自动生成采样的点云，同时以Excel格式导出软硬组织配对的有序点云的三维坐标，表格还包含软硬组织基点的三维坐标和基点间法线距离即软组织厚度；

颏部区域点云采样时，选择的软组织基点为颏前点，该点为软组织颏部最突点，设定为颏部区域的点云中心；点云采样参数设定为：球最小半径1.5毫米,球半径间隔1.5毫米，球数量20个，平面边长45毫米，平面旋转角度2度；此采样参数定义的点云信息为：软硬组织曲面各取点3600个(180×20，点云有20层，每层180个点)。

6.如权利要求1所述的颅颌面骨骼手术规划的设计方法，其特征在于：所述步骤(3)中，构建了一个“W”形结构的卷积神经网络—FPNet模型(FacePredictionNet)；FPNet模型是一个包含4层降采样、4层升采样和类似跳跃连接结构的全卷积网络，其特点是卷积层在降采样和升采样部分完全对称，且降采样端的特征图可以跳过深层采样，被拼接至对应的升采样端FPNet模型的整体结构是对输入点云先编码(下采样)，再解码(上采样)，然后回归到跟原始数据一样大小的点云的分类。

7.如权利要求6所述的颅颌面骨骼模型的设计方法，其特征在于：

网络模型由收缩路径和扩张路径组成；其中，收缩路径用于获取上下文信息，扩张路径用于精确的定位，且两条路径相互对称；该网络能从极少的训练图像中，依靠数据增强将有效的标注数据更为有效地使用；为了能精准的定位，收缩路径上提取出来的局部像素特征会在升采样过程中与新的特征图进行结合，即：结合局部信息和全局信息，通过信息整合提高像素点类别的预测的准确性，以最大程度的保留前面降采样过程一些重要的特征信息；而为了能使网络结构能更高效的运行，结构中是没有全连接层，这样可以很大程度上减少需要训练的参数，并得益于特殊的U形结构可以很好的保留图片中的所有信息。

8.如权利要求7所述的颅颌面骨骼手术规划的设计方法，其特征在于：收缩路径上是每两个3×3的卷积层后会跟一个2×2的最大池化层，并且每个卷积层后面采用LeakyReLu激活函数来对原始图片进行降采样操作，除此之外，每一次降采样都会增加一杯通道数。

9.如权利要求7所述的颅颌面骨骼手术规划的设计方法，其特征在于：

采用训练好的FPNet神经网络模型预测骨骼点云；把预期容貌采样得到的颏部、下颌角、颧骨三个组的软组织点云作为输入，在FPNet网络模型中得到输出即为预测的三个区域的骨骼点云；

将输出的预测骨骼点云导入GeomagicWrap2021软件，把骨骼点云重建为三角网格的骨骼曲面；骨骼点云导入软件进行曲面重建前，需要先进行点云下采样和法线修整，否则重建的曲面噪声较大不光滑；点云曲面重建操作如下：在GeomagicWrap2021软件中的“Point”工具栏下的“Uniform”按钮进行下采样，完成均匀间隔距离点云采样后，在“Shading”工具中选择“RepairNormals”中的“AutoOrientNormals”完成点云法线修整；最后通过“HDMeshConstruction”工具完成曲面重建；

把原始CT骨骼模型导入GeomagicWrap2021软件，用重建的预测骨骼曲面作为目标骨骼，对原始骨骸模型进行模拟手术，完成手术规划，虚拟手术规划包括截骨、移动、配准、骨面变形等操作。

Images