CN110148128B - 一种补全病变骨骼以获得骨骼预期参考模型的方法 - Google Patents

Abstract

本发明公开了一种补全病变骨骼以获得骨骼预期参考模型的方法。本发明的技术效果在于，能够快速获得骨骼去除病损后的补全形态，补全形态基本接近自然骨骼；该方法不受病损范围过大时无法补全的局限；且在脱离临床数据和操作者经验的情况下，训练好的模型及本发明方法也可以被复制，并完成基本的骨骼补全。从而降低该骨骼预期参考模型的技术难度，提高骨骼预期参考模型的制作效率，便于技术推广复制。

Description

一种补全病变骨骼以获得骨骼预期参考模型的方法

技术领域

本发明涉及一种补全病变骨骼以获得骨骼预期参考模型的方法。

背景技术

肿瘤、外伤及各种手术经常引起骨骼病损。大多患者在就诊时，骨骼就已经发生了明显形变。此时医生常难以获得患者患病前骨骼的准确形态。

同时，人体的骨骼具有较强的特异性，每个人的骨骼外形或多或少都有差异，这使得无法使用通用骨骼模型当作手术参考，这增加了手术效果的不确定性。因此常常需要使用数字化技术设计骨骼预期参考模型。

虽然现阶段医学受限于材料，尚不能根据电脑设计的骨骼预期参考模型直接提供给患者一个骨骼假体供其使用，但是它却能给医生一个重要参考。在进行骨骼功能性重建过程中，骨骼预期参考模型能够让医生获得更准确的拼接位置和角度。

在生物材料的研究进展中，个性化定制的骨引导材料已接近成熟，将会面临为材料确定个性化形态的问题，需要骨骼预期参考模型作为形态基础。但是目前的数字化手术流程中，常用的方法是镜像修复或手工寻找其他相似的骨骼做局部数据融合、平滑处理，但其实际效果并不佳。而如果希望制作较为精准的预期参照模型，则目前实现困难，耗时较长，在临床上难以推广；而快速流程化处理，往往精度和效果较差。

发明内容

为了解决目前骨骼预期参考模型精度差、制作困难的技术问题，本发明提供一种能够快速获得骨骼的补全形态的补全病变骨骼以获得骨骼预期参考模型的方法。

为了实现上述技术目的，本发明的技术方案是：

一种补全病变骨骼以获得骨骼预期参考模型的方法，包括以下步骤：

步骤一，以正常骨骼二维CT图像作为训练数据，训练深度卷积对抗生成网络，得到二维CT图像的随机生成神经网络模型和鉴别神经网络模型；

步骤二，对病变骨骼三维图像中的缺损进行补全：

步骤1、基于待补全的病变骨骼的所有CT断层图像建立立体骨骼模型，并在立体骨骼模型上设置完全遮蔽病变区域的三维实体以代表需要补全的立体区域；

步骤2、将三维实体再转换为与CT断层图像相匹配的多个Mask层，在Mask层中标记区分需要补全的像素和需要保留的像素，然后将每个Mask层与相应的CT断层图像进行关联以标示出CT断层图像需要补全和需要保留的像素；

步骤3、进行二维、三维补全：首先基于步骤一中得到的随机生成神经网络模型，随机生成伪图像，然后以梯度下降方法，通过有限次迭代以循环生成伪图像，以使得所生成的伪图像在对应病变骨骼完好部分之间的差别不断降低，同时对伪图像通过鉴别神经网络模型进行鉴别，并基于多结果选择网络过滤掉与病变骨骼差别较大的伪图像；然后考虑三维因素，计算当前伪图像所在层与相邻层之间的差异，挑选出与相邻层差异较小的伪图像，最终在完成有限次迭代循环后得到作为重构图像的伪图像；

步骤三，根据每一个断层的骨骼补全图像，进行三维可视化及实体建模，获得骨骼预期参考模型。

所述的一种补全病变骨骼以获得骨骼预期参考模型的方法，所述的步骤一中，在训练深度卷积对抗生成网络时，是由生成器生成虚拟图片，然后将虚拟图片和真实图片同时提供至鉴别器判断图片是否为生成的虚拟图片，基于误差反向传递原理，使用随机梯度下降方法，训练得到随机生成二维CT图像神经网络模型。

所述的一种补全病变骨骼以获得骨骼预期参考模型的方法，所述的步骤二的步骤3中，通过有限次迭代循环生成伪图像，以使得所生成的伪图像在对应病变骨骼完好部分之间的差别不断降低，是基于以下步骤实现：

以已知数据作为待补全数据的语境，则伪图像中生成数据与已知数据的差别为语境损失，病变骨骼三维矩阵数据pdata包括两个部分：数据中真实存在的部分pdata.normal；缺失数据部分即发生病变需要补全的部分pdata.miss，这两部分通过真实骨骼数据集中的R即pdata矩阵，以及由用于补全的三维实体转换得到的掩码M即mask矩阵计算得到，其中矩阵M中只有[0，1]两个值，1表示该像素是pdata.normal，0表示该像素是pdata.miss，即M⊙R为pdata.Normal，(1-M)⊙R为pdata.miss，其中⊙表示两个矩阵的Hadamard积；

平面语境损失

为：

其中‖x‖＝∑_ix_i表示向量x的L1范数，G为随机生成神经网络模型，z为输入至随机生成神经网络模型G(z)的参数，如果G(z)生成的数据与同样位置的已知数据完全一致，则‖M⊙G(z)-M⊙R‖＝0，此时语境损失

在循环迭代生成伪图像时，通过调整z的取值，在有限次的循环迭代中获得使语境损失最趋近于0的结果。

所述的一种补全病变骨骼以获得骨骼预期参考模型的方法，所述的步骤二的步骤3中，对伪图像通过鉴别神经网络模型进行鉴别，是基于以下步骤实现：

通过鉴别神经网络模型D(x)鉴别判断未知部分的数据是否符合真实骨骼数据的特点，当生成数据符合来自鉴别神经网络模型中概率密度函数PDF的采样时，D(x)鉴别器的值为1，即感知损失，反之，若D(x)＝0则代表数据完全不符合PDF，此时感知损失最大，故感知损失

为：

所述的一种补全病变骨骼以获得骨骼预期参考模型的方法，所述的步骤二的步骤3中，挑选出与相邻层差异较小的伪图像，是基于以下步骤实现：

设i为当前层，则i-1为上一层，i+1为下一层，跨层语境损失表示为：

并得到总体损失

的表达式为：

其中λ为超参数，用来控制两种损失的重要程度；

最终重构图像的表达式是：

X_{reconstructed}＝M⊙R+(1-M)⊙G(z)。

本发明的技术效果在于，能够快速获得骨骼去除病损后的补全形态，补全形态基本接近自然骨骼；该方法不受病损范围过大时无法补全的局限；且在脱离临床数据和操作者经验的情况下，训练好的模型及本发明方法也可以被复制，并完成基本的骨骼补全。从而降低该骨骼预期参考模型的技术难度，提高骨骼预期参考模型的制作效率，便于技术推广复制。

下面结合附图对本发明作进一步说明。

附图说明

图1为本发明实施例的流程示意图；

图2为传统手术模拟的手工补全过程示意图；

图3为难以修复的下颌骨缺损案例示意图；

图4为8个通过该神经网络用随机输入参数生成的颌骨CT图；

图5为仅应用平面语境损失的平面补全示意图；

图6为原始CT图、标记的待补全区域及最终补全结果示意图；

图7为原始病变颌骨示意图；

图8为降低分辨率后的病变颌骨示意图；

图9为标记待补全区域(病变区域)生成mask层示意图；

图10为完成补全后的示意图。

具体实施方式

本专利研究得到湖南省卫生健康委科研计划课题项目(20191044)；湖南省自然科学基金-青年基金项目(2018JJ3850)；湖南省重点研发计划-社会发展领域重点研发项目(2017SK2161)的支持。

该方法基于已有的二维图像补全算法深度卷积对抗生成网络模型。本发明对该算法进行了改进，改进后本发明中的方法能够适应三维CT图像，并且进行三维空间中的形态补全。为了便于理解，以下实施例以颌骨为例，对本发明作出具体说明：

图2给出了传统手术模拟的手工补全过程，其中左侧为病变原始颌骨，中间为模拟切除所有异常部分，右侧为对正常部分镜像、裁剪、拼接完成预期参照模型。但从右侧图像中可以看到，其补充后的拼合精度非常不好。

图3给出了难以修复的下颌骨缺损案例，由于其累计双侧的病变、损伤巨大、移位明显或病损位于中部，临床尚缺乏有效的方法对预期形态进行预估，更难以给出颌骨预期参考模型。

下面对本发明实施例的流程作出具体说明。

1.按照深度卷积对抗生成网络方法，对二维CT图像形成的训练数据进行机器学习，得到随机生成二维CT图像神经网络模型。

1.1上述训练数据的制作方法如下：

步骤一：通过人工标记，筛选历史资料库中的案例50个。所选案例均已排除颌骨疾病、排除明显牙列损坏、排除牙体损坏、排除混合牙列。

步骤二：获取50个案例的完整颌骨的影像学DICOM资料，按医学伦理要求进行匿名化处理。

步骤三：设定阈值范围-1000到2000，转换DICOM格式为PNG。每个患者528张图片，共计获得初始数据26400张图片。

步骤四：为减少训练量，本研究仅关注下颌骨形态，筛选去除只包含上颌骨的图片后，保留关注区域图像14278张。

步骤五：受限于计算平台的性能限制，对图像进行等比例缩放，缩小至128x128像素，对应像素空间尺寸1.25mm。

步骤六：将上述最终数据命名为“Mini-Dicom”训练库备用。收集使用50个正常下颌骨案例进行神经网络训练，将正常颌骨的CT图像

1.2对抗生成神经网络模型包含一个生成器，可以根据一个100维输入参数生成一个虚拟图片；包含一个鉴别器，不断判断被测图像来自真是案例，还是生成器提供的虚假案例。两模型互相对抗，使用误差反向传递原理，使用随机梯度下降方法，不断降低自身神经网络的损失。

1.3生成器所能完成的效果

本实施例基于上述过程，经过45小时训练，得到了一个可以生成随机二维CT图像的神经网络模型。图4中展示了8个通过该神经网络用随机输入参数生成的颌骨CT图。

2.对病变下颌骨三维图像中的缺损进行补全。

补全过程依赖于已知的待补全颌骨个案正常区域形貌，及颌骨形态的自然规律。因此我们分别定义感知损失、平面语境损失和跨层语境损失。

2.1补全图案的损失定义

定义已知数据就是待补全数据的语境；生成数据与已知数据的差别就是语境损失。

对于一个缺失部分数据的真实颌骨三维矩阵数据pdata，其分为两个部分：pdata.normal为数据中真实存在的部分；pdata.miss为缺失数据部分(发生病变需要补全的部分)。这两部分通过真实颌骨数据集中的R(pdata)矩阵和掩码M(mask)矩阵进行计算得到。在矩阵M(mask)中，只有[0，1]两个值，1表示该像素是pdata.normal，0表示该像素是pdata.miss。而R(pdata)矩阵中是CT断层图像的CT值。

定义A⊙B为A和B两个矩阵的Hadamard积,故M⊙R为pdata.Normal，(1-M)⊙R为pdata.miss。另定义‖x‖＝∑_ix_i是向量x的L1范数。

为了完成图像补全，需要确定一个z，使得G(z)生成的数据矩阵与R中已知的数据尽可能一致。其中z是随机生成神经网络模型的输入，为100维数，本身是100个独立的数字，用于决定最终生成的图像。参数z＝100个独立的小数数据，可以理解为机器自己学习到的图像的100种特征。因此平面语境损失(Contextual)可以描述为如下表达式：

如果G(z)生成的数据与同样位置的已知数据完全一致，则‖M⊙G(z)-M⊙R‖＝0，此时语境损失

故在循环迭代生成伪图像时，不断的调整z的取值，使语境损失尽可能的趋于0，即利用梯度下降或其他类似的方法来对z进行调整，最终在有限次的循环迭代结束后，获得相对最佳的z的具体取值。

本发明重点提出颌骨的立体补全方法，因此需要引入跨层语境损失(Contextual3D)定义，其在平面语境损失基础上增加了补全内容与相邻层补全图案的差异计算。设i为当前层，则i-1为上一层，i+1为下一层，跨层语境损失可以表示为：

减少平面语境损失，就减少了生成数据在已知部分和待补全数据的同一层的差异。减少跨层语境损失，就减少了其与相邻层之间生成结果的差异。另外，本实施例中采用的是当前层与上下相邻两层间进行跨层语境损失计算，实际操作中，仍可采用当前层与相邻多层，或者当前层与上下其中一个方向上的单层或多层进行跨层语境损失计算。

而对于未知部分的数据是否符合真实颌骨数据的特点尚未判断。为保证生成数据仍然能够符合颌骨数据特点，需要通过鉴别神经网络D(x)进行鉴别。当生成数据符合来自鉴别神经网络模型中概率密度函数(PDF)的采样时，D(x)鉴别器的值为1，此时没有感知损失。反之，若D(x)＝0则代表数据完全不符合PDF，此时感知损失最大。因此感知损失(Perceptual)可以描述为如下表达式：

结合语境损失和感知损失，总体损失

的表达式为：

其中λ为超参数，用来控制两种损失的重要程度。由于G(z)已经经过训练，因此一般语境损失的重要性应大于感知损失。

此时重构图像的表达式是：

X_{reconstructed}＝M⊙R+(1-M)⊙G(z)

2.2立体补全掩码层的构建

具体构建按照以下步骤：

步骤一：使用E-3D 3D digital medical design system导入经过预处理的图像数据。

步骤二：使用形态设计工具建立圆形、圆柱形、或box三维实体。

步骤三：调整实体位置和大小，让实体形态完全遮蔽颌骨病变区域。此时实体代表需要补全的立体区域。

步骤四：将实体转换为多个影像层Mask。并将全部Mask导出为png格式。

步骤五：使用脚本阈值化Mask的PNG数据，使0表示需要补全的像素，用1表示需要保留的像素。

步骤六：将每个Mask与原始图像进行关联。

2.3基于平面语境损失和感知损失的补全结果

图5中展示了仅应用平面语境损失的平面补全情况，其中有较好的结果，也存在部分较差结果。

2.4基于跨层语境损失的二维补全结果

按照2.1所属定义，使用跨层语境损失方式从平面补全结果中进行最终结果筛选,去除较坏结果，提高两层间的关联性。

具体做法是建立了一个多结果选择网络(Multi-outcomes option networks，MOON)。MOON采用枚举法，对下颌骨同一断层图补全20-30次，大多数情况下坏结果不会总一直发生。MOON首先基于LOSS值过滤较差的结果，LOSS值即前面提到的总体损失

然后计算当前断层每个候选案例与其邻近断层可选案例的语义损失，形成一个无向图网络。最终MOON通过动态规划获得一组整体损失最小的结果。MOON平台还可以进行交互选择，在人为明确一些关键位置的选择后MOON的能获得更好的补全结果。

由此可以得到一个样本在空间上连续补全的CT补全图。图6展示了原始CT图，标记的待补全区域，及最终补全结果。

3.确定了每一个断层的下颌骨补全图像后，使用E-3D 3D digital medicaldesign system软件可以进行三维可视化及实体建模。其中图7为原始病变颌骨示意图，图8为降低分辨率后的病变颌骨，图9为标记待补全区域(病变区域)生成mask，图10为完成补全。

Claims (3)

1.一种补全病变骨骼以获得骨骼预期参考模型的方法，其特征在于，包括以下步骤：

步骤一，以正常骨骼二维CT图像作为训练数据，训练深度卷积对抗生成网络，得到二维CT图像的随机生成神经网络模型和鉴别神经网络模型；

步骤二，对病变骨骼三维图像中的缺损进行补全：

步骤1、基于待补全的病变骨骼的所有CT断层图像建立立体骨骼模型，并在立体骨骼模型上设置完全遮蔽病变区域的三维实体以代表需要补全的立体区域；

步骤2、将三维实体再转换为与CT断层图像相匹配的多个Mask层，在Mask层中标记区分需要补全的像素和需要保留的像素，然后将每个Mask层与相应的CT断层图像进行关联以标示出CT断层图像需要补全和需要保留的像素；

步骤3、进行二维、三维补全：首先基于步骤一中得到的随机生成神经网络模型，随机生成伪图像，然后以梯度下降方法，通过有限次迭代以循环生成伪图像，以使得所生成的伪图像在对应病变骨骼完好部分之间的差别不断降低，同时对伪图像通过鉴别神经网络模型进行鉴别，并基于多结果选择网络过滤掉与病变骨骼差别较大的伪图像；然后考虑三维因素，计算当前伪图像所在层与相邻层之间的差异，挑选出与相邻层差异较小的伪图像，最终在完成有限次迭代循环后得到作为重构图像的伪图像；其中多结果选择网络采用枚举法，对下颌骨同一断层图补全多次；首先基于总体损失过滤较差的结果，然后计算当前断层每个候选案例与其邻近断层可选案例的语义损失，形成一个无向图网络；最终通过动态规划获得一组整体损失最小的结果；

步骤三，根据每一个断层的骨骼补全图像，进行三维可视化及实体建模，获得骨骼预期参考模型；

所述的步骤二的步骤3中，通过有限次迭代循环生成伪图像，以使得所生成的伪图像在对应病变骨骼完好部分之间的差别不断降低，是基于以下步骤实现：

以已知数据作为待补全数据的语境，则伪图像中生成数据与已知数据的差别为语境损失，病变骨骼三维矩阵数据pdata包括两个部分：数据中真实存在的部分pdata.normal；缺失数据部分即发生病变需要补全的部分pdata.miss，这两部分通过真实骨骼数据集中的R即pdata矩阵，以及由用于补全的三维实体转换得到的掩码M即mask矩阵计算得到，其中矩阵M中只有[0，1]两个值，1表示该像素是pdata.normal，0表示该像素是pdata.miss，即M⊙R为pdata.Normal，(1-M)⊙R为pdata.miss，其中⊙表示两个矩阵的Hadamard积；

平面语境损失为：

其中‖x‖＝∑_ix_i表示向量x的L1范数，G为随机生成神经网络模型，z为输入至随机生成神经网络模型G(z)的参数，如果G(z)生成的数据与同样位置的已知数据完全一致，则‖M⊙G(z)-M⊙R‖＝0，此时语境损失在循环迭代生成伪图像时，通过调整z的取值，在有限次的循环迭代中获得使语境损失最趋近于0的结果；

所述的步骤二的步骤3中，对伪图像通过鉴别神经网络模型进行鉴别，是基于以下步骤实现：

通过鉴别神经网络模型D(x)鉴别判断未知部分的数据是否符合真实骨骼数据的特点，当生成数据符合来自鉴别神经网络模型中概率密度函数PDF的采样时，D(x)鉴别器的值为1，即没有感知损失，反之，若D(x)＝0则代表数据完全不符合PDF，此时感知损失最大，故感知损失为：

2.根据权利要求1所述的一种补全病变骨骼以获得骨骼预期参考模型的方法，其特征在于，所述的步骤一中，在训练深度卷积对抗生成网络时，是由生成器生成虚拟图片，然后将虚拟图片和真实图片同时提供至鉴别器判断图片是否为生成的虚拟图片，基于误差反向传递原理，使用随机梯度下降方法，训练得到随机生成二维CT图像神经网络模型。

3.根据权利要求1所述的一种补全病变骨骼以获得骨骼预期参考模型的方法，其特征在于，所述的步骤二的步骤3中，挑选出与相邻层差异较小的伪图像，是基于以下步骤实现：

设i为当前层，则i-1为上一层，i+1为下一层，跨层语境损失表示为：

并得到总体损失的表达式为：

其中λ为超参数，用来控制两种损失的重要程度；

最终重构图像的表达式是：

X_{reconstructed}＝M⊙R+(1-M)⊙G(z)。

Images