CN114677516B - 一种基于深度神经网络的口腔下颌管自动分割方法 - Google Patents

Abstract

本发明属于计算机医疗图像应用领域，涉及一种基于深度神经网络的口腔下颌管自动分割方法，首先利用灰度映射对下颌管图像进行数值处理，获取数值统一后的下颌管图像；利用曲线拟合算法提取所述下颌管图像的中心线，根据中心线定位功能，结合区域生长算法对下颌管进行初步分割，获取下颌管的分割结果；利用所述下颌管分割结果，截取所述下颌管分割结果所在的感兴趣区域，并在所述感兴趣区域中单独标注颏孔和颌孔区域，获取标签区域；利用三维卷积网络对所述标签区域进行训练和分割，得到下颌管分割结果。本发明实现了下颌管的自动分割任务，提高了下颌管的分割精度，节约了人工标注的时间成本，具有较短的识别时间和精准的识别率。

Description

一种基于深度神经网络的口腔下颌管自动分割方法

技术领域

本发明属于医学图像处理领域，涉及一种基于深度神经网络的口腔下颌管自动分割方法。

背景技术

目前，计算机辅助规划和设计系统已经在口腔种植规划领域中有了越来越广泛的应用，在医疗影像的导引下，医生可以完成对口腔种植的术前规划任务，提升手术精度，提高手术效率，减少病人痛苦，在术前规划当中，如果种植体干涉到下颌管，容易在手术后造成患者面部麻木，疼痛等症状，使种植体与下颌管保持安全距离是术前规划的关键操作之一。

目前的计算机辅助种植规划系统当中应用的图像通常采用的是锥形束CT，也就是CBCT(Cone beam computed tomography)，但目前CBCT设备的厂商在参数标准上未能达到统一，因此在术前规划当中，对于不同参数的CBCT设备产生的数据，需要人工进行调整，以进行统一处理。而在下颌管的绘制往往采用手动或者半自动的方式进行，即医生在规划软件中点选下颌管所在区域；或者采用半自动的方式，在实现粗定位后，医生通过电脑辅助手段进行局部点选，然后生成下颌管。这一过程十分耗时耗力，如果能利用深度神经网络，在CBCT中自动进行下颌管的定位，则可以进一步节省术前规划时间，提高种植规划的效率。

鉴于3D UNet在医疗图像分割的效果显著，本发明提出的Attention-3D UNet正是基于3D UNet而改进出的一种实例分割网络，相比于传统的3D UNet、V-Net等方法，能够更加高效和精准地进行下颌管定位，具有临床应用价值。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于深度神经网络的口腔下颌管自动分割方法，实现了全自动的下颌管提取，切实可行的为种植规划中提供了便捷有利的支持。

为了实现口腔下颌管的自动分割，本发明提出了一种基于深度神经网络的口腔下颌管自动分割方法，包括：

利用灰度映射对下颌管图像进行数值处理，获取数值统一后的下颌管图像；

利用曲线拟合算法提取所述数值统一后的下颌管图像的中心线，根据中心线定位功能，结合区域生长算法对下颌管进行初步分割，获取下颌管标签；

利用所述下颌管标签，截取所述下颌管标签所在的感兴趣区域，获取下颌管的网络输入图像，并在所述感兴趣区域中单独标注颏孔及颌孔区域，获取颏孔和颏孔标签，将所述下颌管标签、颏孔和颌孔标签叠加，获取所述下颌管的网络输入标签；

利用三维卷积网络对所述下颌管的网络输入图像和网络输入标签进行训练，得到网络预测模型；

利用所述网络预测模型，输入下颌管图像，获取下颌管分割结果。

作为优选，所述下颌管图像为CBCT影像，所述灰度映射的具体过程为：

从CBCT影像的DICOM标签中读取窗宽W和窗位L；

利用窗宽W和窗位L对所述CBCT影像的体素值进行非线性变换。

进一步地，所述曲线拟合算法采用Cardinal样条曲线作为下颌管的中心线，所述区域生长算法分割下颌管的具体流程为：

所述区域生长算法基于下颌管影像的三个正交切面：横断面、矢状面、冠状面，利用所述下颌管中心线的定位功能，对所述正交切片标注种子点，然后进行邻域生长，获取下颌管标签。

进一步地，所述邻域生长的规则为，首先获取所述种子点的邻域体素，根据灰度变化条件，对邻域体素进行类别判定，当满足灰度变化条件，则认定所述邻域体素为下颌管，相反则认定为背景。

进一步地，在所述下颌管标签所在区域进行截取，获取感兴趣区域，在所述感兴趣区域中，标注下颌管两端的颏孔和颌孔，获取所述颏孔和颌孔的标签，最终形成包含下颌管标签、颏孔和颌孔标签的标签区域。

进一步地，所述利用三维卷积网络采用Attention-3D UNet网络，所述Attention-3D UNet网络以3D UNet为基础网络，融合sSE空间注意力层和cSE通道注意力层。

进一步地，利用所述利用三维卷积网络对感兴趣区域进行训练的具体过程为：

所述Attention-3D UNet网络的训练输入图像为下颌管图像的感兴趣区域和标签区域；

将所述训练输入图像中的下颌管图像的感兴趣区域在所述Attention-3D UNet网络进行训练；

采用改进的BCE损失函数对下颌管图像的感兴趣区域和标签区域进行损失计算，所述改进的BCE损失函数能使颏孔和颌孔标签所在区域不参与反向传播过程，避免了颏孔和颌孔区域标注结果对网络训练的干扰；

保存所述Attention-3D UNet网络的训练参数和权重，作为训练模型。

更进一步地，利用所述利用三维卷积网络对感兴趣区域进行分割的具体过程为：

输入为从原始CBCT影像中截取的下颌管区域；

加载所述训练模型进行网络预测，获取所述Attention-3D UNet网络的分割结果；

利用三维连通域法和高斯滤波对所述Attention-3D UNet网络的分割结果进行平滑和噪声过滤，得到下颌管分割结果。

与现有技术相比，本发明的优点为；实现了下颌管的自动分割任务，提高了下颌管的分割精度，节约了人工标注的时间成本，具有较短的识别时间和精准的识别率。

附图说明

图1是本发明方法中涉及的标签图像示意图；

图2是本发明方法中涉及的Attention-3D UNet网络结构示意图；

图3是本发明方法中涉及的cSE结构图；

图4是本发明方法中涉及的sSE结构图；

图5是本发明方法中涉及的不同算法的95％HD，Dice箱线图；

图6是本发明方法中涉及的不同算法的下颌管三维示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，下面结合附图对本发明作进一步说明。

一种基于深度神经网络的口腔下颌管自动分割方法，包括以下步骤：

(1)获取下颌管图像；

本步骤中，下颌管图像为CBCT(Cone beam computed tomography，锥形束CT)影像，数据尺寸一般为[X,Y,Z]。

(2)非线性映射；

本步骤中，将所述下颌管图像进行非线性映射，利用窗宽W和窗位L对所述CBCT影像的体素值进行非线性变换。映射到固定范围[a,b]，其a中a<b，所述CBCT影像中体素值小于L-W/2的映射为a，体素值大于L+W/2的映射为b，所述CBCT影像中体素值位于[L-W/2,L+W/2]的线性映射到[a,b]。映射后的CBCT灰度值具有固定范围。

(3)利用曲线拟合算法获取下颌管中心线；

本步骤中，在所述下颌管图像中点选取颌管中心点，选取数量一般为10个及以上，然后利用Cardinal样条进行曲线拟合，获取所述下颌管中心线。

(4)利用区域生长算法获取下颌管标签；

区域生长算法基于下颌管影像的三个正交切面：横断面、矢状面、冠状面；

利用所述下颌管中心线的定位功能，对所述正交切片标注种子点，然后进行邻域生长；所述邻域生长的具体规则为，首先确定标注种子点在体数据中26邻域内的体素值，根据灰度变化条件，对邻域内的体素进行类别判定，满足所述灰度变化条件，则认定该处体素为下颌管，不满足则认定为背景。然后以新生长的体素为基础，继续以灰度变化条件对新生长体素的26领域对展开计算，直至无满足灰度变化条件，结束生长。

利用高斯滤波对所述下颌管的生长结果进行平滑处理，去除毛刺后，对平滑后的生长结果进行阈值处理，获取二值图像，其中大于阈值的像素认定为下颌管，标签值为1，小于阈值的像素认定为其他区域，标签值为0。

(5)获取网络输入图像和输入标签区域；

利用在所述下颌管标签所在区域进行截取，截取时以下颌管两端的颏孔和颌孔为参考点，获取感兴趣区域，该感兴趣区域作为网络输入图像区域，大小为112×112×88。

在所述感兴趣区域中，标注下颌管两端的颏孔和颌孔，获取所述颏孔和颌孔的标签，其中颏孔和颌孔区域的标签值为2。

将下颌管标签、颏孔和颌孔区域标签叠加，最终形成网络输入标签区域，如图1所示，第一列为颌骨与标签的三维视图，第二列和第三列为二维切片视图，颌孔、颏孔标签位于下颌管标签的两端。

本发明在实施中，截取所述下颌管标签所在区域是为了在下颌管图像中，尽可能的减少下颌管作为前景与脊柱、颌骨、空气等背景所占比例的差异。原始的下颌管图像中，下颌管占比0.000275，经过本发明提出的裁剪方法后，下颌管占比0.030。

(6)建立Attention-3D UNet网络；

所述Attention-3D UNet神经网络共包含四层编码层、四层解码层和输出层，如图2所示。

每个编码层包含一个双卷积操作、scSE注意力操作和一个最大池化操作，并输出一个特征图。

卷积操作包括3×3×3的3D卷积、3D批量归一化和Relu激活函数，卷积操作用以特征的提取。

每个scSE注意力操作包括通道注意力cSE和空间注意力sSE。

其中cSE模块的网络结构如附图3所示。该模块输入为卷积后的特征图，特征图的大小为H×W×S×C，分别表示高度、宽度、厚度、通道数。首先使用三维的全局平均池化操作对特征图的空间特性进行分解，然后对每个通道进行挤压(Squeeze)和激活(Excitation)操作，生成一个1×1×1×C大小的张量，表示通道注意力。接着对张量使用Relu激活函数和Sigmoid归一化，得到每个通道上对应的注意力权重。最后权重与原始特征图进行通道相乘，完成通道注意力校准。

其中sSE模块的网络结构如附图4所示，该模块输入卷积后的特征图，大小为H×W×S×C，分别表示特征图的高度、宽度、厚度、通道数。首先使用1×1×1的卷积，获取大小为H×W×S×1大小的特征图，然后经过Sigmoid激活函数，得到空间注意力权重，最后通过与原始特征图相乘，完成空间注意力校准。

最大池化操作目的为数据的降维，3D批量归一化操作目的为防止网络训练过拟合，Relu激活函数目的为网络的非线性映射。

每个解码层结构包含一个反卷积操作、scSE注意力操作和一个双卷积操作。

反卷积操包括3×3×3的3D卷积，3D批量归一化和Relu激活函数，作用以数据特征的分辨率恢复。

在反卷积操作之后，输出一个特征图，值得注意的是，编码层和解码层中有跳跃连接操作，具体为将此特征图与对应解码层输出的特征图进行拼接(Skip-Connection)，实现低级特征和高级语义特征的融合，再送入下一层解码结构。

scSE注意力操作与编码结构中相同。

双卷积操作与编码结构中相同。

在最后一层解码操作完成后，输出层使用Sigmoid激活函数将特征图归一化，输出最终结果。

(7)获取Attention-3D UNet网络模型；

将所述网络输入图像区域和输入标签区域送至所述Attention-3D UNet网络进行训练；

采用改进的BCE损失函数进行损失计算，具体公式如下：

其中y_n∈{0,1}代表第n个样本的标签值；x_n∈{x_n|0<x_n≤1}代表网络对每个像素点类别预测的概率值，y_mask表示该像素是否属于颏孔和颌孔的单独标注区域，判断标准是该像素所属的标签值是否为2，如果是，y_mask为0，相反则为1。

所述改进的BCE损失函数能使颏孔和颌孔区域不参与反向传播过程，避免了所述颏孔和颌孔对下颌管的干扰。

训练结束后，获取网络训练模型H。

(8)获取下颌管分割结果；

加载网络训练模型H，输入裁剪后的下颌管图像，经过所述网络训练模型H推理后，获得该下颌管图像的预测图，经过高斯滤波和阈值处理后，得到最终的下颌管模型。

本步骤中，为了验证本发明的可行性与有效性，本发明选取V-Net、3D UNet作为对比网络进行实验，本实验的评价指标包括Dice相似系数(Dice Similarity Coefficient,DSC)和95％HD(Hausdorff Distance)，各个指标的计算公式如下：

95％HD＝95％max(d(X,Y),d(Y,X))

其中，TP、FP、FN分别是真阳性(标签是前景，预测也是前景)、假阳性(标签是背景，预测是前景)和假阴性(标签是前景，预测是背景)的体素数目；95％HD描述两组点集之间相似程度的一种量度，它是两个点集之间距离的一种定义形式。假设有两个点集X、Y，d(X,Y)和d(Y,X)分别描述从X点集到Y点集和从Y点集到X点集的单向豪斯多夫距离，95％HD表示选取两组距离中95％分位数，用以避免离群极值点的影响。

如图5所示为Attention-3D UNet、3D UNet、V-Net的分割结果的箱线图，可见本发明提出的Attention-3D UNet网络在Dice和95％HD上都具有出色的表现，在指标评价和网络预测的鲁棒性上优于3D UNet和V-Net。

为了进一步验证本发明提出的改进BCE损失函数、颏孔与颌孔的单独标注在实施中的效果，如图6所示，本发明对Attention-3D UNet、3D UNet、V-Net网络预测的分割结果进行了可视化展示，并与输入标签区域进行比较。输入标签区域作为金标准，在图中由Ground Truth表示。可以看出V-Net的结果同Ground Truth走向一致，但预测后的结果在下颌管周围出现噪音，存在误分割的情况，整体效果一般，3D UNet结果和Ground Truth接近，但通过对颏孔处的放大显示，在颏孔处的细节提取不够，而Attention-3D UNet在3D UNet结果基础上，对细节的处理有明显改善，表明本发明提出Attention-3D UNet在下颌管细节特征提取能力上有一定程度的提升。

如上所述，本专利的实施的具体方式提供了精度较高的口腔下颌管分割方法，实现了全自动的下颌管提取，切实可行的为种植规划中提供了便捷有利的支持。

Claims (8)

1.一种基于深度神经网络的口腔下颌管自动分割方法，其特征在于，包括如下步骤：

利用灰度映射对下颌管图像进行数值处理，获取数值统一后的下颌管图像；

利用曲线拟合算法提取所述数值统一后的下颌管图像的中心线，根据中心线定位功能，结合区域生长算法对下颌管进行初步分割，获取下颌管标签；

利用所述下颌管标签，截取所述下颌管标签所在的感兴趣区域，获取下颌管的网络输入图像，并在所述感兴趣区域中单独标注颏孔及颌孔区域，获取颏孔和颌孔标签，将所述下颌管标签、颏孔和颌孔标签叠加，获取所述下颌管的网络输入标签；

利用三维卷积网络对所述下颌管的网络输入图像和网络输入标签进行训练，得到网络预测模型；

利用所述网络预测模型，输入下颌管图像，获取下颌管分割结果。

2.根据权利要求1所述的一种基于深度神经网络的口腔下颌管自动分割方法，其特征在于，所述下颌管图像为CBCT影像，所述灰度映射的具体过程为：

从CBCT影像的DICOM标签中读取窗宽W和窗位L；

利用窗宽W和窗位L对所述CBCT影像的体素值进行非线性变换。

3.根据权利要求1所述的一种基于深度神经网络的口腔下颌管自动分割方法，其特征在于，所述曲线拟合算法采用Cardinal样条曲线作为下颌管的中心线，所述区域生长算法分割下颌管的具体流程为：

所述区域生长算法基于下颌管影像的三个正交切面：横断面、矢状面、冠状面，利用所述下颌管中心线的定位功能，对所述正交切面标注种子点，然后进行邻域生长，获取下颌管标签。

4.根据权利要求3所述的一种基于深度神经网络的口腔下颌管自动分割方法，其特征在于：所述邻域生长的规则为，首先获取所述种子点的邻域体素，根据灰度变化条件，对邻域体素进行类别判定，当满足灰度变化条件，则认定所述邻域体素为下颌管，相反则认定为背景。

5.根据权利要求1所述的一种基于深度神经网络的口腔下颌管自动分割方法，其特征在于：在所述下颌管标签所在区域进行截取，获取感兴趣区域，在所述感兴趣区域中，标注下颌管两端的颏孔和颌孔，获取所述颏孔和颌孔的标签，最终形成包含下颌管标签、颏孔和颌孔标签的标签区域。

6.根据权利要求1所述的一种基于深度神经网络的口腔下颌管自动分割方法，其特征在于，所述三维卷积网络采用Attention-3D UNet网络，所述Attention-3D UNet网络以3DUNet为基础网络，融合sSE空间注意力层和cSE通道注意力层。

7.根据权利要求6所述的一种基于深度神经网络的口腔下颌管自动分割方法，其特征在于，利用所述三维卷积网络对感兴趣区域进行训练的具体过程为：

所述Attention-3D UNet网络的训练输入图像为下颌管图像的感兴趣区域和标签区域；

将所述训练输入图像中的下颌管图像的感兴趣区域在所述Attention-3D UNet网络进行训练；

采用改进的BCE损失函数对下颌管图像的感兴趣区域和标签区域进行损失计算，所述改进的BCE损失函数能使颏孔和颌孔标签所在区域不参与反向传播过程，避免了颏孔和颌孔区域标注结果对网络训练的干扰；

保存所述Attention-3D UNet网络的训练参数和权重，作为训练模型。

8.根据权利要求7所述的一种基于深度神经网络的口腔下颌管自动分割方法，其特征在于，利用所述三维卷积网络对感兴趣区域进行分割的具体过程为：

输入为从原始CBCT影像中截取的下颌管区域；

加载所述训练模型进行网络预测，获取所述Attention-3D UNet网络的分割结果；

利用三维连通域法和高斯滤波对所述Attention-3D UNet网络的分割结果进行平滑和噪声过滤，得到下颌管分割结果。

Images