CN109754870A - 基于深度学习的全景片牙槽骨吸收分级的方法和装置 - Google Patents

Abstract

本发明提供一种基于深度学习的全景片牙槽骨吸收分级方法及装置。该方法包括：将原始全景片输入基于深度学习的牙槽骨线分割模型，以得到牙槽骨线分割结果；根据牙槽骨线分割结果生成贴合矩形框，然后根据贴合矩形框生成扩展矩形框，然后根据扩展矩形框从原始全景片中剪裁出牙槽骨线扩展区域图像块；将牙槽骨线扩展区域图像块输入基于深度学习的恒牙分割模型，以得到恒牙分割结果；根据牙槽骨线分割结果和恒牙分割结果，确定牙槽骨线分割优化结果；将牙槽骨线分割优化结果输入基于深度学习的牙槽骨吸收等级分类模型，得到原始全景片对应的牙槽骨吸收等级结果。

Description

基于深度学习的全景片牙槽骨吸收分级的方法和装置

技术领域

本发明涉及计算机图像处理技术领域，特别地涉及一种基于深度学习的全景片牙槽骨吸收分级的方法和装置。

背景技术

口腔全景片是进行口腔诊断的主要依据，其可以清晰、完整的显示上颌骨全貌、下颌骨全貌、上下颌牙列情况、牙槽骨情况、上颌窦腔、窦壁、窦底情况以及颞颌关节情况，并对颌骨周围疾病的诊断提供准确有效的帮助。

牙槽骨吸收是牙周炎的一个重要病理变化，由于牙槽骨的吸收，使牙齿的支持组织丧失，牙齿逐渐松动，最终脱落或拔除。一般将牙槽骨吸收根据严重程度分为四个等级：无牙槽骨吸收、轻度牙槽骨吸收、中度牙槽骨吸收以及重度牙槽骨吸收。

临床中诊断准则具体如下：如图1所示，以可视的釉牙骨质界以下2mm为上界，以牙槽嵴顶为下界1，以根尖为下界2。测量上界与下界1之间的距离，记为骨质吸收量a，测量上界与下界2之间的距离，记为牙根长度b。进行如下判断：若a/b<1/3，为轻度牙槽骨吸收；若1/3<a/b<2/3，为中度牙槽骨吸收；若a/b>2/3，为重度牙槽骨吸收。若牙槽骨线位于上界的上方，则为无牙槽骨吸收。

目前临床上全靠口腔专科医生人工完成牙槽骨吸收分级，主观性太强，不同医师对于全景片中灰度梯度差异敏感度不同，对测量上界与测量下界的判断结果缺乏客观性，从而导致后续计算骨质吸收量和牙根长度不准，进而导致牙槽骨吸收程度不准。更何况我国医疗资源较稀缺，资深医学专家数量不足，倘若完全依靠人工作业会让作业人用眼疲劳，进一步降低判断结果的准确可信程度。在这种形势下，研发自动化处理全景片牙槽骨吸收分级的方法和装置的需求变得迫切。

发明内容

有鉴于此，本发明提供一种基于深度学习的全景片牙槽骨吸收分级方法及装置，以克服现有技术中的上述缺点。

本发明实施例的基于深度学习的全景片牙槽骨吸收分级方法，包括：将原始全景片输入基于深度学习的牙槽骨线分割模型，以得到牙槽骨线分割结果；根据所述牙槽骨线分割结果生成贴合矩形框，然后根据所述贴合矩形框生成扩展矩形框，然后根据所述扩展矩形框从所述原始全景片中剪裁出牙槽骨线扩展区域图像块；将所述牙槽骨线扩展区域图像块输入基于深度学习的恒牙分割模型，以得到恒牙分割结果；根据所述牙槽骨线分割结果和所述恒牙分割结果，确定牙槽骨线分割优化结果；将所述牙槽骨线分割优化结果输入基于深度学习的牙槽骨吸收等级分类模型，得到所述原始全景片对应的牙槽骨吸收等级结果。

可选地，所述基于深度学习的牙槽骨线分割模型是通过如下方式得到的：(1)模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用Xception网络结构，所述解码器部分采用FPN多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入；(2)模型训练阶段：对牙槽骨线分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。

可选地，所述根据所述贴合矩形框生成扩展矩形框的步骤包括：所述贴合矩形框的左边界向左移动预设距离，以得到所述扩展矩形框的左边界；所述贴合矩形框的右边界向右移动所述预设距离，以得到所述扩展矩形框的右边界；所述贴合矩形框的上边界向上移动0.5倍贴合矩形框高度值，以得到所述扩展矩形框的上边界；所述贴合矩形框的下边界向上移动0.8倍贴合矩形框高度值，以得到所述扩展矩形框的下边界。

可选地，所述基于深度学习的恒牙分割模型是通过如下方式得到的：(1)模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用Xception网络结构，所述解码器部分采用FPN多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入，在解码器部分的上采样层加入scSE结构；(2)模型训练阶段：对恒牙分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。

可选地，所述根据所述牙槽骨线分割结果和所述恒牙分割结果，确定牙槽骨线分割优化结果的步骤包括：记所述牙槽骨线分割结果为mask1，记所述恒牙分割结果为mask2，然后根据如下公式计算牙槽骨线分割优化结果mask3：mask3＝(1-mask1)*mask2。

可选地，所述基于深度学习的牙槽骨吸收等级分类模型是通过如下方式得到的：(1)模型设计阶段：网络结构采用Xception网络结构的特征提取部分，后面接两层全连接层和一层分类输出层；(2)模型训练阶段：对牙槽骨吸收等级分类训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，特征提取部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，全连接层和输出层的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的分类准确率来确定模型的最优参数。

可选地，所述随机初始化的方法为：he_normal，lecun_uniform，glorot_normal，glorot_uniform或者lecun_normal。

可选地，所述梯度下降算法的方法为：Adam，SGD，MSprop或者Adadelta。

可选地，在所述将所述牙槽骨线分割优化结果输入基于深度学习的牙槽骨吸收等级分类模型的步骤之前，还包括：对所述牙槽骨线分割优化结果进行形态学开运算处理。

本发明实施例的基于深度学习的全景片牙槽骨吸收分级装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至3中任一所述的方法。

根据本发明的技术方案，基于人工智能技术，能够自动化地完成以往的人工作业，具有客观、快速、重复性好等优点。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是现有技术中判断牙槽骨吸收程度的示意图；

图2是本发明实施例的基于深度学习的全景片牙槽骨吸收分级的方法的流程示意图；

图3是本发明实施例的牙槽骨线分割结果生成贴合矩形框和扩展矩形框的示意图；

图4是本发明实施例的确定牙槽骨线分割优化结果的示意图。

具体实施方式

图1为本发明实施例的基于深度学习的全景片牙槽骨吸收分级方法的流程示意图，包括如下的步骤A至步骤E。

步骤A：将原始全景片输入基于深度学习的牙槽骨线分割模型，以得到牙槽骨线分割结果。

可选地，步骤A中的基于深度学习的牙槽骨线分割模型是通过如下方式得到的：(1)模型设计阶段：网络结构包含编码器部分和解码器部分，编码器部分采用Xception网络结构，解码器部分采用FPN多尺度融合结构，并且从编码器部分抽取五个不同深度的卷积层作为输入；(2)模型训练阶段：对牙槽骨线分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。

步骤B：根据牙槽骨线分割结果生成贴合矩形框，然后根据贴合矩形框生成扩展矩形框，然后根据扩展矩形框从原始全景片中剪裁出牙槽骨线扩展区域图像块。经过该操作，可以去除非牙区域对牙槽骨吸收等级分类的影响，使得模型在训练学习过程中，更多的关注牙齿和牙槽嵴顶的关系，从未获得精准的牙槽骨吸收分级。

可选地，步骤B中的“根据贴合矩形框生成扩展矩形框”的步骤具体包括：贴合矩形框的左边界向左移动预设距离，以得到扩展矩形框的左边界；贴合矩形框的右边界向右移动预设距离，以得到扩展矩形框的右边界；贴合矩形框的上边界向上移动0.5倍贴合矩形框高度值，以得到扩展矩形框的上边界；贴合矩形框的下边界向上移动0.8倍贴合矩形框高度值，以得到扩展矩形框的下边界。

步骤C：将牙槽骨线扩展区域图像块输入基于深度学习的恒牙分割模型，以得到恒牙分割结果。

可选地，步骤C中的基于深度学习的恒牙分割模型是通过如下方式得到的：(1)模型设计阶段：网络结构包含编码器部分和解码器部分，编码器部分采用Xception网络结构，解码器部分采用FPN多尺度融合结构，并且从编码器部分抽取五个不同深度的卷积层作为输入，在解码器部分的上采样层加入scSE结构；(2)模型训练阶段：对恒牙分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。

步骤D：根据牙槽骨线分割结果和恒牙分割结果，确定牙槽骨线分割优化结果。经过该操作，可以去除非牙区域对牙槽骨吸收等级分类的影响，使得模型在训练学习过程中，更多的关注牙齿和牙槽嵴顶的关系，从未获得精准的牙槽骨吸收分级。

可选地，步骤D中的根据牙槽骨线分割结果和恒牙分割结果，确定牙槽骨线分割优化结果的步骤包括：记牙槽骨线分割结果为mask1，记恒牙分割结果为mask2，然后根据如下公式计算牙槽骨线分割优化结果mask3：mask3＝(1-mask1)*mask2。

步骤E：将牙槽骨线分割优化结果输入基于深度学习的牙槽骨吸收等级分类模型，得到原始全景片对应的牙槽骨吸收等级结果。

可选地，步骤E中的基于深度学习的牙槽骨吸收等级分类模型是通过如下方式得到的：(1)模型设计阶段：网络结构采用Xception网络结构的特征提取部分，后面接两层全连接层和一层分类输出层；(2)模型训练阶段：对牙槽骨吸收等级分类训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，特征提取部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，全连接层和输出层的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的分类准确率来确定模型的最优参数。

需要说明的是，上文中训练模型阶段中的随机初始化的方法可以为：he_normal，lecun_uniform，glorot_normal，glorot_uniform或者lecun_normal，最优选he_normal。上文中训练模型阶段中的梯度下降算法的方法可以为：Adam，SGD，MSprop或者Adadelta，最优选Adam。

可选地，在将牙槽骨线分割优化结果输入基于深度学习的牙槽骨吸收等级分类模型的步骤之前，还包括：对牙槽骨线分割优化结果进行形态学开运算处理。经过先膨胀后收缩的形态学开运算处理，能够有效地去除假阳性分割结果。

本发明实施例的基于深度学习的全景片牙槽骨吸收分级装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的方法。

为使本领域技术人员更好地理解，下面结合具体实施例阐述本发明实施例的基于深度学习的全景片牙槽骨吸收分级方法。

(一)基于深度学习的牙槽骨线分割

设计牙槽骨线分割网络模型结构包含Encoder和Decoder两部分。Encoder部分使用Xception网络结构，Decoder部分使用FPN多尺度融合结构，从Encoder部分抽取不同深度的5个卷积层做为输入；记该模型为PanoNet-S1。

对牙槽骨线分割训练数据进行尺长归一化和灰度归一化。具体地，首先对原始全景片图像的尺度(1200×2700左右)进行下采样，采样至448×896；然后对采样后的图像灰度值进行归一化处理，公式如下(其中，x表示原始灰度值，y表示归一化后的灰度值)：

然后进行训练数据增强：通过对图像旋转(-10度至10度)和左右镜像方式，对原始数据集中的图像数据进行增加样本处理，以满足深度网络对数据量的需求。

接着进行模型训练，将牙槽骨线分割训练数据(包括原有的和增强的)输入模型PanoNet-S1进行训练，PanoNet-S1的Encoder部分的参数使用在大型公开图像数据集ImageNet上预训练好的参数，Decoder部分的参数采用随机初始化。采用梯度下降算法Adam对模型进行迭代训练，经过不断迭代，取得网络最优解。根据在验证集上的Dice值来确定模型的最优参数。

将测试全景片输入训练好的PanoNet-S1，得到牙槽骨线分割结果mask1。

(二)提取牙槽骨线扩展区域图像块

如图3所示，为牙槽骨线分割结果mask1生成一个贴合矩形框rect，再经过延展得到扩展矩形框rect’，延展公式如下：

w′＝w+2*sw

h′＝h+sh1+sh2

sh1＝0.5*h

sh2＝0.8*h

其中，sw可以取值为250。根据得到的扩展矩形框rect’从原全景片上裁剪出牙槽骨线扩展区域图像块patch1。

(二)获取恒牙分割结果

设计恒牙分割网络模型结构包含Encoder和Decoder两部分。Encoder部分使用Xception网络结构，Decoder部分使用FPN多尺度融合结构，从Encoder部分抽取不同深度的5个卷积层做为输入，并且在Decoder部分的上采样层加入scSE结构；记该模型为PanoNet-S2。

对恒牙分割训练数据进行尺长归一化和灰度归一化。具体地，首先对原始全景片图像的采样至512×1024；然后对采样后的图像灰度值进行归一化处理(具体方法同上文)。然后进行训练数据增强：通过对图像旋转(-10度至10度)和左右镜像方式，对原始数据集中的图像数据进行增加样本处理，以满足深度网络对数据量的需求。

接着进行模型训练，将恒牙分割训练数据(包括原有的和增强的)输入模型PanoNet-S2进行训练，PanoNet-S2的Encoder部分的参数使用在大型公开图像数据集ImageNet上预训练好的参数，Decoder部分的参数采用he_normal随机初始化。采用梯度下降算法Adam对模型进行迭代训练，经过不断迭代，取得网络最优解。根据在验证集上的Dice值来确定模型的最优参数。

将牙槽骨线扩展区域图像块patch1输入训练好的恒牙分割模型PanoNet-S2，得到恒牙分割结果mask2。

(四)获取牙槽骨线分割优化结果

如图4所示，根据牙槽骨线分割结果mask1和恒牙分割结果mask2得到牙槽骨线分割优化结果mask3，其中mask3＝(1-mask1)*mask2。

可选地，还可以对牙槽骨线分割优化结果mask3进行形态学处理，以得到更科学合理的结果。

(五)确定牙槽骨吸收等级

设计基于深度学习的牙槽骨吸收分级网络结构模型，该网络结构使用Xception作为特征提取部分，后面接两层全连接层和一层分类输出层，记该模型为PanoNet-C1。

首先对牙槽骨吸收分级训练数据的尺度进行重采样，采样至448×896；然后对采样后的图像灰度值进行归一化处理(具体方法同上文)。然后进行训练数据增强：通过对图像旋转(-10度至10度)和左右镜像方式，对原始数据集中的图像数据进行增加样本处理，以满足深度网络对数据量的需求。并且对图像数量少的某些类别进行更多的图像旋转操作增加样本，达到与多数类样本数量平衡。

接着进行模型训练，将牙槽骨吸收分级训练数据(包括原有的和增强的)输入模型PanoNet-C1进行训练，PanoNet-C1的特征提取部分的参数使用在大型公开图像数据集ImageNet上预训练好的参数，全连接层和输出层部分的参数采用随机初始化。采用梯度下降算法Adam对模型进行迭代训练，经过不断迭代，取得网络最优解。根据在验证集上的分类准确率来确定模型的最优参数。

最后将牙槽骨线分割优化结果mask3输入训练好后的模型PanoNet-C1，得到分类结果。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于深度学习的全景片牙槽骨吸收分级方法，其特征在于，包括：

将原始全景片输入基于深度学习的牙槽骨线分割模型，以得到牙槽骨线分割结果；

根据所述牙槽骨线分割结果生成贴合矩形框，然后根据所述贴合矩形框生成扩展矩形框，然后根据所述扩展矩形框从所述原始全景片中剪裁出牙槽骨线扩展区域图像块；

将所述牙槽骨线扩展区域图像块输入基于深度学习的恒牙分割模型，以得到恒牙分割结果；

根据所述牙槽骨线分割结果和所述恒牙分割结果，确定牙槽骨线分割优化结果；

将所述牙槽骨线分割优化结果输入基于深度学习的牙槽骨吸收等级分类模型，得到所述原始全景片对应的牙槽骨吸收等级结果。

2.根据权利要求1所述的方法，其特征在于，所述基于深度学习的牙槽骨线分割模型是通过如下方式得到的：

(1)模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用Xception网络结构，所述解码器部分采用FPN多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入；

(2)模型训练阶段：对牙槽骨线分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。

3.根据权利要求1所述的方法，其特征在于，所述根据所述贴合矩形框生成扩展矩形框的步骤包括：

所述贴合矩形框的左边界向左移动预设距离，以得到所述扩展矩形框的左边界；

所述贴合矩形框的右边界向右移动所述预设距离，以得到所述扩展矩形框的右边界；

所述贴合矩形框的上边界向上移动0.5倍贴合矩形框高度值，以得到所述扩展矩形框的上边界；

所述贴合矩形框的下边界向上移动0.8倍贴合矩形框高度值，以得到所述扩展矩形框的下边界。

4.根据权利要求1所述的方法，其特征在于，所述基于深度学习的恒牙分割模型是通过如下方式得到的：

(1)模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用Xception网络结构，所述解码器部分采用FPN多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入，在解码器部分的上采样层加入scSE结构；

(2)模型训练阶段：对恒牙分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。

5.根据权利要求1所述的方法，其特征在于，所述根据所述牙槽骨线分割结果和所述恒牙分割结果，确定牙槽骨线分割优化结果的步骤包括：

记所述牙槽骨线分割结果为mask1，记所述恒牙分割结果为mask2，然后根据如下公式计算牙槽骨线分割优化结果mask3：

mask3＝(1-mask1)*mask2。

6.根据权利要求1所述的方法，其特征在于，所述基于深度学习的牙槽骨吸收等级分类模型是通过如下方式得到的：

(1)模型设计阶段：网络结构采用Xception网络结构的特征提取部分，后面接两层全连接层和一层分类输出层；

(2)模型训练阶段：对牙槽骨吸收等级分类训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，特征提取部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，全连接层和输出层的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的分类准确率来确定模型的最优参数。

7.根据权利要求2、4或6所述的方法，其特征在于，所述随机初始化的方法为：he_normal，lecun_uniform，glorot_normal，glorot_uniform或者lecun_normal。

8.根据权利要求2、4或6所述的方法，其特征在于，所述梯度下降算法的方法为：Adam，SGD，MSprop或者Adadelta。

9.根据权利要求1所述的方法，其特征在于，在所述将所述牙槽骨线分割优化结果输入基于深度学习的牙槽骨吸收等级分类模型的步骤之前，还包括：对所述牙槽骨线分割优化结果进行形态学开运算处理。

10.一种基于深度学习的全景片牙槽骨吸收分级装置，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至9中任一所述的方法。