CN109360196B - 基于深度学习处理口腔放射图像的方法及装置 - Google Patents

Abstract

本发明提供一种基于深度学习处理口腔放射图像的方法及装置。该方法包括：A.对样本口腔放射图像进行实例分割，以得到样本牙齿区域；B.根据样本牙齿区域，确定样本牙根区域；C.处理样本牙根区域以得到训练数据集；D.将训练数据集输入到卷积神经网络中进行训练，以得到检测模型；E.对测试口腔放射图像进行实例分割，得到测试牙齿区域；F.根据测试牙齿区域确定测试牙根区域；G.处理测试牙根区域以得到测试数据集；H.将测试数据集输入检测模型，以得到测试牙根区域预测结果；I.根据测试牙根区域预测结果，输出整张测试口腔放射图像预测结果。

Description

基于深度学习处理口腔放射图像的方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别地涉及一种基于深度学习处理口腔放射图像的方法和装置。

背景技术

目前我国成人中有百分之九十的人群存在牙周疾病，其中以根尖周炎最为典型。根尖周炎无法用肉眼诊断，需要借助口腔放射影像诊断。口腔放射图像是指口腔颌面专用X光线机在病人口腔中进行“拍照”所得到的图像。

现有技术中，通常依靠经验丰富的医务工作日人员判断根尖周炎但也存在难度。不同医师对于根尖片中模糊区域的像素梯度差异敏感度不同，判断结果缺乏客观性。更何况我国医疗资源较稀缺，资深医学专家数量不足，倘若完全依靠人工作业会让作业人用眼疲劳，进一步降低判断结果的准确可信程度。在这种形势下，研发自动化处理口腔放射图像的方法及装置的需求变得迫切。

发明内容

有鉴于此，本发明提供一种自动化的准确可靠的基于深度学习的处理口腔放射图像的方法和装置，以解决现有技术中的问题。

本发明第一方面提出一种基于深度学习的处理口腔放射图像的方法，包括：A.对样本口腔放射图像进行实例分割，以得到样本牙齿区域；B.根据所述样本牙齿区域，确定样本牙根区域；C.处理所述样本牙根区域以得到训练数据集；D.将所述训练数据集输入到卷积神经网络中进行训练，以得到检测模型；E.按照与步骤A中相同的分割方式，对测试口腔放射图像进行实例分割，得到测试牙齿区域；F.按照与步骤B中相同的确定方式，根据所述测试牙齿区域确定测试牙根区域；G.按照与步骤C中相同的处理方式，处理所述测试牙根区域以得到测试数据集；H.将所述测试数据集输入所述检测模型，以得到测试牙根区域预测结果；I.根据所述测试牙根区域预测结果，输出整张测试口腔放射图像预测结果。

可选地，还包括：在所述步骤A之前，对所述样本口腔放射图像进行预处理；以及在所述步骤E之前，对所述测试口腔放射图像进行相同方式的预处理。

可选地，所述步骤A包括：A1：利用T-net卷积神经网络从所述样本口腔放射图像分割出初级候选样本牙齿区域和样本牙齿边缘轮廓；A2：利用形态学腐蚀和膨胀算法对所述初级候选样本牙齿区域进行处理，得到二级候选样本牙齿区域；A3：根据所述二级候选样本牙齿区域和所述样本牙齿边缘轮廓，确定所述样本牙齿区域。

可选地，所述步骤B包括：B1：对所述样本牙齿区域中的各颗样本牙齿确定单齿牙根标准化方向，所述单齿牙根标准化方向为上方向、下方向、左方向和右方向四者中之一；B2：根据所有所述样本牙齿的所述单齿牙根标准化方向，确定所述样本口腔放射图像的总体牙根标准化方向；B3：对所述样本牙齿区域中的各颗样本牙齿分别生成贴合牙齿的全齿采样框，然后参考所述总体牙根标准化方向对所述全齿采样框进行裁剪和延展以得到牙根采样框，选取所述牙根采样框内的图像内容以得到所述样本牙根区域。

可选地，所述步骤B1包括：在所述样本牙齿区域中，遍历地对各颗样本牙齿执行如下操作：B1-1：对当前样本牙齿对应的样本牙齿区域进行水平或垂直方向的校准，得到校准结果并记录校准角度；B1-2：在所述校准结果外生成贴合的矩形框，然后按所述矩形框的长边将所述校准结果均分两部分，面积大的部分记为牙冠，面积小的部分记为牙根；B1-3：根据所述牙冠和牙根的位置关系以及所述校准角度，确定所述单齿牙根标准化方向。

可选地，所述步骤B3包括：在所述样本牙齿区域中，遍历地对各颗样本牙齿执行如下操作：B3-1：生成贴合牙齿的全齿采样框，并记录所述全齿采样框的长边长度为L；B3-2：对所述全齿采样框保留所述总体牙根标准化方向的半侧区域，然后框边界向所述总体牙根标准化方向延长L/3并且向其余三个方向分别延长L/5，以得到所述牙根采样框；B3-3：选取所述牙根采样框内的图像内容以得到所述样本牙根区域。

可选地，所述步骤C包括：对所述样本牙根区域进行灰度归一化处理和尺寸统一化处理，以得到训练数据集。

可选地，在所述步骤D之前，还包括：对所述训练数据集进行数据增广。

可选地，所述步骤D中采用的神经网络为SEFT-Net神经网络。

本发明第二方面提出一种基于深度学习的处理口腔放射图像的装置，其特征在于，用于执行所述权利要求1-9中任一项所述的基于深度学习的处理口腔放射图像的方法。

本发明的基于深度学习的处理口腔放射图像的方法及装置，具有如下优点：(1)机器处理相较人工处理提升了工作效率和重现性；(2)是对精准分割后的牙根区域进行训练模型，因此提高了模型预测准确性和鲁棒性；(3)算法简便明晰，模型训练完成后在测试应用阶段对硬件要求低。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施方式的处理口腔放射图像的方法的主要步骤的示意图；

图2是根据本发明具体实施例的处理口腔放射图像的方法中对口腔放射图像的进行预处理前后对比图；

图3是根据本发明具体实施例的处理口腔放射图像的方法中确定牙齿区域的过程示意图；

图4是根据本发明具体实施例牙根病灶区域范例图；

图5是根据本发明具体实施例的处理口腔放射图像的方法中确定样本牙齿的单齿标准化方向的过程示意图；

图6是根据本发明具体实施例的处理口腔放射图像的方法中确定样本牙齿的样本牙根区域的过程示意图；

图7是根据本发明具体实施例的处理口腔放射图像的方法中确定训练数据集的过程示意图；

图8是根据本发明具体实施例的处理口腔放射图像的方法中对测试口腔放射图像进行检测的过程示意图。

具体实施方式

以下结合附图对本发明的示范性实施方式做出说明，其中包括本发明实施方式的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施方式做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施方式的处理口腔放射图像的方法的主要步骤的示意图。如图1所示，该基于深度学习的处理口腔放射图像的方法，包括如下的步骤A至步骤I。

A.对样本口腔放射图像进行实例分割，以得到样本牙齿区域。

B.根据样本牙齿区域，确定样本牙根区域。

C.处理样本牙根区域以得到训练数据集。

D.将训练数据集输入到卷积神经网络中进行训练，以得到检测模型。

E.按照与步骤A中相同的分割方式，对测试口腔放射图像进行实例分割，得到测试牙齿区域。

F.按照与步骤B中相同的确定方式，根据测试牙齿区域确定测试牙根区域。

G.按照与步骤C中相同的处理方式，处理测试牙根区域以得到测试数据集。

H.将测试数据集输入检测模型，以得到测试牙根区域预测结果。

I.根据测试牙根区域预测结果，输出整张测试口腔放射图像预测结果。

本发明实施方式的基于深度学习的处理口腔放射图像的方法，具有如下优点：(1)机器处理相较人工处理提升了工作效率和重现性；(2)是对精准分割后的牙根区域进行训练模型，因此提高了模型预测准确性和鲁棒性；(3)算法简便明晰，模型训练完成后在测试应用阶段对硬件要求低。

鉴于口腔放射图像拍摄的机器和光照的不同，口腔放射图像的成像效果会有比较大的差异。为此，本发明实施方式的处理口腔放射图像的方法还可以包括：在步骤A之前，对样本口腔放射图像进行预处理；以及在步骤E之前，对测试口腔放射图像进行相同方式的预处理。这些预处理可以是指通过图像局部均值消减的方法来减少图像之间的差异性，同时也可以达到降噪的目的。此处的预处理方法也可换成直方图均衡化方法，但从实验效果来看，局部均值消减的方法是优于直方图均衡化的。图2示出了口腔放射图像预处理前后的对比情况。

可选地，本发明实施方式的处理口腔放射图像的方法中，步骤A包括如下的步骤A1至步骤A3。A1：利用T-net卷积神经网络从样本口腔放射图像分割出初级候选样本牙齿区域和样本牙齿边缘轮廓。例如，记初级候选样本牙齿区域为mask，记样本牙齿边缘轮廓为edge。A2：利用形态学腐蚀和膨胀算法对初级候选样本牙齿区域进行处理，得到二级候选样本牙齿区域。例如，将初级候选样本牙齿区域mask处理为二级候选样本牙齿区域mask’。A3：根据二级候选样本牙齿区域和样本牙齿边缘轮廓，确定样本牙齿区域。例如，根据算式result＝mask’*(1-edge)，得到了实例分割结果result，该实例分割结果result即样本牙齿区域。读者可以参考图3进行理解本段内容。

需要说明的是，牙齿区域分割T-net的具体训练过程如下：1)模型参数初始化：采用迁移学习(transfer learning)策略，模型的Encoder部分采用在ImageNet自然图像数据库上训练好的ResNet50结构，Decoder部分采用随机初始化方式；2)设置训练参数：初始学习率设置为0.0002，每10次遍历训练集后，学习率降低50％；3)采用随即梯度下降算法Adam对模型进行迭代训练，经过不断迭代，取得网络最优解。综合考虑在验证集上的Dice高、损失函数低的模型作为牙齿区域分割的最优网络模型。牙齿边缘轮廓分割T-net的具体训练过程如下：1)模型参数初始化：采用迁移学习(transfer learning)策略，利用牙齿区域分割最优T-net的参数作为初始参数；2)设置训练参数：初始学习率设置为0.0001，每10次遍历训练集后，学习率降低50％；3)采用随即梯度下降算法Adam对模型进行迭代训练，经过不断迭代，取得网络最优解。综合考虑在验证集上的Dice高、损失函数低的模型作为牙齿边缘轮廓分割的最优网络模型。

由于根尖周炎发病于牙齿的根部区域(见图4，图中深色标注区域为病灶区域)，所以建议直接过滤掉非感兴趣区域，增强算法的精度。因此实现了牙根区域精细提取的步骤B，是非常重要的步骤。可选地，步骤B可以包括如下的步骤B1至步骤B3。B1：对样本牙齿区域中的各颗样本牙齿确定单齿牙根方向。B2：根据所有样本牙齿的单齿牙根方向，确定样本口腔放射图像的总体牙根标准化方向，总体牙根标准化方向为上方向、下方向、左方向和右方向四者中之一。B3：对样本牙齿区域中的各颗样本牙齿分别生成贴合牙齿的全齿采样框，然后参考总体牙根标准化方向对全齿采样框进行裁剪和延展以得到牙根采样框，选取牙根采样框内的图像内容以得到样本牙根区域。

其中，步骤B1可以包括：在样本牙齿区域中，遍历地对各颗样本牙齿执行如下操作：B1-1：对当前样本牙齿对应的样本牙齿区域进行水平或垂直方向的校准，得到校准结果并记录校准角度。B1-2：在校准结果外生成贴合的矩形框，然后按矩形框的长边将校准结果均分两部分，根据牙齿的形态学特征可知，面积大的部分记为牙冠，面积小的部分记为牙根。B1-3：根据牙冠和牙根的位置关系以及校准角度，确定单齿牙根标准化方向。需要说明的是，单齿牙根标准化方向为上方向、下方向、左方向和右方向四者中之一。读者可以参考图5理解本段内容。

例如：记载单齿牙根标准化方向为D’(D’为原始牙片上单颗牙根的方向，D为矫正过后的单颗牙根的方向，β为D到D’旋转的角度)，规定上、下、左、右分别为0、1、2、3，转换规则如下：

其中，步骤B2可以通过简单投票(voting)方式来实现。具体地，可以选择票数最多的单齿牙根标准化方向为样本口腔放射图像的总体牙根标准化方向。如果票数持平，则选择面积最大的牙齿对应的单齿牙根标准化方向为样本口腔放射图像的总体牙根标准化方向。

其中，步骤B3可以包括：在样本牙齿区域中，遍历地对各颗样本牙齿执行如下操作：B3-1：生成贴合牙齿的全齿采样框，并记录全齿采样框的长边长度为L。B3-2：对全齿采样框保留总体牙根标准化方向的半侧区域，得到半齿采样框，然后将半齿采样框的框边界向总体牙根标准化方向延长L/3并且向其余三个方向分别延长L/5，以得到牙根采样框。B3-3：选取牙根采样框内的图像内容以得到样本牙根区域。读者可以参考图6理解本段内容。

可选地，本发明实施方式的处理口腔放射图像的方法中，步骤C包括：对样本牙根区域进行灰度归一化处理(例如将图像灰度值归一化至[-1,1])和尺寸统一化处理(例如伸缩到224像素×224像素)，以得到训练数据集。需要说明的是，步骤B得到的样本牙根区域实际上是多个牙根采样图像块的合集，步骤C是将每个牙根采样图像块归一化为一个样本，每个牙根采样图像块并不再进行分割操作。读者可以参考图7理解本段内容。

可选地，本发明实施方式的处理口腔放射图像的方法中，在步骤D之前，还包括：对训练数据集进行数据增广。数据增广处理包括左右/上下翻转，旋转，随机裁剪，尺度缩放等。

可选地，本发明实施方式的处理口腔放射图像的方法中，步骤D中采用的神经网络为SEFT-Net神经网络。SEFT-Net神经网络是从医学图像分割常用的卷积神经网络网络U-Net优化得到的。具体训练过程如下：1)模型参数初始化：采用迁移学习(transferlearning)策略，模型的Encoder部分采用在ImageNet自然图像数据库上训练好的InceptionResnetV2结构，Decoder部分采用随机初始化方式；2)设置训练参数：初始学习率设置为0.0002，每10次遍历训练集后，学习率降低50％；3)采用随即梯度下降算法Adam对模型进行迭代训练，经过不断迭代，取得网络最优解。综合考虑在验证集上的Dice高、损失函数低的模型作为病灶分割的最优网络模型。

其中，步骤E实现了测试口腔放射图像的牙齿分割，步骤F实现了测试口腔放射图像的牙根定位，其具体过程与步骤A和步骤B类似，略去不赘述。

其中，步骤G实现了测试口腔放射图像的病灶候选，步骤H实现了经模型分类，步骤I实现了分类结果的整合输出。具体介绍如下：步骤F得到了测试牙根区域，该测试牙根区域包括N个测试牙根区域采样块。然后将每个采样块缩放到预设尺寸(例如224×224)后输入到模型中，模型将会输出N张对应的尺寸为224×224的分割结果图(分割过程其实本身就包含了分类，有或者无)。然后再将这N张分割结果图缩放回对应的每张图像块的原尺寸。最后，将这N个分割结果根据其在原始牙片图像上的位置，依次放置在一张与原始牙片图像尺寸相同的黑色图像上，形成整张牙片图像的分割结果。此分割结果再经过形态学开运算后，形成最终的病灶区域预测结果。读者可以参考图8理解本段内容。

本发明实施例的基于深度学习的处理口腔放射图像的装置，用于执行本发明任一实施例的基于深度学习的处理口腔放射图像的方法。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种基于深度学习处理口腔放射图像的方法，其特征在于，包括：

A.对样本口腔放射图像进行实例分割，以得到样本牙齿区域；

B.根据所述样本牙齿区域，确定样本牙根区域；

C.处理所述样本牙根区域以得到训练数据集；

D.将所述训练数据集输入到卷积神经网络中进行训练，以得到检测模型；

E.按照与步骤A中相同的分割方式，对测试口腔放射图像进行实例分割，得到测试牙齿区域；

F.按照与步骤B中相同的确定方式，根据所述测试牙齿区域确定测试牙根区域；

G.按照与步骤C中相同的处理方式，处理所述测试牙根区域以得到测试数据集；

H.将所述测试数据集输入所述检测模型，以得到测试牙根区域预测结果；

I.根据所述测试牙根区域预测结果，输出整张测试口腔放射图像预测结果；

所述步骤A包括：

A1：利用T-net卷积神经网络从所述样本口腔放射图像分割出初级候选样本牙齿区域和样本牙齿边缘轮廓；

A2：利用形态学腐蚀和膨胀算法对所述初级候选样本牙齿区域进行处理，得到二级候选样本牙齿区域；

A3：根据所述二级候选样本牙齿区域和所述样本牙齿边缘轮廓，确定所述样本牙齿区域；

所述步骤B包括：

B1：对所述样本牙齿区域中的各颗样本牙齿确定单齿牙根标准化方向，

所述单齿牙根标准化方向为上方向、下方向、左方向和右方向四者中之一；

B2：根据所有所述样本牙齿的所述单齿牙根标准化方向，确定所述样本口腔放射图像的总体牙根标准化方向；

B3：对所述样本牙齿区域中的各颗样本牙齿分别生成贴合牙齿的全齿采样框，然后参考所述总体牙根标准化方向对所述全齿采样框进行裁剪和延展以得到牙根采样框，选取所述牙根采样框内的图像内容以得到所述样本牙根区域。

2.根据权利要求1所述的方法，其特征在于，还包括：

在所述步骤A之前，对所述样本口腔放射图像进行预处理；以及

在所述步骤E之前，对所述测试口腔放射图像进行相同方式的预处理。

3.根据权利要求1所述的方法，其特征在于，所述步骤B1包括：在所述样本牙齿区域中，遍历地对各颗样本牙齿执行如下操作：

B1-1：对当前样本牙齿对应的样本牙齿区域进行水平或垂直方向的校准，得到校准结果并记录校准角度；

B1-2：在所述校准结果外生成贴合的矩形框，然后按所述矩形框的长边将所述校准结果均分两部分，面积大的部分记为牙冠，面积小的部分记为牙根；

B1-3：根据所述牙冠和牙根的位置关系以及所述校准角度，确定所述单齿牙根标准化方向。

4.根据权利要求1所述的方法，其特征在于，所述步骤B3包括：

在所述样本牙齿区域中，遍历地对各颗样本牙齿执行如下操作：

B3-1：生成贴合牙齿的全齿采样框，并记录所述全齿采样框的长边长度为L；

B3-2：对所述全齿采样框保留所述总体牙根标准化方向的半侧区域，然后框边界向所述总体牙根标准化方向延长L/3并且向其余三个方向分别延长L/5，以得到所述牙根采样框；

B3-3：选取所述牙根采样框内的图像内容以得到所述样本牙根区域。

5.根据权利要求1所述的方法，其特征在于，所述步骤C包括：对所述样本牙根区域进行灰度归一化处理和尺寸统一化处理，以得到训练数据集。

6.根据权利要求1所述的方法，其特征在于，在所述步骤D之前，还包括：对所述训练数据集进行数据增广。

7.根据权利要求1所述的方法，其特征在于，所述步骤D中采用的神经网络为SEFT-Net神经网络。

8.一种基于深度学习处理口腔放射图像的装置，其特征在于，用于执行所述权利要求1-7中任一项所述的基于深度学习的处理口腔放射图像的方法。

Images