CN115908361A - 一种口腔全景片的龋齿识别方法 - Google Patents

Abstract

本发明公开一种口腔全景片的龋齿识别方法，其包括如下步骤：对口腔全景片进行预处理，提取预选区域并标注，作为样本集；构建U‑Net分割模型，利用样本集对其进行训练；对分割模型进行测试。结合口腔全景片图像的特点，本发明能在口腔全景片上做到像素级的龋齿病灶区域的精准识别。图像前处理有效剔除了口腔全景片上一些不需要的信息，有效提升了龋齿分割模型的精度。训练分割模型时的图像增强策略结合了口腔全景片特点，提升分割模型的稳健性。对预测结果做的图像后处理，能有效剔除一些假阳区域。

Description

一种口腔全景片的龋齿识别方法

技术领域

本发明应用于人工智能医学图像处理领域，具体是一种口腔全景片的龋齿识别方法。

背景技术

龋齿是人类最普遍的传染性慢性牙科疾病之一，它是由牙齿生物膜的代谢活动引起的动态疾病过程。但龋齿是一种可预防的疾病，如果在早期阶段检测到，可以加以制止并有可能逆转。X光片是医生进行口腔健康评估和口腔科疾病(比如龋齿)诊断的方法之一，也是口腔科临床实践中最常见的成像方式，它可以帮助识别仅通过目视检查难以发现的牙齿问题。口腔X光片有多种类型，每种都记录了不同的牙齿解剖视图，例如咬翼片、全景片和根尖片。其中，口腔全景片因为费用低而且辐射量小，成为最普遍的一种方式。全景片覆盖了患者的整个牙列以及牙齿周围的骨骼和颌骨结构，但是与其他两种口腔X光片相比，全景片的图像噪声大、分辨率低、并且无法提供每颗牙齿的详细视图，这也使得基于口腔全景片的龋齿识别变得更为困难。

目前，基于人工智能，尤其是深度学习技术开发的龋齿识别计算机辅助诊断(CAD)系统大多都仅是适用于牙周片以及咬翼片，但在全景片上自动识别龋齿并进行龋坏程度的分类，目前还没有一个性能比较好的方法。现有的在全景片上自动识别龋齿的方法，大多都是采用与在其他两种X光片上差不多的方法：训练一个语义分割模型、或者检测模型，直接分割/检测出龋齿的病灶区域。但是全景片上还有许多除了牙齿以外别的口腔组织的信息，并且龋齿的病灶区域在整张全景片上的占比是很小的，这使得直接分割龋齿变得更为困难，导致最终的算法性能不佳。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种口腔全景片的龋齿识别方法。

为解决上述技术问题，本发明的一种口腔全景片的龋齿识别方法，其包括如下步骤：

对口腔全景片进行预处理，提取预选区域并标注，作为样本集；

构建U-Net分割模型，利用样本集对其进行训练；

对分割模型进行测试。

作为一种可能的实施方式，进一步的，所述构建U-Net分割模型，利用样本集对其进行训练步骤具体包括：

S21、对提取的样本集图像进行卷积和池化操作，在进行n次池化操作后共得到n个不同尺寸的特征图；

S22、对特征图做上采样，并与上述n个不同尺寸的特征图中相同尺寸的特征图进行通道上的拼接，再对拼接之后的特征图做卷积和上采样，经过n次上采样可以得到一个与输入的样本集图像尺寸相同的预测结果图。

作为一种可能的实施方式，进一步的，所述步骤S21具体为：编码器部分，对提取的224×224大小的样本集图像进行卷积和池化操作，在进行四次池化操作后依次得到112×112、56×56、28×28与14×14四个不同尺寸的特征图。

作为一种可能的实施方式，进一步的，所述步骤S22具体为：解码器部分，对步骤S21所得14×14的特征图做反卷积，得到28×28的特征图，并将其与步骤S21所得的28×28的特征图进行通道上的拼接，然后再对拼接之后的特征图做卷积和反卷积，经过四次反卷积得到一个与输入的样本集图像尺寸相同的224×224的预测结果图。

作为一种可能的实施方式，进一步的，所述构建U-Net分割模型，利用样本集对其进行训练步骤还包括：

S23、设计训练U-Net分割模型的损失函数；

具体的，损失函数结合了二元交叉熵BCE函数与Dice损失函数：

L_seg＝L_BCE+L_Dice

其中，L_BCE的计算方法为：

其中，f表示像素的数量，而m_j与n_j分别表示预测值和与其对应的实际值(GroundTruth)；

其中，L_Dice的计算方法为：

其中，m_j与n_j分别表示预测值和与其对应的实际值。

作为一种可能的实施方式，进一步的，所述构建U-Net分割模型，利用样本集对其进行训练步骤还包括：

利用图像增强操作提升模型的稳健型，包括随机旋转图像、调整对比度、随机放大或缩小图像、随机翻转以及随机偏移。

作为一种可能的实施方式，进一步的，所述随机放大或缩小图像操作设置了10％的放大范围和50％的缩小范围。

作为一种可能的实施方式，进一步的，所述对口腔全景片进行预处理，提取预选区域并标注，作为样本集步骤包括：

预处理，采用Sobel算子，设置x方向导数的阶数为0，y方向导数的阶数为1，核的大小为3×3来对全景片做垂直边缘检测，突出图像上垂直的边缘，并采用双边滤波器进行边缘锐化操作。

作为一种可能的实施方式，进一步的，所述对口腔全景片进行预处理，提取预选区域并标注，作为样本集步骤还包括：

提取预选区域，对图像进行水平积分强度投影，在投影图上第一个明显的正斜率代表下颌左角的边缘，裁剪出初始预选区域；采用大津法对裁剪后的图像进行二值化，使用高斯滤波器来减少二值化后图像上的噪声，再对处理后的二值图进行水平积分强度投影，用于识别图像上下颌骨的外斜线，提取出最终的预选区域。

作为一种可能的实施方式，进一步的，所述对分割模型进行测试步骤具体包括：

S31、在口腔全景片上通过提取出预选区域；

S32、将预选区域输入训练好的分割模型，得到一个同等大小的预测图；设置置信度阈值，得到预测结果的二值图；

S33、对预测结果做图像后处理；在二值图上计算最大连通域，剔除部分连通域，得到预测结果。

本发明采用以上技术方案，具有以下有益效果：

1、结合口腔全景片图像的特点，本发明能在口腔全景片上做到像素级的龋齿病灶区域的精准识别。

2、图像前处理有效剔除了口腔全景片上一些不需要的信息，有效提升了龋齿分割模型的精度。

3、训练分割模型时的图像增强策略结合了口腔全景片特点，提升分割模型的稳健性。

4、对预测结果做的图像后处理，能有效剔除一些假阳区域。

附图说明

下面结合附图与具体实施方式对本发明做进一步详细的说明：

图1为本发明U-Net网络结构示意图；

图2为本发明口腔全景片与其对应的预测结果图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述。

实施例1

本发明提供了一种口腔全景片的龋齿识别方法，其包括如下步骤：

对口腔全景片进行预处理，提取预选区域并标注，作为样本集；对口腔全景片进行预处理，提取预选区域并标注，作为样本集步骤包括：

预处理，采用Sobel算子，设置x方向导数的阶数为0，y方向导数的阶数为1，核的大小为3×3来对全景片做垂直边缘检测，突出图像上垂直的边缘，并采用双边滤波器进行边缘锐化操作。

提取预选区域，对图像进行水平积分强度投影，在投影图上第一个明显的正斜率代表下颌左角的边缘，裁剪出初始预选区域；采用大津法对裁剪后的图像进行二值化，使用高斯滤波器来减少二值化后图像上的噪声，再对处理后的二值图进行水平积分强度投影，用于识别图像上下颌骨的外斜线，提取出最终的预选区域。

构建U-Net分割模型，利用样本集对其进行训练；

对分割模型进行测试。

作为一种可能的实施方式，进一步的，所述构建U-Net分割模型，利用样本集对其进行训练步骤具体包括：

S21、对提取的样本集图像进行卷积和池化操作，在进行n次池化操作后共得到n个不同尺寸的特征图；

S22、对特征图做上采样，并与上述n个不同尺寸的特征图中相同尺寸的特征图进行通道上的拼接，再对拼接之后的特征图做卷积和上采样，经过n次上采样可以得到一个与输入的样本集图像尺寸相同的预测结果图。

其中，步骤S21具体为：编码器部分，对提取的224×224大小的样本集图像进行卷积和池化操作，在进行四次池化操作后依次得到112×112、56×56、28×28与14×14四个不同尺寸的特征图。

步骤S22具体为：解码器部分，对步骤S21所得14×14的特征图做反卷积，得到28×28的特征图，并将其与步骤S21所得的28×28的特征图进行通道上的拼接，然后再对拼接之后的特征图做卷积和反卷积，经过四次反卷积得到一个与输入的样本集图像尺寸相同的224×224的预测结果图。

步骤还包括：

S23、设计训练U-Net分割模型的损失函数；

具体的，损失函数结合了二元交叉熵BCE函数与Dice损失函数：

L_seg＝L_BCE+L_Dice

其中，L_BCE的计算方法为：

其中，f表示像素的数量，而m_j与n_j分别表示预测值和与其对应的实际值(GroundTruth)；

其中，L_Dice的计算方法为：

其中，m_j与n_j分别表示预测值和与其对应的实际值。

还包括：

利用图像增强操作提升模型的稳健型，包括随机旋转图像、调整对比度、随机放大或缩小图像、随机翻转以及随机偏移。随机放大或缩小图像操作设置了10％的放大范围和50％的缩小范围。

对分割模型进行测试步骤具体包括：

S31、在口腔全景片上通过提取出预选区域；

S32、将预选区域输入训练好的分割模型，得到一个同等大小的预测图；设置置信度阈值，得到预测结果的二值图；

S33、对预测结果做图像后处理；在二值图上计算最大连通域，剔除部分连通域，得到预测结果。

实施例2

口腔全景片的龋齿识别方法，在全景片上通过传统图像处理方法提取出感兴趣区域，过滤掉全景片上一些不需要的信息；接着通过分割模型U-Net来识别感兴趣区域上的龋齿病灶，该方法有效提升了识别龋齿的准确率。

具体步骤如下：

步骤1：在口腔全景片上做图像预处理，提取感兴趣区域(RoI)

步骤1.1：因为需要从原始全景片上提取出包含所有牙齿的上下颌区域作为RoI，所以先要对全景片做一些图像预处理操作，目的是提高图像质量并突出全景片上有用的细节。

首先，采用Sobel算子，设置x方向导数的阶数为0，y方向导数的阶数为1，核的大小为3×3来对全景片做垂直边缘检测，突出图像上垂直的边缘。然后，采用双边滤波器来锐化边缘。

接着对图像进行水平积分强度投影，在投影图上第一个明显的正斜率代表了下颌左角的边缘，裁剪出初始RoI。

步骤1.2：采用大津法(OTSU算法)对裁剪后的图像进行二值化。接着使用高斯滤波器来减少二值化后图像上的噪声。最后，再对处理后的二值图进行水平积分强度投影，来识别图像上下颌骨的外斜线(上颌骨和下颌骨间隙的起点)，是投影图中出现第一个明显的负斜率。提取出最终的RoI。

步骤2：训练分割模型来进行龋齿的识别与分割

步骤2.1：使用上一步骤提取出的RoI与其对应的龋齿病灶区域的标注来训练龋齿病灶区域分割网络。并且为了提升模型的稳健性，在训练过程中，还使用了图像增强策略：如随机旋转图像、调整对比度、随机放大或缩小图像、随机翻转以及随机偏移(垂直或水平)。

其中，缩小图像将有助于模型看到不同比例的龋齿病变，而放大可能会导致错过图像的龋齿。因此设置了10％的放大范围和50％的缩小范围。对于带有龋齿标注的正样本，为了防止数据增强策略导致遗漏包含龋齿的图像区域，相同规则也适用于随机偏移。由于龋齿主要发生在牙齿的边缘，因此位移必须设置为较小的值，比如20％。

步骤2.2：采用U-Net作为龋齿分割的模型，它是最被广泛采用的用于医学图像分割的网络框架，因为它独特的编码器与解码器的设计，可以在提取有效信息的同时保留图像的原始特征。在编码器部分，对提取的224×224大小的RoI图像进行卷积和池化操作，在进行四次池化操作后共得到112×112，56×56，28×28与14×14四个不同尺寸的特征。接着在解码器部分对14×14的特征图做上采样，得到28×28的特征图，将这个28×28的特征图与编码器部分的28×28的特征图进行通道上的拼接，然后再对拼接之后的特征图做卷积和上采样，经过四次上采样可以得到一个与输入图像尺寸相同的224×224的预测结果。

步骤2.3：设计训练龋齿分割网络的损失函数。由于全景片上龋齿的病灶区域相比其他部分在全景片上的占比不平衡，损失函数结合了二元交叉熵(CE)函数与Dice损失函数：

L_seg＝L_BCE+L_Dice

其中，L_BCE的计算方法为：

，f表示像素的数量，而m_j与n_j分别表示预测值和与其对应的实际值(GroundTruth)。

由于交叉熵损失函数对类别不均衡的高度敏感性。因此，在模型训练中还结合使用了Dice损失作为损失函数，计算方法为：

，m_j与n_j分别表示预测值和与其对应的实际值(GroundTruth)。

步骤3：测试基于深度学习与图像处理的口腔全景片龋齿识别方法

步骤3.1：在口腔全景片上通过步骤1中的方法提取出224×224大小的RoI。

步骤3.2：将RoI输入训练好的龋齿分割模型，得到一个同等大小的预测图。设置置信度阈值T₁＝0.5，得到预测结果的二值图。

步骤3.3：对预测结果做图像后处理。在二值图上计算最大连通域，剔除一些小于10个像素的连通域，能有效减少一些假阳的情况。剔除后，得到最后的预测结果。

以上所述为本发明的实施例，对于本领域的普通技术人员而言，根据本发明的教导，在不脱离本发明的原理和精神的情况下凡依本发明申请专利范围所做的均等变化、修改、替换和变型，皆应属本发明的涵盖范围。

Claims (10)

1.一种口腔全景片的龋齿识别方法，其特征在于，其包括如下步骤：

对口腔全景片进行预处理，提取预选区域并标注，作为样本集；

构建U-Net分割模型，利用样本集对其进行训练；

对分割模型进行测试。

2.根据权利要求1所述的一种口腔全景片的龋齿识别方法，其特征在于：所述构建U-Net分割模型，利用样本集对其进行训练步骤具体包括：

S21、对提取的样本集图像进行卷积和池化操作，在进行n次池化操作后共得到n个不同尺寸的特征图；

S22、对特征图做上采样，并与上述n个不同尺寸的特征图中相同尺寸的特征图进行通道上的拼接，再对拼接之后的特征图做卷积和上采样，经过n次上采样可以得到一个与输入的样本集图像尺寸相同的预测结果图。

3.根据权利要求2所述的一种口腔全景片的龋齿识别方法，其特征在于：所述步骤S21具体为：编码器部分，对提取的224×224大小的样本集图像进行卷积和池化操作，在进行四次池化操作后依次得到112×112、56×56、28×28与14×14四个不同尺寸的特征图。

4.根据权利要求3所述的一种口腔全景片的龋齿识别方法，其特征在于：所述步骤S22具体为：解码器部分，对步骤S21所得14×14的特征图做反卷积，得到28×28的特征图，并将其与步骤S21所得的28×28的特征图进行通道上的拼接，然后再对拼接之后的特征图做卷积和反卷积，经过四次反卷积得到一个与输入的样本集图像尺寸相同的224×224的预测结果图。

5.根据权利要求1所述的一种口腔全景片的龋齿识别方法，其特征在于：所述构建U-Net分割模型，利用样本集对其进行训练步骤还包括：

S23、设计训练U-Net分割模型的损失函数；

具体的，损失函数结合了二元交叉熵BCE函数与Dice损失函数：

L_seg＝L_BCE+L_Dice

其中，L_BCE的计算方法为：

其中，f表示像素的数量，而m_j与n_j分别表示预测值和与其对应的实际值(GroundTruth)；

其中，L_Dice的计算方法为：

其中，m_j与n_j分别表示预测值和与其对应的实际值。

6.根据权利要求1所述的一种口腔全景片的龋齿识别方法，其特征在于：所述构建U-Net分割模型，利用样本集对其进行训练步骤还包括：

利用图像增强操作提升模型的稳健型，包括随机旋转图像、调整对比度、随机放大或缩小图像、随机翻转以及随机偏移。

7.根据权利要求6所述的一种口腔全景片的龋齿识别方法，其特征在于：所述随机放大或缩小图像操作设置了10％的放大范围和50％的缩小范围。

8.根据权利要求1所述的一种口腔全景片的龋齿识别方法，其特征在于：所述对口腔全景片进行预处理，提取预选区域并标注，作为样本集步骤包括：

预处理，采用Sobel算子，设置x方向导数的阶数为0，y方向导数的阶数为1，核的大小为3×3来对全景片做垂直边缘检测，突出图像上垂直的边缘，并采用双边滤波器进行边缘锐化操作。

9.根据权利要求1所述的一种口腔全景片的龋齿识别方法，其特征在于：所述对口腔全景片进行预处理，提取预选区域并标注，作为样本集步骤还包括：

提取预选区域，对图像进行水平积分强度投影，在投影图上第一个明显的正斜率代表下颌左角的边缘，裁剪出初始预选区域；采用大津法对裁剪后的图像进行二值化，使用高斯滤波器来减少二值化后图像上的噪声，再对处理后的二值图进行水平积分强度投影，用于识别图像上下颌骨的外斜线，提取出最终的预选区域。

10.根据权利要求1所述的一种口腔全景片的龋齿识别方法，其特征在于：所述对分割模型进行测试步骤具体包括：

S31、在口腔全景片上通过提取出预选区域；

S32、将预选区域输入训练好的分割模型，得到一个同等大小的预测图；设置置信度阈值，得到预测结果的二值图；

S33、对预测结果做图像后处理；在二值图上计算最大连通域，剔除部分连通域，得到预测结果。

Images