CN113409264A - 一种自动检测六龄牙龋齿的检测装置 - Google Patents

Abstract

本发明公开了一种自动检测六龄牙龋齿的检测装置，包括：拍摄设备、网络云服务器，被配置成执行以下步骤：将儿童口腔区域图像输入到深度残差网络进行特征提取获取图像的特征图，并对特征图进行基于特征金字塔网络的特征增强处理；根据增强后的特征图的不同尺度选取对应的锚点框生成六龄牙候选框；将六龄牙候选框输入区域回归子网络获取六龄牙候选框到真实目标的坐标偏移量并根据坐标偏移量得到六龄牙区域的坐标数据；将六龄牙候选框输入区域分类子网络获取六龄牙的预测类别；最后将六龄牙区域的坐标数据以及预测类别进行合并输出，以提供诊断图像。本发明检测装置能够有效地进行儿童六龄牙龋齿智能检测和分类，提高儿童窝沟龋的诊断精度和效率。

Description

一种自动检测六龄牙龋齿的检测装置

技术领域

本发明涉及口腔医学成像智能处理与分析领域，具体涉及一种自动检测六龄牙龋齿的检测装置。

背景技术

在我国，龋齿已成为严重影响儿童身心健康的常见口腔病之一，具有患病率高、分布广的特点，其发病对象主要集中在窝沟部位的六龄牙。六龄牙作为早期儿童窝沟部位萌出最早的第一恒磨牙，在维持健全的恒牙列起着关键作用。然而，其早期表层钙化不足、耐酸性差、牙尖牙面尚未磨耗，窝沟明显且不易清洁，使得食物残渣易沉积于牙面这些薄弱部位，很容易导致发生龋损。儿童六龄牙龋损将直接影响咀嚼功能，延误治疗甚至可影响儿童的生长发育。及时筛查出六龄牙龋齿并进行早期治疗与干预，能帮助儿童阻止六龄牙龋齿加重和后续其它口腔疾病的发生，也能在投入较低成本的同时减轻社会公共卫生经济负担。因此，早期六龄牙龋齿的筛查对儿童龋齿预防与治疗具有重要意义。

传统的龋齿诊断方法主要包括视诊、探诊、X射线成像和荧光成像检测等。视诊、探诊较依赖于口腔医生的视力和专业技术对牙齿外部的牙釉质进行诊断，X光或荧光成像相对来说是一种客观灵敏的龋齿检测手段，但对设备、场所等有所要求。口腔医生的紧缺和医疗资源分布不均也加剧了儿童接受口腔健康服务的阻力，使我国口腔保健工作面临严峻考验。筛查是基层口腔卫生服务的重要内容之一，传统的六龄牙龋齿诊断方法主要由临床医生根据症状、探针检查和影像学检查等进行综合评判，严重依赖于临床医生的个人经验，不同医生之间诊断差异导致口腔疾病治疗方案不同。仅依靠传统龋齿检查方式来全面筛查儿童六龄牙健康问题，无疑是极度困难且人力物力耗费巨大。因此，为了增强口腔卫生保健服务能力，利用深度学习等人工智能技术实现高效精准的六龄牙龋齿自动化筛查技术无疑具有重要的科研价值和社会效益。

发明内容

本发明针对上述问题，提供了一种自动检测六龄牙龋齿的检测装置，所述检测装置可利用日常移动设备对口腔区域进行非侵入、非接触式高分辨率视觉成像，并结合深度学习等新一代人工智能技术对窝沟部位的六龄牙智能检测与龋齿分类。由于深度学习具有强大的特征学习，所述检测装置可以有效提升儿童六龄牙龋齿筛查的效率和精度，可替代以往的诊断筛查手段，摆脱对口腔医生、专业成像设备等的依赖。

本发明提供的一种自动检测六龄牙龋齿的检测装置，包括：

拍摄设备，用于拍摄儿童口腔区域图像；

网络云服务器，其被配置成执行以下步骤：

将所述儿童口腔区域图像输入到深度残差网络进行特征提取，以获取所述儿童口腔区域图像的特征图；

对所述特征图进行基于特征金字塔网络的特征增强处理，以获取增强的特征图；

根据所述增强的特征图的不同尺度选取对应的锚点框，以生成六龄牙候选框；

将所述六龄牙候选框输入区域回归子网络，以获取所述六龄牙候选框到真实目标的坐标偏移量，根据所述坐标偏移量得到六龄牙区域的坐标数据；

将所述六龄牙候选框输入区域分类子网络，以获取六龄牙的预测类别；

将所述六龄牙区域的坐标数据以及所述六龄牙的预测类别进行合并输出，以提供诊断图像。

进一步的，所述检测装置进一步包括：网络云数据库，用于存储所述儿童口腔区域图像。

进一步的，所述检测装置进一步包括：显示器，用于显示所述诊断图像。

进一步的，其中将所述六龄牙候选框输入区域回归子网络，以获取所述六龄牙候选框到真实目标的坐标偏移量，具体步骤包括：

在所述特征金字塔网络的每层连接一个全连接神经网络作为区域回归子网络，将所述增强的特征图输入到所述全连接神经网络进行卷积操作，并采用Relu函数对卷积操作后的特征图进行激活。

进一步的，所述区域分类子网络被配置成与所述区域回归子网络并行的全连接神经网络，将所述增强的特征图输入到所述并行的全连接神经网络进行卷积操作，并采用Softmax函数对卷积操作后的特征图进行激活。

进一步的，所述网络云服务器被进一步配置成执行以下步骤：

以带权重的交叉熵函数作为损失函数分别对所述区域回归子网络和区域分类子网络进行训练。

进一步的，所述深度残差网络为ResNet50。

本发明提供的一种自动检测六龄牙龋齿的检测装置，达到的有益效果是：

1、与传统的X光或荧光成像检测不同，本发明的检测装置所采用的口腔视觉成像方式不依赖任何专业的医学设备和操作，仅依靠日常移动设备即可实现口腔区域完全无损伤、非接触、高效成像。这种零成本的成像方式具备自主性和普适性，可以为检测装置有效推广和应用提供良好的前提保障。

2、本发明的检测装置所采用的基于深度学习的六龄牙龋齿自动化检测筛查算法，其基本思想是通过深度卷积神经网络来提取六龄牙特征，来保证检测算法可以在移动设备拍摄的口腔内部成像中准确检测六龄牙区域，同时通过组合不同网络层的特征，进一步保证提高不同角度和光线下的六龄牙检测精度。

3、本发明的检测装置能够基于深度学习有效地进行儿童六龄牙龋齿智能检测和分类，提高儿童窝沟龋的诊断精度和效率。本发明的检测装置不依赖任何口腔专业的人力和物力，有利于地进一步推广和应用，提高基层儿童口腔初级卫生服务覆盖率。

附图说明

图1是本发明实施例的自动检测六龄牙龋齿的检测装置的示意框图；

图2是本发明实施例中对儿童口腔区域图像进行六龄牙龋齿检测过程示意图。

具体实施方式

为进一步对本发明的技术方案作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的步骤。

参考图1，自动检测六龄牙龋齿的检测装置，包括：拍摄设备01，用于拍摄儿童口腔区域图像，在保证光源充足的情况下，儿童口腔区域图像的采集仅依靠日常移动设备对儿童口腔区域进行拍摄即可，不依赖任何专业的口腔医学成像设备；网络云数据库02，用于存储所述儿童口腔区域图像，实施例中所使用的儿童口腔图像数据均来自专业医院机构，由专业医师对口腔图像中六龄牙区域进行精准标注，并针对每一颗六龄牙给定相应的医学标签(1：龋齿；0：健康)；显示器04，用于显示所述诊断图像；网络云服务器03，用于对拍摄的儿童口腔区域图像处理后进行六龄牙龋齿检测，被配置成执行以下步骤：

将所述儿童口腔区域图像输入到深度残差网络进行特征提取，以获取所述儿童口腔区域图像的特征图；

对所述特征图进行基于特征金字塔网络的特征增强处理，以获取增强的特征图；

根据所述增强的特征图的不同尺度选取对应的锚点框，以生成六龄牙候选框；

将所述六龄牙候选框输入区域回归子网络，以获取所述六龄牙候选框到真实目标的坐标偏移量，根据所述坐标偏移量得到六龄牙区域的坐标数据；

将所述六龄牙候选框输入区域分类子网络，以获取六龄牙的预测类别；

将所述六龄牙区域的坐标数据以及所述六龄牙的预测类别进行合并输出，以提供诊断图像。

其中将所述六龄牙候选框输入区域回归子网络，以获取所述六龄牙候选框到真实目标的坐标偏移量，具体步骤包括：

在所述特征金字塔网络的每层连接一个全连接神经网络作为区域回归子网络，将所述增强的特征图输入到所述全连接神经网络进行卷积操作，并采用Relu函数对卷积操作后的特征图进行激活。

所述区域分类子网络被配置成与所述区域回归子网络并行的全连接神经网络，将所述增强的特征图输入到所述并行的全连接神经网络进行卷积操作，并采用Softmax函数对卷积操作后的特征图进行激活。

所述网络云服务器被进一步配置成执行以下步骤：

以带权重的交叉熵函数作为损失函数分别对所述区域回归子网络和区域分类子网络进行训练。

所述深度残差网络为ResNet50。

参考图2所示，在对拍摄的儿童口腔区域图像处理后进行六龄牙龋齿检测部分，窝沟部位六龄牙通常处于口腔内部较深的区域，目标所占图像比例较小，传统的目标检测方法在检测这一目标区域存在一定的缺陷，无法满足临床诊断的精度要求。为此，针对儿童口腔区域图像提出了一种基于深度残差网络与特征金字塔的特征提取方法，通过特征提取模块，将不同尺度的口腔图像特征进行融合，获得兼具语义信息与空间信息的特征，提高龋齿检测的准确率。具体地，通过使用深度残差网络提取特征后，将基于特征金字塔网络进行特征增强。深度残差网络中低层的特征图有丰富的图像信息，高层的特征图有更丰富的语义信息，深度残差网络中的每一层特征图都对应着不同尺度的目标信息，将其不同层的特征图进行结合可以有效提升对小尺度目标即六龄牙的检测效果。

同时，针对基于深度残差网络与特征金字塔的特征提取方法所得的口腔图像特征，提出了一种基于全连接网络的六龄牙龋齿检测与分类算法，利用两个并行的全连接网络作为区域回归子网络与区域分类子网络。为了实现多尺度的目标检测，首先在不同尺度特征图上使用不同尺度的锚点框，生成的候选框覆盖整张图片，从而最大程度上保证不会发生漏检。在所提出的六龄牙龋齿检测与分类算法中，区域回归子网络负责输出六龄牙候选框到真实目标的坐标偏移量。特征金字塔网络的每层都连接一个全连接网络，将特征图输入到全连接网络中，并在候选六龄牙区域中生成精准的六龄牙区域。同时，区域分类子网络负责输出六龄牙候选框的类别，将特征图输入到另外一个并行的全连接网络中，并判断候选六龄牙区域属于健康牙齿或者龋齿类别，输相应的预测结果和置信度分数。

最终，显示器04输出儿童口腔图像中的全部六龄牙及其对应类别。

其中具体实施例中的一个示例参考图2，具体有：

S100、采集口腔视觉成像；

S200、将图像输入到深度残差网络，进行特征提取，首先采用深度残差网络ResNet50作为主干网络进行特征提取，有效地获取图像的辨别性特征。

S300、基于特征金字塔进行特征增强，使用ResNet50主干网络中最后三层卷积神经网络的输出为特征图{C₃,C₄,C₅}，其中每层特征图的大小均与上一层特征图通过步长为2的降采样后的大小相同，首先对各特征图分别进行1*1的卷积，改变特征图的通道数获得相同大小的特征图。一般来说，低层的特征有更高的分辨率，因此，选择对每个1*1卷积后的高层特征图进行2倍的最近邻上采样，获得上层特征图同样大小的特征图后与1*1卷积后的上层特征图对应元素相加，以此类推。最终对进行3*3的卷积消除最近邻上采样造成的影响，即可获得在特征金字塔下增强的特征图{P₃,P₄,P₅}。即最后一层C₅在1*1卷积后进行3*3卷积，得到P₅；C₅在1*1卷积后进行上采样，与1*1卷积后的上层特征图C₄对应元素相加，得到的特征图进行3*3卷积，得到P₄；P₃也用同样的方式得到。

S400、基于预设锚点框生成六龄牙候选框，为了实现多尺度的目标检测，在不同尺度特征图上使用不同尺度的锚点框，生成的候选框覆盖整张图片，最大程度保证不会出现漏检。在训练过程中，锚点框会被分为目标框和背景框。如果一个锚点所生成的候选框与真实图像的交并比大于预设阈值，或对某个龋齿真实图像有着最高的交并比，即被视为正样本。小于预设阈值的候选框则视为负样本，因为负样本与实际图像位置有巨大的偏差，在训练过程中只有正样本参与区域回归的反向传播。

S500、将六龄牙候选框送入区域回归子网络，区域回归子网络负责输出六龄牙候选框到真实目标的坐标偏移量。特征金字塔网络的每层后都连接一个全连接网络，将其输入到全连接网络中。通过先后使用4个3*3的卷积核进行卷积操作，并采用Relu函数进行激活；然后利用4*A个3*3的卷积核卷积(A为每层锚点个数)，得到4*A个从候选框到真实目标的坐标偏移量。区域回归子网络最终输出全部六龄牙区域的坐标数据L，L_i＝{x₁,y₁,x₂,y₂}∈L,(i＝0,1,2......)，其中i为目标检测网络所检测到六龄牙序列，{x₁,y₁}和{x₂,y₂}分别为六龄牙区域左上角和右下角坐标。

同时，将候选框输入到区域分类子网络实现类别预测，区域分类子网络负责输出六龄牙候选框判定为健康牙齿或龋齿的类别置信度。特征金字塔网络的每层后都连接一个全连接网络，将其输入到全连接网络中。通过先后使用4个3*3的卷积核进行卷积操作，并采用Relu函数进行激活；然后利用2*A个3*3的卷积核卷积(A为每层锚点个数)并使用Softmax函数进行激活，得到2*A个候选框被判定为健康牙齿与龋齿的置信度分数。如果相应的置信度分数大于预设阈值，则判定为患龋样例；小于预设阈值，则判定为健康样例。

在子网络网络的训练过程中，使用带权重的交叉熵函数作为损失函数。

其中，p为候选对区域应的置信分数，l为对应的真实标签，α与(1-α)代表龋齿与健康牙齿样本的权重，p^γ与(1-p)^γ代表候选区域辨识度的权重。当候选区域难以辨识时，其置信度分数p接近于0，(1-p)^γ接近为1。通过这种加权的交叉熵损失函数可以减少目标检测中负样本的影响，进一步提升检测准确率。

S600、六龄牙龋齿筛查预测结果输出，将六龄牙区域坐标信息和类别预测结果合并输出，实现儿童六龄牙龋齿智能筛查。

综合上述，本发明提供的一种自动检测六龄牙龋齿的检测装置，与传统的X光或荧光成像检测不同，检测装置所采用的口腔视觉成像方式不依赖任何专业的医学设备和操作，仅依靠日常移动设备即可实现口腔区域完全无损伤、非接触、高效成像。这种零成本的成像方式具备自主性和普适性，可以为检测装置有效推广和应用提供良好的前提保障；检测装置所采用的基于深度学习的六龄牙龋齿自动化检测筛查算法，其基本思想是通过深度卷积神经网络来提取六龄牙特征，来保证检测算法可以在移动设备拍摄的口腔内部成像中准确检测六龄牙区域，同时通过组合不同网络层的特征，进一步保证提高不同角度和光线下的六龄牙检测精度；检测装置能够基于深度学习有效地进行儿童六龄牙龋齿智能检测和分类，提高儿童窝沟龋的诊断精度和效率。本发明的检测装置不依赖任何口腔专业的人力和物力，有利于地进一步推广和应用，提高基层儿童口腔初级卫生服务覆盖率。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的步骤、方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种步骤、方法所固有的要素。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种自动检测六龄牙龋齿的检测装置，其特征在于，所述检测装置包括：

拍摄设备，用于拍摄儿童口腔区域图像；

网络云服务器，其被配置成执行以下步骤：

将所述儿童口腔区域图像输入到深度残差网络进行特征提取，以获取所述儿童口腔区域图像的特征图；

对所述特征图进行基于特征金字塔网络的特征增强处理，以获取增强的特征图；

根据所述增强的特征图的不同尺度选取对应的锚点框，以生成六龄牙候选框；

将所述六龄牙候选框输入区域回归子网络，以获取所述六龄牙候选框到真实目标的坐标偏移量，根据所述坐标偏移量得到六龄牙区域的坐标数据；

将所述六龄牙候选框输入区域分类子网络，以获取六龄牙的预测类别；

将所述六龄牙区域的坐标数据以及所述六龄牙的预测类别进行合并输出，以提供诊断图像。

2.根据权利要求1所述的检测装置，其特征在于，所述检测装置进一步包括：

网络云数据库，用于存储所述儿童口腔区域图像。

3.根据权利要求1所述的检测装置，其特征在于，所述检测装置进一步包括：

显示器，用于显示所述诊断图像。

4.根据权利要求1所述的检测装置，其特征在于，其中将所述六龄牙候选框输入区域回归子网络，以获取所述六龄牙候选框到真实目标的坐标偏移量，具体步骤包括：

在所述特征金字塔网络的每层连接一个全连接神经网络作为区域回归子网络，将所述增强的特征图输入到所述全连接神经网络进行卷积操作，并采用Relu函数对卷积操作后的特征图进行激活。

5.根据权利要求4所述的检测装置，其特征在于，所述区域分类子网络被配置成与所述区域回归子网络并行的全连接神经网络，将所述增强的特征图输入到所述并行的全连接神经网络进行卷积操作，并采用Softmax函数对卷积操作后的特征图进行激活。

6.根据权利要求4所述的检测装置，其特征在于，所述网络云服务器被进一步配置成执行以下步骤：

以带权重的交叉熵函数作为损失函数分别对所述区域回归子网络和区域分类子网络进行训练。

7.根据权利要求1所述的检测装置，其特征在于，所述深度残差网络为ResNet50。

Images