CN111627014B - 一种基于深度学习的根管检测与评分的方法及系统 - Google Patents

Abstract

本发明提供了一种基于深度学习的根管检测与评分的方法及系统，涉及图像处理技术领域，其特征在于，所述方法包括：采集大量根管X光片的图像数据进行图像数据的标注和清理，并对得到的图像数据进行图像处理进行数据扩增制备数据集，分别搭建检测网络模型和评分网络模型，并通过制备的数据集进行网络训练，所获得的检测网络模型和评分网络模型能够自动对根管X光片进行检测和评分并输出对应结果。本发明减少了人工对根管图像的检测和评分，减少了医疗人员的工作强度，同时避免了因为效果评价标准条目较多以及专家经验水平不均造成的评分可靠性不高。

Description

一种基于深度学习的根管检测与评分的方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于深度学习的根管检测与评分的方法及系统。

背景技术

根管治疗术是目前口腔治疗牙髓病和根尖周病最有效、最常用的手段，是当今世界牙髓治疗的主流方法，在全球范围得到广泛的应用。根管治疗是口腔科基本的治疗技术，对于该技术的熟练掌握是对牙科医生的基本要求，也是口腔医院及门诊对于医疗治疗控制的重要内容。而目前国内很少有医院和门诊开展根管治疗术后疗效的专项评估，在医疗治疗的提升方面缺乏数据支撑和有效方法。

目前国内某知名口腔大型连锁医疗机构开始采用专家团队对根管治疗X线根尖片进行评分的方式进行医疗质控，但专家评分的方式费时费力，效率不高，医疗质控部门的工作量负担也较重，同时对根管治疗X线根尖片的评分标准和质量受到专家经验水平的影响，不同专家评价具有一定的主观性。

针对该问题，人工智能的检测和评分模型将引入到根管治疗术后疗效的评价中，进行自动化根管检测和评分，可是现有技术中由于X光片是胶片扫描件，分辨率和反差较低，并且X光片呈现的光片数据会有多颗牙齿数据，很难定位经过治疗的根管及其对应的牙齿，而且，根管的形态复杂，治疗效果评价的标准条目众多等因素，造成难以通过传统算法对根管进行准确，高效的检测和评分。

发明内容

本发明提供了一种基于深度学习的根管检测与评分的方法及系统，通过收纳对多个患者采集到的大量X光片的图像数据进行图像数据的标注和清理，将所得到的图像数据进行相应的预处理得到扩充后的图像数据，在通过对所述图像数据的抽取制备检测数据集来进行深度网络模型的搭建，并送入数据进行训练，通过特征金字塔的方式获取检测框并采用NMS算法对检测框进行筛选输出，完成对根管的智能检测，所述图像数据还经过专家按照标准进行人工评分，将经过人工评分后的图像数据进行搭建好的残差网络模型的搭建，并将送入图像数据进行训练，最后将卷积层输出的数据进行转换输出评价分数。减少了人工对根管治疗X线根尖片的检测，提高了检测的效率和准确性，同时能够对输入的根管图像数据进行评分，减少了人工对根管图像的评分，避免了因为效果评价标准条目较多以及专家经验水平不均造成的评分可靠性不高。

本发明提供了一种基于深度学习的根管检测与评分的方法，包括：

S1：原始图像的采集：从医疗机构的信息管理平台获取大量牙齿与根管X光片数据作为的原始图像数据；

S2：图像的标注和清洗：对获取的原始图像数据进行数据处理，将所述图像数据进行可视化交互式的标注于数据清洗，并对每个图像数据附上由专家团队进行的评分；

S3：构建检测数据集：将标注和重编的图像数据按照比例拆分为训练数据集和测试数据集，构建检测数据集进行网络模型的搭建和训练；

S4：图像预处理：对构建好的检测数据集中的图像数据进行一系列的图像处理操作扩充数据量；

S5：检测网络模型的搭建和训练：搭建检测网络模型，并将经过预处理扩增的图像数据训练检测网络模型；

S6：图片的切取：对检测模型中的经过标注的图像数据进行切取，将标注的部分切取出得到标注部分的图像数据；

S7：评分网络模型的搭建和训练：根据获得的切取后的图像数据进行评分网络的搭建与训练。

进一步的，从医疗机构信息管理平台所获取的牙齿与根管X光片数据为经过专业认定评分的口腔根管治疗术后的X线根尖片来作为原始图像数据。

进一步的，所述原始图像数据的标注，通过可视化工具对图像数据中的牙齿和根管分别进行标注，并将标注后输出的图像数据通过算法进行不重复的命名，并按照统一的图像格式进行输出存储。

进一步的，进过标注和数据清理后的图像数据按照4:1的比例，采用自动抽取工具进行多次的抽取获得训练数据集和测试数据集。

进一步的，所述图像预处理过程包括图像大小重整、色阶调整、对比度调整、图像的归一化处理、椒盐噪声处理、旋转和翻转等方式。

进一步的，检测网络模型的搭建采用特征金字塔的方式对检测数据集中的图像数据进行特征提取将原始图像数据编码为特征图，特征提取过程中所述特征图之间采用短接或者通道连接的方式进行特征融合。

进一步的，图像的切取中将经过人工标注的检测数据集中图像数据被标注的数据切取出形成切取后的图像数据并存储。

进一步的，评分网络模型的搭建采用残差网络进行搭建，所述检测数据集中用来进行所述评分网络模型训练的图像数据进行统计处理，并将统计后各分值段的图像数据的数量赋予不同的权重。

此外，基于上述方法，本发明还提供了一种基于深度学习的根管检测与评分的系统，该系统包括：检测图像输入模块，原始图像采集模块、数据预处理模块、检测网络模块、评分网络模块以及结果输出模块；

所述检测图像输入模块：用来将待检测的根管X光片图像进行扫描和处理形成清晰可见的电子图像，并将图像传输至检测网络模块中；

所述原始图像采集模块：用来接收获取牙齿和根管X光片图像数据，再对图像数据中的牙齿与根管处进行标注，通过算法将标注的图像数据重新命名并存储为统一的图片格式，然后将得到的图像数据传输至所述数据预处理模块；

所述数据预处理模块：将从所述原始图像采集模块中获取的图像数据按照比例划分为训练数据集和测试数据集，来构建检测数据集，并将图像数据通过大小调整，色阶调整、对比度调整、归一化处理、椒盐噪声处理、旋转和翻转的操作对图像数据进行扩充处理，然后将扩充后的图像数据传输到检测网络模块中训练检测网络模型。

所述检测网络模块：对接收的图像数据进行特征图的编解码操作，完成图像数据的特征提取和特征融合，通过分类、定位锚点双抽头生成获取检测框，再通过NMS算法对获取的检测框进行滤出，将分类概率较高的预测框作为检测结果传输至所述结果输出模块中；

所述评分网络模块：将经过人工评分的图像数据通过搭建的残差网络模型进行多层卷积处理输出特征图，获得的所述特征图通过所述残差网络模型中的平均池化层和全连接层将特征向量线性变换成1个标量浮点数；

所述结果输出模块：接收所述检测网络模块中的图像数据并输出，同时从所述评分检测模块中接收对应图像数据的标量浮点数，并将所述标量浮点数按照百分比例进行转换，得到的转换后的数据作为评分结果进行输出。

区别现有技术的情况，本发明的有益效果是：

本发明提出的一种基于深度学习的根管检测与评分的方法及系统，通过对大量数据根管X光片图像数据的采集，采用特征金字塔的方式搭建评分检测网络模型，通过残差网络结构搭建评分网络模型，根据对获取到的原始数据的标注，处理，评分，扩充等操作制备出检测数据集，来训练验证两个网络模型，实现了对根管X光片的智能化检测和评分，减少了医疗人员的工作量，提高了医疗效率。

附图说明

图1是本发明的流程图；

图2是本发明的检测网络模型构建过程示意图；

图3是本发明的深度残差网络结构示意图；

具体实施方式

在下面的描述中对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的实施例一提供了一种基于深度学习的根管检测与评分的方法，如图1所示，方法包括步骤S1-步骤S7，各步骤具体内容如下：

S1：原始图像的采集：从医疗机构的信息管理平台获取大量牙齿与根管X光片数据作为的原始图像数据；

S2：图像的标注和清洗：通过标注工具对的采集到的原始图像数据中的牙齿和经过治疗的根管进行可视化交互式的标注，并将标注的全部结果图像采用统一的图片格式，包括jpg或png等通用的图像格式，同时采用通用唯一识别码或者雪花算法等方式对标注后的图像数据进行重新命名；

S3：构建检测数据集：通过移植Pytorch VOC Dataset将标注和重编的图像数据载入构建出数据集，并将数据集的图像数据按照4:1比例拆分为训练数据集和测试数据集，进行网络模型的搭建和训练；

S4：图像预处理：在进行网络训练前将构建好的检测数据集中的图像使用对构建好的检测数据集中的图像数据通通过imgaug库对图像进行变换，包括图像大小重整，自动色阶、对比度调整，归一化，添加椒盐噪声，随机对比度变换，评议，旋转，缩放，翻转等操作，扩大用来进行网络训练可学习的数据量。

S5：检测网络模型的搭建和训练：通过移植PyTorch RetinaNet网络，编写训练、测试Pipeline；

本实施例检测网络模型采用了50层的RetinaNet，检测模型的构建采用特征金字塔方式进行搭建，如图2所示，首先将图像数据从下而上构造编码分支，卷积层之间由池化层将编码特征图缩减为原尺寸的二分之一，总共进行三次尺寸缩减，之后卷积层之间由上采样层将解码的特征图尺寸扩大两倍，在编解码时对应的特征图之间用Shortcut连接进行特征混合，也可采用Concat的方式或者点对点加法的方式进行特征混合；

在解码过程中的每一层特征图上，采用分类、定位锚点的双抽头生成检测框和对应的分类概率，上层的特征图对应大的检测框，下层的特征图对应小的检测框。每一个Anchor都对应分类和定位2个抽头，同时对应特征图上一个像素。相邻的Anchor会对于同一个目标输出检测框，导致同一个目标可能会有多个检测框，采用NMS算法滤除分类概率较低的框，留下概率最高的检测框则作为结果输出，通过draw_box画图函数将检测框结果进行可视化输出，同时加载预设的图像数据在原始图像上标出检测框的位置和大小，并以不同的颜色标出根管和牙齿部位。

所述NMS算法滤除检测框时，NMS参数值设为[0.65,0.7]，将同一目标密集程度在参数设置外的检测框滤除掉，同时在网络训练时设定detection_scale的参数调整标注框的尺寸，避免因图像数据进行了多次变换而导致检测结果比标注的图像数据尺寸偏大，所述用来调整标注框的尺寸的参数detection_scale的设定值为[0.5,0.6]，为提高预测的准确率，调整网络的自信度参数score_threshold，删除确信度在参数范围之外的检测框，经过网络训练后，将测试数据集的数据输入，并记录loss值，所述loss值代表网络模型的检测结果与实际图片标注结果的差值，通过loss值调整网络模型的epcoh初始值

S6：图片的切取：对检测模型中的经过标注的图像数据进行切取，将标注的部分切取出得到标注部分的图像数据，并将图像数据保存在指定路径中；

S7：评分网络模型的搭建和训练：

本实施例中所述评分网络模型采用了50层的ResNet，如图3所示，所述残差网络结构中将卷积层分组，每两个卷积层分为一组，在添加残差连接，多个卷积组之间构成块，在块与块之间增加池化操作将特征图进行二分之一的尺寸缩减，每一个块包含的所述卷积层的数量可通过增加或者减少来控制所述评分网络模型的拟合与泛化能力，在所述评分网络结构中的卷积层后增加有平均池化层，将所述卷积层输出的特征图进行缩减等价为以为特征向量，所述平均池化层后为全连接层，将所述一维特征向量进行线性变换转化为1个标量浮点数作为评价分数输出，所述标量浮点数按照百分比例进行转换，得到的转换后的数据作为最终评分结果进行输出。

进行评分网络训练时，将获得的所述图像数据按照评分进行分布，对所述图像数据进行统计学的处理，去掉出现频率较少的极值，并赋予各分值段数量不同的权重，提高评分网络模型评分的准确性和可靠性。

本发明的实施例二提供了一种基于深度学习的根管检测与评分的系统，包括检测图像输入模块、原始图像采集模块、数据预处理模块、检测网络模块、评分网络模块和结果输出模块；

所述检测图像输入模块：用来将待检测的根管X光片图像进行扫描和处理形成清晰可见的电子图像，并将图像传输至检测网络模块中；

所述原始图像采集模块：通过连接医疗结构中的信息管理平台获取牙齿和根管X光片图像数据，再对原始图像数据中的牙齿与根管处进行标注，通过算法将标注的图像数据重新命名并存储为统一的图片格式，然后将得到的图像数据传输至所述数据预处理模块；

所述数据预处理模块：将从所述原始图像采集模块中获取的图像数据按照比例划分为训练数据集和测试集，来构建检测数据集，并将图像数据通过大小调整，色阶调整、对比度调整、归一化处理、椒盐噪声处理、旋转和翻转的操作对图像数据进行扩充处理，然后将扩充后的图像数据传输到检测网络模块中训练检测网络模型。

所述检测网络模块：对接收的图像数据进行特征图的编解码操作，完成图像数据的特征提取和特征融合，通过分类、定位锚点双抽头生成获取检测框，再通过NMS算法对获取的检测框进行滤出，将分类概率较高的预测框作为检测结果输出；

所述评分网络模块：将经过人工评分的图像数据通过搭建的残差网络模型进行多层卷积处理输出特征图，获得的所述特征图通过所述残差网络模型中的平均池化层和全连接层将特征向量线性变换成1个标量浮点数。

所述结果输出模块：接收所述检测网络模块中的图像数据并输出，同时从所述评分检测模块中接收对应图像数据的标量浮点数，并将所述标量浮点数按照百分比例进行转换，得到的转换后的数据作为评分结果进行输出。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (6)

1.一种基于深度学习的根管检测与评分的方法，其特征在于，所述方法包括：

S1：获取大量牙齿与根管的原始图像数据；

S2：对获取的原始图像数据进行数据处理，将所述图像数据进行可视化交互式的标注与数据清洗，并对所述图像数据进行评分；

S3：将处理后的图像数据按照比例进行拆分构建检测数据集；

S4：对构建好的检测数据集中的图像数据进行图像的预处理扩充数据量；

S5：将经过预处理扩增的图像数据用来搭建并训练检测模型，检测模型的构建和训练如下：

首先将图像数据从下而上构造编码分支，卷积层之间由池化层将编码特征图缩减为原尺寸的二分之一，总共进行三次尺寸缩减，之后卷积层之间由上采样层将解码的特征图尺寸扩大两倍，在编解码时对应的特征图之间采用短接或通道连接的方式进行特征融合；在解码过程中的每一层特征图上，采用分类、定位锚点的双抽头生成检测框和对应的分类概率，每一个Anchor都对应分类和定位2个抽头，同时对应特征图上一个像素，采用NMS算法滤除分类概率较低的框，留下概率最高的检测框则作为结果输出，通过draw_box画图函数将检测框结果进行可视化输出，同时加载预设的图像数据在原始图像上标出检测框的位置和大小，并以不同的颜色标出根管和牙齿部位；

S6：对检测模型中的图像进行切取，将图像中标注出的部分图像切取获得新的图像数据并存储；

S7：根据获得的分割图像数据进行评分网络的搭建与训练，具体如下：

评分网络模型采用了50层的ResNet，残差网络结构中将卷积层分组，每两个卷积层分为一组，再添加残差连接，多个卷积组之间构成块，在块与块之间增加池化操作将特征图进行二分之一的尺寸缩减，在评分网络结构中的卷积层后增加有平均池化层，将所述卷积层输出的特征图进行缩减等价为一维特征向量，所述平均池化层后为全连接层，将所述一维特征向量进行线性变换转化为1个标量浮点数作为评价分数输出，所述标量浮点数按照百分比例进行转换，得到的转换后的数据作为最终评分结果进行输出；进行评分网络训练时，将获得的所述图像数据按照评分进行分布，对所述图像数据进行统计学的处理，去掉出现频率较少的极值，并赋予各分值段数量不同的权重。

2.根据权利要求1所述的基于深度学习的根管检测与评分的方法，其特征在于，步骤S1中所述原始图像的获取得到的图像数据为经过专业认定评分的口腔根管治疗术后X线根尖片。

3.根据权利要求2所述的基于深度学习的根管检测与评分的方法，其特征在于，步骤S2中通过可视化工具对获取的原始图像数据进行牙齿和根管的标注，并将标注后的图像数据按照统一的格式进行不重复命名存储。

4.根据权利要求3所述的基于深度学习的根管检测与评分的方法，其特征在于，步骤S3中经过标注和数据清理后的图像数据按照4:1的比例，通过自动抽取工具进行多次抽取分为训练数据集和测试数据集。

5.根据权利要求4所述的基于深度学习的根管检测与评分的方法，其特征在于，步骤S4中所述图像的预处理包括图像大小重整、色阶调整、对比度调整、图像的归一化处理、椒盐噪声处理、旋转和翻转。

6.一种基于深度学习的根管检测与评分的系统，其特征在于，包括检测图像输入模块、原始图像采集模块、数据预处理模块、检测网络模块、评分网络模块和结果输出模块；

所述检测图像输入模块：用来将待检测的根管X光片图像进行扫描和处理形成清晰可见的电子图像，并将图像传输至检测网络模块中；

所述原始图像采集模块：用来获取牙齿和根管X光片图像数据，再对原始图像数据中的牙齿与根管处进行标注，并通过算法将标注的图像数据重新命名并存储为统一的图片格式，然后将得到的图像数据传输至所述数据预处理模块；

所述数据预处理模块：将从所述原始图像采集模块中获取的图像数据按照比例划分为训练数据集和测试数据集，来构建检测数据集，并将图像数据通过相关图像处理的操作对图像数据进行扩充，然后将扩充后的图像数据传输到检测网络模块中；

所述检测网络模块：对接收的图像数据进行特征图的编解码操作，完成图像数据的特征提取和特征融合，通过分类、定位锚点双抽头生成获取检测框，再通过NMS算法对获取的检测框进行滤出，将分类概率较高的预测框作为检测结果输出；

所述评分网络模块：将经过人工评分的图像数据通过搭建的残差网络模型进行多层卷积处理输出特征图，获得的所述特征图通过所述残差网络模型中的平均池化层和全连接层将特征向量线性变换成1个标量浮点数；

所述结果输出模块：接收所述检测网络模块中的图像数据并输出，同时从所述评分网络模块中接收对应图像数据的标量浮点数，并将所述标量浮点数按照百分比例进行转换，得到的转换后的数据作为评分结果进行输出。

Images