CN115281709B - 一种下颌第二磨牙c形根管检测装置及方法 - Google Patents

一种下颌第二磨牙c形根管检测装置及方法 Download PDF

Info

Publication number
CN115281709B
CN115281709B CN202211219952.3A CN202211219952A CN115281709B CN 115281709 B CN115281709 B CN 115281709B CN 202211219952 A CN202211219952 A CN 202211219952A CN 115281709 B CN115281709 B CN 115281709B
Authority
CN
China
Prior art keywords
layer
convolution
lightweight
root canal
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211219952.3A
Other languages
English (en)
Other versions
CN115281709A (zh
Inventor
王彬
徐峰
相洁
李颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202211219952.3A priority Critical patent/CN115281709B/zh
Publication of CN115281709A publication Critical patent/CN115281709A/zh
Application granted granted Critical
Publication of CN115281709B publication Critical patent/CN115281709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种下颌第二磨牙C形根管检测装置及方法,属于牙齿检测技术领域;解决了由于牙齿影像中根管结构在影像上欠缺清晰表达、结构复杂直接通过牙齿影像难以全方位判断牙齿根管形态的问题;包括如下步骤:获取下颌第二磨牙牙齿数据集;利用非对称卷积组装分支结构,在每个分支上串行添加参数可调的多比率空洞卷积,将二者结合得到轻量化特征增强模块,同时设计靠近输入层的基础特征提取模块;将基础特征提取模块、轻量化特征增强模块分别进行块间级联得到特征提取单元;设计主干网络,将特征提取单元嵌入到主干网络中,将得到的融合特征通过一个全局平均池化层;本发明应用于下颌第二磨牙C形根管检测。

Description

一种下颌第二磨牙C形根管检测装置及方法
技术领域
本发明提供了一种下颌第二磨牙C形根管检测装置及方法,属于牙齿检测技术领域。
背景技术
C形根管主要存在于下颌第二磨牙,为复杂根管系统,治疗中常出现根管清理不彻底,根管充填不完善、峡部侧穿等情况,影响治疗效果。全景X线片,由于辐射剂量小、经济实惠是临床上常用的辅助手段,但它以二维图像显示三维物体及周围结构,直接判断出C形根管牙齿有着很大的挑战。CBCT可通过三维重建,可清晰显示C形根管解剖形态,对根管的诊断与治疗具有临床指导意义,但其辐射剂量较大,价格较高,不能作为根管治疗的优先辅助检查。借助人工智能方法自动从全景X片中高精度诊断出C形根管带来的医疗成本降低和经济效益增加是至关重要的。
人工智能在口腔医学领域应用越来越广泛,与口腔影像诊断学结合可有助于提高影像诊断的精确度,有助于医患沟通、术前诊断、术中指导和术后评估,对临床有着显著的指导意义。全景X片结合人工智能网络恰好能解决这一问题,术前判断下颌第二磨牙是否为C形根管,明确后进一步拍摄CBCT结合人工智能数据来分析其根管形态、分型、峡部的厚度、根管治疗方案及充填效果评估等,提高C形根管治疗的效率。然而由于牙齿C形根管系统从根管口到根尖状态不断发生变化,导致其在全景图像上欠缺清晰表达,现有方法难以抽取丰富的语义信息。特别地,在下颌第二磨牙的C形根管表现为锥形或方形融合根,连接近、远中2个根管的融合区颊舌径过于狭窄或分离独立,现有方法存在难以捕捉这些重要细节特征而导致检测性能变差的问题。同时目前用于C形根管的检测方法有着巨大的计算资源消耗,存在难以在有限硬件资源上训练和部署使用等问题。
发明内容
本发明为了解决现有技术中由于牙齿影像中根管结构在影像上欠缺清晰表达、结构复杂、与周围组织连在一起,直接通过牙齿影像难以全方位判断牙齿根管形态的问题,提供了一种下颌第二磨牙C形根管检测装置及方法。
为了解决上述技术问题,本发明采用的技术方案为:一种下颌第二磨牙C形根管牙齿检测装置,所述装置包括:
口腔全景X线机,用于获取患者口腔全景影像;
处理器,所述处理器通过导线与口腔全景X线机相连,所述处理器包括获取模块、分析模块、检测模块,所述获取模块用于将口腔全景X线机获取的患者口腔全景图像进行图像预处理,将预处理后的全景影像进行牙齿区域裁切处理得到下颌第二磨牙牙齿图像集;
所述分析模块用于将图像集进行张量转化,形成下颌第二磨牙图像张量,输入到神经网络结构中,并通过网络反馈训练得到C形根管和非C形根管牙齿的特征;
所述检测模块用于根据提取的特征,生成牙齿根管的分析模型,进行下颌第二磨牙C形根管的自动检测,输出的结果并在显示屏上进行显示。
一种下颌第二磨牙C形根管检测装置及方法,包括如下步骤:
S1:获取牙齿全景图像数据集,从全景图像中裁切出下颌第二磨牙牙齿图像,并将图像尺寸统一化为120×120,并划分训练集和测试集;
S2:构建轻量化特征增强模块:利用非对称卷积组装分支结构,在每个分支上串行添加参数可调的多比率空洞卷积,将二者结合得到轻量化特征增强模块(LightModule),同时设计靠近输入层的基础特征提取模块(BaseModule);
S3:将步骤S2中设计的基础特征提取模块进行块间级联得到基础特征提取单元(BaseModuleSeries),将轻量化特征增强模块进行块间级联得到轻量化特征增强单元(LightModuleSeries);
S4:搭建总体网络结构:设计主干网络,将步骤S3中的基础特征提取单元、轻量化特征增强单元嵌入到主干网络中,将得到的融合特征通过一个全局平均池化层,对整个网络从结构上做正则化处理,同时减少了计算量和参数量;
S5:将步骤S4中的全局平均池化层得到的特征向量与全连接层连接,通过计算转换得到牙齿根管图像类别概率;
S6:将网络总体结构搭建完成后,对网络中参数进行训练更新,得到最终C形根管检测模型。
所述步骤S2中的轻量化特征增强模块的构建步骤如下:
先使用1×1卷积降低维度,实现跨通道的交互和信息整合,并进一步减少参数数量,通过使用1×3、3×1卷积核串行代替传统3×3卷积,然后再利用非对称卷积组建分支结构,并在分支结构中添加可调比率参数的空洞卷积来扩大感受野和捕获多尺度上下文信息,并将之后的特征图与原始输入图进行通道合并。
所述轻量化特征增强模块的结构包括:
分支一:卷积层lmb1_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层lmb1_conv2,采用1×3卷积核,步长为1,并使用BN;卷积层lmb1_conv3,采用3×3卷积核,步长为1,dilation为可调参数r2,使用BN和ReLU;
分支二:卷积层lmb2_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层lmb2_conv2,采用3×1卷积核,步长为1,并使用BN;卷积层lmb2_conv3,采用3×3卷积核,步长为1,dilation为可调参数r2;
分支三:卷积层lmb3_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层lmb3_conv2,采用1×3卷积核,步长为1,并使用BN;卷积层lmb3_conv2,采用3×1卷积核,步长为1,并使用BN;卷积层lmb4=3_conv3,采用3×3卷积核,步长为1,dilation为可调参数r3;
特征融合:三个分支的输出进行特征融合,再进行一层卷积层,采用1×1卷积核,步长为1,使用BN。
所述步骤S2中的基础特征提取模块的结构包括:
分支一:卷积层bmb1_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层bmb1_conv2,采用3×3卷积核,步长为1,dilation为可调参数r1,使用BN和ReLU;
分支二:卷积层bmb2_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层bmb2_conv2,采用3×3卷积核,步长为1,并使用BN和ReLU;卷积层bmb2_conv3,采用3×3卷积核,步长为1,dilation为可调参数r2;
特征融合:两个分支的输出进行特征融合,再进行一层卷积层,采用1×1卷积核,步长为1,使用BN。
所述步骤S3中的基础特征提取模块之间的块级联是通过将基础特征提取单元内部的前面的基础特征提取模块层与后面的基础特征提取模块层相连实现的;
所述步骤S3中的轻量化特征增强模块之间的块级联是通过将轻量化特征增强单元内部的前面的轻量化特征增强模块层与后面的轻量化特征增强模块层相连实现的;有助于训练过程中梯度的反向传播,增强了特征在网络间的传播。通过特征在维度上的连接来实现特征重用,每个基础特征提取单元内的基础特征提取模块互相连接,每个基础特征提取模块都会接受其前面所有基础特征提取模块通过在维度上的拼接作为下一基础特征提取模块的输入,每个轻量化特征增强单元内的轻量化特征增强模块互相连接,每个轻量化特征增强模块都会接受其前面所有轻量化特征增强模块通过在维度上的拼接作为下一轻量化特征增强模块的输入,连接输出的公式如下:
Figure 911981DEST_PATH_IMAGE001
其中,C l 代表非线性转化函数,x 0 ,x 1 ,⋯,x l-1 为上一个基础特征提取模块或上一个轻量化特征增强模块的输出。
所述总体网络结构包括:
第一层卷积层conv1,采用3×3卷积核,步长为2,并使用BN和ReLU;
第二层卷积层conv2,采用3×3卷积核,步长为1,并使用BN和ReLU;
第一层池化层pool1,采用最大池化,窗口大小为2,步长为2;
基础特征提取单元层;
第三层卷积层conv3,采用3×3卷积核,步长为1,并使用BN和ReLU;
第二层池化层pool2,采用最大池化,窗口大小为2,步长为2;
第一轻量化特这增强单元层;
第四层卷积层conv4,采用3×3卷积核,步长为1,并使用BN和ReLU;
第三层池化层pool3,采用最大池化,窗口大小为2,步长为2;
第二轻量化特这增强单元层;
然后使用全局平均池化把每个通道的特征图输出均值结果作为一个神经元,最后通过一层全连接层和LogSoftmax函数进行分类。
所述步骤S4中使用全局平均池化把特征图全局平均输出一个值,把512×7×7的一个特征图变成512×1×1的特征向量,并与全连接层进行连接,从而使其具有全局的感受野,使得网络低层也能利用全局信息,减少了参数的数量和计算量,也可以减轻过拟合的发生。其中每个卷积操作后接批量归一化和ReLU激活层,池化采用最大池化方式。
所述步骤S5中将全局平均池化得到的512×1×1的特征向量与一层全连接层相连接,输出2维的向量,下颌第二磨牙图像的根管类型概率计算公式如下式:
Figure 756440DEST_PATH_IMAGE002
上式中:P i 为类别概率,x i 为第i个节点的输出值,x j 为对应类别为j的输出。
所述步骤S6具体包括:
对网络中的可训练参数进行初始化,将步骤S1中经过预处理的图像数据分批次输入到网络中,根据预测值与真实标签构建损失函数并计算损失,使用优化算法进行反向传播更新网络的参数,直至损失在一定范围内不再下降,此时将网络参数保存为最终模型。
本发明相对于现有技术具备的有益效果为:本发明提供的一种下颌第二磨牙C形根管检测装置及方法通过利用非对称卷积设计轻量化特征提取模块并结合可调比率空洞卷积,减少模型计算复杂度的同时针对牙齿图像具有更强的特征抽取能力。将轻量化特征增强模块级联成单元,并设计主干网络,通过级联后的特征提取单元嵌入到主干网络以学到丰富的图像特征,同时减少模型的参数数量以及计算量。本发明所设计的模型不仅具有更高的准确率,而且有着很小的参数数量和计算量,相对更容易进行实际部署。
附图说明
下面结合附图对本发明做进一步说明。
图1本发明C形根管检测装置的系统框图。
图2为本发明C形根管检测方法的流程图。
图3为本发明所构建的基础特征提取模块的结构示意图。
图4为本发明所构建的轻量化特征增强模块的结构结构图。
图5为本发明所设计的基础特征提取单元的结构示意图。
图6为本发明所设计的轻量化特征增强单元的结构示意图。
图7为本发明所设计的总体网络结构图。
图8为本发明提出的轻量化特征增强模块的卷积核与传统3×3卷积核的对比图。
具体实施方式
如图1至图8所示,全景X线片中下颌第二磨牙根管的分类与其他图像任务相比存在着背景复杂、拍摄质量不稳定、周围组织与牙齿存在遮挡甚至互相重叠的情况,并且考虑到拥有巨大参数数量和计算量的模型无疑增加了实际部署的难度,因此下颌第二磨牙的根管类型判别任务具有困难性和特殊性。因此,本发明提出了一种下颌第二磨牙C形根管检测装置及方法,在本发明的检测方法中,利用非对称卷积来显式地增强标准卷积核和表征能力,而不需要额外的推理时间计算,并通过在并行分支上增加不同比率的空洞卷积,最后将特征在维度上相融合,获得尽可能多且有效的C形根管牙齿的特征,本发明的具体网络模型如图7所示,具体检测步骤如下。
步骤一、数据集准备
1.1数据采集
在某医院口腔中心口腔放射科采集口腔疾病拍摄全景X线片,从中筛选根尖孔发育完善、未进行牙髓治疗、无桩、无冠修复的全景影像384例,经患者同意纳入研究对象。
1.2数据预处理
对上述筛选出的不同根管类型的全景X线片图像进行裁剪,裁剪出下颌第二磨牙牙齿图像,统一化图像为120×120的尺寸。通过牙科医生对图像进行金标准标记,然后对标记后的图像进行统一化处理。
1.3数据扩增
使用图像几何变换和对图像添加噪声方式对上述预处理后的下颌第二磨牙牙齿图像进行数据量的扩增,其中图像几何变换为对牙齿图像进行随机反转、镜像翻转、图像平移等方式,同时对不同方式处理后的图像添加噪声,最终处理后的牙齿图像的尺寸依然为120×120。使用上述方法完成数据扩增,最终数据集含有C形根管牙齿图像3610张,非C形根管牙齿图像3640张。
步骤二、网络架构设计
1.1轻量化特征增强模块设计
使用非对称的卷积核的卷积层构成的多分支结构,并在之后引入了空洞卷积层,主要作用是减少参数量和计算量,同时增加网络感受野。在特征增强结构中用不同比率表示空洞卷积层的参数。在轻量化特征增强模块结构中最后会将不同尺寸和比率的卷积层输出进行拼接,达到融合不同特征的目的。由于较深层网络的输入会比较大,在轻量化特征增强模块内部添加了1×1的卷积层来降低特征数量,从而提高计算效率。
基础特征增强模块(BaseModule):采用两个小分支卷积组成;
分支一:卷积层bmb1_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层bmb1_conv2,采用3×3卷积核,步长为1,dilation为可调参数r1(默认为1),使用BN和ReLU。
分支二:卷积层bmb2_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层bmb2_conv2,采用3×3卷积核,步长为1,并使用BN和ReLU;卷积层bmb2_conv3,采用3×3卷积核,步长为1,dilation为可调参数r2(默认为2)。
特征融合:两个分支的输出进行特征融合,再进行一层卷积层,采用1×1卷积核,步长为1,使用BN。
轻量化特征增强模块(LightModule):采用三个小分支卷积组成;
分支一:卷积层lmb1_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层lmb1_conv2,采用1×3卷积核,步长为1,并使用BN;卷积层lmb1_conv3,采用3×3卷积核,步长为1,dilation为可调参数r2(默认为2),使用BN和ReLU。
分支二:卷积层lmb2_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层lmb2_conv2,采用3×1卷积核,步长为1,并使用BN;卷积层lmb2_conv3,采用3×3卷积核,步长为1,dilation为可调参数r2(默认为2)。
分支三:卷积层lmb3_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层lmb3_conv2,采用1×3卷积核,步长为1,并使用BN;卷积层lmb3_conv2,采用3×1卷积核,步长为1,并使用BN;卷积层lmb4=3_conv3,采用3×3卷积核,步长为1,dilation为可调参数r3(默认为3)。
特征融合:三个分支的输出进行特征融合,再进行一层卷积层,采用1×1卷积核,步长为1,使用BN。
1.2级联特征增强模块网络设计
以BaseModule和LightModule为单元内部模块分别级联成密集连接结构的基础特征提取单元和轻量化特征增强单元,通过特征在维度上的连接来实现特征重用,以参数量和计算成本更少的情形下实现更好的性能。互相连接单元内的所有模块,具体来说就是每个模块都会接受其前面所有模块,通过在维度上的拼接作为下一模块的输入。公式如下:
Figure 849161DEST_PATH_IMAGE003
其中,C l 代表非线性转化函数,x 0 ,x 1 ,⋯,x l-1 为前面模块的输出。
1.3总体网络设计
第一层卷积层conv1,采用3×3卷积核,步长为2,并使用BN和ReLU;第二层卷积层conv2,采用3×3卷积核,步长为1,并使用BN和ReLU;第一层池化层pool1,采用最大池化,窗口大小为2,步长为2;添加一层基础特征提取单元(BaseModuleSeries)结构;第三层卷积层conv3,采用3×3卷积核,步长为1,并使用BN和ReLU;第二层池化层pool2,采用最大池化,窗口大小为2,步长为2;添加一层轻量化特征增强单元(LightModuleSeries);第四层卷积层conv4,采用3×3卷积核,步长为1,并使用BN和ReLU;第三层池化层pool3,采用最大池化,窗口大小为2,步长为2;添加一层轻量化特征增强单元(LightModuleSeries);然后使用全局平均池化把每个通道feature map输出均值结果作为一个神经元。最后通过最后一层全连接层和LogSoftmax函数进行分类。
步骤三、网络结构参数设计
本发明通过对空洞卷积的不同比率参数进行网格搜索实验来确定最终网络结构中的超参数。初步实验发现较大比率(rate>=5)的空洞卷积使得网络的精度变差,由于牙齿根管影像关键像素点集中在小范围,然而较大比率的空洞卷积的输出包含更大范围的信息反而丢失了部分细节信息,降低了关键像素点对输出特征图的贡献。最后本发明通过实验确定了轻量化特征增强模块LightModule所使用空洞卷积的最优空洞比率(r1=r2=2,r3=3)。另外本发明多次实验确定了特征增强模块进行级联的实施策略,最终每个单元内部确定了使用3个模块进行级联,减少梯度消失,实现特征重用。其中一个基础特征提取单元内部包含三个级联的基础特征提取模块,一个轻量化特征增强单元内部包含三个级联的轻量化特征增强模块。
步骤四、实验过程及结果分析
1.1网络训练
本发明训练所设计网络使用Adam算法优化,即自适应时刻估计方法,Adam算法与传统的随机梯度下降不同。随机梯度下降保持单一的学习率更新所有的权重,学习率在训练过程中并不会改变。而Adam优化算法通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率,其收敛速度更快,网络模型的学习效果更好。训练中每个批次放入的牙齿图像为32个,共进行100轮的训练,目标损失函数使用NLLLoss。使用L2正则化方法向损失函数中添加参数惩罚项来降低模型的复杂程度,提高模型的泛化能力,解决过拟合问题。
其中Adam优化器公式为:
Figure 226790DEST_PATH_IMAGE004
公式说明如下:θ是参数向量;g是关于的梯度;s是一阶矩梯度;r是二阶矩梯度;ρ1是一阶矩衰减率;ρ2是二阶矩衰减率;
Figure 746765DEST_PATH_IMAGE005
是一阶矩偏差修正;
Figure 577055DEST_PATH_IMAGE006
是二阶矩偏差修正;Δθ表示对参数向量求梯度。
NLLLoss公式为:
Figure 473467DEST_PATH_IMAGE007
带L2正则化的损失函数:
Figure 941488DEST_PATH_IMAGE008
其中α∈[0,∞)用来权衡参数惩罚项Ω(θ)和损失函数J(θ:X:y)之间的关系,α取值越大代表正则化强度越大。L2正则化公式如下所示:
Figure 148477DEST_PATH_IMAGE009
其中w为参数向量。
1.2实验结果
最后,整个项目训练完100轮训练,保存下来的是测试集上平局损失最低且准确率最高的模型。如表1所示,本发明的网络具有最高的精度,而计算量最小的AlexNet的精度仅为93.17%。与AlexNet相比较,本发明的网络在精度和参数数量都有极大的优势。另外如表1所示,相比于ResNet18、Vgg16和Xception,该训练好的模型在各个指标上均有着最好的表现。另外在有限的资源环境中,本发明的网络能够更容易适应这一环境并起到很好的作用。最终模型对下颌第二磨牙根管的识别准确率是98.38%,AUC值为0.996。在实际应用场景中,将提取的下颌第二磨牙的图像输入到最终模型中即可进行C形根管的检测和识别。
Figure 233108DEST_PATH_IMAGE010
表1 采用本发明网络模型与现有网络在C形根管分类任务上的准确度、参数数量和计算量。
本发明提出的轻量化特征增强模块采用了1×3、3×1和3×3的并行布局,如图4所示,然后将这一个3×3的卷积拆解为:一个1×3的卷积再串联一个3×1的卷积,实验证明这样做在精度上损失不大,可以在网络深层降低计算量,减少硬件资源占用。同时本发明使用了不同比率的空洞卷积添加到三个并行分支的结构上,使得每个并行分支的输出都包含较大范围的语义信息,并通过实验设置不同空洞比率来获取图像多尺度信息。本发明提出的轻量化特征增强模块的结构中使用的空洞卷积与非对称卷积模块是一种“串行”关系,并且通过实验确定空洞卷积的不同比率获得当前最优的多尺度信息提取能力。
通过实验可知,本发明的轻量化特征增强模块通过增加骨架部分的权重,并扩大了感受野,进一步增强和丰富了方形卷积核的骨架信息,获得了更好的精度。
其中骨架权重:就是和中间位置直接相连的4个位置加上自身,剩下的就是边角部分了,如图8所示为本发明提出的轻量化特征增强模块的卷积核与传统3×3卷积核的对比图,3×3卷积核的骨架部分比边角部分更加重要,本申请提出的成组的非对称卷积(水平和垂直核(3×1和1×3))可以增强卷积核的骨架部分,从而提高性能,成组非对称卷积的有效性部分归因于它能进一步增强卷积核骨架。
其中扩大感受野:通过在结构中添加不同空洞比率的空洞卷积,标准的卷积核里注入空洞,让原本3x3的卷积核,(当dilated rate=2)在相同参数量和计算量下拥有5x5卷积核的感受野。可以在不做池化的情况下,扩大感受野,让每个卷积输出都包含较大范围的信息。
关于本发明具体结构需要说明的是,本发明采用的各部件模块相互之间的连接关系是确定的、可实现的,除实施例中特殊说明的以外,其特定的连接关系可以带来相应的技术效果,并基于不依赖相应软件程序执行的前提下,解决本发明提出的技术问题,本发明中出现的部件、模块、具体元器件的型号、相互间连接方式以及,由上述技术特征带来的常规使用方法、可预期技术效果,除具体说明的以外,均属于本领域技术人员在申请日前可以获取到的专利、期刊论文、技术手册、技术词典、教科书中已公开内容,或属于本领域常规技术、公知常识等现有技术,无需赘述,使得本案提供的技术方案是清楚、完整、可实现的,并能根据该技术手段重现或获得相应的实体产品。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种下颌第二磨牙C形根管牙齿检测装置,其特征在于,所述装置包括:
口腔全景X线机,用于获取患者口腔全景影像;
处理器,所述处理器通过导线与口腔全景X线机相连,所述处理器包括获取模块、分析模块、检测模块,所述获取模块用于将口腔全景X线机获取的患者口腔全景图像进行图像预处理,将预处理后的全景影像进行牙齿区域裁切处理得到下颌第二磨牙牙齿图像集;
所述分析模块用于将图像集进行张量转化,形成下颌第二磨牙图像张量,输入到神经网络结构中,并通过网络反馈训练得到C形根管和非C形根管牙齿的特征;
所述检测模块用于根据提取的特征,生成牙齿根管的分析模型,进行下颌第二磨牙C形根管的自动检测,输出的结果在并在显示屏上进行显示;
所述神经网络结构如下:
第一层卷积层conv1,采用3×3卷积核,步长为2,并使用BN和ReLU;第二层卷积层conv2,采用3×3卷积核,步长为1,并使用BN和ReLU;第一层池化层pool1,采用最大池化,窗口大小为2,步长为2;添加一层基础特征提取单元结构;第三层卷积层conv3,采用3×3卷积核,步长为1,并使用BN和ReLU;第二层池化层pool2,采用最大池化,窗口大小为2,步长为2;添加一层轻量化特征增强单元;第四层卷积层conv4,采用3×3卷积核,步长为1,并使用BN和ReLU;第三层池化层pool3,采用最大池化,窗口大小为2,步长为2;添加一层轻量化特征增强单元;然后使用全局平均池化把每个通道feature map输出均值结果作为一个神经元;最后通过最后一层全连接层和LogSoftmax函数进行分类;
以基础特征增强模块和轻量化特征增强模块为单元内部模块分别级联成密集连接结构的基础特征提取单元和轻量化特征增强单元,通过特征在维度上的连接来实现特征重用;
轻量化特征增强模块使用非对称的卷积核的卷积层构成的多分支结构,并在之后引入了空洞卷积层,在特征增强结构中用不同比率表示空洞卷积层的参数,轻量化特征增强模块结构中最后会将不同尺寸和比率的卷积层输出进行拼接,融合不同特征,在轻量化特征增强模块内部添加了1×1的卷积层来降低特征数量。
2.一种下颌第二磨牙C形根管检测方法,其特征在于:包括如下步骤:
S1:获取牙齿全景图像数据集,从全景图像中裁切出下颌第二磨牙牙齿图像,并对下颌第二磨牙牙齿图像进行预处理,将预处理后的下颌第二磨牙牙齿图像数据集划分为训练集和测试集;
S2:构建轻量化特征增强模块:利用非对称卷积组装分支结构,在每个分支上串行添加参数可调的多比率空洞卷积,将二者结合得到轻量化特征增强模块,同时设计靠近输入层的基础特征提取模块;
S3:将步骤S2中设计的基础特征提取模块进行块间级联得到基础特征提取单元,将轻量化特征增强模块进行块间级联得到轻量化特征增强单元;
S4:搭建总体网络结构:设计主干网络,将步骤S3中的基础特征提取单元、轻量化特征增强单元嵌入到主干网络中,将得到的融合特征通过一个全局平均池化层,对整个网络从结构上做正则化处理;
S5:将步骤S4中的全局平均池化层得到的特征向量与全连接层连接,通过计算转换得到牙齿根管图像类别概率;
S6:将网络总体结构搭建完成后,对网络中参数进行训练更新,得到最终C形根管检测模型。
3.根据权利要求2所述的一种下颌第二磨牙C形根管检测方法,其特征在于:所述步骤S2中的轻量化特征增强模块的构建步骤如下:
先使用1×1卷积降低维度,实现跨通道的交互和信息整合,通过使用1×3、3×1卷积核串行代替传统3×3卷积,然后再利用非对称卷积组建分支结构,并在分支结构中添加可调比率参数的空洞卷积来扩大感受野和捕获多尺度上下文信息,并将之后的特征图与原始输入图进行通道合并。
4.根据权利要求3所述的一种下颌第二磨牙C形根管检测方法,其特征在于:所述轻量化特征增强模块的结构包括:
分支一:卷积层lmb1_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层lmb1_conv2,采用1×3卷积核,步长为1,并使用BN;卷积层lmb1_conv3,采用3×3卷积核,步长为1,dilation为可调参数r2,使用BN和ReLU;
分支二:卷积层lmb2_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层lmb2_conv2,采用3×1卷积核,步长为1,并使用BN;卷积层lmb2_conv3,采用3×3卷积核,步长为1,dilation为可调参数r2;
分支三:卷积层lmb3_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层lmb3_conv2,采用1×3卷积核,步长为1,并使用BN;卷积层lmb3_conv2,采用3×1卷积核,步长为1,并使用BN;卷积层lmb4=3_conv3,采用3×3卷积核,步长为1,dilation为可调参数r3;
特征融合:三个分支的输出进行特征融合,再进行一层卷积层,采用1×1卷积核,步长为1,使用BN。
5.根据权利要求4所述的一种下颌第二磨牙C形根管检测方法,其特征在于:所述步骤S2中的基础特征提取模块的结构包括:
分支一:卷积层bmb1_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层bmb1_conv2,采用3×3卷积核,步长为1,dilation为可调参数r1,使用BN和ReLU;
分支二:卷积层bmb2_conv1,采用1×1卷积核,步长为1,并使用BN和ReLU;卷积层bmb2_conv2,采用3×3卷积核,步长为1,并使用BN和ReLU;卷积层bmb2_conv3,采用3×3卷积核,步长为1,dilation为可调参数r2;
特征融合:两个分支的输出进行特征融合,再进行一层卷积层,采用1×1卷积核,步长为1,使用BN。
6.根据权利要求5所述的一种下颌第二磨牙C形根管检测方法,其特征在于:所述步骤S3中的基础特征提取模块之间的块级联是通过将基础特征提取单元内部的前面的基础特征提取模块层与后面的基础特征提取模块层相连实现的;
所述步骤S3中的轻量化特征增强模块之间的块级联是通过将轻量化特征增强单元内部的前面的轻量化特征增强模块层与后面的轻量化特征增强模块层相连实现的;
通过特征在维度上的连接来实现特征重用,每个基础特征提取单元内的基础特征提取模块互相连接,每个基础特征提取模块都会接受其前面所有基础特征提取模块通过在维度上的拼接作为下一基础特征提取模块的输入,每个轻量化特征增强单元内的轻量化特征增强模块互相连接,每个轻量化特征增强模块都会接受其前面所有轻量化特征增强模块通过在维度上的拼接作为下一轻量化特征增强模块的输入,连接输出的公式如下:
Figure DEST_PATH_IMAGE001
其中,C l 代表非线性转化函数,x 0 ,x 1 ,⋯,x l-1 为上一个基础特征提取模块或上一个轻量化特征增强模块的输出。
7.根据权利要求6所述的一种下颌第二磨牙C形根管检测方法,其特征在于:所述总体网络结构包括:
第一层卷积层conv1,采用3×3卷积核,步长为2,并使用BN和ReLU;
第二层卷积层conv2,采用3×3卷积核,步长为1,并使用BN和ReLU;
第一层池化层pool1,采用最大池化,窗口大小为2,步长为2;
基础特征提取单元层;
第三层卷积层conv3,采用3×3卷积核,步长为1,并使用BN和ReLU;
第二层池化层pool2,采用最大池化,窗口大小为2,步长为2;
第一轻量化特这增强单元层;
第四层卷积层conv4,采用3×3卷积核,步长为1,并使用BN和ReLU;
第三层池化层pool3,采用最大池化,窗口大小为2,步长为2;
第二轻量化特这增强单元层;
然后使用全局平均池化把每个通道的特征图输出均值结果作为一个神经元,最后通过一层全连接层和LogSoftmax函数进行分类。
8.根据权利要求7所述的一种下颌第二磨牙C形根管检测方法,其特征在于:所述步骤S5中下颌第二磨牙图像的根管类型概率计算公式如下式:
Figure 703961DEST_PATH_IMAGE002
上式中:P i 为类别概率,x i 为第i个节点的输出值,x j 为对应类别为j的输出。
9.根据权利要求8所述的一种下颌第二磨牙C形根管检测方法,其特征在于:所述步骤S6具体包括:
对网络中的可训练参数进行初始化,将步骤S1中经过预处理的图像数据分批次输入到网络中,根据预测值与真实标签构建损失函数并计算损失,使用优化算法进行反向传播更新网络的参数,直至损失在一定范围内不再下降,此时将网络参数保存为最终模型。
CN202211219952.3A 2022-10-08 2022-10-08 一种下颌第二磨牙c形根管检测装置及方法 Active CN115281709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211219952.3A CN115281709B (zh) 2022-10-08 2022-10-08 一种下颌第二磨牙c形根管检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211219952.3A CN115281709B (zh) 2022-10-08 2022-10-08 一种下颌第二磨牙c形根管检测装置及方法

Publications (2)

Publication Number Publication Date
CN115281709A CN115281709A (zh) 2022-11-04
CN115281709B true CN115281709B (zh) 2022-12-27

Family

ID=83834845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211219952.3A Active CN115281709B (zh) 2022-10-08 2022-10-08 一种下颌第二磨牙c形根管检测装置及方法

Country Status (1)

Country Link
CN (1) CN115281709B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153245A1 (en) * 2018-02-09 2019-08-15 Baidu.Com Times Technology (Beijing) Co., Ltd. Systems and methods for deep localization and segmentation with 3d semantic map
CN111340770A (zh) * 2020-02-22 2020-06-26 太原理工大学 结合全局加权lbp和纹理分析的癌症预后模型构建方法
CN111627014A (zh) * 2020-05-29 2020-09-04 四川大学 一种基于深度学习的根管检测与评分的方法及系统
CN111656408A (zh) * 2017-12-22 2020-09-11 普罗马顿控股有限责任公司 使用深度学习方法的自动3d牙根形状预测
CN113516639A (zh) * 2021-06-30 2021-10-19 哈尔滨工业大学(深圳) 基于全景x光片的口腔异常检测模型的训练方法及装置
CN115131778A (zh) * 2022-06-15 2022-09-30 大连理工大学 一种基于深度学习的场景文本检测方法
CN115272359A (zh) * 2021-04-30 2022-11-01 合肥美亚光电技术股份有限公司 牙齿分割方法、牙齿面数据获取方法和口腔ct设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210217170A1 (en) * 2018-10-30 2021-07-15 Diagnocat Inc. System and Method for Classifying a Tooth Condition Based on Landmarked Anthropomorphic Measurements.
CN110503652B (zh) * 2019-08-23 2022-02-25 北京大学口腔医学院 下颌智齿与邻牙及下颌管关系确定方法、装置、存储介质及终端
CN111932518A (zh) * 2020-08-12 2020-11-13 杭州深睿博联科技有限公司 一种深度学习的全景牙片病灶检测及分割方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111656408A (zh) * 2017-12-22 2020-09-11 普罗马顿控股有限责任公司 使用深度学习方法的自动3d牙根形状预测
WO2019153245A1 (en) * 2018-02-09 2019-08-15 Baidu.Com Times Technology (Beijing) Co., Ltd. Systems and methods for deep localization and segmentation with 3d semantic map
CN111340770A (zh) * 2020-02-22 2020-06-26 太原理工大学 结合全局加权lbp和纹理分析的癌症预后模型构建方法
CN111627014A (zh) * 2020-05-29 2020-09-04 四川大学 一种基于深度学习的根管检测与评分的方法及系统
CN115272359A (zh) * 2021-04-30 2022-11-01 合肥美亚光电技术股份有限公司 牙齿分割方法、牙齿面数据获取方法和口腔ct设备
CN113516639A (zh) * 2021-06-30 2021-10-19 哈尔滨工业大学(深圳) 基于全景x光片的口腔异常检测模型的训练方法及装置
CN115131778A (zh) * 2022-06-15 2022-09-30 大连理工大学 一种基于深度学习的场景文本检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
A lightweight convolutional neural network model with receptive field block for C-shaped root canal detection in mandibular second molars;Lijuan Zhang等;《Scientific reports》;20221017(第12期);17373-1-11 *
Deep-learning for predicting C-shaped canals in mandibular second molars on panoramic radiographs;Su-jin Jeon等;《Dentomaxillofacial Radiology》;20210106;第50卷(第5期);1-6 *
Lightweight and efficient asymmetric network design for real-time semantic segmentation;Xiu-Ling Zhang等;《Applied Intelligence》;20210506;第52卷;564-579 *
Lightweight Deep Learning Model for Automatic Modulation Classification in Cognitive Radio Networks;Seung-Hwan Kim等;《IEEE Access》;20201027;第11卷(第2期);197532- 197541 *
口腔CBCT图像牙齿自动分割方法研究;陈燕琳;《中国优秀硕士学位论文全文数据库医药卫生科技辑》;20210115(第1期);E074-6 *
基于机器学习的雷达辐射源识别关键技术研究;涂维娟;《中国优秀硕士学位论文全文数据库》;20220415(第4期);全文 *
基于语义卷积神经网络和生成对抗学习的SAR图像变化检测方法;丁凡;《中国优秀硕士学位论文全文数据库信息科技辑》;20220415(第4期);I136-1007 *

Also Published As

Publication number Publication date
CN115281709A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
US11810271B2 (en) Domain specific image quality assessment
CN112037913B (zh) 一种基于卷积神经网络的牙周炎智能检测系统
WO2024032098A1 (zh) 伪影去除模型的训练方法、装置、设备、介质及程序产品
CN107958471A (zh) 基于欠采样数据的ct成像方法、装置、ct设备及存储介质
CN111685899A (zh) 基于口内图像和三维模型的牙齿正畸治疗监测方法
CN111784754A (zh) 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质
Lin et al. Tooth numbering and condition recognition on dental panoramic radiograph images using CNNs
CN112785609B (zh) 一种基于深度学习的cbct牙齿分割方法
Tekin et al. An enhanced tooth segmentation and numbering according to FDI notation in bitewing radiographs
CN114119950A (zh) 一种基于人工智能的口腔曲面断层片牙齿图像分割方法
CN116228639A (zh) 基于半监督多级不确定性感知的口腔全景片龋齿分割方法
CN114677263A (zh) Ct图像与mri图像的跨模态转换方法和装置
CN113643297B (zh) 一种基于神经网络的计算机辅助牙龄分析方法
Chen et al. Automated Detection System Based on Convolution Neural Networks for Retained Root, Endodontic Treated Teeth, and Implant Recognition on Dental Panoramic Images
Xu et al. Artificial intelligence assisted identification of therapy history from periapical films for dental root canal
CN112102234B (zh) 基于目标检测神经网络的耳硬化病灶检测及诊断系统
CN115281709B (zh) 一种下颌第二磨牙c形根管检测装置及方法
KR102346199B1 (ko) 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치
CN116894783A (zh) 基于时变约束的对抗生成网络模型的金属伪影去除方法
CN112150404B (zh) 基于联合显著图的全局到局部非刚性图像配准方法及装置
CN115909470B (zh) 基于深度学习的全自动眼睑疾病术后外观预测系统和方法
KR102653616B1 (ko) 투명 교정 장치의 성공률 결정 방법, 장치 및 기록 매체
CN113409323B (zh) 冠脉分段方法及装置、计算机可读存储介质及电子设备
CN113538451B (zh) 一种深静脉血栓的磁共振图像分割方法及装置,电子设备及存储介质
Zhao et al. Few sampling meshes-based 3D tooth segmentation via region-aware graph convolutional network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant