CN113643297A - 一种基于神经网络的计算机辅助牙龄分析方法 - Google Patents
一种基于神经网络的计算机辅助牙龄分析方法 Download PDFInfo
- Publication number
- CN113643297A CN113643297A CN202111207072.XA CN202111207072A CN113643297A CN 113643297 A CN113643297 A CN 113643297A CN 202111207072 A CN202111207072 A CN 202111207072A CN 113643297 A CN113643297 A CN 113643297A
- Authority
- CN
- China
- Prior art keywords
- loss function
- prediction
- target frame
- network
- tooth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经网络的计算机辅助牙龄分析方法,涉及牙龄图像的数据分析处理技术领域,为了解决现有技术中对牙龄的检测分析存在操作复杂、效果有限,并且耗时耗力,检测效率低的问题,本发明先完成全景片图像数据的收集、统计,以及全景片图像数据的标注,对全景片图像数据的标注包括每个牙齿的目标框和分类标签,标注的包含牙齿的目标框称为标注目标框,通过分支预测模块和融合模块的加入来构建端到端网络,通过新颖的迭代自适应Gama校正的训练方式来训练端到端网络,利用训练好的端到端网络对全景片图像数据输入直接进行牙齿的定位与牙龄分析,从而使得对牙龄的检测分析操作更容易、效果更好、耗时更短、检测效率更高。
Description
技术领域
本发明涉及牙龄图像的数据分析处理技术领域,更具体的是涉及一种基于神经网络的计算机辅助牙龄分析方法技术领域。
背景技术
年龄估计在法医鉴定和刑事诉讼等领域中有很重要的应用,对于无法提供出生日期的书面证明的群体的年龄估计,需要依赖一些生理特征,常用的方法包括骨骼、牙齿的发育情况,牙齿作为人体的必要部分,可在全景片图像数据中观察到其不同的发育阶段,一个人的年龄可以通过观测牙齿生长发育情况推断较为准确的真实年龄,牙龄分析具有很高的准确性和可靠性,因而被广泛使用;然而,人工估算牙龄是乏味且主观的,工作量涉及到32颗牙齿的牙龄分析,并且对于专业背景要求很高,因此,通过神经网络方法自动从全景片图像数据中进行牙齿定位和牙龄分析成为一个非常有意义的辅助检测方式,牙龄的计算机辅助检测与判断将极大程度上提高牙齿定位与分析的效率,减少医生的负担以及人为出错。
牙龄是口腔医学领域中较常用的指标,研究发现牙齿的发育受基因的高度调控,而受营养及内分泌因素影响较小,因此牙龄相对于个体实际年龄差异较小,准确度较高,通过影像学资料进行年龄评估的方法较多,其中口腔全景片具有较好的应用,口腔全景片是一张2D图像,可以在单个图像中可视化整个牙列,为牙龄分析提供了清晰的对象。
牙齿的定位研究最近几年较为普遍,并且围绕牙龄开展的相关分析工作已经十分普遍,有针对特定的人种、地区、性别的统计性分析,但目前可用于牙龄分析的网络还比较少,针对牙齿的定位与分析,主要的检测分析框架包括两个步骤:(1)牙齿位置的检测;(2)牙齿分类标签(牙龄)的判定。第一步的关键是为了预测目标牙齿的位置,确定目标的位置,在得到目标牙齿的位置后,对该位置上的特征进行分析给出牙龄分类的结果,针对牙龄分析,已有多种牙齿分析的方法。早在1973年,DEMIRJIAN等按照一定的标准将左下恒牙牙冠和牙根的矿化过程分为A~H 8个分期,并在国际上得到广泛的运用,一个完整的牙齿定位与分析系统需要效果表现良好的检测网络。
传统的牙齿定位与牙龄分析网络是基于数字图像处理方法的,传统目标检测方法分为三部分:区域选择、特征提取和分类器,即首先在给定的图像上选择一些候选的区域,然后对这些区域提取特征,最后使用训练的分类器进行分类,对于目标牙齿的区域选择,Lin等和Hosntalab等提出了基于传统计算机视觉技术的像素级检测方法,例如阈值、基于直方图的方法;其中,基于阈值检测的方法是一种常见的方法,Nomir和Abdel-Mottaleb提出了一种基于迭代阈值和自适应阈值的全自动区域检测方法,对于特征提取与分类,Lin等和Hosntalab等定义了一些描述子表示牙齿的形状,给定了诸如宽/高齿比和冠大小的参数,在此基础上使用了支持向量机(SVM),序列比对算法和前馈神经网络用于提取特征后的分类。
在计算机视觉任务中,牙齿的定位与牙龄分析被认为是一种目标检测任务,传统的目标检测网络主要包括Haar特征加上Adaboost加上Cascade、HOG特征加上SVM、HOG特征加上Cascade、DPM特征加上Latent SVM等, 这些算法虽然推动了目标检测的发展, 但仍然存在以下两点问题: 一是基于滑窗的区域选择没有针对性, 耗时较长, 窗口冗余; 二是手动标记的特征对于多变的情况具有较差的鲁棒性;最近几年基于深度神经网络的目标检测方法取得了飞速的发展,基于机器学习和简单的神经网络的方法也被应用于牙龄的分析与评估,如使用多层感知算法对1636条案例的数据集进行训练,牙龄评估准确性相比于传统评估方法有所改善,Antoine使用了十种机器学习算法对3605条病例数据进行网络分析,结果发现每个机器学习算法相比于传统方法结果都有提升。
自2013年Girshick等提出R-CNN框架后, 在此基础上的一系列框架不断被提出,如Faster R-CNN、Mask R-CNN等的two stage框架和YOLO、SSD、RetinaNet等的one stage框架, 二者都是基于锚框的目标检测,相比传统的目标检测方法, 基于卷积神经网络的锚框的方法能够进行更为精细的检测,Two-stage的目标检测方法是基于区域提取的目标检测算法,首先进行特征提取产生感兴趣区域的候选框,再对候选框进行分类和回归;2014年,由Ross Girshick提出了RCNN,是基于深度学习目标检测的开山之作,率先尝试用 CNN卷积神经网络提取图像特征,相比传统手工设置特征的 HOG、DPM 等算法,取得了很大进步,检测率显著提升,该算法在VOC2007 数据集上的所有类别的平均精准度达到 66%,并且2015年提出了Fast-RCNN,以及2017年提出的Faster-RCNN,Mask-RCNN, two-stage方法在VOC2007数据集的平均精度已经达到了73.2%,虽然其检测精度一直在不断提高,但是检测速度普遍较慢,不适合对实时性要求较高的应用场景。
综上,现有技术中对牙龄分析的方法主要是基于传统机器学习的思想,这种基于人工特征采集的方法需要大量的人力、物力对口腔特征进行采集,部分方法操作复杂,在复杂的牙龄分析任务中效果有限,并且耗时耗力;以及基于卷积神经网络方法的牙齿定位方法,大多数该类方法都是采用基于目标检测two-stage的方法,需要对数据先进行区域提取,提取候选区域然后再进行后续的预测任务,并且其训练过程也相对繁琐,网络不能很快的收敛,总体不能达到快速、便捷的效果,训练网络比较耗时并且检测速度较慢,为了解决上述技术问题,我们提出了一种基于神经网络的计算机辅助牙龄分析方法。
发明内容
本发明的目的在于:为了解决现有技术中对牙龄的检测分析存在操作复杂、效果有限,并且耗时耗力,检测效率低的问题,本发明提供一种基于神经网络的计算机辅助牙龄分析方法,通过分支预测模块和融合模块的加入来构建端到端网络,通过新颖的迭代自适应Gama校正的训练方式来训练端到端网络,利用训练好的端到端网络对全景片图像数据输入直接进行牙齿的定位与牙龄分析,从而使得对牙龄的检测分析操作更容易、效果更好、耗时更短、检测效率更高。
本发明为了实现上述目的具体采用以下技术方案:
一种基于神经网络的计算机辅助牙龄分析方法,包括以下步骤:
数据准备:完成全景片图像数据的收集、统计,以及全景片图像数据的标注,对全景片图像数据的标注包括每个牙齿的目标框和分类标签,标注的包含牙齿的目标框称为标注目标框,分类标签包括牙齿的牙位标签和牙齿的牙龄标签;
端到端网络的构建:通过DarkNet-53网络结构提取全景片图像数据的骨干特征,通过特征金字塔网络结构获得多尺度特征图,通过分支预测模块将多尺度特征图分为两个特征提取分支,一个特征提取分支用于预测牙齿的预测目标框和牙位标签,另一个特征提取分支用于预测牙齿的预测目标框和牙龄标签,通过融合模块将两个特征提取分支的预测结果按照牙齿的预测目标框信息非极大值抑制进行筛选,并将对应的牙位标签和牙龄标签进行融合后,完成端到端网络的构建;
端到端网络的训练:将数据集中的部分全景片图像数据和标注信息划定为训练集输入端到端网络,训练集通过构建好的端到端网络进行计算,一个训练周期计算一次网络损失函数,再进行网络反向传播,更新网络参数,十个训练周期计算一次Gama值校正系数,并对全景片图像数据进行Gama校正后,经过一百个训练周期后完成端到端网络的训练;
端到端网络的训练中,利用标注的信息对应全景片图像数据的预测结果计算网络损失函数,网络损失函数包括为预测目标框的中心点预测损失函数、预测目标框的宽高预测损失函数、分类标签的损失函数和预测目标框的置信度损失函数之和,其计算公式为:
其中,为网络损失函数,为预测目标框的中心点预测损失函数,为预测目标框的宽高预测损失函数,为牙位标签的分类损失函数,为牙龄标签的分类损失函数, 为预测目标框的置信度损失函数;为预测目标框的中心点预测损失函数的权重超参数,设置为2.5,为预测目标框的宽高预测损失函数的权重超参数,设置为2.5,为预测目标框宽高损失函数。
预测目标框的中心点预测损失函数采用均方损失函数进行计算,其计算公式为:
其中,tx,ty均表示标注目标框对应的中心点坐标,x,y均表示端到端网络输出的预测目标框对应的中心点坐标,表示预测目标框中是否包含物体,若包含物体,则计算预测目标框中心点预测损失函数,若不包含物体,则计算预测目标框的置信度损失函数。
预测目标框的宽高预测损失函数采用均方损失函数进行计算,其计算公式为:
其中,tw表示标注目标框对应的宽,th表示标注目标框对应的高,w表示端到端网络输出的预测目标框相应的宽,h表示端到端网络输出的预测目标框相应的高,表示预测目标框中是否包含物体,若包含物体,则计算预测目标框的宽高预测损失函数,若不包含物体,则计算预测目标框的置信度损失函数。
计算牙位标签的分类损失函数时,将标注目标框对应所属的牙位类别标签表示为元组形式,则,元组含有32个元素,对应32个牙位类别n=32,若标注目标框属于第i个牙位类别,则,其余元素均为0,i∈n;端对端网络输出的预测目标框所属各个牙位类别的概率表示为元组,则,元组含有32个元素,对应32个牙位类别,n=32,表示端对端网络预测的预测目标框属于第i个牙位类别的概率,i∈n,牙位标签的分类损失函数为:
计算牙龄标签的分类损失函数时,将标注目标框对应所属的牙龄类别标签表示为元组形式,则,元组含有9个元素,对应9个牙龄类别,n=9,表示标注目标框对应所属的牙龄的类别,若标注目标框属于第i个类别,则,其余元素均为0,i∈n,端对端网络输出的预测目标框所属各个牙龄类别的概率表示为元组,则,元组含有9个元素,对应9个牙龄类别,n=9,表示端对端网络预测的该预测目标框属于第i个牙龄类别的概率,i∈n,牙位标签的分类损失函数为:
目标框的置信度损失函数采用交叉熵函数进行计算,其计算公式为:
其中,表示包含物体的预测目标框的置信度损失函数,表示不包含物体的预测目标框的置信度损失函数,表示预测框中是否不包含物体,若预测框中不包含物体,则计算预测目标框的置信度损失函数,表示预测框中是否包含物体,若包含物体,则计算预测目标框的置信度损失函数;表示当前标注目标框中包含物体的置信度,总是成立,表示网络输出的预测目标框中包含物体的置信度,表示包含物体的预测目标框的置信度损失函数的权重超参数,设置为5;表示不包含物体的预测目标框的置信度损失函数的权重超参数,设置为0.5。
进行Gama校正时,Gama校正可改善图像的对比度,其计算公式为:
t为当前训练周期, 利用指数移动平均计算当前训练周期的Gama校正系数:
经过100个训练周期的迭代训练,即可完成整个端对端网络的训练;
其中,为平滑常数,若训练100个训练周期,则迭代周期为10次,因此需要10个加权系数,则;为本次迭代周期内的网络损失函数,为上次计算校正系数值对应的训练周期的网络损失函数,为当前训练周期的Gama校正系数,为上次计算的Gama校正系数,为当前根据端到端网络预测结果算出的自适应校正值,中当前训练周期的自适应校正值所占比重较大,之前训练周期的自适应校正值值所占比重呈指数衰减,其中,i>0且i<t。
基于训练好的端到端网络对输入的全景片图像数据进行牙齿定位与检测,输出预测牙齿的预测目标框信息以及对应的牙位分类、牙龄分类。
本发明的有益效果如下:
(1)本发明中通过分支预测模块和融合模块的加入来构建端到端网络,通过新颖的迭代自适应Gama校正的训练方式来训练端到端网络,利用训练好的端到端网络对全景片图像数据输入直接进行牙齿的定位与牙龄分析,从而使得对牙龄的检测分析操作更容易、效果更好、耗时更短、检测效率更高。
(2)本发明中采用对全景片图像数据输入直接进行牙齿的定位与牙龄分析,这一方法使得检测更全面可靠,能提取到更丰富的牙齿位置信息和分类分级特征,为后续的诊疗提供更好的数据准备。
(3)本发明中使用端到端的YOLOV3网络,这一网络对相似的牙齿特征形成更丰富的表达,并通过多尺度特征图整合特征信息获得分类的预测结果,并对多任务的分类进行分支预测并集成,使得整个任务更完整、准确、高效。
(4)本发明中使用了新颖的迭代自适应Gama校正的训练方式,利用每一次迭代训练中网络的输出结果辅助网络区分目标与背景之间的差异,使得网络的输入更接近正确答案,从而提高了网络的学习能力。
(5)本发明中对于已经完成训练的模型,可以快速检测与分析,实现无人值守批量操作,节省了初级检测的人力物力,解放医生工作集中于更高层次的诊断的处置方案设计。
附图说明
图1为本发明的流程图;
图2为本发明端到端网络构建的示意图;
图3为本发明端到端网络训练的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
实施例
如图1-图3所示,本实施例提供一种基于神经网络的计算机辅助牙龄分析方法,包括以下步骤:
数据准备:完成全景片图像数据的收集、统计,以及全景片图像数据的标注,对全景片图像数据的标注包括每个牙齿的目标框和分类标签,标注的包含牙齿的目标框称为标注目标框,分类标签包括牙齿的牙位标签和牙齿的牙龄标签;
深度神经网络方法需要大量的数据用于训练,因此首先需要准备好数据用于网络的训练,本发明所用数据为口腔全景片图像数据,采集数据800例左右,年龄分布为3-14岁,来自于不同的设备,有效长宽比具有一定的多样性,本发明使用的方法是一种有监督的学习方法,因此在数据准备阶段需要对训练数据进行标注,对于每一例全景片图像数据,都由多名标注者交叉进行标注,标注的工作在每一例全景片图像数据上完成,包括每个牙齿的标注目标框以及分类标签。
其中,标注目标框由一个矩形框标定,矩形框保证在最小的情况下框住牙齿,每个标定的矩形框保存左上角和右下角的坐标;
牙位标签按照FDI牙位表示法进行标注,见表1均按照恒牙的表示法,每颗牙用两位阿拉伯数字表示,第一位表示牙齿所在的象限,右上、左上、左下、右下在恒牙为1、2、3、4;第二位表示牙齿的位置:从中门齿到第三臼齿为1-8。
表1 FDI牙位表示法
牙龄标签按照改良Demirjian方法进行标注,根据牙胚、牙冠、牙根发育程度不同,可以分为R、A、B、C、D、E、F、G、H,共9类,R为无牙囊,H为发育闭合,由R到H发育成熟程度递增;标注期间实行多级审核制度,对于有争议的标注结果,交付审核员处理,最后得到准确一致的结果用于模型的输入。
端到端网络的构建:通过DarkNet-53网络结构提取全景片图像数据的骨干特征,通过特征金字塔网络结构获得多尺度特征图,通过分支预测模块将多尺度特征图分为两个特征提取分支,一个特征提取分支用于预测牙齿的预测目标框和牙位标签,另一个特征提取分支用于预测牙齿的预测目标框和牙龄标签,通过融合模块将两个特征提取分支的预测结果按照牙齿的预测目标框信息非极大值抑制进行筛选,并将对应的牙位标签和牙龄标签进行融合后,完成端到端网络的构建;
本发明中采用的主干特征提取网络结构参考何凯明2016年在CVPR大会上提出的深度残差网络结构,该网络结构提出了在传统卷积网络结构中加入捷径连接层以消除深度网络在学习过程中梯度回传容易消失的问题,使得网络在越深的情况下越能够学习到更深层的特征,Darknet-53网络含有53个卷积层,其最开始有两个单独的卷积层,之后连接5组block,每组分别是1、2、8、8、4个block,每个block里面有三个层,其中第一层对应着残差结构,起到调整输入特征矩阵shape的作用,经过该网络结构可以实现图像的下采样进行提取特征;
特征金字塔网络结构于2017年被提出,由于深度卷积网络在低层的卷积块中特征层具有很高的分辨率,但是特征语义还未很好地提取,经过多次下采样后特征层分辨率会下降,但是特征语义得到较好地学习,而融合低层和高层的特征可以更好地辅助网络学习,因此特征金字塔网络结构具有很广泛的应用,并且能够在增加较少计算量的前提下融合低分辨率语义信息较强的特征图和高分辨率语义信息较弱,但空间信息丰富的特征图。
本发明中采用了3种不同尺度特征层用于后续预测任务,该结构通过反卷积模块进行上采样,从而得到更高的分辨率输出,其包括三个反卷积组,每个组都包括一个3*3的可变卷积和一个上采样,每次上采样都会将特征图尺寸放大一倍,将上采样对应的卷积核初始化为双线性插值。
综上,在端到端网络的构建中,本发明使用的目标牙齿检测与分析网络使用了YOLOV3中提出的改进的残差网络(ResNet)和特征金字塔网络,并在最后的输出层新增了分支预测与集成融合,完成牙齿位置和牙龄评级两个不同的分类任务,实现了端到端的检测,具备高效、快速的优点。
端到端网络的训练:将数据集中的部分全景片图像数据和标注信息划定为训练集输入端到端网络,训练集通过构建好的端到端网络进行计算,一个训练周期计算一次网络损失函数,再进行网络反向传播,更新网络参数,十个训练周期计算一次Gama值校正系数,并对全景片图像数据进行Gama校正后,经过一百个训练周期后完成端到端网络的训练;网络的训练数据为数据准备阶段得到的牙齿的位置信息以及分类标签,本发明中的网络是一种端到端的模型,因此模型只要得到输入数据就可以进行训练,网络输入的全景片图像数据,由于大部分全景片图像数据的有效高宽比为1:2,所以本发明将输入的全景片图像数据大小固定为192*416*3,全景片图像数据在输入到端到端网络之前,全景片图像数据将先经过裁剪,平移,缩放等方法进行动态数据增广,然后每一例全景片图像数据都输入到端到端网络中可以得到6*13,12*26,24*52三个不同尺度的特征层。
端到端网络的训练中,利用标注的信息对应全景片图像数据的预测结果计算网络损失函数,网络损失函数包括为预测目标框的中心点预测损失函数、预测目标框的宽高预测损失函数、分类标签的损失函数和预测目标框的置信度损失函数之和,其计算公式为:
其中,为网络损失函数,为预测目标框的中心点预测损失函数,为预测目标框的宽高预测损失函数,为牙位标签的分类损失函数,为牙龄标签的分类损失函数, 为预测目标框的置信度损失函数;为预测目标框的中心点预测损失函数的权重超参数,设置为2.5;为预测目标框的宽高预测损失函数的权重超参数,设置为2.5,为预测目标框宽高损失函数。
预测目标框的中心点预测损失函数采用均方损失函数进行计算,其计算公式为:
其中,tx,ty均表示标注目标框对应的中心点坐标,x,y均表示端到端网络输出的预测目标框对应的中心点坐标,表示预测目标框中是否包含物体,若包含物体,则计算预测目标框中心点预测损失函数,若不包含物体,则计算预测目标框的置信度损失函数。
预测目标框的宽高预测损失函数采用均方损失函数进行计算,其计算公式为:
其中,tw表示标注目标框对应的宽,th表示标注目标框对应的高,w表示端到端网络输出的预测目标框相应的宽,h表示端到端网络输出的预测目标框相应的高,表示预测目标框中是否包含物体,若包含物体,则计算预测目标框的宽高预测损失函数,若不包含物体,则计算预测目标框的置信度损失函数。
计算牙位标签的分类损失函数时,将标注目标框对应所属的牙位类别标签表示为元组形式,则,元组含有32个元素,对应32个牙位类别n=32,若标注目标框属于第i个牙位类别,则,其余元素均为0,i∈n;端对端网络输出的预测目标框所属各个牙位类别的概率表示为元组,则,元组含有32个元素,对应32个牙位类别,n=32,表示端对端网络预测的预测目标框属于第i个牙位类别的概率,i∈n,牙位标签的分类损失函数为:
计算牙龄标签的分类损失函数时,将标注目标框对应所属的牙龄类别标签表示为元组形式,则,元组含有9个元素,对应9个牙龄类别,n=9,表示标注目标框对应所属的牙龄的类别,若标注目标框属于第i个类别,则,其余元素均为0,i∈n,端对端网络输出的预测目标框所属各个牙龄类别的概率表示为元组,则,元组含有9个元素,对应9个牙龄类别,n=9,表示端对端网络预测的该预测目标框属于第i个牙龄类别的概率,i∈n,牙位标签的分类损失函数为:
目标框的置信度损失函数采用交叉熵函数进行计算,其计算公式为:
其中,表示包含物体的预测目标框的置信度损失函数,表示不包含物体的预测目标框的置信度损失函数,表示预测框中是否不包含物体,若预测框中不包含物体,则计算预测目标框的置信度损失函数,表示预测框中是否包含物体,若包含物体,则计算预测目标框的置信度损失函数;表示当前标注目标框中包含物体的置信度,总是成立,表示网络输出的预测目标框中包含物体的置信度,表示包含物体的预测目标框的置信度损失函数的权重超参数,设置为5;表示不包含物体的预测目标框的置信度损失函数的权重超参数,设置为0.5。
进行Gama校正时,本发明提出了一种结合迭代自适应Gama校正的训练方式,根据训练过程中端到端网络的输出结果动态修改输入的图像,提升网络的学习效果与收敛速度,在端到端网络进行预测与分类的时候需要提取牙齿的特征,区分目标(牙齿)和背景(非背景)的特征,因此可以用一些辅助的算法对输入图像进行预处理操作,极大程度地凸显目标与背景的差别,提高图像的对比度可以辅助模型的训练学习,Gama校正是一种常用的非线性亮度增强技术,可改善图像的对比度,其计算公式为:
其中mean为图像的平均值;
由于我们关注的是牙齿与非牙齿的区分,因此针对值的计算,本发明只利用了目标牙齿框所包围的局部像素值特征,得到代表局部区域的值,而由于全局对比度和局部对比度存在一定的差异与影响因素,为了比减弱这种影响,本发明引在求取自适应校正系数的过程中引入局部对比度与全局对比度的比值作为其权值,因此,自适应校正系数的计算公式为:
从以上公式可以看出,每幅图像对应的Gama系数都包含图像的目标区域特征和全局信息,具备一定的自适应性,若全局对比度大于局部对比度,则需要增大预测目标框和背景之间的灰度差异,则变小,提高图像的对比度;反之,降低图像的对比度,变大;
根据上述中提到的算法有区分目标与背景的作用,将自适应校正系数运用到训练过程中,在训练过程中会进行训练周期的迭代,一训练周期是指将所有数据训练一遍,由于存储资源有限,因此不能一次性将所有数据输入网络,只能分批输入,为了度量是否所有数据经过了一次训练,引入了训练周期的概念,每次训练周期结束后会进行网络损失函数的计算和反向传播更新网络参数,本发明中设置10个训练周期为一个迭代周期,当端到端网络训练10个训练周期后,将端到端网络的预测的预测目标框进行解码,对应到输入的图像上,根据端到端网络的输出预测目标框以及上述中提到的计算当前的Gama值,对输入的图像进行自适应Gama校正,作为后10个训练周期的输入;
由于初期网络的预测结果相较于后期网络的预测结果不准确,需要对Gama值进行权重的限制,t为当前训练周期, 利用指数移动平均计算当前训练周期的Gama校正系数:
经过100个训练周期的迭代训练,即可完成整个端对端网络的训练;
其中,为平滑常数,若训练100个训练周期,则迭代周期为10次,因此需要10个加权系数,则;为本次迭代周期内的网络损失函数,为上次计算校正系数值对应的训练周期的网络损失函数,为当前训练周期的Gama校正系数,为上次计算的Gama校正系数,为当前根据端到端网络预测结果算出的自适应校正值,中当前训练周期的自适应校正值所占比重较大,之前训练周期的自适应校正值值所占比重呈指数衰减,其中,i>0且i<t。
基于训练好的端到端网络对输入的全景片图像数据进行牙齿定位与检测,输出预测牙齿的预测目标框信息以及对应的牙位分类、牙龄分类,本发明通过分支预测模块和融合模块的加入来构建端到端网络,通过新颖的迭代自适应Gama校正的训练方式来训练端到端网络,利用训练好的端到端网络对全景片图像数据输入直接进行牙齿的定位与牙龄分析,从而使得对牙龄的检测分析操作更容易、效果更好、耗时更短、检测效率更高。
Claims (8)
1.一种基于神经网络的计算机辅助牙龄分析方法,其特征在于:包括以下步骤:
数据准备:完成全景片图像数据的收集、统计,以及全景片图像数据的标注,对全景片图像数据的标注包括每个牙齿的目标框和分类标签,标注的包含牙齿的目标框称为标注目标框,分类标签包括牙齿的牙位标签和牙齿的牙龄标签;
端到端网络的构建:通过DarkNet-53网络结构提取全景片图像数据的骨干特征,通过特征金字塔网络结构获得多尺度特征图,通过分支预测模块将多尺度特征图分为两个特征提取分支,一个特征提取分支用于预测牙齿的预测目标框和牙位标签,另一个特征提取分支用于预测牙齿的预测目标框和牙龄标签,通过融合模块将两个特征提取分支的预测结果按照牙齿的预测目标框信息非极大值抑制进行筛选,并将对应的牙位标签和牙龄标签进行融合后,完成端到端网络的构建;
端到端网络的训练:将数据集中的部分全景片图像数据和标注信息划定为训练集输入端到端网络,训练集通过构建好的端到端网络进行计算,一个训练周期计算一次网络损失函数,再进行网络反向传播,更新网络参数,十个训练周期计算一次Gama值校正系数,并对全景片图像数据进行Gama校正后,经过一百个训练周期后完成端到端网络的训练;
基于训练好的端到端网络对输入的全景片图像数据进行牙齿定位与检测,输出预测牙齿的预测目标框信息以及对应的牙位分类、牙龄分类。
2.根据权利要求1所述的一种基于神经网络的计算机辅助牙龄分析方法,其特征在于:端到端网络的训练中,利用标注的信息对应全景片图像数据的预测结果计算网络损失函数,网络损失函数包括为预测目标框的中心点预测损失函数、预测目标框的宽高预测损失函数、分类标签的损失函数和预测目标框的置信度损失函数之和,其计算公式为:
5.根据权利要求2所述的一种基于神经网络的计算机辅助牙龄分析方法,其特征在于:计算牙位标签的分类损失函数时,将标注目标框对应所属的牙位类别标签表示为元组形式,则,若标注目标框属于第i个牙位类别,则,其余元素均为0,i∈n;端对端网络输出的预测目标框所属各个牙位类别的概率表示为元组,则,表示端对端网络预测的预测目标框属于第i个牙位类别的概率,i∈n,牙位标签的分类损失函数为:
计算牙龄标签的分类损失函数时,将标注目标框对应所属的牙龄类别标签表示为元组形式,则,表示标注目标框对应所属的牙龄的类别,若标注目标框属于第i个类别,则,其余元素均为0,i∈n,端对端网络输出的预测目标框所属各个牙龄类别的概率表示为元组,则,表示端对端网络预测的该预测目标框属于第i个牙龄类别的概率,i∈n,牙位标签的分类损失函数为:
6.根据权利要求2所述的一种基于神经网络的计算机辅助牙龄分析方法,其特征在于:目标框的置信度损失函数采用交叉熵函数进行计算,其计算公式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111207072.XA CN113643297B (zh) | 2021-10-18 | 2021-10-18 | 一种基于神经网络的计算机辅助牙龄分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111207072.XA CN113643297B (zh) | 2021-10-18 | 2021-10-18 | 一种基于神经网络的计算机辅助牙龄分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113643297A true CN113643297A (zh) | 2021-11-12 |
CN113643297B CN113643297B (zh) | 2021-12-21 |
Family
ID=78427268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111207072.XA Active CN113643297B (zh) | 2021-10-18 | 2021-10-18 | 一种基于神经网络的计算机辅助牙龄分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113643297B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115796306A (zh) * | 2023-02-07 | 2023-03-14 | 四川大学 | 一种恒牙成熟度分级模型的训练及恒牙成熟度分级方法 |
CN116994070A (zh) * | 2023-09-25 | 2023-11-03 | 四川大学 | 基于可度量子空间动态分类器的牙齿图像处理方法及设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190026599A1 (en) * | 2017-07-21 | 2019-01-24 | Dental Monitoring | Method for analyzing an image of a dental arch |
CN208942181U (zh) * | 2018-01-11 | 2019-06-07 | 四川大学 | 一种辅助儿童口腔牙片摄影的固定夹套 |
CN110298266A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 基于多尺度感受野特征融合的深度神经网络目标检测方法 |
CN112258530A (zh) * | 2020-12-21 | 2021-01-22 | 四川大学 | 基于神经网络的计算机辅助肺结节自动分割方法 |
CN113139977A (zh) * | 2021-04-23 | 2021-07-20 | 西安交通大学 | 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法 |
CN113343853A (zh) * | 2021-06-08 | 2021-09-03 | 深圳格瑞健康管理有限公司 | 一种儿童牙龋齿智能筛查方法及装置 |
CN113361409A (zh) * | 2021-06-07 | 2021-09-07 | 黑蜂智造(深圳)科技有限公司 | 牙齿图像数据处理方法、装置、电子设备及可读存储介质 |
CN113379697A (zh) * | 2021-06-06 | 2021-09-10 | 湖南大学 | 基于深度学习的彩色图像龋病识别方法 |
-
2021
- 2021-10-18 CN CN202111207072.XA patent/CN113643297B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190026599A1 (en) * | 2017-07-21 | 2019-01-24 | Dental Monitoring | Method for analyzing an image of a dental arch |
CN208942181U (zh) * | 2018-01-11 | 2019-06-07 | 四川大学 | 一种辅助儿童口腔牙片摄影的固定夹套 |
CN110298266A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 基于多尺度感受野特征融合的深度神经网络目标检测方法 |
CN112258530A (zh) * | 2020-12-21 | 2021-01-22 | 四川大学 | 基于神经网络的计算机辅助肺结节自动分割方法 |
CN113139977A (zh) * | 2021-04-23 | 2021-07-20 | 西安交通大学 | 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法 |
CN113379697A (zh) * | 2021-06-06 | 2021-09-10 | 湖南大学 | 基于深度学习的彩色图像龋病识别方法 |
CN113361409A (zh) * | 2021-06-07 | 2021-09-07 | 黑蜂智造(深圳)科技有限公司 | 牙齿图像数据处理方法、装置、电子设备及可读存储介质 |
CN113343853A (zh) * | 2021-06-08 | 2021-09-03 | 深圳格瑞健康管理有限公司 | 一种儿童牙龋齿智能筛查方法及装置 |
Non-Patent Citations (5)
Title |
---|
WANG JIANGYONG等: "New Delay Connection for Long Short-Time Memory Networks", 《INTERNATIONAL JORNAL OF NEURAL SYSTEMS》 * |
WIDISASRI,M等: "Alveolar Bone Detection from Dental Cone Beam Computed Tomography using YOLOv3-tiny", 《2021 AIMS》 * |
YUCHENG GUO等: "Acuurate age classification using manual method and deep convolutional neural network based on orthopantomogram images", 《INTERNATIONAL JOURNAL OF LEGAL MEDICINE》 * |
张雅玲等: "基于GCNN的CBCT模拟口扫点云数据牙齿分割算法", 《计算机辅助设计与图形学学报》 * |
郭际香等: "基于深度学习的全景片中颌骨疾病分类研究", 《现代计算机》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115796306A (zh) * | 2023-02-07 | 2023-03-14 | 四川大学 | 一种恒牙成熟度分级模型的训练及恒牙成熟度分级方法 |
CN116994070A (zh) * | 2023-09-25 | 2023-11-03 | 四川大学 | 基于可度量子空间动态分类器的牙齿图像处理方法及设备 |
CN116994070B (zh) * | 2023-09-25 | 2023-12-01 | 四川大学 | 基于可度量子空间动态分类器的牙齿图像处理方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113643297B (zh) | 2021-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022199143A1 (zh) | 一种基于u型网络的医学图像分割方法 | |
CN110223281B (zh) | 一种数据集中含有不确定数据时的肺结节图像分类方法 | |
CN110992382B (zh) | 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统 | |
CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
CN113643297B (zh) | 一种基于神经网络的计算机辅助牙龄分析方法 | |
CN110490863A (zh) | 基于深度学习的检测冠脉造影有无完全闭塞病变的系统 | |
CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
CN113139977B (zh) | 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法 | |
Lakshmi et al. | Tooth decay prediction and classification from X-ray images using deep CNN | |
CN112308822A (zh) | 基于深度卷积神经网络的椎间盘ct图像检测方法 | |
CN114581432A (zh) | 一种基于深度学习的舌象仪舌象分割方法 | |
CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 | |
CN113781488A (zh) | 舌象图像的分割方法、装置及介质 | |
CN115147636A (zh) | 基于胸部x光图像肺部疾病识别和分类方法 | |
CN114140437A (zh) | 一种基于深度学习的眼底硬渗出物分割方法 | |
Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
CN115953345B (zh) | 脑出血医学图像的病变合成方法、装置及存储介质 | |
CN112488165A (zh) | 一种基于深度学习模型的红外行人识别方法及系统 | |
CN115187982B (zh) | 藻类检测方法、装置及终端设备 | |
CN115761226A (zh) | 一种口腔影像分割识别方法、装置、电子设备和存储介质 | |
CN113011514B (zh) | 基于双线性池化应用于ct影像的颅内出血亚类型分类算法 | |
CN114565626A (zh) | 基于PSPNet改进的肺部CT图像分割算法 | |
CN110706209B (zh) | 一种网格网络的大脑磁共振图像肿瘤定位方法 | |
CN117152507B (zh) | 一种牙齿健康状态检测方法、装置、设备及存储介质 | |
CN113822904B (zh) | 一种图像标注装置、方法及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |