CN116309522A - 基于二阶段深度学习模型的全景片牙周炎智能分级系统 - Google Patents
基于二阶段深度学习模型的全景片牙周炎智能分级系统 Download PDFInfo
- Publication number
- CN116309522A CN116309522A CN202310358659.3A CN202310358659A CN116309522A CN 116309522 A CN116309522 A CN 116309522A CN 202310358659 A CN202310358659 A CN 202310358659A CN 116309522 A CN116309522 A CN 116309522A
- Authority
- CN
- China
- Prior art keywords
- periodontitis
- tooth
- model
- grade
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 201000001245 periodontitis Diseases 0.000 title claims abstract description 72
- 238000013136 deep learning model Methods 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 40
- 208000002679 Alveolar Bone Loss Diseases 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 210000001909 alveolar process Anatomy 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 12
- 210000003298 dental enamel Anatomy 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 210000000265 leukocyte Anatomy 0.000 description 23
- 238000003745 diagnosis Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 12
- 230000003239 periodontal effect Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 208000006386 Bone Resorption Diseases 0.000 description 3
- 230000024279 bone resorption Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 206010065687 Bone loss Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009885 systemic effect Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010057190 Respiratory tract infections Diseases 0.000 description 1
- 208000008312 Tooth Loss Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 208000010643 digestive system disease Diseases 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 208000028169 periodontal disease Diseases 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于二阶段深度学习模型的全景片牙周炎智能分级系统，进行牙周炎智能分级过程包括：获取待检测的牙齿全景片；利用牙齿分割模型对牙齿全景片进行牙齿分割，得到单颗牙齿图；利用关键点检测模型对单颗牙齿图进行关键点定位以得到每颗牙齿的关键点位置；基于每颗牙齿的关键点位置计算牙周骨损失率；依据牙周骨损失率确定牙周炎等级。该系统能够实现对牙周炎的智能快速准确分级。
Description
技术领域
本发明属于医学人工智能领域，尤其是涉及一种基于二阶段深度学习模型的全景片牙周炎智能分级系统。
背景技术
牙周炎是全球第六大最常见疾病，会导致牙槽骨吸收、牙齿脱落、无牙颌畸形和咀嚼功能障碍，近年来还被发现是心血管疾病、糖尿病、呼吸系统感染和消化系统疾病等全身系统性疾病的危险因素或指标，带来巨大的社会经济影响和医疗成本。然而，在早期阶段，牙周病的症状并不明显，有时被忽视或遗漏，导致疾病的持续和不可逆的发展，最终导致牙齿活动、丧失，甚至全身性疾病。
牙周炎进行分类有助于个性化治疗方案的制定。2017年，美国牙周病学会和欧洲牙周病学联合会基于多维分期和分级系统为牙周炎提供了新的定义和分类框架。其中，临床附着丧失(CAL)及放射学骨丧失(PBL)被认为可共同评价牙周炎严重程度以指导牙周炎分期。
牙周炎的诊断和分期分类主要基于牙周牙槽骨吸收的状态，包括水平、形状和位置。目前临床上使用牙周探针进行诊断，但是由于牙槽骨丢失往往隐藏在牙周组织后面，无法接近，所以需要全景片来评估牙周牙槽骨吸收的状态。
目前临床上主要采用牙周探诊测量临床附着丧失，评估牙周健康状况。然而，这种方法在与探测力、角度、位置和牙周探针尖端直径相关的可靠性方面受到限制。检测和评估牙周炎引起的骨质流失的常用附加方法是放射成像，其中，全景X线检查应用广泛，且已有研究证明全景放射成像PBL读数和口内在很大程度上相互一致。全景X线检查可用于补充和支持PBL的临床评估。
然而，在全景X线片上检测PBL受限于单个检查者的准确性和不同检查者之间的低可靠性，且系统、全面和可靠的评估需要大量的人力。因此，随着人工智能和深度学习的发展，一种基于深度学习的计算机辅助诊断(CAD)系统应运而生。很多研究者尝试使用AI技术在全景片自动识别牙周牙槽骨吸收的状态，进而对牙周炎进行自动分级诊断。人工智能模型可以基于同样的标准稳定地输出，当面对大量的影像学数据时，具有良好的牙周炎筛查潜力。
牙周骨丢失是牙周炎分期最重要的基础之一，其影像学诊断有准确性有限、不一致、诊断度低等问题，病患个体之间的差异更加大了基于影像的牙周炎自动分级难度。
发明内容
鉴于上述，本发明的目的是提供一种基于二阶段深度学习模型的全景片牙周炎智能分级系统，以实现对牙周炎的智能快速准确分级。
为实现上述发明目的，实施例提供了一种基于二阶段深度学习模型的全景片牙周炎智能分级系统，包括计算机存储器、以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，所述计算机存储器还存储有基于深度学习网络构建的牙齿分割模型和关键点检测模型，所述计算机处理器执行所述计算机程序时实现以下步骤：
获取待检测的牙齿全景片；
利用牙齿分割模型对牙齿全景片进行牙齿分割，得到单颗牙齿图；
利用关键点检测模型对单颗牙齿图进行关键点定位以得到每颗牙齿的关键点位置；
基于每颗牙齿的关键点位置计算牙周骨损失率；
依据牙周骨损失率确定牙周炎等级。
优选地，所述牙齿分割模型采用SwinUnet模型，在被应用之前需要经过参数优化，参数优化时，损失函数L1为：
其中，e表示分割面积，f表示真实面积。
优选地，所述关键点检测模型采用Yolov3模型，在被应用之前需要经过参数优化，参数优化时，损失函数L2为：
其中，M表示样本数量，m为样本索引，N表示关键点个数，n表示关键点索引，
分别表示Yolov3模型中Y1-Y3模块中预测关键点与实际点的欧式距离。
优选地，采用以下公式基于每颗牙齿的关键点位置计算牙周骨损失率PBL％：
PBL％＝MAX(d(m1-m2)/d(m1-m3),d(d1-d2)/d(d1-d3))
其中，d1表示远端釉牙骨质界点的位置，d2表示远端牙槽嵴的位置，d3表示远端根尖的位置，m1表示近端釉牙骨质界点的位置，m2表示近端牙槽嵴的位置，m3表示近端根尖的位置，MAX()取最大值函数，d(m1-m2)表示m1到m2的距离，d(m1-m3)表示m1到m3的距离，d(d1-d2)表示d1到d2的距离，d(d1-d3)表示d1到d3的距离。
优选地，所述依据牙周骨损失率确定牙周炎等级，包括：
当PBL％<＝15％时，牙周炎的等级为I级；
当15％<PBL％<＝33％时，牙周炎的等级为II级；
当PBL％>33％时。牙周炎的等级为Ⅲ～Ⅳ级别。
为实现上述发明目的，实施例还提供了一种基于二阶段深度学习模型的全景片牙周炎智能分级系统，包括获取模块、分割模块、定位模块、损失率计算模块、等级划分模块，
所述获取模块用于获取待检测的牙齿全景片；
所述分割模块用于利用牙齿分割模型对牙齿全景片进行牙齿分割，得到单颗牙齿图；
所述定位模块用于利用关键点检测模型对单颗牙齿图进行关键点定位以得到每颗牙齿的关键点位置；
所述损失率计算模块用于基于每颗牙齿的关键点位置计算牙周骨损失率；
所述等级划分模块用于依据牙周骨损失率确定牙周炎等级。
优选地，所述牙齿分割模型采用SwinUnet模型，在被应用之前需要经过参数优化，参数优化时，损失函数L1为：
其中，e表示分割面积，f表示真实面积。
优选地，所述关键点检测模型采用Yolov3模型，在被应用之前需要经过参数优化，参数优化时，损失函数L2为：
其中，M表示样本数量，m为样本索引，N表示关键点个数，n表示关键点索引，
分别表示Yolov3模型中Y1-Y3模块中预测关键点与实际点的欧式距离。
优选地，在损失率计算模块中，采用以下公式基于每颗牙齿的关键点位置计算牙周骨损失率PBL％：
PBL％＝MAX(d(m1-m2)/d(m1-m3),d(d1-d2)/d(d1-d3))
其中，d1表示远端釉牙骨质界点的位置，d2表示远端牙槽嵴的位置，d3表示远端根尖的位置，m1表示近端釉牙骨质界点的位置，m2表示近端牙槽嵴的位置，m3表示近端根尖的位置，MAX()取最大值函数，d(m1-m2)表示m1到m2的距离，d(m1-m3)表示m1到m3的距离，d(d1-d2)表示d1到d2的距离，d(d1-d3)表示d1到d3的距离。
优选地，在等级划分模块中，依据牙周骨损失率确定牙周炎等级，包括：
当PBL％<＝15％时，牙周炎的等级为I级；
当15％<PBL％<＝33％时，牙周炎的等级为II级；
当PBL％>33％时。牙周炎的等级为Ⅲ～Ⅳ级别。
与现有技术相比，本发明具有的有益效果至少包括：
本发明采用先分割牙齿再检测关键点的二阶段方法，与一阶段的方法相比，将每颗牙齿分割出来后，在单颗牙齿上准确识别出关键点，从而避免对一些牙齿的漏检，提升了关键点定位的准确率，从而避免因各种原因(翻转角度、结构重叠、医生能力、个人主观性等)导致的牙周炎诊断不精准的问题。
本发明可以通过在牙齿全景片上自动识别每颗牙齿的牙周骨损失率，并根据牙周骨损失率自动诊断每颗牙齿的牙周炎的等级，减少了医生的查看时间，极大地提升了诊断的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1为本发明提供的基于二阶段深度学习模型的全景片牙周炎智能分级系统的实施流程图；
图2为本发明提供的SwinUnet模型的网络结构示意图；
图3为本发明提供的SwinUnet模型中SwinTransformer块的结构示意图；
图4为本发明提供的Yolov3模型的网络结构示意图；
图5为本发明提供的关键点的示意图；
图6为本发明提供的另一全景片牙周炎智能分级系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为解决牙周炎分级诊断效率低，准确性差的问题，实施例提供了一种基于二阶段深度学习模型的全景片牙周炎智能分级系统，可以在全景片中，对牙齿、牙槽骨等关键点进行自动定位，并根据关键点的坐标计算出牙周骨损失率(periodontal bone loss，PBL)，从而完成对牙周炎的分级诊断，提升诊断效率和精度。
实施例提供的基于二阶段深度学习模型的全景片牙周炎智能分级系统，包括计算机存储器、以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，所述计算机存储器还存储有基于深度学习网络构建的牙齿分割模型和关键点检测模型，所述计算机处理器执行所述计算机程序时实现全景片牙周炎智能分级步骤。
其中，计算机存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。计算机处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现全景片牙周炎智能分级步骤。
实施例中，牙齿分割模型和关键点检测模型是联合训练的，具体过程为：
(a)图像预处理
收集患有不同等级牙周炎期的患者的牙齿全景片影像数据，对影像数据进行归一化，从而减少病例之间的差异性，使图像质量达到一致。归一化具体操作是所有像素点的值减去平均值后除以方差，最终获得均值为0，标准差为1的图像，公式如下：
其中，X表示原图像中像素点的值，
表示原图像中所有像素点的值的平均值，σ表示原图像中所有像素点的值的平均方差，X*表示标准化后图像像素点的值。
(b)数据分组
将70％的数据集作为训练集，用于模型训练；10％的数据集作为验证集，用于在模型每轮训练结束后评估模型性能；20％的数据集作为测试集，用于评估训练好的模型的性能。
(c)数据增强
对训练集图像进行数据增强，从而获得更多的训练案例，同时也可以尽量涵盖临床上所遇到的真实案例。鉴于牙齿全景片的特点，使用了三种数据增强方式：水平翻转、垂直翻转和角度旋转。其中，角度旋转是以图像中心点为中心，进行[-15°，+15°]的旋转。
(d)模型构建与训练
如图1所示，构建二阶段的分级诊断模型，分级诊断模型分为自动分割的牙齿分割模型和关键点自动检测的关键点检测模型，实现牙齿分割和关键点检测两个阶段。其中，牙齿分割模型采用自监督的SwinUnet模型，输入为牙齿全景片，输出为每颗牙齿的分割结果。关键点检测模型采用Yolov3模型，输入为每颗牙齿的裁剪图，输出为此颗牙齿上六个关键点的坐标，如图5所示，六个关键点分别为：d1远端釉牙骨质界点；d2远端牙槽嵴；d3远端根尖；m1近端釉牙骨质界点；m2近端牙槽嵴；m3近端根尖。
如图2所示，实施例提供的Swin-Unet模型是由编码器、瓶颈、解码器和跳跃连接构成，整体上如同Unet模型，包括下采样部分和上采样部分。
在下采样部分，首先在图像分割层，将大小为(x,y)的图像分割为大小为(x/64,y/64)的切片；然后在线性嵌入层，将分割后的图像块按照从左到右，从上到下的顺序排列为线性序列，并将每一块与对应的位置信息进行结合；然后连续通过2个Swin-Transformer块进行特征提取，如图3所示，Swin-Transformer块是依次由正则层、窗口自注意力机制、正则层、多层感知机、正则层、偏移窗口自注意力机制、正则层、多层感知机8层构成，每两层进行一次短连接；然后将提取特征的块进行块合并；然后再连续进行两次2个Swin-Transformer块加块合并的操作，进行充分的特征提取，到特征图。
接着模型在经过两个Swin-Transformer块后，开始上采样部分。在上采样部分，首先将2个Swin-Transformer块加块扩展作为一个单元，共经历三个单元，将特征图扩展为与输入块序列一样大小的特征块序列。在每一单元，经过了Swin-Transformer块后，会与下采样过程中对应大小的特征矩阵进行拼接，从而融入不同尺度的特征信息，获取更好的分割结果。最后特征块序列通过线性拼接得到牙齿的分割结果。
实施例中，在获得牙齿的分割结果，将对每一颗牙齿进行切片，获取单颗牙齿图像，然后使用Yolov3模型进行关键点检测。
如图4所示，Yolov3模型包含三个基本单元块：第一个是DBL单元，它包含卷积层、批正则层、LeRelu非线性激活层；第二个是残差单元，它包含两个DBL单元，然后将结果与输入相加，作为输出；第三个是残差体单元，它包含零填充层、DBL单元、若干个残差单元。
Yolov3模型以单张牙齿图像为输入，然后依次经历DBL单元、三个残差体单元，获得特征矩阵F1，然后经历一个残差体单元获得特征矩阵F2，然后再经历一个残差体单元获得特征矩阵F3，然后再通过5个DBL单元后获得特征矩阵F4，F4再通过DBL单元和卷积层可以获得最小尺度特征上的关键点位置Y1；F4通过DBL单元和上采样后得到特征矩阵F5，F5与F2拼接，然后再通过5个DBL单元后获得特征矩阵F6，然后通过DBL单元和卷积层可以获得中间尺度特征上的关键点位置Y2；F6通过DBL单元和上采样后得到特征矩阵F7，F7与F1拼接，然后再通过5个DBL单元后，再通过DBL单元和卷积层可以获得最大尺度特征上的关键点位置Y3。最后模型结合Y1、Y2、Y3共同回归出6个关键点的位置。
以数据增强后的训练集分批次进行训练模型，训练时，SwinUnet模型对应的损失函数L1为：
其中，e表示分割面积，f表示真实面积。
Yolov3模型对应的损失函数L2为：
其中，M表示样本数量，m为样本索引，N表示关键点个数，n表示关键点索引，
分别表示Yolov3模型中Y1-Y3模块中预测关键点与实际点的欧式距离。
每轮训练结束后，以模型在验证集上的性能作为指标对模型进行优化，在多轮训练后，如模型在验证集上性能好，则表示模型训练结束。
实施例中，还在测试集上，对模型的分类效果进行评估：对分类任务的评估，需要计算每一类的精确率(Precision)和召回率(Recall)，然后计算平均精确率与平均召回率。每一类的精确率计算公式如下：
其中，TP(True Positive)表示正确分类到本类的案例，FP(False Positive)表示错误分类到本类的其它类案例。
每一类的召回率计算公式如下：
其中，TN(True Negative)表示错误分到其它类的本类案例。最终模型在测试集上的分类性能AUC进行评估，AUC是以假正率(FP_rate)和假负率(TP_rate)为轴的ROC(Receiver Operating Characteristic)曲线下面的面积。模型将综合平均精确率、平均召回率和平均AUC这些指标进行评估。
实施例中，将上述训练好的牙齿分割模型和关键点检测模型存储到计算机存储器中，即可以实现全景片牙周炎智能分级，如图1所示，包括以下步骤：
步骤1，获取待检测的牙齿全景片；
步骤2，利用牙齿分割模型对牙齿全景片进行牙齿分割，得到单颗牙齿图；
步骤3，利用关键点检测模型对单颗牙齿图进行关键点定位以得到每颗牙齿的关键点位置；
步骤4，基于每颗牙齿的关键点位置计算牙周骨损失率；
实施例中，采用以下公式基于每颗牙齿的关键点位置计算牙周骨损失率PBL％，包括：
PBL％＝MAX(d(m1-m2)/d(m1-m3),d(d1-d2)/d(d1-d3))
其中，d1表示远端釉牙骨质界点的位置，d2表示远端牙槽嵴的位置，d3表示远端根尖的位置，m1表示近端釉牙骨质界点的位置，m2表示近端牙槽嵴的位置，m3表示近端根尖的位置，MAX()取最大值函数，d(m1-m2)表示m1到m2的距离，d(m1-m3)表示m1到m3的距离，d(d1-d2)表示d1到d2的距离，d(d1-d3)表示d1到d3的距离。
步骤5，依据牙周骨损失率确定牙周炎等级。
实施例中，根据牙周和种植体周围疾病和条件分类的共识，通过PBL％来自动确定牙周炎的等级，具体标准如下：I级对应PBL％<＝15％)；Ⅱ对应15％<PBL％<＝33％；Ⅲ～Ⅳ对应PBL％>33％，具体Ⅲ级和Ⅳ级的还要结合医生的临床判断。
基于同样的发明构思，实施例还提供了一种基于二阶段深度学习模型的全景片牙周炎智能分级系统，如图6所示，包括获取模块、分割模块、定位模块、损失率计算模块、等级划分模块，
其中，获取模块用于获取待检测的牙齿全景片；分割模块用于利用牙齿分割模型对牙齿全景片进行牙齿分割，得到单颗牙齿图；定位模块用于利用关键点检测模型对单颗牙齿图进行关键点定位以得到每颗牙齿的关键点位置；损失率计算模块用于基于每颗牙齿的关键点位置计算牙周骨损失率；等级划分模块用于依据牙周骨损失率确定牙周炎等级。
其中，分割模块和定位模块采用的牙齿分割模型和关键点检测模型通过上述方法构建获得，此处不再赘述。
在损失计算模块中，采用以下公式基于每颗牙齿的关键点位置计算牙周骨损失率PBL％，PBL％＝MAX(d(m1-m2)/d(m1-m3),d(d1-d2)/d(d1-d3))
在在等级划分模块中，当PBL％<＝15％时，牙周炎的等级为I级；当15％<PBL％<＝33％时，牙周炎的等级为II级；当PBL％>33％时。牙周炎的等级为Ⅲ～Ⅳ级别。
上述系统，能够自动识别每颗牙齿的牙周骨损失率，并根据牙周骨损失率自动诊断每颗牙齿的牙周炎的等级，为临床诊断提供可靠的辅助诊断工具，减少了医生的查看时间，极大地提升了诊断的效率。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于二阶段深度学习模型的全景片牙周炎智能分级系统，包括计算机存储器、以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器还存储有基于深度学习网络构建的牙齿分割模型和关键点检测模型，所述计算机处理器执行所述计算机程序时实现以下步骤：
获取待检测的牙齿全景片；
利用牙齿分割模型对牙齿全景片进行牙齿分割，得到单颗牙齿图；
利用关键点检测模型对单颗牙齿图进行关键点定位以得到每颗牙齿的关键点位置；
基于每颗牙齿的关键点位置计算牙周骨损失率；
依据牙周骨损失率确定牙周炎等级。
2.根据权利要求1所述的基于二阶段深度学习模型的全景片牙周炎智能分级系统，其特征在于，所述牙齿分割模型采用SwinUnet模型，在被应用之前需要经过参数优化，参数优化时，损失函数L1为：
其中，e表示分割面积，f表示真实面积。
3.根据权利要求1所述的基于二阶段深度学习模型的全景片牙周炎智能分级系统，其特征在于，所述关键点检测模型采用Yolov3模型，在被应用之前需要经过参数优化，参数优化时，损失函数L2为：
其中，M表示样本数量，m为样本索引，N表示关键点个数，n表示关键点索引，
分别表示Yolov3模型中Y1-Y3模块中预测关键点与实际点的欧式距离。
4.根据权利要求1所述的基于二阶段深度学习模型的全景片牙周炎智能分级系统，其特征在于，采用以下公式基于每颗牙齿的关键点位置计算牙周骨损失率PBL％：
PBL％＝MAX(d(m1-m2)/d(m1-m3),d(d1-d2)/d(d1-d3))
其中，d1表示远端釉牙骨质界点的位置，d2表示远端牙槽嵴的位置，d3表示远端根尖的位置，m1表示近端釉牙骨质界点的位置，m2表示近端牙槽嵴的位置，m3表示近端根尖的位置，MAX()取最大值函数，d(m1-m2)表示m1到m2的距离，d(m1-m3)表示m1到m3的距离，d(d1-d2)表示d1到d2的距离，d(d1-d3)表示d1到d3的距离。
5.根据权利要求4所述的基于二阶段深度学习模型的全景片牙周炎智能分级系统，其特征在于，所述依据牙周骨损失率确定牙周炎等级，包括：
当PBL％<＝15％时，牙周炎的等级为I级；
当15％<PBL％<＝33％时，牙周炎的等级为II级；
当PBL％>33％时。牙周炎的等级为Ⅲ～Ⅳ级别。
6.一种基于二阶段深度学习模型的全景片牙周炎智能分级系统，其特征在于，包括获取模块、分割模块、定位模块、损失率计算模块、等级划分模块，
所述获取模块用于获取待检测的牙齿全景片；
所述分割模块用于利用牙齿分割模型对牙齿全景片进行牙齿分割，得到单颗牙齿图；
所述定位模块用于利用关键点检测模型对单颗牙齿图进行关键点定位以得到每颗牙齿的关键点位置；
所述损失率计算模块用于基于每颗牙齿的关键点位置计算牙周骨损失率；
所述等级划分模块用于依据牙周骨损失率确定牙周炎等级。
7.根据权利要求6所述的基于二阶段深度学习模型的全景片牙周炎智能分级系统，其特征在于，所述牙齿分割模型采用SwinUnet模型，在被应用之前需要经过参数优化，参数优化时，损失函数L1为：
其中，e表示分割面积，f表示真实面积。
8.根据权利要求6所述的基于二阶段深度学习模型的全景片牙周炎智能分级系统，其特征在于，所述关键点检测模型采用Yolov3模型，在被应用之前需要经过参数优化，参数优化时，损失函数L2为：
其中，M表示样本数量，m为样本索引，N表示关键点个数，n表示关键点索引，
分别表示Yolov3模型中Y1-Y3模块中预测关键点与实际点的欧式距离。
9.根据权利要求6所述的基于二阶段深度学习模型的全景片牙周炎智能分级系统，其特征在于，在损失率计算模块中，采用以下公式基于每颗牙齿的关键点位置计算牙周骨损失率PBL％：
PBL％＝MAX(d(m1-m2)/d(m1-m3),d(d1-d2)/d(d1-d3))
其中，d1表示远端釉牙骨质界点的位置，d2表示远端牙槽嵴的位置，d3表示远端根尖的位置，m1表示近端釉牙骨质界点的位置，m2表示近端牙槽嵴的位置，m3表示近端根尖的位置，MAX()取最大值函数，d(m1-m2)表示m1到m2的距离，d(m1-m3)表示m1到m3的距离，d(d1-d2)表示d1到d2的距离，d(d1-d3)表示d1到d3的距离。
10.根据权利要求6所述的基于二阶段深度学习模型的全景片牙周炎智能分级系统，其特征在于，在等级划分模块中，依据牙周骨损失率确定牙周炎等级，包括：
当PBL％<＝15％时，牙周炎的等级为I级；
当15％<PBL％<＝33％时，牙周炎的等级为II级；
当PBL％>33％时。牙周炎的等级为Ⅲ～Ⅳ级别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310358659.3A CN116309522B (zh) | 2023-04-06 | 2023-04-06 | 基于二阶段深度学习模型的全景片牙周炎智能分级系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310358659.3A CN116309522B (zh) | 2023-04-06 | 2023-04-06 | 基于二阶段深度学习模型的全景片牙周炎智能分级系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116309522A true CN116309522A (zh) | 2023-06-23 |
| CN116309522B CN116309522B (zh) | 2024-01-26 |
Family
ID=86781496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310358659.3A Active CN116309522B (zh) | 2023-04-06 | 2023-04-06 | 基于二阶段深度学习模型的全景片牙周炎智能分级系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309522B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3620130A1 (en) * | 2018-09-04 | 2020-03-11 | Promaton Holding B.V. | Automated orthodontic treatment planning using deep learning |
| US20200364860A1 (en) * | 2019-05-16 | 2020-11-19 | Retrace Labs | Artificial Intelligence Architecture For Identification Of Periodontal Features |
| CN112132099A (zh) * | 2020-09-30 | 2020-12-25 | 腾讯科技（深圳）有限公司 | 身份识别方法、掌纹关键点检测模型训练方法和装置 |
| CN112163479A (zh) * | 2020-09-16 | 2021-01-01 | 广州华多网络科技有限公司 | 动作检测方法、装置、计算机设备和计算机可读存储介质 |
| CN112837279A (zh) * | 2021-01-25 | 2021-05-25 | 孙猛猛 | 一种基于人工智能的牙齿畸变检测预诊系统 |
| CN113344867A (zh) * | 2021-05-28 | 2021-09-03 | 浙江工业大学 | 基于近中、远中关键点的牙周炎吸收程度鉴别方法 |
| WO2021215582A1 (ko) * | 2020-04-21 | 2021-10-28 | 서울대학교산학협력단 | 치주염 자동 진단 방법 및 이를 구현하는 프로그램 |
| CN114004847A (zh) * | 2021-11-01 | 2022-02-01 | 中国科学技术大学 | 一种基于图可逆神经网络的医学图像分割方法 |
| CN114004831A (zh) * | 2021-12-24 | 2022-02-01 | 杭州柳叶刀机器人有限公司 | 基于深度学习辅助种植体置换的方法及辅助智能系统 |
| CN114332123A (zh) * | 2021-12-30 | 2022-04-12 | 杭州电子科技大学 | 基于全景片的龋病自动分级方法及系统 |
| KR20220068583A (ko) * | 2020-11-19 | 2022-05-26 | 박찬수 | 딥러닝을 이용한 임플란트 주위염 진단 시스템 및 그 방법 |
| CN115511789A (zh) * | 2022-08-30 | 2022-12-23 | 上海科技大学 | 基于全景x光图像的牙周疾病分类方法、系统、终端及介质 |
-
2023
- 2023-04-06 CN CN202310358659.3A patent/CN116309522B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3620130A1 (en) * | 2018-09-04 | 2020-03-11 | Promaton Holding B.V. | Automated orthodontic treatment planning using deep learning |
| US20200364860A1 (en) * | 2019-05-16 | 2020-11-19 | Retrace Labs | Artificial Intelligence Architecture For Identification Of Periodontal Features |
| WO2021215582A1 (ko) * | 2020-04-21 | 2021-10-28 | 서울대학교산학협력단 | 치주염 자동 진단 방법 및 이를 구현하는 프로그램 |
| CN112163479A (zh) * | 2020-09-16 | 2021-01-01 | 广州华多网络科技有限公司 | 动作检测方法、装置、计算机设备和计算机可读存储介质 |
| CN112132099A (zh) * | 2020-09-30 | 2020-12-25 | 腾讯科技（深圳）有限公司 | 身份识别方法、掌纹关键点检测模型训练方法和装置 |
| KR20220068583A (ko) * | 2020-11-19 | 2022-05-26 | 박찬수 | 딥러닝을 이용한 임플란트 주위염 진단 시스템 및 그 방법 |
| CN112837279A (zh) * | 2021-01-25 | 2021-05-25 | 孙猛猛 | 一种基于人工智能的牙齿畸变检测预诊系统 |
| CN113344867A (zh) * | 2021-05-28 | 2021-09-03 | 浙江工业大学 | 基于近中、远中关键点的牙周炎吸收程度鉴别方法 |
| CN114004847A (zh) * | 2021-11-01 | 2022-02-01 | 中国科学技术大学 | 一种基于图可逆神经网络的医学图像分割方法 |
| CN114004831A (zh) * | 2021-12-24 | 2022-02-01 | 杭州柳叶刀机器人有限公司 | 基于深度学习辅助种植体置换的方法及辅助智能系统 |
| CN114332123A (zh) * | 2021-12-30 | 2022-04-12 | 杭州电子科技大学 | 基于全景片的龋病自动分级方法及系统 |
| CN115511789A (zh) * | 2022-08-30 | 2022-12-23 | 上海科技大学 | 基于全景x光图像的牙周疾病分类方法、系统、终端及介质 |
Non-Patent Citations (3)
| Title |
|---|
| TANJIDA KABIR 等: "An End-to-end Entangled Segmentation and Classification Convolutional Neural Network for Periodontitis Stage Grading from Periapical Radiographic Images", 《2021 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE (BIBM)》 * |
| 任家银;郭际香;: "基于深度学习的全景片中颌骨疾病分类研究", 现代计算机, no. 14 * |
| 柯文驰;李莎;李睿;: "基于深度学习的牙齿识别方法", 现代计算机, no. 09 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116309522B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112991273B (zh) | 三维牙齿模型的正畸特征自动检测方法及系统 | |
| KR20130136519A (ko) | 파노라마 엑스선 사진을 이용한 진단 지원 시스템, 및 파노라마 엑스선 사진을 이용한 진단 지원 프로그램 | |
| CN111652838B (zh) | 基于目标检测网络的甲状腺结节定位与超声报告纠错方法 | |
| CN111462201B (zh) | 基于新型冠状病毒肺炎ct影像的随访分析系统及方法 | |
| WO2021209887A1 (en) | Rapid, accurate and machine-agnostic segmentation and quantification method and device for coronavirus ct-based diagnosis | |
| CN112381164A (zh) | 一种基于多分支注意力机制的超声图像分类方法和装置 | |
| CN114494215A (zh) | 基于Transformer的甲状腺结节检测方法 | |
| CN116630324B (zh) | 一种基于深度学习的mri图像自动评估腺样体肥大的方法 | |
| CN111863204A (zh) | 基于钼靶x线摄影检查的乳腺疾病ai辅助诊断方法及系统 | |
| CN113516639B (zh) | 基于全景x光片的口腔异常检测模型的训练方法及装置 | |
| CN116309522B (zh) | 基于二阶段深度学习模型的全景片牙周炎智能分级系统 | |
| CN114677678A (zh) | 基于语义分割的舌面多任务同诊方法、装置及设备 | |
| CN114241187A (zh) | 基于超声双模态影像的肌肉疾病诊断系统、设备及介质 | |
| Jiang et al. | A two-stage deep learning architecture for radiographic assessment of periodontal bone loss | |
| CN117152507A (zh) | 一种牙齿健康状态检测方法、装置、设备及存储介质 | |
| CN115019972B (zh) | 一种基于大数据分析的医疗影像数据共享系统 | |
| JP2003265463A (ja) | 画像診断支援システム及び画像診断支援プログラム | |
| Croquet et al. | Automated landmarking for palatal shape analysis using geometric deep learning | |
| US7848551B2 (en) | Method and system for analysis of bone density | |
| CN112150422A (zh) | 一种基于多任务学习的口腔健康自我检测模型的建模方法 | |
| Lee et al. | Deep Learning Approach to Measure Alveolar Bone Loss After COVID-19 | |
| CN110136115B (zh) | Ivoct图像易损斑块自动检测神经网络集成方法 | |
| CN117953036B (zh) | 道路桥梁基础沉降位移监测系统及方法 | |
| CN113425279B (zh) | 一种用于呼吸窘迫综合征的动物实验方法 | |
| Fauzi et al. | Classification of Cervical Cancer Images Using Deep Residual Network Architecture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |