CN111932518A - 一种深度学习的全景牙片病灶检测及分割方法及装置 - Google Patents

一种深度学习的全景牙片病灶检测及分割方法及装置 Download PDF

Info

Publication number
CN111932518A
CN111932518A CN202010805134.6A CN202010805134A CN111932518A CN 111932518 A CN111932518 A CN 111932518A CN 202010805134 A CN202010805134 A CN 202010805134A CN 111932518 A CN111932518 A CN 111932518A
Authority
CN
China
Prior art keywords
segmentation
contour
focus
tooth
tooth position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010805134.6A
Other languages
English (en)
Inventor
高坤伦
盛邱煬
颜立峰
刘小青
俞益洲
阎鹏
吕丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202010805134.6A priority Critical patent/CN111932518A/zh
Publication of CN111932518A publication Critical patent/CN111932518A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种深度学习的全景牙片病灶检测及分割方法及装置,其中方法包括:获取全景牙片数据,对全景牙片数据进行预处理,得到待检测分割数据;将待检测分割数据进行多病灶检测定位及轮廓分割,得到病灶检测结果,其中,病灶检测结果包括:病灶分类、病灶位置坐标和病灶分割轮廓;利用牙齿牙位分类检测模型将待检测分割数据进行牙齿检测定位,得到牙齿牙位检测结果,其中,牙齿牙位检测结果包括:每个牙齿所对应的FDI标准牙位号;将牙齿牙位检测结果与病灶检测结果进行匹配,得到每一个病灶对应的牙位号;通过轮廓平滑算法对病灶分割轮廓进行平滑处理,得到处理后的轮廓;将全景牙片病灶检测及分割结果进行可视化输出。

Description

一种深度学习的全景牙片病灶检测及分割方法及装置
技术领域
本发明涉及计算机视觉领域,尤其涉及一种深度学习的全景牙片病灶检测及分割方法及装置。
背景技术
深度学习已经广泛应用于计算机视觉领域,包括目标检测、实例分割、语义分割、图片分类等细分领域。全景牙片作为临床牙齿检查及辅助诊断最主要的手段,国内外研究人员结合深度学习技术做了诸多相关方面的研究。
单纯的牙齿检测、分割或者单病灶检测的应用场景十分有限,很难满足全景牙片临床诊断需求,而现有技术大多数集中在牙齿分割或牙体受损牙这种大的病灶检测上,无法适用尺度和形态变化很大的其他病灶上面。现有技术对病灶的分割多数采用语义分割的思路,而语义分割本身对尺寸不敏感,小尺寸病灶会受大尺寸病灶的影响,且面对多病灶场景分割难度很大,漏检率很高。同时,现有技术无法将病灶和具体牙体牙位对应起来,确实临床意义。
例如:使用语义分割及图片分类的深度学习技术对牙周骨缺失进行检测及牙位分类(Jaeyoung Kim,Hong-Seok Lee,Et al.DeNTNet:Deep Neural Transfer Network forthe detection of periodontal bone loss using panoramic dental radiographs,SCIENTIFIC REPORTS,2019)。使用目标检测的深度学习技术对牙周受损牙的检出和定位(BhornsawanThanathornwong,SiriwanSuebnukarn,Automatic detection ofperiodontal compromised teeth in digital panoramic radiographs using fasterregion convolutional neural networks,ISD,2020)。利用3D语义分割网络对下颌阻生智齿、相邻第二磨牙和下颌管进行分割并确定他们之间的关系(专利号:CN:201910785246:A)。利用语义分割方法对牙槽骨线、恒牙进行分割并评估牙槽骨线吸收分级(专利号:CN:201910184659:A)。利用语义分割方法对全景牙片中的人工牙体进行分割和识别(专利号:CN:201910185942:A)。利用语义分割方法先对恒牙进行分割,得到每颗恒牙对应根尖周区域后,对这些区域再进行跟肩周炎病灶的分割(专利号:CN:201910184797:A)。利用语义分割方法对全景牙片中阻生牙进行分割(专利号:CN:201910184967:A)。利于实例分割方法得到牙齿及牙根区域(专利号:CN:201811155681:A)。利用语义分割方法分别得到牙齿区域以及牙齿边缘的分割结果,最终实现牙齿的实例级分割(专利号:CN:201810958999:A)。
可见,目前没有发现针对牙周及牙体多病灶自动检测及分割算法方面的研究,多病种数据标注难度较高,且不同病灶形态学差异较大导致检测及分割难度较大,构建一套基于全景牙片的多病灶检测及分割的系统具有很高的技术壁垒和行业竞争性。
发明内容
本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的深度学习的全景牙片病灶检测及分割方法及装置。
为达到上述目的,本发明的技术方案具体是这样实现的:
本发明的一个方面提供了一种深度学习的全景牙片病灶检测及分割方法,包括:获取全景牙片数据,对全景牙片数据进行预处理,得到待检测分割数据;将待检测分割数据进行多病灶检测定位及轮廓分割,得到病灶检测结果,其中,病灶检测结果包括:病灶分类、病灶位置坐标和病灶分割轮廓;利用牙齿牙位分类检测模型将待检测分割数据进行牙齿检测定位,得到牙齿牙位检测结果,其中,牙齿牙位检测结果包括:每个牙齿所对应的FDI标准牙位号;将牙齿牙位检测结果与病灶检测结果进行匹配,得到每一个病灶对应的牙位号;通过轮廓平滑算法对病灶分割轮廓进行平滑处理,得到处理后的轮廓;将全景牙片病灶检测及分割结果进行可视化输出。
其中,将待检测分割数据进行多病灶检测定位及轮廓分割,得到病灶检测结果,其中,病灶检测结果包括:病灶和分割轮廓包括:利用以Mask-rcnn架构为基础,backbone主干网络采用ResNeSt-200网络的模型对待检测分割数据进行感兴趣特征提取;利用AugFPN增强特征金字塔结构,将backbone主干网络的最后几层特征图进行候选框提取;输出病灶分类、病灶位置坐标以及病灶分割轮廓。
其中,AugFPN增强特征金字塔结构包括:残差特征增强模块以及自适应空间融合模块。
其中,利用牙齿牙位分类检测模型将待检测分割数据进行牙齿检测定位,得到牙齿牙位检测结果包括:采用两阶段的Faster-rcnn目标检测算法对牙齿进行分类和坐标框回归;利用FPN特征金字塔模块,对每一层特征进行一次分类和坐标框回归;输出牙齿牙位检测结果。
其中,将牙齿牙位检测结果与病灶检测结果进行匹配,得到每一个病灶对应的牙位号包括:计算每一个病灶的中心点与检出牙齿的中心点之间空间欧氏距离,对距离进行排序后得到距离最近的牙齿作为病灶的匹配牙位,得到每一个病灶对应的牙位号。
其中,通过轮廓平滑算法对病灶分割轮廓进行平滑处理,得到处理后的轮廓包括:利用滑动窗口均值平滑算法对病灶分割轮廓进行平滑处理,得到处理后的轮廓。
本发明另一方面提供了一种深度学习的全景牙片病灶检测及分割装置,包括:预处理模块,用于获取全景牙片数据,对全景牙片数据进行预处理,得到待检测分割数据;病灶检测和轮廓分割模块,用于将待检测分割数据进行多病灶检测定位及轮廓分割,得到病灶检测结果,其中,病灶检测结果包括:病灶分类、病灶位置坐标和病灶分割轮廓;牙齿牙位检测模块,用于利用牙齿牙位分类检测模型将待检测分割数据进行牙齿检测定位,得到牙齿牙位检测结果,其中,牙齿牙位检测结果包括:每个牙齿所对应的FDI标准牙位号;匹配模块,用于将牙齿牙位检测结果与病灶检测结果进行匹配,得到每一个病灶对应的牙位号;处理模块,用于通过轮廓平滑算法对病灶分割轮廓进行平滑处理,得到处理后的轮廓;输出模块,用于将全景牙片病灶检测及分割结果进行可视化输出。
其中,病灶检测和轮廓分割模块通过如下方式将待检测分割数据进行多病灶检测定位及轮廓分割,得到病灶检测结果,其中,病灶检测结果包括:病灶和分割轮廓:病灶检测和轮廓分割模块,具体用于利用以Mask-rcnn架构为基础,backbone主干网络采用ResNeSt-200网络的模型对待检测分割数据进行感兴趣特征提取;利用AugFPN增强特征金字塔结构,将backbone主干网络的最后几层特征图进行候选框提取;输出病灶分类、病灶位置坐标以及病灶分割轮廓。
其中,AugFPN增强特征金字塔结构包括:残差特征增强模块以及自适应空间融合模块。
其中,牙齿牙位检测模块通过如下方式利用牙齿牙位分类检测模型将待检测分割数据进行牙齿检测定位,得到牙齿牙位检测结果:牙齿牙位检测模块,用于采用两阶段的Faster-rcnn目标检测算法对牙齿进行分类和坐标框回归;利用FPN特征金字塔模块,对每一层特征进行一次分类和坐标框回归;输出牙齿牙位检测结果。
其中,匹配模块通过如下方式将牙齿牙位检测结果与病灶检测结果进行匹配,得到每一个病灶对应的牙位号:匹配模块,具体用于计算每一个病灶的中心点与检出牙齿的中心点之间空间欧氏距离,对距离进行排序后得到距离最近的牙齿作为病灶的匹配牙位,得到每一个病灶对应的牙位号。
其中,处理模块通过如下方式通过轮廓平滑算法对病灶分割轮廓进行平滑处理,得到处理后的轮廓:处理模块,具体用于利用滑动窗口均值平滑算法对病灶分割轮廓进行平滑处理,得到处理后的轮廓。
由此可见,通过本发明提供的深度学习的全景牙片病灶检测及分割方法及装置,实现端到端的多病灶检测及分割,与此同时,利用牙齿牙位分类检测模型得到每一个牙齿所对应的FDI(国际牙科联盟)标准牙位号,然后结合牙齿牙位的结果与病灶检测结果匹配出每一个病灶对应的牙位号,最后通过轮廓平滑算法对病灶的分割轮廓进行平滑处理,消除锯齿、折线等,使其更加接近真实轮廓,从而实现全景牙片端到端的多病灶自动检测、分类和分割,同时利用目标检测技术实现牙齿检测和FDI(国际牙科联盟)牙位分类,并通过牙位匹配算法实现每一个病灶的牙齿牙位对应。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种深度学习的全景牙片病灶检测及分割方法的流程图;
图2为本发明实施例提供的多病灶检测及分割模型;
图3为本发明实施例提供的牙齿牙位检测分类模型;
图4为本发明实施例提供的病灶牙位号匹配示意图;
图5为本发明实施例提供的平滑算法前后效果对比图;
图6为本发明实施例提供的深度学习的全景牙片病灶检测及分割装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明旨在实现全景牙片的多病灶自动检测、分割,以及将病灶同FDI(国际牙科联盟)标准牙位号匹配起来。图1示出了本发明实施例提供的深度学习的全景牙片病灶检测及分割方法的流程图,如图1所示,主要包括以下几个步骤:实现端到端的多病灶检测及分割,与此同时,利用牙齿牙位分类检测模型得到每一个牙齿所对应的FDI(国际牙科联盟)标准牙位号,然后结合牙齿牙位的结果与病灶检测结果匹配出每一个病灶对应的牙位号,最后通过轮廓平滑算法对病灶的分割轮廓进行平滑处理,消除锯齿、折线等,使其更加接近真实轮廓。
以下结合图1对本发明实施例提供的深度学习的全景牙片病灶检测及分割方法进行进一步说明,参见图1,本发明实施例提供的深度学习的全景牙片病灶检测及分割方法,包括:
S1,获取全景牙片数据,对全景牙片数据进行预处理,得到待检测分割数据。
具体地,可以收集各类全景牙片数据,从而对其进行预处理,得到符合后续处理的待检测分割数据,以便后续处理。
S2,将待检测分割数据进行多病灶检测定位及轮廓分割,得到病灶检测结果,其中,病灶检测结果包括:病灶分类、病灶位置坐标和病灶分割轮廓。
作为本发明实施例的一个可选实施方式,将待检测分割数据进行多病灶检测定位及轮廓分割,得到病灶检测结果,其中,病灶检测结果包括:病灶和分割轮廓包括:利用以Mask-rcnn架构为基础,backbone主干网络采用ResNeSt-200网络的模型对待检测分割数据进行感兴趣特征提取;利用AugFPN增强特征金字塔结构,将backbone主干网络的最后几层特征图进行候选框提取;输出病灶分类、病灶位置坐标以及病灶分割轮廓。
进一步,作为本发明实施例的一个可选实施方式,AugFPN增强特征金字塔结构包括:残差特征增强模块以及自适应空间融合模块。
具体地,在端到端的多病灶检测及分割步骤中,采用两阶段实例分割模型,如图2所示。整体模型以Mask-rcnn架构为基础进行了改进和优化,backbone主干网络部分采用了对下游任务迁移性更好的ResNeSt-200网络,可以从输入的全景牙片图像中提取兴趣特征。同时加入了AugFPN增强特征金字塔结构,即将主干网络的最后几层特征图都进行候选框提取,不同层特征图对应的感受野不同,大的病灶可能需要更多的感受野,而小病灶可能要在更浅层的特征图上,因此不同层的特征图对应检测不同尺寸的病灶,同时层与层之间共享特征。AugFPN与传统FPN的区别,又增加了“残差特征增强”(Residual FeatureAugmentation)模块更好地获得多种感受野的特征,同时采用“自适应空间融合”(AdaptiveSpatial Fusion)将不同尺寸下的ROI进行融合选择,更合理地将不同尺寸病灶检出和相应的特征层对应起来。在网络最后包括三种任务分支,分别是病灶分类、病灶位置坐标框的回归,病灶轮廓分割。
S3,利用牙齿牙位分类检测模型将待检测分割数据进行牙齿检测定位,得到牙齿牙位检测结果,其中,牙齿牙位检测结果包括:每个牙齿所对应的FDI标准牙位号。
作为本发明实施例的一个可选实施方式,利用牙齿牙位分类检测模型将待检测分割数据进行牙齿检测定位,得到牙齿牙位检测结果包括:采用两阶段的Faster-rcnn目标检测算法对牙齿进行分类和坐标框回归;利用FPN特征金字塔模块,对每一层特征进行一次分类和坐标框回归;输出牙齿牙位检测结果。
具体地,在牙齿检测步骤中,采用两阶段的Faster-rcnn目标检测算法对牙齿进行分类和坐标框回归,如图3所示。同时加入了FPN特征金字塔模块,每一层特征都会进行一次分类和坐标框回归任务,用来应对牙齿的尺寸变化。牙齿类别采用FDI(国际牙科联盟)标准命名法。
值得说明的是,本发明中,步骤S2和S3可以同时执行,也可以具有不同的先后顺序,这在本发明中并不具体限制。
S4,将牙齿牙位检测结果与病灶检测结果进行匹配,得到每一个病灶对应的牙位号。
作为本发明实施例的一个可选实施方式,将牙齿牙位检测结果与病灶检测结果进行匹配,得到每一个病灶对应的牙位号包括:计算每一个病灶的中心点与检出牙齿的中心点之间空间欧氏距离,对距离进行排序后得到距离最近的牙齿作为病灶的匹配牙位,得到每一个病灶对应的牙位号。
具体地,获得多病灶检测分割结果及牙齿牙位检测结果之后,通过计算每一个病灶的中心点与检出牙齿的中心点之间空间欧氏距离,对距离进行排序后得到距离最近的牙齿作为病灶的匹配牙位,有助于进一步自动化生成牙齿诊断报告,如图4所示。
S5,通过轮廓平滑算法对病灶分割轮廓进行平滑处理,得到处理后的轮廓。
作为本发明实施例提供的一个可选实施方式,通过轮廓平滑算法对病灶分割轮廓进行平滑处理,得到处理后的轮廓包括:利用滑动窗口均值平滑算法对病灶分割轮廓进行平滑处理,得到处理后的轮廓。
具体地,为了消除模型输出病灶分割轮廓中的不规则锯齿、折线等,本发明最后提出滑动窗口均值平滑算法对病灶轮廓进行优化,即设定一个固定比例的滑动窗口(例:轮廓包含n个点,窗口比例为0.05,则窗口大小为n*0.05),轮廓上原始一个点坐标更新为窗口内所有点的坐标均值,最终采用平滑算法前后效果对比如图5所示,平滑后的轮廓更加接近真实场景。
S6,将全景牙片病灶检测及分割结果进行可视化输出。
具体地,将全景牙片病灶检测及分割结果进行可视化输出,有利于医生的进一步判断和标记。
由此可见,通过本发明实施例提供的深度学习的全景牙片病灶检测及分割方法,应用于全景牙片的多病灶检测及分割算法,解决了病灶的检测定位、轮廓分割、病灶分类以及牙位匹配四个问题。具体地,针对四个问题,本发明提出两阶段实例分割算法,端到端同时完成多病灶检测、分类和分割三种任务;同时对牙位匹配问题,本发明利用目标检测技术实现牙齿的检测及牙位号分类(牙位号符合FDI国际牙科联盟提出的牙位表示法),最终通过计算每一个病灶和不同牙位牙齿中心的欧式距离,选取最小距离对应的牙位作为病灶的匹配牙位。最后,针对模型直接输出轮廓存在锯齿、折线等问题,本发明提出轮廓平滑算法对病灶轮廓进行平滑处理,使其更接近真实形态。
完成16种牙周和牙体病灶的检测及分割任务,包括:牙槽骨水平向吸收1-2度、牙槽骨水平向吸收3-4度、牙槽骨垂直向吸收1-2度、牙槽骨垂直向吸收4-3度、牙结石1-2度、牙结石3-4度、根分叉骨吸收、异常第三磨牙、龋损、龋补、冠内充填物、根管内充填物、根尖周病变、牙体修复术后、种植修复术后、残根。
本发明提供的深度学习的全景牙片病灶检测及分割方法,可以直接应用于牙科诊所的临床诊断,大大缩短了医生检出病灶的时间,提高医生诊断效率,缩小了疑难病灶的漏检率,为进一步治疗方案提供了强有力地参考,具备很高的临床价值和社会价值。本发明采用了两阶段实例分割算法实现多病灶检测及分割,采用了目标检测算法实现牙齿检出及牙位分类,利用病灶和牙位的最小欧氏距离完成病灶的牙位匹配算法,同时利用轮廓平滑等后处理算法大大提高了临床使用性能。
图6示出了本发明实施例提供的深度学习的全景牙片病灶检测及分割装置的结构示意图,该深度学习的全景牙片病灶检测及分割装置应用上述方法,以下仅对深度学习的全景牙片病灶检测及分割装置的结构进行简单说明,其他未尽事宜,请参照上述深度学习的全景牙片病灶检测及分割方法中的相关描述,参见图6,本发明实施例提供的深度学习的全景牙片病灶检测及分割装置,包括:
预处理模块,用于获取全景牙片数据,对全景牙片数据进行预处理,得到待检测分割数据;
病灶检测和轮廓分割模块,用于将待检测分割数据进行多病灶检测定位及轮廓分割,得到病灶检测结果,其中,病灶检测结果包括:病灶分类、病灶位置坐标和病灶分割轮廓;
牙齿牙位检测模块,用于利用牙齿牙位分类检测模型将待检测分割数据进行牙齿检测定位,得到牙齿牙位检测结果,其中,牙齿牙位检测结果包括:每个牙齿所对应的FDI标准牙位号,;
匹配模块,用于将牙齿牙位检测结果与病灶检测结果进行匹配,得到每一个病灶对应的牙位号;
处理模块,用于通过轮廓平滑算法对病灶分割轮廓进行平滑处理,得到处理后的轮廓;
输出模块,用于将全景牙片病灶检测及分割结果进行可视化输出。
作为本发明实施例提供的一个可选实施方式,病灶检测和轮廓分割模块通过如下方式将待检测分割数据进行多病灶检测定位及轮廓分割,得到病灶检测结果,其中,病灶检测结果包括:病灶和分割轮廓:病灶检测和轮廓分割模块,具体用于利用以Mask-rcnn架构为基础,backbone主干网络采用ResNeSt-200网络的模型对待检测分割数据进行感兴趣特征提取;利用AugFPN增强特征金字塔结构,将backbone主干网络的最后几层特征图进行候选框提取;输出病灶分类、病灶位置坐标以及病灶分割轮廓。
作为本发明实施例提供的一个可选实施方式,AugFPN增强特征金字塔结构包括:残差特征增强模块以及自适应空间融合模块。
作为本发明实施例提供的一个可选实施方式,牙齿牙位检测模块通过如下方式利用牙齿牙位分类检测模型将待检测分割数据进行牙齿检测定位,得到牙齿牙位检测结果:牙齿牙位检测模块,用于采用两阶段的Faster-rcnn目标检测算法对牙齿进行分类和坐标框回归;利用FPN特征金字塔模块,对每一层特征进行一次分类和坐标框回归;输出牙齿牙位检测结果。
作为本发明实施例提供的一个可选实施方式,匹配模块通过如下方式将牙齿牙位检测结果与病灶检测结果进行匹配,得到每一个病灶对应的牙位号:匹配模块,具体用于计算每一个病灶的中心点与检出牙齿的中心点之间空间欧氏距离,对距离进行排序后得到距离最近的牙齿作为病灶的匹配牙位,得到每一个病灶对应的牙位号。
作为本发明实施例提供的一个可选实施方式,处理模块通过如下方式通过轮廓平滑算法对病灶分割轮廓进行平滑处理,得到处理后的轮廓:处理模块,具体用于利用滑动窗口均值平滑算法对病灶分割轮廓进行平滑处理,得到处理后的轮廓。
由此可见,通过本发明实施例提供的深度学习的全景牙片病灶检测及分割装置,应用于全景牙片的多病灶检测及分割算法,解决了病灶的检测定位、轮廓分割、病灶分类以及牙位匹配四个问题。具体地,针对四个问题,本发明提出两阶段实例分割算法,端到端同时完成多病灶检测、分类和分割三种任务;同时对牙位匹配问题,本发明利用目标检测技术实现牙齿的检测及牙位号分类(牙位号符合FDI国际牙科联盟提出的牙位表示法),最终通过计算每一个病灶和不同牙位牙齿中心的欧式距离,选取最小距离对应的牙位作为病灶的匹配牙位。最后,针对模型直接输出轮廓存在锯齿、折线等问题,本发明提出轮廓平滑算法对病灶轮廓进行平滑处理,使其更接近真实形态。
完成16种牙周和牙体病灶的检测及分割任务,包括:牙槽骨水平向吸收1-2度、牙槽骨水平向吸收3-4度、牙槽骨垂直向吸收1-2度、牙槽骨垂直向吸收4-3度、牙结石1-2度、牙结石3-4度、根分叉骨吸收、异常第三磨牙、龋损、龋补、冠内充填物、根管内充填物、根尖周病变、牙体修复术后、种植修复术后、残根。
本发明提供的深度学习的全景牙片病灶检测及分割装置,可以直接应用于牙科诊所的临床诊断,大大缩短了医生检出病灶的时间,提高医生诊断效率,缩小了疑难病灶的漏检率,为进一步治疗方案提供了强有力地参考,具备很高的临床价值和社会价值。本发明采用了两阶段实例分割算法实现多病灶检测及分割,采用了目标检测算法实现牙齿检出及牙位分类,利用病灶和牙位的最小欧氏距离完成病灶的牙位匹配算法,同时利用轮廓平滑等后处理算法大大提高了临床使用性能。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种深度学习的全景牙片病灶检测及分割方法,其特征在于,包括:
获取全景牙片数据,对所述全景牙片数据进行预处理,得到待检测分割数据;
将所述待检测分割数据进行多病灶检测定位及轮廓分割,得到病灶检测结果,其中,所述病灶检测结果包括:病灶分类、病灶位置坐标和病灶分割轮廓;
利用牙齿牙位分类检测模型将所述待检测分割数据进行牙齿检测定位,得到牙齿牙位检测结果,其中,所述牙齿牙位检测结果包括:每个牙齿所对应的FDI标准牙位号,;
将所述牙齿牙位检测结果与所述病灶检测结果进行匹配,得到每一个病灶对应的牙位号;
通过轮廓平滑算法对所述病灶分割轮廓进行平滑处理,得到处理后的轮廓;
将全景牙片病灶检测及分割结果进行可视化输出。
2.根据权利要求1所述的方法,其特征在于,所述将所述待检测分割数据进行多病灶检测定位及轮廓分割,得到病灶检测结果,其中,所述病灶检测结果包括:病灶和分割轮廓包括:
利用以Mask-rcnn架构为基础,backbone主干网络采用ResNeSt-200网络的模型对所述待检测分割数据进行感兴趣特征提取;
利用AugFPN增强特征金字塔结构,将所述backbone主干网络的最后几层特征图进行候选框提取;
输出所述病灶分类、所述病灶位置坐标以及所述病灶分割轮廓。
3.根据权利要求2所述的方法,其特征在于,所述AugFPN增强特征金字塔结构包括:
残差特征增强模块以及自适应空间融合模块。
4.根据权利要求1所述的方法,其特征在于,所述利用牙齿牙位分类检测模型将所述待检测分割数据进行牙齿检测定位,得到牙齿牙位检测结果包括:
采用两阶段的Faster-rcnn目标检测算法对牙齿进行分类和坐标框回归;
利用FPN特征金字塔模块,对每一层特征进行一次分类和坐标框回归;
输出所述牙齿牙位检测结果。
5.根据权利要求1所述的方法,其特征在于,所述将所述牙齿牙位检测结果与所述病灶检测结果进行匹配,得到每一个病灶对应的牙位号包括:
计算每一个病灶的中心点与检出牙齿的中心点之间空间欧氏距离,对距离进行排序后得到距离最近的牙齿作为病灶的匹配牙位,得到每一个病灶对应的牙位号。
6.根据权利要求1所述的方法,其特征在于,所述通过轮廓平滑算法对所述病灶分割轮廓进行平滑处理,得到处理后的轮廓包括:
利用滑动窗口均值平滑算法对所述病灶分割轮廓进行平滑处理,得到处理后的轮廓。
7.一种深度学习的全景牙片病灶检测及分割装置,其特征在于,包括:
预处理模块,用于获取全景牙片数据,对所述全景牙片数据进行预处理,得到待检测分割数据;
病灶检测和轮廓分割模块,用于将所述待检测分割数据进行多病灶检测定位及轮廓分割,得到病灶检测结果,其中,所述病灶检测结果包括:病灶分类、病灶位置坐标和病灶分割轮廓;
牙齿牙位检测模块,用于利用牙齿牙位分类检测模型将所述待检测分割数据进行牙齿检测定位,得到牙齿牙位检测结果,其中,所述牙齿牙位检测结果包括:每个牙齿所对应的FDI标准牙位号,;
匹配模块,用于将所述牙齿牙位检测结果与所述病灶检测结果进行匹配,得到每一个病灶对应的牙位号;
处理模块,用于通过轮廓平滑算法对所述病灶分割轮廓进行平滑处理,得到处理后的轮廓;
输出模块,用于将全景牙片病灶检测及分割结果进行可视化输出。
8.根据权利要求7所述的装置,其特征在于,所述病灶检测和轮廓分割模块通过如下方式将所述待检测分割数据进行多病灶检测定位及轮廓分割,得到病灶检测结果,其中,所述病灶检测结果包括:病灶和分割轮廓:
所述病灶检测和轮廓分割模块,具体用于利用以Mask-rcnn架构为基础,backbone主干网络采用ResNeSt-200网络的模型对所述待检测分割数据进行感兴趣特征提取;利用AugFPN增强特征金字塔结构,将所述backbone主干网络的最后几层特征图进行候选框提取;输出所述病灶分类、所述病灶位置坐标以及所述病灶分割轮廓。
9.根据权利要求8所述的装置,其特征在于,所述AugFPN增强特征金字塔结构包括:
残差特征增强模块以及自适应空间融合模块。
10.根据权利要求7所述的装置,其特征在于,所述牙齿牙位检测模块通过如下方式利用牙齿牙位分类检测模型将所述待检测分割数据进行牙齿检测定位,得到牙齿牙位检测结果:
所述牙齿牙位检测模块,用于采用两阶段的Faster-rcnn目标检测算法对牙齿进行分类和坐标框回归;利用FPN特征金字塔模块,对每一层特征进行一次分类和坐标框回归;输出所述牙齿牙位检测结果。
11.根据权利要求7所述的装置,其特征在于,所述匹配模块通过如下方式将所述牙齿牙位检测结果与所述病灶检测结果进行匹配,得到每一个病灶对应的牙位号:
所述匹配模块,具体用于计算每一个病灶的中心点与检出牙齿的中心点之间空间欧氏距离,对距离进行排序后得到距离最近的牙齿作为病灶的匹配牙位,得到每一个病灶对应的牙位号。
12.根据权利要求7所述的装置,其特征在于,所述处理模块通过如下方式通过轮廓平滑算法对所述病灶分割轮廓进行平滑处理,得到处理后的轮廓:
所述处理模块,具体用于利用滑动窗口均值平滑算法对所述病灶分割轮廓进行平滑处理,得到处理后的轮廓。
CN202010805134.6A 2020-08-12 2020-08-12 一种深度学习的全景牙片病灶检测及分割方法及装置 Pending CN111932518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010805134.6A CN111932518A (zh) 2020-08-12 2020-08-12 一种深度学习的全景牙片病灶检测及分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010805134.6A CN111932518A (zh) 2020-08-12 2020-08-12 一种深度学习的全景牙片病灶检测及分割方法及装置

Publications (1)

Publication Number Publication Date
CN111932518A true CN111932518A (zh) 2020-11-13

Family

ID=73311392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010805134.6A Pending CN111932518A (zh) 2020-08-12 2020-08-12 一种深度学习的全景牙片病灶检测及分割方法及装置

Country Status (1)

Country Link
CN (1) CN111932518A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733730A (zh) * 2021-01-12 2021-04-30 中国石油大学(华东) 采油作业现场吸烟人员识别处理方法及系统
CN113298157A (zh) * 2021-05-28 2021-08-24 上海商汤智能科技有限公司 病灶匹配方法及装置、电子设备和存储介质
CN114004831A (zh) * 2021-12-24 2022-02-01 杭州柳叶刀机器人有限公司 基于深度学习辅助种植体置换的方法及辅助智能系统
CN114140668A (zh) * 2021-12-09 2022-03-04 深圳市资福医疗技术有限公司 胃部部位识别模型训练方法、部位识别方法及装置
CN115205469A (zh) * 2022-09-06 2022-10-18 汉斯夫(杭州)医学科技有限公司 基于cbct的牙齿与牙槽骨重建方法、设备及介质
CN115281709A (zh) * 2022-10-08 2022-11-04 太原理工大学 一种下颌第二磨牙c形根管检测装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105912838A (zh) * 2016-04-01 2016-08-31 深圳市菲森科技有限公司 牙齿检查结果的展示方法、系统及医疗设备
CN109528323A (zh) * 2018-12-12 2019-03-29 上海牙典软件科技有限公司 一种基于人工智能的正畸方法及装置
CN109948619A (zh) * 2019-03-12 2019-06-28 北京羽医甘蓝信息技术有限公司 基于深度学习的全景片龋病识别的方法和装置
US20190333627A1 (en) * 2018-04-25 2019-10-31 Sota Precision Optics, Inc. Dental imaging system utilizing artificial intelligence

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105912838A (zh) * 2016-04-01 2016-08-31 深圳市菲森科技有限公司 牙齿检查结果的展示方法、系统及医疗设备
US20190333627A1 (en) * 2018-04-25 2019-10-31 Sota Precision Optics, Inc. Dental imaging system utilizing artificial intelligence
CN109528323A (zh) * 2018-12-12 2019-03-29 上海牙典软件科技有限公司 一种基于人工智能的正畸方法及装置
CN109948619A (zh) * 2019-03-12 2019-06-28 北京羽医甘蓝信息技术有限公司 基于深度学习的全景片龋病识别的方法和装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
DMITRY V. TUZOFF 等: "Tooth detection and numbering in panoramic radiographs using convolutional neural networks", 《DENTOMAXILLOFACIAL RADIOLOGY》, 5 May 2019 (2019-05-05), pages 1 - 10 *
HU CHEN 等: "A deep learning approach to automatic teeth detection and numbering based on object detection in dental periapical films", 《SCIENTIFIC REPORTS》, vol. 9, 7 March 2019 (2019-03-07), pages 1 - 11 *
YUE ZHAO 等: "TSASNet: Tooth segmentation on dental panoramic X-ray images by Two-Stage Attention Segmentation Network", 《KNOWLEDGE-BASED SYSTEMS》, 5 August 2020 (2020-08-05), pages 1 - 10 *
刘伟: "基于结构点与轮廓特征的牙齿影像处理和配准技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》, no. 10, 15 October 2014 (2014-10-15), pages 138 - 1085 *
王星星: "口腔全景牙片机低对比度分辨力检测方法的探讨", 《2013中华医学会医学工程学分会第十四次学术年会论文集》, 25 July 2014 (2014-07-25), pages 102 - 102 *
郗睿 等: "数字化导板在下颚肿瘤手术中的设计与应用", 《中国医疗设备》, no. 02, 10 February 2020 (2020-02-10), pages 57 - 59 *
陈友升 等: "基于Mask R-CNN的人脸皮肤色斑检测分割方法", 《激光杂志》, 25 December 2019 (2019-12-25), pages 19 - 22 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733730A (zh) * 2021-01-12 2021-04-30 中国石油大学(华东) 采油作业现场吸烟人员识别处理方法及系统
CN113298157A (zh) * 2021-05-28 2021-08-24 上海商汤智能科技有限公司 病灶匹配方法及装置、电子设备和存储介质
CN114140668A (zh) * 2021-12-09 2022-03-04 深圳市资福医疗技术有限公司 胃部部位识别模型训练方法、部位识别方法及装置
CN114004831A (zh) * 2021-12-24 2022-02-01 杭州柳叶刀机器人有限公司 基于深度学习辅助种植体置换的方法及辅助智能系统
CN115205469A (zh) * 2022-09-06 2022-10-18 汉斯夫(杭州)医学科技有限公司 基于cbct的牙齿与牙槽骨重建方法、设备及介质
CN115281709A (zh) * 2022-10-08 2022-11-04 太原理工大学 一种下颌第二磨牙c形根管检测装置及方法

Similar Documents

Publication Publication Date Title
CN111932518A (zh) 一种深度学习的全景牙片病灶检测及分割方法及装置
US11455727B2 (en) Method and apparatus for excessive materials removal from intraoral scans
CN108564041B (zh) 一种基于rgbd相机的人脸检测和修复方法
CN105761252A (zh) 图像分割的方法及装置
CN115205469A (zh) 基于cbct的牙齿与牙槽骨重建方法、设备及介质
CN110674808A (zh) 一种变电站压板状态智能识别方法及装置
CN112515787B (zh) 一种三维牙颌数据分析方法
Oktay Human identification with dental panoramic radiographic images
CN113344950A (zh) 一种深度学习结合点云语义的cbct图像牙齿分割方法
CN113643446B (zh) 一种下颌神经管自动标记方法、装置和电子设备
CN113724329A (zh) 融合平面与立体信息的目标姿态估计方法、系统和介质
CN117745850A (zh) 地图矢量化生成方法、装置和服务器
WO2024119612A1 (zh) 一种数字化口腔模型标志点识别方法、装置及电子设备
CN115731169A (zh) 一种基于深度学习的自动确定基牙方法、系统和电子设备
CN113222994B (zh) 基于多视角卷积神经网络的三维口腔模型安氏分类方法
CN115908361A (zh) 一种口腔全景片的龋齿识别方法
Pandyan et al. Automatic localization of inferior alveolar nerve canal in panoramic dental images
Kirthika et al. YOLOv4 for multi-class artefact detection in endoscopic images
KR20230030197A (ko) 치과용 cbct에서 개별 치아 자동 식별 분할 장치 및 방법
CN111933252B (zh) 一种牙位检出和缺失牙标记方法及装置
Shi et al. Defog YOLO for road object detection in foggy weather
Zdravković et al. Tooth detection with small panoramic radiograph images datasets and Faster RCNN model
CN113487551B (zh) 基于深度学习提升密集目标性能的垫片检测方法及装置
CN113140016B (zh) 一种cbct设备的金属伪影校正方法和系统
Ma et al. Rheumatoid Arthritis Detection method based on Mask R-CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination