CN115439409A - 牙齿类型的识别方法和装置 - Google Patents

牙齿类型的识别方法和装置 Download PDF

Info

Publication number
CN115439409A
CN115439409A CN202210920935.6A CN202210920935A CN115439409A CN 115439409 A CN115439409 A CN 115439409A CN 202210920935 A CN202210920935 A CN 202210920935A CN 115439409 A CN115439409 A CN 115439409A
Authority
CN
China
Prior art keywords
tooth
loss function
network
data set
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210920935.6A
Other languages
English (en)
Inventor
姜斯浩
曹洪玮
杨振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Boen Zhongding Medical Technology Co ltd
Original Assignee
Changzhou Boen Zhongding Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Boen Zhongding Medical Technology Co ltd filed Critical Changzhou Boen Zhongding Medical Technology Co ltd
Priority to CN202210920935.6A priority Critical patent/CN115439409A/zh
Publication of CN115439409A publication Critical patent/CN115439409A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种牙齿类型的识别方法和装置，其中，所述方法包括以下步骤：构建牙齿类型识别模型；获取待识别牙齿的图像数据集；根据图像数据集得到待识别牙齿的样本数据集；数据增强样本数据集；根据数据增强后的样本数据集训练牙齿类型识别模型；根据训练后的牙齿类型识别模型得到待识别牙齿的初始识别结果；筛选调整初始识别结果以得到待识别牙齿的最终识别结果。本发明通过目标的中心位置和大小来区分实例目标，将实例目标分割的问题转换为位置类别预测和实例掩码生成的两个分支问题，从而能够提高目标识别的准确度，此外，还能够辅助牙医进行牙科病症的诊断，提升牙医的工作效率。

Description

牙齿类型的识别方法和装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种牙齿类型的识别方法和一种牙齿类型的识别装置。
背景技术
对于牙医而言，牙齿的形状、数量和位置是牙医通过X射线筛查病人问题时的主要依据。然而，由于X射线种类的多样化，解读X射线工作往往比较困难。
未解决该问题，人们提出将计算工具应用于全景牙科X光片中，通过计算工具来辅助专家进行决策，以便更好地进行诊断，例如，对于全景牙科图像采用深度学习技术进行医学图像分析。但是，基于深度学习技术的全景牙科X光片牙齿分割策略，一般是将整个牙弓当作一个单一的实例，无法为进一步的问题分析提供必要的细节，例如，缺少牙齿的类别信息和形状信息，为自动牙科图像分析的任务带来困难。
此外，在自动诊断全景牙科图像的应用中，基于深度学习技术的全景牙科X光片牙齿分割策略难以对独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收等牙科病症进行分割和识别，难以有效辅助牙医进行牙科病症的诊断。
发明内容
本发明为解决上述技术问题，提供了一种牙齿类型的识别方法，通过目标的中心位置和大小来区分实例目标，将实例目标分割的问题转换为位置类别预测和实例掩码生成的两个分支问题，从而能够提高目标识别的准确度，此外，还能够辅助牙医进行牙科病症的诊断，提升牙医的工作效率。
本发明采用的技术方案如下：
一种牙齿类型的识别方法，包括以下步骤：构建牙齿类型识别模型；获取待识别牙齿的图像数据集；根据所述图像数据集得到所述待识别牙齿的样本数据集；数据增强所述样本数据集；根据所述数据增强后的样本数据集训练所述牙齿类型识别模型；根据所述训练后的牙齿类型识别模型得到所述待识别牙齿的初始识别结果；筛选调整所述初始识别结果以得到所述待识别牙齿的最终识别结果。
根据本发明的一个实施例，所述牙齿类型识别模型包括特征提取网络、特征金字塔网络、分割分支网络、卷积核分支网络、分类分支网络、动态卷积网络、第一损失函数层和第二损失函数层，其中，所述特征提取网络的输出端与所述特征金字塔网络的输入端相连；所述特征金字塔网络的输出端分别与所述分割分支网络、所述卷积核分支网络和所述分类分支网络的输入端相连；所述分类分支网络的输出端连接所述第一损失函数层；所述分割分支网络和所述卷积核分支网络的输出端分别与所述动态卷积网络的输入端相连；所述动态卷积网络的输出端连接所述第二损失函数层。
根据本发明的一个实施例，所述图像数据集包括独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收的全景图像数据。
根据本发明的一个实施例，通过标注所述图像数据集以得到所述待识别牙齿的样本数据集。
根据本发明的一个实施例，所述根据所述数据增强后的样本数据集训练所述牙齿类型识别模型，具体包括以下步骤：输入所述数据增强后的样本数据集；通过所述特征提取网络特征提取样本数据得到纹理语义特征图；通过所述特征金字塔网络逐步融合所述纹理语义特征图；通过所述分割分支网络处理所述融合后的纹理语义特征图得到预测掩码特征图；通过所述卷积核分支网络处理所述融合后的纹理语义特征图得到预测卷积核；通过所述动态卷积网络卷积处理所述预测掩码特征图和所述预测卷积核得到实例分割结果；通过所述第二损失函数层进行所述实例分割结果的损失函数计算；通过所述分类分支网络处理所述融合后的纹理语义特征图得到类别预测结果；通过所述第一损失函数层进行所述类别预测结果的损失函数计算；根据所述实例分割结果损失函数和所述类别预测结果损失函数得到所述牙齿类型识别模型的总体损失函数。
根据本发明的一个实施例，所述第一损失函数层的损失函数为：
LPoly＝LFocal+(1-Pt)γ＝-(1-Pt)γlog(Pt)+(1-Pt)γ
其中，Pt表示所述牙齿类型识别模型对目标类别的预测概率，LFocal表示FocalLoss损失函数；
所述第二损失函数层的损失函数为：
LDice＝1-D(p,q)
其中，D表示Dice Loss损失函数的系数，定义为：
Figure BDA0003777511100000031
其中，Px,y表示实例分割掩码在(x，y)处的像素值，qx,y表示真实分割掩码在(x，y)处的像素值。
根据本发明的一个实施例，根据所述数据增强后的样本数据集对所述牙齿类型识别模型进行多尺度训练。
根据本发明的一个实施例，所述多尺度训练的训练参数包括尺度阈值、网格数量、学习率和迭代次数。
根据本发明的一个实施例，所述筛选调整所述初始识别结果以得到所述待识别牙齿的最终识别结果，具体包括以下步骤：确定筛选阈值；根据所述筛选阈值筛选所述初始识别结果；采用矩阵式非极大值抑制算法、最大预测概率删选策略和最大区域删选策略调整所述筛选后的初始识别结果以得到所述待识别牙齿的最终识别结果。
一种牙齿类型的识别装置，包括：建模模块，所述建模模块用于构建牙齿类型识别模型；获取模块，所述获取模块用于获取待识别牙齿的图像数据集；标注模块，所述标注模块用于根据所述图像数据集得到所述待识别牙齿的样本数据集；数据增强模块，所述数据增强模块用于数据增强所述样本数据集；训练模块，所述训练模块用于根据所述数据增强后的样本数据集训练所述牙齿类型识别模型；识别模块，所述识别模块用于根据所述训练后的牙齿类型识别模型得到所述待识别牙齿的初始识别结果；筛选调整模块，所述筛选调整模块用于筛选调整所述初始识别结果以得到所述待识别牙齿的最终识别结果。
本发明的有益效果如下：
1)、本发明通过端到端深度神经网络对独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收进行分割和识别，弥补了深度学习技术应用在全景牙科图像分析领域的一片空白，为全自动诊断牙科全景图像提供一个可实现的方法，能够辅助牙医进行牙科病症的诊断，提升牙医的工作效率；
2)、本发明通过目标的中心位置和大小来区分实例目标，将实例目标分割的问题转换为位置类别预测和实例掩码生成的两个分支问题，从而能够提高目标识别的准确度。
附图说明
图1为本发明实施例的的牙齿类型的识别方法的流程图；
图2为本发明一个实施例的牙齿类型识别模型的结构示意图；
图3为本发明一个实施例的根据数据增强后的样本数据集训练牙齿类型识别模型的流程图；
图4为本发明实施例的的牙齿类型的识别装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例的牙齿类型的识别方法的流程图。
如图1所示，本发明实施例的牙齿类型的识别方法，包括以下步骤：
S1，构建牙齿类型识别模型。
具体地，如图2所示，牙齿类型识别模型可为端到端深度神经网络，具体可包括特征提取网络、特征金字塔网络、分割分支网络、卷积核分支网络、分类分支网络、动态卷积网络、第一损失函数层和第二损失函数层。其中，特征提取网络的输出端与特征金字塔网络的输入端相连；特征金字塔网络的输出端分别与分割分支网络、卷积核分支网络和分类分支网络的输入端相连；分类分支网络的输出端连接第一损失函数层；分割分支网络和卷积核分支网络的输出端分别与动态卷积网络的输入端相连；动态卷积网络的输出端连接第二损失函数层。
S2，获取待识别牙齿的图像数据集。
具体地，可通过CBCT扫描获取待识别牙齿的图像数据集，例如独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收的全景图像数据，并且获取的每个全景图像可包括多个尺寸，例如2800*1536、2800*1316尺寸的全景图像。
此外，为保证图像数据的清晰度，获取的图像数据集中不包含儿童牙齿图像数据和老人牙齿图像数据，并且获取的图像数据集中的成人牙齿图像数据不存在或存在的伪影小于设定阈值，例如设定阈值可为3个伪影。
S3，根据图像数据集得到待识别牙齿的样本数据集。
具体地，可根据牙齿类型对获取的待识别牙齿的图像数据集进行标注，以得到待识别牙齿的样本数据集。此外，为便于后续数据处理，还可将标注得到的样本数据集转换为MS-COCO数据格式。
S4，数据增强样本数据集。
具体地，可对样本数据集中的每个样本数据依次进行随机比例尺寸填充、最小阈值随机裁剪、随机多尺度数据扩充、标准化图像和固定比例图像尺寸筛选调整处理。
其中，随机比例尺寸填充和最小阈值随机裁剪是对样本数据，即标注后的全景图像数据中的背景区域进行的处理；随机多尺度数据扩充是对对样本数据，即标注后的全景图像数据中的目标区域，即牙齿区域进行的处理，能够有效适应多尺度的样本数据，即标注后的全景图像数据；标准化图像和固定比例图像尺寸筛选调整能够保证数据增强后的样本数据适应牙齿类型识别模型。此外，需要说明的是，为了更好地识别牙齿类型，并提取真实牙齿位置，本发明的数据增强处理去除了翻转、平移操作，从而能够有效的提高牙齿类型识别模型的鲁棒性和泛化能力。
S5，根据数据增强后的样本数据集训练牙齿类型识别模型。
具体地，如图3所示，上述步骤S5还可包括以下步骤：
S501，输入数据增强后的样本数据集。
更具体地，可将数据增强后的样本数据集输入牙齿类型识别模型，其中，输入的样本数据数量可根据运行牙齿类型识别模型的GPU的参数确定，具体可根据GPU的显存大小来确定，例如，GPU可选用Titans RTX 24GB的显卡，输入的样本数据数量最大可为2。
S502，通过特征提取网络特征提取样本数据得到纹理语义特征图。
更具体地，特征提取网络可选用在ImageNet数据上预训练的ResNet50网络，以用于提取输入的样本数据，即标注后的全景图像数据的纹理语义特征图。其中，需要说明的是，由于自然数据集的分布和牙齿的全景图像数据的分布不一致，因此需要采用迁移学习在输入的样本数据，即标注后的全景图像数据上进行模型微调；此外，通过采用迁移学习还能够解决牙齿的样本数据较少、标注耗时的问题，以提升模型对牙齿的样本数据的表征能力。
S503，通过特征金字塔网络逐步融合纹理语义特征图。
更具体地，特征金字塔网络可对输入的纹理语义特征图进行多层级的特征融合，例如可在每个层级产生固定通道但不同大小的特征图，其中，通道可为256维，产生的特征图的大小可分别为输入的纹理语义特征图的1/4、1/8、1/16、1/32、1/64。由此，解决了目标多尺度的问题，并且通过逐层连接，能够在在增加少量计算量的情况下，大幅度提升小目标检测的性能。
S504，通过分割分支网络处理融合后的纹理语义特征图得到预测掩码特征图。
更具体地，分割分支网络可对输入的不同大小的特征图进行卷积和上采样，例如可提取特征金字塔网络的前四层特征图，其中，第一层特征图只进行卷积处理，第二、三、四层特征图进行卷积和上采样处理，从而可将输入的不同大小的特征图上采样到原图，即标注后的全景图像数据的1/4大小，最后可将处理后的四层特征图进行相加操作，再通过卷积处理将通道数变为256，得到相应的预测掩码特征图。其中，第四层特征图需要额外加入目标，即牙齿的坐标位置信息(坐标统一归一化到[-1,1])。
S505，通过卷积核分支网络处理融合后的纹理语义特征图得到预测卷积核。
更具体地，卷积核分支网络可对输入的每个层级融合后的纹理语义特征图，加入对应大小的目标坐标位置信息(坐标统一归一化到[-1,1])，然后可对应层级设置网格数量，通过双线性插值将每个层级的特征图平均划分为对应网格数量的特征图，最后分别通过五个卷积操作生成特征金字塔网络中每一层对应网格数量的预测卷积核。其中，最后一个卷积操作将通道数变为256，网格数量可分别为102、96、72、64、48。
S506，通过动态卷积网络卷积处理预测掩码特征图和预测卷积核得到实例分割结果。
更具体地，动态卷积网络可对分割分支网络生成的预测掩码特征图和卷积核分支网络生成的预测卷积核进行卷积运算，得到实例分割结果。
S507，通过第二损失函数层进行实例分割结果的损失函数计算。
更具体地，可利用动态卷积网络生成的实例分割结果，即实例分割掩码和真实分割掩码，通过第二损失函数层的损失函数进行实例分割损失函数计算。其中，第二损失函数层的损失函数为Dice Loss损失函数(Dice Loss损失函数用于评估两个样本相似性，取值范围为[0,1])，具体表达式为：
LDice＝1-D(p,q)
其中，D表示Dice Loss损失函数的系数，定义为：
Figure BDA0003777511100000081
其中，Px,y表示实例分割掩码在(x，y)处的像素值，qx,y表示真实分割掩码在(x，y)处的像素值。
S508，通过分类分支网络处理融合后的纹理语义特征图得到类别预测结果。
更具体地，分类分支网络可对应层级设置网格数量，通过双线性插值将输入的每个层级融合后的纹理语义特征图平均划分为对应网格数量的特征图，最后分别通过五个卷积操作生成每个层级固定通道的对应网格大小的类别预测结果。其中，最后一个卷积操作将通道数变为预测类别的数量。
S509，通过第一损失函数层进行类别预测结果的损失函数计算。
更具体地，可利用分类分支网络生成的类别预测结果，即类别预测标签和真实标签，通过第一损失函数层的损失函数进行类别预测损失函数计算。其中，第一损失函数层的损失函数为Poly Loss损失函数(Poly Loss损失函数为多项式函数的线性组合，例如统一了CE Loss损失函数和Focal Loss损失函数，取值范围为[0,1])，具体表达式为：
LPoly＝LFocal+(1-Pt)γ＝-(1-Pt)γlog(Pt)+(1-Pt)γ
其中，Pt表示牙齿类型识别模型对目标类别的预测概率，LFocal表示Focal Loss损失函数。通过设置多项式损失函数，能够提高位置类别预测结果的准确性。
S510，根据实例分割结果损失函数和类别预测结果损失函数得到牙齿类型识别模型的总体损失函数。
更具体地，牙齿类型识别模型的总体损失函数的表达式为：
L＝LPoly+λ·LDice
其中，λ表示权重，具体可为3。
需要说明的是，还可根据数据增强后的样本数据集对牙齿类型识别模型进行多尺度训练，并且多尺度训练的训练参数可包括尺度阈值、网格数量、学习率和迭代次数。举例而言，尺度阈值可为[1,96],[96,192],[128,256],[192,384],[256,2048]；网络数量可为[102,96,72,64,48]；学习率可为0.0025；迭代次数可为80个epoch，由此，可根据上述参数对牙齿类型识别模型进行多尺度训练(多尺度包括[2800,1316],[2800,1344],[2800,1376],[2800,1408],[2800,1472],[2800,1536])，并可对训练结果进行损失函数计算。通过多尺度训练，保证模型能够对不同尺寸的牙齿全景图像进行自动诊断，从而能够增加模型的泛化能力。
此外，由于牙齿、根尖周炎、龋齿病症的不规则性，并且部分牙齿之间存在一定的重合，因此，可通过正负标签样本分配，来保证实例分割结果和类别预测结果的准确性。举例而言，可先通过截取掩码外接矩形框的0.8倍区域来计算真实掩码的中心区域，然后可根据每个层级的网格数量，将对应大小的真实掩码划分为相应数量的网格，，例如，若网格内落入了真实掩码的中心区域、并且该网格中目标占比大于0.2，则被分为正例标签样本，否则被分为负例标签样本。通过正负标签样本分配，能够减少位置预测的干扰样本，从而能够增加结果的可信度。
S6，根据训练后的牙齿类型识别模型得到待识别牙齿的初始识别结果。
具体地，可根据训练后的牙齿类型识别模型对待识别牙齿的样本数据，即标注后的牙齿全景图像数据进行推理，以得到待识别牙齿的初始识别结果，即对应的预测掩码特征图、预测卷积核和类别预测结果。
S7，筛选调整初始识别结果以得到待识别牙齿的最终识别结果。
具体地，可先确定筛选阈值，然后可根据筛选阈值筛选初始识别结果，进而可采用矩阵式非极大值抑制算法、最大预测概率删选策略和最大区域删选策略调整筛选后的初始识别结果以得到待识别牙齿的最终识别结果。
更具体地，筛选阈值可包括概率阈值和分割阈值，由此，可根据概率阈值(概率阈值可为0.1)筛选过滤类别概率小于概率阈值的初始识别结果，即对应的预测掩码特征图、预测卷积核和类别预测结果；然后可根据筛选后的预测掩码特征图和预测卷积核得到实例分割结果；进一步地，可根据分割阈值(分割阈值可为0.5)筛选过滤分割得分小于分割阈值的实例分割结果；更进一步地，可在每个层级中过滤像素点数量小于该层级网格数量的类别预测结果，从而可得到筛选后的实例分割结果和类别预测结果。
更进一步地，对于筛选后的实例分割结果和类别预测结果，可采用矩阵式非极大值抑制算法、最大预测概率删选策略和最大区域删选策略进行调整，以得到待识别牙齿的最终识别结果。
其中，为减少矩阵式非极大值抑制算法的计算量，可先根据实例分割结果的分割预测得分和类别预测结果的类别预测得分计算实例级别的实例得分：
Figure BDA0003777511100000111
进一步地，可对实例得分进行排序，保留Top 400个实例分割结果和类别预测结果，然后可采用矩阵式非极大值抑制算法，对所有的实例分割结果和类别预测结果进行重合度计算，并可通过高斯核抑制重合度超过设定阈值的实例分割结果和类别预测结果，最后可过滤实例得分小于得分阈值(得分阈值可为0.16)的实例分割结果和类别预测结果，从而能够达到去除冗余实例分割结果和类别预测结果的目的。
进一步地，由于矩阵式非极大值抑制算法仍然有可能保留多个同类别的实例分割结果和类别预测结果，因此可通过最大预测概率删选策略保留同类别中最大概率的实例分割结果和类别预测结果，然后对筛选后的实例得分进行排序，保留Top 100个实例分割结果和类别预测结果。
进一步地，由于最大预测概率删选策略仍然可能存在某个实例分割结果和类别预测结果包含多个瑕疵区域的情况，因此可通过最大区域删选策略剔除其中的瑕疵区域，以保证每个实例分割结果和类别预测结果只有一个轮廓区域，从而可得到最终的识别结果，即最终的实例分割结果和类别预测结果。
本发明的有益效果如下：
1)、本发明通过端到端深度神经网络对独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收进行分割和识别，弥补了深度学习技术应用在全景牙科图像分析领域的一片空白，为全自动诊断牙科全景图像提供一个可实现的方法，能够辅助牙医进行牙科病症的诊断，提升牙医的工作效率；
2)、本发明通过目标的中心位置和大小来区分实例目标，将实例目标分割的问题转换为位置类别预测和实例掩码生成的两个分支问题，从而能够提高目标识别的准确度。
对应上述实施例的牙齿类型的识别方法，本发明还提出了一种牙齿类型的识别装置。
如图4所示，本发明实施例的牙齿类型的识别装置，包括建模模块10、获取模块20、标注模块30、数据增强模块40、训练模块50、识别模块60和筛选调整模块70。其中，建模模块10用于构建牙齿类型识别模型；获取模块20用于获取待识别牙齿的图像数据集；标注模块30用于根据图像数据集得到待识别牙齿的样本数据集；数据增强模块40用于数据增强样本数据集；训练模块50用于根据数据增强后的样本数据集训练牙齿类型识别模型；识别模块60用于根据训练后的牙齿类型识别模型得到待识别牙齿的初始识别结果；筛选调整模块70用于筛选调整初始识别结果以得到待识别牙齿的最终识别结果。
在本发明的一个实施例中，如图2所示，牙齿类型识别模型可为端到端深度神经网络，具体可包括特征提取网络、特征金字塔网络、分割分支网络、卷积核分支网络、分类分支网络、动态卷积网络、第一损失函数层和第二损失函数层。其中，特征提取网络的输出端与特征金字塔网络的输入端相连；特征金字塔网络的输出端分别与分割分支网络、卷积核分支网络和分类分支网络的输入端相连；分类分支网络的输出端连接第一损失函数层；分割分支网络和卷积核分支网络的输出端分别与动态卷积网络的输入端相连；动态卷积网络的输出端连接第二损失函数层。
在本发明的一个实施例中，获取模块20可通过CBCT扫描获取待识别牙齿的图像数据集，例如独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收的全景图像数据，并且获取的每个全景图像可包括多个尺寸，例如2800*1536、2800*1316尺寸的全景图像。
此外，为保证图像数据的清晰度，获取的图像数据集中不包含儿童牙齿图像数据和老人牙齿图像数据，并且获取的图像数据集中的成人牙齿图像数据不存在或存在的伪影小于设定阈值，例如设定阈值可为3个伪影。
在本发明的一个实施例中，标注模块30可根据牙齿类型对获取的待识别牙齿的图像数据集进行标注，以得到待识别牙齿的样本数据集。此外，为便于后续数据处理，还可将标注得到的样本数据集转换为MS-COCO数据格式。
在本发明的一个实施例中，数据增强模块40可具体用于对样本数据集中的每个样本数据依次进行随机比例尺寸填充、最小阈值随机裁剪、随机多尺度数据扩充、标准化图像和固定比例图像尺寸筛选调整处理。
其中，随机比例尺寸填充和最小阈值随机裁剪是对样本数据，即标注后的全景图像数据中的背景区域进行的处理；随机多尺度数据扩充是对对样本数据，即标注后的全景图像数据中的目标区域，即牙齿区域进行的处理，能够有效适应多尺度的样本数据，即标注后的全景图像数据；标准化图像和固定比例图像尺寸筛选调整能够保证数据增强后的样本数据适应牙齿类型识别模型。此外，需要说明的是，为了更好地识别牙齿类型，并提取真实牙齿位置，本发明的数据增强处理去除了翻转、平移操作，从而能够有效的提高牙齿类型识别模型的鲁棒性和泛化能力。
在本发明的一个实施例中，如图3所示，训练模块50可具体用于：
S501，输入数据增强后的样本数据集。
更具体地，可将数据增强后的样本数据集输入牙齿类型识别模型，其中，输入的样本数据数量可根据运行牙齿类型识别模型的GPU的参数确定，具体可根据GPU的显存大小来确定，例如，GPU可选用Titans RTX 24GB的显卡，输入的样本数据数量最大可为2。
S502，通过特征提取网络特征提取样本数据得到纹理语义特征图。
更具体地，特征提取网络可选用在ImageNet数据上预训练的ResNet50网络，以用于提取输入的样本数据，即标注后的全景图像数据的纹理语义特征图。其中，需要说明的是，由于自然数据集的分布和牙齿的全景图像数据的分布不一致，因此需要采用迁移学习在输入的样本数据，即标注后的全景图像数据上进行模型微调。
S503，通过特征金字塔网络逐步融合纹理语义特征图。
更具体地，特征金字塔网络可对输入的纹理语义特征图进行多层级的特征融合，例如可在每个层级产生固定通道但不同大小的特征图，其中，通道可为256维，产生的特征图的大小可分别为输入的纹理语义特征图的1/4、1/8、1/16、1/32、1/64。由此，解决了目标多尺度的问题，并且通过逐层连接，能够在在增加少量计算量的情况下，大幅度提升小目标检测的性能。
S504，通过分割分支网络处理融合后的纹理语义特征图得到预测掩码特征图。
更具体地，分割分支网络可对输入的不同大小的特征图进行卷积和上采样，例如可提取特征金字塔网络的前四层特征图，其中，第一层特征图只进行卷积处理，第二、三、四层特征图进行卷积和上采样处理，从而可将输入的不同大小的特征图上采样到原图，即标注后的全景图像数据的1/4大小，最后可将处理后的四层特征图进行相加操作，再通过卷积处理将通道数变为256，得到相应的预测掩码特征图。其中，第四层特征图需要额外加入目标，即牙齿的坐标位置信息(坐标统一归一化到[-1,1])。
S505，通过卷积核分支网络处理融合后的纹理语义特征图得到预测卷积核。
更具体地，卷积核分支网络可对输入的每个层级融合后的纹理语义特征图，加入对应大小的目标坐标位置信息(坐标统一归一化到[-1,1])，然后可对应层级设置网格数量，通过双线性插值将每个层级的特征图平均划分为对应网格数量的特征图，最后分别通过五个卷积操作生成特征金字塔网络中每一层对应网格数量的预测卷积核。其中，最后一个卷积操作将通道数变为256，网格数量可分别为102、96、72、64、48。
S506，通过动态卷积网络卷积处理预测掩码特征图和预测卷积核得到实例分割结果。
更具体地，动态卷积网络可对分割分支网络生成的预测掩码特征图和卷积核分支网络生成的预测卷积核进行卷积运算，得到实例分割结果。
S507，通过第二损失函数层进行实例分割结果的损失函数计算。
更具体地，可利用动态卷积网络生成的实例分割结果，即实例分割掩码和真实分割掩码，通过第二损失函数层的损失函数进行实例分割损失函数计算。其中，第二损失函数层的损失函数为Dice Loss损失函数(Dice Loss损失函数用于评估两个样本相似性，取值范围为[0,1])，具体表达式为：
LDice＝1-D(p,q)
其中，D表示Dice Loss损失函数的系数，定义为：
Figure BDA0003777511100000151
其中，Px,y表示实例分割掩码在(x，y)处的像素值，qx,y表示真实分割掩码在(x，y)处的像素值。
S508，通过分类分支网络处理融合后的纹理语义特征图得到类别预测结果。
更具体地，分类分支网络可对应层级设置网格数量，通过双线性插值将输入的每个层级融合后的纹理语义特征图平均划分为对应网格数量的特征图，最后分别通过五个卷积操作生成每个层级固定通道的对应网格大小的类别预测结果。其中，最后一个卷积操作将通道数变为预测类别的数量。
S509，通过第一损失函数层进行类别预测结果的损失函数计算。
更具体地，可利用分类分支网络生成的类别预测结果，即类别预测标签和真实标签，通过第一损失函数层的损失函数进行类别预测损失函数计算。其中，第一损失函数层的损失函数为Poly Loss损失函数(Poly Loss损失函数为多项式函数的线性组合，例如统一了CE Loss损失函数和Focal Loss损失函数，取值范围为[0,1])，具体表达式为：
LPoly＝LFocal+(1-Pt)γ＝-(1-Pt)γlog(Pt)+(1-Pt)γ
其中，Pt表示牙齿类型识别模型对目标类别的预测概率，LFocal表示Focal Loss损失函数。通过设置多项式损失函数，能够提高位置类别预测结果的准确性。
S510，根据实例分割结果损失函数和类别预测结果损失函数得到牙齿类型识别模型的总体损失函数。
更具体地，牙齿类型识别模型的总体损失函数的表达式为：
L＝LPoly+λ·LDice
其中，λ表示权重，具体可为3。
需要说明的是，还可根据数据增强后的样本数据集对牙齿类型识别模型进行多尺度训练，并且多尺度训练的训练参数可包括尺度阈值、网格数量、学习率和迭代次数。举例而言，尺度阈值可为[1,96],[96,192],[128,256],[192,384],[256,2048]；网络数量可为[102,96,72,64,48]；学习率可为0.0025；迭代次数可为80个epoch，由此，可根据上述参数对牙齿类型识别模型进行多尺度训练(多尺度包括[2800,1316],[2800,1344],[2800,1376],[2800,1408],[2800,1472],[2800,1536])，并可对训练结果进行损失函数计算。通过多尺度训练，能够保证模型可以对不同尺寸的牙齿全景图像进行自动诊断，从而能够增加模型的泛化能力。
此外，由于牙齿、根尖周炎、龋齿病症的不规则性，并且部分牙齿之间存在一定的重合，因此，可通过正负标签样本分配，来保证实例分割结果和类别预测结果的准确性。举例而言，可先通过截取掩码外接矩形框的0.8倍区域来计算真实掩码的中心区域，然后可根据每个层级的网格数量，将对应大小的真实掩码划分为相应数量的网格，，例如，若网格内落入了真实掩码的中心区域、并且该网格中目标占比大于0.2，则被分为正例标签样本，否则被分为负例标签样本。通过正负标签样本分配，能够减少位置预测的干扰样本，从而能够增加结果的可信度。
在本发明的一个实施例中，识别模块60可具体用于根据训练后的牙齿类型识别模型对待识别牙齿的样本数据，即标注后的牙齿全景图像数据进行推理，以得到待识别牙齿的初始识别结果，即对应的预测掩码特征图、预测卷积核和类别预测结果。
在本发明的一个实施例中，筛选调整模块70可具体用于确定筛选阈值，然后可根据筛选阈值筛选初始识别结果，进而可采用矩阵式非极大值抑制算法、最大预测概率删选策略和最大区域删选策略调整筛选后的初始识别结果以得到待识别牙齿的最终识别结果。
更具体地，筛选阈值可包括概率阈值和分割阈值，由此，可根据概率阈值(概率阈值可为0.1)筛选过滤类别概率小于概率阈值的初始识别结果，即对应的预测掩码特征图、预测卷积核和类别预测结果；然后可根据筛选后的预测掩码特征图和预测卷积核得到实例分割结果；进一步地，可根据分割阈值(分割阈值可为0.5)筛选过滤分割得分小于分割阈值的实例分割结果；更进一步地，可在每个层级中过滤像素点数量小于该层级网格数量的类别预测结果，从而可得到筛选后的实例分割结果和类别预测结果。
更进一步地，对于筛选后的实例分割结果和类别预测结果，可采用矩阵式非极大值抑制算法、最大预测概率删选策略和最大区域删选策略进行调整，以得到待识别牙齿的最终识别结果。
其中，为减少矩阵式非极大值抑制算法的计算量，可先根据实例分割结果的分割预测得分和类别预测结果的类别预测得分计算实例级别的实例得分：
Figure BDA0003777511100000181
进一步地，可对实例得分进行排序，保留Top 400个实例分割结果和类别预测结果，然后可采用矩阵式非极大值抑制算法，对所有的实例分割结果和类别预测结果进行重合度计算，并可通过高斯核抑制重合度超过设定阈值的实例分割结果和类别预测结果，最后可过滤实例得分小于得分阈值(得分阈值可为0.16)的实例分割结果和类别预测结果，从而能够达到去除冗余实例分割结果和类别预测结果的目的。
进一步地，由于矩阵式非极大值抑制算法仍然有可能保留多个同类别的实例分割结果和类别预测结果，因此可通过最大预测概率删选策略保留同类别中最大概率的实例分割结果和类别预测结果，然后对筛选后的实例得分进行排序，保留Top 100个实例分割结果和类别预测结果。
进一步地，由于最大预测概率删选策略仍然可能存在某个实例分割结果和类别预测结果包含多个瑕疵区域的情况，因此可通过最大区域删选策略剔除其中的瑕疵区域，以保证每个实例分割结果和类别预测结果只有一个轮廓区域，从而可得到最终的识别结果，即最终的实例分割结果和类别预测结果。
本发明的有益效果如下：
1)、本发明通过端到端深度神经网络对独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收进行分割和识别，弥补了深度学习技术应用在全景牙科图像分析领域的一片空白，为全自动诊断牙科全景图像提供一个可实现的方法，能够辅助牙医进行牙科病症的诊断，提升牙医的工作效率；
2)、本发明通过目标的中心位置和大小来区分实例目标，将实例目标分割的问题转换为位置类别预测和实例掩码生成的两个分支问题，从而能够提高目标识别的准确度。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

Claims (10)

1.一种牙齿类型的识别方法，其特征在于，包括以下步骤：
构建牙齿类型识别模型；
获取待识别牙齿的图像数据集；
根据所述图像数据集得到所述待识别牙齿的样本数据集；
数据增强所述样本数据集；
根据所述数据增强后的样本数据集训练所述牙齿类型识别模型；
根据所述训练后的牙齿类型识别模型得到所述待识别牙齿的初始识别结果；
筛选调整所述初始识别结果以得到所述待识别牙齿的最终识别结果。
2.根据权利要求1所述的牙齿类型的识别方法，其特征在于，所述牙齿类型识别模型包括特征提取网络、特征金字塔网络、分割分支网络、卷积核分支网络、分类分支网络、动态卷积网络、第一损失函数层和第二损失函数层，其中，
所述特征提取网络的输出端与所述特征金字塔网络的输入端相连；
所述特征金字塔网络的输出端分别与所述分割分支网络、所述卷积核分支网络和所述分类分支网络的输入端相连；
所述分类分支网络的输出端连接所述第一损失函数层；
所述分割分支网络和所述卷积核分支网络的输出端分别与所述动态卷积网络的输入端相连；
所述动态卷积网络的输出端连接所述第二损失函数层。
3.根据权利要求2所述的牙齿类型的识别方法，其特征在于，所述图像数据集包括独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收的全景图像数据。
4.根据权利要求2所述的牙齿类型的识别方法，其特征在于，通过标注所述图像数据集以得到所述待识别牙齿的样本数据集。
5.根据权利要求2所述的牙齿类型的识别方法，其特征在于，所述根据所述数据增强后的样本数据集训练所述牙齿类型识别模型，具体包括以下步骤：
输入所述数据增强后的样本数据集；
通过所述特征提取网络特征提取样本数据得到纹理语义特征图；
通过所述特征金字塔网络逐步融合所述纹理语义特征图；
通过所述分割分支网络处理所述融合后的纹理语义特征图得到预测掩码特征图；
通过所述卷积核分支网络处理所述融合后的纹理语义特征图得到预测卷积核；
通过所述动态卷积网络卷积处理所述预测掩码特征图和所述预测卷积核得到实例分割结果；
通过所述第二损失函数层进行所述实例分割结果的损失函数计算；
通过所述分类分支网络处理所述融合后的纹理语义特征图得到类别预测结果；
通过所述第一损失函数层进行所述类别预测结果的损失函数计算；
根据所述实例分割结果损失函数和所述类别预测结果损失函数得到所述牙齿类型识别模型的总体损失函数。
6.根据权利要求5所述的牙齿类型的识别方法，其特征在于，其中，
所述第一损失函数层的损失函数为：
LPoly＝LFocal+(1-Pt)γ＝-(1-Pt)γlog(Pt)+(1-Pt)γ
其中，Pt表示所述牙齿类型识别模型对目标类别的预测概率，LFocal表示Focal Loss损失函数；
所述第二损失函数层的损失函数为：
LDice＝1-D(p,q)
其中，D表示Dice Loss损失函数的系数，定义为：
Figure FDA0003777511090000031
其中，Px,y表示实例分割掩码在(x，y)处的像素值，qx,y表示真实分割掩码在(x，y)处的像素值。
7.根据权利要求6所述的牙齿类型的识别方法，其特征在于，根据所述数据增强后的样本数据集对所述牙齿类型识别模型进行多尺度训练。
8.根据权利要求7所述的牙齿类型的识别方法，其特征在于，所述多尺度训练的训练参数包括尺度阈值、网格数量、学习率和迭代次数。
9.根据权利要求4所述的牙齿类型的识别方法，其特征在于，所述筛选调整所述初始识别结果以得到所述待识别牙齿的最终识别结果，具体包括以下步骤：
确定筛选阈值；
根据所述筛选阈值筛选所述初始识别结果；
采用矩阵式非极大值抑制算法、最大预测概率删选策略和最大区域删选策略调整所述筛选后的初始识别结果以得到所述待识别牙齿的最终识别结果。
10.一种牙齿类型的识别装置，其特征在于，包括：
建模模块，所述建模模块用于构建牙齿类型识别模型；
获取模块，所述获取模块用于获取待识别牙齿的图像数据集；
标注模块，所述标注模块用于根据所述图像数据集得到所述待识别牙齿的样本数据集；
数据增强模块，所述数据增强模块用于数据增强所述样本数据集；
训练模块，所述训练模块用于根据所述数据增强后的样本数据集训练所述牙齿类型识别模型；
识别模块，所述识别模块用于根据所述训练后的牙齿类型识别模型得到所述待识别牙齿的初始识别结果；
筛选调整模块，所述筛选调整模块用于筛选调整所述初始识别结果以得到所述待识别牙齿的最终识别结果。
CN202210920935.6A 2022-08-02 2022-08-02 牙齿类型的识别方法和装置 Pending CN115439409A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210920935.6A CN115439409A (zh) 2022-08-02 2022-08-02 牙齿类型的识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210920935.6A CN115439409A (zh) 2022-08-02 2022-08-02 牙齿类型的识别方法和装置

Publications (1)

Publication Number Publication Date
CN115439409A true CN115439409A (zh) 2022-12-06

Family

ID=84241822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210920935.6A Pending CN115439409A (zh) 2022-08-02 2022-08-02 牙齿类型的识别方法和装置

Country Status (1)

Country Link
CN (1) CN115439409A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994070A (zh) * 2023-09-25 2023-11-03 四川大学 基于可度量子空间动态分类器的牙齿图像处理方法及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994070A (zh) * 2023-09-25 2023-11-03 四川大学 基于可度量子空间动态分类器的牙齿图像处理方法及设备
CN116994070B (zh) * 2023-09-25 2023-12-01 四川大学 基于可度量子空间动态分类器的牙齿图像处理方法及设备

Similar Documents

Publication Publication Date Title
JP7412334B2 (ja) 深層学習法を使用する３ｄ歯データの自動分類および分類法
US20240087097A1 (en) Domain specific image quality assessment
US11464467B2 (en) Automated tooth localization, enumeration, and diagnostic system and method
CN110473243B (zh) 基于深度轮廓感知的牙齿分割方法、装置及计算机设备
CN109636808B (zh) 一种基于全卷积神经网络的肺叶分割方法
US10991091B2 (en) System and method for an automated parsing pipeline for anatomical localization and condition classification
CN107644225A (zh) 肺部病灶识别方法、装置和实现装置
CN115187540A (zh) 一种人体三维椎体松质骨图像的自动分割方法及系统
CN111784639A (zh) 基于深度学习的口腔全景片龋齿深度识别方法
CN112989954A (zh) 基于深度学习的三维牙齿点云模型数据分类方法及系统
CN115439409A (zh) 牙齿类型的识别方法和装置
CN112785609A (zh) 一种基于深度学习的cbct牙齿分割方法
CN113516639B (zh) 基于全景x光片的口腔异常检测模型的训练方法及装置
CN114638852A (zh) 基于cbct图像颌骨、软组织识别与重建的方法、装置及介质
CN113160151A (zh) 基于深度学习及注意力机制的全景片龋齿深度识别方法
US20220358740A1 (en) System and Method for Alignment of Volumetric and Surface Scan Images
CN116071373A (zh) 一种基于融合PCA的U-net模型舌体自动分割方法
CN114004970A (zh) 一种牙齿区域检测方法、装置、设备及存储介质
CN116205925A (zh) 基于改进U-Net网络的牙齿咬合翼片龋齿分割方法
Chen et al. Detection of Various Dental Conditions on Dental Panoramic Radiography Using Faster R-CNN
CN112420171A (zh) 一种基于人工智能的上颌窦底骨质分类方法及系统
CN111933252B (zh) 一种牙位检出和缺失牙标记方法及装置
TWI807809B (zh) 利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統、電腦程式及電腦可讀取媒體
US20230051400A1 (en) System and Method for Fusion of Volumetric and Surface Scan Images
US20220122261A1 (en) Probabilistic Segmentation of Volumetric Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination