CN113221945A - 基于口腔全景片和双重注意力模块的龋齿识别方法 - Google Patents

基于口腔全景片和双重注意力模块的龋齿识别方法 Download PDF

Info

Publication number
CN113221945A
CN113221945A CN202110360203.1A CN202110360203A CN113221945A CN 113221945 A CN113221945 A CN 113221945A CN 202110360203 A CN202110360203 A CN 202110360203A CN 113221945 A CN113221945 A CN 113221945A
Authority
CN
China
Prior art keywords
attention
module
information
network
oral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110360203.1A
Other languages
English (en)
Other versions
CN113221945B (zh
Inventor
曹政
叶冠琛
朱海华
吴健
朱赴东
陈谦明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110360203.1A priority Critical patent/CN113221945B/zh
Publication of CN113221945A publication Critical patent/CN113221945A/zh
Application granted granted Critical
Publication of CN113221945B publication Critical patent/CN113221945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于口腔全景片和双重注意力模块的龋齿识别方法，使用深度学习技术对口腔全景片中的龋齿区域同时进行边缘分割和相应的病变程度识别方法。深度学习技术包括了基于图像空间域和通道域的双重注意力模块，以及基于该双重注意力模块建立的分割和分类网络。本龋齿识别系统由三个模块组成：数据预处理模块、双重注意力分割网络模块和双重注意力分类网络模块。本方法在深度学习过程中对图像区域的注意力进行分层采样和计算，将分割网络和分类网络串联起来，实现了端到端的一站式龋齿区域的定位以及病变程度的识别。通过实现口腔全景片中龋齿区域的自动分割以及对应龋齿病变的结果导出，对于口腔健康的维护具有重要的临床和社会意义。

Description

基于口腔全景片和双重注意力模块的龋齿识别方法
技术领域
本发明属于医疗辅助领域，涉及基于口腔全景片和双重注意力模块的龋齿识别方法，主要是利用基于双重注意力分割网络模块和分类网络模块的深度学习模型实现口腔全景片中的龋齿病变程度的识别。
背景技术
龋齿是一种由口腔中多种因素复合作用所导致的牙齿硬组织进行性病损，是口腔主要的常见病，也是人类最普遍的疾病之一。临床上可见龋齿有色、形、质的变化，而以质变为主，色、形变化是质变的结果，随着病程的发展，病变由釉质进入牙本质，组织不断被破坏、崩解而逐渐形成龋洞，临床上常根据龋坏程度分为浅、中、深龋三个阶段。由于目前大众对口腔健康的需求日益增长，越来越多人到医院或诊所进行口腔方面的咨询或治疗。而由于病患多，诊疗时间有限，有时医生不得已只能优先关注有症状的牙齿，而忽略了其他潜在的程度较轻的龋齿，龋病的进一步发展，提高了治疗难度和治疗费用。全景片是口腔临床上最常见的辅助检查手段，全景片包括了口内所有牙齿，且费用低，辐射量小。随着现代医疗水平的提高，如何利用电子信息技术实现基于口腔全景片的龋齿病变程度自动化检测成为一个热门的研究课题。
作为人工智能的重要组成部分，深度学习技术在医疗辅助诊断领域取得了很好的效果。与传统的方法相比，深度学习通过使用更多的数据量学习特征，能取得更好的泛化性能。深度学习中的深度神经网络可以在网络中自动提取特征，而不需要人为的特征选择，提取过的特征又可以根据网络的全连接层进行分类，从而使得特征提取和分类结合在了一起，获得比传统方法更出色的结果。
然而现有的深度学习方法直接输入口腔全景图进行龋齿辅助识别，卷积神经网络在特征的提取过程中通常会丢失大部分全局信息，深度学习模型所聚焦的区域也非常分散，在龋齿识别任务中表现不佳。因此，开发一种改进的深度学习算法准确进行龋齿的识别是本领域亟需解决的问题。
发明内容
本发明的目的是在已有的使用深度学习方法对龋齿进行识别的基础上，提出了一种分割再分类的两阶段识别方法，以及对应的双重注意力模块，使得深度学习模型可以聚焦在判断牙齿的患龋区域提取特征。在保证运行速度，泛化性的同时，提高了识别方法的性能。
本发明使用口腔全景片作为数据输入，设计了双重注意力模块，提取图像的通道域和空间域特征，并加以融合进深度学习模型中，使得模型能够学习到特定区域的丰富特征。基于双重注意力模块，设计了双重注意力分割网络和双重注意力分类网络。口腔全景片首先经过分割网络提取出龋齿区域，裁剪为图像块；再使用分割出的图像块输入至分类网络，判断该龋齿区域病变程度的分类情况。该龋齿识别方法由三个模块组成：数据预处理模块、双重注意力分割网络模块，和双重注意力分类网络模块。
为实现上述目的，本发明提供以下技术步骤：
1.数据预处理：利用资料库中的口腔全景片进行数据标注及标准化预处理，准备训练集；
具体包括：
(1)从放射检查中得到图像清晰的口腔全景片，调节亮度与对比度至可以区分骨骼间隙；
(2)放缩并裁减原始图像，得到一幅1920*1080像素尺寸的图片作为数据输入。
2.分割龋齿区域：通过双重注意力分割网络模块，分割口腔全景片图像中所有的龋齿区域，分离口腔背景区域和目标区域，提取对应的图像块；
具体包括：
(1)计算双重注意力模块，包括并行计算空间域的注意力和通道域的注意力信息；
(2)将计算出的空间域和通道域的注意力信息进行叠加操作；
(3)构建物体分割模型，包含五层的下采样和五层的上采样操作；
(4)在五层的下采样之后分别计算其双重注意力模块信息，并与下采样结果叠加；
(5)在五层的上采样之后输出口腔全景片每一个龋齿区域的图像块。
3.实现龋齿病变程度分类：使用双重注意力分类网络计算对应图像块龋齿病变程度的分类情况。
具体包括：
(1)得到分割网络输出产生的图像块，轮流作为网络的输入；
(3)计算双重注意力模块，包括并行计算空间域的注意力和通道域的注意力信息；
(3)将计算出的空间域和通道域的注意力信息进行叠加操作；
(4)构建残差连接分类网络，包含五层的残差连接块；
(5)在每一层残差连接块后计算其双重注意力模块信息，并与残差连接块的计算结果叠加，输入至下一残差连接块；
(6)输出对应图像块龋齿病变程度的分类结果。
其中注意力计算模块以分割网络产生的特征图作为输入，通过特征图分类网络后，会得到一个3个类别的概率向量，它与特征图所对应的原图的标签通过损失函数可以得到一个损失值，这个损失值作为总损失值的一部分。原始图像分类网络模块以原始图像作为输入，通过原始图像分类网络后，会得到一个3个类别的概率向量，它与原始图像的标签通过损失函数可以得到一个损失值，这个损失值作为同样总损失值的一部分。
步骤4的分类网络模块通过提取分割网络模块和注意力计算模块的中间层特征，作为模块的输入数据，通过卷积神经网络的作用，得到输入数据的注意力权值，然后对两个输入数据分别施以不同的注意力得到注意力特征图，最后把两个注意力特征图融合起来得到新的特征图，再对新生成的特征图进行简单的分类，得到最终预测结果。
本发明的优点：(1)与以往的简单使用深度学习来进行龋齿识别不同，本发明使用了分割+分类的两阶段识别方法，先对可以判断为龋齿的区域分割为图像块，再使用分类网络进行识别，极大提升了识别的准确率。(2)针对深度学习中信息丢失的问题，提出了双重注意力机制，同时提取通道域和空间域的注意力信息，并融合进分割和分类网络中，进一步提高了本发明的整体性能。(3)本发明使用过程中不需要人工参与，属于全自动的龋齿识别方法。
附图说明
图1为整体工作流程图。
图2为双重注意力模块图。
图3为双重注意力分割网络图。
图4为双重注意力分类网络图。
具体实施方式
下面将结合附图和实施例，具体说明本发明基于口腔全景片和双重注意力模块的龋齿识别方法的过程。
我们将龋齿识别方法拆解为三个相互关联的模块，最终实现基于双重注意力模块的龋齿识别。
实施例1
参见图1，展示了龋齿深度识别方法的流程图：首先，读取原始口腔全景片图像，经过数据预处理模块，将图像缩放并裁减到1920*1080的尺寸，输入到双重注意力分割网络中。再将分割网络模块输出的龋齿区域进行裁剪，得到对应的图像块。最后将分割网络模块输出图像块输入到双重注意力分类网络模块中，获取最终的龋齿深度识别结果。
结合图2-4分别说明本发明中各个模块的工作方法。
图2介绍了双重注意力模块，该模块能够尽可能的捕获全局上下文信息，从而对特征全局的情况进行判断，获得在全局层面上模型应该关注的区域。假设原始特征图形状为H×W×C，对于通道域分支，最大池化与平均池化所提取的特征拼接后得到一个长度为2C的特征，利用全连接层，将其重新映射到长度为C，之后再将其扩张为原特征图形状。对于空间域分支，最大池化与平均池化所提取的特征拼接后得到形状为H×W×2的特征图，利用卷积大小为1×1的卷积层，将其重新映射H×W×1大小，之后再将其扩张为原特征图形状。将通道域与空间域扩张后的特征图进行连接，拼接后特征图大小为H×W×2C。由于需将其转化为与输入形状相同的特征，因此通过卷积和sigmoid操作，卷积使其形状形状为H×W×C，sigmoid做平滑处理，最终得到注意力特征图。由于模块输入输出的尺寸相同，因此该模块可以嵌入至普通深度学习模型中以提升性能。
图3展示了双重注意力分割网络模块。首先，基于普通U-Net网络，在其中每层的基本模块中加入了双重注意力模块。网络主要由特征提取的五层下采样部分以及解析并上采样的解码部分组成，编码器模块由四个双重注意力模块组成，每个双重注意力模块中包含了两组卷积、批标准化层以及ReLU激活函数，再经过双重注意力模块的调整，与短路连接之前的特征进行求和。每个双重注意力模块后都接着一个最大池化，以实现对特征的下采样。图片进入网络后首先也会经过一个残差模块，得到通道数为64的特征，之后四个双重注意力模块输出的特征图通道数依次为：128，256，512，1024。解码器模块与编码器模块基本一致，先通过上采样，将特征采样至与编码器相应层数的特征大小，之后通过特征拼接，融合不同网络层级的多尺度上下文信息，再经过双重注意力模块，得到解码子模块的中间结果。
图4中介绍了双重注意力分类网络模块，基于ResNet-18建立了了双重注意力分类网络。该网络具有18层卷积结构，除去网络第一层和最后一层均为残差连接的卷积模块。双重注意力分类网络在每一层残差块后插入了双重注意力模块，利用双重注意力模块对输入的特征图进行全局的调整，之后再将经过双重注意力模块调整后的特征图与短路连接后的特征图进行求和。该类型的网络可以更好的学习到全局图像特征，拥有更好的分类性能。

Claims (4)

1.一种基于口腔全景片和双重注意力模块的龋齿识别方法，其特征在于，通过以下步骤实现：
(1)数据预处理：利用资料库中的口腔全景片进行数据标注及标准化预处理，准备训练集；
(2)分割龋齿区域：通过双重注意力分割网络模块，分割口腔全景片图像中所有的龋齿区域，分离口腔背景区域和目标区域，提取对应的图像块；
(3)实现龋齿病变程度分类：通过双重注意力分类网络模块计算对应图像块龋齿病变程度的分类情况。
2.根据权利要求1所述的识别方法，其特征在于，所述步骤(1)具体包括：
(1)从放射检查中得到图像清晰的口腔全景片，调节亮度与对比度；
(2)放缩并裁减原始图像，得到一幅1920*1080像素尺寸的图片作为数据输入。
3.根据权利要求1所述的识别方法，其特征在于，所述步骤(2)具体包括：
(1)计算双重注意力模块信息，包括并行计算空间域的注意力和通道域的注意力信息；
(2)将计算出的空间域和通道域的注意力信息进行叠加操作；
(3)构建物体分割模型，包含五层的下采样和五层的上采样操作；
(4)在五层的下采样之后分别计算其双重注意力模块信息，并与下采样结果叠加；
(5)在五层的上采样之后输出口腔全景片每一个龋齿区域的图像块。
4.根据权利要求1所述的方法，其特征在于，所述步骤(3)具体包括：
(1)得到分割网络输出产生的图像块，轮流作为网络的输入；
(2)计算双重注意力模块信息，包括并行计算空间域的注意力和通道域的注意力信息；
(3)将计算出的空间域和通道域的注意力信息进行叠加操作；
(4)构建残差连接分类网络，包含五层的残差连接块；
(5)在每一层残差连接块后计算其双重注意力模块信息，并与残差连接块的计算结果叠加，输入至下一残差连接块；
(6)输出对应图像块龋齿病变程度的分类结果。
CN202110360203.1A 2021-04-02 2021-04-02 基于口腔全景片和双重注意力模块的龋齿识别方法 Active CN113221945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110360203.1A CN113221945B (zh) 2021-04-02 2021-04-02 基于口腔全景片和双重注意力模块的龋齿识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110360203.1A CN113221945B (zh) 2021-04-02 2021-04-02 基于口腔全景片和双重注意力模块的龋齿识别方法

Publications (2)

Publication Number Publication Date
CN113221945A true CN113221945A (zh) 2021-08-06
CN113221945B CN113221945B (zh) 2023-04-07

Family

ID=77086377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110360203.1A Active CN113221945B (zh) 2021-04-02 2021-04-02 基于口腔全景片和双重注意力模块的龋齿识别方法

Country Status (1)

Country Link
CN (1) CN113221945B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688700A (zh) * 2021-08-10 2021-11-23 复旦大学 基于分层注意力采样策略的真实域三维点云物体识别算法
CN115376195A (zh) * 2022-10-09 2022-11-22 珠海大横琴科技发展有限公司 训练多尺度网络模型的方法及人脸关键点检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784639A (zh) * 2020-06-05 2020-10-16 浙江大学 基于深度学习的口腔全景片龋齿深度识别方法
CN112419286A (zh) * 2020-11-27 2021-02-26 苏州斯玛维科技有限公司 皮肤镜图像的分割方法及其分割装置
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法
CN112529042A (zh) * 2020-11-18 2021-03-19 南京航空航天大学 一种基于双重注意力多示例深度学习的医学图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784639A (zh) * 2020-06-05 2020-10-16 浙江大学 基于深度学习的口腔全景片龋齿深度识别方法
CN112529042A (zh) * 2020-11-18 2021-03-19 南京航空航天大学 一种基于双重注意力多示例深度学习的医学图像分类方法
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法
CN112419286A (zh) * 2020-11-27 2021-02-26 苏州斯玛维科技有限公司 皮肤镜图像的分割方法及其分割装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
田启川等: "卷积神经网络图像语义分割技术", 《小型微型计算机系统》 *
胡文俊等: "基于上下文的多路径空间编码图像语义分割方法", 《工业控制计算机》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688700A (zh) * 2021-08-10 2021-11-23 复旦大学 基于分层注意力采样策略的真实域三维点云物体识别算法
CN113688700B (zh) * 2021-08-10 2024-04-26 复旦大学 基于分层注意力采样策略的真实域三维点云物体识别方法
CN115376195A (zh) * 2022-10-09 2022-11-22 珠海大横琴科技发展有限公司 训练多尺度网络模型的方法及人脸关键点检测方法

Also Published As

Publication number Publication date
CN113221945B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN113221945B (zh) 基于口腔全景片和双重注意力模块的龋齿识别方法
Kong et al. Automated maxillofacial segmentation in panoramic dental x-ray images using an efficient encoder-decoder network
CN114757960B (zh) 一种基于cbct图像的牙齿分割与重建方法及存储介质
Chen et al. Missing teeth and restoration detection using dental panoramic radiography based on transfer learning with CNNs
CN112785609B (zh) 一种基于深度学习的cbct牙齿分割方法
CN112884788A (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN115410046A (zh) 基于深度学习的皮肤病舌象分类模型、建立方法及应用
CN114332123A (zh) 基于全景片的龋病自动分级方法及系统
CN114926470A (zh) 一种基于深度学习的阻生齿医学图像分割系统和方法
CN113160151B (zh) 基于深度学习及注意力机制的全景片龋齿深度识别方法
Huang et al. A review of deep learning in dentistry
CN116152500A (zh) 一种基于深度学习的全自动牙齿cbct图像分割方法
Yu et al. A new technique for diagnosis of dental caries on the children’s first permanent molar
CN112837278B (zh) 基于深度边界监督的牙齿全景片龋齿识别方法
CN113379697A (zh) 基于深度学习的彩色图像龋病识别方法
CN116758090A (zh) 一种基于多尺度减法的医学图像分割方法
CN116664592A (zh) 基于图像的动静脉血管分离方法、装置、电子设备及介质
CN113313722B (zh) 一种牙根图像交互标注方法
CN115731169A (zh) 一种基于深度学习的自动确定基牙方法、系统和电子设备
CN116205925A (zh) 基于改进U-Net网络的牙齿咬合翼片龋齿分割方法
CN111768845B (zh) 一种基于最优多尺度感知的肺结节辅助检测方法
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
Chen et al. Automatic and visualized grading of dental caries using deep learning on panoramic radiographs
Hossam et al. Automated Dental Diagnosis using Deep Learning
CN117636053A (zh) 一种舌面图像分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant