CN113554607B - 一种牙体检测模型、模型生成方法及牙体分割方法 - Google Patents

一种牙体检测模型、模型生成方法及牙体分割方法 Download PDF

Info

Publication number
CN113554607B
CN113554607B CN202110801232.7A CN202110801232A CN113554607B CN 113554607 B CN113554607 B CN 113554607B CN 202110801232 A CN202110801232 A CN 202110801232A CN 113554607 B CN113554607 B CN 113554607B
Authority
CN
China
Prior art keywords
module
unet
layer
feature map
tooth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110801232.7A
Other languages
English (en)
Other versions
CN113554607A (zh
Inventor
罗浩喆
袁雪纯
朱涛
马鑫然
许王泽
龙虎
宋万忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110801232.7A priority Critical patent/CN113554607B/zh
Publication of CN113554607A publication Critical patent/CN113554607A/zh
Application granted granted Critical
Publication of CN113554607B publication Critical patent/CN113554607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种牙体检测模型、模型生成方法及牙体分割方法。该模型包括下采样层、第五Unet模块、上采样层、第一门控层、第二门控层、第三门控层及第十Unet模块；下采样层包括依次连接的第一Unet模块、第二Unet模块、第三Unet模块及第四Unet模块；上采样层，包括第六Unet模块、第七Unet模块、第八Unet模块及第九Unet模块。本申请实施例中，在上采样层外侧设置门控层，进而通过门控层能够将前一层的特征与当前上采样层的特征进行融合，提高后续上采样的采样效果，避免出现上采样时尺寸不匹配或与前一层的语义不在同一维度的情况。

Description

一种牙体检测模型、模型生成方法及牙体分割方法
技术领域
本申请涉及图像处理领域，具体而言，涉及一种牙体检测模型、模型生成方法及牙体分割方法。
背景技术
牙颌图像的分析是口腔诊疗过程中必不可少的一环。近年来，随着医学影像的发展，越来越多更加精确、高效的影像技术开始进入临床，而锥形束计算机断层扫描技术(Cone-beam computed tomography，CBCT)作为其中重要的一员，以其低辐射量、操作简单、短扫描时间、高分辨率、显示清晰等优点获得了越来越多临床工作者的认可，并在口腔数字化治疗领域(正畸、牙齿种植、牙体牙髓治疗等)显示出了广阔应用前景，极大提高了口腔诊疗的效率。然而在实际运用中，CBCT数据量大，一个病人上下牙列的CBCT横断面图多达200张(层距为0.25mm)，在观察和整合CBCT的三维信息上，传统的逐层阅读，手动分割模式非常耗时。另外，现有CBCT配套软件中采用的“体绘制”模式进行的三维重建时，三维模型并不能显示牙根部分(牙槽骨遮盖)，并且数据不能进行编辑。这些让临床医生在参考CBCT图像、三维建模图像来进行诊疗方案的设计上带来了极大的不便。
随着深度学习的发展，现有的医学图像分割升级网络主要有UNet(一种网络模型)、AttentionUNet(一种网络模型)和UNet+CBAM(一种网络模型)。但它们在处理小样本小目标的数据集时，无法准确捕捉准确的语义信息，导致错误的分割和产生小的分割噪音，特别是在定位牙根的区域上常常多分割或漏分割。一些网络对于连续和不连续区域的区分并不有效，尤其是在邻牙接触点区域，无法识别出这是两颗不同的牙。
发明内容
本申请实施例的目的在于提供一种牙体检测模型、模型生成方法及牙体分割方法，以提高对于牙体的分割效果。
本发明是这样实现的：
第一方面，本申请实施例提供一种牙体检测模型，包括：下采样层，包括依次连接的第一Unet模块、第二Unet模块、第三Unet模块及第四Unet模块；所述下采样层用于接收牙齿图像，并降低所述牙齿图像的尺寸，以得到浅层次特征；第五Unet模块，与所述第四Unet模块连接；上采样层，包括第六Unet模块、第七Unet模块、第八Unet模块及第九Unet模块；所述第六Unet模块与所述第四Unet模块连接，所述第七Unet模块与所述第三Unet模块连接，所述第八Unet模块与所述第二Unet模块连接，所述第九Unet模块与所述第一Unet模块连接；所述上采样层用于将经所述下采样层处理后的牙齿图像进行尺寸还原，并得到深层次特征；第一门控层，与所述第五Unet模块及所述第六Unet模块连接，所述第一门控层用于将所述第五Unet模块得到的浅层次特征与所述第六Unet模块得到的深层次特征融合，并将融合结果传递至所述第七Unet模块；第二门控层，与所述第七Unet模块及所述第一门控层连接，所述第二门控层用于将所述第七Unet模块得到的特征与所述第一门控层处理后的特征进行融合处理，并将融合结果传递至所述第八Unet模块；第三门控层，与所述第八Unet模块及所述第二门控层连接，所述第三门控层用于将所述第八Unet模块得到的特征与所述第二门控层处理后的特征进行融合处理，并将融合结果传递至所述第九Unet模块；第十Unet模块，与所述第九Unet模块及所述第三门控层连接，所述第十Unet模块用于将所述第九Unet模块得到的特征与所述第三门控层处理后的特征进行合并，以输出目标特征图像。
在本申请实施例中，在上采样层外侧设置门控层，进而通过门控层能够将前一层的特征与当前上采样层的特征进行融合，提高后续上采样的采样效果，避免出现上采样时尺寸不匹配或与前一层的语义不在同一维度的情况。与现有的Unet模型相比，上述方式通过增加门控层来实现上采样和下采样之间的跳跃连接，以便于得到准确的特征图像，进而提高后续牙齿图像的分割效果。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述牙体检测模型还包括：Unet分割模块；所述Unet分割模块与所述第十Unet模块连接，所述Unet分割模块用于将所述目标特征图像映射为二分类特征图；其中，所述二分类特征图表征所述牙齿图像的分割结果。
在本申请实施例中，牙体检测模型还包括Unet分割模块，通过Unet分割模块可以将目标特征图像映射为二分类特征图，进而通过二分类特征图完成对牙齿的有效分割。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述第一门控层包括：上下文语义融合模块及通道注意力模块；所述上下文语义融合模块与所述通道注意力模块连接；所述上下文语义融合模块用于基于所述第五Unet模块输入的特征图生成当前层输入的特征图；对所述第五Unet模块输入的特征图进行降维处理，并施加sigmoid函数来获得注意力图；将所述注意力图进行上采样，并将上采样后的注意力图与所述当前层输入的特征图和第六Unet模块得到的特征图进行连接的特征图再进行点乘，再将点乘结果与所述当前层输入的特征图和第六Unet模块得到的特征图进行连接的特征图再进行残差连接，得到第一特征图；所述通道注意力模块用于接收所述第一特征图并获取所述第一特征图的权重系数，并将所述权重系数与所述第一特征图相乘，得到第二特征图；其中，所述第二特征图为所述第一门控层处理得到的融合结果。
在本申请实施例中，通过上下文语义融合模块可以对上一层的特征图进行降维处理，并施加sigmoid函数来获得注意力图；然后利用注意力图、对当前层输入的特征图和第六Unet模块得到的特征图进行连接的特征图进行点乘和后续的残差连接，得到第一特征图，通过上述注意力图的加入，可以起到增强目的区域特征的效果，抑制或去除无用的特征。而通过通道注意力模块可以在第一特征图的基础上，增加权重系数，进而从通道方向对特征图进行优化，以提高后续分割效果。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述第二门控层包括：上下文语义融合模块及通道注意力模块；所述上下文语义融合模块与所述通道注意力模块连接；所述上下文语义融合模块用于对所述第一门控层输入的特征图进行降维处理，并施加sigmoid函数来获得注意力图；将所述注意力图进行上采样，并将上采样后的注意力图与所述第七Unet模块输入的特征图进行点乘，再将点乘结果与所述第七Unet模块输入的特征图进行残差连接，得到第一特征图；所述通道注意力模块用于接收所述第一特征图并获取所述第一特征图的权重系数，并将所述权重系数与所述第一特征图相乘，得到第二特征图；其中，所述第二特征图为所述第二门控层处理得到的融合结果。
在本申请实施例中，通过上下文语义融合模块可以对上一层的特征图进行降维处理，并施加sigmoid函数来获得注意力图；然后利用注意力图对第七Unet模块输入的特征图进行点乘和后续的残差连接，得到第一特征图，通过上述注意力图的加入，可以起到增强目的区域特征的效果，抑制或去除无用的特征。而通过通道注意力模块可以在第二特征图的基础上，增加权重系数，进而从通道方向对特征图进行优化，以提高后续分割效果。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述牙体检测模型还包括：预处理模块；所述预处理模块与所述第一Unet模块连接，所述预处理模块用于对被采集者的牙齿检测图像进行裁剪，并对裁剪后的牙齿检测图像进行灰度归一化处理，得到所述牙齿图像。
在本申请实施例中，通过预处理模块可以对被采集者的牙齿检测图像进行裁剪以及灰度归一化处理，进而去除像素矩阵内的冗余数据。
第二方面，本申请实施例提供一种牙体检测模型的生成方法，包括：获取训练样本数据；其中，所述训练样本数据包括多个被采集者的牙齿图像，每个所述牙齿图像上通过不同的数值标记牙齿区域和非牙齿区域；将所述训练样本数据输入至如第一方面实施例提供的牙体检测模型中进行训练至收敛，得到训练好的牙体检测模型。
结合上述第二方面提供的技术方案，在一些可能的实现方式中，训练过程中的损失函数的表达式为：
Figure GDA0004235069620000051
其中，L表示损失值，X表示预测的分割结果；Y表示标记的真实结果。
第三方面，本申请实施例提供一种牙体分割方法，包括：获取目标对象的牙齿图像；将所述牙齿图像输入至第二方面实施例提供的牙体检测模型的生成方法所得到的牙体检测模型中，生成所述目标对象的牙齿图像的牙齿分割结果。
第四方面，本申请实施例提供一种电子设备，包括：处理器和存储器，所述处理器和所述存储器连接；所述存储器用于存储程序；所述处理器用于调用存储在所述存储器中的程序，执行如上述第二方面实施例和/或第三方面实施例所提供方法。
第五方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上述第二方面实施例和/或第三方面实施例所提供方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的第一种牙体检测模型的结构示意图。
图2为本申请实施例提供的一种门控层的结构示意图。
图3为本申请实施例提供的一种通道注意模块的结构示意图。
图4为本申请实施例提供的第二种牙体检测模型的结构示意图。
图5为本申请实施例提供的第三种牙体检测模型的结构示意图。
图6为本申请实施例提供的一种牙体检测模型的生成方法的步骤流程图。
图7为本申请实施例提供的一种牙体分割方法的步骤流程图。
图8为本申请实施例提供的采用牙体分割方法进行分割的单颗牙齿的效果图。
图9为本申请实施例提供的采用牙体分割方法进行牙体分割的整体效果图。
图10为本申请实施例提供的一种电子设备的模块框图。
图标：100-电子设备；110-处理器；120-存储器。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
鉴于目前的Unet等模型在处理小样本小目标的数据集时，无法准确捕捉准确的语义信息，导致错误的分割和产生小的分割噪音，特别是在定位牙根的区域上常常多分割或漏分割，本申请发明人经过研究探索，提出以下实施例以解决上述问题。
请参阅图1，本申请实施例提供一种牙体检测模型，其具体包括：下采样层、第五Unet模块、上采样层、第一门控层、第二门控层、第三门控层及第十Unet模块。
其中，下采样层具体包括依次连接的第一Unet模块、第二Unet模块、第三Unet模块及第四Unet模块。下采样层用于接收牙齿图像，并降低牙齿图像的尺寸，以得到浅层次特征。
其中，第一Unet模块用于接收牙齿图像。下采样层中的每个Unet模块均会对接收的特征图进行卷积和池化处理。如第一Unet模块用于对接收的牙齿图像进行卷积和池化。并将卷积和池化后的特征图传递至第二Unet模块，第二Unet模块用于对接收的特征图进行卷积和池化，再将处理后的特征图传递至下一个Unet模块。
第五Unet模块与下采样层中的第四Unet模块连接。第五Unet模块仅会对接收的特征图进行卷积操作。
上采样层包括第六Unet模块、第七Unet模块、第八Unet模块及第九Unet模块。第六Unet模块与第四Unet模块连接，第七Unet模块与第三Unet模块连接，第八Unet模块与第二Unet模块连接，第九Unet模块与第一Unet模块连接；上采样层用于将经下采样层处理后的牙齿图像进行尺寸还原，并得到深层次特征。
第一门控层，与第五Unet模块及第六Unet模块连接，第一门控层用于将第五Unet模块得到的浅层次特征与第六Unet模块得到的深层次特征融合，并将融合结果传递至第七Unet模块。
第二门控层，与第七Unet模块及第一门控层连接，第二门控层用于将第七Unet模块得到的特征与第一门控层处理后的特征进行融合处理，并将融合结果传递至第八Unet模块。
第三门控层，与第八Unet模块及第二门控层连接，第三门控层用于将第八Unet模块得到的特征与第二门控层处理后的特征进行融合处理，并将融合结果传递至所述第九Unet模块。
第十Unet模块，与第九Unet模块及第三门控层连接，第十Unet模块用于将第九Unet模块得到的特征与第三门控层处理后的特征进行合并，以输出目标特征图像。
综上，在本申请实施例中，在上采样层外侧设置门控层，进而通过门控层能够将前一层的特征与当前上采样层的特征进行融合，提高后续上采样的采样效果，避免出现上采样时尺寸不匹配或与前一层的语义不在同一维度的情况。与现有的Unet模型相比，上述方式通过增加门控层来实现上采样和下采样之间的跳跃连接，以便于得到准确的特征图像，进而提高后续牙齿图像的分割效果。
请参阅图2，于本申请实施例中，上述的门控层模块具体包括上下文语义融合模块和通道注意力模块。
其中，上下文语义融合模块与通道注意力模块连接。
首先，对上下文语义融合模块进行说明：设当前层输入的特征图为S1。S1为对上一层的特征图O1进行一次上采样和一次卷积操作得到的。
当前层输入的特征图S1的计算公式为：
S1＝C3×3(Upsample(O1)) (1)
公式(1)中，C3×3表示3×3的卷积，Upsample表示上采样操作，O1表示上一层的特征图。
上下文语义融合模块在得到上一层的特征图O1后，首先对O1进行降维操作(利用1×1的卷积层C1×1)，然后，施加sigmoid函数σ以增强非线性能力，进而得到上一层的注意力图a0。
上一层的注意力图a0的计算公式为：
a0＝σ(C1×1(O1)) (2)
公式(2)中，σ表示sigmoid函数；C1×1表示1×1的卷积。
在得到注意力图a0后，将其进行上采样操作至S1的尺寸。此时设S1对应的下采样的特征图为R1，则利用上一层的注意力图a0对S1和R1连接后的特征图进行点乘，最后，将点乘结果与S1和R1连接后的特征再进行残差连接，得到上下文语义融合模块处理后的第一特征图Snew。
第一特征图Snew的计算公式为：
Snew＝(((S1||R1)·Upsample(a0))+(S1||R1)) (3)
公式(3)中，Upsample表示上采样操作，||表示连接，·表示点乘。
在得到上述第一特征图Snew后，将其传递至通道注意力模块进行通道方向的优化。
需要说明的是，第一门控层、第二门控层及第三门控层均可采用图2所示出的结构。但是第一门控层与第二门控层、第三门控层的处理过程有所区别。下面以第一门控层和第二门控层为例进行说明。
请继续参阅图1，第一门控层接收由第五Unet模块的特征图，其中，第五Unet模块传递的特征图即为上一层的特征图O1；由于第六Unet模块此时并未进行上采样处理，因此，第六Unet模块传递至第一门控层的特征图即为与第六Unet模块对应的第四Unet模块传递的特征图，该特征图即为S1对应的下采样的特征图为R1。
第一门控层在首先对O1进行降维操作(利用1×1的卷积层C1×1)，然后施加sigmoid函数σ以增强非线性能力，进而得到上一层的注意力图a0(通过公式(1)得到)。
第一门控层对上一层的特征图O1进行一次上采样和一次卷积操作得到当前层层输入的特征图S1(通过公式(1)得到)。
接着，第一门控层对注意力图a0进行上采样操作至S1的尺寸，利用上一层的注意力图a0对S1和R1连接后的特征进行点乘，最后，将点乘结果与S1和R1连接后的特征再进行残差连接，得到上下文语义融合模块处理后的第一特征图Snew(通过公式(3)得到)。
第一门控层在生成第一特征图Snew后，通过通道注意力模块进行处理，然后将其传递至第二门控层以及第七Unet模块。
此时，对于第二门控层及第七Unet模块而言，所接收的特征图相当于是上一层的特征图O1。
第七Unet模块对接收的上一层的特征图O1进行一次上采样和一次卷积操作得到当前层的特征图S1(通过公式(1)得到)。此时，S1对应的下采样的特征图为从第三Unet模块传递的特征图R1。第七Unet模块将当前层的特征图S1与R1连接后，传递至第二门控层。
第二门控层得到上一层的特征图O1后，首先对O1进行降维操作(利用1×1的卷积层C1×1)，然后施加sigmoid函数σ以增强非线性能力，进而得到上一层的注意力图a0(通过公式(1)得到)。然后，将注意力图a0后，将其进行上采样操作至S1的尺寸，最后将第七Unet模块传递连接后的特征与对注意力图a0进行上采样操作后的特征图进行点乘，并进行残差连接，以得到第一特征图Snew。
第二门控层在生成第一特征图Snew后，通过通道注意力模块进行处理，然后将其传递至第二门控层以及第七Unet模块。
后续第三门控层的处理过程与第二门控层类似，本申请不作赘述。通过上述过程可知，第一门控层和第二门控测的处理区别在于，在第一阶段，当前层输入的特征图为S1由第一门控层生成。而在第二阶段，当前层输入的特征图为S1由第七Unet模块生成。对于第一门控层而言，其接收的特征图为第五Unet传递的O1和第六Unet传递的R1。对于第二门控层而言，其接收的为第一门控层传递的O1和第七Unet模块传递的S1||R1。
请参阅图3，于本申请实施例中，通道注意力模块通过channel-wise attention机制实现。通道注意力模块对第一特征图Snew中的每张特征图分别进行全局最大池化(MaxPool)和全局平均池化(AvgPool)，然后送入共享全链接网络(Shared MLP)中，分别得到1×1×C的两个通道的描述，最后将得到的两个通道描述相加后经过一个sigmoid函数得到激活后的权重系数，最后将该权重系数乘到第一特征图Snew上，得到第二特征图。
需要说明的是，由于通道注意力模块的结构已为本领域所熟知，因此，此处不作过多说明。
综上，在本申请实施例中，通过上下文语义融合模块可以对上一层的特征图进行降维处理，并施加sigmoid函数来获得注意力图；然后利用注意力图对S1和R1连接后的特征进行点乘，并将点乘后的特征图与S1和R1连接后的特征进行残差连接，得到第一特征图，通过上述注意力图的加入，可以起到增强目的区域特征的效果，抑制或去除无用的特征。而通过通道注意力模块可以在第一特征图的基础上，增加权重系数，进而从通道方向对特征图进行优化，以提高后续分割效果。
在其他实施例中，上述的门控层可以仅包括上下文语义融合模块或仅包括通道注意力模块，对此，本申请不作限定。
请参阅图4，可选地，该牙体检测模型中还包括：Unet分割模块。
Unet分割模块与第十Unet模块连接，Unet分割模块用于将目标特征图像映射为二分类特征图；其中，二分类特征图表征牙齿图像的分割结果。
需要说明的是，二分类特征图可以对数值预先进行设定，比如二分类特征图中的数值1代表牙体、数值0代表背景；又或者是数值0代表牙体，数值1代表背景，对此，本申请不作限定。
可见，通过上述Unet分割模块可以将目标特征图像映射为二分类特征图，进而通过二分类特征图完成对牙齿的有效分割。
请参阅图5，可选地，该牙体检测模型还包括：预处理模块。
其中，预处理模块与第一Unet模块连接，预处理模块用于对被采集者的牙齿检测图像进行裁剪，并对裁剪后的牙齿检测图像进行灰度归一化处理，得到牙齿图像。
示例性的，当获取到被采集者的CBCT图像后，以DICOM(Digital Imaging andCommunications in Medicine，医学数字成像和通信)格式进行保存，然后送入上述预处理模块，预处理模块逐层读取CBCT图像，并对CBCT图像进行裁剪，裁剪后的图片统一为256*256像素；然后对裁剪后的CBCT图像，使用灰度归一化到[0，255]，进而去除像素矩阵内的数据冗余。
当然，上述的裁剪的尺寸还可以是572*572等等，本申请不作限定。
在构建好如图4所出示的模型结构后，还需要对该模型进行训练，以得到可以用于对目标对象的牙齿图像进行分割的牙体检测模型，请参阅图6，本申请实施例提供一种牙体检测模型的生成方法包括：步骤S101-步骤S102。
步骤S101：获取训练样本数据。
其中，训练样本数据包括多个被采集者的牙齿图像，每个牙齿图像上通过不同的数值标记牙齿区域和非牙齿区域。
示例性的，对牙齿图像进行标记可以是数值1代表牙体、数值0代表背景；又或者是数值0代表牙体，数值1代表背景，对此，本申请不作限定。上述的牙齿图像可以是但不限于CBCT图像，比如还可以是直接通过相机所拍摄的图像。
步骤S102：将训练样本数据输入至初始的牙体检测模型中进行训练至收敛，得到训练好的牙体检测模型。
需要说明的是，初始的牙体检测模型为未训练的模型。本申请实施例中，通过训练样本数据对初始的牙体检测模型进行多轮监督训练，直至模型收敛。
其中，训练过程中的损失函数的表达式为：
Figure GDA0004235069620000121
公式(4)中，L表示损失值，X表示预测的分割结果；Y表示标记的真实结果。
此外，当模型中包括预处理模型时，在输入训练样本数据后，会先对牙齿图像进行裁剪及灰度归一化处理。
请参阅图7，在通过上述方式生成训练好的牙体检测模型后，本申请实施例还提供一种牙体分割方法。该方法包括：步骤S201-步骤S202。
步骤S201：获取目标对象的牙齿图像。
步骤S202：将牙齿图像输入至训练好的牙体检测模型中，生成目标对象的牙齿图像的牙齿分割结果。
在完成上述训练后，即可利用训练好的牙体检测模型对目标对象的牙齿图像进行分割，其分割效果可以参考图8和图9。图8中，a和d为前牙，b为后牙，c为前磨牙。其中第一列为原图，第二列为分割轮廓效果图，第三列为模型输出的黑白分割结果图(输出遮罩)。图9第一列为牙体整体原图，第二列为牙体整体标定真实值的示意图，第三列为模型输出的分割结果。从图9示出的结果可以看出，本申请实施例所提供的牙体分割方法的分割结果与标定的真实值基本一致，无论是连续的或者不连续的牙体均能够有效的分割。
请参阅图10，本申请实施例提供的一种应用上述牙体检测模型的生成方法，和/或牙体分割方法的电子设备100的示意性结构框图。本申请实施例中，电子设备100可以是，但不限于个人计算机(Personal Computer，PC)、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动上网设备(Mobile Internet Device，MID)等。在结构上，电子设备100可以包括处理器110和存储器120。
处理器110与存储器120直接或间接地电性连接，以实现数据的传输或交互，例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。牙体检测模型的生成装置，和/或牙体分割装置包括至少一个可以软件或固件(Firmware)的形式存储在存储器120中或固化在电子设备100的操作系统(Operating System，OS)中的软件模块。处理器110用于执行存储器120中存储的可执行模块，例如，牙体检测模型的生成装置所包括的软件功能模块及计算机程序等，以实现牙体检测模型的生成方法。处理器110可以在接收到执行指令后，执行计算机程序。又例如牙体分割装置所包括的软件功能模块及计算机程序等，以实现牙体分割方法。处理器110可以在接收到执行指令后，执行计算机程序。
其中，处理器110可以是一种集成电路芯片，具有信号处理能力。处理器110也可以是通用处理器，例如，可以是中央处理器(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、分立门或晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。此外，通用处理器可以是微处理器或者任何常规处理器等。
存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory，EPROM)，以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)。存储器120用于存储程序，处理器110在接收到执行指令后，执行该程序。
需要说明的是，图10所示的结构仅为示意，本申请实施例提供的电子设备100还可以具有比图10更少或更多的组件，或是具有与图10所示不同的配置。此外，图10所示的各组件可以通过软件、硬件或其组合实现。
基于同一发明构思，本申请实施例还提供一种牙体检测模型的生成装置，该装置包括第一获取模块，及训练模块。
第一获取模块用于获取训练样本数据，所述训练样本数据包括多个被采集者的牙齿图像，每个所述牙齿图像上通过不同的数值标记牙齿区域和非牙齿区域。
训练模块用于将所述训练样本数据输入至初始的牙体检测模型中进行训练至收敛，得到训练好的牙体检测模型。
基于同一发明构思，本申请实施例还提供一种牙体分割装置，该装置包括：第二获取模块、分割模块。
第二获取模块用于获取目标对象的牙齿图像。
分割模块用于将牙齿图像输入至训练好的牙体检测模型中，生成目标对象的牙齿图像的牙齿分割结果。
需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被运行时执行上述实施例中提供的方法。
该存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种牙体检测模型，其特征在于，包括：
下采样层，包括依次连接的第一Unet模块、第二Unet模块、第三Unet模块及第四Unet模块；所述下采样层用于接收牙齿图像，并降低所述牙齿图像的尺寸，以得到浅层次特征；
第五Unet模块，与所述第四Unet模块连接；
上采样层，包括第六Unet模块、第七Unet模块、第八Unet模块及第九Unet模块；所述第六Unet模块与所述第四Unet模块连接，所述第七Unet模块与所述第三Unet模块连接，所述第八Unet模块与所述第二Unet模块连接，所述第九Unet模块与所述第一Unet模块连接；所述上采样层用于将经所述下采样层处理后的牙齿图像进行尺寸还原，并得到深层次特征；
第一门控层，与所述第五Unet模块及所述第六Unet模块连接，所述第一门控层用于将所述第五Unet模块得到的浅层次特征与所述第六Unet模块得到的深层次特征融合，并将融合结果传递至所述第七Unet模块；所述第一门控层包括：上下文语义融合模块及通道注意力模块；
所述上下文语义融合模块与所述通道注意力模块连接；
所述上下文语义融合模块用于基于所述第五Unet模块输入的特征图生成当前层输入的特征图；对所述第五Unet模块输入的特征图进行降维处理，并施加sigmoid函数来获得注意力图；将所述注意力图进行上采样，并将上采样后的注意力图与所述当前层输入的特征图和第六Unet模块得到的特征图进行连接的特征图再进行点乘，再将点乘结果与所述当前层输入的特征图和第六Unet模块得到的特征图进行连接的特征图再进行残差连接，得到第一特征图；
所述通道注意力模块用于接收所述第一特征图并获取所述第一特征图的权重系数，并将所述权重系数与所述第一特征图相乘，得到第二特征图；其中，所述第二特征图为所述第一门控层处理得到的融合结果；
第二门控层，与所述第七Unet模块及所述第一门控层连接，所述第二门控层用于将所述第七Unet模块得到的特征与所述第一门控层处理后的特征进行融合处理，并将融合结果传递至所述第八Unet模块；所述第二门控层包括：上下文语义融合模块及通道注意力模块；
所述上下文语义融合模块与所述通道注意力模块连接；
所述上下文语义融合模块用于对所述第一门控层输入的特征图进行降维处理，并施加sigmoid函数来获得注意力图；将所述注意力图进行上采样，并将上采样后的注意力图与所述第七Unet模块输入的特征图进行点乘，再将点乘结果与所述第七Unet模块输入的特征图进行残差连接，得到第一特征图；
所述通道注意力模块用于接收所述第一特征图并获取所述第一特征图的权重系数，并将所述权重系数与所述第一特征图相乘，得到第二特征图；其中，所述第二特征图为所述第二门控层处理得到的融合结果；
第三门控层，与所述第八Unet模块及所述第二门控层连接，所述第三门控层用于将所述第八Unet模块得到的特征与所述第二门控层处理后的特征进行融合处理，并将融合结果传递至所述第九Unet模块；
第十Unet模块，与所述第九Unet模块及所述第三门控层连接，所述第十Unet模块用于将所述第九Unet模块得到的特征与所述第三门控层处理后的特征进行合并，以输出目标特征图像。
2.根据权利要求1所述的模型，其特征在于，所述牙体检测模型还包括：Unet分割模块；
所述Unet分割模块与所述第十Unet模块连接，所述Unet分割模块用于将所述目标特征图像映射为二分类特征图；其中，所述二分类特征图表征所述牙齿图像的分割结果。
3.根据权利要求1所述的模型，其特征在于，所述牙体检测模型还包括：预处理模块；
所述预处理模块与所述第一Unet模块连接，所述预处理模块用于对被采集者的牙齿检测图像进行裁剪，并对裁剪后的牙齿检测图像进行灰度归一化处理，得到所述牙齿图像。
4.一种牙体检测模型的生成方法，其特征在于，包括：
获取训练样本数据；其中，所述训练样本数据包括多个被采集者的牙齿图像，每个所述牙齿图像上通过不同的数值标记牙齿区域和非牙齿区域；
将所述训练样本数据输入至如权利要求2所述的牙体检测模型中进行训练至收敛，得到训练好的牙体检测模型。
5.根据权利要求4所述的方法，其特征在于，训练过程中的损失函数的表达式为：
Figure FDA0004176707340000031
其中，L表示损失值，X表示预测的分割结果；Y表示标记的真实结果。
6.一种牙体分割方法，其特征在于，包括：
获取目标对象的牙齿图像；
将所述牙齿图像输入至如权利要求4所述的牙体检测模型的生成方法所得到的牙体检测模型中，生成所述目标对象的牙齿图像的牙齿分割结果。
7.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器和所述存储器连接；
所述存储器用于存储程序；
所述处理器用于运行存储在所述存储器中的程序，执行如权利要求4-5中任一项所述的方法，和/或执行如权利要求6所述的方法。
8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被计算机运行时执行如权利要求4-5中任一项所述的方法，和/或执行如权利要求6所述的方法。
CN202110801232.7A 2021-07-15 2021-07-15 一种牙体检测模型、模型生成方法及牙体分割方法 Active CN113554607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110801232.7A CN113554607B (zh) 2021-07-15 2021-07-15 一种牙体检测模型、模型生成方法及牙体分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110801232.7A CN113554607B (zh) 2021-07-15 2021-07-15 一种牙体检测模型、模型生成方法及牙体分割方法

Publications (2)

Publication Number Publication Date
CN113554607A CN113554607A (zh) 2021-10-26
CN113554607B true CN113554607B (zh) 2023-06-09

Family

ID=78103274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110801232.7A Active CN113554607B (zh) 2021-07-15 2021-07-15 一种牙体检测模型、模型生成方法及牙体分割方法

Country Status (1)

Country Link
CN (1) CN113554607B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723409A (zh) * 2021-11-02 2021-11-30 清华大学 门控成像语义分割方法和装置
CN114004831B (zh) * 2021-12-24 2022-04-08 杭州柳叶刀机器人有限公司 基于深度学习辅助种植体置换的方法及辅助智能系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569851A (zh) * 2019-08-28 2019-12-13 广西师范大学 门控多层融合的实时语义分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EA201700561A1 (ru) * 2017-11-16 2019-05-31 Общество С Ограниченной Ответственностью "Доммар" Способ и система выравнивания зубов на основании моделирования движения коронок и корней
CN112232173B (zh) * 2020-10-12 2023-04-07 济南博观智能科技有限公司 一种行人属性识别方法、深度学习模型、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569851A (zh) * 2019-08-28 2019-12-13 广西师范大学 门控多层融合的实时语义分割方法

Also Published As

Publication number Publication date
CN113554607A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
Cui et al. A fully automatic AI system for tooth and alveolar bone segmentation from cone-beam CT images
WO2020119679A1 (zh) 三维左心房分割方法、装置、终端设备及存储介质
US20200320685A1 (en) Automated classification and taxonomy of 3d teeth data using deep learning methods
CN113554607B (zh) 一种牙体检测模型、模型生成方法及牙体分割方法
JP2021508114A (ja) 深層学習法を使用する自動３ｄ歯根形状予測
CN110998602A (zh) 使用深度学习方法对3d牙颌面结构的分类和3d建模
WO2020125498A1 (zh) 心脏磁共振图像分割方法、装置、终端设备及存储介质
Singh et al. Progress in deep learning-based dental and maxillofacial image analysis: A systematic review
WO2021186592A1 (ja) 診断支援装置及びモデル生成装置
WO2022213654A1 (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
JP2023511300A (ja) 医用画像における解剖学的構造を自動的に発見するための方法及びシステム
Kong et al. Automated maxillofacial segmentation in panoramic dental x-ray images using an efficient encoder-decoder network
US11386563B2 (en) Anatomical and functional assessment of coronary artery disease using machine learning
CN111815766B (zh) 基于2d-dsa图像重建血管三维模型处理方法及系统
CN113012173A (zh) 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置
Ali et al. Ensemble lung segmentation system using deep neural networks
CN111462100A (zh) 基于新型冠状病毒肺炎ct检测的检测设备及其使用方法
WO2023142781A1 (zh) 图像三维重建方法、装置、电子设备及存储介质
Li et al. Artificial intelligence for classifying and archiving orthodontic images
CN112150470A (zh) 图像分割方法、装置、介质及电子设备
CN115601299A (zh) 基于图像的肝硬化状态智能评估系统及其方法
Tian et al. A dual discriminator adversarial learning approach for dental occlusal surface reconstruction
Yin et al. CoT-UNet++: A medical image segmentation method based on contextual Transformer and dense connection
CN113674251A (zh) 基于多模态影像的腰椎图像分类识别系统、设备和介质
Tian et al. Efficient tooth gingival margin line reconstruction via adversarial learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant