CN113744275A - 一种基于特征变换的三维cbct牙齿图像的分割方法 - Google Patents

一种基于特征变换的三维cbct牙齿图像的分割方法 Download PDF

Info

Publication number
CN113744275A
CN113744275A CN202110846297.3A CN202110846297A CN113744275A CN 113744275 A CN113744275 A CN 113744275A CN 202110846297 A CN202110846297 A CN 202110846297A CN 113744275 A CN113744275 A CN 113744275A
Authority
CN
China
Prior art keywords
feature
transformation
image
cbct
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110846297.3A
Other languages
English (en)
Other versions
CN113744275B (zh
Inventor
高陈强
黄天浩
李鹏程
赵悦
张凌明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110846297.3A priority Critical patent/CN113744275B/zh
Publication of CN113744275A publication Critical patent/CN113744275A/zh
Application granted granted Critical
Publication of CN113744275B publication Critical patent/CN113744275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明属于计算机视觉技术领域，具体涉及一种基于特征变换的三维CBCT牙齿图像的分割方法，该方法包括：实时获取CBCT图像数据，并对该数据进行预处理；将预处理后的CBCT图像数据输入到训练好的CBCT图像牙齿分割模型中进行分割处理；对分割结果进行评估分析；CBCT图像牙齿分割模型为改进的3D卷积神经网络，改进的3D卷积神经网络包括编码器、空间变换模块STM、类别变换模块CTM、特征融合模块、解码器以及输出层；本发明采用一种结合了空间特征变换和类别特征变换模块的3D卷积神经网络模型，结合了空间全局信息和类别全局信息，有效的提升了分割效果并改善了分类结果。

Description

一种基于特征变换的三维CBCT牙齿图像的分割方法
技术领域
本发明属于口腔临床医学和计算机视觉技术领域，具体涉及一种基于特征变换的三维CBCT牙齿图像的分割方法。
背景技术
在口腔医学领域，人们结合计算机图形学、数字媒体和图形图像处理等技术研发的虚拟正畸系统正在辅助牙科医生进行诊治。CBCT图像具有成像清晰，分辨率高，辐射剂量低的特点。对三维CBCT进行牙齿分割后生成的三维牙齿模型可以用来分析相邻牙齿的关系，指导牙齿种植；也可以进行机械操作，如测量牙根和冠的比例进行正畸治疗。三维牙齿模型对方案选择和种植治疗有重要的指导意义和参考价值。
然而在CBCT图像中通过手动分割牙齿边缘会耗费大量的时间、精力，并且肉眼识别CBCT图像牙齿边界会产生由图像伪影等干扰因素导致的主观性误差。在这种情况下，通过计算机技术实现的牙齿自动分割可以有效地克服人为勾画的主观性误差、减少医生的工作量,对牙齿疾病的诊断和治疗具有重要意义。
目前，已有很多方法被提出以实现对CBCT口腔影像中牙齿的分割，但这些方法还未能较好的解决以下问题：1)CBCT牙根根尖形态差异大，依靠局部特征分割十分困难，容易出现错分漏分；2)不同牙齿类别可能出现同类差异大、类间差异小的情况，容易产生类间混淆。这些问题导致牙齿分割结果和实际图像牙齿边界的精标准相差甚远，因此急需一种新的方法对三维CBCT牙齿图像进行更为精确的分割。
发明内容
为解决以上现有技术存在的问题，本发明提出了一种基于特征变换的三维 CBCT牙齿图像的分割方法，该方法包括：实时获取CBCT图像数据，并对该数据进行预处理；将预处理后的CBCT图像数据输入到训练好的CBCT图像牙齿分割模型中进行分割处理；对分割结果进行评估分析；CBCT图像牙齿分割模型为改进的3D卷积神经网络，改进的3D卷积神经网络包括编码器、空间变换模块STM、类别变换模块CTM、特征融合模块、解码器以及输出层；所述空间变换模块STM和所述类别变换模块CTM均与编码器的末端连接，空间变换模块STM和类别变换模块CTM的输出端均与特征融合模块连接，特征融合模块的输出端以及编码器的输出端均与解码器连接，解码器的输出端与输出层连接，构成改进的3D卷积神经网络。
优选的，对CBCT图像进行预处理的过程包括：对获取的CBCT图像进行清洗，删除无用的图像；对清洗后的图像进行去噪增强处理；对增强后的图像进裁剪，得到颌骨图像。
优选的，编码器和解码器共包括12个卷积模块、3个下采样模块、3个上采样模块以及3条跳跃路径；每个卷积模块包括一个3×3卷积层和一个归一化层，并采用Relu激活函数；空间变换模块STM和类别变换模块CTM为并行结构，均包括12个变换层，每个变换层由多头自注意力模块和多层感知机组成；特征融合模块为一次Concat操作的模块；输出层为通道数等于类别数的卷积模块。
优选的，对CBCT图像牙齿分割模型进行训练的过程包括：
S1：获取原始CBCT图像数据，对原始图像数据进行预处理，得到训练集和测试集；
S2：将训练集中的数据输入到CBCT图像牙齿分割模型中进行训练；
S3：将CBCT图像数据输入到CBCT图像牙齿分割模型的编码器中进行特征提取，在每次下采样前保存该分辨率的特征图，得到多个具有不同分辨率的特征图；将除最高分辨率的特征图外的其他特征图作为跳跃路径，并与解码器对应分辨率的特征图进行融合；
S4：将最高分辨率的特征图分别输入到STM和CTM中，得到空间变换特征图和类别变换特征图；
S5：将空间变换特征图和类别变换特征图输入到特征融合模块中进行融合处理，得到融合特征图；
S6：将其他分辨率特征图和融合特征图输入到解码器中，得到还原后的全尺寸特征图；
S7：将全尺寸特征图输入到输出层中，并采用Softmax函数对输出图像进行处理，得到分割结果；
S8：根据分割结果计算模型的损失函数，通过梯度反向传播，不断更新模型的参数，当损失函数收敛到最小值时完成模型的训练，得到训练好的CBCT 图像牙齿分割模型。
进一步的，采用空间变换模块STM对高分辨率特征图进行处理的过程包括：采用空间变换模块STM将特征图分为P3个相同尺寸的图块patch，其中，P表示将图像在每个维度分为P等分；对每个图块进行reshape操作，使得每个图块拉伸为一维向量，将该一维向量作为空间嵌入向量组spatial embedding；将空间嵌入向量组依次输入到由多头自注意力模块和多层感知机组成的Transformer结构中，得到全局特征；对该特征进行reshape操作，使其还原回与输入特征图相同尺寸的空间变换特征图。
进一步的，采用类别变换模块CTM对高分辨率特征图进行处理的过程包括：将输入的特征图分别输入到两个卷积层中，并进行reshape操作，得到一个表示单个体素节点类别概率的特征图Xcate和一个表示每个体素潜在特征的特征图 Xhidden；将Xcate转置后与Xhidden进行矩阵乘法，得到表示每个类别节点具有全部体素特征的特征矩阵Xg，将Xg按类别分为n个通道数为1的特征矩阵
Figure RE-GDA0003330794480000031
将特征矩阵
Figure RE-GDA0003330794480000032
作为一个类别嵌入向量组；将类别嵌入向量依次输入到由多头自注意力模块和多层感知机组成的Transformer结构，得到类别变换特征；对类别变换特征进行reshape操作，使其维度变为m×n的还原特征；将Xhidden与还原特征做矩阵乘法，得到维度为hwd×n的特征矩阵，将维度为hwd×n的特征矩阵进行reshape操作，使该矩阵的维度变为n×h×w×d，再将维度变为n×h× w×d维矩阵输入到一个通道数与输入特征图相同的卷积层中，得到与输入特征图相同尺寸的类别变换特征图。
进一步的，对空间变换特征图和类别变换特征图进行融合的过程包括：采用Concat函数对两个特征图进行拼接操作，得到融合特征图。
进一步的，分类结果的表达式为：
Figure RE-GDA0003330794480000041
进一步的，模型的损失函数包括交叉熵损失和多类soft-Dice损失；对交叉熵损失与多类soft-Dice损失求和，得到模型损失函数。
进一步的，交叉熵损失函数表达式为：
Figure RE-GDA0003330794480000042
其中，N表示图像体素的总数，n表示类别数，
Figure RE-GDA0003330794480000043
和
Figure RE-GDA0003330794480000044
分别表示第i个体素预测和ground truth的类别；
多类soft-Dice损失函数表达式为：
Figure RE-GDA0003330794480000045
最终损失函数为：
L＝LCE+αLMSD
其中，α是人工设定的超参数。
本发明采用一种结合了空间特征变换和类别特征变换模块的3D卷积神经网络模型，STM和CTM分别结合了空间全局信息和类别全局信息，有效的在空间信息中建立长程关系，并有效的考虑了不同类别特征之间的相似关系，将由卷积神经网络提取的局部特征更加有效的利用起来，解决了根尖分割效果差和类间混淆的问题。
附图说明
图1为本发明的整体流程图；
图2为本发明的CBCT图像牙齿分割模型中的3D卷积神经网络框架结构图；
图3为本发明的空间变换模块STM和类别变换模块CTM结构图；
图4为本发明的空间变换模块STM和类别变换模块CTM对高分辨率特征图进行处理的过程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于特征变换的三维CBCT牙齿图像的分割方法，该方法包括：对 CBCT图像数据进行预处理；将预处理后的CBCT图像输入到训练好的CBCT 图像牙齿分割模型中进行分割处理；对分割结果进行评估分析；所述CBCT图像牙齿分割包括具有编解码结构的3D卷积神经网络、空间变换模块(STM)，类别变换模块(CTM)和特征融合模块。空间变换模块，类别变换模块设置在3D卷积神经网络的编码器末端。
一种基于特征变换的三维CBCT牙齿图像的分割方法的具体实施方式，该方法包括实时获取CBCT图像数据，并对该数据进行预处理；将预处理后的 CBCT图像数据输入到训练好的CBCT图像牙齿分割模型中进行分割处理；对分割结果进行评估分析；CBCT图像牙齿分割模型为改进的3D卷积神经网络，改进的3D卷积神经网络包括编码器、空间变换模块STM、类别变换模块CTM、特征融合模块、解码器以及输出层；所述空间变换模块STM和所述类别变换模块CTM均与编码器的末端连接，空间变换模块STM和类别变换模块CTM的输出端均与特征融合模块连接，特征融合模块的输出端以及编码器的输出端均与解码器连接，解码器的输出端与输出层连接，构成改进的3D卷积神经网络。
可选的，对CBCT图像进行预处理的过程包括：对获取的CBCT图像进行清洗，删除无用的图像；对清洗后的图像进行去噪增强处理；对增强后的图像进裁剪，得到颌骨图像。
如图2所示，CBCT图像牙齿分割模型中的3D卷积神经网络为3D U-net 卷积神经网络，该网络由编码器、STM、CTM、解码器和输出层组成；其中， 3D U-net包括编解码结构，共12个卷积模块(3×3卷积、BN(Batch Normalize) 和Relu激活函数)、3个下采样模块、3个上采样模块、1个输出层(1×1卷积) 以及三条跳跃路径(即一次拼接操作)；如图3所示，STM和CTM为并行结构，主要包括12个变换层(Transformer Layer)，每个变换层主要由多头自注意力模块和多层感知机组成；最后通过特征融合模块对空间变换特征和类别变换特征进行融合，然后输入解码器，得到最终分割结果。
如图1所示，对CBCT图像牙齿分割模型进行训练的过程包括：
S1：获取原始CBCT图像数据，对原始图像数据进行预处理，得到训练集和测试集；度原始图像数据进行预处的过程包括对CBCT图像进行预处理的过程包括：对获取的CBCT图像进行清洗，删除无用的图像；对清洗后的图像进行去噪增强处理；对增强后的图像进裁剪，得到颌骨图像，将颌骨图像的尺寸固定为352×352×196，并对固定尺寸后的图像进行划分，按7：3的比例得到训练集和测试集；所述训练集用于对CBCT图像牙齿分割模型进行训练，所述测试用于对训练好的CBCT图像牙齿分割模型进行测试。
S2：将训练集中的数据输入到CBCT图像牙齿分割模型中进行训练；
S3：将CBCT图像数据输入到CBCT图像牙齿分割模型的编码器中进行特征提取，在每次下采样前保存该分辨率的特征图，得到多个具有不同分辨率的特征图；将除最高分辨率的特征图外的其他特征图作为跳跃路径，并与解码器对应分辨率的特征图进行融合；
S4：将最高分辨率的特征图分别输入到STM和CTM中，得到空间变换特征图和类别变换特征图；
S5：将空间变换特征图和类别变换特征图输入到特征融合模块中进行融合处理，得到融合特征图；
S6：将其他分辨率特征图和融合特征图输入到解码器中，得到还原后的全尺寸特征图；
S7：将全尺寸特征图输入到输出层中，并采用Softmax函数对输出图像进行处理，得到分割结果；
S8：根据分割结果计算模型的损失函数，通过梯度反向传播，不断更新模型的参数，当损失函数收敛到最小值时完成模型的训练，得到训练好的CBCT 图像牙齿分割模型。
特征提取阶段包括6个卷积模块和3个下采样模块。输入的数据每通过两个卷积模块后进行一次下采样操作(Maxpooling3D)，使得图像尺寸缩小一半，采用下采样模块对数据进行处理的公式为：
Figure RE-GDA0003330794480000071
其中，M表示下采样前的图像，C表示特征图通道数，
Figure RE-GDA0003330794480000075
表示图像所在的数域，W、H、D分别表示图像的宽度、高度和深度，M*表示经过下采样后的图像。
如图4所示，空间变换模块STM和类别变换模块CTM对高分辨率特征图进行处理的具体过程包括：
采用空间变换模块STM将特征图分为P3个相同尺寸的图块patch，其中，P表示将图像在每个维度分为P等分；；对每个图块进行reshape操作，使得每个图块拉伸为一维向量，将该一维向量作为空间嵌入向量组(spatial embedding)；
类别变换模块CTM将输入的特征图分别输入到两个卷积层中，该卷积层的通道数分别为n和m，其中n为牙齿的类别数，m为设置的隐藏特征通道数。对进行卷积后的特征图进行reshape操作，得到一个表示单个体素节点类别概率的特征图
Figure RE-GDA0003330794480000072
和一个表示每个体素潜在特征的特征图
Figure RE-GDA0003330794480000073
Figure RE-GDA0003330794480000074
其中，whd为最高分辨率特征图的宽度、高度和深度之积。特征图Xcate和特征图Xhidden的特征表达式为：
Figure RE-GDA0003330794480000081
其中，X表示输入的高维特征，
Figure RE-GDA0003330794480000082
表示1×1卷积，σ(·)表示一个激活函数， Wn和Wm表示卷积层的参数矩阵。
将Xcate转置后与Xhidden进行矩阵乘法，得到表示每个类别节点具有的全部体素特征的特征矩阵
Figure RE-GDA0003330794480000083
将Xg按类别分为n个通道数为1的特征矩阵
Figure RE-GDA0003330794480000084
作为类别嵌入向量组。
Xg＝Xcate TXhidden
其中，T表示转置。
将空间嵌入向量组和类别嵌入向量组分依次输入到由多头自注意力模块和多层感知机组成的Transformer结构中，获取空间上的全局特征和类别关系特征。
v′l＝MSA(LN(vl-1))+vl-1
vl＝MLP(LN(v′l))+v′l
其中，vl表示第l层Transformer Layer的输出特征，vl表示第l层TransformerLayer的中间特征，MSA(·)表示多头自注意力模块，LN(·)表示层归一化操作， MLP(·)表示多层感知机。
对STM输出的变换特征进行reshape操作得到与输入特征图尺寸相同的变换特征图。
对CTM输出的变换特征进行reshape操作，使其维度变为m×n的还原特征 Xr；将Xhidden与还原特征Xr做矩阵乘法，得到维度为hwd×n的特征矩阵，再进行一次reshape操作，使其维度变为n×h×w×d，输入一个通道数与输入特征图相同的卷积层后得到相同尺寸的变换特征图。
Figure RE-GDA0003330794480000085
其中，σ表示一个激活函数，
Figure RE-GDA0003330794480000086
表示1×1卷积，Reshape(·)代表reshape操作，X′表示与输入高维特征X尺寸相同的变换特征图,Wc表示与输入高维特征通道数相同的参数矩阵。
对两张变换特征图进行Concat操作得到融合特征图，输入解码器。解码器输出
Figure RE-GDA0003330794480000091
采用Softmax函数后得到最终分割结果。分类结果的表达式为：
Figure RE-GDA0003330794480000092
其中，Softmax(·)表示归一化指数函数，Xi表示Xout中第c个类别语义对应的输出，n表示类别总数，j表示第j个类别的语义。
模型的损失函数包括交叉熵损失(Cross-Entropy Loss)函数和多类soft-Dice损失(Multi-class Soft Dice Loss,MSDL)函数；对交叉熵损失与多类soft-Dice损失求和，得到模型损失函数。
交叉熵损失表达式为：
Figure RE-GDA0003330794480000093
其中N表示图像体素的总数，n表示类别数，
Figure RE-GDA0003330794480000094
和
Figure RE-GDA0003330794480000095
分别表示第i个体素预测和ground truth的类别。ground truth表示用于有监督训练的训练集的分类准确性。
多类soft-Dice损失表达式为：
Figure RE-GDA0003330794480000096
最终损失函数为：
L＝LCE+αLMSD
其中α是人工设定的超参数，作为损失平衡权重。
根据分割结果计算模型的损失函数，通过梯度反向传播，不断更新模型的参数，提高模型分割的精确度，当损失函数收敛在最小值附近时完成模型的训练，得到训练好的CBCT图像牙齿分割模型。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于特征变换的三维CBCT牙齿图像的分割方法，其特征在于，包括：实时获取CBCT图像数据，并对该数据进行预处理；将预处理后的CBCT图像数据输入到训练好的CBCT图像牙齿分割模型中进行分割处理；对分割结果进行评估分析；CBCT图像牙齿分割模型为改进的3D卷积神经网络，改进的3D卷积神经网络包括编码器、空间变换模块STM、类别变换模块CTM、特征融合模块、解码器以及输出层；所述空间变换模块STM和所述类别变换模块CTM均与编码器的末端连接，空间变换模块STM和类别变换模块CTM的输出端均与特征融合模块连接，特征融合模块的输出端以及编码器的输出端均与解码器连接，解码器的输出端与输出层连接，构成改进的3D卷积神经网络。
2.根据权利要求1所述的一种基于特征变换的三维CBCT牙齿图像的分割方法，其特征在于，对CBCT图像进行预处理的过程包括：对获取的CBCT图像进行清洗，删除无用的图像；对清洗后的图像进行去噪增强处理；对增强后的图像进裁剪，得到颌骨图像。
3.根据权利要求1所述的一种基于特征变换的三维CBCT牙齿图像的分割方法，其特征在于，编码器和解码器共包括12个卷积模块、3个下采样模块、3个上采样模块以及3条跳跃路径；每个卷积模块包括一个3×3卷积层和一个归一化层，并采用Relu激活函数；空间变换模块STM和类别变换模块CTM为并行结构，均包括12个变换层，每个变换层由多头自注意力模块和多层感知机组成；特征融合模块为一次Concat操作的模块；输出层为通道数等于类别数的卷积模块。
4.根据权利要求1所述的一种基于特征变换的三维CBCT牙齿图像的分割方法，其特征在于，对CBCT图像牙齿分割模型进行训练的过程包括：
S1：获取原始CBCT图像数据，对原始图像数据进行预处理，得到训练集和测试集；
S2：将训练集中的数据输入到CBCT图像牙齿分割模型中进行训练；
S3：将CBCT图像数据输入到CBCT图像牙齿分割模型的编码器中进行特征提取，在每次下采样前保存该分辨率的特征图，得到多个具有不同分辨率的特征图；将除最高分辨率的特征图外的其他特征图作为跳跃路径，并与解码器对应分辨率的特征图进行融合；
S4：将最高分辨率的特征图分别输入到STM和CTM中，得到空间变换特征图和类别变换特征图；
S5：将空间变换特征图和类别变换特征图输入到特征融合模块中进行融合处理，得到融合特征图；
S6：将其他分辨率特征图和融合特征图输入到解码器中，得到还原后的全尺寸特征图；
S7：将全尺寸特征图输入到输出层中，并采用Softmax函数对输出图像进行处理，得到分割结果；
S8：根据分割结果计算模型的损失函数，通过梯度反向传播，不断更新模型的参数，当损失函数收敛到最小值时完成模型的训练，得到训练好的CBCT图像牙齿分割模型。
5.根据权利要求4所述的一种基于特征变换的三维CBCT牙齿图像的分割方法，其特征在于，采用空间变换模块STM对高分辨率特征图进行处理的过程包括：采用空间变换模块STM将特征图分为P3个相同尺寸的图块patch，其中，P表示将图像在每个维度分为P等分；对每个图块进行reshape操作，使得每个图块拉伸为一维向量，将该一维向量作为空间嵌入向量组；将空间嵌入向量组依次输入到由多头自注意力模块和多层感知机组成的Transformer结构中，得到全局特征；对该特征进行reshape操作，使其还原回与输入特征图相同尺寸的空间变换特征图。
6.根据权利要求4所述的一种基于特征变换的三维CBCT牙齿图像的分割方法，其特征在于，采用类别变换模块CTM对高分辨率特征图进行处理的过程包括：将输入的特征图分别输入到两个卷积层中，并进行reshape操作，得到一个表示单个体素节点类别概率的特征图Xcate和一个表示每个体素潜在特征的特征图Xhidde；将Xcate转置后与Xhidden进行矩阵乘法，得到表示每个类别节点具有全部体素特征的特征矩阵Xg，将Xg按类别分为n个通道数为1的特征矩阵
Figure FDA0003180689450000031
将特征矩阵
Figure FDA0003180689450000032
作为一个类别嵌入向量组；将类别嵌入向量依次输入到由多头自注意力模块和多层感知机组成的Transformer结构，得到类别变换特征；对类别变换特征进行reshape操作，使其维度变为m×n的还原特征；将Xhidden与还原特征做矩阵乘法，得到维度为hwd×n的特征矩阵，将维度为hwd×n的特征矩阵进行reshape操作，使该矩阵的维度变为n×h×w×d，再将维度变为n×h×w×d维矩阵输入到一个通道数与输入特征图相同的卷积层中，得到与输入特征图相同尺寸的类别变换特征图。
7.根据权利要求4所述的一种基于特征变换的三维CBCT牙齿图像的分割方法，其特征在于，对空间变换特征图和类别变换特征图进行融合的过程包括：采用Concat函数对两个特征图进行拼接操作，得到融合特征图。
8.根据权利要求4所述的一种基于特征变换的三维CBCT牙齿图像的分割方法，其特征在于，分类结果的表达式为：
Figure FDA0003180689450000033
其中，Softmax(·)表示归一化指数函数，Xi表示Xout中第c个类别语义对应的输出，n表示类别总数，j表示第j个类别的语义。
9.根据权利要求4所述的一种基于特征变换的三维CBCT牙齿图像的分割方法，其特征在于，模型的损失函数包括交叉熵损失和多类soft-Dice损失；对交叉熵损失与多类soft-Dice损失求和，得到模型损失函数。
10.根据权利要求9所述的一种基于特征变换的三维CBCT牙齿图像的分割方法，其特征在于，交叉熵损失函数表达式为：
Figure FDA0003180689450000034
其中，N表示图像体素的总数，n表示类别数，
Figure FDA0003180689450000041
和
Figure FDA0003180689450000042
分别表示第i个体素预测和groundtruth的类别；
多类soft-Dice损失函数表达式为：
Figure FDA0003180689450000043
最终损失函数为：
L＝LCE+αLMSD
其中，α是人工设定的超参数。
CN202110846297.3A 2021-07-26 2021-07-26 一种基于特征变换的三维cbct牙齿图像的分割方法 Active CN113744275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110846297.3A CN113744275B (zh) 2021-07-26 2021-07-26 一种基于特征变换的三维cbct牙齿图像的分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110846297.3A CN113744275B (zh) 2021-07-26 2021-07-26 一种基于特征变换的三维cbct牙齿图像的分割方法

Publications (2)

Publication Number Publication Date
CN113744275A true CN113744275A (zh) 2021-12-03
CN113744275B CN113744275B (zh) 2023-10-20

Family

ID=78729064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110846297.3A Active CN113744275B (zh) 2021-07-26 2021-07-26 一种基于特征变换的三维cbct牙齿图像的分割方法

Country Status (1)

Country Link
CN (1) CN113744275B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549556A (zh) * 2022-02-25 2022-05-27 腾讯科技（深圳）有限公司 一种图像分割的方法、相关装置、设备以及存储介质
CN114758121A (zh) * 2022-03-04 2022-07-15 杭州隐捷适生物科技有限公司 一种基于深度学习的cbct牙槽骨分割系统及方法
CN116503420A (zh) * 2023-04-26 2023-07-28 佛山科学技术学院 一种基于联邦学习的图像分割方法及相关设备
CN117456289A (zh) * 2023-12-25 2024-01-26 四川大学 一种基于深度学习的颌骨病变分割分类系统
CN117911797A (zh) * 2024-03-19 2024-04-19 武汉理工大学 一种作物ct图像半自动标注方法及系统
CN118097662A (zh) * 2024-02-29 2024-05-28 东北大学 一种基于CNN-SPPF和ViT的巴氏涂片宫颈细胞图像分类方法
CN118247219A (zh) * 2024-02-26 2024-06-25 重庆医科大学附属口腔医院 基于深度学习的牙根外吸收检测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111328397A (zh) * 2017-10-02 2020-06-23 普罗马顿控股有限责任公司 使用深度学习方法对3d牙齿数据进行自动分类和归类
US20200202111A1 (en) * 2018-12-19 2020-06-25 Netease (Hangzhou) Network Co.,Ltd. Image Processing Method and Apparatus, Storage Medium and Electronic Device
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111328397A (zh) * 2017-10-02 2020-06-23 普罗马顿控股有限责任公司 使用深度学习方法对3d牙齿数据进行自动分类和归类
US20200202111A1 (en) * 2018-12-19 2020-06-25 Netease (Hangzhou) Network Co.,Ltd. Image Processing Method and Apparatus, Storage Medium and Electronic Device
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANDA ZHANG: "Automatic 3D tooth segmentation using convolutional neural networks in harmonic parameter space", 《GRAPHICAL MODELS》 *
伍世宾: "影像引导中分割与配准关键技术研究", 《博士电子期刊》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549556A (zh) * 2022-02-25 2022-05-27 腾讯科技（深圳）有限公司 一种图像分割的方法、相关装置、设备以及存储介质
CN114758121A (zh) * 2022-03-04 2022-07-15 杭州隐捷适生物科技有限公司 一种基于深度学习的cbct牙槽骨分割系统及方法
CN116503420A (zh) * 2023-04-26 2023-07-28 佛山科学技术学院 一种基于联邦学习的图像分割方法及相关设备
CN116503420B (zh) * 2023-04-26 2024-05-14 佛山科学技术学院 一种基于联邦学习的图像分割方法及相关设备
CN117456289A (zh) * 2023-12-25 2024-01-26 四川大学 一种基于深度学习的颌骨病变分割分类系统
CN117456289B (zh) * 2023-12-25 2024-03-08 四川大学 一种基于深度学习的颌骨病变分割分类系统
CN118247219A (zh) * 2024-02-26 2024-06-25 重庆医科大学附属口腔医院 基于深度学习的牙根外吸收检测系统
CN118097662A (zh) * 2024-02-29 2024-05-28 东北大学 一种基于CNN-SPPF和ViT的巴氏涂片宫颈细胞图像分类方法
CN117911797A (zh) * 2024-03-19 2024-04-19 武汉理工大学 一种作物ct图像半自动标注方法及系统

Also Published As

Publication number Publication date
CN113744275B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN113744275B (zh) 一种基于特征变换的三维cbct牙齿图像的分割方法
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
JP2023550844A (ja) 深層形状学習に基づく肝臓ｃｔ自動分割方法
CN114897780B (zh) 一种基于mip序列的肠系膜上动脉血管重建方法
CN111696126B (zh) 一种基于多视角的多任务肝脏肿瘤图像分割方法
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
Wazir et al. HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images
Laishram et al. Automatic classification of oral pathologies using orthopantomogram radiography images based on convolutional neural network
CN114596317A (zh) 一种基于深度学习的ct影像全心脏分割方法
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN115482558A (zh) 一种基于深度学习的数字化牙种植体分类方法
CN116757982A (zh) 一种基于多尺度编解码器的多模态医学图像融合方法
CN117392082A (zh) 基于全尺度跳跃连接的肝脏ct图像分割方法及系统
Qiu et al. A deep learning approach for segmentation, classification, and visualization of 3-D high-frequency ultrasound images of mouse embryos
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN118279235A (zh) 一种基于深度学习的舌体分割及中医诊断的方法和系统
CN117953208A (zh) 一种基于图的边缘注意力门医学影像分割方法及装置
Karacan et al. A deep learning model with attention mechanism for dental image segmentation
CN115410032A (zh) 基于自监督学习的octa图像分类结构训练方法
CN115691770A (zh) 基于条件分数的跨模态医学影像补全方法、装置及设备
Li et al. Hrinet: Alternative supervision network for high-resolution ct image interpolation
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
CN117689625B (zh) 多任务混杂神经网络驱动的ct图像处理方法和类脑诊断系统
Martadiansyah et al. 3D Fusion Hierarchical Net Reconstruction from 2D Transcerebellar Images with Deep Learning.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant