CN113744275B - 一种基于特征变换的三维cbct牙齿图像的分割方法 - Google Patents

一种基于特征变换的三维cbct牙齿图像的分割方法 Download PDF

Info

Publication number
CN113744275B
CN113744275B CN202110846297.3A CN202110846297A CN113744275B CN 113744275 B CN113744275 B CN 113744275B CN 202110846297 A CN202110846297 A CN 202110846297A CN 113744275 B CN113744275 B CN 113744275B
Authority
CN
China
Prior art keywords
feature
transformation
image
module
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110846297.3A
Other languages
English (en)
Other versions
CN113744275A (zh
Inventor
高陈强
黄天浩
李鹏程
赵悦
张凌明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110846297.3A priority Critical patent/CN113744275B/zh
Publication of CN113744275A publication Critical patent/CN113744275A/zh
Application granted granted Critical
Publication of CN113744275B publication Critical patent/CN113744275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明属于计算机视觉技术领域，具体涉及一种基于特征变换的三维CBCT牙齿图像的分割方法，该方法包括：实时获取CBCT图像数据，并对该数据进行预处理；将预处理后的CBCT图像数据输入到训练好的CBCT图像牙齿分割模型中进行分割处理；对分割结果进行评估分析；CBCT图像牙齿分割模型为改进的3D卷积神经网络，改进的3D卷积神经网络包括编码器、空间变换模块STM、类别变换模块CTM、特征融合模块、解码器以及输出层；本发明采用一种结合了空间特征变换和类别特征变换模块的3D卷积神经网络模型，结合了空间全局信息和类别全局信息，有效的提升了分割效果并改善了分类结果。

Description

一种基于特征变换的三维CBCT牙齿图像的分割方法
技术领域
本发明属于口腔临床医学和计算机视觉技术领域，具体涉及一种基于特征变换的三维CBCT牙齿图像的分割方法。
背景技术
在口腔医学领域，人们结合计算机图形学、数字媒体和图形图像处理等技术研发的虚拟正畸系统正在辅助牙科医生进行诊治。CBCT图像具有成像清晰，分辨率高，辐射剂量低的特点。对三维CBCT进行牙齿分割后生成的三维牙齿模型可以用来分析相邻牙齿的关系，指导牙齿种植；也可以进行机械操作，如测量牙根和冠的比例进行正畸治疗。三维牙齿模型对方案选择和种植治疗有重要的指导意义和参考价值。
然而在CBCT图像中通过手动分割牙齿边缘会耗费大量的时间、精力，并且肉眼识别CBCT图像牙齿边界会产生由图像伪影等干扰因素导致的主观性误差。在这种情况下，通过计算机技术实现的牙齿自动分割可以有效地克服人为勾画的主观性误差、减少医生的工作量,对牙齿疾病的诊断和治疗具有重要意义。
目前，已有很多方法被提出以实现对CBCT口腔影像中牙齿的分割，但这些方法还未能较好的解决以下问题：1)CBCT牙根根尖形态差异大，依靠局部特征分割十分困难，容易出现错分漏分；2)不同牙齿类别可能出现同类差异大、类间差异小的情况，容易产生类间混淆。这些问题导致牙齿分割结果和实际图像牙齿边界的精标准相差甚远，因此急需一种新的方法对三维CBCT牙齿图像进行更为精确的分割。
发明内容
为解决以上现有技术存在的问题，本发明提出了一种基于特征变换的三维CBCT牙齿图像的分割方法，该方法包括：实时获取CBCT图像数据，并对该数据进行预处理；将预处理后的CBCT图像数据输入到训练好的CBCT图像牙齿分割模型中进行分割处理；对分割结果进行评估分析；CBCT图像牙齿分割模型为改进的3D卷积神经网络，改进的3D卷积神经网络包括编码器、空间变换模块STM、类别变换模块CTM、特征融合模块、解码器以及输出层；所述空间变换模块STM和所述类别变换模块CTM均与编码器的末端连接，空间变换模块STM和类别变换模块CTM的输出端均与特征融合模块连接，特征融合模块的输出端以及编码器的输出端均与解码器连接，解码器的输出端与输出层连接，构成改进的3D卷积神经网络。
优选的，对CBCT图像进行预处理的过程包括：对获取的CBCT图像进行清洗，删除无用的图像；对清洗后的图像进行去噪增强处理；对增强后的图像进裁剪，得到颌骨图像。
优选的，编码器和解码器共包括12个卷积模块、3个下采样模块、3个上采样模块以及3条跳跃路径；每个卷积模块包括一个3×3卷积层和一个归一化层，并采用Relu激活函数；空间变换模块STM和类别变换模块CTM为并行结构，均包括12个变换层，每个变换层由多头自注意力模块和多层感知机组成；特征融合模块为一次Concat操作的模块；输出层为通道数等于类别数的卷积模块。
优选的，对CBCT图像牙齿分割模型进行训练的过程包括：
S1：获取原始CBCT图像数据，对原始图像数据进行预处理，得到训练集和测试集；
S2：将训练集中的数据输入到CBCT图像牙齿分割模型中进行训练；
S3：将CBCT图像数据输入到CBCT图像牙齿分割模型的编码器中进行特征提取，在每次下采样前保存该分辨率的特征图，得到多个具有不同分辨率的特征图；将除最高分辨率的特征图外的其他特征图作为跳跃路径，并与解码器对应分辨率的特征图进行融合；
S4：将最高分辨率的特征图分别输入到STM和CTM中，得到空间变换特征图和类别变换特征图；
S5：将空间变换特征图和类别变换特征图输入到特征融合模块中进行融合处理，得到融合特征图；
S6：将其他分辨率特征图和融合特征图输入到解码器中，得到还原后的全尺寸特征图；
S7：将全尺寸特征图输入到输出层中，并采用Softmax函数对输出图像进行处理，得到分割结果；
S8：根据分割结果计算模型的损失函数，通过梯度反向传播，不断更新模型的参数，当损失函数收敛到最小值时完成模型的训练，得到训练好的CBCT图像牙齿分割模型。
进一步的，采用空间变换模块STM对高分辨率特征图进行处理的过程包括：采用空间变换模块STM将特征图分为P3个相同尺寸的图块patch，其中，P表示将图像在每个维度分为P等分；对每个图块进行reshape操作，使得每个图块拉伸为一维向量，将该一维向量作为空间嵌入向量组spatial embedding；将空间嵌入向量组依次输入到由多头自注意力模块和多层感知机组成的Transformer结构中，得到全局特征；对该特征进行reshape操作，使其还原回与输入特征图相同尺寸的空间变换特征图。
进一步的，采用类别变换模块CTM对高分辨率特征图进行处理的过程包括：将输入的特征图分别输入到两个卷积层中，并进行reshape操作，得到一个表示单个体素节点类别概率的特征图Xcate和一个表示每个体素潜在特征的特征图Xhidden；将Xcate转置后与Xhidden进行矩阵乘法，得到表示每个类别节点具有全部体素特征的特征矩阵Xg，将Xg按类别分为n个通道数为1的特征矩阵将特征矩阵/>作为一个类别嵌入向量组；将类别嵌入向量依次输入到由多头自注意力模块和多层感知机组成的Transformer结构，得到类别变换特征；对类别变换特征进行reshape操作，使其维度变为m×n的还原特征；将Xhidden与还原特征做矩阵乘法，得到维度为hwd×n的特征矩阵，将维度为hwd×n的特征矩阵进行reshape操作，使该矩阵的维度变为n×h×w×d，再将维度变为n×h×w×d维矩阵输入到一个通道数与输入特征图相同的卷积层中，得到与输入特征图相同尺寸的类别变换特征图。
进一步的，对空间变换特征图和类别变换特征图进行融合的过程包括：采用Concat函数对两个特征图进行拼接操作，得到融合特征图。
进一步的，分割结果的表达式为：
进一步的，模型的损失函数包括交叉熵损失和多类soft-Dice损失；对交叉熵损失与多类soft-Dice损失求和，得到模型损失函数。
进一步的，交叉熵损失函数表达式为：
其中，N表示图像体素的总数，n表示类别数，和/>分别表示第i个体素预测和ground truth的类别；
多类soft-Dice损失函数表达式为：
最终损失函数为：
L＝LCE+αLMSD
其中，α是人工设定的超参数。
本发明采用一种结合了空间特征变换和类别特征变换模块的3D卷积神经网络模型，STM和CTM分别结合了空间全局信息和类别全局信息，有效的在空间信息中建立长程关系，并有效的考虑了不同类别特征之间的相似关系，将由卷积神经网络提取的局部特征更加有效的利用起来，解决了根尖分割效果差和类间混淆的问题。
附图说明
图1为本发明的整体流程图；
图2为本发明的CBCT图像牙齿分割模型中的3D卷积神经网络框架结构图；
图3为本发明的空间变换模块STM和类别变换模块CTM结构图；
图4为本发明的空间变换模块STM和类别变换模块CTM对高分辨率特征图进行处理的过程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于特征变换的三维CBCT牙齿图像的分割方法，该方法包括：对CBCT图像数据进行预处理；将预处理后的CBCT图像输入到训练好的CBCT图像牙齿分割模型中进行分割处理；对分割结果进行评估分析；所述CBCT图像牙齿分割包括具有编解码结构的3D卷积神经网络、空间变换模块(STM)，类别变换模块(CTM)和特征融合模块。空间变换模块，类别变换模块设置在3D卷积神经网络的编码器末端。
一种基于特征变换的三维CBCT牙齿图像的分割方法的具体实施方式，该方法包括实时获取CBCT图像数据，并对该数据进行预处理；将预处理后的CBCT图像数据输入到训练好的CBCT图像牙齿分割模型中进行分割处理；对分割结果进行评估分析；CBCT图像牙齿分割模型为改进的3D卷积神经网络，改进的3D卷积神经网络包括编码器、空间变换模块STM、类别变换模块CTM、特征融合模块、解码器以及输出层；所述空间变换模块STM和所述类别变换模块CTM均与编码器的末端连接，空间变换模块STM和类别变换模块CTM的输出端均与特征融合模块连接，特征融合模块的输出端以及编码器的输出端均与解码器连接，解码器的输出端与输出层连接，构成改进的3D卷积神经网络。
可选的，对CBCT图像进行预处理的过程包括：对获取的CBCT图像进行清洗，删除无用的图像；对清洗后的图像进行去噪增强处理；对增强后的图像进裁剪，得到颌骨图像。
如图2所示，CBCT图像牙齿分割模型中的3D卷积神经网络为3D U-net卷积神经网络，该网络由编码器、STM、CTM、解码器和输出层组成；其中，3D U-net包括编解码结构，共12个卷积模块(3×3卷积、BN(Batch Normalize)和Relu激活函数)、3个下采样模块、3个上采样模块、1个输出层(1×1卷积)以及三条跳跃路径(即一次拼接操作)；如图3所示，STM和CTM为并行结构，主要包括12个变换层(Transformer Layer)，每个变换层主要由多头自注意力模块和多层感知机组成；最后通过特征融合模块对空间变换特征和类别变换特征进行融合，然后输入解码器，得到最终分割结果。
如图1所示，对CBCT图像牙齿分割模型进行训练的过程包括：
S1：获取原始CBCT图像数据，对原始图像数据进行预处理，得到训练集和测试集；度原始图像数据进行预处的过程包括对CBCT图像进行预处理的过程包括：对获取的CBCT图像进行清洗，删除无用的图像；对清洗后的图像进行去噪增强处理；对增强后的图像进裁剪，得到颌骨图像，将颌骨图像的尺寸固定为352×352×196，并对固定尺寸后的图像进行划分，按7：3的比例得到训练集和测试集；所述训练集用于对CBCT图像牙齿分割模型进行训练，所述测试用于对训练好的CBCT图像牙齿分割模型进行测试。
S2：将训练集中的数据输入到CBCT图像牙齿分割模型中进行训练；
S3：将CBCT图像数据输入到CBCT图像牙齿分割模型的编码器中进行特征提取，在每次下采样前保存该分辨率的特征图，得到多个具有不同分辨率的特征图；将除最高分辨率的特征图外的其他特征图作为跳跃路径，并与解码器对应分辨率的特征图进行融合；
S4：将最高分辨率的特征图分别输入到STM和CTM中，得到空间变换特征图和类别变换特征图；
S5：将空间变换特征图和类别变换特征图输入到特征融合模块中进行融合处理，得到融合特征图；
S6：将其他分辨率特征图和融合特征图输入到解码器中，得到还原后的全尺寸特征图；
S7：将全尺寸特征图输入到输出层中，并采用Softmax函数对输出图像进行处理，得到分割结果；
S8：根据分割结果计算模型的损失函数，通过梯度反向传播，不断更新模型的参数，当损失函数收敛到最小值时完成模型的训练，得到训练好的CBCT图像牙齿分割模型。
特征提取阶段包括6个卷积模块和3个下采样模块。输入的数据每通过两个卷积模块后进行一次下采样操作(Maxpooling3D)，使得图像尺寸缩小一半，采用下采样模块对数据进行处理的公式为：
其中，M表示下采样前的图像，C表示特征图通道数，表示图像所在的数域，W、H、D分别表示图像的宽度、高度和深度，M*表示经过下采样后的图像。
如图4所示，空间变换模块STM和类别变换模块CTM对高分辨率特征图进行处理的具体过程包括：
采用空间变换模块STM将特征图分为P3个相同尺寸的图块patch，其中，P表示将图像在每个维度分为P等分；；对每个图块进行reshape操作，使得每个图块拉伸为一维向量，将该一维向量作为空间嵌入向量组(spatial embedding)；
类别变换模块CTM将输入的特征图分别输入到两个卷积层中，该卷积层的通道数分别为n和m，其中n为牙齿的类别数，m为设置的隐藏特征通道数。对进行卷积后的特征图进行reshape操作，得到一个表示单个体素节点类别概率的特征图和一个表示每个体素潜在特征的特征图/> 其中，whd为最高分辨率特征图的宽度、高度和深度之积。特征图Xcate和特征图Xhidden的特征表达式为：
其中，X表示输入的高维特征，表示1×1卷积，σ(·)表示一个激活函数，Wn和Wm表示卷积层的参数矩阵。
将Xcate转置后与Xhidden进行矩阵乘法，得到表示每个类别节点具有的全部体素特征的特征矩阵将Xg按类别分为n个通道数为1的特征矩阵/>作为类别嵌入向量组。
Xg＝Xcate TXhidden
其中，T表示转置。
将空间嵌入向量组和类别嵌入向量组分依次输入到由多头自注意力模块和多层感知机组成的Transformer结构中，获取空间上的全局特征和类别关系特征。
v′l＝MSA(LN(vl-1))+vl-1
vl＝MLP(LN(v′l))+v′l
其中，vl表示第l层Transformer Layer的输出特征，vl表示第l层TransformerLayer的中间特征，MSA(·)表示多头自注意力模块，LN(·)表示层归一化操作，MLP(·)表示多层感知机。
对STM输出的变换特征进行reshape操作得到与输入特征图尺寸相同的变换特征图。
对CTM输出的变换特征进行reshape操作，使其维度变为m×n的还原特征Xr；将Xhidden与还原特征Xr做矩阵乘法，得到维度为hwd×n的特征矩阵，再进行一次reshape操作，使其维度变为n×h×w×d，输入一个通道数与输入特征图相同的卷积层后得到相同尺寸的变换特征图。
其中，σ表示一个激活函数，表示1×1卷积，Reshape(·)代表reshape操作，X′表示与输入高维特征X尺寸相同的变换特征图,Wc表示与输入高维特征通道数相同的参数矩阵。
对两张变换特征图进行Concat操作得到融合特征图，输入解码器。解码器输出采用Softmax函数后得到最终分割结果。分割结果的表达式为：
其中，Softmax(·)表示归一化指数函数，Xi表示Xout中第c个类别语义对应的输出，n表示类别总数，j表示第j个类别的语义。
模型的损失函数包括交叉熵损失(Cross-Entropy Loss)函数和多类soft-Dice损失(Multi-class Soft DiceLoss,MSDL)函数；对交叉熵损失与多类soft-Dice损失求和，得到模型损失函数。
交叉熵损失表达式为：
其中N表示图像体素的总数，n表示类别数，和/>分别表示第i个体素预测和ground truth的类别。ground truth表示用于有监督训练的训练集的分类准确性。
多类soft-Dice损失表达式为：
最终损失函数为：
L＝LCE+αLMSD
其中α是人工设定的超参数，作为损失平衡权重。
根据分割结果计算模型的损失函数，通过梯度反向传播，不断更新模型的参数，提高模型分割的精确度，当损失函数收敛在最小值附近时完成模型的训练，得到训练好的CBCT图像牙齿分割模型。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于特征变换的三维CBCT牙齿图像的分割方法，其特征在于，包括：实时获取CBCT图像数据，并对该数据进行预处理；将预处理后的CBCT图像数据输入到训练好的CBCT图像牙齿分割模型中进行分割处理；对分割结果进行评估分析；CBCT图像牙齿分割模型为改进的3D卷积神经网络，改进的3D卷积神经网络包括编码器、空间变换模块STM、类别变换模块CTM、特征融合模块、解码器以及输出层；所述空间变换模块STM和所述类别变换模块CTM均与编码器的末端连接，空间变换模块STM和类别变换模块CTM的输出端均与特征融合模块连接，特征融合模块的输出端以及编码器的输出端均与解码器连接，解码器的输出端与输出层连接，构成改进的3D卷积神经网络；
对CBCT图像牙齿分割模型进行训练的过程包括：
S1：获取原始CBCT图像数据，对原始图像数据进行预处理，得到训练集和测试集；
S2：将训练集中的数据输入到CBCT图像牙齿分割模型中进行训练；
S3：将CBCT图像数据输入到CBCT图像牙齿分割模型的编码器中进行特征提取，在每次下采样前保存该分辨率的特征图，得到多个具有不同分辨率的特征图；将除最高分辨率的特征图外的其他特征图作为跳跃路径，并与解码器对应分辨率的特征图进行融合；
S4：将最高分辨率的特征图分别输入到STM和CTM中，得到空间变换特征图和类别变换特征图；
采用空间变换模块STM对高分辨率特征图进行处理的过程包括：采用空间变换模块STM将特征图分为P3个相同尺寸的图块patch，其中，P表示将图像在每个维度分为P等分；对每个图块进行reshape操作，使得每个图块拉伸为一维向量，将该一维向量作为空间嵌入向量组；将空间嵌入向量组依次输入到由多头自注意力模块和多层感知机组成的Transformer结构中，得到全局特征；对该特征进行reshape操作，使其还原回与输入特征图相同尺寸的空间变换特征图；
采用类别变换模块CTM对高分辨率特征图进行处理的过程包括：将输入的特征图分别输入到两个卷积层中，并进行reshape操作，得到一个表示单个体素节点类别概率的特征图Xcate和一个表示每个体素潜在特征的特征图Xhidden；将Xcate转置后与Xhidden进行矩阵乘法，得到表示每个类别节点具有全部体素特征的特征矩阵Xg，将Xg按类别分为n个通道数为1的特征矩阵将特征矩阵/>作为一个类别嵌入向量组；将类别嵌入向量依次输入到由多头自注意力模块和多层感知机组成的Transformer结构，得到类别变换特征；对类别变换特征进行reshape操作，使其维度变为m×n的还原特征；将Xhidden与还原特征做矩阵乘法，得到维度为hwd×n的特征矩阵，将维度为hwd×n的特征矩阵进行reshape操作，使该矩阵的维度变为n×h×w×d，再将维度变为n×h×w×d维矩阵输入到一个通道数与输入特征图相同的卷积层中，得到与输入特征图相同尺寸的类别变换特征图；
S5：将空间变换特征图和类别变换特征图输入到特征融合模块中进行融合处理，得到融合特征图；其中融合过程为采用Concat函数对两个特征图进行拼接操作；
S6：将其他分辨率特征图和融合特征图输入到解码器中，得到还原后的全尺寸特征图；
S7：将全尺寸特征图输入到输出层中，并采用Softmax函数对输出图像进行处理，得到分割结果；分割结果的表达式为：
其中，Softmax(·)表示归一化指数函数，Xc表示Xout中第c个类别语义对应的输出，n表示类别总数，j表示第j个类别的语义；
S8：根据分割结果计算模型的损失函数，通过梯度反向传播，不断更新模型的参数，当损失函数收敛到最小值时完成模型的训练，得到训练好的CBCT图像牙齿分割模型；
型的损失函数包括交叉熵损失和多类soft-Dice损失；对交叉熵损失与多类soft-Dice损失求和，得到模型损失函数；
交叉熵损失函数表达式为：
其中，N表示图像体素的总数，n表示类别数，和/>分别表示第i个体素预测和groundtruth的类别；
多类soft-Dice损失函数表达式为：
最终损失函数为：
L＝LCE+αLMSD
其中，α是人工设定的超参数。
2.根据权利要求1所述的一种基于特征变换的三维CBCT牙齿图像的分割方法，其特征在于，对CBCT图像进行预处理的过程包括：对获取的CBCT图像进行清洗，删除无用的图像；对清洗后的图像进行去噪增强处理；对增强后的图像进裁剪，得到颌骨图像。
3.根据权利要求1所述的一种基于特征变换的三维CBCT牙齿图像的分割方法，其特征在于，编码器和解码器共包括12个卷积模块、3个下采样模块、3个上采样模块以及3条跳跃路径；每个卷积模块包括一个3×3卷积层和一个归一化层，并采用Relu激活函数；空间变换模块STM和类别变换模块CTM为并行结构，均包括12个变换层，每个变换层由多头自注意力模块和多层感知机组成；特征融合模块为一次Concat操作的模块；输出层为通道数等于类别数的卷积模块。
CN202110846297.3A 2021-07-26 2021-07-26 一种基于特征变换的三维cbct牙齿图像的分割方法 Active CN113744275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110846297.3A CN113744275B (zh) 2021-07-26 2021-07-26 一种基于特征变换的三维cbct牙齿图像的分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110846297.3A CN113744275B (zh) 2021-07-26 2021-07-26 一种基于特征变换的三维cbct牙齿图像的分割方法

Publications (2)

Publication Number Publication Date
CN113744275A CN113744275A (zh) 2021-12-03
CN113744275B true CN113744275B (zh) 2023-10-20

Family

ID=78729064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110846297.3A Active CN113744275B (zh) 2021-07-26 2021-07-26 一种基于特征变换的三维cbct牙齿图像的分割方法

Country Status (1)

Country Link
CN (1) CN113744275B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549556B (zh) * 2022-02-25 2024-10-15 腾讯科技（深圳）有限公司 一种图像分割的方法、相关装置、设备以及存储介质
CN114758121A (zh) * 2022-03-04 2022-07-15 杭州隐捷适生物科技有限公司 一种基于深度学习的cbct牙槽骨分割系统及方法
CN116503420B (zh) * 2023-04-26 2024-05-14 佛山科学技术学院 一种基于联邦学习的图像分割方法及相关设备
CN117456289B (zh) * 2023-12-25 2024-03-08 四川大学 一种基于深度学习的颌骨病变分割分类系统
CN118247219B (zh) * 2024-02-26 2024-09-20 重庆医科大学附属口腔医院 基于深度学习的牙根外吸收检测系统
CN118097662B (zh) * 2024-02-29 2024-09-27 东北大学 一种基于CNN-SPPF和ViT的巴氏涂片宫颈细胞图像分类方法
CN117911797A (zh) * 2024-03-19 2024-04-19 武汉理工大学 一种作物ct图像半自动标注方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111328397A (zh) * 2017-10-02 2020-06-23 普罗马顿控股有限责任公司 使用深度学习方法对3d牙齿数据进行自动分类和归类
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636886B (zh) * 2018-12-19 2020-05-12 网易（杭州）网络有限公司 图像的处理方法、装置、存储介质和电子装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111328397A (zh) * 2017-10-02 2020-06-23 普罗马顿控股有限责任公司 使用深度学习方法对3d牙齿数据进行自动分类和归类
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic 3D tooth segmentation using convolutional neural networks in harmonic parameter space;Jianda Zhang;《Graphical Models》;全文 *
影像引导中分割与配准关键技术研究;伍世宾;《博士电子期刊》;全文 *

Also Published As

Publication number Publication date
CN113744275A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN113744275B (zh) 一种基于特征变换的三维cbct牙齿图像的分割方法
US10922816B2 (en) Medical image segmentation from raw data using a deep attention neural network
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
Gaggion et al. Improving anatomical plausibility in medical image segmentation via hybrid graph neural networks: applications to chest x-ray analysis
JP2023550844A (ja) 深層形状学習に基づく肝臓ｃｔ自動分割方法
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN112508953B (zh) 基于深度神经网络的脑膜瘤快速分割定性方法
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN113506308A (zh) 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法
CN117422788B (zh) 一种基于ct脑梗图像生成dwi图像的方法
CN114748053A (zh) 一种基于fMRI高维时间序列的信号分类方法及装置
CN112949707A (zh) 一种基于多尺度语义信息监督的跨模态人脸图像生成方法
CN116823613A (zh) 基于梯度增强注意力的多模态mr影像超分辨率方法
CN117115132A (zh) 一种基于改进U-Net模型的口腔CBCT影像牙齿及软组织分割模型方法
CN116486156A (zh) 融合多尺度特征上下文的全视野数字切片图像分类方法
Qiu et al. A deep learning approach for segmentation, classification, and visualization of 3-D high-frequency ultrasound images of mouse embryos
Goutham et al. Brain tumor classification using EfficientNet-B0 model
CN118037615A (zh) 一种肿瘤分割引导的磁共振图像翻译方法、系统、设备及介质
CN113837179A (zh) 一种处理图像的多判别gan网络构建方法、装置、系统和存储介质
CN117953208A (zh) 一种基于图的边缘注意力门医学影像分割方法及装置
CN115691770A (zh) 基于条件分数的跨模态医学影像补全方法、装置及设备
CN114820636A (zh) 一种三维医学图像分割模型及其训练方法和应用
CN116705251A (zh) 一种基于深度学习的脑部mr影像多方位规范化系统
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
Gu et al. Image generation technology for functional occlusal pits and fissures based on a conditional generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant