CN114187293A - 基于注意力机制和集成配准的口腔腭部软硬组织分割方法 - Google Patents

基于注意力机制和集成配准的口腔腭部软硬组织分割方法 Download PDF

Info

Publication number
CN114187293A
CN114187293A CN202210135684.0A CN202210135684A CN114187293A CN 114187293 A CN114187293 A CN 114187293A CN 202210135684 A CN202210135684 A CN 202210135684A CN 114187293 A CN114187293 A CN 114187293A
Authority
CN
China
Prior art keywords
soft
image
module
layer
palate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210135684.0A
Other languages
English (en)
Other versions
CN114187293B (zh
Inventor
袁学东
邹可
邹联军
陶天金
龙虎
赖文莉
李沿宏
江茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202210135684.0A priority Critical patent/CN114187293B/zh
Publication of CN114187293A publication Critical patent/CN114187293A/zh
Application granted granted Critical
Publication of CN114187293B publication Critical patent/CN114187293B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种基于注意力机制和集成配准的口腔腭部软硬组织分割方法，包括：首先，获取CBCT图像，经过数据标注后，将图像划分为训练集、验证集和测试集；其次，将训练集输入至搭建好的口腔腭部软硬组织分割网络模型中；另外，在网络训练时加入随机增广方法，对输入数据进行随机尺度和不同变换种类增强；预测组织分割结果，在测试集上对模型的预测效果进行定量评价；最后，根据多腭部软硬组织分割结果进行集成配准。本发明填补了口腔腭部软硬组织分割和配准的空白，解决了组织分割不够准确的问题，降低了寻找不同病例的植入位点的时间，为病例分析设计正畸种植钉提供技术支撑。

Description

基于注意力机制和集成配准的口腔腭部软硬组织分割方法
技术领域
本发明涉及口腔医学和计算机科学交叉领域，特别涉及一种基于注意力机制和集成配准的口腔腭部软硬组织分割方法。
背景技术
本研究主要针对的是口腔医学领域中的腭部软硬组织分割问题，主要来源于口腔种植钉的可植入区域的探讨，总体来说针对该区域的分割和配准研究具有以下指导意义。(1)辅助诊断部分口腔疾病，包括唇腭裂、口腔囊肿和肿瘤等；(2)辅助指导阻生尖牙的精准拔除；(3)由于存在个体差异，利用多口腔腭部软硬组织图像集成配准，解决对于口腔微种植体支抗的最佳植入位点的选择问题。
在口腔医学生理组织学中，口腔腭部由硬腭和软腭组成，前者包含腭骨和腭骨表面覆的软组织，后者通过腱膜与硬腭相连，由肌肉和黏膜组成。在解剖上，腭部是口腔和鼻腔的分界，也是消化道和呼吸道的分界，因此，对于口腔腭部软硬组织分割，在诸多方面都具有重要意义。首先，腭部由两个侧腭突和两个前腭突发育而来，在口腔颌面外科领域，腭突之间部分融合或者未融合时就会形成唇腭裂，研究表明，唇腭裂是口腔颌面部最常见的发育畸形；其次，据报道，一些囊肿和肿瘤也常常发生于腭部骨组织和软组织，如鼻腭管囊肿，先天性表皮包涵体囊肿，软腭癌（腺癌，鳞癌，恶性黑色素瘤等），对于腭部的图像分割，有助于初步确立病变的范围；此外，上颌恒尖牙是继第三磨牙以后，阻生率最高的牙齿，在人体的发生率约在0.3%-2.4%之间，尖牙阻生也以发生在腭部骨组织居多，其治疗结局往往是通过拔除阻生尖牙，避免形成囊肿和邻近的牙根或者牙槽骨吸收，通过对腭部组织的分割，有利于指导阻生尖牙的精准拔除，而不损伤邻近的牙根以及血管神经。
另外，在正畸学领域，正畸微型种植体越来越多地被用于纠正严重的排列不良，以确保为计划的牙齿移动提供支抗。而成功植入正畸微型种植体最重要的先决条件是其能在骨骼中保持稳定，并且在治疗过程中不会丢失，而口腔腭部骨组织和软组织的厚度对于微型种植体植入的成功与否具有决定性作用。鉴于口腔锥形束（Cone beam ComputerTomography，CBCT）具有辐射剂量低和硬件成本低等优点，正畸学临床上常利用CBCT进行图像测量，并计算腭部软硬组织的厚度选择口腔微种植体支抗的最佳植入位点，因此，如何从CBCT图像中分割硬腭软硬组织是进行最佳植入位点选择的首要任务。另外，由于人体口腔构造不尽相同，硬腭软硬组织的厚度和大小相差较大，为了促进寻找不同病例共同的最佳植入位点，进行口腔腭部软硬组织图像集成配准也具有重要意义。
RFB模块[1]参考 Liu S., Di H., Wang Y. Receptive Field Block Net forAccurate and Fast Object Detection. European Conference on Computer Vision,2018: 385-400.
AG模块[2]参考 Oktay O., Schlemper J., Folgoc L.L, et al. Attention U-Net: Learning Where to Look for the Pancreas, 2018, arXiv preprint arXiv:1804.03999.
图像结构相似度[3] 参考Fan DP , Cheng M., Liu Y., et al. Structure-measure:A new way to evaluate foreground maps, in: Proceedings of the IEEEInternational Conference on Computer Vision, 2017: 4548-4557.
ITK-SNAP软件展示[4]参考 Paul A. Yushkevich, Joseph Piven, HeatherCody Hazlett, et al. User-guided 3D active contour segmentation of anatomicalstructures: Significantly improved efficiency and reliability. Neuroimage2006, 31(3):1116-28。
发明内容
本发明的目的是提供一种基于注意力机制和集成配准的口腔腭部软硬组织分割及配准方法，不仅能有效地对不同病人的CBCT有效分割，还能从跳跃连接中获得更多与腭部软硬组织相关的高分辨信息，自动输出腭部软硬组织的勾画结果;进一步将不同病人的勾画软硬组织进行集成配准，为后续正畸种植钉提供技术支撑。
本发明填补了目前口腔腭部软硬组织自动分割的空白，提高了捕获组织特征的可辨别性和鲁棒性，解决了现有病例的CBCT图像个体差异大、组织分割不够准确的问题，采用的技术方案是：基于残差感知注意力机制和集成配准的口腔腭部软硬组织分割方法，包括以下步骤：
获取患者的CBCT图像和勾画标签图像，构成目标图像数据集，对目标图像数据集进行归一化、灰度化和感兴趣区域（Region of Interest, ROI）获取等预处理，并将其划分为训练集、验证集和测试集。
构建分割网络模型，所述分割网络模型包括编码器部分和解码器部分。
进一步的是，所述编码器部分总共包含五层，每层包括两个
Figure 469738DEST_PATH_IMAGE001
的卷积模 块、一个矫正线性单元（ReLU）和一个
Figure 121299DEST_PATH_IMAGE002
最大池化模块构成；
进一步的是，所述解码器部分重复应用四层，每层经过两个
Figure 494512DEST_PATH_IMAGE001
的卷积模块 和一个矫正线性单元（ReLU），最后一层经过大小为
Figure 92983DEST_PATH_IMAGE003
的卷积层输出预测结果。在编 码器与解码器之间通过跳跃连接共享多尺度特征，跳跃连接操作包含残差顺序感知注意力 机制（Residual Chain Structure Mechanism） RCSM；
进一步的是，所述轻量Transfomer层包括图像整形和像素嵌入、归一化LayerNorm、轻量多头自注意力及多层感知机模块，编码器输出的特征图首先经过过图像整形将其分割成同等大小的像素块，进一步对像素块进行位置嵌入，保留原始的像素块位置信息，最后通过L层的轻量多头注意力和多层感知机模块，将卷积后的特征进行局部特征提取；
进一步的是，所述RCSM模块包括多分支感受野RFB（Receptive Field Blocks）模块和注意力门（Attention Gate）AG模块，编码器输出的特征图和解码器部分的特征图分别经过RFB模块，然后输入AG模块，最后将输出的特征图与编码器输出的特征图进行相加，再输出结果；所述RFB模块可以扩展感受野，其内部结构包括不同卷积核尺度的多分支卷积结构和空洞卷积结构；所述AG模块进一步强调RFB模块得到的特征图的ROI特征，位于经过两个RFB模块的分支之后，其目的在于从RFB模块的输出中学习捕获危及器官的精细定位信息；
训练搭建好的分割网络模型，将预处理后的目标图像数据集输入至分割网络模型，基于损失函数，对所述分割网络模型进行训练。
进一步的是，所述分割网络模型训练时加入随机增广方法，并设定参数K，N和M，分别表示所有可能变换的种类、依次应用增强变换的数量、所有变换的幅度。对于训练图像I，始终选择等概率的K种变换，每次对训练图像应用N次变换，然后每次变换执行M强度。上述K、N和M分别取值为5、3和4。其中增广变换方式包括X轴平移，Y轴平移、X轴剪切、Y轴剪切和图像旋转，增广变换强度包括恒定幅度、随机幅度、线性增加幅度和具有增加上限的随机幅度。引入该方法其目的在于扩展腭部软硬组织图像的训练集，以防止网络过拟合，增强网络的泛化性。
进一步的是，在神经网络分割模型训练完成之后，定量的评价网络模型在测试集上的预测效果，使用Ltotal损失函数，其公式定义为：
Figure 251563DEST_PATH_IMAGE004
(6)
其中α=β=1，LNPC为预测鼻咽癌肿瘤靶区分割计算所用的损失函数，它被定义为预测鼻咽癌肿瘤靶区分割的软Dice损失函数和二分类交叉熵损失函数的组合，所述软Dice损失函数表示为：
Figure 542868DEST_PATH_IMAGE005
(7)
其中，N为图像中的像素数量；
Figure 403376DEST_PATH_IMAGE006
为真实值，非1即0；
Figure 867856DEST_PATH_IMAGE007
为所属此类的概率值，为预测 值。smooth设定为1。
所述二分类交叉熵损失函数表示为：
Figure 5576DEST_PATH_IMAGE008
(8)
进一步的是，利用训练模型对测试集进行预测，并利用交并比进行定量评价。
进一步的是，所述的口腔腭部软硬组织集成配准方法，首先建立混合高斯模型，其整体目标函数如下：
Figure 576103DEST_PATH_IMAGE009
(9)
其中
Figure 596012DEST_PATH_IMAGE010
表示不同病人的组织图像构成的联合强度向量，
Figure 801865DEST_PATH_IMAGE011
表 示待配准图像经配准参数作用后在像素位置x处的像素值，
Figure 653147DEST_PATH_IMAGE012
表示融合图像经配准参数 作用后在像素位置x处的像素值。K表示混合高斯模型中高斯分布总数，
Figure 551833DEST_PATH_IMAGE013
和
Figure 137666DEST_PATH_IMAGE014
分别表 示第k个高斯分布成分的均值、协方差。
Figure 678369DEST_PATH_IMAGE015
表示该分布成分在混合模型中所占的权重，且 满足条件
Figure 790681DEST_PATH_IMAGE016
和
Figure 453744DEST_PATH_IMAGE017
。
Figure 651507DEST_PATH_IMAGE018
为高斯分布概率密度函数。
Figure 995900DEST_PATH_IMAGE019
和
Figure 357129DEST_PATH_IMAGE020
的关系 满足下式:
Figure 332038DEST_PATH_IMAGE021
(10)
其中
Figure 876152DEST_PATH_IMAGE022
表示传感器选择因子，其含义为是否选择该图像进行配准，
Figure 227499DEST_PATH_IMAGE023
为传感器 补偿值。同样地
Figure 845562DEST_PATH_IMAGE024
也满足混合高斯分布。
进一步采用最大期望求解算法，包含E步和M步，E步给出
Figure 132318DEST_PATH_IMAGE025
属于第k个聚类的概 率，M步最大化对数似然函数的期望可迭代更新参数集合
Figure 773515DEST_PATH_IMAGE026
。E步过程满足下式(11)：
Figure 787607DEST_PATH_IMAGE027
， (11)
其中
Figure 729018DEST_PATH_IMAGE028
为模型隐变量，进而构建期望公式如下：
Figure 685211DEST_PATH_IMAGE029
(12)
其中R为
Figure 876020DEST_PATH_IMAGE030
服从的混合高斯模型中高斯分布的总数，该高斯分布的均值为0，方 差为
Figure 569170DEST_PATH_IMAGE031
；V表示常量，且与
Figure 958563DEST_PATH_IMAGE032
无关，
Figure 711755DEST_PATH_IMAGE033
和
Figure 468490DEST_PATH_IMAGE034
为隐含变量的后验概率，分别满足
Figure 762068DEST_PATH_IMAGE035
和
Figure 740388DEST_PATH_IMAGE036
。在M步中，通过最大化(12)式来进行参数估计，即利用对(12)式右 边部分分别求未知参数
Figure 195640DEST_PATH_IMAGE037
、
Figure 564305DEST_PATH_IMAGE038
、
Figure 976088DEST_PATH_IMAGE039
、
Figure 481019DEST_PATH_IMAGE040
、
Figure 435068DEST_PATH_IMAGE041
、
Figure 87766DEST_PATH_IMAGE042
、
Figure 926409DEST_PATH_IMAGE043
和
Figure 895634DEST_PATH_IMAGE044
的偏导数进行迭代 估计。
与现有技术相比，本发明的有益效果是：
（1）提出一种口腔腭部软硬组织分割网络模型，填补了目前口腔腭部软硬组织自动分割的空白问题；
（2）在网络编码中，提出轻量Transformer对目标局部信息进行提取，充分引导网络学习口腔腭部更多的边缘信息及具体细节，同时轻量化Transformer一定程度上减少了引入Tranformer带来的网络参数量增加的问题；
（3）在网络编码和解码之间，采用残差顺序感知注意力机制，扩展感受野后再进一步强调特征图的ROI特征，可以适应组织不同大小形状的变化，同时减少了多个模型和大量额外参数造成的计算损耗；
（4）在网络训练中引入随机增广方法进行数据增强处理，提高网络的泛化性和精度。在训练中采用该算法一定程度上解决了目前口腔软硬腭组织标记数据短缺的问题，有效提高了网络的泛化性和精度，同时也防止网络过拟合；
（5） 针对不同病人的口腔腭部软硬组织分割结果，采用混合高斯模型进行集成配准，在实现组织自动勾画的基础上，解决了病例图像的个体差异问题，降低了寻找不同病例的植入位点的时间，为口腔医生后期实现精准而又高效的正畸种植钉提供了技术支撑。。
附图说明
图1为本发明口腔腭部软硬组织分割及配准方法的整体流程图；
图2为本发明口腔腭部软硬组织自动分割方法流程图；
图3为本发明口腔腭部软硬组织分割网络模型示意图;
图4为为本发明轻量Transformer层示意图；
图5本发明残差顺序感知注意力机制示意图。
具体实施方式
下面结合附图及实施例，详细描述本发明的技术方案。
本发明提出一种基于注意力机制和集成配准的口腔腭部软硬组织分割方法，其流程图见图1，其中，该方法包括：
首先，获取CBCT图像，经过数据预处理后，将图像划分为训练集、验证集和测试集；其次，将训练集输入至搭建好的口腔腭部软硬组织分割网络模型中，引入轻量Transfomer层获取目标全局和局部信息，同时，在跳接中加入残差顺序感知注意力机制提取多分辨率组织特征；另外，在网络训练时加入随机增广方法，对输入数据进行随机尺度和不同变换种类增强；进而，在测试集上对模型的预测效果进行定量评价，并预测组织分割结果；最后，利用混合高斯模型对不同病人的腭部软硬组织图像进行集成配准，在实现组织自动勾画的基础上，解决了病例图像的个体差异问题，促进了寻找不同病例共同的最佳植入位点，为病例分析和种植钉植入作参考。
实施例1
本实施例提供的一种口腔腭部软硬组织自动分割方法，其整体流程示意图见图2，主要步骤包括：数据获取、模型搭建、模型训练和模型网络测试。
1、数据获取，具体包括以下步骤：
（a）收集数据集，包含CBCT图像和医生勾画的口腔腭部软硬组织；
（b）对目标图像数据集进行预处理，其中所述目标图像数据集包括CBCT图像数据集和勾画标签数据集，预处理包括：
归一化。图像归一化是一个像素级操作，不同的CBCT扫描设备可能有不同的配置，为了消除差异，对这些图像进行归一化操作，公式如下：
Figure 958268DEST_PATH_IMAGE045
(13)
其中，xi表示图像像素点值，min(x)，max(x)分别表示图像像素的最小值和最大值。
灰度化。在彩色图像中存在 R、G、B 三个颜色分量，每个颜色分量的范围都是 0到255，一个像素点的像素值就有2563种，当 RGB 三种分量值相同时，图像颜色就会变成灰白色，也就是我们所称的灰度图。将彩色 RGB 图转化为灰度图，减少了图像中的数据信息，使运算更加快速。灰度化处理采用加权平均法，根据重要性及其它指标，将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像：
Figure 35945DEST_PATH_IMAGE046
(14)
其中，F(i,j)为转换后的灰度图像在(i,j)处的灰度值。R(i,j)，G(i,j)，B(i,j)分别是图像在(i,j)处在R分量的灰度值、G分量的灰度值和B分量的灰度值。
ROI提取。原始图像的大小为565×101×n，因训练阶段原始CBCT图像的不适于网络输入，因此从原始图像中裁剪和填充出一个512×128×n的区域作为ROI，其中n为某一病例的切片数。
（c）数据集划分，将勾画后图像数据按8:1:1的比例划分为训练集、验证集和测试集。
2、构建分割网络模型，如图3所示，包括编码器部分和解码器部分，主要步骤包括：
（a）构建编码器，每层包括两个3×3×3的卷积模块、一个矫正线性单元（ReLU）和一个2×2×2最大池化模块构成，每次处理后得到特征图X i (i=1,2,…,5)；
（b）所述轻量Transfomer层包括图像整形和像素嵌入、归一化Layer Norm、轻量多头自注意力及多层感知机模块，其示意图如图4所示，具体如下：
首先，对于输入的特征图I H×W 进行像素嵌入，将图像矩阵整形为扁平的一系列像素块，其维度为N t ，每个像素块维度为P×P，其中N t =H×W/P 2 ；为了保留原始的像素块位置信息，其次进行了像素位置嵌入，其公式为：
Figure 537333DEST_PATH_IMAGE047
, (15)
其中
Figure 16856DEST_PATH_IMAGE048
表示第N t 个像素块，T表示像素嵌入投影，Tpos表示像素位置嵌入偏移量。 最后，采用L层的轻量多头注意力和多层感知机模块对目标信息进行提取，此处L取位8。其 公式为：
Figure 250392DEST_PATH_IMAGE049
Figure 189267DEST_PATH_IMAGE050
(16)
其中MLP代表多层感知机，LN为归一化层，SMSA为轻量多头自注意力，
Figure 104133DEST_PATH_IMAGE051
表示第l-1层的像素块输入，且
Figure 562796DEST_PATH_IMAGE052
。轻量多头自注意力表示为
Figure 967233DEST_PATH_IMAGE053
和，其中
Figure 19502DEST_PATH_IMAGE054
、
Figure 347847DEST_PATH_IMAGE055
和
Figure 801962DEST_PATH_IMAGE056
分别表示经过组线性变换后的像素块权重矩阵，由训练的权重
Figure 377299DEST_PATH_IMAGE057
、
Figure 41499DEST_PATH_IMAGE058
和
Figure 298168DEST_PATH_IMAGE059
与 输入像素块的乘积得到，
Figure 403527DEST_PATH_IMAGE060
表示维度。
（c）构建多尺度信息拼接的解码器，解码器部分重复应用四层，每层经过两个3×3×3的卷积模块和一个矫正线性单元（ReLU），每次处理后得到特征图X j (j=1,2,…, 4)，最后一层经过大小为1×1×1的卷积层输出预测结果；在编码器与解码器之间通过跳跃连接共享多尺度特征，跳跃连接操作包含残差顺序感知注意力机制RCSM。
（d）所述残差顺序感知注意力机制包括多分支感受野RFB模块和注意力门（AG）模块，其构建模块如图5示意图所示。
编码器输出的X i 和解码器输出的X j 分别经过RFB模块，输出的两个结果作为AG模块的输入再进行计算，AG模块计算得到的权值与原编码器输出的Xi相乘，最后与编码器输出的Xi相加得到新的特征图，残差顺序感知注意力的公式为：
Figure 724000DEST_PATH_IMAGE061
(17)
RFB模块内部结构包括不同卷积核尺度的多分支卷积结构和空洞卷积结构，其公式为：
Figure 485283DEST_PATH_IMAGE062
(18)
其中g( )是一个基本的卷积层，表示1×1×1的卷积、批量归一化和ReLU函数。h1 ( ), h2( ), h3( )和h4( )为四组由不同的基本卷积层、核数卷积层和空洞卷积层构成的 运算集，见说明书附图5。C( )表示拼接操作。将多核卷积层(2k - 1)×(2k - 1)×(2k - 1)替换为1×(2k - 1)×(2k - 1)、(2k - 1)×(2k - 1)×1和(2k - 1)×1×(2k - 1)，可 以减少原始卷积模块的时间损耗。
Figure 670277DEST_PATH_IMAGE063
表示对应元素逐个相加。
AG模块位于经过两个RFB模块的分支之后，其目的在于从RFB模块的输出中学习捕获危及器官的精细定位信息，其公式为：
Figure 833405DEST_PATH_IMAGE064
(19)
其中，
Figure 750545DEST_PATH_IMAGE065
，
Figure 874490DEST_PATH_IMAGE066
和ε是线性变换，它通过输入特征图像在通道上进行1×1×1的卷 积计算得到的。bRFB和
Figure 738541DEST_PATH_IMAGE067
为偏置项。
3、训练分割网络模型，将预处理后的目标图像数据集输入至分割网络模型，分割网络模型训练时加入随机增广方法，设定参数K，N和M，分别表示所有可能变换的种类、依次应用增强变换的数量、所有变换的幅度。对于训练图像I，始终选择等概率的K种变换，每次对训练图像应用N次变换，然后每次变换执行M强度。上述K、N和M分别取值为5、3和4。其中增广变换方式包括X轴平移，Y轴平移、X轴剪切、Y轴剪切和图像旋转，增广变换强度包括恒定幅度、随机幅度、线性增加幅度和具有增加上限的随机幅度。
4、在神经网络分割模型完成训练之后，将图像输入训练好的分割网络模型中，输出勾画标签，同时定量地评价模型在测试集上识别效果，本实施例使用Ltotal损失函数，其公式为：
Figure 552913DEST_PATH_IMAGE068
(20)
其中
Figure 234430DEST_PATH_IMAGE069
和
Figure 704726DEST_PATH_IMAGE070
在本实施例中均设为1，LNPC为预测鼻咽癌肿瘤靶区分割计算所用的 损失函数，它被定义为预测鼻咽癌肿瘤靶区分割的软Dice损失函数和二分类交叉熵损失函 数的组合，所述软Dice损失函数表示为：
Figure 746369DEST_PATH_IMAGE071
(21)
其中，N为图像中的像素数量；
Figure 415248DEST_PATH_IMAGE072
为真实值，非1即0；
Figure 143032DEST_PATH_IMAGE073
为所属此类的概率值，为 预测值。
Figure 225258DEST_PATH_IMAGE074
为预测输出的结果转变成的预测值，一般为sigmoid激活之后的输出。smooth在 本实施例中设定为1。
所述二分类交叉熵损失函数表示为：
Figure 431111DEST_PATH_IMAGE075
(22)
6、获取多组织口腔腭部软硬组织分割结果后，为了更好对不同病例进行分析，从而对正畸种植钉进行技术支撑，建立混合高斯模型和最大期望算法对多组织口腔腭部软硬组织图像进行集成配准。
(a) 构建混合高斯模型目标函数如下：
Figure 220076DEST_PATH_IMAGE076
(23)
其中
Figure 994128DEST_PATH_IMAGE077
表示多组织图像构成的联合强度向量，
Figure 173436DEST_PATH_IMAGE078
表示待配准 图像经配准参数作用后在像素位置x处的像素值，
Figure 307614DEST_PATH_IMAGE079
表示融合图像经配准参数作用后在 像素位置x处的像素值。K表示混合高斯模型中高斯分布总数，
Figure 216664DEST_PATH_IMAGE080
和
Figure 20672DEST_PATH_IMAGE081
分别表示第k个高 斯分布成分的均值、协方差。
Figure 329687DEST_PATH_IMAGE082
表示该分布成分在混合模型中所占的权重，且满足条件
Figure 877343DEST_PATH_IMAGE083
和
Figure 640900DEST_PATH_IMAGE084
。
Figure 740443DEST_PATH_IMAGE085
为高斯分布概率密度函数。
Figure 159923DEST_PATH_IMAGE086
和
Figure 386636DEST_PATH_IMAGE087
的关系满足下式：
Figure 4699DEST_PATH_IMAGE088
(24)
其中
Figure 416089DEST_PATH_IMAGE089
表示传感器选择因子，其含义为是否选择该图像进行配准，
Figure 181920DEST_PATH_IMAGE090
为传感器 补偿值。同样地
Figure 71378DEST_PATH_IMAGE091
也满足混合高斯分布。
(b) 进一步采用最大期望求解算法，包含E步和M步，E步给出
Figure 809527DEST_PATH_IMAGE092
属于第k个聚类 的概率，M步最大化对数似然函数的期望可迭代更新参数集合
Figure 500141DEST_PATH_IMAGE093
。
E步过程满足下式：
Figure 628634DEST_PATH_IMAGE094
， (25)
其中
Figure 446417DEST_PATH_IMAGE095
为模型隐变量，进而构建期望公式如下：
Figure 242335DEST_PATH_IMAGE029
(26)
其中R为
Figure 792265DEST_PATH_IMAGE096
服从的混合高斯模型中高斯分布的总数，该高斯分布的均值为0，方 差为
Figure 548999DEST_PATH_IMAGE097
；V表示常量，且与
Figure 514681DEST_PATH_IMAGE098
无关，
Figure 961843DEST_PATH_IMAGE033
和
Figure 10570DEST_PATH_IMAGE034
为隐含变量的后验概率，分别满足
Figure 379235DEST_PATH_IMAGE035
和
Figure 519579DEST_PATH_IMAGE036
。在M步中，通过最大化(24)式来进行参数估计，即利用对(24)式右 边部分分别求未知参数
Figure 24510DEST_PATH_IMAGE099
、
Figure 916243DEST_PATH_IMAGE100
、
Figure 896837DEST_PATH_IMAGE101
、
Figure 204322DEST_PATH_IMAGE102
、
Figure 626076DEST_PATH_IMAGE103
、
Figure 767338DEST_PATH_IMAGE104
、
Figure 579436DEST_PATH_IMAGE105
和
Figure 346404DEST_PATH_IMAGE106
的偏导数进行迭代 估计。
实施例2：
首先，对目标图像数据集进行预处理，其中所述目标图像数据集包括CBCT图像数据集和勾画标签数据集，预处理包括：归一化、灰度化及ROI提取。
其次，在分割网络模型训练时加入随机增广方法将所有可能变换的种类、依次应用增强变换的数量和所有变换的幅度都考虑到算法中，其增广变换方式包括X轴平移，Y轴平移、X轴剪切、Y轴剪切和图像旋转，增广变换强度包括恒定幅度、随机幅度、线性增加幅度和具有增加上限的随机幅度。其增广后的数据前后对比如下：加入随机增广之前的分割腭部软硬组织的结构相似度结果为74.24%，随机增广后的图像结构相似度为75.74%，可以看出引入随机增广方法后对分割结果有所提高，验证了随机增广方法的有效性。
进而，构建的分割网络模型包括编码器部分、轻量Tranformer层和解码器部分，并在跳跃连接中引入残差顺序感知注意力机制进行训练，测试时引入该机制的分割前后结构相似度[3]结果分别为74.24%和76.69%。
进一步，所述的口腔腭部软硬组织集成配准方法，包括建立混合高斯模型与最大期望求解算法。本方法在拥有60例患者的实际CBCT数据中进行验证，对其支抗植入位点的标记时间和集成配准时间进行比较。一个病例专家进行植入位点的标记时间大约为5.3h，而本发明方法推理组织分割结果时间和集成配准时间分别约为15s和1.9h，如表1所示，可以看出本发明的推理标记时间远小于专家的实际标记时间。虽然本方法仅对不同病例的分割结果图像进行集成配准，但对于促进最佳植入位点的选择具有重要的医学意义。
表1 植入位点平均标记时间统计表
Figure DEST_PATH_IMAGE108
最后，测试时的部分口腔腭部软硬组织分割结果使用ITK-SNAP软件展示。引入本方案后的结构相似度结果为77.83%，未引入本方案的基础网络结构相似度为74.24%，可以看出本发明方法有一定提升。本发明与人工专家标记的效果仍存在一定的精度差距，其原因有以下几点：1) 可用的训练数据较少，模型训练效果仍有一定差距。2) 口腔腭部软硬组织的边界不太清晰，网络模型框架仍需进一步探索。3) CBCT图像本身精度有限且噪声大，导致对该区域的分割仍存在一定的偏差。虽然如此，本发明的重要意义在于：相对于CT图像不同，CBCT存在着自身的特殊性，本发明针对不同病人的CBCT图像进行自动分割与集成配准，并在跳跃连接中采用残差顺序感知注意力机制，扩展感受野后再进一步强调特征图的ROI特征，可以适应组织不同大小形状的变化，同时减少了多个模型和大量额外参数造成的计算损耗，自动输出腭部软硬组织的勾画结果；在网络编码中，提出轻量Transformer对目标局部信息进行提取，充分引导网络学习更多的边缘信息及具体细节，同时一定程度上减少了引入Tranformer带来的网络参数量增加的问题；在网络训练中引入随机增广方法进行数据增强处理，提高网络的泛化性和精度，同时也防止网络过拟合；针对不同病人的口腔腭部软硬组织分割结果，采用混合高斯模型进行集成配准。整体上本发明方法解决了目前口腔腭部软硬组织自动分割的空白，并在基础上，解决了病例图像的个体差异问题，促进了寻找不同病例共同的最佳植入位点，为口腔医生后期实现精准而又高效的正畸种植钉提供了技术支撑。未来，本发明的自动分割方法将逐渐取代繁琐的人工分割和主观性很强的半自动分割方法。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于注意力机制和集成配准的口腔腭部软硬组织分割方法，其特征在于，包括以下步骤：
S1：预处理目标图像数据集，其中所述目标图像数据集包括口腔锥形束投照计算机重组断层影像设备Cone Beam Computed Tomography, CBCT图像数据集和勾画标签数据集，并将目标图像数据集按8:1:1的比例划分为训练集、验证集和测试集；
S2：构建并训练口腔腭部软硬组织分割网络模型；
所述分割网络模型包括编码器部分和解码器部分，在编码后引入轻量Transfomer层以获取目标局部信息；同时，在跳接中引入残差感知注意力机制RCSM，将待分割的目标图像数据集输入分割网络模型，基于混合损失函数，对所述分割网络模型进行训练，并在训练中引入随机增广方法RA增加训练集大小，防止网络过拟合；
S3：将测试集输入训练好的分割网络模型中，预测口腔腭部软硬组织；
S4：基于多口腔腭部软硬组织分割结果建立集成配准方法，所述集成配准方法包括建立混合高斯模型和最大期望求解算法。
2.根据权利要求1所述的基于注意力机制和集成配准的口腔腭部软硬组织分割方法，其特征在于，所述步骤S2具体包括：
S21：构建编码器；
所述编码器部分总共包含五层，每层包括两个3×3×3的卷积模块、一个矫正线性单元ReLU和一个2×2×2最大池化模块构成；
S22：构建轻量Transfomer层；
所述轻量Transfomer层包含图像整形和像素嵌入、归一化Layer Norm、轻量多头自注意力及多层感知机模块；
S23：构建基于残差感知注意力机制的多尺度特征解码器；
所述解码器部分重复应用四层，每层经过两个3×3×3的卷积模块和一个矫正线性单元ReLU，最后一层经过大小为1×1×1的卷积层输出预测结果；在编码器与解码器之间通过跳跃连接共享多尺度特征，跳跃连接操作包含残差感知注意力机制RCSM；
所述跳跃连接操作包括将RCSM模块所输出的多尺度特征图，与解码器部分的特征图进行拼接。
3.根据权利要求2所述的基于注意力机制和集成配准的口腔腭部软硬组织分割方法，其特征在于，所述轻量Transfomer层用来更轻量化地提取局部信息，包括图像整形和像素嵌入、归一化Layer Norm、轻量多头自注意力及多层感知机模块；首先，对于输入的图像I H×W 进行像素嵌入，将图像矩阵整形为扁平的一系列像素块，其维度为N t ，每个像素块维度为P×P，其中N t =H×W/P 2 ；为了保留原始的像素块位置信息，进行了像素位置嵌入，其公式为：
Figure 822486DEST_PATH_IMAGE001
其中
Figure 143746DEST_PATH_IMAGE002
表示第
Figure 101337DEST_PATH_IMAGE003
个像素块，T表示像素嵌入投影，Tpos表示像素位置嵌入偏移量；最 后，采用L层的轻量多头注意力和多层感知机模块对目标信息进行提取；其公式为：
Figure 916978DEST_PATH_IMAGE004
Figure 33838DEST_PATH_IMAGE005
其中MLP代表多层感知机，LN为归一化层，SMSA为轻量多头自注意力，
Figure 666945DEST_PATH_IMAGE006
表示第l-1 层的像素块输入，且
Figure 223085DEST_PATH_IMAGE007
；轻量多头自注意力表示为
Figure 826104DEST_PATH_IMAGE008
和，其中
Figure 548204DEST_PATH_IMAGE009
、
Figure 211266DEST_PATH_IMAGE010
和
Figure 143450DEST_PATH_IMAGE011
分别表示经过 组线性变换后的像素块权重矩阵，由训练的权重
Figure 533849DEST_PATH_IMAGE012
、
Figure 359723DEST_PATH_IMAGE013
和
Figure 209998DEST_PATH_IMAGE014
与输入像素块的乘积得 到，
Figure 629478DEST_PATH_IMAGE015
表示维度。
4.根据权利要求2所述的基于注意力机制和集成配准的口腔腭部软硬组织分割方法，其特征在于，所述RCSM模块包括多分支感受野RFB模块和注意力门AG模块，编码器输出的特征图和解码器部分的特征图分别经过RFB模块，然后输入AG模块，最后将输出的特征图与编码器输出的特征图进行相加，再输出结果，其公式为：
Figure 839880DEST_PATH_IMAGE016
其中，编码器输出的第i层特征X i 和第j层特征X j 分别经过RFB模块，输出的两个结果作为AG模块的输入再进行计算，最后与编码器输出的X i 相加得到新的特征图；RFB模块内部结构包括不同卷积核尺度的多分支卷积结构，AG模块位于经过两个RFB模块的分支之后，其目的在于从RFB模块的输出中学习捕获口腔腭部软硬组织的定位信息。
5.根据权利要求1所述的基于注意力机制和集成配准的口腔腭部软硬组织分割方法，其特征在于，所述分割网络模型训练时加入随机增广方法，其目的在于扩展危及器官数据的训练集，以防止网络过拟合；所述随机增广方法设定参数K，N和M，分别表示所有可能变换的种类、依次应用增强变换的数量、所有变换的幅度；对于训练图像I，始终选择等概率的K种变换，每次对训练图像应用N次变换，然后每次变换执行M强度；上述K、N和M分别取值为5、3和4；其中增广变换方式包括X轴平移，Y轴平移、X轴剪切、Y轴剪切和图像旋转，增广变换强度包括恒定幅度、随机幅度、线性增加幅度和具有增加上限的随机幅度。
6.根据权利要求1所述的基于注意力机制和集成配准的口腔腭部软硬组织分割方法，其特征在于，所述步骤S4中的集成配准方法包括建立混合高斯模型和最大期望求解算法，具体为：
S61：建立混合高斯模型，
所述混合高斯模型部分，整体目标函数如下：
Figure 784176DEST_PATH_IMAGE017
其中
Figure 789041DEST_PATH_IMAGE018
表示多组织图像构成的联合强度向量，
Figure 695817DEST_PATH_IMAGE019
表示待配准图像 经配准参数作用后在像素位置x处的像素值，
Figure 195062DEST_PATH_IMAGE020
表示融合图像经配准参数作用后在像素 位置x处的像素值；K表示混合高斯模型中高斯分布总数，
Figure 995528DEST_PATH_IMAGE021
和
Figure 577819DEST_PATH_IMAGE022
分别表示第k个高斯分 布成分的均值、协方差；
Figure 80214DEST_PATH_IMAGE023
表示该分布成分在混合模型中所占的权重，且满足条件
Figure 632418DEST_PATH_IMAGE024
和
Figure 772543DEST_PATH_IMAGE025
；
Figure 525735DEST_PATH_IMAGE026
为高斯分布概率密度函数；
Figure 266158DEST_PATH_IMAGE027
和
Figure 874251DEST_PATH_IMAGE028
的关系满足下式(3):
Figure 259096DEST_PATH_IMAGE029
其中
Figure 776665DEST_PATH_IMAGE030
表示传感器选择因子，其含义为是否选择该图像进行配准，
Figure 20695DEST_PATH_IMAGE031
为传感器补偿 值，同样地
Figure 790068DEST_PATH_IMAGE032
也满足混合高斯分布；
S62：最大期望求解算法，
所述最大期望求解算法部分包含E步和M步，E步给出
Figure 419633DEST_PATH_IMAGE033
属于第k个聚类的概率，M步最 大化对数似然函数的期望可迭代更新参数集合
Figure 357370DEST_PATH_IMAGE034
；E步过程满足下式：
Figure 213331DEST_PATH_IMAGE035
其中
Figure 911029DEST_PATH_IMAGE036
为模型隐变量，进而构建期望公式(7)如下：
Figure 880253DEST_PATH_IMAGE037
其中R为
Figure 5204DEST_PATH_IMAGE038
服从的混合高斯模型中高斯分布的总数，该高斯分布的均值为0，方差为
Figure 817302DEST_PATH_IMAGE039
；V表示常量，且与
Figure 570888DEST_PATH_IMAGE040
无关，
Figure 909465DEST_PATH_IMAGE041
和
Figure 956050DEST_PATH_IMAGE042
为隐含变量的后验概率，分别满足
Figure 255444DEST_PATH_IMAGE043
和
Figure 29365DEST_PATH_IMAGE044
；在M步中，通过最大化(7)式来进行参数估计，即利用对(7)式右边部分分别求未 知参数
Figure 65192DEST_PATH_IMAGE045
、
Figure 751519DEST_PATH_IMAGE046
、
Figure 508516DEST_PATH_IMAGE047
、
Figure 164756DEST_PATH_IMAGE048
、
Figure 930456DEST_PATH_IMAGE049
、
Figure 215114DEST_PATH_IMAGE050
、
Figure 692363DEST_PATH_IMAGE051
和
Figure 276928DEST_PATH_IMAGE052
的偏导数进行迭代估计。
CN202210135684.0A 2022-02-15 2022-02-15 基于注意力机制和集成配准的口腔腭部软硬组织分割方法 Expired - Fee Related CN114187293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210135684.0A CN114187293B (zh) 2022-02-15 2022-02-15 基于注意力机制和集成配准的口腔腭部软硬组织分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210135684.0A CN114187293B (zh) 2022-02-15 2022-02-15 基于注意力机制和集成配准的口腔腭部软硬组织分割方法

Publications (2)

Publication Number Publication Date
CN114187293A true CN114187293A (zh) 2022-03-15
CN114187293B CN114187293B (zh) 2022-06-03

Family

ID=80545926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210135684.0A Expired - Fee Related CN114187293B (zh) 2022-02-15 2022-02-15 基于注意力机制和集成配准的口腔腭部软硬组织分割方法

Country Status (1)

Country Link
CN (1) CN114187293B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863193A (zh) * 2022-07-07 2022-08-05 之江实验室 基于混合批归一化的长尾学习图像分类、训练方法及装置
WO2024104035A1 (zh) * 2022-11-17 2024-05-23 华中科技大学 基于长短期记忆自注意力模型的三维医学图像分割方法及系统

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080240585A1 (en) * 2007-03-30 2008-10-02 Fujitsu Limited Image processing method, encoder, and decoder
CN104504695A (zh) * 2014-12-16 2015-04-08 上海交通大学 一种磁共振延迟增强序列心肌分割方法
CN105279762A (zh) * 2015-11-20 2016-01-27 北京航空航天大学 一种口腔软硬组织ct序列与三维网格模型配准方法
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
US20190228529A1 (en) * 2016-08-26 2019-07-25 Hangzhou Hikvision Digital Technology Co., Ltd. Image Segmentation Method, Apparatus, and Fully Convolutional Network System
CN110782474A (zh) * 2019-11-04 2020-02-11 中国人民解放军总医院 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法
CN110930421A (zh) * 2019-11-22 2020-03-27 电子科技大学 一种用于cbct牙齿图像的分割方法
CN111568376A (zh) * 2020-05-11 2020-08-25 四川大学 一种口腔软组织生理运动边界的直接三维扫描方法及系统
CN111968120A (zh) * 2020-07-15 2020-11-20 电子科技大学 一种3d多特征融合的牙齿ct图像分割方法
US20200410672A1 (en) * 2018-01-18 2020-12-31 Koninklijke Philips N.V. Medical analysis method for predicting metastases in a test tissue sample
CN112270660A (zh) * 2020-09-30 2021-01-26 四川大学 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN112785609A (zh) * 2021-02-07 2021-05-11 重庆邮电大学 一种基于深度学习的cbct牙齿分割方法
CN113191285A (zh) * 2021-05-08 2021-07-30 山东大学 基于卷积神经网络和Transformer的河湖遥感图像分割方法及系统
CN113223010A (zh) * 2021-04-22 2021-08-06 北京大学口腔医学院 口腔图像多组织全自动分割的方法和系统
CN113327258A (zh) * 2021-07-15 2021-08-31 重庆邮电大学 一种基于深度学习的肺部ct图像识别方法
CN113538458A (zh) * 2021-06-29 2021-10-22 杭州电子科技大学 基于FTL损失函数和注意力的U-Net图像分割方法
CN113628223A (zh) * 2021-08-05 2021-11-09 杭州隐捷适生物科技有限公司 基于深度学习的牙科cbct三维牙齿分割方法
CN113673420A (zh) * 2021-08-19 2021-11-19 清华大学 一种基于全局特征感知的目标检测方法及系统
CN113763327A (zh) * 2021-08-10 2021-12-07 上海电力大学 一种基于CBAM-Res_Unet的电厂管道高压蒸汽泄露检测方法
CN113808008A (zh) * 2021-09-23 2021-12-17 华南农业大学 基于Transformer构建生成对抗网络实现妆容迁移的方法
CN113838107A (zh) * 2021-09-23 2021-12-24 哈尔滨工程大学 一种基于稠密连接的异源图像自动配准方法
CN113838064A (zh) * 2021-09-23 2021-12-24 哈尔滨工程大学 一种基于分支gan使用多时相遥感数据的云去除方法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080240585A1 (en) * 2007-03-30 2008-10-02 Fujitsu Limited Image processing method, encoder, and decoder
CN104504695A (zh) * 2014-12-16 2015-04-08 上海交通大学 一种磁共振延迟增强序列心肌分割方法
CN105279762A (zh) * 2015-11-20 2016-01-27 北京航空航天大学 一种口腔软硬组织ct序列与三维网格模型配准方法
US20190228529A1 (en) * 2016-08-26 2019-07-25 Hangzhou Hikvision Digital Technology Co., Ltd. Image Segmentation Method, Apparatus, and Fully Convolutional Network System
US20200410672A1 (en) * 2018-01-18 2020-12-31 Koninklijke Philips N.V. Medical analysis method for predicting metastases in a test tissue sample
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN110782474A (zh) * 2019-11-04 2020-02-11 中国人民解放军总医院 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法
CN110930421A (zh) * 2019-11-22 2020-03-27 电子科技大学 一种用于cbct牙齿图像的分割方法
CN111568376A (zh) * 2020-05-11 2020-08-25 四川大学 一种口腔软组织生理运动边界的直接三维扫描方法及系统
CN111968120A (zh) * 2020-07-15 2020-11-20 电子科技大学 一种3d多特征融合的牙齿ct图像分割方法
CN112270660A (zh) * 2020-09-30 2021-01-26 四川大学 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN112785609A (zh) * 2021-02-07 2021-05-11 重庆邮电大学 一种基于深度学习的cbct牙齿分割方法
CN113223010A (zh) * 2021-04-22 2021-08-06 北京大学口腔医学院 口腔图像多组织全自动分割的方法和系统
CN113191285A (zh) * 2021-05-08 2021-07-30 山东大学 基于卷积神经网络和Transformer的河湖遥感图像分割方法及系统
CN113538458A (zh) * 2021-06-29 2021-10-22 杭州电子科技大学 基于FTL损失函数和注意力的U-Net图像分割方法
CN113327258A (zh) * 2021-07-15 2021-08-31 重庆邮电大学 一种基于深度学习的肺部ct图像识别方法
CN113628223A (zh) * 2021-08-05 2021-11-09 杭州隐捷适生物科技有限公司 基于深度学习的牙科cbct三维牙齿分割方法
CN113763327A (zh) * 2021-08-10 2021-12-07 上海电力大学 一种基于CBAM-Res_Unet的电厂管道高压蒸汽泄露检测方法
CN113673420A (zh) * 2021-08-19 2021-11-19 清华大学 一种基于全局特征感知的目标检测方法及系统
CN113808008A (zh) * 2021-09-23 2021-12-17 华南农业大学 基于Transformer构建生成对抗网络实现妆容迁移的方法
CN113838107A (zh) * 2021-09-23 2021-12-24 哈尔滨工程大学 一种基于稠密连接的异源图像自动配准方法
CN113838064A (zh) * 2021-09-23 2021-12-24 哈尔滨工程大学 一种基于分支gan使用多时相遥感数据的云去除方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
OZAN OKTAY等: "Attention U-Net:Learning Where to Look for the Pancreas", 《ARXIV：1804:。03999V3》 *
YUTONG CAI AND YONG WANG: "MA-Unet: An improved version of Unet based on multi-scale and attention mechanism for medical image segmentation", 《ARXIV：2012.10952V1》 *
李淑芬和魏斌: "数字化印模与锥形束CT配准技术的相关研究进展", 《中国口腔种植学杂志》 *
沈怀艳和吴云: "基于MSFA-Net的肝脏CT图像分割方法", 《计算机科学与探索》 *
钟震霄: "基于深度学习的医学图像目标检测方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863193A (zh) * 2022-07-07 2022-08-05 之江实验室 基于混合批归一化的长尾学习图像分类、训练方法及装置
CN114863193B (zh) * 2022-07-07 2022-12-02 之江实验室 基于混合批归一化的长尾学习图像分类、训练方法及装置
WO2024104035A1 (zh) * 2022-11-17 2024-05-23 华中科技大学 基于长短期记忆自注意力模型的三维医学图像分割方法及系统

Also Published As

Publication number Publication date
CN114187293B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
Vila-Blanco et al. Deep neural networks for chronological age estimation from OPG images
US20200350059A1 (en) Method and system of teeth alignment based on simulating of crown and root movement
US11645746B2 (en) Dental image segmentation and registration with machine learning
CN114187293B (zh) 基于注意力机制和集成配准的口腔腭部软硬组织分割方法
US9082169B2 (en) Longitudinal monitoring of pathology
CN110097557B (zh) 基于3D-UNet的医学图像自动分割方法及系统
CN112785609B (zh) 一种基于深度学习的cbct牙齿分割方法
KR102461343B1 (ko) 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템
EP4241731A1 (en) Method for automatically detecting landmark in three-dimensional dental scan data, and computer-readable recording medium with program for executing same in computer recorded thereon
CN114792326A (zh) 一种基于结构光的手术导航点云分割与配准方法
Vandewinckele et al. Segmentation of head-and-neck organs-at-risk in longitudinal CT scans combining deformable registrations and convolutional neural networks
Yang et al. ImplantFormer: vision transformer-based implant position regression using dental CBCT data
Chen et al. Detection of various dental conditions on dental panoramic radiography using Faster R-CNN
CN112201349A (zh) 一种基于人工智能的正畸手术方案生成系统
CN116616893A (zh) 一种骨盆植入物通道的自动定位方法
US20240185509A1 (en) 3d reconstruction of anatomical images
CN115761226A (zh) 一种口腔影像分割识别方法、装置、电子设备和存储介质
CN113487579B (zh) 自动勾画模型的多模态迁移方法
WO2020114332A1 (zh) 基于分割网络的ct肺肿瘤分割方法、装置、设备及介质
Dhar et al. Automatic tracing of mandibular canal pathways using deep learning
Liu et al. Fully automatic AI segmentation of oral surgery-related tissues based on cone beam computed tomography images
WO2020136303A1 (es) Procedimiento de identificación de imágenes óseas
Souadih et al. Fully Automatic Segmentation of Sphenoid Sinus in CT Images with 3D Convolutional Neural Networks
US20230306677A1 (en) Automated registration method of 3d facial scan data and 3d volumetric medical image data using deep learning and computer readable medium having program for performing the method
Amorim et al. Mandible Segmentation from CT and CBCT Images Based on a Patch-Based Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220603