CN112419320A - 基于sam与多层uda的跨模态心脏分割方法 - Google Patents

基于sam与多层uda的跨模态心脏分割方法 Download PDF

Info

Publication number
CN112419320A
CN112419320A CN202110086166.XA CN202110086166A CN112419320A CN 112419320 A CN112419320 A CN 112419320A CN 202110086166 A CN202110086166 A CN 202110086166A CN 112419320 A CN112419320 A CN 112419320A
Authority
CN
China
Prior art keywords
layer
domain
segmentation
features
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110086166.XA
Other languages
English (en)
Other versions
CN112419320B (zh
Inventor
刘金平
刘慧�
吴林哲
陈文祥
高全全
吴娟娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Normal University
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN202110086166.XA priority Critical patent/CN112419320B/zh
Publication of CN112419320A publication Critical patent/CN112419320A/zh
Application granted granted Critical
Publication of CN112419320B publication Critical patent/CN112419320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供了一种基于SAM与多层UDA的跨模态心脏分割方法，包括步骤：S1：建立分割网络模型，并利用建立的分割网络模型对图像进行特征提取；S2：利用空间注意力机制对提取特征的相关区域进行增强，对非相关区域进行抑制；S3：在整个分割网络提取特征的低层和高层分别添加多个特征域鉴别器，进行特征细粒度迁移。本发明在对抗域自适应网络的基础上引入空间注意力机制和多层域鉴别器，有效地将从源域和目标域提取的特征进行细粒度对齐。

Description

基于SAM与多层UDA的跨模态心脏分割方法
技术领域
本发明涉及医学图像分割技术领域，具体涉及一种基于空间注意力机制与多层无监督领域自适应的跨模态心脏分割方法。
背景技术
心血管疾病具有高发病率和高死亡率的特点，居各种死因首位，对人们的生活造成严重威胁。尽管在心血管疾病的研究上付出了很大的努力，但心血管患者的存活率仍然很低。因此，及时诊断心血管患者对于更好的临床治疗规划和预后至关重要，有助于提高患者的生存率，提高患者的生活质量。心脏磁共振（CMR）和心脏CT作为心血管疾病无创分析工具，已被应用于全身各个系统的影像诊断。通过对CMR和CT影像中的心脏进行定性或定量分析，医生可以获得心脏的大小、形状、组织学特征和心脏内部的解剖结构等关键信息，从而评价治疗策略的成功与否。由于MR和CT图像量大，手工分割心脏耗时长，容易出现人为错误，限制了临床对心脏的精确定量测量和功能评估。因此，设计一种准确、高效、可靠的心脏分割方法引起了世界范围内的广泛关注。
近些年来，随着深度学习的兴起，以深度卷积神经网络为代表的监督学习已经在语义分割、图像分类、目标检测等计算机视觉和医学图像分析领域发挥出显著作用。虽然通过学习如何使用CNNs来量化医学图像已经取得了革命性的进展，但深度卷积神经网络主要应用于训练样本和测试样本来自概率分布一致且有大量标签数据的学习问题。然而，在实际的语义分割任务中，因为训练样本和测试样本概率分布出现不一致的情况，使得已建立的网络模型可能表现不佳，因此，CNNs的能力对于这样的分割任务是有限的。在特定于任务的数据集上进一步微调预先训练的网络的典型解决方案可能是不切实际的，因为收集足够多的标记数据来适当地微调相当数量的网络参数通常是非常昂贵的。
面对上述挑战，人们开始了领域自适应的研究。早期，人们通过最小化源域和目标域之间的距离度量，以调整不同域之间的分布，从而提高整体的分割性能。后来，随着对抗思想的兴起，不少学者在领域自适应研究中加入对抗思想，使得不同域数据空间分布相同。以上所述的方法主要是对源域和目标域的全局图像进行对齐。然而，图像的所有区域并不都需要转移的，例如，背景区域可能对跨域对齐的贡献不大或者不能迁移，如果强行对齐图片的所有区域可能会导致无关知识负迁移，从而造成分割效果欠佳。
发明内容
本发明要解决的技术问题是提供基于SAM（空间注意力机制）与多层UDA（无监督领域自适应）的跨模态心脏分割方法，在对抗域自适应网络的基础上引入空间注意力机制和多层域鉴别器，有效地将从源域和目标域提取的特征进行细粒度对齐。
本发明的内容包括：
一种基于SAM与多层UDA的跨模态心脏分割方法，包括以下步骤：
S1：建立分割网络模型，并利用建立的分割网络模型对图像进行特征提取；
S2：利用空间注意力机制对提取特征的相关区域进行增强，对非相关区域进行抑制；
S3：在整个分割网络提取特征的低层和高层分别添加多个特征域鉴别器，进行特征细粒度迁移。
进一步的，所述步骤S1具体包括以下步骤：
S1-1：分割网络主干采用SFCNN结构，建立对称衔接的分割网络模型，其由一个粗化层、一个适配器块层和一个细化层组成；
S1-2：图像首先被输入到卷积核大小为3×3的Conv层，然后将四个残差组引入到粗化层中，并进行核大小为2×2的下采样；每个残差组由三个残差块组成，在残差块的第一层和第三层采用1×1的卷积核，中间层采用3×3的卷积核；接着将四个适配器块加入到所述分割网络架构中，在细化层中引入双线性插值法进行上采样，并与粗化层进行衔接来细化提取的特征，最后，使用SoftMax层对像素进行概率预测；
S1-3：通过将骰子系数损失和交叉熵损失线性组合并拓展到多类上，最小化损失函数，对源域的分割网络进行优化；利用在源域上预先训练的分割模型，通过对抗性学习，使得源分割模型适应于目标域。
进一步的，所述步骤S1-3中的损失函数为：
Figure 344776DEST_PATH_IMAGE001
其中，
Figure 309190DEST_PATH_IMAGE002
表示类别，
Figure 461954DEST_PATH_IMAGE003
和
Figure 236618DEST_PATH_IMAGE004
分别表示第i个体素的地面真实值和预测值。
每个源域图像输入为
Figure 218349DEST_PATH_IMAGE005
，
Figure 273155DEST_PATH_IMAGE006
为源域样本集，生成的掩码预测为
Figure 596820DEST_PATH_IMAGE007
，地面真实值为
Figure 360246DEST_PATH_IMAGE008
。
进一步的，所述步骤S2具体包括以下步骤：
将特征
Figure 870903DEST_PATH_IMAGE009
经过卷积、sigmoid函数非线性激活和空间归一化后生成注意加权图，再与原特征
Figure 357379DEST_PATH_IMAGE009
相乘得到注意力特征，对特征
Figure 163530DEST_PATH_IMAGE009
的相关区域进行增强，对非相关区域进行抑制。
进一步的，表示同一空间位置的特征
Figure 102667DEST_PATH_IMAGE010
的非线性激活公式为：
Figure 927666DEST_PATH_IMAGE011
其中，
Figure 783496DEST_PATH_IMAGE012
，
Figure 868870DEST_PATH_IMAGE013
和
Figure 560882DEST_PATH_IMAGE014
表示注意力层的参数；
空间归一化的公式为：
Figure 750424DEST_PATH_IMAGE015
注意力特征
Figure 8230DEST_PATH_IMAGE016
的计算公式为：
Figure 860911DEST_PATH_IMAGE017
。
进一步的，所述步骤S3具体包括以下步骤：
将整个分割网络分成9个层次，前4层为低层，用于提取纹理或边缘特征，后4层为高层，用于提取更抽象的特征；
在前8层每层应用注意力机制生成的注意力特征处添加一个特征域鉴别器，分别为
Figure 40219DEST_PATH_IMAGE018
，用于区分源域特征还是目标域特征；最后一层是为掩码层，添加一个掩码域鉴别器
Figure 767873DEST_PATH_IMAGE019
；
特征域鉴别器的损失为：
Figure 817868DEST_PATH_IMAGE020
掩码域鉴别器的损失为：
Figure 104100DEST_PATH_IMAGE021
其中，
Figure 505125DEST_PATH_IMAGE022
为源域的特征空间，并用
Figure 708574DEST_PATH_IMAGE023
等价，
Figure 629387DEST_PATH_IMAGE024
为相应目标域的特征空间，并用
Figure 338717DEST_PATH_IMAGE025
等价。
进一步的，为了训练稳定，最小化源域和目标域分布之间的距离；源域和目标域分布之间的Wasserstein距离
Figure 476306DEST_PATH_IMAGE026
表示为：
Figure 30916DEST_PATH_IMAGE027
其中，
Figure 68886DEST_PATH_IMAGE028
表示是
Figure 949117DEST_PATH_IMAGE029
和
Figure 574002DEST_PATH_IMAGE030
分布组合起来的所有可能的联合分布的集合。
本发明的有益效果是：
（1）本发明提出了一种新颖的跨模态心脏分割模型，在传统的分割网络中加入空间注意力机制来突出重要区域，抑制无关区域，从而减少域自适应学习中（领域对齐过程中）的负迁移，提高分割精度。
（2）此外，本发明研究了不同深度层的自适应，并在对抗领域自适应学习中加入了多层次领域鉴别器，来连接多层特征和分割掩码，从而实现特征域的细粒度对齐（进行特征细粒度迁移），提高心脏检测和分割精度，实现无监督语义分割。
附图说明
图1是本发明所提出无监督领域自适应与注意力机制的框架。
图2是本发明的空间注意力机制架构。
图3是本发明实验采用的心脏部分子结构。
图4是样本1实验结果图。
图5是样本2实验结果图。
图6是分割结果比较图。
具体实施方式
如图1所示为本发明的框架图。本发明提出了一种基于SAM与多层UDA的跨模态心脏分割方法，通过对抗性领域自适应，使得源领域和目标领域的分布趋于相似，在目标领域无标签的情况下，以一种无监督的方式进行了对抗性损失的训练。
本发明提出的跨模态心脏分割方法，包括以下步骤：
第一步：建立分割网络模型，并利用建立的分割网络模型对图像进行特征提取。
本发明的分割网络主干采用之前工作提出的SFCNN结构，由于采用切片进行实验，因此将以前的3D网络相应地修改成2D网络，以便适用于端到端的像素级分割任务。具体来说，本发明建立了一种对称衔接的分割网络模型，它由一个粗化层（CBL）、一个适配器块层（ABL）和一个细化层（RBL）组成，使网络结构更加深化，可以获得更加抽象的特征。
图像首先被输入到卷积核大小为3×3的Conv层，然后将四个残差组引入到粗化层中，并进行核大小为2×2的下采样；每个残差组由三个残差块组成，在残差块的第一层和第三层采用1×1的卷积核，中间层采用3×3的卷积核；接着将四个适配器块加入到所述分割网络架构中，在细化层中引入双线性插值法进行上采样，并与粗化层进行衔接来细化提取的特征，最后，使用SoftMax层对像素进行概率预测。
如图1所示，分割器主干主要由卷积、池化、残差组、上采样和适配器块组成。图上中间上侧区域表示空间注意力机制，用于减少负迁移。Ẍ表示使用空间注意力机制生成的注意力特征。图上中间下侧区域分别表示特征领域鉴别器Discriminatorf和掩码特征鉴别器Discriminatormask。利用在源域上预先训练的分割模型，通过对抗性学习，进一步使得源分割模型适应于目标域。此外，鉴别器采用特征和语义掩码来学习域不变像素间的关系。
设
Figure 994619DEST_PATH_IMAGE031
为源域样本集，每个源域图像输入为
Figure 890025DEST_PATH_IMAGE032
，网络生成的掩码预测为
Figure 941158DEST_PATH_IMAGE007
，地面真实值为
Figure 53339DEST_PATH_IMAGE008
。在处理不平衡数据时，小目标会产生一些像素预测误差，导致损失函数发生较大变化。随后它会导致一个急剧的梯度变化。为了解决数据不平衡的问题，本发明通过将骰子系数损失和交叉熵损失线性组合并拓展到多类上，最小化损失
Figure 215330DEST_PATH_IMAGE033
，对源域的分割网络进行优化。
Figure 227892DEST_PATH_IMAGE001
其中，
Figure 918768DEST_PATH_IMAGE034
表示类别，
Figure 518245DEST_PATH_IMAGE003
和
Figure 906763DEST_PATH_IMAGE004
分别表示第i个体素的地面真实值和预测值。
第二步：利用空间注意力机制对提取特征的相关区域进行增强，对非相关区域进行抑制。
在实际的生物医学图像分割任务中，病灶区域常常被称为感兴趣区域或者目标区域，而复杂的背景区域可能被称为无关区域，并且复杂的背景对分割结果可能产生显著的影响。尤其是在迁移学习中，无关背景区域可能不适合迁移或者不能迁移，如果强行迁移就会造成整个网络产生负迁移，从而导致性能下降。因此，本发明在传统的网络结构中引入空间注意力机制，用来赋予特征图不同位置的重要性，增强目标区域作用，抑制无关区域，减少了每个图像的负迁移，增强了每个图像的正迁移。
空间注意力机制的结构如图2所示，整个结构由两条分支组成。定义网络经过卷积层或池化等操作提取的特征为
Figure 26029DEST_PATH_IMAGE035
,并将特征
Figure 668232DEST_PATH_IMAGE036
一方面输入其中一条分支中生成注意力加权图，另一方面将原始特征与加权的特征连接起来以进一步处理。特征
Figure 974579DEST_PATH_IMAGE037
作为输入，经过
Figure 226176DEST_PATH_IMAGE038
卷积层进行降维，然后进行非线性激活（sigmoid函数），并进行空间归一化，经过注意力检测器输出注意权值图
Figure 465527DEST_PATH_IMAGE039
（为
Figure 278631DEST_PATH_IMAGE040
大小的矩阵，其中
Figure 134592DEST_PATH_IMAGE041
分别为特征图的高和宽），对特征
Figure 192809DEST_PATH_IMAGE042
增强相关区域，抑制非相关区域。将
Figure 942459DEST_PATH_IMAGE043
应用在原始特征
Figure 411618DEST_PATH_IMAGE036
上生成注意力特征
Figure 502677DEST_PATH_IMAGE044
。
具体的：为了书写方便，本发明采用大写字母
Figure 82694DEST_PATH_IMAGE009
表示网络的三维特征，并且采用小写字母
Figure 280326DEST_PATH_IMAGE012
表示同一空间位置的特征。将三维特征
Figure 608801DEST_PATH_IMAGE009
经过卷积、sigmoid函数非线性激活和空间归一化后生成注意加权图，再与原特征
Figure 642617DEST_PATH_IMAGE009
相乘得到注意力特征，对特征
Figure 541171DEST_PATH_IMAGE009
的相关区域进行增强，对非相关区域进行抑制。此外，表示同一空间位置的特征
Figure 344042DEST_PATH_IMAGE010
的非线性激活公式为：
Figure 902806DEST_PATH_IMAGE011
其中，
Figure 423917DEST_PATH_IMAGE013
和
Figure 126163DEST_PATH_IMAGE014
表示注意力层的参数。
其空间归一化的公式如下所示：
Figure 580278DEST_PATH_IMAGE015
则注意力特征
Figure 578452DEST_PATH_IMAGE045
的计算公式为：
Figure 321280DEST_PATH_IMAGE017
。
第三步：在整个分割网络提取特征的低层和高层分别添加多个特征域鉴别器，进行特征细粒度迁移，利用反向传播监督，使得提取的特征更具有鲁棒性。
形式上，我们定义源域的特征空间为
Figure 233742DEST_PATH_IMAGE022
，相应目标域的特征空间为
Figure 516866DEST_PATH_IMAGE024
。为了书写方便，我们在后文和公式中将
Figure 466367DEST_PATH_IMAGE022
等价于
Figure 883442DEST_PATH_IMAGE023
，并且将
Figure 163376DEST_PATH_IMAGE024
等价于
Figure 529766DEST_PATH_IMAGE025
。此外，我们将这两个域分布之间的Wasserstein距离表示为
Figure 430595DEST_PATH_IMAGE026
，其公式如下所示：
Figure 882436DEST_PATH_IMAGE027
其中，
Figure 963131DEST_PATH_IMAGE028
表示是
Figure 636558DEST_PATH_IMAGE029
和
Figure 131124DEST_PATH_IMAGE030
分布组合起来的所有可能的联合分布的集合。
此外，本发明认为监控预测的分割掩码形状，进行像素级预测分割是非常重要的。因此，本发明定义源域和目标域的分割预测分别为
Figure 289836DEST_PATH_IMAGE046
和
Figure 206845DEST_PATH_IMAGE047
，并分别简称为
Figure 547827DEST_PATH_IMAGE048
和
Figure 226677DEST_PATH_IMAGE049
,其两个域分布的Wasserstein距离表示为
Figure 840061DEST_PATH_IMAGE050
，其公式如下所示：
Figure 514756DEST_PATH_IMAGE051
受对抗领域自适应的启发，具体地，本发明将整个分割网络分成9个层次，前4层为低层，用于提取纹理或边缘特征，后4层为高层，用于提取更抽象的特征。在前8层每层应用注意力机制生成的注意力特征处添加一个特征域鉴别器，分别为
Figure 726557DEST_PATH_IMAGE018
，用于区分源域特征还是目标域特征；最后一层是为掩码层，为了使得语义分割更清晰，实现像素级分割，本发明添加一个掩码域鉴别器
Figure 94084DEST_PATH_IMAGE019
，用于区分源域掩码还是目标域掩码。
每个域鉴别器的结构相同，参数不同。特征域鉴别器的损失为：
Figure 257081DEST_PATH_IMAGE020
掩码域鉴别器的损失为：
Figure 469888DEST_PATH_IMAGE021
最后，将本发明所提方法在公共数据集上进行基准测试，并将其应用于跨模态心脏的分割和量化。测试结果表明，该方法在无监督分割过程中具有良好的泛化效果。
数据使用的是Multi-Modality Whole Heart Segmentation Challenge数据集，包含了120个样本，其中60个3D MRI和60个3D CT样本，这些图像涵盖了整个心脏的子结构，并且所有这些临床数据均已获得机构伦理学的认可并被匿名使用。所有数据集面内分辨率约为0.78×0.78 mm，平均切片厚度为1.60 mm。MRI数据是使用3D平衡稳态自由进动序列获取的，每个方向的获取分辨率约为2 mm，然后重建为1 mm。每个样本对四个子结构进行分割，即左心室血腔（LVC）、左心室心肌（Myo）、升主动脉（AA）和左心房腔（LAC），如图3所示。
数据预处理：在图像分割任务中，数据扩充是非常重要的，因为它可以有效地提高机器学习模型的鲁棒性。数据集主要包括训练（14个3D CT和16个3D MRI）和验证（2个3D CT和4个3D MRI）和测试数据集（4个3D CT和4个3D MRI），以MRI图像为源域，CT图像为目标域。并采用仿射等方式对数据进行扩充处理，以获得更可靠的分割模型。具体地说，总共有14个3D CT训练样本，每个样本600个切片，总共14×600=8400个切片，16个MRI训练样本，每个样本600个切片，总共16×600=9600个切片。2个CT验证样本，每个样本600个切片，总共2×600=1200个切片，4个MRI验证样本，每个样本600个切片，总共4×600=2400个切片，其预处理步骤如下：
（1）考虑到内存容量，选择以分割的四个心脏子结构区域为中心进行裁剪；
（2）对于每个3D裁剪图像，其强度直方图的前2％被切掉以减轻伪影；
（3）将每个3D图像进行标准化为零均值，单位标准偏差；
（4）对二维冠状切片进行数据重采样，并通过旋转、缩放和仿射变换方式增强数据集。
参数设置与训练：本发明建立了细粒度领域自适应与注意力机制的分割模型。模型参数设置如下：为了保证目标函数在适当的时间收敛于局部最小值，将学习率设置为
Figure 595582DEST_PATH_IMAGE052
，参数batch size设置为8；采用Adam优化器，其计算高效，对内存需求少，参数的更新不受梯度的伸缩变换影响，且通常无需调整或仅需很少的微调。结果表明，上述参数设置可以优化所提分割模型的性能，有效提高整个心脏分割模型的分割效率和分割精度。
本发明的方法在Tensorflow框架下的Python中实现，计算在NVIDIA GTX 1070GPU的硬件下进行，每个样本裁剪成子卷（大小为256×256），以去除输入到分割网络的边缘的黑色区域。特征提取中采用了以2×2为池核的最大池化操作进行下采样，以扩大接受率。整个训练集的训练时间约为27小时。
采用了两个常用的度量指标来定量评价分割性能，这两个指标通常在领域自适应工作中使用。一种测量方法是骰子系数DICE（[%]），它计算预测掩模和地面真值之间的体积重叠，DICE越高，分割效果越好。另一个是平均表面距离ASD（[voxel]），用于评估模型在边界处的性能，ASD越低，分割效果越好。
将本发明所提出的方法应用于Multi-Modality Whole Heart SegmentationChallenge数据集上对不同领域的样本进行领域自适应分割，图4和图5分别为2个样本的分割结果与对应的ground truth （图4和图5仅为部分切片的结果）。从图4和图5中可以看出，本发明提出的空间注意力机制与多层无监督领域自适应的跨模态心脏分割方法具有更高的定位精度和更可靠的分割能力。
在Multi-Modality Whole Heart Segmentation Challenge数据集上，以MRI图像作为源域，CT图像作为目标域，进一步评估本发明所提方法的有效性。设计了几个实验:（1）直接在目标域数据（CT）上测试源领域分割器（简称Seg-CT-noDA）；（2）使用无监督领域自适应方法在目标域数据（CT）上测试源领域分割器（简称Seg-CT-UDA-noAttention）；（3）本发明提出的注意力机制无监督多层领域自适应方法（简称Seg-CT-UDA-Attention）。表1列出了没有使用领域自适应CT心脏分割结果、使用领域自适应但未使用注意力机制CT心脏分割结果以及本发明提出的方法结果以及表面真实值的评价结果。
表1 本发明提出的多层领域自适应与空间注意力机制模型性能比较
Figure 868432DEST_PATH_IMAGE053
由表1可以看出，本发明所提出的方法可以获得更高的骰子系数DICE（[%]）和更低的平均表面距离ASD（[voxel]）。
图6是分割结果比较。图片从左到右依次是：（a）待分割目标域CT图像，（b）直接在目标域数据（CT）上测试源域分割器（简称Seg-CT-noDA），（c）使用无监督领域自适应方法在目标域数据（CT）上测试源域分割器（简称Seg-CT-UDA-noAttention），（d）本发明提出的注意力机制无监督多层领域自适应方法（简称Seg-CT-UDA-Attention），（e）ground truth。
从图6可以看出，本发明的空间注意力机制与多层无监督领域自适应的跨模态心脏分割模型的性能明显优于缺少注意力机制的领域自适应模型，更优于没有使用领域自适应的方法。该方法克服了目标域数据分布不一致、无标签的困难，能有效地从复杂CT图像中提取出子结构。

Claims (6)

1.一种基于SAM与多层UDA的跨模态心脏分割方法，其特征是，所述方法包括以下步骤：
S1：建立分割网络模型，并利用建立的分割网络模型对图像进行特征提取；
所述步骤S1具体包括以下步骤：
S1-1：分割网络主干采用SFCNN结构，建立对称衔接的分割网络模型，其由一个粗化层、一个适配器块层和一个细化层组成；
S1-2：图像首先被输入到卷积核大小为3×3的Conv层，然后将四个残差组引入到粗化层中，并进行核大小为2×2的下采样；每个残差组由三个残差块组成，在残差块的第一层和第三层采用1×1的卷积核，中间层采用3×3的卷积核；接着将四个适配器块加入到所述分割网络模型中，在细化层中引入双线性插值法进行上采样，并与粗化层进行衔接来细化提取的特征，最后，使用SoftMax层对像素进行概率预测；
S1-3：通过将骰子系数损失和交叉熵损失线性组合并拓展到多类上，最小化损失函数，对源域的分割网络进行优化；利用在源域上预先训练的分割模型，通过对抗性学习，使得源分割模型适应于目标域；
S2：利用空间注意力机制对提取特征的相关区域进行增强，对非相关区域进行抑制；
S3：在整个分割网络提取特征的低层和高层分别添加多个特征域鉴别器，进行特征细粒度迁移。
2.如权利要求1所述的基于SAM与多层UDA的跨模态心脏分割方法，其特征是，所述步骤S1-3中的损失函数为：
Figure 388521DEST_PATH_IMAGE001
其中，
Figure 546576DEST_PATH_IMAGE002
表示类别，
Figure 519081DEST_PATH_IMAGE003
和
Figure 116415DEST_PATH_IMAGE004
分别表示第i个体素的地面真实值和预测值，每个源域图像输入为
Figure 825876DEST_PATH_IMAGE005
，
Figure 746428DEST_PATH_IMAGE006
为源域样本集，生成的掩码预测为
Figure 702882DEST_PATH_IMAGE007
，地面真实值为
Figure 332053DEST_PATH_IMAGE008
。
3.如权利要求1所述的基于SAM与多层UDA的跨模态心脏分割方法，其特征是，所述步骤S2具体包括以下步骤：
将特征
Figure 32156DEST_PATH_IMAGE009
经过卷积、sigmoid函数非线性激活和空间归一化后生成注意加权图，再与原特征
Figure 72793DEST_PATH_IMAGE009
相乘得到注意力特征，对特征
Figure 747620DEST_PATH_IMAGE009
的相关区域进行增强，对非相关区域进行抑制。
4.如权利要求3所述的基于SAM与多层UDA的跨模态心脏分割方法，其特征是，表示同一空间位置的特征
Figure 319546DEST_PATH_IMAGE010
的非线性激活公式为：
Figure 744711DEST_PATH_IMAGE011
;
其中，
Figure 200707DEST_PATH_IMAGE012
，
Figure 561281DEST_PATH_IMAGE013
和
Figure 604193DEST_PATH_IMAGE014
表示注意力层的参数；
空间归一化的公式为：
Figure 334513DEST_PATH_IMAGE015
；
注意力特征
Figure 162792DEST_PATH_IMAGE016
的计算公式为：
Figure 943535DEST_PATH_IMAGE017
。
5.如权利要求2所述的基于SAM与多层UDA的跨模态心脏分割方法，其特征是，所述步骤S3具体包括以下步骤：
将整个分割网络分成9个层次，前4层为低层，用于提取纹理或边缘特征，后4层为高层，用于提取更抽象的特征；
在前8层每层应用注意力机制生成的注意力特征处添加一个特征域鉴别器，分别为
Figure 224475DEST_PATH_IMAGE018
，用于区分源域特征还是目标域特征；最后一层是为掩码层，添加一个掩码域鉴别器
Figure 247836DEST_PATH_IMAGE019
；
特征域鉴别器的损失为：
Figure 242206DEST_PATH_IMAGE020
掩码域鉴别器的损失为：
Figure 305102DEST_PATH_IMAGE021
其中，
Figure 73338DEST_PATH_IMAGE022
为源域的特征空间，并用
Figure 768630DEST_PATH_IMAGE023
等价，
Figure 991408DEST_PATH_IMAGE024
为相应目标域的特征空间，并用
Figure 599107DEST_PATH_IMAGE025
等价。
6.如权利要求5所述的基于SAM与多层UDA的跨模态心脏分割方法，其特征是，为了训练稳定，最小化源域和目标域分布之间的距离；
源域和目标域分布之间的Wasserstein距离
Figure 838327DEST_PATH_IMAGE026
表示为：
Figure 714141DEST_PATH_IMAGE027
其中，
Figure 168256DEST_PATH_IMAGE028
表示是
Figure 664966DEST_PATH_IMAGE029
和
Figure 142215DEST_PATH_IMAGE030
分布组合起来的所有可能的联合分布的集合。
CN202110086166.XA 2021-01-22 2021-01-22 基于sam与多层uda的跨模态心脏分割方法 Active CN112419320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110086166.XA CN112419320B (zh) 2021-01-22 2021-01-22 基于sam与多层uda的跨模态心脏分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110086166.XA CN112419320B (zh) 2021-01-22 2021-01-22 基于sam与多层uda的跨模态心脏分割方法

Publications (2)

Publication Number Publication Date
CN112419320A true CN112419320A (zh) 2021-02-26
CN112419320B CN112419320B (zh) 2021-04-27

Family

ID=74783164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110086166.XA Active CN112419320B (zh) 2021-01-22 2021-01-22 基于sam与多层uda的跨模态心脏分割方法

Country Status (1)

Country Link
CN (1) CN112419320B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221903A (zh) * 2021-05-11 2021-08-06 中国科学院自动化研究所 跨域自适应语义分割方法及系统
CN113298855A (zh) * 2021-05-27 2021-08-24 广州柏视医疗科技有限公司 基于自动勾画的图像配准方法
CN115327907A (zh) * 2022-08-17 2022-11-11 浙江中烟工业有限责任公司 一种基于动态卷积多层域自适应的风送速度控制器故障诊断装置及方法
CN117635942A (zh) * 2023-12-05 2024-03-01 齐鲁工业大学(山东省科学院) 一种基于边缘特征增强的心脏mri图像分割方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330888A (zh) * 2017-07-11 2017-11-07 中国人民解放军第三军医大学 基于cta图像的动态心脏各腔室分割方法
WO2020048928A1 (en) * 2018-09-05 2020-03-12 Norwegian University Of Science And Technology (Ntnu) Functional measurements in echocardiography
CN111340812A (zh) * 2020-02-20 2020-06-26 中南大学 基于深度神经网络的交互式肝脏图像分割方法
US20200320751A1 (en) * 2019-04-06 2020-10-08 Kardiolytics Inc. Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images
CN111860517A (zh) * 2020-06-28 2020-10-30 广东石油化工学院 一种基于分散注意力网络的小样本下语义分割方法
CN112017198A (zh) * 2020-10-16 2020-12-01 湖南师范大学 基于自注意力机制多尺度特征的右心室分割方法及装置
CN112075956A (zh) * 2020-09-02 2020-12-15 深圳大学 一种基于深度学习的射血分数估计方法、终端及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330888A (zh) * 2017-07-11 2017-11-07 中国人民解放军第三军医大学 基于cta图像的动态心脏各腔室分割方法
WO2020048928A1 (en) * 2018-09-05 2020-03-12 Norwegian University Of Science And Technology (Ntnu) Functional measurements in echocardiography
US20200320751A1 (en) * 2019-04-06 2020-10-08 Kardiolytics Inc. Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images
CN111340812A (zh) * 2020-02-20 2020-06-26 中南大学 基于深度神经网络的交互式肝脏图像分割方法
CN111860517A (zh) * 2020-06-28 2020-10-30 广东石油化工学院 一种基于分散注意力网络的小样本下语义分割方法
CN112075956A (zh) * 2020-09-02 2020-12-15 深圳大学 一种基于深度学习的射血分数估计方法、终端及存储介质
CN112017198A (zh) * 2020-10-16 2020-12-01 湖南师范大学 基于自注意力机制多尺度特征的右心室分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐标: "基于深度学习的心脏医学图像分割方法研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221903A (zh) * 2021-05-11 2021-08-06 中国科学院自动化研究所 跨域自适应语义分割方法及系统
CN113221903B (zh) * 2021-05-11 2021-10-15 中国科学院自动化研究所 跨域自适应语义分割方法及系统
CN113298855A (zh) * 2021-05-27 2021-08-24 广州柏视医疗科技有限公司 基于自动勾画的图像配准方法
CN115327907A (zh) * 2022-08-17 2022-11-11 浙江中烟工业有限责任公司 一种基于动态卷积多层域自适应的风送速度控制器故障诊断装置及方法
CN117635942A (zh) * 2023-12-05 2024-03-01 齐鲁工业大学(山东省科学院) 一种基于边缘特征增强的心脏mri图像分割方法
CN117635942B (zh) * 2023-12-05 2024-05-07 齐鲁工业大学(山东省科学院) 一种基于边缘特征增强的心脏mri图像分割方法

Also Published As

Publication number Publication date
CN112419320B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN112419320B (zh) 基于sam与多层uda的跨模态心脏分割方法
Zhang et al. ME‐Net: multi‐encoder net framework for brain tumor segmentation
CN110934606B (zh) 脑卒中早期平扫ct图像评估系统及评估方法、可读存储介质
Carass et al. Longitudinal multiple sclerosis lesion segmentation: resource and challenge
Yu et al. Liver vessels segmentation based on 3d residual U-NET
Lombaert et al. Human atlas of the cardiac fiber architecture: study on a healthy population
CN105469100B (zh) 基于深度学习的皮肤活检图像病理特性识别方法
Huang et al. VP-Nets: Efficient automatic localization of key brain structures in 3D fetal neurosonography
Mehmood et al. Improved colorization and classification of intracranial tumor expanse in MRI images via hybrid scheme of Pix2Pix-cGANs and NASNet-large
Shahsavari et al. Proposing a novel Cascade Ensemble Super Resolution Generative Adversarial Network (CESR-GAN) method for the reconstruction of super-resolution skin lesion images
Hesse et al. Intensity augmentation to improve generalizability of breast segmentation across different MRI scan protocols
Wang et al. Anomaly segmentation in retinal images with poisson-blending data augmentation
He et al. Automatic left ventricle segmentation from cardiac magnetic resonance images using a capsule network
Ding et al. Efficient Unet with depth-aware gated fusion for automatic skin lesion segmentation
CN114119626A (zh) 一种基于统计学模型和多尺度滤波的脑血管图像分割方法
Talavera-Martínez et al. An encoder-decoder CNN for hair removal in dermoscopic images
CN114511564B (zh) 基于dce-mri对乳腺癌残存肿瘤负荷的影像分析方法
CN109166157B (zh) 一种三维mri脑部医学影像彩色化方法
Du et al. X-ray image super-resolution reconstruction based on a multiple distillation feedback network
Thaler et al. Efficient multi-organ segmentation using spatialconfiguration-net with low GPU memory requirements
Shao et al. Semantic segmentation method of 3D liver image based on contextual attention model
Luo et al. Wavelet-based image registration and segmentation framework for the quantitative evaluation of hydrocephalus
Çetingül et al. Estimation of local orientations in fibrous structures with applications to the Purkinje system
CN113205496A (zh) 一种基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法
Guttulsrud Generating Synthetic Medical Images with 3D GANs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant