CN112419320B - 基于sam与多层uda的跨模态心脏分割方法 - Google Patents

基于sam与多层uda的跨模态心脏分割方法 Download PDF

Info

Publication number
CN112419320B
CN112419320B CN202110086166.XA CN202110086166A CN112419320B CN 112419320 B CN112419320 B CN 112419320B CN 202110086166 A CN202110086166 A CN 202110086166A CN 112419320 B CN112419320 B CN 112419320B
Authority
CN
China
Prior art keywords
layer
domain
segmentation
feature
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110086166.XA
Other languages
English (en)
Other versions
CN112419320A (zh
Inventor
刘金平
刘慧�
吴林哲
陈文祥
高全全
吴娟娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Normal University
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN202110086166.XA priority Critical patent/CN112419320B/zh
Publication of CN112419320A publication Critical patent/CN112419320A/zh
Application granted granted Critical
Publication of CN112419320B publication Critical patent/CN112419320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供了一种基于SAM与多层UDA的跨模态心脏分割方法，包括步骤：S1：建立分割网络模型，并利用建立的分割网络模型对图像进行特征提取；S2：利用空间注意力机制对提取特征的相关区域进行增强，对非相关区域进行抑制；S3：在整个分割网络提取特征的低层和高层分别添加多个特征域鉴别器，进行特征细粒度迁移。本发明在对抗域自适应网络的基础上引入空间注意力机制和多层域鉴别器，有效地将从源域和目标域提取的特征进行细粒度对齐。

Description

基于SAM与多层UDA的跨模态心脏分割方法
技术领域
本发明涉及医学图像分割技术领域，具体涉及一种基于空间注意力机制与多层无监督领域自适应的跨模态心脏分割方法。
背景技术
心血管疾病具有高发病率和高死亡率的特点，居各种死因首位，对人们的生活造成严重威胁。尽管在心血管疾病的研究上付出了很大的努力，但心血管患者的存活率仍然很低。因此，及时诊断心血管患者对于更好的临床治疗规划和预后至关重要，有助于提高患者的生存率，提高患者的生活质量。心脏磁共振（CMR）和心脏CT作为心血管疾病无创分析工具，已被应用于全身各个系统的影像诊断。通过对CMR和CT影像中的心脏进行定性或定量分析，医生可以获得心脏的大小、形状、组织学特征和心脏内部的解剖结构等关键信息，从而评价治疗策略的成功与否。由于MR和CT图像量大，手工分割心脏耗时长，容易出现人为错误，限制了临床对心脏的精确定量测量和功能评估。因此，设计一种准确、高效、可靠的心脏分割方法引起了世界范围内的广泛关注。
近些年来，随着深度学习的兴起，以深度卷积神经网络为代表的监督学习已经在语义分割、图像分类、目标检测等计算机视觉和医学图像分析领域发挥出显著作用。虽然通过学习如何使用CNNs来量化医学图像已经取得了革命性的进展，但深度卷积神经网络主要应用于训练样本和测试样本来自概率分布一致且有大量标签数据的学习问题。然而，在实际的语义分割任务中，因为训练样本和测试样本概率分布出现不一致的情况，使得已建立的网络模型可能表现不佳，因此，CNNs的能力对于这样的分割任务是有限的。在特定于任务的数据集上进一步微调预先训练的网络的典型解决方案可能是不切实际的，因为收集足够多的标记数据来适当地微调相当数量的网络参数通常是非常昂贵的。
面对上述挑战，人们开始了领域自适应的研究。早期，人们通过最小化源域和目标域之间的距离度量，以调整不同域之间的分布，从而提高整体的分割性能。后来，随着对抗思想的兴起，不少学者在领域自适应研究中加入对抗思想，使得不同域数据空间分布相同。以上所述的方法主要是对源域和目标域的全局图像进行对齐。然而，图像的所有区域并不都需要转移的，例如，背景区域可能对跨域对齐的贡献不大或者不能迁移，如果强行对齐图片的所有区域可能会导致无关知识负迁移，从而造成分割效果欠佳。
发明内容
本发明要解决的技术问题是提供基于SAM（空间注意力机制）与多层UDA（无监督领域自适应）的跨模态心脏分割方法，在对抗域自适应网络的基础上引入空间注意力机制和多层域鉴别器，有效地将从源域和目标域提取的特征进行细粒度对齐。
本发明的内容包括：
一种基于SAM与多层UDA的跨模态心脏分割方法，包括以下步骤：
S1：建立分割网络模型，并利用建立的分割网络模型对图像进行特征提取；
S2：利用空间注意力机制对提取特征的相关区域进行增强，对非相关区域进行抑制；
S3：在整个分割网络提取特征的低层和高层分别添加多个特征域鉴别器，进行特征细粒度迁移。
进一步的，所述步骤S1具体包括以下步骤：
S1-1：分割网络主干采用SFCNN结构，建立对称衔接的分割网络模型，其由一个粗化层、一个适配器块层和一个细化层组成；
S1-2：图像首先被输入到卷积核大小为3×3的Conv层，然后将四个残差组引入到粗化层中，并进行核大小为2×2的下采样；每个残差组由三个残差块组成，在残差块的第一层和第三层采用1×1的卷积核，中间层采用3×3的卷积核；接着将四个适配器块加入到所述分割网络架构中，在细化层中引入双线性插值法进行上采样，并与粗化层进行衔接来细化提取的特征，最后，使用SoftMax层对像素进行概率预测；
S1-3：通过将骰子系数损失和交叉熵损失线性组合并拓展到多类上，最小化损失函数，对源域的分割网络进行优化；利用在源域上预先训练的分割模型，通过对抗性学习，使得源分割模型适应于目标域。
进一步的，所述步骤S1-3中的损失函数为：
Figure 788754DEST_PATH_IMAGE001
其中，
Figure 84738DEST_PATH_IMAGE002
表示类别，
Figure 760570DEST_PATH_IMAGE003
和
Figure 811702DEST_PATH_IMAGE004
分别表示第i个体素的地面真实值和预测值。
每个源域图像输入为
Figure 428278DEST_PATH_IMAGE005
，
Figure 996794DEST_PATH_IMAGE006
为源域样本集，生成的掩码预测为
Figure 527132DEST_PATH_IMAGE007
，地面真实值为
Figure 155691DEST_PATH_IMAGE008
。
进一步的，所述步骤S2具体包括以下步骤：
将特征
Figure 505901DEST_PATH_IMAGE009
经过卷积、sigmoid函数非线性激活和空间归一化后生成注意加权图，再与原特征
Figure 799479DEST_PATH_IMAGE009
相乘得到注意力特征，对原特征
Figure 915815DEST_PATH_IMAGE009
的相关区域进行增强，对非相关区域进行抑制。
进一步的，表示同一空间位置(i,j)的特征
Figure 574329DEST_PATH_IMAGE010
的非线性激活公式为：
Figure 349518DEST_PATH_IMAGE011
空间归一化的公式为：
Figure 853312DEST_PATH_IMAGE012
注意力特征
Figure 358243DEST_PATH_IMAGE013
的计算公式为：
Figure 249975DEST_PATH_IMAGE014
其中，
Figure 574777DEST_PATH_IMAGE015
，
Figure 85524DEST_PATH_IMAGE016
表示实数集合，
Figure 179382DEST_PATH_IMAGE017
和
Figure 170910DEST_PATH_IMAGE018
表示注意力层的参数，a i,j 表示空间归一化后的值。
进一步的，所述步骤S3具体包括以下步骤：
在前8层每层应用注意力机制生成的注意力特征处添加的特征域鉴别器分别为
Figure 717429DEST_PATH_IMAGE019
，用于区分源域特征还是目标域特征；最后一层添加的掩码域鉴别器为
Figure 890922DEST_PATH_IMAGE020
；
特征域鉴别器的损失为：
Figure 104865DEST_PATH_IMAGE021
掩码域鉴别器的损失为：
Figure 213767DEST_PATH_IMAGE022
其中，
Figure 513161DEST_PATH_IMAGE023
为源域的特征空间，
Figure 490344DEST_PATH_IMAGE024
为相应目标域的特征空间，为了书写方便，将
Figure 558794DEST_PATH_IMAGE025
等价于
Figure 635335DEST_PATH_IMAGE026
，将
Figure 359708DEST_PATH_IMAGE027
等价于
Figure 75336DEST_PATH_IMAGE028
；
Figure 732713DEST_PATH_IMAGE029
和
Figure 308051DEST_PATH_IMAGE030
分别为源域和目标域的分割预测，并分别简称为
Figure 582038DEST_PATH_IMAGE031
和
Figure 573128DEST_PATH_IMAGE032
；
Figure 553853DEST_PATH_IMAGE033
和
Figure 237775DEST_PATH_IMAGE034
表示样本对掩码预测距离的期望值，
Figure 733479DEST_PATH_IMAGE035
和
Figure 590576DEST_PATH_IMAGE036
表示样本对特征距离的期望值，
Figure 222546DEST_PATH_IMAGE037
和
Figure 345878DEST_PATH_IMAGE038
表示隐式估计
Figure 63299DEST_PATH_IMAGE039
的距离值。
进一步的，为了训练稳定，最小化源域和目标域分布之间的距离；源域和目标域特征分布之间的Wasserstein距离
Figure 599453DEST_PATH_IMAGE040
表示为：
Figure 617088DEST_PATH_IMAGE041
源域和目标域掩码预测分布之间的Wasserstein距离公式如下所示：
Figure 705130DEST_PATH_IMAGE042
其中，
Figure 175425DEST_PATH_IMAGE043
表示是
Figure 515271DEST_PATH_IMAGE044
和
Figure 387412DEST_PATH_IMAGE045
分布组合起来的所有可能的联合分布的集合，
Figure 318459DEST_PATH_IMAGE046
表示
Figure 338367DEST_PATH_IMAGE047
和
Figure 275712DEST_PATH_IMAGE048
分布组合起来的所有可能的联合分布的集合,
Figure 940042DEST_PATH_IMAGE049
表示样本x和样本y之间的距离，即源域和目标域之间的距离，
Figure 573149DEST_PATH_IMAGE050
表示样本对距离的期望值。
本发明的有益效果是：
（1）本发明提出了一种新颖的跨模态心脏分割模型，在传统的分割网络中加入空间注意力机制来突出重要区域，抑制无关区域，从而减少域自适应学习中（领域对齐过程中）的负迁移，提高分割精度。
（2）此外，本发明研究了不同深度层的自适应，并在对抗领域自适应学习中加入了多层次领域鉴别器，来连接多层特征和分割掩码，从而实现特征域的细粒度对齐（进行特征细粒度迁移），提高心脏检测和分割精度，实现无监督语义分割。
附图说明
图1是本发明所提出无监督领域自适应与注意力机制的框架。
图2是本发明的空间注意力机制架构。
图3是本发明实验采用的心脏部分子结构。
图4是样本1实验结果图。
图5是样本2实验结果图。
图6是分割结果比较图。
具体实施方式
如图1所示为本发明的框架图。本发明提出了一种基于SAM与多层UDA的跨模态心脏分割方法，通过对抗性领域自适应，使得源领域和目标领域的分布趋于相似，在目标领域无标签的情况下，以一种无监督的方式进行了对抗性损失的训练。
本发明提出的跨模态心脏分割方法，包括以下步骤：
第一步：建立分割网络模型，并利用建立的分割网络模型对图像进行特征提取。
本发明的分割网络主干采用之前工作提出的SFCNN结构，由于采用切片进行实验，因此将以前的3D网络相应地修改成2D网络，以便适用于端到端的像素级分割任务。具体来说，本发明建立了一种对称衔接的分割网络模型，它由一个粗化层（CBL）、一个适配器块层（ABL）和一个细化层（RBL）组成，使网络结构更加深化，可以获得更加抽象的特征。
图像首先被输入到卷积核大小为3×3的Conv层，然后将四个残差组引入到粗化层中，并进行核大小为2×2的下采样；每个残差组由三个残差块组成，在残差块的第一层和第三层采用1×1的卷积核，中间层采用3×3的卷积核；接着将四个适配器块加入到所述分割网络架构中，在细化层中引入双线性插值法进行上采样，并与粗化层进行衔接来细化提取的特征，最后，使用SoftMax层对像素进行概率预测.
如图1所示，分割器主干主要由卷积、池化、残差组、上采样和适配器块组成。图上中间上侧区域表示空间注意力机制，用于减少负迁移。Ẍ表示使用空间注意力机制生成的注意力特征。图上中间下侧区域分别表示特征领域鉴别器Discriminatorf和掩码特征鉴别器Discriminatormask。利用在源域上预先训练的分割模型，通过对抗性学习，进一步使得源分割模型适应于目标域。此外，鉴别器采用特征和语义掩码来学习域不变像素间的关系。
设
Figure 752458DEST_PATH_IMAGE051
为源域样本集，每个源域图像输入为
Figure 293160DEST_PATH_IMAGE052
，网络生成的掩码预测为
Figure 139894DEST_PATH_IMAGE053
，地面真实值为
Figure 616006DEST_PATH_IMAGE054
。在处理不平衡数据时，小目标会产生一些像素预测误差，导致损失函数发生较大变化。随后它会导致一个急剧的梯度变化。为了解决数据不平衡的问题，本发明通过将骰子系数损失和交叉熵损失线性组合并拓展到多类上，最小化损失
Figure 548189DEST_PATH_IMAGE055
，对源域的分割网络进行优化。
Figure 892583DEST_PATH_IMAGE056
其中，
Figure 593823DEST_PATH_IMAGE057
表示类别，
Figure 130301DEST_PATH_IMAGE058
和
Figure 221885DEST_PATH_IMAGE059
分别表示第i个体素的地面真实值和预测值。
第二步：利用空间注意力机制对提取特征的相关区域进行增强，对非相关区域进行抑制。
在实际的生物医学图像分割任务中，病灶区域常常被称为感兴趣区域或者目标区域，而复杂的背景区域可能被称为无关区域，并且复杂的背景对分割结果可能产生显著的影响。尤其是在迁移学习中，无关背景区域可能不适合迁移或者不能迁移，如果强行迁移就会造成整个网络产生负迁移，从而导致性能下降。因此，本发明在传统的网络结构中引入空间注意力机制，用来赋予特征图不同位置的重要性，增强目标区域作用，抑制无关区域，减少了每个图像的负迁移，增强了每个图像的正迁移。
空间注意力机制的结构如图2所示，整个结构由两条分支组成。定义网络经过卷积层或池化等操作提取的特征为
Figure 307653DEST_PATH_IMAGE060
,并将特征
Figure 925716DEST_PATH_IMAGE061
一方面输入其中一条分支中生成注意力加权图，另一方面将原始特征与加权的特征连接起来以进一步处理。特征
Figure 71527DEST_PATH_IMAGE061
作为输入，经过
Figure 650407DEST_PATH_IMAGE062
卷积层进行降维，然后进行非线性激活（sigmoid函数），并进行空间归一化，经过注意力检测器输出注意权值图
Figure 274286DEST_PATH_IMAGE063
（为
Figure 12435DEST_PATH_IMAGE064
大小的矩阵，其中
Figure 63568DEST_PATH_IMAGE065
分别为特征图的高和宽），对特征
Figure 192061DEST_PATH_IMAGE066
增强相关区域，抑制非相关区域。将
Figure 554384DEST_PATH_IMAGE067
应用在原始特征
Figure 819143DEST_PATH_IMAGE061
上生成注意力特征
Figure 369074DEST_PATH_IMAGE068
。
具体的：为了书写方便，本发明采用大写字母
Figure 984863DEST_PATH_IMAGE069
表示网络的三维特征，并且采用小写字母
Figure 950545DEST_PATH_IMAGE070
表示同一空间位置的特征。将三维特征
Figure 273073DEST_PATH_IMAGE069
经过卷积、sigmoid函数非线性激活和空间归一化后生成注意加权图，再与原特征
Figure 666008DEST_PATH_IMAGE069
相乘得到注意力特征，对原特征
Figure 237935DEST_PATH_IMAGE069
的相关区域进行增强，对非相关区域进行抑制。此外，表示同一空间位置(i,j)的特征
Figure 741728DEST_PATH_IMAGE071
的非线性激活公式为：
Figure 780747DEST_PATH_IMAGE011
空间归一化的公式为：
Figure 813425DEST_PATH_IMAGE012
注意力特征
Figure 403807DEST_PATH_IMAGE072
的计算公式为：
Figure 711291DEST_PATH_IMAGE014
其中，
Figure 742832DEST_PATH_IMAGE015
，
Figure 477570DEST_PATH_IMAGE016
表示实数集合，
Figure 24089DEST_PATH_IMAGE017
和
Figure 400844DEST_PATH_IMAGE018
表示注意力层的参数，a i,j 表示空间归一化后的值。
第三步：在整个分割网络提取特征的低层和高层分别添加多个特征域鉴别器，进行特征细粒度迁移，利用反向传播监督，使得提取的特征更具有鲁棒性。
形式上，我们定义源域的特征空间为
Figure 752803DEST_PATH_IMAGE023
，相应目标域的特征空间为
Figure 658442DEST_PATH_IMAGE024
。为了书写方便，我们在后文和公式中将
Figure 161099DEST_PATH_IMAGE023
等价于
Figure 810386DEST_PATH_IMAGE073
，并且将
Figure 941153DEST_PATH_IMAGE024
等价于
Figure 283273DEST_PATH_IMAGE074
。此外，我们将这两个域分布之间的Wasserstein距离表示为
Figure 7646DEST_PATH_IMAGE040
，其公式如下所示：
Figure 186256DEST_PATH_IMAGE041
其中，
Figure 374792DEST_PATH_IMAGE043
表示是
Figure 950130DEST_PATH_IMAGE044
和
Figure 224116DEST_PATH_IMAGE045
分布组合起来的所有可能的联合分布的集合。
此外，本发明认为监控预测的分割掩码形状，进行像素级预测分割是非常重要的。因此，本发明定义源域和目标域的分割预测分别为
Figure 215206DEST_PATH_IMAGE075
和
Figure 195931DEST_PATH_IMAGE076
，并分别简称为
Figure 614274DEST_PATH_IMAGE077
和
Figure 109978DEST_PATH_IMAGE078
,其两个域分布的Wasserstein距离表示为
Figure 232655DEST_PATH_IMAGE079
，其公式如下所示：
Figure 130203DEST_PATH_IMAGE080
其中，
Figure 716518DEST_PATH_IMAGE046
表示
Figure 902780DEST_PATH_IMAGE047
和
Figure 501251DEST_PATH_IMAGE048
分布组合起来的所有可能的联合分布的集合,
Figure 315624DEST_PATH_IMAGE049
表示样本x和样本y之间的距离，即源域和目标域之间的距离，
Figure 606928DEST_PATH_IMAGE050
表示样本对距离的期望值。
受对抗领域自适应的启发，具体地，本发明将整个分割网络分成9个层次，前4层为低层，用于提取纹理或边缘特征，后4层为高层，用于提取更抽象的特征。在前8层每层应用注意力机制生成的注意力特征处添加的特征域鉴别器分别为
Figure 14906DEST_PATH_IMAGE019
，用于区分源域特征还是目标域特征；最后一层添加的掩码域鉴别器为
Figure 417069DEST_PATH_IMAGE020
；
特征域鉴别器的损失为：
Figure 85948DEST_PATH_IMAGE021
掩码域鉴别器的损失为：
Figure 548153DEST_PATH_IMAGE022
其中，
Figure 443428DEST_PATH_IMAGE029
和
Figure 386632DEST_PATH_IMAGE030
分别为源域和目标域的分割预测，并分别简称为
Figure 847700DEST_PATH_IMAGE031
和
Figure 543124DEST_PATH_IMAGE032
；
Figure 722432DEST_PATH_IMAGE033
和
Figure 404080DEST_PATH_IMAGE034
表示样本对掩码预测距离的期望值，
Figure 985234DEST_PATH_IMAGE035
和
Figure 523663DEST_PATH_IMAGE036
表示样本对特征距离的期望值，
Figure 518164DEST_PATH_IMAGE037
和
Figure 800241DEST_PATH_IMAGE038
表示隐式估计
Figure 439164DEST_PATH_IMAGE039
的距离值。
最后，将本发明所提方法在公共数据集上进行基准测试，并将其应用于跨模态心脏的分割和量化。测试结果表明，该方法在无监督分割过程中具有良好的泛化效果。
数据使用的是Multi-Modality Whole Heart Segmentation Challenge数据集，包含了120个样本，其中60个3D MRI和60个3D CT样本，这些图像涵盖了整个心脏的子结构，并且所有这些临床数据均已获得机构伦理学的认可并被匿名使用。所有数据集面内分辨率约为0.78×0.78 mm，平均切片厚度为1.60 mm。MRI数据是使用3D平衡稳态自由进动序列获取的，每个方向的获取分辨率约为2 mm，然后重建为1 mm。每个样本对四个子结构进行分割，即左心室血腔（LVC）、左心室心肌（Myo）、升主动脉（AA）和左心房腔（LAC），如图3所示。
数据预处理：在图像分割任务中，数据扩充是非常重要的，因为它可以有效地提高机器学习模型的鲁棒性。数据集主要包括训练（14个3D CT和16个3D MRI）和验证（2个3D CT和4个3D MRI）和测试数据集（4个3D CT和4个3D MRI），以MRI图像为源域，CT图像为目标域。并采用仿射等方式对数据进行扩充处理，以获得更可靠的分割模型。具体地说，总共有14个3D CT训练样本，每个样本600个切片，总共14×600=8400个切片，16个MRI训练样本，每个样本600个切片，总共16×600=9600个切片。2个CT验证样本，每个样本600个切片，总共2×600=1200个切片，4个MRI验证样本，每个样本600个切片，总共4×600=2400个切片，其预处理步骤如下：
（1）考虑到内存容量，选择以分割的四个心脏子结构区域为中心进行裁剪；
（2）对于每个3D裁剪图像，其强度直方图的前2％被切掉以减轻伪影；
（3）将每个3D图像进行标准化为零均值，单位标准偏差；
（4）对二维冠状切片进行数据重采样，并通过旋转、缩放和仿射变换方式增强数据集。
参数设置与训练：本发明建立了细粒度领域自适应与注意力机制的分割模型。模型参数设置如下：为了保证目标函数在适当的时间收敛于局部最小值，将学习率设置为
Figure 145564DEST_PATH_IMAGE081
，参数batch size设置为8；采用Adam优化器，其计算高效，对内存需求少，参数的更新不受梯度的伸缩变换影响，且通常无需调整或仅需很少的微调。结果表明，上述参数设置可以优化所提分割模型的性能，有效提高整个心脏分割模型的分割效率和分割精度。
本发明的方法在Tensorflow框架下的Python中实现，计算在NVIDIA GTX 1070GPU的硬件下进行，每个样本裁剪成子卷（大小为256×256），以去除输入到分割网络的边缘的黑色区域。特征提取中采用了以2×2为池核的最大池化操作进行下采样，以扩大接受率。整个训练集的训练时间约为27小时。
采用了两个常用的度量指标来定量评价分割性能，这两个指标通常在领域自适应工作中使用。一种测量方法是骰子系数DICE（[%]），它计算预测掩模和地面真值之间的体积重叠，DICE越高，分割效果越好。另一个是平均表面距离ASD（[voxel]），用于评估模型在边界处的性能，ASD越低，分割效果越好。
将本发明所提出的方法应用于Multi-Modality Whole Heart SegmentationChallenge数据集上对不同领域的样本进行领域自适应分割，图4和图5分别为2个样本的分割结果与对应的ground truth （图4和图5仅为部分切片的结果）。从图4和图5中可以看出，本发明提出的空间注意力机制与多层无监督领域自适应的跨模态心脏分割方法具有更高的定位精度和更可靠的分割能力。
在Multi-Modality Whole Heart Segmentation Challenge数据集上，以MRI图像作为源域，CT图像作为目标域，进一步评估本发明所提方法的有效性。设计了几个实验:（1）直接在目标域数据（CT）上测试源领域分割器（简称Seg-CT-noDA）；（2）使用无监督领域自适应方法在目标域数据（CT）上测试源领域分割器（简称Seg-CT-UDA-noAttention）；（3）本发明提出的注意力机制无监督多层领域自适应方法（简称Seg-CT-UDA-Attention）。表1列出了没有使用领域自适应CT心脏分割结果、使用领域自适应但未使用注意力机制CT心脏分割结果以及本发明提出的方法结果以及表面真实值的评价结果。
表1 本发明提出的多层领域自适应与空间注意力机制模型性能比较
Figure 627361DEST_PATH_IMAGE082
由表1可以看出，本发明所提出的方法可以获得更高的骰子系数DICE（[%]）和更低的平均表面距离ASD（[voxel]）。
图6是分割结果比较。图片从左到右依次是：（a）待分割目标域CT图像，（b）直接在目标域数据（CT）上测试源域分割器（简称Seg-CT-noDA），（c）使用无监督领域自适应方法在目标域数据（CT）上测试源域分割器（简称Seg-CT-UDA-noAttention），（d）本发明提出的注意力机制无监督多层领域自适应方法（简称Seg-CT-UDA-Attention），（e）ground truth。
从图6可以看出，本发明的空间注意力机制与多层无监督领域自适应的跨模态心脏分割模型的性能明显优于缺少注意力机制的领域自适应模型，更优于没有使用领域自适应的方法。该方法克服了目标域数据分布不一致、无标签的困难，能有效地从复杂CT图像中提取出子结构。

Claims (5)

1.一种基于SAM与多层UDA的跨模态心脏分割方法，其特征是，所述方法包括以下步骤：
S1：建立分割网络模型，并利用建立的分割网络模型对图像进行特征提取；
所述步骤S1具体包括以下步骤：
S1-1：分割网络主干采用SFCNN结构，建立对称衔接的分割网络模型，其由一个粗化层、一个适配器块层和一个细化层组成；
S1-2：图像首先被输入到卷积核大小为3×3的Conv层，然后将四个残差组引入到粗化层中，并进行核大小为2×2的下采样；每个残差组由三个残差块组成，在残差块的第一层和第三层采用1×1的卷积核，中间层采用3×3的卷积核；接着将四个适配器块加入到所述分割网络模型中，在细化层中引入双线性插值法进行上采样，并与粗化层进行衔接来细化提取的特征，最后，使用SoftMax层对像素进行概率预测；
S1-3：通过将骰子系数损失和交叉熵损失线性组合并拓展到多类上，最小化损失函数，对源域的分割网络进行优化；利用在源域上预先训练的分割模型，通过对抗性学习，使得源分割模型适应于目标域；
S2：利用空间注意力机制对提取特征的相关区域进行增强，对非相关区域进行抑制；
S3：将整个分割网络分成9个层次，第1至第4层为低层，第5至第8层为高层，在前8层每层应用注意力机制生成的注意力特征处添加一个特征域鉴别器，最后一层添加掩码预测域鉴别器进行特征细粒度迁移。
2.如权利要求1所述的基于SAM与多层UDA的跨模态心脏分割方法，其特征是，所述步骤S2具体包括以下步骤：
将特征
Figure 944643DEST_PATH_IMAGE001
经过卷积、sigmoid函数非线性激活和空间归一化后生成注意加权图，再与原特征
Figure 513159DEST_PATH_IMAGE001
相乘得到注意力特征，对原特征
Figure 777918DEST_PATH_IMAGE001
的相关区域进行增强，对非相关区域进行抑制。
3.如权利要求2所述的基于SAM与多层UDA的跨模态心脏分割方法，其特征是，表示同一空间位置(i,j)的特征
Figure 531110DEST_PATH_IMAGE002
的非线性激活公式为：
Figure 568073DEST_PATH_IMAGE003
空间归一化的公式为：
Figure 2596DEST_PATH_IMAGE004
注意力特征
Figure 918600DEST_PATH_IMAGE005
的计算公式为：
Figure 718059DEST_PATH_IMAGE006
其中，
Figure 289986DEST_PATH_IMAGE007
，
Figure 590518DEST_PATH_IMAGE008
表示实数集合，
Figure 967885DEST_PATH_IMAGE009
和
Figure 62880DEST_PATH_IMAGE010
表示注意力层的参数， a i,j 表示空间归一化后的值。
4.如权利要求1所述的基于SAM与多层UDA的跨模态心脏分割方法，其特征是，所述步骤S3具体包括以下步骤：
在前8层每层应用注意力机制生成的注意力特征处添加的特征域鉴别器分别为
Figure 528627DEST_PATH_IMAGE011
，用于区分源域特征还是目标域特征；最后一层添加的掩码域鉴别器为
Figure 101691DEST_PATH_IMAGE012
；
特征域鉴别器的损失为：
Figure 602074DEST_PATH_IMAGE013
掩码域鉴别器的损失为：
Figure 867970DEST_PATH_IMAGE014
其中，
Figure 823943DEST_PATH_IMAGE015
为源域的特征空间，
Figure 731856DEST_PATH_IMAGE016
为相应目标域的特征空间，为了书写方便，将
Figure 86745DEST_PATH_IMAGE017
等价于
Figure 523543DEST_PATH_IMAGE018
，将
Figure 557358DEST_PATH_IMAGE019
等价于
Figure 79082DEST_PATH_IMAGE020
；
Figure 944270DEST_PATH_IMAGE021
和
Figure 755231DEST_PATH_IMAGE022
分别为源域和目标域的分割预测，并分别简称为
Figure 948446DEST_PATH_IMAGE023
和
Figure 870265DEST_PATH_IMAGE024
；
Figure 589960DEST_PATH_IMAGE025
和
Figure 571822DEST_PATH_IMAGE026
表示样本对掩码预测距离的期望值，
Figure 243544DEST_PATH_IMAGE027
和
Figure 765793DEST_PATH_IMAGE028
表示样本对特征距离的期望值，
Figure 949780DEST_PATH_IMAGE029
和
Figure 102544DEST_PATH_IMAGE030
表示隐式估计
Figure 129406DEST_PATH_IMAGE031
的距离值。
5.如权利要求4所述的基于SAM与多层UDA的跨模态心脏分割方法，其特征是，为了训练稳定，最小化源域和目标域分布之间的距离；
源域和目标域特征分布之间的Wasserstein距离
Figure 327782DEST_PATH_IMAGE032
表示为：
Figure 694172DEST_PATH_IMAGE033
源域和目标域掩码预测分布之间的Wasserstein距离公式如下所示：
Figure 814575DEST_PATH_IMAGE034
其中，
Figure 469678DEST_PATH_IMAGE035
表示是
Figure 536991DEST_PATH_IMAGE036
和
Figure 820205DEST_PATH_IMAGE037
分布组合起来的所有可能的联合分布的集合，
Figure 989805DEST_PATH_IMAGE038
表示
Figure 397784DEST_PATH_IMAGE039
和
Figure 268788DEST_PATH_IMAGE040
分布组合起来的所有可能的联合分布的集合,
Figure 609770DEST_PATH_IMAGE041
表示样本x和样本y之间的距离，即源域和目标域之间的距离，
Figure 9659DEST_PATH_IMAGE042
表示样本对距离的期望值。
CN202110086166.XA 2021-01-22 2021-01-22 基于sam与多层uda的跨模态心脏分割方法 Active CN112419320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110086166.XA CN112419320B (zh) 2021-01-22 2021-01-22 基于sam与多层uda的跨模态心脏分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110086166.XA CN112419320B (zh) 2021-01-22 2021-01-22 基于sam与多层uda的跨模态心脏分割方法

Publications (2)

Publication Number Publication Date
CN112419320A CN112419320A (zh) 2021-02-26
CN112419320B true CN112419320B (zh) 2021-04-27

Family

ID=74783164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110086166.XA Active CN112419320B (zh) 2021-01-22 2021-01-22 基于sam与多层uda的跨模态心脏分割方法

Country Status (1)

Country Link
CN (1) CN112419320B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221903B (zh) * 2021-05-11 2021-10-15 中国科学院自动化研究所 跨域自适应语义分割方法及系统
CN113298855B (zh) * 2021-05-27 2021-12-28 广州柏视医疗科技有限公司 基于自动勾画的图像配准方法
CN115327907B (zh) * 2022-08-17 2024-07-02 浙江中烟工业有限责任公司 一种基于动态卷积多层域自适应的风送速度控制器故障诊断装置及方法
CN117635942B (zh) * 2023-12-05 2024-05-07 齐鲁工业大学(山东省科学院) 一种基于边缘特征增强的心脏mri图像分割方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330888A (zh) * 2017-07-11 2017-11-07 中国人民解放军第三军医大学 基于cta图像的动态心脏各腔室分割方法
WO2020048928A1 (en) * 2018-09-05 2020-03-12 Norwegian University Of Science And Technology (Ntnu) Functional measurements in echocardiography
CN111340812A (zh) * 2020-02-20 2020-06-26 中南大学 基于深度神经网络的交互式肝脏图像分割方法
US20200320751A1 (en) * 2019-04-06 2020-10-08 Kardiolytics Inc. Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images
CN111860517A (zh) * 2020-06-28 2020-10-30 广东石油化工学院 一种基于分散注意力网络的小样本下语义分割方法
CN112017198A (zh) * 2020-10-16 2020-12-01 湖南师范大学 基于自注意力机制多尺度特征的右心室分割方法及装置
CN112075956A (zh) * 2020-09-02 2020-12-15 深圳大学 一种基于深度学习的射血分数估计方法、终端及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330888A (zh) * 2017-07-11 2017-11-07 中国人民解放军第三军医大学 基于cta图像的动态心脏各腔室分割方法
WO2020048928A1 (en) * 2018-09-05 2020-03-12 Norwegian University Of Science And Technology (Ntnu) Functional measurements in echocardiography
US20200320751A1 (en) * 2019-04-06 2020-10-08 Kardiolytics Inc. Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images
CN111340812A (zh) * 2020-02-20 2020-06-26 中南大学 基于深度神经网络的交互式肝脏图像分割方法
CN111860517A (zh) * 2020-06-28 2020-10-30 广东石油化工学院 一种基于分散注意力网络的小样本下语义分割方法
CN112075956A (zh) * 2020-09-02 2020-12-15 深圳大学 一种基于深度学习的射血分数估计方法、终端及存储介质
CN112017198A (zh) * 2020-10-16 2020-12-01 湖南师范大学 基于自注意力机制多尺度特征的右心室分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的心脏医学图像分割方法研究;徐标;《中国优秀硕士学位论文全文数据库（信息科技辑）》;20200615(第6期);I138-659 *

Also Published As

Publication number Publication date
CN112419320A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112419320B (zh) 基于sam与多层uda的跨模态心脏分割方法
Zhang et al. ME‐Net: multi‐encoder net framework for brain tumor segmentation
CN110934606B (zh) 脑卒中早期平扫ct图像评估系统及评估方法、可读存储介质
Yu et al. Liver vessels segmentation based on 3d residual U-NET
Lombaert et al. Human atlas of the cardiac fiber architecture: study on a healthy population
JP2022544229A (ja) オブジェクト検出を用いて位置特定された医用画像の三次元オブジェクトセグメンテーション
Shahsavari et al. Proposing a novel Cascade Ensemble Super Resolution Generative Adversarial Network (CESR-GAN) method for the reconstruction of super-resolution skin lesion images
Hesse et al. Intensity augmentation to improve generalizability of breast segmentation across different MRI scan protocols
He et al. Automatic left ventricle segmentation from cardiac magnetic resonance images using a capsule network
Huang et al. Automatic Retinal Vessel Segmentation Based on an Improved U‐Net Approach
Hashan et al. Brain tumor detection in MRI images using image processing techniques
Huang et al. A liver fibrosis staging method using cross-contrast network
Krivov et al. MRI augmentation via elastic registration for brain lesions segmentation
CN114119626A (zh) 一种基于统计学模型和多尺度滤波的脑血管图像分割方法
Du et al. X-ray image super-resolution reconstruction based on a multiple distillation feedback network
CN114511564B (zh) 基于dce-mri对乳腺癌残存肿瘤负荷的影像分析方法
Shi et al. Multi-threshold image segmentation based on an improved whale optimization algorithm: A case study of Lupus Nephritis
Thaler et al. Efficient multi-organ segmentation using spatialconfiguration-net with low GPU memory requirements
Çetingül et al. Estimation of local orientations in fibrous structures with applications to the Purkinje system
Guttulsrud Generating Synthetic Medical Images with 3D GANs
Shao et al. Semantic segmentation method of 3D liver image based on contextual attention model
Luo et al. Wavelet‐Based Image Registration and Segmentation Framework for the Quantitative Evaluation of Hydrocephalus
Gomez et al. Left ventricle contouring of apical three-chamber views on 2d echocardiography
Inamdar et al. A Novel Attention based model for Semantic Segmentation of Prostate Glands using Histopathological Images
CN113205496A (zh) 一种基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant