CN111353499B - 多模态医学图像分割方法、系统、存储介质及电子设备 - Google Patents

多模态医学图像分割方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN111353499B
CN111353499B CN202010112491.4A CN202010112491A CN111353499B CN 111353499 B CN111353499 B CN 111353499B CN 202010112491 A CN202010112491 A CN 202010112491A CN 111353499 B CN111353499 B CN 111353499B
Authority
CN
China
Prior art keywords
medical image
modality
discriminator
segmentation
shared feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010112491.4A
Other languages
English (en)
Other versions
CN111353499A (zh
Inventor
钱晓华
李钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010112491.4A priority Critical patent/CN111353499B/zh
Publication of CN111353499A publication Critical patent/CN111353499A/zh
Application granted granted Critical
Publication of CN111353499B publication Critical patent/CN111353499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供多模态医学图像分割方法、系统、存储介质及电子设备。所述多模态医学图像分割方法包括：构建共享特征编码器及平行解码器网络；将不同模态的医学图像数据输入所述共享特征编码器，由所述共享特征编码器提取各所述模态之间的相似解剖结构特征；将所述共享特征编码器输出的各所述模态的相似解剖结构特征一一对应地输入所述平行解码器网络中的各解码器，由各所述解码器分别在各所述模态的相似解剖结构特征的基础上突出各所述模态的特异性，从而输出各所述模态的医学图像数据的分割结果。本发明有效提高了多模态医学图像分割任务中的多模态融合效率，同时避免了分割过程中的特征共适应干扰。

Description

多模态医学图像分割方法、系统、存储介质及电子设备
技术领域
本发明涉及医学图像分割领域，特别涉及多模态医学图像分割方法、系统、存储介质及 电子设备。
背景技术
医学图像的自动分割是由图像处理到图像分析的关键步骤，对于临床诊断和治疗具有非 常重要的作用。而多模态磁共振成像(MRI)相较于单模态数据可以提供更多的信息，在神 经影像学研究中经常组合使用不同模态MRI来克服单模态影像技术的局限性。因此，如何融 合多模态MRI信息来提高自动分割的表现对于临床诊断与治疗很有意义。
目前，整合多模态信息的方法已在其他领域得到了广泛研究，当前的多模态融合方法大 致可以分为early fusion，late fusion和intermediate fusion。
early fusion可以融合来自低层特征原始空间的多模态信息，即在输入网络训练前就已经 完成了多模态数据的融合。例如Nie等人在文献“3-D Fully ConvolutionalNetworks for Multimodal Isointense Infant Brain Image Segmentation”(IEEETransactions on Cybernetics，2019， vol.49,no.3,pp.1123–1136.)提出的直接输入不同模态的数据进行融合的方法，和Chen等 人在文献“VoxResNet:Deep voxelwiseresidual networks for brain segmentation from 3D MR images”(Neuroimage，2018，vol.170,no.April 2017,pp.446–455.)中提出的将多模态数 据进行合并以在通道维度上完成隐式的融合的方法。但上述early fusion方法由于整个训练过 程中的数据都是来自融合后的，导致后续模型的训练中模态间依赖性过大，从而导致特征共 适应造成干扰，阻碍融合效率的进一步提高。特征共适应会增加模态间特征的相互依赖性， 弱化了各模态特征对各自分割结果的贡献，这使得各模态的分割结果会向其他模态倾斜造成 表现不佳。
对于late fusion，Alqazzaz等人和Shivhare等人分别在文献“Automated braintumor segmentation on multi-modal MR image using SegNet”(Computational VisualMedia，2019，vol. 5,no.2,pp.209–219)和文献“A hybrid of active contour model andconvex hull for automated brain tumor segmentation in multimodal MRI”(Multimedia Tools and Applications，2019，pp. 34207–34229)中提出利用后处理的方式进行late fusion。Alqazzaz等人将四个单独训练的模 型进行集成来融合每个模型最后输出的特征图，然后使用这个特征图来完成最后的分割。 Shivhare等人则直接通过形态学方式合并不同模态的分割结果得到最终的分割区域。上述两 种方法都融合了不同模态数据的全部高级特征，会引入大量的冗余信息，影响最终的分割结 果，导致融合效率不高。
对于intermediate fusion，Dolz等人在文献“HyperDense-Net:A Hyper-DenselyConnected CNN for Multi-Modal Image Segmentation”(IEEE Transactions onMedical Imaging，2019，vol. 38,no.5,pp.1116–1126)中基于3D FCN和DenseNet使用密集连接将不同模态的中间过程 的抽象特征图在训练中连接在一起进行intermediatefusion。后面也有研究人员将early fusion， late fusion与intermediate fusion结合起来，通过融合低层、中间层和高层特征来进行最终分 割的方法。但是这类方式中3D密集连接产生的巨大参数使其面临着过拟合和特征共适应干 扰的问题，难以提高融合效率。
具体来说，目前多模态融合方法具有以下两方面问题：1)缺乏融合效率。不同模态间的 人体解剖结构具有不变性，但是在外观上却有明显差异(如灰度分布、形态等)，因此上述 直接融合的方式会引入分布不一致的特征干扰降低融合的效率；2)存在特征共适应的风险。 各模态的分割结果会向其他模态倾斜造成表现不佳。综上所述，上述多模态融合的方式不仅 缺乏效率还容易受到特征共适应的干扰。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供多模态医学图像分割方法、系统、 存储介质及电子设备，用于解决现有技术中的以上问题。
为实现上述目的及其他相关目的，本发明提供一种多模态医学图像分割方法，包括：构 建共享特征编码器及平行解码器网络；将不同模态的医学图像数据输入所述共享特征编码器， 由所述共享特征编码器提取各所述模态之间的相似解剖结构特征；将所述共享特征编码器输 出的各所述模态的相似解剖结构特征一一对应地输入所述平行解码器网络中的各解码器，由 各所述解码器分别在各所述模态的相似解剖结构特征的基础上突出各所述模态的特异性，从 而输出各所述模态的医学图像数据的分割结果。
于本发明一实施例中，所述方法还包括：构建判别器；令所述判别器与所述共享特征编 码器进行对抗学习，以优化所述共享特征编码器提取模态间的相似解剖结构特征的能力。
于本发明一实施例中，所述判别器与所述共享特征编码器进行对抗学习的实现过程包括： 训练所述共享特征编码器，以使所述共享特征编码器的对抗性损失达到最大化，同时，最小 化所述判别器的判别损失，以使所述判别器与所述共享特征编码器的博弈达到平衡；其中， 所述对抗性损失
Figure BDA0002390503520000021
所述判别损失的函数表示为
Figure BDA0002390503520000031
xt1与xt2是来自不同模态 分布Xt1和Xt2的输入图像，E指代分布的期望，D是判别器模型。θE和θD分别表示所述共享 特征编码器和所述判别器的中的可训练参数；ft1和ft2分别表示T1与T2经过所述共享特征编 码器得到的编码特征。
于本发明一实施例中，所述方法还包括：构建采用多尺度平均绝对误差损失函数的对抗 性判别网络；令所述对抗性判别网络在所述平行解码器网络执行分割任务的过程中突出不同 模态的解剖结构特征的特异性，以优化各所述解码器的解码质量。
于本发明一实施例中，所述多尺度平均绝对误差损失函数的定义为：
Figure BDA0002390503520000032
其中，θS表示由所述共享特征编码器及所述平行解码器网络构成的整个分割网络的可训练参 数集合；θD表示所述对抗性判别网络的可训练参数集合；N表示所述解码器的层数；xnοS(xn) 表示原始图像和被分割模型S预测的概率图的逐像素级乘法；xnοyn表示原始图像与标签的 像素级乘法；fD(x)表示所述判别器从x提取的分层特征；lmae表示为平均绝对误差，又被称 为L1距离，具体表示如下：
Figure BDA0002390503520000033
其中，M表示所述判别器的层数；
Figure BDA0002390503520000034
表示所述判别器的第i层特征，x与x*分别代表xnοyn和xnοS(xn)的结果。
于本发明一实施例中，所述共享特征编码器包括：多个编码模块和与之一一对应的池化 层；各所述编码模块均由两个大小为3×3，步长为1×1的卷积组成；所述池化层的池化核 的大小为2×2；所述判别器采用四层卷积。所述平行解码器网络包括：多个解码模块，各所 述解码模块均由一个反卷积和两个大小为3×3且步长为1×1的卷积组成；最终的输出采用 1×1卷积来实现像素级二分类。
为实现上述目的及其他相关目的，本发明提供一种多模态医学图像分割系统，包括：共 享特征编码器和平行解码器网络；所述共享特征编码器用于获取不同模态的医学图像数据， 从中提取各所述模态之间的相似解剖结构特征；所述平行解码器网络的各解码器用于一一对 应地获取所述共享特征编码器输出的各所述模态的相似解剖结构特征，分别在各所述模态的 相似解剖结构特征的基础上突出各所述模态的特异性，从而输出各所述模态的医学图像数据 的分割结果。
于本发明一实施例中，所述系统还包括：判别器和/或采用平均绝对误差损失函数的对抗 性判别网络；所述判别器用以与所述共享特征编码器进行对抗学习，以优化所述共享特征编 码器提取模态间的相似解剖结构特征的能力；所述对抗性判别网络用以在所述平行解码器网 络执行分割任务的过程中突出不同模态的解剖结构特征的特异性，以优化各所述解码器的解 码质量。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其中存储有计 算机程序，所述计算机程序被处理器加载执行时，实现所述的多模态医学图像分割方法。
为实现上述目的及其他相关目的，本发明提供一种电子设备，包括：处理器及存储器； 其中，所述存储器用于存储计算机程序；所述处理器用于加载执行所述计算机程序，以使所 述电子设备执行所述的多模态医学图像分割方法。
如上所述，本发明的多模态医学图像分割方法、系统、存储介质及电子设备，为了解决 现有技术的上述问题，提出利用模态间相似信息用于特征融合和利用模态间特异性特征避免 共适应的新思路。具体而言：
1)由于不同模态具有不变的人体解剖结构特征，因此我们提出使用共享特征编码器来提 取模态间相似的特征进行融合。同时，使用判别器结合对抗性损失进一步强化所提取特征的 相似性以解决融合效率低的问题。
2)采用平行的解码器网络并结合多尺度平均绝对误差的损失函数来强调各模态的自身特 征，从而解决了特征共适应干扰问题。
3)整个多模态融合框架是统一的，不同模态信息的融合和强化都被集成到协同学习中。
附图说明
图1示意性地示出了本发明的一个实施例的多模态医学图像分割系统的架构示意图；
图2示意性地示出了本发明的一个实施例的共享特征编码器结合对抗学习的流程图；
图3示意性地示出了本发明的一个实施例的平行解码器网络结合平均绝对误差的流程图；
图4A～4B示意性地示出了本发明的一个实施例在两个模态(T1，T2)上的分割结果稳定 性示意图；
图5A～5B示意性地示出了本发明的一个实施例在两个模态(T1，T2)上的体积水平分割 结果的分布示意图；
图6示意性地示出了本发明的一个实施例的切片水平分割结果的分布示意图，表示所有 切片的分割结果在不同区间的分布数量，接近1的分布越多说明结果越好；
图7A～7B示意性地示出了本发明的一个实施例的不同模态分割结果的相关性的示意图；
图8示意性地示出了本发明的一个实施例的多模态医学图像分割方法的流程示意图。
图9示意性地示出了本发明的一个实施例的电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精 神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征 可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图 式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实 际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复 杂。
如图1所示，鉴于目前多模态医学图像分割领域中多模态融合方式缺乏效率且易受到特 征共适应的干扰，本实施例提供一种多模态医学图像分割系统。所谓的模态T是指医学图像 的不同模态种类，如核磁共振T1加权成像、核磁共振T2加权成像、CT图像等。
该多模态医学图像分割系统主要包括：共享特征编码器、平行解码器网络；进一步地， 还包括：判别器、对抗性判别网络。在图1所示的实施例中，共享特征编码器包含三个编码 模块Encoder和对应的池化层Pooling。每个编码模块均由两个大小为3×3，步长为1×1的 卷积组成；池化层的池化核的大小为2×2即下采样一倍。在图1所示的实施例中，平行解码 器网络包括两条平行的解码器1和解码器2，每个解码器包含三个解码模块Decoder，每个解 码模块由一个用于上采样的反卷积和两个大小为3×3且步长为1×1的卷积组成(图中的上 采样操作upsamp代表反卷积)，最后输出Output采用1×1卷积实现像素级二分类。需要说 明的是，平行解码器网络所包含的平行的解码器的数量并不以图1实施例为限，可根据模态 的实际数量做对应的选择。较佳的，判别器DE采用四层卷积，对抗性判别网络DM采用平均 绝对误差损失函数。
如图1所示，所述共享特征编码器用于获取模态1和模态2的医学图像数据，从中提取 模态1和模态2之间的相似解剖结构特征MF。较佳的，结合图2所示，在此过程中，所述 判别器用以与所述共享特征编码器进行对抗学习，以优化所述共享特征编码器提取模态间的相似解剖结构特征的能力。模态1和模态2的医学图像数据经过共享特征编码器之后，分别流向了两条平行的解码器。
如图1所示，所述平行解码器网络的平行的两个解码器用于一一对应地获取所述共享特 征编码器输出的各模态间的相似解剖结构特征，并且，分别在各所述模态的相似解剖结构特 征的基础上突出各所述模态的特异性，详细而言，解码器1在模态1解剖结构特征的基础上 突出模态1的特异性，从而输出模态1的医学图像数据的分割结果；同时，解码器2在模态 2解剖结构特征的基础上突出模态2的特异性，从而输出模态2的医学图像数据的分割结果。 较佳的，结合图3所示，在所述平行解码器网络执行分割任务的过程中，解码器1所对应的 对抗性判别网络有助于突出模态1的解剖结构特征的特异性，依据解码器1的输出结果反馈 调节解码器1的解码过程，从而从多个解码阶段分别优化解码器1的解码质量；解码器2所 对应的对抗性判别网络有助于突出模态2的解剖结构特征的特异性，依据解码器2的输出结 果反馈调节解码器2的解码过程，从而从多个解码阶段分别优化解码器2的解码质量。
以下阐述结合对抗学习的共享特征编码器的工作原理：同一个病人的医学影像数据的解 剖结构特征在不同的成像模式下保持一致，这种解剖结构特征不变的特性为促进多模态分割 的表现提供了理论基础。因此，如何从不同模态中提取相似的解剖结构信息并融合是多模态 分割的关键。由于编码器具有强大的提取高层抽象的语义信息的能力，故使用图2所示的共 享特征编码器提取高层解剖结构信息。为了融合解剖结构特征信息，我们让编码器实现了参 数共享。
具体来说，共享特征编码器E旨在提取不同模态的高级特征E(xt1)＝ft1，E(xt2)＝ft2， xt1与xt2是分别来自T1与T2模态的输入图像，他们对应的特征表示为ft1与ft2。由于高级特 征中的解剖结构在不同模态下具有很高的相关性，因此我们可以使用判别器DE与共享特征编 码器E进行竞争以优化共享特征编码器提取解剖结构的过程。在这个过程中，判别器DE与共 享特征编码器E构成了极小极大的博弈过程，并通过对抗性学习进行优化，从而增强共享特 征编码器提取不同模态下相似的解剖结构特征的能力。这里的博弈过程可以由下面两个步骤 来表示：
1)训练共享特征编码器，使得共享特征编码器的对抗性损失
Figure BDA0002390503520000061
最大化，从而欺骗鉴别 器D来最大化来自一个模态特征被分类为另一个模态特征的概率：
Figure BDA0002390503520000062
2)最小化鉴别损失
Figure BDA0002390503520000063
Figure BDA0002390503520000064
其中，E指代分布的期望，D是判别器模型，θE和θD则分别表示编码器和判别器的可训练的 参数，需要说明的是，θE和θD是泛指共享特征编码器和判别器中的所有可训练参数，并不是 指某一个参数，而是一个模型的可训练的参数集合；ft1与ft2分别表示T1与T2经过编码器 得到的特征。当这种极大极小的博弈过程趋于稳定的时候，模型提取相似解剖结构特征的能 力便得到了有效的提升，达到了提高融合效率的目的。
以下阐述结合平均绝对误差的平行解码器网络的工作原理：虽然共享特征编码器结合对 抗性损失的方式可以使模型拥有很好的多模态特征融合能力，但是不同模态的成像物理属性 导致了特征分布上的差异。因此，这种方法也会面临特征共适应造成分割性能下降的问题， 所以我们需要一种可以消除模态间共适应的方法。如图3所示，我们使用双平行解码器网络 来减少特征共适应干扰，这样不仅强化了自身分割表现，又避免了分割过程中的互相干扰。 不同模态的数据经过共享特征编码器之后，分别流向了两条平行的解码器。这样既可以保证 通过共享特征编码器获得的公共的解剖结构特征得到保留，又能够通过双解码器减少互相干 扰。进一步地，我们在双解码器网络中引入了一种多尺度平均绝对误差损失函数的新型对抗 性判别网络，以迫使判别网络和解码器同时学习全局和局部特征并捕获像素之间的长距离和 短距离关系。这种方式使解码器网络正常工作的同时，增加了解码器中的特征与相应模态的 相关性，强调了不同模态特征的特异性，从而消除了由于共享特征编码层导致的共适应干扰。
具体来说，我们使用平均绝对误差损失代替了经典对抗生成网络中常用的目标损失函数。 在本发明中，我们将对抗性判别网络应用于分割任务，并具有与训练图像对应的手工标注， 所以我们在这里使用的多尺度平均绝对误差损失函数被定义为：
Figure BDA0002390503520000071
其中，θS表示由所述共享特征编码器及所述平行解码器网络构成的整个分割网络的可训练参 数集合；θD表示所述对抗性判别网络的可训练参数集合；N表示解码器的层数；xnοS(xn)表 示被分割模型S预测的概率图和原始图像的逐像素乘法；相对应的xnοyn表示原始图像与标 签的像素级乘法；fD(x)表示判别器网络从x提取的分层特征。lmae表示为平均绝对误差(又 被称为L1距离)，具体表示如下：
Figure BDA0002390503520000072
其中，x与x*分别代表xnοyn和xnοS(xn)的结果，M表示判别器层数；
Figure BDA0002390503520000073
表示判别器的第i 层特征。通过这种平均绝对误差损失，我们强调了各模态的特异性特征对于各自分割结果的 贡献，从而可以有效地清除特征共适应干扰。
我们在多模态MRI胰腺癌数据集上对本发明的方法进行了评估。表1展示了对应不同评 价指标的分割结果，模型对于T1和T2的DSC，RMSE和HD值分别达到65.27±15.44％，4.80±5.20mm，2.74±0.76mm和66.15±14.07％，5.18±4.37mm，2.92±0.87mm。据我们 所知，我们的结果在两个模态上均超过了目前其他方法的最佳表现。图4A～5B展示了我们分割结果的可靠性，其中，横坐标是不同的DSC阈值，而纵坐标表示分割结果中大于相应横坐标阈值的比例。可以观察到，我们提出的MS-GAN模型整体上好于其他模型，无论是开始下降时的阈值位置还是下降速度，我们的模型都取得了不错的表现。图5A～5B和图6展示了T1与T2分割结果在体积和切片水平上的分布，我们可以很轻松的观察到我们的模型在T1与T2分割上都实现了最佳的性能，并有效的提升了结果的整体分布。其中，图6展示了结果的分布情况，一共分为了十个区间，分别是0-0.1，0.1-0.2，…，0.9-1.0，柱状图的高度代表在这个区间内的结果的数量，柱越高说明在这个区间内的结果数量越多。每一列代表不同的 模型，每一行代表不同的模态(T1，T2)。
表1:本发明的分割结果
Figure BDA0002390503520000081
图7A和7B分别展示了T1与T2分割结果在DSC上和在体积上的相关性。对于DSC的相关性，我们可以从图7A中看到结果基本上比较均匀的分布在参考线两侧，除了两例离群点之外，其余分割结果都存在着很好的相关性。而对于T1与T2的体积而言，它们具有比 DSC更明显的相关性。由于不同模态下胰腺癌的体积形状具有差异，所以我们将分割结果的 体积的相关性与label进行比较，从图7B中可以看到除了两个离群点之外其他点均匀地分布在参考两侧，而且相比于DSC显得更加集中，这也表明了在体积上T1与T2也具有很好的 相关性。另外，我们还使用皮尔逊相关系数来衡量T1与T2间的关系，从表2中可以看到我 们的模型在DSC和体积上仍然具有最高的相关系数。因此，可以说我们的MS-GAN成功的 使T1与T2产生了有效的融合。
表2：T1和T2结果之间的相关性比较
Figure BDA0002390503520000082
如表3所示，在目前所有的胰腺癌分割方法中，我们的模型在胰腺癌分割上取得了最佳 表现。我们的模型得到的T1与T2的结果均超过了63.94％的当前最高水平。值得一提的是， 我们的T1与T2的分割结果中只存在一例分割失败(Dice＝0％)的案例，而Zhu等人出现了 10例分割失的案例(总案例数为136)。进一步的，相比于Zhu等人的80000次迭代训练，我们的方法只需要23000次。因此，我们的算法不仅可以得到当前最佳的分割结果，在稳定性和资源开销上也表现得十分出色。
表3：我们的结果与其他最新方法的对比
Figure BDA0002390503520000091
需要说明的是，前文中我们在多模态MRI胰腺癌数据集上对本发明的方法进行了评估， 但这并不代表本发明仅能用于胰腺癌分割领域，本领域技术人员可以将其用于医学领域中其 它疾病图像的分割中。凡是基于本发明的思想所做的适应性改进，都应被视作本发明的保护 范围。
如图8所示，为了使本发明的目的和方案能够得到更加清晰的描述，以下以多模态MRI 的胰腺癌分割问题为例，阐述采用本发明的医学图像分割算法进行分割的详细步骤，包括：
1)对所有待处理的医学图像数据进行重采样，确保其都具有1×1×1mm的分辨率，并且 通过裁剪边缘区域将影像数据大小统一为256×256；
2)利用图2所示共享特征编码器结合对抗学习的结构来提取不同模态间相似的解剖结 构特征用于融合；
3)利用图3所示的平行解码器网络结合平均绝对误差结构来消除来自另一模态的特征 自适应干扰，分别强化自身分割结果；
4)基于不同模态的分割结果利用梯度下降法训练胰腺癌分割网络。在这个过程中可使用 Dice系数作为损失函数，分割网络的初始学习率和batch size分别为0.001和1，使用SGD优 化器进行训练。对于对抗网络，初始学习率被设置为0.0001，使用Adam作为优化器。
5)在测试阶段，将测试数据输入网络得到预测结果，并将其与医生手动勾画的标签进行 比较，形成最终的测试结果。
实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。基于 这样的理解，本发明还提供一种计算机程序产品，包括一个或多个计算机指令。所述计算机 指令可以存储在计算机可读存储介质中。所述计算机可读存储介质可以是计算机能够存储的 任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所 述可用介质可以是磁性介质(如：软盘、硬盘、磁带)、光介质(如：DVD)、或者半导体 介质(如：固态硬盘Solid State Disk(SSD))等。
参阅图9，本实施例提供一种电子设备90，电子设备90可以是台式机、便携式电脑、平 板电脑、智能手机等设备。详细的，电子设备90至少包括通过总线91连接的：存储器92、处理器93，其中，存储器92用于存储计算机程序，处理器93用于执行存储器92存储的计 算机程序，以执行前述的全部或部分步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral PomponentInterconnect，简称 PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。 该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表 示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他 设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如 至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、 网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、 现场可编程门阵列(Field－Programmable GateArray，简称FPGA)或者其他可编程逻辑器件、 分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明的多模态医学图像分割方法、系统、存储介质及电子设备，有效提高 了多模态医学图像分割任务中的多模态融合效率，同时避免了分割过程中的特征共适应干扰。 所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技 术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种多模态医学图像分割方法，其特征在于，包括：
构建共享特征编码器及平行解码器网络；
将不同模态的医学图像数据输入所述共享特征编码器，由所述共享特征编码器提取各所述模态之间的相似解剖结构特征；
构建判别器；令所述判别器与所述共享特征编码器进行对抗学习，以优化所述共享特征编码器提取模态间的相似解剖结构特征的能力；
将所述共享特征编码器输出的各所述模态的相似解剖结构特征一一对应地输入所述平行解码器网络中的各解码器，由各所述解码器分别在各所述模态的相似解剖结构特征的基础上突出各所述模态的特异性，从而输出各所述模态的医学图像数据的分割结果。
2.根据权利要求1所述的方法，其特征在于，所述判别器与所述共享特征编码器进行对抗学习的实现过程包括：
训练所述共享特征编码器，以使所述共享特征编码器的对抗性损失达到最大化，同时，最小化所述判别器的判别损失，以使所述判别器与所述共享特征编码器的博弈达到平衡；
其中，所述对抗性损失
Figure FDA0003717298720000011
所述判别损失的函数表示为
Figure FDA0003717298720000012
xt1与xt2是来自不同模态分布Xt1和Xt2的输入图像，E指代分布的期望，D是判别器模型；θE和θD分别表示所述共享特征编码器和所述判别器中的可训练参数；ft1和ft2分别表示T1与T2经过所述共享特征编码器得到的编码特征。
3.根据权利要求1所述的方法，其特征在于，还包括：
构建采用多尺度平均绝对误差损失函数的对抗性判别网络；
令所述对抗性判别网络在所述平行解码器网络执行分割任务的过程中突出不同模态的解剖结构特征的特异性，以优化各所述解码器的解码质量。
4.根据权利要求3所述的方法，其特征在于，所述多尺度平均绝对误差的对抗性损失函数的定义为：
Figure FDA0003717298720000013
其中，θS表示由所述共享特征编码器及所述平行解码器网络构成的整个分割网络的可训练参数集合；θD表示所述对抗性判别网络的可训练参数集合；N表示所述解码器的层数；
Figure FDA0003717298720000021
表示原始图像和被分割模型S预测的概率图的逐像素级乘法；
Figure FDA0003717298720000022
表示原始图像与标签的像素级乘法；fD(x)表示所述判别器从x提取的分层特征；lmae表示为平均绝对误差，又被称为L1距离，具体表示如下：
Figure FDA0003717298720000023
其中，M表示所述判别器的层数；
Figure FDA0003717298720000024
表示所述判别器的第i层特征，x与x*分别代表
Figure FDA0003717298720000025
和
Figure FDA0003717298720000026
的结果。
5.根据权利要求1所述的方法，其特征在于，
所述共享特征编码器包括：多个编码模块和与之一一对应的池化层；各所述编码模块均由两个大小为3×3，步长为1×1的卷积组成；所述池化层的池化核的大小为2×2；所述判别器采用四层卷积；
所述平行解码器网络包括：多个解码模块，各所述解码模块均由一个反卷积和两个大小为3×3且步长为1×1的卷积组成；最终的输出采用1×1卷积来实现像素级二分类。
6.一种多模态医学图像分割系统，其特征在于，包括：
共享特征编码器；所述共享特征编码器用于获取未配准的不同模态医学图像数据，从中提取各所述模态之间的相似解剖结构特征；
判别器；所述判别器用以与所述共享特征编码器进行对抗学习，以优化所述共享特征编码器提取模态间的相似解剖结构特征的能力；
平行解码器网络；所述平行解码器网络的各解码器用于一一对应地获取所述共享特征编码器输出的各所述模态的相似解剖结构特征，分别在各所述模态的相似解剖结构特征的基础上突出各所述模态的特异性，从而输出各所述模态的医学图像数据的分割结果。
7.根据权利要求6所述的系统，其特征在于，还包括：
采用平均绝对误差损失函数的对抗性判别网络；所述对抗性判别网络用以在所述平行解码器网络执行分割任务的过程中突出不同模态的解剖结构特征的特异性，以优化各所述解码器的解码质量。
8.一种计算机可读存储介质，其中存储有计算机程序，其特征在于，所述计算机程序被处理器加载执行时，实现如权利要求1至5中任一所述的多模态医学图像分割方法。
9.一种电子设备，其特征在于，包括：处理器及存储器；其中，
所述存储器用于存储计算机程序；
所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如权利要求1至5中任一所述的多模态医学图像分割方法。
CN202010112491.4A 2020-02-24 2020-02-24 多模态医学图像分割方法、系统、存储介质及电子设备 Active CN111353499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010112491.4A CN111353499B (zh) 2020-02-24 2020-02-24 多模态医学图像分割方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010112491.4A CN111353499B (zh) 2020-02-24 2020-02-24 多模态医学图像分割方法、系统、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111353499A CN111353499A (zh) 2020-06-30
CN111353499B true CN111353499B (zh) 2022-08-19

Family

ID=71195756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010112491.4A Active CN111353499B (zh) 2020-02-24 2020-02-24 多模态医学图像分割方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111353499B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496495B (zh) * 2021-06-25 2022-04-26 华中科技大学 可缺失输入的医学图像分割模型建立方法及分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN110084863A (zh) * 2019-04-25 2019-08-02 中山大学 一种基于生成对抗网络的多域图像转换方法与系统
CN110288609A (zh) * 2019-05-30 2019-09-27 南京师范大学 一种注意力机制引导的多模态全心脏图像分割方法
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN110084863A (zh) * 2019-04-25 2019-08-02 中山大学 一种基于生成对抗网络的多域图像转换方法与系统
CN110288609A (zh) * 2019-05-30 2019-09-27 南京师范大学 一种注意力机制引导的多模态全心脏图像分割方法
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Multi-Modal Learning from Unpaired Images: Application to Multi-Organ Segmentation in CT and MRI》;Vanya V. Valindria等;《2018 IEEE Winter Conference on Applications of Computer Vision》;20180507;第547-552页正文第1-4节，图3 *
《Multi-task Learning using Multi-modal Encoder-Decoder Networkswith Shared Skip Connections》;Ryohei Kuga等;《2017 IEEE International Conference on Computer Vision Workshops》;20171231;全文 *
《SegAN: Adversarial Network with Multi-scale L1 Loss for Medical Image Segmentation》;Yuan Xue 等;《detecarXiv:1706.01805v2》;20170716;第3-4页、图1 *

Also Published As

Publication number Publication date
CN111353499A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
Zhou et al. Dense convolutional network and its application in medical image analysis
Yin et al. [Retracted] U‐Net‐Based Medical Image Segmentation
Zhou et al. Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method
Lu et al. Half-UNet: A simplified U-Net architecture for medical image segmentation
CN111524106B (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
CN111461232A (zh) 一种基于多策略批量式主动学习的核磁共振图像分类方法
US11587291B2 (en) Systems and methods of contrastive point completion with fine-to-coarse refinement
Liu et al. IOUC-3DSFCNN: Segmentation of brain tumors via IOU constraint 3D symmetric full convolution network with multimodal auto-context
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
Ding et al. FTransCNN: Fusing Transformer and a CNN based on fuzzy logic for uncertain medical image segmentation
Zheng et al. Improving the slice interaction of 2.5 D CNN for automatic pancreas segmentation
Wang et al. Multiscale transunet++: dense hybrid u-net with transformer for medical image segmentation
CN112767417A (zh) 一种基于级联U-Net网络的多模态图像分割方法
Xu et al. BMAnet: Boundary mining with adversarial learning for semi-supervised 2D myocardial infarction segmentation
Huang et al. DS-UNeXt: depthwise separable convolution network with large convolutional kernel for medical image segmentation
Du et al. TSU-net: two-stage multi-scale cascade and multi-field fusion U-net for right ventricular segmentation
CN111353499B (zh) 多模态医学图像分割方法、系统、存储介质及电子设备
Shao et al. Application of U-Net and Optimized Clustering in Medical Image Segmentation: A Review.
Li et al. ESA-UNet for assisted diagnosis of cardiac magnetic resonance image based on the semantic segmentation of the heart
Kavitha et al. Brain tumor segmentation using a deep Shuffled‐YOLO network
Ma et al. An iterative multi‐path fully convolutional neural network for automatic cardiac segmentation in cine MR images
Shin et al. Three aspects on using convolutional neural networks for computer-aided detection in medical imaging
Hesham et al. Image colorization using Scaled-YOLOv4 detector
Yue et al. Generative Adversarial Network Combined with SE‐ResNet and Dilated Inception Block for Segmenting Retinal Vessels
US20220172370A1 (en) Method for detecting white matter lesions based on medical image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant