CN116563549A - 基于粗粒度弱标注的磁共振图像心脏分割方法 - Google Patents

基于粗粒度弱标注的磁共振图像心脏分割方法 Download PDF

Info

Publication number
CN116563549A
CN116563549A CN202310553567.0A CN202310553567A CN116563549A CN 116563549 A CN116563549 A CN 116563549A CN 202310553567 A CN202310553567 A CN 202310553567A CN 116563549 A CN116563549 A CN 116563549A
Authority
CN
China
Prior art keywords
decoder
convolution
module
segmentation
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310553567.0A
Other languages
English (en)
Other versions
CN116563549B (zh
Inventor
陈微
李晨
姚泽欢
罗馨
何玉麟
汤明鑫
孟人杰
罗楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310553567.0A priority Critical patent/CN116563549B/zh
Publication of CN116563549A publication Critical patent/CN116563549A/zh
Application granted granted Critical
Publication of CN116563549B publication Critical patent/CN116563549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于粗粒度弱标注的磁共振图像心脏分割方法，目的是解决现有方法要么依赖于逐像素精细标注，要么分割精度不高的问题。技术方案是：构建由输入预处理模块、编码器、分割第一解码器、分割第二解码器、重建解码器、伪标签生成模块、输出后处理模块组成的基于弱监督学习的磁共振图像心脏分割系统。准备训练该系统所需的数据集，将数据集划分为训练集和测试集。采用训练集对该系统进行训练，得到训练后的基于弱监督学习的磁共振图像心脏分割系统。采用训练后的基于弱监督学习的磁共振图像心脏分割系统对磁共振图像进行分割，得到心脏分割结果。本发明仅使用涂鸦画线的粗粒度弱标注就实现了对磁共振图像中的心脏结构进行高精度分割。

Description

基于粗粒度弱标注的磁共振图像心脏分割方法
技术领域
本发明涉及计算机视觉和医学图像处理领域，尤其涉及一种基于粗粒度弱标注(涂鸦画线)的弱监督学习对磁共振图像中的心脏结构进行分割的方法。
背景技术
人工智能是利用数字计算机或者数字计算机控制的传感器感知环境、获取知识并使用知识计算最佳结果的理论、方法、技术及应用系统。以神经网络模型为代表的人工智能算法在计算机视觉等领域取得了巨大的成功，分割准确性大幅提升。与此同时，云计算、大数据等技术在提升计算机运算速度，降低计算成本的同时，也为人工智能技术的发展提供了丰富的数据资源和算力支持，协助训练出更加智能化的算法模型应用于多个实际场景。
医学图像处理领域是人工智能技术的重要应用场景。随着医学成像技术的不断进步，近几十年中磁共振成像(MRI)技术发展突飞猛进，MRI影像数据量也呈现指数式增加。与此同时，基于人工智能技术的医学图像处理方法显示出巨大应用前景和应用价值。该方法凭借人工智能技术的速度、精度、可重复性等优势，对医学图像进行特征提取，使其中的临床感兴趣结果区域和轮廓更加突出，从而辅助医生进行临床诊疗并大幅减轻医生负担，有效提高诊疗效率，减少低级错误，降低医生工作量和压力，已在结节良恶性分类、器官肿瘤分割等任务中已经出现较为成熟的应用。左心室、右心室和心肌等是指示心脏及心血管健康的重要标志物，对心脏结构的准确分割能够辅助医生量化心室容积、射血分数、心室质量、室壁增厚以及室壁运动异常等临床指标，以定量分析心脏整体和局部的功能，进而诊断和治疗心血管疾病的关键步骤，因此具有较强的临床意义。
目前，绝大多数基于人工智能的磁共振心脏分割方法仍严重依赖强监督学习(supervised learning)方法才能达到比较好的预测效果，而这些方法需要专业的医生预先对磁共振图像中的心脏进行逐像素的细粒度强标注，勾勒心脏的轮廓，得到强标注数据集。而后分割模型的训练过程需要这些强标注数据集作为特征提取和重建的直接监督信号，帮助模型收敛与提升性能。然而，收集整理并细粒度标注大规模医学图像数据集需要耗费大量的人力和物力，且需要具备专业医学背景的人士。
因此，为了减少对细粒度强标注数据的依赖，减少标注成本同时提高磁共振心脏分割方法的性能，近年来有一些基于粗粒度弱标注数据的研究应用于医学图像处理，其中最具代表性的是弱监督学习方法(weakly-supervised learning)。弱监督学习方法是区别于强监督学习的另一种机制，它是指从弱标注数据中抽取图像等数据特征对神经网络进行训练的学习方法，使得模型能够直接从粗粒度弱标注数据中学习到输入数据特征，而无需使用逐像素的细粒度强标注。弱监督学习大致可以分为以下两类。
(1)基于图论的方法
基于图论的机器学习方法通常由多个步骤组成：首先使用基于图论的方法对涂鸦画线进行预处理并扩展成掩膜状的强标注；然后，利用扩展后的强标注来训练模型；最后利用训练好的模型重新标注数据集完成迭代训练和学习。基于图论的机器学习方法被广泛应用于扩展涂鸦画线，例如Random Walk(见文献“Grady L.Random walks for imagesegmentation[J].IEEE transactions on pattern analysis and machineintelligence模式识别和机器智能汇刊,2006,28(11):1768-1783.”，Grady L的论文：基于随机游走的图像分割)。此外，条件随机场(CRF)通常用于优化模型的预测，例如Gated CRF(见文献“Obukhov,A.,Georgoulis,S.,Dai,D.,Van Gool,L.:Gated CRF loss for weaklysupervised semantic image segmentation.In:Advances in Neural InformationProcessing Systems神经信息处理系统的进展(2019)”，Obukhov A等人的论文：用于弱监督的语义图像分割的门控CRF损失)。然而，上述方法受限于耗时的数据集重新标注过程，而且该过程容易出现错误，这些错误在模型训练过程中可能会传递到模型上，导致精度下降。
(2)基于神经网络的方法
基于神经网络的方法以端到端的方式在训练过程中直接生成伪标签，且伪标签直接参与模型训练，避免了重新标注数据集的过程。由于神经网络强大的表征学习能力，基于神经网络的弱监督学习方法取得了比基于图论方法更好的性能，因此得到了普及。Zhang等人提出了ShapePU框架，使用剪裁的图像处理手段对图像进行了数据增强，并对预测结果进行了全局一致性的约束(见文献“Zhang,K.,Zhuang,X.:Shapepu:A new pu learningframework regularized by global consistency for scribble supervised cardiacsegmentation.In:Medical Image Computing and Computer Assisted Intervention医学图像计算和计算机辅助干预会议.pp.162–172(2022)”，Zhang,K等人的论文：ShapePU：一个新的PU学习框架，通过全局一致性来约束涂鸦监督的心脏分割)。Luo等人提出了WSL4MIS框架，引入了一个带有dropout的辅助分割分支，并通过混合两个预测结果生成了伪标签(见文献“Luo,X.,Hu,M.,Liao,W.,Zhai,S.,Song,T.,Wang,G.,Zhang,S.:Scribble-supervised medical image segmentation via dual-branch network and dynamicallymixed pseudo labels supervision.In:Medical Image Computing and ComputerAssisted Intervention医学图像计算和计算机辅助干预会议.pp.528–538.Springer(2022)”，Luo X等人的论文：通过双分支网络和动态混合伪标签监督的涂鸦画线监督医学图像分割)。Zhang等人通过增加Mixup策略对涂鸦标注的数据进行全局正则化来完成数据增强并提高精度(见文献“Zhang,K.,Zhuang,X.:CycleMix:A holistic strategy formedical image segmentation from scribble supervision.In:Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern Recognition国际计算机视觉和模式识别会议.pp.11656–11665(2022)”，Zhang,K等人的论文：CycleMix：从涂鸦标注监督中获取医学图像分割的整体策略)，但上述方法需要跨样本的交互，不可避免地失去许多关键的结构特征，从而引入更多的不确定性。
综上所述，虽然弱监督学习方法能够有效缓解现有医学分割任务对细粒度强标注数据的需求，但弱监督学习和强监督学习的性能差距仍然显著，大大限制了前者的应用和发展。具体而言，在磁共振图像心脏分割任务中，涂鸦画线弱标注的心脏分割方法性能仍远低于细粒度强标注的方法性能，该领域仍面临如下困境：
(1)由于粗粒度的涂鸦画线属于稀疏的弱标注，现有方法通常利用编码器提取特征并通过解码器生成细粒度的伪标签，然而未标注的像素在涂鸦画线标注中占绝大多数，难以直接从中提取足够有效的目标语义，因此生成的伪标签质量不高，导致该方法和基于细粒度强标注的方法之间的Dice精度差距较大。
(2)由于粗粒度的涂鸦画线中缺乏目标形状的先验信息，现有的基于涂鸦画线标注的医学图像分割方法无法准确全面地定位目标边界，分割预测结果存在较多不合理的噪声，因此该方法和基于细粒度掩码标注的方法之间的豪斯多夫距离(Hausdorff distance)差距较大。
如何既解决细粒度强标注方法依赖于高成本的逐像素精细标注问题，又解决低成本粗粒度弱标注(涂鸦画线)方法对磁共振图像心脏分割精度不高的问题，是本领域技术人员极为关注的技术问题。
发明内容
本发明要解决的技术问题在于针对现有技术依赖于高成本的逐像素精细标注问题，以及低成本的粗粒度弱标注(涂鸦画线)方法对磁共振图像心脏分割精度不高的问题，提供一种基于弱监督学习的磁共振图像心脏分割方法。
本发明基于现有的深度学习模型框架，利用弱监督学习的思想，提出一种心脏分割方法，实现直接从粗粒度弱标注数据中学习到输入磁共振图像特征，仅使用涂鸦画线标注，缩小基于强标注方法和基于弱标注方法之间的分割精度差距，提高心脏分割的精度。
为解决上述技术问题，本发明的技术方案是：首先构建基于弱监督学习的磁共振图像心脏分割系统，该系统由输入预处理模块、编码器、分割第一解码器、分割第二解码器、重建解码器、伪标签生成模块、输出后处理模块构成。然后准备训练基于弱监督学习的磁共振图像心脏分割系统所需的数据集，将数据集按照4:1的比例划分为训练集和测试集。其次采用训练集对基于弱监督学习的磁共振图像心脏分割系统进行训练，得到训练后的基于弱监督学习的磁共振图像心脏分割系统。最后采用训练后的基于弱监督学习的磁共振图像心脏分割系统对用户输入的磁共振图像进行分割，得到心脏分割结果。
本发明利用弱监督学习，能够在仅依赖涂鸦画线的粗粒度弱标注数据的情况下，对基于弱监督学习的心脏分割系统进行训练，使得训练后的系统对用户输入的图像的分割精度接近基于细粒度强标注方法的分割性能。
本发明包括以下步骤：
第一步，构建基于弱监督学习的磁共振图像心脏分割系统。基于弱监督学习的磁共振图像心脏分割系统由输入预处理模块、编码器、分割第一解码器、分割第二解码器、重建解码器、伪标签生成模块、输出后处理模块构成，各模块均由多层卷积神经网络CNN(Convolutional Neural Network)在深度学习框架PyTorch(要求1.10版本及以上)中实现。
输入预处理模块与磁共振图像心脏数据集、编码器、分割第一解码器、分割第二解码器、伪标签生成模块、重建解码器相连，接收用户输入的图像及涂鸦画线的粗粒度弱标注，对图像及涂鸦画线的粗粒度弱标注进行随机旋转、翻转等增强，将增强后的磁共振图像发送给重建解码器；然后将随机产生的两个互补遮盖掩膜，利用两个互补的遮盖掩膜对增强后的磁共振图像进行遮盖，将遮盖后的磁共振图像发送给编码器，将两个互补遮盖掩膜发送给伪标签生成模块；最后将预处理后的涂鸦画线粗粒度弱标注发送给分割第一解码器、分割第二解码器。
编码器与输入预处理模块、分割第一解码器、分割第二解码器、重建解码器相连，编码器从输入预处理模块接收遮盖后的磁共振图像，从遮盖后的磁共振图像中提取高维的语义特征，将高维的语义特征发送给分割第一解码器、分割第二解码器和重建解码器。编码器由5个串联的卷积模块组成，其中第一卷积模块由2个卷积层、2个归一化层、2个激活函数层、1个随机失活层组成，第二至第五卷积模块与第一卷积模块相似，相比第一卷积模块均额外增加了一个核大小是2、步长是2、填充大小是0的最大池化层，最大池化层的功能是将特征分辨率缩小2倍。上述5个卷积模块中卷积层的卷积核大小均为3×3，步长是1，填充大小是1；激活函数层均采用LeakyReLU函数(见文献“Xu B,Wang N,Chen T,et al.Empiricalevaluation of rectified activations in convolutional network[J].arXivpreprint arXiv预印本:1505.00853,2015.”Xu B等人的论文：卷积网络中修正激活函数的经验评估)对特征进行非线性激活。随机失活层采用dropout正则化函数(见文献“Baldi P,Sadowski P.The dropout learning algorithm[J].Artificial intelligence,2014,210:78-122.”Baldi等人的论文：随机失活学习算法)对部分神经网络层进行随机失活操作，即以特定概率(本发明中设置为50％)使网络层在某轮训练迭代中停止工作。
分割第一解码器、分割第二解码器、重建解码器具有相同的网络架构，但是具有不同的权重参数和功能。分割第一解码器、分割第二解码器、重建解码器均由4个串联的卷积模块、1个输出预测模块、1个损失函数计算模块组成，每个卷积模块由3个卷积层、2个归一化层、2个激活函数层、1个级联层、1个上采样层组成。其中第一卷积层的卷积核大小是1×1，步长是1，填充大小是1，第二至第三卷积层的卷积核大小是3×3，步长是1，填充大小是1；所有激活函数层均采用LeakyReLU函数进行非线性激活；上采样层将输入特征分辨率放大2倍。输出预测模块由1个卷积核大小是3×3，步长是1，填充大小是1的卷积层、1个softmax激活函数层、1个argmax语义分割预测层组成。损失函数计算模块由二元交叉熵BCE损失函数(见文献“Ruby U,Yendapalli V.Binary cross entropy with deep learning techniquefor Image classification[J].International Journal of Advanced Trends inComputer Science and Engineering国际计算机科学与工程前沿杂志,2020,9(4).”，RubyU,Yendapalli V等人的论文：深度学习中的二元交叉熵应用于图像分类)组成。
分割第一解码器与输入预处理模块、编码器、伪标签生成模块、输出后处理模块相连，第一至第四卷积模块将编码器提取的高维语义特征还原为低维的结构性特征，输出预测模块中的卷积层将低维的结构性特征维度降低到心脏分割的类别个数(是4，类别包括右心室、左心室、心肌与背景)，接着输出预测模块中的softmax激活函数层得到4个类别的分割预测概率，并将每个类别的分割预测概率规范在[0,1]内，最后输出预测模块中的argmax语义分割预测层采用argmax函数从4个类别的分割预测概率中选择概率最大的类别作为当前像素点的预测类别，得到与磁共振图像同等分辨率大小的单通道掩膜，作为分割第一解码器对磁共振图像心脏的逐像素第一分割预测结果，并将第一分割预测结果发送给伪标签生成模块和输出后处理模块；此外，在训练阶段，分割第一解码器的损失函数计算模块从输入预处理模块接收涂鸦画线的粗粒度弱标注，采用二元交叉熵BCE损失函数计算涂鸦画线弱标注和第一分割预测结果之间的差异，将差值作为损失值，利用损失值的反向传播优化分割第一解码器、编码器；在对用户输入的图像进行分割时，分割第一解码器的损失函数计算模块不接收输入且不产生输出。
分割第二解码器与输入预处理模块、编码器、伪标签生成模块、输出后处理模块相连，第一至第四卷积模块将编码器提取的高维语义特征还原为低维的结构性特征，输出预测模块中的卷积层将低维的结构性特征维度降低到心脏分割的类别个数(是4)，接着输出预测模块中的softmax激活函数层得到4个类别的分割预测概率并将每个类别的分割预测概率都在[0,1]内，最后输出预测模块中的语义分割预测层采用argmax函数从4个类别的分割预测概率中选择概率最大的类别作为当前像素点的预测类别，得到与磁共振图像同等分辨率大小的单通道掩膜，作为分割第二解码器对磁共振图像心脏的逐像素第二分割预测结果，并将第二分割预测结果发送给伪标签生成模块和输出后处理模块；此外，在训练阶段，分割第二解码器的损失函数计算模块从输入预处理模块接收涂鸦画线的粗粒度弱标注，采用二元交叉熵BCE损失函数计算涂鸦画线弱标注和第二分割预测结果之间的差异，将差值作为损失值，利用损失值的反向传播优化分割第二解码器、编码器；在对用户输入的图像进行分割时，分割第二解码器的损失函数计算模块不接收输入且不产生输出，即只在训练时工作。
重建解码器与编码器、输入预处理模块相连，从编码器接收高维语义特征，将高维语义特征还原为低维的结构性特征，第一至第四卷积模块将编码器提取的高维语义特征还原为低维的结构性特征，输出预测模块中的卷积层将低维的结构性特征维度降低到磁共振图像的维度(是1)，然后完成图像遮盖重建。在训练阶段损失函数计算模块从输入预处理模块接收增强后的图像，利用MSE损失函数(见文献“David M.Allen.Mean Square Error ofPrediction as a Criterion for Selecting Variables,Technometrics技术计量学,1971,13:3,469-475.”，David M.Allen的论文：将预测结果的均方误差作为评价指标用于挑选变量)计算重建结果与增强后的图像之间的差值，将差值作为损失值，利用损失值的反向传播优化重建解码器、编码器；在对用户输入的图像进行分割时，损失函数计算模块不接收输入且不产生输出，即只在训练时工作。
伪标签生成模块与输入预处理模块、分割第一解码器、分割第二解码器、输出后处理模块相连，从输入预处理模块接收随机生成的两个互补遮盖掩膜，从分割第一解码器接收第一分割预测结果集合，从分割第二解码器接收第二分割预测结果集合，根据掩膜互补排布结合第一分割预测结果集合、第二分割预测结果集合，生成类似于逐像素强标注的掩膜状伪标签，将伪标签集合发送给输出后处理模块。
输出后处理模块与分割第一解码器、分割第二解码器、伪标签生成模块相连，由1个输出优化层、1个损失函数计算层组成。输出优化层从分割第一解码器接收第一分割预测结果集合，从分割第二解码器接收第二分割预测结果集合，从伪标签生成模块接收伪标签集合，计算伪标签中每个类别的连通域(见文献“赵峙江,张田文,张志宏.一种基于视觉模型与连通域统计的阈值分割新算法[J].电子学报,2005,33(5):793.”)，然后仅保留面积最大的连通域，得到经过优化后的伪标签。在训练阶段，损失函数计算层接收优化后的伪标签，利用Dice损失函数(见文献“Zhao R,Qian B,Zhang X,et al.Rethinking dice lossfor medical image segmentation[C]//2020IEEE International Conference on DataMining国际数据挖掘会议,2020:851-860.”，Zhao R等人的论文：再思考医学图像分割中dice损失函数)计算经过后处理的伪标签与第一分割预测结果集合之间的第一dice损失函数值，计算经过后处理的伪标签与第二分割预测结果集合之间的第二dice损失函数值，将第一dice损失函数值与第二dice损失函数值之和作为总损失值，利用总损失值的反向传播优化编码器、分割第一解码器、分割第二解码器。在对用户输入的图像进行分割时，输出后处理模块将优化后的伪标签作为本发明中基于弱监督学习的磁共振图像心脏分割系统的心脏分割结果；在对用户输入的图像进行分割时损失函数计算层不接收输入且不产生输出，即只在训练时工作。
第二步，构建用于训练基于弱监督学习的磁共振图像心脏分割系统的数据集。
方法是：
2.1采用来自国际心脏自动诊断竞赛(Automated Cardiac DiagnosisChallenge)中提供的开源数据集ACDC(https://www.creatis.insa-lyon.fr/Challenge/ acdc/index.html，获取时间：2022年12月1日)作为训练集。ACDC中所有医学图像均来自法国的第戎大学医院项目，该项目使用扫描厚度设定为5毫米的西门子(Siemens)磁共振扫描仪获取100名受试者的灰度三维图像，截取每名受试者心脏收缩和扩张两个阶段的扫描内容，共计200张MRI三维图像；然后将三维图像进行二维切片，得到共计1902张磁共振二维图像。ACDC数据集的标注是由多位有10年以上临床经验的心脏专家对每张二维图像手动形成的涂鸦画线标注(其中0代表磁共振图像中除心脏外的其他背景区域，1代表本心脏分割方法判断磁共振图像中的左心室区域，2代表心肌区域，3代表右心室区域，其余未标注区域赋值4)，将得到的粗粒度弱标注用于基于弱监督学习的磁共振图像心脏分割系统中各模块的训练；此外也逐像素标注了左心室、右心室和心肌的区域(其中0代表磁共振图像中除心脏外的其他背景区域，1代表本心脏分割方法判断磁共振图像中的左心室区域，2代表心肌区域，3代表右心室区域)，得到了掩膜状的细粒度强标注，但细粒度强标注仅用于系统精度验证，不参与训练。
2.2将ACDC数据集中的所有磁共振二维图像去识别化，将受试者的隐私、病史等个人信息从图像中剥离，得到1902张去识别化的二维图像，令其为X。
2.3将医生对X的涂鸦画线标注记为粗粒度弱标注Y用于基于弱监督学习的磁共振图像心脏分割系统中各模块的训练，将逐像素标注记为细粒度强标注Z作为金标准用于基于弱监督学习的磁共振图像心脏分割系统精度验证，将图像X、粗粒度弱标注Y、细粒度强标注Z的组成三元组<X,Y,Z>，将<X,Y,Z>作为去识别化的数据集；
2.4按照4:1的比例，将<X,Y,Z>划分为训练集<XTrain,YTrain>和测试集<XTest,ZTest>。XTrain为X中前4/5图像，XTest为X中后1/5图像，XTrain＝{x1,x2,…,x1521}，YTrain为X中前4/5图像的粗粒度弱标注，YTrain＝{y1,y2,…,y1521}，ZTest为X中后1/5图像的细粒度强标注，ZTest＝{z1522,z1523,…,z1902}。
第三步，采用<XTrain,YTrain>对基于弱监督学习的磁共振图像心脏分割系统的编码器、分割第一解码器、分割第二解码器、重建解码器进行训练，并保存训练后的编码器、分割第一解码器、分割第二解码器的权重参数；方法是：
3.1随机初始化编码器、分割第一解码器、分割第二解码器、重建解码器中的神经网络权重参数，方法是：初始化学习率learning rate为0.001，令批处理尺寸batchsize为12，令训练起始迭代数iteration_cur为1，令训练迭代总数iteration_max为60000。
3.2采用基于弱监督学习的磁共振图像心脏分割系统对训练集中的XTrain进行心脏分割，得到输入图像中心脏左心室、右心室和心肌的多类别分割结果，其中0代表背景，1代表左心室区域，2代表心肌区域，3代表右心室区域，然后利用YTrain计算多个损失函数值，通过损失函数值的反向传播优化心脏分割系统。具体方法是：
3.2.1输入预处理模块从XTrain中读取批处理尺寸(batchsize，记为N)大小的图像集合X0，采用预处理方法对X0进行预处理，得到预处理后的图像集合X1，方法是：
3.2.1.1令变量n＝1；
3.2.1.2将xn的尺寸规格化为256×256，得到规格化后的xn，记为xn′；
3.2.1.3将xn′从向量形式转化为张量(Tensor)形式，将张量形式的x′n记为得到张量形式的图像，将/>放入预处理后的图像集合X1；
3.2.1.4若n<N，令n＝n+1，转3.2.1.2；若n＝N，得到预处理后的磁共振图像集合X1，转3.2.3；
3.2.2输入预处理模块从YTrain中读取批处理尺寸batchsize大小的涂鸦标注Y0，采用3.2.1所述的预处理方法对Y0进行预处理，得到预处理后的涂鸦画线标注集合Y1，/>
3.2.3输入预处理模块采用随机掩膜遮盖方法对X1进行数据增强，先随机生成一个矩阵作为遮盖掩膜(mask)，该掩膜与X1中的图像具有相同大小的分辨率，然后利用mask遮盖X1中的图像，被掩盖的区域作为“黑箱”在训练过程中对编码器、分割第一解码器、分割第二解码器、重建解码器不可见。编码器和重建解码器通过恢复被掩盖的区域的结构信息学习到输入图像的结构性语义特征，得到与原始输入磁共振图像同等分辨率大小的重建后图像(对应X2和X3)，以此方式约束编码器和解码器学习到输入图像的结构性语义特征。方法是：
3.2.3.1令变量n＝1；
3.2.3.2随机生成一个大小为32×32的服从高斯分布的掩膜矩阵Γn；
3.2.3.3设定超参数比例τ％(40≤τ≤60)，将Γn中前τ％的数值取1，Γn中其它1-τ％的数值取0，得到一个由{0,1}组成的二值矩阵Γn′；
3.2.3.4利用最邻近插值方法(高强,高敬阳,赵地.GNNI U-net:基于组归一化与最近邻插值的MRI左心室轮廓精准分割网络[J].计算机科学,2020,47(08):213-220.)将Γn′尺寸扩大为与同等尺寸大小(256×256)，得到的第一掩膜矩阵/>此外，将/>中1和0的值互换，得到与/>互补的第二掩膜矩阵/>即/>与/>相加得到一个由{1}组成的矩阵，将随机块状掩膜/>和/>分别放到第一掩膜集合Γ1′和第二掩膜集合Γ2′中；
3.2.3.5将与/>进行逐像素矩阵乘，得到经过随机块状掩膜/>遮盖后的图像将/>放到经过随机块状掩膜遮盖后第一图像集合X2中。
3.2.3.6将与/>进行逐像素矩阵乘法，得到经过随机块状掩膜/>遮盖后的图像将/>放到经过随机块状掩膜遮盖后第二图像集合X3中。
3.2.3.7若n<N，令n＝n+1，转3.2.3.2；若n＝N，得到X2和X3， 将X2和X3发送给编码器，将随机块状掩膜集合Γ1′和Γ2′发送给伪标签生成模块，/> 转3.2.4；
3.2.4编码器从输入预处理模块接收X2，采用特征提取方法对X2进行特征提取，得到X2的高维的语义特征集合θ2，将θ2发送给分割第一解码器和重建解码器。具体方法是：
3.2.4.1初始化n＝1；
3.2.4.2编码器第一卷积模块采用卷积方法对执行特征提取，得到编码器第一卷积模块的结果/>将/>发送给编码器第二卷积模块、分割第一解码器第一卷积模块、分割第二解码器第一卷积模块、重建解码器第一卷积模块，方法是：
3.2.4.2.1编码器第一卷积模块的第一卷积层对进行二维卷积，输入通道是1，得到输出通道数是16的二维卷积结果，将/>第一卷积结果发送给第一归一化层；
3.2.4.2.2编码器第一卷积模块的第一归一化层对第一卷积结果进行归一化操作，得到/>第一归一化结果，将/>第一归一化结果发送给第一激活函数层；
3.2.4.2.3编码器第一卷积模块的第一激活函数层对第一归一化结果进行非线性激活，得到/>第一激活结果，将/>第一激活结果发送给随机失活层；
3.2.4.2.4编码器第一卷积模块的随机失活层对第一激活结果进行随机失活操作，得到/>随机失活结果，将/>随机失活结果发送给第二卷积层；
3.2.4.2.5编码器第一卷积模块的第二卷积层对随机失活结果进行二维卷积，输入通道是16，得到输出通道数是16的/>第二卷积结果，将/>第二卷积结果发送给第二归一化层；
3.2.4.2.6编码器第一卷积模块的第二归一化层对第二卷积结果进行归一化操作，得到/>第二归一化结果，将/>第二归一化结果发送给第二激活函数层；
3.2.4.2.7编码器第一卷积模块的第二激活函数层对第二归一化结果进行非线性激活，得到输出通道数是16的/>第二激活结果作为编码器第一卷积模块的结果/>将发送给编码器第二卷积模块、分割第一解码器第一卷积模块、分割第二解码器第一卷积模块、重建解码器第一卷积模块；
3.2.4.3编码器第二卷积模块从编码器第一卷积模块接收编码器第二卷积模块的最大池化层对/>进行池化操作，得到/>的池化结果，采用3.2.4.2步所述卷积方法对/>的池化结果进行特征提取，得到输出通道数是32的编码器第二卷积模块的结果将/>发送给编码器第三卷积模块、分割第一解码器第二卷积模块、分割第二解码器第二卷积模块、重建解码器第二卷积模块；
3.2.4.4编码器第三卷积模块从编码器第二卷积模块接收编码器第三卷积模块的最大池化层对/>进行池化操作，得到/>的池化结果，采用3.2.4.2步所述卷积方法对/>的池化结果进行特征提取，得到输出通道数是64的编码器第三卷积模块的结果将/>发送给编码器第四卷积模块、分割第一解码器第三卷积模块、分割第二解码器第三卷积模块、重建解码器第三卷积模块；
3.2.4.5编码器第四卷积模块从编码器第三卷积模块接收编码器第四卷积模块的最大池化层对/>进行池化操作，得到/>的池化结果，采用3.2.4.2步所述卷积方法对/>的池化结果进行特征提取，得到输出通道数是128的编码器第四卷积模块的结果将/>发送给编码器第五卷积模块、分割第一解码器第四卷积模块、分割第二解码器第四卷积模块、重建解码器第四卷积模块；
3.2.4.6编码器第五卷积模块从编码器第四卷积模块接收编码器第五卷积模块的最大池化层对/>进行池化操作，得到/>的池化结果，采用3.2.4.2
步所述卷积方法对的池化结果进行特征提取，得到输出通道数是256的编码器第五卷积模块的结果/>将/>放到X2的高维的语义特征集合θ2中；
3.2.4.7若n＝N，得到高维的语义特征集合集合θ2，将θ2发送给分割第一解码器和重建解码器，转3.2.5；否则n＝n+1，转3.2.4.2。
3.2.5编码器从输入预处理模块接收X3(输入通道数为1)，采用3.2.4所述特征提取方法对X3进行特征提取，得到X3的高维的语义特征集合 将θ3发送给分割第二解码器和重建解码器。
3.2.6分割第一解码器从编码器接收θ2，采用解码器特征还原方法将θ2还原为低维的第一结构性特征β2，然后产生第一分割预测结果方法是：
3.2.6.1令n＝1；
3.2.6.2分割第一解码器第四卷积模块从编码器接收θ2和编码器第四卷积模块输出的结果采用逆卷积方法，将/>与θ2进行通道维度的级联操作，得到级联后的θ2，然后将级联后的/>(通道数是256)进行特征还原，得到分割第一解码器第四卷积模块的结果(通道数是128)，将/>发送给分割第一解码器第三卷积模块，方法是：
3.2.6.2.1分割第一解码器第四卷积模块的第一卷积层对进行二维卷积，输
入通道是256，得到输出通道数是128的第一卷积结果，将卷积结果发送给上采样层；
3.2.6.2.2分割第一解码器第四卷积模块的上采样层对卷积结果进行上采
样操作，得到上采样结果，将/>上采样结果发送给分割第一解码器第四卷积模块的级联层；
3.2.6.2.3分割第一解码器第四卷积模块的级联层将上采样结果(通道数是128)和编码器第四卷积模块输出的结果/>(通道数是128)进行通道维度的
级联操作，得到级联后的结果(通道数是256)，将/>发送给解码器第四卷积模块的第二卷积层；
3.2.6.2.4分割第一解码器第四卷积模块的第二卷积层对进行二维卷积，输入通道是256，得到输出通道数是128的/>第一卷积结果，将/>第一卷积结果发送给第一归一化层；
3.2.6.2.5分割第一解码器第四卷积模块的第一归一化层对第一卷积结果进行归一化操作，得到/>第一归一化结果，将/>第一归一化结果发送给第一激活函数层；
3.2.6.2.6分割第一解码器第四卷积模块的第一激活函数层对第一归一化结果进行非线性激活，得到/>第一激活结果，将/>第一激活结果发送给第三卷积层；
3.2.6.2.7分割第一解码器第四卷积模块的第三卷积层对第一激活结果进行二维卷积，输入通道是128，得到输出通道数是128的/>第二卷积结果，将/>第二卷积结果发送给第二归一化层；
3.2.6.2.8分割第一解码器第四卷积模块的第二归一化层对第二卷积结果进行归一化操作，得到/>第二归一化结果，将/>第二归一化结果发送给第二激活函数层；
3.2.6.2.9分割第一解码器第四卷积模块的第二激活函数层对第二归一化结果进行非线性激活，得到输出通道数是128的/>第二激活结果，并作为分割第一解码器第四卷积模块的输出结果/>将/>发送给分割第一解码器第三卷积模块；
3.2.6.3分割第一解码器第三卷积模块从分割第一解码器第四卷积模块接收从编码器第三卷积模块接收/>采用3.2.6.2步所述的逆卷积方法，将/>与/>进行通道维度的级联操作，得到级联后的/>然后将级联后的/>进行特征还原，得到输出通道数是64的分割第一解码器第三卷积模块的结果/>将/>发送给分割第一解码器第二卷积模块；
3.2.6.4分割第一解码器第二卷积模块从分割第一解码器第三卷积模块接收从编码器第二卷积模块接收/>采用3.2.6.2步所述的逆卷积方法，将/>与/>进行通道维度的级联操作，得到级联后的/>然后将级联后的/>进行特征还原，得到输出通道数是32的分割第一解码器第二卷积模块的结果/>将/>发送给分割第一解码器第一卷积模块；
3.2.6.5分割第一解码器第一卷积模块从分割第一解码器第二卷积模块接收从编码器第一卷积模块接收/>采用3.2.6.2步所述的逆卷积方法，将/>与/>进行通道维度的级联操作，得到级联后的/>然后将级联后的/>进行特征还原，得到输出通道数是16的低维结构性特征/>将/>发送给分割第一解码器的输出预测模块；
3.2.6.6分割第一解码器的输出预测模块从分割第一解码器第一卷积模块接收采用分割预测方法对/>进行分割预测，得到对磁共振图像心脏分割预测结果/>方法是：
3.2.6.6.1输出预测模块的卷积层对进行二维卷积，输入通道是16，得到输出通道数是4的/>二维卷积结果，将/>二维卷积结果发送给激活函数层；
3.2.6.6.2激活函数层采用Softmax函数对二维卷积结果进行非线性激活，得到分割预测概率pn，将pn发送给语义分割预测层；/>
3.2.6.6.3语义分割预测层采用argmax函数从分割预测概率pn中逐像素的选择最大概率的类别作为分割第一解码器的预测结果将/>放入第一分割预测结果集合/>中；
3.2.6.7分割第一解码器的损失函数计算模块采用二元交叉熵BCE损失函数，按公式(1)计算YTrain中涂鸦画线弱标注yn和心脏预测分割结果之间的差异，将差值作为损失值，然后利用损失值的反向传播经过分割第一解码器、编码器，公式(1)为：
其中1(yn)代表仅计算涂鸦画线弱标注yn中有标注的区域损失值，C代表心脏分割的类别数4，1≤c≤C。
3.2.6.8若n＝N，得到分割第一解码器的第一分割预测结果集合 将/>发送给伪标签生成模块，转3.2.7；否则令n＝n+1，转3.2.6.2。
3.2.7分割第二解码器从编码器接收θ3，采用3.2.6步所述的解码器特征还原方法将θ3还原为低维的第二结构性特征β3，并产生第二分割预测集合 然后采用公式(1)计算损失值/>最后将/>发送给伪标签生成模块。
3.2.8伪标签生成模块从分割第一解码器接收从分割第二解码器接收/>从输入预处理模块接收随机生成的互补的第一掩膜集合Γ1′和第二掩膜集合Γ2′，根据Γ1′和Γ2′掩膜的互补排布将/>和/>进行结合，最后生成类似于逐像素强标注的伪标签集合/>将伪标签集合/>发送给输出后处理模块。方法是：
3.2.8.1令n＝1；
3.2.8.2根据掩膜和/>的互补排布，将/>和/>按公式(2)进行逐像素结合，生成伪标签/> 中每个像素值代表该像素点的类别，将/>放到伪标签集合/>中：
其中代表选择掩膜矩阵/>中被覆盖的区域并返回1，未被覆盖的区域返回0；/>代表选择掩膜矩阵/>中被覆盖的区域并返回1，未被覆盖的区域返回0。
3.2.8.3若n＝N，得到伪标签集合 将/>发送给输出后处理模块，转3.2.9；否则令n＝n+1，转3.2.8.2。
3.2.9输出后处理模块从伪标签生成模块接收并计算经过后处理的伪标签与第一分割预测结果集合/>与第二分割预测结果集合/>之间的损失值，利用损失值的反向传播优化编码器、分割第一解码器、分割第二解码器。方法是：
3.2.9.1输出优化层采用输出后处理方法优化伪标签计算/>中每个类别的连通域及其面积，然后仅保留面积最大的连通域，得到后处理的伪标签集合/>方法是：
3.2.9.1.1令变量n＝1；令类别值m＝1；
3.2.9.1.2筛选伪标签中所有类别为m的像素区域，使用OpenCV连通域计算工具(cv2.connectedComponentsWithStats，版本号4.6.0)得到该类别区域中的所有连通域，并计算各个连通域的面积，保留面积最大的连通域，其余区域设置为背景类别值(0)。/>
3.2.9.1.3若m<4，令m＝m+1，转3.2.9.1.2；若m＝4，n<N，令n＝n+1，m＝1，转3.2.9.1.2；若n＝N，得到伪标签的后处理结果/>将/>放到后处理的伪标签
集合中，/>转3.2.9.2；
3.2.9.2损失函数计算层从输出优化层接收从分割第一解码器接收/>从分割第二解码器接收/>采用伪标签损失函数计算方法，计算/>和/>的第一dice损失函数值、/>和/>的第二dice损失函数值，对第一dice损失函数值与第二dice损失函数值求和，得到总的损失值，通过反向回传梯度，优化编码器、分割第一解码器和分割第二解码器。方法是：
3.2.9.2.1令变量n＝1；
3.2.9.2.2利用进行反向监督，通过公式(3)计算对第一分割预测结果/>第二分割预测结果/>的dice总损失函数值/>
3.2.9.2.3若n<N，令n＝n+1，转3.2.9.2；若n＝N，转3.2.10；
3.2.10重建解码器从编码器接收第一高维语义特征θ2和第二高维语义特征θ3，采用3.2.6步所述的解码器特征还原方法将θ2还原为低维(16)的第三结构性特征ω2，同时采用3.2.6步所述的解码器特征还原方法将θ3还原为低维(16)的第四结构性特征ω3。
3.2.11重建解码器的输出预测模块采用卷积操作将ω2的维度(是16)降低到磁共振图像的维度(灰度图像是1)，得到对掩膜覆盖后磁共振图像的第一重建结果集合Q1，
3.2.12重建解码器的输出预测模块采用卷积操作将ω3的维度(是16)降低到磁共振图像的维度(灰度图像是1)，得到对掩膜覆盖后磁共振图像的第二重建结果集合Q2，
3.2.13重建解码器采用公式(4)作为重建损失函数计算Q1、Q2和增强后的磁共振图像X1之间的差值，通过缩小差值得到一个与X1相似的重建图像，通过损失函数值的反向传播优化编码器和重建解码器。
3.3若当前训练轮数iteration_cur大于训练迭代总轮数iteration_max，结束训练，将训练后的编码器、分割第一解码器、分割第二解码器的权重参数以pth格式保存，转第四步。若当前训练轮数iteration_cur小于等于训练迭代总轮数iteration_max，将学习率learningrate按公式(5)进行余弦衰减，令iteration_cur＝iteration_cur+1，转3.2继续训练。
第四步，基于弱监督学习的磁共振图像心脏分割系统加载pth格式的权重参数，得到训练后的基于弱监督学习的磁共振图像心脏分割系统。
第五步，训练后的基于弱监督学习的磁共振图像心脏分割系统利用输入预处理模块、编码器、分割第一解码器、分割第二解码器、伪标签生成模块、输出后处理模块(重建解码器只参与训练，在对用户输入的图像进行分割时不参与)对用户输入的磁共振图像进行心脏结构分割，得到预测的心脏分割结果。方法是：
5.1训练后的基于弱监督学习的磁共振图像心脏分割系统接收用户输入的磁共振图像Xuser，；
5.2输入预处理模块采用3.2.1步所述的预处理方法对Xuser进行预处理，得到预处理后的图像
5.3编码器从输入预处理模块接收预处理后的图像采用3.2.4步所述的特征提取方法对/>进行特征提取，得到/>的高维语义特征集合θuser，将θuser发送给分割第一解码器、分割第二解码器。
5.4分割第一解码器从编码器接收的高维语义特征集合θuser，采用3.2.6步所述解码器特征还原方法将θuser还原为Xuser的低维的第一结构性特征/>并得到Xuser的第一分割预测结果/>将/>发送给伪标签生成模块。/>与人工逐像素强标注的格式保持一致，/>的图像分辨率大小与磁共振图像分辨率一致，是由{0,1,2,3}组成的单通道二维矩阵，其中0代表磁共振图像中除心脏外的其他背景区域，1代表本心脏分割方法判断磁共振图像中的左心室区域，2代表心肌区域，3代表右心室区域，作为对用户输入的磁共振图像Xuser的逐像素心脏识别结果。
5.5分割第二解码器从编码器接收的高维语义特征集合θuser，采用3.2.6步所述解码器特征还原方法将θuser还原为Xuser低维的第二结构性特征/>并得到Xuser的第二分割预测结果/>将/>发送给伪标签生成模块。
5.6伪标签生成模块从分割第一解码器接收从分割第二解码器接收/>根据公式(6)生成Xuser的伪标签/>发送给输出后处理模块。
其中α是一个由{0,1}组成的随机矩阵，大小与和/>相同，通过α和/>的矩阵乘法、(1-α)和/>的矩阵乘法并求和，随机选择/>和/>中的逐像素类别赋予伪标签
5.7输出后处理模块从伪标签生成模块接收采用3.2.9.1所述的输出后处理方法对/>进行优化，得到后处理的伪标签/>作为系统对用户输入的磁共振图像Xuser的心脏分割结果。
采用本发明可以达到以下技术效果：
本发明仅使用涂鸦画线的粗粒度弱标注对磁共振图像中的心脏结构进行分割，能够提高心脏的分割精度，可达到88.7％的dice性能，而当使用同样的编码器和解码器时，仅使用涂鸦画线弱标注(如图4第二行所示)训练后的基准模型分割dice精度仅为48.8％，使用基于图论的机器学习方法Randomwalk将涂鸦画线扩展后的分割模型精度为78.8％的dice性能，如图4第三行所示，使用基于熵最小化原则的机器学习方法Entropy Mini将涂鸦画线扩展后的分割模型精度为84.6％的dice性能，使用基于弱监督学习方法CycleMix训练后的分割模型取得85.5％的dice性能，使用基于弱监督学习方法ShapePU训练后的分割模型取得85.1％的dice性能，使用基于弱监督学习方法ZScribbleSeg训练后的分割模型取得86.2％的dice性能。因此，本发明均大幅超过现有基于涂鸦画线标注的分割方法的精度。虽然目前公开的利用人工逐像素的强标注结果开展训练的dice精度为91.1％，但本发明大幅减少了基于强/弱标注的分割精度差距，在仅使用低成本的粗粒度弱标注就达到了高成本的细粒度强标注近似水平分割精度，有效减少了由于人工标注磁共振心脏图像所产生的时间、人力、物力成本。
附图说明
图1是本发明第一步构建的基于弱监督学习的磁共振图像心脏分割系统逻辑结构图。
图2是本发明总体流程图。
图3是本发明第3.2.3步输入预处理模块采用随机掩膜遮盖方法对X1进行随机掩膜遮盖、本发明第3.2.11步和第3.2.12步重建解码器对遮盖后图像进行重建的图像变化示意图。
图4是本发明第5.6步的伪标签生成模块根据心脏分割结果生成伪标签时图像变化的示意图。
具体实施方式
下面结合附图和实施例对本发明进行进一步说明。
如图2所示，本发明包括以下步骤：
第一步，构建基于弱监督学习的磁共振图像心脏分割系统。基于弱监督学习的磁共振图像心脏分割系统如图1所示，由输入预处理模块、编码器、分割第一解码器、分割第二解码器、重建解码器、伪标签生成模块、输出后处理模块构成，各模块均由多层卷积神经网络CNN在深度学习框架PyTorch(本实施例采用1.10版本)中实现。
输入预处理模块与磁共振图像心脏数据集、编码器、分割第一解码器、分割第二解码器、伪标签生成模块、重建解码器相连，接收用户输入的图像及涂鸦画线的粗粒度弱标注，对图像及涂鸦画线的粗粒度弱标注进行随机旋转、翻转等增强，将增强后的磁共振图像发送给重建解码器；然后将随机产生的两个互补遮盖掩膜，利用两个互补的遮盖掩膜对增强后的磁共振图像进行遮盖，将遮盖后的磁共振图像发送给编码器，将两个互补遮盖掩膜发送给伪标签生成模块；最后将预处理后的涂鸦画线粗粒度弱标注发送给分割第一解码器、分割第二解码器。
编码器与输入预处理模块、分割第一解码器、分割第二解码器、重建解码器相连，编码器从输入预处理模块接收遮盖后的磁共振图像，从遮盖后的磁共振图像中提取高维的语义特征，将高维的语义特征发送给分割第一解码器、分割第二解码器和重建解码器。编码器由5个串联的卷积模块组成，其中第一卷积模块由2个卷积层、2个归一化层、2个激活函数层、1个随机失活层组成，第二至第五卷积模块与第一卷积模块相似，相比第一卷积模块均额外增加了一个核大小是2、步长是2、填充大小是0的最大池化层，最大池化层的功能是将特征分辨率缩小2倍。上述5个卷积模块中卷积层的卷积核大小均为3×3，步长是1，填充大小是1；激活函数层均采用LeakyReLU函数对特征进行非线性激活。随机失活层采用dropout正则化函数对部分神经网络层进行随机失活操作，即以特定概率(本发明中设置为50％)使网络层在某轮训练迭代中停止工作。
分割第一解码器、分割第二解码器、重建解码器具有相同的网络架构，但是具有不同的权重参数和功能。分割第一解码器、分割第二解码器、重建解码器均由4个串联的卷积模块、1个输出预测模块、1个损失函数计算模块组成，每个卷积模块由3个卷积层、2个归一化层、2个激活函数层、1个级联层、1个上采样层组成。其中第一卷积层的卷积核大小是1×1，步长是1，填充大小是1，第二至第三卷积层的卷积核大小是3×3，步长是1，填充大小是1；所有激活函数层均采用LeakyReLU函数进行非线性激活；上采样层将输入特征分辨率放大2倍。输出预测模块由1个卷积核大小是3×3，步长是1，填充大小是1的卷积层、1个softmax激活函数层、1个argmax语义分割预测层组成。损失函数计算模块由二元交叉熵BCE损失函数组成。
分割第一解码器与输入预处理模块、编码器、伪标签生成模块、输出后处理模块相连，第一至第四卷积模块将编码器提取的高维语义特征还原为低维的结构性特征，输出预测模块中的卷积层将低维的结构性特征维度降低到心脏分割的类别个数(是4，类别包括右心室、左心室、心肌与背景)，接着输出预测模块中的softmax激活函数层得到4个类别的分割预测概率，并将每个类别的分割预测概率规范在[0,1]内，最后输出预测模块中的argmax语义分割预测层采用argmax函数从4个类别的分割预测概率中选择概率最大的类别作为当前像素点的预测类别，得到与磁共振图像同等分辨率大小的单通道掩膜，作为分割第一解码器对磁共振图像心脏的逐像素第一分割预测结果，并将第一分割预测结果发送给伪标签生成模块和输出后处理模块；此外，在训练阶段，分割第一解码器的损失函数计算模块从输入预处理模块接收涂鸦画线的粗粒度弱标注，采用二元交叉熵BCE损失函数计算涂鸦画线弱标注和第一分割预测结果之间的差异，将差值作为损失值，利用损失值的反向传播优化分割第一解码器、编码器；在对用户输入的图像进行分割时，分割第一解码器的损失函数计算模块不接收输入且不产生输出。
分割第二解码器与输入预处理模块、编码器、伪标签生成模块、输出后处理模块相连，第一至第四卷积模块将编码器提取的高维语义特征还原为低维的结构性特征，输出预测模块中的卷积层将低维的结构性特征维度降低到心脏分割的类别个数(是4)，接着输出预测模块中的softmax激活函数层得到4个类别的分割预测概率并将每个类别的分割预测概率都在[0,1]内，最后输出预测模块中的语义分割预测层采用argmax函数从4个类别的分割预测概率中选择概率最大的类别作为当前像素点的预测类别，得到与磁共振图像同等分辨率大小的单通道掩膜，作为分割第二解码器对磁共振图像心脏的逐像素第二分割预测结果，并将第二分割预测结果发送给伪标签生成模块和输出后处理模块；此外，在训练阶段，分割第二解码器的损失函数计算模块从输入预处理模块接收涂鸦画线的粗粒度弱标注，采用二元交叉熵BCE损失函数计算涂鸦画线弱标注和第二分割预测结果之间的差异，将差值作为损失值，利用损失值的反向传播优化分割第二解码器、编码器；在对用户输入的图像进行分割时，分割第二解码器的损失函数计算模块不接收输入且不产生输出，即只在训练时工作。
重建解码器与编码器、输入预处理模块相连，从编码器接收高维语义特征，将高维语义特征还原为低维的结构性特征，第一至第四卷积模块将编码器提取的高维语义特征还原为低维的结构性特征，输出预测模块中的卷积层将低维的结构性特征维度降低到磁共振图像的维度(是1)，然后完成图像遮盖重建。在训练阶段损失函数计算模块从输入预处理模块接收增强后的图像，利用MSE损失函数计算重建结果与增强后的图像之间的差值，将差值作为损失值，利用损失值的反向传播优化重建解码器、编码器；在对用户输入的图像进行分割时，损失函数计算模块不接收输入且不产生输出，即只在训练时工作。
伪标签生成模块与输入预处理模块、分割第一解码器、分割第二解码器、输出后处理模块相连，从输入预处理模块接收随机生成的两个互补遮盖掩膜，从分割第一解码器接收第一分割预测结果集合，从分割第二解码器接收第二分割预测结果集合，根据掩膜互补排布结合第一分割预测结果集合、第二分割预测结果集合，生成类似于逐像素强标注的掩膜状伪标签，将伪标签集合发送给输出后处理模块。
输出后处理模块与分割第一解码器、分割第二解码器、伪标签生成模块相连，由1个输出优化层、1个损失函数计算层组成。输出优化层从分割第一解码器接收第一分割预测结果集合，从分割第二解码器接收第二分割预测结果集合，从伪标签生成模块接收伪标签集合，计算伪标签中每个类别的连通域(见文献“赵峙江,张田文,张志宏.一种基于视觉模型与连通域统计的阈值分割新算法[J].电子学报,2005,33(5):793.”)，然后仅保留面积最大的连通域，得到经过优化后的伪标签。在训练阶段，损失函数计算层接收优化后的伪标签，利用Dice损失函数计算经过后处理的伪标签与第一分割预测结果集合之间的第一dice损失函数值，计算经过后处理的伪标签与第二分割预测结果集合之间的第二dice损失函数值，将第一dice损失函数值与第二dice损失函数值之和作为总损失值，利用总损失值的反向传播优化编码器、分割第一解码器、分割第二解码器。在对用户输入的图像进行分割时，输出后处理模块将优化后的伪标签作为本发明中基于弱监督学习的磁共振图像心脏分割系统的心脏分割结果；在对用户输入的图像进行分割时损失函数计算层不接收输入且不产生输出，即只在训练时工作。
第二步，构建用于训练基于弱监督学习的磁共振图像心脏分割系统的数据集。方法是：
2.1采用来自国际心脏自动诊断竞赛(Automated Cardiac DiagnosisChallenge)中提供的开源数据集ACDC(https://www.creatis.insa-lyon.fr/Challenge/acdc/index.html，获取时间：2022年12月1日)作为训练集。ACDC中所有医学图像均来自法国的第戎大学医院项目，该项目使用扫描厚度设定为5毫米的西门子(Siemens)磁共振扫描仪获取100名受试者的灰度三维图像，截取每名受试者心脏收缩和扩张两个阶段的扫描内容，共计200张MRI三维图像；然后将三维图像进行二维切片，得到共计1902张磁共振二维图像。ACDC数据集的标注是由多位有10年以上临床经验的心脏专家对每张二维图像手动形成的涂鸦画线标注(其中0代表磁共振图像中除心脏外的其他背景区域，1代表本心脏分割方法判断磁共振图像中的左心室区域，2代表心肌区域，3代表右心室区域，其余未标注区域赋值4)，将得到的粗粒度弱标注用于基于弱监督学习的磁共振图像心脏分割系统中各模块的训练；此外也逐像素标注了左心室、右心室和心肌的区域(其中0代表磁共振图像中除心脏外的其他背景区域，1代表本心脏分割方法判断磁共振图像中的左心室区域，2代表心肌区域，3代表右心室区域)，得到了掩膜状的细粒度强标注，但细粒度强标注仅用于系统精度验证，不参与训练。
2.2将ACDC数据集中的所有磁共振二维图像去识别化，将受试者的隐私、病史等个人信息从图像中剥离，得到1902张去识别化的二维图像，令其为X。
2.3将医生对X的涂鸦画线标注记为粗粒度弱标注Y用于基于弱监督学习的磁共振图像心脏分割系统中各模块的训练，将逐像素标注记为细粒度强标注Z作为金标准用于基于弱监督学习的磁共振图像心脏分割系统精度验证，将图像X、粗粒度弱标注Y、细粒度强标注Z的组成三元组<X,Y,Z>，将<X,Y,Z>作为去识别化的数据集；
2.4按照4:1的比例，将<X,Y,Z>划分为训练集<XTrain,YTrain>和测试集<Xtest,ZTest>。XTrain为X中前4/5图像，XTest为X中后1/5图像，XTrain＝{x1,x2,…,x1521}，YTrain为X中前4/5图像的粗粒度弱标注，YTrain＝{y1,y2,…,y1521}，ZTest为X中后1/5图像的细粒度强标注，ZTest＝{z1522,z1523,…,z1902}。
第三步，采用<XTrain,YTrain>对基于弱监督学习的磁共振图像心脏分割系统的编码器、分割第一解码器、分割第二解码器、重建解码器进行训练，并保存训练后的编码器、分割第一解码器、分割第二解码器的权重参数；方法是：
3.1随机初始化编码器、分割第一解码器、分割第二解码器、重建解码器中的神经网络权重参数，方法是：初始化学习率learning rate为0.001，令批处理尺寸batchsize为12，令训练起始迭代数iteration_cur为1，令训练迭代总数iteration_max为60000。
3.2采用基于弱监督学习的磁共振图像心脏分割系统对训练集中的XTrain进行心脏分割，得到输入图像中心脏左心室、右心室和心肌的多类别分割结果，其中0代表背景，1代表左心室区域，2代表心肌区域，3代表右心室区域，然后利用YTrain计算多个损失函数值，通过损失函数值的反向传播优化心脏分割系统。具体方法是：
3.2.1输入预处理模块从XTrain中读取批处理尺寸(batchsize，记为N)大小的图像集合X0，采用预处理方法对X0进行预处理，得到预处理后的图像集合X1，方法是：
3.2.1.1令变量n＝1；
3.2.1.2将xn的尺寸规格化为256×256，得到规格化后的xn，记为xn′；
3.2.1.3将xn′从向量形式转化为张量(Tensor)形式，将张量形式的x′n记为得到张量形式的图像，将/>放入预处理后的图像集合X1；
3.2.1.4若n<N，令n＝n+1，转3.2.1.2；若n＝N，得到预处理后的磁共振图像集合X1，转3.2.3；
3.2.2输入预处理模块从YTrain中读取批处理尺寸batchsize大小的涂鸦标注Y0，采用3.2.1所述的预处理方法对Y0进行预处理，得到预处理后的涂鸦画线标注集合Y1，/>
3.2.3输入预处理模块采用随机掩膜遮盖方法对X1(如图3第一列所示)进行数据增强，先随机生成一个矩阵作为遮盖掩膜(mask)，该掩膜与X1中的图像具有相同大小的分辨率，然后利用mask遮盖X1中的图像，被掩盖的区域作为“黑箱”在训练过程中对编码器、分割第一解码器、分割第二解码器、重建解码器不可见。编码器和重建解码器通过恢复被掩盖的区域的结构信息学习到输入图像的结构性语义特征，得到与原始输入磁共振图像同等分辨率大小的重建后图像(对应X2和X3)，以此方式约束编码器和解码器学习到输入图像的结构性语义特征。方法是：
3.2.3.1令变量n＝1；
3.2.3.2随机生成一个大小为32×32的服从高斯分布的掩膜矩阵Γn；
3.2.3.3设定超参数比例τ％(40≤τ≤60)，将Γn中前τ％的数值取1，Γn中其它1-τ％的数值取0，得到一个由{0,1}组成的二值矩阵Γn′；
3.2.3.4利用最邻近插值方法(高强,高敬阳,赵地.GNNI U-net:基于组归一化与最近邻插值的MRI左心室轮廓精准分割网络[J].计算机科学,2020,47(08):213-220.)将Γn′尺寸扩大为与同等尺寸大小(256×256)，得到的第一掩膜矩阵/>如图3第一行第二列所示。此外，将/>中1和0的值互换，得到与/>互补的第二掩膜矩阵/>即/>与/>相加得到一个由{1}组成的矩阵，将随机块状掩膜/>和/>分别放到第一掩膜集合Γ1′和第二掩膜集合Γ2′中，如图3第二行第二列所示；
3.2.3.5将与/>进行逐像素矩阵乘，得到经过随机块状掩膜/>遮盖后的图像将/>放到经过随机块状掩膜遮盖后第一图像集合X2中，如图3第一行第三列所示。
3.2.3.6将与/>进行逐像素矩阵乘法，得到经过随机块状掩膜/>遮盖后的图像将/>放到经过随机块状掩膜遮盖后第二图像集合X3中，如图3第二行第三列所示。
3.2.3.7若n<N，令n＝n+1，转3.2.3.2；若n＝N，得到X2和X3， 将X2和X3发送给编码器，将随机块状掩膜集合Γ1′和Γ2′发送给伪标签生成模块，/> 转3.2.4；
3.2.4编码器从输入预处理模块接收X2，采用特征提取方法对X2进行特征提取，得到X2的高维的语义特征集合θ2，将θ2发送给分割第一解码器和重建解码器。具体方法是：
3.2.4.1初始化n＝1；
3.2.4.2编码器第一卷积模块采用卷积方法对执行特征提取，得到编码器第
一卷积模块的结果将/>发送给编码器第二卷积模块、分割第一解码器第一卷积模块、分割第二解码器第一卷积模块、重建解码器第一卷积模块，方法是：
3.2.4.2.1编码器第一卷积模块的第一卷积层对进行二维卷积，输入通道是
1，得到输出通道数是16的二维卷积结果，将第一卷积结果发送给第一归一化层；
3.2.4.2.2编码器第一卷积模块的第一归一化层对第一卷积结果进行归一化操作，得到/>第一归一化结果，将/>第一归一化结果发送给第一激活函数层；
3.2.4.2.3编码器第一卷积模块的第一激活函数层对第一归一化结果进行非线性激活，得到/>第一激活结果，将/>第一激活结果发送给随机失活层；
3.2.4.2.4编码器第一卷积模块的随机失活层对第一激活结果进行随机失活操作，得到/>随机失活结果，将/>随机失活结果发送给第二卷积层；/>
3.2.4.2.5编码器第一卷积模块的第二卷积层对随机失活结果进行二维卷积，输入通道是16，得到输出通道数是16的/>第二卷积结果，将/>第二卷积结果发送给第二归一化层；
3.2.4.2.6编码器第一卷积模块的第二归一化层对第二卷积结果进行归一化操作，得到/>第二归一化结果，将/>第二归一化结果发送给第二激活函数层；
3.2.4.2.7编码器第一卷积模块的第二激活函数层对第二归一化结果进行非线性激活，得到输出通道数是16的/>第二激活结果作为编码器第一卷积模块的结果/>将发送给编码器第二卷积模块、分割第一解码器第一卷积模块、分割第二解码器第一卷积模块、重建解码器第一卷积模块；
3.2.4.3编码器第二卷积模块从编码器第一卷积模块接收编码器第二卷积模块的最大池化层对/>进行池化操作，得到/>的池化结果，采用3.2.4.2步所述卷积方法对/>的池化结果进行特征提取，得到输出通道数是32的编码器第二卷积模块的结果将/>发送给编码器第三卷积模块、分割第一解码器第二卷积模块、分割第二解码器第二卷积模块、重建解码器第二卷积模块；
3.2.4.4编码器第三卷积模块从编码器第二卷积模块接收编码器第三卷积模块的最大池化层对/>进行池化操作，得到/>的池化结果，采用3.2.4.2步所述卷积方法对/>的池化结果进行特征提取，得到输出通道数是64的编码器第三卷积模块的结果将/>发送给编码器第四卷积模块、分割第一解码器第三卷积模块、分割第二解码器第三卷积模块、重建解码器第三卷积模块；
3.2.4.5编码器第四卷积模块从编码器第三卷积模块接收编码器第四卷
积模块的最大池化层对进行池化操作，得到/>的池化结果，采用3.2.4.2步所述卷积方法对/>的池化结果进行特征提取，得到输出通道数是128的编码
器第四卷积模块的结果将/>发送给编码器第五卷积模块、分割第一解码器第四卷积模块、分割第二解码器第四卷积模块、重建解码器第四卷积模块；
3.2.4.6编码器第五卷积模块从编码器第四卷积模块接收编码器第五卷积模块的最大池化层对/>进行池化操作，得到/>的池化结果，采用3.2.4.2步所述卷积方法对/>的池化结果进行特征提取，得到输出通道数是256的编码器第五卷积模块的结果将/>放到X2的高维的语义特征集合θ2中；
3.2.4.7若n＝N，得到高维的语义特征集合集合θ2，将θ2发送给分割第一解码器和重建解码器，转3.2.5；否则n＝n+1，转3.2.4.2。
3.2.5编码器从输入预处理模块接收X3(输入通道数为1)，采用3.2.4所述特征提取方法对X3进行特征提取，得到X3的高维的语义特征集合 将θ3发送给分割第二解码器和重建解码器。
3.2.6分割第一解码器从编码器接收θ2，采用解码器特征还原方法将θ2还原为低维的第一结构性特征β2，然后产生第一分割预测结果方法是：
3.2.6.1令n＝1；
3.2.6.2分割第一解码器第四卷积模块从编码器接收θ2和编码器第四卷积模块输出的结果采用逆卷积方法，将/>与θ2进行通道维度的级联操作，得到级联后的θ2，然后将级联后的/>(通道数是256)进行特征还原，得到分割第一解码器第四卷积模块的结果(通道数是128)，将/>发送给分割第一解码器第三卷积模块，方法是：
3.2.6.2.1分割第一解码器第四卷积模块的第一卷积层对进行二维卷积，输入通道是256，得到输出通道数是128的第一卷积结果，将/>卷积结果发送给上采样层；
3.2.6.2.2分割第一解码器第四卷积模块的上采样层对卷积结果进行上采样操作，得到/>上采样结果，将/>上采样结果发送给分割第一解码器第四卷积模块的级联层；
3.2.6.2.3分割第一解码器第四卷积模块的级联层将上采样结果(通道数是128)和编码器第四卷积模块输出的结果/>(通道数是128)进行通道维度的级联操作，得到级联后的结果/>(通道数是256)，将/>发送给解码器第四卷积模块的第二卷积层；
3.2.6.2.4分割第一解码器第四卷积模块的第二卷积层对进行二维卷积，输入通道是256，得到输出通道数是128的/>第一卷积结果，将/>第一卷积结果发送给第一归一化层；
3.2.6.2.5分割第一解码器第四卷积模块的第一归一化层对第一卷积结果进行归一化操作，得到/>第一归一化结果，将/>第一归一化结果发送给第一激活函数层；
3.2.6.2.6分割第一解码器第四卷积模块的第一激活函数层对第一归一化结果进行非线性激活，得到/>第一激活结果，将/>第一激活结果发送给第三卷积层；
3.2.6.2.7分割第一解码器第四卷积模块的第三卷积层对第一激活结果进行二维卷积，输入通道是128，得到输出通道数是128的/>第二卷积结果，将/>第二卷积结果发送给第二归一化层；
3.2.6.2.8分割第一解码器第四卷积模块的第二归一化层对第二卷积结果进行归一化操作，得到/>第二归一化结果，将/>第二归一化结果发送给第二激活函数层；
3.2.6.2.9分割第一解码器第四卷积模块的第二激活函数层对第二归一化结果进行非线性激活，得到输出通道数是128的/>第二激活结果，并作为分割
第一解码器第四卷积模块的输出结果将/>发送给分割第一解码器第三卷积模块；
3.2.6.3分割第一解码器第三卷积模块从分割第一解码器第四卷积模块接收从编码器第三卷积模块接收/>采用3.2.6.2步所述的逆卷积方法，将/>
与进行通道维度的级联操作，得到级联后的/>然后将级联后的/>进行特征还原，得到输出通道数是64的分割第一解码器第三卷积模块的结果/>将/>发送给分割第一解码器第二卷积模块；/>
3.2.6.4分割第一解码器第二卷积模块从分割第一解码器第三卷积模块接收从编码器第二卷积模块接收/>采用3.2.6.2步所述的逆卷积方法，将/>与/>进行通道维度的级联操作，得到级联后的/>然后将级联后的/>进行特征还原，得到输出通道数是32的分割第一解码器第二卷积模块的结果/>将/>发送给分割第一解码器第一卷积模块；
3.2.6.5分割第一解码器第一卷积模块从分割第一解码器第二卷积模块接收从编码器第一卷积模块接收/>采用3.2.6.2步所述的逆卷积方法，将/>与/>进行通道维度的级联操作，得到级联后的/>然后将级联后的/>进行特征还原，得到输出通道数是16的低维结构性特征/>将/>发送给分割第一解码器的输出预测模块；
3.2.6.6分割第一解码器的输出预测模块从分割第一解码器第一卷积模块接收采用分割预测方法对/>进行分割预测，得到对磁共振图像心脏分割预测结果/>方法是：
3.2.6.6.1输出预测模块的卷积层对进行二维卷积，输入通道是16，得到输出通道数是4的/>二维卷积结果，将/>二维卷积结果发送给激活函数层；
3.2.6.6.2激活函数层采用Softmax函数对二维卷积结果进行非线性激活，得到分割预测概率pn，将pn发送给语义分割预测层；
3.2.6.6.3语义分割预测层采用argmax函数从分割预测概率pn中逐像素的选择最大概率的类别作为分割第一解码器的预测结果将/>放入第一分割预测结果集合/>中；
3.2.6.7分割第一解码器的损失函数计算模块采用二元交叉熵BCE损失函数，按公式(1)计算YTrain中涂鸦画线弱标注yn和心脏预测分割结果之间的差异，将差值作为损失值，然后利用损失值的反向传播经过分割第一解码器、编码器，公式(1)为：
其中1(yn)代表仅计算涂鸦画线弱标注yn中有标注的区域损失值，C代表心脏分割的类别数4，1≤c≤C。
3.2.6.8若n＝N，得到分割第一解码器的第一分割预测结果集合 将/>发送给伪标签生成模块，转3.2.7；否则令n＝n+1，转3.2.6.2。
3.2.7分割第二解码器从编码器接收θ3，采用3.2.6步所述的解码器特征还原方法将θ3还原为低维的第二结构性特征β3，并产生第二分割预测集合 然后采用公式(1)计算损失值/>最后将/>发送给伪标签生成模块。
3.2.8伪标签生成模块从分割第一解码器接收从分割第二解码器接收/>从输入预处理模块接收随机生成的互补的第一掩膜集合Γ1′和第二掩膜集合Γ2′，根据Γ1′和Γ2′掩膜的互补排布将/>和/>进行结合，最后生成类似于逐像素强标注的伪标签集合/>将伪标签集合/>发送给输出后处理模块。方法是：
3.2.8.1令n＝1；
3.2.8.2根据掩膜和/>的互补排布，将/>和/>按公式(2)进行逐像素结合，生成伪标签/> 中每个像素值代表该像素点的类别，将/>放到伪标签集合/>中：
其中代表选择掩膜矩阵/>中被覆盖的区域并返回1，未被覆盖的区域返回0；/>代表选择掩膜矩阵/>中被覆盖的区域并返回1，未被覆盖的区域返回0。
3.2.8.3若n＝N，得到伪标签集合 将/>发送给输出后处理模块，转3.2.9；否则令n＝n+1，转3.2.8.2。
3.2.9输出后处理模块从伪标签生成模块接收并计算经过后处理的伪标签与第一分割预测结果集合/>与第二分割预测结果集合/>之间的损失值，利用损失值的反向传播优化编码器、分割第一解码器、分割第二解码器。方法是：
3.2.9.1输出优化层采用输出后处理方法优化伪标签计算/>中每个类别的连通域及其面积，然后仅保留面积最大的连通域，得到后处理的伪标签集合/>方法是：
3.2.9.1.1令变量n＝1；令类别值m＝1；
3.2.9.1.2筛选伪标签中所有类别为m的像素区域，使用OpenCV连通域计算工具(cv2.connectedComponentsWithStats，版本号4.6.0)得到该类别区域中的所有连通域，并计算各个连通域的面积，保留面积最大的连通域，其余区域设置为背景类别值(0)。
3.2.9.1.3若m<4，令m＝m+1，转3.2.9.1.2；若m＝4，n<N，令n＝n+1，m＝1，转3.2.9.1.2；若n＝N，得到伪标签的后处理结果/>将/>放到后处理的伪标签集合/>中，转3.2.9.2；
3.2.9.2损失函数计算层从输出优化层接收从分割第一解码器接收/>从分割第二解码器接收/>采用伪标签损失函数计算方法，计算/>和/>的第一dice损失函数值、/>和/>的第二dice损失函数值，对第一dice损失函数值与第二dice损失函数值求和，得到总的损失值，通过反向回传梯度，优化编码器、分割第一解码器和分割第二解码器。方法是：
32921令变量n＝1；
3.2.9.2.2利用进行反向监督，通过公式(3)计算对第一分割预测结果/>第二分割预测结果/>的dice总损失函数值/>
3.2.9.2.3若n<N，令n＝n+1，转3.2.9.2；若n＝N，转3.2.10；
3.2.10重建解码器从编码器接收第一高维语义特征θ2和第二高维语义特征θ3，采用3.2.6步所述的解码器特征还原方法将θ2还原为低维(16)的第三结构性特征ω2，同时采用3.2.6步所述的解码器特征还原方法将θ3还原为低维(16)的第四结构性特征ω3。
3.2.11重建解码器的输出预测模块采用卷积操作将ω2的维度(是16)降低到磁共振图像的维度(灰度图像是1)，得到对掩膜覆盖后磁共振图像的第一重建结果集合Q1，如图3第一行第四列所示。/>
3.2.12重建解码器的输出预测模块采用卷积操作将ω3的维度(是16)降低到磁共振图像的维度(灰度图像是1)，得到对掩膜覆盖后磁共振图像的第二重建结果集合Q2，如图3第二行第四列所示。
3.2.13重建解码器采用公式(4)作为重建损失函数计算Q1、Q2和增强后的磁共振图像X1之间的差值，通过缩小差值得到一个与X1相似的重建图像，通过损失函数值的反向传播优化编码器和重建解码器。
3.3若当前训练轮数iteration_cur大于训练迭代总轮数iteration_max，结束训练，将训练后的编码器、分割第一解码器、分割第二解码器的权重参数以pth格式保存，转第四步。若当前训练轮数iteration_cur小于等于训练迭代总轮数iteration_max，将学习率learningrate按公式(5)进行余弦衰减，令iteration_cur＝iteration_cur+1，转3.2继续训练。
第四步，基于弱监督学习的磁共振图像心脏分割系统加载pth格式的权重参数，得到训练后的基于弱监督学习的磁共振图像心脏分割系统。
第五步，训练后的基于弱监督学习的磁共振图像心脏分割系统利用输入预处理模块、编码器、分割第一解码器、分割第二解码器、伪标签生成模块、输出后处理模块(重建解码器只参与训练，在对用户输入的图像进行分割时不参与)对用户输入的磁共振图像进行心脏结构分割，得到预测的心脏分割结果。方法是：
5.1训练后的基于弱监督学习的磁共振图像心脏分割系统接收用户输入的磁共振图像Xuser，如图4第一行所示；
5.2输入预处理模块采用3.2.1步所述的预处理方法对Xuser进行预处理，得到预处理后的图像
53编码器从输入预处理模块接收预处理后的图像采用3.2.4步所述的特征提取方法对/>进行特征提取，得到/>的高维语义特征集合θuser，将θuser发送给分割第一解码器、分割第二解码器。
5.4分割第一解码器从编码器接收的高维语义特征集合θuser，采用3.2.6步所述解码器特征还原方法将θuser还原为Xuser的低维的第一结构性特征/>并得到Xuser的第一分割预测结果/>将/>发送给伪标签生成模块。
与人工逐像素强标注(如图4第五行所示)的格式保持一致，/>的图像分辨率大小与磁共振图像分辨率一致，是由{0,1,2,3}组成的单通道二维矩阵，其中0代表磁共振图像中除心脏外的其他背景区域，1代表本心脏分割方法判断磁共振图像中的左心室区域，2代表心肌区域，3代表右心室区域，作为对用户输入的磁共振图像Xuser的逐像素心脏识别结果。
5.5分割第二解码器从编码器接收的高维语义特征集合θuser，采用3.2.6步所述解码器特征还原方法将θuser还原为Xuser低维的第二结构性特征/>并得到Xuser的第二分割预测结果/>将/>发送给伪标签生成模块。
5.6伪标签生成模块从分割第一解码器接收从分割第二解码器接收/>根据公式(6)生成Xuser的伪标签/>如图4第四行所示，发送给输出后处理模块。
其中α是一个由{0,1}组成的随机矩阵，大小与和/>相同，通过α和/>的矩阵乘法、(1-α)和/>的矩阵乘法并求和，随机选择/>和/>中的逐像素类别赋予伪标签
5.7输出后处理模块从伪标签生成模块接收采用3.2.9.1所述的输出后处理方法对/>进行优化，得到后处理的伪标签/>作为系统对用户输入的磁共振图像Xuser的心脏分割结果。
为了检验本发明基于粗粒度弱标注的磁共振图像心脏分割精度，选取来自国际心脏自动诊断竞赛中提供的开源数据集ACDC作为测试数据集，根据第2.5步中的数据集划分，共得到380张图像和涂鸦画线弱标注作为最终的测试集数据，本发明的心脏分割方法对测试集图像进行心脏生理结构识别，与测试集标注进行对比计算Dice系数作为评价指标，测试环境是Ubuntu 20.04，搭载英特尔E5-2678系列的中央处理器，处理频率为2.50GHz，另外配有八块英伟达GTX 1080Ti图像处理器，核心频率为1480MHz，显存容量为11GB。实验时，3.1步学习率learning rate为0.001，批处理尺寸batchsize为12，训练迭代总轮数iteration_max为60000。
在本实验环境下，采用本发明可以达到以下技术效果：
1.本发明仅使用涂鸦画线的粗粒度弱标注对磁共振图像中的心脏结构进行分割，能够提高心脏的分割精度，可达到88.7％的dice性能，4.7mm的豪斯多夫距离，而当使用同样的编码器和解码器时，虽然使用人工逐像素的强标注结果开展训练的dice精度为91.1％，豪斯多夫距离为3.6mm(发明人的实验结果)，但本发明大幅减少了基于强/弱标注的分割性能差距，在仅使用低成本的粗粒度弱标注就达到了高成本的细粒度强标注近似水平分割精度。
与目前已有的基于神经网络模型的心脏分割方法相比，如下表所示，本发明在分割精度dice上超过以往所有的弱监督学习模型的最佳数值。具体而言，在仅使用涂鸦画线的弱监督学习方法中，本发明比使用涂鸦画线弱标注训练后的基准模型分割dice精度提高39.9个百分点，比基于图论的机器学习方法Randomwalk方法提高9.9个百分点的dice精度，比基于熵最小化原则Entropy Mini的机器学习方法提高4.1个百分点的dice精度，比基于弱监督学习方法CycleMix提高3.2个百分点的dice性能，比基于弱监督学习方法ShapePU提高3.6个百分点的dice精度，比基于弱监督学习方法ZScribbleSeg提高2.5个百分点的dice精度，比基于弱监督学习方法WSL4MIS提高1.5个百分点的dice精度。值得一提的是，本发明比现有最好方法提升的幅度虽然只有1.5个百分点，但是在粗粒度弱标注的技术背景下，标注成本大幅度缩减，且本发明与基于逐像素细粒度标注强监督学习的心脏分割方法之间的分割精度差距也被大幅度减小，因此1.5个百分点所带来的分割性能改善也是非常可观的，标注成本性价比较高。
/>
2.经过测试，在一张256×256的磁共振二维图像中，本发明使用涂鸦画线对心脏进行弱标注所需时间成本约为细粒度强标注的十分之一，在仅需要粗粒度涂鸦画线弱标注的前提下，通过增强对图像自身上下文信息的利用，通过挖掘自身上下文信息开展弱监督训练，然后再通过生成的伪标签对预测分割结果进行反向精调，有效提升了心脏分割dice精度数值，并减小了豪斯多夫距离误差，达到了与细粒度强标注方法近似水平分割精度，有效减少了由于人工细粒度标注磁共振心脏图像所产生的时间、人力、物力成本。
因此本发明实现了利用弱监督学习技术提高基于粗粒度弱标注的磁共振图像心脏分割的效果。
以上对本发明所提供的一种基于弱监督学习的磁共振图像心脏分割方法进行了详细介绍。本文对本发明的原理及实施方式进行了阐述，以上说明用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通研究人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于粗粒度弱标注的磁共振图像心脏分割方法，其特征在于包括以下步骤：
第一步，构建基于弱监督学习的磁共振图像心脏分割系统；基于弱监督学习的磁共振图像心脏分割系统由输入预处理模块、编码器、分割第一解码器、分割第二解码器、重建解码器、伪标签生成模块、输出后处理模块构成，各模块均由多层卷积神经网络CNN在深度学习框架PyTorch中实现；
输入预处理模块与磁共振图像心脏数据集、编码器、分割第一解码器、分割第二解码器、伪标签生成模块、重建解码器相连，接收用户输入的图像及涂鸦画线的粗粒度弱标注，对图像及涂鸦画线的粗粒度弱标注进行随机旋转、翻转等增强，将增强后的磁共振图像发送给重建解码器；然后将随机产生的两个互补遮盖掩膜，利用两个互补的遮盖掩膜对增强后的磁共振图像进行遮盖，将遮盖后的磁共振图像发送给编码器，将两个互补遮盖掩膜发送给伪标签生成模块；最后将预处理后的涂鸦画线粗粒度弱标注发送给分割第一解码器、分割第二解码器；
编码器与输入预处理模块、分割第一解码器、分割第二解码器、重建解码器相连，编码器从输入预处理模块接收遮盖后的磁共振图像，从遮盖后的磁共振图像中提取高维的语义特征，将高维的语义特征发送给分割第一解码器、分割第二解码器和重建解码器；编码器由5个串联的卷积模块组成，其中第一卷积模块由2个卷积层、2个归一化层、2个激活函数层、1个随机失活层组成，第二至第五卷积模块相比第一卷积模块均额外增加了一个最大池化层，最大池化层的功能是将特征分辨率缩小2倍；激活函数层对特征进行非线性激活；随机失活层对部分神经网络层进行随机失活操作；
分割第一解码器、分割第二解码器、重建解码器具有相同的网络架构，但是具有不同的权重参数和功能；分割第一解码器、分割第二解码器、重建解码器均由4个串联的卷积模块、1个输出预测模块、1个损失函数计算模块组成，每个卷积模块由3个卷积层、2个归一化层、2个激活函数层、1个级联层、1个上采样层组成；所有激活函数层进行非线性激活；上采样层将输入特征分辨率放大2倍；输出预测模块由1个卷积层、1个softmax激活函数层、1个argmax语义分割预测层组成；损失函数计算模块由二元交叉熵BCE损失函数组成；
分割第一解码器与输入预处理模块、编码器、伪标签生成模块、输出后处理模块相连，第一至第四卷积模块将编码器提取的高维语义特征还原为低维的结构性特征，输出预测模块中的卷积层将低维的结构性特征维度降低到心脏分割的类别个数4，接着输出预测模块中的softmax激活函数层得到4个类别的分割预测概率，并将每个类别的分割预测概率规范在[0,1]内，最后输出预测模块中的argmax语义分割预测层采用argmax函数从4个类别的分割预测概率中选择概率最大的类别作为当前像素点的预测类别，得到与磁共振图像同等分辨率大小的单通道掩膜，作为分割第一解码器对磁共振图像心脏的逐像素第一分割预测结果，并将第一分割预测结果发送给伪标签生成模块和输出后处理模块，所述心脏分割的类别包括右心室、左心室、心肌与背景；分割第一解码器的损失函数计算模块在训练阶段工作，从输入预处理模块接收涂鸦画线的粗粒度弱标注，采用二元交叉熵BCE损失函数计算涂鸦画线弱标注和第一分割预测结果之间的差异，将差值作为损失值，利用损失值的反向传播优化分割第一解码器、编码器；
分割第二解码器与输入预处理模块、编码器、伪标签生成模块、输出后处理模块相连，第一至第四卷积模块将编码器提取的高维语义特征由还原为低维的结构性特征，输出预测模块中的卷积层将低维的结构性特征维度降低到心脏分割的类别个数，接着输出预测模块中的softmax激活函数层得到4个类别的分割预测概率并将每个类别的分割预测概率都在[0,1]内，最后输出预测模块中的语义分割预测层采用argmax函数从4个类别的分割预测概率中选择概率最大的类别作为当前像素点的预测类别，得到与磁共振图像同等分辨率大小的单通道掩膜，作为分割第二解码器对磁共振图像心脏的逐像素第二分割预测结果，并将第二分割预测结果发送给伪标签生成模块和输出后处理模块；分割第二解码器损失函数计算模块在训练阶段工作，从输入预处理模块接收涂鸦画线的粗粒度弱标注，采用二元交叉熵BCE损失函数计算涂鸦画线弱标注和第二分割预测结果之间的差异，将差值作为损失值，利用损失值的反向传播优化分割第二解码器、编码器；
重建解码器与编码器、输入预处理模块相连，从编码器接收高维语义特征，将高维语义特征还原为低维的结构性特征，第一至第四卷积模块将编码器提取的高维语义特征还原为低维的结构性特征，输出预测模块中的卷积层将低维的结构性特征维度降低到磁共振图像的维度，然后完成图像遮盖重建；重建解码器损失函数计算模块在训练阶段工作，从输入预处理模块接收增强后的图像，利用MSE损失函数计算重建结果与增强后的图像之间的差值，将差值作为损失值，利用损失值的反向传播优化重建解码器、编码器；
伪标签生成模块与输入预处理模块、分割第一解码器、分割第二解码器、输出后处理模块相连，从输入预处理模块接收随机生成的两个互补遮盖掩膜，从分割第一解码器接收第一分割预测结果集合，从分割第二解码器接收第二分割预测结果集合，根据掩膜互补排布结合第一分割预测结果集合、第二分割预测结果集合，生成类似于逐像素强标注的掩膜状伪标签，将伪标签集合发送给输出后处理模块；
输出后处理模块与分割第一解码器、分割第二解码器、伪标签生成模块相连，由1个输出优化层、1个损失函数计算层组成；输出优化层从分割第一解码器接收第一分割预测结果集合，从分割第二解码器接收第二分割预测结果集合，从伪标签生成模块接收伪标签集合，计算伪标签中每个类别的连通域，然后仅保留面积最大的连通域，得到经过优化后的伪标签；在训练阶段，损失函数计算层接收优化后的伪标签，利用Dice损失函数计算经过后处理的伪标签与第一分割预测结果集合之间的第一dice损失函数值，计算经过后处理的伪标签与第二分割预测结果集合之间的第二dice损失函数值，将第一dice损失函数值与第二dice损失函数值之和作为总损失值，利用总损失值的反向传播优化编码器、分割第一解码器、分割第二解码器；在对用户输入的图像进行分割时，输出后处理模块将优化后的伪标签作为基于弱监督学习的磁共振图像心脏分割系统的心脏分割结果；
第二步，构建用于训练基于弱监督学习的磁共振图像心脏分割系统的数据集；方法是：
2.1采用来自国际心脏自动诊断竞赛中提供的开源数据集ACDC作为训练集；ACDC中所有医学图像均来自法国的第戎大学医院项目，该项目使用扫描厚度设定为5毫米的西门子磁共振扫描仪获取100名受试者的灰度三维图像，截取每名受试者心脏收缩和扩张两个阶段的扫描内容，共计200张MRI三维图像；然后将三维图像进行二维切片，得到共计1902张磁共振二维图像；ACDC数据集的标注是由多位有10年以上临床经验的心脏专家对每张二维图像手动形成的涂鸦画线标注，其中0代表磁共振图像中除心脏外的其他背景区域，1代表本心脏分割方法判断磁共振图像中的左心室区域，2代表心肌区域，3代表右心室区域，其余未标注区域赋值4，将得到的粗粒度弱标注用于基于弱监督学习的磁共振图像心脏分割系统中各模块的训练；
2.2将ACDC数据集中的所有磁共振二维图像去识别化，将受试者的个人信息从图像中剥离，得到1902张去识别化的二维图像，令其为X；
2.3将医生对X的涂鸦画线标注记为粗粒度弱标注Y用于基于弱监督学习的磁共振图像心脏分割系统中各模块的训练，将逐像素标注记为细粒度强标注Z作为金标准用于基于弱监督学习的磁共振图像心脏分割系统精度验证，将图像X、粗粒度弱标注Y、细粒度强标注Z的组成三元组<X,Y,Z>，将<X,Y,Z>作为去识别化的数据集；
2.4按照4:1的比例，将<X,Y,Z>划分为训练集<XTrain,YTrain>和测试集<XTest,ZTest>；XTrain为X中前4/5图像，XTest为X中后1/5图像，XTrain＝{x1,x2,…,x1521}，YTrain为X中前4/5图像的粗粒度弱标注，YTrain＝{y1,y2,…,y1521}，ZTest为X中后1/5图像的细粒度强标注，ZTest＝{z1522,z1523,…,z1902}；
第三步，采用<XTrain,YTrain>对基于弱监督学习的磁共振图像心脏分割系统的编码器、分割第一解码器、分割第二解码器、重建解码器进行训练，并保存训练后的编码器、分割第一解码器、分割第二解码器的权重参数，方法是：
3.1随机初始化编码器、分割第一解码器、分割第二解码器、重建解码器中的神经网络权重参数，包括初始化学习率learning rate、批处理尺寸batchsize、训练迭代总数iteration_max，令训练起始迭代数iteration_cur为1；
3.2采用基于弱监督学习的磁共振图像心脏分割系统对训练集中的XTrain进行心脏分割，得到输入图像中心脏左心室、右心室和心肌的多类别分割结果，其中0代表背景，1代表左心室区域，2代表心肌区域，3代表右心室区域，然后利用YTrain计算多个损失函数值，通过损失函数值的反向传播优化心脏分割系统；具体方法是：
3.2.1输入预处理模块从XTrain中读取批处理尺寸batchsize大小的图像集合X0，X0＝{x1,x2,…,xn,…,xN}，N＝batchsize，采用预处理方法对X0进行预处理，得到预处理后的图像集合X1，/>
3.2.2输入预处理模块从YTrain中读取批处理尺寸batchsize大小的涂鸦标注Y0，Y0＝{y1,y2,…,yn,…,yN}，采用3.2.1所述的预处理方法对Y0进行预处理，得到预处理后的涂鸦画线标注集合Y1，/>
3.2.3输入预处理模块采用随机掩膜遮盖方法对X1进行数据增强，先随机生成一个矩阵作为遮盖掩膜mask，该掩膜与X1中的图像具有相同大小的分辨率，然后利用mask遮盖X1中的图像，被掩盖的区域作为“黑箱”在训练过程中对编码器、分割第一解码器、分割第二解码器、重建解码器不可见；编码器和重建解码器通过恢复被掩盖的区域的结构信息学习到输入图像的结构性语义特征，得到与原始输入磁共振图像同等分辨率大小的重建后图像；方法是：
3.2.3.1令变量n＝1；
3.2.3.2随机生成一个大小为32×32的服从高斯分布的掩膜矩阵Γn；
3.2.3.3设定超参数比例τ％，将Γn中前τ％的数值取1，Γn中其它1-τ％的数值取0，得到一个由{0,1}组成的二值矩阵Γn ′；40≤τ≤60；
3.2.3.4利用最邻近插值方法将Γn ′尺寸扩大为与同等尺寸大小，得到的第一掩膜矩阵/>此外，将/>中1和0的值互换，得到与/>互补的第二掩膜矩阵/>即/>与/>相加得到一个由{1}组成的矩阵，将随机块状掩膜/>和/>分别放到第一掩膜集合Γ1′和第二掩膜集合Γ2′中；
3.2.3.5将与/>进行逐像素矩阵乘，得到经过随机块状掩膜/>遮盖后的图像/>将放到经过随机块状掩膜遮盖后第一图像集合X2中；
3.2.3.6将与/>进行逐像素矩阵乘法，得到经过随机块状掩膜/>遮盖后的图像/>将/>放到经过随机块状掩膜遮盖后第二图像集合X3中；
3.2.3.7若n<N，令n＝n+1，转3.2.3.2；若n＝N，得到X2和X3， 将X2和X3发送给编码器，将随机块状掩膜集合Γ1′和Γ2′发送给伪标签生成模块，/> 转3.2.4；
3.2.4编码器从输入预处理模块接收X2，采用特征提取方法对X2进行特征提取，得到X2的高维的语义特征集合θ2，将θ2发送给分割第一解码器和重建解码器；具体方法是：
3.2.4.1初始化n＝1；
3.2.4.2编码器第一卷积模块采用卷积方法对执行特征提取，得到编码器第一卷积模块的结果/>将/>发送给编码器第二卷积模块、分割第一解码器第一卷积模块、分割第二解码器第一卷积模块、重建解码器第一卷积模块；
3.2.4.3编码器第二卷积模块从编码器第一卷积模块接收编码器第二卷积模块的最大池化层对/>进行池化操作，得到/>的池化结果，采用3.2.4.2步所述卷积方法对的池化结果进行特征提取，得到输出通道数是32的编码器第二卷积模块的结果/>将/>发送给编码器第三卷积模块、分割第一解码器第二卷积模块、分割第二解码器第二卷积模块、重建解码器第二卷积模块；
3.2.4.4编码器第三卷积模块从编码器第二卷积模块接收编码器第三卷积模块的最大池化层对/>进行池化操作，得到/>的池化结果，采用3.2.4.2步所述卷积方法对的池化结果进行特征提取，得到输出通道数是64的编码器第三卷积模块的结果/>将/>发送给编码器第四卷积模块、分割第一解码器第三卷积模块、分割第二解码器第三卷积模块、重建解码器第三卷积模块；
3.2.4.5编码器第四卷积模块从编码器第三卷积模块接收编码器第四卷积模块的最大池化层对/>进行池化操作，得到/>的池化结果，采用3.2.4.2步所述卷积方法对的池化结果进行特征提取，得到输出通道数是128的编码器第四卷积模块的结果/>将/>发送给编码器第五卷积模块、分割第一解码器第四卷积模块、分割第二解码器第四卷积模块、重建解码器第四卷积模块；
3.2.4.6编码器第五卷积模块从编码器第四卷积模块接收编码器第五卷积模块的最大池化层对/>进行池化操作，得到/>的池化结果，采用3.2.4.2步所述卷积方法对的池化结果进行特征提取，得到输出通道数是256的编码器第五卷积模块的结果/>将放到X2的高维的语义特征集合θ2中；
3.2.4.7若n＝N，得到高维的语义特征集合集合θ2，将θ2发送给分割第一解码器和重建解码器，转3.2.5；否则n＝n+1，转3.2.4.2；
3.2.5编码器从输入预处理模块接收X3，采用3.2.4所述特征提取方法对X3进行特征提取，得到X3的高维的语义特征集合将θ3发送给分割第二解码器和重建解码器；
3.2.6分割第一解码器从编码器接收θ2，采用解码器特征还原方法将θ2还原为低维的第一结构性特征β2，然后产生第一分割预测结果方法是：
3.2.6.1令n＝1；
3.2.6.2分割第一解码器第四卷积模块从编码器接收θ2和编码器第四卷积模块输出的结果采用逆卷积方法，将/>与θ2进行通道维度的级联操作，得到通道数是256的级联后的θ2，然后将级联后的/>进行特征还原，得到分割第一解码器第四卷积模块的结果/> 通道数是128，将/>发送给分割第一解码器第三卷积模块；
3.2.6.3分割第一解码器第三卷积模块从分割第一解码器第四卷积模块接收从编码器第三卷积模块接收/>采用3.2.6.2步所述的逆卷积方法，将/>与/>进行通道维度的级联操作，得到级联后的/>然后将级联后的/>进行特征还原，得到输出通道数是64的分割第一解码器第三卷积模块的结果/>将/>发送给分割第一解码器第二卷积模块；
3.2.6.4分割第一解码器第二卷积模块从分割第一解码器第三卷积模块接收从编码器第二卷积模块接收/>采用3.2.6.2步所述的逆卷积方法，将/>与/>进行通道维度的级联操作，得到级联后的/>然后将级联后的/>进行特征还原，得到输出通道数是32的分割第一解码器第二卷积模块的结果/>将/>发送给分割第一解码器第一卷积模块；
3.2.6.5分割第一解码器第一卷积模块从分割第一解码器第二卷积模块接收从编码器第一卷积模块接收/>采用3.2.6.2步所述的逆卷积方法，将/>与/>进行通道维度的级联操作，得到级联后的/>然后将级联后的/>进行特征还原，得到输出通道数是16的低维结构性特征/>将/>发送给分割第一解码器的输出预测模块；
3.2.6.6分割第一解码器的输出预测模块从分割第一解码器第一卷积模块接收采用分割预测方法对/>进行分割预测，得到对磁共振图像心脏分割预测结果/>方法是：
3.2.6.6.1输出预测模块的卷积层对进行二维卷积，输入通道是16，得到输出通道数是4的/>二维卷积结果，将/>二维卷积结果发送给激活函数层；
3.2.6.6.2激活函数层采用softmax函数对二维卷积结果进行非线性激活，得到分割预测概率pn，将pn发送给语义分割预测层；
3.2.6.6.3语义分割预测层采用argmax函数从分割预测概率pn中逐像素的选择最大概率的类别作为分割第一解码器的预测结果将/>放入第一分割预测结果集合/>中；
3.2.6.7分割第一解码器的损失函数计算模块采用二元交叉熵BCE损失函数，按公式(1)计算YTrain中涂鸦画线弱标注yn和心脏预测分割结果之间的差异，将差值作为损失值，然后利用损失值的反向传播经过分割第一解码器、编码器，公式(1)为：
其中1(yn)代表仅计算涂鸦画线弱标注yn中有标注的区域损失值，C代表心脏分割的类别数4，1≤c≤C；
3.2.6.8若n＝N，得到分割第一解码器的第一分割预测结果集合 将/>发送给伪标签生成模块，转3.2.7；否则令n＝n+1，转3.2.6.2；
3.2.7分割第二解码器从编码器接收θ3，采用3.2.6步所述解码器特征还原方法将θ3还原为低维的第二结构性特征β3，并产生第二分割预测集合 然后采用公式(1)计算损失值/>最后将/>发送给伪标签生成模块；
3.2.8伪标签生成模块从分割第一解码器接收从分割第二解码器接收/>从输入预处理模块接收随机生成的互补的第一掩膜集合Γ1′和第二掩膜集合Γ2′，根据Γ1′和Γ2′掩膜的互补排布将/>和/>进行结合，生成逐像素强标注的伪标签集合/>将伪标签集合/>发送给输出后处理模块；方法是：
3.2.8.1令n＝1；
3.2.8.2根据掩膜和/>的互补排布，将/>和/>按公式(2)进行逐像素结合，生成伪标签/> 中每个像素值代表该像素点的类别，将/>放到伪标签集合/>中：
其中代表选择掩膜矩阵/>中被覆盖的区域并返回1，未被覆盖的区域返回0；代表选择掩膜矩阵/>中被覆盖的区域并返回1，未被覆盖的区域返回0；
3.2.8.3若n＝N，得到伪标签集合 将/>发送给输出后处理模块，转3.2.9；否则令n＝n+1，转3.2.8.2；
3.2.9输出后处理模块从伪标签生成模块接收计算经过后处理的伪标签与第一分割预测结果集合/>与第二分割预测结果集合/>之间的损失值，利用损失值的反向传播优化编码器、分割第一解码器、分割第二解码器；方法是：
3.2.9.1输出优化层采用输出后处理方法优化伪标签计算/>中伪标签中每个类别的连通域及其面积，然后仅保留面积最大的连通域，得到后处理的伪标签/> 为伪标签/>的后处理结果；
3.2.9.2损失函数计算层从输出优化层接收从分割第一解码器接收/>从分割第二解码器接收/>采用伪标签损失函数计算方法，计算/>和/>的第一dice损失函数值、/>和/>的第二dice损失函数值，对第一dice损失函数值与第二dice损失函数值求和，得到总的损失值，通过反向回传梯度，优化编码器、分割第一解码器和分割第二解码器；方法是：
3.2.9.2.1令变量n＝1；
3.2.9.2.2利用进行反向监督，通过公式(3)计算对第一分割预测结果/>第二分割预测结果/>的dice总损失函数值/>
3.2.9.2.3若n<N，令n＝n+1，转3.2.9.2；若n＝N，转3.2.10；
3.2.10重建解码器从编码器接收第一高维语义特征θ2和第二高维语义特征θ3，采用3.2.6步所述的解码器特征还原方法将θ2还原为维度为16的第三结构性特征ω2，同时采用3.2.6步所述的解码器特征还原方法将θ3还原为维度为16的第四结构性特征ω3；
3.2.11重建解码器的输出预测模块采用卷积操作将ω2的维度降低到磁共振图像的维度1，得到对掩膜覆盖后磁共振图像的第一重建结果集合Q1，
3.2.12重建解码器的输出预测模块采用卷积操作将ω3的维度降低到磁共振图像的维度1，得到对掩膜覆盖后磁共振图像的第二重建结果集合Q2，
3.2.13重建解码器采用公式(4)作为重建损失函数计算Q1、Q2和增强后的磁共振图像X1之间的差值，通过缩小差值得到一个与X1相似的重建图像，通过损失函数值的反向传播优化编码器和重建解码器；
3.3若当前训练轮数iteration_cur大于训练迭代总轮数iteration_max，结束训练，将训练后的编码器、分割第一解码器、分割第二解码器的权重参数以pth格式保存，转第四步；若当前训练轮数iteration_cur小于等于训练迭代总轮数iteration_max，将学习率learningrate按公式(5)进行余弦衰减，令iteration_cur＝iteration_cur+1，转3.2继续训练；
第四步，基于弱监督学习的磁共振图像心脏分割系统加载pth格式的权重参数，得到训练后的基于弱监督学习的磁共振图像心脏分割系统；
第五步，训练后的基于弱监督学习的磁共振图像心脏分割系统利用输入预处理模块、编码器、分割第一解码器、分割第二解码器、伪标签生成模块、输出后处理模块对用户输入的磁共振图像进行心脏结构分割，得到预测的心脏分割结果；方法是：
5.1训练后的基于弱监督学习的磁共振图像心脏分割系统接收用户输入的磁共振图像Xuser；
5.2输入预处理模块采用3.2.1步所述的预处理方法对Xuser进行预处理，得到预处理后的图像
5.3编码器从输入预处理模块接收预处理后的图像采用3.2.4步所述的特征提取方法对/>进行特征提取，得到/>的高维语义特征集合θuser，将θuser发送给分割第一解码器、分割第二解码器；
5.4分割第一解码器从编码器接收的高维语义特征集合θuser，采用3.2.6步所述解码器特征还原方法将θuser还原为Xuser的低维的第一结构性特征/>并得到Xuser的第一分割预测结果/>将/>发送给伪标签生成模块；/>与人工逐像素强标注的格式保持一致，/>的图像分辨率大小与磁共振图像分辨率一致，是由{0,1,2,3}组成的单通道二维矩阵，其中0代表磁共振图像中除心脏外的其他背景区域，1代表本心脏分割方法判断磁共振图像中的左心室区域，2代表心肌区域，3代表右心室区域，作为对用户输入的磁共振图像Xuser的逐像素心脏识别结果；
5.5分割第二解码器从编码器接收的高维语义特征集合θuser，采用3.2.6步所述解码器特征还原方法将θuser还原为Xuser低维的第二结构性特征/>并得到Xuser的第二分割预测结果/>将/>发送给伪标签生成模块；
5.6伪标签生成模块从分割第一解码器接收从分割第二解码器接收/>根据公式(6)生成Xuser的伪标签/>发送给输出后处理模块；
其中α是一个由{0,1}组成的随机矩阵，大小与和/>相同，通过α和/>的矩阵乘法、(1-α)和/>的矩阵乘法并求和，随机选择/>和/>中的逐像素类别赋予伪标签
5.7输出后处理模块从伪标签生成模块接收采用3.2.9.1所述的输出后处理方法对/>进行优化，得到后处理的伪标签/>作为系统对用户输入的磁共振图像Xuser的心脏分割结果。
2.如权利要求1所述的基于粗粒度弱标注的磁共振图像心脏分割方法，其特征在于第一步所述深度学习框架PyTorch要求1.10版本及以上。
3.如权利要求1所述的基于粗粒度弱标注的磁共振图像心脏分割方法，其特征在于第一步所述编码器中5个卷积模块中卷积层的卷积核大小均为3×3，步长是1，填充大小是1；让你述第二至第五卷积模块相比第一卷积模块增加的最大池化层的核大小是2、步长是2、填充大小是0；激活函数层均采用LeakyReLU函数对特征进行非线性激活；随机失活层采用dropout正则化函数对部分神经网络层进行随机失活操作，即以50％的概率使网络层在训练迭代中停止工作；所述分割第一解码器、分割第二解码器、重建解码器中的4个卷积模块中第一卷积层的卷积核大小是1×1，步长是1，填充大小是1，第二至第三卷积层的卷积核大小是3×3，步长是1，填充大小是1；所有激活函数层均采用LeakyReLU函数进行非线性激活；输出预测模块中的卷积层的卷积核大小是3×3，步长是1，填充大小是1。
4.如权利要求1所述的基于粗粒度弱标注的磁共振图像心脏分割方法，其特征在于第2.2步所述受试者个人信息将指受试者隐私、病史。
5.如权利要求1所述的基于粗粒度弱标注的磁共振图像心脏分割方法，其特征在于3.1步所述学习率learning rate初始化为0.001，批处理尺寸batchsize初始化为12，训练迭代总数iteration_max初始化为60000。
6.如权利要求1所述的基于粗粒度弱标注的磁共振图像心脏分割方法，其特征在于3.2.1步所述输入预处理模块采用预处理方法对X0进行预处理，得到预处理后的图像集合X1的方法是：
3.2.1.1令变量n＝1；
3.2.1.2将xn的尺寸规格化为256×256，得到规格化后的xn，记为xn′；
3.2.1.3将xn′从向量形式转化为张量形式，将张量形式的x′ n记为得到张量形式的图像，将/>放入预处理后的图像集合X1；
3.2.1.4若n<N，令n＝n+1，转3.2.1.2；若n＝N，得到预处理后的磁共振图像集合X1，结束。
7.如权利要求1所述的基于粗粒度弱标注的磁共振图像心脏分割方法，其特征在于3.2.4.2步所述编码器第一卷积模块采用卷积方法对执行特征提取，得到编码器第一卷积模块的结果/>将/>发送给编码器第二卷积模块的方法是：
3.2.4.2.1编码器第一卷积模块的第一卷积层对进行二维卷积，输入通道是1，得到输出通道数是16的二维卷积结果，将/>第一卷积结果发送给第一归一化层；
3.2.4.2.2编码器第一卷积模块的第一归一化层对第一卷积结果进行归一化操作，得到/>第一归一化结果，将/>第一归一化结果发送给第一激活函数层；
3.2.4.2.3编码器第一卷积模块的第一激活函数层对第一归一化结果进行非线性激活，得到/>第一激活结果，将/>第一激活结果发送给随机失活层；
3.2.4.2.4编码器第一卷积模块的随机失活层对第一激活结果进行随机失活操作，得到/>随机失活结果，将/>随机失活结果发送给第二卷积层；
3.2.4.2.5编码器第一卷积模块的第二卷积层对随机失活结果进行二维卷积，输入通道是16，得到输出通道数是16的/>第二卷积结果，将/>第二卷积结果发送给第二归一化层；
3.2.4.2.6编码器第一卷积模块的第二归一化层对第二卷积结果进行归一化操作，得到/>第二归一化结果，将/>第二归一化结果发送给第二激活函数层；
3.2.4.2.7编码器第一卷积模块的第二激活函数层对第二归一化结果进行非线性激活，得到输出通道数是16的/>第二激活结果作为编码器第一卷积模块的结果/>将/>发送给编码器第二卷积模块、分割第一解码器第一卷积模块、分割第二解码器第一卷积模块、重建解码器第一卷积模块。
8.如权利要求1所述的基于粗粒度弱标注的磁共振图像心脏分割方法，其特征在于3.2.6.2步所述分割第一解码器第四卷积模块采用逆卷积方法，将与θ2进行通道维度的级联操作，得到级联后的θ2，然后将级联后的/>进行特征还原，得到分割第一解码器第四卷积模块的结果/>将/>发送给分割第一解码器第三卷积模块的方法是：
3.2.6.2.1分割第一解码器第四卷积模块的第一卷积层对进行二维卷积，输入通道是256，得到输出通道数是128的第一卷积结果，将/>卷积结果发送给上采样层；
3.2.6.2.2分割第一解码器第四卷积模块的上采样层对卷积结果进行上采样操作，得到/>上采样结果，将/>上采样结果发送给分割第一解码器第四卷积模块的级联层；
3.2.6.2.3分割第一解码器第四卷积模块的级联层将上采样结果(通道数是128)和编码器第四卷积模块输出的结果/>(通道数是128)进行通道维度的级联操作，得到级联后的结果/>(通道数是256)，将/>发送给解码器第四卷积模块的第二卷积层；
3.2.6.2.4分割第一解码器第四卷积模块的第二卷积层对进行二维卷积，输入通道是256，得到输出通道数是128的/>第一卷积结果，将/>第一卷积结果发送给第一归一化层；
3.2.6.2.5分割第一解码器第四卷积模块的第一归一化层对第一卷积结果进行归一化操作，得到/>第一归一化结果，将/>第一归一化结果发送给第一激活函数层；
3.2.6.2.6分割第一解码器第四卷积模块的第一激活函数层对第一归一化结果进行非线性激活，得到/>第一激活结果，将/>第一激活结果发送给第三卷积层；
3.2.6.2.7分割第一解码器第四卷积模块的第三卷积层对第一激活结果进行二维卷积，输入通道是128，得到输出通道数是128的/>第二卷积结果，将/>第二卷积结果发送给第二归一化层；
3.2.6.2.8分割第一解码器第四卷积模块的第二归一化层对第二卷积结果进行归一化操作，得到/>第二归一化结果，将/>第二归一化结果发送给第二激活函数层；
3.2.6.2.9分割第一解码器第四卷积模块的第二激活函数层对第二归一化结果进行非线性激活，得到输出通道数是128的/>第二激活结果，并作为分割第一解码器第四卷积模块的输出结果/>将/>发送给分割第一解码器第三卷积模块。
9.如权利要求1所述的基于粗粒度弱标注的磁共振图像心脏分割方法，其特征在于3.2.9.1步所述输出优化层采用输出后处理方法优化伪标签得到后处理的伪标签/>的方法是：
3.2.9.1.1令变量n＝1；令类别值m＝1；
3.2.9.1.2筛选伪标签中所有类别为m的像素区域，使用OpenCV连通域计算工具得到该类别区域中的所有连通域，并计算各个连通域的面积，保留面积最大的连通域，其余区域设置为背景类别值0；
3.2.9.1.3若m<4，令m＝m+1，转3.2.9.1.2；若m＝4，n<N，令n＝n+1，m＝1，转3.2.9.1.2；若n＝N，得到伪标签的后处理结果/>将/>放到后处理的伪标签集合/>中，结束。
10.如权利要求1所述的基于粗粒度弱标注的磁共振图像心脏分割方法，其特征在于3.2.9.1.2步所述OpenCV连通域计算工具版本号为4.6.0。
CN202310553567.0A 2023-05-16 2023-05-16 基于粗粒度弱标注的磁共振图像心脏分割方法 Active CN116563549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310553567.0A CN116563549B (zh) 2023-05-16 2023-05-16 基于粗粒度弱标注的磁共振图像心脏分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310553567.0A CN116563549B (zh) 2023-05-16 2023-05-16 基于粗粒度弱标注的磁共振图像心脏分割方法

Publications (2)

Publication Number Publication Date
CN116563549A true CN116563549A (zh) 2023-08-08
CN116563549B CN116563549B (zh) 2023-12-15

Family

ID=87491310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310553567.0A Active CN116563549B (zh) 2023-05-16 2023-05-16 基于粗粒度弱标注的磁共振图像心脏分割方法

Country Status (1)

Country Link
CN (1) CN116563549B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935388A (zh) * 2023-09-18 2023-10-24 四川大学 一种皮肤痤疮图像辅助标注方法与系统、分级方法与系统
CN117611605A (zh) * 2023-11-24 2024-02-27 北京建筑大学 一种心脏医学图像的分割方法、系统及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190223725A1 (en) * 2018-01-25 2019-07-25 Siemens Healthcare Gmbh Machine Learning-based Segmentation for Cardiac Medical Imaging
CN112489050A (zh) * 2020-12-13 2021-03-12 成都易书桥科技有限公司 一种基于特征迁移的半监督实例分割算法
US20210124985A1 (en) * 2019-10-29 2021-04-29 Samsung Electronics Co., Ltd. System and method for deep machine learning for computer vision applications
US20210177296A1 (en) * 2017-10-31 2021-06-17 Koninklijke Philips N.V. Motion artifact prediction during data acquisition
CN113947681A (zh) * 2021-10-18 2022-01-18 柏意慧心(杭州)网络科技有限公司 用于分割医学影像的方法、设备和介质
KR20220023853A (ko) * 2020-08-20 2022-03-03 (주)신한항업 폐색영역 검출을 위한 기계학습용 데이터셋 생성 방법과 데이터셋 생성시스템
CN115496732A (zh) * 2022-09-26 2022-12-20 电子科技大学 一种半监督心脏语义分割算法
CN116030461A (zh) * 2022-12-28 2023-04-28 河南大学 一种基于一致性语义分割的图像分析方法、设备及系统
CN116071292A (zh) * 2022-10-08 2023-05-05 中国人民解放军国防科技大学 基于生成对比学习的眼底镜视网膜图像血管识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210177296A1 (en) * 2017-10-31 2021-06-17 Koninklijke Philips N.V. Motion artifact prediction during data acquisition
US20190223725A1 (en) * 2018-01-25 2019-07-25 Siemens Healthcare Gmbh Machine Learning-based Segmentation for Cardiac Medical Imaging
US20210124985A1 (en) * 2019-10-29 2021-04-29 Samsung Electronics Co., Ltd. System and method for deep machine learning for computer vision applications
KR20220023853A (ko) * 2020-08-20 2022-03-03 (주)신한항업 폐색영역 검출을 위한 기계학습용 데이터셋 생성 방법과 데이터셋 생성시스템
CN112489050A (zh) * 2020-12-13 2021-03-12 成都易书桥科技有限公司 一种基于特征迁移的半监督实例分割算法
CN113947681A (zh) * 2021-10-18 2022-01-18 柏意慧心(杭州)网络科技有限公司 用于分割医学影像的方法、设备和介质
CN115496732A (zh) * 2022-09-26 2022-12-20 电子科技大学 一种半监督心脏语义分割算法
CN116071292A (zh) * 2022-10-08 2023-05-05 中国人民解放军国防科技大学 基于生成对比学习的眼底镜视网膜图像血管识别方法
CN116030461A (zh) * 2022-12-28 2023-04-28 河南大学 一种基于一致性语义分割的图像分析方法、设备及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANNA KHOREVA等: "Weakly Supervised Semantic Labelling and Instance Segmentation", ARXIV *
HONGZHI WANG等: "Fast anatomy segmentation by combining coarse scale multi-atlas label fusion with fine scale corrective learning", COMPUTERIZED MEDICAL IMAGING AND GRAPHICS *
田洁;马晓海;赵蕾;: "深度学习在心脏磁共振左心室分割中的应用研究进展", 疑难病杂志, no. 01 *
詹曙;梁植程;谢栋栋;: "前列腺磁共振图像分割的反卷积神经网络方法", 中国图象图形学报, no. 04 *
郑宝玉;王雨;吴锦雯;周全;: "基于深度卷积神经网络的弱监督图像语义分割", 南京邮电大学学报(自然科学版), no. 05 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935388A (zh) * 2023-09-18 2023-10-24 四川大学 一种皮肤痤疮图像辅助标注方法与系统、分级方法与系统
CN116935388B (zh) * 2023-09-18 2023-11-21 四川大学 一种皮肤痤疮图像辅助标注方法与系统、分级方法与系统
CN117611605A (zh) * 2023-11-24 2024-02-27 北京建筑大学 一种心脏医学图像的分割方法、系统及电子设备
CN117611605B (zh) * 2023-11-24 2024-04-16 北京建筑大学 一种心脏医学图像的分割方法、系统及电子设备

Also Published As

Publication number Publication date
CN116563549B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN116563549B (zh) 基于粗粒度弱标注的磁共振图像心脏分割方法
Pu et al. Fetal cardiac cycle detection in multi-resource echocardiograms using hybrid classification framework
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
Akila Agnes et al. Automatic lung segmentation in low-dose chest CT scans using convolutional deep and wide network (CDWN)
CN116071292A (zh) 基于生成对比学习的眼底镜视网膜图像血管识别方法
Zamzmi et al. Ums-rep: Unified modality-specific representation for efficient medical image analysis
Zhai et al. An improved full convolutional network combined with conditional random fields for brain MR image segmentation algorithm and its 3D visualization analysis
Yu et al. An improved yolox for detection in urine sediment images
Yu et al. Dual attention u-net for multi-sequence cardiac MR images segmentation
Hardaha et al. A survey on convolutional neural networks for MRI analysis
Fang et al. A guiding teaching and dual adversarial learning framework for a single image dehazing
Tang et al. HTC-Net: A hybrid CNN-transformer framework for medical image segmentation
Ravikumar et al. Bidirectional ConvLSTMXNet for brain tumor segmentation of MR images
CN112908465A (zh) 基于异常检测和半监督的超声关键帧自主识别方法
Rex et al. Comparative analysis of deep convolution neural network models on small scale datasets
Xia et al. HRNet: A hierarchical recurrent convolution neural network for retinal vessel segmentation
Wang et al. FBUNet: Full convolutional network based on fusion block architecture for biomedical image segmentation
Cui et al. Spatial multi-scale attention U-improved network for blood vessel segmentation
Jiang et al. Image-to-Image Style Transfer Based on the Ghost Module.
Liu et al. Neural network for lung cancer diagnosis
Ye et al. A dynamic few-shot learning framework for medical image stream mining based on self-training
Wei et al. Multimodal Medical Image Fusion: The Perspective of Deep Learning
Li et al. CAGAN: Classifier‐augmented generative adversarial networks for weakly‐supervised COVID‐19 lung lesion localisation
Chen et al. Radiologically based automated segmentation of cardiac MRI using an improved U-Net neural algorithm
Ning et al. Doppler Image-Based Weakly-Supervised Vascular Ultrasound Segmentation with Transformer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant