CN116258729A - 一种基于改进协同训练的心脏磁共振图像分割方法 - Google Patents

一种基于改进协同训练的心脏磁共振图像分割方法 Download PDF

Info

Publication number
CN116258729A
CN116258729A CN202310261174.2A CN202310261174A CN116258729A CN 116258729 A CN116258729 A CN 116258729A CN 202310261174 A CN202310261174 A CN 202310261174A CN 116258729 A CN116258729 A CN 116258729A
Authority
CN
China
Prior art keywords
training
network
magnetic resonance
loss
resonance image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310261174.2A
Other languages
English (en)
Inventor
陈思帆
程科
卫梦华
姜颖
曹伟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN202310261174.2A priority Critical patent/CN116258729A/zh
Publication of CN116258729A publication Critical patent/CN116258729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉图像分割技术领域，尤其涉及一种基于改进协同训练的心脏磁共振图像分割方法。本发明将卷积神经网络聚焦于局部信息和Transformer关注远程关系的特点相结合，通过在CNN的下采样前加入SE注意力模块，使得网络模型重点关注分割区域，削弱不相关区域对分割的影响，通过引入不确定度来控制Transformer训练初期效果不佳的问题，还在计算监督损失时使用focal损失代替交叉熵损失，动态调整损失的权重，减少像素数量更多的背景的权重，聚焦不易分割的部分，以合并更精细的分割边界。本发明具有更好的分割性能，Dice相似系数提高，豪斯多夫距离减少，能有效克服训练数据有限和分割目标较小的困难。

Description

一种基于改进协同训练的心脏磁共振图像分割方法
技术领域
本发明涉及计算机视觉图像分割技术领域，尤其涉及一种基于改进协同训练的心脏磁共振图像分割方法。
背景技术
在实际应用中，未标记数据容易获取，而标记数据较难收集。心脏磁共振图像与普通图像相比，还存在着边缘模糊、个体差异较大、分割目标较小的特点，需要专业医生来对图像进行标记，所花费标记成本更高。对大量标记数据的训练需求限制了网络在数据稀少或昂贵时的分割精度，而半监督学习的出现很好的解决了这个问题。现有的半监督学习方法主要分为自训练和协同训练，其中协同训练是指使用两个不同框架的网络在同一个数据集上进行训练，这两个网络会从两个不同且互补的角度来对同一数据进行分割，从而提高分割的准确性。
但是半监督的协同训练也存在以下问题：首先，由于心脏磁共振图像的分割目标太小，分割背景像素数量远大于前景像素数量，如果在协同训练过程中没有增强对分割目标的关注，可能会导致训练的模型偏向背景；其次，如果协同训练中的一个网络是基于数据密集型的，那么在训练数据较少的时候，容易导致分割准确率较低，鲁棒性不强，同时还会影响另一个网络的训练；最后，如果选择直接计算两个网络预测的一致性损失，使两个网络的预测趋于一致，可能会出现两个网络的预测结果一致但都是错误预测的现象，上述问题会导致预测结果精度不足。
发明内容
有鉴于此，本发明的目的在于提出一种基于改进协同训练的心脏磁共振图像分割方法，以解决预测结果精度不足的问题。
基于上述目的，本发明提供了一种基于改进协同训练的心脏磁共振图像分割方法，包括以下步骤：
步骤S1、获取公共心脏磁共振图像数据集并对其进行预处理，得到训练样本；
步骤S2、将卷积神经网络与Transformer进行协同训练，往卷积神经网络中加入注意力模块，得到具有注意力机制的协同训练网络；
步骤S3、在步骤S2得到的网络的基础上增加Transformer不确定度，通过蒙特卡罗抽样生成Transformer预测结果的不确定度，得到具有注意力机制和不确定度感知的协同训练网络；
步骤S4、在步骤S3得到的网络的基础上优化损失函数，引入focal损失函数，结合步骤S3中生成的不确定度计算无监督损失，得到更加精准的具有注意力机制和不确定度感知的协同训练网络；
步骤S5、使用步骤S1中得到的训练样本对步骤S4中的具有注意力机制和不确定度感知的协同训练网络进行模型训练，得到心脏磁共振图像分割模型；
步骤S6、用心脏磁共振图像分割模型对待分割图像进行预测，得到标记出左心室、右心室和心肌位置的样本预测结果。
优选地，步骤S1中，预处理包括：
将nii.gz格式的原始心脏磁共振数据转换为h5格式；
将所有图像的尺寸统一调整为256*256，选取10％作为有标记数据；
对图像进行-25°～25°的随机旋转，并进行数据增强操作。
优选地，本方法还包括：
以8：2的比例将公共心脏磁共振图像数据集划分为训练样本和测试样本；
在步骤S5后，用测试样本对心脏磁共振图像分割模型进行评估。
优选地，步骤S2包括：
将卷积神经网络与Transformer进行协同训练，对于有标签的数据，用标签来监督卷积神经网络和Transformer的预测结果；
对于没有标签的数据，用其中一个网络的预测结果作为伪标签来更新另一个网络的参数；
以UNet作为卷积神经网络的具体网络模型，往UNet下采样前加入SE注意力模块。
优选地，步骤S3中，增加Transformer不确定度包括：
Transformer在随机失活和添加高斯噪声的加持下进行8次前向传播，将这些输出进行平均和统计方差，从而在输出预测结果的同时输出该结果的不确定性，只有不确定性小于阈值的预测结果会成为伪标签并用于监督卷积神经网络的预测。
优选地，步骤S4中，损失函数为有监督损失和无监督损失的加权和，优化措施包括将有监督损失中的交叉熵损失替换为focal损失，计算无监督损失中Transformer的伪标签与卷积神经网络预测结果的一致性损失时增加一个不确定度判断条件，focal损失的计算公式如下：
Lfocal＝-(1-pt)γlog(pt)
式中：Lfocal代表focal损失，pt表示样本属于t类的概率，γ表示聚焦参数，γ≥0，(1-pt)γ表示调制系数，用于减少易分类样本的权重；
无监督损失的计算公式如下：
Figure BDA0004131280680000031
式中：Lunsup代表无监督损失，Ldice()代表骰子损失函数，
Figure BDA0004131280680000032
分别代表卷积神经网络和Transformer对于输入样本xi的预测结果，/>
Figure BDA0004131280680000041
分别是卷积神经网络和Transformer生成的伪标签，u表示Transformer生成的预测结果的不确定度，H是一个不确定度阈值，F()是一个判断函数，括号里内容为真则返回1，为假则返回0。
优选地，步骤S5中，模型的训练包括以下步骤：
S5.1、初始化网络；
S5.2、加载训练数据；
S5.3、设置训练参数；
S5.4、迭代训练。
优选地，步骤S5.3包括：
基础学习率设置为0.01，使用随机梯度下降优化器来更新网络参数，权重衰减为0.0001，动量为0.9，最大迭代次数为30000，批处理大小为16。
优选地，步骤S5.4中，采用随机梯度下降算法对改进的网络结构进行迭代训练，每迭代3000次保存一次网络模型，经过不断迭代，取得网络最优解。
本发明的有益效果：
一、提高分割精度：本发明的模型与原始的协同训练模型相比，分割性能得到了提升，具体表现为Dice相似系数的提高和豪斯多夫距离的减少，可有效避免图像分割中的错分漏分现象。
二、有效利用未标记数据：鉴于医学领域中标记图像稀缺且标记成本昂贵，本发明采用半监督学习方法，用一个网络对未标记数据进行预测并生成伪标签，以监督另一个网络的预测结果。在标记数据稀缺的情况下，本发明实现了高精度的心脏图像分割，节省了人工标记成本；
三、避免模型偏向背景：本发明在CNN的下采样前加入了SE注意力模块，使得网络模型重点关注分割区域，削弱不相关区域对分割的影响。本发明还在计算监督损失时使用focal损失代替交叉熵损失，动态调整损失的权重，减少像素数量更多的背景的权重，聚焦不易分割的部分，以合并更精细的分割边界。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的流程示意图；
图2为本发明实施例的部分分割结果示意图；
图3为本发明实施例的改进后的unet网络结构图；
图4为本发明实施例的SE注意力模块结构图；
图5为本发明实施例整体结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明进一步详细说明。
需要说明的是，除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
本说明书实施例提供一种基于改进协同训练的心脏磁共振图像分割方法，如图1所示，包括以下步骤：
步骤S1、获取公共心脏磁共振图像数据集并对其进行预处理，得到训练样本；
步骤S2、将卷积神经网络与Transformer进行协同训练，将卷积神经网络聚焦于局部信息和Transformer关注远程关系的特点相结合，往卷积神经网络中加入注意力模块，得到具有注意力机制的协同训练网络；
步骤S3、在步骤S2得到的网络的基础上增加Transformer不确定度，通过蒙特卡罗抽样生成Transformer预测结果的不确定度，得到具有注意力机制和不确定度感知的协同训练网络；
步骤S4、在步骤S3得到的网络的基础上优化损失函数，引入focal损失函数，结合步骤S3中生成的不确定度计算无监督损失，得到更加精准的具有注意力机制和不确定度感知的协同训练网络；
步骤S5、使用步骤S1中得到的训练样本对步骤S4中的具有注意力机制和不确定度感知的协同训练网络进行模型训练，得到心脏磁共振图像分割模型；
步骤S6、用心脏磁共振图像分割模型对待分割图像进行预测，得到标记出左心室、右心室和心肌位置的样本预测结果。
本说明书实施例提供的基于改进协同训练的心脏磁共振图像分割方法，具有以下优点：
一、提高分割精度：本发明的模型与原始的协同训练模型相比，分割性能得到了提升，具体表现为Dice相似系数的提高和豪斯多夫距离的减少，可有效避免图像分割中的错分漏分现象。
二、有效利用未标记数据：鉴于医学领域中标记图像稀缺且标记成本昂贵，本发明采用半监督学习方法，用一个网络对未标记数据进行预测并生成伪标签，以监督另一个网络的预测结果。在标记数据稀缺的情况下，本发明实现了高精度的心脏图像分割，节省了人工标记成本；
三、避免模型偏向背景：本发明在CNN的下采样前加入了SE注意力模块，使得网络模型重点关注分割区域，削弱不相关区域对分割的影响。本发明还在计算监督损失时使用focal损失代替交叉熵损失，动态调整损失的权重，减少像素数量更多的背景的权重，聚焦不易分割的部分，以合并更精细的分割边界。
作为一种实施方式，步骤S1中，预处理包括：
将nii.gz格式的原始心脏磁共振数据转换为h5格式；
将所有图像的尺寸统一调整为256*256，选取10％作为有标记数据；
对图像进行-25°～25°的随机旋转，改变图像属性(亮度、对比度、饱和度和色调)等数据增强操作，以扩大训练样本的规模。
作为一种实施方式，本方法还包括：
以8：2的比例将公共心脏磁共振图像数据集划分为训练样本和测试样本；
在步骤S5后，用测试样本对心脏磁共振图像分割模型进行评估，用于检验最终心脏磁共振图像分割模型的性能。
作为一种实施方式，步骤S2具体包括以下子步骤：
将卷积神经网络与Transformer进行协同训练，对于有标签的数据，用标签来监督卷积神经网络和Transformer的预测结果；
对于没有标签的数据，用其中一个网络的预测结果作为伪标签来更新另一个网络的参数；
以UNet作为卷积神经网络的具体网络模型，往UNet下采样前加入SE注意力模块，使其自动学习不同通道特征的重要程度，关注信息量更大的通道特征。
其中，以UNet作为CNN分割网络的具体网络模型，以Swin-UNet作为Transformer分割网络的具体网络模型。UNet网络模型由压缩路径和扩展路径组成，压缩路径上包括了5个卷积块和4个最大池化，每个卷积块包含两个3*3卷积，每个卷积后跟着一个Relu激活函数，压缩路径用于提取输入图像的特征。扩展路径包括4个上采样，4个跳跃连接和4个卷积块，跳跃连接将同一层的压缩路径的特征图和扩展路径的特征图进行合并，扩展路径用于特征融合，充分利用图像的上下文信息。Swin-UNet由编码器、瓶颈、解码器和跳跃连接组成，编码器由补丁分区，线性嵌入，6个Swin Transformer块和3个合并补丁组成，瓶颈由两个SwinTransformer块组成，用于学习深层特征表示，解码器由4个补丁扩展和6个SwinTransformer块组成。
由于心脏磁共振图像中的分割目标较小，背景像素数量远大于前景像素数量，所以本发明在UNet的下采样前加入SE注意力模块，限制不相关区域对分割结果的影响，改进后的UNet网络结构如图3所示。SE注意力模块先通过全局平均池化将全局空间信息压缩到通道描述符中，然后通过两次全连接层确定不同通道之间的权重，最后将原特征图和注意力信息按照通道权重相乘得到具有通道注意力的特征图，SE注意力模块如图4所示。
作为一种实施方式，步骤S3中，增加Transformer不确定度包括：
在训练前5000轮，Transformer在随机失活(dropout)和添加高斯噪声的加持下进行8次前向传播，将这些输出进行平均和统计方差，从而在输出预测结果的同时输出该结果的不确定性，只有不确定性小于阈值的预测结果会成为伪标签并用于监督卷积神经网络的预测。
作为一种实施方式，步骤S4中，损失函数为有监督损失和无监督损失的加权和，优化措施包括将有监督损失中的交叉熵损失替换为focal损失，计算无监督损失中Transformer的伪标签与卷积神经网络预测结果的一致性损失时增加一个不确定度判断条件，focal损失的计算公式如下：
Lfocal＝-(1-pt)γlog(pt)
式中：Lfocal代表focal损失，pt表示样本属于t类的概率，γ表示聚焦参数，γ≥0，(1-pt)γ表示调制系数，用于减少易分类样本的权重；
无监督损失的计算公式如下：
Figure BDA0004131280680000091
式中：Lunsup代表无监督损失，Ldice()代表骰子损失函数，
Figure BDA0004131280680000092
分别代表卷积神经网络和Transformer对于输入样本xi的预测结果，/>
Figure BDA0004131280680000093
分别是卷积神经网络和Transformer生成的伪标签，u表示Transformer生成的预测结果的不确定度，H是一个不确定度阈值，F()是一个判断函数，括号里内容为真则返回1，为假则返回0。/>
u的计算公式如下：
Figure BDA0004131280680000094
Figure BDA0004131280680000095
式中：T表示随机前向传播的次数，t表示第t次前向传播，
Figure BDA0004131280680000096
表示第t次预测中是第c类的概率，μc是体素级别的不确定度。
作为一种实施方式，步骤S5中，模型的训练使用Pytorch实现，并在带有A100 GPU的Ubuntu桌面上进行，训练包括以下步骤：
S5.1、初始化网络；
S5.2、加载训练数据；
S5.3、设置训练参数；
如基础学习率设置为0.01，使用随机梯度下降优化器来更新网络参数，权重衰减为0.0001，动量为0.9，最大迭代次数为30000，批处理大小为16。
S5.4、迭代训练，如采用随机梯度下降算法对改进的网络结构进行迭代训练，每迭代3000次保存一次网络模型，经过不断迭代，取得网络最优解。
本发明用Dice相似系数(Dice Similariy Coefficient,DSC)和豪斯多夫距离(Hausdorff_95,HD95)两个指标来评估分割效果，本发明的实验结果如表一所示。从表1中可以看出，改进后的算法相比于原始的协同训练平均DSC提高了1.93％，HD95减少了3.41，模型分割性能有所提高。
表1实验结果
Figure BDA0004131280680000101
本发明的部分分割结果如图2所示，从图中可以看到改进前比较容易错误地将分割目标周围一些类似分割目标的组织也一同分割出来，也存在小部分分割目标没有被分割出来的现象，而改进后的分割结果与标签更加接近，较少出现将非分割目标区域分割出来的情况。
本发明在CNN的下采样前加入了SE注意力模块，使得网络模型重点关注分割区域，削弱不相关区域对分割的影响。本发明还在计算监督损失时使用focal损失代替交叉熵损失，动态调整损失的权重，减少像素数量更多的背景的权重，聚焦不易分割的部分，以合并更精细的分割边界。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本发明旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于改进协同训练的心脏磁共振图像分割方法，其特征在于，所述方法包括以下步骤：
步骤S1、获取公共心脏磁共振图像数据集并对其进行预处理，得到训练样本；
步骤S2、将卷积神经网络与Transformer进行协同训练，往卷积神经网络中加入注意力模块，得到具有注意力机制的协同训练网络；
步骤S3、在步骤S2得到的网络的基础上增加Transformer不确定度，通过蒙特卡罗抽样生成Transformer预测结果的不确定度，得到具有注意力机制和不确定度感知的协同训练网络；
步骤S4、在步骤S3得到的网络的基础上优化损失函数，引入focal损失函数，结合步骤S3中生成的不确定度计算无监督损失，得到更加精准的具有注意力机制和不确定度感知的协同训练网络；
步骤S5、使用步骤S1中得到的训练样本对步骤S4中的具有注意力机制和不确定度感知的协同训练网络进行模型训练，得到心脏磁共振图像分割模型；
步骤S6、用心脏磁共振图像分割模型对待分割图像进行预测，得到标记出左心室、右心室和心肌位置的样本预测结果。
2.根据权利要求1所述的基于改进协同训练的心脏磁共振图像分割方法，其特征在于，步骤S1中，预处理包括：
将nii.gz格式的原始心脏磁共振数据转换为h5格式；
将所有图像的尺寸统一调整为256*256，选取10％作为有标记数据；
对图像进行-25°～25°的随机旋转，并进行数据增强操作。
3.根据权利要求1所述的基于改进协同训练的心脏磁共振图像分割方法，其特征在于，所述方法还包括：
以8：2的比例将公共心脏磁共振图像数据集划分为训练样本和测试样本；
在步骤S5后，用测试样本对心脏磁共振图像分割模型进行评估。
4.根据权利要求1所述的基于改进协同训练的心脏磁共振图像分割方法，其特征在于，步骤S2包括：
将卷积神经网络与Transformer进行协同训练，对于有标签的数据，用标签来监督卷积神经网络和Transformer的预测结果；
对于没有标签的数据，用其中一个网络的预测结果作为伪标签来更新另一个网络的参数；
以UNet作为卷积神经网络的具体网络模型，往UNet下采样前加入SE注意力模块。
5.根据权利要求1所述的基于改进协同训练的心脏磁共振图像分割方法，其特征在于，步骤S3中，增加Transformer不确定度包括：
Transformer在随机失活和添加高斯噪声的加持下进行8次前向传播，将这些输出进行平均和统计方差，从而在输出预测结果的同时输出该结果的不确定性，只有不确定性小于阈值的预测结果会成为伪标签并用于监督卷积神经网络的预测。
6.根据权利要求1所述的基于改进协同训练的心脏磁共振图像分割方法，其特征在于，步骤S4中，损失函数为有监督损失和无监督损失的加权和，优化措施包括将有监督损失中的交叉熵损失替换为focal损失，计算无监督损失中Transformer的伪标签与卷积神经网络预测结果的一致性损失时增加一个不确定度判断条件，focal损失的计算公式如下：
Lfocal＝-(1-pt)γlog(pt)
式中：Lfocal代表focal损失，pt表示样本属于t类的概率，γ表示聚焦参数，γ≥0，(1-pt)γ表示调制系数，用于减少易分类样本的权重；
无监督损失的计算公式如下：
Figure FDA0004131280670000031
式中：Lunsup代表无监督损失，Ldice()代表骰子损失函数，
Figure FDA0004131280670000032
分别代表卷积神经网络和Transformer对于输入样本xi的预测结果，/>
Figure FDA0004131280670000033
分别是卷积神经网络和Transformer生成的伪标签，u表示Transformer生成的预测结果的不确定度，H是一个不确定度阈值，F()是一个判断函数，括号里内容为真则返回1，为假则返回0。
7.根据权利要求1所述的基于改进协同训练的心脏磁共振图像分割方法，其特征在于，步骤S5中，模型的训练包括以下步骤：
S5.1、初始化网络；
S5.2、加载训练数据；
S5.3、设置训练参数；
S5.4、迭代训练。
8.根据权利要求7所述的基于改进协同训练的心脏磁共振图像分割方法，其特征在于，步骤S5.3包括：
基础学习率设置为0.01，使用随机梯度下降优化器来更新网络参数，权重衰减为0.0001，动量为0.9，最大迭代次数为30000，批处理大小为16。
9.根据权利要求7所述的基于改进协同训练的心脏磁共振图像分割方法，其特征在于，步骤S5.4中，采用随机梯度下降算法对改进的网络结构进行迭代训练，每迭代3000次保存一次网络模型，经过不断迭代，取得网络最优解。
CN202310261174.2A 2023-03-17 2023-03-17 一种基于改进协同训练的心脏磁共振图像分割方法 Pending CN116258729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310261174.2A CN116258729A (zh) 2023-03-17 2023-03-17 一种基于改进协同训练的心脏磁共振图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310261174.2A CN116258729A (zh) 2023-03-17 2023-03-17 一种基于改进协同训练的心脏磁共振图像分割方法

Publications (1)

Publication Number Publication Date
CN116258729A true CN116258729A (zh) 2023-06-13

Family

ID=86684271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310261174.2A Pending CN116258729A (zh) 2023-03-17 2023-03-17 一种基于改进协同训练的心脏磁共振图像分割方法

Country Status (1)

Country Link
CN (1) CN116258729A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649528A (zh) * 2024-01-29 2024-03-05 山东建筑大学 一种半监督图像分割方法、系统、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649528A (zh) * 2024-01-29 2024-03-05 山东建筑大学 一种半监督图像分割方法、系统、电子设备及存储介质
CN117649528B (zh) * 2024-01-29 2024-05-31 山东建筑大学 一种半监督图像分割方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11663293B2 (en) Image processing method and device, and computer-readable storage medium
CN108256562B (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN111915613B (zh) 一种图像实例分割方法、装置、设备及存储介质
WO2018023734A1 (zh) 一种3d图像的显著性检测方法
CN111145181A (zh) 一种基于多视角分离卷积神经网络的骨骼ct图像三维分割方法
CN115661144A (zh) 基于可变形U-Net的自适应医学图像分割方法
CN114511576B (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN116258729A (zh) 一种基于改进协同训练的心脏磁共振图像分割方法
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
Niu et al. Machine learning-based framework for saliency detection in distorted images
CN112784884A (zh) 一种医学图像分类方法、系统、介质及电子终端
CN111222546B (zh) 一种多尺度融合的食品图像分类模型训练及图像分类方法
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
Chen et al. Boosting video object segmentation via robust and efficient memory network
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN115565177B (zh) 文字识别模型训练、文字识别方法、装置、设备及介质
Guo et al. Image saliency detection based on geodesic‐like and boundary contrast maps
CN115294424A (zh) 一种基于生成对抗网络的样本数据增强方法
CN112990336B (zh) 基于竞争注意力融合的深度三维点云分类网络构建方法
CN116842479B (zh) 图像处理方法、装置、计算机设备和存储介质
CN115481285B (zh) 跨模态的视频文本匹配方法、装置、电子设备及存储介质
Liang et al. Bone Stick Image Classification Study Based on C3CA Attention Mechanism Enhanced Deep Cascade Network
Bataineh Image contrast enhancement for preserving entropy and image visual features.
Hong et al. Video Object Segmentation based on improved OSVOS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination