CN113256639A - 基于半监督平均教师模型的冠脉造影血管图像分割方法 - Google Patents

基于半监督平均教师模型的冠脉造影血管图像分割方法 Download PDF

Info

Publication number
CN113256639A
CN113256639A CN202110587303.8A CN202110587303A CN113256639A CN 113256639 A CN113256639 A CN 113256639A CN 202110587303 A CN202110587303 A CN 202110587303A CN 113256639 A CN113256639 A CN 113256639A
Authority
CN
China
Prior art keywords
model
data
supervised
teacher model
coronary angiography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110587303.8A
Other languages
English (en)
Inventor
王金甲
常万里
周莹
宋佳锐
郭浩攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202110587303.8A priority Critical patent/CN113256639A/zh
Publication of CN113256639A publication Critical patent/CN113256639A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于半监督平均教师模型的冠脉造影血管图像分割方法，本发明采用半监督学习的方法对冠脉造影图像进行分割预测，在仅需要少量标注数据和大量未标注数据的情况下即可实现良好的分割预测，大大缓解了冠脉数据紧缺的问题。同时本发明的学生模型和教师模型采用医学图像分割网络模型Unet结构，简单易于实现，再加上教师模型权重更新我们采用的是学生模型权重随机加权平均，加快了网络训练的收敛速度，并且分割预测效果良好。

Description

基于半监督平均教师模型的冠脉造影血管图像分割方法
技术领域
本发明涉及医学技术领域，尤其是基于半监督平均教师模型的冠脉造影血管图像分割方法。
背景技术
半监督学习是当前比较流行的一种方法，因其不需要耗时耗力进行大量标注数据集而被众多科研人员所青睐。现有的冠脉造影图像分割技术有传统的分割方法，但是效果并不理想，因此基本不用。常用的是深度学习方法，目前冠脉造影常用的深度学习方法为有监督方法和弱监督方法，但是有监督方法需要大量的有标注的数据才可以训练出分割效果好的模型，但是标注数据却是一项耗费大量人力和时间的工作，需要该领域的专家逐像素进行精细标注，时间成本太高，弱监督方法由于本身并没有精细标注的数据参与训练，因此训练出来的模型分割效果并不理想。
发明内容
本发明需要解决的技术问题是提供半监督平均教师模型的冠脉造影血管图像分割方法，仅需要少量的标注和大量的无标注数据，弥补了弱监督没有精细标注的缺陷，同时也不需要像有监督那样耗费大量的时间去标注数据，可实现良好的分割预测，大大缓解了冠脉数据紧缺的问题。
为解决上述技术问题，本发明所采用的技术方案是：基于半监督平均教师模型的冠脉造影血管图像分割方法，包括如下步骤：
S1、获取实验所需要的冠脉造影图像数据，所述冠脉造影图像数据包括少量标注的数据和大量未标注的数据；
S2、将冠脉造影图像数据送入学生模型和教师模型，所述学生模型和教师模型均采用Unet网络，在训练阶段的开始，当输入的是有标注数据时，学生模型通过监督学习的交叉熵损失监督训练；
S3、随着训练的持续，学生模型和教师模型的输出要保持一致，学生模型由标注数据和未标注数据的正则化损失和仅利用标注数据的交叉熵损失半监督训练，所述正则化损失为均方误差损失；学生模型权重更新采用反向传播算法，教师模型的权重更新则采用学生模型权重的随机加权平均；
S4、训练完成后，保存好训练模型，用验证集对模型进行验证，若分割预测效果好，则该模型就是我们所要的分割预测模型，反之，调整模型超参数继续训练，直到分割预测效果好。
本发明技术方案的进一步改进在于：所述步骤S2中Unet网络包括编码器和解码器，所述编码器采用卷积网络结构，所述编码器包括四个下采样模块，每个模块包括两个卷积核大小均为3×3的卷积和一个激活函数ReLU，且每个模块后面均包含一个核大小为2x2、步长为2的最大池化层；所述解码器中的每一步均先对特征映射进行上采样，然后进行2x2卷积，该卷积为up-convolution；特征映射的上采样操作将特征通道的数量减半并与编码器中相应裁剪的特征拼接起来，然后后接两个3x3卷积，每个卷积后都有一个激活函数ReLU；在最后一层，使用1x1卷积来将每个64通道特征图映射到特定深度并且使用softmax输出来匹配输入图像的大小。
本发明技术方案的进一步改进在于：所述步骤S2和步骤S3中标注数据的交叉熵损失公式为：
Figure BDA0003088136340000021
其中，Lce为标注数据的交叉熵损失，
Figure BDA0003088136340000022
表示的是标注数据的GroungTruth图的一致性转换结果，zi表示的是标注数据输入学生模型后再经过一致性转换后的数据，B′为有标注的数据。
本发明技术方案的进一步改进在于：所述步骤S3中标注数据和未标注数据的正则化损失公式为：
Figure BDA0003088136340000031
其中，LR为标注数据和未标注数据的正则化损失，B为整个实验的数据，z～i为输入数据先经过一致性转换后再输入教师模型的预测结果。
本发明技术方案的进一步改进在于：所述步骤S3中教师模型的权重表达式如下：
Figure BDA0003088136340000032
其中，WSWA为教师模型的权重，W为学生模型的权重，β是平衡这两个模型权重的超参数。
本发明技术方案的进一步改进在于：所述学生模型和教师模型的总损失函数表达式如下：
Ltotal＝Lce+λ(T)LR， (4)
其中，λ(T)为交叉熵损失和一致性损失的加权因子，表达式如下：
Figure BDA0003088136340000033
加权因子λ(T)为高斯上升曲线，其中T表示训练周期，k表示加权函数的最大值，k＝1.0。
由于采用了上述技术方案，本发明取得的技术进步是：
本发明采用半监督学习的方法对冠脉造影图像进行分割预测，在仅需要少量标注数据和大量未标注数据的情况下即可实现良好的分割预测，大大缓解了冠脉数据紧缺的问题。同时本发明的学生模型和教师模型采用医学图像分割网络模型Unet结构，简单易于实现，再加上教师模型权重更新我们采用的是学生模型权重随机加权平均，加快了网络训练的收敛速度，并且分割预测效果良好。
附图说明
图1是本发明的总体框架路线图；
图2是本发明整体技术路线图；
图3是本发明学生模型和教师模型的网络结构。
具体实施方式
下面结合实施例对本发明做进一步详细说明：
如图1至图2所示，基于半监督平均教师模型的冠脉造影血管图像分割方法，包括如下步骤：
S1、获取实验所需要的冠脉造影图像数据，所述冠脉造影图像数据包括少量标注的数据和大量未标注的数据。
S2、将冠脉造影图像数据送入学生模型和教师模型，所述学生模型和教师模型均采用Unet网络，如图3所示，所述Unet网络包括编码器和解码器，所述编码器采用卷积网络结构，所述编码器包括四个下采样模块，每个模块包括两个卷积核大小均为3×3的卷积和一个激活函数ReLU，且每个模块后面均包含一个核大小为2x2、步长为2的最大池化层；所述解码器中的每一步均先对特征映射进行上采样，然后进行2x2卷积，该卷积为up-convolution；特征映射的上采样操作将特征通道的数量减半并与编码器中相应裁剪的特征拼接起来，然后后接两个3x3卷积，每个卷积后都有一个激活函数ReLU；在最后一层，使用1x1卷积来将每个64通道特征图映射到特定深度并且使用softmax输出来匹配输入图像的大小。
在训练阶段的开始，当输入的是有标注数据时，学生模型通过监督学习的交叉熵损失监督训练：标注数据的交叉熵损失公式为：
Figure BDA0003088136340000041
其中，Lce为标注数据的交叉熵损失，
Figure BDA0003088136340000042
表示的是标注数据的GroungTruth图的一致性转换结果，zi表示的是标注数据输入学生模型后再经过一致性转换后的数据，B′为有标注的数据。
S3、随着训练的持续，学生模型和教师模型的输出要保持一致，学生模型由标注数据和未标注数据的正则化损失和仅利用标注数据的交叉熵损失半监督训练，正则化损失为均方误差损失。学生模型权重更新采用反向传播算法，教师模型的权重更新则采用学生模型权重的随机加权平均，随机加权平均的灵感来自于实际观察，每次学习率循环结束时产生的局部最小值趋向于在损失面的边缘区域积累，这些边缘区域上的损失值较小过对几个这样的点取平均，很有可能得到一个甚至更低损失的、全局化的通用解。该方法的泛化性能比较好，收敛速度也比较快，平稳且振荡幅度较小。并且该方法易于实现，架构独立，并且相较于传统的训练方法，它几乎不需要任何附加的成本。
标注数据和未标注数据的正则化损失公式为：
Figure BDA0003088136340000051
其中，LR为标注数据和未标注数据的正则化损失，B为整个实验的数据，z～i为输入数据先经过一致性转换后再输入教师模型的预测结果，本发明当中的一致性转换不仅包括对输入输出数据同时进行随机缩放还包括随机旋转，同时也对网络使用随机扰动，如高斯噪声和Dropout等。
所述教师模型的权重表达式如下：
Figure BDA0003088136340000052
其中，WSWA为教师模型的权重，W为学生模型的权重，β是平衡这两个模型权重的超参数。
所述学生模型和教师模型的总损失函数表达式如下：
Ltotal＝Lce+λ(T)LR， (4)
其中，λ(T)为交叉熵损失和一致性损失的加权因子，表达式如下：
Figure BDA0003088136340000061
加权因子λ(T)为高斯上升曲线，其中T表示训练周期，k表示加权函数的最大值，k＝1.0。
S4、训练完成后，保存好训练模型，用验证集对模型进行验证，若分割预测效果好，则该模型就是我们所要的分割预测模型，反之，调整模型超参数继续训练，直到分割预测效果好。
本发明采用半监督学习的方法对冠脉造影图像进行分割预测，在仅需要少量标注数据和大量未标注数据的情况下即可实现良好的分割预测，大大缓解了冠脉数据紧缺的问题。同时本发明的学生模型和教师模型采用医学图像分割网络模型Unet结构，简单易于实现，再加上教师模型权重更新我们采用的是学生模型权重随机加权平均，加快了网络训练的收敛速度，并且分割预测效果良好。

Claims (6)

1.基于半监督平均教师模型的冠脉造影血管图像分割方法，其特征在于：包括如下步骤：
S1、获取实验所需要的冠脉造影图像数据，所述冠脉造影图像数据包括少量标注的数据和大量未标注的数据；
S2、将冠脉造影图像数据送入学生模型和教师模型，所述学生模型和教师模型均采用Unet网络，在训练阶段的开始，当输入的是有标注数据时，学生模型通过监督学习的交叉熵损失监督训练；
S3、随着训练的持续，学生模型和教师模型的输出要保持一致，学生模型由标注数据和未标注数据的正则化损失和仅利用标注数据的交叉熵损失半监督训练，所述正则化损失为均方误差损失；学生模型权重更新采用反向传播算法，教师模型的权重更新则采用学生模型权重的随机加权平均；
S4、训练完成后，保存好训练模型，用验证集对模型进行验证，若分割预测效果好，则该模型就是我们所要的分割预测模型，反之，调整模型超参数继续训练，直到分割预测效果好。
2.根据权利要求1所述的基于半监督平均教师模型的冠脉造影血管图像分割方法，其特征在于：所述步骤S2中Unet网络包括编码器和解码器，所述编码器采用卷积网络结构，所述编码器包括四个下采样模块，每个模块包括两个卷积核大小均为3×3的卷积和一个激活函数ReLU，且每个模块后面均包含一个核大小为2x2、步长为2的最大池化层；所述解码器中的每一步均先对特征映射进行上采样，然后进行2x2卷积，该卷积为up-convolution；特征映射的上采样操作将特征通道的数量减半并与编码器中相应裁剪的特征拼接起来，然后后接两个3x3卷积，每个卷积后都有一个激活函数ReLU；在最后一层，使用1x1卷积来将每个64通道特征图映射到特定深度并且使用softmax输出来匹配输入图像的大小。
3.根据权利要求2所述的基于半监督平均教师模型的冠脉造影血管图像分割方法，其特征在于：所述步骤S2和步骤S3中标注数据的交叉熵损失公式为：
Figure FDA0003088136330000021
其中，Lce为标注数据的交叉熵损失，
Figure FDA0003088136330000024
表示的是标注数据的GroungTruth图的一致性转换结果，zi表示的是标注数据输入学生模型后再经过一致性转换后的数据，B′为有标注的数据。
4.根据权利要求3所述的基于半监督平均教师模型的冠脉造影血管图像分割方法，其特征在于：所述步骤S3中标注数据和未标注数据的正则化损失公式为：
Figure FDA0003088136330000022
其中，LR为标注数据和未标注数据的正则化损失，B为整个实验的数据，z～i为输入数据先经过一致性转换后再输入教师模型的预测结果。
5.根据权利要求4所述的基于半监督平均教师模型的冠脉造影血管图像分割方法，其特征在于：所述步骤S3中教师模型的权重表达式如下：
Figure FDA0003088136330000023
其中，WSWA为教师模型的权重，W为学生模型的权重，β是平衡这两个模型权重的超参数。
6.根据权利要求5所述的基于半监督平均教师模型的冠脉造影血管图像分割方法，其特征在于：所述学生模型和教师模型的总损失函数表达式如下：
Ltotal＝Lce+λ(T)LR， (4)
其中，λ(T)为交叉熵损失和一致性损失的加权因子，表达式如下：
Figure FDA0003088136330000025
加权因子λ(T)为高斯上升曲线，其中T表示训练周期，k表示加权函数的最大值，k＝1.0。
CN202110587303.8A 2021-05-27 2021-05-27 基于半监督平均教师模型的冠脉造影血管图像分割方法 Pending CN113256639A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110587303.8A CN113256639A (zh) 2021-05-27 2021-05-27 基于半监督平均教师模型的冠脉造影血管图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110587303.8A CN113256639A (zh) 2021-05-27 2021-05-27 基于半监督平均教师模型的冠脉造影血管图像分割方法

Publications (1)

Publication Number Publication Date
CN113256639A true CN113256639A (zh) 2021-08-13

Family

ID=77184903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110587303.8A Pending CN113256639A (zh) 2021-05-27 2021-05-27 基于半监督平均教师模型的冠脉造影血管图像分割方法

Country Status (1)

Country Link
CN (1) CN113256639A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131565A (zh) * 2022-07-20 2022-09-30 天津大学 基于半监督学习的组织学图像分割模型
CN117197472A (zh) * 2023-11-07 2023-12-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3719744A1 (en) * 2019-04-06 2020-10-07 Kardiolytics Inc. Method and system for machine learning based segmentation of contrast filled coronary artery vessels on medical images
CN111814816A (zh) * 2019-04-12 2020-10-23 北京京东尚科信息技术有限公司 一种目标检测方法、装置及其存储介质
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统
CN112669330A (zh) * 2020-12-25 2021-04-16 上海交通大学 基于双重一致性自集成学习的半监督评估方法及评估系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3719744A1 (en) * 2019-04-06 2020-10-07 Kardiolytics Inc. Method and system for machine learning based segmentation of contrast filled coronary artery vessels on medical images
CN111814816A (zh) * 2019-04-12 2020-10-23 北京京东尚科信息技术有限公司 一种目标检测方法、装置及其存储介质
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统
CN112669330A (zh) * 2020-12-25 2021-04-16 上海交通大学 基于双重一致性自集成学习的半监督评估方法及评估系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QI CHANG ET AL: "SOFT-LABEL GUIDED SEMI-SUPERVISED LEARNING FOR BI-VENTRICLE SEGMENTATION IN CARDIAC CINE MRI", 《RESEARCHGATE》 *
XIAOMENG LI ET AL: "Transformation-consistent Self-ensembling Model for Semi-supervised Medical Image Segmentation", 《ARXIV:1903.00348V3》 *
王金甲等: "基于平均教师模型的弱标记半监督声音事件检测", 《复旦学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131565A (zh) * 2022-07-20 2022-09-30 天津大学 基于半监督学习的组织学图像分割模型
CN115131565B (zh) * 2022-07-20 2023-05-02 天津大学 基于半监督学习的组织学图像分割模型
CN117197472A (zh) * 2023-11-07 2023-12-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置
CN117197472B (zh) * 2023-11-07 2024-03-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置

Similar Documents

Publication Publication Date Title
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
US10803591B2 (en) 3D segmentation with exponential logarithmic loss for highly unbalanced object sizes
Shamsolmoali et al. G-GANISR: Gradual generative adversarial network for image super resolution
CN106780342A (zh) 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN110475505A (zh) 利用全卷积网络的自动分割
CN113256639A (zh) 基于半监督平均教师模型的冠脉造影血管图像分割方法
CN109949255A (zh) 图像重建方法及设备
CN109783827A (zh) 一种基于动态线性聚合的深层神经机器翻译方法
CN110244689A (zh) 一种基于判别性特征学习方法的auv自适应故障诊断方法
US11587291B2 (en) Systems and methods of contrastive point completion with fine-to-coarse refinement
CN113763441B (zh) 无监督学习的医学图像配准方法及系统
CN110942466B (zh) 一种基于深度学习技术的脑动脉分割方法及装置
CN109784159A (zh) 场景图像的处理方法、装置及系统
CN112270366B (zh) 基于自适应多特征融合的微小目标检测方法
CN113763442A (zh) 一种可变形医学图像配准方法及系统
CN113807340A (zh) 一种基于注意力机制的不规则自然场景文本识别方法
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN113763406A (zh) 基于半监督学习的婴儿脑mri分割方法
CN116823850A (zh) 基于U-Net和Transformer融合改进的心脏MRI分割方法及系统
CN116188509A (zh) 一种高效率三维图像分割方法
CN112116685A (zh) 基于多粒度奖励机制的多注意力融合网络的图像字幕生成方法
CN113657392B (zh) 基于低秩混合注意力机制的小目标语义分割方法及系统
CN111783852B (zh) 一种基于深度强化学习自适应式生成图像描述的方法
CN113836783A (zh) 斜拉桥主梁温致挠度监测基准值的数字回归模型建模方法
CN113344146B (zh) 基于双重注意力机制的图像分类方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210813