CN115359029A - 一种基于异构交叉伪监督网络的半监督医学图像分割方法 - Google Patents

一种基于异构交叉伪监督网络的半监督医学图像分割方法 Download PDF

Info

Publication number
CN115359029A
CN115359029A CN202211059447.7A CN202211059447A CN115359029A CN 115359029 A CN115359029 A CN 115359029A CN 202211059447 A CN202211059447 A CN 202211059447A CN 115359029 A CN115359029 A CN 115359029A
Authority
CN
China
Prior art keywords
network
supervised
pseudo
model
hcps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211059447.7A
Other languages
English (en)
Inventor
金超强
段先华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN202211059447.7A priority Critical patent/CN115359029A/zh
Publication of CN115359029A publication Critical patent/CN115359029A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于异构交叉伪监督网络的半监督医学图像分割方法，该方法包括以下步骤：收集样本，标注标签，按照5:1的比例将数据集随机划分为训练集和测试集，通过随机裁剪、水平翻转、旋转的方式进行数据增强；搭建HCPS网络模型；在训练集上对HCPS网络进行训练，执行分割任务并生成分割模型；通过训练集上测试模型，根据测试结果，选择最优的模型为最终模型，并保存用于图像的分割。本发明通过将HCPS网络模型中Unet与Swin‑Unet组合进行交叉伪监督学习，提升网络的训练效率和分割效果，同时根据Unet与Swin‑Unet组合进行交叉伪监督学习，提高全局特征的捕捉能力和局部捕捉能力，充分利用有的标注数据以达到令人满意的分割效果。

Description

一种基于异构交叉伪监督网络的半监督医学图像分割方法
技术领域
本发明属于医学图像分析及人工智能技术领域，本发明涉及一种基于异构交叉伪监督网络的半监督医学图像分割方法。
背景技术
随着医学成像技术的进步与全球推广，医学图像数据的增长速度远远快于现有的人类专家所能处理的速度。在过去数年中，基于深度学习医学图像分割技术已成为医学领域的研究热点，该技术极大地提升了医学图像分割工作的效率。医学图像的标注工作都需要医学专家手动标记，图像分割效果的好坏跟专家的经验和水平紧密相关，高质量的标注数据往往规模较小，这种困境使得对标注数据依赖程度较低的半监督分割技术的研究迫在眉睫。半监督图像分割追求高效率利用小量标记数据和大量无标记数据以达到更好的分割效果，使用半监督分割方法能有效削减人力成本，同时又能够提高医学图像分割的准确性。
近年来，在医学图像分割领域中，Transformer备受关注，但Transformer及其变种都依赖大规模的训练数据集，因此在小样本分割上往往表现不佳。已有的半监督方法的研究大多基于CNN网络，例如Unet及其变种，并且在医学图像分割领域取得了不错的效果。然而CNN网络通过卷积、池化等操作捕捉局部特征，但不关注全局特征的学习，在标记数据有限的情况下对图像分割全部特征捕捉。
发明内容
本发明针对上述的不足之处提供一种能够在标记数据有限的情况下达到较好的分割效果的半监督医学图像分割方法。
本发明目的是这样实现的：一种基于异构交叉伪监督网络的半监督医学图像分割方法，其特征在于：所述该方法包括以下步骤：
步骤1：收集样本，标注标签，按照5:1的比例将数据集随机划分为训练集和测试集，通过随机裁剪、水平翻转、旋转的方式进行数据增强；
步骤2：搭建HCPS网络模型；
步骤3：在训练集上对HCPS网络进行训练，执行分割任务并生成分割模型；
步骤4：通过训练集上测试模型，根据测试结果，选择最优的模型为最终模型，并保存用于图像的分割。
优选的，所述步骤1中的数据增强的方法如下：
采用随机裁剪，直接裁剪处出固定大小的影像输入网络；
在-25度和25度之间随机旋转；
取概率p为0.5随机抽取训练数据进行随机翻转。
优选的，所述步骤2中搭建HCPS网络模型，HCPS网络模型选用交叉伪监督策略来作为基本网络框架；所述HCPS网络模型包括Unet和Swin-Unet，使用Unet和Swin-Unet进行特征提取和还原，最终输出目标的预测图。
优选的，所述Swin-Unet的下采样采用移位图块标记化模块。
优选的，所述HCPS网络模型中CPS中添加置信度评价模块，抑制质量不稳定的伪标签对网络训练效果的影响。
优选的，所述移位图块标记化模块的结构为：
在图像输入时和下采样阶段将输入图像向左上、左下、右上、右下4个方向移位半个图像块尺寸(patch-size)，然后将移位后的图像与输入图像级联；
将图块分割，然后依次执行图块展平、层归一化和线性投影三个操作，最终将图像转化为视觉符号供网络训练。
优选的，所述置信度评价模块结构为：
置信度评价模块的核心思想是：两种网络产出的伪标签越是相似，该伪标签往往质量越高；基于这种假设，选取KL散度作为衡量伪标签之间相似度的标准，计算公式如下：
Figure BDA0003822937980000021
在公式(1)中，P(x)和Q(x)分别是两个网络产生的伪标签，X是伪标签像素的集合，Lkl是两者的KL散度。
优选的，所述HCPS网络模型采用有监督方式和无监督方式，有监督方式采用交叉熵损失函数，无监督方式采用Dice损失函数。
与现有技术相比，本发明的有益效果：1、通过采用HCPS网络模型，将HCPS网络模型中Unet与Swin-Unet组合进行交叉伪监督学习，提升网络的训练效率和分割效果，同时根据Unet与Swin-Unet组合进行交叉伪监督学习，提高全局特征的捕捉能力和局部捕捉能力，充分利用有的标注数据以达到令人满意的分割效果。
2、采用置信度评价模块来调控网络的伪监督损，提高网络中伪监督损失的置信度，置信度评价模块赋予了网络自适应调控伪监督损失权重的能力，大幅降低了伪标签质量不稳定对网络训练造成的影响。
附图说明
图1为本发明的方法流程图。
图2为HCPS的网络图。
图3为位图块标记化模块的结构。
图4为FCRB-U-Net的实例分割效果图。
具体实施方式
以下结合附图对本发明做进一步概述。
如图1所示，一种基于异构交叉伪监督网络的半监督医学图像分割方法，包括以下步骤：
步骤1：收集样本，标注标签，按照5:1的比例将数据集随机划分为训练集和测试集，通过随机裁剪、水平翻转、旋转的方式进行数据增强；
数据增强的方法如下：
采用随机裁剪，直接裁剪处出固定大小的影像输入网络；
在-25度和25度之间随机旋转；
取概率p为0.5随机抽取训练数据进行随机翻转。
步骤2：搭建HCPS网络模型；
HCPS网络模型选用交叉伪监督策略来作为基本网络框架；所述HCPS网络模型包括Unet和Swin-Unet，使用Unet和Swin-Unet进行特征提取和还原，最终输出目标的预测图。
HCPS网络模型采用有监督方式和无监督方式，有监督方式采用交叉熵损失函数，无监督方式采用采用Dice损失函数；将Unet和Swin-Unet以交叉伪监督策略组合进行交叉学习。
交叉熵损失函数为：
Figure BDA0003822937980000041
式中，c表示所需计算的对象拥有的类别数，p(i)和q(i)即为计算对象。
Dice损失函数为：
Figure BDA0003822937980000042
式中，ldice即是Dice损失，A和B是以集合形式表示的计算对象。
通过计算每个样本的Dice再求平均，根据平均Dice的数值判断模型的优劣。
在Swin-Unet中嵌入移位图块标记化模块以增加输入图像包含的空间信息，在交叉伪监督策略中加入置信度评价模块以提升网络性能。
进一步，标记化模块的结构为：
在图像输入时和下采样阶段将输入图像向左上、左下、右上、右下4个方向移位半个图像块尺寸(patch-size)，然后将移位后的图像与输入图像级联；
将图块分割，然后依次执行图块展平、层归一化和线性投影三个操作，最终将图像转化为视觉符号供网络训练。
置信度评价模块结构为：
置信度评价模块的核心思想是：两种网络产出的伪标签越是相似，该伪标签往往质量越高；基于这种假设，选取KL散度作为衡量伪标签之间相似度的标准，计算公式如下：
Figure BDA0003822937980000043
在公式(4)中，P(x)和Q(x)分别是两个网络产生的伪标签，X是伪标签像素的集合，Lkl是两者的KL散度。
当KL散度较大时，对应的伪标签是低质量的，这时候网络中伪监督损失的置信度也降低，反之，网络中伪监督损失的置信度升高。置信度评价模块赋予了网络自适应调控伪监督损失权重的能力，大幅降低了伪标签质量不稳定对网络训练造成的影响。
步骤3：在训练集上对HCPS网络进行训练，执行分割任务并生成分割模型；
步骤4：通过训练集上测试模型，根据测试结果，选择最优的模型为最终模型，并保存用于图像的分割。
通过与其他方法的比较，可以验证本发明所提出的方法性能明显优于其他的卷积神经网络的算法。其中，Swin-Unet采用全监督，其他方法采用半监督，有标记数据与无标记数据比例为8:72。
表1语义分割模型实验结果比较
Model Labeled:Unlabeled Dice Jaccard HD95 ASD
Swin-Unet 80:0 0.8630 0.7332 7.4 3.51
MT 8:72 0.8304 0.7255 15.21 3.85
UA-MT 8:72 0.8425 0.7348 13.84 3.36
DTC 8:72 0.8657 0.7655 14.47 3.74
本发明方法 8:72 0.8923 0.8067 7.51 2.21
观察表1的数据不难发现，我们的方法在有标记数据量仅为总数据量的10％时，我们的方法表现出了强大的性能，具体体现在我们的方法在四项指标上超出其余半监督方法，且Dice指标比第二名高出2.66％，比Swin-Unet全监督高出2.93％。显然我们的方法能在标记数据极为有限的情况下达到令人满意的分割效果。
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (8)

1.一种基于异构交叉伪监督网络的半监督医学图像分割方法，其特征在于：所述该方法包括以下步骤：
步骤1：收集样本，标注标签，按照5:1的比例将数据集随机划分为训练集和测试集，通过随机裁剪、水平翻转、旋转的方式进行数据增强；
步骤2：搭建HCPS网络模型；
步骤3：在训练集上对HCPS网络进行训练，执行分割任务并生成分割模型；
步骤4：通过训练集上测试模型，根据测试结果，选择最优的模型为最终模型，并保存用于图像的分割。
2.根据权利要求1所述的一种基于异构交叉伪监督网络的半监督医学图像分割方法，其特征在于：所述步骤1中的数据增强的方法如下：
采用随机裁剪，直接裁剪处出固定大小的影像输入网络；
在-25度和25度之间随机旋转；
取概率p为0.5随机抽取训练数据进行随机翻转。
3.根据权利要求1所述的一种基于异构交叉伪监督网络的半监督医学图像分割方法，其特征在于：所述步骤2中搭建HCPS网络模型，HCPS网络模型选用交叉伪监督策略来作为基本网络框架，即使用两个网络来交叉学习，每个网络的预测输出将用来提取伪标签，使用伪标签作为另一个网络预测输出的真值进行损失计算；所述HCPS网络模型包括Unet和Swin-Unet，使用Unet和Swin-Unet进行特征提取和还原，最终输出目标的预测图。
4.根据权利要求3所述的一种基于异构交叉伪监督网络的半监督医学图像分割方法，其特征在于：所述Swin-Unet的下采样采用移位图块标记化模块。
5.根据权利要求3所述的一种基于异构交叉伪监督网络的半监督医学图像分割方法，其特征在于：所述HCPS网络模型中设有置信度评价模块，抑制质量不稳定的伪标签对网络训练效果的影响。
6.根据权利要求4所述的一种基于异构交叉伪监督网络的半监督医学图像分割方法，其特征在于：所述移位图块标记化模块的结构为：
在图像输入时和下采样阶段将输入图像向左上、左下、右上、右下4个方向移位半个图像块尺寸(patch-size)，然后将移位后的图像与输入图像级联；
将图块分割，然后依次执行图块展平、层归一化和线性投影三个操作，最终将图像转化为视觉符号供网络训练。
7.根据权利要求5所述的一种基于异构交叉伪监督网络的半监督医学图像分割方法，其特征在于：所述置信度评价模块结构为：
置信度评价模块的核心思想是：两种网络产出的伪标签越是相似，该伪标签往往质量越高；基于这种假设，选取KL散度作为衡量伪标签之间相似度的标准，计算公式如下：
Figure FDA0003822937970000021
在公式(1)中，P(x)和Q(x)分别是两个网络产生的伪标签，X是伪标签像素的集合，Lkl是两者的KL散度。
8.根据权利要求1所述的一种基于异构交叉伪监督网络的半监督医学图像分割方法，其特征在于：所述HCPS网络模型采用有监督方式和无监督方式，有监督方式采用交叉熵损失函数，无监督方式采用采用Dice损失函数。
CN202211059447.7A 2022-08-30 2022-08-30 一种基于异构交叉伪监督网络的半监督医学图像分割方法 Pending CN115359029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211059447.7A CN115359029A (zh) 2022-08-30 2022-08-30 一种基于异构交叉伪监督网络的半监督医学图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211059447.7A CN115359029A (zh) 2022-08-30 2022-08-30 一种基于异构交叉伪监督网络的半监督医学图像分割方法

Publications (1)

Publication Number Publication Date
CN115359029A true CN115359029A (zh) 2022-11-18

Family

ID=84004233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211059447.7A Pending CN115359029A (zh) 2022-08-30 2022-08-30 一种基于异构交叉伪监督网络的半监督医学图像分割方法

Country Status (1)

Country Link
CN (1) CN115359029A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402838A (zh) * 2023-06-08 2023-07-07 吉林大学 一种用于颅内出血的半监督图像分割方法及系统
CN117173401A (zh) * 2022-12-06 2023-12-05 南华大学 基于交叉指导和特征级一致性双正则化的半监督医学图像分割方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173401A (zh) * 2022-12-06 2023-12-05 南华大学 基于交叉指导和特征级一致性双正则化的半监督医学图像分割方法及系统
CN117173401B (zh) * 2022-12-06 2024-05-03 南华大学 基于交叉指导和特征级一致性双正则化的半监督医学图像分割方法及系统
CN116402838A (zh) * 2023-06-08 2023-07-07 吉林大学 一种用于颅内出血的半监督图像分割方法及系统
CN116402838B (zh) * 2023-06-08 2023-09-15 吉林大学 一种用于颅内出血的半监督图像分割方法及系统

Similar Documents

Publication Publication Date Title
CN110059758B (zh) 一种基于语义分割的遥感影像养殖塘检测方法
CN109446970B (zh) 一种基于深度学习的变电站巡检机器人道路场景识别方法
CN115359029A (zh) 一种基于异构交叉伪监督网络的半监督医学图像分割方法
CN114549563A (zh) 一种基于DeepLabV3+的复合绝缘子实时分割方法及系统
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN109117703B (zh) 一种基于细粒度识别的混杂细胞种类鉴定方法
CN114998603B (zh) 一种基于深度多尺度特征因子融合的水下目标检测方法
CN111915628B (zh) 一种基于预测目标密集边界点的单阶段实例分割方法
CN110956222B (zh) 用于水下目标检测的检测网络的方法
CN114627502A (zh) 一种基于改进YOLOv5的目标识别检测方法
CN112989942A (zh) 一种基于交通监控视频的目标实例分割方法
CN114841961B (zh) 基于图像增强和改进YOLOv5的小麦赤霉病检测方法
CN113420759B (zh) 一种基于深度学习的抗遮挡与多尺度死鱼识别系统与方法
CN116110036B (zh) 基于机器视觉的电力铭牌信息缺陷等级判断方法及装置
CN113610024B (zh) 一种多策略的深度学习遥感影像小目标检测方法
CN113743505A (zh) 基于自注意力和特征融合的改进ssd目标检测方法
CN112700476A (zh) 一种基于卷积神经网络的红外船视频跟踪方法
CN114092467A (zh) 一种基于轻量化卷积神经网络的划痕检测方法及系统
CN115410087A (zh) 一种基于改进YOLOv4的输电线路异物检测方法
CN118334336A (zh) 阴道镜图像分割模型构建方法、图像分类方法和装置
CN113192108B (zh) 一种针对视觉跟踪模型的人在回路训练方法及相关装置
CN112487911B (zh) 智能监控环境下基于改进yolov3的实时行人检测方法及装置
CN116486273B (zh) 一种小样本遥感图像水体信息提取方法
CN112861869A (zh) 一种基于轻量级卷积神经网络的高粱倒伏图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination