CN113706487A - 基于自监督特征小样本学习的多器官分割方法 - Google Patents

基于自监督特征小样本学习的多器官分割方法 Download PDF

Info

Publication number
CN113706487A
CN113706487A CN202110944404.6A CN202110944404A CN113706487A CN 113706487 A CN113706487 A CN 113706487A CN 202110944404 A CN202110944404 A CN 202110944404A CN 113706487 A CN113706487 A CN 113706487A
Authority
CN
China
Prior art keywords
segmentation
feature
image
query
query set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110944404.6A
Other languages
English (en)
Other versions
CN113706487B (zh
Inventor
缑水平
陈阳
李睿敏
郭璋
童诺
卢云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110944404.6A priority Critical patent/CN113706487B/zh
Publication of CN113706487A publication Critical patent/CN113706487A/zh
Application granted granted Critical
Publication of CN113706487B publication Critical patent/CN113706487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自监督特征小样本学习的多器官分割方法，主要解决现有技术使用小样本学习分割法进行多器官分割效果差的问题。其方案是：使用超像素分割法从初始数据集中生成大量包含伪标签的数据，并从中选择图像和伪标签作为支持集；采用数据增强法生成查询集；使用自监督特征学习通过预训练的编码器提取支持集和查询集的图像特征，再计算两者的相似度获得前景信息和先验概率辅助信息特征图；构建分割网络对前景信息进行特征精炼得到支持集原型；根据支持集原型与先验概率辅助信息特征图计算分类概率，获得分割结果。本发明减少了大目标器官的过分割和欠分割现象，提升了小目标器官的识别，可用于医学图像的多器官分割，协助医生诊断疾病。

Description

基于自监督特征小样本学习的多器官分割方法
技术领域
本发明属于图像处理技术领域，主要涉及一种小样本自适应多器官分割方法，可用于在复杂环境中对少量标签数据的多目标医学图像处理。
背景技术
多器官图像分割是医学影像处理中非常重要的研究领域，被广泛应用于临床辅助诊断，自动化的医学影像分析。近些年来随着深度学习技术的快速发展，大量有效的基于有监督学习的分割网络被应用到多器官分割任务中，同时在很多多器官分割数据集上取得了接近人类专家的标注效果，在很大程度上减轻了临床医生的任务量，帮助医生高效的进行医学影像的分析。
目前的医学图像分割模型，其在迁移能力上表现得很差，具体表现在，在同一器官分割任务的不同数据集上出现分割性能下降、无法识别目标器官的现象，无法不经过训练应用于其他器官，这在临床辅助诊断上是不可接受的。因为在实际应用场景中，医生采集的病人影像数据会随着仪器、病人扫描区域、病人身体状况的变化而变化，即使采集同一目标区域的数据，也可能因为扫描时间、扫描起始结束位置发生变化而导致数据空间分布不一致，导致分割模型不可用。同时，由于人体包含大量器官，针对不同器官训练不同的分割算法，则需要大量手动精确标注的数据集，最终得到大量的训练完成的模型，由于标注需要相关的大量临床专业知识，成本和时间，因而精确标注的数据集较为缺乏；大量的模型也带来了设备存储压力和医生操作便捷性的问题，为了获得不同器官的分割结果，医生需要在不同任务之间进行切换，降低了医生的工作效率，且对每个器官训练不同的网络是不切实际的。若使用一个统一的训练完成的模型，又由于目标器官数量多，导致训练成本加大、单器官分割准确性下降的问题。
几年来，小样本学习方法被用于处理自然图像的小样本迁移分割的问题。小样本学习方法的关键思想是针对一组由支持集和查询集组成的学习任务，利用有标签的支持集提供的监督信息对无标签的查询集进行处理。在理想情况下，利用不同分割任务训练得到的小样本学习分割模型，能够在仅借助一张或几张标签数据的情况下，在新的分割任务上达到可接受的分割性能。但在医学图像的应用中，由于其不同于自然图像的特点，单通道像素值在不同器官的差异性更小，导致网络提取的形状、尺寸信息更少，目标器官形状、尺寸具有较大差异性和多样性，也导致支持集的监督信息难以充分指导查询集的分割，使得直接应用的小样本学习无法得到良好效果。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于自监督特征小样本学习的多器官分割方法，以提高对单通道像素差异小、目标器官形状尺寸差异大、环境差异大的医学图像进行多目标处理的效果。
为实现上述目的，本发明的技术方案包括：
(1)使用超像素分割方法从原始数据中生成可供小样本学习训练集和测试集；
(1a)以多器官分割影像数据集作为原始数据，利用基于超像素分割的无监督训练数据类别生成方法在原始训练数据中生成大量包含伪标签的数据，将生成的数据按照4:1划分为训练集和测试集；
(1b)从训练集和测试集中分别随机选择一张图像和伪标签作为各自的支持集，并将支持集图像进行转换生成各自的查询集图像；
(1c)将支持集图像对应的伪标签作为支持集标签，并将支持集图像对应的伪标签与图像一同转换为查询集的分割真值；
(1d)由训练集中的支持集图像、标签及其生成的查询集图像、标签共同组成小样本学习训练集；
(1e)由测试集中的支持集图像、标签及其生成的查询集图像、标签共同组成小样本学习测试集；
(2)使用自监督特征学习模块从支持集和查询集中获得前景特征和先验概率辅助信息特征图；
(2a)使用加载了预训练权重的编码器E分别对支持集和查询集的图像进行特征抽取，提取出图像特征图，得到支持集特征图FS和查询集特征图Fq；
(2b)将支持集标签进行下采样到Fs的维度，再对Fs与支持集标签卷积得到前景特征Fgs；
(2c)对查询集特征图Fq进行自监督特征学习，得到先验概率辅助信息特征图F′q；
(3)构建自监督小样本学习分割网络S从前景信息和先验概率辅助信息中获得分割分类概率；
(3a)使用基于SSFs小样本学习分割方法中的分割网络对前景特征Fgs和查询集的先验概率辅助信息特征图F′q进行相似度匹配，得到相似度匹配结果图R，再使用softmax函数将相似度匹配结果图R每个像素点的值换算成标准的分类概率，得到分割网络的输出结果；
(3b)使用训练集中的查询集的分割真值和分割网络的输出结果计算该分割网络的损失函数，并利用反向传播的方式迭代更新网络参数，直到进行100000次迭代后，得到训练好的自监督小样本学习分割网络S；
(4)将测试集中的支持集和查询集输入到训练好的分割模型中，得到查询集的多器官分割结果。
本发明与现有技术相比具有如下优点：
1.本发明通过引入基于超像素分割的训练集生成方法和数据增强的转换方式，生成了包含大量类别作为训练任务的训练数据，解决了其他小样本学习针对此任务无法训练的问题。
2.本发明通过引入自监督特征学习对支持集前景特征进行提取，使后续的分割网络专注学习前景特征信息，减少了背景信息对小目标器官识别的干扰，提升了对小目标器官的识别能力。
3.本发明通过引入自监督特征学习计算支持集和查询集间的自监督先验概率图，给分割网络提供先验信息指导，加强了分割网络对纹理特征的学习，有效地减少了对大目标器官欠分割的现象，提高了分割的准确性。
附图说明
图1是本发明的实现流程框图。
图2是本发明方法生成的伪标签与原始标签的对比图。
图3是用现有算法和本发明方法对左肺、心脏和脊髓三个器官分割结果的对比图。
图4是使用本发明的自监督特征学习对不同分割模型进行左肺、心脏和脊髓分割结果的对比图。
具体实施方式
结合附图，对本发明的实施例和效果作进一步详细描述。
参照图1，本实例的实现步骤包括如下：
步骤1，使用超像素分割方法从原始数据中生成可供小样本学习训练集和测试集。
小样本学习的训练集和测试集数据以任务划分，每个任务的数据包含支持集和查询集。具体在多器官分割问题中，每一个任务实际为单个器官的分割，而单器官分割转化的训练任务较少，无法满足小样本学习方法的训练需求。针对此问题，本步骤的具体实现如下：
1.1)利用基于超像素分割的无监督训练数据类别生成方法，对二维训练数据中每一张影像数据，通过基于高斯混合模型和图割聚类局部像素的方式，产生像素值近似的大量超像素块，以将整图切割成大小不同的若干块，将切割好的每个图像块作为不同的类别，对应于小样本学习分割中不同的训练任务，得到大量包含伪标签的数据，使用得到的大量包含伪标签的数据作为新的数据，并将生成的新数据以4:1的比例划分为初始训练集和初始测试集，这些数据集相比于原始训数据，数据类别数大大增加；
1.2)从初始训练集和初始测试集中分别随机选择一张图像和伪标签作为各自的支持集，并将支持集图像通过几何变换和强度变换生成各自的查询集图像；
所述几何变换，包括旋转、缩放；
所述强度变换，包括增加对比度、改变整体强度值分布；
在使用支持集图像生成查询集图像时，在几何变换和强度变换方法中随机选择一种或几种方法进行生成，使用这些变换生成查询集方法得到的查询集图像可以保证与支持集图像属于同一个分割任务，同时也能保证与支持集图像有一定差异，能够满足小样本学习分割任务对数据的要求；
1.3)将支持集图像对应的伪标签作为支持集标签，并将支持集图像对应的伪标签与该支持集图像一同转换为查询集的分割真值，其转换方式与支持集图像转换为查询集图像的方式相同，以保证分割真值的准确性；
1.4)用初始训练集的支持集图像、查询集图像、支持集伪标签和分割真值组成可供小样本学习的训练集；用初始测试集的支持集图像、查询集图像、支持集伪标签和分割真值组成可供小样本学习的测试集。
步骤2，使用自监督特征学习从支持集和查询集中获得前景特征和先验概率辅助信息特征图。
在小样本学习分割任务中，测试分割任务在训练分割任务中未参与，并且在测试任务中，仅使用一张支持集图像和目标区域标签指导大量不同的查询集执行新的分割任务，如果使用传统的小样本学习分割方法，则会造成支持集提供的目标区域的监督信息不足，又因为支持集与查询集之间的差异性，和查询集自身的多样性，分割方法无法充分发挥支持集的指导能力，导致查询集分割结果较差。因此本发明使用自监督特征学习，即通过计算先验概率辅助信息和提取前景特征加强了支持集对查询集的指导，为查询集的分割提供更多信息。
本步骤具体实现如下：
2.1)使用加载了预训练权重的编码器网络E分别对训练集和测试集中的支持集和查询集的图像进行特征抽取，提取出图像特征图，得到支持集特征图Fs和查询集特征图Fq：
定义小样本学习分割任务的支持集的图像为Is，查询集的图像为Iq，将支持集图像Is输入到编码器网络E，得到支持集特征图：Fs＝E(Is)；
将查询集图像Iq输入编码器网络E，得到查询集特征图：Fq＝E(Iq)；
该支持集图像和查询集图像通过共用同一个编码器网络，保证了得到的特征图的特征维度一致，特征图分布在同一个向量空间；
2.2)将支持集标签Ls进行下采样到支持集特征图Fs的维度，再对支持集特征图Fs与支持集标签Ls进行卷积得到前景特征：
Figure BDA0003216264010000051
对于支持集的特征图，通常利用标签将前景区域的特征信息抽取出来用于下一步处理，但是由于支持集特征图Fs和原始数据的标签大小不一致，因此需要先下采样，再卷积处理；
2.3)计算每个像素查询集特征图Fq像素值与前景特征Fgs中每个像素值的余弦相似度psq(i，j)(h，w)：
Figure BDA0003216264010000052
其中，Fq(i，j)为查询集特征图Fq中坐标为(i，j)点的像素值，Fgs(h，w)为前景特征Fgs中坐标为(h，w)点的像素值，psq(i，j)(h，w)为Fq中的(i，j)点与Fgs中(h，w)点之间的余弦相似度；
2.4)将所有点之间的余弦相似度psq中前景特征Fgs维度的最大值作为查询集特征图Fq与前景特征Fgs的相似度概率，得到全局相似度概率图p′sq：
Figure BDA0003216264010000053
其中，p′sq(i，j)为(i，j)点处的相似度概率，由于每个位置像素值仅代表图像局部特征信息，因此需要在所有点的相似度中取最大值表示查询集特征图Fq与前景特征Fgs整图的相似度概率；
2.5)对p′sq(i，j)进行归一化，此处使用最大最小值归一化方式，将p′sq(i，j)归一化到0-1区间中，方便后续对特征图的操作，得到Fq关于Fgs的相似度自监督先验概率Msq(i，j)：
Figure BDA0003216264010000061
该归一化操作解决了得到的全局相似度概率图p′sq(i，j)中数值的取值区间较大的问题，通过计算相似度自监督先验概率，充分利用了支持集的监督信息，可以解决在小样本学习分割中由于目标区域监督信息不足导致的部分查询集分割效果差的问题；
2.6)将查询集特征图Fq与前景特征Fgs每个点的相似度自监督先验概率Msq(i，j)，按照坐标(i，j)在查询集特征图Fq中的位置连接，组成相似度自监督先验概率图Msq；
2.7)使用自监督先验概率图Msq和查询集特征图Fq，计算得到查询集的先验概率辅助信息特征图F′q：
F′q＝Fq+Fq×Msq
在利用生成的相似度自监督先验概率图Msq时，需要尽可能保留原始查询集特征图Fq的信息，同时引入辅助先验信息，对于生成的相似度自监督先验概率图Msq，由于其仅为由经过预训练的编码器提取特征图的相似度计算结果，与实际分割任务不完全相关，因此相似度自监督先验概率图Msq并不能作为最终的预测结果，仅能作为查询集的先验信息，同时由于相似度自监督先验概率图Msq在计算中仅考虑最大余弦相似度信息作为每个位置相似度结果，计算过程中丢失了一定的细节信息，因此不能直接作用于原始查询集特征图Fq，否则反而会损害后续的分割结果，所以需要采用上式利用自监督先验概率图Msq计算先验概率辅助信息特征图。
步骤3，构建自监督小样本学习分割网络S从前景信息和先验概率辅助信息中获得分割分类概率。
使用基于SSFs小样本学习分割方法中的分割网络对前景特征Fgs和查询集的先验概率辅助信息特征图F′q进行相似度匹配，得到相似度匹配结果图R，再使用softmax函数将相似度匹配结果图R每个像素点的值换算成标准的分类概率，得到分割网络的输出结果，具体实现如下：
3.1)通过池化操作，从前景特征Fgs中提取出每类最具有代表性的信息，得到表示某一类特征信息的支持集原型Ps：
Ps＝maxpooling(Fgs)＝max(Fgs(h，w))
其中，Fgs(h，w)为前景特征Fgs中的每个像素点，由于支持集前景区域的特征信息Fgs包含的信息较多，所以需要通过池化操作提取代表性信息，池化操作只在特征图长宽维度进行，特征通道维度不进行池化，以保留编码器提取的特征信息；
3.2)计算先验概率辅助信息特征图F′q与支持集原型Ps中每一类的相似度，以相似度代表匹配程度，得到先验概率辅助信息特征图F′q每个像素关于每一类的相似度匹配结果R(h，w)：
Figure BDA0003216264010000071
其中，F′q(h，w)为先验概率辅助信息特征图F′q在点(h，w)处的像素值，将每一类的相似度匹配结果R(h，w)，按照坐标(h，w)先验概率辅助信息特征图F′q中的位置，组成相似度匹配结果图R；
3.3)将每类的相似度匹配结果图R按类别通道进行拼接，得到类别概率图Rc，使用softmax函数，计算类别概率图Rc的标准分类概率Yq：
Yq＝softmax(Rc)，
Rc中包括每个像素点属于各个类别的概率，由于每个类别单独计算，每个像素点属于每类的概率相加不等于1，所以需要进行标准分类概率的换算；
3.4)使用训练集中的查询集的分割真值和分割网络的输出结果计算该分割网络的损失函数，公式如下：
Figure BDA0003216264010000072
其中，Lq(h，w)为查询集在点(h，w)处的分割真值，Yq(h，w)为网络输出的在点(h，w)处的分类概率，H和W为查询集图像的长和宽，
Figure BDA0003216264010000073
为得到的损失函数值；
3.5)利用反向传播的方式迭代更新网络参数，直到进行100000次迭代后，得到训练好的自监督小样本学习分割网络S。
步骤4，将测试集中的支持集和查询集输入到训练好的分割模型中，得到查询集的多器官分割结果。
本发明的效果可通过以下仿真进一步说明。
1.仿真条件：
本实验的仿真平台为Intel Core i7-9700K CPU和内存32GB的台式电脑，操作系统为Ubuntu 18.04，使用python3.6，Pytorch1.4构建与训练神经网络模型，使用NVIDIA2080Ti GPU和CUDA10.0进行加速。
仿真所使用的数据集为多器官分割CT影像数据集，来源于MICCAI 2019StructSeg分割多器官分割比赛数据集，比赛数据集中包含50个有标注的训练数据，10个无标注的测试数据。测试数据由于没有标签信息因此未参与本次仿真。该数据集的已标注器官包括左肺，右肺，心脏，食道，气管，脊髓。由于数据集中数据的分辨率和数据分布存在一定差异，可能影响网络的训练结果，因此首先对数据集进行一定的预处理。通过对数据的分析，首先通过重采样的方式，将数据的分辨率进行一致化到1mm×1mm×5mm，以保证所有数据的空间分辨率一致，使得同样的器官在空间的占比一定；其次针对数据集中数据分布存在的差异，本次仿真采用直方图归一化的方式，将所有数据的像素灰度分布进行处理，保证所有数据的像素灰度分布一致。本实验中将50组数据按照4：1划分，40组作为初始训练集，10组作为初始测试集。
仿真时所采用的分割性能评价指标包括戴斯相似系数DSC、查准率PPV和平均表面距离ASD，其具体计算公式如下：
Figure BDA0003216264010000081
Figure BDA0003216264010000082
Figure BDA0003216264010000083
其中，A表示真实标签，B表示预测结果，TP表示图像中真实为正样本点且实际被分为正样本点的个数，TN表示图像中真实为正样本点但实际被分为负样本的点的个数，FP表示图像中真实为负样本而实际被分为正样本的点的个数，S(A)表示真实标签的表面像素，S(B)表示预测结果的表面像素，d(sA,S(B))表示真实标签任意像素到预测结果表面像素的最短距离，d(sB,S(A))表示预测结果任意像素到真实标签表面像素的最短距离。
仿真使用的现有图像分割网络：包括原型混合模型PMMs、先验引导特征增强网络PFENet、基于超像素自监督的小样本分割模型SSFs、加入自监督特征学习策略的原型混合模型PMMs-SSL、加入自监督特征学习策略的先验引导特征增强网络PFENet-SSL。
2.仿真内容
仿真一，使用超像素分割方法从原始数据集中生成伪标签数据，如图2所示，其中图2(a)是原始数据中的器官分割标签，图2(b)是使用超像素分割方法生成的标签，每一个颜色代表一个单独的标签。由图2可见，相对于原始标签，生成的伪标签类别更多，能够满足小样本学习的训练需求。
仿真二，使用现有的PMMs、PFENet、SSFs分割方法和本发明分别对划分好的初始测试集做分割测试，得到这些方法对左肺、心脏和脊髓的分割结果，如图3所示。其中图3的第一行是分割真值，第二行是PMMs的分割结果，第三行是PFENet的分割结果，第四行是SSFs的分割结果，第五行是本发明的分割结果。
由图3可见，本发明相比PFENet方法，其欠分割现象少；相比PMM和SSFs方法，其过分割现象少；相比PMM、SSFs和PFENet方法，其对小器官的识别更准确，克服了其他算法存在无法识别小器官的现象。
计算现有的PMMs、PFENet、SSFs分割方法和本发明分别对划分好的初始测试集做分割测试的量化指标DSC、PPV、ASD，结果如表1、表2、表3。
表1不同方法对多器官分割的DSC结果
方法 左肺 右肺 心脏 食道 气管 脊髓
PMMs 0.50±0.07 0.59±0.04 0.29±0.04 0.04±0.02 0.00±0.00 0.02±0.02
PFENet 0.70±0.12 0.57±0.05 0.41±0.06 0.03±0.02 0.06±0.03 0.28±0.07
SSFs 0.73±0.07 0.65±0.06 0.50±0.03 0.08±0.04 0.09±0.06 0.16±0.08
本发明 0.75±0.06 0.69±0.07 0.48±0.06 0.11±0.03 0.32±0.08 0.34±0.07
表2不同方法对多器官分割的PPV结果
Figure BDA0003216264010000091
Figure BDA0003216264010000101
表3不同方法对多器官分割的ASD结果
方法 左肺 右肺 心脏 食道 气管 脊髓
PMMs 11.9±3.52 7.48±1.01 3.11±0.34 23.4±2.82 3.16±9.47 15.6±13.5
PFENet 4.02±2.34 3.21±1.02 3.06±1.70 16.5±8.75 20.0±6.90 7.13±3.94
SSFs 3.66±1.32 2.64±0.42 3.20±0.62 12.1±5.74 20.3±5.89 30.0±4.98
本发明 3.23±1.64 2.06±0.35 2.55±0.39 9.41±3.92 13.4±5.29 19.8±3.74
由表1可见，在DSC指标中，本发明相比于其他方法在气管分割结果上均有0.10以上的DSC指标提升，在其他器官上也有明显的DSC指标提升。
由表2和表3可见，在大部分器官分割任务的PPV和ASD指标上本发明均能够取得最好或接近最好的结果。
由上述比较表明，本发明可以准确识别小器官，并可以得到准确的分割结果。
仿真三，使用现有的PMMs、PFENet、SSFs分割方法和加入自监督特征学习后的PFENet-SSL、PMMs-SSL分割方法及本发明在划分好的初始数据集上做分割测试，得到这些方法对左肺、心脏、脊髓的分割结果，如图4所示。其中：
图4(a)为对左肺的分割结果，
图4(b)为对心脏的分割结果，
图4(c)为对脊髓的分割结果，
对于每种器官的分割结果，其第一行均为本发明的分割结果，第二行是PMMs-SSL的分割结果，第三行是PFENet-SSL的分割结果，第四行是SSFs的分割结果，第五行是PMMs的分割结果，第六行是PFENet的分割结果。
由图4(a)可知，对于体积较大的肺部器官，不同的方法均能识别目标区域，但PMMs-SSL、PFENet-SSL方法和本发明产生的过分割现象少，分割结果好。
由图4(b)可知，对容易与周围组织混淆的心脏器官，本发明相比PMMs、PMMs-SSL、PFENet、PFENet-SSL和SSFs，其过分割现象少，分割效果好。
由图4(c)可见，PMMs-SSL、PFENet-SSL和本发明相比于PMMs、PFENet和SSFs能够更准确地检测到脊髓区域。
计算现有的PMMs、PFENet、SSFs分割方法和加入自监督特征学习后的PFENet-SSL、PMMs-SSL分割方法和本发明在划分好的初始数据集上做分割测试的量化指标DSC、PPV、ASD，结果如表4、表5、表6。
表4仿真三中多器官分割的DSC结果
方法 左肺 右肺 心脏 食道 气管 脊髓
PMMs 0.50±0.07 0.59±0.04 0.29±0.04 0.04±0.02 0.00±0.00 0.02±0.02
PMMs-SSL 0.74±0.07 0.70±0.03 0.38±0.05 0.05±0.05 0.08±0.05 0.31±0.05
PFENet 0.70±0.12 0.57±0.05 0.41±0.06 0.03±0.02 0.06±0.03 0.28±0.07
PFENet-SSL 0.70±0.12 0.61±0.04 0.41±0.05 0.02±0.01 0.05±0.03 0.29±0.06
SSFs 0.73±0.07 0.65±0.06 0.50±0.03 0.08±0.04 0.09±0.06 0.16±0.08
本发明 0.75±0.06 0.69±0.07 0.48±0.06 0.11±0.03 0.32±0.08 0.34±0.07
表5仿真三中多器官分割的PPV结果
Figure BDA0003216264010000111
Figure BDA0003216264010000121
表6仿真三中多器官分割的ASD结果
方法 左肺 右肺 心脏 食道 气管 脊髓
PMMs 11.9±3.52 7.48±1.01 3.11±0.34 23.4±2.82 3.16±9.47 15.6±13.5
PMMs-SSL 3.55±1.34 2.36±0.45 1.99±0.37 16.0±3.15 19.2±5.50 21.0±4.56
PFENet 4.02±2.34 3.21±1.02 3.06±1.70 16.5±8.75 20.0±6.90 7.13±3.94
PFENet-SSL 4.03±2.30 2.36±0.92 3.15±0.87 12.8±7.80 17.6±7.48 3.71±2.61
SSFs 3.66±1.32 2.64±0.42 3.20±0.62 12.1±5.74 20.3±5.89 30.0±4.98
本发明 3.23±1.64 2.06±0.35 2.55±0.39 9.41±3.92 13.4±5.29 19.8±3.74
由表4可知，将PMMs-SSL、PFENet-SSL方法和本发明与PMMs、PFENet和SSFs方法对比，DSC指标有一定的提升，对部分较小器官的提升明显，其中，本发明与SSFs方法对比，气管和脊髓的分割上有大于0.10的DSC提升。
由表5和表6可知，本发明在大部分器官分割的PPV、ASD指标上均优于其他方法。
上述指标比较表明，本发明提出的使用自监督特征学习能够提升分割性能，加强对小目标器官的检测。

Claims (10)

1.一种基于自监督特征小样本学习的多器官分割方法，其特征在于，包括：
(1)使用超像素分割方法从原始数据中生成可供小样本学习训练集和测试集；
(1a)以多器官分割影像数据集作为原始数据，利用基于超像素分割的无监督训练数据类别生成方法在原始训练数据中生成大量包含伪标签的数据，将生成的数据按照4∶1划分为训练集和测试集；
(1b)从训练集和测试集中分别随机选择一张图像和伪标签作为各自的支持集，并将支持集图像进行转换生成各自的查询集图像；
(1c)将支持集图像对应的伪标签作为支持集标签，并将支持集图像对应的伪标签与图像一同转换为查询集的分割真值；
(1d)由训练集中的支持集图像、标签及其生成的查询集图像、标签共同组成小样本学习训练集；
(1e)由测试集中的支持集图像、标签及其生成的查询集图像、标签共同组成小样本学习测试集；
(2)使用自监督特征学习模块从支持集和查询集中获得前景特征和先验概率辅助信息特征图；
(2a)使用加载了预训练权重的编码器E分别对支持集和查询集的图像进行特征抽取，提取出图像特征图，得到支持集特征图Fs和查询集特征图Fq；
(2b)将支持集标签进行下采样到Fs的维度，再对Fs与支持集标签卷积得到前景特征Fgs；
(2c)对查询集特征图Fq进行自监督特征学习，得到先验概率辅助信息特征图F′q；
(3)构建自监督小样本学习分割网络S从前景信息和先验概率辅助信息中获得分割分类概率；
(3a)使用基于SSFs小样本学习分割方法中的分割网络对前景特征Fgs和查询集的先验概率辅助信息特征图F′q进行相似度匹配，得到相似度匹配结果图R，再使用softmax函数将相似度匹配结果图R每个像素点的值换算成标准的分类概率，得到分割网络的输出结果；
(3b)使用训练集中的查询集的分割真值和分割网络的输出结果计算该分割网络的损失函数，并利用反向传播的方式迭代更新网络参数，直到进行100000次迭代后，得到训练好的自监督小样本学习分割网络S；
(4)将测试集中的支持集和查询集输入到训练好的分割模型中，得到查询集的多器官分割结果。
2.根据权利要求1所述的方法，其特征在于，(2c)中对查询集特征图Fq进行自监督特征学习，得到先验概率辅助信息特征图F′q，实现如下：
(2c1)计算查询集特征图Fq与前景特征Fgs之间的余弦相似度，并对其进行最大化和归一化处理得到自监督先验概率图Msq；
(2c2)使用先验概率图Msq和查询集特征图Fq，计算得到查询集的先验概率辅助信息特征图F′q：
F′q＝Fq+Fq×Msq。
3.根据权利要求1所述的方法，其特征在于，(1a)中利用基于超像素分割的无监督训练数据类别生成方法在原始训练数据中生成大量包含伪标签的数据，实现如下：
(1a1)对二维训练数据中每一张影像数据，通过基于高斯混合模型和图割聚类局部像素的方式，产生像素值近似的大量超像素块，以将整图切割成大小不同的若干块；
(1a2)将切割好的每个图像块作为不同的类别，对应于小样本学习分割中不同的训练任务，得到大量包含伪标签的数据。
4.根据权利要求1所述的方法，其特征在于，(1b)中将支持集图像进行转换生成各自的查询集图像，是通过几何变换和强度变换的方法由选取的支持集图像，生成多张查询集图像，其中几何变换包括旋转、缩放，强度变换包括增加对比度、改变整体强度值分布。
5.根据权利要求1所述的方法，其特征在于，(1c)中将支持集图像对应的伪标签与图像一同转换为查询集的分割真值，是使用与选取的标签对应的支持集图像相同的变换方法，对标签进行变换得到对应的查询集的分割真值。
6.根据权利要求1所述的方法，其特征在于，(2a)中使用加载了预训练权重的编码器E分别对支持集和查询集的图像进行特征抽取，实现如下：
(2a1)设小样本学习分割任务的支持集图像为Is，查询集的图像为Iq，
(2a2)将支持集图像Is输入网络E，得到支持集特征图Fs：
Fs＝E(Is)
(2a3)将查询集图像Iq输入网络E，得到查询集特征图Fq：
Fq＝E(Iq)。
7.根据权利要求2所述的方法，其特征在于，(2c1)中计算查询集特征图Fq与前景特征Fgs之间的余弦相似度，并对其进行最大化和归一化处理得到自监督先验概率图Msq，实现如下：
(2c1a)计算每个像素查询集特征图Fq像素值与前景特征Fgs中每个像素值的余弦相似度psq(i，j)(h，w)：
Figure FDA0003216263000000031
其中，Fq(i，j)为查询集特征图Fq中坐标为(i，j)点的像素值，Fgs(h，w)为前景特征Fgs中坐标为(h，w)点的像素值，psq(i，j)(h，w)为Fq中的(i，j)点与Fgs中(h，w)点之间的余弦相似度；
(2c1b)将所有点之间的余弦相似度psq中前景特征Fgs维度的最大值作为查询集特征图Fq与前景特征Fgs的相似度概率，得到全局相似度概率图p′sq：
Figure FDA0003216263000000032
其中，p′sq(i，j)为(i，j)点处的相似度概率；
(2c1c)使用最大最小值归一化方法，将全局相似度概率图p′sq归一化到0-1区间中，得到查询集特征图F(q)与前景特征Fs每个点的相似度自监督先验概率Msq(i，j)：
Figure FDA0003216263000000033
(2c1d)将查询集特征图Fq与前景特征Fgs每个点的相似度自监督先验概率Msq(i，j)，按照坐标(i，j)在查询集特征图Fq中的位置连接，组成相似度自监督先验概率图Msq。
8.根据权利要求1所述的方法，其特征在于，(3a)中使用基于SSFs小样本学习分割方法中的分割网络对前景特征Fgs和查询集的先验概率辅助信息特征图F′q进行相似度匹配，得到相似度匹配结果图R，实现如下：
(3a1)通过池化操作，从前景特征Fgs中提取出每类最具有代表性的信息，得到表示某一类特征信息的支持集原型Ps：
Ps＝maxpooling(Fgs)＝max(Fgs(h，w))
其中，Fgs(h，w)为前景特征Fgs中的每个像素点；
(3a2)计算先验概率辅助信息特征图F′q与支持集原型Ps中每一类的相似度，以相似度代表匹配程度，得到先验概率辅助信息特征图F′q每个像素关于每一类的相似度匹配结果R(h，w)：
Figure FDA0003216263000000041
其中，F′q(h，w)为先验概率辅助信息特征图F′q在点(h，w)处的像素值；
(3a3)将每一类的相似度匹配结果R(h，w)，按照坐标(h，w)先验概率辅助信息特征图F′q中的位置，组成相似度匹配结果图R。
9.根据权利要求1所述的方法，其特征在于，(3a)中使用softmax函数将相似度匹配结果图R每个像素点的值换算成标准的分类概率，实现如下：
(3a4)将每类的相似度匹配结果图R按类别通道进行拼接，得到类别概率图Rc；
(3a5)使用softmax函数，计算类别概率图Rc的标准分类概率Yq：
Yq＝softmax(Rc)。
10.根据权利要求1所述的方法，其特征在于，(3b)中使用训练集中的查询集的分割真值和分割网络的输出结果计算分割网络的损失函数，公式如下：
Figure FDA0003216263000000042
其中，Lq(h，w)为查询集在点(h，w)处的分割真值，Yq(h，w)为网络输出的在点(h，w)处的分割结果，H和W为查询集图像的长和宽，
Figure FDA0003216263000000043
为得到的损失函数值。
CN202110944404.6A 2021-08-17 2021-08-17 基于自监督特征小样本学习的多器官分割方法 Active CN113706487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110944404.6A CN113706487B (zh) 2021-08-17 2021-08-17 基于自监督特征小样本学习的多器官分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110944404.6A CN113706487B (zh) 2021-08-17 2021-08-17 基于自监督特征小样本学习的多器官分割方法

Publications (2)

Publication Number Publication Date
CN113706487A true CN113706487A (zh) 2021-11-26
CN113706487B CN113706487B (zh) 2024-09-06

Family

ID=78653085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110944404.6A Active CN113706487B (zh) 2021-08-17 2021-08-17 基于自监督特征小样本学习的多器官分割方法

Country Status (1)

Country Link
CN (1) CN113706487B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219804A (zh) * 2022-02-22 2022-03-22 汉斯夫(杭州)医学科技有限公司 一种基于原型分割网络的小样本牙齿检测方法及存储介质
CN114638839A (zh) * 2022-05-18 2022-06-17 中国科学技术大学 基于动态原型学习的小样本视频目标分割方法
CN114782752A (zh) * 2022-05-06 2022-07-22 兰州理工大学 基于自训练的小样本图像集成分类方法及装置
CN114863160A (zh) * 2022-02-28 2022-08-05 复旦大学 一种用于机器人分拣的自监督小样本实例分割方法
CN114861865A (zh) * 2022-03-10 2022-08-05 长江三峡技术经济发展有限公司 高光谱图像分类模型的自监督学习方法、系统、介质和电子设备
CN115049603A (zh) * 2022-06-07 2022-09-13 安徽大学 一种基于小样本学习的肠息肉分割方法及系统
CN116227573A (zh) * 2023-04-25 2023-06-06 智慧眼科技股份有限公司 分割模型训练方法、图像分割方法、装置及相关介质
CN116758289A (zh) * 2023-08-14 2023-09-15 中国石油大学(华东) 一种自补偿学习的小样本图像分割方法
CN117407796A (zh) * 2023-12-15 2024-01-16 合肥工业大学 一种跨部件小样本故障诊断方法、系统和存储介质
CN117726815A (zh) * 2023-12-19 2024-03-19 江南大学 一种基于异常检测的小样本医学图像分割方法
CN118096800A (zh) * 2024-04-29 2024-05-28 合肥市正茂科技有限公司 一种小样本语义分割模型的训练方法、装置、设备及介质
WO2024113169A1 (zh) * 2022-11-29 2024-06-06 中国科学院深圳先进技术研究院 一种小样本点云语义分割方法、网络及存储介质和处理器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241766A (zh) * 2020-10-27 2021-01-19 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN112686833A (zh) * 2020-08-22 2021-04-20 安徽大学 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置
CN112818903A (zh) * 2020-12-10 2021-05-18 北京航空航天大学 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN113052209A (zh) * 2021-03-10 2021-06-29 天津城建大学 融合胶囊相似性的单样本语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686833A (zh) * 2020-08-22 2021-04-20 安徽大学 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置
CN112241766A (zh) * 2020-10-27 2021-01-19 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN112818903A (zh) * 2020-12-10 2021-05-18 北京航空航天大学 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN113052209A (zh) * 2021-03-10 2021-06-29 天津城建大学 融合胶囊相似性的单样本语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董阳: "面向多模态磁共振脑瘤图像的小样本分割方法", 《计算机应用》, vol. 41, no. 4, 10 April 2021 (2021-04-10), pages 2 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219804A (zh) * 2022-02-22 2022-03-22 汉斯夫(杭州)医学科技有限公司 一种基于原型分割网络的小样本牙齿检测方法及存储介质
CN114863160A (zh) * 2022-02-28 2022-08-05 复旦大学 一种用于机器人分拣的自监督小样本实例分割方法
CN114861865A (zh) * 2022-03-10 2022-08-05 长江三峡技术经济发展有限公司 高光谱图像分类模型的自监督学习方法、系统、介质和电子设备
CN114782752A (zh) * 2022-05-06 2022-07-22 兰州理工大学 基于自训练的小样本图像集成分类方法及装置
CN114782752B (zh) * 2022-05-06 2023-09-05 兰州理工大学 基于自训练的小样本图像集成分类方法及装置
CN114638839A (zh) * 2022-05-18 2022-06-17 中国科学技术大学 基于动态原型学习的小样本视频目标分割方法
CN114638839B (zh) * 2022-05-18 2022-09-30 中国科学技术大学 基于动态原型学习的小样本视频目标分割方法
CN115049603A (zh) * 2022-06-07 2022-09-13 安徽大学 一种基于小样本学习的肠息肉分割方法及系统
CN115049603B (zh) * 2022-06-07 2024-06-07 安徽大学 一种基于小样本学习的肠息肉分割方法及系统
WO2024113169A1 (zh) * 2022-11-29 2024-06-06 中国科学院深圳先进技术研究院 一种小样本点云语义分割方法、网络及存储介质和处理器
CN116227573B (zh) * 2023-04-25 2023-08-08 智慧眼科技股份有限公司 分割模型训练方法、图像分割方法、装置及相关介质
CN116227573A (zh) * 2023-04-25 2023-06-06 智慧眼科技股份有限公司 分割模型训练方法、图像分割方法、装置及相关介质
CN116758289B (zh) * 2023-08-14 2023-10-24 中国石油大学(华东) 一种自补偿学习的小样本图像分割方法
CN116758289A (zh) * 2023-08-14 2023-09-15 中国石油大学(华东) 一种自补偿学习的小样本图像分割方法
CN117407796A (zh) * 2023-12-15 2024-01-16 合肥工业大学 一种跨部件小样本故障诊断方法、系统和存储介质
CN117407796B (zh) * 2023-12-15 2024-03-01 合肥工业大学 一种跨部件小样本故障诊断方法、系统和存储介质
CN117726815A (zh) * 2023-12-19 2024-03-19 江南大学 一种基于异常检测的小样本医学图像分割方法
CN118096800A (zh) * 2024-04-29 2024-05-28 合肥市正茂科技有限公司 一种小样本语义分割模型的训练方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113706487B (zh) 2024-09-06

Similar Documents

Publication Publication Date Title
CN113706487B (zh) 基于自监督特征小样本学习的多器官分割方法
CN111311592B (zh) 一种基于深度学习的三维医学图像自动分割方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN111489357A (zh) 一种图像分割方法、装置、设备及存储介质
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN111640120A (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN110097921B (zh) 基于影像组学的胶质瘤内基因异质性可视化定量方法和系统
Wu et al. A supervoxel classification based method for multi-organ segmentation from abdominal ct images
WO2020185660A1 (en) Improved histopathology classification through machine self-learning of "tissue fingerprints"
CN103985112B (zh) 基于改进多目标粒子群优化聚类的图像分割方法
CN113011509B (zh) 肺部支气管的分类方法、装置、电子设备和存储介质
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN103593855A (zh) 基于粒子群优化和空间距离测度聚类的图像分割方法
WO2021076605A1 (en) Weakly supervised multi-task learning for cell detection and segmentation
CN111340816A (zh) 一种基于双u型网络框架的图像分割方法
CN111986101A (zh) 一种脑血管图谱构建方法
He et al. Segmentation ability map: Interpret deep features for medical image segmentation
Yonekura et al. Improving the generalization of disease stage classification with deep CNN for glioma histopathological images
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
Zhang et al. Multi-task dictionary learning based convolutional neural network for computer aided diagnosis with longitudinal images
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN113902738A (zh) 一种心脏mri分割方法及系统
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN111476802B (zh) 一种医学图像分割与肿瘤检测方法，设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant