CN113962999B - 基于高斯混合模型和标签矫正模型的噪声标签分割方法 - Google Patents
基于高斯混合模型和标签矫正模型的噪声标签分割方法 Download PDFInfo
- Publication number
- CN113962999B CN113962999B CN202111218972.4A CN202111218972A CN113962999B CN 113962999 B CN113962999 B CN 113962999B CN 202111218972 A CN202111218972 A CN 202111218972A CN 113962999 B CN113962999 B CN 113962999B
- Authority
- CN
- China
- Prior art keywords
- label
- noise
- model
- tag
- pseudo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000000203 mixture Substances 0.000 title claims abstract description 40
- 238000012937 correction Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 46
- 230000006870 function Effects 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 8
- 230000000295 complement effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000003750 conditioning effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于高斯混合模型和标签矫正模型的噪声标签分割方法。该方法包括以下模块:(1)预训练分割模型,可以是任意现有的分割模型;(2)噪声标签鉴定模块,该模块通过分割网络的预测结果与混有噪声标签的原标签比较,区分得到无噪标签和含噪标签,并挑选含噪标签进行标注;(3)标签矫正模块,该模块利用特征相似度选择置信度较高的像素以计算影像的伪标签;(4)置信反向传播模块,考虑到生成的伪标签可能带来新的噪声,该模块仅利用置信度高的伪标签和原始标签对网络进行参数训练。本发明提供的噪声标签分割方法,有效防止模型对噪声标签过分拟合,能够更准确地实现噪声标签背景下的医学图像感兴趣区域的分割。
Description
技术领域
本发明属于医学图像噪声标签领域,用于处理医学图像中由于各种原因引起的噪声标签问题,具体提出了一种基于高斯混合模型和标签矫正模型的噪声标签分割方法。
背景技术
图像分割是医学图像处理分析中的一个重要步骤,是图像处理、计算机视觉领域中的经典问题。医学图像的噪声标签分割一直是医学图像分析领域的一个新兴热点。噪声标签分割具体指训练数据集的标签存在各种噪声,会对模型的训练产生影响,直接导致模型的精度下降。而在实际生活中,因为专家疲惫或者本身较难区分等原因也确实存在部分漏标、错标等现象,噪声标签分割是真实存在的。因此,如何在没有进一步注释的情况下消除噪声标签对分割任务的干扰是一个值得研究的问题与挑战。
目前,医学图像噪声标签的处理方法主要可分为两大类:基于梯度的以及基于模型结构的。前者基于噪声标签在模型训练过程中往往更加难以拟合这一观点,Ren等人就通过这一想法寻找噪声标签并为这些标签样本分配了较低的权重。而后者则主要对模型结构进行改进,如Goldberger等人设计了一个适应层来模拟潜在真实标签被破坏成嘈杂标签的过程,Jiang等人引入MentorNet来发现“正确的”样本并更多地关注它们,Xue等人设计了一种在线不确定性样本挖掘方法和一种重新加权策略以消除噪声标签的干扰。当然,目前绝大多数研究都集中在分类任务上,因为它是自然图像处理领域中最基本的问题。而分割问题相较于分类问题可以将噪声标签的处理分为两大类:图像级别的以及像素级别的。前者主要为区分带噪声的图片与不带噪声的图片,以Zhu等人的标签质量评估策略为代表;而后者则面向像素点直接纠正,如Zhang等人的置信学习方法通过混淆矩阵的方法寻找可能标记错误的像素点并进行纠正。
而本发明从图像、像素两个级别出发,具体提出了基于高斯混合模型和标签矫正模型的噪声标签分割方法,运用高斯混合模型寻找噪声标签、运用标签矫正模型矫正标签,从而有效较少了噪声标签所带来的精度下降。
发明内容
本发明的目的在于针对现有技术的不足,基于高斯混合模型和标签矫正模型的噪声标签分割方法,从而解决了噪声标签背景下的医学图像感兴趣区域的分割问题。本发明通过分割模块、高斯混合模型、标签矫正模块、置信反传模块四个模块相结合,实现了噪声标签下的医学图像感兴趣区域的分割。
本发明的基于高斯混合模型和标签矫正模型的噪声标签分割方法,包括以下步骤:
(1)将输入图像和对应的混有噪声标签的原标签分为两个子数据集,对每个子数据集分别进行下述步骤(2)-(6);
(2)根据输入图像和混有噪声标签的原标签进行简单模型预训练,并使用预训练模型预测输入图像,得到预测分割结果;
(3)计算损失函数,并利用自信预测熵对其进行修正,对修正后的损失函数采用期望最大化(EM)算法拟合高斯混合模型,从而对混有噪声标签的原标签进行聚类,区分得到无噪标签和含噪标签;
(4)对含噪标签使用标签矫正模块:计算输入图像中每个像素的显著度,以及属于目标区域的概率,根据计算结果判断像素点是否属于目标区域,得到输入图像的伪标签;
(5)在训练过程中,采用互补学习策略,将上述两个子数据集训练得到的两个网络互相校对,以剔除确认偏差;
(6)在梯度反向传播阶段,运用置信反向传播模块,仅使用低噪声伪标签和无噪的原标签对网络进行反向传播;
(7)训练结束后,由来自两个网络的模型共同预测测试样本的标签。
上述技术方案中,优选的,所述的步骤2)为:对输入图像和混有噪声标签的原标签的数据集X={x(t),y(t)}k运用分割网络训练10-50回合作为预训练模型,并使用预训练模型对输入图像x(t)进行预测,得到预测分割结果记做:
其中,x(t)∈Rn×m表示数据集中第t个输入图像,y(t)∈Nn×m表示数据集中第t个原标签,m、n为图片长宽像素点个数,k表示数据集样本数量,F表示特征提取器,C为分类器,C(F(·))即为预训练模型。其中,所述分割网络可以任意选取,例如UNet、Deeplab等。
所述的数据集样本数量k约为200-1000个样本,原标签中噪声标签的含量为25%-75%不等。
上述技术方案中,优选的,所述的步骤3)为:
采用交叉熵损失对输入图像x(i)与标签y(i)计算损失函数,根据预测分割结果计算自信预测熵H,利用自信预测熵H修正损失函数,得到最后,运用高斯混合模型对损失函数的集合进行聚类,并根据概率将其分为无噪标签和含噪标签。
更优选的,所述的步骤3)具体为:
1)计算损失函数
损失函数具体采用交叉熵损失,对于输入图像x(t)与原标签y(t),其损失函数为:
式中,为预测分割结果中第i行第j列像素点,为原标签中第i行第j列像素点。
2)计算网络的自信预测熵:
式中,c表示类别,为第c个类别的概率,x为输入图片,θ为模型参数;
最后,计算修正后的损失函数:
3)区分无噪标签和含噪标签
对所有损失函数所构成的集合进行归一化,得到归一化后的集合lpred_noise,对lpred_noise使用期望最大化(EM)算法拟合一个双分量的高斯混合模型。至此,第t个样本标签属于无噪标签和含噪标签的概率为后验概率和
式中,表示归一化后的集合lpred_noise中第t个样本标签所对应的值;
上述高斯混合模型拟合后得到两个高斯分量,其中,gsmall为均值较小的一个高斯分量,glarge为均值较大的一个高斯分量。对于每个样本标签,当时,我们判定它为无噪标签;反之,我们认为它是含噪标签,并需要对其重新进行标注。
优选的,步骤3)中所述的高斯混合模型,具体为:
优选的,步骤3)中所述EM算法,
具体为:
1)计算似然函数
2)对似然函数取对数
式中,n为样本标签和预测分割结果的个数;
3)对上式求导,令导数为0,得似然方程;解似然方程,得到参数值μ1,Σ1,μ2和Σ2。
优选的,所述的步骤4)为:从疑似目标区域(即预训练预测分割结果所对应的区域)中挑选出最具代表性的显著区域(显著度较高的区域),并以显著区域的特征作为计算伪标签的特征,经过标签矫正,得到伪标签y’(t)。
优选的,所述的步骤4)中显著区域,计算方法如下:
1)对于输入图像x(t),根据预训练所得特征向量计算每个像素的显著度。其中,图像中任意像素点的特征向量指特征提取器F输出结果中第i行第j列的值,即:
所述特征提取器F与上述步骤2)中相同;
像素点p的显著度的计算方式如下:
其中,p,q均为图片上任意像素点,||f(p)||2||f(q)||2代表点p和点q的特征向量之间的欧式距离,Rsus表示输入图像中与预测分割结果相对应的区域,即疑似目标区域。显著度S(p)衡量了像素点p在疑似目标区域内的显著度,其值越大,p越能够代表整个疑似目标区域。
2)根据显著度求解显著区域。我们在显著度的基础上指定阈值σ(本发明中优选σ=0.7),选取S(p)>σ的点p所构成的区域作为显著区域,记做proto={p|S(p)>σ}。
优选的,所述步骤4)中伪标签计算步骤,具体如下:
1)我们为输入图像x(t)中的每个像素点p重新计算属于目标区域的概率:
其中,K为显著区域proto内像素点的个数,protoj为显著区域内第j个像素点的特征向量,||f(p)||2||protoj||2表示点p和显著区域内第j个像素点特征向量之间的欧氏距离;
2)当score(p)>η时(本发明中优选η=0.7),我们将像素划分为前景点,反之,将其划分为背景点。得到的所有前景点构成目标区域,背景点构成非目标区域。
3)对伪标签进行进一步的后处理优化:(1)去除面积过小的连通目标区域,将其作为非目标区域。(2)填充目标区域内部的小孔,将其作为目标区域。根据经验,所述的面积过小的连通目标区域和所述的目标区域内部的小孔,皆选择面积小于原目标区域总面积10%的连通区域。
优选的,所述的步骤5)为:在训练过程中,采用互补学习策略,对每个子数据集均进行如下操作:线性组合混有噪声标签的原标签y(t)与对于当前子数据集网络下步骤4)中重新生成的伪标签y’(t),在步骤3)中由另一个子数据集训练生成网络所产生的干净概率w(t)的指导下,对标记样本进行标签协同细化:
其中,干净概率w(t)即为另一个子数据集在步骤3)中产生的属于无噪标签的概率。
优选的,所述的步骤6)为:将协同细化后的伪标签作为目标进行训练,在网络的反向传播过程中,通过拟合一个二分量的高斯混合模型来鉴别伪标签的噪声程度,筛除噪声程度较高的伪标签,不让这部分标签参与网络的梯度计算。
更优选的,所述的步骤6)具体为:
1)对每张图片根据步骤5)中生成的伪标签计算交叉熵损失:
其中,为当前训练网络预测结果。
2)将“新生成”的伪标签分为高噪声伪标签和低噪声伪标签
对“新生成”的伪标签所构成的损失函数集合 进行归一化,得到归一化后的集合lpse_ce。对lpred_ce使用期望最大化(EM)算法拟合一个双分量的高斯混合模型,将对“新生成”的伪标签分为高噪声伪标签和低噪声伪标签,拟合方法与步骤3)中相类似。
3)筛除高噪声伪标签,仅对低噪声伪标签和无噪标签进行梯度反向传播。
优选的,所述的步骤7)为:使用两个子数据集所训练的模型分别对待分割图像xtest进行分割,图像xtest中像素点p属于目标区域的概率为两个模型输出的概率的平均值。
本发明还提供一种基于高斯混合模型和标签矫正模型的图像分割系统,该系统由上述方法训练得到。
本发明所提出的基于高斯混合模型和标签矫正模型的噪声标签分割方法,与传统的噪声标签分割算法相比,本发明通过高斯混合模型在图片级别区分噪声标签与无噪标签,运用显著区域的方式在像素级别矫正噪声标签,并且提出了互补学习策略、置信反向传播模块等,更为有效地矫正了噪声标签,避免了模型训练中噪声标签过拟合所带来的精度误差,从而大大提高目标区域的分割精度。
附图说明
图1是本发明实施的一种基于高斯混合模型和标签矫正模型的噪声标签分割方法流程图;
图2是本发明实施的一种基于高斯混合模型和标签矫正模型的噪声标签分割方法模型图(子数据集部分);
图3是本发明实施例所述的标签矫正模块示意图;
图4是本发明实施例与传统噪声标签分割方法的效果对比图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
如图1所示是本发明提供的基于高斯混合模型和标签矫正模型的噪声标签分割方法流程图。包括如下步骤:
(1)将输入图像和对应的混有噪声标签的原标签分为两个子数据集,对每个子数据集分别进行下述步骤(2)-(6);
(2)根据输入图像和混有噪声标签的原标签进行简单模型预训练,并使用预训练模型预测输入图像,得到预测分割结果;
(3)计算损失函数,并利用自信预测熵对其进行修正,对修正后的损失函数采用期望最大化(EM)算法拟合高斯混合模型,从而对混有噪声标签的原标签进行聚类,区分得到无噪标签和含噪标签;
(4)对含噪标签使用标签矫正模块:计算输入图像中每个像素的显著度,以及属于目标区域的概率,根据计算结果判断像素点是否属于目标区域,得到输入图像的伪标签;
(5)在训练过程中,采用互补学习策略,将上述两个子数据集训练得到的两个网络互相校对,以剔除确认偏差;
(6)在梯度反向传播阶段,运用置信反向传播模块,仅使用低噪声伪标签和无噪的原标签对网络进行反向传播;
(7)训练结束后,由来自两个网络的模型共同预测测试样本的标签。
所述的步骤2)为:对输入图像和混有噪声标签的原标签的数据集X={x(t),y(t)}k运用分割网络训练10-50回合作为预训练模型,并使用预训练模型对输入图像x(t)进行预测,得到预测分割结果记做:
其中,x(t)∈Rn×m表示数据集中第t个输入图像,y(t)∈Nn×m表示数据集中第t个原标签,m、n为图片长宽像素点个数,k表示数据集样本数量,F表示特征提取器,C为分类器,C(F(·))即为预训练模型。
所述的步骤3)为:
采用交叉熵损失对输入图像x(i)与标签y(i)计算损失函数,根据预测分割结果计算自信预测熵H,利用自信预测熵H修正损失函数,得到最后,运用高斯混合模型对损失函数的集合进行聚类,并根据概率将其分为无噪标签和含噪标签。
更优选的,所述的步骤3)具体为:
1)计算损失函数
损失函数具体采用交叉熵损失,对于输入图像x(t)与原标签y(t),其损失函数为:
式中,为预测分割结果中第i行第j列像素点,为原标签y(t)中第i行第j列像素点。
2)计算网络的自信预测熵:
式中,c表示类别,为第c个类别的概率,x为输入图片,θ为模型参数;
最后,计算修正后的损失函数:
3)区分无噪标签和含噪标签
对所有损失函数所构成的集合进行归一化,得到归一化后的集合lpred_noise,对lpred_noise使用期望最大化(EM)算法拟合一个双分量的高斯混合模型。至此,第t个样本标签属于无噪标签和含噪标签的概率为后验概率和
式中,表示归一化后的集合lpred_noise中第t个样本标签所对应的值;
上述高斯混合模型拟合后得到两个高斯分量,其中,gsmall为均值较小的一个高斯分量,glarge为均值较大的一个高斯分量。对于每个样本标签,当时,我们判定它为无噪标签;反之,我们认为它是含噪标签,并需要对其重新进行标注。
步骤3)中所述的高斯混合模型具体为:
步骤3)中所述EM算法,具体为:
1)计算似然函数
2)对似然函数取对数
式中,n为样本标签和预测分割结果的个数;
3)对上式求导,令导数为0,得似然方程;解似然方程,得到参数值μ1,Σ1,μ2和Σ2。
所述的步骤4)为:从疑似目标区域(即预训练预测分割结果所对应的区域)中挑选出最具代表性的显著区域(显著度较高的区域),并以显著区域的特征作为计算伪标签的特征,经过标签矫正,得到伪标签y’(t)。
所述的步骤4)中显著区域,计算方法如下:
2)对于输入图像x(t),根据预训练所得特征向量计算每个像素的显著度。其中,图像中任意像素点的特征向量指特征提取器F输出结果中第i行第j列的值,即:
所述特征提取器F与上述步骤2)中相同;
像素点p的显著度的计算方式如下:
其中,p,q均为图片上任意像素点,||f(p)||2||f(q)||2代表点p和点q的特征向量之间的欧式距离,Rsus表示输入图像中与预测分割结果相对应的区域,即疑似目标区域。显著度S(p)衡量了像素点p在疑似目标区域内的显著度,其值越大,p越能够代表整个疑似目标区域。
2)根据显著度求解显著区域。我们在显著度的基础上指定阈值σ(本发明中优选σ=0.7),选取S(p)>σ的点p所构成的区域作为显著区域,记做proto={p|S(p)>σ}。
所述步骤4)中伪标签计算步骤,具体如下:
1)我们为输入图像x(t)中的每个像素点p重新计算属于目标区域的概率:
其中,K为显著区域proto内像素点的个数,protoj为显著区域内第j个像素点的特征向量,||f(p)||2||protoj||2表示点p和显著区域内第j个像素点特征向量之间的欧氏距离;
2)当score(p)>η时(本发明中优选η=0.7),我们将像素划分为前景点,反之,将其划分为背景点。得到的所有前景点构成目标区域,背景点构成非目标区域。
3)对伪标签进行进一步的后处理优化:(1)去除面积过小的连通目标区域,将其作为非目标区域。(2)填充目标区域内部的小孔,将其作为目标区域。根据经验,所述的面积过小的连通目标区域和所述的目标区域内部的小孔,皆选择面积小于原目标区域总面积10%的连通区域。
所述的步骤5)为:在训练过程中,采用互补学习策略,对每个子数据集均进行如下操作:线性组合混有噪声标签的原标签y(t)与对于当前子数据集网络下步骤4)中重新生成的伪标签y’(t),在步骤3)中由另一个子数据集训练生成网络所产生的干净概率w(t)的指导下,对标记样本进行标签协同细化:
其中,干净概率w(t)即为另一个子数据集在步骤3)中产生的属于无噪标签的概率。
所述的步骤6)为:将协同细化后的伪标签作为目标进行训练,在网络的反向传播过程中,通过拟合一个二分量的高斯混合模型来鉴别伪标签的噪声程度,筛除噪声程度较高的伪标签,不让这部分标签参与网络的梯度计算。
步骤6)具体为:
1)对每张图片根据步骤5)中生成的伪标签计算交叉熵损失:
其中,为当前训练网络预测结果。
2)将“新生成”的伪标签分为高噪声伪标签和低噪声伪标签
对“新生成”的伪标签所构成的损失函数集合 进行归一化,得到归一化后的集合lpse_ce。对lpred_ce使用期望最大化(EM)算法拟合一个双分量的高斯混合模型,将对“新生成”的伪标签分为高噪声伪标签和低噪声伪标签,拟合方法与步骤3)中相类似。
3)筛除高噪声伪标签,仅对低噪声伪标签和无噪标签进行梯度反向传播。
所述的步骤7)为:使用两个子数据集所训练的模型分别对待分割图像xtest进行分割,图像xtest中像素点p属于目标区域的概率为两个模型输出的概率的平均值。
本发明能较准确地实现噪声标签背景下的医学影像分割问题,从图片级别与像素级别分别考虑,更好地修正了噪声标签,从而提高了模型精度。如图4所示,采用本发明方法相对于传统噪声背景下的分割方法,具有更高的精度和准确率。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。
Claims (9)
1.基于高斯混合模型和标签矫正模型的噪声标签分割方法,其特征在于,包括如下步骤:
(1)将数据集分为两个子数据集,对每个子数据集分别进行下述步骤(2)-((6),所述数据集包括输入图像以及混有噪声标签的原标签;
(2)根据数据集进行简单模型预训练,并使用所得的预训练模型预测输入图像,得到预测分割结果;
(3)利用损失函数对混有噪声标签的原标签进行聚类,计算出原标签属于无噪标签和含噪标签的概率,进而区分得到无噪标签和含噪标签;
(4)对含噪标签使用标签矫正模块:计算输入图像中每个像素的显著度,以及属于目标区域的概率,根据计算结果对图像进行分割,得到输入图像的伪标签;
(5)采用互补学习策略,将两个子数据集训练得到的两个网络互相校对,以剔除确认偏差,得到协同细化后的伪标签;
(6)梯度反向传播阶段:运用置信反向传播模块,仅使用低噪声伪标签和无噪的原标签对网络进行反向传播;
(7)训练结束后,由来自两个网络的训练模型共同预测待分割样本的标签;
所述步骤(5)的互补学习策略具体为:
对两个子数据集均进行如下操作:线性组合混有噪声标签的原标签y(t)与当前子数据集在步骤(4)中重新生成的伪标签y’(t),对标记样本进行标签协同细化,得到协同细化后的伪标签
其中,w(t)为另一个子数据集在步骤(3)中产生的属于无噪标签的概率。
2.根据权利要求1所述的基于高斯混合模型和标签矫正模型的噪声标签分割方法,其特征在于,所述步骤(1)中两个子数据集不相交。
3.根据权利要求1所述的基于高斯混合模型和标签矫正模型的噪声标签分割方法,其特征在于,所述步骤(2)为:对输入图像和混有噪声标签的原标签的数据集X={x(t),y(t)}k运用现有的分割网络训练10-50回合作为预训练模型,并使用预训练模型对输入图像x(t)进行预测,得到预测分割结果其中,x(t)表示数据集中第t个输入图像,y(t)表示数据集中第t个原标签,k表示数据集样本数量。
4.根据权利要求1所述的基于高斯混合模型和标签矫正模型的噪声标签分割方法,其特征在于,所述步骤(3)具体为:
(3.1)计算损失函数:
对于输入图像x(t)与原标签y(t),其损失函数为:
式中,为预测分割结果中第i行第j列像素点,为原标签y(t)中第i行第j列像素点,m、n为图像长宽像素点个数;
(3.2)计算自信预测熵:
式中,c表示类别,为第c个类别的概率,x为输入图片,θ为模型参数,为第i行第j列像素点的自信预测熵,H(t)为第t个标签的自信预测熵;
最后,计算修正后的损失函数:
(3.3)区分无噪标签和含噪标签:
对所有修正后的损失函数所构成的集合 进行归一化,得到归一化后的集合lpred_noise,对lpred_noise使用期望最大化EM算法拟合一个双分量的高斯混合模型,其中均值较小的高斯分量记为gsmall,均值较大的高斯分量记为glarge;
第t个样本标签属于无噪标签和含噪标签的概率为后验概率和
式中,表示归一化后的集合lpred_noise中第t个样本标签所对应的值;对于每个样本标签,当时,判定它为无噪标签;反之,则为含噪标签。
5.根据权利要求1所述的基于高斯混合模型和标签矫正模型的噪声标签分割方法,其特征在于,所述步骤(4)的标签矫正模块具体为:
(4.1)确定输入图像的各点显著度:
对于输入图像x(t),根据特征向量计算每个像素的显著度,计算方式如下:
其中,p,q均为图片上任意像素点,图像中第i行第j列像素点的特征向量指特征提取器F输出结果中第i行第j列的值:
||f(p)||2||f(q)||2代表点p和点q的特征向量之间的欧式距离,Rsus表示输入图像中与预测分割结果相对应的区域,即疑似目标区域,显著度S(p)衡量了像素点p在疑似目标区域内的显著度;
(4.2)根据显著度确定显著区域:指定阈值σ,选取S(p)>σ的点p所构成的区域作为显著区域,记做proto={p|S(p)>σ};
(4.3)计算输入图像x(t)中的每个像素点p属于目标区域的概率:
其中,K为显著区域proto内像素点的个数,protoj为显著区域内第j个像素点的特征向量,||f(p)||2||protoj||2表示点p和显著区域内第j个像素点特征向量之间的欧氏距离;
(4.4)根据概率对图像进行分割:指定阈值η(,当score(p)>η时,将像素点p划分为前景点,构成目标区域,反之,将p划分为背景点,构成非目标区域;
(4.5)对分割得到的伪标签进一步后处理优化:去除面积过小的连通目标区域,将其作为非目标区域;填充目标区域内部的小孔,将其作为目标区域。
6.根据权利要求5所述的基于高斯混合模型和标签矫正模型的噪声标签分割方法,其特征在于,所述阈值σ=0.7,所述阈值η=0.7;所述的面积过小的连通目标区域和所述的目标区域内部的小孔,皆选择面积小于原目标区域总面积10%的连通区域。
7.根据权利要求1所述的基于高斯混合模型和标签矫正模型的噪声标签分割方法,其特征在于,所述步骤(6)具体为:
(6.1)使用协同细化后的伪标签进行训练,利用得到的训练网络对输入图像进行预测,得到
(6.2)对每张图像计算交叉熵损失:
(6.3)对协同细化后的伪标签所构成的损失函数集合 进行一一化,得到一一化后的集合lpse_ce;对lpred_ce使用期望最大化((EM)算法拟合一个双分量的高斯混合模型,将对协同细化后的伪标签分为高噪声伪标签和低噪声伪标签;
(6.4)筛除高噪声伪标签,仅对低噪声伪标签和无噪标签进行梯度反向传播。
8.根据权利要求1所述的基于高斯混合模型和标签矫正模型的噪声标签分割方法,其特征在于,所述步骤(7)具体为:使用两个子数据集所训练的模型分别对待分割图像xtest进行分割,图像xtest中像素点p属于目标区域的概率为两个模型输出的概率的平均值。
9.基于高斯混合模型和标签矫正模型的图像分割系统,其特征在于,由如权利要求1所述的方法训练得到。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111218972.4A CN113962999B (zh) | 2021-10-19 | 2021-10-19 | 基于高斯混合模型和标签矫正模型的噪声标签分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111218972.4A CN113962999B (zh) | 2021-10-19 | 2021-10-19 | 基于高斯混合模型和标签矫正模型的噪声标签分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113962999A CN113962999A (zh) | 2022-01-21 |
CN113962999B true CN113962999B (zh) | 2024-06-25 |
Family
ID=79464749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111218972.4A Active CN113962999B (zh) | 2021-10-19 | 2021-10-19 | 基于高斯混合模型和标签矫正模型的噪声标签分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113962999B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115690100B (zh) * | 2022-12-28 | 2023-04-07 | 珠海横琴圣澳云智科技有限公司 | 半监督信号点检测模型训练方法、信号点检测方法和装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016665B (zh) * | 2017-02-16 | 2021-05-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
US11430140B2 (en) * | 2018-09-18 | 2022-08-30 | Caide Systems, Inc. | Medical image generation, localizaton, registration system |
CN110458192B (zh) * | 2019-07-05 | 2022-06-14 | 中国地质大学(武汉) | 基于视觉显著性的高光谱遥感图像分类方法及系统 |
CN110503654B (zh) * | 2019-08-01 | 2022-04-26 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
EP3798911A1 (en) * | 2019-09-24 | 2021-03-31 | Robert Bosch GmbH | Method and system to classify sensor data with improved training robustness |
CN110956185B (zh) * | 2019-11-21 | 2023-04-18 | 大连理工大学人工智能大连研究院 | 一种图像显著目标的检测方法 |
CN113450363B (zh) * | 2021-06-10 | 2023-05-02 | 西安交通大学 | 一种基于标签校正的元学习细胞核分割系统及方法 |
CN113361201B (zh) * | 2021-06-10 | 2023-08-25 | 南京大学 | 一种基于噪声标签学习的众包获取标签数据清洗方法 |
-
2021
- 2021-10-19 CN CN202111218972.4A patent/CN113962999B/zh active Active
Non-Patent Citations (1)
Title |
---|
Tailored multi-organ segmentation with model adaptation and ensemble;Jiahua Dong等;《Computers in Biology and Medicine》;20231101;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113962999A (zh) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN109741332B (zh) | 一种人机协同的图像分割与标注方法 | |
EP3767536A1 (en) | Latent code for unsupervised domain adaptation | |
CN113076994B (zh) | 一种开集域自适应图像分类方法及系统 | |
CN109189767B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN110738247B (zh) | 一种基于选择性稀疏采样的细粒度图像分类方法 | |
CN112862093B (zh) | 一种图神经网络训练方法及装置 | |
CN108399428A (zh) | 一种基于迹比准则的三元组损失函数设计方法 | |
CN109800717B (zh) | 基于强化学习的行为识别视频帧采样方法及系统 | |
CN110880019A (zh) | 通过无监督域适应训练目标域分类模型的方法 | |
CN111340233B (zh) | 机器学习模型的训练方法及装置、样本处理方法及装置 | |
CN115810135A (zh) | 样本分析的方法、电子设备、存储介质和程序产品 | |
CN114998602A (zh) | 基于低置信度样本对比损失的域适应学习方法及系统 | |
CN116091836A (zh) | 一种多模态视觉语言理解与定位方法、装置、终端及介质 | |
CN114863091A (zh) | 一种基于伪标签的目标检测训练方法 | |
CN116977710A (zh) | 一种遥感图像长尾分布目标半监督检测方法 | |
CN113962999B (zh) | 基于高斯混合模型和标签矫正模型的噪声标签分割方法 | |
CN114220086A (zh) | 一种成本高效的场景文字检测方法及系统 | |
CN116681961A (zh) | 基于半监督方法和噪声处理的弱监督目标检测方法 | |
CN115797701A (zh) | 目标分类方法、装置、电子设备及存储介质 | |
CN111144462A (zh) | 一种雷达信号的未知个体识别方法及装置 | |
Pei et al. | Evidential Multi-Source-Free Unsupervised Domain Adaptation | |
CN111797935A (zh) | 基于群体智能的半监督深度网络图片分类方法 | |
CN111738343B (zh) | 一种基于半监督学习进行图像标注方法 | |
CN114495114A (zh) | 基于ctc解码器的文本序列识别模型校准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |