CN113139974B - 基于半监督学习的病灶分割模型训练、应用方法 - Google Patents

基于半监督学习的病灶分割模型训练、应用方法 Download PDF

Info

Publication number
CN113139974B
CN113139974B CN202110395912.3A CN202110395912A CN113139974B CN 113139974 B CN113139974 B CN 113139974B CN 202110395912 A CN202110395912 A CN 202110395912A CN 113139974 B CN113139974 B CN 113139974B
Authority
CN
China
Prior art keywords
processing
features
image
sampling
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110395912.3A
Other languages
English (en)
Other versions
CN113139974A (zh
Inventor
王卓薇
徐超
陈子洋
陈立宜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110395912.3A priority Critical patent/CN113139974B/zh
Publication of CN113139974A publication Critical patent/CN113139974A/zh
Application granted granted Critical
Publication of CN113139974B publication Critical patent/CN113139974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于半监督学习的病灶分割模型训练、应用方法，涉及图像识别技术领域，解决脑部结构复杂且噪声过多导致的阿尔兹海默症病灶标注困难的技术问题；该病灶分割模型在对图像进行下采样和上采样的时候加入了多域注意力机制，强调需要分割的病灶区域特征，提高模型对图像中病灶区域的关注程度，并抑制非病灶区域特征，以此提升特征图的特征表征能力；另外在模型中加入半监督学习的方法，利用无标签的数据训练网络模型，使用少量的带标注的数据集达到了较好的模型训练效果，极大的节约了人工标注的成本，为临床提供便捷的辅助诊断。

Description

基于半监督学习的病灶分割模型训练、应用方法
技术领域
本发明涉及图像识别技术领域，更具体地，涉及基于半监督学习的病灶分割模型训练、应用方法。
背景技术
阿尔兹海默症(Alzheimer’s Disease,AD)是一种以记忆功能和认知功能进行性退化为特征的临床综合征，是导致痴呆症的主要原因，也是导致人类死亡的一大原因。AD的潜伏期较长，其临床表现也会随着时间的推移而慢慢恶化，医学上将其临床表现分为3个阶段：主观认知功能障碍(Subjective Cognitive Impairment,SCI)、轻度认知障碍(MildCognitive Impairment,MCI)和AD。其中SCI是属于正常人类大脑老化会经过的一个阶段，通常随着年龄的增长，大多数人都会出现这种现象。MCI是介于正常衰老和痴呆之间的一种中间状态，是一种认知障碍症候群，也有人将其看作是AD的早期阶段。医生针对MCI和AD会给出相应不同的治疗方案，而现在临床上较多使用观看患者的脑磁共振成像(MagneticResonance Imaging,MRI)来诊断患者所处的阶段。因此，开展阿尔兹海默症患者脑部MRI图像分析具有重要的实用价值。
在深度学习领域，图像分割任务普遍基于日常图像。因为日常图像获取成本低，容易标注，要得到大量的带标记训练样本成本较低。而在关于医学图像的图像分割任务中，具有图像获取成本高、对于标注人员的专业素养要求高的问题，我们需要分析的是阿尔兹海默症患者的脑部MRI图像，阿尔兹海默症的病灶包含多个部位，该图像结构复杂，噪声过多，人工标注困难。因此复杂的脑部MRI图像进行特征提取困难，使用少量的带标注的脑部MRI图像训练样本模型训练效果差，是本领域亟待解决的技术问题。
公开号为CN105719293A公开日：2016-06-29提出的一种脑部MRI图像分割方法，将脑部MRI图像中每个像素点归属于具有最大隶属度的类中，令同一类中像素点灰度值等于同一个灰度值，完成脑部MRI图像分割，但通过PSO算法对结构复杂，噪声多的医学图像进行图像分割，效果并不理想。
发明内容
为克服上述现有技术所述的通过较少脑部MRI图像样本模型训练效果差，复杂的脑部MRI图像进行特征提取困难的技术问题，本发明提供了基于半监督学习的病灶分割模型训练、应用方法，技术方案如下：
基于半监督学习的病灶分割模型训练方法，包括如下步骤：
S1：在深度学习框架中构建深度学习网络模型，获取所有脑部MRI图像训练样本，将无标签的脑部MRI图像划入无标签训练集，将已正确标注病灶区域标签的脑部MRI图像和相应的标签，划入有标签训练集；
S2：对所有脑部MRI图像训练样本进行预处理；
S3：将预处理后的脑部MRI图像训练样本输入到共享编码器中；
S4：共享编码器对输入的数据进行多次下采样，然后将每一次下采样的结果进行多域注意力机制处理；并且将最后一次下采样的结果输入到主解码器，同时对所述无标签训练集最后一次下采样的结果做数据干扰处理；
S5：将多域注意力机制处理输出的特征分别输入到主解码器和辅助解码器，将数据干扰处理结果输入到辅助解码器；
S6：主解码器和辅助解码器分别对共享编码器输出结果和数据干扰处理结果进行多次上采样处理；
S7：主解码器和辅助解码器完成上采样后得到的图像分割结果分别由输入到损失函数进行计算损失处理，并将计算损失的结果反向输入到共享编码器调参优化所述深度学习网络模型。
上述方案采用基于半监督学习的多域注意力机制的阿尔兹海默症脑部MRI分割模型，以编码器-解码器结构为基础，搭建图像病灶分割网络模型，在对图像进行下采样和上采样的时候加入了多域注意力机制，强调需要分割的病灶区域特征，提高了模型对图像中病灶区域的关注程度，并抑制非病灶区域特征，降低无关部位所带来的噪声，以此提升特征图的特征表征能力；另外在模型中加入半监督学习的方法，利用无标签的数据训练网络模型，使用少量的带标注的数据集达到了较好的模型训练效果，极大的节约了人工标注的成本，提升模型整体的鲁棒性；为临床提供便捷的辅助诊断。
进一步地，步骤S2所述预处理包括：图像格式转换、获取时间校正、头动校正、不同成像方法间的图像融合、图像配准以及空间平滑处理中的一种或几种。
进一步地，步骤S4所述下采样的次数为四次。
进一步地，步骤S4所述多域注意力机制处理包括空间注意力处理和通道注意力处理，所述共享编码器每一次下采样的结果分别进行所述空间注意力处理和通道注意力处理，然后将两种处理后得到的特征进行特征融合。
进一步地，步骤S4所述特征融合是指将两个特征的像素值相加。
进一步地，步骤S4所述数据干扰处理包括随机加入噪声和/或随机丢失一部分的空间特征。
进一步地，步骤S6所述多次上采样包括四次上采样；
具体地，主解码器首先对共享编码器传入的数据进行第一次上采样处理，然后将上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，再对融合后的特征进行下一次上采样处理，将最后一次上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，融合后的特征作为上采样处理最终的有标签输出特征；
辅助解码器首先对数据干扰处理后的特征进行第一次上采样处理，然后将上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，再对融合后的特征进行下一次上采样处理，将最后一次上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，融合后的特征作为上采样处理最终的无标签输出特征。
进一步地，步骤S6还包括对所述有标签输出特征使用激活函数进行激活处理，得到有标签图像分割结果；
对所述无标签输出特征使用激活函数进行激活处理，得到无标签图像分割结果。
进一步地，步骤S7所述计算损失处理包括有监督损失处理和无监督损失处理，所述有监督损失处理是指将有标签图像分割结果和该图像的标签输入有监督损失函数，计算有标签图像分割结果和该图像的标签之间的有监督损失；
所述无监督损失处理是指将无标签图像在主解码器中的分割结果和在辅助解码器中的分割结果输入到无监督损失函数，计算无监督损失。
基于半监督学习的病灶分割模型应用方法，包括步骤：
S101：将待分割脑部MRI图像输入训练好的深度学习网络模型；
S102：对待分割脑部MRI图像进行预处理；
S103：将预处理后的数据输入共享编码器；
S104：对共享编码器每次下采样后的结果进行多域注意力机制处理，并将最后一次下采样得到的特征输入到主解码器；
S105：主解码器对输入数据进行上采样，主解码器在每次上采样后，先将本次上采样得到的结果和多域注意力机制处理输出的特征先进行特征融合然后再进行下一次上采样，将最后一次上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，输出上采样融合后的特征；
S106：对输出的上采样融合后的特征使用激活函数进行激活处理，得到与待分割脑部MRI图像大小相同的分割结果图。
与现有技术相比，本发明技术方案的有益效果是：
上述方案采用基于半监督学习的多域注意力机制的阿尔兹海默症脑部MRI分割模型，以编码器-解码器结构为基础，搭建图像病灶分割网络模型，在对图像进行下采样和上采样的时候加入了多域注意力机制，强调需要分割的病灶区域特征，提高了模型对图像中病灶区域的关注程度，并抑制非病灶区域特征，降低无关部位所带来的噪声，以此提升特征图的特征表征能力；另外在模型中加入半监督学习的方法，利用无标签的数据训练网络模型，使用少量的带标注的数据集达到了较好的模型训练效果，极大的节约了人工标注的成本，提升模型整体的鲁棒性；为临床提供便捷的辅助诊断。
附图说明
图1为本发明的基于半监督学习的病灶分割模型训练的概要流程图。
图2为本发明的基于半监督学习的病灶分割模型应用的概要流程图。
图3为本发明的基于半监督学习的病灶分割模型结构示意图。
图4为结合注意力机制与特征融合的编码器-解码器结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
在说明本发明之前，先对于本发明中将要出现的技术用语进行简单说明。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，基于半监督学习的病灶分割模型训练方法，包括步骤：
S1：在深度学习框架中构建深度学习网络模型，获取所有脑部MRI图像训练样本，将无标签的脑部MRI图像划入无标签训练集，将已正确标注病灶区域标签的脑部MRI图像和相应的标签，划入有标签训练集；
所述标签是人工标注的图像中病灶区域。
S2：对所有脑部MRI图像训练样本进行预处理；
所述预处理包括：图像格式转换、获取时间校正、头动校正、不同成像方法间的图像融合、图像配准以及空间平滑处理中的一种或几种。
S3：将预处理后的脑部MRI图像训练样本输入到共享编码器中；
S4：共享编码器对输入的数据进行多次下采样，然后将每一次下采样的结果进行多域注意力机制处理；并且将最后一次下采样的结果输入到主解码器，同时对所述无标签训练集最后一次下采样的结果做数据干扰处理；
所述下采样的次数为四次。
所述多域注意力机制处理包括空间注意力处理和通道注意力处理，所述共享编码器每一次下采样的结果分别进行所述空间注意力处理和通道注意力处理，然后将两种处理后得到的特征进行特征融合。所述特征融合是指将两个特征的像素值相加。所述数据干扰处理包括随机加入噪声和/或随机丢失一部分的空间特征。
S5：将多域注意力机制处理输出的特征分别输入到主解码器和辅助解码器，将数据干扰处理的结果输入到辅助解码器；
S6：主解码器和辅助解码器分别对共享编码器输出结果和数据干扰处理结果进行多次上采样处理；
所述多次上采样包括四次上采样；
具体地，主解码器首先对共享编码器传入的数据进行第一次上采样处理，然后将上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，再对融合后的特征进行下一次上采样处理，将最后一次上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，融合后的特征作为上采样处理最终的有标签输出特征；
辅助解码器首先对数据干扰处理后的特征进行第一次上采样处理，然后将上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，再对融合后的特征进行下一次上采样处理，将最后一次上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，融合后的特征作为上采样处理最终的无标签输出特征。
还包括对所述有标签输出特征使用激活函数进行激活处理，得到有标签图像分割结果；
对所述无标签输出特征使用激活函数进行激活处理，得到无标签图像分割结果。
S7：主解码器和辅助解码器完成上采样后得到的图像分割结果分别由输入到损失函数进行计算损失处理，并将计算损失的结果反向输入到共享编码器调参优化所述深度学习网络模型。
所述计算损失处理包括有监督损失处理和无监督损失处理，所述有监督损失处理是指将有标签图像分割结果和该图像的标签输入有监督损失函数，计算有标签图像分割结果和该图像的标签之间的有监督损失；
所述无监督损失处理是指将无标签图像在主解码器中的分割结果和在辅助解码器中的分割结果输入到无监督损失函数，计算无监督损失。
本实施例中，半监督学习框架为交叉一致性训练，其中决策边界位于低密度区域。对于语义分割，低密度区域在隐藏表示中比在输入中更为明显。因此，本实施例采用交叉一致性训练，其中对应用到编码器输出的特征在经过数据干扰处理后强制执行预测的不变性。具体地，使用有标签训练集中的训练样本以有监督的方式训练共享编码器和主解码器。为了利用无标签训练集中的训练样本，在主解码器和辅助解码器之间保持一致性，以编码器输出的不同干扰版本为输入，从而调节共享编码器和辅助解码器的参数，改善共享编码器的表示形式提高模型的性能。
在一次训练中，将有相应标签的脑部MRI图像xl和无标签的脑部MRI图像xu输入到共享编码器中进行特征提取。再将提取到的特征图输入到主解码器中，以获得输出主解码器的有标签输出特征yl和无标签输出特征yu。使用有相应标签的脑部MRI图像xl的标签y和有标签输出特征yl来计算有监督的损失。其中有监督损失函数为交叉熵损失函数(Cross-Entropy，CE)，如公式1所示：
其中H(.,.)表示交叉熵损失函数CE，Dl表示有标签训练集。
针对无标签数据，将共享编码器中关于无标签的脑部MRI图像xu的输出Z进行数据干扰处理，得到被干扰后的特征Z’，然后将Z’输入到辅助解码器中，通过辅助解码器后生成无标签预测输出yg。然后再将辅助解码器的无标签预测输出yg和主解码器的无标签输出特征yu之间计算无监督的损失。使用公式2中的Lu表示主解码器和辅助解码器之间输出的差异，而最终的目的就是要使Lu最小化。
其中Du表示无标签数据集，zi表示共享编码器最后输出的特征，zi表示zi被干扰后的特征，g()表示主解码器，g'()表示辅助解码器，d(.,.)表示两个输出的概率分布(即在通道维上应用的softmax函数的输出)，此处使用均方误差(MSE)作为距离度量。
最后，模型总的组合损失L表示如公式3所示：
L＝LS+ωuLu (3)
其中ωu表示Lu的损失加权函数。
在实际的使用中，如果在每次训练迭代中，采样相等数量的标记和未标记样本，那么结果有可能只对数据集Dl进行迭代，而不是对其未标记的对应项Du进行迭代，从而有可能使有标签的数据集Dl产生过拟合。为了避免过拟合现象，在输出形成的概率分布的形式上，仅以小于阈值η的概率计算像素上的有监督损失，表示为如公式4所示：
为了释放监督训练信号，在训练开始时将阈值参数η从1/C逐渐增加到0.9，其中C为输出类别的数量。
实施例2
本实施例提供了一种基于半监督学习的病灶分割模型应用方法，如图2所示，包括步骤：
S101：将待分割脑部MRI图像输入训练好的深度学习网络模型；
S102：对待分割脑部MRI图像进行预处理；
S103：将预处理后的数据输入共享编码器；
S104：对共享编码器每次下采样后的结果进行多域注意力机制处理，并将最后一次下采样得到的特征输入到主解码器；
S105：主解码器对输入数据进行上采样，主解码器在每次上采样后，先将本次上采样得到的结果和多域注意力机制处理输出的特征先进行特征融合然后再进行下一次上采样，将最后一次上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，输出上采样融合后的特征；
S106：对输出的上采样融合后的特征使用激活函数进行激活处理，得到与待分割脑部MRI图像大小相同的分割结果图。
实施例3
本实施例提供了一种基于半监督学习的病灶分割训练模型，所述模型结构如图3所示，在训练过程中，所述模型包括：数据预处理模块、共享编码器、多域注意力机制模块、主解码器、数据干扰模块、辅助解码器、计算损失模块。
脑部MRI图像训练样本包括无标签的脑部MRI图像和有标签的脑部MRI图像，将无标签的脑部MRI图像划入无标签训练集，将已正确标注病灶区域标签的脑部MRI图像和相应的标签，划入有标签训练集；
所述模型在接收到输入的训练样本后，先将训练样本输入到数据预处理模块，所述数据预处理模块对输入的数据进行预处理；然后将预处理后的数据输入到共享编码器中，共享编码器对输入的数据进行下采样编码，共享编码器一共进行四次下采样，每次下采样后的结果会被输入到多域注意力机制模块中；并且，最后一次下采样的结果会被输入到主解码器中，若输入共享编码器的是无标签脑部MRI图像，也将最后一次下采样结果输入到数据干扰模块中，数据干扰模块用于对输入数据进行数据干扰操作，数据干扰模块输出的数据输入到辅助编码模块中。
主解码器和辅助解码器均进行四次上采样过程，主解码器和辅助解码器首先对共享编码器传入的数据进行第一次上采样处理，之后每次上采样后将本次的上采样得到的特征都和多域注意力机制中输出的特征先进行特征融合后，再进行下一次上采样，最后一次上采样的结果和多域注意力机制中输出的对应特征进行特征融合后作为最后的输出结果，主解码器和辅助解码器将输出结果输入到计算损失模块，计算损失模块中具有有监督损失函数和无监督损失函数，对于有标签数据，利用有监督损失函数计算主解码器输出的结果和样本相应标签之间的差异，对于无标签数据，利用无监督损失函数计算主解码器输出的结果和辅助解码器输出的结果之间的差异。最后，计算损失模块将计算出的结果反向输入到共享编码器、主解码器以及辅助解码器中进行调参以优化模型。
实施例4
本实施例提供了一种结合注意力机制与特征融合的编码器-解码器结构，所述编码器-解码器结构如图4所示，该结构中所使用的注意力机制是一种结合通道、空间的注意力机制，该注意力机制结合了更为广阔的感受野特征，以及全局上下文信息，这使得在特征上采样的时候，特征更为丰富，特征具有更强的表征能力，所述编码器-解码器结构最后预测出的结果更加准确。该结构的特点如下：
对每次下采样后的特征图分别定义为f1,f2,f3,f4，并将下采样后经过注意力机制模块后的特征分别定义为g1,g2,g3,g4，上采样的特征图分别定义为f5,f6,f7,f8。
输入的数据经过编码器四次下采样得到f4，然后将f4与g4进行特征融合得到f5。
将f5上采样后的结果与g3特征融合后得到f6。
将f6上采样后的结果与g2特征融合后得到f7。
将f7上采样后的结果与g1特征融合后得到f8。
最后将f8上采样后经过激活函数激活得到与输入相同大小输出图像。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.基于半监督学习的病灶分割模型训练方法，其特征在于，包括步骤：
S1：在深度学习框架中构建深度学习网络模型，获取所有脑部MRI图像训练样本，将无标签的脑部MRI图像划入无标签训练集，将已正确标注病灶区域标签的脑部MRI图像和相应的标签，划入有标签训练集；
S2：对所有脑部MRI图像训练样本进行预处理；
S3：将预处理后的脑部MRI图像训练样本输入到共享编码器中；
S4：共享编码器对输入的数据进行多次下采样，然后将每一次下采样的结果进行多域注意力机制处理；并且将最后一次下采样的结果输入到主解码器，同时对所述无标签训练集最后一次下采样的结果做数据干扰处理；
步骤S4所述多域注意力机制处理包括空间注意力处理和通道注意力处理，所述共享编码器每一次下采样的结果分别进行所述空间注意力处理和通道注意力处理，然后将两种处理后得到的特征进行特征融合；
S5：将多域注意力机制处理输出的特征分别输入到主解码器和辅助解码器，将数据干扰处理结果输入到辅助解码器；
S6：主解码器和辅助解码器分别对共享编码器输出结果和数据干扰处理结果进行多次上采样处理；
步骤S6所述多次上采样包括四次上采样；
具体地，主解码器首先对共享编码器传入的数据进行第一次上采样处理，然后将上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，再对融合后的特征进行下一次上采样处理，将最后一次上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，融合后的特征作为上采样处理最终的有标签输出特征；
辅助解码器首先对数据干扰处理后的特征进行第一次上采样处理，然后将上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，再对融合后的特征进行下一次上采样处理，将最后一次上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，融合后的特征作为上采样处理最终的无标签输出特征；
S7：主解码器和辅助解码器完成上采样后得到的图像分割结果分别由输入到损失函数进行计算损失处理，并将计算损失的结果反向输入到共享编码器调参优化所述深度学习网络模型；
步骤S7所述计算损失处理包括有监督损失处理和无监督损失处理，所述有监督损失处理是指将有标签图像分割结果和该图像的标签输入有监督损失函数，计算有标签图像分割结果和该图像的标签之间的有监督损失；
所述无监督损失处理是指将无标签图像在主解码器中的分割结果和在辅助解码器中的分割结果输入到无监督损失函数，计算无监督损失。
2.根据权利要求1所述的基于半监督学习的病灶分割模型训练方法，其特征在于，步骤S2所述预处理包括：图像格式转换、获取时间校正、头动校正、不同成像方法间的图像融合、图像配准以及空间平滑处理中的一种或几种。
3.根据权利要求1所述的基于半监督学习的病灶分割模型训练方法，其特征在于，步骤S4所述下采样的次数为四次。
4.根据权利要求1所述的基于半监督学习的病灶分割模型训练方法，其特征在于，步骤S4所述特征融合是指将两个特征的像素值相加。
5.根据权利要求1所述的基于半监督学习的病灶分割模型训练方法，其特征在于，步骤S4所述数据干扰处理包括随机加入噪声和/或随机丢失一部分的空间特征。
6.根据权利要求1所述的基于半监督学习的病灶分割模型训练方法，其特征在于，步骤S6还包括对所述有标签输出特征使用激活函数进行激活处理，得到有标签图像分割结果；对所述无标签输出特征使用激活函数进行激活处理，得到无标签图像分割结果。
7.基于权利要求1所述的基于半监督学习的病灶分割模型的应用方法，其特征在于，包括步骤：
S101：将待分割脑部MRI图像输入训练好的基于半监督学习的病灶分割模型；
S102：对待分割脑部MRI图像进行预处理；
S103：将预处理后的数据输入共享编码器；
S104：对共享编码器每次下采样后的结果进行多域注意力机制处理，并将最后一次下采样得到的特征输入到主解码器；
S105：主解码器对输入数据进行上采样，主解码器在每次上采样后，先将本次上采样得到的结果和多域注意力机制处理输出的特征先进行特征融合然后再进行下一次上采样，将最后一次上采样得到的特征与多域注意力机制处理输出的对应特征进行特征融合，输出上采样融合后的特征；
S106：对输出的上采样融合后的特征使用激活函数进行激活处理，得到与待分割脑部MRI图像大小相同的分割结果图。
CN202110395912.3A 2021-04-13 2021-04-13 基于半监督学习的病灶分割模型训练、应用方法 Active CN113139974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110395912.3A CN113139974B (zh) 2021-04-13 2021-04-13 基于半监督学习的病灶分割模型训练、应用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110395912.3A CN113139974B (zh) 2021-04-13 2021-04-13 基于半监督学习的病灶分割模型训练、应用方法

Publications (2)

Publication Number Publication Date
CN113139974A CN113139974A (zh) 2021-07-20
CN113139974B true CN113139974B (zh) 2023-08-22

Family

ID=76811938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110395912.3A Active CN113139974B (zh) 2021-04-13 2021-04-13 基于半监督学习的病灶分割模型训练、应用方法

Country Status (1)

Country Link
CN (1) CN113139974B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763406B (zh) * 2021-07-28 2024-04-26 华中师范大学 基于半监督学习的婴儿脑mri分割方法
CN113610856B (zh) * 2021-08-18 2023-11-07 京东科技信息技术有限公司 训练图像分割模型和图像分割的方法和装置
CN114972293B (zh) * 2022-06-14 2023-08-01 深圳市大数据研究院 基于半监督时空注意力网络的视频息肉分割方法、装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978850A (zh) * 2019-03-21 2019-07-05 华南理工大学 一种多模态医学影像半监督深度学习分割系统
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN110189323A (zh) * 2019-06-05 2019-08-30 深圳大学 一种基于半监督学习的乳腺超声图像病灶分割方法
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN111047594A (zh) * 2019-11-06 2020-04-21 安徽医科大学 肿瘤mri弱监督学习分析建模方法及其模型
CN111563897A (zh) * 2020-04-13 2020-08-21 北京理工大学 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
WO2021062133A1 (en) * 2019-09-25 2021-04-01 Siemens Gas And Power Gmbh & Co. Kg Unsupervised and weakly-supervised anomaly detection and localization in images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN109978850A (zh) * 2019-03-21 2019-07-05 华南理工大学 一种多模态医学影像半监督深度学习分割系统
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN110189323A (zh) * 2019-06-05 2019-08-30 深圳大学 一种基于半监督学习的乳腺超声图像病灶分割方法
WO2021062133A1 (en) * 2019-09-25 2021-04-01 Siemens Gas And Power Gmbh & Co. Kg Unsupervised and weakly-supervised anomaly detection and localization in images
CN111047594A (zh) * 2019-11-06 2020-04-21 安徽医科大学 肿瘤mri弱监督学习分析建模方法及其模型
CN111563897A (zh) * 2020-04-13 2020-08-21 北京理工大学 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Cbam: Convolutional block attention module;Woo et al;《Proceedings of the european conference on computer vision (ECCV)》;20181231;第3-19页 *

Also Published As

Publication number Publication date
CN113139974A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN113139974B (zh) 基于半监督学习的病灶分割模型训练、应用方法
CN108734659B (zh) 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN111951288B (zh) 一种基于深度学习的皮肤癌病变分割方法
WO2023077603A1 (zh) 一种异常脑连接预测系统、方法、装置及可读存储介质
CN111461232A (zh) 一种基于多策略批量式主动学习的核磁共振图像分类方法
CN113034505B (zh) 一种基于边缘感知网络的腺体细胞图像分割方法及装置
CN112669248B (zh) 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法
CN112785593B (zh) 一种基于深度学习的脑部图像分割方法
CN112862805B (zh) 听神经瘤图像自动化分割方法及系统
CN115511767B (zh) 一种自监督学习的多模态图像融合方法及其应用
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN113344991A (zh) 基于深度学习的无监督医学图像配准方法及系统
CN116579988A (zh) 一种基于渐进式融合网络的脑卒中病灶分割方法
CN115565671A (zh) 基于跨模型相互教学半监督的房颤辅助分析方法
CN114419015A (zh) 一种基于多模态配准的脑功能融合分析方法
CN114972291A (zh) 基于混合增强智能的医学影像结构化自动标注方法与系统
CN114445643B (zh) 一种基于显著稀疏强关联的fmri脑功能连接数据特征提取方法
CN114298979B (zh) 一种局灶性病变征象描述指导的肝核磁影像序列生成方法
CN117522693A (zh) 使用超分辨率技术增强医学图像机器视觉的方法和系统
CN118072090A (zh) 基于U2-Net和ResNeXt-50模型的皮肤病图像检测方法
CN117764960A (zh) 基于多级特征交互融合的ct图像气胸病灶区域识别方法
CN117974598A (zh) 基于多视角pet图像的分组自注意力图卷积早期脑疾病预测方法
CN115100412A (zh) 一种联合图像配准与分割的脑卒中病灶分割方法
CN117994520A (zh) 基于WMH-Net模型的脑白质病变图像分割方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Zhuowei

Inventor after: Xu Chao

Inventor after: Chen Ziyang

Inventor after: Chen Liyi

Inventor before: Xu Chao

Inventor before: Wang Zhuowei

Inventor before: Chen Ziyang

Inventor before: Chen Liyi

GR01 Patent grant
GR01 Patent grant