CN113111916B - 一种基于弱监督的医学图像语义分割方法和系统 - Google Patents

一种基于弱监督的医学图像语义分割方法和系统 Download PDF

Info

Publication number
CN113111916B
CN113111916B CN202110278041.7A CN202110278041A CN113111916B CN 113111916 B CN113111916 B CN 113111916B CN 202110278041 A CN202110278041 A CN 202110278041A CN 113111916 B CN113111916 B CN 113111916B
Authority
CN
China
Prior art keywords
image
medical image
probability
feature
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110278041.7A
Other languages
English (en)
Other versions
CN113111916A (zh
Inventor
肖国红
郝昀超
霍志刚
张佩珩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202110278041.7A priority Critical patent/CN113111916B/zh
Publication of CN113111916A publication Critical patent/CN113111916A/zh
Application granted granted Critical
Publication of CN113111916B publication Critical patent/CN113111916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种基于弱监督的医学图像语义分割方法，包括：对样本医学图像进行分割获得多个尺度下的多个特征图块；通过随机失活掩码对该特征图块进行筛选，对选出的特征图块提取图像特征，以该图像特征对深度卷积神经网络进行训练获得分类模型；以该分类模型对目标医学图像进行分割，并通过类别激活图构建热力图作为分割结果的伪标签。本发明还涉及一种基于弱监督的医学图像语义分割系统，以及一种数据处理装置。

Description

一种基于弱监督的医学图像语义分割方法和系统
技术领域
该发明创造属于计算机视觉技术领域，特别是涉及一种基于弱监督语义分割技术的图像分割方法和系统。
背景技术
随着深度学习的技术发展，基于深度学习的计算机视觉模型在相关视觉任务中都有着优秀的表现，并直接地便利了我们的生活。同样的，语义分割任务在医疗行业的应用也成为了一个研究热点，利用语义分割提取目标组织将会对医生的诊断与预后工作提供很大的便利。然而，繁重的数据标注任务既耗费时间，同样也影响着数据集的规模。因此，如何利用弱监督信息(如涂鸦、边界框、图像级类别标签等)对语义分割模型进行训练成为了一个新的技术热点。这一技术的难点是在于对语义分割伪标签的生成，伪标签的质量将直接影响整个训练的最终结果。此外，在不同的弱监督信息中，图像级类别标签是最方便快捷的。因此利用图像级标签生成语义分割伪标签是实现弱监督语义分割的关键。
对于每张图像，现有的主流技术是将其视为多实例学习(Multiple InstanceLearning)问题，主要分为以下三个阶段任务：(1)利用深度卷积神经网络(DCNN)对图像进行特征提取；(2)进行特征的选择与融合，对网络模型进行训练；(3)利用深度卷积神经网络(DCNN)输出概率构成的热力图(heatmap)作为伪标签。
然而，上述的方法仍然存在一定的缺点和性能提升空间。假设Bi表示第i张图像构成的包(bag)，
Figure BDA0002977417770000011
代表第i个bag中的第k个实例(instance)，/>
Figure BDA0002977417770000012
表示深度卷积神经网络(DCNN)的输出概率，/>
Figure BDA0002977417770000013
表示深度卷积神经网络(DCNN)的低维嵌入向量表示。对于任务(2)来说，模型训练的损失函数可以定义为以下形式：
Figure BDA0002977417770000014
其中，yi表示由相应规则挑选出来的实例
Figure BDA0002977417770000015
对应的标签，概率/>
Figure BDA0002977417770000016
是对应的概率：
Figure BDA0002977417770000021
主要的特征选择方法有两种，一种是基于池化(MIL Pooling)的选择方法({f(bi)}表示包Bi对应实例集合，Scriterion表示挑选的规则):
Figure BDA0002977417770000022
而另一种是基于soft attention(软注意力机制)的选择方法
Figure BDA0002977417770000023
表示DCNN模型的低维嵌入向量表示、/>
Figure BDA0002977417770000024
表示每个实例/>
Figure BDA0002977417770000025
对应的attention权重、fclassifier表示全连接层)：
Figure BDA0002977417770000026
对于基于池化(MIL Pooling)的选择方法来说，选择特征的方式不灵活，往往导致特征单一化，使模型陷入局部最优，对于分类任务有较小的影响，但是对于语义分割任务来说，模型应不仅仅能够判断出最具有代表性的区域，而是尽可能覆盖所有的目标区域；而对基于soft attention(软注意力机制)的选择方法来说，它虽然考虑到了每个实例的特征，利用加权将其融合。但是对于尺寸巨大的病理图片来说，每个bag中实例的数量是巨大的，在现有的计算资源条件下是很难实现模型端到端的训练。因此，一种能够灵活选择特征并且占用较少计算资源的特征选择方法是需要去解决的一个问题。
对于任务(3)来说，主流的方法是利用深度卷积神经网络(DCNN)将每个实例的概率作为伪标签的概率，但是这种instance-wise的伪标签对于语义分割的训练是极其不精细的，更加精细的伪标签将进一步提升弱监督语义分割任务的结果。
在这样的前提背景下，找到一种方法去解决任务(2)与任务(3)中产生伪标签过于粗糙的问题对弱监督语义分割任务来说至关重要，同样也是最主要的技术难点。
发明内容
为解决以上问题，本发明通过引入随机失活掩码(Drop Mask)并加入新的特征挑选规则，同时采用类别激活图(CAM)与全连接条件随机场(DenseCRF)结合的方式，提出一种更加精确的基于医学图像的弱监督语义分割方法，包括：对样本医学图像进行分割获得多个尺度下的多个特征图块；通过随机失活掩码对该特征图块进行筛选，对选出的特征图块提取图像特征，以该图像特征对深度卷积神经网络进行训练获得分类模型；以该分类模型对目标医学图像进行分割，并通过类别激活图构建热力图作为分割结果的伪标签。
本发明所述的医学图像语义分割方法，其中该随机失活掩码
Figure BDA0002977417770000031
Figure BDA0002977417770000032
其中，/>
Figure BDA0002977417770000033
表示通过特征图块/>
Figure BDA0002977417770000034
提取图像特征的概率，θ为筛选阈值。在特征提取步骤中，每次迭代中递增θ，并满足θ＝min(1,initθ+g*(e/s))，其中，initθ为初始阈值，g为阈值增长率，e为当前迭代次数，s为每次增长步幅。
本发明所述的医学图像语义分割方法，其中构建热力图的步骤包括：对于任一样本医学图像，通过该分类模型预测每个特征图块的提取概率，将所有该特征图块的提取概率融合为总提取概率；对于该样本医学图像，通过该分类模型获得每个特征图块的类别激活图，将所有该特征图块的类别激活图融合为总类别激活图；将该总提取概率和该总类别激活图融合为融合图，并以该融合图的概率为全连接条件随机场的一元势；去除该融合图的白色背景，并以该全连接条件随机场对进行该融合图进行细化处理，以获得该热力图。
本发明还提出一种基于弱监督的医学图像语义分割系统，包括：特征提取模块，用于对样本医学图像进行分割获得多个尺度下的多个特征图块；模型训练模块，用于通过随机失活掩码对该特征图块进行筛选，对选出的特征图块提取图像特征，以该图像特征对深度卷积神经网络进行训练获得分类模型；图像分割模块，用于以该分类模型对目标医学图像进行分割，并通过类别激活图构建热力图作为分割结果的伪标签。
本发明所述的医学图像语义分割系统，其中该随机失活掩码
Figure BDA0002977417770000035
Figure BDA0002977417770000036
其中，/>
Figure BDA0002977417770000037
表示通过特征图块/>
Figure BDA0002977417770000038
提取图像特征的概率，θ为筛选阈值。
本发明所述的医学图像语义分割系统，其中该模型训练模块包括：阈值递增模块，用于在特征提取过程的每次迭代中递增θ，并满足θ＝min(1,initθ+g*(e/s))，其中，initθ为初始阈值，g为阈值增长率，e为当前迭代次数，s为每次增长步幅。
本发明所述的医学图像语义分割系统，其中该图像分割模块具体包括：概率预测模块，用于对于任一样本医学图像，通过该分类模型预测每个特征图块的提取概率，并将所有该特征图块的提取概率融合为总提取概率；激活图生成模块，用于对于该样本医学图像，通过该分类模型获得每个特征图块的类别激活图，将所有该特征图块的类别激活图融合为总类别激活图；融合模块，用于将该总提取概率和该总类别激活图融合为融合图，并以该融合图的概率为全连接条件随机场的一元势；热力图生成模块，用于去除该融合图的白色背景，并以该全连接条件随机场对进行该融合图进行细化处理，以获得该热力图。
本发明还提出一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，当该计算机可执行指令被执行时，实现如前所述的基于弱监督的医学图像语义分割方法。
本发明还提出一种数据处理装置，包括如前所述的计算机可读存储介质，当该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令时，执行基于弱监督的医学图像语义分割。
附图说明
图1是本发明的基于弱监督的医学图像语义分割方法流程图。
图2是本发明的级联数据增强方式特征提取示意图。
图3是本发明的医学图像语义分割模型构建流程图。
图4是本发明的医学图像语义分割模型结构示意图。
图5是本发明的医学图像语义分割伪标签生成流程图。
图6是本发明的医学图像语义分割伪标签生成示意图。
图7A-7E、8A-8E是本发明的医学图像语义分割方法的效果图。
图9是本发明的数据处理装置
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本发明，并不用于限定本发明。
本发明的目的是解决弱监督语义分割任务中，利用图像级标签生成伪标签过于粗糙的问题。针对于任务(2)中特征选择的单一性与低效性，引入随机失活掩码(Drop Mask)并加入新的特征挑选规则。针对于任务(3)中生成的粗粒度伪标签，采用类别激活图(CAM)与全连接条件随机场(DenseCRF)结合的方式，产生细粒度的伪标签，从而实现一种更加精确的基于医学图像的弱监督语义分割方法。
针对于医学图像场景的语义分割任务，本发明采用以下方解决目前主流算法的缺点：(1)利用图像级类别标签，在多实例学习框架下训练分类模型；(2)引入类别激活图(CAM)进一步细化instance-wise的伪标签；(3)利用全连接条件随机场(DenseCRF)进行后处理，优化分割效果。此外，本发明还提出一种特征选择方法，引入随机失活掩码(DropMask)并加入新的特征挑选规则解决特征选择的单一性的问题。以及使用类别激活图(CAM)技术生成更加细粒度的分割效果，同时使用全连接条件随机场(DenseCRF)进行后处理，优化分割效果。
本发明致力于一种全新的设计方法，去重新设计任务(2)与任务(3)。对于任务(2)来说，通过重新设计特征选择方法，在池化(MIL Pooling)方法的基础上进一步改进挑选规则，同时引入Drop Mask，实现挑选更加丰富的特征；对于任务(3)来说，对分类模型的内在信息进行进一步的挖掘，通过引入Class Activation Map(CAM)，在instance-wise伪标签的基础上，进一步进行细化，并利用全连接条件随机场(DenseCRF)算法进行细节的处理，大幅提升了伪标签的精度。
弱监督语义分割的目的在于能够极大的减小训练数据的标注成本，同时将模型的预测精度保持在可接受的范围之内。为了能够优化弱监督语义分割的预测精度，需要生成更加精确的伪标签。根据已有的相关技术和实验分析，本发明通过以下的算法改进任务(2)与任务(3)，在仅利用图像级标签的情况下，能够产生更加精确伪标签。
图1是本发明的基于弱监督的医学图像语义分割方法流程图。如图1所示，本发明的医学图像语义分割方法具体包括：
步骤S1：在特征提取阶段，采用DenseNet网络对样本医学图像的每个实例进行概率预测。由于较小尺度的实例有利于产生精细的mask，但是同样会失去大量的图像信息。为了权衡这两者的关系，本发明采用级联数据增强的方式，在不同尺度的实例中，进行特征提取，进而训练出更加鲁棒的模型，如图2所示。
步骤S2：在特征选择阶段，引入随机失活掩码(Drop Mask)的概念。随机失活掩码(Drop Mask)可以将概率大于阈值θ的图像块(patch)过滤掉，进而选择更加丰富的特征对模型进行训练。如图3、图4所示，Drop Mask定义如下(Mdrop表示随机失活掩码(Drop Mask)，
Figure BDA0002977417770000061
表示DCNN模型输出概率，θ表示给定的阈值)：
Figure BDA0002977417770000062
同时，为了能够保证被过滤掉的特征也可以被模型充分学习，借鉴随机失活(Dropout)的设计思想引入随机失活率γ，也就是说每次迭代中，将有1-γ的概率随机失活掩码(Drop Mask)将工作。由于随着迭代次数的增加，阳性包(Bag)中实例概率分布将呈现分别靠近0,1的高斯分布，所以进行随机失活掩码(Drop Mask)筛选后选择到阴性实例的风险将逐渐增加，导致模型无法收敛。为了解决这个问题，本发明将在每次迭代中调整阈值θ，随着迭代次数的增加，阈值逐渐增加，直至1为止。假设初始阈值为initθ，阈值增长率为g，当前迭代次数为e，增长步幅为s，则阈值θ定义如下:
θ＝min(1,initθ+g*(e/s))
在特征的选择数量方面，和现有技术中的方法不同，本发明在不同的尺度上定义不同的选择数量kscale。对于阳性的包(Bag)，将选择概率最大的kscale个实例；对于阴性的包(Bag),，将分别选取概率最高与最低的kscale/2个实例进行训练。公式如下所示(
Figure BDA0002977417770000063
表示包Bi对应的实例集合，/>
Figure BDA0002977417770000064
表示从集合中选取最大的kscale个实例/>
Figure BDA0002977417770000065
其他同理)：
Figure BDA0002977417770000066
步骤S3：在图像分割阶段，以训练好的分类模型对目标医学图像进行分割。为了在instance-wise伪标签的基础上进一步的提升精度，本发明充分挖掘分类模型中的定位信息。分类模型能够准确的预测每个实例的类别，得益于分类模型能够观察到实例图片中具有代表性的区域，而这些区域恰恰是语义分割任务需要的区域。基于以上的假设，本发明利用训练好的分类模型，通过Global Average Pooling(GAP)生成Class Activation Map(CAM)。CAM能够在instance-wise标签的基础上，进一步的对每个实例图片标签进行细化，提升伪标签的精度。
如图5、图6所示，对于给定的图片，假设在DenseNet最后一个卷积层输出的feature map维度为(H*W*C),则fk(x,y)表示空间位置为(x,y)∈RH*W,第k(k∈RC)通道上的特征值。这将作为Global Average Pooling(GAP)的输入，对应的输出结果为Fk(Fk∈RC)，公式如下:
Figure BDA0002977417770000071
接着，GAP的输出将作为全连接层的输入,得到对应每个类别的激活值Sc,公式如下：
Figure BDA0002977417770000072
通过上述推导可以发现，类别的对应的激活值Sc和fk(x,y)是相关的，各个通道的fk(x,y)与各个类别概率之间关系通过权重
Figure BDA0002977417770000073
体现，基于上述的推导，根据/>
Figure BDA0002977417770000074
对各通道feature map fk(x,y)进行加权求和，得到各类别CAM:
Figure BDA0002977417770000075
再将CAM进行归一化，缩放到[0,1]之间:
Figure BDA0002977417770000076
在引入CAM后，在instance-wise伪标签hinstance的基础上，对每个instance计算对应CAM值，生成更加精细的heatmap H:
H＝hinstance*hcam
最后，使用全连接条件随机场(DenseCRF)对heatmap进行进一步的细化。将heatmapH的概率作为中的一元势(unary potential)，DenseCRF将根据像素点之间的关系，鼓励相似像素分配相同的标签，达到对heatmap的进一步细化，最终得到理想的伪标签。
相比于之前的主流技术，本发明通过对任务(2)进行优化，在保持任务(3)方法不变的情况上，生成的伪标签与人工标注标签之间的交并比(IOU)提高了2％左右；在对任务(3)进行进一步优化后，交并比(IOU)相比之前的主流方法提高了8％以上，得到了明显的提升。如图7A-7E、8A-8E所示，其中，图7A、8A为目标医学图像的原图，图7B、8B为人工标注的mask，图7C、8C为instance-wise热力图，图7D、8D为通过OSTU去掉白色背景的instance-wise热力图，图7E、8E为经过CAM和DenseCRF后处理的最终结果。
本发明还提出一种计算机可读存储介质，以及一种数据处理装置，如图9所示。本发明的计算机可读存储介质存储有计算机可执行指令，计算机可执行指令被数据处理装置的处理器执行时，实现上述基于弱监督的医学图像语义分割方法。本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器、FPGA、ASIC等)完成，所述程序可以存储于可读存储介质中，如只读存储器、磁盘或光盘等。上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明实施例不限制于任何特定形式的硬件和软件的结合。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变形，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (4)

1.一种基于弱监督的医学图像语义分割方法，其特征在于，包括：
对样本医学图像进行分割获得多个尺度下的多个特征图块；
通过随机失活掩码对该特征图块进行筛选，对选出的特征图块提取图像特征，以该图像特征对深度卷积神经网络进行训练获得分类模型，并在训练中每次迭代递增θ；该随机失活掩码
Figure FDA0004054230190000011
Figure FDA0004054230190000012
表示通过特征图块/>
Figure FDA0004054230190000013
提取图像特征的概率，θ为筛选阈值，并满足θ＝min(1,initθ+g*(e/s))，initθ为初始阈值，g为阈值增长率，e为当前迭代次数，s为每次增长步幅；
以该分类模型对目标医学图像进行分割，并通过类别激活图构建热力图作为分割结果的伪标签；其中，对于任一样本医学图像，通过该分类模型预测每个特征图块的提取概率，将所有该特征图块的提取概率融合为总提取概率；对于该样本医学图像，通过该分类模型获得每个特征图块的类别激活图，将所有该特征图块的类别激活图融合为总类别激活图；将该总提取概率和该总类别激活图融合为融合图，并以该融合图的概率为全连接条件随机场的一元势；去除该融合图的白色背景，并以该全连接条件随机场对进行该融合图进行细化处理，以获得该热力图。
2.一种基于弱监督的医学图像语义分割系统，其特征在于，包括：
特征提取模块，用于对样本医学图像进行分割获得多个尺度下的多个特征图块；
模型训练模块，用于通过随机失活掩码对该特征图块进行筛选，对选出的特征图块提取图像特征，以该图像特征对深度卷积神经网络进行训练获得分类模型；该随机失活掩码
Figure FDA0004054230190000014
Figure FDA0004054230190000015
表示通过特征图块/>
Figure FDA0004054230190000016
提取图像特征的概率，θ为筛选阈值；阈值递增模块，用于在特征提取过程的每次迭代中递增θ，并满足θ＝min(1,initθ+g*(e/s))，其中，initθ为初始阈值，g为阈值增长率，e为当前迭代次数，s为每次增长步幅；
图像分割模块，用于以该分类模型对目标医学图像进行分割，并通过类别激活图构建热力图作为分割结果的伪标签；该图像分割模块具体包括：
概率预测模块，用于对于任一样本医学图像，通过该分类模型预测每个特征图块的提取概率，并将所有该特征图块的提取概率融合为总提取概率；
激活图生成模块，用于对于该样本医学图像，通过该分类模型获得每个特征图块的类别激活图，将所有该特征图块的类别激活图融合为总类别激活图；
融合模块，用于将该总提取概率和该总类别激活图融合为融合图，并以该融合图的概率为全连接条件随机场的一元势；
热力图生成模块，用于去除该融合图的白色背景，并以该全连接条件随机场对进行该融合图进行细化处理，以获得该热力图。
3.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，当该计算机可执行指令被执行时，实现如权利要求1所述的基于弱监督的医学图像语义分割方法。
4.一种数据处理装置，包括如权利要求3所述的计算机可读存储介质，当该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令时，执行基于弱监督的医学图像语义分割。
CN202110278041.7A 2021-03-15 2021-03-15 一种基于弱监督的医学图像语义分割方法和系统 Active CN113111916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110278041.7A CN113111916B (zh) 2021-03-15 2021-03-15 一种基于弱监督的医学图像语义分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110278041.7A CN113111916B (zh) 2021-03-15 2021-03-15 一种基于弱监督的医学图像语义分割方法和系统

Publications (2)

Publication Number Publication Date
CN113111916A CN113111916A (zh) 2021-07-13
CN113111916B true CN113111916B (zh) 2023-06-23

Family

ID=76711310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110278041.7A Active CN113111916B (zh) 2021-03-15 2021-03-15 一种基于弱监督的医学图像语义分割方法和系统

Country Status (1)

Country Link
CN (1) CN113111916B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373106A (zh) * 2021-12-28 2022-04-19 华南理工大学 基于上下文解耦和数据增强的弱监督语义分割方法及装置
CN114445632A (zh) * 2022-02-08 2022-05-06 支付宝(杭州)信息技术有限公司 图片处理方法及装置
CN114882227B (zh) * 2022-07-07 2022-11-04 南方医科大学第三附属医院（广东省骨科研究院） 一种人体组织图像分割方法及相关设备
CN115496732B (zh) * 2022-09-26 2024-03-15 电子科技大学 一种半监督心脏语义分割算法
CN115661615A (zh) * 2022-12-13 2023-01-31 浙江莲荷科技有限公司 一种图像识别模型的训练方法、装置及电子设备
CN116597151B (zh) * 2023-07-17 2023-09-26 南京亚信软件有限公司 一种基于细粒度特征分组的无监督语义分割方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215034B (zh) * 2018-07-06 2021-09-21 成都图必优科技有限公司 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法
CN110929744B (zh) * 2018-09-20 2023-04-28 成都图必优科技有限公司 一种基于层次联合卷积网络特征弱监督图像语义分割方法
CN109858487B (zh) * 2018-10-29 2023-01-17 温州大学 基于分水岭算法和图像类别标签的弱监督语义分割方法
US20210027098A1 (en) * 2019-07-22 2021-01-28 Shenzhen Malong Technologies Co., Ltd. Weakly Supervised Image Segmentation Via Curriculum Learning
CN112052783B (zh) * 2020-09-02 2024-04-09 中南大学 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法

Also Published As

Publication number Publication date
CN113111916A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN113111916B (zh) 一种基于弱监督的医学图像语义分割方法和系统
CN110910391B (zh) 一种双模块神经网络结构视频对象分割方法
CN108241854B (zh) 一种基于运动和记忆信息的深度视频显著性检测方法
CN111767962B (zh) 基于生成对抗式网络的一阶段目标检测方法、系统及装置
CN111126115A (zh) 暴力分拣行为识别方法和装置
CN111951154B (zh) 包含背景和介质的图片的生成方法及装置
CN113763371B (zh) 病理图像的细胞核分割方法及装置
CN112488229A (zh) 一种基于特征分离和对齐的域自适应无监督目标检测方法
CN112287941A (zh) 一种基于自动字符区域感知的车牌识别方法
CN116363374B (zh) 图像语义分割网络持续学习方法、系统、设备及存储介质
CN113223614A (zh) 一种染色体核型分析方法、系统、终端设备和存储介质
CN112115879A (zh) 一种遮挡敏感的自监督行人重识别方法及系统
CN113139969A (zh) 一种基于注意力机制的弱监督图像语义分割方法及系统
CN110889360A (zh) 一种基于切换卷积网络的人群计数方法及系统
CN116543261A (zh) 用于图像识别的模型训练方法、图像识别方法设备及介质
Zhou et al. RFNet: Reverse fusion network with attention mechanism for RGB-D indoor scene understanding
CN113450363B (zh) 一种基于标签校正的元学习细胞核分割系统及方法
CN113223011B (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
CN111178363A (zh) 文字识别方法、装置、电子设备以及可读存储介质
CN114241360A (zh) 一种基于自适应推理的视频识别方法和装置
CN115375901A (zh) 图像目标检测和实例分割方法、系统、计算设备及介质
CN112287938B (zh) 一种文本分割方法、系统、设备以及介质
CN114187440A (zh) 一种基于动态分类器的小样本目标检测系统及方法
CN113095335B (zh) 一种基于类别一致性深度学习的图像识别方法
CN117095244B (zh) 一种红外目标识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant