CN113657560A - 基于节点分类的弱监督图像语义分割方法及系统 - Google Patents

基于节点分类的弱监督图像语义分割方法及系统 Download PDF

Info

Publication number
CN113657560A
CN113657560A CN202111218064.5A CN202111218064A CN113657560A CN 113657560 A CN113657560 A CN 113657560A CN 202111218064 A CN202111218064 A CN 202111218064A CN 113657560 A CN113657560 A CN 113657560A
Authority
CN
China
Prior art keywords
semantic segmentation
network
node classification
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111218064.5A
Other languages
English (en)
Other versions
CN113657560B (zh
Inventor
严慧
张金凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202111218064.5A priority Critical patent/CN113657560B/zh
Publication of CN113657560A publication Critical patent/CN113657560A/zh
Application granted granted Critical
Publication of CN113657560B publication Critical patent/CN113657560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于节点分类的弱监督图像语义方法及系统，旨在将图像语义分割转化为图节点分类问题，方法包括：将原始图像输入分类网络，利用图像级标签得到初始伪标签；将初始伪标签应用于节点分类中，经过训练及CRF后处理，得到最终的图像分割训练标签；将图像输入分割网络，利用优化后的分割标签训练，得到最终结果。本发明提供的方法，通过将语义分割转化为节点分类问题，引入图模型，充分考虑各个像素之间的关系，在仅使用图像级标注的情况下，显著提升了弱监督语义分割模型的精度。

Description

基于节点分类的弱监督图像语义分割方法及系统
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于节点分类的弱监督图像语义分割方法及系统。
背景技术
语义分割是计算机视觉中的一项必要任务，旨在为图像中的每个像素识别一个类别。 应用于自动驾驶、智能医疗等多种场景。基于卷积神经网络的监督学习在语义分割方面取得了重大进展。 然而，获得细粒度的数据集标签具有挑战性，这是非常昂贵和耗时的，因此难以大批量的获取。相比之下，弱监督的数据集更容易获得。因此，探索有效的弱监督语义分割方法具有重要意义。
分类模型被广泛使用在弱监督语义分割任务中，因为它具有良好的发现区分注意力区域的能力。但是，分类模型只能找到对象中最有区别的部分，而不是整个对象。 因此，该方法的分割精度远落后于全监督方法。FCN、U-Net等现有模型大多受困于卷积操作的局限性，无法捕获更加全面的像素之间的关系，从而导致语义分割的目标预测不完整、定位不准确等一系列问题。
发明内容
为了解决上述技术中存在的问题，即语义分割的模型训练中无法捕获全面的像素之间的关系，本发明提供了一种基于节点分类的弱监督图像语义分割方法及系统，通过引入图模型，在不使用像素级的标签的基础上，提高图像分割的准确性。
为实现上述目的，本发明采用如下技术方案：
第一方面，提出了一种基于节点分类的弱监督语义分割方法，包括以下步骤：
将原始图像输入至预训练的图像分类网络中，利用图像级标签，获得类激活图；
利用OAA的累计策略，对类激活图进行累加操作；累加过程中，引入自纠错模块，得到初始伪标签；
基于初始伪标签，采用IR-Net所生成的特征图与邻接矩阵，进行节点分类模型的训练，经过CRF处理，得到用于语义分割训练的标签；
将原始图像与语义分割标签输入分割网络，得到训练后的语义分割网络；
将其他测试图像输入训练后的语义分割网络，得到像素级分割结果。
进一步的，对于每一次分类网络训练得到的类激活图，利用OAA策略对其进行最大值累加，从而得到更加全面的类激活图。
进一步的，对于OAA策略得到的类激活图，存在像素噪音，利用自纠错模块，对部分位置的数值进行衰减操作；所述部位位置是指在训练过程中得出的所有位置中错误度前top5的位置。
进一步的，将得到的不同类别的类激活图根据阈值，计算出前景与背景区域，并采用双线性插值法进行上采样，得到初始伪标签。
进一步的，根据IR-Net中得到的特征图和邻接矩阵，利用图卷积方式，将语义分割问题转化成节点分类问题，将初始伪标签当做节点分类的标签，从而得到整张图片的分类结果。
进一步的，利用K-means聚类方法，将图分成不同簇，在每一个簇上进行图卷积。
进一步的，语义分割网络采用Deeplab v2网络，其backbone采用Resnet50网络，该网络在Image-net上进行预训练操作。
第二方面，提出了一种基于节点分类的弱监督图像语义分割系统，包括：
输入模块，用于将原始图像输入分类网络中，网络采用预训练参数，根据图像级标签，获得不同类别的类激活图；
累加模块，用于基于不同训练训练阶段获得的类激活图，采用像素最大值累加策略，对于类激活图进行累加，得到更大轮廓的类激活图；
自纠错模块，用于基于完善后的类激活图，让网络自己学习参数，对于类激活图进行部分衰减，获得初始的伪标签；
聚类模块，用于基于节点分类网络的训练过程，先将图利用K-means聚类方法划分为不同的簇，对每一个簇单独进行图卷积；
节点分类模块，用于基于用IRNet得到的特征图及邻接矩阵，利用图卷积方式进行节点分类网络训练，并进行CRF后处理过程，得到最终的伪标签；
训练模块，用于基于上述的最终伪标签训练语义分割网络，获得训练后的语义分割网络；
获得模块，用于基于训练后的语义分割网络，将其他测试图片输入网络中，获得像素级分割的图像。
第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，实现上述基于注意力机制的弱监督图像语义分割方法所述的步骤。
第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现上述基于注意力机制的弱监督图像语义分割方法所述的步骤。
与现有技术相比，本发明的有益效果为：
（1）本发明通过自纠错模块，巧妙地解决了因为OAA的累加策略而产生的类激活图中的噪点，并且让自纠错模块与分类模型一起训练，让该模块能学到每一种类别的单独纠错策略，得到更加符合物体轮廓的类激活图。
（2）本发明成功在语义分割中引入图模型，将像素分类问题转化为节点分类问题，从而可以捕获全面的像素关系，通过IR-Net网络，得到节点分类所需的特征向量和邻接矩阵，由于图卷积过程中的巨大计算量，我们首先利用K-means聚类方法将特征向量进行聚类，在每一个簇上单独进行图卷积操作，将得到的分类结果进行CRF后处理，不仅提高了伪标签精度，而且大大减少了计算量以及存储空间。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其他特征、目的和优点将会变得更明显：
图1是本发明基于节点分类的弱监督语义分割方法的流程示意图；
图2是本发明基于节点分类的弱监督语义分割方法一种实施例的类激活图生成示意图；
图3是本发明基于节点分类的弱监督语义分割方法一种实施例的图模型示意图；
图4是本发明基于节点分类的弱监督语义分割方法一种实施例的特征向量生成示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。
本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。
实施例1
在该实施例中，公开了一种基于节点分类的弱监督图像语义分割方法，如图1所示，包括：
利用图像分类网络，得到类激活图；
通过OAA累计策略以及自纠错模块，得到节点分类标签；
通过IR-Net，得到特征向量与邻接矩阵；
利用K-means聚类方法，对特征向量进行聚类操作，在每一个簇上进行图卷积，得到节点分类结果，并进行CRF后处理，得到图像分割标签；
将原始图像与分割标签输入语义分割网络进行训练；
将测试图片输入训练后的语义分割网络，得到像素级分割图像。
进一步的，在利用OAA进行累计操作时，根据阈值计算出前景和背景，在根据一定的规则进行不同类之间的激活图合并。
进一步的，在对类激活图进行修正时，自纠错模块根据学习到的衰减率对噪音点进行修正。
进一步的，IR-Net采用resnet50作为backbone，对于不同stage的特征向量进行合并，得到节点分类中的特征向量；
进一步的，IR-Net采用类边界框，从而得到不同像素点之间的关系；
进一步的，由于直接将语义分割转化为节点分类问题会带来巨大的计算量，因此我们采用K-means聚类方法将特征向量进行聚类操作，在每一簇上单独进行图卷积操作，极大地减少了网络训练的时间和参数存储空间；
进一步的，在进行图卷积的过程中，我们只进行了两层卷积操作，并将邻接矩阵替换为效果更好的拉普拉斯矩阵。
进一步的，图像分割网络采用Deeplab网络，Deeplab网络基于ResNet网络构建。
语义分割是对输入图像的每个像素进行分类的任务。它在许多计算机视觉任务中发挥着重要作用。受益于最近深入学习的进步，语义分割取得了显着的进展。然而，对深度卷积神经网络的训练通常需要大规模数据集。而且，获得用于语义分割精确的像素级标签需要巨大的劳动力，并且非常耗时。解决语义分割的标注问题的一个有希望的方法是从弱标签中学习，例如图像级注释、边界框、点和涂鸦。在这些弱监督类型中，图像级标签是最简单的标注方式，因而得以广泛的研究。
典型的方法使用图像级标签训练分类网络。然后，它们利用类激活映射（CAM）来生成伪标签以训练分段网络。然而，从分类网络获得的这些激活图是稀疏和不完整的。它们只能找到物体最具有辨识度的部分。在训练期间，分类网络产生的注意力区域着眼于对象的不同部分。如图2所示，OAA策略将不同训练阶段获得的类激活图进行最大值累加，这一方法虽然能获得物体的完整轮廓，但在训练初期容易积累噪音并且无法清除。因此我们在本实施例中引入自纠错模块，自纠错模块可以学习哪儿些位置需要修改，通过设置衰减率，对修改位置进行不同程度的衰减，从而达到对噪音点的减小乃至消除的作用。
本实施例在语义分割问题中引入图模型，将语义分割问题转化为图模型中的节点分类问题，从而进一步提升弱监督学习的性能，如图3所示，我们将IR-Net中提取的特征作为图卷积中的特征向量，将像素点亲密度作为邻接矩阵，在每一张图片所提取的特征上进行图卷积操作，为了避免庞大的计算量，我们创新性的在图上进行聚类操作，对于每一簇单独进行图卷积，可以呈倍数的减少我们的计算量和存储空间，将节点分类结果进行CRF后处理操作，可以进一步提升节点分类网络的性能。
本实施例公开的一种基于节点分类的弱监督图像语义分割方法，包括：
本实施例中使用的类激活图生成，如图2所示；
我们将VGG-16作为骨干网络进行特征提取，将3个卷积层加入到骨干网络的顶部，每个卷积层之后是用于非线性转换的ReLU层。将内核大小为1×1的 C个通道的类感知卷积层被添加到内核以进行注意力捕获。这里C是数据集的总类别数。令F为类感知卷积层的输出。考虑到一些图片可能具有多个类别，我们将整个训练过程视为C的二分类问题。可以通过以下公式计算预测目标类别c的概率：
Figure 182020DEST_PATH_IMAGE001
这里
Figure 574955DEST_PATH_IMAGE002
是全局平均池运算，
Figure 399079DEST_PATH_IMAGE003
是soft-max激活函数，c指某一具体的类别。交叉熵损失用于优化整个网络。为了获得给定图像I的注意力图，首先将特征图F输入ReLU层，然后执行一个简单的归一化操作以确保注意力图中的数值在0到1之间。
我们使用在线注意力累积（OAA）策略。我们将不同训练阶段生成的类激活图应用于OAA过程。当在不同的训练时期，将训练图像输入网络时，OAA结合从分类模型中生成的注意力图。具体来说，正如图 2所示，对于给定训练图像I中的每个目标类别c，我们建立累积注意力图
Figure 902873DEST_PATH_IMAGE004
，用于保存已发现的有区分度的区域。我们的OAA首先在第一个时期使用类c的注意力图
Figure 391492DEST_PATH_IMAGE005
（即当训练图像首次输入到网络时获得
Figure 345541DEST_PATH_IMAGE005
）来初初始化累积注意力图
Figure 654032DEST_PATH_IMAGE006
。然后，当图片第二次输入网络时，OAA根据如下融合策略，通过结合
Figure 961516DEST_PATH_IMAGE006
和新生成的注意力图
Figure 307571DEST_PATH_IMAGE007
更新累积注意力图。
Figure 307888DEST_PATH_IMAGE008
这里
Figure 838096DEST_PATH_IMAGE009
代表注意力融合策略。相似地，在第t个时期，OAA使用注意力图
Figure 683692DEST_PATH_IMAGE010
更新累积注意力图
Figure 881324DEST_PATH_IMAGE011
，得到
Figure 521384DEST_PATH_IMAGE012
OAA不断重复上述更新过程，直到分类模型收敛，我们可以得到最终累积注意力图。在上述更新过程中，注意力融合策略负责保持这些中间注意力图中的有区分度的区域以构建更加完整的目标区域。
融合策略采用一种有效且简单的策略，即逐元素最大操作。它采用注意力图
Figure 804467DEST_PATH_IMAGE013
和当前累积注意力图
Figure 719333DEST_PATH_IMAGE014
之间的最大注意力值，其公式如下：
Figure 786120DEST_PATH_IMAGE015
采用最大化融合策略的OAA可以有效地将不同的有区分度的区域保存到累计注意力图中。
为了将类激活图中的噪音点进行消除，我们加入了自纠错模块，从而减少噪音点对于伪标签生成所带来的不良影响。具体来说，对于得到的二维类激活图
Figure 862660DEST_PATH_IMAGE016
，我们将其拉伸为
Figure 633039DEST_PATH_IMAGE017
，其中
Figure 86017DEST_PATH_IMAGE018
，h和w分别表示类激活图的高度和宽度。我们定义一个自纠错矩阵
Figure 992662DEST_PATH_IMAGE019
，将拉伸后的类激活图向量与自纠错矩阵进行点乘，最终得到纠错分数向量
Figure 240104DEST_PATH_IMAGE020
，对于P中分数前top5位置的点，我们对其二维类激活图的数值进行衰减操作，衰减率为0.8，进而达到减少噪音点的目的。
本实施例中使用的节点分类网络，如图3所示。
首先我们定义图结构
Figure 497779DEST_PATH_IMAGE021
，图中共有n个节点，其中
Figure 488868DEST_PATH_IMAGE022
表示点集，
Figure 518529DEST_PATH_IMAGE023
表示边集，
Figure 936872DEST_PATH_IMAGE024
表示节点i和节点j之间的连接权重值。邻接矩阵
Figure 681843DEST_PATH_IMAGE025
以及度矩阵
Figure 945465DEST_PATH_IMAGE026
。
对于我们得到的特征向量
Figure 826702DEST_PATH_IMAGE027
,h代表高度，w代表宽度，c代表特征维度，我们将IR-Net提取所得到的特征向量用于图卷积，因此节点数量
Figure 681526DEST_PATH_IMAGE028
，我们进行节点分类的过程，实质上就是生成伪标签的过程。
为了生成伪标签，我们在图结构上利用图卷积进行特征推理。图卷积形式为
Figure 913793DEST_PATH_IMAGE029
，其中A代表邻接矩阵，
Figure 246685DEST_PATH_IMAGE030
表示节点特征向量矩阵，每一个向量具有C维，
Figure 250938DEST_PATH_IMAGE031
代表权重矩阵,
Figure 745504DEST_PATH_IMAGE032
表示非线性激活函数。
然而在我们执行过程中，我们采取了更加优化的推理公式
Figure 465067DEST_PATH_IMAGE033
，共有两层GCN推理过程，其中拉普拉斯矩阵
Figure 601651DEST_PATH_IMAGE034
，I表示单位矩阵，
Figure 457480DEST_PATH_IMAGE035
、
Figure 388527DEST_PATH_IMAGE036
分别表示RELU激活函数和soft-max激活函数，
Figure 329807DEST_PATH_IMAGE037
。
在数据集中，共有
Figure 4502DEST_PATH_IMAGE038
种物体类别以及一种背景类别。
在推理过程中，一层图卷积的计算复杂度
Figure 452188DEST_PATH_IMAGE039
,由于节点数目通常很大，导致推理过程需要巨大时间，为此，我们提出对于图结构进行聚类操作，我们先将图结构聚为k类，再在每一簇上单独进行图卷积，此时的时间复杂度
Figure 85295DEST_PATH_IMAGE040
,由此可见我们的方法大大缩短模型推理时间，并且只对最终精度产生细微的影响。
在损失函数中，我们使用交叉熵损失函数
Figure 248292DEST_PATH_IMAGE041
，其中
Figure 461099DEST_PATH_IMAGE042
，
Figure 557100DEST_PATH_IMAGE043
表示未被标记的像素。
对于结果矩阵
Figure 829949DEST_PATH_IMAGE044
，每一行
Figure 745821DEST_PATH_IMAGE045
表示在像素i处的语义类别概率分布，然后对这些概率分布进行空间插值（双线性插值法），得到一个全分辨率的语义类别预测图，并且以通道级的方式应用CRF后处理，从而获得完整伪标签。
本实施例中使用的节点特征向量生成，如图4所示。
该网络采用ResNet50作为backbone，该网络共有5层卷积，分别将每一层卷积后的特征进行保存，对每一个特征向量进行1x1卷积操作，使得特征维度达到32，将conv_1得到的特征进行2倍下采样，将conv_3、conv_4得到的特征进行2倍上采样，将conv_5得到的特征进行4倍上采样，得到五个具有相同宽度、高度以及特征维度的特征向量，采样过程中均采取双线性插值法。将五个特征向量进行拼接操作，即可得到图卷积过程中的初始特征向量。
实施例2
在该实施例中，公开了一种基于节点分类的弱监督图像语义分割系统，包括：
输入模块，用于将原始图像输入分类网络中，网络采用预训练参数，根据图像级标签，获得不同类别的类激活图。
累加模块，用于基于不同训练训练阶段获得的类激活图，采用像素最大值累加策略，对于类激活图进行累加，得到更大轮廓的类激活图。
自纠错模块，用于基于完善后的类激活图，针对累加模块自身存在的缺陷，让网络自己学习参数，对于类激活图进行部分衰减，减少噪点，获得初始的伪标签。
聚类模块，用于基于节点分类网络的训练过程，因为参数量过大，先将图利用K-means聚类方法划分为不同的簇，对每一个簇单独进行图卷积，极大地减少了网络训练的时间和参数存储空间。
节点分类模块，用于基于初始伪标签，利用IRNet得到的特征图及邻接矩阵，利用图卷积方式进行节点分类网络训练，并进行CRF后处理过程，得到最终的伪标签。
训练模块，用于基于上述的最终伪标签训练语义分割网络，获得训练后的语义分割网络。
获得模块，用于基于训练后的语义分割网络，将其他测试图片输入网络中，获得像素级分割的图像。
需要指出的是，上述装置中各模块的实现方法具体详见实施例1所述基于节点分类的弱监督图像语义分割方法部分，本发明不再做累述。
实施例3
在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1公开的一种基于节点分类的弱监督图像语义分割方法所述的步骤。
实施例4
在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1公开的一种基于节点分类的弱监督图像语义分割方法所述的步骤。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换， 未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于节点分类的弱监督语义分割方法，其特征在于，包括以下步骤：
将原始图像输入至预训练的图像分类网络中，利用图像级标签，获得类激活图；
利用OAA的累计策略，对类激活图进行累加操作；累加过程中，引入自纠错模块，得到初始伪标签；
基于初始伪标签，采用IR-Net所生成的特征图与邻接矩阵，进行节点分类模型的训练，经过CRF处理，得到用于语义分割训练的标签；
将原始图像与语义分割标签输入分割网络，得到训练后的语义分割网络；
将其他测试图像输入训练后的语义分割网络，得到像素级分割结果。
2.根据权利要求1所述的基于节点分类的弱监督语义分割方法，其特征在于，对于每一次分类网络训练得到的类激活图，利用OAA策略对其进行最大值累加，从而得到更加全面的类激活图。
3.根据权利要求1所述的基于节点分类的弱监督语义分割方法，其特征在于，对于OAA策略得到的类激活图，存在像素噪音，利用自纠错模块，对部分位置的数值进行衰减操作。
4.根据权利要求1所述的基于节点分类的弱监督语义分割方法，其特征在于，将得到的不同类别的类激活图根据阈值，计算出前景与背景区域，并采用双线性插值法进行上采样，得到初始伪标签。
5.根据权利要求1所述的基于节点分类的弱监督语义分割方法，其特征在于，根据IR-Net中得到的特征图和邻接矩阵，利用图卷积方式，将语义分割问题转化成节点分类问题，将初始伪标签当做节点分类的标签，从而得到整张图片的分类结果。
6.根据权利要求5所述的基于节点分类的弱监督语义分割方法，其特征在于，利用K-means聚类方法，将图分成不同簇，在每一个簇上进行图卷积。
7.根据权利要求1所述的基于节点分类的弱监督语义分割方法，其特征在于，语义分割网络采用Deeplab v2网络，其backbone采用Resnet50网络，该网络在Image-net上进行预训练操作。
8.一种基于节点分类的弱监督图像语义分割系统，其特征在于，包括：
输入模块，用于将原始图像输入分类网络中，网络采用预训练参数，根据图像级标签，获得不同类别的类激活图；
累加模块，用于基于不同训练训练阶段获得的类激活图，采用像素最大值累加策略，对于类激活图进行累加，得到更大轮廓的类激活图；
自纠错模块，用于基于完善后的类激活图，让网络自己学习参数，对于类激活图进行部分衰减，获得初始的伪标签；
聚类模块，用于基于节点分类网络的训练过程，先将图利用K-means聚类方法划分为不同的簇，对每一个簇单独进行图卷积；
节点分类模块，用于基于用IRNet得到的特征图及邻接矩阵，利用图卷积方式进行节点分类网络训练，并进行CRF后处理过程，得到最终的伪标签；
训练模块，用于基于上述的最终伪标签训练语义分割网络，获得训练后的语义分割网络；
获得模块，用于基于训练后的语义分割网络，将其他测试图片输入网络中，获得像素级分割的图像。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利1至7中任一项所述的基于节点分类的弱监督图像语义分割方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所属计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于节点分类的弱监督图像语义分割方法的步骤。
CN202111218064.5A 2021-10-20 2021-10-20 基于节点分类的弱监督图像语义分割方法及系统 Active CN113657560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111218064.5A CN113657560B (zh) 2021-10-20 2021-10-20 基于节点分类的弱监督图像语义分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111218064.5A CN113657560B (zh) 2021-10-20 2021-10-20 基于节点分类的弱监督图像语义分割方法及系统

Publications (2)

Publication Number Publication Date
CN113657560A true CN113657560A (zh) 2021-11-16
CN113657560B CN113657560B (zh) 2022-04-15

Family

ID=78484251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111218064.5A Active CN113657560B (zh) 2021-10-20 2021-10-20 基于节点分类的弱监督图像语义分割方法及系统

Country Status (1)

Country Link
CN (1) CN113657560B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677515A (zh) * 2022-04-25 2022-06-28 电子科技大学 基于类间相似性的弱监督语义分割方法
CN114693925A (zh) * 2022-03-15 2022-07-01 平安科技（深圳）有限公司 图像分割的方法、装置、计算机设备及存储介质
CN114913145A (zh) * 2022-05-09 2022-08-16 北京安德医智科技有限公司 一种图像分割方法、装置、电子设备和存储介质
CN114998595A (zh) * 2022-07-18 2022-09-02 赛维森(广州)医疗科技服务有限公司 弱监督语义分割方法、语义分割方法及可读存储介质
CN116152575A (zh) * 2023-04-18 2023-05-23 之江实验室 基于类激活采样引导的弱监督目标定位方法、装置和介质
WO2023207535A1 (zh) * 2022-04-29 2023-11-02 华为技术有限公司 一种伪标签框生成方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647684A (zh) * 2018-05-02 2018-10-12 深圳市唯特视科技有限公司 一种基于引导注意力推理网络的弱监督语义分割方法
CN109033095A (zh) * 2018-08-01 2018-12-18 苏州科技大学 基于注意力机制的目标变换方法
CN110458221A (zh) * 2019-08-05 2019-11-15 南开大学 基于在线注意力累积的挖掘目标物体区域的方法
US20200356854A1 (en) * 2017-11-03 2020-11-12 Siemens Aktiengesellschaft Weakly-supervised semantic segmentation with self-guidance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200356854A1 (en) * 2017-11-03 2020-11-12 Siemens Aktiengesellschaft Weakly-supervised semantic segmentation with self-guidance
CN108647684A (zh) * 2018-05-02 2018-10-12 深圳市唯特视科技有限公司 一种基于引导注意力推理网络的弱监督语义分割方法
CN109033095A (zh) * 2018-08-01 2018-12-18 苏州科技大学 基于注意力机制的目标变换方法
CN110458221A (zh) * 2019-08-05 2019-11-15 南开大学 基于在线注意力累积的挖掘目标物体区域的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUDE WANG 等: "Self-supervised Equivariant Attention Mechanism forWeakly Supervised Semantic Segmentation", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
徐聪 等: "一种改进DeepLabv3+网络的图像语义分割方法", 《激光与光电子学进展》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693925A (zh) * 2022-03-15 2022-07-01 平安科技（深圳）有限公司 图像分割的方法、装置、计算机设备及存储介质
CN114677515A (zh) * 2022-04-25 2022-06-28 电子科技大学 基于类间相似性的弱监督语义分割方法
WO2023207535A1 (zh) * 2022-04-29 2023-11-02 华为技术有限公司 一种伪标签框生成方法、装置及电子设备
CN114913145A (zh) * 2022-05-09 2022-08-16 北京安德医智科技有限公司 一种图像分割方法、装置、电子设备和存储介质
CN114998595A (zh) * 2022-07-18 2022-09-02 赛维森(广州)医疗科技服务有限公司 弱监督语义分割方法、语义分割方法及可读存储介质
CN114998595B (zh) * 2022-07-18 2022-11-08 赛维森(广州)医疗科技服务有限公司 弱监督语义分割方法、语义分割方法及可读存储介质
CN116152575A (zh) * 2023-04-18 2023-05-23 之江实验室 基于类激活采样引导的弱监督目标定位方法、装置和介质

Also Published As

Publication number Publication date
CN113657560B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN113657560B (zh) 基于节点分类的弱监督图像语义分割方法及系统
Yang et al. Lego: Learning edge with geometry all at once by watching videos
CN111768432B (zh) 基于孪生深度神经网络的动目标分割方法及系统
Chen et al. Masklab: Instance segmentation by refining object detection with semantic and direction features
CN110428428B (zh) 一种图像语义分割方法、电子设备和可读存储介质
CN108256562B (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
Ding et al. Context contrasted feature and gated multi-scale aggregation for scene segmentation
Chen et al. Semantic image segmentation with task-specific edge detection using cnns and a discriminatively trained domain transform
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN111696110B (zh) 场景分割方法及系统
CN113158862A (zh) 一种基于多任务的轻量级实时人脸检测方法
WO2019136591A1 (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN109685830B (zh) 目标跟踪方法、装置和设备及计算机存储介质
CN113657387B (zh) 基于神经网络的半监督三维点云语义分割方法
CN114359631A (zh) 基于编码-译码弱监督网络模型的目标分类与定位方法
Huang et al. ES-Net: An efficient stereo matching network
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN110570450A (zh) 一种基于级联的上下文感知框架的目标跟踪方法
CN113284122B (zh) 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质
CN115019342A (zh) 一种基于类关系推理的濒危动物目标检测方法
Saunders et al. Dyna-dm: Dynamic object-aware self-supervised monocular depth maps
Biao et al. Research on image semantic segmentation algorithm based on fully convolutional HED-CRF
EP3401843A1 (en) A method, an apparatus and a computer program product for modifying media content
Shimoda et al. Weakly-supervised segmentation by combining CNN feature maps and object saliency maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant