CN109215034B - 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法 - Google Patents

一种基于空间金字塔掩盖池化的弱监督图像语义分割方法 Download PDF

Info

Publication number
CN109215034B
CN109215034B CN201810739297.1A CN201810739297A CN109215034B CN 109215034 B CN109215034 B CN 109215034B CN 201810739297 A CN201810739297 A CN 201810739297A CN 109215034 B CN109215034 B CN 109215034B
Authority
CN
China
Prior art keywords
pooling
pyramid
masking
feature map
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810739297.1A
Other languages
English (en)
Other versions
CN109215034A (zh
Inventor
朱策
段昶
文宏雕
徐榕健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tubiyou Technology Co ltd
Original Assignee
Chengdu Tubiyou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tubiyou Technology Co ltd filed Critical Chengdu Tubiyou Technology Co ltd
Priority to CN201810739297.1A priority Critical patent/CN109215034B/zh
Publication of CN109215034A publication Critical patent/CN109215034A/zh
Application granted granted Critical
Publication of CN109215034B publication Critical patent/CN109215034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，包括以下步骤：选定一个卷积神经网络H，通过卷积神经网络H处理输入图像X，得到分类特征图；根据分类特征图建立空间金字塔池化模块，然后进行空间金字塔掩盖，得到输出特征图；根据输出特征图计算类别激活向量和类别概率向量，然后建立竞争性空间金字塔掩盖池化损失函数；根据竞争性空间金字塔掩盖池化损失函数训练卷积神经网络H并提取分割特征图。本发明实现了局部特征更丰富、区域特征挖掘更完善和目标大小与姿态更鲁棒的弱监督图像语义分割模型，提高了局部语义信息的提取能力，加强了弱监督语义分割中局部目标或者部位的识别能力。

Description

一种基于空间金字塔掩盖池化的弱监督图像语义分割方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于空间金字塔掩盖池化的弱监督图像语义分割方法。
背景技术
图像语义分割作为基本的计算机视觉任务，其目标是将图像内所有像素进行分类。由于它能在像素级完整地理解图像，所以对于其它视觉任务如图像分类和目标识别都有辅助作用。但是因为像素级标签数据的制作需要耗费大量精力，全监督方式的图像语义分割难以快速实现大规模扩展，于是依赖图像类别标签的弱监督图像语义分割方法被广泛研究。
在过去的计算机视觉研究中，金字塔模型应用很多。著名的SIFT算法通过拉普拉斯金字塔提取关键点描述特征，成为一种具有尺度不变性质的检测算子。后来，金字塔模型被成功应用于卷积神经网络。空间金字塔池化(spatial pyramid pooling，SPP)被用于卷积神经网络尾部提取局部区域特征，SPP在图像分类和目标识别上都取得更好地效果。空洞空间金字塔(atrous spatial pyramid pooling，ASPP)模块基于多个离散率(dilatedrate)的空洞卷积(dilated convolution)获得金字塔特征，并应用于图像语义分割。金字塔场景分割模型将特征图切分到不同空间探索局部与整体的语义联系，通过在整体与局部区域的语义信息对比和联合得到更加鲁棒的分割结果。
金字塔模型在弱监督语义分割中还没有比较成功的应用。一方面，以全局池化结尾的分类网络由于以弱监督方式学习仅仅能得到目标判别性区域，缺乏局部区域信息的提取能力，金字塔模型由于其自身的特性显然可以弥补全局池化的缺点。另一方面，金字塔模型虽然具备多尺度信息和局部信息融合的特点，但是如何更好地在掌握全局信息的基础上分区域挖掘次重要语义信息的难题还没有被完全解决。
发明内容
本发明的目的在于：解决上述现有技术中的不足，提供一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，提高了局部语义信息的提取能力，加强了弱监督语义分割中局部目标或者部位的识别能力。
为了实现上述目的，本发明采用的技术方案为：
一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，包括以下步骤：
步骤一：选定一个卷积神经网络H，通过卷积神经网络H处理输入图像X，得到分类特征图；
步骤二：根据分类特征图建立空间金字塔池化模块，然后进行空间金字塔掩盖，得到输出特征图；
步骤三：根据输出特征图计算类别激活向量和类别概率向量，然后建立竞争性空间金字塔掩盖池化损失函数；
步骤四：根据竞争性空间金字塔掩盖池化损失函数训练卷积神经网络H并提取分割特征图。
进一步的，上述步骤一中通过卷积神经网络H处理输入图像X的步骤具体为：
步骤101：选定一个卷积神经网络H，经过所述卷积神经网络H映射得到分割特征图
Figure GDA0003186090590000021
其中，C为目标类别数量，W为权重参数，
Figure GDA0003186090590000022
Figure GDA0003186090590000023
为实数域；
步骤102：通过1×1卷积将分割特征图降维，得到分类特征图
Figure GDA0003186090590000031
计算公式为：
Fcls＝Fseg×W+b
其中，b为偏置，
Figure GDA0003186090590000032
进一步的，上述的步骤二具体为：
步骤201：对所有分类特征图进行平均池化，同时指定总金字塔数目N和池化核大小，得到相应的金字塔池化特征图Pi，其中，i为金字塔序号，取值范围介于1到总金字塔数目之间，计算第i个金字塔池化特征图
Figure GDA0003186090590000033
的计算公式为：
Figure GDA0003186090590000034
其中，ki为第i个金字塔的池化核大小，x为特征图横坐标，y为特征图纵坐标，Δkx为池化核横坐标，Δky为池化核纵坐标，C为语义类别数量；
步骤202：对每个金字塔池化特征图生成掩盖张量
Figure GDA0003186090590000035
同时设定区域掩盖比例和掩盖量化系数；
步骤203：根据掩盖张量计算空间金字塔掩盖池化的输出特征图
Figure GDA0003186090590000036
计算公式为：
Oi＝Pi⊙Mi
其中，⊙表示hadamard乘积。
进一步的，上述步骤202中，记第i个金字塔掩盖张量为
Figure GDA0003186090590000037
记第j类金字塔掩盖张量为
Figure GDA0003186090590000041
不同类别的所述金字塔掩盖张量的区域掩盖位置和掩盖量化系数一致：
Figure GDA0003186090590000042
随机生成的掩盖区域占该金字塔池化区域数目的比例为τ，
Figure GDA0003186090590000043
其中，τ的取值范围为[0，1]，τ的值越大表示掩盖的区域越多，
Figure GDA0003186090590000044
表示(1-τ)HiW得到的值向下取整，I(·)表示指示函数，I(·)在输入条件满足时取1，其它情况下取0，即
Figure GDA0003186090590000045
满足的位置为被保留区域，其它情况为掩盖的区域；
所述的掩盖量化系数ρ用于抑制信号；
Figure GDA0003186090590000046
其中，ρ的取值范围为[0，1]。
进一步的，上述步骤三中计算类别激活向量和类别概率向量具体为：
步骤301：计算类别激活向量oi，即将空间金字塔掩盖池化的输出特征图归为一个值，计算公式为：
Figure GDA0003186090590000047
步骤302：通过Softmax函数计算类别概率向量，得到每一待确定语义类别的概率值，计算公式为：
Figure GDA0003186090590000051
进一步的，上述步骤三中，建立竞争性空间金字塔掩盖池化损失函数具体包括以下步骤：
步骤303：计算每个金字塔的分类损失li，计算公式为：
Figure GDA0003186090590000052
其中，
Figure GDA0003186090590000053
为图像语义类别标签向量且于出现相应语义类别目标处取1其它处取0，T为转置符号；
步骤304：将第0级全局池化信息完全保留，其它进行了信息掩盖的金字塔进行动态竞争，计算公式为：
Figure GDA0003186090590000054
其中，lcls为总分类损失函数，N为金字塔数目，l0为全局池化金字塔的损失。
进一步的，上述的步骤四具体为：以总分类损失函数计算误差并通过反向传播算法调整网络参数直到该损失函数相对变化小于5％后，直接将Fseg取出并在类别维度取argmax即可得到预测分割图
Figure GDA0003186090590000055
Y＝argmax(Fseg)
其中，argmax为Fseg的第3维。
由于采用了上述技术方案，本发明的有益效果是：
本发明实现了局部特征更丰富、区域特征挖掘更完善和目标大小与姿态更鲁棒的弱监督图像语义分割模型。
本发明为了更好地挖掘局部信息得到更精细的分割结果，对空间金字塔池化模块增加掩盖机制，除了扩展特征图的多样性，还可以抑制判别性区域进而鼓励更多次判别性区域的学习；
本发明还针对不同金字塔的掩盖区域恰好错位的情况，提出辅助空间金字塔掩盖池化训练的竞争性空间金字塔掩盖池化损失函数，降低了网络训练失败的风险；
本发明的全局池化信息使网络对目标的尺度不会过度敏感，且使得空间金字塔掩盖池化在其它视觉任务中更加具有通用性。
附图说明
图1为本发明的基于空间金字塔掩盖池化的弱监督图像语义分割模型示意图。
图2为本发明的空间金字塔掩盖池化结构示意图。
图3为本发明的基于空间金字塔掩盖池化的弱监督图像语义分割流程示意图。
图4为本发明的分割结果对比示意图。
具体实施方式
参照附图1-4，对本发明的实施方式做具体的说明。
一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，包括以下步骤：
步骤一：选定一个卷积神经网络H，通过卷积神经网络H处理输入图像X，得到分类特征图；
步骤二：根据分类特征图建立空间金字塔池化模块，然后进行空间金字塔掩盖，得到输出特征图；
步骤三：根据输出特征图计算类别激活向量和类别概率向量，然后建立竞争性空间金字塔掩盖池化损失函数；
步骤四：根据竞争性空间金字塔掩盖池化损失函数训练卷积神经网络H并提取分割特征图。
进一步的，上述步骤一中通过卷积神经网络H处理输入图像X的步骤具体为：
步骤101：选定一个卷积神经网络H，经过所述卷积神经网络H映射得到分割特征图
Figure GDA0003186090590000071
其中，C为目标类别数量，W为权重参数，
Figure GDA0003186090590000072
Figure GDA0003186090590000073
为实数域；
步骤102：通过1×1卷积将分割特征图降维，得到分类特征图
Figure GDA0003186090590000074
计算公式为：
Fcls＝Fseg×W+b
其中，b为偏置，
Figure GDA0003186090590000075
进一步的，上述的步骤二具体为：
步骤201：对所有分类特征图进行平均池化，同时指定总金字塔数目N和池化核大小，得到相应的金字塔池化特征图Pi，其中，i为金字塔序号，取值范围介于1到总金字塔数目之间，计算第i个金字塔池化特征图
Figure GDA0003186090590000076
的计算公式为：
Figure GDA0003186090590000077
其中，ki为第i个金字塔的池化核大小，x为特征图横坐标，y为特征图纵坐标，Δkx为池化核横坐标，Δky为池化核纵坐标，C为语义类别数量；
步骤202：对每个金字塔池化特征图生成掩盖张量
Figure GDA0003186090590000081
同时设定区域掩盖比例和掩盖量化系数；
步骤203：根据掩盖张量计算空间金字塔掩盖池化的输出特征图
Figure GDA0003186090590000082
计算公式为：
Oi＝Pi⊙Mi
其中，⊙表示hadamard乘积。
进一步的，上述步骤202中，记第i个金字塔掩盖张量为
Figure GDA0003186090590000083
记第j类金字塔掩盖张量为
Figure GDA0003186090590000084
不同类别的所述金字塔掩盖张量的区域掩盖位置和掩盖量化系数一致：
Figure GDA0003186090590000085
随机生成的掩盖区域占该金字塔池化区域数目的比例为τ，
Figure GDA0003186090590000086
其中，τ的取值范围为[0，1]，τ的值越大表示掩盖的区域越多，
Figure GDA0003186090590000087
表示(l-τ)HiW得到的值向下取整，I(·)表示指示函数，I(·)在输入条件满足时取1，其它情况下取0，即
Figure GDA0003186090590000088
满足的位置为被保留区域，其它情况为掩盖的区域；
所述的掩盖量化系数ρ用于抑制信号；
Figure GDA0003186090590000091
其中，ρ的取值范围为[0，1]。
进一步的，上述步骤三中计算类别激活向量和类别概率向量具体为：
步骤301：计算类别激活向量oi，即将空间金字塔掩盖池化的输出特征图归为一个值，计算公式为：
Figure GDA0003186090590000092
步骤302：通过Softmax函数计算类别概率向量，得到每一待确定语义类别的概率值，计算公式为：
Figure GDA0003186090590000093
进一步的，上述步骤三中，建立竞争性空间金字塔掩盖池化损失函数具体包括以下步骤：
步骤303：计算每个金字塔的分类损失li，计算公式为：
Figure GDA0003186090590000094
其中，
Figure GDA0003186090590000095
为图像语义类别标签向量且于出现相应语义类别目标处取1其它处取0，T为转置符号；
步骤304：将第0级全局池化信息完全保留，其它进行了信息掩盖的金字塔进行动态竞争，计算公式为：
Figure GDA0003186090590000101
其中，lcls为总分类损失函数，N为金字塔数目，l0为全局池化金字塔的损失。
进一步的，上述的步骤四具体为：以总分类损失函数计算误差并通过反向传播算法调整网络参数直到该损失函数相对变化小于5％后，直接将Fseg取出并在类别维度取argmax即可得到预测分割图
Figure GDA0003186090590000102
Y＝argmax(Fseg)
其中，argmax为Fseg的第3维。
本实施例通过图像语义分割的结果对比来验证本发明所述方法的有效性。
步骤1、选取DeepLab v2网络作为深度特征提取模型，输入图像
Figure GDA0003186090590000103
来源于PASCAL VOC语义分割数据集，经过H处理的分割特征图
Figure GDA0003186090590000104
步骤2、分割特征图经过1×1卷积得到分类特征图
Figure GDA0003186090590000105
步骤3、将分类特征图进行空间金字塔池化，池化核大小分别为40，20，10，8和5，得到对应的金字塔池化特征图
Figure GDA0003186090590000106
Figure GDA0003186090590000107
步骤4、生成掩盖张量。第0级全局池化区域掩盖比例τ为0，其它金字塔区域掩盖比例τ和掩盖量化系数ρ分别为0.25和0.0。那么掩盖张量满足：
Figure GDA0003186090590000108
Figure GDA0003186090590000111
Figure GDA0003186090590000112
Figure GDA0003186090590000113
Figure GDA0003186090590000114
Figure GDA0003186090590000115
步骤5、计算得到每个金字塔掩盖池化的输出特征图
Figure GDA0003186090590000116
Figure GDA0003186090590000117
Figure GDA0003186090590000118
Figure GDA0003186090590000119
Figure GDA00031860905900001110
步骤6、计算类别激活向量：
Figure GDA00031860905900001111
Figure GDA00031860905900001112
Figure GDA00031860905900001113
Figure GDA00031860905900001114
Figure GDA0003186090590000121
步骤7：计算类别概率向量
Figure GDA0003186090590000122
步骤8、计算每个金字塔的交叉熵损失，
Figure GDA0003186090590000123
Figure GDA0003186090590000124
步骤9、计算竞争性空间金字塔掩盖池化损失函数，
Figure GDA0003186090590000125
步骤10、向卷积神经网络输入更多图像样例重复步骤1至步骤9进行网络训练，通过竞争性空间金字塔掩盖池化损失函数反向传播误差进而更新网络。测试时，输入一张新的图像并提取分割特征图
Figure GDA0003186090590000126
再求argmax后得到预测分割图Y。
需要注意，输入图像分辨率、区域掩盖的比例τ和掩盖量化系数ρ的设置在具体流程中只是一个实例，其它情况下的选取也在本专利受保护的范围内。以平均交并比(mIoU)作为评价指标，空间金字塔掩盖池化可以将PASCALVOC(Everingham，M.，Van Gool，L.，Williams，C.K.I.，Winn，J.and Zisserman，A.International Journal of ComputerVision，88(2)，303-338，2010)测试集的性能对比如下表1：
表1
Figure GDA0003186090590000127
Figure GDA0003186090590000131
空间金字塔掩盖池化对性能的提升比较明显，其准确率已经超过PASCALVOC提交榜的全监督模型FCN-8s。空间金字塔掩盖池化和全局池化生成的预测分割结果对比如图4。多组实验比较说明空间金字塔掩盖池化具有小目标识别、语义关系纠正和边缘区域优化的能力。综上所述，本发明提出的空间金字塔掩盖池化对于弱监督图像语义分割的改进是有效的。

Claims (6)

1.一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，包括以下步骤：
步骤一：选定一个卷积神经网络H，通过卷积神经网络H处理输入图像X，得到分类特征图；
步骤二：根据分类特征图建立空间金字塔池化模块，然后进行空间金字塔掩盖，得到输出特征图；
步骤三：根据输出特征图计算类别激活向量和类别概率向量，具体包括：
步骤301：计算类别激活向量oi，即将空间金字塔掩盖池化的输出特征图Oi归为一个值，计算公式为：
Figure FDA0003186090580000011
步骤302：通过Softmax函数计算类别概率向量，得到每一待确定语义类别的概率值，计算公式为：
Figure FDA0003186090580000012
其中，N为总金字塔数目；
然后建立竞争性空间金字塔掩盖池化损失函数；
步骤四：根据竞争性空间金字塔掩盖池化损失函数训练卷积神经网络H并提取分割特征图。
2.根据权利要求1所述的一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，其特征在于所述步骤一中通过卷积神经网络H处理输入图像X的步骤具体为：
步骤101：选定一个卷积神经网络H，经过所述卷积神经网络H映射得到分割特征图
Figure FDA0003186090580000021
其中，C为目标类别数量，W为权重参数，
Figure FDA0003186090580000022
Figure FDA0003186090580000023
为实数域；
步骤102：通过1×1卷积将分割特征图降维，得到分类特征图
Figure FDA0003186090580000024
计算公式为：
Fcls＝Fseg×W+b
其中，b为偏置，
Figure FDA0003186090580000025
3.根据权利要求2所述的一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，其特征在于所述的步骤二具体为：
步骤201：对所有分类特征图进行平均池化，同时指定总金字塔数目N和池化核大小，得到相应的金字塔池化特征图Pi，其中，i为金字塔序号，取值范围介于1到总金字塔数目之间，计算第i个金字塔池化特征图
Figure FDA0003186090580000026
的计算公式为：
Figure FDA0003186090580000027
其中，ki为第i个金字塔的池化核大小，x为特征图横坐标，y为特征图纵坐标，Δkx为池化核横坐标，Δky为池化核纵坐标，C为语义类别数量；
步骤202：对每个金字塔池化特征图生成掩盖张量
Figure FDA0003186090580000028
同时设定区域掩盖比例和掩盖量化系数；
步骤203：根据掩盖张量计算空间金字塔掩盖池化的输出特征图
Figure FDA0003186090580000031
计算公式为：
Oi＝Pi⊙Mi
其中，⊙表示hadamard乘积。
4.根据权利要求3所述的一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，其特征在于所述步骤202中，记第i个金字塔掩盖张量为
Figure FDA0003186090580000032
记第j类金字塔掩盖张量为
Figure FDA0003186090580000033
不同类别的所述金字塔掩盖张量的区域掩盖位置和掩盖量化系数一致：
Figure FDA0003186090580000034
随机生成的掩盖区域占该金字塔池化区域数目的比例为τ，
Figure FDA0003186090580000035
其中，τ的取值范围为[0，1]，τ的值越大表示掩盖的区域越多，
Figure FDA0003186090580000038
表示(1-τ)HiW得到的值向下取整，I(·)表示指示函数，I(·)在输入条件满足时取1，其它情况下取0，即
Figure FDA0003186090580000036
满足的位置为被保留区域，其它情况为掩盖的区域；
所述的掩盖量化系数ρ用于抑制信号；
Figure FDA0003186090580000037
其中，ρ的取值范围为[0，1]。
5.根据权利要求4所述的一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，其特征在于所述步骤三中，建立竞争性空间金字塔掩盖池化损失函数具体包括以下步骤：
步骤303：计算每个金字塔的分类损失li，计算公式为：
Figure FDA0003186090580000041
其中，
Figure FDA0003186090580000042
为图像语义类别标签向量且于出现相应语义类别目标处取1其它处取0，T为转置符号；
步骤304：将第0级全局池化信息完全保留，其它进行了信息掩盖的金字塔进行动态竞争，计算公式为：
Figure FDA0003186090580000043
其中，lcls为总分类损失函数，l0为全局池化金字塔的损失。
6.根据权利要求2所述的一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，其特征在于所述的步骤四具体为：以总分类损失函数计算误差并通过反向传播算法调整网络参数直到该损失函数相对变化小于5％后，直接将Fseg取出并在类别维度取argmax即可得到预测分割图
Figure FDA0003186090580000044
Y＝argmax(Fseg)
其中，argmax为Fseg的第3维。
CN201810739297.1A 2018-07-06 2018-07-06 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法 Active CN109215034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810739297.1A CN109215034B (zh) 2018-07-06 2018-07-06 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810739297.1A CN109215034B (zh) 2018-07-06 2018-07-06 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法

Publications (2)

Publication Number Publication Date
CN109215034A CN109215034A (zh) 2019-01-15
CN109215034B true CN109215034B (zh) 2021-09-21

Family

ID=64989960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810739297.1A Active CN109215034B (zh) 2018-07-06 2018-07-06 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法

Country Status (1)

Country Link
CN (1) CN109215034B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10325179B1 (en) * 2019-01-23 2019-06-18 StradVision, Inc. Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
CN110472669B (zh) * 2019-07-22 2021-07-23 华北电力大学（保定） 一种图像分类方法
CN110517971A (zh) * 2019-09-17 2019-11-29 集美大学 评价单晶硅电池表面金字塔织构均匀性的方法
CN110619369B (zh) * 2019-09-23 2020-12-11 常熟理工学院 基于特征金字塔与全局平均池化的细粒度图像分类方法
CN110866550B (zh) * 2019-11-01 2022-06-14 云南大学 卷积神经网络、金字塔条状池化方法及恶意软件分类方法
CN111627055B (zh) * 2020-05-07 2023-11-24 浙江大学 一种联合语义分割的场景深度补全方法
CN111860173B (zh) * 2020-06-22 2021-10-15 中国科学院空天信息创新研究院 一种基于弱监督的遥感图像地物要素提取方法及系统
CN111967479A (zh) * 2020-07-27 2020-11-20 广东工业大学 基于卷积神经网络思想的图像目标识别方法
CN112164065B (zh) * 2020-09-27 2023-10-13 华南理工大学 一种基于轻量化卷积神经网络的实时图像语义分割方法
CN112927310B (zh) * 2021-01-29 2022-11-18 上海工程技术大学 一种基于轻量级神经网络的车道图像分割方法
CN113111711A (zh) * 2021-03-11 2021-07-13 浙江理工大学 一种基于双线性和空间金字塔的池化方法
CN113111916B (zh) * 2021-03-15 2023-06-23 中国科学院计算技术研究所 一种基于弱监督的医学图像语义分割方法和系统
CN116503603B (zh) * 2023-05-16 2024-02-23 北京交通大学 一种基于弱监督语义分割和特征弥补的类间遮挡目标检测网络模型的训练方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956532B (zh) * 2016-04-25 2019-05-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN107273868A (zh) * 2017-06-28 2017-10-20 电子科技大学 一种遥感图像中区分煤矿区的煤堆和煤矸石区域的方法
CN107644426A (zh) * 2017-10-12 2018-01-30 中国科学技术大学 基于金字塔池化编解码结构的图像语义分割方法
CN107784122A (zh) * 2017-11-22 2018-03-09 殷周平 一种基于多层特征表示的实例级图像搜索方法
CN107945185B (zh) * 2017-11-29 2020-02-07 北京工商大学 基于宽残差金字塔池化网络的图像分割方法及系统

Also Published As

Publication number Publication date
CN109215034A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109215034B (zh) 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法
CN110334765B (zh) 基于注意力机制多尺度深度学习的遥感影像分类方法
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
Moallem et al. Optimal threshold computing in automatic image thresholding using adaptive particle swarm optimization
CN112435221A (zh) 一种基于生成式对抗网络模型的图像异常检测方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN110569738B (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN105574534A (zh) 基于稀疏子空间聚类和低秩表示的显著性目标检测方法
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
CN106599864A (zh) 一种基于极值理论的深度人脸识别方法
CN112990314B (zh) 基于改进孤立森林算法的高光谱图像异常检测方法及装置
CN103646256A (zh) 一种基于图像特征稀疏重构的图像分类方法
CN110991257A (zh) 基于特征融合与svm的极化sar溢油检测方法
CN116612098B (zh) 一种基于图像处理的绝缘子rtv喷涂质量评价方法和装置
CN112070720A (zh) 一种基于深度学习模型的变电站设备缺陷识别方法
CN111598854A (zh) 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
CN112613354A (zh) 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法
CN109829511B (zh) 基于纹理分类的下视红外图像中云层区域检测方法
CN111160372A (zh) 一种基于高速卷积神经网络的大目标识别方法
CN108460772B (zh) 基于卷积神经网络的广告骚扰传真图像检测系统及方法
CN116030300A (zh) 一种用于零样本sar目标识别的渐进式域自适应识别方法
CN113657196B (zh) Sar图像目标检测方法、装置、电子设备和存储介质
Bolton et al. Random set framework for context-based classification with hyperspectral imagery
CN114120050A (zh) 地表生态数据提取方法及装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant