CN116030363B - 遥感图像类激活映射图优化方法 - Google Patents

遥感图像类激活映射图优化方法 Download PDF

Info

Publication number
CN116030363B
CN116030363B CN202310133391.3A CN202310133391A CN116030363B CN 116030363 B CN116030363 B CN 116030363B CN 202310133391 A CN202310133391 A CN 202310133391A CN 116030363 B CN116030363 B CN 116030363B
Authority
CN
China
Prior art keywords
remote sensing
sensing image
class activation
image
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310133391.3A
Other languages
English (en)
Other versions
CN116030363A (zh
Inventor
王婷
陈宇
鲁锦涛
陈婷
吴皓
段红伟
张玥珺
邹圣兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Original Assignee
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuhui Spatiotemporal Information Technology Co ltd filed Critical Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority to CN202310133391.3A priority Critical patent/CN116030363B/zh
Publication of CN116030363A publication Critical patent/CN116030363A/zh
Application granted granted Critical
Publication of CN116030363B publication Critical patent/CN116030363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种遥感图像类激活映射图优化方法。本发明首先通过改进类激活映射图生成网络，改变全局平均池化层为区域自适应池化层，将局部特征权重考虑到池化过程中，并构建多层次网络结构来改善类激活映射图生成；其次利用遥感图像显著信息来对生成的类激活映射图边界进行优化；最后利用抗擦除策略来对类激活映射图进行迭代补全，从而得到边界和完整度都得到改进的类激活映射图。本发明能够提供优化的类激活映射图，可有效支撑弱监督语义分割，降低像素级的样本依赖。

Description

遥感图像类激活映射图优化方法
技术领域
本发明属于遥感图像弱监督语义分割的研究领域，具体涉及一种遥感图像类激活映射图优化方法。
背景技术
卫星遥感数据为代表的空间信息目前已成为全球不可或缺的重要战略性信息资源。作为地物信息的载体，遥感图像已经深入应用到人类的工作和生活中，在资源、环境、灾害、区域、城市等进行调查、监测、分析和预测、预报等工作中发挥着越来越重要的作用。
遥感图像语义分割是旨在通过端到端的机制实现对像素级的分类，在全卷积神经网络(fully convolutional neural networks，FCN)的显著促进作用下，已被广泛用于遥感图像地物提取。在丰富的像素级标签数据集的监督下，基于FCN的语义分割任务能够利用图像中的空间上下文信息，提取不同感受野视角下的多级特征，极大地推动了遥感图像语义分割的性能。
然而，强监督学习需要提供图像像素级别的标签，需要大量的人工标注，导致训练样本非常昂贵和极其耗时的。弱监督的语义分割方法为克服遥感影像的标注困难提供了新的思路。弱监督的语义分割方法可以通过基于较少空间信息标注的弱监督学习来解决，比如涂鸦标注、点标注、边框标注和图像级标注，因其标注成本低而被广泛应用。弱监督定位问题作为弱监督语义分割任务的第一步，是决定分割模型效果的关键问题之一。
随着类激活映射图(Class Activation Mapping，CAM)的提出，弱监督定位问题有了巨大的突破。CAM能够注意到图像中最具有区分性的对象，从而粗略定位物体区域，但是CAM不能显示具有精确边界的整个对象区域，生成的伪掩码质量不高导致最终的分割结果往往也不理想。现有的CAM生成和优化方法在生成用于遥感图像地物分割的高质量CAM，主要原因为现有CAM生成和优化主要是针对自然场景图像，没有考虑遥感图像中地物的特点：(1)同一图像中地物目标的尺度变化更大；(2)背景区域更加复杂；(3)CAM采用全局平均池化层生成，该操作假设不同位置的特征向量对全局表示的贡献均相等，忽略了局部特征对全局表示的贡献的差异，导致获得的显著性区域不精准，从而影响最终的结果；(4)CAM的定位信息往往稀疏且分布不集中，地物覆光不全。
因此对类激活映射图进行优化得到完整、准确的类激活映射图是一个亟需解决的问题。
发明内容
为了优化上述关于CAM定位信息稀疏、定位覆盖不全以及边界模糊的技术问题，本发明提出了一种遥感图像类激活映射图优化方法，该方法聚焦于获取遥感地物多层次特征和显著信息，并利用抗擦除策略来对CAM生成进行迭代补全，从而优化CAM生成过程。
本发明技术方案提供了一种遥感图像类激活映射图优化方法，包括以下步骤：
S1获取遥感图像，遥感图像包含标签；
S2将遥感图像及对应的标签输入到深度卷积网络中，得到初始类激活映射图；
S3根据遥感图像显著性提取模块对遥感图像进行显著性提取，得到显著性区域；
S4将初始类激活映射图和显著性区域进行叠加处理，得到优化类激活映射图；
S5对优化类激活映射图进行补全，得到补全类激活映射图。
于本发明一具体实施例中，深度卷积网络包括多尺度特征提取模块、自适应池化模块、分类网络模块，步骤S2包括：
S21将遥感图像输入多尺度特征提取模块进行多尺度特征提取，得到多尺度特征图；
S22将多尺度特征图输入自适应池化模块进行向量化，得到多尺度特征向量；
S23将多尺度特征向量输入分类网络模块，并对标签赋予权值，根据标签对多尺度特征向量进行分类，得到多尺度特征向量的多尺度权值；
S24对多尺度权值和多尺度特征图进行计算，得到多个多尺度的类激活映射图；
S25将多个多尺度的类激活映射图进行合并，得到初始类激活映射图。
与本发明一具体实施例中，多尺度特征提取模块包括多个卷积单元，每个卷积单元包括多个卷积层和池化层；
自适应池化模块包括特征重要度卷积单元、批正则化层、激活函数层和合并层；
分类网络模块包括多个子网络，每个子网络的结构相同，均包含全连接层和激活函数。
于本发明一具体实施例中，步骤S24包括：
根据分类网络模块中的各个子网络将多尺度权值和多尺度特征图进行相乘计算，得到多个多尺度的类激活映射图；
相应的，步骤S25包括：
对所有的多尺度的类激活映射图进行上采样，得到新的多尺度的类激活映射图，其中，每个新的多尺度的类激活映射图的长和宽与遥感图像的长和宽相同；
将所有新的多尺度的类激活映射图进行图像融合，融合后的类激活映射图作为初始类激活映射图。
于本发明一具体实施例中，遥感图像显著性提取模块包括遥感图像分割子模块、遥感图像分割结果优化子模块、遥感图像显著性区域提取子模块，步骤S3包括：
S31根据遥感图像分割子模块将遥感图像进行图像分割，将遥感图像分割为多个初始图斑，每个初始图斑均由多个像素构成，所有的初始图斑组成初始遥感图像分割结果；
S32根据遥感图像分割结果优化子模块对所有的初始图斑进行像素级的优化，得到优化图斑，所有的优化图斑组成优化后遥感图像分割结果；
S33根据遥感图像显著性区域提取子模块对优化图斑进行像素级的显著性判定，得到显著性区域。
与本发明一具体实施例中，步骤S32包括：
S321获取初始遥感像分割结果中所有初始图斑的所有像素
Figure GDA0004246135220000031
其中pi为像素，P为所有像素构成的像素集；
S322计算pi的特征向量xi，所有特征向量xi组成特征向量集合X，其中
Figure GDA0004246135220000041
S323计算X的均值
Figure GDA0004246135220000042
S324计算所有特征向量xi同
Figure GDA0004246135220000043
的距离di，其中1≤i≤n；
S325根据di，按照比例q选取距离较近的像素点pi，形成像素集
Figure GDA0004246135220000044
其中0<q<1；
S326重复步骤S323至步骤S325，迭代T次，对像素集Pnew进行优化，优化后的Pnew为优化图斑，所有优化图斑组成优化后遥感图像分割结果。
于本发明一具体实施例中，步骤S33包括：
对优化图斑计算直方图，得到优化图斑直方图；
对优化后图斑直方图进行归一化，得到归一化直方图；
利用归一化直方图计算优化图斑之间的对比度，得到优化图斑的对比度；
设定阈值，对优化图斑的对比度进行筛选，将大于阈值的优化图斑的对比度对应的优化图斑判定为显著区域图斑，所有的显著区域图斑组成显著性区域。
于本发明一具体实施例中，步骤S31中采用的图像分割方法为面向对象分类方法或非监督分类方法中任一种。
与本发明一具体实施例中，步骤S5包括：
S51利用优化类激活映射图，对遥感图像进行擦除，得到擦除后遥感图像；
S52根据步骤S2-S4对擦除后遥感图像进行处理，得到新的优化类激活映射图；
S53设定迭代次数k，重复步骤S51至S52，得到k个新的优化类激活映射图，对所有新的优化类激活映射图进行合并，得到补全类激活映射图。
于本发明一具体实施例中，步骤S4中叠加处理采用相交处理方法。
本发明的有益效果为：
(1)本发明通过改进类激活映射图生成网络，改变全局平均池化层为区域自适应池化层，并构建多层次网络结构来改善类激活映射图生成，能够定位到更全面的区域，并利用遥感影像的各个尺度的特征使得类激活映射图能包含更丰富的信息。
(2)本发明利用遥感图像显著信息来对生成的类激活映射图边界进行优化，能够得到更加完整以及定位精确的显著性区域。
(3)本发明利用抗擦除策略来对类激活映射图进行迭代补全，从而得到边界和完整度都得到改进的类激活映射图，从而有效支撑弱监督语义分割，降低像素级的样本依赖。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种遥感图像类激活映射图优化方法流程图。
图2是本发明提供的一种遥感图像类激活映射图优化方法实施例中建立的深度卷积网络。
图3是本发明提供的一种遥感图像类激活映射图优化方法实施例中建立的自适应池化模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
图1所示为本发明提供的一种遥感图像类激活映射图优化方法流程图，包括以下步骤：
S1获取遥感图像，遥感图像包含标签；
S2将遥感图像及对应的标签输入到深度卷积网络中，得到初始类激活映射图；
S3根据遥感图像显著性提取模块对遥感图像进行显著性提取，得到显著性区域；
S4将初始类激活映射图和显著性区域进行叠加处理，得到优化类激活映射图；
S5对优化类激活映射图进行补全，得到补全类激活映射图。
请参阅图2，在本实施例中，深度卷积网络包括多尺度特征提取模块、自适应池化模块、分类网络模块。具体地，步骤S2包括：
S21将遥感图像输入多尺度特征提取模块进行多尺度特征提取，得到多尺度特征图；
S22将多尺度特征图输入自适应池化模块进行向量化，得到多尺度特征向量；
S23将多尺度特征向量输入分类网络模块，并对标签赋予权值，根据标签对多尺度特征向量进行分类，得到多尺度特征向量的多尺度权值；
S24对多尺度权值和多尺度特征图进行计算，得到多个多尺度的类激活映射图；
S25将多个多尺度的类激活映射图进行合并，得到初始类激活映射图。
其中多尺度特征提取模块包括多个卷积单元，每个卷积单元包括多个卷积层和池化层；自适应池化模块包括特征重要度卷积单元、批正则化层、激活函数层和合并层；分类网络模块包括多个子网络，每个子网络的结构相同，均包含全连接层和激活函数。
在本发明实施例中，首先通过多尺度特征提取模块对遥感图像多尺度特征进行提取形成多尺度特征图，每个特征图通过自适应池化模块、分类网络模块生成对应类激活映射图，构成多尺度类激活映射图。
具体地，步骤S21包括：
多尺度特征提取模块用于对遥感图像多尺度特征进行提取，本发明实例中采用VGG16骨干结构进行多尺度特征提取。多尺度特征提取模块包括5个卷积单元，第1卷积单元包括2个224*224*64卷积层；第2个卷积单元包括1个112*112*64的池化层、2个112*112*128的卷积层；第3个卷积单元包括1个56*56*128的池化层、2个56*56*256的卷积层；第4个卷积单元包括1个28*28*256的池化层、2个28*28*512的卷积层；第5个卷积单元包括1个14*14*512的池化层、2个14*14*512的卷积层。
将5个卷积单元的最后卷积层生成的特征图提取，形成由5个不同尺度特征图组成的特征图集，设特征图集F＝{f1，f2，f3，f4，f5}。其中fi为不同卷积单元中提出的特征图，1≤i≤5。
具体地，自适应池化模块用于替换CAM中全局平均池化(Global AveragePooling，GAP)。
全局平均池化是一项计算输入层中每一个特征层平均值的操作，这种简单的下采样方式没有训练的参数，代替原先全连接的方式。全局平均池化操作通过计算每一个h*w维度平局值的方式使输入的维度从h*w*c降维成1×1×c，进而进行全连接和后续的分类处理。
全局平均池化由于本身计算方式的原因，有着一些局限性。全局平均池化操作假设不同位置的特征向量对全局表示的贡献均相等。因此，对于最终训练的预测输出与图像类别标签根据损失函数计算出的结果，在反向传播梯度时，也会把回传的梯度平均分配给每一个位置，这使得其对应的局部区域在训练过程中的语义变化程度相同。然而在语义分割的任务目标中，全局信息与局部信息都提供了有价值的信息。因此仅考虑全局信息的全局平均池化操作忽略了局部特征对全局表示的贡献的差异，降低了局部特征的独特性，从而导致特征空间中的特征分布不理想。这使得CAM难以捕获对象边界信息，导致CAM边界模糊。
自适应池化模块重新计算局部特征的权重，通过自适应地将合并权重分配给代表不同图像区域的局部特征，可以减少同一特征的差异，同时增加不同特征与噪声特征之间的距离。这样，通过自适应池的学习将特征分布调整为理想分布，这有助于在分类网络产生的CAM中，清晰地分离对象和非对象区域，从而得到更接近于真实分割结果的初始伪标签。
如图3所示，自适应池化模块对特征图集F＝{f1，f2，f3，f4，f5}中的每个特征图fi进行自适应池化，最终得到fi的特征向量。
具体地，步骤S22包括：
特征重要度卷积单元将特征图h*w*c的特征空间，通过3个卷积核投射到具有特征重要性的新的特征空间中。即对于每个h*w*c的fi，采用c个卷积核在c个通道上取每个位置响应程度，如果周围都是响应程度比较高的，那么该位置的重要性程度也应该比较高，如果周围响应程度都不高，那么该位置的响应程度也不高。特征重要度卷积单元采用{1*1，3*3，5*5}这个3组动态卷积核从而获取不同尺度物体通道的每个位置的权重，每组卷积核的数量按通道数均匀分配，其分布函数见公式(1)；
Figure GDA0004246135220000081
其中，c表示特征图fi的通道数；k表示组数量，这里k＝3。
批正则化层(BatchNorm)通过计算批样本的均值与方差，改变其结果分布，另其分布更加一致。
经Softmax激活函数层，特征图fi将生成为遥感图像特征权重图mi，特征图集F将生成为多尺度特征权重图集M＝{m1，m2，m3，m4，m5}。
合并层将特征权重图mi和特征图fi空间合并，得到遥感图像特征向量ti，ti＝fi⊙mi，
Figure GDA0004246135220000082
多个遥感图像特征向量ti形成多尺度特征向量集T＝{t1，t2，t3，t4，t5}。
具体地，步骤S23包括：
对应多尺度特征向量集T＝{t1，t2，t3，t4，t5}，分类网络模块对应有5个子网络
Figure GDA0004246135220000083
每个子网络模块fci结构相同，包含一个全连接层，采用softmax作为激活函数。
通过训练，分类网络fci将获取遥感图像对应的标签的一组权重
Figure GDA0004246135220000084
具体地，步骤S24包括：
根据分类网络模块中的各个子网络将多尺度权值和多尺度特征图进行相乘计算，得到多个多尺度的类激活映射图；
相应的，步骤S25包括：
对所有的多尺度的类激活映射图进行上采样，得到新的多尺度的类激活映射图，其中，每个新的多尺度的类激活映射图的长和宽与遥感图像的长和宽相同；
将所有新的多尺度的类激活映射图进行图像融合，融合后的类激活映射图作为初始类激活映射图。
以具体实施例说明，将Wi同特征图fi相乘，得到第i个尺度的CAM，即：
CAMi＝fi⊙Wi (2)
经过5个分类子网络
Figure GDA0004246135220000091
将得到多尺度的CAM集合，计/>
Figure GDA0004246135220000092
将CAM集合中的多个尺度的CAM合并，得到初始类激活映射图，其合并过程为：
1)对所有CAMi进行上采样，使得每个CAMi的长和宽为输入遥感图像的长和宽，得到新的CAM，记为NewCAMi。
2)对应每个NewCAMi进行融合，融合公式为：
Figure GDA0004246135220000093
其中NewCAM为融合后的类激活映射图。将NewCAM作为遥感图像的初始类激活映射图。
本发明一实施例中，图像显著信息是基于区域的对比度实现的。具体地，遥感图像显著性提取模块包括遥感图像分割子模块、遥感图像分割结果优化子模块、遥感图像显著性区域提取子模块，步骤S3包括：
S31根据遥感图像分割子模块将遥感图像进行图像分割，将遥感图像分割为多个初始图斑，每个初始图斑均由多个像素构成，所有的初始图斑组成初始遥感图像分割结果；
S32根据遥感图像分割结果优化子模块对所有的初始图斑进行像素级的优化，得到优化图斑，所有的优化图斑组成优化后遥感图像分割结果；
S33根据遥感图像显著性区域提取子模块对优化图斑进行像素级的显著性判定，得到显著性区域。
其中，步骤S31包括：
遥感图像分割子模块将遥感图像分割成一组初始图斑，每一个初始图斑都由一组像素构成。
遥感图像分割方法可以采用面向对象分类方法、非监督分类方法将遥感图像进行图像分割，得到初始遥感图像分割结果，其中非监督分类方法包括K-Means、K-Means++、Iso聚类、最大似然法等方法。
本实例中采用K-Means进行遥感图像分割，得到初始遥感图像分割结果，包括：
1)选择聚类的个数k；
2)任意产生k个聚类，确定k个聚类中心；
3)计算每个像素点到k个聚类中心的欧式距离，得到每个像素点的聚类归属。
4)再计算其聚类新中心。
5)重复以上步骤直到满足收敛要求。
具体地，步骤S32包括：
S321获取初始遥感像分割结果中所有初始图斑的所有像素
Figure GDA0004246135220000101
其中pi为像素，P为所有像素构成的像素集；
S322计算pi的特征向量xi，所有特征向量xi组成特征向量集合X，其中
Figure GDA0004246135220000102
S323计算X的均值
Figure GDA0004246135220000103
Figure GDA0004246135220000104
S324计算所有特征向量xi同
Figure GDA0004246135220000107
的距离di，其中1≤i≤n：
Figure GDA0004246135220000105
S325根据di，按照比例q选取距离较近的像素点pi，形成像素集
Figure GDA0004246135220000106
其中0<q<1；
S326重复步骤S323至步骤S325，迭代T次，对像素集Pnew进行优化，优化后的Pnew为优化图斑，所有优化图斑组成优化后遥感图像分割结果；
具体地，步骤S33包括：
对优化图斑计算直方图，得到优化图斑直方图；
对优化后图斑直方图进行归一化，得到归一化直方图；
利用归一化直方图计算优化图斑之间的对比度，得到优化图斑的对比度；
设定阈值，对优化图斑的对比度进行筛选，将大于阈值的优化图斑的对比度对应的优化图斑判定为显著区域图斑，所有的显著区域图斑组成显著性区域。
以一具体实施例进行说明：
1)获取所有优化图斑
Figure GDA0004246135220000111
其中imgj为优化图斑，Imag为优化图斑集。
2)对于Imag的每一个imgj，计算imgj的直方图，得到优化图斑直方图。
3)对优化图斑直方图进行归一化，得到归一化直方图。
4)利用归一化直方图计算优化图斑之间的对比度S(imgj)，
Figure GDA0004246135220000112
其中k≠j且1≤k≤m，w(imgk)表示imgk的权重，其中权值由该区域的像素数量决定，即像素数量越多的区域，权值越高；D(imgj，imgk)用于计算imgj和imgk的距离，本实例中采用颜色差距度量，其计算公式见公式(4)；
Figure GDA0004246135220000113
3)设定阈值N，对所有S(imgj)进行筛选，大于N的S(imgj)所对应的imgj为显著性区域。记显著性区域为Sal-Imag。
具体地，步骤S4包括：将步骤S1得到的初始CAM，和步骤S2得到的显著性区域Sal-Imag进行空间相交处理，得到优化类激活映射图，记为Sal-CAM。
具体地，步骤S5包括：
S51利用优化类激活映射图Sal-CAM，对遥感图像进行擦除，得到擦除后遥感图像；
S52根据步骤S2-S4对擦除后遥感图像进行处理，得到新的优化类激活映射图New-Sal-CAM；
S53设定迭代次数k，重复步骤S51至S52，得到k个新的优化类激活映射图，对所有新的优化类激活映射图进行合并，得到补全类激活映射图。
本实施例中，k设为3。
综上，借助本发明的上述技术方案，实现了面向遥感图像便签的遥感图像类激活映射图优化。本发明可有效改善目前遥感图像类激活映射图生成时的定位信息往往稀疏且分布不集中、定位对象边界模糊且边界不完整的问题，提升遥感图像类激活映射图的精度。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种遥感图像类激活映射图优化方法，其特征在于，包括：
S1获取遥感图像，遥感图像包含标签；
S2将遥感图像及对应的标签输入到深度卷积网络中，得到初始类激活映射图；深度卷积网络包括多尺度特征提取模块、自适应池化模块、分类网络模块，步骤S2包括：
S21将遥感图像输入多尺度特征提取模块进行多尺度特征提取，得到多尺度特征图；
S22将多尺度特征图输入自适应池化模块进行向量化，得到多尺度特征向量；S23将多尺度特征向量输入分类网络模块，并对标签赋予权值，根据标签对多尺度特征向量进行分类，得到多尺度特征向量的多尺度权值；
S24对多尺度权值和多尺度特征图进行计算，得到多个多尺度的类激活映射图；S25将多个多尺度的类激活映射图进行合并，得到初始类激活映射图；
其中，多尺度特征提取模块包括多个卷积单元，每个卷积单元包括多个卷积层和池化层；
自适应池化模块包括特征重要度卷积单元、批正则化层、激活函数层和合并层；分类网络模块包括多个子网络，每个子网络的结构相同，均包含全连接层和激活函数；
步骤S24包括：
根据分类网络模块中的各个子网络将多尺度权值和多尺度特征图进行相乘计算，得到多个多尺度的类激活映射图；
相应的，步骤S25包括：
对所有的多尺度的类激活映射图进行上采样，得到新的多尺度的类激活映射图，其中，每个新的多尺度的类激活映射图的长和宽与遥感图像的长和宽相同；
将所有新的多尺度的类激活映射图进行图像融合，融合后的类激活映射图作为初始类激活映射图；
S3根据遥感图像显著性提取模块对遥感图像进行显著性提取，得到显著性区域；遥感图像显著性提取模块包括遥感图像分割子模块、遥感图像分割结果优化子模块、遥感图像显著性区域提取子模块，步骤S3包括：
S31根据遥感图像分割子模块将遥感图像进行图像分割，将遥感图像分割为多个初始图斑，每个初始图斑均由多个像素构成，所有的初始图斑组成初始遥感图像分割结果；
S32根据遥感图像分割结果优化子模块对所有的初始图斑进行像素级的优化，得到优化图斑，所有的优化图斑组成优化后遥感图像分割结果；
S33根据遥感图像显著性区域提取子模块对优化图斑进行像素级的显著性判定，得到显著性区域；
S4将初始类激活映射图和显著性区域进行叠加处理，得到优化类激活映射图；S5对优化类激活映射图进行补全，得到补全类激活映射图。
2.根据权利要求1所述的遥感图像类激活映射图优化方法，其特征在于，步骤S32包括：
S321获取初始遥感图像分割结果中所有初始图斑的所有像素
Figure FDA0004240609090000021
其中pi为像素，P为所有像素构成的像素集；
S322计算pi的特征向量xi，所有特征向量xi组成特征向量集合X，其中
Figure FDA0004240609090000022
S323计算X的均值
Figure FDA0004240609090000023
S324计算所有特征向量xi同
Figure FDA0004240609090000024
的距离di，其中1≤i≤n；
S325根据di，按照比例q选取距离较近的像素点pi，形成像素集
Figure FDA0004240609090000025
其中0<q<1；
S326重复步骤S323至步骤S325，迭代T次，对像素集Pnew进行优化，优化后的Pnew为优化图斑，所有优化图斑组成优化后遥感图像分割结果。
3.根据权利要求1所述的遥感图像类激活映射图优化方法，其特征在于，步骤S33包括：
对优化图斑计算直方图，得到优化图斑直方图；
对优化后图斑直方图进行归一化，得到归一化直方图；
利用归一化直方图计算优化图斑之间的对比度，得到优化图斑的对比度；
设定阈值，对优化图斑的对比度进行筛选，将大于阈值的优化图斑的对比度对应的优化图斑判定为显著区域图斑，所有的显著区域图斑组成显著性区域。
4.根据权利要求1所述的遥感图像类激活映射图优化方法，其特征在于，步骤S31中采用的图像分割方法为面向对象分类方法或非监督分类方法中任一种。
5.根据权利要求1所述的遥感图像类激活映射图优化方法，其特征在于，步骤S5包括：
S51利用优化类激活映射图，对遥感图像进行擦除，得到擦除后遥感图像；
S52根据步骤S2-S4对擦除后遥感图像进行处理，得到新的优化类激活映射图；S53设定迭代次数k，重复步骤S51至S52，得到k个新的优化类激活映射图，对所有新的优化类激活映射图进行合并，得到补全类激活映射图。
6.根据权利要求1所述的遥感图像类激活映射图优化方法，其特征在于，步骤S4中叠加处理采用相交处理方法。
CN202310133391.3A 2023-02-20 2023-02-20 遥感图像类激活映射图优化方法 Active CN116030363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310133391.3A CN116030363B (zh) 2023-02-20 2023-02-20 遥感图像类激活映射图优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310133391.3A CN116030363B (zh) 2023-02-20 2023-02-20 遥感图像类激活映射图优化方法

Publications (2)

Publication Number Publication Date
CN116030363A CN116030363A (zh) 2023-04-28
CN116030363B true CN116030363B (zh) 2023-06-23

Family

ID=86074065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310133391.3A Active CN116030363B (zh) 2023-02-20 2023-02-20 遥感图像类激活映射图优化方法

Country Status (1)

Country Link
CN (1) CN116030363B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033432A (zh) * 2021-03-30 2021-06-25 北京师范大学 一种基于渐进监督的遥感影像居民区提取方法
WO2022160771A1 (zh) * 2021-01-26 2022-08-04 武汉大学 基于自适应多尺度特征提取模型的高光谱图像分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268870B (zh) * 2018-01-29 2020-10-09 重庆师范大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN111832573B (zh) * 2020-06-12 2022-04-15 桂林电子科技大学 一种基于类激活映射和视觉显著性的图像情感分类方法
CN113129323A (zh) * 2021-04-27 2021-07-16 西安微电子技术研究所 一种基于人工智能的遥感田埂界线检测方法、系统、计算机设备及存储介质
CN113673369A (zh) * 2021-07-30 2021-11-19 中国科学院自动化研究所 遥感图像场景规划方法、装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022160771A1 (zh) * 2021-01-26 2022-08-04 武汉大学 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN113033432A (zh) * 2021-03-30 2021-06-25 北京师范大学 一种基于渐进监督的遥感影像居民区提取方法

Also Published As

Publication number Publication date
CN116030363A (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN108256562B (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN110232394B (zh) 一种多尺度图像语义分割方法
Jiang et al. Edge-enhanced GAN for remote sensing image superresolution
CN109685067B (zh) 一种基于区域和深度残差网络的图像语义分割方法
Li et al. Adaptive deep convolutional neural networks for scene-specific object detection
CN111144364B (zh) 一种基于通道注意更新机制的孪生网络目标跟踪方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN113096138B (zh) 选择性像素亲和学习的弱监督语义图像分割方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN110889863B (zh) 一种基于目标感知相关滤波的目标跟踪方法
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN111008633A (zh) 一种基于注意力机制的车牌字符分割方法
CN110909741A (zh) 一种基于背景分割的车辆再识别方法
CN113609889A (zh) 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN114998595B (zh) 弱监督语义分割方法、语义分割方法及可读存储介质
CN111209858A (zh) 一种基于深度卷积神经网络的实时车牌检测方法
Zhang et al. Transland: An adversarial transfer learning approach for migratable urban land usage classification using remote sensing
CN115810149A (zh) 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法
CN114743109A (zh) 多模型协同优化高分遥感图像半监督变化检测方法及系统
CN113378642B (zh) 一种对农村违法占地建筑物进行检测的方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN113989574A (zh) 图像解释方法、图像解释装置、电子设备和存储介质
CN113421210A (zh) 一种基于双目立体视觉的表面点云重建方法
CN116030363B (zh) 遥感图像类激活映射图优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant