CN115830322A - 一种基于弱监督网络的建筑物语义分割标签扩充方法 - Google Patents
一种基于弱监督网络的建筑物语义分割标签扩充方法 Download PDFInfo
- Publication number
- CN115830322A CN115830322A CN202211546722.8A CN202211546722A CN115830322A CN 115830322 A CN115830322 A CN 115830322A CN 202211546722 A CN202211546722 A CN 202211546722A CN 115830322 A CN115830322 A CN 115830322A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- building
- noise
- scale
- tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 230000004913 activation Effects 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 23
- 238000013135 deep learning Methods 0.000 abstract description 8
- 238000003709 image segmentation Methods 0.000 abstract description 7
- 230000004807 localization Effects 0.000 abstract description 2
- 230000011514 reflex Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 21
- 230000008485 antagonism Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000019646 color tone Nutrition 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于弱监督网络的建筑物语义分割标签扩充方法。目前基于深度学习在建筑物提取方面存在着像素级注释的大型、细粒度图像分割数据集很难获得的问题。弱监督学习可以通过依赖较弱的注释形式(如标签)来训练模型。在这里，我们学习如何在对抗性游戏中使用潦草注释进行分割。使用未配对的分割掩码，我们可以多尺度生成多个分辨率的真实分割掩码，同时我们使用涂鸦来学习它们在图像中的正确位置。该模型成功的核心是一种新颖的注意力控机制，我们使用对抗信号作为形状先验，从而在多尺度上获得更好的目标定位。作为对抗条件反射的主体，这些单元学习语义性的注意力特征图，抑制物体外部的噪声激活，并减少片段更深层次的消失梯度问题。
Description
技术领域
本发明属于计算机图像分割领域，是基于注意力机制的弱监督网络的方法生成建筑物语义分割标签。
背景技术
随着成像传感器技术的发展，遥感影像的成像质量不断提高，使得获取高分辨率遥感影像更加方便。高分辨率遥感图像在许多方面发挥着重要作用，不仅在海洋，农业和生态保护方面，而且在城市规划中。随着遥感影像数量的不断增加，从影像中自动、准确地提取有用信息已成为一个有价值的话题。其中，从高分辨率图像中自动提取建筑物对城市地理信息数据库的建立和更新以及城市规划具有重要意义。然而，遥感影像中经常出现"同义词光谱"或"同光谱异物"的现象，如同一建筑物的色调和纹理不一致，建筑物和裸露土地的光谱相似，给建筑物的自动提取带来了极大的挑战。遥感影像空间分辨率的提高，使地面特征的信息更加丰富，但也给建筑物的提取带来了更大的挑战。例如，同一建筑物的色调和纹理差异增加，这加剧了建筑物提取不完备的问题，并且建筑物在高分辨率图像上的足迹更加复杂，这使得基于神经网络的方法难以准确提取它们。许多研究人员正在研究从遥感图像中自动提取建筑物，并提出了一些有效的建筑物提取方法。这些方法大致可以分为两类：一类基于人工设计的特征，另一类基于深度学习。
随着深度学习，特别是卷积神经网络(CNN)的快速发展，深度学习方法在自然图像分类、对象检测、语义分割等任务上取得了重大突破。目前常用的卷积神经网络主要有AlexNet、VGGNet、GoogleNet、ResNet。卷积神经网络主要由卷积层、非线性激活函数和池化层组成。卷积层使用大量卷积核来提取输入图像的局部特征。非线性激活函数的引入改进了网络对输入图像非线性特征的提取。池化层可以进一步改善接收场，以提取更多的全局特征。与传统的人工设计特征方法相比，卷积神经网络可以自动提取输入图像的特征，由于其强大的特征表示能力，逐渐取代了传统的人工特征方法。随着卷积神经网络在自然图像领域显示出较强的优势，越来越多的研究人员试图将卷积神经网络应用于遥感图像领域，在遥感图像的分割和识别方面取得了一些进展。Lv等人使用SEEDS-CNN和尺度有效性分析对遥感图像进行分类。Chen等人在土地覆被分类中应用了多尺度CNN和尺度参数估计。Zhou等人提出了So-CNN用VHR遥感影像对城市功能区进行精细划分。Lv等人提出了一种基于区域的多数投票CNN的新方法，用于超高分辨率图像分类。作为地面特征提取的重要问题，自动建筑提取在卷积神经网络的应用上也取得了许多成果。Minh首先将卷积神经网络应用于遥感影像的建筑提取，并提出了一种基于图像块的积木提取方法。该方法可以直接获得建筑物在输入图像的中间区域的提取结果。为了进一步提高精度，Minh建议使用CRF或后处理来细化网络的提取结果。但是，由于这些方法只能获得输入图像的中间区域而不是整个图像的结果，因此结果中仍然存在不连续的图像块。
2015年，提出了全卷积神经网络(FCN)来实现图像的像素级密集预测。FCN通过使用上采样操作恢复输入图像的大小，最终获得输入图像的每个像素的预测结果。后来提出的大多数用于图像语义分割的方法都是基于FCN改进的，主要包括SegNet，DeconvNet，U-Net和DeepLab。许多研究人员还将基于FCN的方法应用于从遥感图像中自动提取建筑物。Huang等人提出了一种改进的DeconvNet，将上采样和密集连接操作添加到反卷积层中，以获得建筑物提取的结果。基于FCN，Maggiori等人提出了一个两阶段网络，全面考虑了识别和精确定位的问题。Wu等人使用多约束FCN从航空图像中自动提取建筑物[32]。针对使用池化层会丢失原始图像信息的问题，Shariah等人使用没有池化层的FCN，使网络尽可能多地保留原始图像的重要和有用的信息。Xu等人将全卷积神经网络和引导滤波相结合，进一步优化了建筑物的提取结果。
卷积神经网络(CNNs)在计算机视觉方面取得了令人印象深刻的成果。然而，它们对新示例的泛化能力很大程度上依赖于训练数据的数量，从而限制了它们在注释不足时的适用性。在开发半监督和弱监督策略方面已经有相当多的努力。对于语义分割，半监督学习(SSL)的目标是使用未标记的图像，通常更容易收集，在像素级注释的大型、细粒度图像分割数据集很难获得。弱监督学习可以通过依赖较弱的注释形式(如标签)来训练模型。在这里，我们学习如何在对抗性游戏中使用潦草注释进行分割。使用未配对的分割掩码，我们可以多尺度生成多个分辨率的真实分割掩码，同时我们使用涂鸦来学习它们在图像中的正确位置。该模型成功的核心是一种新颖的注意力控机制，我们使用对抗信号作为形状先验，从而在多尺度上获得更好的目标定位。作为对抗条件反射的主体，这些单元学习语义性的注意力特征图，抑制物体外部的噪声激活，并减少片段更深层次的消失梯度问题。
虽然基于深度学习的方法在建筑物遥感影像提取方面取得了许多成果，但将其应用于高分辨率遥感影像建筑物的自动提取时仍存在一些问题。在像素级注释的大型、细粒度图像分割数据集很难获得，本文提出了一种基于弱监督网络的建筑物语义分割标签样本扩充方法。
发明内容
为了克服基于深度学习的建筑物提取上在像素级注释的大型、细粒度图像分割数据集很难获得的问题，本文提出了一种基于弱监督网络的建筑物提取方法。1所示，我们将训练一个监督薄弱的卷积神经网络(CNN)作为一种对抗生成网络。特别地，我们使用一个对抗性鉴别器来学习多分辨率的先验形状，并通过特意设计的对抗性注意力机制来实现一个掩模生成器或分割器来实现原图的标签。关键的是，对抗性注意力机制定位目标，在多个分辨率水平上分割，并抑制图像剩余部分的噪声激活。详细地说，我们联合训练一个多尺度分割器和一个多尺度对抗鉴别器。被监督地训练以预测分割标签，当可用时，这些标签与标签注释重叠。同时，学会在多个尺度上区分真正的分割掩码与那些由分割器预测的(假)。我们将多尺度分割器和多尺度对抗鉴别器作为CNN的模型。如图1所示为本文的技术路线。
本发明采用的技术方案是一种基于弱监督网络的建筑物语义分割标签样本扩充方法，该方法包括：
步骤1：通过改进的UNet作为多尺度分割器用来输出预测的标签；
步骤2：将预测的标签和真实的标签输入至多尺度鉴别器；
步骤3：多尺度鉴别器对输入的假标签进行最终的预测。
进一步，所述步骤1的具体方法为：
步骤1.1：首先通过原始的UNet编码器部分，生成5个不同尺度的特征图与其相对应的解码器部分进行连接。
步骤1.2：在解码器部分中，我们先通过两个卷积核大小为3×3的过滤器，并生成特征映射M(d)，然后通过注意力机制分类器来预测给定分辨率级别上的分割y(d)，作为分类器，使用的是1×1的过滤器输出概率和一个像素级的softmax分类函数对输出的概率进行分类。
步骤1.3：每个像素的概率有关属于每一个类，这是很重要的学习注意力机制上的平滑渐变。然后对预测数组进行切片，去除与背景相关的通道，并使用多通道软分割：1)作为同深度的判别器的输入；2)生成一个注意图，通过将剩余的通道汇总成一个二维概率图来获得，定位图像中的物体位置。为了迫使分割器使用a(d)，我们使用哈达玛乘积将提取的特征M(d)与a(d)相乘。生成的特征地图通过最近邻插值被上采样到下一个分辨率级别。在每个卷积层之后，我们使用批处理归一化和ReLU激活函数。
所述步骤3的具体方法为：
步骤3.1：真实样本由官方制作的分割组成，真实样本在多个鉴别器下以完全或下采样分辨率提供；假样本由步骤1中的多尺度分割器预测的分割结果；
步骤3.2：对抗注意门由一个注意力机制块和一个乘法选门构成，多尺度鉴别器简单地将他们连接到它在每个深度提取的特征映射；
步骤3.3：在每一个深度模块，首先使用我们使用一个包含4×4内核和补偿为2的卷积层对特征图进行处理和下采样；
步骤3.4：然后使用12个1×1×k的过滤器作为第二个卷积层压缩获得特征图
步骤3.5：为了改进学习过程，避免过拟合，我们使用标签噪声和实例噪声来增加识别器对抗注意力机制的难度。特别地，我们通过随机翻转识别器标签以10％的概率获得标签噪声，而我们将实例噪声应用为均值为零和标准差为0.2的高斯噪声，我们将其添加到最高分辨率的输入。最后，我们使用具有标量输出的全连接层计算鉴别器的最终预测
与现有技术相比，本发明的有益效果是：
(1)改变UNet解码器部分，增加了一个注意力机制门以获得更好地分割效果，达到更好的标签预测图；
(2)为了更好地处理基于深度学习的建筑物提取上在像素级注释的大型、细粒度图像分割数据集很难获得的问题，提出了一种弱监督网络来生成关于建筑物的标签来进行网络的训练。
附图说明
图1为本发明的一种基于弱监督网络的建筑物提取方法的技术路线；
图2为本发明中注意力机制门的网络结构图；
具体实施步骤
该网络为了克服基于深度学习的建筑物提取上在像素级注释的大型、细粒度图像分割数据集很难获得的问题，通过弱监督网络提出了一种利用使用未配对的分割标签，生成多尺度多个分辨率的真实分割标签，同时我们使用涂鸦来学习它们在图像中的正确位置。如图1所示，我们将训练一个监督薄弱的卷积神经网络(CNN)作为一种对抗生成网络。特别地，我们使用一个对抗性鉴别器来学习多分辨率的先验形状，并通过特意设计的对抗性注意力机制来实现一个标签生成器或分割器来实现原图的标签，如图2所示。关键的是，对抗性注意力机制定位目标，抑制提取特征图中的无关信息，在多个分辨率水平上分割，并抑制图像剩余部分的噪声激活。详细地说，我们联合训练一个多尺度分割器和一个多尺度对抗鉴别器。被监督地训练以预测分割标签，当可用时，这些标签与标签注释重叠。同时，学会在多个尺度上区分真正的分割掩码与那些由分割器预测的(假)。我们将多尺度分割器和多尺度对抗鉴别器作为CNN的模型。
Claims (3)
1.一种基于弱监督网络的建筑物语义分割标签扩充方法，其特征在于，包括以下步骤：
步骤1：通过改进的UNet作为多尺度分割器用来输出预测的标签；
步骤2：将预测的标签和真实的标签输入至多尺度鉴别器；
步骤3：多尺度鉴别器对输入的假标签进行最终的预测；
进一步，所述步骤1的具体方法为：
步骤1.1：首先通过原始的UNet编码器部分，生成5个不同尺度的特征图与其相对应的解码器部分进行连接；
步骤1.2：在解码器部分中，我们先通过两个卷积核大小为3×3的过滤器，并生成特征映射M(d)，然后通过注意力机制分类器来预测给定分辨率级别上的分割y(d)，作为分类器，使用的是1×1的过滤器输出概率和一个像素级的softmax分类函数对输出的概率进行分类；
步骤1.3：每个像素的概率有关属于每一个类，这是很重要的学习注意力机制上的平滑渐变；然后对预测数组进行切片，去除与背景相关的通道，并使用多通道软分割：1)作为同深度的判别器的输入；2)生成一个注意图，通过将剩余的通道汇总成一个二维概率图来获得，定位图像中的物体位置；为了迫使分割器使用a(d)，我们使用哈达玛乘积将提取的特征M(d)与a(d)相乘；生成的特征地图通过最近邻插值被上采样到下一个分辨率级别；在每个卷积层之后，我们使用批处理归一化和ReLU激活函数；
所述步骤3的具体方法为：
步骤3.1：真实样本由官方制作的分割组成，真实样本在多个鉴别器下以完全或下采样分辨率提供；假样本由步骤1中的多尺度分割器预测的分割结果；
步骤3.2：对抗注意门由一个注意力机制块和一个乘法选门构成，多尺度鉴别器简单地将他们连接到它在每个深度提取的特征映射；
步骤3.3：在每一个深度模块，首先使用我们使用一个包含4×4内核和补偿为2的卷积层对特征图进行处理和下采样；
步骤3.4：然后使用12个1×1×k的过滤器作为第二个卷积层压缩获得特征图；
步骤3.5：为了改进学习过程，避免过拟合，我们使用标签噪声和实例噪声来增加识别器对抗性注意力机制的难度；特别地，我们通过随机翻转识别器标签以10％的概率获得标签噪声，而我们将实例噪声应用为均值为零和标准差为0.2的高斯噪声，我们将其添加到最高分辨率的输入；最后，我们使用具有标量输出的全连接层计算鉴别器的最终预测。
2.如权利要求1所述方法，其特征在于，步骤1中的步骤1.2，改进UNet中的解码器部分，采用注意力机制模块，在对图像进行分割时，抑制与建筑信息无关的信息，对建筑物的语义分割标签的生成提供了更好的精度与准确性。
3.如权利要求1所述方法，其特征在于，步骤3中的步骤3.5，为了防止过拟合，使用标签噪声和实例噪声来增加识别器对抗注意力机制的难度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211546722.8A CN115830322A (zh) | 2022-12-01 | 2022-12-01 | 一种基于弱监督网络的建筑物语义分割标签扩充方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211546722.8A CN115830322A (zh) | 2022-12-01 | 2022-12-01 | 一种基于弱监督网络的建筑物语义分割标签扩充方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115830322A true CN115830322A (zh) | 2023-03-21 |
Family
ID=85545106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211546722.8A Pending CN115830322A (zh) | 2022-12-01 | 2022-12-01 | 一种基于弱监督网络的建筑物语义分割标签扩充方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115830322A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593648A (zh) * | 2024-01-17 | 2024-02-23 | 中国人民解放军海军航空大学 | 基于弱监督学习的遥感目标建筑物提取方法 |
-
2022
- 2022-12-01 CN CN202211546722.8A patent/CN115830322A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593648A (zh) * | 2024-01-17 | 2024-02-23 | 中国人民解放军海军航空大学 | 基于弱监督学习的遥感目标建筑物提取方法 |
| CN117593648B (zh) * | 2024-01-17 | 2024-04-05 | 中国人民解放军海军航空大学 | 基于弱监督学习的遥感目标建筑物提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113011427B (zh) | 基于自监督对比学习的遥感图像语义分割方法 | |
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| Yin et al. | Hot region selection based on selective search and modified fuzzy C-means in remote sensing images | |
| CN113780149B (zh) | 一种基于注意力机制的遥感图像建筑物目标高效提取方法 | |
| CN109871875B (zh) | 一种基于深度学习的建筑物变化检测方法 | |
| CN110705457A (zh) | 一种遥感影像建筑物变化检测方法 | |
| CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
| CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
| CN113505670B (zh) | 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法 | |
| CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
| CN111178304B (zh) | 基于全卷积神经网络的高分辨率遥感影像像素级解译方法 | |
| Wang et al. | The poor generalization of deep convolutional networks to aerial imagery from new geographic locations: an empirical study with solar array detection | |
| CN114913498A (zh) | 一种基于关键点估计的并行多尺度特征聚合车道线检测方法 | |
| CN114972378A (zh) | 一种基于掩码注意力机制的脑肿瘤mri图像分割方法 | |
| Li et al. | Spectral index-driven FCN model training for water extraction from multispectral imagery | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN117727046A (zh) | 新型山洪前端仪器仪表读数自动识别方法及系统 | |
| CN115830322A (zh) | 一种基于弱监督网络的建筑物语义分割标签扩充方法 | |
| Luo et al. | New deep learning method for efficient extraction of small water from remote sensing images | |
| CN114913434A (zh) | 一种基于全局关系推理的高分辨率遥感影像变化检测方法 | |
| CN107292268A (zh) | 快速脊波反卷积结构学习模型的sar图像语义分割方法 | |
| CN113378642B (zh) | 一种对农村违法占地建筑物进行检测的方法 | |
| Zhao et al. | RFE-LinkNet: LinkNet with Receptive Field Enhancement for Road Extraction from High Spatial Resolution Imagery | |
| CN114332644A (zh) | 一种基于视频卫星数据的大视场交通密度获取方法 | |
| CN116543165B (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |