CN110334578A - 图像级别标注自动提取高分遥感影像建筑物的弱监督方法 - Google Patents

图像级别标注自动提取高分遥感影像建筑物的弱监督方法 Download PDF

Info

Publication number
CN110334578A
CN110334578A CN201910368339.XA CN201910368339A CN110334578A CN 110334578 A CN110334578 A CN 110334578A CN 201910368339 A CN201910368339 A CN 201910368339A CN 110334578 A CN110334578 A CN 110334578A
Authority
CN
China
Prior art keywords
building
remote sensing
sensing image
model
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910368339.XA
Other languages
English (en)
Other versions
CN110334578B (zh
Inventor
陈杰
何玢
朱晶茹
万里
周兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201910368339.XA priority Critical patent/CN110334578B/zh
Publication of CN110334578A publication Critical patent/CN110334578A/zh
Application granted granted Critical
Publication of CN110334578B publication Critical patent/CN110334578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00—Adapting or protecting infrastructure or their operation
    • Y02A30/60—Planning or developing urban green infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像级别标注自动提取高分遥感影像建筑物的弱监督方法，主要包括建筑物目标的弱监督标记信息获取和建筑物自动提取两个步骤。建筑物目标的弱监督标记信息获取包括自动获取建筑物图像级别标注、利用图像级标注训练分类模型、模型反向定位建筑物目标区域和生成建筑物目标弱监督标记等内容；建筑物提取包括对模型的训练、测试和对数据集外的高分遥感影像中的建筑物进行提取。本发明实现了仅有图像级标签下的建筑物目标的像素级提取，节省了大量的标注成本；改进了分类模型获取建筑物目标定位的网络结构，获取建筑物弱监督标记的方法可扩充高分影像建筑物提取数据集；处理方法简单易行，灵活性高。

Description

图像级别标注自动提取高分遥感影像建筑物的弱监督方法
技术领域
本发明涉及智能图像处理和图像视觉智能语义理解技术领域，特别地，涉及一种图像级别标注自动提取高分遥感影像建筑物的弱监督方法。
背景技术
建筑物提取在研究城市发展规划、城市基础设施规划、土地利用变化监测、城市热岛效应、三维城市重建、数字化城市、城市土地利用与管理、城市轨道与交通地图实时更新等多个领域中都有着重要的作用。利用海量高分遥感数据，实现高效率、高精度、自动化提取建筑物一直是遥感影像处理方面的研究难点和重点。
近年来，深度卷积神经网络由于其端到端的自主学习方式和强大的特征提取优势，被广泛应用到建筑物提取中，并取得了一些卓越的效果。深度卷积神经网络在建筑物提取任务上取得优秀表现建立在大量的像素级别的标签数据上。然而，收集大量精确的像素级标签来训练以一个语义分割网络是一项劳动密集型工作，往往需要投入大量的人力和财力。如何在像素级标签数据缺乏的情况下也能对建筑物进行快速准确的提取，是当前研究的一个亟待解决的问题。
图像级别的标注信息相较于像素级别的标注信息而言更容易获取，被称为弱监督信息。这些弱监督标签虽然没有对目标物进行像素级别的分割，但实际上蕴含着目标物的高级语义信息和粗略的位置信息，而这些有效信息在实际应用中往往被忽略。近年来，在计算机视觉领域有研究者们尝试利用弱监督信息实现像素级别精度的语义分割，并取得了一些进展。已有的方法通常借助一些无需像素级标注信息的显著性检测提取图像底层特征的方法，生成简单图像的显著性映射进行监督；或者借助分类网络寻找出对分类目标最具鉴别性的区域，生成图像的初始定位，并利用分类网络对分割网络进行监督。这些弱监督学习方法充分挖掘了图像级别标注中所包含的语义信息，在一定程度上有效解决了像素级标注信息稀缺的问题。
但使用显著性检测提取图像低层特征的方法仅适用于背景单一前景突出的图像中，不适用于背景复杂多样的高分遥感图像领域。而现有的利用分类网络定位目标区域的模型，生成的目标定位不够密集连续，难以达到高质量分割的要求。
在高分辨率遥感影像建筑物提取研究领域中，仍然存在着大量未被有效利用的图像级别弱标签信息。此外，遥感数据中的高程信息和归一化植被指数信息作为一种辅助信息，可有效区分建筑物和其他地物，提高建筑物提取的精度。
因此，急需构建一种方法，充分挖掘图像级别标签中的隐含信息，并且借助遥感数据中的辅助信息，生成更精准的建筑物目标定位。
发明内容
本发明目的在于提供一种图像级别标注自动提取高分遥感影像建筑物的弱监督方法，以解决图像级别弱标签信息未有效利用等技术问题。
为实现上述目的，本发明提供了一种图像级别标注自动提取高分遥感影像建筑物的弱监督方法，主要包括：
步骤A：建筑物目标的弱监督标记信息获取；
步骤B：建筑物自动提取。
作为优选的技术方案之一，建筑物目标的弱监督标记信息获取的具体方法如下：
(A-1)获取高分辨率遥感影像；
(A-2)对步骤(A-1)获取的高分辨率遥感影像进行分块剪裁，生成遥感影像数据块；
(A-3)对步骤(A-2)生成的遥感影像数据块进行筛选分类，分成建筑物遥感影像块和其他地物类遥感影响块；
(A-4)将步骤(A-3)所得建筑类遥感影像块和其他地物类遥感影像块输入分类模型进行训练，得到更新后的模型；
(A-5)对步骤(A-4)更新后的模型进行定位模块改进；
(A-6)采用步骤(A-5)改进后的模型反向定位建筑物目标区域，得到特征定位热力图，生成最终的定位结果；
(A-7)热力图像素值归一化；
(A-8)生成建筑物定位像素级标签。
作为进一步优选的技术方案之一，步骤(A-2)的具体方法是：按照像素行列，生成多幅规定行列数的遥感影像数据块。
作为进一步优选的技术方案之一，所述遥感影像数据块的像素为256×256。
作为进一步优选的技术方案之一，步骤(A-3)中，遥感影像数据块中含有建筑物的影像块划分为建筑物遥感影像块，其他不含建筑物的遥感影像标签数据块划分为其他地物类遥感影像块。
作为进一步优选的技术方案之一，步骤(A-4)的具体方法是：将建筑物遥感影像块和其他地类遥感影像块输入分类模型进行训练，使模型中的遥感影像块与其对应类别匹配的概率取得最大值时对模型的参数进行更新，得到更新后的模型，其中，所述分类模型为VGG16网络。
作为更进一步优选的技术方案之一，遥感影像块的特征提取方法是：对于所输入的遥感影像块I使用VGG16卷积神经网络进行训练，得到的遥感影像块的特征向量CNN(I)：X＝CNN(I)，其中，X为遥感影像块经过CNN提取后的特征向量。
作为进一步优选的技术方案之一，步骤(A-5)的具体方法是：移除步骤(A-4)更新后的模型中第五个卷基层后的池化层和全连接层，并行添加空洞率分别为1,3,6,9的卷积层，然后为每一个卷积层添加一个全局平均池化层。
作为更进一步优选的技术方案之一，空洞卷积无需增加模型计算负担，空洞卷积感受野像素范围为(r-1)(k-1)+k，k为感受野大小，r为空洞率，有效运算像素个数为k2，其余像素置0。
空洞卷积可以在不引入额外参数和计算成本的情况下有效的扩大感受野的大小。这种特点很适合在图像区域之间传播定位的鉴别信息，从而产生密集连续的目标区域，有利于生成像素级的标签。因此，本发明引入了多个空洞卷积来扩充分类模型，通过改变卷积核的空洞率，在多个尺度上扩展感受野。通过扩大感受野，低响应的目标区域可以通过感知周围区域的高响应的上下文信息获得更高的热力特征值。这样，目标对象高响应部分的判别信息可以在多个尺度上传播到相邻目标区域。
作为进一步优选的技术方案之一，步骤(A-6)的具体方法是：将建筑物遥感影像块和其他地类遥感影像块输入步骤(A-5)改进后的模型，模型经过卷积提取图像特征，再经过全局平均池化层后，得到不同通道特征图对分类结果的贡献权重值，将特征图与贡献权重值相乘，得到特征定位热力图，将由步骤(A-5)添加的不同空洞率(3,6,9)生成的定位图进行平均运算，然后将所得的平均热力图添加到标准卷积(空洞率为1)所得的热力映射中，生成最终的定位结果。
作为更进一步优选的技术方案之一，生成的定位图L计算公式如(1)所示：
在公式(1)中，L为定位图(localizationmap)，i＝1,……nd，为不同的空洞率，nd的取值范围为1，3，6，9；公式(1)是一个简单的加权求和，当i等于1时，代表的是标准的卷积，权值为1。这个公式会将标准的卷积后生成的定位图，与加权后的空洞卷积定位图相加(权值视空洞率而定，如空洞率为3，那么权值为1/3)。
在空洞率为1的情况下，网络可以得到建筑物目标精确的定位映射，但只显示了目标对象最具有鉴别力的局部区域，采用不同空洞率的卷积生成的定位热力图有效地传播了局部鉴别区域。因此，本发明将不同卷积率生成的定位图进行平均运算，然后将所得的平均热力图添加到标准卷积(空洞率为1)所得的热力映射中，生成最终的定位结果。这样既能保证标准的卷积精确挖掘建筑物区域，又可以得到更为连续密集的建筑物目标像素区域。在L中，热力值越高的区域代表该区域为建筑物的可能性更大，热力值越低的区域将更有可能是其他地物。
作为进一步优选的技术方案之一，步骤(A-7)的具体方法是：获取热力图中的最大热力值和最小热力值，用图像中每一个像素点的热力值减去最小值后，再除以最大热力值和最小之差。
作为进一步优选的技术方案之一，步骤(A-8)的具体方法是：将归一化后的热力图中像素值高于0.7的像素区域视为建筑物，低于0.2的像素区域视为其他地物。其他像素为中性区域，采用欧式距离度量像素与邻近已标记像素的相似性，选择与其相似性高的邻近像素标签作为中性区域像素的标签。
欧式距离计算公式如(2)所示：
在公式(2)中，ρ表示像素点之间的距离，中性区域中的某像素点A的坐标为(xa，ya)，邻近已标记像素点B的坐标为(xb，yb)。
作为优选的技术方案之一，建筑物自动提取的具体方法如下：
(B-1)获取建筑物遥感影像块相对应的数字高程模型(DSM)数据；
(B-2)归一化建筑物遥感影像块的数字高程模型数据；
(B-3)生成建筑物遥感影像块的归一化植被指数(NDVI)数据；
(B-4)融合影像数据、数字高程模型数据和归一化植被指数数据；
(B-5)建筑物提取模型训练；
(B-6)建筑物提取模型测试；
(B-7)基于建筑物提取模型的训练和测试，对其他的建筑物遥感影像进行提取。
作为进一步优选的技术方案之一，步骤(B-2)的具体方法是：获取影像块中的最大高程和最小高程值，用图像中每一个像素点的高程值减去最小值后，再除以最大高程和最小高程之差。
作为进一步优选的技术方案之一，步骤(B-3)的具体方法是：求取建筑物遥感影像块的第四波段与第三波段之差与第三波段和第四波段之和的比值。
作为进一步优选的技术方案之一，步骤(B-4)的具体方法是：将步骤(B-2)获取的归一化数字高程模型数据和步骤(B-3)生成的归一化植被指数数据添加为原遥感影像块的第五波段和第六波段。
作为进一步优选的技术方案之一，步骤(B-5)的具体方法是：选取M张步骤(B-4)中融合后的影像和相应的M张由步骤A中生成的建筑物像素级标记输入模型，使模型中的遥感影像块中的每一个像素与其对应类别匹配的概率取得最大值时对模型的参数进行更新，得到更新后的模型，M为所有建筑物遥感影像块的85％。
作为进一步优选的技术方案之一，步骤(B-6)的具体方法是：选取所有融合后建筑物遥感影像中的N张影像输入更新后的模型中进行处理，得到遥感影像的建筑物提取结果图，N为所有建筑物遥感影像块的15％。
作为进一步优选的技术方案之一，步骤A和步骤B中所获取遥感影像及对应的数字高程模型数据的方式是：从可开放获取卫星遥感影像的网站、国土部门及测绘部门中至少一种方式获取。
本发明具有以下有益效果：
本发明改进了已有分类模型获取建筑物目标定位的网络结构，融合了遥感数据中的辅助信息，实现了仅由图像级别标注对建筑物进行像素级提取。主要包括建筑物目标的弱监督标记信息获取和建筑物自动提取两个步骤。建筑物目标的弱监督标记信息获取包括自动获取建筑物图像级别标注、利用图像级标注训练分类模型、模型反向定位建筑物目标区域和生成建筑物目标弱监督标记等内容；建筑物提取包括对模型的训练、测试和对数据集外的高分遥感影像中的建筑物进行提取。
本发明是自顶向下的方法，也就是采用了分类网络来提取图像中的高级语义信息作为初始的监督信息。由于遥感影像区别于一般的自然图像，背景复杂，建筑物的特征呈现高度的类内差异性，建筑物的色调、纹理、形状、高度和面积等特征各异，除此之外，建筑物成像的过程中还存在部分可见或遮挡的问题，仅利用从底向上的提取底层特征，获取弱监督标签的方法容易使获取的建筑物标签信息与其他地物混淆。而只采用自顶向下CAM生成热力图的方法，生成的鉴别区域往往较为稀疏，保留建筑物准确的轮廓边界困难。因此本发明基于遥感影像中建筑物的特点，改进了自顶向下方法，充分利用地面高程数据(DSM)作为辅助信息，加强建筑物的边界信息，同时在分类网络中加入空洞卷积，使网络生成更为密集连续的热力图作为建筑物提取的标注信息。该方法仅使用图像级别的标记便可生成像素级标签，更适用于标签数据稀缺的情况下遥感影像建筑物的像素级提取。
本发明实现了仅有图像级标签下的建筑物目标的像素级提取，节省了大量的标注成本；改进了分类模型获取建筑物目标定位的网络结构，获取建筑物弱监督标记的方法可扩充高分影像建筑物提取数据集；处理方法简单易行，灵活性高。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是自动提取遥感高分影像建筑物的弱监督方法的框架图；
图2是遥感影像块的示意图；
图3是建筑物遥感影像图及生成对应热力图的示意图；
图4是与遥感影像块相匹配的数字高程模型示意图；
图5是建筑物提取模型示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以根据权利要求限定和覆盖的多种不同方式实施。
实施例：
如图1所示，一种由图像级别标注自动提取遥感高分影像建筑物的弱监督方法，包括建筑物目标的弱监督标记信息获取和建筑物自动提取；
步骤A：建筑物目标的弱监督标记信息获取，具体包括以下步骤：
1、获取高分辨率遥感影像
2、高分辨率遥感影像的分块裁剪，具体是：按照像素行列，生成多幅规定行列数的遥感影像块(图2)；
3、遥感影像块筛选分类，具体是：保存步骤2中生成的遥感影像数据块中含有建筑物的影像块为建筑类，其他不含建筑物的遥感影像标签数据块为其他地物类；
4、建筑物分类模型的训练，具体是：将建筑物遥感影像块和其他地类遥感影像块输入分类模型进行训练，使模型中的遥感影像块与其对应类别匹配的概率取得最大值时对模型的参数进行更新，得到更新后的模型，本发明所采用的分类模型为VGG16网络；
5、分类模型定位模块改进，具体是：移除步骤4更新后的模型中第五个卷积层后的池化层和全连接层，并行添加空洞率分别为1,3,6,9的卷积层，然后为每一个卷积层添加一个全局平均池化层；
空洞卷积可以在不引入额外参数和计算成本的情况下有效的扩大感受野的大小。这种特点很适合在图像区域之间传播定位的鉴别信息，从而产生密集连续的目标区域，有利于生成像素级的标签。因此，本发明引入了多个空洞卷积来扩充分类模型，通过改变卷积核的空洞率，在多个尺度上扩展感受野。通过扩大感受野，低响应的目标区域可以通过感知周围区域的高响应的上下文信息获得更高的热力特征值。这样，目标对象高响应部分的判别信息可以在多个尺度上传播到相邻目标区域。
6、模型反向定位建筑物目标区域，具体是：将建筑物遥感影像块和其他地类遥感影像块遥感影像块输入步骤5修改后的模型，模型经过卷积提取图像特征，再经过全局平均池化层后，得到不同通道特征图对分类结果的贡献权重值，将特征图与贡献权重值相乘，得到特征定位热力图(图3)，将由步骤5添加的不同卷积率(3,6,9)生成的定位图进行平均运算，然后将所得的平均热力图添加到标准卷积(空洞率为1)所得的热力映射中，生成最终的定位结果。生成的定位图L计算公式如(1)所示：
在公式(1)中，L为定位图(localizationmap)，i＝1,……nd，为不同的空洞率，nd的取值范围为1，3，6，9；公式(1)是一个简单的加权求和，当i等于1时，代表的是标准的卷积，权值为1。这个公式会将标准的卷积后生成的定位图，与加权后的空洞卷积定位图相加(权值视空洞率而定，如空洞率为3，那么权值为1/3)。
在空洞率为1的情况下，网络可以得到建筑物目标精确的定位映射，但只显示了目标对象最具有鉴别力的局部区域，采用不同空洞率的卷积生成的定位热力图有效地传播了局部鉴别区域。因此，本发明将不同卷积率生成的定位图进行平均运算，然后将所得的平均热力图添加到标准卷积(空洞率为1)所得的热力映射中，生成最终的定位结果。这样既能保证标准的卷积精确挖掘建筑物区域，又可以得到更为连续密集的建筑物目标像素区域。
在L中，热力值越高的区域代表该区域为建筑物的可能性更大，热力值越低的区域将更有可能是其他地物。
7、热力图像素值归一化，具体是：获取热力图中的最大热力值和最小热力值，用图像中每一个像素点的热力值减去最小值后，再除以最大热力值和最小之差；
8、生成建筑物定位像素级标签，具体是：将归一化后的热力图中像素值高于0.7的像素区域视为建筑物，低于0.2的像素区域视为其他地物。其他像素为中性区域，采用欧式距离度量像素与邻近已标记像素的相似性，选择与其相似性高的邻近像素标签作为中性区域像素的标签。
欧式距离计算公式如(2)所示：
在公式(2)中，ρ表示像素点之间的距离，中性区域中的某像素点A的坐标为(xa，ya)，邻近已标记像素点B的坐标为(xb，yb)。
步骤B：建筑物自动提取(图5)
获取建筑物遥感影像块相对应的数字高程模型(DSM)数据(图4)；
归一化建筑物遥感影像块的数字高程模型数据，具体是：获取影像块中的最大高程和最小高程值，用图像中每一个像素点的高程值减去最小值后，再除以最大高程和最小高程之差；
生成建筑物遥感影像块的归一化植被指数(NDVI)数据；具体是：求取建筑物遥感影像块的第四波段与第三波段之差与第三波段和第四波段之和的比值；
融合影像数据、数字高程模型数据和归一化植被指数数据；具体是：将步骤B2获取的归一化数字高程模型数据和步骤B3生成的归一化植被指数数据添加为原遥感影像块的第五波段和第六波段；
建筑物提取模型训练，具体是：选取M张步骤4中融合后的影像和相应的M张由步骤A中生成的建筑物像素级标记输入模型，使模型中的遥感影像块中的每一个像素与其对应类别匹配的概率取得最大值时对模型的参数进行更新，得到更新后的模型，M为所有建筑物遥感影像块的85％；
建筑物提取模型测试，具体是：选取所有融合后建筑物遥感影像中的N张影像输入更新后的模型中进行处理，得到遥感影像的建筑物提取结果图，N为所有建筑物遥感影像块的15％；
基于建筑物提取模型的训练和测试，对其他的建筑物遥感影像进行提取。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像级别标注自动提取高分遥感影像建筑物的弱监督方法，其特征在于，主要包括：
步骤A：建筑物目标的弱监督标记信息获取；
步骤B：建筑物自动提取。
2.根据权利要求1所述的方法，其特征在于，建筑物目标的弱监督标记信息获取的具体方法如下：
(A-1)获取高分辨率遥感影像；
(A-2)对步骤(A-1)获取的高分辨率遥感影像进行分块剪裁，生成遥感影像数据块；
(A-3)对步骤(A-2)生成的遥感影像数据块进行筛选分类，分成建筑物遥感影像块和其他地物类遥感影响块；
(A-4)将步骤(A-3)所得建筑类遥感影像块和其他地物类遥感影像块输入分类模型进行训练，得到更新后的模型；
(A-5)对步骤(A-4)更新后的模型进行定位模块改进；
(A-6)采用步骤(A-5)改进后的模型反向定位建筑物目标区域，得到特征定位热力图，生成最终的定位结果；
(A-7)热力图像素值归一化；
(A-8)生成建筑物定位像素级标签。
3.根据权利要求2所述的方法，其特征在于，步骤(A-2)的具体方法是：按照像素行列，生成多幅规定行列数的遥感影像数据块。
4.根据权利要求2所述的方法，其特征在于，步骤(A-3)中，遥感影像数据块中含有建筑物的影像块划分为建筑物遥感影像块，其他不含建筑物的遥感影像标签数据块划分为其他地物类遥感影像块。
5.根据权利要求2所述的方法，其特征在于，步骤(A-4)的具体方法是：将建筑物遥感影像块和其他地类遥感影像块输入分类模型进行训练，使模型中的遥感影像块与其对应类别匹配的概率取得最大值时对模型的参数进行更新，得到更新后的模型，其中，所述分类模型为VGG16网络。
6.根据权利要求2所述的方法，其特征在于，步骤(A-5)的具体方法是：移除步骤(A-4)更新后的模型中第五个卷基层后的池化层和全连接层，并行添加空洞率分别为1,3,6,9的卷积层，然后为每一个卷积层添加一个全局平均池化层。
7.根据权利要求2所述的方法，其特征在于，步骤(A-6)的具体方法是：将建筑物遥感影像块和其他地类遥感影像块输入步骤(A-5)改进后的模型，模型经过卷积提取图像特征，再经过全局平均池化层后，得到不同通道特征图对分类结果的贡献权重值，将特征图与贡献权重值相乘，得到特征定位热力图，将由步骤(A-5)添加的不同卷积率(3,6,9)生成的定位图进行平均运算，然后将所得的平均热力图添加到标准卷积所得的热力映射中，生成最终的定位结果。
8.根据权利要求1所述的方法，其特征在于，步骤(A-7)的具体方法是：获取热力图中的最大热力值和最小热力值，用图像中每一个像素点的热力值减去最小值后，再除以最大热力值和最小之差。
9.根据权利要求1所述的方法，其特征在于，步骤(A-8)的具体方法是：将归一化后的热力图中像素值高于0.7的像素区域视为建筑物，低于0.2的像素区域视为其他地物。
10.根据权利要求1所述的方法，其特征在于，建筑物自动提取的具体方法如下：
(B-1)获取建筑物遥感影像块相对应的数字高程模型数据；
(B-2)归一化建筑物遥感影像块的数字高程模型数据；
(B-3)生成建筑物遥感影像块的归一化植被指数数据；
(B-4)融合影像数据、数字高程模型数据和归一化植被指数数据；
(B-5)建筑物提取模型训练；
(B-6)建筑物提取模型测试；
(B-7)基于建筑物提取模型的训练和测试，对其他的建筑物遥感影像进行提取。
CN201910368339.XA 2019-05-05 2019-05-05 图像级别标注自动提取高分遥感影像建筑物的弱监督方法 Active CN110334578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910368339.XA CN110334578B (zh) 2019-05-05 2019-05-05 图像级别标注自动提取高分遥感影像建筑物的弱监督方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910368339.XA CN110334578B (zh) 2019-05-05 2019-05-05 图像级别标注自动提取高分遥感影像建筑物的弱监督方法

Publications (2)

Publication Number Publication Date
CN110334578A true CN110334578A (zh) 2019-10-15
CN110334578B CN110334578B (zh) 2023-04-18

Family

ID=68139383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910368339.XA Active CN110334578B (zh) 2019-05-05 2019-05-05 图像级别标注自动提取高分遥感影像建筑物的弱监督方法

Country Status (1)

Country Link
CN (1) CN110334578B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837839A (zh) * 2019-11-04 2020-02-25 嘉兴职业技术学院 一种高精度无人机正射影像制作及数据采集方法
CN111860173A (zh) * 2020-06-22 2020-10-30 中国科学院空天信息创新研究院 一种基于弱监督的遥感图像地物要素提取方法及系统
CN112052783A (zh) * 2020-09-02 2020-12-08 中南大学 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN113408462A (zh) * 2021-06-29 2021-09-17 西南交通大学 基于卷积神经网络与类别热力图的滑坡遥感信息提取方法
CN113505842A (zh) * 2021-07-21 2021-10-15 中国科学院空天信息创新研究院 一种适用于大尺度区域遥感影像城市建筑物自动提取方法
CN114581784A (zh) * 2022-05-07 2022-06-03 自然资源部第二海洋研究所 一种长时序逐年红树林遥感监测产品的构建方法
CN114842330A (zh) * 2022-03-29 2022-08-02 深圳市规划和自然资源数据管理中心 一种多尺度背景感知池化弱监督建筑物提取方法
CN115035406A (zh) * 2022-06-08 2022-09-09 中国科学院空间应用工程与技术中心 遥感场景数据集的标注方法、系统、存储介质及电子设备
CN116168242A (zh) * 2023-02-08 2023-05-26 阿里巴巴（中国）有限公司 像素级标签的生成方法、模型训练方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837839B (zh) * 2019-11-04 2023-09-26 嘉兴职业技术学院 一种高精度无人机正射影像制作及数据采集方法
CN110837839A (zh) * 2019-11-04 2020-02-25 嘉兴职业技术学院 一种高精度无人机正射影像制作及数据采集方法
CN111860173A (zh) * 2020-06-22 2020-10-30 中国科学院空天信息创新研究院 一种基于弱监督的遥感图像地物要素提取方法及系统
CN112052783A (zh) * 2020-09-02 2020-12-08 中南大学 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN112052783B (zh) * 2020-09-02 2024-04-09 中南大学 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN113408462A (zh) * 2021-06-29 2021-09-17 西南交通大学 基于卷积神经网络与类别热力图的滑坡遥感信息提取方法
CN113505842A (zh) * 2021-07-21 2021-10-15 中国科学院空天信息创新研究院 一种适用于大尺度区域遥感影像城市建筑物自动提取方法
CN113505842B (zh) * 2021-07-21 2024-01-05 中国科学院空天信息创新研究院 一种适用于大尺度区域遥感影像城市建筑物自动提取方法
CN114842330B (zh) * 2022-03-29 2023-08-18 深圳市规划和自然资源数据管理中心 一种多尺度背景感知池化弱监督建筑物提取方法
CN114842330A (zh) * 2022-03-29 2022-08-02 深圳市规划和自然资源数据管理中心 一种多尺度背景感知池化弱监督建筑物提取方法
CN114581784B (zh) * 2022-05-07 2022-08-12 自然资源部第二海洋研究所 一种长时序逐年红树林遥感监测产品的构建方法
CN114581784A (zh) * 2022-05-07 2022-06-03 自然资源部第二海洋研究所 一种长时序逐年红树林遥感监测产品的构建方法
CN115035406A (zh) * 2022-06-08 2022-09-09 中国科学院空间应用工程与技术中心 遥感场景数据集的标注方法、系统、存储介质及电子设备
CN115035406B (zh) * 2022-06-08 2023-08-04 中国科学院空间应用工程与技术中心 遥感场景数据集的标注方法、系统、存储介质及电子设备
CN116168242A (zh) * 2023-02-08 2023-05-26 阿里巴巴（中国）有限公司 像素级标签的生成方法、模型训练方法及设备
CN116168242B (zh) * 2023-02-08 2023-12-01 阿里巴巴（中国）有限公司 像素级标签的生成方法、模型训练方法及设备

Also Published As

Publication number Publication date
CN110334578B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110334578A (zh) 图像级别标注自动提取高分遥感影像建筑物的弱监督方法
Liang et al. Coupling fuzzy clustering and cellular automata based on local maxima of development potential to model urban emergence and expansion in economic development zones
CN103413142B (zh) 一种基于二维小波分解及视觉词包模型的遥感图像土地利用场景分类方法
CN106778605A (zh) 导航数据辅助下的遥感影像道路网自动提取方法
CN108846832A (zh) 一种基于多时相遥感影像与gis数据的变化检测方法及系统
CN106991382A (zh) 一种遥感场景分类方法
CN109241871A (zh) 一种基于视频数据的公共区域人流跟踪方法
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN106529508A (zh) 基于局部和非局部多特征语义高光谱图像分类方法
CN110399819A (zh) 一种基于深度学习的遥感影像居民区自动提取方法
CN109214280A (zh) 基于街景的店铺识别方法、装置、电子设备及存储介质
CN102945553B (zh) 基于自动差分聚类算法的遥感图像分割方法
CN107545571A (zh) 一种图像检测方法及装置
CN109299673A (zh) 城市群绿度空间提取方法及介质
CN109189949A (zh) 一种人口分布计算方法
CN113223042B (zh) 一种遥感影像深度学习样本智能采集方法及设备
CN105894041A (zh) 基于高光谱遥感影像提取配电网系统中变电站信息的方法
CN109033944A (zh) 一种全天空极光图像分类与关键局部结构定位方法及系统
CN109635726A (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN110334719A (zh) 一种提取遥感影像中建筑物图像的方法及系统
CN107992856A (zh) 城市场景下的高分遥感建筑物阴影检测方法
Zhang et al. Impervious surface extraction from high-resolution satellite image using pixel-and object-based hybrid analysis
CN111242223B (zh) 一种基于街景影像多特征融合的街道空间品质评价方法
Liu et al. Land Use and Land Cover Mapping in China Using Multi-modal Fine-grained Dual Network
CN104537660B (zh) 基于多目标智能体进化聚类算法的图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant