CN113609889B - 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法 - Google Patents
基于敏感特征聚焦感知的高分辨遥感影像植被提取方法 Download PDFInfo
- Publication number
- CN113609889B CN113609889B CN202110540249.1A CN202110540249A CN113609889B CN 113609889 B CN113609889 B CN 113609889B CN 202110540249 A CN202110540249 A CN 202110540249A CN 113609889 B CN113609889 B CN 113609889B
- Authority
- CN
- China
- Prior art keywords
- vegetation
- image
- training
- remote sensing
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 62
- 230000008447 perception Effects 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000004519 manufacturing process Methods 0.000 claims abstract description 12
- 238000005520 cutting process Methods 0.000 claims abstract description 9
- 230000008878 coupling Effects 0.000 claims abstract description 8
- 238000010168 coupling process Methods 0.000 claims abstract description 8
- 238000005859 coupling reaction Methods 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 238000010801 machine learning Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 25
- 230000003044 adaptive effect Effects 0.000 claims description 17
- 230000006978 adaptation Effects 0.000 claims description 16
- 238000013135 deep learning Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000012876 topography Methods 0.000 description 4
- 238000013467 fragmentation Methods 0.000 description 3
- 238000006062 fragmentation reaction Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于敏感特征聚焦感知的高分辨遥感影像植被提取方法，基于加权融合概率映射图进行：采用机器学习算法对卫星影像进行处理，制作植被训练标签影像；根据语义分割网络设置输入影像的大小，通过裁剪和分割制作训练影像与标签数据集；向语义分割网络中耦合适配亲和力场和注意力机制，构建适配上下文推理和植被敏感特征聚焦感知模块，基于训练样本集对语义分割网络进行训练，得到训练后的植被要素提取模型；基于训练好的网络模型，对测试集进行预测，得到预测斑块影像；基于得到的预测斑块影像，运用加权平均策略进行拼接，恢复该区域裁剪前的分辨率，消除拼接缝效应。本发明能实现对高分影像不同类型植被区域的端到端的自动提取。
Description
技术领域
本发明属于高分辨率遥感影像植被要素提取技术领域，是通过语义分割网络自适应提取植被要素的方法。
背景技术
要素提取是依据遥感图像上的地物特征，识别地物类型、性质、空间位置、形状和大小等属性，将目标地物标记提取出来的过程。要素提取是土地利用/土地覆盖分类的重要组成部分，是遥感应用领域中一个重要的研究方向。随着ZY-3和高分系列等国产高分遥感卫星的出现，高分辨率遥感影像凭借其丰富的几何特征、纹理特征成为土地利用/土地覆盖提取的主要数据源之一，为林地、农地和城市绿地相关信息的获取，提供了更加充分的基础参考数据。植被要素提取在城市规划、土地资源管理、精准农业和环境保护等工程应用上具有重要意义，并且可用于缓解环境质量恶化、主要农业用地流失和重要湿地破坏等现有生态问题。
针对植被典型地形要素的卫星遥感影像分类，由于植被目标对象具备相对较高的近红外辐射分辨率以及相对较低的可见光红波段辐射分辨率，使用红波段和近红外波段数据，计算归一化差分植被指数(Normalized Difference Vegetation Index,NDVI)，被广泛用于典型植被地形要素的动态监测，这是传统植被要素提取的常用方法。传统的植被要素提取方法需要获取大量人工先验知识，根据设计的植被特征进行提取，这是一项费时费力的工作，且需要较强的专业知识，并且很难设计出一种适用于所有植被类型的通用特征。近年来，深度学习技术发展较快，在目标识别、场景分类和语义分割领域都得到了相当多的应用。深度学习方法通过样本和标注数据训练神经网络模型，自适应地学习影像级别的特征，无需人工设计分类特征提取描述符，从而实现“端到端”的要素识别提取。本发明主要研究利用深度神经网络对高分辨率遥感影像进行语义分割，聚焦感知植被敏感特征，通过上下文推理适配地对植被要素进行提取，提高植被要素提取的精度。(参考文献：Lillesand TM,Kiefer R W,Remote Sensing and Image Interpretation，2000；Zhang X,Han L,HanL,Zhu L,How Well Do Deep Learning-Based Methods for Land Cover Classificationand Object Detection Perform on High Resolution Remote Sensing Imagery RemoteSens，2020；Tong X,Y,et al,Learning Transferable Deep Models for Land-UseClassification with High-Resolution Remote Sensing Images，arXiv，2018)
目前，在高分影像要素提取任务中，常用语义分割方法进行植被要素的提取。语义分割是像素级别的分类，为图像的每个像素分配对应的类别，常使用卷积神经网络进行训练。卷积神经网络采用局部连接的思想，以一个局部感受野作为特征提取的最小单元，充分考虑了影像的空间信息。但是高分辨率影像中变化丰富的对象外观和尺度会造成易混淆类别类间差异较小，拥有多种外观表象的同一种对象类内差异较大；大量细节信息会妨碍全局结构特征的构建和对象语义信息的提取，在编码过程中又会逐渐丢失，降低分割对象定位精度。因此，目前的研究方法主要针对捕获上下文信息和保留细节信息两个方向展开，旨在解决现有方法获取上下文信息碎片化和边缘分割精度较低这两个缺陷。(参考文献：Zheng X,Huan L,Xia G,Gong J，Parsing very high resolution urban scene imagesby learning deep ConvNets with edge-aware loss，ISPRS Journal ofPhotogrammetry and Remote Sensing，2020；Chen W,Zhu X,Sun R,et al，Tensor Low-Rank Reconstruction for Semantic Segmentation，ECCV，2020)
在植被要素提取的语义分割网络中，上下文信息碎片化造成的影响主要体现为不同尺度大小、不同类型的植被要素间存在不平衡的注意力，植被要素类内差异较大，缺乏整体的语义一致性；边缘分割精度较低则导致植被要素边缘与其他地物要素共生混杂，类间差异较小，造成植被要素在边缘地区上提取困难。对于上述缺陷，自注意力机制被引进来解决植被要素间不平衡注意力的问题。现有基于时相注意力机制的CNN-GRU方法，可用于区分不同类型作物目标之间的轻微的物候性差异。学习网络中等层级和高等层级的空间特征，有助于平衡植被要素类内的注意力。深度渐进式的扩张深度神经网络，可用于包含植被、杂草和作物等植被要素目标的不同类型植被要素提取专题图的制作。通过融合适配texton聚类模型和人工神经网络模型形成的分类器，可以用于对真实世界中的道路影像场景进行植被典型地形要素的分割提取，但是基于适配的植被上下文推理模型的全自动化植被典型地形要素识别提取算法的研究目前较少。(参考文献：Li Z,Chen G,and Zhang T,TemporalAttention Networks for MultitemporalMultisensor Crop Classification,IEEEAccess,2019；Farooq A,et al,Multi-Resolution Weed Classification viaConvolutional Neural Network and Superpixel Based Local Binary Pattern UsingRemote Sensing Images,Remote Sensing,2019.Sidike P,et al,DPEN:deepProgressively Expanded Network for mapping heterogeneous agriculturallandscape using WorldView-3satellite imagery,Remote sensing of environment,2019.Zhang L,Verma B,Roadside vegetation segmentation with Adaptive TextonClustering Model,Engineering Applications of Artificial Intelligence,2019.)
发明人研究团队，于2020年提出了论文《Vegetation Land Use/Land CoverExtraction from High-Resolution Satellite Images Based on Adaptive ContextInference》，提出了一种基于适配上下文推理的高分变率遥感影像植被提取方法，但是该方法的思路还比较片面，未能提供能够实施的技术方案，达到提高植被要素提取精度的效果。
发明内容
针对现有技术中存在的不足，本发明提出一种基于敏感特征聚焦感知的高分辨遥感影像植被提取方法，并耦合传统分类方法的逐像素分类结果和基于深度学习的要素提取斑块，提升最终的植被要素的提取精度。
本发明技术方案提供一种基于敏感特征聚焦感知的高分辨遥感影像植被提取方法，基于加权融合概率映射图进行包括以下步骤，
步骤1，采用机器学习算法对卫星影像进行处理，制作深度学习所需的植被训练标签影像；
步骤2，根据语义分割网络设置输入影像的大小，通过裁剪和分割制作训练影像与标签数据集；
步骤3，向语义分割网络中耦合适配亲和力场和注意力机制，构建适配上下文推理和植被敏感特征聚焦感知模块，基于步骤2所得训练样本集对语义分割网络进行训练，得到训练后的植被要素提取模型；所述适配上下文推理为耦合适配亲和力场损失函数，植被敏感特征聚焦为融合注意力机制；
步骤4，重复步骤1、2制作待预测区域的测试集，基于步骤3训练好的网络模型，对测试集进行预测，得到预测斑块影像；
基于得到的预测斑块影像，运用加权平均策略进行拼接，恢复该区域裁剪前的分辨率，消除拼接缝效应；
首先选择获取每个小图像斑块的预测概率图，并依据投票策略获取加权平均的概率预测结果，作为最终的预测结果；权重矩阵对应位置的每个参数由每个统计像素的重叠次数填充，以消除相邻的斑块影像的预测结果不一致而引起的边界效应。
而且，步骤1的实现过程包括以下子步骤，
步骤1.1，采用归一化差分植被指数特征，基于K均值聚类算法和最大类间方差阈值分割算法，对影像进行植被的二元分类；
步骤1.2，随机采样数量相当的植被与非植被样本，训练SVM分类器并迭代精化，获取植被要素提取任务所需的深度学习训练标签影像。
而且，步骤3采用适配上下文推理模块，其构建如下，
适配上下文推理模型参考建模中心像素和邻域像素组合的亲和力场模型，利用像素的光谱信息和在标签空间的语义约束关系，引进适配上下文推理的目标损失函数，自动获取具备空间结构和局部细节的分割段；基于对抗学习的思想，顾及不同语义类别目标对象的实际尺寸，网络适配地针对每个地物类型学习最佳的亲和力场尺寸；从而转换为极小极大问题，在最坏情况的学习场景中，优化语义分割神经网络；适配亲和力场模型将纹理结构表示为以像素为中心的分布式关系集合，建立针对植被要素类型的亲和力场匹配损失函数。
而且，步骤3采用植被敏感特征聚焦感知模块，其构建如下，
植被敏感特征聚焦感知模块，通过在卷积神经网络的最高层级的输出特征要素图上，执行特征金字塔注意力模块，嵌入不同层次的植被上下文信息，联合全局注意力上采样模块作为分隔模型的解码部分；在低层级影像特征的基础上执行通道约减操作，在高层级影像特征的基础上执行全局平均池化操作，然后将两者进行基于权重的注意力加权求和，然后级联全局上下文特征和局部上下文特征，形成新的上下文特征，即植被敏感特征。
而且，耦合适配上下文推理的语义分割网络的损失函数由一元监督的交叉熵损失函数和多元监督的亲和力场损失函数组成。
而且，整体植被要素提取模型包含语义分割模型Deeplab v3+、植被敏感特征聚焦感知模块和适配亲和力场损失函数模型。
而且，对耦合亲和力场模型和注意力机制的语义分割网络进行训练时，结合了已有逐像素的传统遥感影像分类结果的详细空间信息，和基于深度学习的要素提取结果的边界完整性，提升最终的植被要素提取精度。
本发明通过耦合亲和力场模型和注意力机制，设计了一种基于敏感特征聚焦感知的高分辨遥感影像植被提取方法，使得针对国产高分辨率卫星影像设计的植被自动提取神经网络模型，更适配于遥感影像中的复杂类型的典型植被要素对象。本发明基于植被要素提取任务中上下文信息碎片化和边缘分割精度较低两个问题，采用传统机器学习方法预处理训练数据集，保留高分辨率遥感影像中详细空间信息；采用适配上下文推理的方式考虑遥感影像上各类典型地形要素目标对象的空间上下文信息和深层次的语义信息，构建植被像素及其邻域像素之间的语义一致性；采用植被敏感特征聚焦感知模块，有效缓解类内差异变大同时类间差异变小的问题。本发明的有益效果是：本发明避免了传统的要素提取方法中人工设计特征的繁琐步骤，实现了“端对端”的操作；结合已有逐像素的传统遥感影像分类结果的详细空间信息，和基于深度学习的要素提取结果的边界完整性，提升最终的植被要素提取精度。
附图说明
图1为本发明实施例的训练阶段流程图；
图2为本发明实施例的测试阶段流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
参见图1和图2，本发明实施例提供的一种基于敏感特征聚焦感知的高分辨遥感影像植被提取方法，包括以下步骤：
步骤1，采用机器学习算法对卫星影像进行处理，制作深度学习所需的植被训练标签影像；
本发明可根据植被要素提取应用问题的不同需求，自适应地提取中高分辨率卫星遥感影像(HRRSI)中的典型植被要素。
步骤1可以包括以下子步骤：
步骤1.1，采用归一化差分植被指数特征，基于K均值聚类算法和最大类间方差阈值分割(OTSU)算法，对影像进行植被的二元分类；
步骤1.2，随机采样数量相当的植被与非植被样本，训练SVM分类器并迭代精化，获取植被要素提取任务所需的深度学习训练标签影像。
本发明实施例优选采用的标签影像制作具体实现包括以下子步骤：
步骤1.1，输入高分辨率遥感影像，读取影像波段数和对应波段光谱响应值，根据近红外波段和红光波段响应值之差比上两者之和，计算全景影像归一化差分植被指数，具体实施时可以输入多张影像进行批量处理；
步骤1.2，设置K均值聚类算法和最大类间方差阈值分割(OTSU)算法参数，对影像进行植被的二元分类，具体实施时同样可以进行批量处理，将二分类前后的影像进行两窗口联动显示，也可以进行重叠显示；
K均值聚类算法和最大类间方差阈值分割算法为现有技术，本发明不予赘述；
步骤1.3，随机采样数量相当的植被与非植被样本，训练SVM分类器并迭代精化，通过训练完成的分类器对步骤1.1得到的影像进行批量处理，获取植被要素提取任务所需的深度学习训练标签影像，具体实施时可以在联动窗口显示采样结果，可切换影像以及人工修改采样点，同样可以使用两窗口联动显示分类器处理前后的影像进行对比；
步骤2，通过裁剪和分割制作训练影像与标签数据集；
具体实施时，可以将HRRSI数据集分割为符合网络训练输入影像尺寸要求的训练影像和标签斑块影像数据集；
考虑到HRRSI的影像尺寸较大、计算机计算性能和存储容量有限，本发明采用了高效的推理方法来提取植被，并显著缓解了裁剪和拼接过程引起的边界效应。由于遥感影像尺寸通常是室内/室外影像尺寸的3-4倍甚至更大，因此需要额外的裁切和拼接步骤，才能获取最终全分辨率的分割预测结果。
本发明实施例的数据集制作具体实现包括以下子步骤：
步骤2.1，在联动窗口上对比观察原始全景影像与对应标签影像，滑动窗口，框选分类较好的区域，也可以直接使用整幅全景影像，根据框选区域裁剪原始影像和相应的标签影像，获取原始的植被训练样本数据集；
步骤2.2，根据语义分割网络设置输入影像的大小将全景影像和对应标签影像分割为固定大小的分割块(实施例采用256*256像素)，即得到训练影像与标签数据集，其中，实施例设置标签1代表植被，标签0代表背景；
步骤3，向现有语义分割网络中耦合适配亲和力场和注意力机制，构建适配上下文推理和植被敏感特征聚焦感知模块，基于步骤2所得训练样本集对语义分割网络进行训练，得到训练后的植被要素提取模型；
本发明实施例的网络训练具体实现包括以下子步骤：
步骤3.1，选择使用的语义分割网络模型(实施例采用Deeplab v3+网络模型)，具体实施时可选择U-net等语义分割网络，选择使用的骨干网络，具体实施时可选择resnet、hrnet等；
步骤3.2，设置适配亲和力场参数，具体实施时可选择自己设置，也可以选择通过部分样本针对植被要素学习最佳参数；
步骤3.3，设置网络参数，将样本集随机分为训练样本集(80％)和验证样本集(20％)然后将训练样本集输入到网络中进行迭代训练，得到训练好的植被要素提取模型；
训练样本集被输入到网络中，基于梯度下降和反向传播算法进行迭代训练；当迭代次数＝T1时，验证样本集来验证被训练集训练的模型，得到验证精度；当迭代次数＝T2，保存模型(T2＝nT1)；
具体实施时，T1和T2的取值也是可由用户预设的网络参数，即可每轮执行T1次迭代，在执行n轮后保存模型。设置网络超参数，具体实施时可采用经验值，如适配上下文推理模块的损失函数的阈值为2，适配上下文推理模块的适配亲和力场尺寸为3、5、7等，基于随机梯度下降和反向传播算法，对语义分割网络进行迭代训练，直到通过验证精度判断模型收敛，保存最优植被要素提取模型。具体实施时，可根据精度函数曲线和损失函数曲线上升及下降情况进行判断，曲线达到平稳时即收敛；
随机梯度下降和反向传播算法为现有技术，本发明不予赘述；
步骤3采用基于适配上下文推理和植被敏感特征聚焦感知的语义分割网络模型进行训练，包括以下子步骤：
步骤3.1，根据部分影像数据和植被要素提取样本，针对植被要素学习最佳适配亲和力场参数；
步骤3.2，基于亲和力场损失函数设置语义分割网络训练参数，进行学习。
本步骤具体实现可优选实现的方案参见《Vegetation Land Use/Land CoverExtraction from High-Resolution Satellite Images Based on Adaptive ContextInference》。为便于实施参考起见，现提供具体说明如下：
适配上下文推理模型参考建模中心像素和邻域像素组合的亲和力场模型，利用像素的光谱信息和在标签空间的语义约束关系，引进适配上下文推理的目标损失函数，自动获取具备空间结构和局部细节的分割段。基于对抗学习的思想，顾及不同语义类别目标对象的实际尺寸，网络适配地针对每个地物类型学习最佳的亲和力场尺寸。从而转换为极小极大问题，在最坏情况的学习场景中，优化语义分割神经网络。适配亲和力场模型将纹理结构表示为以像素为中心的分布式关系集合，建立针对植被要素类型的亲和力场匹配损失函数。为训练植被要素提取神经网络而设计的整体目标损失函数，包含一元监督的交叉熵损失函数和多元监督的适配亲和力场损失函数。
考虑到植被要素目标对象的空间结构特征，无法通过穷尽所有固定的模式，表征不同类型植被特征的内在属性，需要在监督设置下，建立适配的上下文推理模型，促使分割网络适配不同尺寸的目标对象，基于数据驱动的模式识别方法，执行植被的空间结构关系推理。
植被敏感特征聚焦感知模块，通过在卷积神经网络的最高层级的输出特征要素图上，执行特征金字塔注意力模块(Feature pyramid attention(FPA)module)，嵌入不同层次的植被上下文信息，联合全局注意力上采样模块(global attention up-samplingmodule)作为分隔模型的解码部分。在低层级影像特征(图中绿色实线表示)的基础上执行通道约减操作(channel reduction,CR)，在高层级影像特征(图中棕色实线表示)的基础上执行全局平均池化(global average pooling,GA)操作，然后将两者进行基于权重的注意力加权求和，然后级联全局上下文特征和局部上下文特征(图中橙色实线表示)，形成新的上下文特征(图中紫色实线表示)，即植被敏感特征。通道约减操作，实质为对低层级影像特征执行3*3的卷积操作，从而减少从CNN的中间层特征的特征要素图的通道数量，全局平均池化操作，实质为对高层级影像特征执行1*1的卷积操作以及后续的批量归一化操作和ReLU激活函数映射操作，然后对通过低层级影像特征生成的全局上下文特征和通过高层级影像特征生成的局部上下文特征，统一空间维度后执行乘法操作，从而利于局部上下文特征作为权重参数，指导全局上下文特征图中有效信息的聚合，产生加权的低层级的影像特征，然后迭代与后续通过上采样的全局上下文特征，执行权重乘法操作。为避免产生较大的计算负荷，在每个解码层，执行全局的聚焦反卷积操作，将来自CNN的高层级的影像特征作为权重，使得网络聚焦于低层级影像特征中的敏感植被特征，即提取的高层级的全局上下文特征，指导低层级的局部上下文特征的学习，保证最终的上下文特征具备更丰富的定位细节信息。
这种方式通过建立上下文推理模型表征中心像素和其邻域像素之间的语义约束关系以及不同类型植被的空间结构，建模不同尺寸、形状和上下文的植被特征空间结构，解决植被目标的内在属性无法基于固定的空间结构进行表征的问题；通过构建针对不同植被类型的植被敏感特征聚焦感知模块，即包含高层级和低层级语言信息的联合聚焦感知机制，解决植被要素提取过程中类间差异变小和类内差异变大的问题。
本发明通过向基准线方法Deeplab V3+中加入注意力机制和适配亲和力场损失函数，设计了一种基于适配上下文推理和植被敏感特征聚焦感知的高分辨遥感影像植被提取语义分割模型，同时保留影像的空间细节信息和高级语义信息，实现对高分影像不同类型植被区域的端到端的自动提取；避免了传统基于像素的监督分类方法依托大量训练样本和标注的限制，能够适配地提取植被要素，极大程度减少测试影像的预测时间，同时优化植被提取语义推理一致性和空间定位精确性。
步骤4，基于步骤4训练好的语义分割模型进行测试，可以对目标高分遥感影像进行“分割——植被要素提取——拼接——精度评价”，实现对高分辨率遥感影像的植被要素提取；
本发明实施例的基于训练好的语义分割模型，对目标高分遥感影像进行植被要素提取。其具体实现过程如下：
步骤4.1，选择一个或者一批与训练样本数据不重合的全景高分遥感影像，设置分割步长(实施例中为100像素)，将该影像分割为和步骤2分割尺寸相应的(实施例中为256*256像素)的分割块，此时分割块之间具有一定重叠度，可以避免影像边缘预测结果精度较低的影响；
步骤4.2，将全景影像分割块输入到步骤4训练好的语义分割模型中，进行植被要素提取，输出结果；
步骤4.3，对步骤4.2所得分割块的植被提取概率预测图进行拼接，依据投票策略获取加权平均的概率预测结果，其中正方形中的数字表示统计像素的重叠次数，得到最终的全景高分影像预测结果；
权重矩阵对应位置的每个参数由每个统计像素的重叠次数填充，以消除相邻的斑块影像的预测结果不一致而引起的边界效应；
步骤4.4，对步骤4.3所得全景影像植被提取结果进行形态学后处理，以《GB/T33462-2016基础地理信息1:10000地形要素数据规范》《GB/T33183-2016基础地理信息1:50000地形要素数据规范》等作为参考，滤除小斑块，填充空洞，最后进行精度评价和结果可视化。
上述形态学后处理为现有技术，本发明不予赘述；
植被要素提取的可视化结果以二值影像表示，白色(实施例中可视化为R通道显示为红色)代表植被，黑色代表背景。根据地理真实标签(Ground Truth)，可以根据参照图和植被要素提取结果采用语义分割精度评价指标precision、mean_iou、recall、F1_score、Kappa系数等进行精度评价，以检验本发明植被要素提取结果的精度，验证本发明提出的方法的有效性。
具体实施时，可采用计算机软件技术实现以上流程的自动运行。
利用本发明实施例的技术方案进行实验，提取变化检测结果可视化图：
通过植被要素提取结果图以及精度评价对比可确认本发明的有效性。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (6)
1.一种基于敏感特征聚焦感知的高分辨遥感影像植被提取方法，其特征在于：基于加权融合概率映射图进行包括以下步骤，
步骤1，采用机器学习算法对卫星影像进行处理，制作深度学习所需的植被训练标签影像；
实现过程包括以下子步骤，
步骤1.1，采用归一化差分植被指数特征，基于K均值聚类算法和最大类间方差阈值分割算法，对影像进行植被的二元分类；
步骤1.2，随机采样数量相当的植被与非植被样本，训练SVM分类器并迭代精化，获取植被要素提取任务所需的深度学习训练标签影像；
步骤2，根据语义分割网络设置输入影像的大小，通过裁剪和分割制作训练影像与标签数据集；
步骤3，向语义分割网络中耦合适配亲和力场和注意力机制，构建适配上下文推理和植被敏感特征聚焦感知模块，基于步骤2所得训练样本集对语义分割网络进行训练，得到训练后的植被要素提取模型；所述适配上下文推理为耦合适配亲和力场损失函数，植被敏感特征聚焦为融合注意力机制；
步骤4，重复步骤1、2制作待预测区域的测试集，基于步骤3训练好的网络模型，对测试集进行预测，得到预测斑块影像；
基于得到的预测斑块影像，运用加权平均策略进行拼接，恢复该区域裁剪前的分辨率，消除拼接缝效应；
首先选择获取每个小图像斑块的预测概率图，并依据投票策略获取加权平均的概率预测结果，作为最终的预测结果；权重矩阵对应位置的每个参数由每个统计像素的重叠次数填充，以消除相邻的斑块影像的预测结果不一致而引起的边界效应。
2.根据权利要求1所述基于敏感特征聚焦感知的高分辨遥感影像植被提取方法，其特征在于：步骤3采用适配上下文推理模块，其构建如下，
适配上下文推理模型参考建模中心像素和邻域像素组合的亲和力场模型，利用像素的光谱信息和在标签空间的语义约束关系，引进适配上下文推理的目标损失函数，自动获取具备空间结构和局部细节的分割段；基于对抗学习的思想，顾及不同语义类别目标对象的实际尺寸，网络适配地针对每个地物类型学习最佳的亲和力场尺寸；从而转换为极小极大问题，在最坏情况的学习场景中，优化语义分割神经网络；适配亲和力场模型将纹理结构表示为以像素为中心的分布式关系集合，建立针对植被要素类型的亲和力场匹配损失函数。
3.根据权利要求1所述基于敏感特征聚焦感知的高分辨遥感影像植被提取方法，其特征在于：步骤3采用植被敏感特征聚焦感知模块，其构建如下，
植被敏感特征聚焦感知模块，通过在卷积神经网络的最高层级的输出特征要素图上，执行特征金字塔注意力模块，嵌入不同层次的植被上下文信息，联合全局注意力上采样模块作为分隔模型的解码部分；在低层级影像特征的基础上执行通道约减操作，在高层级影像特征的基础上执行全局平均池化操作，然后将两者进行基于权重的注意力加权求和，然后级联全局上下文特征和局部上下文特征，形成新的上下文特征，即植被敏感特征。
4.根据权利要求1或2或3所述基于敏感特征聚焦感知的高分辨遥感影像植被提取方法，其特征在于：耦合适配上下文推理的语义分割网络的损失函数由一元监督的交叉熵损失函数和多元监督的亲和力场损失函数组成。
5.根据权利要求1或2或3所述基于敏感特征聚焦感知的高分辨遥感影像植被提取方法，其特征在于：整体植被要素提取模型包含语义分割模型Deeplab v3+、植被敏感特征聚焦感知模块和适配亲和力场损失函数模型。
6.根据权利要求1或2或3所述基于敏感特征聚焦感知的高分辨遥感影像植被提取方法，其特征在于：对耦合亲和力场模型和注意力机制的语义分割网络进行训练时，结合了已有逐像素的传统遥感影像分类结果的详细空间信息，和基于深度学习的要素提取结果的边界完整性，提升最终的植被要素提取精度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110540249.1A CN113609889B (zh) | 2021-05-18 | 2021-05-18 | 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110540249.1A CN113609889B (zh) | 2021-05-18 | 2021-05-18 | 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113609889A CN113609889A (zh) | 2021-11-05 |
| CN113609889B true CN113609889B (zh) | 2024-02-13 |
Family
ID=78336467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110540249.1A Active CN113609889B (zh) | 2021-05-18 | 2021-05-18 | 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113609889B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937204B (zh) * | 2022-04-29 | 2023-07-25 | 南京信息工程大学 | 一种轻量级多特征聚合的神经网络遥感变化检测方法 |
| CN114648706B (zh) * | 2022-05-23 | 2022-07-29 | 四川嘉普信工程技术咨询有限公司 | 基于卫星遥感影像的森林树种识别方法、装置及设备 |
| CN115049936B (zh) * | 2022-08-12 | 2022-11-22 | 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) | 一种面向高分遥感影像的边界增强型语义分割方法 |
| CN115239750B (zh) * | 2022-09-19 | 2022-12-20 | 江西师范大学 | 计算人工植被恢复适宜性方法、系统及计算机 |
| CN116129280B (zh) * | 2023-04-17 | 2023-07-14 | 北京数慧时空信息技术有限公司 | 一种遥感影像雪检测的方法 |
| CN116704345B (zh) * | 2023-06-09 | 2024-01-23 | 中国科学院地理科学与资源研究所 | 植被提取方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409263A (zh) * | 2018-10-12 | 2019-03-01 | 武汉大学 | 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法 |
| EP3614308A1 (en) * | 2018-08-24 | 2020-02-26 | Ordnance Survey Limited | Joint deep learning for land cover and land use classification |
| CN111476170A (zh) * | 2020-04-09 | 2020-07-31 | 首都师范大学 | 一种结合深度学习和随机森林的遥感影像语义分割方法 |
| CN111931602A (zh) * | 2020-07-22 | 2020-11-13 | 北方工业大学 | 基于注意力机制的多流分段网络人体动作识别方法及系统 |
| CN112183258A (zh) * | 2020-09-16 | 2021-01-05 | 太原理工大学 | 一种基于上下文信息和注意力机制的遥感图像道路分割方法 |
-
2021
- 2021-05-18 CN CN202110540249.1A patent/CN113609889B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3614308A1 (en) * | 2018-08-24 | 2020-02-26 | Ordnance Survey Limited | Joint deep learning for land cover and land use classification |
| CN109409263A (zh) * | 2018-10-12 | 2019-03-01 | 武汉大学 | 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法 |
| CN111476170A (zh) * | 2020-04-09 | 2020-07-31 | 首都师范大学 | 一种结合深度学习和随机森林的遥感影像语义分割方法 |
| CN111931602A (zh) * | 2020-07-22 | 2020-11-13 | 北方工业大学 | 基于注意力机制的多流分段网络人体动作识别方法及系统 |
| CN112183258A (zh) * | 2020-09-16 | 2021-01-05 | 太原理工大学 | 一种基于上下文信息和注意力机制的遥感图像道路分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 深度卷积神经网络支持下的遥感影像语义分割;谢梦;刘伟;李二珠;杨梦圆;王晓檀;;测绘通报(第05期);36-42 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113609889A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113609889B (zh) | 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法 | |
| US10984532B2 (en) | Joint deep learning for land cover and land use classification | |
| Wen et al. | Change detection from very-high-spatial-resolution optical remote sensing images: Methods, applications, and future directions | |
| CN111767801B (zh) | 一种基于深度学习的遥感影像水域自动提取方法及系统 | |
| Shendryk et al. | Deep learning for multi-modal classification of cloud, shadow and land cover scenes in PlanetScope and Sentinel-2 imagery | |
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| de Pinho et al. | Land-cover classification of an intra-urban environment using high-resolution images and object-based image analysis | |
| Sirmacek et al. | Urban-area and building detection using SIFT keypoints and graph theory | |
| Ünsalan et al. | A system to detect houses and residential street networks in multispectral satellite images | |
| Aytekın et al. | Unsupervised building detection in complex urban environments from multispectral satellite imagery | |
| Lu et al. | Multi-scale strip pooling feature aggregation network for cloud and cloud shadow segmentation | |
| CN113343789A (zh) | 一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法 | |
| Mohajerani et al. | Cloud and cloud shadow segmentation for remote sensing imagery via filtered jaccard loss function and parametric augmentation | |
| CN113239736B (zh) | 一种基于多源遥感数据的土地覆盖分类标注图获取方法 | |
| Zhan et al. | Vegetation land use/land cover extraction from high-resolution satellite images based on adaptive context inference | |
| Jiang et al. | Intelligent image semantic segmentation: a review through deep learning techniques for remote sensing image analysis | |
| Kurtz et al. | Multi-resolution region-based clustering for urban analysis | |
| Dibs et al. | Multi-fusion algorithms for detecting land surface pattern changes using multi-high spatial resolution images and remote sensing analysis | |
| CN114494821A (zh) | 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 | |
| Malik et al. | Computer vision models for comparing spatial patterns: understanding spatial scale | |
| Van de Voorde et al. | Extraction of land use/land cover related information from very high resolution data in urban and suburban areas | |
| Li et al. | A new combination classification of pixel-and object-based methods | |
| CN116645592A (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN113569772A (zh) | 遥感影像耕地实例掩膜提取方法及系统、设备、存储介质 | |
| Nikfar et al. | Optimization of multiresolution segmentation by using a genetic algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |