CN114943902A - 基于多尺度特征感知网络的城市植被无人机遥感分类方法 - Google Patents

基于多尺度特征感知网络的城市植被无人机遥感分类方法 Download PDF

Info

Publication number
CN114943902A
CN114943902A CN202210330867.8A CN202210330867A CN114943902A CN 114943902 A CN114943902 A CN 114943902A CN 202210330867 A CN202210330867 A CN 202210330867A CN 114943902 A CN114943902 A CN 114943902A
Authority
CN
China
Prior art keywords
feature
network
vegetation
resolution
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210330867.8A
Other languages
English (en)
Inventor
杨辉
王彪
吴艳兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202210330867.8A priority Critical patent/CN114943902A/zh
Publication of CN114943902A publication Critical patent/CN114943902A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00—Adapting or protecting infrastructure or their operation
    • Y02A30/60—Planning or developing urban green infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及无人机遥感分类技术领域，涉及一种基于多尺度特征感知网络的城市植被无人机遥感分类方法，包括：一、对采集的照片进行拼接、校正处理生成无人机正射影像；二、采用目视解译方法构建植被样本数据集；三、基于HRNet网络构建了多尺度特征感知深度神经网络MFDN植被分类模型，训练数据集至模型拟合效果最佳，选取最优模型进行预测并进行精度评价，最终得到城市植被分类结果图，实现无人机遥感城市植被快速调查。本发明在网络输入层引入坐标卷积减少空间信息的丢失，构建多层并行网络增强尺度信息，减少细节特征的丢失，同时利用分离特征模块，扩大感受野并获取多尺度特征信息，有效缓解了植被漏分、错分现象，提高了分类精度。

Description

基于多尺度特征感知网络的城市植被无人机遥感分类方法
技术领域
本发明涉及无人机遥感分类技术领域，具体地说，涉及一种基于多尺度特征感知网络的城市植被无人机遥感分类方法。
背景技术
植被影响和制约着城市景观格局和生态系统服务功能，是城市关键的组成部分，与城市密切相关。城市植被是城市生态系统的主要载体，它具有防沙除尘、涵养水源以及缓解城市热岛效应等功能，维持着城市生态系统和人类生活环境的质量，对城市的可持续发展起着至关重要的作用。如何准确有效的对城市植被类型进行划分对于保护城市生态环境和规划城市生态资源具有重要意义。
传统的植被分类主要以地面实测调查为主，在地形相对简单、植被覆盖面积小的区域分类效果较好，但在地形较为复杂、植被覆盖面积大的区域此方法调查成本高且费时费力，因此无法对地形复杂的城市区域中的植被类型进行快速划分。
随着遥感技术的快速发展，卫星遥感已成为植被分类和遥感技术的研究热点之一，不仅提高了城市生态资源调查的速度和精度，也有效降低了调查成本。通过卫星遥感可以获取大尺度范围的植被分布情况，利于全面的植被动态监测和资源调查。但卫星遥感空间分辨率较低、寻访周期长且易受天气条件限制，无法满足高精度城市生态资源调查的需求。与卫星遥感相比，无人机能够获取更高分辨率的影像，具有造价低廉、灵活性高、机动性能强等独特优势，能适应各种复杂的地形且不易受环境因素的影响，时效性高，其生成的正射影像及产品拥有丰富的空间信息和纹理信息，因此能够提取更多的植被细节信息，为城市植被分类提供了更多的数据。在地形复杂的城市地区，无人机遥感能够获取丰富全面的植被空间分布状况，在城市植被分类方面具有更多优势，弥补了地面实测调查与卫星遥感的不足，促进高效精确的城市植被分类与城市空间规划，逐渐成为生态资源调查、生态环境评价与环境监测的新方法。
传统的遥感影像植被分类方法按其最小分类单元可分为基于像元分类与基于对象分类。基于像元的分类方法是以每个像元作为最小的分类单元并通过分类算法建立分类模型，进行植被分类，该方法多用于低分辨率影像。相比之下，高分辨率影像中的植被特征更加复杂多样，基于像元的方法仅根据光谱信息作为分类特征，没有考虑像元周围的上下文和特征信息，存在“同物异谱，同谱异物”现象。基于对象的分类方法能够更好地使用形状和拓扑增强图像空间信息，利用影像的光谱、纹理、形状等信息，结合不同空间尺度的多尺度分割将影像分为多个斑块并以此分割后的对象作为基本分类单元，增强了分类对象的空间信息，提高了分类精度，在高分辨率遥感植被分类中取得了较好的应用，有效缓解了基于像元分类方法中存在的椒盐现象问题。然而，该方法需要预先设定分割尺度，分割尺度选择不当会影响植被分类结果细碎以及像元混分，对分类精度产生影响。相比之下，机器学习算法作为一种实现人工智能的方法，使用算法解析数据并从中筛选冗余特征后学习更加有用的特征信息，然后提取遥感影像中的信息进行预测并分类，为植被分类任务提供了一种新的有效方法。然而，机器学习存在一定的局限性，例如模型调整参数复杂，依赖复杂的特征工程、忽略了样本之间的时空关系，模型容易过拟合且泛化性较差。
近年来，深度学习方法得到迅速发展，作为机器学习领域最重要的一个分支，它在植被的图像分类中已被广泛应用。深度学习方法能够从浅层的特征中自动的学习具有更高抽象性和语义性的深层特征，能更有效的对无人机影像中植被进行自动分类。目前基于深度学习的植被分类方法主要有基于卷积神经网络(CNN)和全卷积神经网络(FCN)的植被分类方法。CNN能够分析图像中相邻像素的上下文信号，充分利用光谱、纹理等信息，更好地提取分类特征，实现复杂的图像分类问题。但CNN存在训练速度慢、收敛精度低以及易受局部最优解等问题影响，其中的全连接层会限制输入影像尺寸并且对细粒度植被目标提取和判别分类能力不足，具有一定的局限性。而FCN使用标准卷积层替换了CNN中最后的全连接层，不受输入影像尺寸限制，在上采样时通过解码或插值将特征图恢复到原始输入影像分辨率，对图像进行语义分割并保留了细节特征，显著提高了图像分类的精度，因此被广泛应用于植被语义分割。然而上采样过程会不可避免的造成空间信息的丢失，模糊边界，使得分割结果粗糙。虽然上述方法都尝试将深度学习用于植被分类工作中，并取得了不错的分类效果。但由于不同植被间的特征相近、光谱相似，很难获取准确信息来精确定位植被类别，使得上述方法的分类结果存在严重的植被漏分、错分现象。
发明内容
本发明的内容是提供一种基于多尺度特征感知网络的城市植被无人机遥感分类方法，其能够克服现有技术的某种或某些缺陷。
根据本发明的一种基于多尺度特征感知网络的城市植被无人机遥感分类方法，其包括以下步骤：
一、对采集的照片进行拼接、校正处理生成无人机正射影像；
二、采用目视解译的方法构建植被样本数据集；
三、基于HRNet网络构建了多尺度特征感知深度神经网络MFDN植被分类模型，训练数据集至模型拟合效果最佳，选取最优模型进行预测并进行精度评价，最终得到城市植被分类结果图，实现无人机遥感城市植被快速调查。
作为优选，多尺度特征感知深度神经网络MFDN中，在网络输入层引入坐标卷积；在垂直方向上利用下采样过程拓宽网络，通过多支并行连接的子网络融合多尺度特征连接高分辨率与低分辨率，保留不同分辨率的特征信息；进行重复多尺度特征融合，每支网络的高到低分辨率表示能够接收来自并行的子网络信息，在整个过程中保持高分辨率的表示；在每个分支网络中添加了密集连接模块；在底层网络中结合分离特征模块并更改空洞卷积的空洞率获取不同尺度上的细节信息。
作为优选，多尺度特征感知深度神经网络MFDN中，影像输入网络后通过下采样操作降低特征图大小，在每一个密集连接模块后，都对特征图进行一次下采样操作，每次生成的特征图通过分支网络保持相同分辨率，利用密集连接模块对特征进行提取复用，总共生成4支网络；每支网络通过特征融合能够接收其他分支网络的特征信息；通过连续上采样操作将后3支网络提取的特征图恢复到第1分支网络的大小，通过上采样操作将4支网络合并的特征图恢复到原始影像分辨率，最后使用softmax分类器输出分割结果。
作为优选，多尺度特征感知深度神经网络MFDN中，DenseNet中的密集连接模块具有强大的特征提取与复用能力，密集连接模块通过密集连接方式将前一层的特征叠加映射传递给后续其它层，每层都会与前面所有层在通道维度上通过拼接方式连接在一起，能够将多个特征进行组合，减少参数量并增强特征重用；因此，L层深度的网络中，网络具有L×(L+1)/2个连接；密集连接模块的表达式如下：
XL＝HL([X0,X1,X2,…,XL-1])
式中：XL表示L层的输出特征图；[X0,X1,X2,…,XL-1]表示L层前面所有层的特征映射的连接；HL是非线性变换函数，包含批标准化层、整流线性单元ReLU、droput层以及3×3卷积层；密集连接模块之间通过转置层Transitionlayer连接。
作为优选，坐标卷积通过使用额外的坐标通道，在卷积过程中能够获取目标的输入坐标，提取目标特征中的空间位置信息作为额外的通道与原始的特征进行连接；
通道是为i坐标和j坐标准备的，对额外坐标进行相应的线性变换，使i坐标和j坐标在[-1,1]范围内归一化，如有必要，使用第三个通道来表示r坐标，以处理额外情况；r坐标的计算方式如下：
Figure BDA0003573020930000041
式中：h和w分别为特征图尺寸的高和宽，i和j表示基本坐标。
作为优选，重复多尺度特征融合分为3种交互模块，每个交互模块由3个并行的卷积单位组成，并行网络之间有一个交互模块；
第一种交互模块是保持高分辨率特征图不变，通过1×1卷积保持低分辨率特征和高分辨率特征具有相同维度，采用最近邻上采样生成相同大小的高低分辨率特征图并将二者通道进行叠加，最后输出特征；
第二种交互模块是保持中分辨率特征图不变，通过最近邻上采样将低分辨率特征图还原到高分辨率特征图大小，使用3×3卷积将高分辨率特征图通过下采样降维至中分辨率特征图，将高、中、低分辨率特征图通道进行叠加，最后输出特征；
第三种交互模块是保持低分辨率特征图不变，使用3×3卷积将高分辨率特征图通过下采样降维至低分辨率特征图，将二者通道进行叠加，最后输出特征。
作为优选，分离特征模块用空洞率分别为3、6、9的可分离空洞卷积提取特征，扩大感受野，减少参数。
本发明设计了一种基于高分辨率网络(High-Resoultion,HRNet)改进的多尺度特征感知网络。在网络输入层引入坐标卷积减少空间信息的丢失，构建多层并行网络增强尺度信息，减少细节特征的丢失，同时利用分离特征模块，扩大感受野并获取多尺度特征信息，有效缓解了植被漏分、错分现象，提高了分类精度。
附图说明
图1为实施例1中一种基于多尺度特征感知网络的城市植被无人机遥感分类方法的流程图；
图2为实施例1中MFDN网络结构示意图；
图3为实施例1中普通卷积与坐标卷积对比示意图；
图4为实施例1中普通卷积层与坐标卷积层比较结果示意图；
图5为实施例1中特征信息交互示例图；
图6为实施例1中重复多尺度融合3种形式的示意图；
图7为实施例1中分离特征模块的示意图；
图8为实施例1中实验所用无人机影像数据示意图；
图9为实施例1中植被分类样本示例图；
图10为实施例1中研究区B植被分类结果示意图；
图11为实施例1中研究区C植被分类结果示意图；
图12为实施例1中研究区D植被分类结果示意图；
图13为实施例1中测试区域混淆矩阵的示意图；
图14为实施例1中不同深度学习方法在研究区B植被分类结果示意图；
图15为实施例1中不同深度学习方法在研究区C植被分类结果示意图；
图16为实施例1中不同深度学习方法在研究区D植被分类结果示意图；
图17为实施例1中不同深度学习方法在研究区B植被分类结果细节展示示意图；
图18为实施例1中不同深度学习方法在研究区C植被分类结果细节展示示意图；
图19为实施例1中不同深度学习方法在研究区D植被分类结果细节展示示意图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
实施例1
如图1所示，本实施例提供了一种基于多尺度特征感知网络的城市植被无人机遥感分类方法，其包括以下步骤：
一、对采集的照片进行拼接、校正处理生成无人机正射影像；
二、采用目视解译的方法构建植被样本数据集；
三、基于HRNet网络构建了多尺度特征感知深度神经网络MFDN植被分类模型，训练数据集至模型拟合效果最佳，选取最优模型进行预测并进行精度评价，最终得到城市植被分类结果图，实现无人机遥感城市植被快速调查。
网络结构
现有的全卷积神经网络多采用编码和解码架构组成，通过编码结构提取输入影像中的多尺度特征，利用解码结构将特征图恢复到原始图像分辨率，但连续的池化和上采样操作也在一定程度上造成了细节信息的丢失。针对这一问题，本实施例设计了一种多尺度特征感知深度神经网络(Multiscalefeatureperceptiondepthneuralnetwork,MFDN)，在网络输入层引入坐标卷积，突出细节信息并加强边界信息的同时有效减少了特征损失；在垂直方向上利用下采样过程拓宽网络，通过多支并行连接的子网络融合多尺度特征等方式连接高分辨率与低分辨率，保留不同分辨率的特征信息；进行重复的多尺度特征融合，每支网络的高到低分辨率表示能够接收来自并行的子网络信息，在整个过程中保持高分辨率的表示；在每个分支网络中添加了密集连接模块，有效缓解梯度消失现象并减少了参数量，加强对特征的提取与复用；在底层网络中结合分离特征模块并更改空洞卷积的空洞率获取不同尺度上的细节信息。本实施例设计的MFDN能够在整个过程中保持高分辨率的表示，充分获取多尺度信息，有效提高了植被分类精度，本实施例网络结构如图2所示。影像输入网络后通过下采样操作降低特征图大小，在每一个密集连接模块后，都对特征图进行一次下采样操作，每次生成的特征图通过分支网络保持相同分辨率，利用密集连接模块对特征进行提取复用，总共生成4支网络。每支网络通过特征融合能够接收其他分支网络的特征信息。通过连续上采样操作将后3支网络提取的特征图恢复到第1分支网络的大小，通过上采样操作将4支网络合并的特征图恢复到原始影像分辨率，最后使用softmax分类器输出分割结果。
作为各分支网络中的主体结构，DenseNet中的密集连接模块具有强大的特征提取与复用能力，普通卷积网络在L层会产生L个连接，但密集连接模块通过密集连接方式将前一层的特征叠加映射传递给后续其它层，每层都会与前面所有层在通道维度上通过拼接方式连接在一起，能够将多个特征进行组合，减少参数量并增强特征重用；因此，L层深度的网络中，网络具有L×(L+1)/2个连接；密集连接模块的表达式如下：
XL＝HL([X0,X1,X2,…,XL-1])
式中：XL表示L层的输出特征图；[X0,X1,X2,…,XL-1]表示L层前面所有层的特征映射的连接；HL是非线性变换函数，包含批标准化层、整流线性单元(ReLU)、droput层以及3×3卷积层；密集连接模块之间通过转置层(Transitionlayer)连接，减少了过渡层的特征图数量，使网络训练更加快速高效。
坐标卷积模块
普通卷积无法有效提取空间特征位置信息，因为缺少输入特征的坐标信息会导致连续的卷积运算在多个尺度上丢失大量的空间位置信息，尤其是边界信息和细小的特征信息。因此，提出了一个坐标转换模块用以解决普通卷积难以实现坐标变换的问题。坐标卷积通过使用额外的坐标通道，在卷积过程中能够获取目标的输入坐标，提取目标特征中的空间位置信息作为额外的通道与原始的特征进行连接；
通常情况下，通道是为i坐标和j坐标准备的，对额外坐标进行相应的线性变换，使i坐标和j坐标在[-1,1]范围内归一化，能够有效的存储输入特征图中的空间信息。
如有必要，使用第三个通道来表示r坐标，以处理额外情况；r坐标的计算方式如下：
Figure BDA0003573020930000081
式中：h和w分别为特征图尺寸的高和宽，i和j表示基本坐标。因此，在输入层引入坐标卷积能够使网络有效的提取不同特征的空间信息，有效消除特征丢失尤其是边界信息的损失，增强植被分割时对边界范围的确定。坐标卷积模块如图3所示，图中，h、w、c分别为输入特征的高、宽、通道数，h1、w1、c1分别为卷积后的高、宽、通道数。
与普通卷积层不同的是坐标卷积使用额外的通道作为输入，可以保留目标的水平和垂直像素的信息，坐标卷积可以作为一个空间注意单元用来获取空间位置信息。因此，网络通过坐标卷积运算后可以输出包含更多细节的特征图。坐标卷积与普通卷积相比，有效消除边界信息的损失，突出了细节特征，更利于像素级的语义分割。如图4显示，坐标卷积可以减少边界信息损失，降低各个分割类别的内部可变性。
重复多尺度特征融合模块
在并行的网络之间引入了重复多尺度融合模块，使得每个子网络都能够重复的接收来自其他并行分支网络的特征信息，在整个过程中保持高的分辨率表示。重复多尺度特征融合分为3种交互模块，每个交互模块由3个并行的卷积单位组成，并行网络之间有一个交互模块；特征信息交互示例如图5所示，图中，
Figure BDA0003573020930000091
表示第s级中第b模块的第r个分辨率中的卷积单位，
Figure BDA0003573020930000092
表示相应的交互单位。
该模块的3个交互模块的表现形式如图6所示。第一种交互模块是保持高分辨率特征图不变，通过1×1卷积保持低分辨率特征和高分辨率特征具有相同维度，采用最近邻上采样生成相同大小的高低分辨率特征图并将二者通道进行叠加，最后输出特征；
第二种交互模块是保持中分辨率特征图不变，通过最近邻上采样将低分辨率特征图还原到高分辨率特征图大小，使用3×3卷积将高分辨率特征图通过下采样降维至中分辨率特征图，将高、中、低分辨率特征图通道进行叠加，最后输出特征；
第三种交互模块是保持低分辨率特征图不变，使用3×3卷积将高分辨率特征图通过下采样降维至低分辨率特征图，将二者通道进行叠加，最后输出特征。
分离特征模块
FCN网络结构虽然能够实现端到端的逐像素语义分割，但在下采样过程中连续的卷积和池化操作会导致空间信息的损失。空洞卷积可以有效的避免空间特征的丢失并扩大感受野，提高对多尺度特征信息的提取。但连续的空洞卷积操作会造成“网格效应”，丢失一定的空间信息，而空洞空间金字塔(AtrousSpatialPyramidPooling,ASPP)可以有效降低信息的丢失并获取多尺度特征信息。然而在扩大感受野的同时也不可避免的增加了参数量。因此，使用可分离卷积代替原始卷积，分离特征模块用空洞率分别为3、6、9的可分离空洞卷积提取特征，不仅扩大了感受野而且减少了参数，提高了网络效率以及精度。分离特征模块如图7所示。
数据获取
本实施例实验选用无人机作为实验飞行平台，搭载可见光相机，相机包括红色(660nm)、绿色(560nm)、蓝色(475nm)波段。飞行在晴朗无风的天气条件下进行，选择在上午10时至下午2时进行图像采集。采用悬停垂直向下方式进行图像拍摄，共获得4幅不同地区的无人机影像，如图8所示。详细的飞行参数信息如表1所示。针对目前城市植被覆盖程度存在一定差异，北方地区植被覆盖度相对较低，而南方地区植被覆盖度较高，因此本实施例选择植被类型相似但覆盖度不同的四个城市区域作为研究区A、B、C、D，分别为安徽大学校区、江苏海洋大学校区、山东日照地区以及苏州吴江区。其中研究区A的植被符合城市植被类型且植被覆盖度最高，满足模型的数据需求，因此将其作为训练数据。选择其他3个不同植被覆盖度的城市区域作为测试数据，用于验证实验。其中研究区B植被覆盖程度与训练区域基本一致，而研究区D的植被覆盖度次之，研究区C最低。
表1无人机飞行参数
Figure BDA0003573020930000101
数据处理及数据集构建
对所获得的无人机影像进行数据预处理，将采集得到的照片导入无人机处理软件中，进行质量检查，剔除无用影像，导入POS信息后进行图像拼接以及正射校正。为保证生成的影像质量，选择进行空三加密生成密集点云并通过自动空中三角测量生成网格和纹理，获得高精度的正射影像，像素空间分辨率为0.03m。
实验以研究区A为样本数据，结合高分辨率无人机影像，采用目视解译的方法构建植被样本数据，将植被分为草地、灌丛(包括灌木)、乔木以及其他。以各类型植被轮廓为边界勾画植被矢量数据生成标签数据。将影像和标签以顺序裁剪方式按照512像素×512像素大小进行分割，由于数据量较少，以顺时针旋转90°的方式将数据进行增强，增加样本数量防止过拟合问题，最终生成20507张影像。将得到的数据按4:1的比例随机分为训练集与验证集，其中训练集16406张用于模型训练，验证集4101张用于调整超参数并评估模型。样本示例如图9所示。
实验与分析
实验设置
本实施例以TensorFlow作为深度学习框架，实验开发平台为JetBrainsPyCharm2020，所用程序语言为Python，版本为3.6.5。所有模型均运行在Windows10的64位操作系统上，硬件配置为InterXeonGold6148CPU和NvidiaTeslaV100-PCIE(16GB)显卡以及256GB内存。本实施例实验采用了语义分割领域常用的交叉熵损失函数并选择Adam作为网络优化算法。为了使训练过程中网络能够快速有效的收敛，采用分段常数衰减设置学习率并设置初始学习率为1e-3，每15个轮次学习率自动调整下降10倍。每一轮迭代次数为8000，批次大小设置为2，正则化系数为1e-3，轮数为100轮。
精度评价
为量化植被分类结果，采用语义分割方法中常用的精度评价指标：总体精度(OverallAccuracy)、F1分数和交并比(IOU)以及平均交并比(MeanIOU)来评价整体分割结果。OA是评价分割精度的整体指标，是指正确识别到的植被与非植被像素个数之和与影像中所有像素总数的比值；F1得分是通过精确度(Precision)和召回率(Recall)计算得到的综合评价指标；IOU是模型分割结果与目视解译真实值在交集上的并集；MeanIOU是目视解译真实值和分割结果的交集和并集比值的平均值，是每一类植被的IOU求和之后得到的平均值。上述评价指标的公式如下：
Figure BDA0003573020930000111
Figure BDA0003573020930000112
Figure BDA0003573020930000121
Figure BDA0003573020930000122
Figure BDA0003573020930000123
式中：TP表示真阳性；FP表示假阳性；TN表示真阴性；FN表示假阴性；k表示分割k类植被。
实验结果
3个测试区域的预测结果都显示在图10-12中。从结果中可以看出，研究区B与研究区D的分割结果更加完整，具有较好的分类结果，虽然受菜地、田地以及耕地影响，其光谱特征与所分类植被相似，导致分割结果出现了少量错分现象，但整体上植被能与其他地物完整的分开，各类型植被均有不错的分割效果，与目视解译结果接近。而研究区C影像由于未进行空三解密生成密集点云，拼接后影像植被部分出现畸变和偏移问题，降低了分割精度，但与目视解译对比，整体分割结果较为完整。为了定量评估每类植被分割结果，表2列出了测试区域的结果精度，所有测试区域的平均总体精度为89.54％，所有测试区域的平均F1得分为75.85％，每类植被都具有不错的分割精度。实验结果表明，本实施例设计的MFDN方法结合高分辨率无人机可见光影像对城市植被具有较好的语义分割结果。
表2所有测试区域的平均总体精度和平均F1得分(％)
Figure BDA0003573020930000124
IOU能够衡量分类结果与目视解译结果2个区域的重叠度，是2个区域重叠部分的面积占二者总面积的比例。为了有效评估本实施例方法对城市植被分类对象形状和面积的检测，使用IOU评价指标评估分类结果，结果如表3所示。从表3中可以看出IOU的结果要低于基于像素的结果，这表明在度量植被分类结果上各评价指标之间也存在不同程度的差异，IOU指标更适用于评估被分类对象的形状和面积。
表3所有测试区域的IOU和MeanIOU结果(％)
Figure BDA0003573020930000131
此外，本实施例使用混淆矩阵结合总体精度和Kappa系数等指标对所有测试区域的分类结果进行定量评价，结果见图13和表4—表6。可以看出每幅测试图像的混淆矩阵都具有较好的表现，生产者精度(PA)与用户精度(UA)都有较高的结果。在混淆矩阵的结果中，乔木的分类结果最好，草地次之，灌丛的分类结果最差，这与表2和表3呈现的结果具有一致性。
表4研究区B混淆矩阵精度评价(％)
Figure BDA0003573020930000132
表5研究区C混淆矩阵精度评价(％)
Figure BDA0003573020930000133
表6研究区D混淆矩阵精度评价(％)
Figure BDA0003573020930000134
Figure BDA0003573020930000141
方法对比分析
本实施例设计了一种基于HRNet网络改进的多尺度特征感知网络，实现了无人机可见光影像城市植被自动分类。为了验证该方法在城市植被分类上的优越性，在相同条件下使用了Segnet、Bisenet以及DeeplabV3+三种先进的语义分割网络进行对比分析。
图14-16分别将本实施例方法与其他深度学习方法在3个测试区域进行了比较，对整体效果的识别结果定性分析表明，就目标边界的完整性而言，由于引入坐标卷积模块，不仅能够减少边界信息的丢失，而且能够突出细节特征，所以MFDN的结果显示出比任何其他方法更好的性能；重复多尺度融合模块使得每个子网络都能够重复的接收来自其他并行分支网络的特征信息，保留不同分辨率的特征信息，更有效的提取植被特征，提高了植被分类的一致性；分离特征模块能够扩大感受野并对多尺度特征高效提取，提高了植被分类精度，使得本实施例设计的MFDN方法的植被分割结果更加完整和精确。而Segnet、Bisenet和DeeplabV3+没有顾及空间信息和感受野之间的权衡，很难综合考虑浅层语义信息和复杂高层信息，因此，Segnet、Bisenet和DeeplabV3+方法有更多的漏分、错分和过度分割，如图14-16所示。结果表明，通过减少空间信息的损失并扩大对多尺度特征的感知，可以有效的对植被进行分割，减少错误分类。为了量化设计的MFDN方法与Segnet、Bisenet和DeeplabV3+方法之间的结果，表7和表8列出了这些方法的分割精度。MFDN方法在多项评价指标上都高于其他方法，MFDN在3个测试影像上的平均OA、平均F1和平均IOU分别高出其他方法中效果最好的DeeplabV3+方法2.32％、5.17％、3.90％，表明本实施例方法在高分辨率无人机光学影像城市植被分类方面具有很好的分类效果。
表7不同深度学习方法在3个测试区域的OA和F1结果(％)
Figure BDA0003573020930000142
Figure BDA0003573020930000151
表8不同深度学习方法在3个测试区域的IOU结果(％)
Figure BDA0003573020930000152
由图17-19的细节展示可以看出，MFDN几乎在所有的测试图像中都取得了较好的分割效果，分割的结果非常完整，Segnet、Bisenet和DeeplabV3+的结果都存在误分类和破碎现象，本实施例方法分割结果的完整性和通用性优于这3种方法。从图17-19的浅蓝色标记框中可以看出，Segnet分割结果破碎严重并且有明显的误分类，由于Segnet网络结构比较简单，特征提取能力不足且分类没有考虑像素之间的关系，通过下采样直接还原得到的特征图比较粗糙，对复杂的植被特征感知能力不足，导致Segnet难以提取多尺度的植被信息；DeeplabV3+与Segnet相比，虽然整体的分割效果相对较好，但由于空洞卷积带来的“网格效应”会造成上下文信息的丢失，所以分割结果存在漏分现象并且边界出现了明显的背景误分；Bisenet作为轻量化分割网络，对于多尺度深层特征提取能力不足，产生椒盐现象导致分类结果中漏分、错分现象严重。因此，结果表明，本实施例方法不仅能有效提取植被的细节特征，而且能够融合多尺度的语义信息，有效缓解了城市多类型植被漏分、错分现象，分割结果更加完整精确。
网络运行效率对比分析
为了评价各个网络的运行效率，本实施例采用了网络浮点运算数(Flops)、参数数量(Params)、测试时间以及空间占用等指标定量评估网络效率。浮点运算数衡量网络的运算次数，可被用于解释模型复杂度；参数数量代表了网络的总体参数量；测试时间是测试单幅影像(2048像素×2048像素)所用时间；空间占用是网络最后生成的模型文件占用的物理内存空间大小。实验结果如表9所示，本实施例方法虽然在各效率指标中没有取得最佳效果，但本实施例旨在减少空间信息损失和细节特征丢失等问题，提高了植被分割效果并有效缓解了椒盐现象。因此，本实施例方法在植被分类精度上取得了最佳结果，并且减少了植被漏分、错分现象，分割结果更加完整精确。
表9网络效率对比分析
Figure BDA0003573020930000161
模块机制有效性分析
为了证明坐标卷积、重复多尺度融合以及分离特征模块的有效性，对网络进行了四次更改，进行了去除坐标卷积(MFDN-noCoord)、去除重复多尺度融合(MFDN-noRMF)、去除分离特征(MFDN-noDSC)以及同时去除上述所有模块(MFDN-Baseline)和本实施例所提方法的五种网络的对比实验，实验结果如表10所示。下面介绍了四种更改网络的性能，并与MFDN做了对比分析。
去除坐标卷积(MFDN-noCoord)的OA、F1和IOU在3个测试区域都低于MFDN，OA、F1和IOU在研究区B中分别低了1.58％、3.04％和2.82％，结果表明坐标卷积可以减少空间信息的丢失，增强对特征的有效提取。
去除重复多尺度融合(MFDN-noRMF)的OA、F1和IOU在研究区C中比MFDN分别低了2.67％、4.21％和2.53％，在研究区B和研究区D中也低于MFDN，去除重复多尺度融合模块后网络的性能降低很多，影响分类的精度，证明重复多尺度融合在网络中起着重要作用。
去除分离特征(MFDN-noDSC)在研究区D中的OA、F1和IOU比MFDN分别低了1.75％、3.28％和3.34％，在研究区B和研究区C中也低于MFDN，结果表明分离特征模块对网络产生了积极的影响。
去除上述所有模块(MFDN-Baseline)中的OA、F1和IOU在所有测试区域都远低于MFDN的结果，结果表明，为了确保网络的效率以及精度，坐标卷积、重复多尺度融合和分离特征模块是十分有效且必不可少的。
表105种植被分类方法的评价指标对比
Figure BDA0003573020930000171
城市植被是城市生态环境的重要组成部分，对城市规划和生态环境评价具有重要意义。因此本实施例基于无人机可见光影像，设计了一种多尺度特征感知网络(MFDN)用于城市植被自动分类，主要结论如下：
(1)在网络输入层引入坐标卷积模块，有效消除了空间信息尤其是边界信息的损失；在并行的网络之间引入了重复多尺度融合模块，使得每个子网络都能够重复的接收来自其他并行分支网络的特征信息，在整个过程中保持高的分辨率表示；在最后的分支网络中添加分离特征模块扩大感受野获取多尺度特征，提高了分类精度，平均总体精度、平均F1得分和平均IOU分别为89.54％、75.85％和65.45％，有效减少了错分、漏分现象。
(2)在不使用近红外和激光雷达等数据，仅使用可见光影像的情况下，对草地、灌丛、乔木3种形态相似的植被类型分类进行了综合评价。本实施例的实验是直接对不同城市区域、不同分辨率的影像进行了测试，利用MFDN对城市植被进行了有效分类，分割结果完整精确，在不同的城市植被影像分类任务上具有较好的泛化性，因此具有广阔的应用前景。
(3)本实施例方法与DeeplabV3+、Segnet、Bisenet等先进的深度学习方法进行了对比，在测试影像上的平均OA、平均F1和平均IOU分别高出其他方法中效果最好的DeeplabV3+方法2.32％、5.17％、3.90％。结果表明，该网络的性能优于其他网络，证明MFDN在无人机可见光影像城市植被分类性能方面是有效可行的并且具有良好的通用性，适用于城市区域植被快速调查。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (7)

1.基于多尺度特征感知网络的城市植被无人机遥感分类方法，其特征在于：包括以下步骤：
一、对采集的照片进行拼接、校正处理生成无人机正射影像；
二、采用目视解译的方法构建植被样本数据集；
三、基于HRNet网络构建了多尺度特征感知深度神经网络MFDN植被分类模型，训练数据集至模型拟合效果最佳，选取最优模型进行预测并进行精度评价，最终得到城市植被分类结果图，实现无人机遥感城市植被快速调查。
2.根据权利要求1所述的基于多尺度特征感知网络的城市植被无人机遥感分类方法，其特征在于：多尺度特征感知深度神经网络MFDN中，在网络输入层引入坐标卷积；在垂直方向上利用下采样过程拓宽网络，通过多支并行连接的子网络融合多尺度特征连接高分辨率与低分辨率，保留不同分辨率的特征信息；进行重复多尺度特征融合，每支网络的高到低分辨率表示能够接收来自并行的子网络信息，在整个过程中保持高分辨率的表示；在每个分支网络中添加了密集连接模块；在底层网络中结合分离特征模块并更改空洞卷积的空洞率获取不同尺度上的细节信息。
3.根据权利要求2所述的基于多尺度特征感知网络的城市植被无人机遥感分类方法，其特征在于：多尺度特征感知深度神经网络MFDN中，影像输入网络后通过下采样操作降低特征图大小，在每一个密集连接模块后，都对特征图进行一次下采样操作，每次生成的特征图通过分支网络保持相同分辨率，利用密集连接模块对特征进行提取复用，总共生成4支网络；每支网络通过特征融合能够接收其他分支网络的特征信息；通过连续上采样操作将后3支网络提取的特征图恢复到第1分支网络的大小，通过上采样操作将4支网络合并的特征图恢复到原始影像分辨率，最后使用softmax分类器输出分割结果。
4.根据权利要求3所述的基于多尺度特征感知网络的城市植被无人机遥感分类方法，其特征在于：多尺度特征感知深度神经网络MFDN中，DenseNet中的密集连接模块具有强大的特征提取与复用能力，密集连接模块通过密集连接方式将前一层的特征叠加映射传递给后续其它层，每层都会与前面所有层在通道维度上通过拼接方式连接在一起，能够将多个特征进行组合，减少参数量并增强特征重用；因此，L层深度的网络中，网络具有L×(L+1)/2个连接；密集连接模块的表达式如下：
XL＝HL([X0,X1,X2,…,XL-1])
式中：XL表示L层的输出特征图；[X0,X1,X2,…,XL-1]表示L层前面所有层的特征映射的连接；HL是非线性变换函数，包含批标准化层、整流线性单元ReLU、droput层以及3×3卷积层；密集连接模块之间通过转置层Transitionlayer连接。
5.根据权利要求2所述的基于多尺度特征感知网络的城市植被无人机遥感分类方法，其特征在于：坐标卷积通过使用额外的坐标通道，在卷积过程中能够获取目标的输入坐标，提取目标特征中的空间位置信息作为额外的通道与原始的特征进行连接；
通道是为i坐标和j坐标准备的，对额外坐标进行相应的线性变换，使i坐标和j坐标在[-1,1]范围内归一化，如有必要，使用第三个通道来表示r坐标，以处理额外情况；r坐标的计算方式如下：
Figure FDA0003573020920000021
式中：h和w分别为特征图尺寸的高和宽，i和j表示基本坐标。
6.根据权利要求2所述的基于多尺度特征感知网络的城市植被无人机遥感分类方法，其特征在于：重复多尺度特征融合分为3种交互模块，每个交互模块由3个并行的卷积单位组成，并行网络之间有一个交互模块；
第一种交互模块是保持高分辨率特征图不变，通过1×1卷积保持低分辨率特征和高分辨率特征具有相同维度，采用最近邻上采样生成相同大小的高低分辨率特征图并将二者通道进行叠加，最后输出特征；
第二种交互模块是保持中分辨率特征图不变，通过最近邻上采样将低分辨率特征图还原到高分辨率特征图大小，使用3×3卷积将高分辨率特征图通过下采样降维至中分辨率特征图，将高、中、低分辨率特征图通道进行叠加，最后输出特征；
第三种交互模块是保持低分辨率特征图不变，使用3×3卷积将高分辨率特征图通过下采样降维至低分辨率特征图，将二者通道进行叠加，最后输出特征。
7.根据权利要求2所述的基于多尺度特征感知网络的城市植被无人机遥感分类方法，其特征在于：分离特征模块用空洞率分别为3、6、9的可分离空洞卷积提取特征，扩大感受野，减少参数。
CN202210330867.8A 2022-03-30 2022-03-30 基于多尺度特征感知网络的城市植被无人机遥感分类方法 Pending CN114943902A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210330867.8A CN114943902A (zh) 2022-03-30 2022-03-30 基于多尺度特征感知网络的城市植被无人机遥感分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210330867.8A CN114943902A (zh) 2022-03-30 2022-03-30 基于多尺度特征感知网络的城市植被无人机遥感分类方法

Publications (1)

Publication Number Publication Date
CN114943902A true CN114943902A (zh) 2022-08-26

Family

ID=82907035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210330867.8A Pending CN114943902A (zh) 2022-03-30 2022-03-30 基于多尺度特征感知网络的城市植被无人机遥感分类方法

Country Status (1)

Country Link
CN (1) CN114943902A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546671A (zh) * 2022-11-01 2022-12-30 北京数字政通科技股份有限公司 一种基于多任务学习的无人机变化检测方法及其系统
CN116935226A (zh) * 2023-08-01 2023-10-24 西安电子科技大学 一种基于HRNet的改进型遥感图像道路提取方法、系统、设备及介质
CN117611909A (zh) * 2023-12-04 2024-02-27 桂林理工大学 一种基于深度学习和影像空间分辨率的湿地植被分类方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546671A (zh) * 2022-11-01 2022-12-30 北京数字政通科技股份有限公司 一种基于多任务学习的无人机变化检测方法及其系统
CN116935226A (zh) * 2023-08-01 2023-10-24 西安电子科技大学 一种基于HRNet的改进型遥感图像道路提取方法、系统、设备及介质
CN117611909A (zh) * 2023-12-04 2024-02-27 桂林理工大学 一种基于深度学习和影像空间分辨率的湿地植被分类方法

Similar Documents

Publication Publication Date Title
CN109446992B (zh) 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
Abdollahi et al. Improving road semantic segmentation using generative adversarial network
CN110111345B (zh) 一种基于注意力网络的3d点云分割方法
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
CN112183432A (zh) 一种基于中分辨率sar图像的建筑区提取方法以及系统
Liu et al. Deep multi-level fusion network for multi-source image pixel-wise classification
CN112489054A (zh) 一种基于深度学习的遥感图像语义分割方法
CN113505842A (zh) 一种适用于大尺度区域遥感影像城市建筑物自动提取方法
CN112287983B (zh) 一种基于深度学习的遥感图像目标提取系统和方法
CN112232328A (zh) 基于卷积神经网络的遥感影像建筑区提取方法、装置
CN117830788B (zh) 一种多源信息融合的图像目标检测方法
CN112580453A (zh) 一种基于遥感影像和深度学习的土地利用分类方法及系统
Cheng et al. Multi-scale Feature Fusion and Transformer Network for urban green space segmentation from high-resolution remote sensing images
CN113256649A (zh) 一种基于深度学习的遥感图像选站选线语义分割方法
Gao et al. Road extraction using a dual attention dilated-linknet based on satellite images and floating vehicle trajectory data
CN116403121A (zh) 水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备
Yang et al. Deep learning-based automated terrain classification using high-resolution DEM data
Hu et al. Supervised multi-scale attention-guided ship detection in optical remote sensing images
CN115862010A (zh) 一种基于语义分割模型的高分遥感影像水体提取方法
Ning et al. Multi-stage progressive change detection on high resolution remote sensing imagery
Wang et al. PACCDU: Pyramid attention cross-convolutional dual UNet for infrared and visible image fusion
Li et al. Learning to holistically detect bridges from large-size vhr remote sensing imagery
Yuan et al. Capturing small objects and edges information for cross-sensor and cross-region land cover semantic segmentation in arid areas
Ruiz-Lendínez et al. Deep learning methods applied to digital elevation models: state of the art
CN116543165B (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination