CN116452872A - 一种基于改进的Deeplabv3+的森林场景树种分类方法 - Google Patents

一种基于改进的Deeplabv3+的森林场景树种分类方法 Download PDF

Info

Publication number
CN116452872A
CN116452872A CN202310419595.3A CN202310419595A CN116452872A CN 116452872 A CN116452872 A CN 116452872A CN 202310419595 A CN202310419595 A CN 202310419595A CN 116452872 A CN116452872 A CN 116452872A
Authority
CN
China
Prior art keywords
image
segmentation
forest
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310419595.3A
Other languages
English (en)
Inventor
帅滔
燕小芬
程铁洪
朱雄剑
廖永福
史雨川
卢黎明
万伟
刘天逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PowerChina Jiangxi Electric Power Engineering Co Ltd
Original Assignee
PowerChina Jiangxi Electric Power Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PowerChina Jiangxi Electric Power Engineering Co Ltd filed Critical PowerChina Jiangxi Electric Power Engineering Co Ltd
Priority to CN202310419595.3A priority Critical patent/CN116452872A/zh
Publication of CN116452872A publication Critical patent/CN116452872A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于改进的Deeplabv3+的森林场景树种分类方法，涉及计算机视觉、深度学习语义分割领域，其技术方案要点包括以下步骤：S1、数据采集；S2、影像分割；S3、深度学习样本集构建；S4、网络模型改进与训练；S5、研究区树种分类。本发明基于改进的Deeplabv3+的森林场景树种分类方法针对易获取低成本的无人机林木影像，能够适应各种波段量的影像信息，减少人工操作；该网络能自适应多光谱影像，以挖掘林木在红外波段的特征，相比于仅基于可见光影像，能够较大地提升网络的林木精细识别性能。

Description

一种基于改进的Deeplabv3+的森林场景树种分类方法
技术领域
本发明涉及计算机视觉、深度学习语义分割领域，更具体地说，它涉及一种基于改进的Deeplabv3+的森林场景树种分类方法。
背景技术
林木调查是电力工程勘测的重要工作内容，人工实地调查方法费时费力，且所获取的林木信息准确性难以保证，为提高林木调查的自动化、智能化水平，本专利旨在基于多光谱无人机影像数据进行林木的精细化图像分类，以进行林木的自动识别，实现电力工程建设取得生态保护和节省成本的双赢，保障工程运行更加安全可靠。项目主要研究内容为：
基于不同光谱分辨率的无人机影像数据，进行自适应数据提取，根据各类常见树种和特殊树种的特征，提取树种特征，利用合适的分类算法，对树种进行自动图像分类识别。
申请号为CN202010434177.8的专利，其题目为：一种基于改进DeepLab的果园场景多类别实时分割方法；该专利提出了一种基于改进DeepLab语义分割模型的果园场景多类别分割方法。为了在果园喷雾机器人上部署，使用轻量化MobileNet V3网络替代原有的Xception网络以减少网络参数，并在空洞空间金字塔池化(Atrous spatial pyramidpooling,ASPP)模块中运用ReLU6激活函数减少部署在移动设备的精度损失，此外结合混合扩张卷积(Hybrid dilated convolution,HDC),以混合扩张卷积替代原有网络中的空洞卷积，将ASPP中的扩张率设为互质以减少空洞卷积的网格效应。
该专利存在的问题：其没有根据不同光谱分辨率传感器的数据进行自适应，要求输入数据为固定三波段的RGB影像，仅用RGB影像进行树种类别分类会造成识别率低下。
申请号为：CN202210390641.7的专利，其题目为：一种基于生成对抗网络的高光谱影像树种分类方法、装置；该专利提供的方法，包括：获取高光谱影像数据；将高光谱影像进行影像分割；将分割后的高光谱影像输入预训练好的Vgg网络模型进行图像重构,得到优化后的高光谱影像；对优化后的高光谱影像通过灰度共生矩阵提取得到纹理特征；对优化后的高光谱影像进行独立主成分分析得到不同波段的光谱特征,挑选光谱特征较多的前m个波段的光谱特征作为提取得到的光谱特征；将提取得到的纹理特征和光谱特征输入注意力网络模型,得到输出的带有注意力的图像特征；将带有注意力的图像特征结合设定的服从标准正态分布的随机噪声z作为生成对抗网络中生成器的输入,通过生成网络生成得到未知类图像特征；将带注意力的图像特征及未知类图像特征作为判别器的输入,得到最大化优化后判别器的输出特征；将判别器的输出特征返回输入生成器来优化生成器的生成分布,再将生成器的输出特征输入判别器,重复该步骤N次进行迭代优化直至满足迭代停止条件,得到最终的判别器输出的最大化优化后的带权重的图像特征；把带权重的图像特征作为分类器的输入,得到输出的高光谱影像树种分类结果。
该专利存在的问题：高光谱影像虽然能够很好的进行树种的精细分类，但是其获取数据的成本是极其昂贵的，并没有能够进行对所有的数据的适应；同时，该基于生成对抗网络的形式会提高网络的不稳定性，生成对抗网络的形式更加严格要求了数据的可用性和精细度，更加不利于数据的获取。
发明内容
本发明的目的是为了解决上述问题，提供一种基于改进的Deeplabv3+的森林场景树种分类方法。
1.本发明的上述技术目的是通过以下技术方案得以实现的：一种基于改进的Deeplabv3+的森林场景树种分类方法，包括以下步骤：
S1、数据采集，使用无人机进行影像采集，得到多波段无人机影像数据，并通过实地调绘获得林木信息调绘图；
S2、影像分割，上述步骤S1中所述多波段无人机影像数据处理后获得无人机正射影像，所述无人机正射影像采用多尺度分割算法，使无人机正射影像中不同尺寸的地物目标与多层次空间信息在多尺度下得到充分的表达和详细描述，分割完成后采用VI’分离出植被对象与非植被对象；
VI′＝(2g-r-b)-(1.4r-g) (1)
其中，
S3、深度学习样本集构建，基于与影像配准后的林木信息调绘图结果进行样本标注，对植被对象赋予更详细的树种类别，得到训练数据集；
S4、网络模型改进与训练；
S5、研究区树种分类。
本发明进一步设置为：步骤S4中，所述网络模型改进与训练包括自适应波段模块，所述自适应波段模块通过添加一个可变卷积核来实现对不同光谱分辨率的影像数据自适应，使得其能够在适应光谱波段变化，然后进行批归一化，获得标准输入数据。
本发明进一步设置为：步骤S4中，所述网络模型改进与训练包括模型拟合，所述模型拟合采用SGD优化器和交叉熵损失反向传播算法，将步骤S3中的样本集进行Deeplabv3+语义分割模型训练。
综上所述，本发明具有以下有益效果：
1.针对易获取低成本的无人机林木影像，包括RGB三波段可见光影像和包含更多波段的多光谱影像，提出了一个数据融合模块，能够适应各种波段量的影像信息，减少人工操作。
2.该网络能自适应多光谱影像，以挖掘林木在红外波段的特征，相比于仅基于可见光影像，能够较大地提升网络的林木精细识别性能。
附图说明
图1是本发明实施例中总体技术路线图；
图2是本发明实施例中不同尺度分割结果图对比；
图3是本发明实施例中植被遥感监测的物理基础示意图；
图4是本发明实施例中试验区数据剪裁前后图；
图5是本发明实施例中样本区域与像素级标注展示图；
图6是本发明实施例中多源光谱数据融合模块图；
图7是本发明实施例中空洞卷积示意图；
图8是本发明实施例中ASPP模块；
图9是本发明实施例中添加ASPP模块的网络；
图10是本发明实施例中改进的DeepLabv3+编码-解码网络结构。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明的实施例及附图，对本发明的技术方案进行进一步详细地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将结合实施例来详细说明本发明。
实施例：
如图1-图10所示，一种基于改进的Deeplabv3+的森林场景树种分类方法，包括以下步骤：
S1、数据采集，使用无人机进行影像采集，得到多波段无人机影像数据，并通过实地调绘获得林木信息调绘图；
S2、影像分割，上述步骤S1中所述多波段无人机影像数据处理后获得无人机正射影像，所述无人机正射影像采用多尺度分割算法，使无人机正射影像中不同尺寸的地物目标与多层次空间信息在多尺度下得到充分的表达和详细描述，分割完成后采用VI’分离出植被对象与非植被对象；
S3、深度学习样本集构建，基于与影像配准后的林木信息调绘图结果进行样本标注，对植被对象赋予更详细的树种类别，得到训练数据集；
S4、网络模型改进与训练；
S5、研究区树种分类。
在本实施例中：
1数据预处理与样本集构建
1.1面向对象的图像分割
1.1.1基于像素与面向对象
传统的基于像素的信息提取方法的分析单元是单个像元，根据地物每个像元范围内的辐射平均值对各个像元进行逐一分类，这种方法适用于光谱信息极其丰富，不同地物间光谱差异明显的低空间分辨率(影像采样间隔大于地物)影像。基于像素的信息提取方法只专注于影像的光谱特征，然而，随着影像分辨率不断提高，影像中的像元由纯像元转变为混合像元，对于高分辨率遥感影像而言，一类地物往往由多个纯像元组成，基于像素的提取方法容易造成椒盐噪声，不能实现对空间信息的有效利用，难以满足分类的要求。再者，由于环境光照等因素造成同物异谱、异物同谱现象广泛存在，基于像素的信息提取方法不可避免会出现很多错分误分现象，分类精度过低。
面向对象的影像分析以含有语义信息的多个像素集合成的影像对象为分析单元，这种方法充分考虑到了对象和其周围环境之间的联系。面向对象的影像分析是一种基于区域的影像分割方法，分割原理大致可描述为两步流程，其一将图像划分为若干个有意义的多边形区域，区域内部性质均一，不同区域之间区别明显，此过程称为“影像分割”；其二根据一定的判定规则预测区域对象所属类别，此过程称为“影像分类”。面向对象的影像分析充分利用了诸如光谱、纹理、形状、阴影、空间拓扑等对象信息，以及与邻近对象、父对象、子对象的相关特征类间信息，精度普遍高于基于像素的信息提取方法。面向对象理念的提出很大程度地提高了高空间分辨率影像数据的解译精度，有效地满足了科研工作和工程应用的需求。
本专利使用的影像数据为高空间分辨率的可见光与多光谱波段无人机影像，地物结构、形状、纹理特征明显，比如，实验影像中的林地和草地，草地纹理比林地纹理更为细密。显然，对于光谱信息量远不如空间特征信息丰富的影像，加入纹理等特征辅助分类可以有效提高分类效果。此外，影像中植被信息复杂，不同种类植被之间光谱差异不甚明显，基于像素依据光谱特性进行信息提取显然无法满足树种信息提取分类的需要，故实验采用面向对象的影像分析法。
1.2多尺度分割
eCogntion软件面向对象的分割算法可分为两种类型，自上而下的分割原理是将父对象分割为更多子对象，如棋盘分割、四叉树分割，自底而上的分割与之相反，原理是将多个子对象不断合并得到父对象，例如多尺度分割、光谱差异分割。结合实际考虑，本文所使用的无人机高分辨率遥感影像中，树种类型繁多，层次复杂，而使用棋盘分割或四叉树分割得到的分割对象为正方形，不满足树种分类的实际要求，单一尺度下的分割又难以满足不同尺度的影像对象的提取要求，故本文选取多尺度分割算法，使影像中不同尺寸的地物目标与多层次空间信息在多尺度下得到充分的表达和详细描述。
常见基于区域的分割方法可进行分类如下(表1)，多尺度分割属于一种区域合并算法。具体原理为，以单个像元作为初始区域，以局部异质性最小作为判别相似的准则，对单个像元(或像元集合)与邻近相似像元(或像元集合)执行合并操作，使得影像区域不断增大。判断合并成的大影像区域异质性与预设阈值之间的关系，异质性大于阈值时合并将终止，多尺度分割完成。其中，异质性阈值由多尺度分割参数设置中的尺度参数决定，尺度参数对分割效果影响最大。此外，分割效果还受各波段权重、形状颜色同质性、平滑度紧密度系数的综合影响。
表1基于区域的分割方法
多尺度分割涉及的参数中，分割尺度是一个抽象术语，两个影像对象在给定的特征空间中的“距离”较近时，认为它们相似，或者说“同质”，分割尺度定义了形成的影像对象所允许的异质性最大值。分割尺度设置地越小，小型区域的合并操作执行地越少，影像对象就越细碎，相反地，若分割尺度越大，合并进行地越多，则最终得到的影像对象就越大。
异质性由光谱(Color)和形状(Shape)组成，其权重代表了地物形状与颜色各自多大程度上反映了地物的特点。其中形状异质性又由平滑度(Smoothness)和紧致度(Compactness)表示，分别代表了分割对象边缘的平滑程度及对象整体的紧密程度，一般由影像整体地物类别结构属性决定。
影像分割是面向对象图像处理中创建影像对象的重要步骤，其分割质量与地物目标的提取效果密切相关。本实验中选取50到110步长为20，共4个尺度参数。其他相关参数保持不变：三波段权重均为1，形状异质性权重0.3、紧致度指数0.5，对比实验分割结果如图。经对不同尺度分割结果图像的比对，最终选择分割尺度为90，此时影像对象大小合理，独立株树木被分割出来，同时内部性质均一的植被被划分为大小合理的区域块，条状道路(裸地)分割完整，整体分割效果较好，适合本实验地物目标的提取。
1.3植被指数
植被指数是遥感影像不同波谱数据的线性或非线性组合。健康绿色植物叶面含有的叶绿素在红光波段(Red,R)有很强的吸收作用，在绿光波段(Green,G)有反射作用，在近红外波段(Near Infrared Spectrum,NIR)具有强反射特性，形成一个反射陡坡，基于此植被遥感监测的物理基础，植被指数一般利用植被基于可见光-近红外波段构建。植被指数包含的植被信息高达90％以上，在一定条件下可以定量反映出植物的生长状况，同时它也与大气条件、生物量、土壤背景等多种因素密切相关。目前，植被指数被广泛应用到植被覆盖度评价、植被精细分类、作物估产，区域生物量反演等方面。在遥感影像分析时有效利用植被指数有助于增强遥感影像的解译力，提取丰富而精细的植被信息，有助于微观分析的实施，提高植被监测精度。
常见植被指数按研究发展阶段，可分为三种类型：①建立在先验知识之上的波段组合，不考虑大气土壤等因素的影响，如RVI、GVI。②建立在物理知识之上的指数，将大气土壤等不确定影响因素考虑在内，如NDVI，SAVI，PVI等。③在高光谱遥感和热红外遥感基础之上发展的指数，如DVI。
植被指数受多重因素的影响，区域性特征明显，不同指数适用范围不同，选取植被指数时要综合考虑。George E.Meyer提出了一种基于的植被指数VI′(Vegetation index)，其计算公式如下：
VI′＝(2g-r-b)-(1.4r-g) (1)
其中，
在该公式中，前项称为超绿植被指数EXG(见式3)，它提供了一个凸显出感兴趣植物区域的近似二值强度的图像，然后为每组图像选择阈值，实现对感兴趣植被区域的图像二值化。使用超绿植被指数创建近似二值化图像有利于将植被区域和背景(土壤和枯萎的植物残渣)准确区分开来。此外，数字图像发红时用单一指标识别绿色植物更加困难，而图像发红可能与数字相机的操作和背景照明有关，也可能与土壤和残留物本身发红有关，这些不确定因素难以统一消除，针对此问题Meyer等人提出一种超红植被指数EXR(式4)。对比了改良植被指数VI′＝ExG-ExR与EXG、NDI(见式5)三种参数，验证得出结论：VI′质量因子提取的植物目标与手工提取的植物区域匹配程度最高，精度达0.88±0.12。
EXG＝2g-r-b (3)
EXR＝1.4r-g (4)
使用该影像植被指数作为自定义特征参与最邻近分类，植被指数作为邻近度的一个度量，可以有效地综合各有关的光谱信息，更好地提取植被信息，减少噪声干扰，提高植被分类任务的精度。
基于样本的监督分类中，软件会根据已知分类样本的光谱、纹理、形状、空间拓扑等信息建立判别函数来判断未分类对象的类别，分类算法的精度很大程度上与分类样本的数量和质量相关，故选择样本时要注意具有典型性和代表性，数量充足，在整张图中分布均匀。
1.4深度学习样本集构建
以某湿地公园试验区数据为例，试验区正射影像原始数据像素大小为11008x16640，其中除去黑边的有效面积约为60％，波段为红绿蓝外加红外六波段，将其裁剪处理为512x512无重叠的样本，得到726张基本影像。
样本选择应满足以下要求：
1.样本应满足单一类别划分，同一样本区域应只对应一个类别。
2.样本的边界应该清晰，不能包含杂类(杂树)。
3.样本像素数与植株数量应足够，不同类别的样本其数量比应不大于10，即零星的树种无法作为样本。
基于上述条件，选择具有代表性的八类植被样本包括樟树、银杏、杨梅、松树、女贞、桂花、杜英、何树，使用ArcGIS裁剪出对应矢量的影像区域，使用ecognition分割后进行像素级标注，获得可用样本共26张，如图5所示。
2改进Deeplabv3+模型
深度学习语义分割是图像处理领域一种端对端的图像分割方式，“语义”即对图像所包含内容的理解。深度学习语义分割从带有充足数量标注的图像数据中进行图像特征和语义信息的提取，然后在像素级别上对每个像素进行认知，按语义单元将像素划分为若干不相交的像素集合，给划分的区间进行指定类别标注，这样输出结果图像的每个像素都带有类别标注，实现了按类语义分割。Deeplab是深度学习中一种典型的语义分割算法，延续使用了传统全卷积神经网络的全卷积操作，并进行了空洞卷积、金字塔池化等创新改进。近些年来基于Deeplab网络模型的图像处理有关研究不断开展，模型应用范围不断拓展。Deeplabv3+模型是Deeplab系列近年来经过不断优化拓展而来的，改进的deeplabv3+模型的主要特点如下：
2.1多源光谱数据融合模块
为了处理多光谱的数据源，需要进行数据特征输入信息的归一化，通过添加一个可变卷积核来实现对不同光谱分辨率的影像数据自适应，使得其能够在适应光谱波段变化，进行特征的归一化的同时尽可能的保留不同数据的信息特征。其结构如图6。
2.2空洞卷积(dilated convolution)
标准卷积神经网络对于输入图像，一般要执行先卷积后池化的两步操作。池化操作的目的是减小输入图像尺寸同时扩大像素感受野，而之后使用上采样的方法使特征图恢复图像原始输入尺寸再进行预测。在这个图像尺寸减小又扩大的操作过程中，信息损失现象难以避免，空洞卷积基于此问题提出。
如图7所示，空洞卷积以添加空洞的方式实现感受野范围的扩大，它引入了一个超参数：扩张率(dilation rate),该参数代表各个卷积核之间间隔的数量。图中的每个像素都进行3×3卷积，其中(a)为3×3-1空洞卷积，扩张率为1的空洞卷积同标准卷积，每个像素感受野大小均为3×3，(b)对应3×3-2空洞卷积，(c)中为3×3-4空洞卷积操作。后两图在(a)的基础上每个卷积核周围添加空洞位置，以零填充，再进行卷积，实际上都只有红色的9个点进行3×3卷积操作，其他点相当于权重为0。
空洞卷积和实际卷积核(kernel size)的关系见式(6)，感受野计算见式(7)，根据所列公式，计算得到各图参数如表2。
k′＝k+(k-1)(d-1) (6)
其中，
k-原始卷积核大小；
d-空洞卷积扩张率。
RFi+1＝RFi+(k′-1)×Si) (7)
其中，
RFi+1-当前层的感受野；
RFi-上一层的感受野；
k′-卷积核大小；
Si-之前所有层的步长乘积
表2不同扩张率空洞卷积各参数计算
扩张率 (空洞)卷积核 感受野
(a)3×3标准卷积 1 3 3×3
(b)3×3-2空洞卷积 2 5 7×7
(c)3×3-4空洞卷积 4 9 15×15
如表2所示，应用空洞卷积，同样进行3×3卷积操作，却起到了5×5，9×9的卷积效果。卷积时，参数量等于卷积核大小与偏置项之和，显然，空洞卷积在不会增加额外的参数的条件下，可以使感受野实现呈指数的增长。当网络需要大的感受野来提取全局性的、语义层次更高的特征，但计算资源有限，无法扩大卷积核的大小或增加卷积核数量时，空洞卷积是一种较好的方法。此外，每一层卷积核大小相同，都为3×3，只要设置不同的扩张率，就能获得不同的感受野，即获取了多尺度信息。
空洞卷积实现了在不进行池化的情况下扩大感受野，让每个卷积输出都包含更大的感受域信息。将空洞卷积应用到卷积神经网络中，在不损失图像信息，卷积层空间维度不降低，不增加额外参数的条件下扩大了感受野，实现精度与速度的平衡。
2.3多孔空间金字塔池化(atrous spatial pyramid pooling,ASPP)
ASPP模块最初是在Deeplabv2中提出的，对于给定的输入在特征顶部映射图中使用不同采样率的空洞卷积并行采样，模块示意图如图。Deeplabv3向ASPP中加入一个BN(Batch Normalization)层，用来实现批量归一化，防止出现梯度消失或梯度爆炸的问题，提高训练速度，并减少对初始化的强烈依赖性。
图8为一个添加最终改进的ASPP模块的网络，输出步长等于16。包括1个1×1的标准卷积和扩张率＝[6,12,18]的3个3×3空洞卷积(卷积核数量都为256，包含BN层)。特别的是，它还包括一个全局平均池化层，如图8，其目的是解决扩张率增大时(极端时，扩张率等于特征图大小)带来的卷积退化问题，增加图像级特征，获取图像全局信息。最后，将所有5个模块在模型的最后一个特征图上合并，将得到的图像级特征反馈给1×1卷积操作(卷积核数量为256，包含BN层)，然后进行双线性上采样将特征变为至所需的空间维度。
ASPP对于给定的输入特征图，以多采样率的空洞卷积并行采样、多感受野卷积和池化，然后进行处理。该模块使用了特征分层的思想，不同空洞率的卷积输出分层叠加，既弥补了空洞带来的网格效应，又增强了模型对不同尺度分割目标的感知能力，获取多尺度的信息增益，提高了卷积神经网络的精度。
2.4编码-解码架构(Encoder-Decoder)
Encoder-Decoder结构是一种利用对称网络结构进行图像语义解析的机制。编码器由卷积、池化等操作构成，用来编码像素的图像特征和语义信息，编码过程中进行下采样来降低特征图的分辨率。相应的，解码是编码的逆过程，解码器由反卷积、上池化等操作构成，进行解析、还原使输出特征图恢复至初始输入图像分辨率。
Deeplabv3+语义分割网络模型基于Deeplabv3提出Encoder-Decoder，采用Deeplabv3作为编码模块，添加一个简易高效的深度可分离卷积神经网络作为解码器模块来细化分割结果，尤其针对沿着对象边缘的分割结果，实现对DeepLabv3的改进，编码-解码结构见图10。作为编码器，Deeplabv3使用空洞卷积以任意分辨率提取由深度卷积神经网络(Deep Convolution Neural Networks,DCNN)计算的特征。编码执行过程可描述如下：输入一张图像，利用加入了一个空洞卷积的深度卷积神经网络提取特征，得到一个高级语义特征和一个低级语义特征。将高级语义特征进行ASPP模块操作，同图10步骤描述，将最后一个特征映射作为编码器输出。解码时，对编码器输出特征进行参数为4的双线性上采样，将其与来自DCNN层空间分辨率一致的相应低级特征进行concat串联。串联之前，应用一个1×1卷积来减少低级特征中包含的大量通道数量。串联结果进行3×3卷积细化特征，最终再进行一次简单的参数为4的双线性上采样，得出预测结果。
图像分类任务的输出步长一般为32(在全局池化或全连接层之前，“输出步长”意为输入输出图像空间分辨率的比率)，语义分割中，可以去除Deeplabv3+的编码模块最后一两个块中的步长，适当应用空洞卷积，减小输出步长来实现更密集的特征提取。而解码模块利用了低级语义特征感受野较小，对目标位置信息敏感的特点，对低级特征加以利用，提高了目标提取的精度。Deeplabv3+的Encoder-Decoder结构可以通过设置空洞卷积操作的扩张率控制编码特征的分辨率，用以平衡精度和运行时间。此外，Deeplabv3+还将深度可分离卷积应用于ASPP和解码模块，构建出一个更快、更强的编码-解码网络。
Deeplabv3+结合了ASPP方法和Encoder-Decoder架构，利用ASPP捕捉多尺度的上下文信息，使用解码模块来重构精确到图像物体边界。ASPP网络能够对输入特征以多空洞率和多视角的卷积、池化操作来编码多尺度的上下文信息，同时后一种解码模块以逐步恢复空间信息的方式来捕获更清晰更细节化的对象边界。综上所述，Deeplabv3+可以提取稠密的图像特征，大幅度增大感受野，并实现精度与速度的平衡，是目前最为成熟的语义分割网络之一。
基于以上所述，本专利基于改进的Deeplabv3+架构实现无人机影像的树种自动分类，实现高精度、高速度、高自动化的植被分类。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (3)

1.一种基于改进的Deeplabv3+的森林场景树种分类方法，其特征是，包括以下步骤：
S1、数据采集，使用无人机进行影像采集，得到多波段无人机影像数据，并通过实地调绘获得林木信息调绘图；
S2、影像分割，上述步骤S1中所述多波段无人机影像数据处理后获得无人机正射影像，所述无人机正射影像采用多尺度分割算法，使无人机正射影像中不同尺寸的地物目标与多层次空间信息在多尺度下得到充分的表达和详细描述，分割完成后采用VI’分离出植被对象与非植被对象；
VI′＝(2g-r-b)-(1.4r-g) (1)
其中，
S3、深度学习样本集构建，基于与影像配准后的林木信息调绘图结果进行样本标注，对植被对象赋予更详细的树种类别，得到训练数据集；
S4、网络模型改进与训练；
S5、研究区树种分类。
2.根据权利要求1所述的一种基于改进的Deeplabv3+的森林场景树种分类方法，其特征是，步骤S4中，所述网络模型改进与训练包括自适应波段模块，所述自适应波段模块通过添加一个可变卷积核来实现对不同光谱分辨率的影像数据自适应，使得其能够在适应光谱波段变化，然后进行批归一化，获得标准输入数据。
3.根据权利要求1所述的一种基于改进的Deeplabv3+的森林场景树种分类方法，其特征是：步骤S4中，所述网络模型改进与训练包括模型拟合，所述模型拟合采用SGD优化器和交叉熵损失反向传播算法，将步骤S3中的样本集进行Deeplabv3+语义分割模型训练。
CN202310419595.3A 2023-04-19 2023-04-19 一种基于改进的Deeplabv3+的森林场景树种分类方法 Pending CN116452872A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310419595.3A CN116452872A (zh) 2023-04-19 2023-04-19 一种基于改进的Deeplabv3+的森林场景树种分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310419595.3A CN116452872A (zh) 2023-04-19 2023-04-19 一种基于改进的Deeplabv3+的森林场景树种分类方法

Publications (1)

Publication Number Publication Date
CN116452872A true CN116452872A (zh) 2023-07-18

Family

ID=87135310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310419595.3A Pending CN116452872A (zh) 2023-04-19 2023-04-19 一种基于改进的Deeplabv3+的森林场景树种分类方法

Country Status (1)

Country Link
CN (1) CN116452872A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689964A (zh) * 2024-02-02 2024-03-12 湖南省第二测绘院 一种基于多源影像的城市森林分类方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689964A (zh) * 2024-02-02 2024-03-12 湖南省第二测绘院 一种基于多源影像的城市森林分类方法及装置
CN117689964B (zh) * 2024-02-02 2024-05-03 湖南省第二测绘院 一种基于多源影像的城市森林分类方法及装置

Similar Documents

Publication Publication Date Title
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
Wharton A Spectral-Knowledge-Based Approach for Urban Land-Cover Discrmination
Safren et al. Detection of green apples in hyperspectral images of apple-tree foliage using machine vision
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
Li et al. Hyperspectral pansharpening via improved PCA approach and optimal weighted fusion strategy
CN112183209A (zh) 一种基于多维特征融合的区域农作物分类方法及系统
CN110728197B (zh) 基于深度学习的单木级树种识别方法
CN111582194A (zh) 基于多特征lstm网络的多时相高分辨率遥感影像的建筑物提取方法
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
CN111914909B (zh) 基于空谱联合三方向卷积网络的高光谱变化检测方法
CN114972885B (zh) 基于模型压缩的多模态遥感图像分类方法
CN111008664A (zh) 一种基于空谱联合特征的高光谱海冰检测方法
CN108256557B (zh) 结合深度学习和邻域集成的高光谱图像分类方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN112733736A (zh) 基于增强过采样的类别不平衡高光谱图像分类方法
CN116452872A (zh) 一种基于改进的Deeplabv3+的森林场景树种分类方法
Haq et al. 3D-CNNHSR: A 3-Dimensional Convolutional Neural Network for Hyperspectral Super-Resolution.
Li et al. Thin cloud removal fusing full spectral and spatial features for Sentinel-2 imagery
CN116385902A (zh) 一种遥感大数据处理方法、系统及云平台
CN114119630B (zh) 基于耦合图谱特征的海岸线深度学习遥感提取方法
Qu et al. A fast and efficient approach to estimate wild blueberry yield using machine learning with drone photography: Flight altitude, sampling method and model effects
CN114299382A (zh) 高光谱遥感图像分类方法及系统
CN113449603A (zh) 一种高分辨率遥感影像地表要素识别方法及存储介质
CN113361407A (zh) 基于PCANet的空谱特征联合高光谱海冰图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination