CN112580484B - 基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置 - Google Patents
基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置 Download PDFInfo
- Publication number
- CN112580484B CN112580484B CN202011474837.1A CN202011474837A CN112580484B CN 112580484 B CN112580484 B CN 112580484B CN 202011474837 A CN202011474837 A CN 202011474837A CN 112580484 B CN112580484 B CN 112580484B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- layer
- module
- sensing image
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 240000008042 Zea mays Species 0.000 title claims abstract description 94
- 235000002017 Zea mays subsp mays Nutrition 0.000 title claims abstract description 94
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 title claims abstract description 93
- 235000005822 corn Nutrition 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 85
- 239000010902 straw Substances 0.000 title claims abstract description 77
- 238000013135 deep learning Methods 0.000 title claims abstract description 42
- 238000009826 distribution Methods 0.000 claims abstract description 22
- 230000007246 mechanism Effects 0.000 claims abstract description 21
- 238000010606 normalization Methods 0.000 claims abstract description 19
- 238000005520 cutting process Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 55
- 238000012549 training Methods 0.000 claims description 49
- 238000011176 pooling Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 11
- 238000013526 transfer learning Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000009472 formulation Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000005381 potential energy Methods 0.000 claims description 3
- 101100001674 Emericella variicolor andI gene Proteins 0.000 claims 1
- 241000577395 Thenus Species 0.000 claims 1
- 235000016383 Zea mays subsp huehuetenangensis Nutrition 0.000 claims 1
- 235000009973 maize Nutrition 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 6
- 239000002689 soil Substances 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000001681 protective effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000003971 tillage Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000010907 stover Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置，该方法包括：对被测遥感影像以预设重叠度进行裁剪；将每一裁剪后图像，分别输入预训练的AP‑UNET网络模型，输出玉米秸秆覆盖概率图；根据所述玉米秸秆覆盖概率图，基于全连接CRF方法，获得玉米秸秆分布图；其中，所述AP‑UNET网络模型，是基于UNET网络，在双层卷积层前加入Dropout层，双层卷积层后加入Batch Normalization、注意力机制CBAM模块和PSPP模块得到。该方法自动化程度和提取效率高，可扩展性好，且提取精度高，可调整参数应用于不同传感器的遥感卫星影像。利用该AP‑UNET网络模型可有效解决在高分辨率影像中提取秸秆覆盖特征问题。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置。
背景技术
保护性耕作是指通过少耕、免耕和地表微地形改造等手段保护农田生态环境，并获得经济效益，是对传统耕作模式的重大变革。对种植地块采用秸秆覆盖是保护性耕作的重要技术之一，该方式可以减少土壤水分蒸发达到保墒的目的，而且腐烂后能增加土壤有机质。核心内容是防止农田土壤层被破坏，确保农作物正常生长。因此，快速、准确的获取玉米秸秆覆盖的空间分布对保护性耕作的推广和实施提供了重要的理论依据和决策支持。
传统的地物空间分布是通过调查人员实地观测绘制，但受人力、物力、时间等诸多因素影响，难以处理大面积作业。随着现代遥感技术的发展，快速获取地面高分辨率影像，提取秸秆覆盖空间分布成为可能。在高分辨率遥感影像中，玉米秸秆覆盖表现为局部光谱曲线近似，长宽变化较大的非规则区域，为秸秆覆盖提取工作带来了较大困难。目前针对高分辨率影像中的秸秆覆盖特征提取研究还很少，并且当前的提取方法在效率、速度、适用性和准确性方面存在局限性。
发明内容
针对现有技术存在的问题，本发明提供一种基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置。
本发明提供一种基于深度学习的遥感影像玉米秸秆覆盖识别方法，包括：对被测遥感影像以预设重叠度进行裁剪；将每一裁剪后图像，分别输入预训练的AP-UNET网络模型，输出玉米秸秆覆盖概率图；根据所述玉米秸秆覆盖概率图，基于全连接CRF方法，获得玉米秸秆分布图；其中，所述AP-UNET网络模型，是基于UNET网络，在双层卷积层前加入Dropout层，双层卷积层后加入Batch Normalization层、注意力机制CBAM模块和PSPP模块，且以确定的玉米秸秆覆盖结果作为标签，对应的分割后遥感影像图像为训练样本，进行训练后得到。
根据本发明一个的基于深度学习的遥感影像玉米秸秆覆盖识别方法，所述对被测遥感影像以预设重叠度进行裁剪之前，还包括：对已知覆盖结果的遥感影像进行分割，制作分割标签，将标签和对应的影像进行分块裁剪构建数据集；基于UNET网络，在双层卷积层前加入Dropout层，双层卷积层后嵌入Batch Normalization层、注意力机制CBAM模块和PSPP模块，得到AP-UNET网络模型；基于所述数据集，采用级联式迁移学习结构，训练AP-UNET网络模型，得到所述预训练的AP-UNET网络模型。
根据本发明一个的基于深度学习的遥感影像玉米秸秆覆盖识别方法，所述AP-UNET网络模型中，激活函数为Elu，网络二维卷积层中加入L2正则化，并联合Dice和二元交叉熵双损失函数作代价收敛。
根据本发明一个的基于深度学习的遥感影像玉米秸秆覆盖识别方法，所述输入预训练的AP-UNET网络模型，包括：将提取的特征输入UNET的双层卷积层后，输入嵌入的注意力机制CBAM模块；利用CBAM模块对卷积神经网络生成的特征图计算通道注意力/>
将F和Mc(F)逐元素相乘获得F'，然后对F'计算空间注意力将F'和Ms(F')逐元素相乘获得CBAM模块输出结果F”；
其中，Mc(F)公式表示包括：
其中，C、H和W分别为特征图通道数，高和宽，σ为Sigmoid函数，r为参数减少率，W0后使用Relu作为激活函数；/>和/>分别表示在空间维度上对F使用平均和最大池化；
空间注意力Ms(F)计算公式表示为：
其中，f7×7表示7×7的卷积层，和/>分别表示在通道维度上对F使用最大和平均池化。
根据本发明一个的基于深度学习的遥感影像玉米秸秆覆盖识别方法，所述输入预训练的AP-UNET网络模型，包括：
将特征图输入网络解码器前的PSPP模块，通过PSPP层将输入的特征图F平均分为N份进行不同尺度的池化；将池化后的特征图做卷积处理，对应的通道降为原本的1/N，然后通过双线性插值获得未池化前的尺度大小，最终与特征图F连接融合到一起作为新的特征图。
根据本发明一个的基于深度学习的遥感影像玉米秸秆覆盖识别方法，所述采用级联式迁移学习结构，训练AP-UNET网络模型，包括：将训练数据集按照年份分为M份，分别输入具有M级的级连式迁移学习结构；将第一年数据集输入到第一级结构进行网络参数训练，然后将训练好的参数迁移至第二级结构对第二年数据集进行参数训练；重复上述将训练好的参数迁移至第M级结构对第M年数据集进行参数训的过程，直至M级结构训练完成。
根据本发明一个的基于深度学习的遥感影像玉米秸秆覆盖识别方法，所述根据所述玉米秸秆覆盖概率图，基于全连接CRF方法，获得玉米秸秆分布图，包括：根据所述概率图，通过最小化Gibbs能量函数E(X)得到全局分割结果，能量函数包括：
式中，X＝{xi；i＝1,2,...,m}，xi为像素i的类别标签；ψμ(xi)＝-logP(xi)为一元势能函数，其中P(xi)为全局某像素点i属于某类别的概率；ψρ(xi,xj)表示二元势函数；
使用双核高斯势函数来表征颜色和位置信息，公式为：
式中，u(xi，xj)是标签兼容性函数，若xi≠xj，则u(xi，xj)＝1，反之为0；第一项指数函数为外观核，w1为该函数的权重，Ii和Ij表示像素在ki和kj位置上的颜色信息，σα和σβ为控制像素间距离近似度和颜色相似度参数；第二项指数函数平滑度核，其中w2为该核函数权重，σγ为控制位置信息参数，用来平滑掉部分孤立区域；获得分割结果后，将每一裁剪后图像分割结果，根据预设重叠度组合得到最终分割图。
本发明还提供一种基于深度学习的遥感影像玉米秸秆覆盖识别装置，包括：裁剪模块，用于对被测遥感影像以预设重叠度进行裁剪；处理模块，用于将每一裁剪后图像，分别输入预训练的AP-UNET网络模型，输出玉米秸秆覆盖概率图；输出模块，用于根据所述玉米秸秆覆盖概率图，基于全连接CRF方法，获得玉米秸秆分布图；其中，所述AP-UNET网络模型，是基于UNET网络，在双层卷积层前加入Dropout层，双层卷积层后加入BatchNormalization层、注意力机制CBAM模块和PSPP模块，且以确定的玉米秸秆覆盖结果作为标签，对应的分割后遥感影像图像为训练样本，进行训练后得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于深度学习的遥感影像玉米秸秆覆盖识别方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于深度学习的遥感影像玉米秸秆覆盖识别方法的步骤。
本发明提供的基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置，在UNET深度学习网络的基础上引入CBAM模块、PSPP模块，Batch Normalization和Dropout层构建AP-UNET网络，自动化程度和提取效率高，方法可扩展性好，且提取精度高，可调整参数应用于不同传感器的遥感卫星影像。利用该AP-UNET网络模型可有效解决在高分辨率影像中提取秸秆覆盖特征问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于深度学习的遥感影像玉米秸秆覆盖识别方法的流程示意图；
图2是本发明提供的玉米秸秆覆盖识别结果示意图；
图3为本发明的AP-UNET网络架构；
图4为本发明的PSPP模块示意图；
图5是本发明提供的基于深度学习的遥感影像玉米秸秆覆盖识别装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明的基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置。图1是本发明提供的基于深度学习的遥感影像玉米秸秆覆盖识别方法的流程示意图，如图1所示，本发明提供基于深度学习的遥感影像玉米秸秆覆盖识别方法，包括：
101、对被测遥感影像以预设重叠度进行裁剪。
如为GF-2遥感影像，遥感影像有红，绿，蓝和近红外四个波段，对被测遥感影像以像素大小为640×640×4进行规则格网裁剪。为了防止模型预测结果出现黑边现象，影像裁剪重叠度设置为0.2构建被测影像集。
102、将每一裁剪后图像，分别输入预训练的AP-UNET网络模型，输出玉米秸秆覆盖概率图。
所述AP-UNET网络模型，是基于UNET网络，在双层卷积层前加入Dropout层，双层卷积层后加入Batch Normalization层、注意力机制CBAM模块和PSPP模块，且以确定的玉米秸秆覆盖结果作为标签，对应的分割后遥感影像图像为训练样本，进行训练后得到。
该预训练的AP-UNET网络模型，是引入结合特征通道和特征空间两个维度的注意力机制CBAM、获取全局上下文信息的PSPP模块、具有学习收敛速度快的BatchNormalization层和具有使模型泛化性更强的Dropout层嵌入到UNET网络，构建AP-UNET网络模型后，训练得到的。
在注意力机制CBAM模块前，双卷积层后添加Batch Normalization层，该层将神经网络中任意神经元输入值的分布处理为均值为0方差为1的标准正态分布，因此可避免梯度消失问题产生，加快收敛速度。
在双卷积层前添加Dropout层，该层将网络中某神经元以一定概率p停止工作，因此模型不会依赖某些局部特征，泛化性能更强。
103、根据所述玉米秸秆覆盖概率图，基于全连接CRF方法，获得玉米秸秆分布图。
AP-UNET网络模型，输出的是每个裁剪后图像每个像素点的玉米秸秆概率分布，需以此生成对应的真实分布结果。本发明运用全连接CRF方法对概率图优化获得精确分割结果，将结果图进行组合后得到最终的玉米秸秆覆盖空间分布图。运用全连接CRF方法对概率图进行边界优化，例如，位置参数设置为3，光谱参数设置为5；将优化结果以重叠度为0.2组合获得最终玉米秸秆覆盖空间分布图，图2是本发明提供的玉米秸秆覆盖识别结果示意图，提取结果见图2。
本发明提供的基于深度学习的遥感影像玉米秸秆覆盖识别方法，在UNET深度学习网络的基础上引入CBAM模块、PSPP模块，Batch Normalization和Dropout层构建AP-UNET网络，自动化程度和提取效率高，方法可扩展性好，且提取精度高，可调整参数应用于不同传感器的遥感卫星影像。利用该AP-UNET网络模型可有效解决在高分辨率影像中提取秸秆覆盖特征问题。
在一个实施例中，所述对被测遥感影像以预设重叠度进行裁剪之前，还包括：对已知覆盖结果的遥感影像进行分割，制作分割标签，将标签和对应的影像进行分块裁剪构建数据集；基于UNET网络，在双层卷积层前加入Dropout层，双层卷积层后嵌入BatchNormalization层、注意力机制CBAM模块和PSPP模块，得到AP-UNET网络模型；基于所述数据集，采用级联式迁移学习结构，训练AP-UNET网络模型，得到所述预训练的AP-UNET网络模型。
构建数据集，如在研究区内获取2017年、2018年和2019年10-11月份的GF-2遥感影像，经过预处理后将全色和多光谱融合重采样为1米分辨率的多光谱影像。在此基础上绘制玉米秸秆覆盖区域的标签图，用1和0标记目标和非目标区域；将标签图和对应的影像裁剪尺寸为640×640×3和640×640×4像素；通过旋转、镜像和位移对裁剪数据做数据增强，从而构建数据集，供训练和验证使用。
构建AP-UNET网络。以UNET为基础网络架构，在双卷积层后嵌入注意力机制CBAM模块，在网络解码器前一层即网络架构中间位置添加PSPP模块，在注意力机制CBAM模块前，双卷积层后添加Batch Normalization层，在双卷积层前添加Dropout层构建新的网络AP－UNET，具体网络架构见图3，PSPP模块示意图见图4。在上述数据基础上，采用级连式迁移学习结构训练网络参数。
在一个实施例中，所述AP-UNET网络模型中，激活函数为Elu，网络二维卷积层中加入L2正则化，联合Dice和二元交叉熵双损失函数做代价收敛。
优化AP-UNET网络，首先将激活函数更改为具有一定抗干扰能力的Elu函数；为了防止模型过拟合，在二维卷积层中加入L2正则化，联合Dice和二元交叉熵双损失函数做代价收敛。
Elu公式可表示为：
式中，factivation(g)为激活函数，g表示激活函数输入值，a是可调整的参数，控制着factivation(g)负值部分在何时饱和。
为了防止过拟合，在网络二维卷积层中添加L2正则化，公式包括:
式中，L(θ)为正则化项，刻画模型的复杂程度；λ为正则化项系数；θ为参数；n为参数总数，j为参数索引；
网络整体代价函数L联合了Dice和二元交叉熵双损失函数做收敛，可有效提升网络模型训练的稳定性。
其中，Dice损失函数公式如下：
式中，Y表示为标签矩阵；Z表示预测结果矩阵；+表示矩阵元素之和；Y∩Z表示Y和Z的共有元素数，实际可通过两者逐像素乘积获得。
二元交叉熵损失函数公式如下：
式中，Y＝{yi；i＝1,2,...,m}，Z＝{zi；i＝1,2,...,m}，m为像素总数，i表示像素索引。
网络整体损失函数则由DL和BL构成，公式如下：
L＝10-3BL-DL
将DL和BL结合使用，可提升网络模型训练的稳定性。
在一个实施例中，输入预训练的AP-UNET网络模型，包括：将提取的特征输入UNET的双层卷积层后，输入嵌入的注意力机制CBAM模块；利用CBAM模块对卷积神经网络生成的特征图计算通道注意力/>将F和Mc(F)逐元素相乘获得F'，然后对F'计算空间注意力/>将F'和Ms(F')逐元素相乘获得CBAM模块输出结果F”；
其中，Mc(F)公式表示包括：
其中，C、H和W分别为特征图通道数，高和宽，σ为Sigmoid函数，r为参数减少率，W0后使用Relu作为激活函数；/>和/>分别表示在空间维度上对F使用平均和最大池化；
空间注意力Ms(F)计算公式表示为：
其中，f7×7表示7×7的卷积层，和/>分别表示在通道维度上对F使用最大和平均池化。
在一个实施例中，所述输入预训练的AP-UNET网络模型，包括：将特征图输入网络解码器前的PSPP模块，通过PSPP层将输入的特征图F平均分为N份进行不同尺度的池化；将池化后的特征图做卷积处理，对应的通道降为原本的1/N，然后通过双线性插值获得未池化前的尺度大小，最终与特征图F连接融合到一起作为新的特征图。
即引入PSPP模块嵌入网络解码器前一层，即网络架构中间位置。
在一个实施例中，所述采用级联式迁移学习结构，训练AP-UNET网络模型，包括：将训练数据集按照年份分为M份，分别输入具有M级的级连式迁移学习结构；将第一年数据集输入到第一级结构进行网络参数训练，然后将训练好的参数迁移至第二级结构对第二年数据集进行参数训练；重复上述将训练好的参数迁移至第M级结构对第M年数据集进行参数训的过程，直至M级结构训练完成。
具体实施过程中，可以预设比例将训练数据集划分为训练集和验证集，以下以此为例。将获取的数据按照数据集年份分为三份，按照4：1的预设比例，对每一年数据划分为训练集和验证集；将第一年数据集输入到第一级结构进行网络参数训练，将训练好的参数迁移至第二级结构对第二年数据集进行参数训练，然后将第二年训练好的参数迁移至第三级结构对第三年数据集进行参数训练。该方法中，模型训练稳定，快速达到收敛，以Dice系数作为精度验证的均值达到0.9039，结果表明本方法在高分辨率遥感影像上提取玉米秸秆覆盖区域精度较高，且满足实时应用需要。
在一个实施例中，根据所述玉米秸秆覆盖概率图，基于全连接CRF方法，获得玉米秸秆分布图，包括：根据所述概率图，通过最小化Gibbs能量函数E(X)得到全局分割结果，能量函数包括：
式中，X＝{xi；i＝1,2,...,m}，xi为像素i的类别标签；ψμ(xi)＝-logP(xi)为一元势能函数，其中P(xi)为全局某像素点i属于某类别的概率；ψρ(xi,xj)表示二元势函数；
使用对比度敏感的双核高斯势函数来表征颜色和位置信息，公式为：
式中，u(xi,xj)是标签兼容性函数，若xi≠xj，则u(xi,xj)＝1，反之为0；第一项指数函数为外观核，w1为该函数的权重，Ii和Ij表示像素在ki和kj位置上的颜色信息，σα和σβ为控制像素间距离近似度和颜色相似度参数；第二项指数函数平滑度核，其中w2为该核函数权重，σγ为控制位置信息参数，用来平滑掉部分孤立区域；
获得分割结果后，将每一裁剪后图像分割结果，根据预设重叠度组合得到最终分割图。
本实施例中，结合全连接CRF方法概率图中单个像素和其他所有像素建立依赖关系，以期精确分割边界。全连接CRF通过最小化Gibbs能量函数E(X)可得全局分割结果。
下面对本发明提供的基于深度学习的遥感影像玉米秸秆覆盖识别装置进行描述，下文描述的基于深度学习的遥感影像玉米秸秆覆盖识别装置与上文描述的基于深度学习的遥感影像玉米秸秆覆盖识别方法可相互对应参照。
图5是本发明实施例提供的基于深度学习的遥感影像玉米秸秆覆盖识别装置的结构示意图，如图5所示，该基于深度学习的遥感影像玉米秸秆覆盖识别装置包括：裁剪模块501、处理模块502和输出模块503。其中，裁剪模块501用于对被测遥感影像以预设重叠度进行裁剪；处理模块502用于将每一裁剪后图像，分别输入预训练的AP-UNET网络模型，输出玉米秸秆覆盖概率图；输出模块503用于根据所述玉米秸秆覆盖概率图，基于全连接CRF方法，获得玉米秸秆分布图；其中，所述AP-UNET网络模型，是基于UNET网络，在双层卷积层前加入Dropout层，双层卷积层后加入Batch Normalization层、注意力机制CBAM模块和PSPP模块得到，且以确定的玉米秸秆覆盖结果作为标签，对应的分割后遥感影像图像为训练样本，进行训练后得到。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例提供的基于深度学习的遥感影像玉米秸秆覆盖识别装置，在UNET深度学习网络的基础上引入CBAM模块、PSPP模块，Batch Normalization和Dropout层构建AP-UNET网络，自动化程度和提取效率高，方法可扩展性好，且提取精度高，可调整参数应用于不同传感器的遥感卫星影像。利用该AP-UNET网络模型可有效解决在高分辨率影像中提取秸秆覆盖特征问题。
图6是本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(Communications Interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行基于深度学习的遥感影像玉米秸秆覆盖识别方法，该方法包括：对被测遥感影像以预设重叠度进行裁剪；将每一裁剪后图像，分别输入预训练的AP-UNET网络模型，输出玉米秸秆覆盖概率图；根据所述玉米秸秆覆盖概率图，基于全连接CRF方法，获得玉米秸秆分布图；其中，所述AP-UNET网络模型，是基于UNET网络，在双层卷积层前加入Dropout层，双层卷积层后加入Batch Normalization层、注意力机制CBAM模块和PSPP模块得到，且以确定的玉米秸秆覆盖结果作为标签，对应的分割后遥感影像图像为训练样本，进行训练后得到。
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于深度学习的遥感影像玉米秸秆覆盖识别方法，该方法包括：对被测遥感影像以预设重叠度进行裁剪；将每一裁剪后图像，分别输入预训练的AP-UNET网络模型，输出玉米秸秆覆盖概率图；根据所述玉米秸秆覆盖概率图，基于全连接CRF方法，获得玉米秸秆分布图；其中，所述AP-UNET网络模型，是基于UNET网络，在双层卷积层前加入Dropout层，双层卷积层后加入Batch Normalization层、注意力机制CBAM模块和PSPP模块得到，且以确定的玉米秸秆覆盖结果作为标签，对应的分割后遥感影像图像为训练样本，进行训练后得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于深度学习的遥感影像玉米秸秆覆盖识别方法，该方法包括：对被测遥感影像以预设重叠度进行裁剪；将每一裁剪后图像，分别输入预训练的AP-UNET网络模型，输出玉米秸秆覆盖概率图；根据所述玉米秸秆覆盖概率图，基于全连接CRF方法，获得玉米秸秆分布图；其中，所述AP-UNET网络模型，是基于UNET网络，在双层卷积层前加入Dropout层，双层卷积层后加入BatchNormalization层、注意力机制CBAM模块和PSPP模块得到，且以确定的玉米秸秆覆盖结果作为标签，对应的分割后遥感影像图像为训练样本，进行训练后得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于深度学习的遥感影像玉米秸秆覆盖识别方法，其特征在于，包括：
对被测遥感影像以预设重叠度进行裁剪；
将每一裁剪后图像，分别输入预训练的AP-UNET网络模型，输出玉米秸秆覆盖概率图；
根据所述玉米秸秆覆盖概率图，基于全连接CRF方法，获得玉米秸秆分布图；
其中，所述AP-UNET网络模型，是基于UNET网络，在双层卷积层前加入Dropout层，双层卷积层后加入Batch Normalization层、注意力机制CBAM模块和PSPP模块，且以确定的玉米秸秆覆盖结果作为标签，对应的分割后遥感影像图像为训练样本，进行训练后得到；
输入预训练的AP-UNET网络模型，包括：
将提取的特征输入UNET的双层卷积层后，输入嵌入的注意力机制CBAM模块；
利用CBAM模块对卷积神经网络生成的特征图计算通道注意力/>；
将和/>逐元素相乘获得/>，然后对/>计算空间注意力/>，将/>和逐元素相乘获得CBAM模块输出结果/>；
其中，公式表示包括：
；
其中，C、H和W分别为特征图通道数，高和宽，为Sigmoid函数，/>，，r为参数减少率，/>后使用Relu作为激活函数；/>和/>分别表示在空间维度上对/>使用平均和最大池化；
空间注意力计算公式包括：
；
其中，表示7×7的卷积层，/>和/>分别表示在通道维度上对使用最大和平均池化。
2.根据权利要求1所述的基于深度学习的遥感影像玉米秸秆覆盖识别方法，其特征在于，所述对被测遥感影像以预设重叠度进行裁剪之前，还包括：
对已知覆盖结果的遥感影像进行分割，制作分割标签，将标签和对应的影像进行分块裁剪构建数据集；
基于UNET网络，在双层卷积层前加入Dropout层，双层卷积层后嵌入BatchNormalization层、注意力机制CBAM模块和PSPP模块，得到AP-UNET网络模型；
基于所述数据集，采用级联式迁移学习结构，训练AP-UNET网络模型，得到所述预训练的AP-UNET网络模型。
3.根据权利要求1或2所述的基于深度学习的遥感影像玉米秸秆覆盖识别方法，其特征在于，所述AP-UNET网络模型中，激活函数为Elu，网络二维卷积层中加入L2正则化，并联合Dice和二元交叉熵双损失函数作代价收敛。
4.根据权利要求1所述的基于深度学习的遥感影像玉米秸秆覆盖识别方法，其特征在于，所述输入预训练的AP-UNET网络模型，包括：
将特征图输入网络解码器前的PSPP模块，通过PSPP层将输入的特征图平均分为N份进行不同尺度的池化；
将池化后的特征图做卷积处理，对应的通道降为原本的1/N，然后通过双线性插值获得未池化前的尺度大小，最终与特征图连接融合到一起作为新的特征图。
5.根据权利要求2所述的基于深度学习的遥感影像玉米秸秆覆盖识别方法，其特征在于，所述采用级联式迁移学习结构，训练AP-UNET网络模型，包括：
将训练数据集按照年份分为M份，分别输入具有M级的级连式迁移学习结构；
将第一年数据集输入到第一级结构进行网络参数训练，然后将训练好的参数迁移至第二级结构对第二年数据集进行参数训练；
重复上述将训练好的参数迁移至第M级结构对第M年数据集进行参数训的过程，直至M级结构训练完成。
6.根据权利要求1所述的基于深度学习的遥感影像玉米秸秆覆盖识别方法，其特征在于，所述根据所述玉米秸秆覆盖概率图，基于全连接CRF方法，获得玉米秸秆分布图，包括：
根据所述概率图，通过最小化Gibbs能量函数E(X)得到全局分割结果，能量函数包括：
；
式中，X={x i ;i=1, 2, …, m}，x i 为像素i的类别标签；为一元势能函数，其中/>为全局某像素点i属于某类别的概率；/>表示二元势函数；
使用双核高斯势函数来表征颜色和位置信息，公式包括：
；
式中，u(x i ，x j )是标签兼容性函数，若x i ≠x j ，则u(x i ，x j )=1，反之为0；第一项指数函数为外观核，w 1为该函数的权重，I i 和I j 表示像素在k i 和k j 位置上的颜色信息，和/>为控制像素间距离近似度和颜色相似度参数；第二项指数函数平滑度核，其中w 2为该核函数权重，为控制位置信息参数，用来平滑掉部分孤立区域；
获得分割结果后，将每一裁剪后图像分割结果，根据预设重叠度组合得到最终分割图。
7.一种基于深度学习的遥感影像玉米秸秆覆盖识别装置，其特征在于，包括：
裁剪模块，用于对被测遥感影像以预设重叠度进行裁剪；
处理模块，用于将每一裁剪后图像，分别输入预训练的AP-UNET网络模型，输出玉米秸秆覆盖概率图；
输出模块，用于根据所述玉米秸秆覆盖概率图，基于全连接CRF方法，获得玉米秸秆分布图；
其中，所述AP-UNET网络模型，是基于UNET网络，在双层卷积层前加入Dropout层，双层卷积层后加入Batch Normalization层、注意力机制CBAM模块和PSPP模块得到，且以确定的玉米秸秆覆盖结果作为标签，对应的分割后遥感影像图像为训练样本，进行训练后得到；
输入预训练的AP-UNET网络模型，包括：
将提取的特征输入UNET的双层卷积层后，输入嵌入的注意力机制CBAM模块；
利用CBAM模块对卷积神经网络生成的特征图计算通道注意力/>；
将和/>逐元素相乘获得/>，然后对/>计算空间注意力/>，将/>和逐元素相乘获得CBAM模块输出结果/>；
其中，公式表示包括：
；
其中，C、H和W分别为特征图通道数，高和宽，为Sigmoid函数，/>，，r为参数减少率，/>后使用Relu作为激活函数；/>和/>分别表示在空间维度上对/>使用平均和最大池化；
空间注意力计算公式包括：
；
其中，表示7×7的卷积层，/>和/>分别表示在通道维度上对使用最大和平均池化。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于深度学习的遥感影像玉米秸秆覆盖识别方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于深度学习的遥感影像玉米秸秆覆盖识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011474837.1A CN112580484B (zh) | 2020-12-14 | 2020-12-14 | 基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011474837.1A CN112580484B (zh) | 2020-12-14 | 2020-12-14 | 基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112580484A CN112580484A (zh) | 2021-03-30 |
| CN112580484B true CN112580484B (zh) | 2024-03-29 |
Family
ID=75135412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011474837.1A Active CN112580484B (zh) | 2020-12-14 | 2020-12-14 | 基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580484B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205537B (zh) * | 2021-05-17 | 2023-07-07 | 广州大学 | 基于深度学习的血管图像分割方法、装置、设备及介质 |
| CN113487483A (zh) * | 2021-07-05 | 2021-10-08 | 上海商汤智能科技有限公司 | 影像分割网络的训练方法和装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104331686A (zh) * | 2014-10-28 | 2015-02-04 | 中国农业大学 | 一种土壤地表秸秆覆盖率人工辅助识别系统 |
| CN106909898A (zh) * | 2017-02-24 | 2017-06-30 | 北京惠达智农科技有限公司 | 秸秆还田监测中的图像智能分析终端及方法 |
| CN110717420A (zh) * | 2019-09-25 | 2020-01-21 | 中国科学院深圳先进技术研究院 | 一种基于遥感图像的耕地提取方法、系统及电子设备 |
| CN110942454A (zh) * | 2019-11-26 | 2020-03-31 | 北京科技大学 | 一种农业图像语义分割方法 |
| CN111291608A (zh) * | 2019-11-12 | 2020-06-16 | 广东融合通信股份有限公司 | 一种基于深度学习的遥感图像非建筑区域过滤方法 |
| CN111337434A (zh) * | 2020-03-06 | 2020-06-26 | 东北大学 | 一种矿区复垦植被生物量估算方法及系统 |
| CN111401455A (zh) * | 2020-03-20 | 2020-07-10 | 中国科学院空天信息创新研究院 | 一种基于Capsules-Unet模型的遥感图像深度学习分类方法和系统 |
| CN111563508A (zh) * | 2020-04-20 | 2020-08-21 | 华南理工大学 | 一种基于空间信息融合的语义分割方法 |
| CN111598028A (zh) * | 2020-05-21 | 2020-08-28 | 佛山市高明曦逻科技有限公司 | 一种基于遥感成像原理识别地表植被分布方法 |
| CN111783782A (zh) * | 2020-05-29 | 2020-10-16 | 河海大学 | 融合改进UNet和SegNet的遥感图像语义分割方法 |
| CN111914611A (zh) * | 2020-05-09 | 2020-11-10 | 中国科学院空天信息创新研究院 | 城市绿地高分遥感监测方法与系统 |
| CN111932529A (zh) * | 2020-09-10 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 一种图像分割方法、装置及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020129544A1 (en) * | 1999-11-29 | 2002-09-19 | Enrica Bargiacchi | Liquid or semifluid self sustaining mulch for protecting crops |
-
2020
- 2020-12-14 CN CN202011474837.1A patent/CN112580484B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104331686A (zh) * | 2014-10-28 | 2015-02-04 | 中国农业大学 | 一种土壤地表秸秆覆盖率人工辅助识别系统 |
| CN106909898A (zh) * | 2017-02-24 | 2017-06-30 | 北京惠达智农科技有限公司 | 秸秆还田监测中的图像智能分析终端及方法 |
| CN110717420A (zh) * | 2019-09-25 | 2020-01-21 | 中国科学院深圳先进技术研究院 | 一种基于遥感图像的耕地提取方法、系统及电子设备 |
| CN111291608A (zh) * | 2019-11-12 | 2020-06-16 | 广东融合通信股份有限公司 | 一种基于深度学习的遥感图像非建筑区域过滤方法 |
| CN110942454A (zh) * | 2019-11-26 | 2020-03-31 | 北京科技大学 | 一种农业图像语义分割方法 |
| CN111337434A (zh) * | 2020-03-06 | 2020-06-26 | 东北大学 | 一种矿区复垦植被生物量估算方法及系统 |
| CN111401455A (zh) * | 2020-03-20 | 2020-07-10 | 中国科学院空天信息创新研究院 | 一种基于Capsules-Unet模型的遥感图像深度学习分类方法和系统 |
| CN111563508A (zh) * | 2020-04-20 | 2020-08-21 | 华南理工大学 | 一种基于空间信息融合的语义分割方法 |
| CN111914611A (zh) * | 2020-05-09 | 2020-11-10 | 中国科学院空天信息创新研究院 | 城市绿地高分遥感监测方法与系统 |
| CN111598028A (zh) * | 2020-05-21 | 2020-08-28 | 佛山市高明曦逻科技有限公司 | 一种基于遥感成像原理识别地表植被分布方法 |
| CN111783782A (zh) * | 2020-05-29 | 2020-10-16 | 河海大学 | 融合改进UNet和SegNet的遥感图像语义分割方法 |
| CN111932529A (zh) * | 2020-09-10 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 一种图像分割方法、装置及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于语义分割的复杂场景下的秸秆检测;刘媛媛;张硕;于海业;王跃勇;王佳木;;光学精密工程;20200115(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112580484A (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Duong et al. | Automated fruit recognition using EfficientNet and MixNet | |
| Singh et al. | Deep transfer modeling for classification of maize plant leaf disease | |
| CN112580484B (zh) | 基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置 | |
| CN112016400B (zh) | 一种基于深度学习的单类目标检测方法、设备及存储介质 | |
| Huang et al. | A two-stage classification approach for the detection of spider mite-infested cotton using UAV multispectral imagery | |
| Bhagat et al. | Eff-UNet++: A novel architecture for plant leaf segmentation and counting | |
| Kamath et al. | Classification of paddy crop and weeds using semantic segmentation | |
| Li et al. | Joint spatial–spectral attention network for hyperspectral image classification | |
| Liu et al. | Identification and grading of maize drought on rgb images of uav based on improved u-net | |
| Yadav et al. | AFD-Net: Apple Foliar Disease multi classification using deep learning on plant pathology dataset | |
| CN117113189A (zh) | 一种土地分类的综合评价方法、电子设备及存储介质 | |
| Li et al. | A Scale Sequence Object-based Convolutional Neural Network (SS-OCNN) for crop classification from fine spatial resolution remotely sensed imagery | |
| Zhang et al. | Segmentation model based on convolutional neural networks for extracting vegetation from Gaofen-2 images | |
| Zhang et al. | Wheat-net: An automatic dense wheat spike segmentation method based on an optimized hybrid task cascade model | |
| CN117392157B (zh) | 一种边缘感知的保护性耕作秸秆覆盖率检测方法 | |
| Hu et al. | Cross-Domain Meta-Learning under Dual Adjustment Mode for Few-Shot Hyperspectral Image Classification | |
| Afaq et al. | Multi-resolution-based deep learning approach for rice field monitoring | |
| Wang et al. | Fine-grained weed recognition using Swin Transformer and two-stage transfer learning | |
| Anjun et al. | SRAD-CNN for adaptive synthetic aperture radar image classification | |
| Musyoka | Automatic delineation of small holder agricultural field boundaries using fully convolutional networks | |
| CN116206210A (zh) | 一种基于NAS-Swin的遥感影像农业大棚提取方法 | |
| Chen et al. | Assessment of intertidal seaweed biomass based on RGB imagery | |
| Shukla et al. | Plant disease detection and localization using GRADCAM | |
| Xie et al. | Improvement and application of UNet network for avoiding the effect of urban dense high-rise buildings and other feature shadows on water body extraction | |
| Zhang et al. | Crop classification for UAV visible imagery using deep semantic segmentation methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |