CN114596502B - 基于边缘增强的高分辨率遥感影像的耕地信息提取方法 - Google Patents

基于边缘增强的高分辨率遥感影像的耕地信息提取方法 Download PDF

Info

Publication number
CN114596502B
CN114596502B CN202210201357.0A CN202210201357A CN114596502B CN 114596502 B CN114596502 B CN 114596502B CN 202210201357 A CN202210201357 A CN 202210201357A CN 114596502 B CN114596502 B CN 114596502B
Authority
CN
China
Prior art keywords
module
edge
network
loss
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210201357.0A
Other languages
English (en)
Other versions
CN114596502A (zh
Inventor
董张玉
李金徽
张鹏飞
张远南
于金秋
张晋
安森
许道礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210201357.0A priority Critical patent/CN114596502B/zh
Publication of CN114596502A publication Critical patent/CN114596502A/zh
Application granted granted Critical
Publication of CN114596502B publication Critical patent/CN114596502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明设计了一种基于边缘增强的高分辨率遥感影像的耕地信息提取方法，设计构建联合边缘增强损失函数BE‑Loss，并相应设计高效的BEC‑Net网络框架实现耕地地块与其边缘情况的精准提取。使用EfficientNet为骨干网络的UNet网络作为语义分割模块，在边界增强模块中通过融入scSE双通道注意力机制、Cot模块、门控卷积等提升训练精度。结合余弦退火衰减算法更新学习率使训练结果更具全面性。最后经边缘增强的分类结果较其他模型精度有明显提高。本发明不仅可以通过对网络框架和学习手段的调整实现模型的优化；利用高效的浅层结构专注于处理边缘语义，对于耕地类型地块提取精度的提升具有同等重要的意义。

Description

基于边缘增强的高分辨率遥感影像的耕地信息提取方法
技术领域
本发明涉及遥感影像耕地信息提取技术领域，尤其涉及一种基于边缘增强的高分辨率遥感影像的耕地信息提取方法。
背景技术
对于遥感图像中耕地类别的提取任务，在以往传统的非监督分类、监督分类、面向对象分类方法不断发展的同时，利用深度学习算法进行耕地信息提取显示出应用优势和潜力。语义分割网络如U-Net、DeeplabV3+等，对耕地提取效果显著，但这些算法在提取耕地时，易发生边缘模糊、边界错分。边缘特征对于耕地地块的分割具有重要意义，有必要对耕地及其边缘区域进行更准确的识别。因此，本发明提出基于边缘增强函数BE-Loss的BEC-UNet语义分割网络，应用边缘增强损失函数，实现高分辨率遥感图像的耕地提任务。
发明内容
本发明目的就是为了弥补已有技术的缺陷，提供一种基于边缘增强的高分辨率遥感影像的耕地信息提取方法。
本发明是通过以下技术方案实现的：
一种基于边缘增强的高分辨率遥感影像的耕地信息提取方法，具体包括如下步骤：
(1)构建联合型边界增强损失函数BE-Loss；
(2)设计构建BEC-UNet网络模型；
(3)使用GID高分辨率多光谱标签数据作为实验数据；
(4)将实验数据融合NDVI指数后得到的5波段数据输入到基于构建的边界增强损失函数BE-Loss的网络架构中，在BEC-UNet中，使用EfficientNet为骨干网络的UNet网络作为语义分割模块，在边界增强模块中通过融入scSE双通道注意力机制、Cot模块、门控卷积等提升训练精度。最后结合余弦退火衰减算法更新学习率，由一个Efficient特征监督模块融合后得出经边缘增强的分类结果。
所述的联合型边界增强损失函数BE-Loss(Boundary enhanced Loss)；其具体内容如下：
BE-Loss＝α1LDICE(X1，Y1)+β1ΩHuber(reg(ξ))+α2LDICE(X2，Y2)+β2ΩL1(ω)
其中，α1LDICE(X1，Y1)和α2LDICE(X2，Y2)分别为边缘强化模块加权损失和分类模块的加权损失，α1和α2分别是耕地提取、边缘增强DICE损失的对应权重，β1和β2分别为耕地提取、边缘增强的正则项，X1、Y1分别表示网络耕地地块识别情况、实际耕地地块情况，X2、Y2分别表示图像边缘识别情况和实际耕地边缘情况；因耕地提取任务为二分类，故两损失均采用DICE损失函数，具体计算公式如下：
Figure GDA0003921285800000021
上述公式中X为分类结果类别情况，Y为实际地物分类情况。另外，β1ΩHuber(reg(ξ))为针对边缘强化功能的正则项，具体计算公式如下：
Figure GDA0003921285800000022
上述公式中权重ω(i，j)表明像素i与像素j的相关系数，为对称正值，在本文中设置为两像素间举例的反比；Nj表示二维空间中像素j点的邻域；ξ＝(ξ1，ξ2，...，ξm)T，为输入图像的衰减系数；
Figure GDA0003921285800000023
为正则化的Huber算子，其具体参数方程如下：
Figure GDA0003921285800000024
TH为迭代阈值，t为参数方程自变量；使用Huber算子可有效抑制遥感图像中的伪影，惩罚获取精准边缘结果；此外，β2ΩL1(ω)为针对语义分类功能的L1正则项，用于防止分类结果过拟合，其具体计算公式如下：
Figure GDA0003921285800000025
上述公式中，对参数模型ω引入拉普拉斯先验，即Ω～Laplace(μ，b)，则有：
Figure GDA0003921285800000026
其中ω*表示最优的目标解，α∈[0，+∞]是用来调整参数范数惩罚与经验损失的相对贡献的超参数，当α＝0时表示没有正则化，α越大对应该的正则化惩罚就越大。H是关于ω的Hessian矩阵，且H＝diag([H1，1，H2，2，...，Hn，n])。
所述的由语义分割模块和边界增强模块为主体共同构成的BEC-UNet(BoundaryEnhancement Classificarion UNet)架构，其特征在于：语义分割模块与边界增强模块相对独立并协同完成精准分类任务，具体内容如下：
以EfficientNet为骨干网络的UNet编码-解码网络作为语义分割模块，EfficientNet作为UNet网络的编码器，UNet的解码器由EfficientNet结构对称产生。与语义分割模块并行的边界增强模块由若干scSE双通道注意力机制、Cot残差模块、门控卷积按一定流程顺序逐层构成，其中，scSE双通道注意力机制由cSE模块和sSE模块并行加权而成，在通道上和空间上都建立了注意力机制，其公式如下：
Figure GDA0003921285800000031
其中
Figure GDA0003921285800000032
即为输出的特征图，
Figure GDA0003921285800000033
其中m为图像通道数，本文输入图像为五通道，分别是红、绿、蓝、近红外、NDVI。
门控卷积计算公式如下：
Figure GDA0003921285800000034
上式中，en表示使用门控处理的相应边缘增强模块中的每个的中间过程图像，若语义分割过程涉及m步骤，则n∈m。wn表示对应的通道权重，i，j表示参与处理的各像素。[*]符号表示门控卷积。
输出语义分割模块与边界增强模块的中间结果经含正则化项的联合型边界增强损失函数加权后，又通过一个Efficient特征监督模块完成融合，此EfficientNet各项参数等设置与语义分割模块中的编码器保持一致。
最后结合余弦退火衰减算法更新学习率，得出经边缘增强的分类结果。余弦退火的原理公式如下：
Figure GDA0003921285800000035
其中
Figure GDA0003921285800000036
和
Figure GDA0003921285800000037
为学习速率的范围，Tcur解释自上次重启以来执行了多少个epoach，Ti表示已迭代的当前epoach数值；开始，由于余弦退火的学习速率迅速下降，模型进入局部最优点，此时保存此局部最优点模型，学习率重新恢复到一个更大的值，跳出此局部最优点，并寻找新的最优点。
所述的NDVI指数为近红外波段的反射值与红光波段的反射值之差与两者之和的比值，通过计算近红外光和红光之间的差异大小来量化植被分布的情况，其公式如下：
Figure GDA0003921285800000041
式中，NIR为近红外波段的反射值，Red为红光波段的反射值。
本发明的优点是：本发明使用GID高分辨率多光谱标签数据集作为实验数据，针对边缘欠拟合等问题提出新的联合型边缘增强损失函数BE-Loss，并构建针对性处理遥感耕地图像的BEC-UNet网络。使用EfficientNet为骨干网络的UNet网络作为语义分割模块，在边界增强模块中通过融入scSE双通道注意力机制、Cot模块、门控卷积等提升训练精度。此外，结合余弦退火衰减算法更新学习率使训练结果更具全面性。最后经边缘增强的分类结果IoU达到0.90，F1-Score达到0.95，较其他模型精度有明显提高。
本发明提出的边缘增强的改进方向为深度学习提取耕地时的精度提高提供新思路。即，不仅可以通过对整个网络框架的调整实现模型的优化；相对于地块的纹理信息，区别性处理边界相关信息、利用高效的浅层结构专注于处理边缘语义，对于地块提取精度的提升具有同等重要的意义。
附图说明
图1为BEC-UNet结构框图和BE-Loss损失函数的构造细节；
图2为scSE注意力机制原理框图；
图3为Cot残差模块程序流程图；
图4为预处理后的四波段原图和对应标签文件示例；
图5为各损失函数的精度效果对比图；
图6为不同网络模型的精度结果对比图。
具体实施方式
一种基于边缘增强的高分辨率遥感影像的耕地信息提取方法，具体包括如下步骤：
(1)构建联合型边界增强损失函数BE-Loss；
(2)设计构建BEC-UNet网络模型；
(3)使用GID高分辨率多光谱标签数据作为实验数据；
(4)将实验数据融合NDVI指数后得到的5波段数据输入到基于构建的边界增强损失函数BE-Loss的网络架构中，在BEC-UNet中，使用EfficientNet为骨干网络的UNet网络作为语义分割模块，在边界增强模块中通过融入scSE双通道注意力机制、Cot模块、门控卷积等提升训练精度。最后结合余弦退火衰减算法更新学习率，由一个Efficient特征监督模块融合后得出经边缘增强的分类结果。
1、改进的边界增强损失函数BE-Loss
语义分割一般使用交叉熵函数计算损失，而由于耕地分类任务和边界增强任务均为二分类任务，采用DICE系数计算损失更为合理。DICE损失广泛应用于医学影像分割，此处用DICE作为耕地分类模块、边缘增强模块的损失。L1正则化鲁棒性佳，作为惩罚项可有效避免模型发生过拟合，提高泛化能力，L1正则项更易产生稀疏解。Huber损失是一种平滑的平均绝对误差，结合了MSE、MAE正则化的优点，对图像的伪影可有效去除。
故针对现存的问题，本发明设计联合型边界增强损失函数BE-Loss(Boundaryenhanced Loss)；其具体内容如下：
BE-Loss＝α1LDICE(X1，Y1)+β1ΩHuber(reg(ξ))+α2LDICE(X2，Y2)+β2ΩL1(ω)
其中，α1LDICE(X1，Y1)和β1ΩHuber(reg(ξ))分别为边缘强化模块加权损失和分类模块的加权损失，α1和α2分别是耕地提取、边缘增强DICE损失的对应权重，β1和β2分别为耕地提取、边缘增强的正则项，X1、Y1分别表示网络耕地地块识别情况、实际耕地地块情况，X2、Y2分别表示图像边缘识别情况和实际耕地边缘情况；因耕地提取任务为二分类，故两损失均采用DICE损失函数，具体计算公式如下：
Figure GDA0003921285800000051
上述公式中X为分类结果类别情况，Y为实际地物分类情况。另外，β1ΩHuber(reg(ξ))为针对边缘强化功能的正则项，具体计算公式如下：
Figure GDA0003921285800000061
上述公式中权重ω(i，j)表明像素i与像素j的相关系数，为对称正值，在本文中设置为两像素间举例的反比；Nj表示二维空间中像素j点的邻域；ξ＝(ξ1，ξ2，...，ξm)T，为输入图像的衰减系数；
Figure GDA0003921285800000062
为正则化的Huber算子，其具体参数方程如下：
Figure GDA0003921285800000063
TH为迭代阈值，t为参数方程自变量；使用Huber算子可有效抑制遥感图像中的伪影，惩罚获取精准边缘结果；此外，β2ΩL1(ω)为针对语义分类功能的L1正则项，用于防止分类结果过拟合，其具体计算公式如下：
Figure GDA0003921285800000064
上述公式中，对参数模型ω引入拉普拉斯先验，即Ω～Laplace(μ，b)，则有：
Figure GDA0003921285800000065
其中ω*表示最优的目标解，α∈[0，+∞]是用来调整参数范数惩罚与经验损失的相对贡献的超参数，当α＝0时表示没有正则化，α越大对应该的正则化惩罚就越大；H是关于ω的Hessian矩阵，且H＝diag([H1，1，H2，2，...，Hn，n])；
这种方法的优势在于使用两个模块分别处理语义分割任务和边缘增强任务，边缘语义对耕地地块信息的影像被有效规避，从而有效的去除噪声，令边缘增强模块更专注处理边界信息，以此高级架构产生可更清晰的预测对象边界，并显著提高对细小对象的识别能力。针对边缘增强模块的损失我们加入Huber正则项，兼有MSE和MAE代价函数的优点。本设计更合适于我们的高分辨率的遥感影像数据处理。
2、BEC-UNet
单纯的语义分割网络如UNet往往容易遗漏或错判边缘信息，因为全局判断时，形状等边缘语义易对整幅图像的其他语义信息造成影响，所以本发明的思路是设计两个模块分别处理分类问题和边界问题，在结果处特征监督，从而达到更好的分类效果，尤其是对边缘特征明显的遥感影像耕地地块具有良好效果。
EMEUnet以EfficientNet为骨干网络的UNet编码-解码网络作为语义分割模块，EfficientNet作为UNet网络的编码器，UNet的解码器由EfficientNet结构对称产生。与语义分割模块并行的边界增强模块由若干scSE双通道注意力机制、Cot残差模块、门控卷积按一定流程顺序逐层构成，如附图1中所示。
UNet网络是一种经典的编码-解码网络，其网络结构完全对称，这种结构在医学影像分割、图像压缩和信号去噪中被广泛使用，因其简洁高效的拓扑结构也在遥感图像的语义分割中被广泛使用。对比其他网络，UNet网络的亮点主要在于，与编码器完全对称的解码器结构，并在跳跃连接模块部分使用叠操作，而不是加操作。
本发明中的UNet采用五层深度，编码网络使用EfficientNet，EfficientNet使用高效的复合系数，从长度、宽度、分辨率三个维度有选择地缩放网络，使其相不仅高速而且精度更高，针对高分辨率的大幅遥感影像适应性高。且EfficientNet可作为网络模块构建其他网络架构，可作为UNet的骨干编码网络。EfficientNet以运算效率高为主要特点，鲁棒性佳。
scSE双通道注意力机制由cSE模块和sSE模块并行加权而成，在通道上和空间上都建立了注意力机制，其公式如下：
Figure GDA0003921285800000071
其中
Figure GDA0003921285800000072
即为输出的特征图，
Figure GDA0003921285800000073
其中m为图像通道数，本文输入图像为五通道，分别是红、绿、蓝、近红外、NDVI。SE模块通过Squeeze和Excitation操作，采用一种全新的“特征重标定”策略，自动获取到每个特征通道的重要程度，并依此提升有用特征、抑制无用特征。cSE就是在SE模块的基础上，先将特征维度降低到输入的1/16，以使模块具有更多的非线性，能够给更好地拟合通道间复杂的相关性，也极大地减少了参数量和计算量。sSE就是先在通道上进行压缩，再在空间部分进行Exication。scSE结构则为cSE和sSE并行后求和而成。这样的结构在通道上和空间上都建立了注意力机制，cSE在通道维度上对原始特征进行重标定，sSE增强了空间层面的特征提取功能。这种空间、通道两者结合的结构能够使scSE模块在使用时达到更好的注意力学习功能。
Cot残差模块计算流程图如附图3所示。Cot充分挖掘邻近上下文信息，从而高效提升学习效果和表达输出特征的效果。
门控卷积计算公式如下：
Figure GDA0003921285800000081
上式中，en表示使用门控处理的相应边缘增强模块中的每个的中间过程图像，若语义分割过程涉及m步骤，则n∈m。wn表示对应的通道权重，i，j表示参与处理的各像素。[*]符号表示门控卷积。
输出语义分割模块与边界增强模块的中间结果经含正则化项的联合型边界增强损失函数加权后，在最后的融合计算模块中，本发明使用与UNet编码器一致的EfficientNet实现特征监督。将分类模块和边界增强模块处理结果融合计算得出最终精准分类的结果。
最后结合余弦退火衰减算法更新学习率，得出经边缘增强的分类结果。整个程序的总体网络框架图如附图1所示。余弦退火的原理公式如下：
Figure GDA0003921285800000082
其中
Figure GDA0003921285800000083
和
Figure GDA0003921285800000084
为学习速率的范围，Tcur解释自上次重启以来执行了多少个epoach，Ti表示已迭代的当前epoach数值；开始，由于余弦退火的学习速率迅速下降，模型进入局部最优点，此时保存此局部最优点模型，学习率重新恢复到一个更大的值，跳出此局部最优点，并寻找新的最优点。在训练的梯度下降过程中，可能陷入局部最小值，此时可以通过突然提高学习率来逃离局部最小值，从而找到通向全局最小值的路径。并且由于余弦退火的学习速率迅速下降，无论是什么下降斜率的幅度，该模型都将迅速进入局部最优点。虽然与传统模型训练的方法“起点”、“终点“基本相同”，但余弦退火的学习率更新方式使模型的训练过程更加“曲折”。相比于传统的训练过程个学习速率的逐步减小过程，余弦退火方式由于保存多个局部最优点的模型，具有多样性，集合之后更加全面，故而训练结果效果更佳。
3、归一化植被指数NDVI
归一化植被指数NDVI为近红外波段的反射值与红光波段的反射值之差与两者之和的比值，这样操作的好处就是可以通过计算近红外光和红光之间的差异大小来量化植被分布的情况。其公式如下：
Figure GDA0003921285800000091
由于农田区域中植被特征较为明显，增加植被指数NDVI的优势在于从遥感理论层面为语义分割网络提供重要参考性的学习特征信息。在后文的实验结果中我们可以看到，从地理信息的理论层面增加归一化植被指数这一特征信息使得农田提取的精度确有有效提升。
4、实验及结果分析
4.1数据源预处理及参数设置
4.1.1数据源的预处理
如图4所示，在此次实验中，我们从GID-GF2数据集的150张7200像素x6800像素的带标签大图数据中选取7张农田与非农田分布均衡、标签清晰的四波段(近红外、红、绿、蓝)原图tif和7张对应的标签tif图。将选取出的每张大图均分别裁剪成728张256像素x256像素的小图。最后一共得到5096组裁剪完毕的原图及对应标签，对这分别进行亮度变换、垂直翻转、水平翻转、0.5％的线性拉伸、旋转90°、平移、尺度加旋转变换、增加模糊、随机擦除等操作，以实现数据的随机增强，使实验结果精度更高。由于此次分类只针对耕地提取，故对标签文件要进行其他类的合并处理。该数据集本身有建筑用地、耕地、森林、草地、水体五类，经python类别合并处理之后，这5096组样本的标签文件只具有耕地、非耕地两个类别。其中4368组影像及标签在作为训练集输入BEC-UNet网络，为了更充分利用光谱信息，在其输入网络前分别为每张图加入归一化植被指数NDVI这一特征以供网络进行学习；剩余728组作为测试集测试生成的权重文件的提取精度效果。在标签文件中，灰色为耕地标签，黑色为非耕地标签。
4.1.2训练参数及相关软硬件配置
本发明的实验平台采用64位英特尔i7的10代CPU，GPU型号为3080ti，基于开源的tython机器学习库pytorch1.7，配置cuda版本11.1，nvidia对应3080ti。
表1.耕地信息提取工作所使用的相关库及其版本
Figure GDA0003921285800000092
Figure GDA0003921285800000101
在深度学习Pytorch框架中使用的各库包版本分别如上表1所示，GDAL版本为2.1，Segmentation-models-pytorch版本0.3，torch为1.7，Pytorch-toolbelt版本0.2.1。
4.2实验结果与效果分析
我们得到的效果最佳的输入模式和网络结构，是以近红外、红、绿、蓝四波段合成的假彩色影像融合NDVI指数输入，基于BE-Loss边界增强损失，将实验数据融合NDVI指数后得到的5波段数据输入到基于构建的边界增强损失函数BE-Loss的BEC-UNet网络架构中，使用EfficientNet为骨干网络的UNet网络作为语义分割模块，在边界增强模块中通过融入scSE双通道注意力机制、Cot模块、门控卷积等提升训练精度。最后结合余弦退火衰减算法更新学习率，由一个Efficient特征监督模块融合后得出经边缘增强的分类结果。此方案最终得到的混淆矩阵如下表2，可以看出，通过此边缘增强手段正确预测的概率和错误检测的精度均达到较高水平。
表2.边缘增强的改进型UNet的混淆矩阵
耕地(实际) 非耕地(实际)
耕地(预测) TP＝17610181 FP＝3489263
耕地(预测) FN＝3792760 TN＝70528212
最后得到的结果展示，IOU为90.641304％，F1-score为95.09094％，Precision为92.36848537738507％，Recall为94.896784％，Kappa为0.7795805198427863。相较于以往的耕地提取手段获得的精度结果，我们提出的技术路线精度有大幅提高。
4.2.1提出的BE-Loss对分类的提升效果
为了研究我们设计的BE-Loss对于遥感图像的耕地分类效果的提升情况，我们设计对照试验进行定量分析。试验结果如下表3所示。
表3.边缘增强对提取精度的提高的效果
Figure GDA0003921285800000111
我们将我们所构建的边缘增强损失函数BE-Loss分别与DICE、BCE、DICE联合BCE的损失函数进行对比。可以看出，相比于其他损失函数，对于GID-2数据集，边缘增强损失函数精度有显著提高，IOU可达到91.84％，F1-score可达到95.53％。针对每一种损失函数的使用情况，我们分别就网络结构和网络方法的差异进行讨论，从实验结果表中可以看出，增加scSE注意力机制后，使用边缘增强损失函数的网络模型精度均有所提高，可以验证增加此项注意力机制对网络优化具有积极作用；对于学习率的更新策略，使用余弦退火对比于传统方式，精度均有有效提高，这种优化方式有效处理了学习过程中陷入局部最优点的困境问题。各种损失函数之间的精度结果对比图如图5所示。
由图5可见，DICE和BCE联合的损失函数有时可以相互纠正起到校正边缘和分类的作用，但有时会因误差的相互干扰而导致精度和分类效果不升反降。而基于边缘增强手段的提取精度和输出效果相比于传统手段，边缘处的模糊、错分问题有明显改善。
4.2.2相较于其他网络的效果
表4.各网络的提取精度对比
Figure GDA0003921285800000112
Figure GDA0003921285800000121
我们设计的BEC-UNet网络与其他耕地信息提取任务中使用的主流网络进行对比，如表4所示，可以看出，基于边缘增强的双模块协同网络相对于其他各网络的各项精度表现均有显著提升，尤其是相比于UNet网络的另一改进型的UNet++网络，基于边缘增强的双模块网络对于耕地的识别IOU达到91.84％，F1-score达到95.53％，分别较UNet++提升14.81％和8.51％。各网络的精度结果对比如图6所示。
图6中的白色地块即为耕地部分，黑色地块就是非耕地的部分即耕地地块的边缘。根据结果图中各网络测试结果的对比可以明显看出，我们的基于边缘增强的语义分割网络具有显著的边缘明确作用，特别是相比于DeepLabV3+和PSPNet这样的主流网络时，其边缘模糊、提取不明的现象得到明显改善，在图像中我们可以清晰看到耕地地块的边缘呈线形分割，符合耕地的实际分布情况，相比于其他提取模型的圆形、杂乱散点形分布，我们的提出的基于边缘的改进思路在耕地识别尤其是边缘的识别上取得显著成效。

Claims (1)

1.一种基于边缘增强的高分辨率遥感影像的耕地信息提取方法，其特征在于：具体包括如下步骤：
(1)构建联合型边界增强损失函数BE-Loss；
(2)设计构建BEC-UNet网络模型；
(3)使用GID高分辨率多光谱标签数据作为实验数据；
(4)将实验数据融合NDVI指数后得到的5波段数据输入到基于构建的边界增强损失函数BE-Loss的网络架构中，在BEC-UNet中，使用EfficientNet为骨干网络的UNet网络作为语义分割模块，在边界增强模块中通过融入scSE双通道注意力机制、Cot模块、门控卷积提升训练精度；最后结合余弦退火衰减算法更新学习率，由一个Efficient特征监督模块融合后得出经边缘增强的分类结果；
所述的联合型边界增强损失函数BE-Loss，具体内容如下：
BE-Loss＝α1LDICE(X1,Y1)+β1ΩHuber(reg(ξ))+α2LDICE(X2,Y2)+β2ΩL1(ω)
其中，α1LDICE(X1,Y1)和α2LDICE(X2,Y2)分别为边缘强化模块加权损失和分类模块的加权损失，α1和α2分别是耕地提取、边缘增强DICE损失的对应权重，β1和β2分别为耕地提取、边缘增强的正则项，X1、Y1分别表示网络耕地地块识别情况、实际耕地地块情况，X2、Y2分别表示图像边缘识别情况和实际耕地边缘情况；因耕地提取任务为二分类，故两损失均采用DICE损失函数，具体计算公式如下：
Figure FDA0004053513820000011
上述公式中X为分类结果类别情况，Y为实际地物分类情况；另外，β1ΩHuber(reg(ξ))为针对边缘强化功能的正则项，ΩHuber(reg(ξ))具体计算公式如下：
Figure FDA0004053513820000012
上述公式中权重ω(i,j)表明像素i与像素j的相关系数，为对称正值，设置为两像素间举例的反比；Nj表示二维空间中像素j点的邻域；ξ＝(ξ1，ξ2，…，ξm)T，为输入图像的衰减系数；
Figure FDA0004053513820000021
为正则化的Huber算子，
Figure FDA0004053513820000022
具体参数方程如下：
Figure FDA0004053513820000023
TH为迭代阈值，t为参数方程自变量；使用Huber算子可有效抑制遥感图像中的伪影，惩罚获取精准边缘结果；此外，β2ΩL1(ω)为针对语义分类功能的L1正则项，用于防止分类结果过拟合，ΩL1(ω)具体计算公式如下：
Figure FDA0004053513820000024
上述公式中，对参数模型ω引入拉普拉斯先验，即Ω～Laplace(μ,b)，则有：
Figure FDA0004053513820000025
其中ω*表示最优的目标解，α∈[0,+∞]是用来调整参数范数惩罚与经验损失的相对贡献的超参数，当α＝0时表示没有正则化，α越大对应该的正则化惩罚就越大；H是关于ω的Hessian矩阵，且H＝diag([H1,1,H2,2...Hn,n])；
所述的BEC-UNet网络模型是由语义分割模块和边界增强模块为主体共同构成的BEC-UNet架构，语义分割模块与边界增强模块相对独立并协同完成精准分类任务，具体内容如下：
以EfficientNet为骨干网络的UNet编码-解码网络作为语义分割模块，EfficientNet作为UNet网络的编码器，UNet的解码器由EfficientNet结构对称产生；与语义分割模块并行的边界增强模块由若干scSE双通道注意力机制、Cot残差模块、门控卷积按一定流程顺序逐层构成；其中，scSE双通道注意力机制由cSE模块和sSE模块并行加权而成，在通道上和空间上都建立了注意力机制，其公式如下：
Figure FDA0004053513820000026
其中
Figure FDA0004053513820000027
即为输出的特征图，
Figure FDA0004053513820000028
其中m为图像通道数，输入图像为五通道，分别是红、绿、蓝、近红外、NDVI；
门控卷积计算公式如下：
Figure FDA0004053513820000029
上式中，en表示使用门控处理的相应边缘增强模块中的每个的中间过程图像，若语义分割过程涉及m步骤，则n∈m；wn表示对应的通道权重，i，j表示参与处理的各像素；[*]符号表示门控卷积；
输出语义分割模块与边界增强模块的中间结果经含正则化项的联合型边界增强损失函数加权后，又通过一个Efficient特征监督模块融合后完成特征监督，此EfficientNet各项参数设置与语义分割模块中的编码器保持一致；最后结合余弦退火衰减算法更新学习率，得出经边缘增强的分类结果；所述的余弦退火的原理公式如下：
Figure FDA0004053513820000031
其中
Figure FDA0004053513820000032
和
Figure FDA0004053513820000033
为学习速率的范围，Tcur解释自上次重启以来执行了多少个epoach，Ti表示已迭代的当前epoach数值；由于余弦退火的学习速率迅速下降，模型进入局部最优点，此时保存此局部最优点模型，学习率重新恢复到一个更大的值，跳出此局部最优点，并寻找新的最优点；
所述的NDVI指数为近红外波段的反射值与红光波段的反射值之差与两者之和的比值，通过计算近红外光和红光之间的差异大小来量化植被分布的情况，其公式如下：
Figure FDA0004053513820000034
式中，NIR为近红外波段的反射值，Red为红光波段的反射值。
CN202210201357.0A 2022-03-03 2022-03-03 基于边缘增强的高分辨率遥感影像的耕地信息提取方法 Active CN114596502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210201357.0A CN114596502B (zh) 2022-03-03 2022-03-03 基于边缘增强的高分辨率遥感影像的耕地信息提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210201357.0A CN114596502B (zh) 2022-03-03 2022-03-03 基于边缘增强的高分辨率遥感影像的耕地信息提取方法

Publications (2)

Publication Number Publication Date
CN114596502A CN114596502A (zh) 2022-06-07
CN114596502B true CN114596502B (zh) 2023-04-07

Family

ID=81814815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210201357.0A Active CN114596502B (zh) 2022-03-03 2022-03-03 基于边缘增强的高分辨率遥感影像的耕地信息提取方法

Country Status (1)

Country Link
CN (1) CN114596502B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052006B (zh) * 2023-03-29 2023-06-16 山东建筑大学 基于多任务学习与对偶彩票假说的建筑物边缘优化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343789A (zh) * 2021-05-20 2021-09-03 武汉大学 一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法
CN113989271A (zh) * 2021-11-25 2022-01-28 江苏科技大学 基于双注意力机制和U-net网络的漆面图像分割系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509843B (zh) * 2018-02-06 2022-01-28 重庆邮电大学 一种基于加权的Huber约束稀疏编码的人脸识别方法
US10984532B2 (en) * 2018-08-24 2021-04-20 Ordnance Survey Limited Joint deep learning for land cover and land use classification
CN111462126B (zh) * 2020-04-08 2022-10-11 武汉大学 一种基于边缘增强的语义图像分割方法及系统
CN113012172B (zh) * 2021-04-09 2023-10-03 杭州师范大学 一种基于AS-UNet的医学图像分割方法及系统
CN113591614B (zh) * 2021-07-14 2024-05-28 西北工业大学 一种基于紧邻空间特征学习的遥感影像道路提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343789A (zh) * 2021-05-20 2021-09-03 武汉大学 一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法
CN113989271A (zh) * 2021-11-25 2022-01-28 江苏科技大学 基于双注意力机制和U-net网络的漆面图像分割系统及方法

Also Published As

Publication number Publication date
CN114596502A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN110298396B (zh) 基于深度学习多特征融合的高光谱图像分类方法
Lu et al. A hybrid model of ghost-convolution enlightened transformer for effective diagnosis of grape leaf disease and pest
CN111369540A (zh) 基于掩码卷积神经网络的植物叶片病害识别方法
Srinidhi et al. Plant pathology disease detection in apple leaves using deep convolutional neural networks: Apple leaves disease detection using efficientnet and densenet
CN111914909B (zh) 基于空谱联合三方向卷积网络的高光谱变化检测方法
Ma et al. A novel adaptive hybrid fusion network for multiresolution remote sensing images classification
CN114596502B (zh) 基于边缘增强的高分辨率遥感影像的耕地信息提取方法
de Souza Brito et al. Combining max-pooling and wavelet pooling strategies for semantic image segmentation
CN117765373B (zh) 一种自适应裂缝尺寸的轻量化道路裂缝检测方法及系统
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
Deb et al. LS-Net: A convolutional neural network for leaf segmentation of rosette plants
CN114612709A (zh) 图像金字塔特征指导的多尺度目标检测方法
Zhao et al. The winning solution to the iflytek challenge 2021 cultivated land extraction from high-resolution remote sensing images
CN114299382A (zh) 高光谱遥感图像分类方法及系统
Reddy et al. Deep neural network (DNN) mechanism for identification of diseased and healthy plant leaf images using computer vision
Jiang et al. Semantic segmentation network combined with edge detection for building extraction in remote sensing images
Sreedevi et al. Development of weighted ensemble transfer learning for tomato leaf disease classification solving low resolution problems
Wang et al. MRUNet: A two-stage segmentation model for small insect targets in complex environments
CN113343861B (zh) 一种基于神经网络模型的遥感图像水体区域提取方法
Virnodkar et al. DenseResUNet: An Architecture to Assess Water-Stressed Sugarcane Crops from Sentinel-2 Satellite Imagery.
Chen et al. Spectral Query Spatial: Revisiting the Role of Center Pixel in Transformer for Hyperspectral Image Classification
Xu et al. ASFL-YOLOX: an adaptive spatial feature fusion and lightweight detection method for insect pests of the Papilionidae family
Indukuri et al. Paddy Disease Classifier using Deep learning Techniques
Hasan et al. Nuclei segmentation in er-ihc stained histopathology images using mask r-cnn
Hu et al. Detection of Tea Leaf Blight in Low-Resolution UAV Remote Sensing Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant