CN115661655B - 高光谱和高分影像深度特征融合的西南山区耕地提取方法 - Google Patents
高光谱和高分影像深度特征融合的西南山区耕地提取方法 Download PDFInfo
- Publication number
- CN115661655B CN115661655B CN202211368443.7A CN202211368443A CN115661655B CN 115661655 B CN115661655 B CN 115661655B CN 202211368443 A CN202211368443 A CN 202211368443A CN 115661655 B CN115661655 B CN 115661655B
- Authority
- CN
- China
- Prior art keywords
- cultivated land
- image
- hyperspectral
- resolution image
- hyperspectral image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 title claims description 35
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 230000003595 spectral effect Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000001228 spectrum Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 230000005251 gamma ray Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000002195 synergetic effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 244000058871 Echinochloa crus-galli Species 0.000 description 1
- 235000015225 Panicum colonum Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种高光谱和高分影像深度特征融合的西南山区耕地提取方法，包括步骤：制作训练样本集；构建高光谱影像和高分影像协同双输入单输出语义分割卷积神经网络；输入所述训练样本集对高光谱影像和高分影像协同双输入单输出语义分割卷积神经网络进行训练；采用训练后的高光谱影像和高分影像协同双输入单输出语义分割卷积神经网络模型对待识别测试区影像进行处理，获得耕地提取结果。其显著效果是：设计了高光谱影像和高分影像协同的双输入单输出卷积神经网络，综合利用了高分辨率影像的空间结构特征和高光谱影像的光谱特征，实现了对西南山地区域耕地的精准提取，显著提高了目标提取精度。
Description
技术领域
本发明涉及到遥感影像特征提取及语义分割技术领域，具体涉及一种高光谱和高分影像深度特征融合的西南山区耕地提取方法。
背景技术
我国人多地少，耕地是最为宝贵的资源之一，“坚持最严格的耕地保护制度”、“遏制耕地非农化”、防止“非粮化”、“严守耕地红线和永久基本农田控制线”。利用遥感技术精准解译耕地，对于耕地资源监测和保护具有重要作用。
传统遥感技术解译耕地主要分为目视解译和统计模式识别分类。耕地目视解译依据人工目视判读，需要一定的先验知识，人力和时间成本巨大，在遥感大数据时代面对高频次、大范围的耕地监测，目视解译显然无法满足实际需求。统计模式识别需要利用特征工程提取遥感影像的耕地特征，运用机器学习算法从样本数据构建统计识别模型，然而由于西南山区耕地特征多变、块小零散、耕地林地草地交错分布，造成耕地识别模型精度不高，因此统计模式识别解译耕地难以应用在复杂山地环境。
近年来随着人工智能的迅猛发展，尤其是以卷积神经网络为代表的深度学习在图像语义分割方面的成功应用，引发众多学者将深度学习语义分割技术迁移到遥感影像解译，并取得了突破性进展。虽然已有学者利用深度学习对高分辨率影像提取耕地，但是耕地提取精度并不高、山地环境耕地提取的方法技术较少，主要原因是在高分辨率影像上山区耕地与林草地、种植园地、水草覆盖坑塘等的特征较为相似，“同物异谱”和“异物同谱”问题严重。
从目前的方法技术来看，仅仅利用高分辨率影像的空间特征，难以精准提取耕地。考虑到耕地和其他地类的光谱特性存在差异，将高光谱影像和高分辨率影像协同，充分利用高光谱影像的光谱特征和高分影像的空间结构特征，以提高耕地的识别精度。目前直接利用高光谱影像和高分影像协同进行地物识别分类的方法较少，大多都是先将高光谱影像和高分影像融合，再进行像素级分类和目标识别。对于高光谱影像和高分影像融合的方法，如专利号为“CN109886351B”、名称为“高光谱数据和高分辨率图像融合方法”中提出利用二次多项式约束法构建光谱值和像元值之间的对应关系；专利号为“CN114757831B”、名称为“基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质”中提出基于低分辨率的高光谱图像帧、高分辨率的RGB图像帧，通过预先训练好的融合网络，获得高分辨率的高光谱图像帧。这些高光谱影像和高分影像融合方法虽然实现了影像空谱融合，但是融合后的影像难免会出现地物纹理形态模糊、光谱失真等问题。且先融合再分类是两个分开的复杂过程，影像融合的质量会严重影响分类精度。
发明内容
针对现有技术的不足，且鉴于深度学习卷积神经网络能够实现多层级特征 (也称为“深度特征”：由深度学习方式提取到的特征)的提取和融合，本发明提供一种利用深度学习卷积神经网络来实现从高分辨率影像(简称“高分影像”) 和高光谱影像协同提取耕地的方法。该方法设计了高光谱影像和高分影像协同的双输入单输出卷积神经网络，利用深度学习的方式实现高光谱影像和高分影像的深度特征融合和耕地精准提取，能够从高光谱影像和相同区域的高分影像中提取、输出高空间分辨率的精细化耕地语义识别图。
为达到上述目的，本发明采用的技术方案如下：
一种高光谱和高分影像深度特征融合的西南山区耕地提取方法，其关键在于包括以下步骤：
步骤1、获取训练区高分辨率影像和高光谱影像、测试区高分辨率影像和高光谱影像，以及耕地真值栅格；
步骤2、基于步骤1采集到训练区的高分辨率影像和高光谱影像以及耕地真值栅格，构建训练样本集；
步骤3、构建包括高光谱影像耕地特征提取模块、高分影像耕地特征提取模块、耕地空谱特征融合模块、编解码深度残差模块、类别判定模块的高光谱影像和高分影像协同的双输入单输出卷积神经网络，其中：
所述高光谱影像耕地特征提取模块用于对输入的训练区高光谱影像进行耕地光谱特征提取，并将高光谱影像耕地特征图进行上采样；所述高分影像耕地特征提取模块用于对输入的训练区高分辨率影像进行耕地空间结构特征提取；所述耕地空谱特征融合模块用于对耕地光谱特征和耕地空间结构特征进行叠加融合；所述编解码深度残差模块用于对叠加融合后的特征图进行端到端语义分割；所述类别判定模块用于对语义分割后的高级语义特征图的类别判定；
步骤4、输入所述训练样本集对高光谱影像和高分影像协同的双输入单输出卷积神经网络进行训练；
步骤5、采用训练后的双输入单输出卷积神经网络对测试区高分辨率影像和高光谱影像进行处理，获得耕地提取结果。
进一步的，步骤1中所述训练区高分辨率影像和高光谱影像、测试区高分辨率影像和高光谱影像均选取自采集相同区域内时相相近的高分辨率影像和高光谱遥感影像，并进行配准和几何精校正后获得；所述耕地真值栅格根据已有耕地监测成果数据提取相应的耕地区域矢量，并人工修正标注耕地图斑和矢量栅格化后得到。
进一步的，步骤2中训练样本集的构建步骤如下：
基于步骤1采集到训练区的高分辨率影像和高光谱影像以及耕地真值栅格，以m*m像素尺寸的滑窗裁切训练区的高光谱影像，以n*n像素尺寸的滑窗裁切高分辨率影像和耕地真值栅格图像，构成含有标注信息的耕地训练样本集，其中 n＝m*s，s为两种影像分辨率的倍数。
进一步的，所述高光谱影像耕地特征提取模块包括波段光谱注意力层、反卷积上采样层和重采样层。
进一步的，所述高分影像耕地特征提取模块包括空间结构注意力层，所述空间结构注意力层用于将范围更广的上下文信息编码为局部特征。
进一步的，所述编解码深度残差模块包括编码器和解码器，编码器和解码器之间设置桥连接，其中编码器用于提取多尺度特征，其结构包括四个尺寸不变的残差卷积层，每个残差卷积层后均连接有一个池化层；解码器用于特征尺寸恢复和高级语义特征生成，其结构包括四个反卷积层，在每个反卷积层后均连接有一个尺寸不变的残差卷积层。
进一步的，步骤3中所述高光谱影像和高分影像协同的双输入单输出卷积神经网络的输入为m*m像素尺寸的高光谱影像和n*n像素尺寸的高分影像，输出为n*n像素尺寸的耕地语义图。
进一步的，步骤4中对高光谱影像和高分影像协同的双输入单输出卷积神经网络进行训练时，训练模型的损失函数Loss为：
Loss＝w*BL+(1-w)*FL，
其中，BL＝-[y*logp+(1-y)*log(1-p)]为二值交叉熵损失，为聚焦损失，y为训练样本集中样本像素的标签， p表示训练样本集中样本的像素被预测为耕地的概率，w为二值交叉熵损失的权重；γ>0为可调节因子。
本发明的显著效果是：
(1)提出了高光谱影像和高分影像协同的双输入单输出卷积神经网络，以深度学习的方式实现对高分影像空间结构特征和高光谱影像光谱特征的融合，然后从高分影像和高光谱影像协同提取耕地，并在西南山区开展测试验证，结果表明本方法对耕地提取的遗漏较少、识别的边界准确，且对山区坡耕地的提取效果较好。
(2)本发明方法在训练深度神经网络模型时，利用加权的二值交叉熵损失和聚焦损失，更关注易混淆、难识别耕地，且加速模型的收敛和提升模型泛化性、实用性；还通过加入可调节因子，使得减少易分类样本的损失，更关注于困难的、错分的样本。
(3)波段光谱注意力层利用波段特征之间的相互依赖性，强调相互依赖的特征图，并改进特定语义的特征表示，强化了对高光谱影像耕地光谱特征的提取能力；空间结构注意力层将范围更广的上下文信息编码为局部特征，从而增强了局部特征的表示能力，强化了对高分影像耕地空间结构特征的提取能力。
附图说明
图1是本发明的方法流程图；
图2是本发明实施例的实验影像及部分训练样本影像和标签；
图3是本发明构建的高光谱影像和高分影像协同的双输入单输出卷积神经网络结构图；
图4是本发明实施例所用的空间结构注意力层结构图；
图5是本发明实施例所用的波段光谱注意力层结构图；
图6是本发明网络模型训练过程的精度和损失曲线图；
图7是本发明实施例测试区影像及其地提取结果图。
具体实施方式
下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。
如图1所示，一种高光谱和高分影像深度特征融合的西南山区耕地提取方法，具体步骤如下：
步骤1、获取训练区高分辨率影像和高光谱影像、测试区高分辨率影像和高光谱影像，以及耕地真值栅格；
具体的，采集相同区域内时相相近的高分辨率影像和高光谱遥感影像，进行配准和几何精校正，根据已有耕地监测成果数据提取相应的耕地区域矢量，并人工修正标注耕地图斑和矢量栅格化，得到对应区域的耕地真值栅格，然后选取训练区和测试区，并裁剪影像和耕地真值栅格；
本实施例以欧比特珠海一号10米高光谱影像和worldview2的0.5米高分辨率影像为实验数据，位于重庆市江津区，10米高光谱影像和0.5米高分辨率影像成像时间均为2021年9月，耕地矢量来源于重庆市2021年耕地监测成果数据，对耕地矢量进行人工修正并转为0.5米的栅格数据，训练区和测试区覆盖面积分别为881平方千米和206平方千米。
步骤2、基于步骤1采集到训练区的高分辨率影像和高光谱影像以及耕地真值栅格，以m*m像素尺寸的滑窗裁切训练区的高光谱影像，以n*n像素尺寸的滑窗裁切高分辨率影像和耕地真值栅格图像，构成含有标注信息的耕地训练样本集，其中n＝m*s，s为两种影像分辨率的倍数；
本例利用32*32像素尺寸的滑窗裁切训练区的高光谱影像，以640*640像素尺寸的滑窗裁切高分影像和耕地真值栅格(两种影像分辨率倍数为20，滑窗重叠率设为25％)，构成含有标注信息的耕地训练样本集，最终得到训练样本8033 组；
其中，本实施例的实验影像及部分训练样本如图2所示，每组样本由一个 10米分辨率的高光谱影像块，以及0.5米分辨率的高分影像块和耕地标签图像块组成。其中，图2(a)所示分别高分影像和高光谱影像，其中黑色线框区域为训练区，白色线框区域为测试区；图2(b)所示为训练样本影像块(高分影像、高光谱影像)；图2(c)所示为训练样本标签图像块。
步骤3、构建包括高光谱影像耕地特征提取模块、高分影像耕地特征提取模块、耕地空谱特征融合模块、编解码深度残差模块、类别判定模块的高光谱影像和高分影像协同的双输入单输出卷积神经网络，如图3所示，其中：
所述高光谱影像耕地特征提取模块用于对输入的训练区高光谱影像进行耕地光谱特征提取，并将高光谱影像耕地特征图进行上采样；所述高分影像耕地特征提取模块用于对输入的训练区高分辨率影像进行耕地纹理形态等空间结构特征提取；所述耕地空谱特征融合模块用于对耕地光谱特征和耕地纹理形态等空间结构特征进行叠加融合；所述编解码深度残差模块用于对叠加融合后的特征图进行端到端语义分割；所述类别判定模块用于对解码深度残差模块末端的高级语义特征图的类别判定；
所述高光谱影像和高分影像协同的双输入单输出卷积神经网络的输入为 32*32像素尺寸的高光谱影像块和640*640像素尺寸的高分影像块，输出为 640*640像素尺寸的耕地语义图，即图3中m＝32，n＝640，高光谱影像波段数 B＝32；
对于尺寸为32*32的高光谱影像块，所述高光谱影像耕地特征提取模块包括波段光谱注意力层、反卷积上采样层和重采样层，用于提取高光谱影像耕地光谱特征，以及将高光谱影像耕地特征图尺寸上采样至640*640；对于640*640像素尺寸的高分影像块，所述高分影像耕地特征提取模块包括空间结构注意力层，用于提取高分影像耕地纹理形态等空间结构特征；
所述耕地空谱特征融合模块将高光谱影像光谱和高分影像空间结构这两种卷积特征对应通道进行相加运算；
所述编解码深度残差模块包括编码器和解码器，编码器和解码器之间设置桥连接，其中编码器用于提取多尺度特征，其结构包括四个尺寸不变的残差卷积层，每个残差卷积层后均连接有一个池化层；解码器用于特征尺寸恢复和高级语义特征生成，其结构包括四个反卷积层，在每个反卷积层后均连接有一个尺寸不变的残差卷积层；
所述类别判定模块包括1个softmax层，用于高级语义特征图的类别判定，获得尺寸为640*640的语义分割结果。
本例中，所述空间结构注意力层将范围更广的上下文信息编码为局部特征，从而增强了局部特征的表示能力，强化对高分影像耕地空间结构特征的提取能力；其具体结构如图4所示，高分影像空间结构注意力层，给定一个局部特征特征图 A(n×n×3)，首先分别通过3个卷积层得到3个特征图B、C、D，然后将B、C、D reshape为3×N，其中N＝n×n，再将reshape后的B的转置(Nx3)与reshape后的 C(3xN)相乘，再通过softmax得到空图注意力图S(N×N)，接着在reshape后的 D(3xN)和S的转置(NxN)之间执行矩阵乘法，再乘以尺度系数α，再reshape为原来形状，最后与A相加得到最后的输出E。
本例中，所述波段光谱注意力层利用波段特征之间的相互依赖性，强调相互依赖的特征图，并改进特定语义的特征表示，强化对高光谱影像耕地光谱特征的提取能力，其具体结构如图5所示，波段光谱注意力图X(B×B)是从原始特征图 A(m×m×B)中直接计算出来的。具体来说，分别对A做reshape(BxN)和reshape 与transpose(NxB)，其中N＝m×m，将得到的两个特征图相乘，再通过softmax得到通道注意力图X(B×B)，接着把X的转置(BxB)与reshape的A(BxN)做矩阵乘法，再乘以尺度系数β，再reshape为原来形状，最后与A相加得到最后的输出 E。
图4和图5中，reshape表示形状重塑，transpose表示矩阵转置，本例中n＝640， m＝32，B＝32，α和β初始化为0，并逐渐的学习得到更大的权重。
步骤4、输入所述训练样本集对高光谱影像和高分影像协同的双输入单输出卷积神经网络进行训练；
本实施例中，运用1个NVIDIA GeForce RTX 2080Ti的GPU来训练网络模型，训练模型的优化器使用Adam，设置主要超参数：批处理大小(batch size)为 32，学习率为0.001，训练轮次(epoch)为200。
训练模型的损失函数使用二值交叉熵损失BL(binary cross entropy loss)和聚焦损失FL(focal loss)的加权和，其计算公式为：
Loss＝0.6*BL+0.4*FL，
BL＝-[y*logp+(1-y)*log(1-p)]，
其中，y为样本像素的标签，即耕地像素为1，背景像素为0，p表示样本的像素被预测为耕地的概率，二值交叉熵损失的权重w设为0.6；聚焦损失focal loss 可解决数据不平衡造成的模型性能问题，γ>0为可调节因子(γ＝2)，使得减少易分类样本的损失，更关注于困难的、错分的样本。
在训练时，记录每个轮次的精度和损失值，绘制如图6的训练过程曲线(精度损失曲线)，从图6可以看出，本实施例构建的高光谱影像和高分影像协同的双输入单输出卷积神经网络模型训练精度值稳定在0.91。
步骤5、采用训练后的双输入单输出卷积神经网络对测试区高分辨率影像和高光谱影像进行处理，获得耕地提取结果。
本实施例对步骤5获得的耕地提取结果从总体精度(OA)、准确率(Precision)、召回率(Recall)等几个维度进行精度评价，其中，OA、Recall、Precision的计算公式如下：
其中，FN代表被预测为背景的像素数，但事实上是耕地的像素数；FP代表被预测为耕地的像素数，但事实上是背景的像素数；TN-True Negative代表被预测为背景的像素数，事实上也是背景的像素数；TP代表被预测为耕地的像素数，事实上也是耕地的像素数。
通过计算发现，在测试区，高光谱影像和高分影像深度特征融合耕地提取模型结果的总体精度(OA)、准确率(Precision)、召回率(Recall)分别为86.5％、 83.3％和84.7％。
由此可见，本例运用完成训练的高光谱影像和高分影像深度特征融合耕地提取模型可以良好地识别出测试区的耕地，如图7(a)与图7(b)所示的两块子区域，高光谱影像和高分影像深度特征协同的耕地提取结果清晰地识别和描绘出耕地的轮廓。
综上，本发明提出的高光谱影像和高分影像深度特征融合的耕地提取策略，设计出了高光谱影像和高分影像协同的双输入单输出卷积神经网络，通过综合利用高分辨率影像的空间细节特征和高光谱影像的光谱特征，实现了对西南山地区域耕地的精准提取。并通过对高光谱影像和高分影像深度特征融合耕地提取模型进行测试分析，结果表明高光谱影像和高分影像深度特征融合耕地提取模型的结果具有较高的精度、精细的耕地轮廓，并经过定量精度评价，证实了高光谱影像和高分影像深度特征融合耕地提取方法具有精细识别耕地的优势，具有实际应用意义。
以上对本发明所提供的技术方案进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (5)
1.一种高光谱和高分影像深度特征融合的西南山区耕地提取方法，其特征在于包括以下步骤：
步骤1、获取训练区高分辨率影像和高光谱影像、测试区高分辨率影像和高光谱影像，以及耕地真值栅格；高光谱影像采用珠海一号10米高光谱影像，高分辨率影像采用worldview2的0.5米高分辨率影像；
步骤2、基于步骤1采集到训练区的高分辨率影像和高光谱影像以及耕地真值栅格，构建训练样本集，利用32*32像素尺寸的滑窗裁切训练区的高光谱影像，以640*640像素尺寸的滑窗裁切高分影像和耕地真值栅格，构成含有标注信息的耕地训练样本集；
步骤3、构建包括高光谱影像耕地特征提取模块、高分影像耕地特征提取模块、耕地空谱特征融合模块、编解码深度残差模块、类别判定模块的高光谱影像和高分影像协同的双输入单输出卷积神经网络，其中：
所述高光谱影像耕地特征提取模块用于对输入的训练区高光谱影像进行耕地光谱特征提取，并将高光谱影像耕地特征图进行上采样；所述高光谱影像耕地特征提取模块包括波段光谱注意力层、反卷积上采样层和重采样层；
所述高分影像耕地特征提取模块用于对输入的训练区高分辨率影像进行耕地纹理形态空间结构特征提取；
所述高分影像耕地特征提取模块包括空间结构注意力层，所述空间结构注意力层用于将范围更广的上下文信息编码为局部特征，所述空间结构注意力层，给定一个局部特征特征图A(n×n×3)，首先分别通过3个卷积层得到3个特征图B、C、D，然后将B、C、D reshape为3×N，其中N＝n×n，再将reshape后的B的转置(Nx3)与reshape后的C(3xN)相乘，再通过softmax得到空图注意力图S(N×N)，接着在reshape后的D(3xN)和S的转置(NxN)之间执行矩阵乘法，再乘以尺度系数α，再reshape为原来形状，最后与A相加得到最后的输出E；
所述耕地空谱特征融合模块用于对耕地光谱特征和耕地空间结构特征进行叠加融合；所述耕地空谱特征融合模块将高光谱影像光谱和高分影像空间结构这两种卷积特征对应通道进行相加运算；所述编解码深度残差模块用于对叠加融合后的特征图进行端到端语义分割；所述类别判定模块用于对编解码深度残差模块末端的高级语义特征图进行类别判定；
步骤4、输入所述训练样本集对高光谱影像和高分影像协同的双输入单输出卷积神经网络进行训练；
步骤4中对高光谱影像和高分影像协同的双输入单输出卷积神经网络进行训练时，训练模型的损失函数Loss为：
Loss＝w*BL+(1-w)*FL，
其中，BL＝-[y*logp+(1-y)*log(1-p)]为二值交叉熵损失， 为聚焦损失，y为训练样本集中样本像素的标签，即耕地像素为1，背景像素为0，p表示训练样本集中样本的像素被预测为耕地的概率，w为二值交叉熵损失的权重设为0.6；γ>0为可调节因子，γ＝2；
步骤5、采用训练后的双输入单输出卷积神经网络对测试区高分辨率影像和高光谱影像进行处理，获得耕地提取结果。
2.根据权利要求1所述的高光谱和高分影像深度特征融合的西南山区耕地提取方法，其特征在于：步骤1中所述训练区高分辨率影像和高光谱影像、测试区高分辨率影像和高光谱影像均选取自采集相同区域内时相相近的高分辨率影像和高光谱遥感影像，并进行配准和几何精校正后获得；所述耕地真值栅格根据已有耕地监测成果数据提取相应的耕地区域矢量，并人工修正标注耕地图斑和矢量栅格化后得到。
3.根据权利要求1所述的高光谱和高分影像深度特征融合的西南山区耕地提取方法，其特征在于：步骤2中训练样本集的构建步骤如下：
基于步骤1采集到训练区的高分辨率影像和高光谱影像以及耕地真值栅格，以m*m像素尺寸的滑窗裁切训练区的高光谱影像，以n*n像素尺寸的滑窗裁切高分辨率影像和耕地真值栅格图像，构成含有标注信息的耕地训练样本集，其中n＝m*s，s为两种影像分辨率的倍数。
4.根据权利要求1所述的高光谱和高分影像深度特征融合的西南山区耕地提取方法，其特征在于：所述编解码深度残差模块包括编码器和解码器，编码器和解码器之间设置桥连接，其中编码器用于提取多尺度特征，其结构包括四个尺寸不变的残差卷积层，每个残差卷积层后均连接有一个池化层；解码器用于特征尺寸恢复和高级语义特征生成，其结构包括四个反卷积层，在每个反卷积层后均连接有一个尺寸不变的残差卷积层。
5.根据权利要求1所述的高光谱和高分影像深度特征融合的西南山区耕地提取方法，其特征在于：步骤3中所述高光谱影像和高分影像协同的双输入单输出卷积神经网络的输入为m*m像素尺寸的高光谱影像和n*n像素尺寸的高分影像，输出为n*n像素尺寸的耕地语义图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211368443.7A CN115661655B (zh) | 2022-11-03 | 2022-11-03 | 高光谱和高分影像深度特征融合的西南山区耕地提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211368443.7A CN115661655B (zh) | 2022-11-03 | 2022-11-03 | 高光谱和高分影像深度特征融合的西南山区耕地提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115661655A CN115661655A (zh) | 2023-01-31 |
| CN115661655B true CN115661655B (zh) | 2024-03-22 |
Family
ID=84994749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211368443.7A Active CN115661655B (zh) | 2022-11-03 | 2022-11-03 | 高光谱和高分影像深度特征融合的西南山区耕地提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115661655B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116091850B (zh) * | 2023-04-11 | 2023-06-23 | 中国地质大学（武汉） | 一种矿区土地覆盖分类模型建立及分类方法 |
| CN117764995B (zh) * | 2024-02-22 | 2024-05-07 | 浙江首鼎视介科技有限公司 | 基于深度神经网络算法的胆胰成像系统及方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111695469A (zh) * | 2020-06-01 | 2020-09-22 | 西安电子科技大学 | 轻量化深度可分离卷积特征融合网的高光谱图像分类方法 |
| CN111986099A (zh) * | 2020-06-30 | 2020-11-24 | 武汉大学 | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 |
| WO2021184891A1 (zh) * | 2020-03-20 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及系统 |
| CN113435253A (zh) * | 2021-05-31 | 2021-09-24 | 西安电子科技大学 | 一种多源影像联合城区地表覆盖分类方法 |
| CN113469052A (zh) * | 2021-07-02 | 2021-10-01 | 重庆市地理信息和遥感应用中心 | 基于多尺度特征反卷积的超分辨率建筑物精细识别方法 |
| CN113936204A (zh) * | 2021-11-22 | 2022-01-14 | 安徽师范大学 | 融合地形数据与深度神经网络的高分辨率遥感影像云雪识别方法及装置 |
| CN113963261A (zh) * | 2021-10-27 | 2022-01-21 | 长光卫星技术有限公司 | 基于多尺度融合的全卷积神经网络耕地提取方法及系统 |
| CN114092832A (zh) * | 2022-01-20 | 2022-02-25 | 武汉大学 | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 |
| CN114219944A (zh) * | 2021-11-29 | 2022-03-22 | 三峡大学 | 一种基于特征凸显的春冬耕地检测方法 |
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
-
2022
- 2022-11-03 CN CN202211368443.7A patent/CN115661655B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021184891A1 (zh) * | 2020-03-20 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及系统 |
| CN111695469A (zh) * | 2020-06-01 | 2020-09-22 | 西安电子科技大学 | 轻量化深度可分离卷积特征融合网的高光谱图像分类方法 |
| CN111986099A (zh) * | 2020-06-30 | 2020-11-24 | 武汉大学 | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 |
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
| CN113435253A (zh) * | 2021-05-31 | 2021-09-24 | 西安电子科技大学 | 一种多源影像联合城区地表覆盖分类方法 |
| CN113469052A (zh) * | 2021-07-02 | 2021-10-01 | 重庆市地理信息和遥感应用中心 | 基于多尺度特征反卷积的超分辨率建筑物精细识别方法 |
| CN113963261A (zh) * | 2021-10-27 | 2022-01-21 | 长光卫星技术有限公司 | 基于多尺度融合的全卷积神经网络耕地提取方法及系统 |
| CN113936204A (zh) * | 2021-11-22 | 2022-01-14 | 安徽师范大学 | 融合地形数据与深度神经网络的高分辨率遥感影像云雪识别方法及装置 |
| CN114219944A (zh) * | 2021-11-29 | 2022-03-22 | 三峡大学 | 一种基于特征凸显的春冬耕地检测方法 |
| CN114092832A (zh) * | 2022-01-20 | 2022-02-25 | 武汉大学 | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于ECLDeeplab模型提取华北地区耕地的方法;魏青迪;范昊;张承明;;江苏农业科学(第04期);第215-221页 * |
| 多尺度特征融合的建筑物及损毁语义分割;马国锐;吴娇;姚聪;;测绘工程;20200715(第04期);第4-9页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115661655A (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN115661655B (zh) | 高光谱和高分影像深度特征融合的西南山区耕地提取方法 | |
| CN109800736B (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
| CN111274865B (zh) | 一种基于全卷积神经网络的遥感图像云检测方法及装置 | |
| CN113888550B (zh) | 一种结合超分辨率和注意力机制的遥感图像道路分割方法 | |
| CN113780296B (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN111639587B (zh) | 基于多尺度谱空卷积神经网络的高光谱图像分类方法 | |
| CN114943876A (zh) | 一种多级语义融合的云和云影检测方法、设备及存储介质 | |
| CN113312993B (zh) | 一种基于PSPNet的遥感数据土地覆盖分类方法 | |
| CN114494821B (zh) | 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 | |
| CN113887472B (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
| CN114841961B (zh) | 基于图像增强和改进YOLOv5的小麦赤霉病检测方法 | |
| CN114170608A (zh) | 超分辨文本图像识别方法、装置、设备及存储介质 | |
| CN114612664A (zh) | 一种基于双边分割网络的细胞核分割方法 | |
| CN112001293A (zh) | 结合多尺度信息和编解码网络的遥感影像地物分类方法 | |
| CN112836614A (zh) | 一种基于残差网络和迁移学习的高分遥感图像分类方法 | |
| CN114943902A (zh) | 基于多尺度特征感知网络的城市植被无人机遥感分类方法 | |
| CN113313031A (zh) | 一种基于深度学习的车道线检测和车辆横向定位方法 | |
| CN113516084B (zh) | 高分辨率遥感影像半监督分类方法、装置、设备及介质 | |
| CN117710824A (zh) | 一种基于改进Cascade Mask R-CNN模型的岩芯图像RQD智能分析方法 | |
| CN113591608A (zh) | 一种基于深度学习的高分辨率遥感影像不透水面提取方法 | |
| CN116612349A (zh) | 基于深度学习的遥感影像近岸筏式海水养殖信息提取方法 | |
| CN113642663B (zh) | 一种卫星遥感影像水体提取方法 | |
| Gu et al. | Muti-path Muti-scale Attention Network for Cloud and Cloud shadow segmentation | |
| CN118135239B (zh) | 融合过滤多尺度高分辨率遥感冰川提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |