CN116229287A - 基于复杂林地环境的遥感亚像元疫木检测方法 - Google Patents
基于复杂林地环境的遥感亚像元疫木检测方法 Download PDFInfo
- Publication number
- CN116229287A CN116229287A CN202310518446.2A CN202310518446A CN116229287A CN 116229287 A CN116229287 A CN 116229287A CN 202310518446 A CN202310518446 A CN 202310518446A CN 116229287 A CN116229287 A CN 116229287A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- resolution
- image
- data
- multispectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 239000002023 wood Substances 0.000 title claims abstract description 33
- 238000001228 spectrum Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000003595 spectral effect Effects 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 19
- 201000010099 disease Diseases 0.000 description 17
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 13
- 241000607479 Yersinia pestis Species 0.000 description 7
- 241000238631 Hexapoda Species 0.000 description 6
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 6
- 235000011613 Pinus brutia Nutrition 0.000 description 6
- 241000018646 Pinus brutia Species 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 241000243771 Bursaphelenchus xylophilus Species 0.000 description 5
- 241000196324 Embryophyta Species 0.000 description 5
- 241000244206 Nematoda Species 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
Abstract
本发明涉及一种基于复杂林地环境的遥感亚像元疫木检测方法，与现有技术相比解决了低分辨率卫星在复杂林地环境下因混合光谱影响而导致疫木单株检测精度低的问题。本发明包括以下步骤：多光谱数据的采集与预处理；图像超分辨率重建模型的构建；IMRDAM‑GAN超分辨率重建网络的训练；图像超分辨率重建模型的预测；疫木检测结果的获得。本发明实现了在卫星遥感图像光谱分辨率较低情况下对疫木检测的准确提取，以及在空谱高分辨率与时间难以兼容情况下，利用低分辨率卫星实现低成本、快速有效的疫情监测目的。
Description
技术领域
本发明涉及卫星遥感图像处理技术领域，具体来说是基于复杂林地环境的遥感亚像元疫木检测方法。
背景技术
受森林虫害影响，我国林业发展遭受巨大障碍，森林病虫害种类很多，其主要危害部位也不相同，虽然其危害方式不尽相同，但最终都会导致林木的生长受到影响。随着无人机航拍技术、人工智能、大数据等方面的技术发展，采用无人机遥感进行山区林地中可疑病树的巡检监测，可大幅度提高检测效率。利用无人机结合自动AI检测识别，是目前有别于传统林业巡检的先进技术手段。
但对于大面积的森林疫木检测，仅仅使用无人机结合自动AI检测识别效率较低，虽然其可以获得高分辨率的多光谱无人机遥感影像，但是一架无人机一次采集数据深林面积只能达到几百亩，此后还需要经换装电池或者等待充电，花费大量时间。因此无人机遥感技术监测范围有限、飞行成本高，在单一省份乃至全国范围内全面而广泛地获取数据难度大等问题，往往耽误病虫害的最佳治理时机，造成不可估量的损失，这些方法的推广受到了严重的限制。
随着卫星事业发展，上天卫星覆盖越来越多，卫星遥感数据获取成本较低、重访周期短、监测范围大等特点使得卫星遥感技术在松材线虫病普查监测任务中具有天然优势，可以快速准确实时地评估森林病虫害，以便及时砍伐受病虫害侵袭、濒临死亡的林木，防止灾害蔓延、降低损失。卫星遥感监测区域尺度虽大，但在空谱高分辨率与时间难以兼容情况下，为了加强时效性，只能利用低分辨率多光谱卫星但遥感影像来进行监测，但是低分辨率的多光谱卫星遥感影像，由于其光谱分辨率低下，会带来信息缺失，使得难以实现单株精准监测，因此对松材线虫病普查监测极易造成漏检与误检。
多光谱卫星遥感影像可以实现大范围的松林监测，但受光谱分辨率和时效性影响难以做到实时监测和单株精准监测。基于无人机遥感技术在松线虫病监测研究中，研究者利用无人机得到了分辨率较高的遥感图像，通过多种松线虫病检测算法得到了较好的检测效果，但无人机的时效性较差，无法实现对大面积深林进行高效的检测。基于卫星遥感技术在松线虫病监测研究中，具有区域广、实效性好等特点，利用卫星遥感松线虫病检测算法可对大面积区域中的病树进行检测定位。同时，卫星遥感技术也存在高空间分辨率影像的研究不足等问题，需要进一步探索研究。目前研究以卫星遥感监测为基础，利用无人机遥感监测和便携式移动设备进行验证，有效提高松材线虫病树提取的效率和精度。基于数据挖掘、数据融合、数据协同和数据同化等关键技术，获得更加准确数据支持的松线虫病监测感知体系。
森林卫星病虫害遥感监测研究中主要存在问题是当获取的卫星影像在光谱分辨率低下时，导致疫木单株检测精度低的不足。针对这一问题，需要设计一种图像超分辨率模型来弥补分辨率不足的问题从而为后期的病虫害识别精度和效率的提升打下基础。在提升精度的同时，可以节约了成本。
发明内容
本发明的目的是为了解决低分辨率卫星（光谱分辨率大于2米）在复杂林地环境下因混合光谱影响而导致疫木单株检测精度低的缺陷，提供一种基于复杂林地环境的遥感亚像元疫木检测方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于复杂林地环境的遥感亚像元疫木检测方法，包括以下步骤：
多光谱数据的采集与预处理：获取低分辨率的多光谱卫星遥感影像以及高分辨率的多光谱无人机遥感影像，并对数据进行图像拼接、大气校正、正射校正的预处理；
图像超分辨率重建模型的构建：设定图像超分辨率重建模型包括线性混合光谱解混模块和IMRDAM-GAN超分辨率重建网络，其中线性混合光谱解混模块引入最小二乘误差作为优化准则，IMRDAM-GAN超分辨率重建网络引入多尺度残差与注意力模块对生成的对抗网络进行改进，并对对抗网络的目标函数进行改进；
IMRDAM-GAN超分辨率重建网络的训练：将多光谱卫星遥感影像和多光谱无人机遥感影像经线性混合光谱解混模块得到丰度图，并纳入多光谱无人机遥感影像疫木丰度图数据库；将丰度图数据输入到IMRDAM-GAN超分辨率重建网络进行训练，得到训练后的IMRDAM-GAN超分辨率重建网络；
图像超分辨率重建模型的预测：获取待检测的多光谱卫星遥感影像并对其进行预处理，将预处理后的待检测多光谱卫星遥感影像输入训练后的图像超分辨率重建模型，经线性混合光谱解混模块得到丰度图后送入训练后的IMRDAM-GAN超分辨率重建网络进行预测，获得高分辨率的多光谱卫星遥感影像丰度图；
疫木检测结果的获得：将重建后的高分辨率的多光谱卫星遥感影像丰度图与多光谱无人机遥感影像疫木丰度图数据库进行匹配得到疫木检测结果。
所述多光谱数据的采集与预处理包括以下步骤：
获取低分辨率的多光谱卫星遥感影像和高分辨率的多光谱无人机遥感图像，对图像进行拼接、大气校正、正射校正处理；
对多光谱无人机遥感图像进行下采样得到低分辨率的多光谱无人机遥感图像；
对多光谱卫星遥感影像和多光谱无人机遥感图像进行剪切和翻转操作，分别生成5000张图像。
所述图像超分辨率重建模型的构建包括以下步骤：
设定图像超分辨率重建模型的第一部分为线性混合光谱解混模块、第二部分为IMRDAM-GAN超分辨率重建网络；
对线性混合光谱解混模块的像元分解LSMM进行改进：
利用线性混合光谱解混模块对多光谱无人机遥感影像和多光谱卫星遥感影像进行光谱像元分解，得到丰度图，线性混合模型表示为：
式中，X为混合像元光谱向量，W为端元矩阵，b为随机误差向量，H为混合像元丰度向量，定义如下所示：
式中，N为端元数目；
采用最小二乘误差作为优化准则，通过计算得到最优的最小二乘估计值H，其计算公式如下：
设定多尺度残差注意力模块IMRDAM；
设定GAN；
构建IMRDAM-GAN超分辨率重建网络：
设定IMRDAM-GAN超分辨率重建网络的第一部分为特征融合层，分别对多光谱卫星遥感影像经线性混合光谱解混模块后输出的丰度图C1和多光谱无人机遥感影像经线性混合光谱解混模块后输出的丰度图C2，经特征提取后进行特征融合，融合后的特征输入到鉴别器中；
设定IMRDAM-GAN超分辨率重建网络的第二部分为编码解码层，该层网络共分为三个步骤：第一，丰度图C1经IMRDAM模块得到3个不同尺度的数据特征输入到解码器中输出特征数据A1；第二，丰度图C2经编码器、解码器后进一步得到特征数据A2；第三，对A1、A2数据输入到生成器中进行图像重建，得到初步的重建图像SRC；
设定IMRDAM-GAN超分辨率重建网络的第三部分为数据判别层；
将丰度图C1和第二部分得到初步的重建图像SRC进行串行连接输入到鉴别器中，对伪数据和真实数据进行比较，最终得到完整的重建图像。
所述图像超分辨率重建模型的训练包括以下步骤：
利用预处理后的训练数据集对图像超分辨率重建网络进行训练，损失函数达到收敛以及更新参数，在训练时使用Adam优化器，参数设置为
，/>
，初始学习率为2×10-4，下一个训练周期的学习率变为上一个的0.98倍，共学习200个周期；
输入为预处理后的多光谱卫星遥感影像、低分辨率的多光谱无人机遥感图像和高分辨率的多光谱无人机遥感影像；
将多光谱卫星遥感影像和低分辨率的多光谱无人机遥感图像输入到线性混合光谱解混模块，得到低分辨率卫星遥感丰度图C1；将高分辨率的多光谱无人机遥感影像输入到线性混合光谱解混模块，得到高分辨率无人机遥感丰度图C2；
将低分辨率卫星遥感丰度图C1和高分辨率无人机遥感丰度图C2输入IMRDAM-GAN超分辨率重建网络第一层进行特征融合，对低分辨率卫星遥感丰度图C1和高分辨率无人机遥感丰度图C2分别进行特征提取，提取后的特征进行特征融合，融合后的特征输入到鉴别器D中；
经IMRDAM-GAN第二层编码解码层，低分辨率卫星遥感丰度图C1经IMRDAM模块得到3个不同尺度的数据特征输入到解码器中输出特征数据A1；低分辨率卫星遥感丰度图C1经编码器、解码器后进一步得到特征数据A2；对A1、A2数据经生成器G进行图像重建得到初步的重建图像SRC；
经IMRDAM-GAN第三层数据判别层，将低分辨率卫星遥感丰度图C1和第二层得到的初步重建图像SRC进行串行连接输入到鉴别器D中，对伪数据和真实数据进行比较，最终得到完整的重建图像；待模型收敛时进行参数保存获得训练后的图像超分辨率重建模型。
所述设定GAN包括以下步骤：
设定GAN网络包括一个接收数据分布并生成接近现实的数据的生成器G以及一个确定输入数据是真实的还是由生成器G制作的判别器D，目标函数LGAN(G,D)表示为:
式中，x表示数据，z表示任意噪声变量，鉴别器D的作用是判断输入数据是原始数据还是生成器G生成，生成器G用于增加决定符D出错的概率，即D被确定为原始数据或由G生成的数据的概率，这两个网络G和D是通过对抗性学习不同的目标。
设定对抗生成网络在生成器G和鉴别器D处创建条件生成模型，附加信息为y，y是一个类标签，将y额外添加到G和D的输入层中；
在生成器G中噪声z和条件y相结合，在鉴别器D中输入数据x和条件y作为输入，改进的目标函数LCGAN(G,D)用下面的公式表示：
其中，x表示数据，z表示任意噪声变量，y是一个类标签。
所述设定多尺度残差注意力模块IMRDAM包括以下步骤：
设定多尺度残差模块使用不同大小的卷积核，并将这些残差模块进行了串行连接，融合不同的特征信息；
其中，多尺度残差模块第一部分由1×1和3×3的卷积核组成、第二部分由3×3、5×5、3×3卷积核组成、第三部分由1×1、3×3、5×5组成、第四部分由3×3的池化和1×1卷积组成；
设定注意力模块包括通道注意力模块和空间注意力模块；
设定通道注意力模块：
设定注意力模块使用平均池化和最大池化运算将通道信息集中起来，生成两个不同的通道上下文信息束：
和/>
，它们分别表示平均池化特征和最大池化特征；
将这两个信息束转移到同一个共享网络，该共享网络由多层感知器MLP组成，其中含有一个隐含层；
使用元素求和来合并输出特征向量，以产生通道注意权重信息：
通道注意力模块计算如下所示：
其中，
为sigmoid函数，R为特征图，c为通道数，MC、W1、W0、F为子特征图，MLP为多层感知机，AvgPool为平均池化操作，MaxPool为最大池化操作，/>
、/>
分别表示平均池化特征和最大池化特征；/>
设定空间注意力模块：
沿用通道注意力平均池化
和最大池化运算/>
，并将它们连接起来生成一个有效的特征映射；
通过一个7*7的卷积层和激活函数
生成空间注意力权重信息/>
，空间注意力模块表达式如下：
其中，
为sigmoid函数，R为特征图，s为通道，AvgPool为平均池化操作，MaxPool为最大池化操作，/>
、/>
分别表示对s进行平均池化运算和最大池化运算。
有益效果
本发明的基于复杂林地环境的遥感亚像元疫木检测方法，与现有技术相比实现了在卫星遥感图像光谱分辨率较低情况下对疫木检测的准确提取，以及在空谱高分辨率与时间难以兼容情况下，利用低分辨率卫星实现低成本、快速有效的疫情监测目的。
本发明通过利用线性混合解混模型对光谱进行解混，利用SADA-GAN超分辨率重建网络对低分辨率的卫星丰度图进行重建，重建后的丰度图与疫木丰度数据库进行匹配实现疫木检测，加快了大面积山林复杂背景下疫木的检测流程速度。
附图说明
图1为本发明的方法顺序图；
图2为本发明所涉及的图像超分辨率重建模型结构图；
图3为本发明所涉及的多尺度残差注意力模块IMRDAM中的多尺度残差模块结构图；
图4为本发明所涉及的多尺度残差注意力模块IMRDAM中的注意力模块结构图；
图5为本发明卫星疫木检测结果图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
对于无人机遥感检测技术和卫星遥感检测技术，单一方法都存在一定的弊端，本发明解决了因无人机遥感检测技术时效性较差，无法实现对大面积深林进行高效的检测的问题，同时解决了因卫星遥感检测技术因图像分辨率低导致检测精度较低等问题。本发明利用无人机遥感检测技术和卫星遥感检测技术多源数据相结合，通过提高卫星遥感影像的分辨率，加快了检测的效率，提高了检测的精确度。
如图1所示，本发明所述的基于复杂林地环境的遥感亚像元疫木检测方法，其包括以下步骤：
第一步，多光谱数据的采集与预处理：获取低分辨率（2米）的多光谱卫星遥感影像以及高分辨率（0.2米）的多光谱无人机遥感影像，并对数据进行图像拼接、大气校正、正射校正的预处理。
（1）获取低分辨率的多光谱卫星遥感影像和高分辨率的多光谱无人机遥感图像，对图像进行拼接、大气校正、正射校正处理。
（2）对多光谱无人机遥感图像进行下采样得到低分辨率的多光谱无人机遥感图像。
（3）对多光谱卫星遥感影像和多光谱无人机遥感图像进行剪切和翻转操作，分别生成5000张图像。
第二步，图像超分辨率重建模型的构建：设定图像超分辨率重建模型包括线性混合光谱解混模块和IMRDAM-GAN超分辨率重建网络，其中线性混合光谱解混模块引入最小二乘误差作为优化准则，IMRDAM-GAN超分辨率重建网络引入多尺度残差与注意力模块对生成的对抗网络进行改进，并对对抗网络的目标函数进行改进。
本发明为了提升卫星遥感影像超分辨率重建的质量，提出了IMRDAM-GAN超分辨率重建网络，该网络中引入的多尺度残差模块使用不同大小的卷积核，并将这些残差模块进行了串行连接，融合不同的特征信息，并与注意力机制模块联合，多尺度残差模块可充分提取输入图像通道的特征信息并重复利用，引进的注意力模块可使残差提取的特征更集中，有助与提高训练速度。而GAN网络模型能够明显改善图像的重建质量，其包括一个生成器G和一个判别器D，在模型训练过程中，生成器G尽可能生成能欺骗判别器D的高分辨率图像，而判别器D则对生成的高分辨图像和真实的高分辨率图像进行判别,通过这种反复优化训练促使生成器能够重建出接近于真实图像的高分辨率图像。通过上述分析，因此提出了多尺度残差注意力模块与GAN网络相结合的超分辨率网络，该网络提高了图像的特征提取能力和重建速度，最终提高了图像重建质量。
如图2所示，图像超分辨率重建模型的构建包括以下步骤：
（1）设定图像超分辨率重建模型的第一部分为线性混合光谱解混模块、第二部分为IMRDAM-GAN超分辨率重建网络。
（2）对线性混合光谱解混模块的像元分解LSMM进行改进：
利用线性混合光谱解混模块对多光谱无人机遥感影像和多光谱卫星遥感影像进行光谱像元分解，得到丰度图，线性混合模型表示为：
式中，X为混合像元光谱向量，W为端元矩阵，b为随机误差向量，H为混合像元丰度向量，定义如下所示：
式中，N为端元数目。
（3）采用最小二乘误差作为优化准则，通过计算得到最优的最小二乘估计值H，其计算公式如下：
（4）设定多尺度残差注意力模块IMRDAM。目前多尺度网络大都采用不同大小的卷积核，对网络连接形式没有太多变化。为充分提取图像的特征信息，本发明提出的多尺度残差模块使用不同大小的卷积核，并将这些残差模块进行了串行连接，融合不同的特征信息，更有利于对图像进行多尺度多维度的学习。多尺度残差模块第一部分由1×1和3×3的卷积核组成，第二部分由3×3、5×5、3×3卷积核组成，第三部分由1×1、3×3、5×5组成，第四部分由3×3的池化和1×1卷积组成，该多尺度残差模块与并行结构相比，拥有更好的特征提取和特征融合的能力，且能够加快训练速度。
如图3和图4所示，设定多尺度残差注意力模块IMRDAM包括以下步骤：
A1）设定多尺度残差模块使用不同大小的卷积核，并将这些残差模块进行了串行连接，融合不同的特征信息；
其中，多尺度残差模块第一部分由1×1和3×3的卷积核组成、第二部分由3×3、5×5、3×3卷积核组成、第三部分由1×1、3×3、5×5组成、第四部分由3×3的池化和1×1卷积组成；
A2）设定注意力模块包括通道注意力模块和空间注意力模块；
A3）设定通道注意力模块：
A31）设定注意力模块使用平均池化和最大池化运算将通道信息集中起来，生成两个不同的通道上下文信息束：
A32）将这两个信息束转移到同一个共享网络，该共享网络由多层感知器MLP组成，其中含有一个隐含层；
A33）使用元素求和来合并输出特征向量，以产生通道注意权重信息：
通道注意力模块计算如下所示：
其中，
为sigmoid函数，R为特征图，c为通道数，MC、W1、W0、F为子特征图，MLP为多层感知机，AvgPool为平均池化操作，MaxPool为最大池化操作，/>
、/>
分别表示平均池化特征和最大池化特征；
A4）设定空间注意力模块：
A41）沿用通道注意力平均池化
和最大池化运算/>
，并将它们连接起来生成一个有效的特征映射；
A42）通过一个7*7的卷积层和激活函数
生成空间注意力权重信息/>
，空间注意力模块表达式如下：
其中，
为sigmoid函数，R为特征图，s为通道，AvgPool为平均池化操作，MaxPool为最大池化操作，/>
、/>
分别表示对s进行平均池化运算和最大池化运算。
（5）设定GAN。
所述设定GAN包括以下步骤：
B1）设定GAN网络包括一个接收数据分布并生成接近现实的数据的生成器G以及一个确定输入数据是真实的还是由生成器G制作的判别器D，目标函数LGAN(G,D)表示为:
式中，x表示数据，z表示任意噪声变量，鉴别器D的作用是判断输入数据是原始数据还是生成器G生成，生成器G用于增加决定符D出错的概率，即D被确定为原始数据或由G生成的数据的概率，这两个网络G和D是通过对抗性学习不同的目标；
B2）设定对抗生成网络在生成器G和鉴别器D处创建条件生成模型，附加信息为y，y是一个类标签，将y额外添加到G和D的输入层中；
在生成器G中，噪声z和条件y相结合，在鉴别器D中，输入数据x和条件y作为输入，改进的目标函数LCGAN(G,D)用下面的公式表示:
其中，x表示数据，z表示任意噪声变量，y是一个类标签。
（6）构建IMRDAM-GAN超分辨率重建网络：
C1）设定IMRDAM-GAN超分辨率重建网络的第一部分为特征融合层，分别对多光谱卫星遥感影像经线性混合光谱解混模块后输出的丰度图C1和多光谱无人机遥感影像经线性混合光谱解混模块后输出的丰度图C2，经特征提取后进行特征融合，融合后的特征输入到鉴别器中；
C2）设定IMRDAM-GAN超分辨率重建网络的第二部分为编码解码层，该层网络共分为三个步骤：第一，丰度图C1经IMRDAM模块得到3个不同尺度的数据特征输入到解码器中输出特征数据A1；第二，丰度图C2经编码器、解码器后进一步得到特征数据A2；第三，对A1、A2数据输入到生成器中进行图像重建，得到初步的重建图像SRC；
C3）设定IMRDAM-GAN超分辨率重建网络的第三部分为数据判别层；
将丰度图C1和第二部分得到初步的重建图像SRC进行串行连接输入到鉴别器中，对伪数据和真实数据进行比较，最终得到完整的重建图像。
第三步，IMRDAM-GAN超分辨率重建网络的训练：将多光谱卫星遥感影像和多光谱无人机遥感影像对其线性混合光谱解混模块得到丰度图，并纳入多光谱无人机遥感影像疫木丰度图数据库；
将丰度图数据输入到IMRDAM-GAN超分辨率重建网络进行训练，得到训练后的IMRDAM-GAN超分辨率重建网络。
（1）利用预处理后的训练数据集对图像超分辨率重建网络进行训练，损失函数达到收敛以及更新参数，在训练时使用Adam优化器，参数设置为
，/>
，初始学习率为2×10-4，下一个训练周期的学习率变为上一个的0.98倍，共学习200个周期，前100周期冻结训练主网络，后100周期进行解冻训练，得到训练的最优模型。/>
（2）输入为预处理后的多光谱卫星遥感影像、低分辨率的多光谱无人机遥感图像和高分辨率的多光谱无人机遥感影像。
（3）将多光谱卫星遥感影像和低分辨率的多光谱无人机遥感图像输入到线性混合光谱解混模块，得到低分辨率卫星遥感丰度图C1；将高分辨率的多光谱无人机遥感影像输入到线性混合光谱解混模块，得到高分辨率无人机遥感丰度图C2。
（4）将低分辨率卫星遥感丰度图C1和高分辨率无人机遥感丰度图C2输入IMRDAM-GAN超分辨率重建网络第一层进行特征融合，对低分辨率卫星遥感丰度图C1和高分辨率无人机遥感丰度图C2分别进行特征提取，提取后的特征进行特征融合，融合后的特征输入到鉴别器D中；
经IMRDAM-GAN第二层编码解码层，低分辨率卫星遥感丰度图C1经IMRDAM模块得到3个不同尺度的数据特征输入到解码器中输出特征数据A1；低分辨率卫星遥感丰度图C1经编码器、解码器后进一步得到特征数据A2；对A1、A2数据经生成器G进行图像重建得到初步的重建图像SRC；
经IMRDAM-GAN第三层数据判别层，将低分辨率卫星遥感丰度图C1和第二层得到的初步重建图像SRC进行串行连接输入到鉴别器D中，对伪数据和真实数据进行比较，最终得到完整的重建图像；待模型收敛时进行参数保存获得训练后的图像超分辨率重建模型。
第四步，图像超分辨率重建模型的预测：获取待检测的多光谱卫星遥感影像，并对其进行预处理后，将预处理后的待检测多光谱卫星遥感影像输入训练后的图像超分辨率重建模型，进行线性混合光谱解混模块得到丰度图并训练后的IMRDAM-GAN超分辨率重建网络进行预测，获得高分辨率的多光谱卫星遥感影像丰度图。
第五步，疫木检测结果的获得：将重建后的高分辨率的多光谱卫星遥感影像丰度图与多光谱无人机遥感影像疫木丰度图数据库进行匹配得到疫木检测结果。
如图5所示，从图5中可以看出，卫星遥感影像分辨率不高，但检测出了多处病树，因此本方法提高了卫星遥感影像病树的检测精确度，符合大深林面积松材线虫病的检测要求，进一步验证了本发明对松材线虫病检测识别的优越性。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (6)
1.一种基于复杂林地环境的遥感亚像元疫木检测方法，其特征在于，包括以下步骤：
11）多光谱数据的采集与预处理：获取低分辨率的多光谱卫星遥感影像以及高分辨率的多光谱无人机遥感影像，并对数据进行图像拼接、大气校正、正射校正的预处理；
12）图像超分辨率重建模型的构建：设定图像超分辨率重建模型包括线性混合光谱解混模块和IMRDAM-GAN超分辨率重建网络，其中线性混合光谱解混模块引入最小二乘误差作为优化准则，IMRDAM-GAN超分辨率重建网络引入多尺度残差与注意力模块对生成的对抗网络进行改进，并对对抗网络的目标函数进行改进；
13）IMRDAM-GAN超分辨率重建网络的训练：将多光谱卫星遥感影像和多光谱无人机遥感影像经线性混合光谱解混模块得到丰度图，并纳入多光谱无人机遥感影像疫木丰度图数据库；将丰度图数据输入到IMRDAM-GAN超分辨率重建网络进行训练，得到训练后的IMRDAM-GAN超分辨率重建网络；
14）图像超分辨率重建模型的预测：获取待检测的多光谱卫星遥感影像并对其进行预处理，将预处理后的待检测多光谱卫星遥感影像输入训练后的图像超分辨率重建模型，经线性混合光谱解混模块得到丰度图后送入训练后的IMRDAM-GAN超分辨率重建网络进行预测，获得高分辨率的多光谱卫星遥感影像丰度图；
15）疫木检测结果的获得：将重建后的高分辨率的多光谱卫星遥感影像丰度图与多光谱无人机遥感影像疫木丰度图数据库进行匹配得到疫木检测结果。
2.根据权利要求1所述的基于复杂林地环境的遥感亚像元疫木检测方法，其特征在于，所述多光谱数据的采集与预处理包括以下步骤：
21）获取低分辨率的多光谱卫星遥感影像和高分辨率的多光谱无人机遥感图像，对图像进行拼接、大气校正、正射校正处理；
22）对多光谱无人机遥感图像进行下采样得到低分辨率的多光谱无人机遥感图像；
23）对多光谱卫星遥感影像和多光谱无人机遥感图像进行剪切和翻转操作，分别生成5000张图像。
3.根据权利要求1所述的基于复杂林地环境的遥感亚像元疫木检测方法，其特征在于，所述图像超分辨率重建模型的构建包括以下步骤：
31）设定图像超分辨率重建模型的第一部分为线性混合光谱解混模块、第二部分为IMRDAM-GAN超分辨率重建网络；
32）对线性混合光谱解混模块的像元分解LSMM进行改进：
利用线性混合光谱解混模块对多光谱无人机遥感影像和多光谱卫星遥感影像进行光谱像元分解，得到丰度图，线性混合模型表示为：
式中，X为混合像元光谱向量，W为端元矩阵，b为随机误差向量，H为混合像元丰度向量，定义如下所示：
式中，N为端元数目；
33）采用最小二乘误差作为优化准则，通过计算得到最优的最小二乘估计值H，其计算公式如下：
34）设定多尺度残差注意力模块IMRDAM；
35）设定GAN；
36）构建IMRDAM-GAN超分辨率重建网络：
361）设定IMRDAM-GAN超分辨率重建网络的第一部分为特征融合层，分别对多光谱卫星遥感影像经线性混合光谱解混模块后输出的丰度图C1和多光谱无人机遥感影像经线性混合光谱解混模块后输出的丰度图C2，经特征提取后进行特征融合，融合后的特征输入到鉴别器中；
362）设定IMRDAM-GAN超分辨率重建网络的第二部分为编码解码层，该层网络共分为三个步骤：第一，丰度图C1经IMRDAM模块得到3个不同尺度的数据特征输入到解码器中输出特征数据A1；第二，丰度图C2经编码器、解码器后进一步得到特征数据A2；第三，对A1、A2数据输入到生成器中进行图像重建，得到初步的重建图像SRC；
363）设定IMRDAM-GAN超分辨率重建网络的第三部分为数据判别层；
将丰度图C1和第二部分得到初步的重建图像SRC进行串行连接输入到鉴别器中，对伪数据和真实数据进行比较，最终得到完整的重建图像。
4.根据权利要求1所述的基于复杂林地环境的遥感亚像元疫木检测方法，其特征在于，所述图像超分辨率重建模型的训练包括以下步骤：
41）利用预处理后的训练数据集对图像超分辨率重建网络进行训练，损失函数达到收敛以及更新参数，在训练时使用Adam优化器，参数设置为
，/>
，初始学习率为2×10-4，下一个训练周期的学习率变为上一个的0.98倍，共学习200个周期；
42）输入为预处理后的多光谱卫星遥感影像、低分辨率的多光谱无人机遥感图像和高分辨率的多光谱无人机遥感影像；
43）将多光谱卫星遥感影像和低分辨率的多光谱无人机遥感图像输入到线性混合光谱解混模块，得到低分辨率卫星遥感丰度图C1；将高分辨率的多光谱无人机遥感影像输入到线性混合光谱解混模块，得到高分辨率无人机遥感丰度图C2；
44）将低分辨率卫星遥感丰度图C1和高分辨率无人机遥感丰度图C2输入IMRDAM-GAN超分辨率重建网络第一层进行特征融合，对低分辨率卫星遥感丰度图C1和高分辨率无人机遥感丰度图C2分别进行特征提取，提取后的特征进行特征融合，融合后的特征输入到鉴别器D中；
经IMRDAM-GAN第二层编码解码层，低分辨率卫星遥感丰度图C1经IMRDAM模块得到3个不同尺度的数据特征输入到解码器中输出特征数据A1；低分辨率卫星遥感丰度图C1经编码器、解码器后进一步得到特征数据A2；对A1、A2数据经生成器G进行图像重建得到初步的重建图像SRC；
经IMRDAM-GAN第三层数据判别层，将低分辨率卫星遥感丰度图C1和第二层得到的初步重建图像SRC进行串行连接输入到鉴别器D中，对伪数据和真实数据进行比较，最终得到完整的重建图像；待模型收敛时进行参数保存获得训练后的图像超分辨率重建模型。
5.根据权利要求3所述的基于复杂林地环境的遥感亚像元疫木检测方法，其特征在于，所述设定GAN包括以下步骤：
51）设定GAN网络包括一个接收数据分布并生成接近现实的数据的生成器G以及一个确定输入数据是真实的还是由生成器G制作的判别器D，目标函数LGAN(G,D)表示为:
式中，x表示数据，z表示任意噪声变量，鉴别器D的作用是判断输入数据是原始数据还是生成器G生成，生成器G用于增加决定符D出错的概率，即D被确定为原始数据或由G生成的数据的概率，这两个网络G和D是通过对抗性学习不同的目标；
52）设定对抗生成网络在生成器G和鉴别器D处创建条件生成模型，附加信息为y，y是一个类标签，将y额外添加到G和D的输入层中；
在生成器G中噪声z和条件y相结合，在鉴别器D中输入数据x和条件y作为输入，改进的目标函数LCGAN(G,D)用下面的公式表示：
其中，x表示数据，z表示任意噪声变量，y是一个类标签。
6.根据权利要求3所述的基于复杂林地环境的遥感亚像元疫木检测方法，其特征在于，所述设定多尺度残差注意力模块IMRDAM包括以下步骤：
61）设定多尺度残差模块使用不同大小的卷积核，并将这些残差模块进行了串行连接，融合不同的特征信息；
其中，多尺度残差模块第一部分由1×1和3×3的卷积核组成、第二部分由3×3、5×5、3×3卷积核组成、第三部分由1×1、3×3、5×5组成、第四部分由3×3的池化和1×1卷积组成；
62）设定注意力模块包括通道注意力模块和空间注意力模块；
63）设定通道注意力模块：
631）设定注意力模块使用平均池化和最大池化运算将通道信息集中起来，生成两个不同的通道上下文信息束：
和/>
，它们分别表示平均池化特征和最大池化特征；
632）将这两个信息束转移到同一个共享网络，该共享网络由多层感知器MLP组成，其中含有一个隐含层；
633）使用元素求和来合并输出特征向量，以产生通道注意权重信息：
通道注意力模块计算如下所示：
其中，
为sigmoid函数，R为特征图，c为通道数，MC、W1、W0、F为子特征图，MLP为多层感知机，AvgPool为平均池化操作，MaxPool为最大池化操作，/>
、/>
分别表示平均池化特征和最大池化特征；
64）设定空间注意力模块：
641）沿用通道注意力平均池化
和最大池化运算/>
，并将它们连接起来生成一个有效的特征映射；
642）通过一个7*7的卷积层和激活函数
生成空间注意力权重信息/>
，空间注意力模块表达式如下：
其中，
为sigmoid函数，R为特征图，s为通道，AvgPool为平均池化操作，MaxPool为最大池化操作，/>
、/>
、分别表示对s进行平均池化运算和最大池化运算。/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310518446.2A CN116229287B (zh) | 2023-05-10 | 2023-05-10 | 基于复杂林地环境的遥感亚像元疫木检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310518446.2A CN116229287B (zh) | 2023-05-10 | 2023-05-10 | 基于复杂林地环境的遥感亚像元疫木检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116229287A true CN116229287A (zh) | 2023-06-06 |
| CN116229287B CN116229287B (zh) | 2023-07-21 |
Family
ID=86570042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310518446.2A Active CN116229287B (zh) | 2023-05-10 | 2023-05-10 | 基于复杂林地环境的遥感亚像元疫木检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116229287B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935214A (zh) * | 2023-06-27 | 2023-10-24 | 福建鼎旸信息科技股份有限公司 | 一种卫星多源遥感数据的时空谱融合方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341795A (zh) * | 2017-06-30 | 2017-11-10 | 武汉大学 | 一种知识驱动的高空间分辨率遥感影像自动变化检测方法 |
| US20220084173A1 (en) * | 2020-09-17 | 2022-03-17 | Arizona Board of Regents on behalf on Arizona State University | Systems, methods, and apparatuses for implementing fixed-point image-to-image translation using improved generative adversarial networks (gans) |
| CN114441457A (zh) * | 2022-02-08 | 2022-05-06 | 南京农业大学 | 一种基于无人机多光谱影像消除水稻冠层背景效应并提升叶片氮浓度监测精度的方法 |
| CN114596482A (zh) * | 2022-02-10 | 2022-06-07 | 复旦大学 | 一种基于扩展多线性混合模型的高光谱图像非线性解混方法 |
| CN115187463A (zh) * | 2022-09-13 | 2022-10-14 | 云南省交通规划设计研究院有限公司 | 一种滑坡遥感影像集超分辨率重建方法和系统 |
| WO2022222352A1 (zh) * | 2021-04-22 | 2022-10-27 | 海南大学 | 基于残差网络的遥感全色和多光谱图像分布式融合方法 |
| US11514597B1 (en) * | 2018-07-18 | 2022-11-29 | James Jianming Shen | Single-camera stereoaerophotogrammetry using UAV sensors |
| CN115797184A (zh) * | 2023-02-09 | 2023-03-14 | 天地信息网络研究院(安徽)有限公司 | 一种基于遥感影像的水体超分辨率提取模型 |
| CN115994893A (zh) * | 2022-12-05 | 2023-04-21 | 中国科学院合肥物质科学研究院 | 一种基于低分辨率红外图像的密封件弱小泄露目标检测方法 |
-
2023
- 2023-05-10 CN CN202310518446.2A patent/CN116229287B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341795A (zh) * | 2017-06-30 | 2017-11-10 | 武汉大学 | 一种知识驱动的高空间分辨率遥感影像自动变化检测方法 |
| US11514597B1 (en) * | 2018-07-18 | 2022-11-29 | James Jianming Shen | Single-camera stereoaerophotogrammetry using UAV sensors |
| US20220084173A1 (en) * | 2020-09-17 | 2022-03-17 | Arizona Board of Regents on behalf on Arizona State University | Systems, methods, and apparatuses for implementing fixed-point image-to-image translation using improved generative adversarial networks (gans) |
| WO2022222352A1 (zh) * | 2021-04-22 | 2022-10-27 | 海南大学 | 基于残差网络的遥感全色和多光谱图像分布式融合方法 |
| CN114441457A (zh) * | 2022-02-08 | 2022-05-06 | 南京农业大学 | 一种基于无人机多光谱影像消除水稻冠层背景效应并提升叶片氮浓度监测精度的方法 |
| CN114596482A (zh) * | 2022-02-10 | 2022-06-07 | 复旦大学 | 一种基于扩展多线性混合模型的高光谱图像非线性解混方法 |
| CN115187463A (zh) * | 2022-09-13 | 2022-10-14 | 云南省交通规划设计研究院有限公司 | 一种滑坡遥感影像集超分辨率重建方法和系统 |
| CN115994893A (zh) * | 2022-12-05 | 2023-04-21 | 中国科学院合肥物质科学研究院 | 一种基于低分辨率红外图像的密封件弱小泄露目标检测方法 |
| CN115797184A (zh) * | 2023-02-09 | 2023-03-14 | 天地信息网络研究院(安徽)有限公司 | 一种基于遥感影像的水体超分辨率提取模型 |
Non-Patent Citations (2)
| Title |
|---|
| 张哲晗;方薇;杜丽丽;乔延利;张冬英;丁国绅;: "基于编码-解码卷积神经网络的遥感图像语义分割", 光学学报, no. 03 * |
| 杨超;邬国锋;李清泉;王金亮;渠立权;丁凯;: "植被遥感分类方法研究进展", 地理与地理信息科学, no. 04 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935214A (zh) * | 2023-06-27 | 2023-10-24 | 福建鼎旸信息科技股份有限公司 | 一种卫星多源遥感数据的时空谱融合方法 |
| CN116935214B (zh) * | 2023-06-27 | 2024-04-12 | 福建鼎旸信息科技股份有限公司 | 一种卫星多源遥感数据的时空谱融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116229287B (zh) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461291B (zh) | 基于YOLOv3剪枝网络和深度学习去雾模型的长输管线巡检方法 | |
| Li et al. | Fast accurate fish detection and recognition of underwater images with fast r-cnn | |
| Yin et al. | A new dimensionality reduction algorithm for hyperspectral image using evolutionary strategy | |
| CN111898633B (zh) | 一种基于高光谱图像的海上舰船目标检测方法 | |
| CN116229287B (zh) | 基于复杂林地环境的遥感亚像元疫木检测方法 | |
| CN115690479A (zh) | 一种基于卷积Transformer的遥感图像分类方法及系统 | |
| CN115147731A (zh) | 一种基于全空间编码注意力模块的sar图像目标检测方法 | |
| CN115862073B (zh) | 一种基于机器视觉的变电站危害鸟种目标检测和识别方法 | |
| CN109670521A (zh) | 一种基于遥感图像的内陆水体蓝藻分类识别方法 | |
| CN115861619A (zh) | 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统 | |
| CN111553204A (zh) | 一种基于遥感影像的输电杆塔检测方法 | |
| CN111046756A (zh) | 高分辨率遥感影像目标尺度特征的卷积神经网络检测方法 | |
| Pölönen et al. | Tree species identification using 3D spectral data and 3D convolutional neural network | |
| CN113838064A (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
| Prystavka et al. | Automated object recognition system based on convolutional autoencoder | |
| CN115330676A (zh) | 基于卷积神经网络的机场跑道异物检测方法、系统及设备 | |
| CN111680626A (zh) | 一种基于多层卷积神经网络的水环境遥感数据建模方法 | |
| CN109583499B (zh) | 一种基于无监督sdae网络的输电线路背景目标分类系统 | |
| CN113221997A (zh) | 一种基于深度学习算法的高分影像油菜提取方法 | |
| CN116503418A (zh) | 一种复杂场景下的作物三维目标检测方法 | |
| Zhao et al. | Classification method of LiDAR point cloud based on threedimensional convolutional neural network | |
| CN115631462A (zh) | 基于am-yolox的草莓病虫害检测方法及系统 | |
| CN115205233A (zh) | 一种基于端对端架构的光伏表面缺陷识别方法及系统 | |
| Duan et al. | Time-scale transferring deep convolutional neural network for mapping early rice | |
| Zheng et al. | Multiscale Fusion Network for Rural Newly Constructed Building Detection in Unmanned Aerial Vehicle Imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |