CN114595975A - 基于深度学习模型的无人机遥感松材线虫病害监测方法 - Google Patents

Abstract

本发明属于无人机遥感数据处理技术领域，具体涉及一种基于深度学习模型的无人机遥感松材线虫病害监测方法，该方法包括：步骤一、无人机遥感数据获取、处理：实地勘察了解作业区域实际状况，获取松材线虫病害监测所需数据；步骤二、松材线虫病害样本库的建立：获取对应松材线虫病害标签，构建松材线虫病害样本库；步骤三、设计针对性的松材线虫病害深度学习监测算法：经过空间信息保留模块提取目标空间细节信息，利用上下文信息模块扩大感受野获取上下文信息，结合注意力优化模块对多层次特征进行融合，输出最终提取结果。本发明在应用上取得具有使用价值的无人机遥感松材线虫病害监测技术，推进松材线虫病害监测的应用与发展。

Description

基于深度学习模型的无人机遥感松材线虫病害监测方法

技术领域

本发明属于无人机遥感数据处理技术领域，具体涉及一种基于深度学习模型的无人机遥感松材线虫病害监测方法。

背景技术

松材线虫病是一种由松材线虫引起的松树萎蔫病，松树染病后数十天就会死亡，具有极强的破坏性与传染性。自从上世纪80年代南京中山陵首次发现该病以来，我国18个省、自治区与直辖市地区都已发现松材线虫病害，累计毁灭松林约33.33多万亩，造成经济损失数千亿元。松材线虫病害监测是松材线虫病防控的重要环节，目前，对松材线虫病的监测主要手段有：一是组织工作人员对重点林区定期巡查，一旦发现可疑变色疫木立即取样、鉴定；二是通过诱捕器引诱该病的传播生物，据此判断该病是否可能存在；三是发动林区居民关注林区防疫，宣传疫情危害，鼓励居民发现疫情及时报告。上述监测手段，依靠人为主观意识，监测效率较低，监测效率低下，时间上容易存在延误性，并且判断的准确性无法保证，使得无法及时制定有效防治措施；并且，在地势较险、人为行动受限的地区，调查工作往往难以展开。

随着遥感技术的快速发展，利用各类航空航天遥感技术进行病虫害监测已成为主要技术手段之一。卫星遥感在病虫害监测上发展较早，取得了很多成果，如利用多光谱影像的光谱信息与疫木的波谱特征，能有效监测大范围的林业病虫害。虽然卫星遥感能实现大范围松材线虫病害监测，但受到回访周期、成像条件、大气环境、地形地貌等复杂条件的影响，难以实现单株病害精确高效的监测，时间上存在延误性。因此，如何及时、准确的进行松材线虫病害监测，已经成为当前国家林业资源迫切需要解决的重点问题之一。近年来无人机技术不断发展，凭借着快速、便捷、高效等优点，已成为对地观测的重要手段之一。无人机遥感能快速获取多时态、多角度、多光谱的超高分辨率影像，在复杂地形条件下也能对目标区域进行数据采集，为区域内松材线虫病害监测提供技术支持。虽然当前松材线虫病害监测已经取得了一定发展，但影像分辨率的提高，代表着越来越丰富的地表信息，这为算法的监测精度与计算速度带来了诸多挑战。由于不同平台、不同传感器获取的影像质量与信息不同，所使用的目标提取方法也有所不同。对于早期的低分辨率影像，多利用影像的光谱信息采用指数法与基于像素的机器学习提取方法。随着影像分辨率的提高，早期的提取方法对高分辨率遥感影像容易产生大量噪声，难以满足提取任务的精度要求。面向对象的分类方法能充分考虑高分辨率影像的光谱、几何、纹理等空间特征，对目标的特征进行针对性的学习，因此分类精度更高、效果好，满足语义级别的分类需求。但面向对象的方法由于需要人为选取特征，容易受主观因素的影响，不具有代表性，在复杂背景条件下的结果不是很理想。深度学习算法凭借自主学习能力与强大的特征提取能力，在各行业受到广泛关注，已经在遥感影像目标识别提取任务中取得了一定的成果，完善了面向对象分类的缺点，进一步提高了分类的精度。

在深度学习技术发展的如火如荼的今天，基于深度学习技术的无人机遥感松材线虫病害监测，还具有以下几个问题：1)对松材线虫病害的研究有很多，但对松材线虫病害无人机遥感监测的研究刚刚起步，数据来源少，数据规模小，缺乏公开数据集；2)无人机遥感的超高分辨率影像使得影像背景复杂，不同树种、不同地物对现有算法干扰较大，容易造成误分漏分，对算法要求较高；3)单株松材线虫病害目标小，在深度学习算法下采样过程中容易丢失目标信息，使得特征信息学习不充分，造成监测精度不高。因此，实现高精度、自动化的无人机遥感松材线虫病害监测是一极具挑战性的任务，要求方法在鲁棒性、小样本、精度、适用性等方面都要有很大提升。

有鉴于此，有必要提供一种基于深度学习模型的无人机遥感松材线虫病害监测方法，以解决上述问题。

发明内容

本发明的目的在于克服传统技术中存在的上述问题，提供一种基于深度学习模型的无人机遥感松材线虫病害监测方法，以“高精度自动化的监测单株松材线虫病害”为核心目标，设计具有针对性的深度学习算法以解决单株松材线虫病害监测的问题，从而实现高精度、自动化的监测目标。此思想指导下，设计了减少信息丢失，强化目标特征的深度学习算法实现无人机遥感松材线虫病害监测。

为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

本发明提供一种基于深度学习模型的无人机遥感松材线虫病害监测方法，包括如下步骤：

步骤一、无人机遥感数据获取、处理

飞行作业前，赴测区实地赴测区实地踏勘了解作业区域范围、面积、地势起伏状况地理条件，记录信息；

规划测区避免无效区域划入；

相机检校；

在林区内执行像控点布设工作，要求分布均匀、标记明显且不可移动，布设比例按照20-30个/平方公里，若林冠覆盖比率较大，数量酌情增加；

抬起无人机离地1-1.5m，通过多光谱相机配置界面或使用地面站，使多光谱相机对准标准反射板区域并拍摄3-5组照片，同时为防止标准反射板图像区域过曝，在标准反射板外壳下铺设高反射的垫布，或将标准反射板放置在水泥路、白色油漆地面高反射地表处；

飞行采集多光谱影像数据，检查数据质量，要求像质良好，影像无拖影、无畸变；数据信息准确，读取部分数据并通过读取检验；数据量充足，导入航空遥感图像拼接软件加载航点，数量与覆盖面积与测区相同即为质量合格；

多光谱正射影像的生产，包括：相机内定向、坐标系统选取、辐射定标、波段配准、空中三角测量、数字高程模型及多光谱正射影像生产；

步骤二、松材线虫病害样本库的建立

根据松材线虫病害染病后树叶变黄的特点，基于处理完成的无人机遥感影像利用目视解译的方式获取松材线虫病害目标，获取对应的松材线虫病害标签；多尺度的分割有助于提高样本数量与多样性，防治模型过拟合，因此将影像与标签数据进行多尺度的分割后，合并构建松材线虫病害样本库；

构建训练库；

步骤三、设计针对性的松材线虫病害深度学习监测算法

设计空间信息保留模块与上下文信息模块构建SCANet网络；在下采样中，原始影像进入第一个卷积层后，全卷积网络分为两支：一支为空间信息保留模块，用来获取足够的空间信息和图像的细节特征；另一支为上下文信息模块，包含4个下采样层和2个注意力优化模块，用来扩大感受野，获取丰富的上下文信息；注意力优化模块分别对后两个下采样层进行优化后与空间信息保留模块输出的特征进行融合；在上采样中，网络主要包括三个密集连接块和三个上采样层；连续的上采样操作能够放大特征图，同时通过跳跃连接逐步恢复细节特征，产生与原始影像相同分辨率的特征图，并利用softmax分类器来输出预测图。

进一步地，步骤一中，记录信息包含：1)最大高差，通过地图工具，大致评估最大高差，并在实地踏勘时询问、对比，确定真实高差；

2)优选的起降点，寻找测区范围内或邻近测区的起飞点与转场点，增加有效数据采集时间；3)测区地物组成，需保证测区森林覆盖率达到50％且郁闭度达0.7，对于树木种植稀疏处需提前预留数据成果交互时间；对于面积不足的区域需合理规划航线，以提高整体任务效率；4)作业设备，松材线虫病变色立木空中遥感监测需要无人机搭载多光谱相机/仪作为作业设备；5)作业期应选择松林感染松材线虫病后变色明显的症状显现期，重点是秋季枯死松树高峰期；6)定位控制点：使用手持定位仪采集标定4个以上定位控制点，控制点的选取应包括作业区有明显地物特征的点位；7)作业计划经主管部门审核后，向相关单位进行空域申请，确保飞行作业期间的飞行安全。

进一步地，步骤一中，规则测区：以矩形航线自动规划航线；不规则区域以自定义多边形航线手动设置航点或通过直接导入测区矢量边界实现测区划分；为保证一体化成图，航高需大于3倍最大高差，若存在航高差距过大的区域，应对该区域执行航摄分区并单独执行航线采集；同时为保证飞行安全，保证测区成图完整度，需计算测区基准面高度并用于拼接过程；根据所要求航高，基于飞行任务需求计算地面分辨率、航高参数；航速的设置需考虑无人机性能、载荷最小拍照间隔限制与重叠度限制。

进一步地，步骤一中，相机检校应满足以下要求：①相机检校参数应包括：主点坐标、主距和畸变差方程系数；②相机检校时应在地面或空中对检校场进行多基线多角度摄影，通过摄影测量平差方法得到相机参数最终解，并统计精度报告；③检校精度应满足：主点坐标中误差不应大于10微米，主距中误差不应大于5微米，经过畸变差方程式及测定的系数值拟合后，残余畸变差不应大于0.3像素。

进一步地，步骤二中，训练库的构建原则：样本选取要具有代表性，具体为健康和非健康两大类，染病初期、中期、后期、末期4小类，样本选取要具有代表性，每种目标类型的样本需要覆盖不同采集来源、不同分辨率、典型成像条件、典型地面景观类型、典型数据异常不同情况；各目标、覆盖各种典型情况的样本的数量尽可能分布均匀；每种目标类型、覆盖各种典型情况的样本数量需达到一定数量。

进一步地，步骤三中，空间信息保留模块：

该模块主要由三个密集连接块与三个转换层组成，转换层主要由卷积层、dropout层、池化层构成；密集连接块任何两个特征层之间都有一个直接的信息转换；对于每一层，前面所有层的输出将被用作输入，而它自己的输出也将用作后续层的输入；密集连接块使得网络更容易训练，其公式表达为：

Xl＝Hl([X0,X1,…,Xl-1])(I)

式(I)中，[X0,X1,…,Xl-1]表示之前所有层输出的连接，非线性变换Hl通常为包含批标准化层、激活层和3×3卷积层的复合函数；转换层包含1*1的卷积层、dropout层、步长为2的平均池化层；通过密集连接块重复利用前层信息，并利用转换层下采样，获取丰富的空间信息与细节特征。

进一步地，步骤二中，上下文信息模块：

通过强化上下文背景信息，突出目标深层特征，提升模型识别准确性，降低单一光谱特征带来的影响，避免“同谱异物”、“同物异谱”现象；上下文信息模块主要包含一系列的下采样层(包含简单的卷积、池化操作)以及两个注意力优化模块(Attention RefinementModule,ARM)；连续的池化操作能够使网络获取较大的感受野同时降低参数量、减少内存消耗；注意力优化模块主要包含平均池化层，1×1卷积层，批标准化层以及sigmoid层，通过计算注意力向量来指导学习目标特征，能够有效地抑制复杂背景的干扰，增强目标特征。

进一步地，步骤三中，全卷积网络的松材线虫病害语义分析方法为：

卷积网络的每一层数据是由h×w空间维度和d特征维数所组成的三维数据，对高分辨率遥感影像进行卷积运算和特征提取；在卷积层中，输入像元坐标(i,j)下x_ij向量，其输出向量为y_ij，其表达公式为：

y_ij＝f_Ks({x_{si+δi,sj+δj}}0≤δi,δj≤K) (II)

式(II)中，K为卷积核尺寸，s表示步幅长度，最终通过激活函数f得到特征影像；当卷积核大小和步幅长度遵循转换规则时，激活函数表达为：

式(III)中，当普通深度网络g对非线性函数进行计算时，并只通过该方式对每一层计算非线性滤波，即可称为全卷积网络；通过任意尺寸的输入数据进行计算并产生相应的空间维度输出，如果损失函数为最后一层的空间维度总和，则表示为：

最终，式(IV)中梯度l将是每层空间组成梯度的总和；所以在影像中，基于l的随机梯度下降计算和基于l’的梯度下降结果一致，网络对最后一层所有接收特征进行分批处理。

与现有技术相比，本发明的有益效果是：

本发明沿着“基于无人机遥感的单株松材线虫病害高精度自动化提取”的技术发展方向，针对当前算法难以顾及单株松材线虫病害特点的现状，由此根据病害特点以及当前算法存在的问题，设计了一种既能有效保留空间细节信息，又能扩大感受野的松材线虫病害监测算法。同时，本发明紧密结合无人机遥感影像的数据特点、人工目视解译的有效性，构建有代表性的松材线虫病害样本库，在此基础上，研究基于深度学习的无人机遥感松材线虫病害监测方法，研发高精度的、具有实用价值的松材线虫病害全自动监测技术，为后续无人机遥感松材线虫病害监测建模奠定基础，以期切实推进无人机遥感林业病虫害应用向智能化、多元化方向发展。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明无人机航测主要技术流程图。

图2为本发明SCANet算法结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种技术方案：本发明的目的在于提供基于深度学习的无人机遥感松材线虫病害监测方法，以“高精度自动化的监测单株松材线虫病害”为核心目标，设计具有针对性的深度学习算法以解决单株松材线虫病害监测的问题，从而实现高精度、自动化的监测目标。包括以下步骤：

步骤一、无人机遥感数据获取、处理

飞行作业前，赴测区实地赴测区实地踏勘了解作业区域范围、面积、地势起伏状况等地理条件。其中重点记录以下信息：1)最大高差，通过地图工具，大致评估最大高差，并在实地踏勘时询问、对比，确定真实高差；2)优选的起降点，寻找测区范围内或邻近测区的起飞点与转场点，增加有效数据采集时间；3)测区地物组成，需保证测区森林覆盖率达到50％(测区地块需保证50％以上面积为森林)且郁闭度达0.7，对于树木种植稀疏处需提前预留数据成果交互时间；对于面积不足的区域需合理规划航线，以提高整体任务效率；4)作业设备，松材线虫病变色立木空中遥感监测需要无人机搭载多光谱相机(仪)作为作业设备；5)作业期应选择松林感染松材线虫病后变色明显的症状显现期，重点是秋季枯死松树高峰期；6)定位控制点：使用手持定位仪(GPS或北斗用户机)采集标定4个以上定位控制点，控制点的选取应包括作业区有明显地物特征的点位；7)作业计划经主管部门审核后，向相关单位进行空域申请，确保飞行作业期间的飞行安全。

规划测区避免无效区域(农田、水体、人工表面等)划入。其中，规则测区以矩形航线自动规划航线；不规则区域以自定义多边形航线手动设置航点(或通过直接导入测区矢量边界实现测区划分)；为保证一体化成图，航高需大于3倍最大高差，若存在航高差距过大的区域，应对该区域执行航摄分区并单独执行航线采集。同时为保证飞行安全，保证测区成图完整度，需计算测区基准面高度并用于拼接过程；根据所要求航高，基于飞行任务需求计算地面分辨率、航高等参数；航速的设置需考虑无人机性能、载荷最小拍照间隔限制与重叠度限制。影像地面分辨率一般优于0.2米。根据各作业区的地形条件等，一般要求地面分辨率在8～15cm，同一航线上相邻像片的航高差≦30m，实际航高与设计航高之差≦50m；航向重叠度应大于55％，旁向重叠度应大于15％，同一航线上相邻像片的航高高差不应大于20米，航摄区最大航高与最小航高之差不应大于30米。航摄分区内实际航高与设计航高之差不应大于50米；若摄区有分区，相邻分区间航向各自超出分区界线一条基线，当分区间航线方向相同时，旁向正常接飞，若不同，旁向覆盖应超出分区界线最少不少于像幅的15％；

相机检校应满足以下要求：①相机检校参数应包括：主点坐标、主距和畸变差方程系数；②相机检校时应在地面或空中对检校场进行多基线多角度摄影，通过摄影测量平差方法得到相机参数最终解，并统计精度报告；③检校精度应满足：主点坐标中误差不应大于10微米，主距中误差不应大于5微米，经过畸变差方程式及测定的系数值拟合后，残余畸变差不应大于0.3像素。

在林区内执行像控点布设工作，要求分布均匀、标记明显且不可移动，布设比例按照20-30个/平方公里，若林冠覆盖比率较大，数量可酌情增加。

抬起无人机离地1-1.5m，通过多光谱相机配置界面(或使用地面站)，使多光谱相机对准标准反射板区域并拍摄3-5组照片，同时为防止标准反射板图像区域过曝，可在标准反射板外壳下铺设高反射的垫布，或将标准反射板放置在水泥路、白色油漆地面等高反射地表处。

飞行采集的多光谱影像数据，检查数据质量，像质良好，影像无拖影、无畸变；数据信息准确，读取部分数据并通过读取检验；数据量充足，导入航空遥感图像拼接软件加载航点，数量与覆盖面积与测区相同即为质量合格。

多光谱正射影像的生产，包括：相机内定向、坐标系统选取、辐射定标、波段配准、空中三角测量、数字高程模型及多光谱正射影像生产；

步骤二、松材线虫病害样本库的建立

根据松材线虫病害染病后树叶变黄的特点，基于处理完成的无人机遥感影像利用目视解译的方式获取松材线虫病害目标，获取对应的松材线虫病害标签。多尺度的分割有助于提高样本数量与多样性，防治模型过拟合，因此将影像与标签数据进行多尺度的分割后，合并构建松材线虫病害样本库。

松树从受到松材线虫病害侵入至完全死完，期间大致会呈现四个阶段的外部与内部特征变化：(1)在染病初期，染病松树的外观没有明显变化，针叶仍呈现绿色，但树脂分泌将会开始减少，可以在嫩枝上发现天牛啃食的痕迹，松树的蒸腾作用开始下降。该时期卫星影像难以实现松材线虫病害的监测；(2)在染病中期，染病松树的针叶开始变色，树脂分泌减少或者停止，蒸腾速率降低，在枝条上能发现天牛啃食的痕迹以及虫卵；(3)在染病后期，染病松树的针叶大部分变成灰黄色，松树已经呈现萎蔫状态。此时将能利用卫星遥感影像监测到变色松树的光谱差异；(4)在染病末期，染病松树已经完全死亡，此时松树针叶完全变成灰黄色，但针叶不会脱落，松树体内松材线虫大量繁殖。该时期距离染病初期时间约为1个月。

大量研究表明，健康松树在染病后会在含水量和叶绿素含量上发生明显变化，光谱曲线较正常松树的光谱曲线具有明显的差异。在染病早期，正常松树与染病松树的可见光光谱曲线差异不明显，但在近红外和中远红外波段处差异明显，对染病早期的监测具有一定的参考价值。随着松树体内叶绿素含量的降低，其在红光与蓝光波段范围内的吸收能力减弱，反射能力增强，松树针叶表征逐渐从绿色转变为黄红色。在染病中后期，枯死松树的绿光区与近红外区域的波段值较健康松树有所降低，可见光区域能很好地区别正常松树与染病松树。

训练库构建原则：样本选取要具有代表性，具体为健康和非健康两大类，染病初期、中期、后期、末期4小类，样本选取要具有代表性，每种目标类型的样本需要覆盖不同采集来源、不同分辨率、典型成像条件、典型地面景观类型、典型数据异常等不同情况；各目标、覆盖各种典型情况的样本的数量尽可能分布均匀；每种目标类型、覆盖各种典型情况的样本数量需达到一定数量。

步骤三、设计针对性的松材线虫病害深度学习监测算法

传统方法在获取目标信息时，难以兼顾空间细节信息与感受野，造成细节特征的丢失，无法综合利用目标的高级特征与低级特征，易受光谱特征的干扰，难以有效避免“同谱异物”“同物异谱”现象。同时由于单株松材线虫病害目标太小，连续的下采样容易丢失目标信息，影响识别效果。针对上述问题，本发明设计空间信息保留模块与上下文信息模块构建SCANet网络。在下采样中，原始影像进入第一个卷积层后，网络分为两支：一支为空间信息保留模块，用来获取足够的空间信息和图像的细节特征。该模块主要由三个密集连接块与三个转换层(主要由卷积层、dropout层、池化层构成)组成。另一支网络主要是上下文信息模块(包含4个下采样层和2个注意力优化模块)，用来扩大感受野，获取丰富的上下文信息。其中注意力优化模块分别对后两个下采样层进行优化后与空间信息保留模块输出的特征进行融合。在上采样中，网络主要包括三个密集连接块和三个上采样层。连续的上采样操作能够放大特征图，同时通过跳跃连接逐步恢复细节特征，产生与原始影像相同分辨率的特征图，并利用softmax分类器来输出预测图。其中

1)空间信息保留模块

针对单株病害的空间信息在下采样过程中容易丢失的问题，本发明提出了一种空间信息保留模块来提取目标的空间细节信息。该模块由三个密集连接块与三个转换层构成。密集连接块任何两个特征层之间都有一个直接的信息转换。对于每一层，前面所有层的输出将被用作输入，而它自己的输出也将用作后续层的输入。密集连接块具有以下几个优点，如加强特征重用，减少参数量，缓解梯度弥散等，这使得网络更容易训练。其公式表达为：

Xl＝Hl([X0,X1,…,Xl-1])

其中，[X0,X1,…,Xl-1]表示之前所有层输出的连接，非线性变换Hl通常为包含批标准化层、激活层和3×3卷积层的复合函数。转换层包含1*1的卷积层、dropout层、步长为2的平均池化层。通过密集连接块重复利用前层信息，并利用转换层下采样，可以获取丰富的空间信息与细节特征。

2)上下文信息模块

在语义分割任务中，感受野对语义分割的性能具有重要的影响。为了扩大感受野，一些方法利用了金字塔池化模块，空洞空间金字塔模块或者大卷积核，这些模块虽然兼顾部分空间信息，但需要大量的计算和内存消耗，导致训练速度较慢。针对此问题，本发明设计了上下文信息模块，通过强化上下文背景信息，突出目标深层特征，提升模型识别准确性，降低单一光谱特征带来的影响，避免“同谱异物”、“同物异谱”现象。上下文信息模块主要包含一系列的下采样层(包含简单的卷积、池化操作)以及两个注意力优化模块(Attention Refinement Module,ARM)。连续的池化操作能够使网络获取较大的感受野同时降低参数量、减少内存消耗。注意力优化模块主要包含平均池化层，1×1卷积层，批标准化层以及sigmoid层，通过计算注意力向量来指导学习目标特征，能够有效地抑制复杂背景的干扰，增强目标特征。

3)全卷积网络的松材线虫病害语义分析方法

卷积网络的每一层数据是由h×w空间维度和d特征维数所组成的三维数据，对高分辨率遥感影像进行卷积运算和特征提取。在卷积层中，输入像元坐标(i,j)下x_ij向量，其输出向量为y_ij，其表达公式为：

y_ij＝f_Ks({x_{si+δi,sj+δj}}0≤δi,δj≤K)

其中，K为卷积核尺寸，s表示步幅长度，最终通过激活函数f得到特征影像。当卷积核大小和步幅长度遵循转换规则时，激活函数表达为：

其中，当普通深度网络g对非线性函数进行计算时，并只通过该方式对每一层计算非线性滤波，即可称为全卷积网络。通过任意尺寸的输入数据进行计算并产生相应的空间维度输出，如果损失函数为最后一层的空间维度总和，则表示为：

最终，梯度l将是每层空间组成梯度的总和。所以在影像中，基于l的随机梯度下降计算和基于l’的梯度下降结果一致，网络对最后一层所有接收特征进行分批处理。

其中，步骤一与步骤二为进行松材线虫病害监测时的数据采集、预处理、样本库建立等具体方法；步骤三提供针对无人机遥感松材线虫病害监测深度学习模型。

本实施例的一个具体应用为：

(1)无人机遥感数据获取与预处理

在开展无人机航飞任务前，需要查阅飞行前的天气状况、飞行区域的地形地貌以及进行飞行空域申报等。在实地飞行时，需要根据飞行区域的地形、景观分布等多种因素设计飞行航线与飞行参数。利用无人机搭载多光谱相机进行疫区实地飞行获取松材线虫病害监测数据。

(2)无人机遥感松材线虫病害样本库的建立

由于松材线虫病害的具体要素与特征描述、样本库等紧密相关，本发明在综合考虑当前松材线虫病害监测的普遍需求和无人机遥感监测研究现状的基础，确定拟解决的无人机遥感松材线虫病害的具体要素为：健康植被、染病初期、染病中期、染病后期、染病末期，在建立的技术体系基础上，通过扩展样本、扩展特征描述、模型改进等手段，进一步开展精细点云分类方法和应用研究。

受到大气状况、太阳角度、光照条件、成像条件、空间分辨率、光谱分辨率、地形地貌、景观类型等多种因素的影响，使得无人机遥感监测数据质量不同，特别是由于飞行倾角、拍摄角度、光照等影响，造成无人机遥感数据普遍存在明显的数据缺漏、数据遮挡与数据重叠、形态或纹理扭曲、阴影干扰、噪声等数据异常，这些都增加了松材线虫病害监测的难度。

利用深度学习进行松材线虫病害监测，本项目除了引入视觉机制研究适用于松材线虫病害监测的深度学习模型和分类优化流程之外，另外需要建立尽可能全面覆盖这些因素和数据异常情况的松材线虫病害深度学习的训练样本库。

训练库构建主要流程：本发明结合松材线虫病害监测和应用的实际，首先设计训练样本采样原则，在系统化无人机遥感数据质量的影响因素和典型数据情况的基础上，结合现有数据资源、成果状态等，有针对性采集并补充无人机遥感监测数据，研究样本选取要具有代表性的样本库构建方法、并开发样本处理与生成相关工具，具体为健康和非健康两大类，染病初期、中期、后期、末期4小类，再利用点云目标样本处理工具再结合人工立体交互编辑方式，最后再利用点云样本增强和点云样本模拟技术，对点云样本进行增强处理和样本模拟，以保证训练库的样本类型合理、类型分布合理、代表性强、样本成像条件复杂多样、并具有一定规模。

样本增强技术和拟技术：通过对原始数据样本进行点云样本进行增强预处理，主要包括随机多角度多轴旋转、随机缩放点云尺寸，颜色方面(亮度、对比度、饱和度、色相)等随机调节、点云样本随机子区截取等，并将样本增强结果放入整体样本库。该项技术简单实用，可以有效增加样本库的丰富度，减少比例尺、旋转、角度、等因素对图像目标识别模型的影响，提高模型的鲁棒性。此外，对于某些难以获取的训练样本，还可以通过点云样本模拟技术进行样本模拟(例如可通过增加随机点云噪声的方法，模拟具有飞点的点云样本)，从而保证样本对典型情况的全部覆盖。

(3)无人机遥感的松材线虫病害深度学习监测方法

鉴于谷歌TensorFlow深度学习开发体系在模型支持、异构分布式学习、跨平台等方面优势，本发明采用TensorFlow深度学习框架来实现支持多特征并行自学习、多特征整合机制的松材线虫病害监测模型。利用SCANet网络结构能够对同一目标进行不同角度特征的并行、多层次感知、以及多特征整合的能力，本发明首先将原始无人机监测数据通过SCANet网络的子网络进行空间信息保留，获取足够的空间信息和影像的细节信息特征，同时用来扩大感受野，获取丰富的上下文信息，并通过多特征累积传递、整体融合方面的特征，在横向上进行同一层次、多特征融合，得到不同层次不断抽象的全感知整体特征；之后，通过注意力优化模块分别对后两个下采样层进行优化后与空间信息保留模块输出的特征进行融合；在上采样中，网络主要包括密集连接块和上采样层，连续的上采样操作能够特征放大，同时通过跳跃连接逐步恢复细节特征，产生与原始影像相同分辨率的特征图，并利用softmax分类器来输出最终松材线虫病害监测结果。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.基于深度学习模型的无人机遥感松材线虫病害监测方法，其特征在于，包括如下步骤：

步骤一、无人机遥感数据获取、处理

飞行作业前，赴测区实地赴测区实地踏勘了解作业区域范围、面积、地势起伏状况地理条件，记录信息；

规划测区避免无效区域划入；

相机检校；

在林区内执行像控点布设工作，要求分布均匀、标记明显且不可移动，布设比例按照20-30个/平方公里，若林冠覆盖比率较大，数量酌情增加；

抬起无人机离地1-1.5m，通过多光谱相机配置界面或使用地面站，使多光谱相机对准标准反射板区域并拍摄3-5组照片，同时为防止标准反射板图像区域过曝，在标准反射板外壳下铺设高反射的垫布，或将标准反射板放置在水泥路、白色油漆地面高反射地表处；

飞行采集多光谱影像数据，检查数据质量，要求像质良好，影像无拖影、无畸变；数据信息准确，读取部分数据并通过读取检验；数据量充足，导入航空遥感图像拼接软件加载航点，数量与覆盖面积与测区相同即为质量合格；

多光谱正射影像的生产，包括：相机内定向、坐标系统选取、辐射定标、波段配准、空中三角测量、数字高程模型及多光谱正射影像生产；

步骤二、松材线虫病害样本库的建立

根据松材线虫病害染病后树叶变黄的特点，基于处理完成的无人机遥感影像利用目视解译的方式获取松材线虫病害目标，获取对应的松材线虫病害标签；多尺度的分割有助于提高样本数量与多样性，防治模型过拟合，因此将影像与标签数据进行多尺度的分割后，合并构建松材线虫病害样本库；

构建训练库；

步骤三、设计针对性的松材线虫病害深度学习监测算法

设计空间信息保留模块与上下文信息模块构建SCANet网络；在下采样中，原始影像进入第一个卷积层后，全卷积网络分为两支：一支为空间信息保留模块，用来获取足够的空间信息和图像的细节特征；另一支为上下文信息模块，包含4个下采样层和2个注意力优化模块，用来扩大感受野，获取丰富的上下文信息；注意力优化模块分别对后两个下采样层进行优化后与空间信息保留模块输出的特征进行融合；在上采样中，网络主要包括三个密集连接块和三个上采样层；连续的上采样操作能够放大特征图，同时通过跳跃连接逐步恢复细节特征，产生与原始影像相同分辨率的特征图，并利用softmax分类器来输出预测图。

2.根据权利要求1所述的基于深度学习模型的无人机遥感松材线虫病害监测方法，其特征在于：步骤一中，记录信息包含：1)最大高差，通过地图工具，大致评估最大高差，并在实地踏勘时询问、对比，确定真实高差；2)优选的起降点，寻找测区范围内或邻近测区的起飞点与转场点，增加有效数据采集时间；3)测区地物组成，需保证测区森林覆盖率达到50％且郁闭度达0.7，对于树木种植稀疏处需提前预留数据成果交互时间；对于面积不足的区域需合理规划航线，以提高整体任务效率；4)作业设备，松材线虫病变色立木空中遥感监测需要无人机搭载多光谱相机/仪作为作业设备；5)作业期应选择松林感染松材线虫病后变色明显的症状显现期，重点是秋季枯死松树高峰期；6)定位控制点：使用手持定位仪采集标定4个以上定位控制点，控制点的选取应包括作业区有明显地物特征的点位；7)作业计划经主管部门审核后，向相关单位进行空域申请，确保飞行作业期间的飞行安全。

3.根据权利要求2所述的基于深度学习模型的无人机遥感松材线虫病害监测方法，其特征在于：步骤一中，规则测区：以矩形航线自动规划航线；不规则区域以自定义多边形航线手动设置航点或通过直接导入测区矢量边界实现测区划分；为保证一体化成图，航高需大于3倍最大高差，若存在航高差距过大的区域，应对该区域执行航摄分区并单独执行航线采集；同时为保证飞行安全，保证测区成图完整度，需计算测区基准面高度并用于拼接过程；根据所要求航高，基于飞行任务需求计算地面分辨率、航高参数；航速的设置需考虑无人机性能、载荷最小拍照间隔限制与重叠度限制。

4.根据权利要求1所述的基于深度学习模型的无人机遥感松材线虫病害监测方法，其特征在于：步骤一中，相机检校应满足以下要求：①相机检校参数应包括：主点坐标、主距和畸变差方程系数；②相机检校时应在地面或空中对检校场进行多基线多角度摄影，通过摄影测量平差方法得到相机参数最终解，并统计精度报告；③检校精度应满足：主点坐标中误差不应大于10微米，主距中误差不应大于5微米，经过畸变差方程式及测定的系数值拟合后，残余畸变差不应大于0.3像素。

5.根据权利要求1所述的基于深度学习模型的无人机遥感松材线虫病害监测方法，其特征在于：步骤二中，训练库的构建原则：样本选取要具有代表性，具体为健康和非健康两大类，染病初期、中期、后期、末期4小类，样本选取要具有代表性，每种目标类型的样本需要覆盖不同采集来源、不同分辨率、典型成像条件、典型地面景观类型、典型数据异常不同情况；各目标、覆盖各种典型情况的样本的数量尽可能分布均匀；每种目标类型、覆盖各种典型情况的样本数量需达到一定数量。

6.根据权利要求1所述的基于深度学习模型的无人机遥感松材线虫病害监测方法，其特征在于：步骤三中，空间信息保留模块：

该模块主要由三个密集连接块与三个转换层组成，转换层主要由卷积层、dropout层、池化层构成；密集连接块任何两个特征层之间都有一个直接的信息转换；对于每一层，前面所有层的输出将被用作输入，而它自己的输出也将用作后续层的输入；密集连接块使得网络更容易训练，其公式表达为：

Xl＝Hl([X0,X1,…,Xl-1]) (I)

式(I)中，[X0,X1,…,Xl-1]表示之前所有层输出的连接，非线性变换Hl通常为包含批标准化层、激活层和3×3卷积层的复合函数；转换层包含1*1的卷积层、dropout层、步长为2的平均池化层；通过密集连接块重复利用前层信息，并利用转换层下采样，获取丰富的空间信息与细节特征。

7.根据权利要求1所述的基于深度学习模型的无人机遥感松材线虫病害监测方法，其特征在于：步骤二中，上下文信息模块：

通过强化上下文背景信息，突出目标深层特征，提升模型识别准确性，降低单一光谱特征带来的影响，避免“同谱异物”、“同物异谱”现象；上下文信息模块主要包含一系列的下采样层(包含简单的卷积、池化操作)以及两个注意力优化模块(Attention RefinementModule,ARM)；连续的池化操作能够使网络获取较大的感受野同时降低参数量、减少内存消耗；注意力优化模块主要包含平均池化层，1×1卷积层，批标准化层以及sigmoid层，通过计算注意力向量来指导学习目标特征，能够有效地抑制复杂背景的干扰，增强目标特征。

8.根据权利要求1所述的基于深度学习模型的无人机遥感松材线虫病害监测方法，其特征在于：步骤三中，全卷积网络的松材线虫病害语义分析方法为：

卷积网络的每一层数据是由h×w空间维度和d特征维数所组成的三维数据，对高分辨率遥感影像进行卷积运算和特征提取；在卷积层中，输入像元坐标(i,j)下x_ij向量，其输出向量为y_ij，其表达公式为：

y_ij＝f_Ks({x_{si+δi,sj+δj}}0≤δi,δj≤K) (II)

式(II)中，K为卷积核尺寸，s表示步幅长度，最终通过激活函数f得到特征影像；当卷积核大小和步幅长度遵循转换规则时，激活函数表达为：

式(III)中，当普通深度网络g对非线性函数进行计算时，并只通过该方式对每一层计算非线性滤波，即可称为全卷积网络；通过任意尺寸的输入数据进行计算并产生相应的空间维度输出，如果损失函数为最后一层的空间维度总和，则表示为：

最终，式(IV)中梯度l将是每层空间组成梯度的总和；所以在影像中，基于l的随机梯度下降计算和基于l’的梯度下降结果一致，网络对最后一层所有接收特征进行分批处理。

Images