CN114140703A - 一种森林松材线虫病害智能识别方法及系统 - Google Patents

Abstract

本发明公开了一种森林松材线虫病害智能识别方法及系统，涉及松材线虫防治技术领域。本发明包括根据林区影像图制作生成林区正射影像图；裁剪并标注；融合分析，获取光谱特征和空间特征；采用TensorFlow深度学习框架和DenseNets密集网络，进行训练，并对算法模型进行优化；对松材线虫病害树木自动判读，并自动标注。本发明基于无人机采集的可见光影像和多光谱影像融合分析，同时获取染病松树的高级抽象光谱和空间特征，采用先进的DenseNet开发松材线虫病害智能识别系统，获取空间特征和光谱特征，从而对松材线虫病害树木进行快速、准确的识别；采用地理信息技术确定每棵病树位置信息，从而极大地提高松材线虫病害防治效率和精准度。

Description

一种森林松材线虫病害智能识别方法及系统

技术领域

本发明属于松材线虫防治技术领域，特别是涉及一种森林松材线虫病害智能识别方法及系统。

背景技术

松树是我国分布面积第一的树种，占我国森林资源的25%，它的健康与生态环境保护密切相关。然而，我国松树资源正遭受来自松材线虫的威胁。松材线虫病是全球森林生态系统中最具危险性、毁灭性的病害，具有发病快、传播迅速、危害严重、防治困难等特点，有极强的扩散性和破坏性，被称为“松树的癌症”，是我国林业史上造成损失最严重的外来入侵生物。目前我国18个省市，745个区县均受到危害。同时由于没有有效的监控手段，导致传播与蔓延逐渐失控，当前感染面积已经超过9000万亩，累计致死松树6亿多株，直接经济损失数千亿元，间接经济损失和生态破坏更是难以计数，近些年更有加剧扩散趋势。我国松林总体量达到了9亿亩，目前大多处于被感染威胁状态。因此，国家林草局已经将松材线虫防治列为我国林业上的一项十分紧迫而重大的任务，已启动国家松材线虫病害五年防控攻坚战计划，坚决遏制松材线虫病害快速扩散蔓延势头，切实维护生态安全、生物安全。

传统的松材线虫病灾害监测和预报依赖于庞大的地面测报系统和大量的实地调查工作，具有人力需求大、成本高、时效性差、监测盲点多等缺点，造成了疫情的加速扩散。快速、及时、准确地监测松材线虫病害对防控松材线虫病至关重要。无人机低空遥感具有低成本、高效率、高分辨率、方便灵活等优势，已经被广泛运用于松材线虫病害的监测中。然而获取影像只是获取了第一手资料，还需要从影像上提取感染了松材线虫病害的树木及位置信息，以便工作人员及早采取措施，避免病害扩散造成更大的危害。目前的病害树木信息提取主要是依靠人工目视判读，存在效率低、耗时长及人为误差等问题。

本发明基于无人机采集的森林可见光影像和多光谱影像融合分析，采用先进的DenseNet（密集卷积网络）开发松材线虫病害智能识别系统，强化特征传播，支持特征重用，解决了图像不对准、梯度消失等难题，大幅度减少参数数量和计算量，有效抑制过拟合，从而可以构建更深的训练网络，获得更高的识别精准率。通过大量样本学习，掌握松树感染病虫害的光谱、纹理、形状、色彩等特征，从而实现对松材线虫病害树木的快速、准确识别，并采用地理信息技术确定每棵病树位置信息，从而极大地提高松材线虫病害防治效率和精准度，为保护我国的森林资源安全、实现碳达峰奠定基础。

发明内容

本发明的目的在于提供一种森林松材线虫病害智能识别方法及系统，以解决现有的问题：目前的病害树木信息提取主要是依靠人工目视判读，存在效率低、耗时长及人为误差等问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

一种森林松材线虫病害智能识别方法，所述方法包括以下步骤：

通过无人机在空中航拍林区影像图；

根据林区影像图制作生成林区正射影像图；

将正射影像图按比例裁剪并根据样本类型进行标注；

提取无人机航拍的林区影像图的可见光影像和多光谱影像，并进行融合分析，获取感染松材线虫树木的光谱特征和空间特征；

采用TensorFlow深度学习框架和DenseNets密集网络，将裁剪和标注后的正射影像图作为训练和测试数据集进行训练，并通过训练，对算法模型进行优化；

基于优化后的模型对正射影像图上的松材线虫病害树木进行自动判读，并自动标注。

基于上述方法，进一步的，其中，通过无人机在空中航拍林区影像图，还包括以下步骤：

对空中飞行质量以及原始影像质量进行检查；

其中，空中飞行质量包括：飞行的环境因素、飞行时的气象因素

其中，原始影像质量包括：影像的色调、云雾、饱和度；影像的重叠度、像片旋偏角、航带弯曲度以及航带内最大高差。

基于上述方法，进一步的，所述林区影像图为分辨率10cm的可见光原始影像图和分辨率30cm的多光谱影像图；

所述林区正射影像图为1:1000的林区正射影像图。

基于上述方法，进一步的，其中，根据林区影像图制作生成林区正射影像图，主要包括：

对获取的林区影像图进行质量检查，剔除模糊等不合格照片，对剩余照片进行匀光匀色处理；

建立林区影像图的坐标系；

解算立体的林区影像图的相对方位元素，恢复两光束间相对方位；

确定航片在摄影瞬间相对于地面的姿态，确定林区影像图坐标系和大地坐标系之间的关系，完成后再一次进行区域网平差，计算出加密点的坐标，生成高密度的点云；

基于所述超高密度点云，构建TIN模型，并以此生成高分辨率的林区正射影像图。

基于上述方法，进一步的，所述像片坐标系为采用仿射变换进行框标坐标计算。

基于上述方法，进一步的，还包括以下步骤：

对测区内的病害树木进行精准定位，得到病树分布数据，包括坐标、范围和健康度；生成枯死松树、病树电子分布图，并汇总统计生成成果报告。

基于上述方法，进一步的，还包括以下步骤：

建立数据交换机制；

数据进行自动入库与匹配；

建立用户监测数据上传、服务选择、自动识别、成果加密下载服务。

一种森林松材线虫病害智能识别系统，所述系统包括有：

林区正射影像图制作模块，用于根据林区影像图制作生成林区正射影像图；

所述林区正射影像图制作模块包括有：

质量检查模块、内定向处理模块、相对定向模块、绝对定向及区域网平差模块、正射影像模块；

样本分割和标注模块，用于裁剪和标注林区正射影像图，制作训练样本；

影像融合模块，用于融合分析并获取感染松材线虫树木的光谱特征和空间特征；

样本训练模块，用于采用TensorFlow深度学习框架和DenseNets密集网络训练出森林松材线虫病害智能识别模型，对模型进行优化；

智能判读模块，用于基于优化后的模型对树木进行自动判读，并自动标注。

基于上述系统，进一步的，还包括有：

病树定位及汇总统计模块。

基于上述系统，进一步的，还包括有：智能识别共享与在线服务平台。

本发明具有以下有益效果：

本发明基于无人机采集的可见光影像和多光谱影像融合分析，同时获取染病松树的高级抽象光谱和空间特征，采用先进的DenseNet开发松材线虫病害智能识别系统，通过大量样本学习，掌握染病松树的高级抽象空间特征和光谱特征，从而对松材线虫病害树木进行快速、准确的识别；

进行算法模型优化，使染病树木的分级和筛选更精确，识别效率也更高；

采用地理信息技术确定每棵病树位置信息，从而极大地提高松材线虫病害防治效率和精准度。

附图说明

图1为本发明的项目技术方案流程图；

图2为本发明的系统开发技术路线图；

图3为DenseBlock结构示意图；

图4为光谱特征分类提取示意图；

图5为纹理、形状分类提取示意图；

图6为光谱特征波段研究曲线图；

图7为松材线虫病害树木智能识别精度示意图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

一种森林松材线虫病害智能识别方法：

参阅图1和图2，发明方法包括以下步骤：

s1 无人机影像数据准备

无人机低空航摄的过程中会受到不同程度飞行环境及气候气象条件的影响，从而影响到数据处理和成果的准确性，因此需要对空中飞行质量以及原始影像质量进行检查，包括在空中航拍过程中，考虑飞行的环境以及飞行时的气象因素。此外还需要在航拍完成后，进行无人机航拍影像质量的检测，包括影像的色调、云雾、影像的饱和度。最重要的影响因素有：影像的重叠度、像片旋偏角、航带弯曲度以及航带内最大高差。依据CH/Z3005--2010摄影测量的规范要求，进行质量检测，确保影像质量达到内业规范要求。且，原始影像为分辨率10cm的可见光原始影像图和分辨率30cm的多光谱影像图；制作生成1:1000的林区正射影像图，作为系统开发的实验数据。

s2 松材线虫病害树木智能识别系统开发

采用先进的DenseNet（密集卷积网络）结构构建样本训练模块，用于以实验数据为训练样本学习和掌握松树感染病虫害的空间和光谱特征，从而实现对松材线虫病害树木的快速、准确识别。如图3所示，DenseNets不是在特征传递给某一层之前将其进行相加（combine），而是将其进行拼接（concatenate）。这种结构将之前所有层的输入进行拼接，之后将输出的特征图传递给之后的所有层，从而保证网络中层与层之间最大程度的信息传输。这种连接方式使得特征和梯度的传递更加有效。每一层都可以直接利用损失函数的梯度以及最开始的输入信息，使得每一步都被深度监督，可以减轻梯度消失现象，有助于训练更深的网络，可以加深到上千层。同时，这种密集连接可以产生正则化的效果，减少网络的过拟合。DenseNets的密集连接模块（DenseBlock）不需要再重新学习多余的特征图，因此，比传统的卷积网络有更少的参数。经过学习训练，该模型可以更好地区分影像上特征表现不明显的早期染病松树，实现染病松树的早期诊断和预警预报。

在本系统中，应至少包括以下主要功能模块：

1.正射影像图制作模块

1）质量检查模块

对获取的林区影像图进行质量检查，剔除模糊等不合格照片，对剩余照片进行匀光匀色处理。

2）内定向处理模块

建立林区影像图的坐标系，通常采用仿射变换进行框标坐标计算。

3）相对定向模块

相对定向是解算立体像对相对方位元素，恢复两光束间相对方位的工作。通常以第一张相片的像主点为坐标原点的坐标系为参照坐标系，来确定第二张照片相对于第一张照片的位置和姿态。

4）绝对定向及区域网平差模块

绝对定向是指确定航片在摄影瞬间相对于地面的姿态，确定影像坐标系和大地坐标系之间的关系的。绝对定向完成后再一次进行区域网平差，计算出加密点的坐标，生成高密度的点云。

5）正射影像模块

基于影像的超高密度点云，点云构建TIN模型，并以此生成基于影像纹理的高分辨率正射影像。

2.样本分割和标注模块

用于将正射影像图按比例裁剪。按照1064*1064像素进行分割，并进行样本类型标注。

3.影像融合模块

基于无人机采集的可见光影像和多光谱影像分布进行空间和光谱特征提取，并进行融合分析，获取染病松树的高级抽象光谱和空间特征。

4.样本训练模块

采用TensorFlow深度学习框架和DenseNets密集网络开发松材线虫病害样本训练模块。将分割标注后的所有图像，用作松材线虫病害树木训练和测试数据集，并通过该模块进行的多次样本训练，对算法模型进行持续优化。

5.智能判读模块

基于优化后的模型对正射影像图上的松材线虫病害树木进行自动判读，并自动标注。

6.病树定位及汇总统计模块

基于地理信息系统开发，对测区内的病害树木进行精准定位，得到病树分布数据，包括坐标、范围和健康度等信息。按照林草部门的要求生成枯死松树、病树电子分布图，并汇总统计生成成果报告。

7.智能识别共享与在线服务平台

基于松材线虫病智能识别系统与影像数据库，开发共享与在线服务平台，提供规范、高效、安全的数据交换机制，解决数据传输、更新、汇总、分发、一致性等数据交换问题，解决按需查询、数据存取控制等问题，对数据进行自动入库与匹配（通过时空参数匹配识别模型），实现用户监测数据上传、服务选择、自动识别、成果加密下载等一站式服务。

通过上述的技术手段，可知本发明具备以下特点:

1.采用可见光影像和多光谱影像融合分析，同时获取染病松树的高级抽象光谱和空间特征，有利于提高松材线虫病害树木识别准确率。

2.采用TensorFlow框架和DenseNets密集网络，构建样本训练模块，强化特征传播，支持特征重用，大幅度减少参数数量和计算量，解决了图像梯度消失和过拟合等难题，可以构建更深的训练网络，从而提高识别准确率，在参数和计算成本更少的情形下实现比深度残差网络（ResNet）更优的性能，识别准确率提高20%以上，极大地提高了松材线虫病害防治效率和精准度。

3.依托云计算技术实现识别软件的集群化与规模化应用，大幅降低数据处理成本，推进智能识别技术的快速产业化。

4.算法具有较好的扩展性，可与高清相机等地面监测设备融合，实现空地一体化监测，提升松材线虫巡检监测系统的可靠性。

进一步的，请参阅图4~6，用于解释本发明的核心算法创新。

基于多光谱影像的光谱特征波段进行第一步判读（见图4），基于可见光影像的纹理、形状因子进行第二步判读（见图5），最后将正负样本特征融合分析，提取病害树木特征。

基于对光谱特征库的分析，筛选病害松树的光谱特征波段，进行大量试验验证，确定最终的特征波段，如图6所示。

另外参阅图7可知，在大量样本学习基础上，系统可以快速自动判读识别病害树木，适合大面积作业，一体化程度高，成果一键导出，操作便捷，无需专业背景，即学即用。

在本发明所提供的实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

另外，在本发明实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施例方法的部分步骤。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种森林松材线虫病害智能识别方法，其特征在于，所述方法包括以下步骤：

通过无人机在空中航拍林区影像图；

根据林区影像图制作生成林区正射影像图；

将正射影像图按比例裁剪并根据样本类型进行标注；

提取无人机航拍的林区影像图的可见光影像和多光谱影像，并进行融合分析，获取感染松材线虫树木的光谱特征和空间特征；

采用TensorFlow深度学习框架和DenseNets密集网络，将裁剪和标注后的正射影像图作为训练和测试数据集进行训练，并通过训练，对算法模型进行优化；

基于优化后的模型对正射影像图上的松材线虫病害树木进行自动判读，并自动标注。

2.根据权利要求1所述的一种森林松材线虫病害智能识别方法，其特征在于，其中，通过无人机在空中航拍林区影像图，还包括以下步骤：

对空中飞行质量以及原始影像质量进行检查；

其中，空中飞行质量包括：飞行的环境因素、飞行时的气象因素

其中，原始影像质量包括：影像的色调、云雾、饱和度；影像的重叠度、像片旋偏角、航带弯曲度以及航带内最大高差。

3.根据权利要求1所述的一种森林松材线虫病害智能识别方法，其特征在于，其中，主要包括：

所述林区影像图为分辨率10cm的可见光原始影像图和分辨率30cm的多光谱影像图；

所述林区正射影像图为1:1000的林区正射影像图。

4.根据权利要求1所述的一种森林松材线虫病害智能识别方法，其特征在于，其中，根据林区影像图制作生成林区正射影像图，主要包括：

对获取的林区影像图进行质量检查，剔除模糊等不合格照片，对剩余照片进行匀光匀色处理；

建立林区影像图的坐标系；

解算立体的林区影像图的相对方位元素，恢复两光束间相对方位；

确定航片在摄影瞬间相对于地面的姿态，确定林区影像图坐标系和大地坐标系之间的关系，完成后再一次进行区域网平差，计算出加密点的坐标，生成高密度的点云；

基于所述超高密度点云，构建TIN模型，并以此生成高分辨率的林区正射影像图。

5.根据权利要求4所述的一种森林松材线虫病害智能识别方法，其特征在于，所述像片坐标系为采用仿射变换进行框标坐标计算。

6.根据权利要求1所述的一种森林松材线虫病害智能识别方法，其特征在于，还包括以下步骤：

对测区内的病害树木进行精准定位，得到病树分布数据，包括坐标、范围和健康度；生成枯死松树、病树电子分布图，并汇总统计生成成果报告。

7.根据权利要求1所述的一种森林松材线虫病害智能识别方法，其特征在于，还包括以下步骤：

建立数据交换机制；

数据进行自动入库与匹配；

建立用户监测数据上传、服务选择、自动识别、成果加密下载服务。

8.一种森林松材线虫病害智能识别系统，其特征在于，所述系统包括有：

林区正射影像图制作模块，用于根据林区影像图制作生成林区正射影像图；

所述林区正射影像图制作模块包括有：

质量检查模块、内定向处理模块、相对定向模块、绝对定向及区域网平差模块、正射影像模块；

样本分割和标注模块，用于裁剪和标注林区正射影像图，制作训练样本；

影像融合模块，用于融合分析并获取感染松材线虫树木的光谱特征和空间特征；

样本训练模块，用于采用TensorFlow深度学习框架和DenseNets密集网络训练出森林松材线虫病害智能识别模型，并对模型进行优化；

智能判读模块，用于基于优化后的森林松材线虫病害智能识别模型对树木进行自动判读，并自动标注。

9.根据权利要求8所述的一种森林松材线虫病害智能识别系统，其特征在于，还包括有：

病树定位及汇总统计模块。

10.根据权利要求8所述的一种森林松材线虫病害智能识别系统，其特征在于，还包括有：智能识别共享与在线服务平台。

Images