CN112084989A - 基于无人机与cnn的大范围松材线虫病枯立木智能检测方法 - Google Patents

基于无人机与cnn的大范围松材线虫病枯立木智能检测方法 Download PDF

Info

Publication number
CN112084989A
CN112084989A CN202010973416.7A CN202010973416A CN112084989A CN 112084989 A CN112084989 A CN 112084989A CN 202010973416 A CN202010973416 A CN 202010973416A CN 112084989 A CN112084989 A CN 112084989A
Authority
CN
China
Prior art keywords
data
model
counting
withered
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010973416.7A
Other languages
English (en)
Inventor
莫登奎
严恩萍
文东新
向俊
夏瑞聪
熊君
廖健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Sanxiang Green Valley Ecological Technology Co ltd
Central South University of Forestry and Technology
Original Assignee
Hunan Sanxiang Green Valley Ecological Technology Co ltd
Central South University of Forestry and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Sanxiang Green Valley Ecological Technology Co ltd, Central South University of Forestry and Technology filed Critical Hunan Sanxiang Green Valley Ecological Technology Co ltd
Priority to CN202010973416.7A priority Critical patent/CN112084989A/zh
Publication of CN112084989A publication Critical patent/CN112084989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)

Abstract

本发明属于林业生物灾害智能监测技术领域，公开了一种基于无人机与CNN的大范围松材线虫病枯立木智能检测方法，共包括九个模块：数据获取模块用于获取适宜分辨率的开源遥感数据；数据处理模块对获取数据进行处理；信息提取模块用于提取林地信息；UAV数据采集、处理模块用于UAV数据采集和处理；数据划分模块用于对扩增后的数据进行划分；模型构建模块用于构建智能检测与计数模型；模型验证模块用于对训练的模型进行验证；检测模块利用通过验证的模型进行松材线虫枯立木的位置、数量、面积、分布以及蔓延趋势的智能检测与计数。本发明能够实现大范围枯立木的快速检测、计数和评估。具有应用于全国枯立木智能检测与预警的潜力。

Description

基于无人机与CNN的大范围松材线虫病枯立木智能检测方法
技术领域
本发明属于林业生物灾害智能监测技术领域，尤其涉及一种基于无人机与CNN的大范围松材线虫病枯立木智能检测方法。
背景技术
目前，松材线虫引起的松材萎蔫病被称为松树的癌症，具有传播途径多、发病部位隐蔽、发病速度块、潜伏时间长、治理难度大等特点。由于松材线虫的毁灭性危害，已被世界上多个国家和地区列为检疫对象。松材线虫病于1982年在我国江苏省南京市首次发现，目前已在浙江、广东、四川等16个省份的244个县级行政区出现，累计致死松树5亿多株，每年造成的经济损失达上百亿元。因此，准确掌握松材线虫病枯立木的分布、面积和株数等信息，能够有效防止松材线虫病的扩张蔓延，减少经济损失。传统的松材线虫病治理采用人工前往松树林寻找处理的方式，消耗大量的人力物力财力。近年来，无人机和深度学习技术的发展为大范围松材线虫病枯立木的快速调查提供了条件，开展基于无人机和深度学习的大范围枯立木智能检测与计数非常有必要。
现有的枯立木调查方法主要有两种。一是人工实地调查，虽然这种方法检测效率高，但是耗时耗力、效率低下。近年来，松材线虫病传播扩散日益加快，发生危害日益加重，2018年秋季全国松材线虫病发生面积974万亩，病死树1066万株，呈现大幅增加趋势。人工实地的调查速度远远落后于枯立木的蔓延速度，无法用于生产实际；二是借助卫星遥感和计算机进行自动检测，这种方法虽然简单快捷，有助于提高检测效率，但是受影像空间分辨率的限制，只能满足成片枯立木斑块的检测需求，无法精准获取病害初期的单株枯立木信息，进而错失最佳的病害防疫时间，造成一定人力物力财力的浪费。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有枯立木人工实地调查方法灵活性差、速度慢、不适合枯立木的大范围多次快速精准检测；
(2)检测成本高，对于“不可及”或“不易及”丘陵山地的枯立木调查无能为力；
(3)为了获取枯立木不同病害程度的数据需要多次检测，可行性低。
解决以上问题及缺陷的难度为：无人机的高清摄影和机动性使得大范围松材线虫病枯立木的智能检测成为可能，然而由于不同病害时期松材线虫病枯立木的空间分布特征、松树林光照条件等因素限制，无人机航拍的枯立木高清照片不能直接用于模型训练。对于异质性高的松材线虫病枯立木，需要构建一套完整的理论技术对无人机航拍的飞控参数(高度、速度、重叠率)进行测试与优化，同时样本数据集的普适性需要做系统评价。
解决以上问题及缺陷的意义为：本发明不仅缩短了定位枯立木的时间成本，而且减缓了松材线虫病的蔓延趋势，降低了枯立木扩散带来的经济损失，使得对大范围的枯立木进行快速、智能化监测和预警成为可能，填补国内外现有技术研究的空白。本发明提供的智能检测方法简单通用、可移植性强，能为大范围枯立木的智能监测与预警提供理论参考和科学依据，具有应用于林场、县、市、省乃至国家级林业生物灾害监测与预警的潜力。
发明内容
针对现有技术存在的问题，本发明提供了一种基于无人机与CNN的大范围松材线虫病枯立木智能检测，具体涉及一种基于无人机与卷积神经网络(Convolutional NeuralNetwork,CNN)的大范围松材线虫病枯立木智能检测系统、检测与计数方法。
本发明是这样实现的，一种基于无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数系统，所述基于无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数系统包括：
数据获取模块，用于利用大数据挖掘技术获取适宜分辨率的开源遥感数据；
数据处理模块，用于对获取的遥感数据进行辐射定标、大气校正、正射校正、数据融合和彩色合成处理；
信息提取模块，用于利用面向对象分割与决策树分类结合的方法，通过选取合适的规则和阈值，提取林地信息；
UAV数据采集模块，用于利用无人机进行UAV数据采集；
UAV数据处理模块，用于对采集的UAV数据进行筛选、标注并扩增；
数据划分模块，用于对扩增后的数据进行划分；
模型构建模块，用于构建智能检测与计数模型；
模型验证模块，用于对构建的模型进行验证；
检测模块，用于利用通过验证的模型进行松材线虫病枯立木的位置、数量、面积、分布以及蔓延趋势的智能检测与计数。
本发明的另一目的在于提供一种基于无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数方法包括：
步骤一，利用大数据挖掘技术获取适宜分辨率的开源遥感数据；对获取的遥感数据进行辐射定标、大气校正、正射校正、数据融合和彩色合成处理；
步骤二，利用面向对象分割与决策树分类结合的方法，通过选取合适的规则和阈值，提取林地信息；利用无人机进行UAV数据采集；
步骤三，利用标注工具对采集的UAV数据中的目标数据进行边框标注、数据扩增处理；将扩增后的数据按一定比例划分为训练数据和验证数据；
步骤四，利用提取的林地信息，构建智能检测与计数模型；利用训练数据集对构建的模型进行训练；并对训练后的模型进行验证；利用通过验证的模型进行松材线虫病枯立木位置、数量、面积、分布以及蔓延趋势的智能检测与计数。
进一步，步骤二中，所述利用无人机进行UAV数据采集包括：
(1)根据区域的地形地貌明确航测范围、航高、重叠度及其他基本参数，并进行航线规划；
(2)按照预定的规划航线，采用无人机对松材线虫病枯立木的松树林进行拍摄；
(3)采用专业软件对航拍照片进行照片加载、照片匹配、生成点云和格网，生成DEM，制作DOM航拍图，得到UAV数据。
进一步，步骤三中，所述数据扩增处理包括：利用图像旋转、图像移动、噪声注入、对比度变换等方法对已标注的枯立木图像数据进行扩增。
进一步，步骤四中，所述智能检测与计数模型构建方法包括：
1)采用特征提取网络对枯立木航拍图像数据进行特征提取；
2)利用区域提取网络RPN预测用于目标检测的候选区域，同时基于定位精度评价函数IOU，对预测候选区域进行筛选；
3)采用边框回归算法和非极大值抑制方法，修正并确定最终的检测区域；
4)采用梯度下降和反向传播算法进行优化模拟，当模拟精度和次数达到规定要求时，生成最终的智能检测与计数模型，同时保存网络的当前参数配置和最终权重。
进一步，步骤四中，所述模型验证包括：利用Mask RCNN卷积神经网络将验证数据集的实例照片分割成具有预测掩码的灰度照片，统计照片中预测目标的掩码数量，进行枯立木的智能检测与计数，输出验证精度。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明将无人机与深度学习算法结合，开展大范围的枯立木智能检测与计数，以期填补国内大范围枯立木智能检测与计数的空白。
本发明利用无人机航拍具有成本低、清晰度高、时效性强的特点，可系统获取大范围的枯立木数据。本发明同传统的人工调查方法相比，具有高效快速、识别率高、漏检率低、组织实施灵活的优点。
本发明能够实现大范围枯立木的快速检测、计数和评估，对于山高路险等人员“不可及”或“不易及”区域的检测具有不可替代的优势，具有应用于全国枯立木智能检测与预警的潜力。
本发明使得对大范围的枯立木进行快速、智能化监测和预警成为可能，填补国内外现有技术研究的空白。本发明提供的智能检测方法简单通用、可移植性强，能为大范围枯立木的智能监测与预警提供理论参考和科学依据，具有应用于林场、县、市、省乃至国家级林业生物灾害监测与预警的潜力。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数系统结构示意图；
图中：1、数据获取模块；2、数据处理模块；3、信息提取模块；4、UAV数据采集模块；5、UAV数据处理模块；6、数据划分模块；7、模型构建模块；8、模型验证模块；9、检测模块。
图2是本发明实施例提供的基于无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数方法流程图。
图3是本发明实施例提供的基于无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数方法原理图。
图4是本发明实施例提供的区域一数据扩增结果示例图。其中，图4(a)是本发明实施例提供的数据扩增1原始图像。
图4(b)是本发明实施例提供的数据扩增1上下+左右翻转图像示意图。
图4(c)是本发明实施例提供的数据扩增1上下翻转图像示意图。
图4(d)是本发明实施例提供的数据扩增1左右翻转图像示意图。
图4(e)是本发明实施例提供的数据扩增1上下翻转，扩增图片均经过细微的亮度、对比度、旋转以及图像缩放处理图像示意图。
图5是本发明实施例提供的区域二数据扩增结果示例图。其中，图5(a)是本发明实施例提供的数据扩增2原始图像。
图5(b)是本发明实施例提供的数据扩增2上下+左右翻转图像示意图。
图5(c)是本发明实施例提供的数据扩增2上下翻转图像示意图。
图5(d)是本发明实施例提供的数据扩增2左右翻转图像示意图。
图5(e)是本发明实施例提供的数据扩增2上下翻转，扩增图片均经过细微的亮度、对比度、旋转以及图像缩放处理图像示意图。
图6是本发明实施例提供的Resnet-50卷积神经网络结构图。
图7是本发明实施例提供的区域一拍摄的枯立木模型检测结果。
图7(a)是本发明实施例提供的区域一拍摄的枯立木模型检测结果，已标注的大小为4797×4541的枯立木图。
图7(b)是本发明实施例提供的区域一拍摄的枯立木模型检测结果局部放大图，已标注的大小为818×742的枯立木照片。
图8是本发明实施例提供的区域一拍摄的枯立木模型检测结果。
图8(a)是本发明实施例提供的区域一拍摄的枯立木模型检测结果，已标注的大小为5616×9467的枯立木图。
图8(b)是本发明实施例提供的区域一拍摄的枯立木模型检测结果局部放大图，已标注的大小为900×1575的枯立木照片。
图9是本发明实施例提供的区域二局部拍摄的枯立木模型多类检测结果。
图9(a)是本发明实施例提供的区域二局部拍摄的枯立木模型多类检测结果，已标注的大小为5472×3648的枯立木图。
图9(b)是本发明实施例提供的区域二局部拍摄的枯立木模型多类检测结果局部放大图，已标注的大小为600×450的枯立木照片。
图10是本发明实施例提供的区域二局部拍摄的模型检测枯立木矢量信息图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于无人机与CNN的大范围松材线虫病枯立木智能检测，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数系统包括：
数据获取模块1，用于利用大数据挖掘技术获取适宜分辨率的开源遥感数据；
数据处理模块2，用于对获取的遥感数据进行辐射定标、大气校正、正射校正、数据融合和彩色合成处理；
信息提取模块3，用于利用面向对象分割与决策树分类结合的方法，通过选取合适的规则和阈值，提取林地信息；
UAV数据采集模块4，用于利用无人机进行UAV数据采集；
UAV数据处理模块5，用于对采集的UAV数据进行处理并扩增；
数据划分模块6，用于对扩增后的数据进行划分；
模型构建模块7，用于构建智能检测与计数模型；
模型验证模块8，用于对构建的模型进行验证；
检测模块9，用于利用通过验证的模型进行松材线虫病枯立木的位置、数量、面积、分布以及蔓延趋势的智能检测与计数。
如图2-图3所示，本发明实施例提供的无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数方法包括以下步骤：
S101，利用大数据挖掘技术获取适宜分辨率的开源遥感数据；对获取的遥感数据进行辐射定标、大气校正、正射校正、数据融合和彩色合成处理；
S102，利用面向对象分割与决策树分类结合的方法，通过选取合适的规则和阈值，提取林地信息；利用无人机进行UAV数据采集；
S103，利用标注工具对采集的UAV数据中的目标数据进行边框标注、数据扩增处理；将扩增后的数据按一定比例划分为训练数据和验证数据；
S104，构建智能检测与计数模型；利用训练数据集对构建的模型进行训练；并对训练的模型进行验证；利用通过验证的模型进行松材线虫病枯立木的位置、数量、面积、分布以及蔓延趋势的智能检测与计数。
步骤S102中，本发明实施例提供的利用无人机进行UAV数据采集包括：
(1)根据区域的地形地貌明确航测范围、航高、重叠度及其他基本参数，并进行航线规划；
(2)按照预定的规划航线，采用无人机对松材线虫病枯立木的松树林进行拍摄；
(3)采用专用软件对航拍照片进行照片加载、照片匹配、生成点云和格网，生成DEM，制作DOM航拍图，得到UAV数据。
步骤S103中，本发明实施例提供的数据扩增处理包括：利用图像旋转、图像移动、噪声注入、对比度变换等方法对已标注的枯立木图像数据进行扩增。
步骤S104中，本发明实施例提供的智能检测与计数模型构建方法包括：
1)采用特征提取网络对枯立木航拍图像数据进行特征提取；
2)利用区域提取网络RPN预测用于目标检测的候选区域，同时基于定位精度评价函数IOU，对预测候选区域进行筛选；
3)采用边框回归方算法和非极大值抑制方法，修正并确定最终的检测区域；
4)采用梯度下降和反向传播算法进行优化模拟，当模拟精度和次数达到规定要求时，生成最终的智能检测与计数模型，同时保存网络的当前参数配置和最终权重。
步骤S104中，本发明实施例提供的模型验证包括：利用Mask RCNN卷积神经网络将验证数据集的实例照片分割成具有预测掩码的灰度照片，统计照片中预测目标的掩码数量，进行枯立木的智能检测与计数，输出验证精度。
下面结合具体实施例对本发明的技术效果作进一步描述。
实施例1：
本发明公布一种基于无人机与CNN的大范围松材线虫病枯立木智能检测与计数方法，属于林业生物灾害智能监测领域，该方法适用于大部分虫害枯立木的智能检测与计数，具体步骤如下：
1、试验地挑选
本发明拟挑选两块具有松材线虫病枯立木的松树林作为试验地。其中1号松树林位于广东省韶关市，尽量选择坡度较平缓的松树林。
2、遥感数据下载
筛选合适的网站下载适宜分辨率的开源遥感数据，遥感数据的处理包括辐射定标、大气校正、正射校正、数据融合和彩色合成等常规处理。
3、林地信息提取
利用面向对象分割与决策树分类结合的方法，通过选取合适的规则和阈值，提取试验区的林地信息。
4、UAV数据采集
无人机起飞前应进行硬件检查，储存卡、电池和遥控手柄检查；软件检查，指南针异常检查和云台检查；信号检查，无人机GPS信号检查。
第一步，航线规划。航线设计是制作高质量影像图的关键，根据试验区的地形地貌明确航测范围、航高、重叠度等基本参数。
第二步，航线飞行。按照预定的规划航线，采用无人机对松材线虫病枯立木的松树林进行拍摄，其中飞行高度为100-350m，速度5-10m/s。
第三步，DOM制作。采用专业软件对航拍照片进行照片加载、照片匹配、生成点云和格网，生成DEM，制作DOM航拍图。
5、UAV数据处理
第一步，数据标注。利用标注工具对航拍照片中的目标数据进行边框标注。
第二步，数据扩增。利用图像旋转、图像移动、噪声注入、对比度变换等方法对已标注的枯立木照片进行扩增，避免后期训练因数据不足导致的过拟合问题。
6、数据集划分
将已扩充的数据按一定比例分为两份：训练数据和验证数据。其中前者作为模型训练的输入数据，后者作为模型验证的输入数据。
7、模型训练
第一步，特征提取。采用特征提取网络对枯立木航拍照片进行特征提取。
第二步，ROI预测。利用区域提取网络RPN预测用于目标检测的候选区域，同时基于定位精度评价函数IOU，对预测候选区域进行筛选。
第三步，目标确定。采用边框回归方算法和非极大值抑制方法，修正并确定最终的检测区域。
第四步，模型创建。采用梯度下降和反向传播算法进行优化模拟，当模拟精度和次数达到规定要求时，生成最终的训练模型，同时保存网络的当前参数配置和最终权重。
8、模型验证
输入验证数据集，验证训练模型的预测能力。利用Mask RCNN卷积神经网络将测试数据集的实例照片分割成具有预测掩码的灰度照片，统计照片中预测目标的掩码数量，完成枯立木的智能检测与计数，输出验证精度。
9、模型检测
利用验证的深度学习模型，预测其他地方和时间松材线虫病枯立木的位置、数量、面积、分布以及蔓延趋势，进而为大范围松材线虫病枯立木的智能预判提供数据支撑和理论依据。
实施例2：
1、案例数据
本实施案例包括区域一和区域二两个试验区，中心地理坐标分别为北纬22°57′35″和东经112°46′58″、北纬23°48′25″和东经114°41′17″。拍摄设备为大疆Mavic 2 Pro无人机，格式均为JPG。当日天气晴朗，光线充足，影像质量良好；遥感数据选择欧空局下载的Sentinel-2数据，时间与无人机数据拍摄时间保持一致。
本发明实施例随机截取240张照片作为样本数据(其中200张作为训练样本，40张作为验证样本)。首先对截取样本照片进行筛选、裁剪、标注、扩增等操作。裁剪后的图片大小为800×600，格式为JPG；标注工具为VIA(VGG Image Annotator)，标注目标为枯立木(图4是本发明实施例提供的区域一数据扩增结果示例图。其中，图4(a)是本发明实施例提供的数据扩增1原始图像。图4(b)是本发明实施例提供的数据扩增1上下+左右翻转图像示意图。图4(c)是本发明实施例提供的数据扩增1上下翻转图像示意图。图4(d)是本发明实施例提供的数据扩增1左右翻转图像示意图。图4(e)是本发明实施例提供的数据扩增1上下翻转，扩增图片均经过细微的亮度、对比度、旋转以及图像缩放处理图像示意图。图5是本发明实施例提供的区域二数据扩增结果示例图。其中，图5(a)是本发明实施例提供的数据扩增2原始图像。图5(b)是本发明实施例提供的数据扩增2上下+左右翻转图像示意图。图5(c)是本发明实施例提供的数据扩增2上下翻转图像示意图。图5(d)是本发明实施例提供的数据扩增2左右翻转图像示意图。图5(e)是本发明实施例提供的数据扩增2上下翻转，扩增图片均经过细微的亮度、对比度、旋转以及图像缩放处理图像示意图)；最后进行扩增，即图像平移、图像旋转和图像缩放。
2、检测结果
本发明实施例训练环境为Google提供的Colaboratory平台，GPU为Tesla P100-PCIE-16GB。编程语言为Python，特征提取网络为Resnet-50卷积神经网络(图6)，训练网络为Mask RCNN网络。
设定训练参数：学习率为0.001，训练网络共训练20个批次(epoch)，每个批次训练100次。检测结果见图7、图8、图9和图10。
图7是本发明实施例提供的区域一拍摄的枯立木模型检测结果。
图7(a)是本发明实施例提供的区域一拍摄的枯立木模型检测结果，已标注的大小为4797×4541的枯立木图。
图7(b)是本发明实施例提供的区域一拍摄的枯立木模型检测结果局部放大图，已标注的大小为818×742的枯立木照片。
图8是本发明实施例提供的区域一拍摄的枯立木模型检测结果。
图8(a)是本发明实施例提供的区域一拍摄的枯立木模型检测结果，已标注的大小为5616×9467的枯立木图。
图8(b)是本发明实施例提供的区域一拍摄的枯立木模型检测结果局部放大图，已标注的大小为900×1575的枯立木照片。
图9是本发明实施例提供的区域二局部拍摄的枯立木模型多类检测结果。
图9(a)是本发明实施例提供的区域二局部拍摄的枯立木模型多类检测结果，已标注的大小为5472×3648的枯立木图。
图9(b)是本发明实施例提供的区域二局部拍摄的枯立木模型多类检测结果局部放大图，已标注的大小为600×450的枯立木照片。
图10是本发明实施例提供的区域二局部拍摄的模型检测枯立木矢量信息图。
3、验证结果
将验证照片输入训练模型，输出各类目标的检出率、错检率、漏检率进行分析(表1和表2)。由表1可知，区域一枯立木检出率分别为92.22％；区域二枯立木检出率分别为96.60％，平均检出率为95.80％。区域一和区域二的精确率分别为89.14％、95.26％，平均精确率为94.12％，说明模型识别精确率很高。注：该模型可以应用于新的无人机航拍区域的枯立木自动预判，对于超大面积的区域增加少量样本进行累积训练，可以获得较好的枯立木识别精度。
由表2可知，区域二枯立木病害早期、中期、晚期的检出率分别为91.43％、94.25和92.56％，平均检出率为92.75％。精确率分别为91.43％、95.35％和98.89％，平均精确率为95.22％，说明模型识别精确率很高。
表1枯立木训练模型输出的检测结果
Figure BDA0002684910720000131
表2区域二局部拍摄的枯立木训练模型输出的多类检测结果
Figure BDA0002684910720000132
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数方法，其特征在于，所述无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数方法包括：
利用大数据挖掘技术获取适宜分辨率的开源遥感数据；对获取的遥感数据进行辐射定标、大气校正、正射校正、数据融合和彩色合成处理；
利用面向对象分割与决策树分类结合的方法，通过选取合适的规则和阈值，提取林地信息；利用无人机进行UAV数据采集；
利用标注工具对采集的UAV数据中的目标数据进行边框标注、数据扩增处理；将扩增后的数据按一定比例划分为训练数据和验证数据；
构建智能检测与计数模型；利用训练数据集对构建的模型进行训练；并对训练后的模型进行验证；利用通过验证的模型进行松材线虫病枯立木的位置、数量、面积、分布的智能检测与计数以及蔓延趋势的预测。
2.如权利要求1所述无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数方法，其特征在于，所述利用无人机进行UAV数据采集包括：
(1)根据区域的地形地貌明确航测范围、航高、重叠度及其他基本参数，并进行航线规划；
(2)按照预定的规划航线，采用无人机对松材线虫病枯立木的松树林进行拍摄；
(3)采用专业软件对航拍图像进行照片加载、照片匹配、生成点云和格网，生成DEM，制作DOM航拍图，得到UAV数据。
3.如权利要求1所述无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数方法，所述数据扩增处理包括：利用图像旋转、图像移动、噪声注入、对比度变换等方法对已标注的枯立木图像数据进行扩增。
4.如权利要求1所述无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数方法，其特征在于，所述智能检测与计数模型构建方法包括：
1)采用特征提取网络对枯立木航拍图像数据进行特征提取；
2)利用区域提取网络RPN预测用于目标检测的候选区域，同时基于定位精度评价函数IOU，对预测候选区域进行筛选；
3)采用边框回归算法和非极大值抑制方法，修正并确定最终的检测区域；
4)采用梯度下降和反向传播算法进行优化模拟，当模拟精度和次数达到规定要求时，生成最终的智能检测与计数模型，同时保存网络的当前参数配置和最终权重。
5.如权利要求1所述无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数方法，其特征在于，所述模型验证包括：利用Mask RCNN卷积神经网络将验证数据集的实例照片分割成具有预测掩码的灰度照片，统计照片中预测目标的掩码数量，进行枯立木的智能检测与计数，输出验证精度。
6.一种无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数系统，其特征在于，所述无人机与卷积神经网络的大范围松材线虫病枯立木智能检测与计数系统包括：
数据获取模块，用于利用大数据挖掘技术获取适宜分辨率的开源遥感数据；
数据处理模块，用于对获取的遥感数据进行辐射定标、大气校正、正射校正、数据融合和彩色合成处理；
信息提取模块，用于利用面向对象分割与决策树分类结合的方法，通过选取合适的规则和阈值，提取林地信息；
UAV数据采集模块，用于利用无人机进行UAV数据采集；
UAV数据处理模块，用于对采集的UAV数据进行处理并扩增；
数据划分模块，用于对扩增后的数据进行划分；
模型构建模块，用于构建智能检测与计数模型；
模型验证模块，用于对构建的模型进行验证；
检测模块，用于利用通过验证的模型进行松材线虫病枯立木的位置、数量、面积、分布的智能检测与计数以及蔓延趋势的预测。
7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
利用大数据挖掘技术获取适宜分辨率的开源遥感数据；对获取的遥感数据进行辐射定标、大气校正、正射校正、数据融合和彩色合成处理；
利用面向对象分割与决策树分类结合的方法，通过选取合适的规则和阈值，提取林地信息；利用无人机进行数据采集；
利用标注工具对UAV数据中的目标数据进行边框标注、数据扩增处理；将扩增的数据按一定比例划分为训练数据和验证数据；
利用提取的林地信息，构建智能检测与计数模型；利用训练数据集对构建的模型进行训练；并对训练后的模型进行验证；利用通过验证的模型进行松材线虫病枯立木的位置、数量、面积、分布的智能检测与计数以及蔓延趋势的预测。
CN202010973416.7A 2020-09-16 2020-09-16 基于无人机与cnn的大范围松材线虫病枯立木智能检测方法 Pending CN112084989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010973416.7A CN112084989A (zh) 2020-09-16 2020-09-16 基于无人机与cnn的大范围松材线虫病枯立木智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010973416.7A CN112084989A (zh) 2020-09-16 2020-09-16 基于无人机与cnn的大范围松材线虫病枯立木智能检测方法

Publications (1)

Publication Number Publication Date
CN112084989A true CN112084989A (zh) 2020-12-15

Family

ID=73737963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010973416.7A Pending CN112084989A (zh) 2020-09-16 2020-09-16 基于无人机与cnn的大范围松材线虫病枯立木智能检测方法

Country Status (1)

Country Link
CN (1) CN112084989A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112753456A (zh) * 2020-12-30 2021-05-07 山东农业大学 一种基于时空规律的松材线虫病精准防控方法及系统
CN112861812A (zh) * 2021-03-25 2021-05-28 东北林业大学 基于深度学习的松材线虫病灾害预测预报方法及装置
CN117636188A (zh) * 2023-12-04 2024-03-01 星景科技有限公司 一种利用无人机遥感监测城市绿化病虫害的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205103998U (zh) * 2015-11-17 2016-03-23 中科宇图天下科技有限公司 一种基于无人机LiDAR技术的山洪风险分析系统
CN109948563A (zh) * 2019-03-22 2019-06-28 华南农业大学 一种基于深度学习的松材线虫病枯死树检测定位方法
CN111222536A (zh) * 2019-11-19 2020-06-02 南京林业大学 一种基于决策树分类的城市绿色空间信息提取方法
CN111582234A (zh) * 2020-05-22 2020-08-25 莫登奎 基于uav和深度学习的大范围油茶林果智能检测与计数方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205103998U (zh) * 2015-11-17 2016-03-23 中科宇图天下科技有限公司 一种基于无人机LiDAR技术的山洪风险分析系统
CN109948563A (zh) * 2019-03-22 2019-06-28 华南农业大学 一种基于深度学习的松材线虫病枯死树检测定位方法
CN111222536A (zh) * 2019-11-19 2020-06-02 南京林业大学 一种基于决策树分类的城市绿色空间信息提取方法
CN111582234A (zh) * 2020-05-22 2020-08-25 莫登奎 基于uav和深度学习的大范围油茶林果智能检测与计数方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112753456A (zh) * 2020-12-30 2021-05-07 山东农业大学 一种基于时空规律的松材线虫病精准防控方法及系统
CN112753456B (zh) * 2020-12-30 2021-12-21 山东农业大学 一种基于时空规律的松材线虫病精准防控方法及系统
CN112861812A (zh) * 2021-03-25 2021-05-28 东北林业大学 基于深度学习的松材线虫病灾害预测预报方法及装置
CN117636188A (zh) * 2023-12-04 2024-03-01 星景科技有限公司 一种利用无人机遥感监测城市绿化病虫害的方法及系统

Similar Documents

Publication Publication Date Title
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN110263717B (zh) 一种融入街景影像的土地利用类别确定方法
WO2023029373A1 (zh) 一种高精度的农田植被信息提取方法
CN112084989A (zh) 基于无人机与cnn的大范围松材线虫病枯立木智能检测方法
CN111582234B (zh) 基于uav和深度学习的大范围油茶林果智能检测与计数方法
CN111340141A (zh) 一种基于深度学习的作物幼苗与杂草检测方法及系统
CN105930819A (zh) 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN110443862B (zh) 基于无人机的岩性填图方法及系统、电子设备
CN111028255A (zh) 基于先验信息与深度学习的农田区域预筛选方法及装置
Shen et al. Biomimetic vision for zoom object detection based on improved vertical grid number YOLO algorithm
CN114078218B (zh) 一种自适应融合的森林烟火识别数据增广方法
CN115115954A (zh) 基于无人机遥感的松材线虫病疫区变色立木智能识别方法
CN116168246A (zh) 一种用于铁路工程的弃渣场识别方法、装置、设备及介质
Zhang et al. A 250m annual alpine grassland AGB dataset over the Qinghai-Tibetan Plateau (2000–2019) based on in-situ measurements, UAV images, and MODIS Data
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN109657540B (zh) 枯死树定位方法及系统
CN114078211A (zh) 基于激光雷达智能检测树木倒伏的方法
CN117392382A (zh) 一种基于多尺度密集实例检测的单木果树分割方法与系统
CN112906648A (zh) 一种地块中对象的分类方法、装置及电子设备
CN116205879A (zh) 一种基于无人机图像及深度学习的小麦倒伏面积估算方法
CN115019044A (zh) 单株植物的分割方法、装置、终端设备和可读存储介质
Tamas et al. Vine diseases detection trials in the carpathian region with proximity aerial images
Ha et al. A semi‐automatic workflow for plot boundary extraction of irregularly sized and spaced field plots from UAV imagery
CN113627292A (zh) 基于融合网络的遥感图像识别方法及装置
Afriansyah et al. Image Mapping Detection of Green Areas Using Speed Up Robust Features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201215