CN111881851A - 一种基于uav和卷积神经网络的园林苗木智能检测与计数方法 - Google Patents
一种基于uav和卷积神经网络的园林苗木智能检测与计数方法 Download PDFInfo
- Publication number
- CN111881851A CN111881851A CN202010753912.1A CN202010753912A CN111881851A CN 111881851 A CN111881851 A CN 111881851A CN 202010753912 A CN202010753912 A CN 202010753912A CN 111881851 A CN111881851 A CN 111881851A
- Authority
- CN
- China
- Prior art keywords
- counting
- garden
- image
- intelligent detection
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 122
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013135 deep learning Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000012216 screening Methods 0.000 claims abstract description 19
- 238000003709 image segmentation Methods 0.000 claims abstract description 15
- 238000005520 cutting process Methods 0.000 claims abstract description 11
- 238000005286 illumination Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 73
- 238000012360 testing method Methods 0.000 claims description 20
- 238000012795 verification Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 11
- 230000003321 amplification Effects 0.000 claims description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 10
- 241000196324 Embryophyta Species 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 238000011160 research Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M11/00—Counting of objects distributed at random, e.g. on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于园林植物智能监测技术领域，公开了一种基于UAV和卷积神经网络的园林苗木智能检测计数方法，包括在光照充足，无风或微风的情况下，利用无人机采集园林苗木图像数据；根据照片清晰度对获取到的图像数据进行筛选，删除不清晰或光线过暗的图像；并对图像数据进行裁剪，同时统一图像颜色表示；对图像数据进行预处理；利用基于图像分割的Mask R‑CNN深度学习框架，构建面向园林苗木智能检测与计数的卷积神经网络；利用构建的面向园林苗木智能检测与计数的卷积神经网络进行园林苗木智能检测与计数。本发明将无人机遥感与卷积神经网络结合，开展园林苗木的智能检测与计数，能够填补国内园林苗木智能检测与计数的空白。
Description
技术领域
本发明属于园林植物智能监测技术领域，尤其涉及一种基于UAV和卷积神经网络的园林苗木智能检测与计数方法。
背景技术
园林绿化植物具有丰富的树木种类，是城市绿化系统的主要组成部分。随着城市化进程的发展，我国园林苗木基地面积逐年扩大，然而关于园林苗木的分布和株数，目前没有准确的估算。由于缺乏足够的重视导致园林苗木的智能检测长期被忽略，国内外鲜有园林苗木智能检测与计数方面的报道。近年来，无人机技术和深度学习算法的成熟为园林苗木的检测和计数提供了条件，因此开展基于无人机的园林苗木智能检测与计数非常有必要。
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算并且具有深度结构的前馈式神经网络(Feedforward Neural Networks,FNN)是深度学习的代表算法之一。卷积神经网络只需要较小的计算量就可以进行格点化运算，这是因为卷积神经网络里的隐含层内的卷积核参数是共享的共享并且层间连接具有稀疏性的特征，例如对像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程要求。同其他深度学习算法相比，卷积神经网络能主动提取图像的像素并进行学习。利用卷积神经网络对园林苗木的识别检测研究与应用尚处于空白阶段，因此有必要对园林苗木智能检测进行深入研究。关于深度学习算法和无人机应用的研究很多，然而鲜有结合无人机和卷积神经网络对园林苗木进行大范围智能检测和计数的报道。
现有园林苗木的检测与计数方法主要是传统的人工实地调查，采取边标记边计数的方式，避免人工计数的重复和遗漏，这种方法虽然计数结果准确率高，但耗时耗力，效率低。
通过上述分析，现有技术存在的问题及缺陷为：(1)传统的园林苗木调查采用人工实地调查的方法，速度慢且不适合大范围快速检测；(2)为了获取不同时期的园林苗木样本数据需要多次检测，可行性低；(3)检测成本高，不适合大范围园林苗木的多次检测和计数。
解决以上问题及缺陷的难度为：由于园林苗木的生长特性、园林苗木基地光照条件、无人机航拍背景因素以及选定的深度学习算法特点等限制，无人机航拍的园林苗木高清照片不能直接用于训练。对于异质性高的园林苗木不存在普适的样本数据集，需要构建一套完整的理论技术进行园林苗木数据集的扩增与筛选，同时样本数据集的清晰度需要做系统评价。
解决以上问题及缺陷的意义为：本发明基于UAV和卷积神经网络的园林苗木智能检测与计数方法，使得不同时期园林苗木的多次调查成为可能，填补国内外现有技术研究的空白。本发明提供的智能检测方法简单通用、可移植性强，能为大面积园林苗木的智能化检测及经济价值估算提供理论参考和科学依据，以期为园林苗木的全过程生长周期监测和评估服务。
发明内容
针对现有技术存在的问题，本发明提供了一种园林苗木智能检测与计数方法，具体涉及一种基于UAV和卷积神经网络的园林苗木智能检测与计数方法。
本发明是这样实现的，一种基于UAV和卷积神经网络的园林苗木智能检测与计数方法，包括：
步骤一，在光照充足，无风或微风的情况下，利用无人机采集园林苗木图像数据；
步骤二，根据照片清晰度对获取到的图像数据进行筛选，删除不清晰或光线过暗的图像；并对图像数据进行裁剪，同时统一图像颜色表示；
步骤三，对图像数据进行预处理；利用基于图像分割的Mask R-CNN深度学习框架，构建面向园林苗木智能检测与计数的卷积神经网络；
步骤四，利用构建的面向园林苗木智能检测与计数的卷积神经网络进行园林苗木智能检测与计数。
进一步，步骤三中，所述图像数据预处理方法包括：
(1)采用VIA图像标注工具对图像数据进行标注，并将标注后的数据导出为json格式文件分别保存在训练集和测试集中；
(2)采用Keras深度学习神经网络库对所采集的图像进行数据扩增；
(3)将已扩充的数据集按一定比例划分为训练数据集、测试数据集和验证数据集；所述训练数据集作为网络训练的输入数据集，所述测试数据集和验证数据集作为网络测试和验证的输入数据集。
进一步，步骤(2)，所述数据扩增方法包括：图像平移、图像旋转、图像缩放、亮度与对比度调节。
进一步，步骤三中，所述面向园林苗木智能检测与计数的卷积神经网络构建方法包括：
1)利用基于图像分割的Mask R-CNN深度学习框架，对Mask R-CNN进行改进，调整Mask R-CNN的超参数，以深度残差ResNet作为特征提取网络，生成预测的ROI区域，利用边框回归对ROI区域进行坐标修正，使用非极大值抑制方法得到最终的目标框，生成目标的二值掩码，对目标进行分割处理；
2)确定损失函数为：
L＝Lcls+Lbox+Lmask；
式中：L为损失值即最终的loss值；Lcls为标记的园林植物类损失；Lbox为框的损失值；Lmask为掩码的损失值；
3)Mask RCNN采用RoIAlign层，通过双线性内插方法将整个特征聚集过程转化为连续操作，进行输出图像像素与输入图像像素的完全对应；
4)通过colab在线编译平台设置训练批次epoch、epoch训练次数以及模型训练网络的学习率相关训练参数；
5)将训练网络生成格式为h5的结果文件导入验证网络，调试参数，通过统计mask计数函数进行园林苗木的智能检测与计数；
6)利用Tensorboard工具将训练网络的损失值L、标记的园林植物类损失值Lcls，框损失值Lbox，掩码损失值Lmask进行可视化；
7)以10次训练的平均训练时间、召回率以及准确率作为分析评价指标进行网络精度评价：
P＝Tp/(Tp+Fp)
R＝Tp/(Tp+Fn)
其中，P为精确度、R为召回率，TP表示将正类检测为正类即准确识别率，FP表示将负类预测为正类即错误识别率，Fn表示将正类预测为负类即漏检率。
本发明的另一目的在于提供一种实施所述基于UAV和卷积神经网络的园林苗木智能检测与计数方法的基于UAV和卷积神经网络的园林苗木智能检测与计数系统，所述基于UAV和卷积神经网络的园林苗木智能检测与计数系统包括：
图像数据采集模块，用于在光照充足，无风或微风的情况下，利用无人机采集园林苗木图像数据；
数据筛选模块，用于根据照片清晰度对获取到的图像数据进行筛选，删除不清晰或光线过暗的图像；
数据统一模块，用于对图像数据进行裁剪，同时统一图像颜色表示；
数据预处理模块，用于对图像数据进行预处理；
网络构建模块，用于利用基于图像分割的Mask R-CNN深度学习框架，构建面向园林苗木智能检测与计数的卷积神经网络；
检测计数模块，用于利用构建的面向园林苗木智能检测与计数的卷积神经网络进行园林苗木智能检测与计数。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
利用无人机采集园林苗木图像数据；
根据照片清晰度对获取到的图像数据进行筛选，删除不清晰或光线过暗的图像；并对图像数据进行裁剪，同时统一图像颜色表示；
对图像数据进行预处理；利用基于图像分割的Mask R-CNN深度学习框架，构建面向园林苗木智能检测与计数的卷积神经网络；
利用构建的面向园林苗木智能检测与计数的卷积神经网络进行园林苗木智能检测与计数。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
利用无人机采集园林苗木图像数据；
根据照片清晰度对获取到的图像数据进行筛选，删除不清晰或光线过暗的图像；并对图像数据进行裁剪，同时统一图像颜色表示；
对图像数据进行预处理；利用基于图像分割的Mask R-CNN深度学习框架，构建面向园林苗木智能检测与计数的卷积神经网络；
利用构建的面向园林苗木智能检测与计数的卷积神经网络进行园林苗木智能检测与计数。
本发明的另一目的在于提供一种实施所述园林苗木智能检测与计数方法的无人机。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明将无人机遥感与卷积神经网络结合，开展园林苗木的智能检测与计数，能够填补国内园林苗木智能检测与计数的空白。
本发明首次提出基于无人机和卷积神经网络的园林苗木检测与计数；同传统方法相比，高效、可靠、检出率高、错检率低，节约大量人力物力财力；能够实现大范围园林苗木不同时期的多次检测和计数。
本发明的目的在于研发基于UAV和卷积神经网络的大范围园林苗木的智能检测与计数方法，使得对大面积的园林苗木进行快速智能化检测和计数成为可能，填补国内外现有技术研究的空白。本发明提供的智能检测方法简单通用、可移植性强，能为大面积园林苗木检测与价值估算提供理论参考和科学依据，进而为园林苗木全过程生长周期监测和评估服务。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于UAV和卷积神经网络的园林苗木智能检测与计数方法流程图。
图2是本发明实施例提供的基于UAV和卷积神经网络的园林苗木智能检测与计数方法原理图。
图3是本发明实施例提供的基于UAV和卷积神经网络的园林苗木智能检测与计数系统结构示意图；
图中：1、图像数据采集模块；2、数据筛选模块；3、数据统一模块；4、数据预处理模块；5、网络构建模块；6、检测计数模块。
图4是本发明实施例提供的原始图像与标注图像对比示意图；
图中：(a)原始图；(b)标注后生成的mask二值图；(c)标注后的灰度图。
图5是本发明实施例提供的图像亮度调节示例示意图；
图中：(a)原图像；(b)图像亮度调减50％；(c)图像亮度调增50％。
图6是本发明实施例提供的损失值与迭代次数的关系对比图。
图7是本发明实施例提供的检测前后对比图；
图中：(a)待检测区域图；(b)检测结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于UAV和卷积神经网络的园林苗木智能检测与计数方法，下面结合附图对本发明作详细的描述。
如图1-图2所示，本发明实施例提供的一种基于UAV和卷积神经网络的园林苗木智能检测与计数方法包括：
S101，在光照充足，无风或微风的情况下，利用无人机采集园林苗木图像数据；
S102，根据照片清晰度对获取到的图像数据进行筛选，删除不清晰或光线过暗的图像；并对图像数据进行裁剪，同时统一图像颜色表示；
S103，对图像数据进行预处理；利用基于图像分割的Mask R-CNN深度学习框架，构建面向园林苗木智能检测与计数的卷积神经网络；
S104，利用构建的面向园林苗木智能检测与计数的卷积神经网络进行园林苗木智能检测与计数。
步骤S103中，本发明实施例提供的图像数据预处理方法包括：
(1)采用VIA图像标注工具对图像数据进行标注，并将标注后的数据导出为json格式文件分别保存在训练集和测试集中；
(2)采用Keras深度学习神经网络库对所采集的图像进行数据扩增；
(3)将已扩充的数据集按一定比例划分为训练数据集、测试数据集和验证数据集；所述训练数据集作为网络训练的输入数据集，所述测试数据集和验证数据集作为网络测试和验证的输入数据集。
步骤(2)，本发明实施例提供的数据扩增方法包括：图像平移、图像旋转、图像缩放、亮度与对比度调节。
步骤S103中，本发明实施例提供的面向园林苗木智能检测与计数的卷积神经网络构建方法包括：
1)利用基于图像分割的Mask R-CNN深度学习框架，对Mask R-CNN进行改进，调整Mask R-CNN的超参数，以深度残差ResNet作为特征提取网络，生成预测的ROI区域，利用边框回归对ROI区域进行坐标修正，使用非极大值抑制方法得到最终的目标框，生成目标的二值掩码，对目标进行分割处理；
2)确定损失函数为：
L＝Lcls+Lbox+Lmask；
式中：L为损失值即最终的loss值；Lcls为标记的园林植物类损失；Lbox为框的损失值；Lmask为掩码的损失值；
3)Mask RCNN采用RoIAlign层，通过双线性内插方法将整个特征聚集过程转化为连续操作，进行输出图像像素与输入图像像素的完全对应；
4)通过colab在线编译平台设置训练批次epoch、epoch训练次数以及模型训练网络的学习率相关训练参数；
5)将训练网络生成格式为h5的结果文件导入验证网络，调试参数，通过统计mask计数函数进行园林苗木的智能检测与计数；
6)利用Tensorboard工具将训练网络的损失值L、标记的园林植物类损失值Lcls，框损失值Lbox，掩码损失值Lmask进行可视化；
7)以10次训练的平均训练时间、召回率以及准确率作为分析评价指标进行网络精度评价：
P＝Tp/(Tp+Fp)
R＝Tp/(Tp+Fn)
其中，P为精确度、R为召回率，TP表示将正类检测为正类即准确识别率，FP表示将负类预测为正类即错误识别率，Fn表示将正类预测为负类即漏检率。
如图3所示，本发明实施例提供的基于UAV和卷积神经网络的园林苗木智能检测与计数系统包括：
图像数据采集模块1，用于在光照充足，无风或微风的情况下，利用无人机采集园林苗木图像数据；
数据筛选模块2，用于根据照片清晰度对获取到的图像数据进行筛选，删除不清晰或光线过暗的图像；
数据统一模块3，用于对图像数据进行裁剪，同时统一图像颜色表示；
数据预处理模块4，用于对图像数据进行预处理；
网络构建模块5，用于利用基于图像分割的Mask R-CNN深度学习框架，构建面向园林苗木智能检测与计数的卷积神经网络；
检测计数模块6，用于利用构建的面向园林苗木智能检测与计数的卷积神经网络进行园林苗木智能检测与计数。
下面结合具体实施例对本发明的技术方案作进一步说明。
实施例1：
本发明公布一种基于UAV和卷积神经网络的园林苗木智能检测与计数方法，属于园林植物智能监测领域，该方法适用于大范围不同时期园林苗木的多次智能检测，具体步骤：
1、研究区
本发明以自然光照条件园林苗木为研究对象，拍摄地位于湖南省长沙市雨花区浏阳市镇头镇，属环境优美、风景秀丽的花木产业带横贯集镇。为提升无人机拍摄稳定性，尽量保证光照充足、无风或微风。
2、数据采集
本发明使用的无人机为Mavic 2Pro，仪器检查包括硬件检查、软件检查和信号检查；飞行参数包括高度100米和速度5m/s；共采集园林苗木照片300张，图片大小4000×3000，颜色表示为sRGB；采集时间2019年7月18日。
3、数据筛选
根据照片清晰度对油茶果照片进行筛选，剔除不清晰或光线过暗的照片。由于无人机采集图片格式不符合Mask R-CNN的训练要求，故利用python和OpenCV将采集图片裁剪成640×512，颜色表示为RGB。
4、数据预处理
第一步，边框标注。为符合Mask R-CNN卷积神经网路训练要求，增加网络对园林苗木的检测精度，本发明采用VGG Image Annotation(VIA)图像标注工具对训练集和测试集的图像数据进行标注，同时将这些标注导出为json格式文件分别保存在训练集和测试集。
第二步，数据扩增。训练集中样本数量的多少直接影响着训练结果的精确度，为了提高Mask RCNN网络的训练精度以及识别准确率。本发明采用Keras深度学习神经网络库对所采集的图像进行数据扩增，具体方式包括：图像平移、图像旋转、图像缩放、亮度与对比度调节。
第三步，数据划分。将已扩充的数据集按一定比例(如0.8：0.1：0.1)分为两份：训练数据集、测试数据集和验证数据集。其中前者作为网络训练的输入数据集，后两者作为网络测试和验证的输入数据集。
5、网络构建
利用基于图像分割的Mask R-CNN深度学习框架，构建面向园林苗木智能检测与计数的卷积神经网络。具体步骤：
(1)实验平台
本发明实验软件环境为Windows10操作系统(64位)，编程语言为Python，编译器为Pycharm软件以及谷歌colab在线编译平台，基于Keras深度学习框架、Tensorflow后端，计算机内存为8GB。
(2)基本结构
Mask R-CNN是一种实例分割算法，框架灵活，可增加不同分支实现不同任务的完成，主要用于“目标检测”、“目标实例分割”和“目标关键点检测”，具有高速、高准确率、简单直观和易于使用的优点。具体步骤包括：对Mask R-CNN进行改进，调整Mask R-CNN的超参数，以深度残差ResNet作为特征提取网络，生成预测的ROI区域，利用边框回归对ROI区域进行坐标修正，使用非极大值抑制方法得到最终的目标框，生成目标的二值掩码，实现对目标分割处理。
(3)损失函数
Mask R-CNN采用的损失函数为多任务损失函数，包括分类损失、包围框损失和掩码损失，计算公式如(1)。损失函数在Mask RCNN中是衡量模型预测好坏的一个工具。网络训练过程中损失值越低，代表着模型精确度越高；损失值下降的越快，代表网络模型精度收敛速度越快。
L＝Lcls+Lbox+Lmask (1)
式中：L为损失值即最终的loss值；Lcls为标记的园林植物类损失；Lbox为框的损失值；Lmask为掩码的损失值。
(4)Mask表现形式
Mask RCNN采用RoIAlign层，通过双线性内插方法将整个特征聚集过程转化为连续操作，实现输出图像像素与输入图像像素的完全对应。
(5)训练网络设置
本发明的检测对象为多种园林苗木，通过colab在线编译平台设置训练参数，包括训练批次epoch、epoch训练次数以及模型训练网络的学习率。
(6)验证网络设置
由于验证集的图片大小与训练集、测试集图片大小一致，因此执行结果验证时，不需要调整图像大小。将训练网络生成结果文件(格式为h5)导入验证网络，调试参数，通过统计mask计数函数实现园林苗木的智能检测与计数。
(7)数据可视化
利用Tensorboard工具将训练网络的损失值(L)、标记的园林植物类损失值(Lcls)，框损失值(Lbox)，掩码损失值(Lmask)进行可视化。
(8)精度评价
为有效得到本次实验的结果，以10次训练的平均训练时间、召回率以及准确率作为该实验的分析评价指标。
P＝Tp/(Tp+Fp) (2)
R＝Tp/(Tp+Fn) (3)
其中，P为精确度、R为召回率，TP表示将正类检测为正类(即准确识别率)，FP表示将负类预测为正类(即错误识别率)，Fn表示将正类预测为负类(即漏检率)。
实施例2：
1)、数据分析
本实施例随机截取90张图片作为训练样本，10张作为测试样本。首先对截取的样本图片进行图片筛选、图片标注、数据扩增等操作。预处理后图片大小为256×200×3，图片格式为JPG；图片标注目标共分3个类别，分别标注为A、B、C三类；最后进行数据扩增，即图像平移、图像旋转和图像缩放。由于所选择三类目标的图像外形较为相似，颜色不相同，亮度调节造成的样本特征相同从而导致错检率上升，检测识别的精确率下降甚至无法检测结果，将标注的json文件导入训练集与测试集。本实施例的训练批次epoch设为32，每个epoch训练10次，模型训练网络学习率设为0.9。
2)、网络训练
本次训练迭代40个epoch共花费时间3638s，平均每迭代1个epoch需要花费时间90.95s。由表1可知，随着迭代次数的增加，每个epoch的迭代速度不断增加，并逐渐趋于平缓。由表1可知，随着迭代次数的增加，即训练批次(epoch)的增加，Mask RCNN卷积神经网络模型训练的loss值越来越小，说明模型的训练精度逐步升高。
表1迭代次数与网络训练loss值
备注：每5个epoch记录一次
3)、数据可视化
分析训练网络的损失值分析，将最终loss值进行可视化，结果如图6。由图可知，随着迭代次数的增加，loss值总体上呈下降趋势，说明训练网络的精确率不断上升。前9个epoch，loss值从4.436下降至1.675，下降幅度较大。随后loss值依然下降，但幅度较为平缓，并伴随小幅度波动。整个训练过程模型损失值最低为0.9207(epoch35)。
4)、检测结果
训练网络中，每训练1个epoch均会生成一个训练结果文件，文件格式为h5。为验证本实施例设计检测器的有效性，从研究区里挑选3类园林植物作为检测目标开展检测分析。根据loss值可视化分析结果，选择epoch40生成的h5文件进行检测，如图7所示。
5)、检测精度
将epoch40结果参数输入验证网络，根据验证网络生成结果对各类目标的检出率、错检率、漏检率进行分析(表2)。由表2可知，A类目标检出率为87.20％，错检率为0.58％，漏检率为12.80％，精确率为99.34％；B类目标检出率为89.71，错检率为1.06％，漏检率为10.29％，精确率为98.83％；C类目标检出率为67.91％，错检率为0.27％，漏检率为32.09％，精确率为99.60％。说明模型精确率很高，各类目标精确率均高于98％。但是相比A、B两类检出率，C类检出率较低，仅67.91％。
表2园林苗木网络识别结果
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于UAV和卷积神经网络的园林苗木智能检测与计数方法，其特征在于，所述基于UAV和卷积神经网络的园林苗木智能检测与计数方法包括：
利用无人机采集园林苗木图像数据；
根据照片清晰度对获取到的图像数据进行筛选，删除不清晰或光线过暗的图像；并对图像数据进行裁剪，同时统一图像颜色表示；
对图像数据进行预处理；利用基于图像分割的Mask R-CNN深度学习框架，构建面向园林苗木智能检测与计数的卷积神经网络；
利用构建的面向园林苗木智能检测与计数的卷积神经网络进行园林苗木智能检测与计数。
2.如权利要求1所述的园林苗木智能检测与计数方法，其特征在于，所述图像数据预处理方法包括：
(1)采用VIA图像标注工具对图像数据进行标注，并将标注后的数据导出为json格式文件分别保存在训练集和测试集中；
(2)采用Keras深度学习神经网络库对所采集的图像进行数据扩增；
(3)将已扩充的数据集按一定比例划分为训练数据集、测试数据集和验证数据集；所述训练数据集作为网络训练的输入数据集，所述测试数据集和验证数据集作为网络测试和验证的输入数据集。
3.如权利要求2所述的园林苗木智能检测与计数方法，其特征在于，步骤(2)，所述数据扩增方法包括：图像平移、图像旋转、图像缩放、亮度与对比度调节。
4.如权利要求1所述的园林苗木智能检测与计数方法，其特征在于，所述面向园林苗木智能检测与计数的卷积神经网络构建方法包括：
1)利用基于图像分割的Mask R-CNN深度学习框架，对Mask R-CNN进行改进，调整MaskR-CNN的超参数，以深度残差ResNet作为特征提取网络，生成预测的ROI区域，利用边框回归对ROI区域进行坐标修正，使用非极大值抑制方法得到最终的目标框，生成目标的二值掩码，对目标进行分割处理；
2)确定损失函数为：
L＝Lcls+Lbox+Lmask；
式中：L为损失值即最终的loss值；Lcls为标记的园林植物类损失；Lbox为框的损失值；Lmask为掩码的损失值；
3)Mask RCNN采用RoIAlign层，通过双线性内插方法将整个特征聚集过程转化为连续操作，进行输出图像像素与输入图像像素的完全对应；
4)通过colab在线编译平台设置训练批次epoch、epoch训练次数以及模型训练网络的学习率相关训练参数；
5)将训练网络生成格式为h5的结果文件导入验证网络，调试参数，通过统计mask计数函数进行园林苗木的智能检测与计数；
6)利用Tensorboard工具将训练网络的损失值L、标记的园林植物类损失值Lcls，框损失值Lbox，掩码损失值Lmask进行可视化；
7)以10次训练的平均训练时间、召回率以及准确率作为分析评价指标进行网络精度评价：
P＝Tp/(Tp+Fp)
R＝Tp/(Tp+Fn)
其中，P为精确度、R为召回率，TP表示将正类检测为正类即准确识别率，FP表示将负类预测为正类即错误识别率，Fn表示将正类预测为负类即漏检率。
5.一种实施如权利要求1-4所述基于UAV和卷积神经网络的园林苗木智能检测与计数方法的园林苗木智能检测与计数系统，其特征在于，所基于UAV和卷积神经网络的述园林苗木智能检测与计数系统包括：
图像数据采集模块，用于在光照充足，无风或微风的情况下，利用无人机采集园林苗木图像数据；
数据筛选模块，用于根据照片清晰度对获取到的图像数据进行筛选，删除不清晰或光线过暗的图像；
数据统一模块，用于对图像数据进行裁剪，同时统一图像颜色表示；
数据预处理模块，用于对图像数据进行预处理；
网络构建模块，用于利用基于图像分割的Mask R-CNN深度学习框架，构建面向园林苗木智能检测与计数的卷积神经网络；
检测计数模块，用于利用构建的面向园林苗木智能检测与计数的卷积神经网络进行园林苗木智能检测与计数。
6.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
利用无人机采集园林苗木图像数据；
根据照片清晰度对获取到的图像数据进行筛选，删除不清晰或光线过暗的图像；并对图像数据进行裁剪，同时统一图像颜色表示；
对图像数据进行预处理；利用基于图像分割的Mask R-CNN深度学习框架，构建面向园林苗木智能检测与计数的卷积神经网络；
利用构建的面向园林苗木智能检测与计数的卷积神经网络进行园林苗木智能检测与计数。
7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
利用无人机采集园林苗木图像数据；
根据照片清晰度对获取到的图像数据进行筛选，删除不清晰或光线过暗的图像；并对图像数据进行裁剪，同时统一图像颜色表示；
对图像数据进行预处理；利用基于图像分割的Mask R-CNN深度学习框架，构建面向园林苗木智能检测与计数的卷积神经网络；
利用构建的面向园林苗木智能检测与计数的卷积神经网络进行园林苗木智能检测与计数。
8.一种实施如权利要求1-4所述园林苗木智能检测与计数方法的无人机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010753912.1A CN111881851A (zh) | 2020-07-30 | 2020-07-30 | 一种基于uav和卷积神经网络的园林苗木智能检测与计数方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010753912.1A CN111881851A (zh) | 2020-07-30 | 2020-07-30 | 一种基于uav和卷积神经网络的园林苗木智能检测与计数方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111881851A true CN111881851A (zh) | 2020-11-03 |
Family
ID=73205744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010753912.1A Pending CN111881851A (zh) | 2020-07-30 | 2020-07-30 | 一种基于uav和卷积神经网络的园林苗木智能检测与计数方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111881851A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686872A (zh) * | 2020-12-31 | 2021-04-20 | 南京理工大学 | 基于深度学习的木材计数方法 |
| CN112733622A (zh) * | 2020-12-25 | 2021-04-30 | 广西慧云信息技术有限公司 | 一种禾本科植物分蘖数量计数方法 |
| CN113378685A (zh) * | 2021-06-07 | 2021-09-10 | 中国地质大学（北京） | 用于矿山修复治理效果评估的人工智能检测系统及方法 |
| CN113822198A (zh) * | 2021-09-23 | 2021-12-21 | 华南农业大学 | 基于uav-rgb图像和深度学习的花生生长监测方法、系统及介质 |
| CN115294448A (zh) * | 2022-07-18 | 2022-11-04 | 北京爱科农科技有限公司 | 一种农作物育种小区苗数计数方法、装置及系统 |
| CN115443826A (zh) * | 2022-09-05 | 2022-12-09 | 江苏里下河地区农业科学研究所 | 一种用于健苗培育的精细化光调控方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948563A (zh) * | 2019-03-22 | 2019-06-28 | 华南农业大学 | 一种基于深度学习的松材线虫病枯死树检测定位方法 |
| US10453197B1 (en) * | 2019-02-18 | 2019-10-22 | Inception Institute of Artificial Intelligence, Ltd. | Object counting and instance segmentation using neural network architectures with image-level supervision |
| CN111260628A (zh) * | 2020-01-15 | 2020-06-09 | 北京林业大学 | 基于视频图像的大型苗圃苗木数量统计方法及电子设备 |
-
2020
- 2020-07-30 CN CN202010753912.1A patent/CN111881851A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10453197B1 (en) * | 2019-02-18 | 2019-10-22 | Inception Institute of Artificial Intelligence, Ltd. | Object counting and instance segmentation using neural network architectures with image-level supervision |
| CN109948563A (zh) * | 2019-03-22 | 2019-06-28 | 华南农业大学 | 一种基于深度学习的松材线虫病枯死树检测定位方法 |
| CN111260628A (zh) * | 2020-01-15 | 2020-06-09 | 北京林业大学 | 基于视频图像的大型苗圃苗木数量统计方法及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| ；李大军: "基于Mask-RCNN的建筑物目标检测算法", 《测绘科学》, vol. 44, no. 3, 31 October 2019 (2019-10-31), pages 172 - 180 * |
| 马开锋: "《卫星天线形面热变形近景摄影测量与数据处理》", 30 November 2018, 地质出版社, pages: 37 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733622A (zh) * | 2020-12-25 | 2021-04-30 | 广西慧云信息技术有限公司 | 一种禾本科植物分蘖数量计数方法 |
| CN112733622B (zh) * | 2020-12-25 | 2023-07-04 | 广西慧云信息技术有限公司 | 一种禾本科植物分蘖数量计数方法 |
| CN112686872A (zh) * | 2020-12-31 | 2021-04-20 | 南京理工大学 | 基于深度学习的木材计数方法 |
| CN113378685A (zh) * | 2021-06-07 | 2021-09-10 | 中国地质大学（北京） | 用于矿山修复治理效果评估的人工智能检测系统及方法 |
| CN113378685B (zh) * | 2021-06-07 | 2023-07-25 | 中国地质大学（北京） | 用于矿山修复治理效果评估的人工智能检测系统及方法 |
| CN113822198A (zh) * | 2021-09-23 | 2021-12-21 | 华南农业大学 | 基于uav-rgb图像和深度学习的花生生长监测方法、系统及介质 |
| CN113822198B (zh) * | 2021-09-23 | 2023-10-17 | 华南农业大学 | 基于uav-rgb图像和深度学习的花生生长监测方法、系统及介质 |
| CN115294448A (zh) * | 2022-07-18 | 2022-11-04 | 北京爱科农科技有限公司 | 一种农作物育种小区苗数计数方法、装置及系统 |
| CN115443826A (zh) * | 2022-09-05 | 2022-12-09 | 江苏里下河地区农业科学研究所 | 一种用于健苗培育的精细化光调控方法及系统 |
| CN115443826B (zh) * | 2022-09-05 | 2023-11-07 | 江苏里下河地区农业科学研究所 | 一种用于健苗培育的精细化光调控方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111881851A (zh) | 一种基于uav和卷积神经网络的园林苗木智能检测与计数方法 | |
| Wu et al. | Using channel pruning-based YOLO v4 deep learning algorithm for the real-time and accurate detection of apple flowers in natural environments | |
| Tian et al. | Apple detection during different growth stages in orchards using the improved YOLO-V3 model | |
| Li et al. | A high-precision detection method of hydroponic lettuce seedlings status based on improved Faster RCNN | |
| Xue et al. | A fast and easy method for predicting agricultural waste compost maturity by image-based deep learning | |
| Deng et al. | Deep learning-based automatic detection of productive tillers in rice | |
| CN109829907A (zh) | 一种基于深度学习的金属轴表面缺陷识别方法 | |
| CN113673586B (zh) | 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法 | |
| CN111914767B (zh) | 一种基于多源遥感数据的散乱污企业检测方法及系统 | |
| Wang et al. | Precision detection of dense plums in orchards using the improved YOLOv4 model | |
| CN111950396A (zh) | 一种仪表读数神经网络识别方法 | |
| Zang et al. | Detection method of wheat spike improved YOLOv5s based on the attention mechanism | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| Hou et al. | Detection and localization of citrus fruit based on improved You Only Look Once v5s and binocular vision in the orchard | |
| Zhang et al. | A novel image detection method for internal cracks in corn seeds in an industrial inspection line | |
| Liu et al. | Tomato detection based on convolutional neural network for robotic application | |
| Saeed et al. | Cotton plant part 3D segmentation and architectural trait extraction using point voxel convolutional neural networks | |
| Ji et al. | Exploring the solutions via Retinex enhancements for fruit recognition impacts of outdoor sunlight: a case study of navel oranges | |
| CN116257792B (zh) | 一种智慧城市碳中和数据分析系统 | |
| CN115719453B (zh) | 一种基于深度学习的水稻种植结构遥感提取方法 | |
| Dong et al. | Implementation of detection system of grassland degradation indicator grass species based on YOLOv3-SPP algorithm | |
| CN108845075B (zh) | 基于深度学习网络的堆肥腐熟实时预测方法 | |
| CN115497006B (zh) | 基于动态混合策略的城区遥感图像变化深度监测方法及系统 | |
| CN117029673A (zh) | 一种基于人工智能实现的鱼类体表多尺寸测量方法 | |
| CN115546735A (zh) | 一种冷却塔结冰检测识别系统、方法和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |