CN111582234A - 基于uav和深度学习的大范围油茶林果智能检测与计数方法 - Google Patents

基于uav和深度学习的大范围油茶林果智能检测与计数方法 Download PDF

Info

Publication number
CN111582234A
CN111582234A CN202010442497.8A CN202010442497A CN111582234A CN 111582234 A CN111582234 A CN 111582234A CN 202010442497 A CN202010442497 A CN 202010442497A CN 111582234 A CN111582234 A CN 111582234A
Authority
CN
China
Prior art keywords
data set
oil tea
fruit
fruits
counting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010442497.8A
Other languages
English (en)
Other versions
CN111582234B (zh
Inventor
莫登奎
严恩萍
尹显民
姜镓伟
向俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010442497.8A priority Critical patent/CN111582234B/zh
Publication of CN111582234A publication Critical patent/CN111582234A/zh
Application granted granted Critical
Publication of CN111582234B publication Critical patent/CN111582234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于经济林智能监测技术领域，公开一种基于UAV和深度学习的大范围油茶林果智能检测与计数方法，尤其涉及一种油茶林果智能检测与计数方法、系统及无人机，首先进行无人机检查，利用检查好的无人机对油茶林进行垂直拍摄，获取油茶果照片，将获取的油茶果照片作为数据集，并对数据集进行边框标注、扩增、划分；利用基于图像分割的卷积神经框架对训练数据集进行模拟，构建面向油茶果智能检测与计数的深度学习网络；利用面向油茶果智能检测与计数的深度学习网络基于油茶果照片数据进行油茶果的掩码数量统计，实现油茶果的智能检测与计数。本发明能够提高大范围油茶果的检测精度和速度，为大范围油茶林的产量估测提供参考。

Description

基于UAV和深度学习的大范围油茶林果智能检测与计数方法
技术领域
本发明属于经济林智能监测技术领域，尤其一种油茶林果智能检测与计数方法、系统及无人机，具体涉及一种基于UAV和深度学习的大范围油茶林果智能检测与计数方法。
背景技术
目前，油茶是经济价值极高的木本油料树种，在区域经济中具有重要地位。随着经济的发展，油茶林种植面积逐年扩大，油茶林产量及人工采摘成本成倍增加。然而由于缺乏足够的重视导致油茶林果长期依赖传统的人工检测与计数手段，现有技术鲜有大范围的油茶林果智能检测与计数方面的报道。近年来，无人机技术的成熟为大范围的油茶林果智能检测和产量估测提供了条件，因此开展基于无人机的大范围油茶林果智能检测与计数非常有必要。
随着计算机技术的发展，人工智能技术发展迅速，特别是基于深度学习的目标检测算法。目前主流的深度学习方法包括Fast R-CNN，Faster R-CNN，Mask R-CNN，SSD，YOLO等，同传统的目标检测方法相比，虽然深度学习方法的检测速度和精度有一定提升，但均需大量的训练数据。其中Mask R-CNN(Mask regions－based convolution neural network)是目前植物物种智能检测领域应用潜力较大的一种算法，具有极高的检测精度，然而该方法对目标的精细化程度和背景复杂度均有严格的要求。
现有油茶林果的检测与计数方法主要是实地人工计数，采取边标记边计数的方式，避免人工计数的重复和遗漏，这种方法虽然计数结果准确率高，但耗时耗力，效率低；二是利用采摘机器人近距离计数，这种方法虽成本低，但是灵活性差、检测速度慢、不适合大范围快速检测，且对检测地的环境要求高，需要足够的空间保障采摘机器人的正常移动。
通过上述分析，现有技术存在的问题及缺陷为：(1)现有油茶果计数方法具有灵活性差、检测速度慢、不适合大范围快速检测。
(2)检测成本高，对于不可及丘陵山地的油茶林检测无能为力。
(3)为了获取油茶林果不同阶段的样本数据需要多次检测，可行性低。
解决以上问题及缺陷的难度为：无人机的高清摄影和机动性使得大范围油茶林果的智能检测成为可能，然而无人机飞行的高度、速度以及光照条件直接影响油茶果照片的清晰度和空间分辨率。对于异质性高的油茶果林不存在普适的飞控参数(高度、速度)，需要构建一套完整的理论技术进行无人机飞控参数(高度、速度)的测试与优化，同时照片的清晰度和分辨率的兼容性需要做系统评价。
解决以上问题及缺陷的意义为：本发明基于UAV和深度学习的大范围油茶林果的智能检测与计数方法，使得对大范围的油茶林果进行快速、智能化检测和计数成为可能，填补国内外现有技术研究的空白。本发明提供的智能检测方法简单通用、可移植性强，能为大范围油茶林病虫害检测及产量估测提供理论参考和科学依据，进而为油茶林全过程生长周期监测和评估服务。
发明内容
针对现有技术存在的问题，本发明提供了一种基于UAV和深度学习的大范围油茶林果智能检测与计数方法。
本发明是这样实现的，一种油茶林果智能检测与计数方法，包括：
步骤一，进行无人机检查，利用检查好的无人机对油茶林进行垂直拍摄，获取油茶果照片，将获取的油茶果照片作为数据集，并对数据集进行边框标注、扩增，同时将扩增后的数据集划分为训练数据集和验证数据集；
步骤二，利用基于图像分割的Mask R-CNN卷积神经框架对训练数据集进行模拟，通过特征提取、特征融合、ROI区域预测、ROI区域筛选、区域修正、目标区域确定、网络训练、网络测试，构建面向油茶果智能检测与计数的深度学习网络；
步骤三，利用构建面向油茶果智能检测与计数的深度学习网络基于油茶果照片数据进行油茶果的掩码数量统计，智能检测油茶果。
进一步，步骤一中，所述进行无人机检查，利用检查好的无人机对油茶林进行垂直拍摄，获取油茶果照片包括：
对无人机进行硬件检查、软件检查与信号检查；选择光照充足、无风或微风天气，利用检查好的无人机对油茶林进行垂直拍摄，采集油茶林照片，根据照片清晰度对油茶果照片进行筛选，剔除不清晰或光线过暗的照片，得到油茶果照片；
所述无人机硬件检查包括储存卡、电池和遥控手柄检查；所述软件检查包括指南针异常检查和云台检查；所述信号检查为无人机GPS信号检查；
所述无人机拍摄包括：单株油茶上方停留1s；无人机飞行高度为油茶上方3-5m，速度1m/s；拍摄的照片大小为5472pixel×3648pixel。
进一步，步骤二中，所述对数据集进行边框标注、扩增，同时将扩增后的数据集划分为训练数据集和验证数据集包括：
(1)边框标注：将得到的油茶果照片作为数据集利用标注工具labelme对照片中每个肉眼可识别的油茶果进行边框标注；
(2)数据扩增：利用图像旋转、图像移动、噪声注入、对比度变换及其他方法对已标注的油茶果照片进行扩增；
(3)数据划分：将已扩充的数据集按一定比例分为训练数据集和验证数据集；所述训练数据集作为网络训练的输入数据集，所述验证数据集作为网络测试的输入数据集。
进一步，步骤二中，所述面向油茶果智能检测与计数的深度学习网络的构建方法包括：
1)利用深度残差ResNet-50网络对油茶果照片进行特征提取；
2)利用特征金字塔模型对油茶果照片进行多尺度特征融合；
3)利用区域提取网络预测用于油茶果智能检测的候选ROI区域；
4)利用定位精度评价函数IOU即对预测的候选ROI区域进行筛选；
5)采用边框回归方算法，修正检测的目标区域；若RPN输出的预测ROI区域同人工标注的油茶果真实位置边框不匹配，则采用边框回归算法对目标区域进行修正，即对检测的油茶果ROI区域进行坐标的平移和尺度缩放，令检测的油茶果ROI区域靠近油茶果的真实位置边框；
6)采用非极大值抑制方法，确定最终的目标检测区域即油茶果的预测掩码；
7)采用梯度下降和反向传播算法进行网络优化模拟，当模拟精度和次数达到规定的精度和次数时，生成最终的训练网络，并保存当前网络的参数配置和最终权重；
8)输入验证数据集，测试训练网络的泛化能力；利用Mask R-CNN卷积神经网络将测试数据集的实例照片分割成具有油茶果预测掩码的灰度照片，统计照片中油茶果的掩码数量，即可实现油茶果的智能检测。
进一步，步骤1)中，所述深度残差ResNet-50网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；
所述深度残差ResNet-50网络参数设置分别为：第一卷积层conv1为7×4×64，stride为2；Max-Pooling层为3×3，stride为2；第二卷积层conv2为3个64×64×256；第三卷积层conv3为4个128×128×512；第四卷积层conv4为6个256×256×1024；第五卷积层conv5为3个512×512×2048。
进一步，步骤3)中，所述利用区域提取网络预测用于油茶果智能检测的候选ROI区域包括：采用卷积神经网络生成的滑动窗口遍历油茶果特征图，生成对应原图的矩形候选区域即油茶果的潜在位置作为预测的ROI区域。
进一步，步骤4)中，所述筛选方法为：
当IOU>阈值时，将预测的ROI区域作为正样本；
当IOU<阈值时，将预测的ROI区域作为负样本；
所述IOU为用来评价区域间重叠率的一个阈值，表示RPN滑动窗口输出的ROI候选区域与标记的矩形区域交集的面积与二者并集的面积之比。
本发明的另一目的在于提供一种实施所述油茶林果智能检测方法的油茶林果智能检测与计数系统，包括：
无人机检查模块，用于进行无人机硬件、软件、信号检查；
数据采集模块，用于利用无人机获取油茶果的照片采集；
照片筛选模块，用于对采集的油茶果照片进行筛选；
数据预处理模块，用于将筛选后的油茶果照片作为数据集，并对数据集进行边框标注、扩增，同时将扩增后的数据集划分为训练数据集和验证数据集；
网络构建模块，用于利用基于图像分割的Mask R-CNN卷积神经框架对训练数据集进行模拟，通过特征提取、特征融合、ROI区域预测、ROI区域筛选、区域修正、目标区域确定、网络训练、网络测试，构建面向油茶果智能检测与计数的深度学习网络；
检测模块，用于利用构建面向油茶果智能检测与计数的深度学习网络基于油茶果照片数据进行油茶果的掩码数量统计，实现油茶果的智能检测与计数。
本发明的另一目的在于提供一种搭载所述油茶林果智能检测与计数系统的无人机。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述油茶林果智能检测与计数方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述油茶林果智能检测与计数方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
本发明将无人机遥感与深度学习算法结合，开展大范围的油茶林果智能检测与计数，填补了大范围油茶林果智能检测与计数的空白。主要优点如下：
(1)油茶果照片清晰度高、拍摄面积广，可系统检测大范围油茶林。
(2)同传统计数方法相比，客观、识别准确率高、漏检率低。
(3)能够实现油茶林果不同阶段(生长初期、中期、成熟期)的多次检测、计数和评估。
(4)具有应用于采摘机器人实现油茶果视觉实时识别和定位的潜力。
本发明提供了一种通用的基于UAV和深度学习的大范围油茶林果的智能检测与计数方法，进而提高大范围油茶林果的检测精度和速度，为大范围油茶林的产量估测提供参考。
对比的技术效果或者实验效果，如图6、图7、图8所示。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的油茶林果智能检测与计数方法(基于UAV和深度学习的大范围油茶林果智能检测与计数方法)流程图。
图2是本发明实施例提供的油茶林果的智能检测与计数方法原理图。
图3是本发明实施例提供的数据预处理方法流程图。
图4是本发明实施例提供的面向油茶果智能检测与计数的深度学习网络的构建方法流程图。
图5是本发明实施例提供的基于UAV和深度学习的大范围油茶林果智能检测与计数系统结构图；
图5中：1、无人机检查模块；2、数据采集模块；3、照片筛选模块；4、数据预处理模块；5、网络构建模块；6、检测模块。
图6是本发明实施例提供的数据扩增结果示例图；
图6中：(a)原始图；(b)未翻转；(c)左右翻转；(d)上下+左右翻转；(e)上下翻转。
图7是本发明实施例提供的采用背阳面的油茶果照片进行Mask R-CNN训练网络测试示意图；
图7中：(a)已标注的单张UAV油茶果照片，大小5472×3648；(b)已标注的油茶果照片局部放大图，大小684*456。
图8是本发明实施例提供的采用向阳面的油茶果照片测试Mask R-CNN训练网络示意图；
图8中：(a)已标注的单张UAV油茶果照片，大小5472×3648；(b)已标注的油茶果照片局部放大图，大小684*456。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种油茶林果智能检测与计数方法、系统及无人机，下面结合附图对本发明作详细的描述。
如图1-图2所示，本发明实施例提供的油茶林果智能检测与计数方法包括：
S101，进行无人机检查，利用检查好的无人机对油茶林进行垂直拍摄，获取油茶果照片，将获取的油茶果照片作为数据集，并对数据集进行边框标注、扩增，同时将扩增后的数据集划分为训练数据集和验证数据集；
S102，利用基于图像分割的Mask R-CNN卷积神经框架对训练数据集进行模拟，通过特征提取、特征融合、ROI区域预测、ROI区域筛选、区域修正、目标区域确定、网络训练、网络测试，构建面向油茶果智能检测与计数的深度学习网络；
S103，利用构建面向油茶果智能检测与计数的深度学习网络基于油茶果照片数据进行油茶果的掩码数量统计，智能检测油茶果。
步骤S101中，本发明实施例提供的进行无人机检查，利用检查好的无人机对油茶林进行垂直拍摄，获取油茶果照片包括：
对无人机进行硬件检查、软件检查与信号检查；选择光照充足、无风或微风天气，利用检查好的无人机对油茶林进行垂直拍摄，采集油茶林照片，根据照片清晰度对油茶果照片进行筛选，剔除不清晰或光线过暗的照片，得到油茶果照片；
所述无人机硬件检查包括储存卡、电池和遥控手柄检查；所述软件检查包括指南针异常检查和云台检查；所述信号检查为无人机GPS信号检查；
所述无人机拍摄包括：单株油茶上方停留1s；无人机飞行高度为油茶上方3-5m，速度1m/s；拍摄的照片大小为5472pixel×3648pixel。
如图3所示，步骤S102中，本发明实施例提供的对数据集进行边框标注、扩增，同时将扩增后的数据集划分为训练数据集和验证数据集包括：
S201，边框标注：将得到的油茶果照片作为数据集利用标注工具labelme对照片中每个肉眼可识别的油茶果进行边框标注；
S202，数据扩增：利用图像旋转、图像移动、噪声注入、对比度变换及其他方法对已标注的油茶果照片进行扩增；
S203，数据划分：将已扩充的数据集按一定比例分为训练数据集和验证数据集；所述训练数据集作为网络训练的输入数据集，所述验证数据集作为网络测试的输入数据集。
如图4所示，步骤S102中，本发明实施例提供的面向油茶果智能检测与计数的深度学习网络的构建方法包括：
S301，利用深度残差ResNet-50网络对油茶果照片进行特征提取；利用特征金字塔模型对油茶果照片进行多尺度特征融合；
S302，利用区域提取网络预测用于油茶果智能检测的候选ROI区域；利用定位精度评价函数IOU即对预测的候选ROI区域进行筛选；
S303，采用边框回归方算法，修正检测的目标区域；若RPN输出的预测ROI区域同人工标注的油茶果真实位置边框不匹配，则采用边框回归算法对目标区域进行修正，即对检测的油茶果ROI区域进行坐标的平移和尺度缩放，令检测的油茶果ROI区域靠近油茶果的真实位置边框；
S304，采用非极大值抑制方法，确定最终的目标检测区域即油茶果的预测掩码；采用梯度下降和反向传播算法进行网络优化模拟，当模拟精度和次数达到规定的精度和次数时，生成最终的训练网络，并保存当前网络的参数配置和最终权重；
S305，输入验证数据集，测试训练网络的泛化能力；利用Mask R-CNN卷积神经网络将测试数据集的实例照片分割成具有油茶果预测掩码的灰度照片，统计照片中油茶果的掩码数量，即可实现油茶果的智能检测。
步骤S301中，本发明实施例提供的深度残差ResNet-50网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；
所述深度残差ResNet-50网络参数设置分别为：第一卷积层conv1为7×4×64，stride为2；Max-Pooling层为3×3，stride为2；第二卷积层conv2为3个64×64×256；第三卷积层conv3为4个128×128×512；第四卷积层conv4为6个256×256×1024；第五卷积层conv5为3个512×512×2048。
步骤S303中，本发明实施例提供的利用区域提取网络预测用于油茶果智能检测的候选ROI区域包括：采用卷积神经网络生成的滑动窗口遍历油茶果特征图，生成对应原图的矩形候选区域即油茶果的潜在位置作为预测的ROI区域。
步骤S304中，本发明实施例提供的筛选方法为：
当IOU>阈值时，将预测的ROI区域作为正样本；
当IOU<阈值时，将预测的ROI区域作为负样本；
所述IOU为用来评价区域间重叠率的一个阈值，表示RPN滑动窗口输出的ROI候选区域与标记的矩形区域交集的面积与二者并集的面积之比。
如图5所示，步骤S102中，本发明实施例提供的油茶林果智能检测与计数系统包括：
无人机检查模块1，用于进行无人机硬件、软件、信号检查；
数据采集模块2，用于利用无人机获取油茶果的照片采集；
照片筛选模块3，用于对采集的油茶果照片进行筛选；
数据预处理模块4，用于将筛选后的油茶果照片作为数据集，并对数据集进行边框标注、扩增，同时将扩增后的数据集划分为训练数据集和验证数据集；
网络构建模块5，用于利用基于图像分割的Mask R-CNN卷积神经框架对训练数据集进行模拟，通过特征提取、特征融合、ROI区域预测、ROI区域筛选、区域修正、目标区域确定、网络训练、网络测试，构建面向油茶果智能检测与计数的深度学习网络；
检测模块6，用于利用构建面向油茶果智能检测与计数的深度学习网络基于油茶果照片数据进行油茶果的掩码数量统计，智能检测油茶果。
下面结合具体实施例对本发明的技术方案作进一步说明。
实施例：
本发明公布一种基于UAV和深度学习的大范围油茶林果的智能检测与计数方法，属于经济林智能监测领域，该方法修订后适用于大部分油茶林叶、花、果和病虫害的智能检测，具体步骤如下：
1、油茶林选择。
本发明选择的油茶林拍摄地地位于湖南省长沙市雨花区湘府东路国家油茶工程技术研究中心，为了提升无人机拍摄的稳定性，尽量选择坡度较平缓的油茶林；另外，天气保证光照充足、无风或微风。
2、无人机检查。
本发明使用的无人机为Mavic 2Pro，具体检查包括硬件检查：储存卡、电池和遥控手柄检查；软件检查：指南针异常检查和云台检查；信号检查：无人机GPS信号检查。
3、照片采集。
本发明采用无人机对油茶林进行垂直拍摄，单株油茶上方停留1s，其中飞行高度为油茶上方3-5m，速度1m/s；拍摄的照片大小为5472pixel×3648pixel。
4、照片筛选。
根据照片清晰度对油茶果照片进行筛选，剔除不清晰或光线过暗的照片。
5、数据预处理
第一步，边框标注。将保留的油茶果照片作为数据集进行标注，具体方法：利用标注工具labelme对照片中每个肉眼可识别的油茶果进行边框标注。
第二步，数据扩增。利用图像旋转、图像移动、噪声注入、对比度变换等方法对已标注的油茶果照片进行扩增，避免后期训练因数据不足导致的过拟合问题。图6为采用Python语言编程进行的数据扩增结果示例，左右图片均经过细微的亮度、对比度以及像素值的放大/缩小处理。
第三步，数据划分。将已扩充的数据集按一定比例(如0.7：0.:3)分为两份：训练数据集和验证数据集。其中前者作为网络训练的输入数据集，后者作为网络测试的输入数据集。
6、网络构建。
利用基于图像分割的Mask R-CNN卷积神经框架对训练集进行模拟，构建面向油茶果智能检测与计数的深度学习网络。本发明基于pytorch，通过谷歌提供的colab平台对官方开源的Mask R-CNN benchmark进行训练，具体步骤：
第一步，特征提取。利用深度残差网络(ResNet)对油茶果照片进行特征提取，所谓深度残差网络，其主要特点是维度高，利用学习的最高维特征进行智能检测，获得的准确率高。本发明采用目前应用较为广泛的的ResNet-50作为特征提取网络，具体包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，相关参数设置分别为：第一卷积层conv1为7×4×64，stride为2；Max-Pooling层为3×3，stride为2；第二卷积层conv2为3个64×64×256；第三卷积层conv3为4个128×128×512；第四卷积层conv4为6个256×256×1024；第五卷积层conv5为3个512×512×2048。
第二步，特征融合。本发明利用特征金字塔模型(Feature PyramidNetwork，FPN)对油茶果照片进行多尺度特征融合，目的是实现低维特征和高维特征的直接融合；否则用于油茶果智能检测的特征均是底层低维特征，高层的高维语义信息丢失。
第三步，ROI区域预测。基于步骤九，利用区域提取网络(Region ProposalNetwork,RPN)预测用于油茶果智能检测的候选ROI区域。RPN核心思想即采用卷积神经网络生成的滑动窗口遍历油茶果特征图，生成对应原图的矩形候选区域(即油茶果的潜在位置)作为预测的ROI区域。
第四步，ROI区域筛选。利用定位精度评价函数IOU，即对预测的候选ROI区域进行筛选。筛选方法为：当IOU>阈值时，将预测的ROI区域作为正样本；当IOU<阈值时，将预测的ROI区域作为负样本。IOU即用来评价区域间重叠率的一个阈值，表示RPN滑动窗口输出的ROI候选区域与标记的矩形区域交集的面积与二者并集的面积之比。理想情况下IOU为1，即检测结果与标记区域完全吻合；通常情况下阈值为0.5。
第五步，目标区域修正。采用边框回归方算法，修正检测的目标区域。若RPN输出的预测ROI区域同人工标注的油茶果真实位置边框不匹配，则采用边框回归算法对目标区域进行修正，即对检测的油茶果ROI区域进行坐标的平移和尺度缩放，使其靠近油茶果的真实位置边框。
第六步，目标区域确定。采用非极大值抑制方法，确定最终的目标检测区域。由于检测的油茶果照片中，每类正样本的矩形区域均会生成一个训练结果，导致大量位置相近的矩形区域被视为同一类情况，故采用非极大值抑制方法选择位置相近矩形区域中得分最高的区域作为最终的目标区域(即油茶果的预测掩码)。
第七步，网络训练。采用梯度下降和反向传播算法进行网络优化模拟，当模拟精度和次数达到规定的精度(如高于90％)和次数时，生成最终的训练网络，同时保存当前网络的参数配置和最终权重。
第八步，网络测试。输入测试数据集，测试训练网络的泛化能力。利用MaskR-CNN卷积神经网络将测试数据集的实例照片分割成具有油茶果预测掩码的灰度照片，统计照片中油茶果的掩码数量，即可实现油茶果的智能检测与计数。图7为采用向阳面的油茶果照片测试Mask R-CNN训练网络，测试精度92.22％。图8为背阳面的油茶果照片测试Mask R-CNN训练网络，测试精度92.22％。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种油茶林果智能检测与计数方法，其特征在于，所述油茶林果智能检测与计数方法包括：
步骤一，将无人机拍摄获取的油茶果照片作为数据集，并对数据集进行边框标注、扩增，同时将扩增后的数据集划分为训练数据集和验证数据集；
步骤二，利用基于图像分割的Mask R-CNN卷积神经框架对训练数据集进行模拟，通过特征提取、特征融合、ROI区域预测、ROI区域筛选、区域修正、目标区域确定、网络训练、网络测试，构建面向油茶果智能检测与计数的深度学习网络；
步骤三，利用构建的面向油茶果智能检测与计数的深度学习网络对获取的基于油茶果照片数据进行油茶果的掩码数量统计及检测。
2.如权利要求1所述油茶林果智能检测与计数方法，其特征在于，步骤一中，进行无人机检查，利用检查好的无人机对油茶林进行垂直拍摄，获取油茶果照片；所述进行无人机检查，利用检查好的无人机对油茶林进行垂直拍摄，获取油茶果照片包括：
对无人机进行硬件检查、软件检查与信号检查；选择光照充足、无风或微风天气，利用检查好的无人机对油茶林进行垂直拍摄，采集油茶林照片，根据照片清晰度对油茶果照片进行筛选，剔除不清晰或光线过暗的照片，得到油茶果照片；
所述无人机硬件检查包括储存卡、电池和遥控手柄检查；所述软件检查包括指南针异常检查和云台检查；所述信号检查为无人机GPS信号检查；
所述无人机拍摄包括：单株油茶上方停留1s；无人机飞行高度为油茶上方3-5m，速度1m/s；拍摄的照片大小为5472pixel×3648pixel。
3.如权利要求1所述油茶林果智能检测与计数方法，其特征在于，步骤二中，所述对数据集进行边框标注、扩增，同时将扩增后的数据集划分为训练数据集和验证数据集包括：
(1)边框标注：将得到的油茶果照片作为数据集利用标注工具labelme对照片中每个肉眼可识别的油茶果进行边框标注；
(2)数据扩增：利用图像旋转、图像移动、噪声注入、对比度变换及其他方法对已标注的油茶果照片进行扩增；
(3)数据划分：将已扩充的数据集按一定比例分为训练数据集和验证数据集；所述训练数据集作为网络训练的输入数据集，所述验证数据集作为网络测试的输入数据集。
4.如权利要求1所述油茶林果智能检测与计数方法，其特征在于，步骤二中，所述面向油茶果智能检测与计数的深度学习网络的构建方法包括：
1)利用深度残差ResNet-50网络对油茶果照片进行特征提取；
2)利用特征金字塔模型对油茶果照片进行多尺度特征融合；
3)利用区域提取网络预测用于油茶果智能检测的候选ROI区域；
4)利用定位精度评价函数IOU即对预测的候选ROI区域进行筛选；
5)采用边框回归算法，修正检测的目标区域；若RPN输出的预测ROI区域同人工标注的油茶果真实位置边框不匹配，则采用边框回归算法对目标区域进行修正，即对检测的油茶果ROI区域进行坐标的平移和尺度缩放，令检测的油茶果ROI区域靠近油茶果的真实位置边框；
6)采用非极大值抑制方法，确定最终的目标检测区域即油茶果的预测掩码；
7)采用梯度下降和反向传播算法进行网络优化模拟，当模拟精度和次数达到规定的精度和次数时，生成最终的训练网络，并保存当前网络的参数配置和最终权重；
8)输入验证数据集，测试训练网络的泛化能力；利用Mask R-CNN卷积神经网络将测试数据集的实例照片分割成具有油茶果预测掩码的灰度照片，统计照片中油茶果的掩码数量，即可实现油茶果的智能检测与计数。
5.如权利要求1所述油茶林果智能检测与计数方法，其特征在于，步骤1)中，所述深度残差ResNet-50网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；
所述深度残差ResNet-50网络参数设置分别为：第一卷积层conv1为7×4×64，stride为2；Max-Pooling层为3×3，stride为2；第二卷积层conv2为3个64×64×256；第三卷积层conv3为4个128×128×512；第四卷积层conv4为6个256×256×1024；第五卷积层conv5为3个512×512×2048；
步骤3)中，所述利用区域提取网络预测用于油茶果智能检测的候选ROI区域包括：采用卷积神经网络生成的滑动窗口遍历油茶果特征图，生成对应原图的矩形候选区域即油茶果的潜在位置作为预测的ROI区域；
步骤4)中，所述筛选方法为：
当IOU>阈值时，将预测的ROI区域作为正样本；
当IOU<阈值时，将预测的ROI区域作为负样本；
所述IOU为用来评价区域间重叠率的一个阈值，表示RPN滑动窗口输出的ROI候选区域与标记的矩形区域交集的面积与二者并集的面积之比。
6.一种实施如权利要求1-5所述油茶林果智能检测与计数方法的油茶林果智能检测与计数系统，其特征在于，所述系统包括：
无人机检查模块，用于进行无人机硬件、软件、信号检查；
数据采集模块，用于利用无人机获取油茶果的照片采集；
照片筛选模块，用于对采集的油茶果照片进行筛选；
数据预处理模块，用于将筛选后的油茶果照片作为数据集，并对数据集进行边框标注、扩增，同时将扩增后的数据集划分为训练数据集和验证数据集；
网络构建模块，用于利用基于图像分割的Mask R-CNN卷积神经框架对训练数据集进行模拟，通过特征提取、特征融合、ROI区域预测、ROI区域筛选、区域修正、目标区域确定、网络训练、网络测试，构建面向油茶果智能检测与计数的深度学习网络；
检测模块，用于利用构建面向油茶果智能检测与计数的深度学习网络基于油茶果照片数据进行油茶果的掩码数量统计，实现油茶果的智能检测与计数。
7.一种搭载权利要求6所述油茶林果智能检测与计数系统的无人机。
8.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1-7任意一项所述油茶林果智能检测与计数方法。
9.一种计算机可读存储介质，储存有指令，当所述指令在计算机运行时，使得计算机执行如权利要求1-6任意一项所述油茶林果智能检测与计数方法。
CN202010442497.8A 2020-05-22 2020-05-22 基于uav和深度学习的大范围油茶林果智能检测与计数方法 Active CN111582234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010442497.8A CN111582234B (zh) 2020-05-22 2020-05-22 基于uav和深度学习的大范围油茶林果智能检测与计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442497.8A CN111582234B (zh) 2020-05-22 2020-05-22 基于uav和深度学习的大范围油茶林果智能检测与计数方法

Publications (2)

Publication Number Publication Date
CN111582234A true CN111582234A (zh) 2020-08-25
CN111582234B CN111582234B (zh) 2023-07-07

Family

ID=72110995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442497.8A Active CN111582234B (zh) 2020-05-22 2020-05-22 基于uav和深度学习的大范围油茶林果智能检测与计数方法

Country Status (1)

Country Link
CN (1) CN111582234B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084989A (zh) * 2020-09-16 2020-12-15 湖南三湘绿谷生态科技有限公司 基于无人机与cnn的大范围松材线虫病枯立木智能检测方法
CN112215714A (zh) * 2020-09-08 2021-01-12 北京农业智能装备技术研究中心 基于无人机的稻穗检测方法及装置
CN112686872A (zh) * 2020-12-31 2021-04-20 南京理工大学 基于深度学习的木材计数方法
CN112733622A (zh) * 2020-12-25 2021-04-30 广西慧云信息技术有限公司 一种禾本科植物分蘖数量计数方法
CN112861654A (zh) * 2021-01-20 2021-05-28 浙江理工大学 一种基于机器视觉的名优茶采摘点位置信息获取方法
CN112950616A (zh) * 2021-03-23 2021-06-11 湖南三湘绿谷生态科技有限公司 一种风水地火灾隐患点快速检测与清查方法、系统
CN112966579A (zh) * 2021-02-24 2021-06-15 湖南三湘绿谷生态科技有限公司 一种基于无人机遥感的大面积油茶林快速估产方法
CN113723833A (zh) * 2021-09-02 2021-11-30 湖南三乔林业有限公司 造林实绩质量评价方法、系统、终端设备及存储介质
WO2022196999A1 (ko) * 2021-03-16 2022-09-22 한국광기술원 과실 수량 측정 시스템 및 그 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
US20190057244A1 (en) * 2017-08-18 2019-02-21 Autel Robotics Co., Ltd. Method for determining target through intelligent following of unmanned aerial vehicle, unmanned aerial vehicle and remote control
US20190114546A1 (en) * 2017-10-12 2019-04-18 Nvidia Corporation Refining labeling of time-associated data
CN110210391A (zh) * 2019-05-31 2019-09-06 合肥云诊信息科技有限公司 基于多尺度卷积神经网络的舌象纹理定量分析方法
CN110245644A (zh) * 2019-06-22 2019-09-17 福州大学 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法
CN111008959A (zh) * 2019-11-22 2020-04-14 江苏方天电力技术有限公司 基于航拍图像的均压环缺陷检测方法、装置、介质和设备
CN111126287A (zh) * 2019-12-25 2020-05-08 武汉大学 一种遥感影像密集目标深度学习检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
US20190057244A1 (en) * 2017-08-18 2019-02-21 Autel Robotics Co., Ltd. Method for determining target through intelligent following of unmanned aerial vehicle, unmanned aerial vehicle and remote control
US20190114546A1 (en) * 2017-10-12 2019-04-18 Nvidia Corporation Refining labeling of time-associated data
CN110210391A (zh) * 2019-05-31 2019-09-06 合肥云诊信息科技有限公司 基于多尺度卷积神经网络的舌象纹理定量分析方法
CN110245644A (zh) * 2019-06-22 2019-09-17 福州大学 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法
CN111008959A (zh) * 2019-11-22 2020-04-14 江苏方天电力技术有限公司 基于航拍图像的均压环缺陷检测方法、装置、介质和设备
CN111126287A (zh) * 2019-12-25 2020-05-08 武汉大学 一种遥感影像密集目标深度学习检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
严恩萍等: "基于地统计学和多源遥感数据的森林碳密度估算" *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215714A (zh) * 2020-09-08 2021-01-12 北京农业智能装备技术研究中心 基于无人机的稻穗检测方法及装置
CN112215714B (zh) * 2020-09-08 2024-05-10 北京农业智能装备技术研究中心 基于无人机的稻穗检测方法及装置
CN112084989A (zh) * 2020-09-16 2020-12-15 湖南三湘绿谷生态科技有限公司 基于无人机与cnn的大范围松材线虫病枯立木智能检测方法
CN112733622B (zh) * 2020-12-25 2023-07-04 广西慧云信息技术有限公司 一种禾本科植物分蘖数量计数方法
CN112733622A (zh) * 2020-12-25 2021-04-30 广西慧云信息技术有限公司 一种禾本科植物分蘖数量计数方法
CN112686872A (zh) * 2020-12-31 2021-04-20 南京理工大学 基于深度学习的木材计数方法
CN112861654A (zh) * 2021-01-20 2021-05-28 浙江理工大学 一种基于机器视觉的名优茶采摘点位置信息获取方法
CN112966579A (zh) * 2021-02-24 2021-06-15 湖南三湘绿谷生态科技有限公司 一种基于无人机遥感的大面积油茶林快速估产方法
CN112966579B (zh) * 2021-02-24 2021-11-30 湖南三湘绿谷生态科技有限公司 一种基于无人机遥感的大面积油茶林快速估产方法
WO2022196999A1 (ko) * 2021-03-16 2022-09-22 한국광기술원 과실 수량 측정 시스템 및 그 방법
CN112950616A (zh) * 2021-03-23 2021-06-11 湖南三湘绿谷生态科技有限公司 一种风水地火灾隐患点快速检测与清查方法、系统
CN113723833A (zh) * 2021-09-02 2021-11-30 湖南三乔林业有限公司 造林实绩质量评价方法、系统、终端设备及存储介质
CN113723833B (zh) * 2021-09-02 2024-03-29 湖南三乔林业有限公司 造林实绩质量评价方法、系统、终端设备及存储介质

Also Published As

Publication number Publication date
CN111582234B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN111582234B (zh) 基于uav和深度学习的大范围油茶林果智能检测与计数方法
CN103440484B (zh) 一种适应室外大空间的火焰检测方法
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN107392901A (zh) 一种用于输电线路部件智能自动识别的方法
CN107918776B (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
CN112801230B (zh) 一种配电线路无人机智能验收方法
CN109492665A (zh) 水稻生育期的检测方法、装置及电子设备
CN112464766A (zh) 一种农田地头自动识别方法及系统
CN112861755B (zh) 一种目标多类别实时分割方法及系统
CN116206223A (zh) 一种基于无人机边缘计算的火灾检测方法及系统
Lyu et al. Development of phenotyping system using low altitude UAV imagery and deep learning
Li et al. A novel approach for the 3D localization of branch picking points based on deep learning applied to longan harvesting UAVs
Wang et al. Apple rapid recognition and processing method based on an improved version of YOLOv5
Jia et al. Polar-Net: Green fruit instance segmentation in complex orchard environment
CN117197595A (zh) 基于边缘计算的果树生育期识别方法、装置及管理平台
CN109902647B (zh) 一种便携式在线鸟巢智能识别方法及系统
CN112084989A (zh) 基于无人机与cnn的大范围松材线虫病枯立木智能检测方法
CN113723833B (zh) 造林实绩质量评价方法、系统、终端设备及存储介质
CN115115954A (zh) 基于无人机遥感的松材线虫病疫区变色立木智能识别方法
CN115690778A (zh) 基于深度神经网络的成熟期水果的检测与跟踪计数的方法
Jing et al. Optimizing the YOLOv7-Tiny Model with Multiple Strategies for Citrus Fruit Yield Estimation in Complex Scenarios
CN113379738A (zh) 一种基于图像的疫木检测与定位方法及系统
Bonaria Grapevine yield estimation using image analysis for the variety Arinto
CN114842470B (zh) 层叠式笼养模式下的鸡蛋计数及定位系统
CN112966579B (zh) 一种基于无人机遥感的大面积油茶林快速估产方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Mo Dengkui

Inventor after: Yan Enping

Inventor after: Yin Xianming

Inventor after: Jiang Jiawei

Inventor after: Xiang Jun

Inventor before: Mo Dengkui

Inventor before: Yan Enping

Inventor before: Yin Xianmin

Inventor before: Jiang Jiawei

Inventor before: Xiang Jun

GR01 Patent grant
GR01 Patent grant