CN113763196A - 一种基于改进YOLOv3的果园产量测定系统 - Google Patents
一种基于改进YOLOv3的果园产量测定系统 Download PDFInfo
- Publication number
- CN113763196A CN113763196A CN202110967140.6A CN202110967140A CN113763196A CN 113763196 A CN113763196 A CN 113763196A CN 202110967140 A CN202110967140 A CN 202110967140A CN 113763196 A CN113763196 A CN 113763196A
- Authority
- CN
- China
- Prior art keywords
- fruit tree
- model
- yolov3
- yield
- orchard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002420 orchard Substances 0.000 title claims abstract description 57
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 136
- 238000005259 measurement Methods 0.000 claims abstract description 30
- 238000011161 development Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 24
- 238000004519 manufacturing process Methods 0.000 claims abstract description 18
- 238000009432 framing Methods 0.000 claims abstract description 4
- 230000007246 mechanism Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 32
- 230000004913 activation Effects 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 12
- 238000007667 floating Methods 0.000 claims description 10
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 238000013140 knowledge distillation Methods 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 4
- 238000013138 pruning Methods 0.000 claims description 4
- 235000017166 Bambusa arundinacea Nutrition 0.000 claims description 3
- 235000017491 Bambusa tulda Nutrition 0.000 claims description 3
- 241001330002 Bambuseae Species 0.000 claims description 3
- 235000015334 Phyllostachys viridis Nutrition 0.000 claims description 3
- 239000011425 bamboo Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 20
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000000691 measurement method Methods 0.000 abstract description 3
- 238000011065 in-situ storage Methods 0.000 abstract description 2
- 244000141359 Malus pumila Species 0.000 description 41
- 235000011430 Malus pumila Nutrition 0.000 description 35
- 235000015103 Malus silvestris Nutrition 0.000 description 35
- 230000006870 function Effects 0.000 description 16
- 235000021016 apples Nutrition 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Agronomy & Crop Science (AREA)
- Human Resources & Organizations (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Quality & Reliability (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明属于深度学习计算机视觉和农产品测产技术领域，涉及一种基于改进YOLOv3的果园产量测定系统，包括：摄像头拍摄果树视频，并进行分帧，提取每一帧图像；开发板部署基于改进YOLOv3的果树测产模型，得到单帧图像果树产量和果园整体产量；无人机在果园飞行，直至采集到果园中果树的所有图像；PC机实时显示单帧图像果树产量和果园整体产量。本申请通过优化改进YOLOv3模型，从大量训练样本提取特征，经迭代，学习样本数据规律，具有较高识别精度。将模型部署在开发板，通过摄像头采集果树图像，在PC机上实时显示果实重量，鲁棒性较好，能应对传统测产方法精度低和劳动强度大等问题，满足田间原位测产需求。
Description
技术领域
本发明属于深度学习计算机视觉和农产品测产技术领域，涉及一种基于轻量化神经网络模型的果园产量测定系统，尤其涉及一种基于改进YOLOv3的果园产量测定系统。
背景技术
果园测产可以让果农提前掌握果树的生长状况，确定果实合适的收获期，并合理安排采摘人员，从而预估果园整体利润，降低劳动力雇佣的不合理性，提升经济效益。
传统的果园测产方法有果园人工抽样法和目测清点果树产量法等，此类方法不仅对测产人员的经验要求较高，而且劳动强度较大，精度较低。近年来随着计算机硬件的不断加强，深度学习模型取得了较快的发展，为实现自动化果园测产提供了不同模型和技术手段。
然而，目前将深度学习用于农产品测产的研究较少，且现有的模型很难在移动端取得检测速度和检测精度的平衡。因此，本发明主要研究将改进后的YOLOv3模型应用到移动端的果园测产，以满足高效准确的检测要求。
发明内容
本发明旨在提供一种基于改进YOLOv3的果园产量测定系统，以解决上述背景技术中提出的问题，旨在保证目标检测精度的同时，提高果园测产的检测速度。
为实现上述目的，本发明提供了如下方案：
一种基于改进YOLOv3的果园产量测定系统，包括：摄像头、开发板、无人机和PC机；
所述摄像头和开发板均搭载安装在无人机上；
所述摄像头与开发板连接，所述开发板与PC机远程连接；
所述摄像头用于：拍摄果树视频，并对果树视频进行分帧处理，提取果树视频中的每一帧图像，得到果树图像序列集，并传送给开发板；
所述开发板用于：部署基于改进YOLOv3的果树测产模型，并利用所述果树测产模型得到单帧图像果树产量和果园整体产量，且将单帧图像果树产量和果园整体产量发送至PC机；
所述无人机用于：沿“弓”字型在果园的树行间飞行，直至采集到果园中果树的所有图像；
所述PC机用于：实时显示单帧图像果树产量和果园整体产量。
在上述技术方案的基础上，搭建所述基于改进YOLOv3的果树测产模型，具体包括以下步骤：
S1、采集果树图像，制作初始样本数据集；
S2、对初始样本数据集进行数据增强，获得目标检测样本数据集的真实框的标注文件；
S3、划分训练集与测试集：将目标检测样本数据集划分为训练集和测试集；
S4、优化改进YOLOv3的网络结构，得到改进后的ShuffleNetv2_YOLOv3模型；
S5、训练ShuffleNetv2_YOLOv3模型，得到训练后的模型权重文件一；
S6、压缩模型权重文件一；
S7、测试改进YOLOv3的果树测产模型的网络性能。
在上述技术方案的基础上，所述步骤S1的具体步骤如下：
S1.1、将一块白色幕布用竹杆支撑，置于果树后方；
S1.2、开启摄像头，拍摄果树视频，并对果树视频进行分帧处理，提取果树视频中的每一帧图像，得到果树图像序列集；
S1.3、对果树图像序列集进行人工筛选处理，删除重复图像和无果实图像，获得果树图像，并利用Labelimg标注工具对所述果树图像进行标注果实，得到初始样本数据集；
所述步骤S2的具体步骤如下：
对初始样本数据集进行裁剪、旋转、缩放、平移、添加噪声、调整对比度、调整亮度、调整饱和度或混合叠加等操作，将经过上述操作的初始样本以及未经过上述操作的样本合并，以扩充初始样本数据集的样本数量，得到目标检测样本数据集，形成真实框标注文件。
在上述技术方案的基础上，所述步骤S4的具体步骤如下：
S3.1、将YOLOv3的骨干网络DarkNet-53更换为ShuffleNetv2模块，同时将自注意力机制模块嵌入ShuffleNetv2模块，以增强果实重要特征指向性；
S3.2、将YOLOv3网络中包括上采样部分的卷积模块全部更换为参数量更少的深度可分离卷积模块，得到改进后的ShuffleNetv2_YOLOv3模型。
在上述技术方案的基础上，所述改进后的ShuffleNetv2_YOLOv3网络模型的网络结构为：将输入层与3*3标准卷积层连接，3*3标准卷积层与第一个ShuffleNetv2模块连接，第一个ShuffleNetv2模块与第一个自注意力机制模块连接，第一个自注意力机制模块与第二个ShuffleNetv2模块连接，第二个ShuffleNetv2模块与第二个自注意力机制模块连接，第二个自注意力机制模块与第一个3组深度可分离卷积模块连接；第一个3组深度可分离卷积模块的输出经过上采样层处理后，与第一个自注意力机制模块的输出经过联结层处理；联结层的处理结果输入第二个3组深度可分离卷积模块；将第一个3组深度可分离卷积模块的输出与第二个3组深度可分离卷积模块的输出为所述改进后的ShuffleNetv2_YOLOv3模型的输出；
每组深度可分离卷积模块包括：1×1逐点卷积层和3×3深度卷积层；
所述自注意力机制模块的网络结构为：将自注意力机制模块的输入与3*3深度卷积层连接；3*3深度卷积层的输出经过正则化处理后，再与1*1逐点卷积层连接；1*1逐点卷积层的输出经过第一个Sigmoid激活函数处理；第一个Sigmoid激活函数处理结果输入全局平均池化层，全局平均池化层的输出再经过第二个Sigmoid激活函数处理；第二个Sigmoid激活函数处理结果经扩展维度后，与自注意力机制模块的输入逐元素相乘，获得输出结果一；第一个Sigmoid激活函数处理结果同时输入全局最大池化层，全局最大池化层的输出再经过第三个Sigmoid激活函数处理；第三个Sigmoid激活函数处理结果经扩展维度后，与自注意力机制模块的输入逐元素相乘，获得输出结果二；将所述输出结果一和输出结果二进行联结，将联结结果作为自注意力机制模块的输出。
在上述技术方案的基础上，所述步骤S5的具体步骤如下：
S5.1、加载目标检测样本数据集的真实框的标注文件，计算真实框与先验框的交并比值，通过对交并比值进行K-means聚类，得到先验框的尺寸；
S5.2、将先验框的尺寸和其他超参数输入到ShuffleNetv2_YOLOv3模型中；
S5.3、利用训练集对ShuffleNetv2_YOLOv3模型进行训练，直至收敛，得到训练后的模型权重文件一。
在上述技术方案的基础上，所述步骤S6的具体步骤如下：
S6.1、对ShuffleNetv2_YOLOv3模型进行模型剪枝，统计各网络层的敏感度信息；
S6.2、根据当前统计的敏感度信息，对每个卷积层剪掉30％的卷积核；
S6.3、加载模型权重文件一，统计每秒浮点运算次数(FLOPS)，如果每秒浮点运算次数不满足预设的阈值，重复步骤S6.1-S6.2；
如果每秒浮点运算次数已满足预设的阈值，使用较小的学习率训练ShuffleNetv2_YOLOv3模型，直至收敛，得到剪枝后的模型权重文件二；
S6.4、统计网络权重取值范围，找出模型权重文件二的最大值和最小值，将所有的浮点型权重数值映射成整型数值，使用较小的学习率训练ShuffleNetv2_YOLOv3模型，直至收敛，得到量化后的模型权重文件三；
S6.5、对ShuffleNetv2_YOLOv3模型进行知识蒸馏，加载模型权重文件三，使用一个预先训练好的大型网络-如ResNet网络，训练ShuffleNetv2_PBAM_YOLOv3模型的网络，以提高ShuffleNetv2_PBAM_YOLOv3模型的精度，轻量化ShuffleNetv2_PBAM_YOLOv3模型，降低运算成本，且易于移植，最终得到知识蒸馏后的模型权重文件四。
在上述技术方案的基础上，所述步骤S7的具体步骤如下：
载入压缩后的模型权重文件四，利用测试集测试ShuffleNetv2_YOLOv3模型的性能。
在上述技术方案的基础上，所述部署基于改进YOLOv3的果树测产模型，得到单帧图像果树产量和果园整体产量的具体步骤如下：
S8、将ShuffleNetv2_YOLOv3模型和压缩后的模型权重文件四部署到开发板上；
S9、确定果树测产系数k；
S10、启动无人机，利用开发板实时读取当前帧果树图像，并进行检测，获得当前帧果树图像的总果实数；
S11、将单个果实重量乘以总果实数，再乘以果树测产系数k，得到单帧图像果树产量，并发送到PC机上实时显示；
S12、设定摄像头的拍照间隔，设定果园的某个位置为拍摄起点，操纵无人机沿“弓”字型在果园的树行间飞行，直至采集到果园中果树的所有图像；利用开发板对单帧图像果树产量进行累加，得到果园整体产量，并发送到PC机上显示。
在上述技术方案的基础上，步骤S9的具体步骤如下：
S9.1、利用摄像头拍摄若干张果树图像；对应每张果树图像采摘相应果树拍摄图像中的果实，并分别称重，获得若干单张图像的果树实际产量；
S9.2、利用ShuffleNetv2_YOLOv3模型和压缩后的模型权重文件四对步骤S9.1获得的若干张果树图像进行检测，分别统计每张果树图像检测出的果实个数；
S9.3、将每张果树图像检测出的果实个数乘以单个果实重量，获得每张果树图像的预测产量；
S9.4、计算每张果树图像的预测产量与对应单张图像的果树实际产量的比值；
S9.5、将若干比值进行累加，再除以果树图像的总数，得到果树测产系数k，以降低遮挡果实对产量测定的影响。
在上述技术方案的基础上，获取单个果实重量的步骤如下：在果园中随机采摘若干果实，称其重量，再除以样本数，得到单个果实重量。
本发明的有益技术效果如下：
本发明通过优化改进YOLOv3深度学习模型，可以从大量训练样本中提取特征，经过多次迭代，学习到样本数据的内在规律，具有较高的识别精度。将改进后的模型部署在移动端开发板上，通过摄像头采集到的果树图像，可以在PC机上实时显示出当前帧果树的果实重量，鲁棒性较好，能够应对传统测产方法精度低和劳动强度大等问题，满足田间原位测产需求。
附图说明
本发明有如下附图：
图1为本发明所述基于改进YOLOv3的果园产量测定系统的工作流程示意图；
图2为本发明提出的自注意力机制模块的结构示意图；
图3为本发明提出的ShuffleNetv2_YOLOv3模型的结构示意图；
图4为本发明所述基于改进YOLOv3的果园产量测定系统的系统结构示意框图；
图5为本发明所述基于改进YOLOv3的果园产量测定系统的作业场景示意图；
图6为本发明在苹果园具体实施中的检测结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚和完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明做进一步详细的说明。
参见图1-6，本发明提供一种基于轻量化神经网络模型的果园产量测定系统，采用本发明内容中所述的系统，对山东某苹果园进行测产，具体过程如下：
一：获取单个苹果重量；
二：搭建基于改进YOLOv3的苹果树测产模型；
三：将基于改进YOLOv3的苹果树测产模型部署于移动端(即开发板)，并测定苹果产量。
首先，在果园中随机采摘若干苹果，称其重量，再除以个数，得到单个苹果重量。
然后，搭建基于改进YOLOv3(又称为：yolov3)的果树测产模型，包括以下步骤：
S1：采集苹果树图片(即图像)，制作初始样本数据集，具体包括：将一块白色幕布用竹杆支撑，置于果树后方；将开发板及其摄像头搭载在无人机上；开启摄像头，拍摄苹果树视频，并对其进行分帧处理，将视频中的每一帧图像提取出来，得到苹果树图像序列集(简称：果树序列集)；对图像序列集进行人工筛选处理，删除重复图像和无果实图像，获得苹果树图像，并利用Labelimg标注工具对果树图像进行标注苹果，得到初始样本数据集；
S2：获得目标检测样本数据集的真实框的标注文件，具体包括：对初始样本数据集进行数据增强，得到目标检测样本数据集(即完备样本数据集)，步骤S2具体包括：对步骤S1得到的初始样本数据集进行裁剪、旋转、缩放、平移、添加噪声、调整对比度、调整亮度、调整饱和度或混合叠加等操作，将经过上述操作的初始样本以及未经过上述操作的样本合并，以扩充初始样本数据集的样本数量，得到目标检测样本数据集，形成真实框标注文件；由于数据集的成本比较高，收集大量的数据费时费力，采用基于现有的数据生成更多的数据，可以提高模型精度。
S3：训练集与测试集划分，具体包括：将目标检测样本数据集按一定比例划分为训练集和测试集；
S4：优化改进YOLOV3的网络结构，具体包括：将YOLOv3的骨干网络DarkNet-53更换为ShuffleNetv2模块(又称为：SHUFFLENETv2模块)，将自注意力机制模块嵌入到ShuffleNetv2模块后，以增强苹果重要特征指向性；并将YOLOv3检测网络中包括上采样部分的卷积模块全部更换为参数量更少的深度可分离卷积模块，得到ShuffleNetv2_YOLOv3模型(即图3中的ShuffleNetv2_YOLOv3模型)。改进后的ShuffleNetv2_YOLOv3网络模型包括：1个输入层、2个输出层、1个3*3标准卷积层、18个3*3深度卷积层(即3×3深度卷积层)、14个1*1逐点卷积层(即1×1逐点卷积层)、10个BN层、12个Sigmoid层，3个联结层和1个上采样层，输入为384*384*3(其中，第一个384表示图像的长度，第二个384表示图像的宽度，3表示RGB值)的图像，输出为48*48*18(其中，第一个48表示图像的长度，第二个48表示图像的宽度，18表示图像的个数)的图像和24*24*18(其中，第一个24表示图像的长度，第二个24表示图像的宽度，18表示图像的个数)的图像。
所述改进后的ShuffleNetv2_YOLOv3模型的网络结构为：将输入层与3*3标准卷积层连接，3*3标准卷积层与第一个ShuffleNetv2模块连接，第一个ShuffleNetv2模块与第一个自注意力机制模块连接，第一个自注意力机制模块与第二个ShuffleNetv2模块连接，第二个ShuffleNetv2模块与第二个自注意力机制模块连接，第二个自注意力机制模块与第一个3组深度可分离卷积模块连接；第一个3组深度可分离卷积模块的输出经过上采样层处理后，与第一个自注意力机制模块的输出经过联结层处理；联结层的处理结果输入第二个3组深度可分离卷积模块；
将第一个3组深度可分离卷积模块的输出(输出为：24*24*18的图像，用于：大目标的检测)与第二个3组深度可分离卷积模块的输出(输出为：48*48*18的图像，用于：小目标的检测)为所述改进后的ShuffleNetv2_YOLOv3模型的输出。
所述ShuffleNetv2模块包括：3个1×1逐点卷积层、5个3×3深度卷积层和3个Sigmoid层；
每组深度可分离卷积模块包括：1×1逐点卷积层(简称：逐点卷积)和3×3深度卷积层(简称深度卷积)；
所述自注意力机制模块的网络结构为：将自注意力机制模块的输入与3*3深度卷积层连接；3*3深度卷积层的输出经过正则化处理后，再与1*1逐点卷积层连接；1*1逐点卷积层的输出经过第一个Sigmoid激活函数处理；第一个Sigmoid激活函数处理结果输入全局平均池化层，全局平均池化层的输出再经过第二个Sigmoid激活函数处理；第二个Sigmoid激活函数处理结果经扩展维度后，与自注意力机制模块的输入逐元素相乘，获得输出结果一；第一个Sigmoid激活函数处理结果同时输入全局最大池化层，全局最大池化层的输出再经过第三个Sigmoid激活函数处理；第三个Sigmoid激活函数处理结果经扩展维度后，与自注意力机制模块的输入逐元素相乘，获得输出结果二；将所述输出结果一和输出结果二进行联结，将联结结果作为自注意力机制模块的输出。
由于模型大量使用了深度可分离卷积代替标准卷积，所以，参数量大大降低，ShuffleNetv2_YOLOv3模型权重文件为2.2MB，仅为YOLOv3权重文件的1％，并且模型精度损失较少。
S5：训练ShuffleNetv2_YOLOv3模型，具体包括：利用K-means聚类方法计算得到具体的先验框的尺寸，具体是：加载目标检测样本数据集的真实框的标注文件，计算真实框与先验框的交并比值，通过对交并比值进行K-means聚类，得到先验框的尺寸(即图1中所示，输出聚类后的先验值尺寸)；将先验框的尺寸和其他超参数输入到ShuffleNetv2_YOLOv3模型中，利用训练集对ShuffleNetv2_YOLOv3模型进行训练，直至收敛，得到训练后的模型权重文件一；
S6：压缩模型权重文件一，具体包括：对ShuffleNetv2_YOLOv3模型进行模型剪枝，统计各网络层的敏感度信息，根据当前统计的敏感度信息，对每个卷积层剪掉少量(例如：30％)卷积核；加载模型权重文件一，统计每秒浮点运算次数FLOPS，如果FLOPS不满足要求(即不满足预设的阈值，阈值根据部署要求可以调节)，重复上述操作；如果FLOPS已满足要求，使用较小的学习率(采用不同的学习率去调试)训练ShuffleNetv2_YOLOv3模型，直至收敛，得到剪枝后的模型权重文件二(简称：权重文件二)；统计网络权重取值范围，找出模型权重文件二的最大值和最小值，将所有的浮点型权重数值映射成整型数值，，使用较小的学习率训练ShuffleNetv2_YOLOv3模型，直至收敛，得到量化后的模型权重文件三(简称：权重文件三)；对ShuffleNetv2_YOLOv3模型进行知识蒸馏，加载模型权重文件三，使用一个预先训练好的大型网络训练ShuffleNetv2_PBAM_YOLOv3网络，得到知识蒸馏后的模型权重文件四(简称：权重文件四)；
S7：测试改进YOLOv3的网络性能，具体包括：载入压缩后的模型权重文件四，利用测试集测试ShuffleNetv2_YOLOv3模型的性能。
进一步地，所述将基于改进YOLOv3的苹果树测产模型部署于移动端，并进行果园产量测定，具体包括以下步骤：
S8：部署基于改进YOLOv3的苹果树测产模型与权重文件，具体包括：将ShuffleNetv2_YOLOv3模型和压缩后的模型权重文件四部署到开发板上，并将开发板及其摄像头搭载在无人机上，开发板远程连接PC机；
S9：确定苹果树测产系数k，具体包括：利用摄像头拍摄若干张苹果树图片(即图像)，采摘拍摄图片中的苹果并称重，获得单张图片的苹果树实际产量；利用ShuffleNetv2_YOLOv3模型和压缩后的模型权重文件四对苹果树图片进行检测，分别统计每张图片检测出的苹果个数，并将苹果个数乘以单个苹果重量，获得单张苹果树图片的预测产量。将苹果树图片的预测产量与苹果树实际产量的比值进行累加，再除以苹果树图片的总数，得到苹果树测产系数k(即如图1所示的果树估计产系数和果树预测产系数)，以降低遮挡果实对产量测定的影响。
S10：苹果总数检测，具体包括：开启摄像头，启动无人机，利用开发板实时读取当前帧苹果树图片，并进行检测，获得模型检测到的苹果总数；
S11：单帧图片苹果树产量检测，具体包括：将单个苹果重量乘以果实数，再乘以苹果树测产系数k，得到单帧图片苹果树产量，并在PC机上实时显示；
S12：苹果整体产量检测，具体包括：设定摄像头的拍照间隔，设定苹果园第1行入口为起点，无人机搭载开发板正对果树，操纵无人机沿“弓”字型在树行间飞行，直至采集苹果树的所有图片；利用开发板对之前检测到的产量进行累加，得到苹果园整体产量，并在PC机上显示。
本发明的上述实施例仅仅是为清楚地说明本发明所做的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述发明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
本说明书中未做详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (10)
1.一种基于改进YOLOv3的果园产量测定系统，其特征在于，包括：摄像头、开发板、无人机和PC机；
所述摄像头和开发板均搭载安装在无人机上；
所述摄像头与开发板连接，所述开发板与PC机远程连接；
所述摄像头用于：拍摄果树视频，并对果树视频进行分帧处理，提取果树视频中的每一帧图像，得到果树图像序列集，并传送给开发板；
所述开发板用于：部署基于改进YOLOv3的果树测产模型，并利用所述果树测产模型得到单帧图像果树产量和果园整体产量，且将单帧图像果树产量和果园整体产量发送至PC机；
所述无人机用于：沿“弓”字型在果园的树行间飞行，直至采集到果园中果树的所有图像；
所述PC机用于：实时显示单帧图像果树产量和果园整体产量。
2.如权利要求1所述的基于改进YOLOv3的果园产量测定系统，其特征在于：搭建所述基于改进YOLOv3的果树测产模型，具体包括以下步骤：
S1、采集果树图像，制作初始样本数据集；
S2、对初始样本数据集进行数据增强，获得目标检测样本数据集的真实框的标注文件；
S3、划分训练集与测试集：将目标检测样本数据集划分为训练集和测试集；
S4、优化改进YOLOv3的网络结构，得到改进后的ShuffleNetv2_YOLOv3模型；
S5、训练ShuffleNetv2_YOLOv3模型，得到训练后的模型权重文件一；
S6、压缩模型权重文件一；
S7、测试改进YOLOv3的果树测产模型的网络性能。
3.如权利要求2所述的基于改进YOLOv3的果园产量测定系统，其特征在于：所述步骤S1的具体步骤如下：
S1.1、将一块白色幕布用竹杆支撑，置于果树后方；
S1.2、开启摄像头，拍摄果树视频，并对果树视频进行分帧处理，提取果树视频中的每一帧图像，得到果树图像序列集；
S1.3、对果树图像序列集进行人工筛选处理，删除重复图像和无果实图像，获得果树图像，并利用Labelimg标注工具对所述果树图像进行标注果实，得到初始样本数据集；
所述步骤S2的具体步骤如下：
对初始样本数据集进行裁剪、旋转、缩放、平移、添加噪声、调整对比度、调整亮度、调整饱和度或混合叠加操作，将经过上述操作的初始样本以及未经过上述操作的样本合并，得到目标检测样本数据集，形成真实框标注文件。
4.如权利要求3所述的基于改进YOLOv3的果园产量测定系统，其特征在于：所述步骤S4的具体步骤如下：
S3.1、将YOLOv3的骨干网络DarkNet-53更换为ShuffleNetv2模块，同时将自注意力机制模块嵌入ShuffleNetv2模块；
S3.2、将YOLOv3网络中包括上采样部分的卷积模块全部更换为深度可分离卷积模块，得到改进后的ShuffleNetv2_YOLOv3模型。
5.如权利要求4所述的基于改进YOLOv3的果园产量测定系统，其特征在于：所述改进后的ShuffleNetv2_YOLOv3网络模型的网络结构为：将输入层与3*3标准卷积层连接，3*3标准卷积层与第一个ShuffleNetv2模块连接，第一个ShuffleNetv2模块与第一个自注意力机制模块连接，第一个自注意力机制模块与第二个ShuffleNetv2模块连接，第二个ShuffleNetv2模块与第二个自注意力机制模块连接，第二个自注意力机制模块与第一个3组深度可分离卷积模块连接；第一个3组深度可分离卷积模块的输出经过上采样层处理后，与第一个自注意力机制模块的输出经过联结层处理；联结层的处理结果输入第二个3组深度可分离卷积模块；将第一个3组深度可分离卷积模块的输出与第二个3组深度可分离卷积模块的输出为所述改进后的ShuffleNetv2_YOLOv3模型的输出；
每组深度可分离卷积模块包括：1×1逐点卷积层和3×3深度卷积层；
所述自注意力机制模块的网络结构为：将自注意力机制模块的输入与3*3深度卷积层连接；3*3深度卷积层的输出经过正则化处理后，再与1*1逐点卷积层连接；1*1逐点卷积层的输出经过第一个Sigmoid激活函数处理；第一个Sigmoid激活函数处理结果输入全局平均池化层，全局平均池化层的输出再经过第二个Sigmoid激活函数处理；第二个Sigmoid激活函数处理结果经扩展维度后，与自注意力机制模块的输入逐元素相乘，获得输出结果一；第一个Sigmoid激活函数处理结果同时输入全局最大池化层，全局最大池化层的输出再经过第三个Sigmoid激活函数处理；第三个Sigmoid激活函数处理结果经扩展维度后，与自注意力机制模块的输入逐元素相乘，获得输出结果二；将所述输出结果一和输出结果二进行联结，将联结结果作为自注意力机制模块的输出。
6.如权利要求5所述的基于改进YOLOv3的果园产量测定系统，其特征在于：所述步骤S5的具体步骤如下：
S5.1、加载目标检测样本数据集的真实框的标注文件，计算真实框与先验框的交并比值，通过对交并比值进行K-means聚类，得到先验框的尺寸；
S5.2、将先验框的尺寸输入到ShuffleNetv2_YOLOv3模型中；
S5.3、利用训练集对ShuffleNetv2_YOLOv3模型进行训练，直至收敛，得到训练后的模型权重文件一。
7.如权利要求6所述的基于改进YOLOv3的果园产量测定系统，其特征在于：所述步骤S6的具体步骤如下：
S6.1、对ShuffleNetv2_YOLOv3模型进行模型剪枝，统计各网络层的敏感度信息；
S6.2、根据当前统计的敏感度信息，对每个卷积层剪掉30％的卷积核；
S6.3、加载模型权重文件一，统计每秒浮点运算次数，如果每秒浮点运算次数不满足预设的阈值，重复步骤S6.1-S6.2；
如果每秒浮点运算次数已满足预设的阈值，训练ShuffleNetv2_YOLOv3模型，直至收敛，得到剪枝后的模型权重文件二；
S6.4、统计网络权重取值范围，找出模型权重文件二的最大值和最小值，将所有的浮点型权重数值映射成整型数值，训练ShuffleNetv2_YOLOv3模型，直至收敛，得到量化后的模型权重文件三；
S6.5、对ShuffleNetv2_YOLOv3模型进行知识蒸馏，加载模型权重文件三，使用ResNet网络训练ShuffleNetv2_PBAM_YOLOv3模型的网络，得到知识蒸馏后的模型权重文件四。
8.如权利要求7所述的基于改进YOLOv3的果园产量测定系统，其特征在于：所述步骤S7的具体步骤如下：
载入压缩后的模型权重文件四，利用测试集测试ShuffleNetv2_YOLOv3模型的性能。
9.如权利要求8所述的基于改进YOLOv3的果园产量测定系统，其特征在于：所述部署基于改进YOLOv3的果树测产模型，得到单帧图像果树产量和果园整体产量的具体步骤如下：
S8、将ShuffleNetv2_YOLOv3模型和压缩后的模型权重文件四部署到开发板上；
S9、确定果树测产系数k；
S10、启动无人机，利用开发板实时读取当前帧果树图像，并进行检测，获得当前帧果树图像的总果实数；
S11、将单个果实重量乘以总果实数，再乘以果树测产系数k，得到单帧图像果树产量，并发送到PC机上实时显示；
S12、设定摄像头的拍照间隔，设定果园的某个位置为拍摄起点，操纵无人机沿“弓”字型在果园的树行间飞行，直至采集到果园中果树的所有图像；利用开发板对单帧图像果树产量进行累加，得到果园整体产量，并发送到PC机上显示。
10.如权利要求9所述的基于改进YOLOv3的果园产量测定系统，其特征在于：步骤S9的具体步骤如下：
S9.1、利用摄像头拍摄若干张果树图像；对应每张果树图像采摘相应果树拍摄图像中的果实，并分别称重，获得若干单张图像的果树实际产量；
S9.2、利用ShuffleNetv2_YOLOv3模型和压缩后的模型权重文件四对步骤S9.1获得的若干张果树图像进行检测，分别统计每张果树图像检测出的果实个数；
S9.3、将每张果树图像检测出的果实个数乘以单个果实重量，获得每张果树图像的预测产量；
S9.4、计算每张果树图像的预测产量与对应单张图像的果树实际产量的比值；
S9.5、将若干比值进行累加，再除以果树图像的总数，得到果树测产系数k，以降低遮挡果实对产量测定的影响。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110967140.6A CN113763196A (zh) | 2021-08-23 | 2021-08-23 | 一种基于改进YOLOv3的果园产量测定系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110967140.6A CN113763196A (zh) | 2021-08-23 | 2021-08-23 | 一种基于改进YOLOv3的果园产量测定系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113763196A true CN113763196A (zh) | 2021-12-07 |
Family
ID=78790782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110967140.6A Pending CN113763196A (zh) | 2021-08-23 | 2021-08-23 | 一种基于改进YOLOv3的果园产量测定系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763196A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114745525A (zh) * | 2022-04-08 | 2022-07-12 | 中国矿业大学 | 一种载体寄生式公路附属设施智能定点巡查方法 |
| CN114743104A (zh) * | 2022-04-15 | 2022-07-12 | 华南农业大学 | 一种便携式甘蔗田间测产系统 |
| CN118010579A (zh) * | 2024-04-03 | 2024-05-10 | 山东科技大学 | 一种船舶用海洋塑料微粒初筛系统及其图像检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291806A (zh) * | 2020-02-02 | 2020-06-16 | 西南交通大学 | 一种基于卷积神经网络工业产品标签号的识别方法 |
| CN111461291A (zh) * | 2020-03-13 | 2020-07-28 | 西安科技大学 | 基于YOLOv3剪枝网络和深度学习去雾模型的长输管线巡检方法 |
| CN111709522A (zh) * | 2020-05-21 | 2020-09-25 | 哈尔滨工业大学 | 一种基于服务器-嵌入式协同的深度学习目标检测系统 |
| US20210012109A1 (en) * | 2019-07-08 | 2021-01-14 | National Taiwan University | System and method for orchard recognition on geographic area |
| CN112257612A (zh) * | 2020-10-23 | 2021-01-22 | 华侨大学 | 一种基于边缘智能的无人机视频帧过滤方法及装置 |
| CN113033390A (zh) * | 2021-03-23 | 2021-06-25 | 中国科学院空天信息创新研究院 | 一种基于深度学习的大坝遥感智能检测方法 |
| CN113221823A (zh) * | 2021-05-31 | 2021-08-06 | 南通大学 | 一种基于改进轻量级YOLOv3的交通信号灯倒计时识别方法 |
-
2021
- 2021-08-23 CN CN202110967140.6A patent/CN113763196A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210012109A1 (en) * | 2019-07-08 | 2021-01-14 | National Taiwan University | System and method for orchard recognition on geographic area |
| CN111291806A (zh) * | 2020-02-02 | 2020-06-16 | 西南交通大学 | 一种基于卷积神经网络工业产品标签号的识别方法 |
| CN111461291A (zh) * | 2020-03-13 | 2020-07-28 | 西安科技大学 | 基于YOLOv3剪枝网络和深度学习去雾模型的长输管线巡检方法 |
| CN111709522A (zh) * | 2020-05-21 | 2020-09-25 | 哈尔滨工业大学 | 一种基于服务器-嵌入式协同的深度学习目标检测系统 |
| CN112257612A (zh) * | 2020-10-23 | 2021-01-22 | 华侨大学 | 一种基于边缘智能的无人机视频帧过滤方法及装置 |
| CN113033390A (zh) * | 2021-03-23 | 2021-06-25 | 中国科学院空天信息创新研究院 | 一种基于深度学习的大坝遥感智能检测方法 |
| CN113221823A (zh) * | 2021-05-31 | 2021-08-06 | 南通大学 | 一种基于改进轻量级YOLOv3的交通信号灯倒计时识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李向东等: "小麦田间测产和实际产量转换系数实证研究", vol. 36, no. 36, pages 70 * |
| 李志军等: "基于轻量化改进YOLOv5 的苹果树产量测定方法", vol. 3, no. 3, pages 101 - 107 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114745525A (zh) * | 2022-04-08 | 2022-07-12 | 中国矿业大学 | 一种载体寄生式公路附属设施智能定点巡查方法 |
| CN114743104A (zh) * | 2022-04-15 | 2022-07-12 | 华南农业大学 | 一种便携式甘蔗田间测产系统 |
| CN118010579A (zh) * | 2024-04-03 | 2024-05-10 | 山东科技大学 | 一种船舶用海洋塑料微粒初筛系统及其图像检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113763196A (zh) | 一种基于改进YOLOv3的果园产量测定系统 | |
| CN113392775B (zh) | 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法 | |
| Zhou et al. | Strawberry maturity classification from UAV and near-ground imaging using deep learning | |
| CN114387520B (zh) | 一种用于机器人采摘的密集李子精准检测方法及其系统 | |
| CN107067043A (zh) | 一种农作物病虫害检测方法 | |
| CN111652326A (zh) | 基于MobileNet v2网络改进的果实成熟度识别方法和识别系统 | |
| CN109063660B (zh) | 一种基于多光谱卫星影像的作物识别方法 | |
| CN113192026A (zh) | 一种基于可见光图像的核桃成熟度检测与预测方法 | |
| CN114708231A (zh) | 一种基于轻量化YOLO v5的甘蔗蚜虫目标检测方法 | |
| CN103090946B (zh) | 果树单树产量测量的方法和系统 | |
| CN113657469A (zh) | 基于图像识别的木本植物物候期的自动观测方法和系统 | |
| WO2023197496A1 (zh) | 一种机采棉脱叶效果综合评价指标监测与评价方法及系统 | |
| CN111666897A (zh) | 基于卷积神经网络的斑石鲷个体识别方法 | |
| CN113537293A (zh) | 基于无人机和全卷积神经网络的小麦倒伏区域识别方法 | |
| CN114898238A (zh) | 一种野生动物遥感识别方法及装置 | |
| CN116912674A (zh) | 基于改进的YOLOv5s网络模型复杂水环境下目标检测方法及系统 | |
| Lin et al. | A novel approach for estimating the flowering rate of litchi based on deep learning and UAV images | |
| CN112507770B (zh) | 一种水稻病虫害识别方法和系统 | |
| CN117197595A (zh) | 基于边缘计算的果树生育期识别方法、装置及管理平台 | |
| CN111523503A (zh) | 基于改进ssd算法的苹果目标检测方法 | |
| CN110705698A (zh) | 尺度自适应感知的目标计数深度网络设计方法 | |
| CN116189076A (zh) | 一种鸟类观测站的观测识别系统及其方法 | |
| CN115690778A (zh) | 基于深度神经网络的成熟期水果的检测与跟踪计数的方法 | |
| CN115690521A (zh) | 一种芥蓝成熟度识别方法 | |
| CN114708505A (zh) | 基于无人机低空可见光图像和目标检测网络的小麦估产方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211207 |