CN109919930A

CN109919930A - 基于卷积神经网络yolo v3的树上果实数量的统计方法

Info

Publication number: CN109919930A
Application number: CN201910173825.6A
Authority: CN
Inventors: 岑海燕; 朱逸航; 孙捷李越; 何勇; 朱月明; 翁海勇
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2019-03-07
Filing date: 2019-03-07
Publication date: 2019-06-21

Abstract

本发明涉及精细农业技术领域，公开了一种基于卷积神经网络YOLO V3的树上果实数量的统计方法，包括：获取若干含有果实的果树的RGB图片，并进行预处理和标注，构建训练集；采用训练集对卷积神经网络YOLO V3进行训练，获得果实识别模型；获取待测果树的向阳面以及背阳面的整体RGB图片，进行预处理，获得若干待测果树图片；将获得的若干待测果树图片输入至果实识别模型，对所有待测果树图片中的果实数量进行统计求和，获得该棵果树上果实数量的初步估计值；将初步估计值乘以经验参数α，获得该棵果树上果实数量的统计值。该统计方法不受环境光条件、果实重叠以及叶片遮挡等干扰下的影响。

Description

基于卷积神经网络YOLO V3的树上果实数量的统计方法

技术领域

本发明涉及精细农业技术领域，尤其涉及一种基于卷积神经网络YOLO V3的树上果实数量的统计方法。

背景技术

在种植过程中，由于受自然环境、气候条件和病虫害等多种因素不同程度的影响，水果果树年产量表现出较大的波动性。因此研究果树年产量的变化规律，把握其动态特点，以对其进行科学准确的预测，以有效地指导生产。

目前，对果树产量的预测基本是通过经验观察来定性完成，其准确性有限，并且劳动量较大、效率低。

随着农业的发展，农业生产逐渐从机械化走向自动化、精准化，甚至智能化，国内外专家学者已将数字图像处理、双目立体视觉甚至深度学习的技术应用到果实的识别中。

例如，公开号为CN104700404A的中国专利文献公开了一种果实定位识别方法，利用神经网络颜色分类模型分割出果实像素区域；利用边缘检测算法对去除背景的果实像素区域图像进行边缘检测，检测出果实边界；利用图像中定位形状的霍夫变换技术对果实边缘图像进行霍夫变换的圆检测，获得果实圆及圆心位置，并且实现了对果实重叠区域的分割；基于图像深度信息，融合摄像头姿态信息和世界位置信息，采用世界坐标变换算法对每个果实圆心的世界坐标进行提取，实现果实的快速检测、精准定位和准确计数。

公开号为CN108021910A的中国专利文献公开了一种基于图谱识别和深度学习的果实分类的分析方法，利用移动机器人采集图像样本通过LMDB数据源的建立以及OpenCV图像预处理；在Caffe框架下进行网络参数的配置；利用CNN卷积神经网络算法构建标准模型，可以实现水果的分类和优选；并且绘制LOSS曲线判别曲线拟合程度。

然而，现有技术中依旧存在部分问题，使其不能很好地适用于实际生产过程，例如：现有识别技术识别率不高，鲁棒性较差，无法克服当果实被大量叶片遮挡时产生的问题；受自然光照条件得影响较大，需要严苛的环境光照条件等。

发明内容

本发明提供了一种基于卷积神经网络YOLO V3的树上果实数量的统计方法，可以解决由于光照条件和枝叶遮挡所产生的识别不准确的问题。

具体技术方案如下：

一种基于卷积神经网络YOLO V3的树上果实数量的统计方法，包括以下步骤：

(1)获取若干含有果实的果树的RGB图片，并进行预处理和标注，构建训练集；

(2)采用训练集对卷积神经网络YOLO V3进行训练，获得果实识别模型；

(3)获取待测果树的向阳面以及背阳面的整体RGB图片，进行预处理，获得若干待测果树图片；

(4)将获得的若干所述待测果树图片输入至所述的果实识别模型，获得每张待测果树图片中果实的具体位置及其边框；

(5)对所有待测果树图片中的果实数量进行统计求和，获得该棵果树上果实数量的初步估计值；

(6)将所述的初步估计值乘以经验参数α，获得该棵果树上果实数量的统计值；所述的经验参数α＝1～1.5。

所述的卷积神经网络YOLO V3的结构参见参考文献：Redmon J，FarhadiA.Yolov3：An incremental improvement[J].arXiv preprint arXiv：1804.02767，2018。

卷积神经网络YOLO V3不受环境光条件、果实重叠以及叶片遮挡等干扰下的影响，当果实受遮挡而露出20％以下时，卷积神经网络YOLO V3依旧可以对其做出准确的识别，当果实的颜色与环境颜色相近时，卷积神经网络YOLO V3仍然具有较高的识别率。

所述的预处理包括：

(i)对图片进行切割，使其宽度与长度方向的像素数量比为0.8～1；

(ii)对图片进行分割，使图片中的单个果实所包含的像素数量是该图片所包含像素数量总和的1％以上；

分割方法是：将图片均分成4个形状与该图片相同的小图片。

所述的标注为：对图片上的果实进行识别，并标记每个果实在图片中的位置和边界信息。

训练过程中，将损失函数设置为：

其中，为第i个果实的位置和边界信息的预测值，(x_i，y_i，w_i，h_i)为第i个果实的位置和边界信息的标记值，是该网格包含一个对象的概率与预测边界框和标签边界框的交集IOU值的乘积，C_i是预测边界框与标签边界框的交集IOU值，为给定种类概率(0或1)，p_i(c)为预测种类为给定种类的概率(范围0～1，表示识别物体是当前种类(class)的概率)，表示当有目标落在单元i的第j个bounding box中，表示当有目标落在单元i的所有bounding box中，λ_coord和λ_noobj为常数。

进一步优选的，λ_coord＝5，λ_noobj＝0.5。

为了节约计算资源，通过设置卷积神经网络YOLO V3，将训练样本的像素大小设置为416×416。

优选的，经验参数α＝1.25。

与现有技术相比，本发明的有益效果为：

(1)本发明的统计方法不受环境光条件、果实重叠以及叶片遮挡等干扰下的影响，当果实受遮挡而露出20％以下时，卷积神经网络YOLO V3依旧可以对其做出准确的识别；

(2)当果实的颜色与环境颜色相近时，卷积神经网络YOLO V3仍然具有较高的识别率。

附图说明

图1为模型训练流程示意图；

图2为卷积神经网络YOLO V3的结构示意图；

图3为利用果实识别模型识别树上果实的流程示意图；

图4为利用果实识别模型识别树上果实的结果示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

一种基于卷积神经网络YOLO V3(yolo(version3))的树上果实目标识别方法，包括以下步骤：

一、构建训练集对卷积神经网络YOLO V3进行训练，如图1所示。

S1、构建训练集和测试集并进行预处理，具体步骤如如下(以尚未成熟的柑橘为例)：

S1-1、将在imageNet数据库中获取的树上未成熟柑橘的RGB图片和从实验田中实地拍摄所取得RGB图像，创建成未成熟柑橘的图像数据集，按照具有光照变化、果实重叠现象变化、整体图像像素变化变化，随机从图像数据集中获取部分图像作为训练集。训练集用于建立预训练模型(即yolo(version3)卷积神经网络)

S1-2、通过数据采集人员或者机器人，在距离果树指定距离的位置用常规相机(包括手机相机)，采集果树向阳面以及背面的整体RGB图像，作为测试集。测试集用来测试该预训练模型得泛化能力。

S1-3、对训练集和测试集中的图片样本进行预处理。若图片的长度与宽度像素数量不相近(即宽度与长度方向的像素数量比不在0.8～1之间)，则对图片进行切割使其符合要求。

S1-4、若图片内果实所占比例过小(单个果实所包含的像素数量小于该图片所包含像素数量总和的1％)，则对图片进行分割，分割步骤包括：将图片均分成4个小正方形，直至小图片符合要求，可避免yolo算法中每个格子可以预测B个bounding box，但是最终只选择IOU最高的bounding box作为物体检测输出，即每个格子最多只预测出一个物体的情况。

在本发明中，例如当物体占画面比例较小，若大图像中包含较小的葡萄串时，每个格子包含多个物体(葡萄)，但却只能检测出其中一个，使得最终检测结果有误。

S1-5、对预处理后的训练集的图像进行标注，即对训练集中图片上的果实前进行人工识别，并使用labeling软件标记果实的位置和边界信息(x，y，w，h)，其中(x，y)代表果实在图像上的坐标，(w，h)代表果实所在矩形的宽度和高度；

S2、利用训练集对卷积神经网络YOLO V3进行训练，具体包括如下步骤：

S2-1、将训练样本输入至卷积神经网络YOLO V3中，为了节约计算资源，通过设置卷积神经网络YOLO V3，将训练样本的像素大小更改为416×416；

S2-2、卷积神经网络YOLO V3的结构(参考文献：Redmon J，Farhadi A.Yolov3：Anincremental improvement[J].arXiv preprint arXiv：1804.02767，2018.)如图2所示，包括表1中各层：

表1卷积神经网络YOLO V3的结构

训练过程中，将损失函数设置为：

其中，为第i个果实的位置和边界信息的预测值，(x_i，y_i，w_i，h_i)为第i个果实的位置和边界信息的标记值，是该网格包含一个对象的概率与预测边界框和标签边界框的交集IOU值的乘积，C_i是预测边界框与标签边界框的交集IOU值，为给定种类概率(0或1)，p_i(c)为预测种类为给定种类的概率(范围0～1，表示识别物体是当前种类(class)的概率)，表示当有目标落在单元i的第j个bounding box中，表示当有目标落在单元i的所有bounding box中，λ_coord＝5，λ_noobj＝0.5。

S2-3、经过训练集训练后，获得识别模型。

S3、采用识别模型对果树上果实数量进行统计，包括如下步骤：

S3-1、将预处理后的测试集图像输入至识别模型中，计算出测试样本图像中所有果实的具体位置以及其边框，如图3所示。

S3-2、将同一颗果树正面与背面的所有图片中果实数量进行统计求和，获得该果树上果实数量的初步估计值SUM。

S3-3、将初步估计值SUM乘以一个经验参数α，获得该棵果树上果实的统计值K。经验参数α＝1.25。

通过测试集对果实识别模型进行测试，其识别准确率为95％左右。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims

1.一种基于卷积神经网络YOLO V3的树上果实数量的统计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于卷积神经网络YOLO V3的树上果实数量的统计方法，其特征在于，所述的预处理包括：

(i)对训练集中的图片进行切割，使其宽度与长度方向的像素数量比为0.8～1；

(ii)对训练集中的图片进行分割，使图片中的单个果实所包含的像素数量是该图片所包含像素数量总和的1％以上。

3.根据权利要求2所述的基于卷积神经网络YOLO V3的树上果实数量的统计方法，其特征在于，分割方法是：将图片均分成4个形状与该图片相同的小图片。

4.根据权利要求1所述的基于卷积神经网络YOLO V3的树上果实数量的统计方法，其特征在于，所述的标注为：对图片上的果实进行识别，并标记每个果实在图片中的位置和边界信息。

5.根据权利要求1所述的基于卷积神经网络YOLO V3的树上果实数量的统计方法，其特征在于，所述的卷积神经网络YOLO V3的结构参见参考文献：Redmon J，Farhadi A.Yolov3：An incremental improvement[J].arXiv preprint arXiv：1804.02767，2018。

6.根据权利要求5所述的基于卷积神经网络YOLO V3的树上果实数量的统计方法，其特征在于，训练过程中，将损失函数设置为：

7.根据权利要求6所述的基于卷积神经网络YOLO V3的树上果实数量的统计方法，其特征在于，λ_coord＝5，λ_noobj＝0.5。

8.根据权利要求5所述的基于卷积神经网络YOLO V3的树上果实数量的统计方法，其特征在于，通过设置卷积神经网络YOLO V3，将训练样本的像素大小设置为416×416。

9.根据权利要求1所述的基于卷积神经网络YOLO V3的树上果实数量的统计方法，其特征在于，经验参数α＝1.25。