CN110222215A

CN110222215A - 一种基于f-ssd-iv3的作物害虫检测方法

Info

Publication number: CN110222215A
Application number: CN201910470899.6A
Authority: CN
Inventors: 何勇; 吴剑坚; 曾鸿; 许剑
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2019-05-31
Filing date: 2019-05-31
Publication date: 2019-09-10
Anticipated expiration: 2039-05-31
Also published as: NL2025689A; NL2025689B1; CN110222215B

Abstract

本发明公开了一种基于F‑SSD‑IV3的作物害虫检测方法，包括以下步骤：(1)采集害虫图像，构建一个作物害虫数据库。(2)构建F‑SSD‑IV3目标检测算法，以Inception V3代替VGG‑16作为特征提取器，对于输出的不同尺度的特征图，设计一种特征融合方法对上下文信息进行融合，最后使用Softer NMS微调候选框。(3)在训练时对网络进行了优化，使用数据扩增和增加Dropout层的方法提高检测性能和模型的泛化能力。

Description

一种基于F-SSD-IV3的作物害虫检测方法

技术领域

本发明属于深度学习与计算机视觉领域，尤其是涉及一种基于F-SSD-IV3的作物害虫检测方法。

背景技术

随着全球人口的不断增长，对于粮食的需求也在大幅增加，由于自然环境及作物自身因素的影响，作物在不同的生长阶段中不可避免地会受到害虫的攻击。若无法及时检测到害虫并消除它，可能会造成虫害的爆发，大规模虫害的爆发会影响到作物的健康生长，从而对作物的产量和品质造成较大的损害。

传统的害虫鉴定建立在形态、颜色和纹理等形态特征的基础上,依赖人工识别的方法，结果存在着一定的主观性/时效性差/劳动密集.早期鉴定害虫是建立在模板匹配技术和简单的模型上，使用人工设计的特征提取害虫图像的特征.常见的特征如方向梯度直方图(Histogram of Oriented Gradient，HOG)、局部二值模式(Local Binary Pattern，LBP)、尺度不变特征变换(Scale-invariant Feature Transform，SIFT)、Haar-like和可变形部件模型(Deformable Parts Model，DPM)等。不过人工设计特征取决于先验知识,难以精准表达出目标害虫的颜色和形态，缺乏鲁棒性。此外，上述方法的应用场景具有局限性，仅适用于理想的实验室环境下。

近年来，依托卷积神经网络(Convolutional Neural Networks，CNN)强大的特征表达能力，基于深度学习的目标检测方法在检测性能上取得了很大的突破.一般而言，基于深度学习的目标检测方法可分为两类：基于候选区域的目标检测方法和基于回归的目标检测方法。基于候选区域的目标检测方法，算法流程为从图像中生成候选区域，从中提取特征生成感兴趣区域(Region of Interest，RoI)，最后进行分类及回归，常见的算法有R-CNN[53]、Fast R-CNN[54]、Faster R-CNN[55]和R-FCN[56]。这类方法具有精度较高但是检测速度慢。目前对象检测的主要趋势是转向更快、更高效的检测，在YOLO[59]、SSD[60]等基于回归的目标检测方法中具有明显的速度优势。对于输入的图像，在没有候选区域的情况下在图像的多个位置同时预测边界框和类别。其中YOLO的局限性在于对边界框的预测施加了强大的空间约束，难以检测到多尺度小目标的物体。而SSD虽然检测速度基本上达到了实时，但是在面对小目标物体时，检测的性能较差。在实际的大田环境中，背景复杂，害虫种类/姿态多样，获取的害虫图像中目标尺寸较小，因此现有的检测方法无法很好的满足作物虫害检测领域的需求。

发明内容

为了解决现有的目标检测算法无法很好地平衡检测速度和检测精度之间的矛盾，同时针对现有的害虫图像样本数量少，目标对象小，姿态变化多样和易被遮挡等特点，本发明对SSD目标检测算法进行了改进，提出了一种新的目标检测方法F-SSD-IV3用于检测作物害虫。

为实现上述目的，本发明提供了如下的技术方案，如图1所示：

(1)通过互联网下载、智能手机拍摄、数码相机拍摄等方式采集害虫图像，构建一个作物害虫数据库。

(1-1)害虫的图像为RGB图像，统一设置格式为JPEG，以害虫名称加连续数字为其命名；

(1-2)使用图像标注工具LabelImg标记图像中害虫的类别和矩形边界框，矩形边界框由xmin，ymin，xmax，ymax四个坐标信息构成；

(2)构建F-SSD-IV3目标检测算法，以Inception V3代替VGG-16作为特征提取器，对于输出的不同尺度的特征图，设计一种特征融合方法对上下文信息进行融合，最后使用Softer NMS。方法如图2所示，详细过程如下：

(2-1)选择Inception V3为F-SSD-IV3的基础网络。Inception V3网络的结构如图3所示，由卷积层、卷积层、卷积层、池化层、卷积层、卷积层、池化层、Mixed1_a，Mixed1_b，Mixed1_c，Mixed2_a、Mixed2_b、Mixed2_c、Mixed2_d、Mixed2_e、Mixed3_a、Mixed3_b、Mixed3_c，池化层、dropout层、全连接层组成。输入的图像尺寸为300×300×3，卷积核的维度包含了1×1，1×3，3×1，3×3，5×5，1×7，7×1，池化层包括了最大值池化与平均池化，维度为3×3。得到的特征图尺寸为149×149×32，147×147×32，147×147×64，73×73×64，73×73×80，71×71×192，35×35×192，35×35×256，35×35×288，35×35×288，17×17×768，17×17×768，17×17×768，17×17×768，17×17×768，8×8×1280，8×8×2048，8×8×2048，1×1×2048。

(2-2)然后在Inception V3后添加6个卷积层的附加网络，卷积核大小分别为1×1×256，3×3×512(步长为2)，1×1×128，3×3×256(步长为2)，1×1×256，3×3×128(步长为1)，得到三个尺寸逐渐减小的特征图，大小分别为4×4×512，2×2×256，1×1×128。

(2-3)对步骤2-2中输出的特征图、Mixed1_c特征图、Mixed2_e特征图、Mixed3_c特征图进行特征融合，以解决原SSD目标检测方法后期的特征图严重缺乏全局的上下文信息，难以检测到小目标物体的问题。特征融合方法如图3所示，即先对后一层的特征图进行反卷积，再通过级联的方式与上一层的特征图进行特征融合，输出一个新的特征图。对于网络结构输出的候选框，可以表示为下式：

输出候选框＝{P_n-k(f′_n-k),...,P_n(f′_n)}

f′_n＝f_n

f′_n-1＝f′_n+f_n-1

f′_n-k＝f′_n+f′_n-1+...+f_n-k

其中n＞k＞0

其中，f′_n表示经级联后第n层输出的特征图，P表示每个特征图生成的候选框。

图4中的“+”表示级联模块，由反卷积层、3×3卷积层和1×1卷积层构成，可将将高级的特征传递到低层。为了组合不同尺寸的特征图，级联模块使用反卷积层，产生与输入相同高度和宽度的特征图。然后使用两个3×3卷积层以更好地学习特征。在连接前使用标准化层，对输入的特征图归一化处理，归一化可以解决度爆炸的问题，在网络训练时可以大幅提高训练的速度。Concat可以将两个特征图组合梯度消失和梯在一起，两者除了拼接维度外其他的维度相同。1×1卷积层的引入是为了进行降维和特征重组。

(2-4)对尺寸m×n的特征图中每个位置的k个候选框使用卷积，卷积核尺寸为(c+4)k，预测c个类别分数和4个位置变化，最终产生m×n×k(c+4)个预测输出。其中，特征图的候选框的最小尺度S_min＝0.2和最大尺度S_max＝0.9。本发明将S_min＝0.1，S_max＝0.95。使得特征图的候选框尺寸范围更大。为了保证层与层之间的尺度过渡平稳，本发明为每层的特征图增加一个新尺度以提高检测准确性。此外设置候选框默认宽高比当a_r＝1时，额外增加一个候选框，尺寸为

(2-5)原SSD算法的检测中，使用NMS以保留有较高置信度的候选框，产生的数量众多(SSD512产生24,564个候选框)且包含重叠的候选框。①对于每个候选框，使用Soft NMS选择候选框。②对于每个选择的候选框M，判断其他候选框与M候选框的IoU是否大于阈值p。③若所有大于阈值p的候选框进行加权平均，更新其位置坐标。

(2-6)SSD的损失函数位置损失L_loc和分类损失L_conf两部分组成，可表示：

其中，N表示与真实边框匹配的候选框数量，c为每类的置信度，l为候选框的平移和尺度变化大小，g为真实边框的位置信息，一般设置参数a＝1。

(3)在训练时对网络进行了优化，使用数据扩增和增加Dropout层的方法提高检测性能和模型的泛化能力。

(3-1)害虫的数据集较小、获取新数据较为困难、获取足量标注的数据集代价较高，因此本发明采用了一种数据扩增的方法以扩大数据集。数据扩增可表示为下式:

其中，S表原训练数据，T表经数据扩增后得到的数据，为采用的数据扩增方法；

本发明采用普通的数据扩增方式,随机调整了图像的亮度、对比度、饱和度，对图像进行翻转、旋转、裁剪和平移等。最终将训练集扩大的5倍。

(3-2)Dropout策略可防止模型出现过拟合的问题,在网络训练期间，每次迭代都以概率p随机抑制隐藏层中的部分神经元，最后采用综合取平均的策略组合不同的神经网络，作为最终输出的模型。本发明设置随机抑制隐藏层中的部分神经元的概率p＝0.5,0.6,0.7,0.8,0.9。

附图说明

图1为本发明的检测方法步骤图；

图2为F-SSD-IV3算法流程图；

图3为Inception V3的网络结构图；

图4为一种特征融合方法示意图。

具体实施方式

下面结合实施例和附图来详细说明本发明，但本发明并不仅限于此。

(1)实验数据：本发明采用浙江大学农业信息技术研究所收集的大田作物典型害虫数据集，数据集中的害虫图像涵盖了不同的图像尺寸、光线条件、遮挡程度、拍摄角度、目标害虫大小等信息。将数据库中的图像随机均匀分布在训练集、验证集和测试集中，比例为7:2:1。数据在训练集上训练模型，在验证集评估以挑选模型参数，最终使用测试集检测模型性能和效率。

(2)实验环境：实验工作站的规格：内存32GB，操作系统为Linux Ubuntu 16.04，CPU为Intel Core i7 7800X。TensorFlow支持多GPU训练，本发明在训练中共使用了2块NVIDIA GeForce GTX 1080Ti进行训练。采用Python作为编程语言，因为它支持TensorFlow深度学习框架。

(3)训练过程：首先对数据进行扩增，提高训练集，将输入的图像尺寸固定为300×300×3。然后对网络进行初始化，通过前向传播计算位置损失函数和分类损失函数的误差，通过反向传播更新参数，直到完成200,000次迭代，最后保存好参数。实验采用微调的方式，将在ImageNet上训练好的模型Inception V3作为SSD的特征提取网络，使用Inceoption V3的参数来初始化基础网络的参数，加快网络的训练速度。训练的超参数如下：初始化生成标准差为0.1，均值为0标准正态分布的随机数。采用Momentum的随机梯度下降法(StochasticGradient Descent，SGD)，权值取值为0.9，衰减系数也设置为0.9。相比SGD，Momentum优化器解决了噪声引入和收敛中来回摆动较大的两个问题。设定初始学习率为0.004，指数衰减参数为0.95，批量大小为24。一共迭代了200,000次，一次完整的训练约为20小时。训练中，当候选框和已标注的矩形框IoU超过0.6，则候选框为正样本，反之为负样本。

(4)根据验证集的结果不断调整模型的参数，将训练所得的最优模型应用了测试集以判断模型的性能。其中，当Dropout层的p为0.8时，mAP值取得最高值。将本发明提出的F-SSD-IV3算法分别与原始的SSD300、Faster R-CNN和R-FCN目标检测算法在同一测试集上进行对比，以The Pascal VOC挑战赛提出的目标检测标准性能评估指标mAP作为性能指标。

表1各算法性能对比

	F-SSD-IV3	SSD300	Faster R-CNN	R-FCN
					mAP	0.7481	0.6411	0.6781	0.6554
检测时间	0.076	0.048	0.151	0.148

由上表可知，SSD300的检测速度最快，检测单幅图像速度为0.048秒，但检测精度却是最低的。Faster R-CNN和R-FCN的检测精度均低于0.68，且检测单幅图像的速度约为0.15秒。相比于R-FCN与Faster R-CNN，F-SSD-IV3在检测的精度和速度上都具有较大的优势。因此，本发明提出的F-SSD-IV3较好地平衡了检测的精度和速度。对于在大田环境下实时准确地检测害虫具有较高的实用价值。

以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于F-SSD-IV3的作物害虫检测方法，其特征在于，包含以下步骤：

(1)采集害虫图像，构建作物害虫数据库；

(2)构建F-SSD-IV3目标检测算法，利用所述作物害虫数据库内的图像，以InceptionV3作为特征提取器，输出的不同尺度的特征图，并对所述的特征图进行特征融合，并使用Softer NMS微调候选框；

(3)通过数据扩增和增加Dropout层优化目标检测网络，得到最优的检测模型，用于检测图像中的作物害虫。

2.如权利要求1所述的基于F-SSD-IV3的作物害虫检测方法，其特征在于，所述作物害虫数据库中储存有不同的尺寸、光线条件、遮挡程度、拍摄角度和目标害虫大小的害虫图像。

3.如权利要求1所述的基于F-SSD-IV3的作物害虫检测方法，其特征在于，所述步骤(2)的具体过程如下：

(2-1)选择Inception V3为F-SSD-IV3的基础网络；Inception V3网络的结构由卷积层、卷积层、卷积层、池化层、卷积层、卷积层、池化层、Mixed1_a，Mixed1_b，Mixed1_c，Mixed2_a、Mixed2_b、Mixed2_c、Mixed2_d、Mixed2_e、Mixed3_a、Mixed3_b、Mixed3_c，池化层、dropout层、全连接层组成；卷积核的维度包含了1×1，1×3，3×1，3×3，5×5，1×7，7×1，池化层包括了最大值池化与平均池化，维度为3×3；得到的特征图尺寸为149×149×32，147×147×32，147×147×64，73×73×64，73×73×80，71×71×192，35×35×192，35×35×256，35×35×288，35×35×288，17×17×768，17×17×768，17×17×768，17×17×768，17×17×768，8×8×1280，8×8×2048，8×8×2048，1×1×2048；

(2-2)然后在Inception V3后添加6个卷积层的附加网络，卷积核大小分别为1×1×256，3×3×512；，1×1×128，3×3×256；，1×1×256，3×3×128；，得到三个尺寸逐渐减小的特征图，大小分别为4×4×512，2×2×256，1×1×128；

(2-3)对步骤2-2中输出的特征图、Mixed1_c特征图、Mixed2_e特征图、Mixed3_c特征图进行特征融合，输出一个新的特征图；

(2-4)对尺寸m×n的特征图中每个位置的k个候选框使用卷积，卷积核尺寸为(c+4)k，预测c个类别分数和4个位置变化，最终产生m×n×k(c+4)个预测输出；

(2-5)使用NMS以保留有较高置信度的候选框，产生的数量众多且包含重叠的候选框；对于每个候选框，使用Soft NMS选择候选框；对于每个选择的候选框M，判断其他候选框与M候选框的IoU是否大于阈值p；若所有大于阈值p的候选框进行加权平均，更新其位置坐标；

4.如权利要求3所述的基于F-SSD-IV3的作物害虫检测方法，其特征在于，在步骤(2-3)中，特征融合方法为：先对后一层的特征图进行反卷积，再通过级联的方式与上一层的特征图进行特征融合，输出一个新的特征图。

5.如权利要求3所述的基于F-SSD-IV3的作物害虫检测方法，其特征在于，对于网络结构输出的候选框，可以表示为下式：

输出候选框＝{P_n-k(f’_n-k),...,P_n(f’_n)}

f’_n＝f_n

f’_n-1＝f’_n+f_n-1

f’_n-k＝f’_n+f’_n-1+...+f_n-k

其中n＞k＞0

其中，f’_n表示经级联后第n层输出的特征图，P表示每个特征图生成的候选框。

6.如权利要求5述的基于F-SSD-IV3的作物害虫检测方法，其特征在于，设置候选框默认宽高比当a_r＝1时，额外增加一个候选框，尺寸为

7.如权利要求1所述的基于F-SSD-IV3的作物害虫检测方法，其特征在于，步骤(3)中的数据扩增表示为下式：

随机调整图像的亮度、对比度、饱和度，对图像进行翻转、旋转、裁剪和平移。

8.如权利要求1所述的基于F-SSD-IV3的作物害虫检测方法，其特征在于，Dropout策略为：在网络训练期间，每次迭代都以概率p随机抑制隐藏层中的部分神经元，最后采用综合取平均的策略组合不同的神经网络，作为最终输出的模型。