CN111027436A - 一种基于深度学习的东北黑木耳病虫害图像识别系统 - Google Patents

Abstract

本发明公开的属于图像识别系统技术领域，具体为一种基于深度学习的东北黑木耳病虫害图像识别系统，包括摄像头模块、网络数据传输模块、电脑端、数据处理模块、深度学习图像识别模块、分类结果处理模块和输出模块，所述摄像头模块电性输出连接所述网络数据传输模块，所述网络数据传输模块电性输出连接所述电脑端，所述电脑端电性输出连接所述数据处理模块，所述数据处理模块电性输出连接所述网络数据传输模块，所述网络数据传输模块电性输出连接所述分类结果处理模块，所述分类结果处理模块电性输出连接所述输出模块，该发明能够获取更完整的木耳病虫害数据集，有效的避免模型的过拟合程度，使训练模型能具有更好的鲁棒性与良好的检测性能。

Description

一种基于深度学习的东北黑木耳病虫害图像识别系统

技术领域

本发明涉及图像识别系统技术领域，具体为一种基于深度学习的东北黑木耳病虫害图像识别系统。

背景技术

传统的图像分类技术主要利用PC及嵌入式系统对输入的图像进行处理分析并选取能反映图像本质的特征，最后根据选取的特征将图像划分为若干类别中的某一类别。其中特征选择与提取以及分类器的选择在图像分类中至关重要。传统图像分类算法完全凭借设计者的主观意识针对特定的分类场景，提取分类对象的特征。人工选取的图像特征一般有颜色、纹理、形状、空间关系等特征。分类器利用现有特征数据训练分类函数或分类模型，输入待检测的图像的特征可以将其映射到数据库中某一类，完成图像分类。目前使用最广泛的的分类器有支持向量机(SVM)、决策树分类、贝叶斯分类器等。

近年来，计算机视觉技术取得了巨大的进步，这主要得益于以深度学习为核心的人工智能技术的革命性发展。伴随着计算机硬件的不断进步和互联网时代积累的大量数据资源，使得神经网络可以训练并发挥其优势。与传统计算机视觉技术不同的是，基于深度学习的计算机视觉技术可以从大量的数据中自动的学习特征，具有强大的特征表示能力，能够带来更高的检测识别精度。

东北黑木耳在大棚规模化栽培过程中，传统的病虫害的防治工作对每个大棚都采取大致相同的方式，但每个大棚由于木耳的涨势不同和周围环境因素的差异导致各个大棚之间的病虫害种类也有所不同，因此若采取同样的方式的话，会导致效率的低下，同时若采取人工对每个大棚进行病虫害识别的话太过耗时耗力。同时传统的计算机视觉技术需要人工设计特征，目标检测结果的好坏与特征提取算法直接相关，因此模型的拟合度会因所取特征的优劣而出现较大波动，不同的任务可能需要设计不同的特征提取算法以达到更优的识别效果。

因此，本专利针对这一问题，设计了基于深度学习的东北黑木耳病虫害图像识别系统，与传统计算机视觉技术不同的是，基于深度学习的计算机视觉技术可以从大量的数据中自动的学习特征，具有强大的特征表示能力，能够带来更高的检测识别精度，算法复杂度低，识别率高，具有很强的使用性，可以有效的应用于日常生活中。同时工作人员只需在电脑端查看对每个大棚病虫害的识别结果，从而对不同的病虫害种类采取有效的针对性措施。如调控大棚的温度和水分的供应，有效的做好温度、水分、通气的调控，节省了人力物力的同时能够更有效率的选用农药，从而减少农药用量、避免木耳遭受重大损失。

发明内容

本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于现有中存在的问题，提出了本发明。

因此，本发明的目的是提供一种基于深度学习的东北黑木耳病虫害图像识别系统，为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：

一种基于深度学习的东北黑木耳病虫害图像识别系统，其包括摄像头模块、网络数据传输模块、电脑端、数据处理模块、深度学习图像识别模块、分类结果处理模块和输出模块，所述摄像头模块电性输出连接所述网络数据传输模块，所述网络数据传输模块电性输出连接所述电脑端，所述电脑端电性输出连接所述数据处理模块，所述数据处理模块电性输出连接所述网络数据传输模块，所述网络数据传输模块电性输出连接所述分类结果处理模块，所述分类结果处理模块电性输出连接所述输出模块。

作为本发明所述的一种基于深度学习的东北黑木耳病虫害图像识别系统的一种优选方案，其中：所述摄像头模块用于采集害虫照片，并通过WiFi信号传输到所述网络数据传输模块。

作为本发明所述的一种基于深度学习的东北黑木耳病虫害图像识别系统的一种优选方案，其中：所述输出模块利用显示器进行显示结果。

作为本发明所述的一种基于深度学习的东北黑木耳病虫害图像识别系统的一种优选方案，其中：所述深度学习图像识别模块的深度学习模型的基本结构主要包括输入层、卷积层、池化层、全连接层和Softmax层。

与现有技术相比，本发明的有益效果是：

1、本专利结合东北的木耳大棚种植的实际情况增加了摄像头模块在大棚中的优化布点设置，从而尽可能的能够在充分考虑经济性、使用的便利性的条件下能够获取更完整的木耳病虫害数据集。

2、本专利在特征提取上实现了自动化，避免了人工选择可能会产生的不全面和不准确的问题，并大幅简化了图片的预处理过程，在训练深度卷积神经网络的过程中，由于网络的深度相比传统神经网络大幅加深，参数数量也远高于传统神经网络，预测的效率和准确性更高。同时针对本专利木耳大棚的实际运用场景对深度学习图像识别模型搭建过程进行了优化的选取和调整，使其更注重于模型识别的时效性以及稳定性，同时对训练样本进行有针对性的扩充，从而使图片更符合木耳大棚中拍摄的图片，有效的避免模型的过拟合程度，使训练模型能具有更好的鲁棒性与良好的检测性能。

3、本专利为了进一步提高模型的稳定性和准确率，增加了分类结果的后处理，在针对每个大棚识别结果输出时，本专利将一个大棚中一天各个时间端所有拍摄图片的分类识别结果进行分类数据统计，输出分类统计中最多的两类，然后第二天进行同样的图片拍摄和分类统计，对比第一天，从而确定分类出现最多的那个病虫害类别，作为最终这个木耳大棚病虫害的的分类结果。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明的总体结构框图；

图2为本发明模型的训练和应用具体实现过程流程图；

图3为本发明模型的搭建和训练流程图；

图4为本发明深度学习图像识别分类模型基本结构；

图5为本发明模型进行木耳大棚病虫害识别应用的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施方式的限制。

其次，本发明结合示意图进行详细描述，在详述本发明实施方式时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明提供如下技术方案：一种基于深度学习的东北黑木耳病虫害图像识别系统，请参阅图1，包括摄像头模块、网络数据传输模块、电脑端、数据处理模块、深度学习图像识别模块、分类结果处理模块和输出模块，所述摄像头模块电性输出连接所述网络数据传输模块，所述摄像头模块用于采集害虫照片，并通过WiFi信号传输到所述网络数据传输模块，所述网络数据传输模块电性输出连接所述电脑端，所述电脑端电性输出连接所述数据处理模块，所述数据处理模块电性输出连接所述网络数据传输模块，所述网络数据传输模块电性输出连接所述分类结果处理模块，所述分类结果处理模块电性输出连接所述输出模块，所述输出模块利用显示器进行显示结果。

一、深度学习图像识别模型搭建和训练过程

(一)、深度学习图像识别模型搭建

1.深度学习模型的基本结构：

如图4所示，其主要包括输入层、卷积层、池化层、全连接层和Softmax层。

1)输入层：选取东北黑木耳四种常见的病虫害样本集且经过数据预处理

2)卷积层：

其中：

表示第l+1层第j个神经元的输入，

表示第l层的神经元与第l-1层第j个神经元的连接权值，

表示偏置项，M_j是输入特征图的集合。

在该过程中，上一个层级的特征图经过卷积核处理后，再通过激活函数h(z)便可以得到新一层的特征图。其中h(z)为激励函数，

表示为上一层级经卷积核处理计算后的输出值。常用的激活函数有tanh、Sigmoid、ReLu(Rectified LinearUnit)三种，其中Sigmoid激活函数和tanh激活函数均采用了幂运算，相对于ReLu激活函数来说计算量更大,由于本专利的应用场景为木耳大棚的病虫害多分类识别模型，考虑模型预测的时效性，即注重考虑模型的识别速度，且ReLu函数具有不存在饱和区域，能有效缓解梯度消失的问题，同时计算量小，仅需判断输入值是否大于0等优点，具有较好的计算速度，但由于ReLu函数当输入值小于0时的会导致梯度为0，同时使用较大的学习率导致权值参数的更新变化太大时，可能导致该神经元的输入变为负数，从而使得该神经元的权值在接下来的训练中无法通过反向传播来更新的问题。为了避免这种情况出现，提高本专利模型的稳定性，从原本的Relu函数，公式为：

改为改进后Relu激活函数LReLu，公式为：

其中

表示为上一层级经卷积核处理计算后的输出值，α是通过模型学习得到的参数，通过改进后的激活函数LReLu能够在保证运算速度的基础上，保持模型的稳定性，提高模型训练的效率。

3)池化层是对从上述卷积层中通过多次激活函数h(z)运算后得到的特征图中进行下采样，减少训练时处理的训练量，提高模型的预测速度，常见的有最大值池化和平均值池化两种。最大值池化就是将模板中的最大值作为“模板”的输出，而平均值池化是将模板的平均值作为“模板”的输出。相对于平均值池化而言，最大值池化能够保留更多的纹理信息，由于本专利希望能够减少图片采样的成本，同时减少因样本数据集的不足而带来的影响，采用最大值池化进行下采样，保留更多样本的纹理信息，提高模型识别的准确度。

其过程可由公式表示:

式中：down(.)表示下采样，本专利选用的时最大值下采样的池化模式，

表示第l+1层第j个神经元的输入，

表示第l层第j个神经元的输入，在最大值池化模式中，每次只取出1个指定大小为n×n的滤子中的最大值，进而重新构成新的特征图。

由于本专利是图像四分类识别模型，采用Softmax函数作为分类器替代只能解决二分类问题的逻辑回归分类器，Softmax分类器是对输入值计算其属于每个类别k的概率值,记为p(y＝k|x)。设病虫害的训练样本集为

y⁽ⁱ⁾∈{1，2，3,4}分别表示为步行虫、线虫、蓟马、蚂蚁四种病虫害，将上述

权值和

偏置项这两种模型参数记为W，用于估计本专利四分类概率值的Softmax函数公式表达如下：

最终输出概率高的类别作为分类的结果。

4)最终使用优化算法不断迭代训练模型参数W，来最小化Softmax损失函数，实现本专利模型的最优化，Softmax损失函数的计算公式表示：

其中t_ik函数表示当且仅当第i个样本属于k类时，其值等于1，反之则为0。

由于所选择的训练样本数量的限制和深度学习容易过拟合的特性，本专利在损失函数中加入了λR(W)的L2正则化损失，使得模型的参数收敛到较小的绝对值，防止模型的过拟合，提高模型的泛化性，其中λ表示正则化系数，

表示L2正则化项。

优化算法设计：

由于本专利所采用的激活函数为改进后Relu激活函数LReLu，其函数具有不存在饱和区域的特性，从而能有效缓解梯度消失的问题等优点，因此本专利选用的优化算法为梯度下降算法(Stochastic Gradient Descent,SGD)。

但传统的梯度下降每次使用的数据是一致的，因此梯度向量的方向只受到系数w和b的影响，所以梯度方向的变化较小,由于梯度方向不容易发生巨大变化，所以一旦在迭代过程中落入局部最优的范围，传统梯度下降就很难跳出局部最优，再去寻找全局最优解。因此本专利采用的是小批量随机梯度下(mini-batch Stochastic Gradient Descent,简写mini-SGD),在每次迭代前都会随机抽取一批训练数据，由于每次迭代时带入梯度向量表达式的数据是不同的，梯度的方向会同时受到模型参数和带入的训练数据的影响，因此每次迭代时梯度向量的方向都会发生较大变化。从而一方面能够避免使用全部样本进行训练时的计算冗余，同时提升在使用大量数据样本训练时的收敛速度。

但在实践中发现mini-SGD算法由于随机选取数据从而可能会导致网络训练时大的波动，因此本专利在原有mini-SGD算法中加入动量项，从而能在一定程度上增加训练的稳定性，并且能够提高网络训练收敛的速率。

加入动量后的SGD权值w更新的公式：

w_t+1＝w_t-α▽L(w_t)+ηΔw_t

其中α是模型的学习率参数，η为动量系数，Δw_t为前一次权值的更新值，动量系数项的设置使得更新时在一定程度上沿着原来更新的方向，减轻网络训练的波动，从而使得权值w的优化更快、更稳定，提高模型训练的稳定性和效率。

2.本专利网络框架的选取

基于本专利所应用场景为木耳大棚的病虫害设别工作，更注重于模型识别的时效性以及便利性，本专利选用Caffe网络框架作为本专利的模型框架，由于Caffe具有完全开源、轻量化、结构清晰、卓越的性能等优势，使其在图像识别方面的应用更具优势。

3.本专利网络模型的选择

由于本专利所应用场景为木耳大棚的病虫害设别工作，其识别结果要为后续的病虫害的防治工作提供实时的参考资料。因此本专利所选用的模型更注重于模型的时效性以及模型的稳定性，同时由于病虫害训练数据的有限，因此选用了抗过拟合，具有良好泛化能力的DenseNet作为本专利的网络模型，由于其神经网络每一层提取的特征都相当于对输入数据的一个非线性变换，而随着深度的增加，变换的复杂度也逐渐增加(更多非线性函数的复合)。相比于一般神经网络的分类器直接依赖于网络最后一层(复杂度最高)的特征，DenseNet可以综合利用浅层复杂度低的特征，因而更容易得到一个光滑的具有更好泛化性能的决策函数，从而能够提高模型的泛化能力。

(二)、图像数据集训练模型

1.样本的选择：

选取常见的东北黑木耳的病虫害，伪步行虫、线虫、蓟马、蚂蚁这四类作为我们图像识别种类。

2.样本的收集和预处理：

通过网络搜索和现场拍摄的方式结合收集这四类样本的图像，由于所收集图片的格式不同，为了提高卷积神经网络对输入数据的读取速度，因此我们将图像数据制作为LMDB格式。同时所收集图像样本的尺寸大小不一，本专利使用OpenCV中的cv2.resize()函数进行图像归一化操作，

3.样本的扩充

由于深度学习中，在训练数据量不充足的情况下，多会导致过拟合情况的发生。同时由于收集的图片与实际大棚中所拍摄的照片在尺寸、形态等有很多的区别，因此我们对收集的数据集进行预处理和扩充工作。从而使图片更符合现场拍摄的图片，使训练模型能具有更好的鲁棒性与良好的检测性能。

本专利数据扩充方式：

1)对30％图像进行空间变换操作，对原始图像进行随机旋转(幅度范围选用0-60度)、平移(幅度比例为0-0.5)、缩放(幅度比例0-0.3)和剪切变换(剪切强度为0.2)

2)为了模拟摄像头在图像采集过程中可能产生的噪声，本专利对木耳病虫害的40％的原始图像添加了方差为0.02的高斯噪声，作为扩充数据

3)将60％的原始图像对比度减弱为原始图像的0.8倍，作为扩充数据。

以上三种数据扩充方式均用常用的计算机视觉库OpenCV进行操作完成。

4)利用Caffe框架自带功能对输入的训练集进行水平镜像和随机裁剪操作，作为扩充数据。

4.样本的划分

将所述数据集按照全样本的60％、20％、20％的比例分为训练集、验证集和测试集，其中所述训练集用于训练模型，所述验证集用于训练过程中调节模型的参数，所述测试集用于测试模型的效果；

利用所述训练集、验证集和测试集对模型进行迭代训练和验证，从而训练得到本专利所使用的深度学习图像识别分类模型。

二、利用第一部分训练得到的模型进行木耳大棚病虫害的实际应用

(一)、图像的采集过程

1.图像的采集采用图像信息传感器

针对图像拍摄和传输的便利性以及保证图片取样数据的完整性，本专利图像信息传感器选用的是高清室外摄像头，支持无线数据读取，可以360度旋转的广角监控摄像头。同时摄像头支持无线模式，可以连接网络传输模块发出WiFi信号，将图像数据传输到网络传输模块。它的焦距可调，可以拍摄不同距离的木耳图像，保证不同距离图像数据的清晰度。摄像头可360度旋转，扩大了拍摄范围的同时便于调整相机角度和焦距。

2.摄像头的安装布点

由于选取了高清室外摄像头，由于360度的旋转增加了拍摄的范围，在空间中形成了大圆锥形的覆盖范围。因此本专利创新性的设置了摄像头的安装布点，方案如下：将摄像头放置在木耳大棚的顶部，并为摄像头增加滑轨座，安装在大棚木耳种植的排与排间隙的正上方。这样的设计方式一方面减少了摄像头的安装数量从而提高了其经济性，另一方面保证了图片取样数据的完整性。

根据大棚的具体尺寸、木耳菌袋的高度以及木耳放置的排与排间隔宽度通过下列公式计算出的镜头焦距，选择合适的镜头：

f表示镜头的焦距，h表示成像高度，L表示镜头到木耳的距离，w表示成像宽度，H表示检测场景的高度，W表示检测场景的宽度。

3.图片的采集过程和预处理工作

由于病虫害多发生在木耳的生长期，因此对木耳的生长阶段进行实时监控，选择大棚中的木耳大多处于生长期时，对大棚进行病虫害的识别和防治工作，对每个大棚的摄像头进行4点、10点、16点、和22点四个时段的拍摄取样，将其通过WiFi信号传输到网络传输模块，并通过网络传输模块传到电脑端。在电脑端为了提高网络模型对输入数据的读取速度，因此我们将图像数据制作成为LMDB格式。同时由于收集图像样本的尺寸大小不一，本专利采取OpenCV中的cv2.resize()函数进行图像归一化操作。

(二)、识别结果的后处理

在电脑端将上面木耳大棚拍摄的进行过数据预处理的照片进行编号分类存储，分类训练从而得到对各个大棚中病虫害的识别结果，从而对不同大棚的病虫害种类采取有效的针对性的措施，如调控大棚的温度和水分的供应，有效的做好温度、水分、通气的调控，同时能够更有效率的选用农药，从而减少农药用量。

为提高本专利模型的准确性，在针对每个大棚识别结果输出时，本专利将一个大棚中一天各个时间端所有拍摄图片的分类识别结果进行分类统计，输出分类统计中最多的两类，然后第二天进行同样的图片拍摄和分类统计，对比第一天，从而确定分类出现最多的那个病虫害类别，作为最终这个木耳大棚病虫害的的分类结果。

虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。

Claims (4)

1.一种基于深度学习的东北黑木耳病虫害图像识别系统，其特征在于：包括摄像头模块、网络数据传输模块、电脑端、数据处理模块、深度学习图像识别模块、分类结果处理模块和输出模块，所述摄像头模块电性输出连接所述网络数据传输模块，所述网络数据传输模块电性输出连接所述电脑端，所述电脑端电性输出连接所述数据处理模块，所述数据处理模块电性输出连接所述网络数据传输模块，所述网络数据传输模块电性输出连接所述分类结果处理模块，所述分类结果处理模块电性输出连接所述输出模块。

2.根据权利要求1所述的一种基于深度学习的东北黑木耳病虫害图像识别系统，其特征在于：所述摄像头模块用于采集害虫照片，并通过WiFi信号传输到所述网络数据传输模块。

3.根据权利要求1所述的一种基于深度学习的东北黑木耳病虫害图像识别系统，其特征在于：所述输出模块利用显示器进行显示结果。

4.根据权利要求1所述的一种基于深度学习的东北黑木耳病虫害图像识别系统，其特征在于：所述深度学习图像识别模块的深度学习模型的基本结构主要包括输入层、卷积层、池化层、全连接层和Softmax层。

Images