CN108304812A - 一种基于卷积神经网络和多视频图像的作物病害识别方法 - Google Patents

Abstract

一种基于卷积神经网络和多视频图像的作物病害识别方法，属于图像处理与机器学习技术领域，该方法包括：对利用农业物联网采集的原始彩色病害叶片图像训练集进行扩充得到扩充的训练集；构建多通道卷积神经网络，并利用所述扩充训练集对所述多通道卷积神经网络进行训练，得到作物病害识别模型；将待识别作物的作物病害叶片图像输入至所述作物病害识别模型中进行图像分类，得到所述待识别作物的病害类型。该方法可以提高作物病害识别模型的准确率，同时解决了现有作物病害识别方法的正确率较低的问题。

Description

一种基于卷积神经网络和多视频图像的作物病害识别方法

技术领域

本发明涉及机器学习和图像处理技术，特别涉及一种基于卷积神经网络和多视频图像的作物病害识别方法。

背景技术

作物在生长过程中经常遭受各种病害的威胁。作物病害是我国的主要农业灾害之一，它具有种类多、影响大、各种病症交叉、重叠发生、并时常暴发成灾的特点。作物病害的发生范围和严重程度对我国农业生产造成了重大影响。目前，农民防治作物病害的方法基本上是经常喷洒农药。实际上，生活史越短、繁殖速递越快、群体越大、接触农药机会越多的有害生物，则产生抗药性越快；用药剂量越大，用药次数越多，则抗药性越容易形成；选择性越好、专业性越强的内吸性高效农药，则越易产生抗药性；作用机理相似的农药混用，则易产生抗药性。由于长期使用化学农药，使得大部分病害均不同程度地产生抗药性，有的甚至已经发展到无药可治的地步。作物病害防治的关键是及时检测病害发生和识别病害类型。利用图像处理和机器学习技术能够简便、快速地检测并识别作物病害，为及时采取防治措施提供必要信息。随着物联网技术的不断发展，基于农业物联网的作物病害检测与识别己成为一个新的研究热点。但由于利用农业物联网采集到的视频图像比较复杂，而且不同光照和风向等条件下采集到的视频图像差异较大，使得很多已有的基于农业物联网的作物病害识别方法的识别率低，不能满足实际需要。卷积神经网络模型具有非常强的自主学习能力，已经在人脸识别、语音识别、图像目标分类与检测等领域都取得了非常好的效果，这为设计基于农业物联网的高精度作物病害识别模型提供了可能性。

近年来，卷积神经网络(C33)在图像识别方面取得了突破性的研究成果。C33不同于传统的机器学习算法，C33能够从输入的图像中自动地学习更加抽象的高层特征，避免了提取人为设计的特征的过程，可以解决复杂的图像分类、文本处理和作物病害识别等实际问题。C33是一种有监督的深度学习网络，已在基于作物病害叶片图像的病害类型识别中取得了初步的研究成果和应用成果。例如，Sladojevic等人提出了一种基于深度C33的植物叶部病害图像识别方法，取得了较高的识别正确率；秦丰等人基于C33提取作物叶片病斑图像特征，建立作物病害识别支持向量机网络。上述研究成果表明，利用C33进行植物叶片病害识别是可行的，但是上述方法的缺陷也很明显；例如：所构建的网络涉及的参数比较多、训练时间比较长以及网络的普适性差等问题，所以已有的一些方法不利于基于农业物联网的作物叶部病害识别系统。

发明内容

本发明的目的是提供一种基于卷积神经网络和多视频图像的作物病害识别方法。

为实现上述目的，本发明采用如下的技术方案：

一种基于卷积神经网络和多视频图像的作物病害识别方法，其特征在于，包括以下步骤：

步骤1，利用农业物联网的视频设备每天从3个视角分别采集3幅作物病害叶片彩色图像，将获取的每幅原始作物病害叶片图像缩放为维数大小为64×64×3的彩色图像，组成训练集；对训练集中的每幅图像进行旋转操作、平移操作、尺寸变换操作以及噪声处理，将每幅病害叶片图像扩充为多幅新病害叶片图像；将得到多幅新病害叶片图像加入到训练集，得到扩充训练集；

步骤2，构建多通道卷积神经网络模型，并利用步骤1得到的扩充训练集训练该模型；

步骤3：将待识别叶片图像输入到步骤2中训练过的多通道卷积神经网络模型，进行分类得到病害叶片图像的识别结果。

本发明进一步的改进在于，旋转操作具体过程如下：设置多个预设角度，并根据各预设角度对训练集中的每幅图像进行旋转，得到多幅新病害叶片图像。

本发明进一步的改进在于，平移操作具体过程如下：设置预设像素个数，并根据预设像素个数对训练集中的每幅图像进行左右上下平移操作，得到多幅新病害叶片图像。

本发明进一步的改进在于，尺寸变换操作具体过程如下：设置预设剪裁像素个数，并根据预设剪裁像素个数对训练集中的每幅图像进行剪裁，得到多幅新病害叶片图像。

本发明进一步的改进在于，噪声处理具体过程如下：设置椒盐噪声以及高斯白噪声参数，并根据椒盐噪声以及高斯白噪声参数对训练集中的每幅图像中加入噪声，得到多幅新病害叶片图像。

本发明进一步的改进在于，将每幅新病害叶片图像经缩放为维数大小为64×64×3的彩色图像后加入到训练集，得到扩充训练集。

本发明进一步的改进在于，构建多通道卷积神经网络的具体过程包括：

步骤2.1，多通道卷积神经网络由3个结构相同的卷积神经网络、一个特征融合层、一个全连接层、一个批标准化处理和一个分类层组成；每个通道的卷积神经网络由三个卷积层和三个池化层交替组成；

构建多通道卷积神经网络中的3个结构相同的卷积神经网络的具体过程如下：在每个通道的卷积神经网络中的卷积及池化操作如下：对于每幅大小为64×64×3的三维图像，①先通过8个三维卷积核大小为9×9×3的卷积操作，然后进行激活函数为sigmoid的激活操作，再进行池化层窗口大小为2×2、步长为2的下采样操作，得到8个大小为28×28×3的特征图；②通过16个三维卷积核大小为5×5×3的卷积操作，然后进行激活函数为sigmoid的激活操作，再进行池化层窗口大小为2×2、步长为2的下采样操作，得到16个大小为12×12×3的特征图；③通过32个三维卷积核大小为3×3×3的卷积操作，然后进行激活函数为sigmoid的激活操作，再进行池化层窗口大小为2×2、步长为2的下采样操作，得到32个大小为5×5×3的特征图；

每个通道的卷积神经网络都得到32个5×5×3的特征图；

步骤2.2，构建多通道卷积神经网络的特征融合层，具体过程为：每次取3个通道卷积神经网络中相同位置的一个特征图，得到共3个特征图，再取3个特征图中相同位置的一个像素，共得到3个像素，然后采用0-1均匀分布方法进行采样，得到32个大小为5×5×3的特征图；

步骤2.3：构建多通道卷积神经网络的全连接层；具体为：将得到的32个大小为5×5×3的特征图进行全连接处理后，得到一个维数为2400的特征向量；

步骤2.4：构建多通道卷积神经网络的批标准化处理；具体为：对得到的特征向量进行批标准化处理，然后输入到分类器进行病害识别；

步骤2.5：依次使用训练图像多次重复步骤2.1～步骤2.4的方法训练多通道卷积神经网络，直到病害识别模型的损失收敛，即损失降到一定程度后不再降低，获得能够识别作物病害叶片图像的病害类型的多通道卷积神经网络模型。

本发明进一步的改进在于，步骤2.4中，批标准化处理的具体过程如下：

首先，假设每个批次有p个特征x₁,x₂,...,x_q，计算其均值与方差分别为：

其中，μ为批次均值，σ为方差；

其次，将数据归一化，得到均值为0、方差为1的数据

其中，ε为0.001。

与现有技术相比，本发明具有的有益效果：(1)卷积神经网络能够通过局部感受野、权值共享和下采样技术，自动提取作物病害叶片图像的颜色特征和结构特征，并具备平移不变性，避免了人工设计的图像特征的局限性；(2)利用多通道卷积神经网络对图像特征进行非线性映射来获得作物病害叶片图像特征，避免了人工设计模型的局限性；(3)利用一天的多个时间段的视频病害叶片图像作为多通道卷积神经网络的输入，而且通过随机化的特征信息融合，增加病害识别模型的鲁棒性，能够得到较好的识别效果；(4)可以提高对待识别作物的病害类型的识别速度，减少作物病害的防治时间，提升经济效益。

附图说明

图1为本发明的构建多通道卷积神经网络的方法流程图。

具体实施方式

下面结合附图更全面地描述本发明的内容。

附图仅为本发明公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。

参考图1所示，本发明提供的一种基于卷积神经网络和多视频图像的作物病害识别方法，包括以下步骤：

步骤1，利用农业物联网的视频设备每天从3个视角分别采集3个连续时间段的3个作物病害叶片彩色图像，将获取的每幅原始作物病害叶片图像缩放为维数大小为64×64×3的彩色图像，组成训练集；对训练集中的每幅图像进行旋转操作、平移操作、尺寸变换操作以及噪声处理，将每幅病害叶片图像扩充为多幅新病害叶片图像；将每幅新病害叶片图像经缩放为维数大小为64×64×3的彩色图像后加入到训练集，得到扩充训练集。

旋转操作具体过程如下：设置多个预设角度，并根据各预设角度对训练集中的每幅图像进行旋转，得到多幅新病害叶片图像。旋转操作举例而言：预设角度为±1度或±3度，本示例对此不做特殊限制；其次，可以根据各预设角度，将训练集中的每幅图像进行旋转得到多幅新病害叶片图像；例如，将病害叶片图像A分别正时针旋转1度和3度，得到图像A1和A2；然后再将叶片图像A逆时针旋转1度和3度，得到图像A3以及A4。

平移操作具体过程如下：设置预设像素个数，并根据预设像素个数对训练集中的每幅图像进行左右上下平移操作，得到多幅新病害叶片图像。举例而言：可以预设像素个数为10个像素，也可以为12个像素，本示例对此不做特殊限制；其次，可以根据预设像素个数，将训练集中的每幅图像平移该预设像素个数得到多幅新病害叶片图像；例如，将叶片图像A分别向左平移、向右平移、向上平移以及向下平移10个像素，得到叶片图像A5、A6、A7和A8。

尺寸变换操作具体过程如下：设置预设剪裁像素个数，并根据预设剪裁像素个数对训练集中的每幅图像进行剪裁得到多幅新病害叶片图像。举例而言：可以设置预设剪裁像素为10个像素，也可以为12个像素，本示例对此不做特殊限制；其次，可以根据预设剪裁像素个数，将训练集中的每幅图像的像素个数分别剪裁掉该预设剪裁像素个数，得到多幅新病害叶片图像；例如，将叶片图像A的上下左右各剪裁10个像素，可以得到叶片图像A9、A10、A11和A12。

噪声处理具体过程如下：设置椒盐噪声以及高斯白噪声参数；并根据椒盐噪声以及高斯白噪声参数对训练集中的每幅图像中加入噪声，得到多幅新病害叶片图像。举例而言：设置椒盐噪声以及高斯白噪声；其中，椒盐噪声的密度可以为0.02和0.03，也可以是0.04以及0.06等等，本示例对此不做特殊限制；高斯白噪声的均值可以为0，方差可以为0.01或者0.02，也可以设置其他均值以及方差，本示例对此不做特殊限制；其次，可以根据椒盐噪声以及高斯白噪声对训练集中的每幅图像添加噪声得到多幅新病害叶片图像；例如，对图像A分别增加密度为0.02以及0.03的椒盐噪声，得到叶片图像A13以及A14；对图像A分别增加均值为0，方差为0.01和0.02的高斯白噪声，得到叶片图像A15以及A16。

为了使得各病害叶片图像规范化，可以更加适用于卷积神经网络，还需要对得到的每幅新病害叶片图像以及原始病害叶片图像进行去均值处理，具体的过程如下：对原始病害叶片图像A以及新病害叶片图像A1～A16进行去均值处理，再将各病害叶片图像的维数缩放为64×64×3的三维彩色图像，也可以为其他维数，本示例对此不做特殊限制。

进一步的，还需要根据原始叶片图像的类别标签，对新病害叶片图像进行标记，以方便进行查询。通过采用上述扩充原始训练集的方式，将原始训练集中的图像数量扩展到原来的16倍(或者16倍以上)，使得在下一步骤2中的多通道卷积神经网络可以学习到更多的图像分类特征，增加该网络的普适性。

步骤2，构建多通道卷积神经网络模型，并利用扩充训练集对多通道卷积神经网络模型进行训练。

参考图1所示，多通道卷积神经网络由3个结构相同的卷积神经网络、一个特征融合层、一个全连接层、一个批标准化处理和一个分类层组成；

所述的构建多通道卷积神经网络模型的具体操作包括：

步骤2.1，每个通道的卷积神经网络由三个卷积层和三个池化层交替组成；

构建多通道卷积神经网络中的3个结构相同的卷积神经网络的具体过程如下：在每个通道的卷积神经网络中的卷积及池化操作如下：对于每幅大小为64×64×3的三维图像，①先通过8个三维卷积核大小为9×9×3的卷积操作，然后进行激活函数为sigmoid的激活操作，再进行池化层窗口大小为2×2、步长为2的下采样操作，得到8个大小为28×28×3的特征图；②通过16个三维卷积核大小为5×5×3的卷积操作，然后进行激活函数为sigmoid的激活操作，再进行池化层窗口大小为2×2、步长为2的下采样操作，得到16个大小为12×12×3的特征图；③通过32个三维卷积核大小为3×3×3的卷积操作，然后进行激活函数为sigmoid的激活操作，再进行池化层窗口大小为2×2、步长为2的下采样操作，得到32个大小为5×5×3的特征图。

每个通道的卷积神经网络都可以得到32个5×5×3的特征图。

所述步骤2.1中的卷积核与上一层不同的特征图进行卷积，然后通过一个激活函数得到当前层的特征图，第l个卷积层的卷积特征图上每个像素的值可以包括对应的卷积模板与相应位置处感受野区域的图像块进行卷积的结果，具体的如下式所示：

其中，l为网络层数，为l-1层的输出，表示第i个卷积输出矩阵的某个值，为第l层与第l-1层相连的特征图之间的卷积核，M_j为第l层的第j个特征图与第l-1层相连的特征图的感受野，表示第l层中的第j个特征图的偏置，j表示对应的输出特征图的编号，从左往右依次表示为0到m，m表示卷积输出特征图的个数，f表示非线性激励函数，这里采用修正线性单元函数，即

所述步骤2.1中的池化层中，有多少个输入的特征图就有多少个输出的特征图，只是输入特征图经过降采样后，减少了输入的特征维数和神经元节点的参数，有利于防止过拟合。池化过程为：利用局部求最大值的方法对第l-1层第j个特征图进行降采样：

其中，为权重系数，为对感受野内的所有值求最大值。

典型的池化操作是计算池化层的每个窗口大小为2×2内的所有像素的最大值，作为输出，这样第l层的每个特征图的大小都缩小了4倍。

步骤2.2，构建多通道卷积神经网络的特征融合层。详细而言：对3个通道的每个通道输出的32个大小为5×5×3的特征图进行随机化的特征融合，具体过程为：每次取3个通道卷积神经网络中相同位置的一个特征图，得到共3个特征图，再取3个特征图中相同位置的一个像素，共得到3个像素，然后采用0-1均匀分布方法进行采样，得到32个大小为5×5×3的特征图。

所述步骤2.2中的0-1均匀分布方法为，将单位长度1按照3个像素值的大小分成3个区间，像素值越大，覆盖的区域越长，每个区间对应一个位置，然后随机生成一个0～1的数，这个数会落入某一区间。得到的采样矩阵为一个大小为2×2的矩阵，里面有一个元素为1，其余元素为0。

步骤2.3：构建多通道卷积神经网络的全连接层；将得到的32个大小为5×5×3的特征图进行全连接处理后，得到一个维数为2400的特征向量。详细而言：全连接层上每一个神经元均与上一层特征融合层上所有神经元相连接，因此，全连接层的输出为：

其中，为全连接层的上一层神经元的输出；为全连接层与上一层连接的权重；为偏置。

步骤2.4：构建所述多通道卷积神经网络的批标准化处理；具体为：对得到的特征向量进行批标准化处理，然后输入到分类器进行病害识别。详细而言：

首先，假设每个批次有p个特征x₁,x₂,...,x_q，计算其均值与方差分别为：

其中，μ为批次均值，σ为方差；

其次，将数据归一化，得到均值为0、方差为1的数据

其中，ε是防止方差为0时无意义而设置的一个小正常量，本发明中ε为0.001。

步骤2.5：依次使用训练图像多次重复步骤2.1～步骤2.4的方法训练多通道卷积神经网络，直到病害识别模型的损失收敛，即损失降到一定程度后不再降低，获得能够识别作物病害叶片图像的病害类型的多通道卷积神经网络模型。

步骤3：将一天的3个时间段的3个测试叶片图像输入到步骤2中多通道卷积神经网络模型，来估计测试叶片图像的病害类别。详细而言：当上述多通道卷积神经网络经过训练得到多通道卷积神经网络模型后，可以直接将待识别的一天中3个时间段从3个视角分别采集的3个测试叶片图像输入至该多通道卷积神经网络模型，进行分类得到病害叶片图像的识别结果；

此外，尽管在附图中以特定顺序描述了本发明公开中方法的各个步骤，但是，这并非要求或暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或将一个步骤分解为多个步骤执行等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明公开的其它实施方案。本申请旨在涵盖本发明公开的任何变型、用途或适应性变化，这些变型、用途或者适应性变化遵循本发明公开的一般性原理并包括本发明公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明公开的真正范围和精神由所附的权利要求指出。

Claims (8)

1.一种基于卷积神经网络和多视频图像的作物病害识别方法，其特征在于，包括以下步骤：

步骤1，利用农业物联网的视频设备每天从3个视角分别采集3幅作物病害叶片彩色图像，将获取的每幅原始作物病害叶片图像缩放为维数大小为64×64×3的彩色图像，组成训练集；对训练集中的每幅图像进行旋转操作、平移操作、尺寸变换操作以及噪声处理，将每幅病害叶片图像扩充为多幅新病害叶片图像；将得到多幅新病害叶片图像加入到训练集，得到扩充训练集；

步骤2，构建多通道卷积神经网络模型，并利用步骤1得到的扩充训练集训练该模型；

步骤3：将待识别叶片图像输入到步骤2中训练过的多通道卷积神经网络模型，进行分类得到病害叶片图像的识别结果。

2.根据权利要求1所述的一种基于卷积神经网络和多视频图像的作物病害识别方法，其特征在于，旋转操作具体过程如下：设置多个预设角度，并根据各预设角度对训练集中的每幅图像进行旋转，得到多幅新病害叶片图像。

3.根据权利要求1所述的一种基于卷积神经网络和多视频图像的作物病害识别方法，其特征在于，平移操作具体过程如下：设置预设像素个数，并根据预设像素个数对训练集中的每幅图像进行左右上下平移操作，得到多幅新病害叶片图像。

4.根据权利要求1所述的一种基于卷积神经网络和多视频图像的作物病害识别方法，其特征在于，尺寸变换操作具体过程如下：设置预设剪裁像素个数，并根据预设剪裁像素个数对训练集中的每幅图像进行剪裁，得到多幅新病害叶片图像。

5.根据权利要求1所述的一种基于卷积神经网络和多视频图像的作物病害识别方法，其特征在于，噪声处理具体过程如下：设置椒盐噪声以及高斯白噪声参数，并根据椒盐噪声以及高斯白噪声参数对训练集中的每幅图像中加入噪声，得到多幅新病害叶片图像。

6.根据权利要求1所述的一种基于卷积神经网络和多视频图像的作物病害识别方法，其特征在于，将每幅新病害叶片图像经缩放为维数大小为64×64×3的彩色图像后加入到训练集，得到扩充训练集。

7.根据权利要求1所述的一种基于卷积神经网络和多视频图像的作物病害识别方法，其特征在于，构建多通道卷积神经网络的具体过程包括：

步骤2.1，多通道卷积神经网络由3个结构相同的卷积神经网络、一个特征融合层、一个全连接层、一个批标准化处理和一个分类层组成；每个通道的卷积神经网络由三个卷积层和三个池化层交替组成；

构建多通道卷积神经网络中的3个结构相同的卷积神经网络的具体过程如下：在每个通道的卷积神经网络中的卷积及池化操作如下：对于每幅大小为64×64×3的三维图像，①先通过8个三维卷积核大小为9×9×3的卷积操作，然后进行激活函数为sigmoid的激活操作，再进行池化层窗口大小为2×2、步长为2的下采样操作，得到8个大小为28×28×3的特征图；②通过16个三维卷积核大小为5×5×3的卷积操作，然后进行激活函数为sigmoid的激活操作，再进行池化层窗口大小为2×2、步长为2的下采样操作，得到16个大小为12×12×3的特征图；③通过32个三维卷积核大小为3×3×3的卷积操作，然后进行激活函数为sigmoid的激活操作，再进行池化层窗口大小为2×2、步长为2的下采样操作，得到32个大小为5×5×3的特征图；

每个通道的卷积神经网络都得到32个5×5×3的特征图；

步骤2.2，构建多通道卷积神经网络的特征融合层，具体过程为：每次取3个通道卷积神经网络中相同位置的一个特征图，得到共3个特征图，再取3个特征图中相同位置的一个像素，共得到3个像素，然后采用0-1均匀分布方法进行采样，得到32个大小为5×5×3的特征图；

步骤2.3：构建多通道卷积神经网络的全连接层；具体为：将得到的32个大小为5×5×3的特征图进行全连接处理后，得到一个维数为2400的特征向量；

步骤2.4：构建多通道卷积神经网络的批标准化处理；具体为：对得到的特征向量进行批标准化处理，然后输入到分类器进行病害识别；

步骤2.5：依次使用训练图像多次重复步骤2.1～步骤2.4的方法训练多通道卷积神经网络，直到病害识别模型的损失收敛，即损失降到一定程度后不再降低，获得能够识别作物病害叶片图像的病害类型的多通道卷积神经网络模型。

8.根据权利要求7所述的一种基于卷积神经网络和多视频图像的作物病害识别方法，其特征在于，步骤2.4中，批标准化处理的具体过程如下：

首先，假设每个批次有p个特征x₁,x₂,...,x_q，计算其均值与方差分别为：

其中，μ为批次均值，σ为方差；

其次，将数据归一化，得到均值为0、方差为1的数据

其中，ε为0.001。