CN111696101A - 一种基于SE-Inception的轻量级茄科病害识别方法 - Google Patents

Abstract

本发明公开了属于图像分类技术领域的一种基于SE‑Inception结构的轻量级茄科病害识别方法，包括如下步骤：建立常见茄科病害数据集，并进行手工标注；输入茄科病害数据集；图像增强，扩大数据集；将数据集划分为训练集、验证集和测试集；输入数据后，设计了并行卷积层，用不同尺度的卷积核进行卷积，对于每一个卷积层后都加上BN层；搭建轻量级网络；对数据集中训练集进行训练；使用训练好的模型对测试数据集测试输出。本发明包含5类病害；设计了一种轻量级的网络架构，并在训练的过程中不断进行参数调优。实验结果表明，本发明具有较高检测精度和较快的训练速度并且具有较小的模型体积，为移动端和硬件的部署提供技术可行性。

Description

一种基于SE-Inception的轻量级茄科病害识别方法

技术领域

本发明属于图像分类技术领域，具体涉及一种基于SE-Inception的轻量级茄科病害识别方法。

背景技术

茄科作物例如番茄，茄子，枸杞，马铃薯，辣椒等是广泛栽培的作物，具有很高的经济价值。而病害是影响茄科作物产量的一个很大的因素，每年有大量的作物被不同的植物病害所侵害，造成大量损失。植物病害的准确检测和鉴定是影响植物生产的关键要素，也是成功耕作的关键。传统的农作病害识别主要步骤是利用图像处理技术对农作物病害图像进行预处理，对一些特定的特征进行特征提取之后，使用分类器对所提取到的特征进行分类，从而实现农作物病害的分类识别。王利伟,等人,在江苏农业科学,2017.45(23):p.222-225.发表的“基于计算机视觉的葡萄叶部病害识别研究.”中，使用不同核函数的支持向量机对葡萄叶部病害进行识别。基于深度特征学习的农作物病害图像识别通常采用深度卷积神经网络学习，输入图像的特征，并对学习到的特征进行自动分类，网络直接输出该图像的类别概率，是一种端到端的图像识别方法；

GoogLeNet Classification of apple tree disorders using convolutionalneural networks.in 2016IEEE 28th International Conference on Tools withArtificial Intelligence(ICTAI).2016.IEEE.提出了Inception结构，这个结构很好地利用了网络中的计算资源，并且在不增加计算负载的情况下，增加网络的宽度和深度。同时，为了优化网络质量，采用了Hebbian原理和多尺度处理。GoogLeNet在分类和检测上都取得了不错的效果。GoogLeNet取得了ILSVRC-2014的冠军，top-5的错误率达到了6.67％。Nachtigall L G等人使用AlexNet模型对六种共两千多幅苹果病害图像进行识别，其识别准确率超过了专家识别的准确率。

Batch Normalization Szegedy,在Batch normalization:Accelerating deepnetwork training by reducing internal covariate shift.2015.中批归一化，是为了解决Internal Covariate Shift问题。BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布，以避免梯度消失及加快网络收敛。通过BN和Inception结构相结合，提高了ImageNet分类上的最佳结果:top-5的错误率达到了4.9％，超过了人类的水平。

Szegedy等人在Rethinking the inception architecture for computervision.in Proceedings of the IEEE conference on computer vision and patternrecognition.2016.中提出了InceptionV2结构。InceptionV2结构把原先大的卷积核分解为对称的小的卷积核。采用小卷积核节约了大量的参数，可以处理更丰富的空间特征，增加了特征的多样性。该结构在ILSVRC-2012上超过了最先进的方法top-5错误率达到了5.6％。

在Squeeze-and-Excitation Networks(SENet)2017年的论文：“Proceedings ofthe IEEE conference on computer vision and pattern recognition.2018”，它赢得了最后一届ImageNet 2017竞赛分类任务的冠军。SENet关注于通道之间的关系，通过压缩-激励(SE)块显式地建模通道之间的依赖关系即每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。并且SENet思路很简单，很容易扩展在已有网络结构中。

在本发明中，以茄科病害为研究对象，自建了一个包含5类病害(包含正常类)共1835张图片的茄科数据集。基于GoogLeNet，结合InceptionV2、SENet和批归一化算法，提出了一种轻量级病害识别网络。我们利用InceptionV2结构，结合SENet模块和BN层，设计了一种轻量级的网络架构，并在训练的过程中不断进行参数调优。实验结果表明，我们的方法在自建茄科病害数据集和PlantVillage公开数据集上的具有较高检测精度和较快的训练速度并且具有较小的模型体积，为移动端和硬件的部署提供技术可行性。

为了提高针对茄科病害识别的准确性、实时性及硬件的可支持性。当前学术界中比较成熟的以深度学习为主的物体识别方法在公开数据集上取得了较好的效果，但是农业数据具有其特殊之处，无法直接迁移应用。此外当前学术界中大部分较好的识别网络模型都比较大，无法满足实际移动端的生产应用。因此，我们的方法针对茄科病害的特点，采用轻量级的网络，可以提高速度、精度的同时，为硬件端的部署提供可行依据。

发明内容

本发明的目的是提出一种基于SE-Inception结构的轻量级茄科病害识别方法，其特征在于，包括如下步骤：

(1)建立常见茄科病害数据集，并进行手工标注；

(2)输入茄科病害数据集；

(3)图像增强，即旋转、平移，翻转等操作，扩大数据集；

(4)将数据集划分为训练集、验证集和测试集；

(5)输入数据后，设计了并行卷积层，用不同尺度的卷积核进行卷积，对每一个卷积层后都加上BN层，其中BN层为批归一化层Batch Normalization，简称BN层；

(6)结合Inception结构和SeNet模块搭建轻量级网络，具体包含多尺度特征提取模块，全局池化层，SE-Inception模块，平均池化层和分类器；

(7)对数据集中训练集进行训练；

(8)保存训练好的模型；

(9)使用训练好的模型对测试数据集测试输出。

所述步骤(5)采用不同尺度的卷积核进行卷积的操作方法，由于病害种类较多，不同病害的颜色纹理特征存在较大的差异。同一种病害在在病害不同阶段差异也比较明显；因此对输入的图片采用不同尺度的卷积核进行卷积，可以同时提取多种尺度的局部特征，增加网络的鲁棒性；卷积后都采用BatchNormalization批归一化。批归一化的主要目的是通过一定的规范化手段把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0、方差为1的标准正态分布；这样有助于加快收敛速度，批归一化的主要操作步骤如下：

输入：一个批次中x的值：B＝{x₁...m}；需要学习的参数γ，β

输出：{y_i＝BN_γ，β(x_i)}

每个训练批次数据的均值：

每个训练批次数据的方差：

使用求得的均值和方差对该批次的数据做归一化：

规格转换：

其中，x是函数的输入；公式中B代表由多个x组成的集合；m是集合B包含x的数量；i代表集合B中x的位置信息；ε是为了避免除数为0时所使用的微小正数。

所述步骤(6)结合Inception结构和SeNet模块搭建轻量级网络的方法：利用Inception的结构来减少模型的参数量从而减小模型的大小，采用SENet模块来提高网络的精度，并把两者相结合；所述Inception的结构包括：

InceptionV1模块是GoogLeNet中的基本模块；InceptionV1可以提高网络资源的利用率，在计算量不变的情况下，提高网络的宽度和深度；InceptionV1有4个通道分别由1×1、3×3、5×5的卷积核；运用不同大小的卷积核进行卷积可以得到不同尺度的特征，在3×3和5×5之前采用1×1的卷积是为了降低维度，减少计算瓶颈的同时增加网络层数，提高网络的表达能力；

InceptionV2把InceptionV1中的5×5卷积改成了两个3×3卷积；有如下几个优点：第一，节约大量的参数；第二，能处理更丰富的空间特征，增加特征的多样性；为加快收敛速度，在每一个卷积层后添加了BN层；在InceptionV2结构中的卷积之后也添加了BN层。

所述步骤(7)对数据集中训练集进行训练：对训练集进行训练，在训练过程中，观察训练曲线是否收敛。此处损失函数的采用分类常用的交叉熵损失函数。它刻画的是实际输出概率与期望输出概率的距离，也就是交叉熵的值越小，两个概率分布就越接近；交叉熵公式如下:

其中，x是函数的输入，y是表示真实标记的分布，a则为训练后的模型的预测标记分布，交叉熵损失函数能衡量y与a的相似性；当任务为多分类时，使用softmax作为输出层的激活层，具体采用如下的公式来衡量损失：

其中，p代表模型的预测值，t是标签值，i和j分别对应着数据的值和数据的类别。

本发明的有益效果，从详细的实验结果表明我们提出的模型具有较高的识别准确率和较小的模型体积。本方法总体预测精度达到97.55，相比较现有的轻量级网络MobileNetV1，MobileNetV2，ShuffleNetV2是最高的，并且模型的大小也只有21.4MB。

附图说明

图1为输入结构图。

图2为InceptionV1结构。

图3为InceptionV2结构。

图4为SE-Inception模块。

图5为轻量级茄科病害识别步骤流程图。

具体实施方式

本发明提出一种基于SE-Inception结构的轻量级茄科病害识别方法，包括如下步骤(如图5所示轻量级茄科病害识别步骤流程图)

(1)建立常见茄科病害数据集，并进行手工标注；

(2)输入茄科病害数据集；

(3)图像增强，即旋转、平移，翻转等操作，扩大数据集；

(4)将数据集划分为训练集、验证集和测试集；

(5)输入数据后，设计了并行卷积层，用不同尺度的卷积核进行卷积，对于每一个卷积层后都加上批处理归一化层，简称BN层；

(6)结合Inception结构和SeNet模块搭建轻量级网络，具体包含多尺度特征提取模块，全局池化层，SE-Inception模块，平均池化层和分类器；

(7)对数据集中训练集进行训练；

(8)保存训练好的模型；

(9)使用训练好的模型对测试数据集测试输出。

所述(1)建立常见茄科病害数据集，并进行手工标注；其中，建立的茄科病害数据集，共包含5类1835张病害图片；

在常见茄科病害数据集上测试，达到较好的精度以及较小的模型体积，识别效果如表1所示。具体病害识别的准确率表2所示。为验证网络的鲁棒性，在PlantVillage公开数据集上也进行了测试；实验结果如表3所示。

表1不同模型的实验结果

表2不同模型下每种病害的识别精度

表3 PlantVillage数据集实验结果

详细的实验结果表明我们提出的模型具有较高的识别准确率和较小的模型体积。从表1可知，我们的方法总体预测精度达到97.55，相比较现有的轻量级网络MobileNetV1，MobileNetV2，ShuffleNetV2是最高的，并且模型的大小也只有21.4MB。从表2中我们可以看出我们的方法在每一类的病害识别的准确率都是最高的。从表3可知，模型在PlantVillage公开数据集上也有良好的表现，验证集的识别准确率达99.01％，测试集准确率达99.16％均高于对照模型。我们的模型由于添加了BN层模型的收敛速度也比较快，这可以大大节省计算资源。采用Inception和SENet相结合又可以提高网络的精度。采用Inception结构加上BN层，使得整个模型更加轻便化，为移动端如单片机或手机的应用奠定基础。

所述步骤(5)采用不同尺度的卷积核进行卷积的操作方法：

由于病害种类较多，不同病害的颜色纹理特征存在较大的差异。同一种病害在在病害不同阶段差异也比较明显。因此对输入的图片采用不同尺度的卷积核进行卷积，可以同时提取多种尺度的局部特征，增加网络的鲁棒性。输入部分的结构如图1所示，在图1中的卷积后都采用Batch Normalization批归一化。批归一化的主要目的是通过一定的规范化手段把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布。这样有助于加快收敛速度，大大加快训练孙福。批归一化的主要操作步骤如下：

输入：一个批次中x的值：B＝{x₁...m}；需要学习的参数γ，β

输出：{y_i＝BN_γ，β(x_i)}

每个训练批次数据的均值：

每个训练批次数据的方差：

使用求得的均值和方差对该批次的数据做归一化：

规格转换：

其中，x是函数的输入；公式中B代表由多个x组成的集合；m是集合B包含x的数量；i代表集合B中x的位置信息；ε是为了避免除数为0时所使用的微小正数。

所述步骤(6)结合Inception结构和SeNet模块搭建轻量级网络的方法：利用Inception的结构来减少模型的参数量从而减小模型的大小，采用SENet模块来提高网络的精度，并把两者相结合。本网络采用《Rethinking the inception architecture forcomputer vision》提出的InceptionV2结构来替换原有的InceptionV1结构。原有的InceptionV1结构如图2所示。InceptionV2结构如图3所示。

InceptionV1模块是GoogLeNet中的基本模块。InceptionV1可以提高网络资源的利用率，在计算量不变的情况下，提高网络的宽度和深度；InceptionV1有4个通道分别由1×1、3×3、5×5的卷积核；运用不同大小的卷积核进行卷积可以得到不同尺度的特征，在3×3和5×5之前采用1×1的卷积是为了降低维度，减少计算瓶颈的同时增加网络层数，提高网络的表达能力；

InceptionV2把InceptionV1中的5×5卷积改成了两个3×3卷积；有如下几个优点：第一是可以节约大量的参数；第二点是可以处理更丰富的空间特征，增加特征的多样性；为加快收敛速度，在每一个卷积层后添加了BN层在本文InceptionV2结构中的卷积之后也添加了BN层。

在分类网络中引入残差注意力机制，可以聚集图像中目标的局部特征，提高检测精度。我们从特征通道之间的关系入手，显式地建模特征通道之间的相互依赖关系，采用了一种全新的“特征重标定”策略来自动获取到每个特征通道的重要程度，然后依照这个重要程度去增强有用的特征并抑制对当前任务用处不大的特征，从而能实现特征通道自适应校准。这样让整个网络结构不仅关注整体信息，还关注局部信息。

SENet和Inception结构相结合的示意图如图4所示。SENet模块主要分为压缩，激励和复原三步。SENet的具体流程如下：假设原来的特征图是H×W×C，先通过全局池化得到1×1×C的特征图(压缩)；再使用全连接层，RELU激活层，全连接层和sigmoid层，得到1×1×C的特征图(激活)；最后恢复原来的特征图大小(复原)。其中为了更好地拟合通道间复杂的相关性,极大地减少了参数量和计算量，增加更多的非线性，在使用第一个全连接层时对神经元个数C除以r进行降维，其中r为通道的压缩比。然后通过第二个全连接层再升维，得到1×1×C的特征图。此外由于通道之间具有相关性，因此在第二个全连接层后采用sigmoid而不用softmax。

本网络的具体结构如表4所示。

表4网络结构表

所述步骤(7)对训练集进行训练，在训练过程中，观察训练曲线是否收敛。此处损失函数的采用分类常用的交叉熵损失函数。它刻画的是实际输出(概率)与期望输出(概率)的距离，也就是交叉熵的值越小，两个概率分布就越接近。交叉熵公式如下:

其中，x是函数的输入，y是表示真实标记的分布，a则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量y与a的相似性。当任务为多分类时，使用softmax作为输出层的激活层，具体采用如下的公式来衡量损失：

其中，p代表模型的预测值，t是标签值，i和j分别对应着数据的值和数据的类别。

Claims (4)

1.一种基于SE-Inception结构的轻量级茄科病害识别方法，其特征在于，包括如下步骤：

(1)建立常见茄科病害数据集，并进行手工标注；

(2)输入茄科病害数据集；

(3)图像增强，即旋转、平移，翻转等操作，扩大数据集；

(4)将数据集划分为训练集、验证集和测试集；

(5)输入数据后，设计了并行卷积层，用不同尺度的卷积核进行卷积，对于每一个卷积层后都加上BN层，其中BN层为批归一化层Batch Normalization，简称BN层；

(6)结合Inception结构和SeNet模块，搭建了一种新型轻量级网络，具体包含多尺度特征提取模块，全局池化层，SE-Inception模块，平均池化层和分类器；

(7)对数据集中训练集进行训练；

(8)保存训练好的模型；

(9)使用训练好的模型对测试数据集测试输出。

2.根据权利要求1所述基于SE-Inception结构的轻量级茄科病害识别方法，其特征在于，所述步骤(5)采用不同尺度的卷积核进行卷积的操作方法，由于病害种类较多，不同病害的颜色纹理特征存在较大的差异；同一种病害在在病害不同阶段差异也比较明显；因此对输入的图片采用不同尺度的卷积核进行卷积，可以同时提取多种尺度的局部特征，增加网络的鲁棒性；卷积后都采用批归一化处理；批归一化的主要目的是通过一定的规范化手段把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0、方差为1的标准正态分布，这样有助于加快收敛速度，批归一化的主要操作步骤如下：

输入：一个批次中x的值：B＝{x₁...m}；需要学习的参数γ，β

输出：{y_i＝BN_γ，β(x_i)}

每个训练批次数据的均值：

每个训练批次数据的方差：

使用求得的均值和方差对该批次的数据做归一化：

规格转换：

β(x_i)

其中，x是函数的输入；B代表由多个x组成的集合；m是集合B包含x的数量；i代表集合B中x的位置信息；ε是为了避免除数为0时所使用的微小正数。

3.根据权利要求1所述基于SE-Inception结构的轻量级茄科病害识别方法，其特征在于，所述步骤(6)结合Inception结构和SeNet模块搭建轻量级网络的方法：利用Inception的结构来减少模型的参数量，从而减小模型的大小，采用SENet模块来提高网络的精度，并把两者相结合；所述Inception的结构包括：

InceptionV1模块是GoogLeNet中的基本模块,InceptionV1提高网络资源的利用率，在计算量不变的情况下，提高网络的宽度和深度；InceptionV1有4个通道分别由1×1、3×3、5×5的卷积核；运用不同大小的卷积核进行卷积,得到不同尺度的特征，在3×3和5×5之前采用1×1的卷积是为了降低维度，减少计算瓶颈的同时增加网络层数，提高网络的表达能力；

InceptionV2把InceptionV1中的5×5卷积改成了两个3×3卷积；有如下几个优点：第一,节约大量的参数；第二,处理更丰富的空间特征，增加特征的多样性；为加快收敛速度，在每一个卷积层后添加了BN层；在InceptionV2结构中的卷积之后也添加了BN层。

4.根据权利要求1所述基于SE-Inception结构的轻量级茄科病害识别方法，其特征在于，所述步骤(7)对数据集中训练集进行训练：对训练集进行训练，在训练过程中，观察训练曲线是否收敛；此处损失函数的采用分类常用的交叉熵损失函数,它刻画的是实际输出概率与期望输出概率的距离，也就是交叉熵的值越小，两个概率分布就越接近；交叉熵公式如下:

其中，x是函数的输入，y是表示真实标记的分布，a则为训练后的模型的预测标记分布，交叉熵损失函数能衡量y与a的相似性.当任务为多分类时，使用softmax作为输出层的激活层，具体采用如下的公式来衡量损失：

其中，p代表模型的预测值，t是标签值，i和j分别对应着数据的值和数据的类别。

Images