CN106682704B - 一种融合上下文信息的病害图像识别方法 - Google Patents

Abstract

本发明涉及一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，与现有技术相比解决了病害图像识别率低、鲁棒性差的缺陷。本发明包括以下步骤：训练图像的收集和预处理；构造并训练混合卷积神经网络模型；待测图像的收集和预处理；将测试样本输入训练完成后的混合卷积神经网络模型中，进行病害图像的自动识别，识别出待测病害图像的类别。本发明将病害图像的图片信息和上下文信息相结合进行混合卷积神经网络的构建，从而提高了病害识别的准确率，增强了病害识别算法的鲁棒性。

Description

一种融合上下文信息的病害图像识别方法

技术领域

本发明涉及图像识别技术领域，具体来说是一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法。

背景技术

病害一直是困扰农作物生长的基本问题，由于植物病害症状最初很模糊，加大了人工目测的难度。现行的病害分类、识别工作主要是依靠少数植保专家和农技人员来完成的，但病害种类繁多，而每一位植保专家穷其所能也只能识别部分病害。

病害图像的识别由于其植物种类的多样性、不同种类植物病害的多变性，使得传统的自动识别方法识别率不高、鲁棒性较差，且只能存在于实验阶段。因此，如何能够提高病害图像识别的准确性已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中病害图像识别率低、鲁棒性差的缺陷，提供一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，包括以下步骤：

训练图像的收集和预处理，收集若干幅图像作为训练图像，收集图像的焦点集中在病害症状上，将所有训练图像的大小归一化为256×256像素，得到若干个训练样本；

构造并训练混合卷积神经网络模型，分别获取病害图像特征和病害图像的上下文信息的特征，将病害图像特征与病害图像的上下文信息特征相融合，构建混合卷积神经网络模型，并对构建后的混合卷积神经网络模型进行训练；

待测图像的收集和预处理，获取待测图像并将待测图像的大小归一化为 256×256像素，得到测试样本；

将测试样本输入训练完成后的混合卷积神经网络模型中，进行病害图像的自动识别，识别出待测病害图像的类别。

所述的构造并训练混合卷积神经网络模型包括以下步骤：

构建混合卷积神经网络模型，将归一化后的训练样本裁剪成227×227像素大小作为AlexNet网络模型的输入，输出病害图像特征向量，在AlexNet网络模型的基础上添加前馈全连接子网，将图片的上下文信息作为此前馈全连接子网的输入，输出病害图像的上下文信息特征向量，将病害图像特征向量与上下文信息特征向量融合之后再进行全连接，通过softmax分类器输出病害图像所属的类别概率；

混合卷积神经网络模型的训练，使用imagenet图像集来初步训练构造的混合卷积神经网络模型，将初步训练后模型中的所有或者部分参数值用作最终模型参数的初始值，使用收集的若干病害训练图像对已初步训练过的混合卷积神经网络模型进行微调，进一步优化网络模型的参数，完成对混合卷积神经网络模型的最终训练。

所述的构建混合卷积神经网络模型包括以下步骤：

采用基于AlexNet模型的8层结构构造混合卷积神经网络FCNN，其中： AlexNet模型的前5层为卷积层、后3层为全连接层，

将归一化后截取的227×227像素大小的的训练样本输入混合卷积神经网络的第1层卷积层，经过从第2层至第5层卷积滤波后从混合卷积神经网络的第6层全连接层输出病害图像特征向量；

前馈全连接子网的设定，

将前馈全连接子网设定为两层全连接层，设病害作物所属类别数为n，将病害作物所属类别作为上下文信息，则输入向量为n维向量，将n维向量作为前馈全连接子网的两层全连接层的输入，输出上下文信息特征向量；

将病害图像特征向量和上下文信息特征向量直接连接成混合向量；

将混合向量作为混合卷积神经网络的第7层的输入，混合卷积神经网络的第8层的输出经过softmax分类器，得到图像所属的病害类别的概率。

所述的混合卷积神经网络模型的训练包括以下步骤：

针对混合卷积神经网络模型基于Caffe框架进行整个网络模型的训练，使用imagenet图像集来初步训练构造的混合卷积神经网络模型；

将初步训练后的模型中的所有或者部分参数值用作最终模型参数的初始值，再使用收集的若干病害训练图像对已初步训练过的混合卷积神经网络进行微调，进一步优化网络模型的参数，完成对混合卷积神经网络模型的最终训练。

针对混合卷积神经网络模型基于Caffe框架进行整个网络模型的训练包括以下步骤：

前向传播阶段，从imagenet图像集中取出一个样本(X_i,O_i)，将图像X_i输入混合卷积神经网络，经过逐级的变换，传送到输出层，计算相应的实际输出 O_i,其计算公式如下：

O_i＝F_n(F_n-1(…F₂(F₁(X_iw⁽¹⁾+b⁽¹⁾)w⁽²⁾+b⁽²⁾)…)w⁽ⁿ⁾+b⁽ⁿ⁾

其中，F_n()表示第n层的激活函数，w⁽ⁿ⁾表示第n层的权值,b⁽ⁿ⁾表示第n的偏置；

后向传播阶段，计算实际输出O_i和理想输出Y_i的差，然后按照极小化误差的方法反向传播调整权矩阵，其输出层的误差计算公式如下：

E_i＝1/2∑_k(O_ik-T_ik)²，

其中，E_i、O_ik、T_ik分别是第i个样本的误差、第i个样本输出层第k个神经元的输出、第i个样本输出层第k个神经元的期望输出。

有益效果

本发明的一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，与现有技术相比将病害图像的图片信息和上下文信息相结合进行混合卷积神经网络的构建，从而提高了病害识别的准确率，增强了病害识别算法的鲁棒性。

附图说明

图1为本发明的方法顺序图；

图2a为使用收集的病害图片训练网络FusionNet的第一层网络的权重滤波器展示图；

图2b为使用imagenet图像集训练网络FusionNet的第一层网络的权重滤波器展示图；

图2c为使用imagenet图像集初步训练后再使用收集的病害图片训练网络FusionNet即fine-tune模式的第一层网络的权重滤波器展示图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，包括以下步骤：

第一步，训练图像的收集和预处理。收集若干幅图像作为训练图像，为了满足实际的病害识别环境的需要，所有的训练病害图像样本均在田间收集。收集图像的焦点集中在病害症状上，将所有训练图像的大小归一化为256×256 像素，得到若干个训练样本。

第二步，构造并训练混合卷积神经网络模型。分别获取病害图像特征和病害图像的上下文信息的特征，将病害图像特征与病害图像的上下文信息特征相融合，构建混合卷积神经网络模型，并对构建后的混合卷积神经网络模型进行训练。

(1)构建混合卷积神经网络(Fusion Convolutional Neural Network,FCNN) 模型，FCNN网络模型是一个非常灵活的网络结构，它可以合并任何形式的先验信息，并且子网不一定非是全连接的网络，其可以是基于我们的先验信息的各种形式的连接，如CNN或者RNN等。

在此，将归一化后的训练样本裁剪成227×227像素大小作为AlexNet网络模型的输入，输出病害图像特征向量，在AlexNet网络模型的基础上添加前馈全连接子网，将图片的上下文信息作为此前馈全连接子网的输入，输出病害图像的上下文信息特征向量，将病害图像特征向量与上下文信息特征向量融合之后再进行全连接，通过softmax分类器输出病害图像所属的类别概率。其具体步骤如下：

A、采用基于AlexNet模型的8层结构构造混合卷积神经网络FCNN，其中：AlexNet模型自身为8层结构，在8层结构中前5层为卷积层、后3层为全连接层。以第一个卷积层(第1层)为例，卷积滤波器的大小是11*11，卷积步幅为4，由于图像是RGB彩色图像，本层共有3*96个卷积滤波器，本层的输出则是96个55*55大小的彩色图片。在第一个卷基层，卷积滤波后，还接有线性修正单元ReLUs操作和最大池化max-pooling操作。第6、7和8层是全连接层，相当于在五层卷积层的基础上再加上一个三层的全连接神经网络分类器。以第6层的全连接层为例，本层的神经元个数为4096个。

将归一化后截取的227×227像素大小的的训练样本输入混合卷积神经网络的第1层卷积层，此时输入图片都将被剪裁成227×227像素大小。经过从第 2层至第5层卷积滤波后从混合卷积神经网络的第6层全连接层输出病害图像特征向量。病害图像特征向量作为特征1，传统的构建方法通过输入图片直接从第8层获得相关概率参数，并进行训练。但在实际应用中，病害图片存在多样性特点，而针对于不同的植物又可能存在相似的病害状态，但不同植物在相似的病害状态表现下所产生的病害则不相同。因此，只通过病害图像的输入来判断病害种类，难以应用于实际。

B、前馈全连接子网的设定。前馈全连接子网用于在混合卷积神经网络中融合病害图像一些先验(上下文)信息，例如图像所属的作物类别、病害发生的天气、空间或者时间等信息，利用综合信息进行病害种类的判断，从而提高病害识别的准确率，增强病害识别算法的鲁棒性。

将前馈全连接子网设定为两层全连接层，每一层的神经元个数分别是32 和16。在此选用病害判断较常用的作物类别作为特征2，与特征1相结合进行综合判断，当然，还可以选用病害发生的天气、地理位置或时间等其他辅助判断指标。设病害作物所属类别数为n，将病害作物所属类别作为上下文信息，则输入向量为n维向量，则在n维向量中，对应作物名称那一维是1，其余都是0。将n维向量作为前馈全连接子网的两层全连接层的输入，输出上下文信息特征向量。

C、将病害图像特征向量和上下文信息特征向量直接利用向量连接传统方法连接成混合向量，从而融合了图像的一些先验信息。

D、将混合向量作为混合卷积神经网络的第7层的输入，即在混合卷积神经网络的第6层就把图像和上下文的先验信息的不同特征组成一个混合(特征) 向量。第8个全连接的神经元个数为78个，相当于训练目标的78个病害类别，混合卷积神经网络的第8层的输出经过softmax分类器，得到图像所属的病害类别的概率。

(2)混合卷积神经网络模型的训练。使用imagenet图像集来初步训练构造的混合卷积神经网络模型，将初步训练后模型中的所有或者部分参数值用作最终模型参数的初始值，使用收集的若干病害训练图像对已初步训练过的混合卷积神经网络模型进行微调，进一步优化网络模型的参数，完成对混合卷积神经网络模型的最终训练。其具体步骤如下：

A、针对混合卷积神经网络模型基于Caffe框架进行整个网络模型的训练，使用imagenet图像集来初步训练构造的混合卷积神经网络模型。过程主要包括前向传播阶段和后向传播阶段。

前向传播阶段。从imagenet图像集中取出一个样本(X_i,O_i)，将图像X_i输入混合卷积神经网络，经过逐级的变换，传送到输出层，计算相应的实际输出 O_i,其计算公式如下：

O_i＝F_n(F_n-1(…F₂(F₁(X_iw⁽¹⁾+b⁽¹⁾)w⁽²⁾+b⁽²⁾)…)w⁽ⁿ⁾+b⁽ⁿ⁾

其中，F_n()表示第n层的激活函数，w⁽ⁿ⁾表示第n层的权值,b⁽ⁿ⁾表示第n的偏置。

后向传播阶段。计算实际输出O_i和理想输出Y_i的差，然后按照极小化误差的方法反向传播调整权矩阵，其输出层的误差计算公式如下：

E_i＝1/2∑_k(O_ik-T_ik)²，

其中，E_i、O_ik、T_ik分别是第i个样本的误差、第i个样本输出层第k个神经元的输出、第i个样本输出层第k个神经元的期望输出。

B、将初步训练后的模型中的所有或者部分参数值用作最终模型参数的初始值，再使用收集的若干病害训练图像对已初步训练过的混合卷积神经网络进行微调，进一步优化网络模型的参数，完成对混合卷积神经网络模型的最终训练。通过采用fine-tune微调的方法，即使用大量和病害图像弱相关的数据来训练基本网络模型，之后再使用病害数据对网络模型进行参数调优，保证了在没有大量训练图像的前提下也可以建立优秀的深度神经网络模型，

第三步，待测图像的收集和预处理。获取待测图像并将待测图像的大小归一化为256×256像素，得到测试样本。

第四步，将测试样本输入训练完成后的混合卷积神经网络模型中，进行病害图像的自动识别，识别出待测病害图像的类别。

表1不同方法识别率对比表

方法	识别率
		去除复杂背景+纹理特征+SVM	64.5％
AlexNet(收集的病害图片训练网络)	72.6％
		AlexNet(imagenet图像集初步训练网络)+Fine-tune(收集的病害图片微调网络)	87.0％
FusionNet(收集的病害图片训练网络)	77.5％
		本发明所用方法	87.9％

表1为其他方法和本发明方法的识别率的对比表，由表1可以发现，本发明的方法相比现有一些技术的方法在识别的效果上更好。

如图2a、图2b和图2c所示，图2a、图2b和图2c分别为使用FusionNet (使用收集的病害图片训练网络)、FusionNet(使用imagenet图像集训练网络)和本发明方法(先使用imagenet图像集初步训练后再使用收集的病害图片训练网络即fine-tune模式)的第一层网络的权重滤波器。由此可见，由 imagenet初步训练的模型已经获得了一个良好的权重滤波器，平滑且有规则性，权重的一部分负责提取高频灰度特征，而另一部分负责提取形状特征。相比之下，只用我们收集的病害数据训练的模型，由于没有足够的数据，滤波器没有得到很好的训练，滤波器模糊不清晰且不规则。本文方法的基于 FusionNet的fine-tune微调模型保留了ImageNet训练模型的优点的同时，融合病害图像一些先验信息进行病害种类的判断，因此获得极好的精度是合理的。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (4)

1.一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，其特征在于,包括以下步骤：

11)训练图像的收集和预处理，收集若干幅图像作为训练图像，收集图像的焦点集中在病害症状上，将所有训练图像的大小归一化为256×256像素，得到若干个训练样本；

12)构造并训练混合卷积神经网络模型，分别获取病害图像特征和病害图像的上下文信息的特征，将病害图像特征与病害图像的上下文信息特征相融合，构建混合卷积神经网络模型，并对构建后的混合卷积神经网络模型进行训练；所述的构造并训练混合卷积神经网络模型包括以下步骤：

121)构建混合卷积神经网络模型，将归一化后的训练样本裁剪成227×227像素大小作为AlexNet网络模型的输入，输出病害图像特征向量，在AlexNet网络模型的基础上添加前馈全连接子网，将图片的上下文信息作为此前馈全连接子网的输入，输出病害图像的上下文信息特征向量，将病害图像特征向量与上下文信息特征向量融合之后再进行全连接，通过softmax分类器输出病害图像所属的类别概率；

122)混合卷积神经网络模型的训练，使用imagenet图像集来初步训练构造的混合卷积神经网络模型，将初步训练后模型中的所有或者部分参数值用作最终模型参数的初始值，使用收集的若干病害训练图像对已初步训练过的混合卷积神经网络模型进行微调，进一步优化网络模型的参数，完成对混合卷积神经网络模型的最终训练；

13)待测图像的收集和预处理，获取待测图像并将待测图像的大小归一化为256×256像素，得到测试样本；

14)将测试样本输入训练完成后的混合卷积神经网络模型中，进行病害图像的自动识别，识别出待测病害图像的类别。

2.根据权利要求1所述的一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，其特征在于，所述的构建混合卷积神经网络模型包括以下步骤：

21)采用基于AlexNet模型的8层结构构造混合卷积神经网络FCNN，其中：AlexNet模型的前5层为卷积层、后3层为全连接层，

将归一化后截取的227×227像素大小的的训练样本输入混合卷积神经网络的第1层卷积层，经过从第2层至第5层卷积滤波后从混合卷积神经网络的第6层全连接层输出病害图像特征向量；

22)前馈全连接子网的设定，

将前馈全连接子网设定为两层全连接层，设病害作物所属类别数为n，将病害作物所属类别作为上下文信息，则输入向量为n维向量，将n维向量作为前馈全连接子网的两层全连接层的输入，输出上下文信息特征向量；

23)将病害图像特征向量和上下文信息特征向量直接连接成混合向量；

24)将混合向量作为混合卷积神经网络的第7层的输入，混合卷积神经网络的第8层的输出经过softmax分类器，得到图像所属的病害类别的概率。

3.根据权利要求1所述的一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，其特征在于，所述的混合卷积神经网络模型的训练包括以下步骤：

31)针对混合卷积神经网络模型基于Caffe框架进行整个网络模型的训练，使用imagenet图像集来初步训练构造的混合卷积神经网络模型；

32)将初步训练后的模型中的所有或者部分参数值用作最终模型参数的初始值，再使用收集的若干病害训练图像对已初步训练过的混合卷积神经网络进行微调，进一步优化网络模型的参数，完成对混合卷积神经网络模型的最终训练。

4.根据权利要求3所述的一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法，其特征在于，针对混合卷积神经网络模型基于Caffe框架进行整个网络模型的训练包括以下步骤：

41)前向传播阶段，从imagenet图像集中取出一个样本(X_i,O_i)，将图像X_i输入混合卷积神经网络，经过逐级的变换，传送到输出层，计算相应的实际输出O_i,其计算公式如下：

O_i＝F_n(F_n-1(L F₂(F₁(X_iw⁽¹⁾+b⁽¹⁾)w⁽²⁾+b⁽²⁾)L)w⁽ⁿ⁾+b⁽ⁿ⁾

其中，F_n()表示第n层的激活函数，w⁽ⁿ⁾表示第n层的权值,b⁽ⁿ⁾表示第n的偏置；

42)后向传播阶段，计算实际输出O_i和理想输出Y_i的差，然后按照极小化误差的方法反向传播调整权矩阵，其输出层的误差计算公式如下：

E_i＝1/2∑_k(O_ik-T_ik)²，

其中，E_i、O_ik、T_ik分别是第i个样本的误差、第i个样本输出层第k个神经元的输出、第i个样本输出层第k个神经元的期望输出。