CN107808375B - 融合多种上下文深度学习模型的水稻病害图像检测方法 - Google Patents

Abstract

本发明涉及融合多种上下文深度学习模型的水稻病害图像检测方法，与现有技术相比解决了水稻病害检测未考虑其相关条件因素的缺陷。本发明包括以下步骤：训练样本的收集和预处理；基于深度学习融合水稻图像上下文信息获得水稻病害图像检测模型；待检测水稻图像的空间、位置、温湿度信息收集和预处理；病害在水稻图像中具体位置的标记。本发明不仅考虑了病害图像本身的特征，还考虑了采集时空间、时间、温湿度等相关因素，通过对水稻病害图像全局上下文训练模型、水稻病害图像局部上下文训练模型、水稻病害属性约束上下文训练模型的融合，提高了田间复杂应用情况下水稻病害图像检测与识别能力，提高了水稻病害图像检测率。

Description

融合多种上下文深度学习模型的水稻病害图像检测方法

技术领域

本发明涉及图像识别技术领域，具体来说是融合多种上下文深度学习模型的水稻病害图像检测方法。

背景技术

如何精准的检测与识别水稻病害一直是困扰农作物预测预报的问题，由于农田环境下，水稻病害发生的部位、程度的不同，加大了人工目测的难度。目前水稻病害的检测工作主要是依靠少数植保专家和农技人员来完成的，但农田环境下水稻图像背景复杂，农技人员受知识水平因素影响，凭借肉眼方式难以保证其准确度。同时，由于自然环境下水稻病害的图像背景复杂，并配上光照、阴影等影响，使得传统的自动检测方法效率低、鲁棒性差。此外，目前检测方法大多数集中在图像本身特征提取，忽略了水稻病害发生时的空间、位置以及对应的温湿度等相关条件因素的考虑，也致使水稻病害的识别只能存在于实验阶段。

如何能够提高水稻病害检测的准确性已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中水稻病害检测未考虑其相关条件因素的缺陷，提供一种融合多种上下文深度学习模型的水稻病害图像检测方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种融合多种上下文深度学习模型的水稻病害图像检测方法，包括以下步骤：

训练样本的收集和预处理，收集若干幅水稻病害图像及其相对应病害发生时的时间、空间、温湿度信息作为训练数据，人工标记出水稻图像中病害发生部分，将所有标记图像的大小归一化为32×32像素，得到若干类病害，每类病害有若干个病害图像训练样本；

基于深度学习融合水稻图像上下文信息获得水稻病害图像检测模型，构建水稻病害图像全局上下文训练模型、局部上下文训练模型，并引入不同水稻病害发生时空间、时间、温湿度上下文信息作为特征数据，训练基于多种上下深度学习的水稻病害检测模型；

待检测水稻图像的空间、位置、温湿度信息收集和预处理，获取待检测水稻图像及信息，将待检测水稻图像的大小归一化为512×512像素，通过预训练网络获得候选区域图像块的特征；

病害在水稻图像中具体位置的标记，将待检测图像的空间、位置、温湿度信息及其候选区域图像块的特征输入训练后的水稻病害检测模型，进行水稻病害的识别与检测，定位并标记出病害在图像中具体位置。

所述的基于深度学习融合水稻图像上下文信息获得水稻病害图像检测模型包括以下步骤：

构建水稻病害图像全局上下文训练模型；

构建水稻病害图像局部上下文训练模型；

收集水稻病害全局图像，

收集水稻病害图像数据集X_i表示病害图像，Y_i表示对应的病害图像标记信息；

收集水稻病害局部图像，

以水稻病害图像训练数据集为基础，通过以下公式收集水稻病害局部图像数据集其公式如下：

X_j＝{X_i|0＜||l(X_i)-l(X_j)||＜0.5,i＝1,2,3...,M；j＝M+1,...,N}

Y_j＝{Y_i|0＜||l(X_i)-l(X_j)||＜0.5,i＝1,2,3...,M；j＝M+1,...,N}

其中，X_j表示在X_i图像周围收集的同一类型病害的局部图像，总数控制在20至30个，在全局病害图像X_i周围采集的局部病害图像的距离范围控制在0＜||l(X_i)-l(X_j)||＜0.5标准内，l(X_i)为水稻病害图像X_i的中心点位置坐标，l(X_j)为收集的病害局部图像中心点位置坐标；Y_j表示在X_i图像周围收集的同一类型病害局部图像的标记信息，在每个X_i周围收集的多个X_j病害局部图像，这些局部图像块总数控制在20至30个，这些局部图像块对应的病害标记信息与Y_i等同设置；

构造水稻病害属性约束上下文训练模型；

融合多种上下文信息获得水稻病害图像检测模型；

通过引入不同水稻病害发生时空间、时间、温湿度上下文信息作为特征数据，进一步构建水稻病害图像检测模型J(W_g,W_l,W_m)，其如下：

其中，m∈{t,s,p}分别表示水稻病害发生时所对应的时间t、空间s与位置p上下文信息；

对水稻病害检测模型进行训练，其训练过程如下：

其中，p(X)＝(p₀(X),...,p_K(X))所有病害类别上的概率分布，λ是权值系数，f_loss(p(X),y)＝-logp_y(X)是交叉熵损失函数，为训练过程中回归预测的水稻病害图像位置，

预测计算如下：

通过随机梯度下降分别获得深度上下文联合水稻病害检测模型参数和其计算公式如下：

所述的待检测水稻图像的空间、位置、温湿度信息收集和预处理包括以下步骤：

获取待测图像的空间、位置、温湿度信息；

将待检测水稻图像的大小归一化为512×512像素；

使用均值聚类方法将待检测水稻病害图像分成2000个图像候选区域块；

对每个候选区域图像块使用预训练网络进行特征提取；

将每个候选区域图像块的特征作为水稻病害检测模型的输入。

所述的构建水稻病害图像全局上下文训练模型如下：

以深度卷积神经网络模型为基础构建水稻病害图像全局上下文训练模型，其包含5个卷积层、3个池化层、全链接层与输出层；

其输入是一幅病害图像、大小为32×32像素，输出是该图像所属的类别概率；

其水稻病害图像全局上下文网络模型J_g(W)如下：

其中，水稻病害图像训练数据集为X_i为水稻病害图像块，Y_i＝(y_i,l_i)包含不同病害标记y_i∈{0,1,2,...,K}和病害图像的位置坐标α损失函数f(X_i,Y_i|W_g)的权值，经过训练学习得到模型参数W_g。

所述的构建水稻病害图像局部上下文训练模型如下：

以深度卷积神经网络模型为基础构建水稻病害图像局部上下文训练模型，其包含5个卷积层、3个池化层、全链接层与输出层；

其输入是一幅病害的局部图像，大小为16×16像素，输出该局部图像所属的类别概率；

水稻图像局部上下文模型J(W_l)如下：

其中，水稻病害局部图像训练数据集为X_j为水稻病害局部图像块，Y_j＝(y_j,l_j)包含不同病害标记y_j∈{0,1,2,...,K}和病害局部图像的位置坐标β为损失函数f(X_j,Y_j|W_l)的权值，经过训练学习得到模型参数W_l。

所述的构造水稻病害属性约束上下文训练模型如下：

构建水稻病害属性约束上下文训练模型，其输入是一幅病害的图像以及对应的病害发生时空间、时间、温湿度数据，输出该病害所属的类别概率；

水稻病害属性约束上下文训练模型J(W_m)如下：

其中，水稻病害及其对应属性训练数据集为S_i＝{X_i,s_i,t_i,p_i}为水稻病害图像以及对应的病害发生时空间、时间、温湿度特征数据，Y_i＝(y_i,l_i)包含不同病害标记y_i∈{0,1,2,...,K}和病害图像的位置坐标γ为损失函数f(S_i,Y_i|W_m)的权值，经过训练学习得到模型参数W_m。

有益效果

本发明的融合多种上下文深度学习模型的水稻病害图像检测方法，与现有技术相比不仅考虑了病害图像本身的特征，还考虑了采集时空间、时间、温湿度等相关因素，通过对水稻病害图像全局上下文训练模型、水稻病害图像局部上下文训练模型、水稻病害属性约束上下文训练模型的融合，提高了田间复杂应用情况下水稻病害图像检测与识别能力，提高了水稻病害图像检测率。

附图说明

图1为本发明的方法顺序图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的融合多种上下文深度学习模型的水稻病害图像检测方法，包括以下步骤：

第一步，训练样本的收集和预处理。收集若干幅水稻病害图像及其相对应病害发生时的时间、空间、温湿度信息作为训练数据，人工标记出水稻图像中病害发生部分，将所有标记图像的大小归一化为32×32像素，得到若干类病害，每类病害有若干个病害图像训练样本。在此，不仅获得了病害图像的图像样本，还获得了病害发生时的时间、空间、温湿度上下文信息，通过这些上下文信息进一步增加病害识别的鲁棒性。

第二步，基于深度学习融合水稻图像上下文信息获得水稻病害图像检测模型。构建水稻病害图像全局上下文训练模型、局部上下文训练模型，并引入不同水稻病害发生时空间、时间、温湿度上下文信息作为特征数据，训练基于多种上下深度学习的水稻病害检测模型。其具体步骤如下：

(1)构建水稻病害图像全局上下文训练模型，其构建如下所述：

以深度卷积神经网络模型为基础构建水稻病害图像全局上下文训练模型，其包含5个卷积层、3个池化层、全链接层与输出层。

其输入是一幅病害图像、大小为32×32像素，输出是该图像所属的类别概率；

其水稻病害图像全局上下文网络模型J_g(W)如下：

其中，水稻病害图像训练数据集为X_i为水稻病害图像块，Y_i＝(y_i,l_i)包含不同病害标记y_i∈{0,1,2,...,K}和病害图像的位置坐标α损失函数f(X_i,Y_i|W_g)的权值，经过训练学习得到模型参数W_g。

(2)构建水稻病害图像局部上下文训练模型，其构建如下所述：

以深度卷积神经网络模型为基础构建水稻病害图像局部上下文训练模型，其包含5个卷积层、3个池化层、全链接层与输出层；

其输入是一幅病害的局部图像，大小为16×16像素，输出该局部图像所属的类别概率；

水稻图像局部上下文模型J(W_l)如下：

其中，水稻病害局部图像训练数据集为X_j为水稻病害局部图像块，Y_j＝(y_j,l_j)包含不同病害标记y_j∈{0,1,2,...,K}和病害局部图像的位置坐标β为损失函数f(X_j,Y_j|W_l)的权值，经过训练学习得到模型参数W_l。

(3)收集水稻病害全局图像，用于水稻病害图像全局上下文训练模型。

收集水稻病害图像数据集X_i表示病害图像，Y_i表示对应的病害图像标记信息；

(4)收集水稻病害局部图像，用于水稻病害图像局部上下文训练模型。

以水稻病害图像训练数据集为为基础，通过以下公式收集水稻病害局部图像数据集其公式如下：

X_j＝{X_i|0＜||l(X_i)-l(X_j)||＜0.5,i＝1,2,3...,M；j＝M+1,...,N}，

Y_j＝{Y_i|0＜||l(X_i)-l(X_j)||＜0.5,i＝1,2,3...,M；j＝M+1,...,N}，

其中，X_j表示在X_i图像周围收集的同一类型病害的局部图像，总数控制在20至30个，在全局病害图像X_i周围采集的局部病害图像的距离范围控制在0＜||l(X_i)-l(X_j)||＜0.5标准内，l(X_i)为水稻病害图像X_i的中心点位置坐标，l(X_j)为收集的病害局部图像中心点位置坐标；Y_j表示在X_i图像周围收集的同一类型病害局部图像的标记信息，在每个X_i周围收集的多个X_j病害局部图像，这些局部图像块总数控制在20至30个，这些局部图像块对应的病害标记信息与Y_i等同设置。

(5)构造水稻病害属性约束上下文训练模型，其构建如下所述：

构建水稻病害属性约束上下文训练模型，其输入是一幅病害的图像以及对应的病害发生时空间、时间、温湿度数据，输出该病害所属的类别概率；

水稻病害属性约束上下文训练模型J(W_m)如下：

其中，水稻病害及其对应属性训练数据集为S_i＝{X_i,s_i,t_i,p_i}为水稻病害图像以及对应的病害发生时空间、时间、温湿度特征数据，Y_i＝(y_i,l_i)包含不同病害标记y_i∈{0,1,2,...,K}和病害图像的位置坐标γ为损失函数f(S_i,Y_i|W_m)的权值，经过训练学习得到模型参数W_m。

(6)融合多种上下文信息获得水稻病害图像检测模型。将多种上下文深度学习模型进行融合，最终获得多种上下文信息的水稻病害图像检测模型。

通过引入不同水稻病害发生时空间、时间、温湿度上下文信息作为特征数据，进一步构建水稻病害图像检测模型J(W_g,W_l,W_m)，其如下：

其中，m∈{t,s,p}分别表示水稻病害发生时所对应的时间t、空间s与位置p上下文信息。

(7)对融合多种上下文信息的水稻病害检测模型进行训练，其训练过程如下：

其中，p(X)＝(p₀(X),...,p_K(X))所有病害类别上的概率分布，λ是权值系数，f_loss(p(X),y)＝-logp_y(X)是交叉熵损失函数，为训练过程中回归预测的水稻病害图像位置，

预测计算如下：

通过随机梯度下降分别获得深度上下文联合水稻病害检测模型参数和其计算公式如下：

第三步，待检测水稻图像的空间、位置、温湿度信息收集和预处理。获取待检测水稻图像及信息，将待检测水稻图像的大小归一化为512×512像素，通过预训练网络获得候选区域图像块的特征。其具体步骤如下：

(1)获取待测图像的空间、位置、温湿度信息。

(2)将待检测水稻图像的大小归一化为512×512像素。

(2)使用均值聚类方法将待检测水稻病害图像分成2000个图像候选区域块。

(3)对每个候选区域图像块使用预训练网络进行特征提取。

(4)将每个候选区域图像块的特征作为水稻病害检测模型的输入。

第四步，病害在水稻图像中具体位置的标记。将待检测图像的空间、位置、温湿度信息及其候选区域图像块的特征输入训练后的水稻病害检测模型，进行水稻病害的识别与检测，定位并标记出病害在图像中具体位置。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种融合多种上下文深度学习模型的水稻病害图像检测方法，其特征在于，包括以下步骤：

11)训练样本的收集和预处理，收集若干幅水稻病害图像及其相对应病害发生时的时间、空间、温湿度信息作为训练数据，人工标记出水稻图像中病害发生部分，将所有标记图像的大小归一化为32×32像素，得到若干类病害，每类病害有若干个病害图像训练样本；

12)基于深度学习融合水稻图像上下文信息获得水稻病害图像检测模型，构建水稻病害图像全局上下文训练模型、局部上下文训练模型，并引入不同水稻病害发生时空间、时间、温湿度上下文信息作为特征数据，训练基于多种上下深度学习的水稻病害检测模型；

所述的基于深度学习融合水稻图像上下文信息获得水稻病害图像检测模型包括以下步骤：

121)构建水稻病害图像全局上下文训练模型；

122)构建水稻病害图像局部上下文训练模型；

123)收集水稻病害全局图像，

收集水稻病害图像数据集X_i表示病害图像，Y_i表示对应的病害图像标记信息；

124)收集水稻病害局部图像，

以水稻病害图像训练数据集为基础，通过以下公式收集水稻病害局部图像数据集其公式如下：

X_j＝{X_i|0＜||l(X_i)-l(X_j)||＜0.5,i＝1,2,3...,M；j＝M+1,...,N}，

Y_j＝{Y_i|0＜||l(X_i)-l(X_j)||＜0.5,i＝1,2,3...,M；j＝M+1,...,N}，

其中，X_j表示在X_i图像周围收集的同一类型病害的局部图像，总数控制在20至30个，在全局病害图像X_i周围采集的局部病害图像的距离范围控制在0＜||l(X_i)-l(X_j)||＜0.5标准内，l(X_i)为水稻病害图像X_i的中心点位置坐标，l(X_j)为收集的病害局部图像中心点位置坐标；Y_j表示在X_i图像周围收集的同一类型病害局部图像的标记信息，在每个X_i周围收集的多个X_j病害局部图像，这些局部图像块总数控制在20至30个，这些局部图像块对应的病害标记信息与Y_i等同设置；

125)构造水稻病害属性约束上下文训练模型；

126)融合多种上下文信息获得水稻病害图像检测模型；

通过引入不同水稻病害发生时空间、时间、温湿度上下文信息作为特征数据，进一步构建水稻病害图像检测模型J(W_g,W_l,W_m)，其如下：

其中，m∈{t,s,p}分别表示水稻病害发生时所对应的时间t、空间s与位置p上下文信息；

127)对水稻病害检测模型进行训练，其训练过程如下：

其中，p(X)＝(p₀(X),...,p_K(X))所有病害类别上的概率分布，λ是权值系数，f_loss(p(X),y)＝-logp_y(X)是交叉熵损失函数，为训练过程中回归预测的水稻病害图像位置，

预测计算如下：

通过随机梯度下降分别获得深度上下文联合水稻病害检测模型参数W_l ^*和其计算公式如下：

13)待检测水稻图像的空间、位置、温湿度信息收集和预处理，获取待检测水稻图像及信息，将待检测水稻图像的大小归一化为512×512像素，通过预训练网络获得候选区域图像块的特征；

14)病害在水稻图像中具体位置的标记，将待检测图像的空间、位置、温湿度信息及其候选区域图像块的特征输入训练后的水稻病害检测模型，进行水稻病害的识别与检测，定位并标记出病害在图像中具体位置。

2.根据权利要求1所述的融合多种上下文深度学习模型的水稻病害图像检测方法，其特征在于，所述的待检测水稻图像的空间、位置、温湿度信息收集和预处理包括以下步骤：

21)获取待测图像的空间、位置、温湿度信息；

22)将待检测水稻图像的大小归一化为512×512像素；

23)使用均值聚类方法将待检测水稻病害图像分成2000个图像候选区域块；

24)对每个候选区域图像块使用预训练网络进行特征提取；

25)将每个候选区域图像块的特征作为水稻病害检测模型的输入。

3.根据权利要求1所述的融合多种上下文深度学习模型的水稻病害图像检测方法，其特征在于，所述的构建水稻病害图像全局上下文训练模型如下：

以深度卷积神经网络模型为基础构建水稻病害图像全局上下文训练模型，其包含5个卷积层、3个池化层、全链接层与输出层；

其输入是一幅病害图像、大小为32×32像素，输出是该图像所属的类别概率；

其水稻病害图像全局上下文网络模型J_g(W)如下：

其中，水稻病害图像训练数据集为X_i为水稻病害图像块，Y_i＝(y_i,l_i)包含不同病害标记y_i∈{0,1,2,...,K}和病害图像的位置坐标α损失函数f(X_i,Y_i|W_g)的权值，经过训练学习得到模型参数W_g。

4.根据权利要求1所述的融合多种上下文深度学习模型的水稻病害图像检测方法，其特征在于，所述的构建水稻病害图像局部上下文训练模型如下：

以深度卷积神经网络模型为基础构建水稻病害图像局部上下文训练模型，其包含5个卷积层、3个池化层、全链接层与输出层；

其输入是一幅病害的局部图像，大小为16×16像素，输出该局部图像所属的类别概率；

水稻图像局部上下文模型J(W_l)如下：

其中，水稻病害局部图像训练数据集为X_j为水稻病害局部图像块，Y_j＝(y_j,l_j)包含不同病害标记y_j∈{0,1,2,...,K}和病害局部图像的位置坐标β为损失函数f(X_j,Y_j|W_l)的权值，经过训练学习得到模型参数W_l。

5.根据权利要求1所述的融合多种上下文深度学习模型的水稻病害图像检测方法，其特征在于，所述的构造水稻病害属性约束上下文训练模型如下：

构建水稻病害属性约束上下文训练模型，其输入是一幅病害的图像以及对应的病害发生时空间、时间、温湿度数据，输出该病害所属的类别概率；

水稻病害属性约束上下文训练模型J(W_m)如下：

其中，水稻病害及其对应属性训练数据集为S_i＝{X_i,s_i,t_i,p_i}为水稻病害图像以及对应的病害发生时空间、时间、温湿度特征数据，Y_i＝(y_i,l_i)包含不同病害标记y_i∈{0,1,2,...,K}和病害图像的位置坐标γ为损失函数f(S_i,Y_i|W_m)的权值，经过训练学习得到模型参数W_m。