CN107808375A - 融合多种上下文深度学习模型的水稻病害图像检测方法 - Google Patents

融合多种上下文深度学习模型的水稻病害图像检测方法 Download PDF

Info

Publication number
CN107808375A
CN107808375A CN201710894729.1A CN201710894729A CN107808375A CN 107808375 A CN107808375 A CN 107808375A CN 201710894729 A CN201710894729 A CN 201710894729A CN 107808375 A CN107808375 A CN 107808375A
Authority
CN
China
Prior art keywords
disease
image
msub
rice
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710894729.1A
Other languages
English (en)
Other versions
CN107808375B (zh
Inventor
谢成军
王儒敬
张洁
李�瑞
陈天娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN201710894729.1A priority Critical patent/CN107808375B/zh
Publication of CN107808375A publication Critical patent/CN107808375A/zh
Application granted granted Critical
Publication of CN107808375B publication Critical patent/CN107808375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Abstract

本发明涉及融合多种上下文深度学习模型的水稻病害图像检测方法，与现有技术相比解决了水稻病害检测未考虑其相关条件因素的缺陷。本发明包括以下步骤：训练样本的收集和预处理；基于深度学习融合水稻图像上下文信息获得水稻病害图像检测模型；待检测水稻图像的空间、位置、温湿度信息收集和预处理；病害在水稻图像中具体位置的标记。本发明不仅考虑了病害图像本身的特征，还考虑了采集时空间、时间、温湿度等相关因素，通过对水稻病害图像全局上下文训练模型、水稻病害图像局部上下文训练模型、水稻病害属性约束上下文训练模型的融合，提高了田间复杂应用情况下水稻病害图像检测与识别能力，提高了水稻病害图像检测率。

Description

融合多种上下文深度学习模型的水稻病害图像检测方法
技术领域
本发明涉及图像识别技术领域，具体来说是融合多种上下文深度学习模型的水稻病害图像检测方法。
背景技术
如何精准的检测与识别水稻病害一直是困扰农作物预测预报的问题，由于农田环境下，水稻病害发生的部位、程度的不同，加大了人工目测的难度。目前水稻病害的检测工作主要是依靠少数植保专家和农技人员来完成的，但农田环境下水稻图像背景复杂，农技人员受知识水平因素影响，凭借肉眼方式难以保证其准确度。同时，由于自然环境下水稻病害的图像背景复杂，并配上光照、阴影等影响，使得传统的自动检测方法效率低、鲁棒性差。此外，目前检测方法大多数集中在图像本身特征提取，忽略了水稻病害发生时的空间、位置以及对应的温湿度等相关条件因素的考虑，也致使水稻病害的识别只能存在于实验阶段。
如何能够提高水稻病害检测的准确性已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中水稻病害检测未考虑其相关条件因素的缺陷，提供一种融合多种上下文深度学习模型的水稻病害图像检测方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种融合多种上下文深度学习模型的水稻病害图像检测方法，包括以下步骤：
训练样本的收集和预处理，收集若干幅水稻病害图像及其相对应病害发生时的时间、空间、温湿度信息作为训练数据，人工标记出水稻图像中病害发生部分，将所有标记图像的大小归一化为32×32像素，得到若干类病害，每类病害有若干个病害图像训练样本；
基于深度学习融合水稻图像上下文信息获得水稻病害图像检测模型，构建水稻病害图像全局上下文训练模型、局部上下文训练模型，并引入不同水稻病害发生时空间、时间、温湿度上下文信息作为特征数据，训练基于多种上下深度学习的水稻病害检测模型；
待检测水稻图像的空间、位置、温湿度信息收集和预处理，获取待检测水稻图像及信息，将待检测水稻图像的大小归一化为512×512像素，通过预训练网络获得候选区域图像块的特征；
病害在水稻图像中具体位置的标记，将待检测图像的空间、位置、温湿度信息及其候选区域图像块的特征输入训练后的水稻病害检测模型，进行水稻病害的识别与检测，定位并标记出病害在图像中具体位置。
所述的基于深度学习融合水稻图像上下文信息获得水稻病害图像检测模型包括以下步骤：
构建水稻病害图像全局上下文训练模型；
构建水稻病害图像局部上下文训练模型；
收集水稻病害全局图像，
收集水稻病害图像数据集Xi表示病害图像，Yi表示对应的病害图像标记信息；
收集水稻病害局部图像，
以水稻病害图像训练数据集为基础，通过以下公式收集水稻病害局部图像数据集其公式如下：
Xj＝{Xi|0＜||l(Xi)-l(Xj)||＜0.5,i＝1,2,3...,M；j＝M+1,...,N}
Yj＝{Yi|0＜||l(Xi)-l(Xj)||＜0.5,i＝1,2,3...,M；j＝M+1,...,N}
其中，Xj表示在Xi图像周围收集的同一类型病害的局部图像，总数控制在20至30个，在全局病害图像Xi周围采集的局部病害图像的距离范围控制在0＜||l(Xi)-l(Xj)||＜0.5标准内，l(Xi)为水稻病害图像Xi的中心点位置坐标，l(Xj)为收集的病害局部图像中心点位置坐标；Yj表示在Xi图像周围收集的同一类型病害局部图像的标记信息，在每个Xi周围收集的多个Xj病害局部图像，这些局部图像块总数控制在20至30个，这些局部图像块对应的病害标记信息与Yi等同设置；
构造水稻病害属性约束上下文训练模型；
融合多种上下文信息获得水稻病害图像检测模型；
通过引入不同水稻病害发生时空间、时间、温湿度上下文信息作为特征数据，进一步构建水稻病害图像检测模型J(Wg,Wl,Wm)，其如下：
其中，m∈{t,s,p}分别表示水稻病害发生时所对应的时间t、空间s与位置p上下文信息；
对水稻病害检测模型进行训练，其训练过程如下：
其中，p(X)＝(p0(X),...,pK(X))所有病害类别上的概率分布，λ是权值系数，floss(p(X),y)＝-logpy(X)是交叉熵损失函数，为训练过程中回归预测的水稻病害图像位置，
预测计算如下：
通过随机梯度下降分别获得深度上下文联合水稻病害检测模型参数和其计算公式如下：
所述的待检测水稻图像的空间、位置、温湿度信息收集和预处理包括以下步骤：
获取待测图像的空间、位置、温湿度信息；
将待检测水稻图像的大小归一化为512×512像素；
使用均值聚类方法将待检测水稻病害图像分成2000个图像候选区域块；
对每个候选区域图像块使用预训练网络进行特征提取；
将每个候选区域图像块的特征作为水稻病害检测模型的输入。
所述的构建水稻病害图像全局上下文训练模型如下：
以深度卷积神经网络模型为基础构建水稻病害图像全局上下文训练模型，其包含5个卷积层、3个池化层、全链接层与输出层；
其输入是一幅病害图像、大小为32×32像素，输出是该图像所属的类别概率；
其水稻病害图像全局上下文网络模型Jg(W)如下：
其中，水稻病害图像训练数据集为Xi为水稻病害图像块，Yi＝(yi,li)包含不同病害标记yi∈{0,1,2,...,K}和病害图像的位置坐标α损失函数f(Xi,Yi|Wg)的权值，经过训练学习得到模型参数Wg。
所述的构建水稻病害图像局部上下文训练模型如下：
以深度卷积神经网络模型为基础构建水稻病害图像局部上下文训练模型，其包含5个卷积层、3个池化层、全链接层与输出层；
其输入是一幅病害的局部图像，大小为16×16像素，输出该局部图像所属的类别概率；
水稻图像局部上下文模型J(Wl)如下：
其中，水稻病害局部图像训练数据集为Xj为水稻病害局部图像块，Yj＝(yj,lj)包含不同病害标记yj∈{0,1,2,...,K}和病害局部图像的位置坐标β为损失函数f(Xj,Yj|Wl)的权值，经过训练学习得到模型参数Wl。
所述的构造水稻病害属性约束上下文训练模型如下：
构建水稻病害属性约束上下文训练模型，其输入是一幅病害的图像以及对应的病害发生时空间、时间、温湿度数据，输出该病害所属的类别概率；
水稻病害属性约束上下文训练模型J(Wm)如下：
其中，水稻病害及其对应属性训练数据集为Si＝{Xi,si,ti,pi}为水稻病害图像以及对应的病害发生时空间、时间、温湿度特征数据，Yi＝(yi,li)包含不同病害标记yi∈{0,1,2,...,K}和病害图像的位置坐标γ为损失函数f(Si,Yi|Wm)的权值，经过训练学习得到模型参数Wm。
有益效果
本发明的融合多种上下文深度学习模型的水稻病害图像检测方法，与现有技术相比不仅考虑了病害图像本身的特征，还考虑了采集时空间、时间、温湿度等相关因素，通过对水稻病害图像全局上下文训练模型、水稻病害图像局部上下文训练模型、水稻病害属性约束上下文训练模型的融合，提高了田间复杂应用情况下水稻病害图像检测与识别能力，提高了水稻病害图像检测率。
附图说明
图1为本发明的方法顺序图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的融合多种上下文深度学习模型的水稻病害图像检测方法，包括以下步骤：
第一步，训练样本的收集和预处理。收集若干幅水稻病害图像及其相对应病害发生时的时间、空间、温湿度信息作为训练数据，人工标记出水稻图像中病害发生部分，将所有标记图像的大小归一化为32×32像素，得到若干类病害，每类病害有若干个病害图像训练样本。在此，不仅获得了病害图像的图像样本，还获得了病害发生时的时间、空间、温湿度上下文信息，通过这些上下文信息进一步增加病害识别的鲁棒性。
第二步，基于深度学习融合水稻图像上下文信息获得水稻病害图像检测模型。构建水稻病害图像全局上下文训练模型、局部上下文训练模型，并引入不同水稻病害发生时空间、时间、温湿度上下文信息作为特征数据，训练基于多种上下深度学习的水稻病害检测模型。其具体步骤如下：
(1)构建水稻病害图像全局上下文训练模型，其构建如下所述：
以深度卷积神经网络模型为基础构建水稻病害图像全局上下文训练模型，其包含5个卷积层、3个池化层、全链接层与输出层。
其输入是一幅病害图像、大小为32×32像素，输出是该图像所属的类别概率；
其水稻病害图像全局上下文网络模型Jg(W)如下：
其中，水稻病害图像训练数据集为Xi为水稻病害图像块，Yi＝(yi,li)包含不同病害标记yi∈{0,1,2,...,K}和病害图像的位置坐标α损失函数f(Xi,Yi|Wg)的权值，经过训练学习得到模型参数Wg。
(2)构建水稻病害图像局部上下文训练模型，其构建如下所述：
以深度卷积神经网络模型为基础构建水稻病害图像局部上下文训练模型，其包含5个卷积层、3个池化层、全链接层与输出层；
其输入是一幅病害的局部图像，大小为16×16像素，输出该局部图像所属的类别概率；
水稻图像局部上下文模型J(Wl)如下：
其中，水稻病害局部图像训练数据集为Xj为水稻病害局部图像块，Yj＝(yj,lj)包含不同病害标记yj∈{0,1,2,...,K}和病害局部图像的位置坐标β为损失函数f(Xj,Yj|Wl)的权值，经过训练学习得到模型参数Wl。
(3)收集水稻病害全局图像，用于水稻病害图像全局上下文训练模型。
收集水稻病害图像数据集Xi表示病害图像，Yi表示对应的病害图像标记信息；
(4)收集水稻病害局部图像，用于水稻病害图像局部上下文训练模型。
以水稻病害图像训练数据集为为基础，通过以下公式收集水稻病害局部图像数据集其公式如下：
Xj＝{Xi|0＜||l(Xi)-l(Xj)||＜0.5,i＝1,2,3...,M；j＝M+1,...,N}，
Yj＝{Yi|0＜||l(Xi)-l(Xj)||＜0.5,i＝1,2,3...,M；j＝M+1,...,N}，
其中，Xj表示在Xi图像周围收集的同一类型病害的局部图像，总数控制在20至30个，在全局病害图像Xi周围采集的局部病害图像的距离范围控制在0＜||l(Xi)-l(Xj)||＜0.5标准内，l(Xi)为水稻病害图像Xi的中心点位置坐标，l(Xj)为收集的病害局部图像中心点位置坐标；Yj表示在Xi图像周围收集的同一类型病害局部图像的标记信息，在每个Xi周围收集的多个Xj病害局部图像，这些局部图像块总数控制在20至30个，这些局部图像块对应的病害标记信息与Yi等同设置。
(5)构造水稻病害属性约束上下文训练模型，其构建如下所述：
构建水稻病害属性约束上下文训练模型，其输入是一幅病害的图像以及对应的病害发生时空间、时间、温湿度数据，输出该病害所属的类别概率；
水稻病害属性约束上下文训练模型J(Wm)如下：
其中，水稻病害及其对应属性训练数据集为Si＝{Xi,si,ti,pi}为水稻病害图像以及对应的病害发生时空间、时间、温湿度特征数据，Yi＝(yi,li)包含不同病害标记yi∈{0,1,2,...,K}和病害图像的位置坐标γ为损失函数f(Si,Yi|Wm)的权值，经过训练学习得到模型参数Wm。
(6)融合多种上下文信息获得水稻病害图像检测模型。将多种上下文深度学习模型进行融合，最终获得多种上下文信息的水稻病害图像检测模型。
通过引入不同水稻病害发生时空间、时间、温湿度上下文信息作为特征数据，进一步构建水稻病害图像检测模型J(Wg,Wl,Wm)，其如下：
其中，m∈{t,s,p}分别表示水稻病害发生时所对应的时间t、空间s与位置p上下文信息。
(7)对融合多种上下文信息的水稻病害检测模型进行训练，其训练过程如下：
其中，p(X)＝(p0(X),...,pK(X))所有病害类别上的概率分布，λ是权值系数，floss(p(X),y)＝-logpy(X)是交叉熵损失函数，为训练过程中回归预测的水稻病害图像位置，
预测计算如下：
通过随机梯度下降分别获得深度上下文联合水稻病害检测模型参数和其计算公式如下：
第三步，待检测水稻图像的空间、位置、温湿度信息收集和预处理。获取待检测水稻图像及信息，将待检测水稻图像的大小归一化为512×512像素，通过预训练网络获得候选区域图像块的特征。其具体步骤如下：
(1)获取待测图像的空间、位置、温湿度信息。
(2)将待检测水稻图像的大小归一化为512×512像素。
(2)使用均值聚类方法将待检测水稻病害图像分成2000个图像候选区域块。
(3)对每个候选区域图像块使用预训练网络进行特征提取。
(4)将每个候选区域图像块的特征作为水稻病害检测模型的输入。
第四步，病害在水稻图像中具体位置的标记。将待检测图像的空间、位置、温湿度信息及其候选区域图像块的特征输入训练后的水稻病害检测模型，进行水稻病害的识别与检测，定位并标记出病害在图像中具体位置。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.一种融合多种上下文深度学习模型的水稻病害图像检测方法，其特征在于，包括以下步骤：
11)训练样本的收集和预处理，收集若干幅水稻病害图像及其相对应病害发生时的时间、空间、温湿度信息作为训练数据，人工标记出水稻图像中病害发生部分，将所有标记图像的大小归一化为32×32像素，得到若干类病害，每类病害有若干个病害图像训练样本；
12)基于深度学习融合水稻图像上下文信息获得水稻病害图像检测模型，构建水稻病害图像全局上下文训练模型、局部上下文训练模型，并引入不同水稻病害发生时空间、时间、温湿度上下文信息作为特征数据，训练基于多种上下深度学习的水稻病害检测模型；
13)待检测水稻图像的空间、位置、温湿度信息收集和预处理，获取待检测水稻图像及信息，将待检测水稻图像的大小归一化为512×512像素，通过预训练网络获得候选区域图像块的特征；
14)病害在水稻图像中具体位置的标记，将待检测图像的空间、位置、温湿度信息及其候选区域图像块的特征输入训练后的水稻病害检测模型，进行水稻病害的识别与检测，定位并标记出病害在图像中具体位置。
2.根据权利要求1所述的融合多种上下文深度学习模型的水稻病害图像检测方法，其特征在于，所述的基于深度学习融合水稻图像上下文信息获得水稻病害图像检测模型包括以下步骤：
21)构建水稻病害图像全局上下文训练模型；
22)构建水稻病害图像局部上下文训练模型；
23)收集水稻病害全局图像，
收集水稻病害图像数据集Xi表示病害图像，Yi表示对应的病害图像标记信息；
24)收集水稻病害局部图像，
以水稻病害图像训练数据集为基础，通过以下公式收集水稻病害局部图像数据集其公式如下：
Xj＝{Xi|0＜||l(Xi)-l(Xj)||＜0.5,i＝1,2,3...,M；j＝M+1,...,N}，
Yj＝{Yi|0＜||l(Xi)-l(Xj)||＜0.5,i＝1,2,3...,M；j＝M+1,...,N}，
其中，Xj表示在Xi图像周围收集的同一类型病害的局部图像，总数控制在20至30个，在全局病害图像Xi周围采集的局部病害图像的距离范围控制在0＜||l(Xi)-l(Xj)||＜0.5标准内，l(Xi)为水稻病害图像Xi的中心点位置坐标，l(Xj)为收集的病害局部图像中心点位置坐标；Yj表示在Xi图像周围收集的同一类型病害局部图像的标记信息，在每个Xi周围收集的多个Xj病害局部图像，这些局部图像块总数控制在20至30个，这些局部图像块对应的病害标记信息与Yi等同设置；
25)构造水稻病害属性约束上下文训练模型；
26)融合多种上下文信息获得水稻病害图像检测模型；
通过引入不同水稻病害发生时空间、时间、温湿度上下文信息作为特征数据，进一步构建水稻病害图像检测模型J(Wg,Wl,Wm)，其如下：
<mrow> <mi>J</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mi>g</mi> </msub> <mo>,</mo> <msub> <mi>W</mi> <mi>l</mi> </msub> <mo>,</mo> <msub> <mi>W</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <mi>&amp;alpha;</mi> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>Y</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mi>W</mi> <mi>g</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mi>M</mi> <mo>+</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>&amp;beta;</mi> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>Y</mi> <mi>j</mi> </msub> <mo>|</mo> <msub> <mi>W</mi> <mi>l</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>t</mi> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>p</mi> <mo>}</mo> </mrow> </munder> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <mi>&amp;gamma;</mi> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>Y</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mi>W</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中，m∈{t,s,p}分别表示水稻病害发生时所对应的时间t、空间s与位置p上下文信息；
27)对水稻病害检测模型进行训练，其训练过程如下：
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>Y</mi> <mi>i</mi> </msub> <mo>|</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>s</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>(</mo> <mi>X</mi> <mo>)</mo> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;lambda;f</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>l</mi> <mo>,</mo> <mover> <mi>l</mi> <mo>^</mo> </mover> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中，p(X)＝(p0(X),...,pK(X))所有病害类别上的概率分布，λ是权值系数，floss(p(X),y)＝-log py(X)是交叉熵损失函数，为训练过程中回归预测的水稻病害图像位置，
预测计算如下：
通过随机梯度下降分别获得深度上下文联合水稻病害检测模型参数和其计算公式如下：
<mrow> <mo>(</mo> <msubsup> <mi>W</mi> <mi>g</mi> <mo>*</mo> </msubsup> <mo>,</mo> <msubsup> <mi>W</mi> <mi>l</mi> <mo>*</mo> </msubsup> <mo>,</mo> <msubsup> <mi>W</mi> <mi>m</mi> <mo>*</mo> </msubsup> <mo>)</mo> <mo>=</mo> <mi>arg</mi> <mi> </mi> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <msub> <mi>W</mi> <mi>g</mi> </msub> <mo>,</mo> <msub> <mi>W</mi> <mi>l</mi> </msub> <mo>,</mo> <msub> <mi>W</mi> <mi>m</mi> </msub> <mo>)</mo> <mo>.</mo> </mrow>
3.根据权利要求1所述的融合多种上下文深度学习模型的水稻病害图像检测方法，其特征在于，所述的待检测水稻图像的空间、位置、温湿度信息收集和预处理包括以下步骤：
31)获取待测图像的空间、位置、温湿度信息；
32)将待检测水稻图像的大小归一化为512×512像素；
32)使用均值聚类方法将待检测水稻病害图像分成2000个图像候选区域块；
33)对每个候选区域图像块使用预训练网络进行特征提取；
34)将每个候选区域图像块的特征作为水稻病害检测模型的输入。
4.根据权利要求2所述的融合多种上下文深度学习模型的水稻病害图像检测方法，其特征在于，所述的构建水稻病害图像全局上下文训练模型如下：
以深度卷积神经网络模型为基础构建水稻病害图像全局上下文训练模型，其包含5个卷积层、3个池化层、全链接层与输出层；
其输入是一幅病害图像、大小为32×32像素，输出是该图像所属的类别概率；
其水稻病害图像全局上下文网络模型Jg(W)如下：
<mrow> <mi>J</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mi>g</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <mi>&amp;alpha;</mi> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>Y</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mi>W</mi> <mi>g</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中，水稻病害图像训练数据集为Xi为水稻病害图像块，Yi＝(yi,li)包含不同病害标记yi∈{0,1,2,...,K}和病害图像的位置坐标α损失函数f(Xi,Yi|Wg)的权值，经过训练学习得到模型参数Wg。
5.根据权利要求2所述的融合多种上下文深度学习模型的水稻病害图像检测方法，其特征在于，所述的构建水稻病害图像局部上下文训练模型如下：
以深度卷积神经网络模型为基础构建水稻病害图像局部上下文训练模型，其包含5个卷积层、3个池化层、全链接层与输出层；
其输入是一幅病害的局部图像，大小为16×16像素，输出该局部图像所属的类别概率；
水稻图像局部上下文模型J(Wl)如下：
<mrow> <mi>J</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mi>l</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mi>M</mi> <mo>+</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>&amp;beta;</mi> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>Y</mi> <mi>j</mi> </msub> <mo>|</mo> <msub> <mi>W</mi> <mi>l</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中，水稻病害局部图像训练数据集为Xj为水稻病害局部图像块，Yj＝(yj,lj)包含不同病害标记yj∈{0,1,2,...,K}和病害局部图像的位置坐标β为损失函数f(Xj,Yj|Wl)的权值，经过训练学习得到模型参数Wl。
6.根据权利要求2所述的融合多种上下文深度学习模型的水稻病害图像检测方法，其特征在于，所述的构造水稻病害属性约束上下文训练模型如下：
构建水稻病害属性约束上下文训练模型，其输入是一幅病害的图像以及对应的病害发生时空间、时间、温湿度数据，输出该病害所属的类别概率；
水稻病害属性约束上下文训练模型J(Wm)如下：
<mrow> <mi>J</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>t</mi> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>p</mi> <mo>}</mo> </mrow> </munder> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <mi>&amp;gamma;</mi> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>Y</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mi>W</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> </mrow>
其中，水稻病害及其对应属性训练数据集为Si＝{Xi,si,ti,pi}为水稻病害图像以及对应的病害发生时空间、时间、温湿度特征数据，Yi＝(yi,li)包含不同病害标记yi∈{0,1,2,...,K}和病害图像的位置坐标γ为损失函数f(Si,Yi|Wm)的权值，经过训练学习得到模型参数Wm。
CN201710894729.1A 2017-09-28 2017-09-28 融合多种上下文深度学习模型的水稻病害图像检测方法 Active CN107808375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710894729.1A CN107808375B (zh) 2017-09-28 2017-09-28 融合多种上下文深度学习模型的水稻病害图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710894729.1A CN107808375B (zh) 2017-09-28 2017-09-28 融合多种上下文深度学习模型的水稻病害图像检测方法

Publications (2)

Publication Number Publication Date
CN107808375A true CN107808375A (zh) 2018-03-16
CN107808375B CN107808375B (zh) 2019-07-16

Family

ID=61592542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710894729.1A Active CN107808375B (zh) 2017-09-28 2017-09-28 融合多种上下文深度学习模型的水稻病害图像检测方法

Country Status (1)

Country Link
CN (1) CN107808375B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064460A (zh) * 2018-08-01 2018-12-21 中国科学院合肥物质科学研究院 基于多时序属性元素深度特征的小麦重度病害预测方法
CN109344738A (zh) * 2018-09-12 2019-02-15 杭州睿琪软件有限公司 农作物病虫草害识别方法及装置
CN109711471A (zh) * 2018-12-28 2019-05-03 井冈山大学 一种基于深度卷积神经网络的水稻病害图像识别方法
WO2019179270A1 (zh) * 2018-03-23 2019-09-26 广州极飞科技有限公司 植株种植数据测量方法、作业路线规划方法及装置、系统
CN110738630A (zh) * 2018-07-02 2020-01-31 由田新技股份有限公司 递归性深度学习系统的训练方法与检测系统
CN112348116A (zh) * 2020-11-30 2021-02-09 长沙理工大学 利用空间上下文的目标检测方法、装置和计算机设备
CN115050014A (zh) * 2022-06-15 2022-09-13 河北农业大学 一种基于图像文本学习的小样本番茄病害识别系统及方法
CN115601585A (zh) * 2022-09-15 2023-01-13 中科聚信信息技术（北京）有限公司（Cn） 基于图片分析的农业病虫害诊断方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070240242A1 (en) * 2006-04-06 2007-10-11 Monsanto Technology Llc Method for multivariate analysis in predicting a trait of interest
CN102523953A (zh) * 2011-12-07 2012-07-04 北京农业信息技术研究中心 作物信息融合方法及病害监测系统
CN105938564A (zh) * 2016-04-29 2016-09-14 无锡中科智能农业发展有限责任公司 基于主成分分析和神经网络的水稻病害识别方法及系统
CN106682704A (zh) * 2017-01-20 2017-05-17 中国科学院合肥物质科学研究院 一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070240242A1 (en) * 2006-04-06 2007-10-11 Monsanto Technology Llc Method for multivariate analysis in predicting a trait of interest
CN102523953A (zh) * 2011-12-07 2012-07-04 北京农业信息技术研究中心 作物信息融合方法及病害监测系统
CN105938564A (zh) * 2016-04-29 2016-09-14 无锡中科智能农业发展有限责任公司 基于主成分分析和神经网络的水稻病害识别方法及系统
CN106682704A (zh) * 2017-01-20 2017-05-17 中国科学院合肥物质科学研究院 一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019179270A1 (zh) * 2018-03-23 2019-09-26 广州极飞科技有限公司 植株种植数据测量方法、作业路线规划方法及装置、系统
US11321942B2 (en) 2018-03-23 2022-05-03 Guangzhou Xaircraft Technology Co., Ltd. Method for measuring plant planting data, device and system
CN110738630A (zh) * 2018-07-02 2020-01-31 由田新技股份有限公司 递归性深度学习系统的训练方法与检测系统
CN109064460A (zh) * 2018-08-01 2018-12-21 中国科学院合肥物质科学研究院 基于多时序属性元素深度特征的小麦重度病害预测方法
CN109064460B (zh) * 2018-08-01 2021-09-28 中国科学院合肥物质科学研究院 基于多时序属性元素深度特征的小麦重度病害预测方法
CN109344738A (zh) * 2018-09-12 2019-02-15 杭州睿琪软件有限公司 农作物病虫草害识别方法及装置
CN109711471A (zh) * 2018-12-28 2019-05-03 井冈山大学 一种基于深度卷积神经网络的水稻病害图像识别方法
CN112348116A (zh) * 2020-11-30 2021-02-09 长沙理工大学 利用空间上下文的目标检测方法、装置和计算机设备
CN112348116B (zh) * 2020-11-30 2024-02-02 长沙理工大学 利用空间上下文的目标检测方法、装置和计算机设备
CN115050014A (zh) * 2022-06-15 2022-09-13 河北农业大学 一种基于图像文本学习的小样本番茄病害识别系统及方法
CN115601585A (zh) * 2022-09-15 2023-01-13 中科聚信信息技术（北京）有限公司（Cn） 基于图片分析的农业病虫害诊断方法及装置

Also Published As

Publication number Publication date
CN107808375B (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN107808375A (zh) 融合多种上下文深度学习模型的水稻病害图像检测方法
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN107092870B (zh) 一种高分辨率影像语义信息提取方法
CN102054178B (zh) 一种基于局部语义概念的国画图像识别方法
CN109543630A (zh) 基于深度学习的遥感影像林地提取方法及系统、存储介质、电子设备
CN109800736A (zh) 一种基于遥感影像和深度学习的道路提取方法
CN108256424A (zh) 一种基于深度学习的高分辨率遥感图像道路提取方法
CN107563381A (zh) 基于全卷积网络的多特征融合的目标检测方法
CN108710919A (zh) 一种基于多尺度特征融合深度学习的裂缝自动化勾画方法
CN109064461A (zh) 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109241913A (zh) 结合显著性检测和深度学习的船只检测方法及系统
CN107133960A (zh) 基于深度卷积神经网络的图像裂缝分割方法
CN108171209A (zh) 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN102542295B (zh) 一种采用图像分类技术从遥感图像中进行滑坡检测的方法
CN108921201B (zh) 基于特征组合与cnn的大坝缺陷识别与分类方法
CN108830285A (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
CN106991382A (zh) 一种遥感场景分类方法
CN107622233A (zh) 一种表格识别方法、识别系统及计算机装置
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN109086826A (zh) 基于图像深度学习的小麦干旱识别方法
CN104463168B (zh) 一种基于遥感影像的空废宅基地信息自动提取方法
CN106910188A (zh) 基于深度学习的遥感影像中机场跑道的检测方法
CN107808116A (zh) 一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法
CN107423747A (zh) 一种基于深度卷积网络的显著性目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant