CN110457982A - 一种基于特征迁移学习的作物病害图像识别方法 - Google Patents

Abstract

本发明涉及一种基于特征迁移学习的作物病害识别方法，属于图像处理和农业信息技术领域，该方法包括：采集作物病害图像建立数据库；选择有大数据集的其它辅助领域并对其进行评估与筛选；基于作物病害图像相关的文本先验知识，采用深度迁移网络，构建跨媒体的迁移学习模型；利用深度迁移网络，学习辅助开源大数据的特征表示，并进一步结合无监督领域适应方法，迁移到作物病害图像领域，实现目标数据自动标注；结合多模态农业领域知识，同步实现领域适应与最终分类器构建，以多途径迁移学习自适应方法优化系统整体性能。该方法可以提高作物病害识别准确率，适用于小样本、多种作物和多种病害的作物病害识别，为作物病害图像资源不够提供了新的解决方案。

Description

一种基于特征迁移学习的作物病害图像识别方法

技术领域

本发明属于图像处理和农业信息技术领域，具体涉及一种基于特征迁移学习的作物病害图像识别方法。

背景技术

基于图像的作物病害识别是智能农业的一部分，是综合利用图像处理、植物病理学、模式识别等技术手段来分析病害图像信息，得到病害的识别特征和模型，快速、准确地识别出病害类型，为农民提供病害防治信息，提高农业生产效率。传统机器学习方法解决作物病害图像识别时存在以下问题：一是对原始图片样本的依赖性强，难以克服对外界环境(光照和光线变化、空气等)变化的影响；二是传统图像识别步骤繁杂，需要对原始图片样本进行预处理、图像分割、特征提取以及分类识别，过程中的每一步处理结果都很容易对最终结果造成影响；三是当数据量大的时候，传统机器学习方法难以实现，运算效率较低。

迁移学习(Transfer Learning)是将已训练好的模型参数或学习到的知识迁移到目标领域以帮助新的模型训练，从而使得在缺乏大规模标注数据的目标领域也能够学习得到较好的模型。迁移学习的出现初步克服了深度学习方法需要大量训练数据的限制，为解决因作物病害图像资源不够而导致难以使用深度学习方法训练高质量模型的难题提供了新思路。

本发明提出一种基于特征迁移学习的作物病害识别方法，将互联网其他领域的“大数据”或跨媒体的知识迁移到“作物病害图像识别”领域辅助模型训练，并同时利用深度学习方法更好地学习其他“大数据”领域的底层特征，然后把学习到的特征迁移到作物病害图像领域，构建适合的迁移学习模型，最终提高作物病害智能识别效果。

发明内容

为解决现有技术中存在的问题，本发明的目的是提供一种基于特征迁移学习的作物病害识别方法，选取恰当的具有较大数据规模的辅助领域，借助深度学习框架获取其特征表达，并引入迁移学习的理论与方法，将特征表达与农业领域知识相结合，迁移到作物病害图像识别中，实现基于特征迁移学习的作物病害图像识别，提高作物病害识别准确率。

为了达到上述目的，本发明采用的技术方案为：

一种基于特征迁移学习的作物病害识别方法，包括以下步骤：

步骤S1：收集一定种类一定数量的作物病害图像建立目标领域数据集；

步骤S2：选择其他领域的大数据资源，筛选和评估后选取恰当的数据集作为迁移学习的辅助领域数据；

步骤S3：将辅助领域与目标领域的数据映射到同一潜在空间后对高维特征空间降维，利用相似度加权投票方法缩小辅助领域与作物病害图像目标领域的数据分布差异性，具体包括以下步骤：

步骤S31：设计恰当的同一潜在空间，使其能够将辅助领域与目标领域的数据均映射到该潜在空间，利用基于压缩感知理论的降维算法将高维空间中辅助领域与作物病害图像领域间的复杂关系进行更加简单的表示，实现对高维的图像特征空间进行降维；

步骤S32：在特征统一后的潜在空间中，对作物病害图像领域的每个实例，抽取距离该实例最近的辅助领域的多个实例，利用相似度加权投票方法对所有实例进行预处理，从而缩小辅助领域与作物病害图像领域的数据分布差异性；

步骤S4：基于作物病害图像相关的文本先验知识，采用深度迁移网络构建跨媒体的迁移学习模型，使模型可以支持利用作物病害的文本知识来辅助作物病害图像分类，实现基于深度迁移网络的跨媒体领域自适应，具体包括以下步骤：

步骤S41：采用深度迁移网络解决跨媒体领域间数据分布的差异问题，对辅助领域与作物病害图像领域的组合特征空间对于二者的组合特征空间X＝[X^s,X^t]，利用经验最大平均偏差方法计算数据分布差异的度量标准：

其中MMD是最大均值差，X^s是辅助领域组合特征空间，X^t是作物病害图像领域的组合特征空间，M_ij是MMD矩阵，a,b分别代表辅助领域和作物病害图像领域的样本数量；

步骤S42：利用投影矩阵与激活函数对特征进行投影与非线性变化，对每层进行类似的重复处理，得到作物病害文本数据集与作物病害图像数据集的边缘分布，然后对二者的边缘分布进行约束，使其差异最小，以得到最终MMD度量；

步骤S43：基于统一语义空间的特征向量表示学习方法，将文本与图像等跨媒体的原始数据转化为统一特征向量表示，结合近邻算法和特征翻译，将辅助领域数据翻译到作物病害图像领域特征空间，设计一个统一的语言模型进行学习与分类；

步骤S44：结合用于图像分类的异构迁移学习方法，将辅助病害知识文本、已有标注、未标注的病害图像共三个数据源作为模型的输入，利用语义表示学习跨媒体能量函数，进行不同媒体的语义向量的表示学习与融合，从而实现基于深度迁移网络的跨媒体领域自适应；

步骤S5：利用深度迁移网络，学习辅助领域的大数据特征表示，结合无监督领域适应方法，迁移到作物病害图像领域，实现目标数据自动高精度标注，具体包括以下步骤：

步骤S51：通过迁移学习方法，利用大型公共图像数据集，建立深度学习预训练模型，以学习图像的底层通用视觉特征；

步骤S52：利用步骤S1构建的作物病害图像目标领域数据集对学习到的网络参数进行微调，学习目标领域作物病害图像的中高级视觉特征，实现从底层到高层特征的映射，提高小规模作物病害图像数据集的深度学习建模效果，实现作物病害图像的自标注；

步骤S53：首先根据通用特征将具有较高相似度的作物病害图像类别进行单独划分，然后利用卷积神经网络CNN的特征学习能力，并进一步融合LSTM方法，实现时间尺度上的记忆功能，防止梯度消失，提取相似度较高的图像类别之间的差异特征，利用时间轴上的历史数据，整合通用特征与差异特征，以提高作物病害图像尤其是类间相似度较高的图像的标注精度；

步骤S6：结合多模态农业领域知识，同步实现领域适应与最终分类器构建，以多途径迁移学习自适应方法优化系统整体性能，具体包括以下步骤：

步骤S61：通过对辅助领域与作物病害图像领域数据进行分析，得到领域内数据分布情况与领域间差异情况等多种参数，通过加权计算以自适应策略选择恰当的迁移学习方法，在模型层次支持多类型辅助领域的迁移学习，更好地利用多种类型辅助领域数据来实现作物病害图像的分类识别；

步骤S62：采用异构迁移学习环境中对域间的知识传输量进行量化，构建共生矩阵测试领域间的相关性，采用主成分分析法选择作物病害图像目标领域各领域中最重要特征，并将主成分系数赋值给这些特征，利用主成分的系数构建形成有向循环网络，网络中每个节点代表一个辅助领域或目标领域，节点之间的加权连接表示一个领域到另一个领域的条件依赖关系，连接的权值与领域之间可转移的潜在知识量成正比；

步骤S63：将有向循环网络中各条边的权值作为不同的异构迁移学习解决方案中的优化参数，在校正边缘分布差异的同时对条件分布差异进行校正，以进一步优化模型；

步骤S64：利用有向循环网络微调参数进一步提高最终分类器的精度，实现分类器构建与优化，最终实现基于特征迁移学习的作物病害识别方法。

本发明针对作物病害图像数据资源缺乏问题，充分利用了ImageNet、PlantVillage等大型公共数据库资源以及互联网上的大量的作物病害文本信息，将迁移学习思路与深度学习方法进行融合，利用迁移学习方法转化问题求解领域，从而在缺乏大量标注数据的情况下，提高作物病害图像识别准确率。同时，为实现小样本、多种作物、多种病害的图像识别提供新方法。

附图说明

图1是本发明方法的处理流程图。

具体实施方式

以下结合附图详细说明本发明技术方法中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，本发明的基于特征迁移学习的作物病害识别方法：

步骤S1：收集一定种类一定数量的作物病害图像建立目标领域数据集；

步骤S2：选择其他领域的大数据资源，筛选和评估后选取恰当的数据集作为迁移学习的辅助领域数据；

步骤S3：将辅助领域与目标领域的数据映射到同一潜在空间后对高维特征空间降维，利用相似度加权投票方法缩小辅助领域与作物病害图像目标领域的数据分布差异性，具体包括以下步骤：

步骤S31：设计恰当的同一潜在空间，使其能够将辅助领域与目标领域的数据均映射到该潜在空间，利用基于压缩感知理论的降维算法将高维空间中辅助领域与作物病害图像领域间的复杂关系进行更加简单的表示，实现对高维的图像特征空间进行降维；

步骤S32：在特征统一后的潜在空间中，对作物病害图像领域的每个实例，抽取距离该实例最近的辅助领域的多个实例，利用相似度加权投票方法对所有实例进行预处理，从而缩小辅助领域与作物病害图像领域的数据分布差异性；

步骤S4：基于作物病害图像相关的文本先验知识，采用深度迁移网络构建跨媒体的迁移学习模型，使模型可以支持利用作物病害的文本知识来辅助作物病害图像分类，实现基于深度迁移网络的跨媒体领域自适应，具体包括以下步骤：

步骤S41：采用深度迁移网络解决跨媒体领域间数据分布的差异问题，对辅助领域与作物病害图像领域的组合特征空间对于二者的组合特征空间X＝[X^s,X^t]，利用经验最大平均偏差方法计算数据分布差异的度量标准：

其中MMD是最大均值差，X^s是辅助领域组合特征空间，X^t是作物病害图像领域的组合特征空间，M_ij是MMD矩阵，a,b分别代表辅助领域和作物病害图像领域的样本数量；

步骤S42：利用投影矩阵与激活函数对特征进行投影与非线性变化，对每层进行类似的重复处理，得到作物病害文本数据集与作物病害图像数据集的边缘分布，然后对二者的边缘分布进行约束，使其差异最小，以得到最终MMD度量；

步骤S43：基于统一语义空间的特征向量表示学习方法，将文本与图像等跨媒体的原始数据转化为统一特征向量表示，结合近邻算法和特征翻译，将辅助领域数据翻译到作物病害图像领域特征空间，设计一个统一的语言模型进行学习与分类；

步骤S44：结合用于图像分类的异构迁移学习方法，将辅助病害知识文本、已有标注、未标注的病害图像共三个数据源作为模型的输入，利用语义表示学习跨媒体能量函数，进行不同媒体的语义向量的表示学习与融合，从而实现基于深度迁移网络的跨媒体领域自适应；

步骤S5：利用深度迁移网络，学习辅助领域的大数据特征表示，结合无监督领域适应方法，迁移到作物病害图像领域，实现目标数据自动高精度标注，具体包括以下步骤：

步骤S51：通过迁移学习方法，利用互联网上的ImageNet、PlantVillage等大型公共图像数据集，建立深度学习预训练模型，以学习图像的底层通用视觉特征；

步骤S52：利用步骤S1构建的作物病害图像目标领域数据集对学习到的网络参数进行微调，学习目标领域作物病害图像的中高级视觉特征，实现从底层到高层特征的映射，提高小规模作物病害图像数据集的深度学习建模效果，实现作物病害图像的自标注；

步骤S53：针对作物病害图像目标领域数据集具有突出类内差异性与类间相似性，尤其是相似度较高的类别之间容易产生样本误分类的问题，采用层次化特征学习的图像分类与标注方法：首先根据通用特征将具有较高相似度的作物病害图像类别进行单独划分，然后利用卷积神经网络CNN的特征学习能力，并进一步融合LSTM方法，实现时间尺度上的记忆功能，防止梯度消失，提取相似度较高的图像类别之间的差异特征，利用时间轴上的历史数据，整合通用特征与差异特征，以提高作物病害图像尤其是类间相似度较高的图像的标注精度；

步骤S6：结合多模态农业领域知识，同步实现领域适应与最终分类器构建，以多途径迁移学习自适应方法优化系统整体性能，具体包括以下步骤：

步骤S61：通过对辅助领域与作物病害图像领域数据进行分析，得到领域内数据分布情况与领域间差异情况等多种参数，通过加权计算以自适应策略选择恰当的迁移学习方法，在模型层次支持多类型辅助领域的迁移学习，更好地利用多种类型辅助领域数据来实现作物病害图像的分类识别；

步骤S62：在领域适应过程与分类器构建的同步优化方面，采用异构迁移学习环境中对域间的知识传输量进行量化，构建共生矩阵测试领域间的相关性，采用主成分分析法选择作物病害图像目标领域各领域中最重要特征，并将主成分系数赋值给这些特征，通过构建一个共生矩阵测试领域间的相关性，在作物病害领域中，从互联网中获取到的指定病害所对应的特定的文本文档可以看作是共生矩阵中的一个实例，在相应的每个域中表示该文本文档，则共生矩阵包含每个域中表示的实例集合，再采用主成分分析法选择各个领域中最重要的特征，并将主成分系数赋值给这些特征，其中利用主成分的系数构建形成有向循环网络，网络中每个节点代表一个辅助领域或目标领域，节点之间的加权连接表示一个领域到另一个领域的条件依赖关系，连接的权值与领域之间可以转移的潜在知识量成正比；

步骤S63：将有向循环网络中各条边的权值作为不同的异构迁移学习解决方案中的优化参数，在校正边缘分布差异的同时对条件分布差异进行校正，以进一步优化模型；

步骤S64：利用有向循环网络微调参数进一步提高最终分类器的精度，实现分类器构建与优化，最终实现基于特征迁移学习的作物病害识别方法。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理想得到的变换和改型，也应视为被涵盖在本发明的保护范围之内。

Claims (1)

1.一种基于特征迁移学习的作物病害识别方法，其特征在于包括以下步骤：

步骤S1：收集一定种类一定数量的作物病害图像建立目标领域数据集；

步骤S2：选择其他领域的大数据资源，筛选和评估后选取恰当的数据集作为迁移学习的辅助领域数据；

步骤S3：将辅助领域与目标领域的数据映射到同一潜在空间后对高维特征空间降维，利用相似度加权投票方法缩小辅助领域与作物病害图像目标领域的数据分布差异性，具体包括以下步骤：

步骤S31：设计恰当的同一潜在空间，使其能够将辅助领域与目标领域的数据均映射到该潜在空间，利用基于压缩感知理论的降维算法将高维空间中辅助领域与作物病害图像领域间的复杂关系进行更加简单的表示，实现对高维的图像特征空间进行降维；

步骤S32：在特征统一后的潜在空间中，对作物病害图像领域的每个实例，抽取距离该实例最近的辅助领域的多个实例，利用相似度加权投票方法对所有实例进行预处理，从而缩小辅助领域与作物病害图像领域的数据分布差异性；

步骤S4：基于作物病害图像相关的文本先验知识，采用深度迁移网络构建跨媒体的迁移学习模型，使模型可以支持利用作物病害的文本知识来辅助作物病害图像分类，实现基于深度迁移网络的跨媒体领域自适应，具体包括以下步骤：

步骤S41：采用深度迁移网络解决跨媒体领域间数据分布的差异问题，对辅助领域与作物病害图像领域的组合特征空间对于二者的组合特征空间X＝[X^s,X^t]，利用经验最大平均偏差方法计算数据分布差异的度量标准：

其中MMD是最大均值差，X^s是辅助领域组合特征空间，X^t是作物病害图像领域的组合特征空间，M_ij是MMD矩阵，a,b分别代表辅助领域和作物病害图像领域的样本数量；

步骤S42：利用投影矩阵与激活函数对特征进行投影与非线性变化，对每层进行类似的重复处理，得到作物病害文本数据集与作物病害图像数据集的边缘分布，然后对二者的边缘分布进行约束，使其差异最小，以得到最终MMD度量；

步骤S43：基于统一语义空间的特征向量表示学习方法，将文本与图像等跨媒体的原始数据转化为统一特征向量表示，结合近邻算法和特征翻译，将辅助领域数据翻译到作物病害图像领域特征空间，设计一个统一的语言模型进行学习与分类；

步骤S44：结合用于图像分类的异构迁移学习方法，将辅助病害知识文本、已有标注、未标注的病害图像共三个数据源作为模型的输入，利用语义表示学习跨媒体能量函数，进行不同媒体的语义向量的表示学习与融合，从而实现基于深度迁移网络的跨媒体领域自适应；

步骤S5：利用深度迁移网络，学习辅助领域的大数据特征表示，结合无监督领域适应方法，迁移到作物病害图像领域，实现目标数据自动高精度标注，具体包括以下步骤：

步骤S51：通过迁移学习方法，利用大型公共图像数据集，建立深度学习预训练模型，以学习图像的底层通用视觉特征；

步骤S52：利用步骤S1构建的作物病害图像目标领域数据集对学习到的网络参数进行微调，学习目标领域作物病害图像的中高级视觉特征，实现从底层到高层特征的映射，提高小规模作物病害图像数据集的深度学习建模效果，实现作物病害图像的自标注；

步骤S53：首先根据通用特征将具有较高相似度的作物病害图像类别进行单独划分，然后利用卷积神经网络CNN的特征学习能力，并进一步融合LSTM方法，实现时间尺度上的记忆功能，防止梯度消失，提取相似度较高的图像类别之间的差异特征，利用时间轴上的历史数据，整合通用特征与差异特征，以提高作物病害图像尤其是类间相似度较高的图像的标注精度；

步骤S6：结合多模态农业领域知识，同步实现领域适应与最终分类器构建，以多途径迁移学习自适应方法优化系统整体性能，具体包括以下步骤：

步骤S61：通过对辅助领域与作物病害图像领域数据进行分析，得到领域内数据分布情况与领域间差异情况等多种参数，通过加权计算以自适应策略选择恰当的迁移学习方法，在模型层次支持多类型辅助领域的迁移学习，更好地利用多种类型辅助领域数据来实现作物病害图像的分类识别；

步骤S62：采用异构迁移学习环境中对域间的知识传输量进行量化，构建共生矩阵测试领域间的相关性，采用主成分分析法选择作物病害图像目标领域各领域中最重要特征，并将主成分系数赋值给这些特征，利用主成分的系数构建形成有向循环网络，网络中每个节点代表一个辅助领域或目标领域，节点之间的加权连接表示一个领域到另一个领域的条件依赖关系，连接的权值与领域之间可转移的潜在知识量成正比；

步骤S63：将有向循环网络中各条边的权值作为不同的异构迁移学习解决方案中的优化参数，在校正边缘分布差异的同时对条件分布差异进行校正，以进一步优化模型；

步骤S64：利用有向循环网络微调参数进一步提高最终分类器的精度，实现分类器构建与优化，最终实现基于特征迁移学习的作物病害识别方法。