CN111353545B - 一种基于稀疏网络迁移的植株病虫害识别方法 - Google Patents

Abstract

本发明的一种基于稀疏网络迁移的植株病虫害识别方法，属于智慧农业病虫害识别技术领域。首先，设计剪枝算法，迭代遍历网络，冻结源域网络中冗余的参数，生成可重新训练的最优稀疏子网络结构。然后，应用深度迁移学习，将该稀疏网络迁移到目标域，提出稀疏网络可迁移假设并验证其可行性，探索目标任务和现有知识间的潜在关联，用源域的权重初始化网络，在目标域上实现知识的迁移和复用。最后，使用目标域数据的少量样本微调子网络，最优化网络表现，最终完成任务的迁移，解决实际应用问题。本发明能够进行植株病虫害的识别，通过稀疏迁移提高网络检测精度，同时解决传统深度方法需要训练稠密网络，计算开销大、对硬件要求高、不利于推广的问题。

Description

一种基于稀疏网络迁移的植株病虫害识别方法

技术领域

本发明属于智慧种植中的植株病虫害检测技术领域，一种基于稀疏网络迁移的植株病虫害识别方法，有效解决传统病虫害深度学习模型的网络稠密、计算开销大、对硬件要求高等问题，同时利用稀疏结构提高网络对病虫害检测精度。

背景技术

植株病虫害的识别是农业生产中的一项重要的工作，它要求及时准确地检测病害状况，从而采取有效的防治措施。传统方法依赖经验进行人工观察和鉴定，准确率和效率都不尽人意。应用计算机技术对病虫害进行及时准确的识别，是实现智慧种植中不可或缺的一环。早期基于机器学习的浅层病虫检测方法在小规模数据集上效果较好。然而，随着农业大数据化，病虫害的数据采集量不断升级，越来越多的研究者采用深度神经网络识别农业病虫害，即利用农田中采集的植株病虫害的真实图片训练深度卷积神经网络，然后将病虫图片输入到训练完成的网络进行识别和分类。基于深度神经网络病虫害检测的方法常依赖大量的有标签数据样本进行训练，这些大量的数据又往往需要经过专业人员的采集和标注，从而导致基于深度神经网络的病虫检测方法训练成本巨大，该方法难以广泛普及。为此，有研究者利用迁移学习的方法缓解基于深度神经网络病虫害检测的方法对数据的依赖性。即，复用在海量数据集和高性能硬件设备上已经预训练完成的部分网络，保证模型较好的初始状态，大幅度减少训练所需的有标签数据量，缩短训练时间，一定程度上减少了训练的开销。

然而，深度迁移学习方法的迁移过程中存在海量的参数。例如，一个常用的ResNet-18网络(具有18个卷积层的残差卷积神经网络)在每轮训练过程中就有多达10.9M(百万)个参数需要训练。在这些待迁移的海量参数中，存在大量的冗余参数与迁移目标任务无关，导致大量不必要的计算开销，这些冗余的参数限制了基于深度学习的病虫害检测方法应在移动终端、低算力的边缘计算设备等领域应用的可能性。

综上所述，现有基于深度神经网络的植株病虫害识别模型存在的问题主要体现在以下方面：

(1)训练样本少、样本获取代价高：现有的植株病虫害数据集较少，而且针对某些特定病害没有现成的有标签数据样本。同时，在实际的植株病虫害识别中，需要重新采集图片并由专业人员进行标注。然而，样本采集和标注往往需要付出较大的开销。

(2)训练对硬件要求高、计算代价大：要训练一个深层深度神经网络，需要对网络中数以千万计的参数进行多次训练，在每次训练中，都需要进行大量的浮点数运算。这训练网络的硬件设备的计算能力具有很高的要求，而且即使在高性能计算设备上训练，模型训练依然需要花费大量的时间。

因此，基于稀疏网络迁移的植株病虫害识别模型在设计中的挑战主要包括以下两方面：

(1)如何降低网络训练所需的有标签数据样本的数量，用尽可能少的样本训练一个高性能的深度神经网络，减少数据采集和标注的开销；

(2)如何在保证网络精度的基础上尽可能地减少所训练的参数，通过精简网络架构，缩减网络体量，减少计算成本。从而提供在普通办公电脑、智能移动设备、边缘计算设备等低算力设备上运行的可能性，增加在实际应用中的价值。

发明内容

传统基于深度学习的病虫害检测方法，需要大量有标签数据样本对稠密神经网络中的海量参数进行训练，计算开销大，同时网络中存在大量的冗余参数，共同导致训练成本过高，难以在实际应用中推广。

因此，为解决上述问题，本发明提供了一种基于稀疏网络迁移的植株病虫害识别方法，对源域网络剪枝，冻结网络中冗余的参数，生成一个可重新训练的最优稀疏子网络结构；然后利用深度迁移学习，探索目标任务和现有知识间的潜在关联，将最优稀疏网络迁移到目标域，使目标域网络达到一个较好的初始状态，减少目标域网络对训练样本的需求。本发明提供的模型可以大幅减少训练开销，此外，由于稀疏网络通过适当剪枝去除了冗余参数，本发明在一定程度上也通过稀疏结构提高了网络的准确率。

为了达到上述目的，本发明采用的技术方案为：

一种基于稀疏网络迁移的植株病虫害识别方法，包括三个阶段：(一)确定源域最优稀疏子网络；(二)迁移子网络至目标域；(三)使用目标域数据训练子网络检测病虫害。

在源域最优稀疏子网络的确定中，迭代地遍历可用于病虫识别的原始深度网络，冻结源域网络中的冗余权重(剪枝)，其目的是抑制网络中对病虫特征提取作用不明显的结构。然后重新训练剪枝后网络，依据网络对目标病虫的识别准确率，确定剪枝后最优的稀疏子网络，从而找出对提取病虫特征贡献最大的网络结构，将其用于迁移工作。

在迁移子网络至目标域中，验证步骤一中得到的网络结构的迁移可行性，保证利用源域权重初始化的网络，继承了对病虫的识别能力，并且能够将该能力迁移到目标域上。实现知识的迁移和复用，同时减少需要迁移的网络体量。

在使用目标域数据训练子网络检测病虫害中，通过迁移继承源域网络的病虫特征提取能力后，仅使用目标任务上的少量病虫样本数据对该稀疏网络进行微调，训练病虫分类器，对病虫进行识别分类，最终完成任务的迁移。验证得到的深度网络可以有效地检出目标病虫，且准确率更高，运算开销更小。

具体步骤如下：

阶段一，确定源域最优稀疏子网络：

首先，确定需要检测的病虫，定义深度迁移学习中的源域，并利用源域数据和高性能设备，训练源域深度网络，使之获得提取并识别病虫特征的能力；然后，利用剪枝算法遍历源域深度网络，确定网络中冗余权重并冻结，使其不参与训练，减少每次需要训练的参数数量，逐步得到稀疏子网络；最后，使用源域病虫数据样本测试稀疏子网络的性能，依据网络对目标病虫的识别准确率找出对提取病虫特征贡献最大的最优稀疏子网络，为下一步进行迁移做准备。当已有可行的病虫检测深度模型时，可以省略训练步骤，将其选为源域，直接继承该模型的识别能力。具体步骤如下：

1)定义病虫识别任务中的源域和目标域：基于深度迁移学习的方法通过复用深度神经网络中共享的知识，将知识从源域迁移到目标域，并根据目标任务更新学习模型。其中：“域”定义为：D＝{χ,P(X)}，包括典型病虫特征组成的特征空间χ，及其边缘概率分布P(X),X＝{x₁,…,x_n}∈χ；“任务”定义为T＝{y,f(x)}，其中y代表病虫害类型的标签空间，f(x)代表用于样本所属病虫害类型预测的目标函数。在基于深度神经网络的任务中，f(x)同样表示神经网络的非线性损失函数，训练具有病虫识别能力的神经网络的过程即最优化损失函数的过程。

2)利用剪枝算法确定最优的稀疏子网络：剪枝(Pruning)是一种压缩卷积神经网络冗余参数的常用方法。虽然深度神经网络的海量参数赋予了网络强大的学习能力，但也导致深度网络产生大量的计算开销。在传统病虫识别模型海量的参数中，有很大一部分冗余参数对提取和识别病虫特征作用较小甚至起反作用。通过压缩冗余的参数，只保留重要网络结构，可以确定适用于病虫特征提取的最优稀疏子网络，用于迁移至目标域网络。具体地，给定原始迁移网络为f(x；m⊙θ)；随机初始化网络参数θ，然后使用非结构化的迭代剪枝方法遍历原始迁移网络确定稀疏子网络，即，为所有的参数约定一个初始化掩膜(mask)m及其对应的掩膜标准M，用于判断并标记剪枝操作后所保留的参数。通过将检测过程中的重要权重的掩膜设置为1，冗余权重的掩膜设置为0，生成稀疏的网络结构。生成的子网络保留参数的比例可以根据实际需求进行定义。

3)验证子网络的性能：使用源域的病虫样本图片设计测试集进行实验，检验剪枝得到的稀疏子网络的性能，要求子网络能够在不超过原始网络迭代的次数内收敛，且识别目标病虫的的准确率不能低于原始网络。重复2)-3)的步骤，保存其中准确率最高的架构，做为备选的可迁移稀疏子网络。

阶段二，迁移子网络至目标域：

对于阶段一中得到的稀疏网络，应用稀疏迁移假设，验证稀疏网络具备将病虫特征提取及识别能力从源域模型中迁移到目标域病虫识别任务的能力。本发明结合深度迁移学习，提出稀疏子网络可迁移假设，从源域的病虫害识别深度模型中提取对病虫特征提取贡献最大的稀疏子网络，只使用这些最精简的部分辅助目标域任务，从而大幅减少迁移中的参数数量和重新训练目标域模型的计算开销，同时减少目标域所需的有标签数据量，完成基于稀疏子网络的迁移。

因此，基于阶段一中给出的源域和目标域的形式化定义，定义目标域D_T，待解决的目标病虫识别任务T_T，用于从中迁移知识的源域D_S和源域上的病虫识别任务T_S。具体的，使用源域网络的权重初始化网络，使用两个域的共同知识，复用对病虫特征的提取和识别能力，优化目标域的损失函数f_T(x)。结合给出的剪枝掩膜的定义，本阶段中，将完成对目标任务(D_S,T_S,D_T,T_T,f(x；m⊙θ_i),m∈{0,1}^θ)的最优化工作。

阶段三，使用目标域数据训练子网络检测病虫害：

对于阶段二中已验证其有效性的稀疏网络，在目标域上，使用目标任务中病虫的具体样本图片进行网络的微调优化训练，从而得到病虫分类器，实现对目标病虫的识别分类，完成任务的迁移。为了利用源域学习到的病虫特征提取和识别能力等隐含知识，使用来自源域的权重初始化网络，在源域剪枝中被冻结的权重不参与训练。本发明提出的方法易于进行扩展，对于不同种类的植株病虫害识别问题，只需要合理地选择迁移源域，并在完成稀疏迁移后使用相对少量的特定病害的有标签样本对网络进行训练，即可得到用于对植株病虫害图片进行高效检测分类的小体量稀疏网络。

本发明的有益效果：本发明针对传统基于深度学习方法解决植株病虫害识别问题中，需要大量有标签样本训练稠密的深层神经网络，训练成本高，运算开销大的问题，设计了一种基于稀疏网络迁移的植株病虫害识别方法，而且设计了从原始稠密网络中寻找可迁移稀疏子网络的方法和稀疏网络迁移的方法。

附图说明

图1是本发明的基本框架。

图2是验证本发明提出的稀疏子网络可迁移假设，探索剪枝比例与模型性能关系，并比较使用不同权重初始化网络对性能影响的实验结果。

图3是使用本发明进行植株病虫害识别，探索剪枝比例与模型性能关系，并将稀疏网络需要训练的参数和准确率与原始稠密网络进行比较的实验结果。

图4是本发明的工作流程图。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

一种基于稀疏网络迁移的植株病虫害识别方法，包括三个阶段：确定源域最优稀疏子网络；迁移子网络至目标域；使用目标域数据训练子网络检测病虫害。

第一阶段是确定源域最优稀疏子网络。该阶段利用剪枝算法迭代地遍历可用于病虫识别的原始深度网络，确定网络中冗余权重并冻结，使其不参与训练，以抑制网络中对病虫特征提取作用不明显的结构，减少每次需要训练的参数数量，逐步得到稀疏子网络；最后，使用源域病虫数据样本测试稀疏子网络的性能，依据网络对目标病虫的识别准确率找出对提取病虫特征贡献最大的最优稀疏子网络，为下一步进行迁移做准备。该阶段包括三个过程：病虫识别任务的源域和目标域定义过程，最优稀疏子网络迭代剪枝过程，子网络性能验证过程。

(1)病虫识别任务的源域和目标域定义过程，用于确定病虫识别任务的源域和目标域，基于深度迁移学习方法，通过复用深度神经网络中共享的知识，将病虫特征提取及识别能力从源域迁移到目标域，并根据目标任务需要识别的具体病虫更新学习模型。

给出源域和目标域的形式化定义：“域”定义为：D＝{χ,P(X)}，包括典型病虫特征组成的特征空间χ，及其边缘概率分布P(X),X＝{x₁,…,x_n}∈χ；“任务”定义为T＝{y,f(x)}，其中y代表病虫害类型的标签空间，f(x)代表用于样本所属病虫害类型预测的目标函数。在基于深度神经网络的任务中，f(x)同样表示神经网络的非线性损失函数，训练具有病虫识别能力的神经网络的过程即最优化损失函数的过程。

(2)最优稀疏子网络迭代剪枝过程，通过迭代剪枝(Pruning)方法修剪神经网络中的冗余参数，在保证网络准确率的情况下，只保留源域网络中对提取和识别病虫特征最重要的部分网络结构，大幅削减需要训练的参数数量。令待迁移的源域病虫识别模型对应的深度网络为f(x；m⊙θ)。随机初始化网络参数θ，然后使用非结构化的迭代剪枝方法遍历原始迁移网络确定稀疏子网络，即：为所有的参数约定一个初始化掩膜(mask)m及其对应的掩膜标准M，用于判断并标记剪枝操作后所保留的参数。通过将检测过程中的重要权重的掩膜设置为1，冗余权重的掩膜设置为0，生成稀疏的网络结构。

具体包括以下步骤：

1)确定需要检测的病虫，定义深度迁移学习中的源域，并利用源域数据和高性能设备，训练源域深度网络，使之获得提取并识别病虫特征的能力，完成源域原始网络的定义。该步骤通过复用现有病虫识别任务部分关键网络结构和对应权重，实现知识的迁移。因此当源任务已经存在时(如：现有的可应用的病虫识别模型，或病虫识别工作中富有代表性的海量通用数据集在高性能硬件设备上训练得到的已知网络)，可以省略训练步骤，直接继承源任务的权重和结构。

2)在源域网络上应用迭代的非结构化剪枝算法，寻找最优的稀疏子网络。对于经历n次迭代的网络，记录训练前的初始权重θ_i；训练完成后的权重θ_n。此外，记录训练开始后经过j次迭代后网络的权重θ_j，j<n。

3)在剪枝算法运行过程中，使用掩膜标准M对源域网络中的每个权重进行判断。M可以视为对权重在神经网络中贡献度的打分标准，其定义如下：

之后，在源域网络的每一层中，对于得分在前p％的权重，设置其初始化掩膜m＝1，表示将被保留；对于剩余的(100-p)％权重，其初始化掩膜m将被设置为0，表示被剪去，并随机破坏其连接。p代表保留权重的比例，将会影响剪枝的程度，可以根据具体在网络中的层数不同进行分别定义。

4)对于m＝1的权重，使用θ_j重置其权重，准备进行下一步的训练；m＝0的权重将被剪枝，这些被剪掉的权重在后续的训练中将被冻结(不参与训练)。与传统的剪枝方法有所区别的是，只有当即将被剪枝的权重在训练中的趋势是趋近0时，将其冻结为0；如果其趋势是逐渐远离0，则将其冻结为初始权重。

5)重复2)-4)的步骤，直到在源域上找到最优的可迁移稀疏子网络，定义为f(x；m⊙θ_i)。

此时得到的稀疏网络继承了来自源域的可用于病虫识别工作的重要信息，与此同时，需要训练的参数和训练所需的有标签数据数量大幅减少。

(3)子网络性能验证过程，以对目标识别的准确率(accuracy,ACC)为基准，使用源域的病虫样本图片设计测试集进行实验，将该稀疏子网络可以达到的结果与原始稠密网络相比较，检验剪枝后稀疏网络的性能。要求得到的子网络在不超过原始网络迭代的次数内收敛，且网络识别目标病虫的准确率不低于原始网络，即：对于神经网络f(x；m⊙θ)，定义其初始化参数为θ_i。在网络的训练优化过程中，经过j次迭代，f取得最低的代价函数损失l，此时网络在当前任务上达到α％的准确率。寻找这样的子网络f(x；m⊙θ_i)，m∈{0,1}^θ，当其代价函数最低时，满足迭代次数j′≤j且准确率α′≥α，选择平均准确率最高的，作为最优的稀疏子网络。

第二阶段是迁移子网络至目标域。通过应用第一阶段中得到的稀疏子网络，完成重要知识从源域到目标域的迁移，使目标任务继承源域训练中获得的隐含病虫特征提取和识别的重要信息，从而达到减少目标病虫识别任务训练所需的有标签数据的目的。传统深度迁移学习方法需要迁移完整的稠密网络结构，因而不能解决需要训练海量参数带来的计算开销问题，相对的，仅迁移稀疏子网络的工作需要重新给出定义，并使用通用数据集予以证明。

在此，提出通用的稀疏子网络可迁移假设：对于一个神经网络f(x；θ)，定义其初始化参数为θ_i。在网络的训练优化过程中，经过j次迭代，f取得最低的代价函数损失

，此时网络在当前任务上达到α％的准确率。在第一阶段中，已经找到了满足条件的稀疏子网络f(x；m⊙θ_i)，m∈{0,1}^θ，当其代价函数最低时，满足迭代次数j′≤j且准确率α′≥α。本发明的任务是结合深度迁移学习，使用来自源域的信息辅助目标域，从而同时削减训练所需的有标签数据集和参数数量两方面的开销，完成稀疏子网络的迁移。因此，对于目标域D_T上的待解决的目标任务T_T，从选定的源域D_S上的任务T_S寻求帮助。在得到最优化的稀疏子网络后，使用源域网络的权重初始化网络，从而使用两个域的共同知识优化目标域的损失函数f_T(x)。结合之前给出的剪枝掩膜的定义，在本阶段的任务中，将完成对目标任务(D_S,T_S,D_T,T_T,f(x；m⊙θ_i),m∈{0,1}^θ)的最优化工作。

给出稀疏子网络迁移的形式化定义：使用神经网络f(x；θ)定义目标域D_T上的任务T_T。在使用来自D_T信息进行训练优化的过程中，经过j次迭代，f取得最低的代价函数损失

，此时网络达到α％的准确率。定义源域D_S的初始化参数为θ_s。存在子网络f(x；m⊙θ_s)，m∈{0,1}^θ，通过在源域任务T_S上应用迭代剪枝得到，当其代价函数最低时，在D_T上仍能满足迭代次数j′≤j且最终准确率α′≥α。称这样的网络为一个可以从源域迁移信息到目标域的稀疏子网络。

使用通用的基准数据集，对该稀疏迁移工作进行了验证，证明稀疏子网络可以在保留源域信息的前提下重新训练，减少需要的参数数量并应用于目标任务。具体的，以识别准确率(accuracy,ACC)为基准，在源域找到最优稀疏子网络后，保留其权重，使用与源域不同的基准数据集对其微调至最优化后，与直接使用相同数据集训练稠密网络得到的结果相比较。实验结果表明，稀疏结构最多可以仅保留相当于原始网络5％的参数并保证性能，且在适当剪枝的情况下，由于稀疏结构的优越性，准确率可以高于原始稠密网络。证明了用该方法得到的一系列稀疏网络能够用于迁移重要知识，并解决目标问题。因此，可以将该稀疏子网络可迁移假设同样应用于病虫害识别任务中，用于迁移知识，简化网络，并保证其性能。

第三阶段是使用目标域数据训练子网络检测病虫害。对于阶段二中已验证其有效性的稀疏网络，在目标域上，使用目标任务中病虫的具体样本图片进行网络的微调优化训练，从而得到病虫分类器，实现对目标病虫的识别分类，完成任务的迁移，实现病虫害检测。为了利用源域学习到的病虫特征提取和识别能力等隐含知识，在训练时，使用θ_j初始化网络中被保留的权重，被冻结的权重不参与训练。此时得到的稀疏网络继承了来自源域的信息，并且能够用于目标域任务，且需要训练的参数和训练用的有标签数据量都大幅减少。本发明提出的方法易于进行扩展，对于不同种类的植株病虫害识别问题，只需要合理地选择迁移源域，并在完成稀疏迁移后使用相对少量的特定病害的有标签样本对网络进行训练，即可得到用于对植株病虫害图片进行高效检测分类的小体量稀疏网络。

结合本发明的方案，进行实验分析如下：

首先，使用标准数据集，对提出的稀疏子网络迁移方法进行验证。具体的，首先对源域上的任务进行剪枝，找到最优的稀疏子网络后，在目标域的数据集上应用该子网络，与直接在目标数据集上训练完整网络得到的结果相比较，分别对比平均准确率(accuracy,ACC)和需要训练的参数数量，以检验稀疏子网络可迁移的假设成立。

植株病虫害检测可以视为多类别的图像分类问题。因此，首先使用CIFAR-10数据集训练的ResNet-18网络作为迁移任务的源域。ResNet-18是经典深度残差网络ResNet架构的18层版本，其原始版本有多达10.9M(million)个卷积层参数需要训练。CIFAR-10是在计算机视觉领域被广泛使用的标准数据集，用于识别普适物体，常作为基准对各种模型进行有效性检验。目标数据集选择smallNORB，它是LeCun等人拍摄的不同照明及摆放方式下的玩具模型灰度图像的小尺寸版本，常用于对3D生成模型进行测试。数据集的具体属性如表1所示。

表1数据集属性

由于目标域上的图像尺寸和通道与源域不同，在实验中，使用4单位的像素填充/裁剪，并且进行通道转换。在剪枝过程中，本实施例只对卷积层进行操作。在目标域上对迁移的子网络微调使之最优化时，按照迁移学习中常用的方法，冻结卷积层的权重，只微调全连接层。实验使用3种不同的初始化方式初始化稀疏子网络：使用源域的初始权重，使用源域训练一段时间后的权重，以及随机初始化。验证稀疏迁移方法的同时，尝试通过比较找出最优秀的方案。

实验中的其他参数设定如下：应用随机梯度下降(SGD)进行优化，参数(5e-3,1e-3,1e-4)；基础学习率0.01；动量参数momentum＝0.9；权值衰减率decay＝1e-4。在每一轮剪枝中，剪掉当前参数的20％，总共进行10轮迭代剪枝，批处理大小为128，最大迭代次数为30000，每轮中最多进行50次遍历。实验全部在Dell PowerEdge R740(Silver 41102.1GHz-8cores-16threads*2NVIDIA Tesla M60*2 128G)服务器上运行。

经过在源域CIFAR-10上的训练后，网络在测试集上取得89.43％的准确率。剪枝可以在保证准确率的前提下大幅削减所需训练的参数数量，剪枝后当只保留原始参数的10％时，仍具有89.24％的准确率。对于目标域数据smallNORB，当从头训练同样的稠密网络时，准确率为89.9％。为了寻找最适合迁移的稀疏子网络大小，本实施例将不同剪枝程度下每一轮产生的最优子网络分别迁移至目标域，按照本实施例的迁移假设进行训练，并对结果进行对比。

实验结果如图2所示。可以发现，对源域剪枝得到的稀疏网络可以用于目标任务。在大幅节省参数训练开销的同时，总体精度能保持在剪枝前附近，实现了稀疏子网络的迁移。并且当进行适当剪枝时，可以取得比直接训练稠密网络更好的性能。相比其他两种方法，使用源域训练一段时间后的权重能够更有效的实现稀疏子网络的迁移。

实验结果同样证明了当用于实际应用时，可以根据对准确率和网络规模的需求，进行不同程度的剪枝。根据应用需求的变化，可以在网络的性能和保留的参数比例之间进行平衡。当目标任务主要需求是更小的网络规模而可以接受性能上的微弱损失时，可以尽可能少的保留原始网络参数。同时，可以根据实际需求在性能表现最佳的区间逐步进行更细粒度的剪枝，以寻找一个最优的稀疏网络用于迁移。

进一步的，本发明应用稀疏子网络迁移解决植株病虫害的识别问题。本发明以番茄叶片的常见病害识别为例，证明基于稀疏网络迁移的病虫害识别模型的有效性。使用在ImageNet上预训练完成的ResNet18模型作为源域网络，进行15轮迭代剪枝，最少可以仅保留原始参数的3.6％。其它参数和实验设备设置与上一节相同。在目标域上，使用PlantVillage数据集进行训练。PlantVillage数据集是PlantVillage网站(https://www.plantvillage.org/en/plant_images)收集的14种农作物、26类植株病虫害的叶片(及其对应的健康叶片)组成的开源图像数据集。由于原始数据集中不同类别的样本参差不齐，只选择Tomato类(对应番茄叶片的病变)，剔除样本较少的类和质量较差的图片，再使用水平翻转等数据增强手段，将每类的样本大小调整到基本一致，共定义8类病害+1类健康叶片。同时，图像大小统一调整为64×64。

具体数据集属性如表2所示。

表2PlantVillage数据集属性

实验结果如图3所示。原始稠密网络经过训练，可以达到96.44％的准确率。通过应用本发明提出的方法，分别获得了一系列稀疏的子网络，识别准确率最高可达97.69％，同时所需训练的参数数量大幅减少。在仅保留3.6％参数时，仍可以达到93.16％的准确率，为深度学习方法在低算力设备上的应用提供了可能性，此时只需要训练406495个参数(相比原始网络的11173962个)；当需要最佳性能时，可以在最高准确率附近通过更细粒度的剪枝进一步寻找最优子网络，此时所需训练的参数可能只有原始网络的50％～20％，同时准确率高于原始稠密网络。

Claims (1)

1.一种基于稀疏网络迁移的植株病虫害识别方法，其特征在于，具体步骤如下：

第一阶段：确定源域最优稀疏子网络，具体步骤为：

1、确定病虫识别任务的源域和目标域，以将病虫特征提取及识别能力从源域迁移到目标域，并根据目标任务需要识别的具体病虫更新学习模型；给出源域和目标域的形式化定义：“域”定义为：D＝{χ,P(X)}，包括典型病虫特征组成的特征空间χ，及其边缘概率分布P(X),X＝{x₁,…,x_n}∈χ；“任务”定义为T＝{y,f(x)}，其中y代表病虫害类型的标签空间，f(x)代表用于样本所属病虫害类型预测的目标函数；在基于深度神经网络的任务中，f(x)同样表示神经网络的非线性损失函数，训练具有病虫识别能力的神经网络的过程即最优化损失函数的过程；

2、通过迭代剪枝方法修剪神经网络中的冗余参数，在保证网络准确率的情况下，只保留源域网络中对提取和识别病虫特征最重要的部分网络结构；令待迁移的源域病虫识别模型对应的深度网络为f(x；m⊙θ)，随机初始化网络参数θ，然后使用非结构化的迭代剪枝方法遍历原始迁移网络确定稀疏子网络，即：为所有的参数约定一个初始化掩膜m及其对应的掩膜标准M，用于判断并标记剪枝操作后所保留的参数；通过将检测过程中的重要权重的掩膜设置为1，冗余权重的掩膜设置为0，生成稀疏的网络结构；具体包括以下步骤：

2.1)确定需要检测的病虫，在源域上随机初始化网络，并且使用源域信息进行训练直至其收敛，完成原始网络的定义；通过对现有病虫识别任务中关键网络结构和对应权重的复用实现知识迁移；当源任务已经存在时，可省略训练步骤，直接继承源任务的权重和结构；

2.2)在选定的源域网络上应用迭代的非结构化剪枝算法，以寻找最优的稀疏子网络；对于经历n次迭代的网络，记录训练前的初始权重θ_i、训练完成后的权重θ_n；记录训练开始后经过j次迭代后的权重θ_j，j<n；

2.3)在剪枝算法运行过程中，使用掩膜标准M对源域网络中的每个权重进行判断；M为对权重在神经网络中贡献度的打分标准，定义如下：

之后，在源域网络的每一层中，对于得分在前p％的权重，设置其初始化掩膜m＝1，表示将被保留；对于剩余的(100-p)％权重，其初始化掩膜m将被设置为0，表示被剪去，并随机破坏其连接；p代表保留权重的比例，根据具体在网络中的层数不同进行分别定义；

2.4)对于m＝1的权重，使用θ_j重置其权重，准备进行下一步的训练；m＝0的权重将被剪枝，被剪掉的权重在后续的训练中将被冻结；

2.5)重复2.2)-2.4)的步骤，直到在源域上找到最优的可迁移稀疏子网络，定义为f(x；m⊙θ_i)；

3、子网络性能验证过程，以对目标识别的准确率为基准，使用源域的病虫样本图片设计测试集进行实验，将稀疏子网络可达到的结果与原始稠密网络相比较，检验剪枝后稀疏网络的性能；要求得到的子网络在不超过原始网络迭代的次数内收敛，且网络识别目标病虫的准确率不低于原始网络，即：对于神经网络f(x；m⊙θ)，定义其初始化参数为θ_i；在网络的训练优化过程中，经过j次迭代，f取得最低的代价函数损失l，此时网络在当前任务上达到α％的准确率；寻找这样的子网络f(x；m⊙θ_i)，m∈{0,1}^θ，当其代价函数最低时，满足迭代次数j′≤j且准确率α′≥α，选择平均准确率最高的，作为最优的稀疏子网络；

第二阶段：迁移子网络至目标域，具体步骤为：

提出通用的稀疏子网络可迁移假设，给出形式化定义，并予以证明：对于一个神经网络f(x；θ)，定义其初始化参数为θ_i；在网络的训练优化过程中，经过j次迭代，f取得最低的代价函数损失l，此时网络在当前任务上达到α％的准确率；在第一阶段中，已经找到了满足条件的稀疏子网络f(x；m⊙θ_i)，m∈{0,1}^θ，当其代价函数最低时，满足迭代次数j′≤j且准确率α′≥α；对于目标域D_T上的待解决的目标任务T_T，从选定的源域D_S上的任务T_S寻求帮助；在得到最优化的稀疏子网络后，使用源域网络的权重初始化网络，从而使用两个域的共同知识优化目标域的损失函数f_T(x)；结合剪枝掩膜的定义，完成对目标任务(D_S,T_S,D_T,T_T,f(x；m⊙θ_i),m∈{0,1}^θ)的最优化工作；

给出稀疏子网络迁移的形式化定义：使用神经网络f(x；θ)定义目标域D_T上的任务T_T；在使用来自D_T信息进行训练优化的过程中，经过j次迭代，f取得最低的代价函数损失l，此时网络达到α％的准确率；定义源域D_S的初始化参数为θ_s；存在子网络f(x；m⊙θ_s)，m∈{0,1}^θ，通过在源域任务T_S上应用迭代剪枝得到，当其代价函数最低时，在D_T上仍能满足迭代次数j′≤j且最终准确率α′≥α；称这样的网络为一个可以从源域迁移信息到目标域的稀疏子网络；

使用通用的基准数据集，对稀疏迁移工作进行验证；以识别准确率为基准，验证稀疏结构最多可以仅保留相当于原始网络5％的参数并保证性能，且在适当剪枝的情况下，准确率可高于原始稠密网络；证明得到的稀疏网络能够用于迁移重要知识，并解决目标问题；

第三阶段：使用目标域数据训练子网络检测病虫害，具体步骤为：

在目标域上，使用目标任务中病虫的具体样本图片进行网络的微调优化训练，从而得到病虫分类器，实现对目标病虫的识别分类，完成任务的迁移，实现病虫害检测。

Images