CN110188824B - 一种小样本植物病害识别方法及系统 - Google Patents

Abstract

本发明公开了一种小样本植物病害识别方法及系统。该方法包括：随机选取多个包含病害的原始图片作为第一样本集；通过改进的基于深度卷积生成对抗网络对第一样本集进行扩充获得第二样本集；对第二样本集进行验证并将验证通过的全部或部分第二样本集与不包含病害的原始图片一起构建训练集；基于训练集对卷积神经网络进行训练获得分类模型；将待识别的病害图像输入分类模型获得病害识别结果。本发明针对植物的小样本的病害图片，采用改进的深度卷积生成对抗网络对样本集进行扩充，使扩充后的第二样本集中正负比例大致为1:1，使数据达到均衡，且二者的数量已达万级，在扩充后的第二样本集上使用卷积神经网络对病害进行分类，具有很好的分类效果。

Description

一种小样本植物病害识别方法及系统

技术领域

本发明涉及一种植物病害识别方法，特别是涉及一种小样本植物病害识别方法及系统。

背景技术

在很多检疫性高危植物病害检测方面，目前都是采用人工检查的方式，比如说柑橘作物中的柑橘溃疡病病害，由于生长环境不同、病斑本身外形多变；采集图像时的光照、拍摄角度、拍摄技巧等诸多原因会影响到图像质量，因此对于质量较高的病斑图像的获取非常困难。对于柑桔溃疡病、柑橘黄龙病等检疫性病害，为了防止病害扩散，一旦发现必须及时采取相应措施(焚毁、掩埋)进行处理。

以图像识别为支撑的机器学习的发展非常迅速，比较经典的机器学习方法有：朴素贝叶斯分类器(Naive Bayesian Classifier)、支持向量机(SupportVector Machine，SVM)、K最近邻(k－Nearest Neighbor，KNN)分类算法、决策树(Decision Tree)及Adaboost分类方法等。这些分类方法中最主要的环节就是特征提取，主要包括图像的颜色、形状、亮度等。其中一些特征很容易受外界的干扰，导致一些特征可能会失效；对柑橘病斑来说，病斑出现的位置不固定、病斑外围的形状多变、病斑的完整性不能保证等诸多因素导致特征的提取非常复杂。卷积神经网络的出现和发展将能很好地解决这类问题，不必再人为地去设计、提取特征，都由卷积神经网络自动提取。但是，卷积神经网络需要大量的样本进行训练，在处理小样本的分类任务时效果不佳，而柑橘溃疡病病斑存在样本量太少，样本数据不均衡的问题。

在解决小样本问题时常用的方法是：改进分类器的泛化性能、对样本集进行扩充。对于样本量较少的数据集，无论怎么改进模型的泛化性能，卷积神经网络识别效果还是不能让人满意；在扩充样本集方面典型的方法有：物理扩充方法(拉伸、旋转、调整分辨率、镜像)、变分自编码器(VariationalAuto－Encoder，VAE)扩充样本集、自回归模型(Autoregressive models)扩充样本集等。但是传统扩充方法中经常出现生成样本质量差、生成样本的多样性不足、出现过拟合的问题以及样本不均衡等问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种小样本植物病害识别方法及系统。

为了实现本发明的上述目的，根据本发明的一个方面，本发明提供了一种小样本植物病害识别方法，包括：

步骤S1，获取小样本植物包含病害以及不包含病害的原始图片，随机选取多个包含病害的原始图片作为第一样本集；通过改进的基于深度卷积生成对抗网络对第一样本集进行扩充获得第二样本集；

对第二样本集进行验证并将验证通过的全部或部分第二样本集与不包含病害的原始图片一起构建训练集；

步骤S2，基于训练集对卷积神经网络进行训练获得分类模型；

步骤S3，将待识别的病害图像输入分类模型获得病害识别结果。

上述技术方案的有益效果为：针对植物的小样本的病害图片，采用改进的深度卷积生成对抗网络对样本集进行扩充，使扩充后的第二样本集中正负比例大致为1：1，使数据达到均衡，且二者的数量都已经达到万级，在扩充后的第二样本集上使用卷积神经网络对病害进行分类，达到了很好的分类效果。

在本发明的一种优选实施方式中，所述步骤S1中，通过改进的基于深度卷积生成对抗网络对第一样本集进行扩充获得第二样本集的步骤包括：

步骤S11，去除第一样本集中的模糊不清晰样本；

步骤S12，对第一样本集进行增强处理；

通过对第一样本集中的图像进行镜像处理获得镜像图像，将镜像图像和原图像分别旋转不同角度，将旋转后的图像作为第一样本集的新样本；

步骤S13，对第一样本集中的图片进行去燥处理：

对图像利用二维高斯函数先按照行进行滤波，再按列进行滤波，所述二维高斯函数为：

其中，δ为标准差，x为图像矩阵的行坐标，y为图像矩阵的纵坐标；

对第一样本集中的图片通过线性函数转换法进行图像归一化处理：

线性函数表达式如下：

其中，I₀为归一化处理前的图像实际像素点像素值，I₁为归一化处理后的图像像素点像素值，MaxValue、MinValue分别为样本的图像实际像素点最大像素值和图像实际像素点最小像素值；

对第一样本集中的图片进行光照均匀化处理，包括：

步骤S131，将图片分为R通道图像、G通道图像和B通道图像：

步骤S132，在进行图像去噪过程中，将R通道图像、G通道图像和B通道图像分别按照如下过程进行各自通道的光照均匀化处理：

设离散图像{x_R/G/B}，x_R/G/B表示R通道值或G通道值或B通道值；设n_j表示像素点x_R/G/B值为j出现的次数，图像{x_R/G/B}中像素点x_R/G/B值为j出现的概率是：

L是图像{x_R/G/B}中所有x_R/G/B值中的最大值，N是图像{x_R/G/B}的像素点总数，将p_xR/G/B(j)归一化到[0，1]，p_xR/G/B(j)的累积分布函数为：

v为整数且0≤v≤j，即为图像{x_R/G/B}的累计归一化直方图；

创建变换y_R/G/B＝T(x_R/G/B)，对于图像{x_R/G/B}中的每个x_R/G/B值产生一个y_R/G/B，y_R/G/B的累计概率函数就可以在所有值范围内进行线性化，转换公式定义为：

cdf_yR/G/B(j)＝jK；

K为常数，且满足0＜K＜max(p_xR/G/B(j))，进行如下变换：

cdf_yR/G/B(y_R/G/B')＝cdf_yR/G/B(T(k))＝cdf_xR/G/B(k)；

其中k属于区间[0，L]，与j等价，函数T将不同的等级映射到[0，1]域，为了将这些值映射回它们最初的域，需要在结果上应用下面的简单变换：

y_R/G/B'＝y_R/G/B*(max{x_R/G/B}*min{x_R/G/B})+min{x_R/G/B}；

步骤S133，将光照均匀化处理后的R通道图像、G通道图像和B通道图像合并获得光照均匀化处理后的图片；

步骤S14，将第一样本集输入改进的基于深度卷积生成对抗网络，进行多次迭代，获得第二样本集；

所述改进的基于深度卷积生成对抗网络包括生成器神经网络和判断器神经网络；

生成器神经网络的输出层和判断器神经网络的输入层不进行批量规范化操作，在改进的基于深度卷积生成对抗网络的隐藏层进行批量规范化操作；

在卷积层和批量规范化层(BN层)之间设置了用于随机屏蔽部分信号单元的静音层(Mute层)。

上述技术方案的有益效果为：只在生成器的输出层和判别器的输入层使用批量规范化操作，能够避免采样过程震荡和稳定训练过程；从对基于深度卷积生成对抗网络中卷积神经网络的改进入手，在每层的卷积和批量规范化层(BN层)之间加入Mute层，以在训练和验证期间不加区分地抛弃一定数量的信号(或单元)，以消除方差偏移的影响，防止判别器判别过于严格，进而提高生成样本的质量。

在本发明的一种优选实施方式中，在卷积层和BN层之间设置Mute，在卷积过程中随机屏蔽掉τ×100％的信号单元τ为屏蔽阈值，0＜τ＜1；

Mute层公式如下：

其中a代表一个(0，1)之间的随机值，b为屏蔽操作标志位，当a的值大于τ时，b的值取0，代表此时不随机屏蔽，当a的值小于τ时，b的值取1，代表此时采取随机屏蔽方式。

上述技术方案的有益效果为：公开了Mute层公式，该公式运算量少。

在本发明的一种优选实施方式中，在所述步骤S1中，对第二样本进行验证包括相似度验证，具体包括：

令i＝1，

步骤Step0：从多个包含病害的原始图片中随机抽取n个图片构成数据集X；设第一样本集为O_data，第二样本集为G_data；设w_i为来源标签，i表示图片在数据集X中的序号，0＜i＜n+1，w_i＝0；预设第一阈值，第一阈值的取值范围为10到50；

步骤Step1：从数据集X中抽取1张图片X_i，在O_data和G_data中找出与抽取图片X_i相似度最高的图片，若相似度最高的图片来自O_data，则w_i＝1，若相似度最高的图片来自G_data，则w_i＝-1；进入步骤Step2；

步骤Step2：计算w_i的累积和s，

步骤Step3：若i＝n，进入步骤Step4，若i＜n，令i＝i+1，返回执行步骤Step1；

步骤Step4：若s不大于第一阈值，则认为第二样本集G_data的相似度符合要求，利用第二样本集G_data构建训练集，若s大于第一阈值，则认为第二样本集G_data相似度不符合要求。

上述技术方案的有益效果为：通过计算多个包含病害的原始图片与第一样本集和第二样本集的相似性的累计和，判断第二样本集的质量，该方法快速运算量少。

在本发明的一种优选实施方式中，还包括当s大于第一阈值时，需要进行：

通过改进的基于深度卷积生成对抗网络对第一样本集进行扩充，以增大第二样本集的样本数量；同时将原图像旋转不同角度，以对第一样本集合进行扩充；

和/或增大数据集X中的图片数量。

上述技术方案的有益效果为：给出了当第二样本集的相似度不符合要求时的改进方法。

在本发明的一种优选实施方式中，在所述步骤Step1中，在O_data和G_data中找出与抽取图片X_i相似度最高的图片的过程包括：

计算图片X_i的像素均值

计算O_data和G_data中所有图片的像素均值；将这些像素均值依次与

做差运算获得多个第一差值，将绝对值最小的第一差值对应的O_data或G_data中的图片作为与图片X_i相似度最高的图片。

上述技术方案的有益效果为：计算量少，能够快速判断获得与抽取图片X_i相似度最高的图片。

在本发明的一种优选实施方式中，在所述步骤S1中，对第二样本集进行验证还包括对第二样本集的图像质量进行验证，具体包括：

步骤A：从第一样本集中选取第一数据集，对第一数据集中每个图像的所有像素点的像素均值分别通过归一化函数进行归一化处理，获得测试集Y；

步骤B：从第二样本集中选取不同迭代次数的T个第二数据集，对第二数据集中每个图像的所有像素点的像素均值分别通过归一化函数进行归一化处理，获得T个测试集Z₁、Z₂、…、Z_T；

步骤C：将T个测试集Z₁、Z₂、…、Z_T分别和测试集Y输入函数MMD(Z_t,Y)，给出测试集Z₁、Z₂、…、Z_T分别和测试集Y的分布相似性结果；所述函数MMD(Z_t,Y)为：

其中，t∈{1,2,...,T}，m_t为数据集Z_t的样本数量，l为数据集Y的样本数量，p∈{1,2,...,m_t}，q∈{1,2,...,l}；F指样本空间上的连续函数集，f()为映射函数；

步骤D：设置第二阈值，第二阈值大于0且小于1，将分布相似性结果小于等于第二阈值的第二数据集以及与其迭代次数相近的数据集用于构建训练集。

上述技术方案的有益效果为：比较第一样本集和第二样本集的分布相似性并根据分布相似性对第二训练集的质量进行判断，更全面，更准确，确保第二训练集具有较高的质量。

在本发明的一种优选实施方式中，所述卷积神经网络从输入到输出依次包括：

第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和输出层。

上述技术方案的有益效果为：公开了一种优选的卷积神经网络结构，没有重复层，虽然只有8层，却包含了6亿3000万个连接，6000万个参数，65万个神经元，且80％的参数集中在全连接层部分，减少了网络的参数，大幅度地提升网络的训练速度，减轻了网络的负载。

在本发明的一种优选实施方式中，在步骤S2之前还包括引入迁移学习提升分类模型的分类性能的步骤，包括：

将卷积神经网络在Imagenet数据集上进行预训练，把训练好后网络学习到的可迁移的特征保存为模型参数文件，然后将此文件参数迁移加载到步骤S2中的训练中。

上述技术方案的有益效果为：利用可迁移的特征在新的数据集中训练，对网络参数进行微调得到新的网络模型，用训练好的模型去测试，评估模型训练的好坏和评价模型的分类性能，对分类效果进行提升。

为了实现本发明的上述目的，根据本发明的二个方面，本发明提供了一种植物病害识别系统，其特征在于，包括处理器和图像提供单元，所述处理器从图像提供单元获得包含病害和不包含病害的植物图片，并根据本发明所述的小样本植物病害识别方法识别植物病害。

上述技术方案的有益效果是：该系统可以应用于小样本植物病害检测，针对植物的小样本的病害图片，采用改进的深度卷积生成对抗网络对样本集进行扩充，使扩充后的第二样本集中正负比例大致为1：1，使数据达到均衡，且二者的数量都已经达到万级，在扩充后的第二样本集上使用卷积神经网络对病害进行分类，达到了很好的分类效果。

附图说明

图1是本发明一具体实施方式中小样本植物病害识别方法的流程示意图；

图2是本发明一具体实施方式中原始生成对抗网络的结构简图；

图3是本发明一具体实施方式中加入静音层后改进的DCGAN网络结构简图；

图4是本发明一具体实施方式中对使用了Mute layer和BN的改进网络模型和只使用了BN的网络模型样本比较示意图，其中，图4(a)为生产样本像素均值与真实样本像素均值差曲线，图4(b)为生产样本像素标准差曲线；

图5是本发明一具体实施方式中最大平均差异法评价图像相似度流程图；

图6是本发明一具体实施方式中最大平均差异法评价生成图像质量效果图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明公开了一种小样本植物病害识别方法，在一种优选实施方式中，该方法的流程示意图如图1所示，包括：

步骤S1，获取小样本植物包含病害以及不包含病害的原始图片，随机选取多个包含病害的原始图片作为第一样本集；通过改进的基于深度卷积生成对抗网络对第一样本集进行扩充获得第二样本集；

对第二样本集进行验证并将验证通过的全部或部分第二样本集与不包含病害的原始图片一起构建训练集；

步骤S2，基于训练集对卷积神经网络进行训练获得分类模型；

步骤S3，将待识别的病害图像输入分类模型获得病害识别结果。

在本实施方式中，因柑橘溃疡病自身检疫性病害的特点，很难获得大量的病斑样本集一满足卷积神经网络的训练需求，因此需要对第一样本集进行扩充。深度卷积生成对抗网络(Deep Convolutional Generative AdversarialNetworks，DCGAN)和原始生成对抗网络(GANs)原理基本相同，两者的目标都是对生成器和判别器进行迭代优化，进而达到平衡。

原始生成对抗网络(GANs)的结构简图如图2所示，DCGAN只是用卷积神经网络(CNN)替换掉了GAN网络结构中的G和D。D网络是通过卷积神经网络，把输入的图像进行卷积运算(下采样)，经过全连接层处理后送入sigmoid函数，进而输出图像的真假概率。

在一种优选实施方式中步骤S1中，通过改进的基于深度卷积生成对抗网络对第一样本集进行扩充获得第二样本集的步骤包括：

步骤S11，去除第一样本集中的模糊不清晰样本；

具体地：在得到的样本集当中，由于光照、人为等因素的影响，一些样本是十分模糊的，需要从样本集当中去除，可手动去除，也可通过采用现有的清晰度检测方法，如可按照公开号为CN106101697A或CN103093419A的专利中公开的技术方案获得图片清晰度并根据清晰度筛选出清晰图片。如得到了623张柑橘溃疡病病斑样本，清洗后柑橘溃疡病病斑样本数量为605张。步骤S12，对第一样本集进行增强处理；具体的，可采用现有的去雾增强算法对图片进行增强处理，增强处理后图片上柑橘溃疡病病斑的纹理更加清晰，背景的影响更小，且实验证明增强后数据集的识别效果更加显著。

通过对第一样本集中的图像进行镜像处理获得镜像图像，将镜像图像和原图像分别旋转不同角度，将旋转后的图像作为第一样本集的新样本；

具体的，对第一样本集中的每一幅图像进行镜像处理，并对原图像和镜像处理后的图像分别旋转90°、180°、270°获得新图像，并用新图像扩充第一样本集，通过这种方式使得第一样本集的数量扩充至原来的八倍，这样会使得卷积神经网络能够学习到更加完善的分布。经实验验证，扩充后的样本集在DCGAN实验中生成的图像效果较好。本实验之所以选择该样本扩充方式主要是为了能让CNN网络充分的提取现有溃疡病病斑的特征，进而提高生成器生成样本的质量。

步骤S13，对第一样本集中的图片进行去燥处理：

对图像利用二维高斯函数先按照行进行滤波，再按列进行滤波，所述二维高斯函数为：

其中，δ为标准差，x为图像矩阵的行坐标，y为图像矩阵的纵坐标；

对第一样本集中的图片通过线性函数转换法进行图像归一化处理：

线性函数表达式如下：

其中，I₀为归一化处理前的图像实际像素点像素值，I₁为归一化处理后的图像像素点像素值，MaxValue、MinValue分别为样本的图像实际像素点最大像素值和图像实际像素点最小像素值；

和/或对第一样本集中的图片进行光照均匀化处理，包括：

步骤S131，将图片分为R通道图像、G通道图像和B通道图像：

步骤S132，在进行图像去噪过程中，将R通道图像、G通道图像和B通道图像分别按照如下过程进行各自通道的光照均匀化处理：

设离散图像{x_R/G/B}，x_R/G/B表示R通道值或G通道值或B通道值；设n_j表示像素点x_R/G/B值为j出现的次数，图像{x_R/G/B}中像素点x_R/G/B值为j出现的概率是：

L是图像{x_R/G/B}中所有x_R/G/B值中的最大值，N是图像{x_R/G/B}的像素点总数，将p_xR/G/B(j)归一化到[0，1]，p_xR/G/B(j)的累积分布函数为：

v为整数且0≤v≤j，即为图像{x_R/G/B}的累计归一化直方图；

创建变换y_R/G/B＝T(x_R/G/B)，对于图像{x_R/G/B}中的每个x_R/G/B值产生一个y_R/G/B，y_R/G/B的累计概率函数就可以在所有值范围内进行线性化，转换公式定义为：

cdf_yR/G/B(j)＝jK；

K为常数，且满足0＜K＜max(p_xR/G/B(j))，进行如下变换：

cdf_yR/G/B(y_R/G/B')＝cdf_yR/G/B(T(k))＝cdf_xR/G/B(k)；

其中k属于区间[0，L]，与上述j等价，函数T将不同的等级映射到[0，1]域，为了将这些值映射回它们最初的域，需要在结果上应用下面的简单变换：

y_R/G/B'＝y_R/G/B*(max{x_R/G/B}*min{x_R/G/B})+min{x_R/G/B}；

步骤S133，将光照均匀化处理后的R通道图像、G通道图像和B通道图像合并获得光照均匀化处理后的图片；

具体地：由于拍摄条件、人为因素的限制，拍摄到的图片在分辨率、光照、噪声分布方面都存在一定的影响，因此需要对所得到的样本进行去噪声处理、光照均匀化处理、图像归一化处理。此外，放到卷积神经网络中的所有图像最终都需要进行归一化处理，对于个别图像，比如：图像分辨率太大或太小及叶片图像等，需要采用相匹配的归一化方法，否则可能会造成图像失真结果。

在本实施方式中，将本发明的方法应用于柑橘溃疡病病斑，因其分辨率较小、纹理较多、背景颜色复杂，所以人工的进行特征提取非常困难，采用本发明所述的方法能够解决病斑图像小样本的问题。

步骤S14，将第一样本集输入改进的基于深度卷积生成对抗网络，进行多次迭代，获得第二样本集；

改进的基于深度卷积生成对抗网络包括生成器神经网络和判断器神经网络；

生成器神经网络的输出层和判断器神经网络的输入层不进行批量规范化操作，在改进的基于深度卷积生成对抗网络的隐藏层进行批量规范化操作；

在卷积层和批量规范化层(BN层)之间设置了用于随机屏蔽部分信号单元的静音层(Mute层)。

在本实施方式中，具体地：原始的生成对抗网络结构简图如图2所示，相比原始的生成对抗网络，深度卷积生成对抗网络(Deep Convolutional Generative AdversarialNetworks，DCGAN)将G和D网络替换成了CNN网络，对与其改进的方向就是提高判别器的判别能力的同时也能够提高生成器生成样本的质量。改进的基于深度卷积生成对抗网络是在深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Networks，DCGAN)基础上进行如下步骤中的一个或多个改进：

(1)全卷积网络：用步幅卷积(strided convolutions)代替池化层；在G网络中使用转置卷积(反向卷积)进行上采样，在D网络中采用步幅卷积进行下采样。

(2)批量规范化(Batch Normalization，简称BN)：对生成器G神经网络的输出层和判别器D神经网络的输入层都不采用BN操作，在CNN分类网络的各层上都使用了BN操作，避免引起样本震荡和模型不稳定的问题，在使用BN操作不影响网络性能的前提下可以稳定学习，有助于解决初始化不良造成的训练问题。

BN操作是将每个输入都标准化为0均值和单位方差来稳定训练过程，这样一方面能解决初始化不良出现的训练问题，另一方面也能帮助梯度流向更深层的网络。此外BN标准化的过程与传统的神经网络减均值、除标准差一样，BN不仅在CNN分类网络的输入层对输入进行标准化操作，对于其隐含层也进行了批量规范化操作。

(3)激活函数：G中使用Tanh和Relu激活函数，其中Tanh只在输出层使用；D中使用LeakyRelu作为激活函数。

(4)在卷积层和批量规范化层(BN层)之间设置了用于随机屏蔽部分信号单元的静音层(Mute层)。

本发明引入了自定义的Mute层，其的作用是在卷积过程中随机屏蔽掉一部分的信号单元；Mute在训练和测试的过程中都有参与，这可以抵消在测试阶段方差偏移带来的影响。Mute层加在卷积层和BN层之间，能够在参与卷积的过程中降低判别器的判别能力，以防判别器分类效果太好，生成器无法学习到分布的知识。具体卷积过程中Mute层和BN层的位置关系如图3所示。

在一种优选实施方式中，在卷积层和BN层之间设置Mute，在卷积过程中随机屏蔽掉τ×100％的信号单元，τ为屏蔽阈值，0＜τ＜1；

Mute层公式如下：

其中a代表一个(0，1)之间的随机值，b为屏蔽操作标志位，当a的值大于τ时，b的值取0，代表此时不随机屏蔽，当a的值小于τ时，b的值取1，代表此时采取随机屏蔽方式。优选的，τ为0.2，这样在卷积过程中随机屏蔽掉20％的信号单元。

在本实施方式的一种应用场景中，对使用了Mute layer和BN的改进网络模型和只使用了BN的网络模型进行了扩充样本比较，在两个网络模型都训练2000个epochs(在训练到1000时，两个模型都已经生成了质量相对较高的样本)之内的结果截图，根据上图可以看到，就图像生成的质量上而言，相比于训练它们的原始图像，二者都已经初见成效，可以直观地看到改进后的网络生成样本的清晰度比改进前的网络生成样本的清晰度要好很多，而且生成样本的颜色和质量也有所提升。

为了更好地验证改进后的网络生成样本的质量有所提高，用图像像素平均标准差和图像像素平均值对2000个epochs(迭代次数)内每一批生成的128个样本进行计算和度量，本次从1000epochs开始，每隔10个epochs保存下他们的均值和标准差，根据这些值绘制出其变化曲线，最后拟合出曲线的中心线，如图4所示，其中图4(a)为生产样本像素均值与真实样本像素均值差曲线，图4(b)为生产样本像素标准差曲线，且在两个图中，曲线a表示只使用了BN的网络模型获得的样本，曲线b使用Mute+BN网络模型获得的样本。改进后的Mute+BN网络模型生成样本与真实样本有一种逐渐接近的趋势，而改进前的只使用了BN的网络模型生成样本与真实样本之间有一种逐渐远离的趋势，甚至可能造成模型不收敛的问题。可以说加入自定义的Mute层后，模型变得更加稳定，模型收敛的性能也有所提升。

在一种优选实施方式中，在步骤S1中，对第二样本进行验证包括相似度验证，具体包括：

令i＝1，

步骤Step0：从多个包含病害的原始图片中随机抽取n个图片构成数据集X；设第一样本集为O_data，第二样本集为G_data；设w_i为来源标签，i表示图片在数据集X中的序号，0＜i＜n+1，w_i＝0；预设第一阈值，第一阈值的取值范围为10到50；

步骤Step1：从数据集X中抽取1张图片X_i，在O_data和G_data中找出与抽取图片X_i相似度最高的图片，若相似度最高的图片来自O_data，则w_i＝1，若相似度最高的图片来自G_data，则w_i＝-1；进入步骤Step2；

步骤Step2：计算w_i的累积和s，

步骤Step3：若i＝n，进入步骤Step4，若i＜n，令i＝i+1，返回执行步骤Step1；

步骤Step4：若s不大于第一阈值，则认为第二样本集G_data的相似度符合要求，利用第二样本集G_data构建训练集，若s大于第一阈值，则认为第二样本集G_data相似度不符合要求。

优选的，还包括当s大于第一阈值时，需要进行：

通过改进的基于深度卷积生成对抗网络对第一样本集进行扩充，以增大第二样本集的样本数量；同时将原图像旋转不同角度，以对第一样本集合进行扩充；

和/或增大数据集X中的图片数量。

在本实施方式中，通过计算像素点的均值来估计图像的相似性，进而计算与样本X_i最相似的样本来自生成样本集G_data和原始样本集O_data的概率。第一阈值的取值范围为0到20，如可设置为0.

在本实施方式的一种应用场景中X为为从原始数据集中随机抽取的200张样本，O_data为原始样本集中剩余的400张样本，G_data为生成的400张样本；

从数据集X中依次选取1张图片，在O_data和G_data数据集中查找与之最相似的图像，如果来自原始数据集O_data则记为w₁＝1，如果来自生成数据集G_data则记为w₁＝－1；

从数据集X中选取第i张图像重复上述步骤；

对这200次的结果依次相加做求和运算求得s；

s的取值范围是人为设定的，本次实验如果s的计算结果在0－20之间，说明是可接受的，且取值越接近0，表示生成效果越好。

就实验结果而言，如果s计算结果比较大则可以认为是生成效果不好。具体可能出现的情况分为以下几种：

来自原始数据集的图像比来自生成数据集的图像多。可能的原因是生成的图像效果不好，或者是生成的样本数量太少，需要从上万级别的数据集中挑选；

来自原始数据集的图像与来自生成数据集的图像数量大致相同。可以认为生成图像的质量比较好，或者是巧合因素较大，需要扩大验证数据集进行多次实验；

来自原始数据集的图像比来自生成数据集的图像少。这种情况出现的可能性不大，出现的原因是数据集X选择不合适，O_data中与之相似的图像较少，而生成的数据集G_data与选择的图像比较相似，这种情况出现的概率较低，甚至可忽略不计。

在原始数据集中随机选取200张图片作为X，其余的随机取400张图片作为O_data；在每个epoch时生成1000张图片，从中随机选择400张作为G_data。每隔20个epochs生成一次图像，共选择40个epochs，对每个epoch生成的图像按照上述方法进行实验，根据实验结果可以看出，在1200epoch附近时图像的生成质量要明显比其他的epoch更好，且1200epoch之后的图像生成质量有逐渐下降的趋势，随着迭代次数的增加，生成图像的质量并不是越来越好，具有一定的震荡性，而且之后的可接受性都没有在1200epoch附近时好。

在一种优选实施方式中，在步骤Step1中，在O_data和G_data中找出与抽取图片X_i相似度最高的图片的过程包括：

计算图片X_i的像素均值

计算O_data和G_data中所有图片的像素均值；将这些像素均值依次与

做差运算获得多个第一差值，将绝对值最小的第一差值对应的O_data或G_data中的图片作为与图片X_i相似度最高的图片。

在一种优选实施方式中，在所述步骤S1中，对第二样本集进行验证还包括对第二样本集的图像质量进行验证，具体包括：

步骤A：从第一样本集中选取第一数据集，对第一数据集中每个图像的所有像素点均值分别通过归一化函数进行归一化处理，获得测试集Y；

步骤B：从第二样本集中选取不同迭代次数的T个第二数据集，对第二数据集中每个图像的所有像素点的像素均值分别通过归一化函数进行归一化处理，获得T个测试集Z₁、Z₂、…、Z_T；

步骤C：将T个测试集Z₁、Z₂、…、Z_T分别和测试集Y输入函数MMD(Z_t,Y)，给出测试集Z₁、Z₂、…、Z_T分别和测试集Y的分布相似性结果；所述函数MMD(Z_t,Y)为：

其中，t∈{1,2,...,T}，m_t为数据集Z_t的样本数量，l为数据集Y的样本数量，p∈{1,2,...,m_t}，q∈{1,2,...,l}；F指样本空间上的连续函数集，f()为映射函数；

步骤D：设置第二阈值，第二阈值大于0且小于1，将分布相似性结果小于等于第二阈值的第二数据集以及与其迭代次数相近的数据集用于构建训练集。

在本实施方式中，最大平均差异(maximum mean discrepancy，MMD)法评价两个分布相似性的原理为：假设有这样一个函数f，其的输入是分布生成的样本空间，如果两个分布生成的样本(足够多)在f上对应的图像均值都相等，说明这两个分布是相同的。对两个分布随机取样，求随机样本在函数f上的均值，对两个分布的随机样本对应于f上的均值做差，寻找一个使得这个差值最小的函数f，最后用MMD作为检验统计量，判断这两个分布的相似程度。

对MMD求解的关键在于如何找到一个合适的f作为一个映射函数，这个映射函数在不同的任务中都不是固定的，并且这个映射可能是高维空间中的映射，很难去选取或定义。大多数研究中都是用高斯核函数来作为这个映射函数，因为高斯核函数可以映射到无穷维空间，其公式如下所示：

k表示映射函数，u和v分别表示两个分布，在本发明中可设为测试集Z₁、Z₂、…、Z_T分别和测试集Y；

是两个分布之间的平方欧几里得距离，σ是一个自由参数，实际应用中，高斯核的σ会取多个值，分别求对应σ的核函数值后取和，作为最后的核函数值。

在本实施方式的一种应用场景中，每次对比所使用的数据集是原始数据集和每个epoch生成的数据集，数据集之间具有相对的独立性。具体评价流程图如图5所示，用softmax函数对每一个图像的像素点均值进行归一化处理，每次随机从两个分布中取两组数据，每组数据中包含10个单元，每个单元中有300个样本均值(10＊300)，组成一个list放入MMD判别函数中，输出相似性结果。从第1000个epoch之后开始，每隔20个epochs选取一个测试节点，并利用这个epoch的生成模型生成2000张所需要的图像，从这2000张图像中随机选取10个单元，每个单元包含300张图像的均值，作为MMD的其中一个输入；从605张原始数据集中随机抽取10个单元，每个单元包含300张图像的均值，作为MMD的其中另一个输入，两个输入组成测试集。把两个输入送入MMD函数中，比较抽取出生成样本均值的分布与原始样本均值分布的相似性，给出分布相似性评价结果。在1000轮以后每隔20迭代次数计算结果如下图6所示。

从图6可以看到每个epoch的评价结果都在1以下，说明数据均值的分布是相差不大的；而且可以看出MMD评价结果最低点与上一节中的理想位置点距离很相近，都在1200epoch附近，因此可以判定在1200epoch附近时生成图像的质量是比较好的。从实际生成的效果图也可以看出该epoch附近生成的图像效果比其他的epoch都要好。本次MMD选择的第二阈值为0.3，如上图中红线所示，其中在7－14之间的部分都在红线以下，表示可接受区间，对应的区间范围为140个epochs。在1200epoch附近时，MMD方法可接受的区间大概是140个epochs，本实验方法的可接受区间是80个epochs，且本实验方法的可接受区间在MMD方法可接受区间的范围内，说明本方法是可行的。

在一种优选实施方式中，卷积神经网络从输入到输出依次包括：

第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和输出层。

在本实施方式中，在网络分类准确率变化不大的前提下去掉这些重复的层，以期能够大幅度地提升网络的训练速度。改进后的网络去掉了一层全连接层、两层卷积层，从网络参数对比上可以看出，其的确减轻了网络的负载，提升了网络训练速度。改进后的网络参数量比原始的Alexnet网络的参数量小了一个量级(改进前：56866848个，改进后：1816800个)。改进前的网络训练用时为98秒，改进后的网络训练用时为40秒。

在一种优选实施方式中，在步骤S2之前还包括引入迁移学习提升分类模型的分类性能的步骤，包括：

将卷积神经网络在Imagenet数据集上进行预训练，把训练好后网络学习到的可迁移的特征保存为模型参数文件，然后将此文件参数迁移加载到步骤S2中的训练中。

在本实施方式中，实验发现生成的数据集对原始样本特征有一定的继承能力；生成的样本集作为正样本时对实验的效果提升很明显。可迁移的特征可包括背景信息、颜色信息等。

卷积神经网络先在Imagenet数据集上进行预训练，把训练好后网络学习到的颜色、背景等特征信息迁移到新的训练中去(比如是卷积层的前几层)，利用可迁移的特征在新的数据集中训练，对网络参数进行微调得到新的网络模型，用训练好的模型去测试，评估模型训练的好坏和评价模型的分类性能。

主要是用Imagenet数据集对网络进行预训练，然后在预训练好的网络上训练数据集A(柑橘溃疡病数据集)，并对卷积层进行微调(迁移学习)。对卷积层微调的结果是每个卷积层的训练权重学习率由0.001降低到0.0001，训练偏差的学习率由0.002降低到0.0002，全连接层的训练权重学习率由1提高到10，训练偏差的学习率由2提高到20，训练轮次为3000，网络的其他参数基本相同，网络的训练速度更快。迁移前后数据集A训练网络模型的识别结果如下表所示：

迁移后模型识别准确率Acc比迁移前上升了0.59％，查全率P上升了0.98％，分类器性能F1提升了4.89％，因此认为迁移学习可以提高卷积神经网络分类器的分类性能。

本发明还公开了一种植物病害识别系统，包括处理器和图像提供单元，处理器从图像提供单元获得包含病害和不包含病害的植物图片，并根据本发明的小样本植物病害识别方法识别植物病害。图像提供单元优选但不限于为存储有植物病害病斑原始图片的存储设备，如移动硬盘，flash，U盘等，图像提供单元也可以为存储有植物病害病斑原始图片的云端服务器等。处理器优选但不限于为PC电脑或PC电脑组或嵌入式的ARM、DSP、FPGA的单独或异构的硬件设备。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种小样本植物病害识别方法，其特征在于，包括：

步骤S1，获取小样本植物包含病害以及不包含病害的原始图片，随机选取多个包含病害的原始图片作为第一样本集；通过改进的基于深度卷积生成对抗网络对第一样本集进行扩充获得第二样本集，改进的基于深度卷积生成对抗网络从卷积神经网络的改进入手，在每层的卷积和批量规范化层之间加入静音层，以在训练和验证期间不加区分地抛弃一定数量的信号单元，以消除方差偏移的影响，在卷积层和批量规范化层之间设置静音层，在卷积过程中随机屏蔽掉τ×100％的信号单元，τ为屏蔽阈值，0＜τ＜1；

静音层公式如下：

其中a代表一个(0，1)之间的随机值，b为屏蔽操作标志位，当a的值大于等于τ时，b的值取0，代表此时不随机屏蔽，当a的值小于τ时，b的值取1，代表此时采取随机屏蔽方式；

对第二样本集进行验证并将验证通过的全部或部分第二样本集与不包含病害的原始图片一起构建训练集；

在所述步骤S1中，对第二样本进行验证包括相似度验证或者图像质量验证，所述相似度验证具体包括：

令i＝1，

步骤Step0：从多个包含病害的原始图片中随机抽取n个图片构成数据集X；设第一样本集为O_data，第二样本集为G_data；设w_i为来源标签，i表示图片在数据集X中的序号，0＜i＜n+1，w_i＝0；预设第一阈值，第一阈值的取值范围为10到50；

步骤Step1：从数据集X中抽取1张图片X_i，在O_data和G_data中找出与抽取图片X_i相似度最高的图片，若相似度最高的图片来自O_data，则w_i＝1，若相似度最高的图片来自G_data，则w_i＝-1；进入步骤Step2；

步骤Step2：计算w_i的累积和s，

步骤Step3：若i＝n，进入步骤Step4，若i＜n，令i＝i+1，返回执行步骤Step1；

步骤Step4：若s不大于第一阈值，则认为第二样本集G_data的相似度符合要求，利用第二样本集G_data构建训练集，若s大于第一阈值，则认为第二样本集G_data相似度不符合要求；

还包括当s大于第一阈值时，需要进行：

通过改进的基于深度卷积生成对抗网络对第一样本集进行扩充，以增大第二样本集的样本数量；同时将原图像旋转不同角度，以对第一样本集合进行扩充；

和/或增大数据集X中的图片数量；

在所述步骤Step1中，在O_data和G_data中找出与抽取图片X_i相似度最高的图片的过程包括：

计算图片X_i的像素均值

计算O_data和G_data中所有图片的像素均值；将这些像素均值依次与

做差运算获得多个第一差值，将绝对值最小的第一差值对应的O_data或G_data中的图片作为与图片X_i相似度最高的图片；

所述图像质量验证具体包括：

步骤A：从第一样本集中选取第一数据集，对第一数据集中每个图像的所有像素点的像素均值分别通过归一化函数进行归一化处理，获得测试集Y；

步骤B：从第二样本集中选取不同迭代次数的T个第二数据集，对第二数据集中每个图像的所有像素点的像素均值分别通过归一化函数进行归一化处理，获得T个测试集Z₁、Z₂、…、Z_T；

步骤C：将T个测试集Z₁、Z₂、…、Z_T分别和测试集Y输入函数MMD(Z_t,Y)，给出测试集Z₁、Z₂、…、Z_T分别和测试集Y的分布相似性结果；所述函数MMD(Z_t,Y)为：

其中，t∈{1,2,...,T}，m_t为数据集Z_t的样本数量，l为数据集Y的样本数量，p∈{1,2,...,m_t}，q∈{1,2,...,l}；F指样本空间上的连续函数集，f()为映射函数；

步骤D：设置第二阈值，第二阈值大于0且小于1，将分布相似性结果小于等于第二阈值的第二数据集以及与其迭代次数相近的数据集用于构建训练集；

步骤S2，基于训练集对卷积神经网络进行训练获得分类模型；

步骤S3，将待识别的病害图像输入分类模型获得病害识别结果。

2.如权利要求1所述的小样本植物病害识别方法，其特征在于，所述步骤S1中，通过改进的基于深度卷积生成对抗网络对第一样本集进行扩充获得第二样本集的步骤包括：

步骤S11，去除第一样本集中的模糊不清晰样本；

步骤S12，对第一样本集进行增强处理；

通过对第一样本集中的图像进行镜像处理获得镜像图像，将镜像图像和原图像分别旋转不同角度，将旋转后的图像作为第一样本集的新样本；

步骤S13，对第一样本集中的图片进行去噪 处理：

对图像利用二维高斯函数先按照行进行滤波，再按列进行滤波，所述二维高斯函数为：

其中，δ为标准差，x为图像矩阵的行坐标，y为图像矩阵的纵坐标；

对第一样本集中的图片通过线性函数转换法进行图像归一化处理：

线性函数表达式如下：

其中，I₀为归一化处理前的图像实际像素点像素值，I₁为归一化处理后的图像像素点像素值，MaxValue、MinValue分别为样本的图像实际像素点最大像素值和图像实际像素点最小像素值；

对第一样本集中的图片进行光照均匀化处理，包括：

步骤S131，将图片分为R通道图像、G通道图像和B通道图像：

步骤S132，在进行图像去噪过程中，将R通道图像、G通道图像和B通道图像分别按照如下过程进行各自通道的光照均匀化处理：

设离散图像{x_R/G/B}，x_R/G/B表示R通道值或G通道值或B通道值；设n_j表示像素点x_R/G/B值为j出现的次数，图像{x_R/G/B}中像素点x_R/G/B值为j出现的概率是：

L是图像{x_R/G/B}中所有x_R/G/B值中的最大值，N是图像{x_R/G/B}的像素点总数，将

归一化到[0，1]，

的累积分布函数为：

v为整数且0≤v≤j，即为图像{x_R/G/B}的累计归一化直方图；

创建变换y_R/G/B＝T(x_R/G/B)，对于图像{x_R/G/B}中的每个x_R/G/B值产生一个y_R/G/B，y_R/G/B的累计概率函数就可以在所有值范围内进行线性化，转换公式定义为：

K为常数，且满足

进行如下变换：

其中k属于区间[0，L]，与j等价，函数T将不同的等级映射到[0，1]域，为了将这些值映射回它们最初的域，需要在结果上应用下面的简单变换：

y_R/G/B'＝y_R/G/B*(max{x_R/G/B}*min{x_R/G/B})+min{x_R/G/B}；

步骤S133，将光照均匀化处理后的R通道图像、G通道图像和B通道图像合并获得光照均匀化处理后的图片；

步骤S14，将第一样本集输入改进的基于深度卷积生成对抗网络，进行多次迭代，获得第二样本集；

所述改进的基于深度卷积生成对抗网络包括生成器神经网络和判断器神经网络；生成器神经网络的输出层和判断器神经网络的输入层不进行批量规范化操作，在改进的基于深度卷积生成对抗网络的隐藏层进行批量规范化操作。

3.如权利要求1所述的小样本植物病害识别方法，其特征在于，所述卷积神经网络从输入到输出依次包括：

第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和输出层。

4.如权利要求1所述的小样本植物病害识别方法，其特征在于，在步骤S2 之前还包括引入迁移学习提升分类模型的分类性能的步骤，包括：

将卷积神经网络在Imagenet数据集上进行预训练，把训练好后网络学习到的可迁移的特征保存为模型参数文件，然后将此文件参数迁移加载到步骤S2中的训练中。

5.一种植物病害识别系统，其特征在于，包括处理器和图像提供单元，所述处理器从图像提供单元获得包含病害和不包含病害的植物图片，并根据权利要求1－4之一所述的小样本植物病害识别方法识别植物病害。

Images