CN109784380A - 一种基于生成对抗学习的多维度田间杂草识别方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗学习的多维度田间杂草识别方法，采用半监督学习策略训练总体网络，采用带标签数据和无标签数据输入对总体网络进行训练，利用带标签数据作为判别网络的输入，使用无标签数据对网络进行训练，用无监督数据产生的空间概率图作为半监督损失的计算，可以有效的反映出预测结果与真实数据分布的相似度，使用生成对抗学习寻找无标签数据的置信区域，通过自我学习得到最终的田间杂草识结果，使用置信图对网络进行自学习，采用半监督学习策略，可以突破带标签数据不足的限制；本发明使用分割网络替代传统的传统网络，可接受不同大小的输入特征，灵活性强。

Description

一种基于生成对抗学习的多维度田间杂草识别方法

技术领域

本发明属于人工智能技术领域，涉及一种基于生成对抗学习的多维度田间杂草识别的方法。

背景技术

杂草的存在对田间作物的产量构成了威胁，而传统的无差别化学除草方法给环境和食品安全带来了隐患，因此，如何能够精准靶向的区分杂草成为精准化除草的关键技术。

基于计算机视觉的目标识别方法，因其无损、快速、自动化等特点已经成为目标识别的首选方法，然而当该类方法应用于田间杂草领域，通常会遇到两大难题：1)数据标签不足，相较于传统视觉场景，现存标注的田间杂草的数据集较少，对其进行标注需要耗费大量的人力物力财力。Milioto,A.,Lottes,P.,&Stachniss,C..(2017).Real-time blob-wisesugar beets vs weeds classification for monitoring fields using convolutionalneural networks使用仿射变换、尺度变换和随机裁剪等几何变换方法对图片数据进行扩充，然而该类方法一方面因其变换后的数据过于类似对算法性能提升有限，另一方面，扩充后的图片数据大小相同，对后续的分割模型限制较大，影响最终的识别结果。2)识别模型性能不佳，相较于传统视觉场景，杂草与作物在颜色纹理上相似度较高，Perez-Ortiz,M.,Pen～a,J.M.,Gutierrez,P.A.,Torres-Sa′nchez,J.,Herva′s-Mart′1nez,C.and Lo′pez-Granados,F.,2016.Selecting patterns and features for between-and within-crop-row weed mapping using uav-imagery.Expert Systems with Applications 47,pp.85–94.通过像素向量的统计信息区分杂草和作物，但因统计信息需要手动设置，在不同的数据集上表现各有差异。Milioto,A.,Lottes,P.,&Stachniss,C..(2017).Real-time blob-wise sugar beets vs weeds classification for monitoring fields usingconvolutional neural networks.通过构建CNN对田间作物进行识别，然而CNN要求图片数据大小相同，适用范围过窄。

发明内容

本发明的目的在于提供一种基于生成对抗学习的多维度田间杂草识别的方法，以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种基于生成对抗学习的多维度田间杂草识别方法，采用半监督学习策略训练总体网络，使用生成对抗学习寻找无标签数据的置信区域，通过自我学习得到最终的田间杂草识结果。

进一步的，总体网络包括分割网络和判别网络，分割网络为任意的深度分割网络，以多通道的图像作为分割网络的输入，分割网络输出为类概率图；判别网络输入为分割网络输出的类概率图，类概率图包括带标签的类概率图和分割网络输出的类概率图，判别网络输出为空间概率图。

进一步的，采用带标签数据和无标签数据输入对总体网络进行训练，使用带标签数据对总体网络进行训练时，分割网络的目标为最小化真实标签图的标准交叉熵和对抗的联合损失，判别网络的目标是最小化空间概率图的交叉熵；在使用无标签数据对网络进行训练时，分割网络的目标为最小化真实标签图的标准交叉熵、对抗网络和半监督损失组成的联合损失，完成对总体网络的训练。

进一步的，半监督损失的计算依托于置信图，置信图即使用无标签数据产生的空间概率图，用于反映预测结果与真实数据分布的相似度。

进一步的，具体包括以下步骤：

假设输入图像X_n的图像大小为H×W×L，其中H,W分别为图像的高与宽，L为输入图像的通道；分割网络为S(·)，其输出为大小H×W×C的类概率图S(X_n)，其中C为类别个数；判别网络为D(·)，其输出大小H×W×1的二类置信图D(P_n)，其中P_n是大小为H×W×C的类概率图，类概率图为真实的标签Y_n或分割网络的输出S(X_n)。

1)、采集输入图片数据，将输入图片数据进行降噪处理，得到处理后的图片数据；将处理后的图片数据划分为训练集T_train和测试集T_test，其中T_train包括带标签数据集T_train-label和无标签数据集T_{train-no-label}；

2)、采用式(a)对训练集T_train图片数据进行计算，得到I_G,I_R,I_B,I_Nir,I_ExG,I_ExR,I_CIVE,I_NDI七个通道特征，得到大小为H×W×L(L＝7)的输入图像X_n；

I_ExG＝2I_G-I_R-I_B

I_ExR＝1.4I_R-I_G

I_CIVE＝0.881I_G-0.441I_R-0.385I_B-18.8745

其中I_G,I_R,I_B,I_Nir,I_ExG,I_ExR,I_CIVE,I_NDI分别为图像的G通道矩阵，R通道矩阵，B通道矩阵，近红外矩阵，过绿因子矩阵，过红因子矩阵，植被提取颜色指数矩阵和归一化指数矩阵。

3)、将得到的输入图像X_n输入到总体网络进行联合训练，当联合训练迭代次数大于最大迭代次数Loop_max时，训练停止并保存训练模型M_seg-adv；

4)、将测试集T_test通过步骤1)步骤2)进行处理得到测试输入数据将测试输入数据通过训练模型M_seg-adv中的分割网络进行计算得到最终的分割结果。

进一步的，联合训练过程：首先，保持判别网络不变，使用随机梯度优化分割网络的目标函数；然后保持分割网络不变，使用随机梯度优化判别网络的目标函数；重复交替对判别网络和分割网络进行迭代训练，完成对总体网络的联合训练。

进一步的，对于总体网络的训练，包括判别网络的训练和分割网络的训练：

对于判别网络的训练，其优化目标为最小化如式(b)所示的损失l_D：

其中y_n＝0，是指该数据来自分割网络，y_n＝1，是指该数据来自真实标签；分割网络的输入为C通道的类概率图；对于真实标签Y_n，使用one-hot编码方式构建概率图P_n，其中当其它情形为0；

对于分割网络的训练，其优化目标(c)为：

l_seg＝l_ce+λ_advl_adv+λ_semil_semi (i)

其中l_ce，l_adv和l_semi分别空间多类交叉熵损失，对抗损失和半监督损失；λ_adv和λ_semi分别为权重的参数；

对于T_train-label，分割网络得到的预测结果为P_n＝S(X_n)，交叉熵通过公式(d)得到：

l_adv通过公式(e)得到：

对于对抗损失，通过最优化分割网络得到的分割结果作为判别网络的输入；

对于T_{train-no-label}，使用半监督学习策略进行网络训练，给定输入数据，判别网络产生置信图D(P_n)^(h,w,1)。

进一步的，对置信图采用二值化后得到可信的区域，该置信区域作为带标签数据对整个网络进行监督自学习：

其中I(·)为指示函数，是控制区域敏感度的阈值，为预测结果。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种基于生成对抗学习的多维度田间杂草识别方法，采用半监督学习策略训练总体网络，使用生成对抗学习寻找无标签数据的置信区域，通过自我学习得到最终的田间杂草识结果，使用置信图对网络进行自学习，采用半监督学习策略，可以突破带标签数据不足的限制；本发明使用分割网络替代传统的传统网络，可接受不同大小的输入特征，灵活性强。

进一步的，采用带标签数据和无标签数据输入对总体网络进行训练，在使用带标签数据对网络进行训练时，分割网络的目标为最小化真实标签图的标准交叉熵和对抗的联合损失，判别网络的目标是最小化空间概率图的交叉熵，利用标签数据作为判别网络的输入；在使用无标签数据对网络进行训练时，分割网络的目标为最小化真实标签图的标准交叉熵、对抗网络和半监督损失组成的联合损失，用无监督数据产生的空间概率图作为半监督损失的计算，可以有效的反映出预测结果与真实数据分布的相似度。

进一步的，对输入图片数据进行降噪处理分为训练集和测试集，利用训练集中的带标签数据和无标签数据对总体网络进行联合训练，通过判别网络和分割网络进行重复交替迭代训练，从而提高总体网络的训练精度。

附图说明

图1是本发明的总体网络架构图。

具体实施方式

如图1所示，本发明提供一种基于生成对抗学习的多维度田间杂草识别方法，采用半监督学习策略，使用生成对抗学习寻找无标签数据的置信区域，通过自我学习得到最终的田间杂草识结果。

本发明设计的总体网络共包括两个网络：分割网络和判别网络；分割网络可以为任意的深度分割网络，如图1所示，本发明以多通道的图像作为分割网络的输入，输出为类概率图；判别网络输入为上述的类概率图，类概率图既可以为带标签的类概率图，又可以为分割网络输出的类概率图，判别网络输出为空间概率图，空间概率图中的像素值代表该像素是来自真实标签(p＝1)或来自分割网络(p＝0)；

半监督学习策略指的是同时采用带标签数据和无标签数据输入对总体网络进行监督学习的方法，在训练阶段，使用半监督策略对总体网络进行训练，输入数据同时包含带标签数据和无标签数据，在使用带标签数据对总体网络进行训练时，分割网络的目标为最小化真实标签图的标准交叉熵和对抗的联合损失，判别网络的目标是最小化空间概率图的交叉熵，因为判别网络需要使用带标签进行计算，所以其输入只能来源于带标签数据；在使用无标签数据对网络进行训练时，分割网络的目标为最小化真实标签图的标准交叉熵、对抗网络和半监督损失组成的联合损失；半监督损失的计算依托于置信图，置信图特指使用无标签数据产生的空间概率图，可以有效的反映出预测结果与真实数据分布的相似度。带标签数据指标准处理图片对照组，用于对总体网络训练；无标签数据指原始图片，作为测试总体网络对照图片；真实标签指分割后的参照图，能够反映凸显分布的真实数据。

本发明所采用的技术方案是：为了清晰的表达，特对技术方案中涉及的相关变量进行说明。

假设输入图像X_n的图像大小为H×W×L，其中H,W分别为图像的高与宽，L为输入图像的通道；分割网络为S(·)，其输出为大小H×W×C的类概率图S(X_n)，其中C为类别个数；判别网络为D(·)，其输出大小H×W×1的二类置信图D(P_n)，其中P_n是大小为H×W×C的类概率图，类概率图为真实的标签Y_n或分割网络的输出S(X_n)。

1)、采集输入图片数据，将输入图片数据进行降噪处理，得到处理后的图片数据；将处理后的图片数据划分为训练集T_train和测试集T_test，其中T_train包括带标签数据集T_train-label和无标签数据集T_{train-no-label}；

2)、采用式(a)对训练集T_train图片数据进行计算，得到I_G,I_R,I_B,I_Nir,I_ExG,I_ExR,I_CIVE,I_NDI七个通道特征，得到大小为H×W×L(L＝7)的输入图像X_n；

I_ExG＝2I_G-I_R-I_B

I_ExR＝1.4I_R-I_G

I_CIVE＝0.881I_G-0.441I_R-0.385I_B-18.8745

其中I_G,I_R,I_B,I_Nir,I_ExG,I_ExR,I_CIVE,I_NDI分别为图像的G通道矩阵，R通道矩阵，B通道矩阵，近红外矩阵，过绿因子矩阵，过红因子矩阵，植被提取颜色指数矩阵和归一化指数矩阵。

3)、将得到的输入图像X_n输入到总体网络进行联合训练，当联合训练迭代次数大于最大迭代次数Loop_max时，训练停止并保存训练模型M_seg-adv；Loop_max大于2万次；具体的，联合训练过程：首先，保持判别网络不变，使用随机梯度优化分割网络的目标函数；然后保持分割网络不变，使用随机梯度优化判别网络的目标函数；重复交替对判别网络和分割网络进行迭代训练，完成对总体网络的联合训练；

4)、将测试集T_test通过步骤1)步骤2)进行处理得到测试输入数据将测试输入数据通过训练模型M_seg-adv中的分割网络进行计算得到最终的分割结果。

所述的步骤3)中，

对于总体网络的训练，包括判别网络的训练和分割网络的训练：

对于判别网络的训练，其优化目标为最小化如式(b)所示的损失l_D：

其中y_n＝0，是指该数据来自分割网络，y_n＝1，是指该数据来自真实标签；分割网络的输入为C通道的类概率图；对于真实标签Y_n，使用one-hot编码方式构建概率图P_n，其中当其它情形为0；

对于分割网络的训练，其优化目标(c)为l_seg：

l_seg＝l_ce+λ_advl_adv+λ_semil_semi (o)

其中l_ce，l_adv和l_semi分别空间多类交叉熵损失，对抗损失和半监督损失；λ_adv和λ_semi分别为权重的参数；

对于T_train-label，分割网络得到的预测结果为P_n＝S(X_n)，交叉熵通过公式(d)得到l_ce：

l_adv通过公式(e)得到l_adv：

对于对抗损失，通过最优化分割网络得到的分割结果作为判别网络的输入；

对于T_{train-no-label}，本发明使用半监督学习策略进行网络训练，给定输入数据，判别网络产生置信图D(P_n)^(h,w,1)，其意义是指预测的识别结果与真实标签分布的相似结果；本发明对置信图采用二值化后得到可信的区域，该置信区域可作为“带标签数据”对整个网络进行监督自学习：

其中I(·)为指示函数，是控制区域敏感度的阈值。为预测结果。

本发明使用置信图对网络进行自学习，采用半监督学习策略，能突破带标签数据不足的限制；使用分割网络替代传统的传统网络，可接受不同大小的输入特征，灵活性强。

下面结合附图和具体实施方式对本发明进行详细说明。

第一部分：

说明本发明方法完整的步骤

数据说明：

本实例采用公开的数据集bonirob Dataset作为实验数据，该数据集由Bosch公司开发的DeepField Robotic在柏林附近的甜菜园采集而来，该数据集共包括10万张甜菜园的图像(包括NIR+RGB)，本实例选取其中900张图像(其中283张为带标签的图像，剩余617张图像为无标签数据)作为数据集，数据集之中包括的田间对象共有3类，包括土壤、杂草及甜菜；

数据预处理：

为了去除噪音，本实例使用了小波变化中的‘db1’小波基将波长信号分解到6层，仅仅保留6层的高频信号，并使用该高频信号对原信号进行重构，有效的去除了基底噪音对图像的影响；接着，处理后的图像随机划分为T_train-label(200张)和无标签数据集T_{train-no-label}(417张)，T_test(83张)；

网络训练：

本实例所使用的网络包括分割网络和判别网络，分割网络采用由Chen L C,ZhuY,Papandreou G,et al.Encoder-Decoder with Atrous Separable Convolution forSemantic Image Segmentation[J].2018提出的带有Xception65的DeepLab V3+，分割网络中的默认参数参见Chen L C,Zhu Y,Papandreou G,et al.Encoder-Decoder with AtrousSeparable Convolution for Semantic Image Segmentation[J].2018；判别网络包括5个卷积层(核大小4×4，通道数为{64,128，512,1}，步长为2)；除过最后一层，剩余的4个卷积层末尾均使用参数为0.2的Leaky-Relu，为了将网络转化为全卷积网络，本实例在最后一层通过上采样使输出和输入大小相等，此外，因批正则化的操作会降低网络的不稳定性，本实例将不采用批正则化层。

训练分割网络时，本实例使用带有Nesterov加速器的随机梯度下降方法对目标函数进行优化，其中动量(momentum＝0.9)，权重衰减(weight decay＝10^-4)，初始化学习率为2.5×10^-4，并随着幂为0.9进行多项式衰减。训练判别网络时，本实例使用Adam方法对目标进行优化，初始化学习率为10^-4，并随着幂为0.9进行多项式衰减，动量(momentum＝0.9)。对整个网络进行训练时，本实例设定数据批量大小为2，最大迭代数Loop_max＝40000,在每一次迭代中，本实例同时对分割网络和判定网络进行联合更新，当迭代数大于最大迭代数时候，训练停止并保存训练模型；

数据预测：

本实例使用83张T_test田间图片对上述训练模型，采用步骤4)对模型性能进行预测，如式(g)所示，IOU(Intersection over Union)是图像分割领域常见的评价指标，IOU越接近1，模型效果越好，本实例平均83张图像的IOU，得出结果为94.5％。

利用本发明中叙述的方法对采集到田间作物的区域进行识别，能够确定田间不同对象的分布区域。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (8)

1.一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，采用半监督学习策略训练总体网络，使用生成对抗学习寻找无标签数据的置信区域，通过自我学习得到最终的田间杂草识结果。

2.根据权利要求1所述的一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，总体网络包括分割网络和判别网络，分割网络为任意的深度分割网络，以多通道的图像作为分割网络的输入，分割网络输出为类概率图；判别网络输入为分割网络输出的类概率图，类概率图包括带标签的类概率图和分割网络输出的类概率图，判别网络输出为空间概率图。

3.根据权利要求2所述的一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，采用带标签数据和无标签数据输入对总体网络进行训练，使用带标签数据对总体网络进行训练时，分割网络的目标为最小化真实标签图的标准交叉熵和对抗的联合损失，判别网络的目标是最小化空间概率图的交叉熵；在使用无标签数据对网络进行训练时，分割网络的目标为最小化真实标签图的标准交叉熵、对抗网络和半监督损失组成的联合损失，完成对总体网络的训练。

4.根据权利要求3所述的一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，半监督损失的计算依托于置信图，置信图即使用无标签数据产生的空间概率图，用于反映预测结果与真实数据分布的相似度。

5.根据权利要求3所述的一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，具体包括以下步骤：

1)、采集输入图片数据，将输入图片数据进行降噪处理，得到处理后的图片数据；将处理后的图片数据划分为训练集T_train和测试集T_test，其中T_train包括带标签数据集T_train-label和无标签数据集T_{train-no-label}；

2)、采用式(a)对训练集T_train图片数据进行计算，得到I_G,I_R,I_B,I_Nir,I_ExG,I_ExR,I_CIVE,I_NDI七个通道特征，得到大小为H×W×L(L＝7)的输入图像X_n，其中

I_ExG＝2I_G-I_R-I_B

I_ExR＝1.4I_R-I_G

I_CIVE＝0.881I_G-0.441I_R-0.385I_B-18.8745

3)、将得到的输入图像X_n输入到总体网络进行联合训练，当联合训练迭代次数大于最大迭代次数Loop_max时，训练停止并保存训练模型M_seg-adv；

4)、将测试集T_test通过步骤1)步骤2)进行处理得到测试输入数据将测试输入数据通过训练模型M_seg-adv中的分割网络进行计算得到最终的分割结果。

6.根据权利要求5所述的一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，联合训练过程：首先，保持判别网络不变，使用随机梯度优化分割网络的目标函数；然后保持分割网络不变，使用随机梯度优化判别网络的目标函数；重复交替对判别网络和分割网络进行迭代训练，完成对总体网络的联合训练。

7.根据权利要求5所述的一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，对于总体网络的训练，包括判别网络的训练和分割网络的训练：

对于判别网络的训练，其优化目标为最小化如式(b)所示的损失

其中y_n＝0，是指该数据来自分割网络，y_n＝1，是指该数据来自真实标签；分割网络的输入为C通道的类概率图；对于真实标签Y_n，使用one-hot编码方式构建概率图P_n，其中P_n ^(h,w,c)＝1，当其它情形为0；

对于分割网络的训练，其优化目标(c)为：

其中和分别空间多类交叉熵损失，对抗损失和半监督损失；λ_adv和λ_semi分别为权重的参数；

对于T_train-label，分割网络得到的预测结果为P_n＝S(X_n)，交叉熵通过公式(d)得到：

通过公式(e)得到：

对于对抗损失，通过最优化分割网络得到的分割结果作为判别网络的输入；

对于T_{train-no-label}，使用半监督学习策略进行网络训练，给定输入数据，判别网络产生置信图D(P_n)^(h,w,1)。

8.根据权利要求7所述的一种基于生成对抗学习的多维度田间杂草识别方法，其特征在于，对置信图采用二值化后得到可信的区域，该置信区域作为带标签数据对整个网络进行监督自学习：

其中I(·)为指示函数，是控制区域敏感度的阈值，为预测结果。