CN110889394A

CN110889394A - 基于深度学习UNet网络的水稻倒伏识别方法

Info

Publication number: CN110889394A
Application number: CN201911267940.6A
Authority: CN
Inventors: 张东彦; 丁洋; 赵鑫; 梁栋; 潘正高; 黄林生; 赵晋陵; 洪琪
Original assignee: Anhui University
Current assignee: Anhui University
Priority date: 2019-12-11
Filing date: 2019-12-11
Publication date: 2020-03-17

Abstract

本发明特别涉及一种基于深度学习UNet网络的水稻倒伏识别方法，包括如下步骤：S1、拍摄待检测稻田图像并进行分块处理，分块处理后的图像宽度和高度为32的倍数；S2、提取分块后图像的像元值或计算植被指数输入到训练好的UNet网络模型中；S3、将UNet网络模型输出的图像依次进行二值化处理、滤波处理得到分割结果图；S4、计算分割结果图中倒伏区域占总区域的比值即可得到倒伏占比。这里通过对无人机进行拍摄得到的图像进行处理得到田块的倒伏占比，其机动性强，受云层和雾的影响小，图像的分辨率很高，识别起来也更加精准；同时，利用UNet深度学习框架，此模型可以自主地学习到数据中的各种浅层、深层特征，具有泛化性高的优点，非常容易扩展到其他特征的识别上。

Description

基于深度学习UNet网络的水稻倒伏识别方法

技术领域

本发明涉及图像识别技术领域，特别涉及一种基于深度学习UNet网络的水稻倒伏识别方法。

背景技术

水稻是世界三大粮食作物之一，其产量稳定对世界政治、经济都具有重大的影响。倒伏是干扰水稻生产的重要胁迫因素，其通过减弱植株光合作用，引起产量下降，当倒伏连片且面积达到一定程度后会对机械化收割造成困难，增加农户收割成本。此外，如遇阴雨天气，地面积水较多，容易引发水稻霉变，严重影响到稻米品质和食品安全。因此，水稻倒伏面积、程度的及时、有效监测，在水稻种植管理以及后续农业保险政策制定过程中具有重要作用。传统的水稻倒伏采用人工实地测量，需要专业人员现场进行测量取样分析，耗时、耗力且效率极低，准确度也因倒伏面积大小不同统计结果极不准确，而且，在测量过程中可能对作物造成二次伤害。因此，迫切需要有更加高效的方法进行水稻倒伏信息获取。

卫星遥感通过航天卫星获取作物卫星影像，具有快速、高效的特点，近年来已愈来愈多被应用到作物倒伏信息提取上，然而受限于遥感卫星固定的运行周期以及自身的分辨率，卫星遥感无法做到实时、高精度地对倒伏信息进行监测分析。此外，卫星影像由于云层、大气的干扰，极大地影响了监测的可靠性。

发明内容

本发明的目的在于提供一种基于深度学习UNet网络的水稻倒伏识别方法，可以准确的通过拍照识别水稻倒伏区域。

为实现以上目的，本发明采用的技术方案为：一种基于深度学习UNet网络的水稻倒伏识别方法，包括如下步骤：S1、拍摄待检测稻田图像并进行分块处理，分块处理后的图像宽度和高度为32的倍数；S2、提取分块后图像的像元值或计算植被指数输入到训练好的UNet网络模型中；S3、将UNet网络模型输出的图像依次进行二值化处理、滤波处理得到分割结果图；S4、计算分割结果图中倒伏区域占总区域的比值即可得到倒伏占比。

与现有技术相比，本发明存在以下技术效果：这里通过对图像进行处理得到田块的倒伏占比，图像可以通过无人机进行拍摄，其机动性强，受云层和雾的影响小，图像的分辨率很高，这样识别起来也更加精准；同时，这里利用了UNet深度学习框架，此模型可以自主地学习到数据中的各种浅层、深层特征，具有泛化性高的优点，非常容易扩展到其他特征的识别上。

附图说明

图1是本发明的流程示意图。

具体实施方式

下面结合图1，对本发明做进一步详细叙述。

参阅图1，一种基于深度学习UNet网络的水稻倒伏识别方法，包括如下步骤：S1、拍摄待检测稻田图像并进行分块处理，分块处理后的图像宽度和高度为32的倍数；S2、提取分块后图像的像元值或计算植被指数输入到训练好的UNet网络模型中；S3、将UNet网络模型输出的图像依次进行二值化处理、滤波处理得到分割结果图；S4、计算分割结果图中倒伏区域占总区域的比值即可得到倒伏占比。这里通过对图像进行处理得到田块的倒伏占比，图像可以通过无人机进行拍摄，其机动性强，受云层和雾的影响小，图像的分辨率很高，这样识别起来也更加精准；同时，这里利用了UNet深度学习框架，此模型可以自主地学习到数据中的各种浅层、深层特征，具有泛化性高的优点，非常容易扩展到其他特征的识别上。

UNet是一种广泛用于语义分割任务的深度学习网络框架，其最早由OlafRonneberger提出用于医学图像的分割任务，与一般卷积网络不同的是，UNet是一种不包含全连接层的全卷积网络，并且对数据集量的要求不高，简单高效且直观易用。本发明在原始UNet结构的基础上进行创新，使其适合于倒伏水稻冠层图像的分割任务，这里优选地，所述步骤S2中的UNet网络模型按如下步骤训练得到：S21、建立初始的UNet网络模型；S22、生成数据集：拍摄任意稻田图像并对图像进行拼接、裁剪以及数据增广操作得到多张小图，将多张小图随机分为训练集、验证集和测试集；S23、将训练集代入步骤S21中初始的UNet网络模型中进行训练，训练后再将验证集代入训练好的UNet网络模型中调整模型参数并挑出最高精度的模型作为最终模型；S24、将测试集代入最终模型中测试模型识别精度，若识别精度大于等于设定阈值，则将该最终模型作为步骤S2中训练好的UNet网络模型，若识别精度小于设定阈值，则重新选择稻田执行步骤S22-S24直至识别精度大于等于设定阈值。通过设置训练集、验证集和测试集，可以方便的训练出最优的UNet网络模型。

UNet的网络结构主要分为编码器与解码器两部分，编码器通过多层卷积连续采样以获得图像的不同层次特征，在此基础上，解码器再对顶层特征图谱进行多层反卷积，并结合采样过程中不同层次特征，将特征图谱恢复到原来输入图像的大小，完成对图像端对端的语义分割任务。故本发明中优选地，所述的步骤S21中，UNet网络模型包括编码器和解码器；编码器包括：S211、输入图像首先经过2次Conv+BN+Relu组合生成64通道的特征图谱；S212、64通道的特征图谱经过连续4次的Maxpool+(Conv+BN+Relu)×2组合生成分辨率为原图1/16大小的1024维特征图谱。解码器包括：S213、经过连续4次的UpConv+(Conv+BN+Relu)×2组合操作将1024维特征图谱上采样为原图大小的64维特征图谱，并在途中利用跳跃连接将编码器生成的中间特征图谱拼接到解码器生成的特征图谱上；S214、经过1次Conv将拼接后的64维特征图谱生成分割图像；以上步骤S211-S214中，Conv为卷积层，BN为批标准化层，Relu为激活层，Maxpool为最大池化层，UpConv为转置卷积层。

UNet网络模型采用dice系数作为评价指标，dice系数是一种在图像分割领域常用的评价指标，其计算公式如下：

其中，R_seg为分割后的结果，R_gt为人工标注的结果，dice系数的含义为两幅图像相交部分占总面积的比值，取值范围在0-1之间，越接近1说明两图像越相似，模型效果越好。

进一步地，所述的步骤S22中，按如下步骤生成数据集：S221、通过无人机拍摄稻田图像，通过无人机拍摄稻田图像，实现起来非常简单、成本低、使用灵活，拍摄时，可以让无人机搭载高分辨率数码相机拍摄高清的RGB图像，也可以搭载G\R\NIR波段的多光谱相机。本实施例中，以大疆Phantom4作为无人机平台，搭载的数码相机分辨率为4000*3000pixels，视场角为94°，多光谱相机为MAPIR CAMERA公司生产的Servey3相机，包含绿(550nm)、红(660nm)、近红外(850nm)三个波段，简称RGN(Red，Green，NIR)，拍摄得到图像分辨率为4000*3000pixels，视场角(FOV)为87°。拍摄时，无人机飞行高度为距水稻冠层100m，由DJI GS Pro软件进行自动航线规划飞行，覆盖地面面积为7.97公顷。

S222、对拍摄到的图像进行拼接，并将拼接后图像中感兴趣的区域裁剪出来得到一张原始大图，本实施例中，无人机拍摄得到的图像有普通RGB图像以及多光谱图像，其中RGB图像由航迹规划软件触发拍摄得到，可直接由Agisoft LLC公司研发的AgisoftPhotoscan软件进行图像拼接，使用Adobe公司研发的PhotoShop CC软件完成图像裁剪；多光谱图像为12bit RAW格式，且为2s定时拍摄得到，包含大部分无用图像，因此首先需要使用Survey3相机配套的软件进行格式转换，然后对转换后的图像进行筛选，随之利用AgisoftPhotoscan软件进行图像拼接，对拼接后的图像进行校准后，即可利用PhotoShopCC软件对感兴趣区域进行图像裁剪操作，得到的RGB图像分辨率为7337*7660pixels，多光谱图像分辨率为6754*7370pixels。

S223、对原始大图进行进行人工标记得到标记大图，这里可以借助LabelMe软件来辅助标记；S223、将原始大图进行随机切割、随机翻转、随机旋转、随机放缩、随机错切、随机形变操作生成多张原始小图，对原始大图进行操作的时候同步对标记大图操作得到对应的标记小图，标记时可以使用LabelMe软件由人工目视解译得到，所有的标记小图即为Groundtruth数据集。S224、按照(0.6～0.8):(0.2～0.1):(0.2～0.1)的比例将原始小图随机分为训练集、验证集和测试集。经过数据预处理后得到整个研究区的单张RGB图像以及单张多光谱图像，由于后续模型训练的需要，这里对图像进行数据增广操作，本实施例中，将单张的图像随机切割为分辨率为320*320pixels的小图，并对其进行随机翻转、随机旋转、随机放缩、随机错切、随机形变等操作以加强数据集的泛化性。数据增广对两幅大图依次生成了5000张小图，又以0.7:0.15:0.15的比例随机切分为训练集、验证集、测试集。因此最后得到了RGB图像以及多光谱图像训练集各3500张、验证集各750张、测试集各750张。

在具体的训练过程中，可以根据需要和经验设置模型参数，本实施例中优选地，所述的步骤S23中，UNet网络模型总循环轮数epochs取值为100，批大小mini-batch size取值为12，初始学习率取值为5e^-4且训练过程中每10个epochs学习率减半。

合适的权值初始化对深度神经网络至关重要，Glorot等人的研究表明，不合适的权值初始化将会导致网络梯度爆炸或梯度弥散，最终使得网络无法继续训练。为解决这个问题，一般采用随机初始化方法，将权值在[-1,1]之间赋予随机值，但此方法一定程度上增加了网络的不可控性，而且在某些情况下表现并非较好，基于此，Glorot等人提出了Xavier初始化方法，该方法的目标是使网络各层输出的方差尽可能一致，这样在梯度传播的时候不会造成梯度爆炸或梯度弥散的情况。因此，本发明中优选地，UNet网络模型采用Xavier初始化方法进行初始化。

进一步地，每个epochs结束时均代入验证集计算当前UNet网络模型的识别精度，将识别精度最高的UNet网络模型作为最终模型。训练初期，loss变化曲线和dice系数变化曲线均表现出较大的震荡现象，在多光谱图像数据集的训练上表现得更加明显，这跟本发明设置的mini-batch size较小有一定关系，使得网络在训练前期不能很好的找到收敛方向，但是随着网络的不断训练，网络逐渐变得稳定。此外，由于加入了每10个epochs便使学习率减半的策略，训练后期网络震荡的规模显得更加小。在RGB图像数据集上，验证精度在第75个epoch达到最高，为0.9382；在多光谱图像数据集上，验证精度在第95个epoch达到最高，为0.9222，这样，我们就可以方便的挑选出最优的UNet网络模型来作为最终模型。

本实施例中，选取在验证集中达到最高精度的模型作为最终模型，将其应用到测试集，该模型在测试集上表现出的平均性能如下表所示：

数据集	loss	dice系数
			RGB	0.0961	0.9442
多光谱	0.1188	0.9284

直观来看，应用两种数据集训练得到的模型基本能将图像上水稻倒伏区域分割出来，上表中的dice系数均在0.92以上也印证了这一点。但从两种数据集之间的差别来看，多光谱图像数据集训练得到的模型的过分割情况高于RGB图像数据集训练得到的模型，上表中的loss值很好地给予说明，即多光谱数据集0.1188多于RGB数据集的0.0961。

本发明中，在进行UNet网络训练和识别时，UNet网络模型的输入可以有很多种，具体地，所述的步骤S1和步骤S22中，拍摄的图像为RGB图像或多光谱图像；步骤S2、步骤S23以及步骤S24中，UNet网络模型的输入为：RGB图像红、绿、蓝三通道像元值R、G、B构成的深度为3的矩阵；或者为多光谱图像绿、红、近红外三个波段像元值G、R、NIR构成的深度为3的矩阵；或者为RGB图像计算的植被指数构成的深度为3或6的矩阵；或者为多光谱图像计算的植被指数构成的深度为3或6的矩阵。

当选用RGB图像红、绿、蓝三通道像元值R、G、B作为UNet网络模型输入时，在步骤S1和S221中使用高分辨率数码相机拍摄，步骤S221-S224处理的都是RGB图像。

当选用多光谱图像绿、红、近红外三个波段像元值G、R、NIR作为UNet网络模型输入时，在步骤S1和S221中使用多光谱相机进行拍摄，步骤S221-S224处理的都是多光谱图像。

当选用RGB图像计算的植被指数构成的深度为3或6的矩阵作为UNet网络模型输入时，在步骤S1和S221中使用高分辨率数码相机拍摄，步骤S221-S224处理的都是RGB图像，并且在步骤S224后还需要根据三通道像元值R、G、B计算植被指数。

当选用多光谱图像计算的植被指数构成的深度为3或6的矩阵作为UNet网络模型输入时，在步骤S1和S221中使用多光谱相机进行拍摄，步骤S221-S224处理的都是多光谱图像，并且在步骤S224后还需要根据三个波段像元值G、R、NIR计算植被指数。

植被指数的选择有很多，本发明中优选地，所述的RGB图像计算的植被指数包括超绿植被指数ExG、超红植被指数ExR、可见光波段差异植被指数VDVI、红绿比值指数RGRI、归一化绿红差异指数NGRDI以及超绿超红差分指数ExGR中的任意3种或全6种构成深度为3或6的矩阵；所述的多光谱图像计算的植被指数包括归一化植被指数NDVI、比值植被指数RVI、归一化水指数NDWI、差值植被指数DVI、正交植被指数PVI以及土壤调节植被指数SAVI中的任意3种或全6种构成深度为3或6的矩阵。以上所有植被指数的计算公式如下：

以上公式中，R、G、B、NIR分别为图像红绿蓝以及近红外通道的像元值，r、g、b分别为图像红绿蓝通道归一化的像元值，S_R和S_NIR分别红波段和近红外波段的土壤反射率，V_R和V_NIR分别是红波段和近红外波段的植被反射率，L是土壤调节系数，取值范围为0～1，L＝0时，表示植被覆盖度为0，L＝1时，表示土壤背景的影响为0，即植被覆盖度非常高，土壤背景的影响为0，这种情况只有在被树冠浓密的高大树木覆盖的地方才会出现。

当然还有可以选择其他的植被指数，从RGB图像和多光谱图像中二选一以后，选择合适的植被指数组合，可以得到很多种不同的组合方式，在实验阶段，可以测试多种可能性，然后挑选出识别精度最大的一种组合即可。本发明中，挑选了前三种植被指数构成深度为3的矩阵，还挑选了所有六种植被指数构成深度为6的矩阵，分别进行训练得到模型的平均性能如下表所示：

通过与最初的表格比较后我们发现，本实施例中采用RGB图像的红、绿、蓝三通道像元值R、G、B作为UNet网络模型输入时dice系数最高，对应的识别率最高，因此可以优选采用这种方案。实际应用时，可能有其他的组合效果更佳，本发明主要提供一种思路，告诉用户如何通过选择Net网络模型输入来找到最佳的识别模型。

由于无人机拍摄得到的水稻冠层图像分辨率远大于320*320pixels，且宽和高并非32的倍数，因此不能直接将其输入UNet模型中，故本发明中优选地，所述的步骤S1中，按如下步骤对图像进行分块处理：S11、利用滑窗法遍历图像，每个窗口大小为1280*1280pixels；S12、当滑窗区域超出图像区域时，对滑窗超出部分进行补零操作；S13、遍历完成后将超出区域的结果舍弃。此外，由于UNet模型输出为概率描述，即输出图像的像素值在[0,1]之间，因此需要对其进行阈值处理将其转换为二值图像，故这里优选地，所述的步骤S3中，二值化处理的阈值为0.5，像素值大于等于0.5的为倒伏区域，像素值小于0.5的为非倒伏区域。我们按照以上步骤对原始大图进行分割，并将分割结果与专家人工目视解译的分割图像进行对比分析，计算出完整的RGB图像分割结果的dice系数为0.9626，完整的多光谱图像分割结果的dice系数为0.9531。从分割结果来看，两种数据集的dice系数均达到了0.95以上，效果优异，而且图像左侧由于树木阴影造成的光照不均部分也能较好地分割出来，说明模型能够很好地应对光照不均的问题。

这里主要计算的是所拍摄稻田区域的整体倒伏占比，后续可以对分割结果图进行人工区域标记，区分开不同的田块以计算每一块田的倒伏区域占田块总区域的比例，基于此比例可进行农业灾损评估，以期为农业保险赔付提供技术支持。

Claims

1.一种基于深度学习UNet网络的水稻倒伏识别方法，其特征在于：包括如下步骤：

S1、拍摄待检测稻田图像并进行分块处理，分块处理后的图像宽度和高度为32的倍数；

S2、提取分块后图像的像元值或计算植被指数输入到训练好的UNet网络模型中；

S3、将UNet网络模型输出的图像依次进行二值化处理、滤波处理得到分割结果图；

S4、计算分割结果图中倒伏区域占总区域的比值即可得到倒伏占比。

2.如权利要求1所述的基于深度学习UNet网络的水稻倒伏识别方法，其特征在于：所述步骤S2中的UNet网络模型按如下步骤训练得到：

S21、建立初始的UNet网络模型；

S22、生成数据集：拍摄任意稻田图像并对图像进行拼接、裁剪以及数据增广操作得到多张小图，将多张小图随机分为训练集、验证集和测试集；

S23、将训练集代入步骤S21中初始的UNet网络模型中进行训练，训练后再将验证集代入训练好的UNet网络模型中调整模型参数并挑出最高精度的模型作为最终模型；

S24、将测试集代入最终模型中测试模型识别精度，若识别精度大于等于设定阈值，则将该最终模型作为步骤S2中训练好的UNet网络模型，若识别精度小于设定阈值，则重新选择稻田执行步骤S22-S24直至识别精度大于等于设定阈值。

3.如权利要求2所述的基于深度学习UNet网络的水稻倒伏识别方法，其特征在于：所述的步骤S21中，UNet网络模型包括编码器和解码器，

编码器包括：

S211、输入图像首先经过2次Conv+BN+Relu组合生成64通道的特征图谱；

S212、64通道的特征图谱经过连续4次的Maxpool+(Conv+BN+Relu)×2组合生成分辨率为原图1/16大小的1024维特征图谱；

解码器包括：

S213、经过连续4次的UpConv+(Conv+BN+Relu)×2组合操作将1024维特征图谱上采样为原图大小的64维特征图谱，并在途中利用跳跃连接将编码器生成的中间特征图谱拼接到解码器生成的特征图谱上；

S214、经过1次Conv将拼接后的64维特征图谱生成分割图像；

以上步骤S211-S214中，Conv为卷积层，BN为批标准化层，Relu为激活层，Maxpool为最大池化层，UpConv为转置卷积层；

UNet网络模型采用dice系数作为评价指标，其计算公式如下：

其中，R_seg为分割后的结果，R_gt为人工标注的结果。

4.如权利要求3所述的基于深度学习UNet网络的水稻倒伏识别方法，其特征在于：所述的步骤S22中，按如下步骤生成数据集：

S221、通过无人机拍摄稻田图像；

S222、对拍摄到的图像进行拼接，并将拼接后图像中感兴趣的区域裁剪出来得到一张原始大图；

S223、对原始大图进行进行人工标记得到标记大图；

S223、将原始大图进行随机切割、随机翻转、随机旋转、随机放缩、随机错切、随机形变操作生成多张原始小图，对原始大图进行操作的时候同步对标记大图操作得到对应的标记小图；

S224、按照(0.6～0.8):(0.2～0.1):(0.2～0.1)的比例将原始小图随机分为训练集、验证集和测试集。

5.如权利要求4所述的基于深度学习UNet网络的水稻倒伏识别方法，其特征在于：所述的步骤S23中，UNet网络模型总循环轮数epochs取值为100，批大小mini-batch size取值为12，初始学习率取值为5e^-4且训练过程中每10个epochs学习率减半，UNet网络模型采用Xavier初始化方法进行初始化；每个epochs结束时均代入验证集计算当前UNet网络模型的识别精度，将识别精度最高的UNet网络模型作为最终模型。

6.如权利要求2-5任一项所述的基于深度学习UNet网络的水稻倒伏识别方法，其特征在于：所述的步骤S1和步骤S22中，拍摄的图像为RGB图像或多光谱图像；步骤S2、步骤S23以及步骤S24中，UNet网络模型的输入为：

RGB图像红、绿、蓝三通道像元值R、G、B构成的深度为3的矩阵；

或者为多光谱图像绿、红、近红外三个波段像元值G、R、NIR构成的深度为3的矩阵；

或者为RGB图像计算的植被指数构成的深度为3或6的矩阵；

或者为多光谱图像计算的植被指数构成的深度为3或6的矩阵。

7.如权利要求6所述的基于深度学习UNet网络的水稻倒伏识别方法，其特征在于：所述的RGB图像计算的植被指数包括超绿植被指数ExG、超红植被指数ExR、可见光波段差异植被指数VDVI、红绿比值指数RGRI、归一化绿红差异指数NGRDI以及超绿超红差分指数ExGR中的任意3种或全6种构成深度为3或6的矩阵；所述的多光谱图像计算的植被指数包括归一化植被指数NDVI、比值植被指数RVI、归一化水指数NDWI、差值植被指数DVI、正交植被指数PVI以及土壤调节植被指数SAVI中的任意3种或全6种构成深度为3或6的矩阵。

8.如权利要求7所述的基于深度学习UNet网络的水稻倒伏识别方法，其特征在于：所述的步骤S1中，按如下步骤对图像进行分块处理：

S11、利用滑窗法遍历图像，每个窗口大小为1280*1280pixels；

S12、当滑窗区域超出图像区域时，对滑窗超出部分进行补零操作；

S13、遍历完成后将超出区域的结果舍弃；

所述的步骤S3中，二值化处理的阈值为0.5，像素值大于等于0.5的为倒伏区域，像素值小于0.5的为非倒伏区域。