CN111461053B - 基于迁移学习的多个生育期小麦倒伏区域识别系统 - Google Patents

Abstract

本发明特别涉及一种基于迁移学习的多个生育期小麦倒伏区域识别系统，包括图像采集模块、预处理模块以及识别模块；图像采集模块的无人机上搭载有相机用于拍摄待识别麦田图像并输出至预处理模块，预处理模块对图像进行拼接和剪裁并输出至识别模块，通过识别模块中存储的训练好的DeepLabv3+模型的识别得到标记后麦田图像。这里由无人机搭载相机拍摄图片，可以有效适合多种环境情况，并且非常便携，随拍随走；同时，通过预处理模块和识别模块，可以集中对拍摄到的图片进行处理和识别，自动标记待识别麦田的倒伏区域，由于识别模块中的模型是预先训练好的，这里直接将图片导入模型中进行识别即可，故处理速度快，降低识别模块的成本。

Description

基于迁移学习的多个生育期小麦倒伏区域识别系统

技术领域

本发明涉及图像识别技术领域，特别涉及一种基于迁移学习的多个生育期小麦倒伏区域识别系统。

背景技术

小麦作为全球最主要的粮食作物之一，常因病虫害、洪涝等自然灾害和栽培管理过程中的种植密度过高、氮肥过量等因素影响，容易出现大面积倒伏的现象。小麦生育中后期任一时期发生倒伏现象时，都会显著降低小麦产量和品质，这对全球小麦健康生产造成巨大的潜在隐患。因此，研究小麦倒伏无损监测方法或技术对全球粮食稳定生产具有重要的价值和意义。

在作物倒伏无损遥感监测中，主要分近地、机载以及卫星遥感等三种手段。

利用普通数码相机获取作物倒伏图像，是实现近地遥感的重要方式。Ogden等人使用获得的田间倒伏水稻图像数据的截距项和总体变异系数，实现倒伏等级预测，其结果高度依赖数据的质量。一些学者探索高光谱仪(光谱范围从可见光扩展到中红外波段，350nm-2500nm)识别作物倒伏的可行性，Liu等人利用PCA筛选高光谱植被指数，经过概率神经网络有效地实现水稻倒伏区域提取。进一步的，一些其他传感器比如雷达、偏振相机也被用于作物倒伏监测方法研究。Bouman等人为探究后向散射对倒伏作物的监测能力，通过车载X-band调频连续波雷达，发现垂直极化时，倒伏大麦导致后向散射增加。Fitch等人通过偏振滤光片近地获取大麦和小麦黑白照片，获取线性极化辐射度，得出倒伏大麦使得线性极化空间平均值较低，小麦因倒伏使得线性极化均值增加的结论。梳理上述前人研究成果可发现，近地遥感在识别作物倒伏时准确性上具有技术优势，考虑到实际农业生产中，农户、农场主或保险公司更需要知道大面积的倒伏情况，以便指导其采取合理的生产措施或给出赔偿，使得近地遥感无法进行大面积推广应用。

在卫星作为作物倒伏信息获取平台时，Li等人利用Worldview-2影像获取玉米倒伏区域面积，将红边、近红外1及近红外2三个波段作为优选波段，采用最大似然分类方法获得玉米倒伏面积的平均误差为4.7％。Liu等人基于2景Landsat ETM影像获得小麦倒伏发生前后的归一化差异植被指数(NDVI)，成功获取小麦倒伏的发生程度。由于受到天气、重返周期等因素的影响，限制了卫星影像在作物倒伏监测领域的应用。

除了卫星光学遥感影像被用到农作物倒伏监测外，在多种作物倒伏场景下，卫星雷达数据也被使用。zhao等人利用中心入射角为38°的全极化SAR影像，发现倒伏小麦的垂直极化增加，水平极化减小，去极化程度增加，同时体现反射不对称性等多项特征；进一步的，由，Yang等人利用极化参数对小麦倒伏敏感性高的特点构建极化指数，实现小麦抽穗期、成熟期的倒伏区域提取。此外，Han等人使用合成孔径雷达数据从玉米株高的角度，获取最敏感指数分别为VH和VV+VH，实现对轻度、中度以及重度倒伏小麦分类，准确率分别为97％、100％和83％。考虑到作物含水量、土壤水分、地面复杂场景等均会对卫星平台的合成孔径雷达数据造成影响，其在作物倒伏大面积提取与实际应用中还需进一步探索研究。

在早些年，有人机也被作为作物倒伏研究的数据获取平台，Gerten等人采用微机辅助图像视频分析(VIA)技术，处理由飞机航拍获取的冬小麦倒伏区域图像，得出倒伏与根腐病这双重因素导致减产138-796公斤/公顷的结论。Bouman等人使用DUTSCAT机载散射计数据研究倒伏小麦的后向散射特性，发现对于所有的小麦倒伏角度情形中倒伏导致平均雷达后向散射增加。但有人机遥感平台的使用成本太高，无法推广使用。

发明内容

本发明的目的在于提供一种基于迁移学习的多个生育期小麦倒伏区域识别系统，能够可靠、精准的识别出麦田中小麦的倒伏区域。

为实现以上目的，本发明采用的技术方案为：一种基于迁移学习的多个生育期小麦倒伏区域识别系统，包括图像采集模块、预处理模块以及识别模块；所述的图像采集模块包括无人机，无人机上搭载有高清相机和/或多光谱相机用于拍摄待识别麦田的RGB图像和/或多光谱图像，图像采集模块将采集到的图像输出至预处理模块，预处理模块对图像进行拼接和剪裁得到待识别麦田的完整图并将该完整图输出至识别模块，并通过识别模块中存储的训练好的DeepLabv3+模型的识别得到标记后麦田图像，DeepLabv3+模型训练时使用的图片格式与待识别麦田的图片格式一致；识别模块中，DeepLabv3+模型通过以下步骤训练得到：S100、任选一块麦田，通过无人机搭载相机拍摄该麦田的RGB图像和/或多光谱图像；S200、对图像进行拼接和剪裁得到该麦田的完整图；S300、人工标记麦田完整图的倒伏区域；S400、对标记后的完整图进行滑窗和数据增广操作得到训练集和验证集；S500、用训练集和验证集训练DeepLabv3+模型即得到训练好的DeepLabv3+模型。

与现有技术相比，本发明存在以下技术效果：这里由无人机搭载相机拍摄图片，可以有效适合多种环境情况，并且非常便携，随拍随走；同时，通过预处理模块和识别模块，可以集中对拍摄到的图片进行处理和识别，自动标记待识别麦田的倒伏区域，由于识别模块中的模型是预先训练好的，这里直接将图片导入模型中进行识别即可，故处理速度快，降低识别模块的成本。

附图说明

图1是本发明的原理框图；

图2是本发明总流程图；

图3是模型训练流程图；

图4是训练用麦田的五个生育期RGB图像及其人工标记图；

图5是第一DeepLabv3+模型和第二DeepLabv3+模型训练流程图；

图6是两种相机使用方法一和方法二的分类效果图。

具体实施方式

下面结合图1至图6，对本发明做进一步详细叙述。

参阅图1和图2，一种基于迁移学习的多个生育期小麦倒伏区域识别系统，包括图像采集模块、预处理模块以及识别模块；所述的图像采集模块包括无人机，无人机上搭载有高清相机和/或多光谱相机用于拍摄待识别麦田的RGB图像和/或多光谱图像，图像采集模块将采集到的图像输出至预处理模块，预处理模块对图像进行拼接和剪裁得到待识别麦田的完整图并将该完整图输出至识别模块，并通过识别模块中存储的训练好的DeepLabv3+模型的识别得到标记后麦田图像，DeepLabv3+模型训练时使用的图片格式与待识别麦田的图片格式一致，即如果采用RGB图像训练DeepLabv3+模型，那么在步骤A中应当拍摄RGB图像，如果采用多光谱图像训练DeepLabv3+模型，那么在步骤A中应当拍摄多光谱图像。这里的RGB图像也可以是其他格式的高清数字图像，多光谱图像也即下文中的RGN图像。

DeepLabv3+模型的训练流程如图3所示，识别模块中，DeepLabv3+模型通过以下步骤训练得到：S100、任选一块麦田，通过无人机搭载相机拍摄该麦田的RGB图像和/或多光谱图像；S200、对图像进行拼接和剪裁得到该麦田的完整图，图5中左侧五张图分别对应五个生育期RGB格式的完整图；S300、人工标记麦田完整图的倒伏区域，图5左侧五张图标记后的如图5右侧五张图所示，图中，红色部分为小麦倒伏区域，黑色部分为正常区域；S400、对标记后的完整图进行滑窗和数据增广操作得到训练集和验证集；S500、用训练集和验证集训练DeepLabv3+模型即得到训练好的DeepLabv3+模型。步骤S100中任选的一块麦田面积不能太小，否则会导致样本数量不够，影响训练出来的DeepLabv3+模型效果。

这里由无人机搭载相机拍摄图片，可以有效适合多种环境情况，并且非常便携，随拍随走；同时，通过预处理模块和识别模块，可以集中对拍摄到的图片进行处理和识别，自动标记待识别麦田的倒伏区域，由于识别模块中的模型是预先训练好的，这里直接将图片导入模型中进行识别即可，故处理速度快，降低识别模块的成本。基于DeepLabv3+网络模型，采用迁移学习的方式构建两种方法实现多生育期小麦倒伏区域提取，基于无人机影像和迁移学习方法可以有效获取多时期的倒伏小麦特征，实现高精度的小麦区域自动提取，使得精准检测小麦倒伏区域称为可能，为研究小麦倒伏影响因素提供有力的数据支持

DeepLabv3+网络模型被广泛应用于各种复杂场景中的图像分割问题，例如，自动绘制逆行融化滑塌区域、船舶图像分割、道路坑洞提取等。DeepLabv3+模型由编码模块和解码模块组成，编码模块由Xception网络和ASPP组成，解码模块由低层和高层特征组合后采样获得。该模型结构是利用空洞卷积和深度扩张卷积在增加特征获取层数的同时抑制模型参数的增加，通过降低模型的训练要求，实现模型分割精度提升的目的。

进一步地，为了让提高DeepLabv3+模型的训练速度和效果，这里首先通过公认的语义分割数据集对DeepLabv3+模型进行预训练，得到的参数作为用于小麦倒伏识别的DeepLabv3+模型的预训练参数。具体地，所述的步骤S500包括如下步骤：S501、将PASCALVOC 2012数据集和Semantic Boundaries Dataset数据集合并，获得PASCAL VOC 2012增强数据集，合并后的PASCAL VOC 2012增强数据集中，训练集包含10582张图片，验证集包含1449张图片，测试集包含1456张图片，共有20种不同物体；S502、搭建DeepLabv3+模型，使用Adam优化器，初始的学习率设为0.007，output stride为16；S503、使用PASCAL VOC 2012增强数据集对步骤S502中的DeepLabv3+模型进行预训练，训练完成后舍弃最后一个1×1的卷积层参数，其余的模型参数作为预训练参数。

参阅图4，用于小麦倒伏识别的DeepLabv3+模型训练方式多样，本发明中优选地，按如下步骤训练模型：S504、搭建DeepLabv3+模型，使用Adadelta优化器，将步骤S503中的预训练参数添加至该模型中；S505、将步骤S400中的训练集分组，这样可以减少训练次数来达到微调网络的目的，本发明中每组有10张图片，这样每次批处理10张图片；S506、任选下面一种方法执行训练：方法一，即图4中的Part one部分，按组导入训练集图片至步骤S504的DeepLabv3+模型进行训练，每组训练完成后计算损失函数，损失函数满足设定阈值时停止训练；方法二，即图4中Part two部分，冻结步骤S504中DeepLabv3+模型中Xception网络，然后导入一组训练集图片至该模型中进行训练，在此基础上，对Xception网络解冻，然后再导入一组训练集图片至该模型中进行训练；每两组训练完成后计算损失函数，损失函数满足设定阈值时停止训练。在深度学习中，损失函数是必须的，其作用是返回经过网络得出的损失值，用该损失值再进行微调网络参数，通过多次的迭代，当损失值达到某种标准时，即这里设置的阈值，停止网络的训练。S507、将步骤S400中的测试集导入训练好的DeepLabv3+模型中计算评价指标，若评价指标满足设定阈值，则将该训练好的DeepLabv3+模型作为最终模型输出，否则重复执行步骤S400、S505～S507。评价指标主要用于评价最终训练得到的DeepLabv3+模型进行识别时的效果，如果效果不佳，则需要返回步骤S400中重新选择训练集和测试集，再重复步骤S505～S507以新选择的训练集和测试集重新训练，直到训练好的DeepLabv3+模型识别麦田倒伏区域效果达到设定要求。

以上步骤中，其实包括了如下四种基本方案：分别是RGB图像、多光谱图像中任一个与步骤S506中方法一、方法二中任一个的随意组合，这四个基本方案可简写为RGB+方法一，RGB+方法二，RGN+方法一，RGN+方法二。这四种基本方案都可以实现麦田倒伏区域的识别。

由于获得的无人机小麦影像中，倒伏区域面积与正常区域面积差距较大，使得最终获得的样本中正常小麦样本与倒伏小麦样本出现比例极度不均匀的情况，故本发明的步骤S506中采用tversky损失函数，该损失函数是基于Tversky指数构建，其可以很好的平衡了精度与召回率，损失函数的计算公式如下：

式中，α值为0.3，β值为0.7，ε值为10^-7，TP为被正确划分为倒伏小麦的区域，FP为被错误划分为倒伏小麦的区域，FN为被错误划分为正常小麦的区域。

为了保证麦田倒伏区域识别的准确率等，在步骤S507中设定评价指标对训练好的DeepLabv3+模型进行评价，这里的评价指标可以根据实际需要来进行设定，本发明中优选地，所述的步骤S507中，采用准确率Precision、召回率Recall以及Dice系数种的一种或多种作为评价指标，各评价指标按如下公式计算：

前面已经说过，通过处理不同格式的图片、以及不同的处理方法，有四种基本方案，对于这四种基本方案，本申请采用5折交叉验证方法去评估模型的鲁棒性，将原始数据随机分成5等分，依次挑选1个等分作为验证集，其余作为训练集，获得相对应的分类模型并得出分类结果。这里以5次交叉验证结果的均值作为最终结果，去展示模型对数据集的整体分类效果，如表1所示，表1中，灰色背景值为方法一的结果，白色背景值为方法二的结果。通过对5次交叉验证得到的精确度、召回率以及dice系数分别计算标准差SD，得出精确度的标准差范围为0.008～0.073之间，召回率的标准差范围为0.01～0.134之间，dice系数的标准差范围为0.002～0.081。从表1的数据中，我们可以看出，使用RGB图像作为训练数据，方法二实现DeepLabv3+模型训练，对于多个生育期的小麦倒伏区域提取的稳定性相比其他组合更好。对于5个不同生育期的多光谱图像，使用方法二时，Dice系数标准差均高于其余三种方式获得的分类模型，表明该模型的鲁棒性较差。对于RGB图像数据在方法一获得的模型在开花早期的SDDice较大，表明该模型对于开花早期的小麦倒伏区域提取的稳定性较差。

表1交叉验证结果

我们可以从表1中看出，当可见光影像作为数据源时，结合精确度和dice系数得出方法二获得的模型分类各个生育期的倒伏小麦的效果均优于方法一获得的结果，如图6所示。从图6中可发现，开花晚期、灌浆期、成熟早期以及成熟晚期的精确度和dice系数均高于0.9，这表明使用RGB图像和方法二组合可以有效地提取生育后期的小麦倒伏情况。当使用多光谱影像作为数据源时，在五个生育期里，方法一获得的模型的分类结果在精确度、召回率和dice系数均优于方法二获得的结果。开花早期、成熟早期以及成熟晚期的精确度、召回率和dice系数均高于0.9，表明使用多光谱相机获得的数据和方法一组合可以有效地实现这三个生育期的小麦倒伏区域提取。综合两种相机的小麦倒伏提取效果，可得出生育后期比生育前中期的小麦倒伏提取效果好。

基于此，本发明中对不同生育期的麦田采集不同格式的图像，故这里优选地，所述的图像采集模块包括无人机、高清相机、多光谱相机、时钟单元以及控制单元，控制单元根据时钟单元输出的时间信息确定拍摄时待识别麦田所处的生育期，这个根据具体拍摄点的位置、日期信息即可推算出生育期；若待识别麦田处于开花早期、成熟早期或成熟晚期，则控制单元输出控制信号至多光谱相机拍摄待识别麦田的多光谱图像，若待识别麦田处于开花晚期或灌浆期，则控制单元输出控制信号至高清相机拍摄待识别麦田的RGB图像。

由于图像采集模块中根据不同生育期会采集不同格式的图像，而识别模块中的DeepLabv3+模型训练时所用的图像格式要与图像采集模块中采集的图像格式一致，因此在识别模块中需要存储多个模型。下面提供两种较为优选的实施方式供参考。

实施例一，采用RGB+方法二和RGN+方法一这两个方案来训练DeepLabv3+模型，即所述的识别模块中存储有如下两个DeepLabv3+模型：第一DeepLabv3+模型训练时其步骤S100中拍摄的是麦田五个生育期的多光谱图像且步骤S506中采用方法一执行训练；第二DeepLabv3+模型训练时其步骤S100中拍摄的是麦田五个生育期RGB图像且步骤S506中采用方法二执行训练；识别模块接收到多光谱图像、RGB图像时分别导入第一DeepLabv3+模型、第二DeepLabv3+模型中进行识别。

实施例一中，两个DeepLabv3+模型都是采用所有生育期的图像进行训练的，训练的图片格式和方法有所区别。该实施例中，待识别的麦田处于开花早期、成熟早期或成熟晚期时，会拍摄多光谱图像并导入第一DeepLabv3+模型中进行识别；待识别的麦田处于开花晚期或灌浆期时，会拍摄RGB图像并导入第二DeepLabv3+模型中进行识别。

实施例二，这里在模型训练时就进行生育期的区分，即针对每个生育期分别训练一个DeepLabv3+模型，每个DeepLabv3+模型都采用对应的生育期的图像进行训练。具体地，所述的识别模块中存储有如下五个DeepLabv3+模型：第三DeepLabv3+模型训练时其步骤S100中拍摄的是麦田开花早期的多光谱图像且步骤S506中采用方法一执行训练；第四DeepLabv3+模型训练时其步骤S100中拍摄的是麦田开花晚期的RGB图像且步骤S506中采用方法二执行训练；第五DeepLabv3+模型训练时其步骤S100中拍摄的是麦田灌浆期的多RGB像且步骤S506中采用方法二执行训练；第六DeepLabv3+模型训练时其步骤S100中拍摄的是麦田成熟早期的多光谱图像且步骤S506中采用方法一执行训练；第七DeepLabv3+模型训练时其步骤S100中拍摄的是麦田成熟晚期的多光谱图像且步骤S506中采用方法一执行训练；识别模块接收到开花早期、开花晚期、灌浆期、成熟早期、成熟晚期的图像时分别导入第三DeepLabv3+模型、第四DeepLabv3+模型、第五DeepLabv3+模型、第六DeepLabv3+模型、第七DeepLabv3+模型中进行识别。

实施例二中，每个DeepLabv3+模型的训练集和测试集图片都是对应生育期的图片，这样训练得到的模型更适用于该生育期，准确率更高，只是相应地，前期的训练工作会增加。

以上所有的结构都是对待识别麦田某一个生育期的图像进行倒伏识别，为了提高最终的识别结果，本发明中还可以对待识别麦田的五个生育期图像都分别进行采集和识别，然后综合考量每个生育期的识别结果。故这里优选地，所述的图像采集模块采集待识别麦田五个生育期的图像，识别单元分别对每个生育期的图像进行倒伏识别后得到倒伏标记图；识别模块中包括处理单元，处理单元将五个生育期的倒伏标记图按照多数原则合并成一张新的倒伏标记图后输出，所谓的多数原则即：假设某一个像素点对应的区域，在三个或三个以上的生育期倒伏标记图中都被标记为倒伏区域，那么则认定该像素点对应区域为倒伏区域；假设某一个像素点对应的区域，在三个或三个以上的生育期倒伏标记图中都被标记为非倒伏区域，那么则认定该像素点对应区域为非倒伏区域。这样可以避免某一个模型识别时带来的误判。

本发明中具体地，步骤S200包括以下步骤：S201、对拍摄到的原始多光谱图像进行光谱定标得到定标后的多光谱图像；S202、将五个生育期的RGB图像和定标后的多光谱图像分别进行拼接得到五个生育期的RGB大图和多光谱大图；S203、剪裁出每张大图的研究区并进行拉伸后得到10张麦田完整图，其中每个生育期各有一张RGB完整图和一张多光谱完整图；所述的步骤S300中，人工标记所有10张麦田完整图中的麦穗倒伏区域。这里的步骤中，使用人工和软件手动进行剪裁和拼接的，当然也可以通过合适的算法来进行自动裁剪和拼接，但对于其中的标记步骤，必须由人工来完成。

进一步地，所述的步骤S400中包括如下步骤：S401、将五张标记后的RGB完整图作为第一组，五张标记后的多光谱完整图作为第二组；S402、以256个像素为间隔进行滑窗操作，将第一组中五张RGB完整图裁剪成指定张数的256×256像素大小的RGB图片，将第二组中五张多光谱完整图裁剪成指定张数的256×256像素大小的多光谱图片；S403、以翻转、旋转、加噪以及亮度变化操作分别对第一组和第二组中的图片进行数据增广，每组图像数量增广到5000张；S404、将每组图像中五个生育期的数据随机打乱，随机抽取4000张作为训练集，余下的1000张作为验证集，这样可以避免单个生育期下无人机影像数据因光照、长势等差异造成的训练集与验证集数据不均衡，其中5000张RGB图片用于训练第二DeepLabv3+模型，5000张多光谱图片用于训练第一DeepLabv3+模型。

需要注意的是，前面两段中述及的具体数值，只是提供一种参考，不是必须要使用该参数，比如滑窗大小、训练集图像张数等，可以根据实际需要来选择和设置。

Claims (8)

1.一种基于迁移学习的多个生育期小麦倒伏区域识别系统，其特征在于：包括图像采集模块、预处理模块以及识别模块；所述的图像采集模块包括无人机，无人机上搭载有高清相机和/或多光谱相机用于拍摄待识别麦田的RGB图像和/或多光谱图像，图像采集模块将采集到的图像输出至预处理模块，预处理模块对图像进行拼接和剪裁得到待识别麦田的完整图并将该完整图输出至识别模块，并通过识别模块中存储的训练好的DeepLabv3+模型的识别得到标记后麦田图像，DeepLabv3+模型训练时使用的图片格式与待识别麦田的图片格式一致；识别模块中，DeepLabv3+模型通过以下步骤训练得到：

S100、任选一块麦田，通过无人机搭载相机拍摄该麦田的RGB图像和/或多光谱图像；

S200、对图像进行拼接和剪裁得到该麦田的完整图；

S300、人工标记麦田完整图的倒伏区域；

S400、对标记后的完整图进行滑窗和数据增广操作得到训练集和验证集；

S500、用训练集和验证集训练DeepLabv3+模型即得到训练好的DeepLabv3+模型；

所述的步骤S500包括如下步骤：

S501、将PASCAL VOC 2012数据集和Semantic Boundaries Dataset数据集合并，获得PASCAL VOC 2012增强数据集；

S502、搭建DeepLabv3+模型，使用Adam优化器，初始的学习率设为0.007，outputstride为16；

S503、使用PASCAL VOC 2012增强数据集对步骤S502中的DeepLabv3+模型进行预训练，训练完成后舍弃最后一个1×1的卷积层参数，其余的模型参数作为预训练参数；

S504、搭建DeepLabv3+模型，使用Adadelta优化器，将步骤S503中的预训练参数添加至该模型中；

S505、将步骤S400中的训练集分组；

S506、任选下面一种方法执行训练：

方法一，按组导入训练集图片至步骤S504的DeepLabv3+模型进行训练，每组训练完成后计算损失函数，损失函数满足设定阈值时停止训练；

方法二，冻结步骤S504中DeepLabv3+模型中Xception网络，然后导入一组训练集图片至该模型中进行训练，在此基础上，对Xception网络解冻，然后再导入一组训练集图片至该模型中进行训练；每两组训练完成后计算损失函数，损失函数满足设定阈值时停止训练；

S507、将步骤S400中的测试集导入训练好的DeepLabv3+模型中计算评价指标，若评价指标满足设定阈值，则将该训练好的DeepLabv3+模型作为最终模型输出，否则重复执行步骤S400、S505~S507。

2.如权利要求1所述的基于迁移学习的多个生育期小麦倒伏区域识别系统，其特征在于：所述的图像采集模块包括无人机、高清相机、多光谱相机、时钟单元以及控制单元，控制单元根据时钟单元输出的时间信息确定拍摄时待识别麦田所处的生育期；若待识别麦田处于开花早期、成熟早期或成熟晚期，则控制单元输出控制信号至多光谱相机拍摄待识别麦田的多光谱图像，若待识别麦田处于开花晚期或灌浆期，则控制单元输出控制信号至高清相机拍摄待识别麦田的RGB图像。

3.如权利要求2所述的基于迁移学习的多个生育期小麦倒伏区域识别系统，其特征在于：所述的识别模块中存储有如下两个DeepLabv3+模型：

第一DeepLabv3+模型训练时其步骤S100中拍摄的是麦田五个生育期的多光谱图像且步骤S506中采用方法一执行训练，

第二DeepLabv3+模型训练时其步骤S100中拍摄的是麦田五个生育期RGB图像且步骤S506中采用方法二执行训练，

识别模块接收到多光谱图像、RGB图像时分别导入第一DeepLabv3+模型、第二DeepLabv3+模型中进行识别。

4.如权利要求2所述的基于迁移学习的多个生育期小麦倒伏区域识别系统，其特征在于：所述的识别模块中存储有如下五个DeepLabv3+模型：

第三DeepLabv3+模型训练时其步骤S100中拍摄的是麦田开花早期的多光谱图像且步骤S506中采用方法一执行训练；

第四DeepLabv3+模型训练时其步骤S100中拍摄的是麦田开花晚期的RGB图像且步骤S506中采用方法二执行训练；

第五DeepLabv3+模型训练时其步骤S100中拍摄的是麦田灌浆期的多RGB像且步骤S506中采用方法二执行训练；

第六DeepLabv3+模型训练时其步骤S100中拍摄的是麦田成熟早期的多光谱图像且步骤S506中采用方法一执行训练；

第七DeepLabv3+模型训练时其步骤S100中拍摄的是麦田成熟晚期的多光谱图像且步骤S506中采用方法一执行训练；

识别模块接收到开花早期、开花晚期、灌浆期、成熟早期、成熟晚期的图像时分别导入第三DeepLabv3+模型、第四DeepLabv3+模型、第五DeepLabv3+模型、第六DeepLabv3+模型、第七DeepLabv3+模型中进行识别。

5.如权利要求3或4所述的基于迁移学习的多个生育期小麦倒伏区域识别系统，其特征在于：所述的图像采集模块采集待识别麦田五个生育期的图像，识别单元分别对每个生育期的图像进行倒伏识别后得到倒伏标记图；识别模块中包括处理单元，处理单元将五个生育期的倒伏标记图按照多数原则合并成一张新的倒伏标记图后输出。

6.如权利要求1-4任一项所述的基于迁移学习的多个生育期小麦倒伏区域识别系统，其特征在于：步骤S200包括以下步骤：

S201、对拍摄到的原始多光谱图像进行光谱定标得到定标后的多光谱图像；

S202、将五个生育期的RGB图像和定标后的多光谱图像分别进行拼接得到五个生育期的RGB大图和多光谱大图；

S203、剪裁出每张大图的研究区并进行拉伸后得到10张麦田完整图，其中每个生育期各有一张RGB完整图和一张多光谱完整图；

所述的步骤S300中，人工标记所有10张麦田完整图中的麦穗倒伏区域。

7.如权利要求3所述的基于迁移学习的多个生育期小麦倒伏区域识别系统，其特征在于：所述的步骤S400中包括如下步骤：

S401、将五张标记后的RGB完整图作为第一组，五张标记后的多光谱完整图作为第二组；

S402、以256个像素为间隔进行滑窗操作，将第一组中五张RGB完整图裁剪成指定张数的256×256像素大小的RGB图片，将第二组中五张多光谱完整图裁剪成指定张数的256×256像素大小的多光谱图片；

S403、以翻转、旋转、加噪以及亮度变化操作分别对第一组和第二组中的图片进行数据增广，每组图像数量增广到5000张；

S404、将每组图像中五个生育期的数据随机打乱，随机抽取4000张作为训练集，余下的1000张作为验证集，其中5000张RGB图片用于训练第二DeepLabv3+模型，5000张多光谱图片用于训练第一DeepLabv3+模型。

8.如权利要求1-4任一项所述的基于迁移学习的多个生育期小麦倒伏区域识别系统，其特征在于：所述的步骤S506中，损失函数采用如下公式计算：

所述的步骤S507中，采用准确率Precision、召回率Recall以及Dice系数种的一种或多种作为评价指标，各评价指标按如下公式计算：

式中，

值为0.3，/>

值为0.7，/>

值为/>

，TP为被正确划分为倒伏小麦的区域，FP为被错误划分为倒伏小麦的区域，FN为被错误划分为正常小麦的区域。/>

Images