CN111461052A - 基于迁移学习的多个生育期小麦倒伏区域识别方法 - Google Patents

基于迁移学习的多个生育期小麦倒伏区域识别方法 Download PDF

Info

Publication number
CN111461052A
CN111461052A CN202010286392.8A CN202010286392A CN111461052A CN 111461052 A CN111461052 A CN 111461052A CN 202010286392 A CN202010286392 A CN 202010286392A CN 111461052 A CN111461052 A CN 111461052A
Authority
CN
China
Prior art keywords
wheat
model
training
abv3
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010286392.8A
Other languages
English (en)
Other versions
CN111461052B (zh
Inventor
张东彦
丁洋
陈鹏飞
梁栋
张向前
杜世州
琚书存
洪琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202010286392.8A priority Critical patent/CN111461052B/zh
Publication of CN111461052A publication Critical patent/CN111461052A/zh
Application granted granted Critical
Publication of CN111461052B publication Critical patent/CN111461052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别技术领域,特别涉及一种基于迁移学习的多个生育期小麦倒伏区域识别方法,包括以下步骤:A、拍摄待识别麦田的RGB图像和/或多光谱图像;B、对图像进行拼接和剪裁得到待识别麦田的完整图;C、将待识别麦田的完整图导入训练好的DeepLabv3+模型中进行倒伏区域的识别。这里基于DeepLabv3+网络模型,采用迁移学习的方式构建两种方法实现多生育期小麦倒伏区域提取,基于无人机影像和迁移学习方法可以有效获取多时期的倒伏小麦特征,实现高精度的小麦区域自动提取,使得精准检测小麦倒伏区域称为可能,为研究小麦倒伏影响因素提供有力的数据支持;该方法受环境影响小,且实现起来方便,在训练好DeepLabv3+模型以后,只需要拍摄待识别麦田的图像导入模型中即可自动识别倒伏区域。

Description

基于迁移学习的多个生育期小麦倒伏区域识别方法
技术领域
本发明涉及图像识别技术领域,特别涉及一种基于迁移学习的多个生育期小麦倒伏区域识别方法。
背景技术
小麦作为全球最主要的粮食作物之一,常因病虫害、洪涝等自然灾害和栽培管理过程中的种植密度过高、氮肥过量等因素影响,容易出现大面积倒伏的现象。小麦生育中后期任一时期发生倒伏现象时,都会显著降低小麦产量和品质,这对全球小麦健康生产造成巨大的潜在隐患。因此,研究小麦倒伏无损监测方法或技术对全球粮食稳定生产具有重要的价值和意义。
在作物倒伏无损遥感监测中,主要分近地、机载以及卫星遥感等三种手段。
利用普通数码相机获取作物倒伏图像,是实现近地遥感的重要方式。Ogden等人使用获得的田间倒伏水稻图像数据的截距项和总体变异系数,实现倒伏等级预测,其结果高度依赖数据的质量。一些学者探索高光谱仪(光谱范围从可见光扩展到中红外波段,350nm-2500nm)识别作物倒伏的可行性,Liu等人利用PCA筛选高光谱植被指数,经过概率神经网络有效地实现水稻倒伏区域提取。进一步的,一些其他传感器比如雷达、偏振相机也被用于作物倒伏监测方法研究。Bouman等人为探究后向散射对倒伏作物的监测能力,通过车载X-band调频连续波雷达,发现垂直极化时,倒伏大麦导致后向散射增加。Fitch等人通过偏振滤光片近地获取大麦和小麦黑白照片,获取线性极化辐射度,得出倒伏大麦使得线性极化空间平均值较低,小麦因倒伏使得线性极化均值增加的结论。梳理上述前人研究成果可发现,近地遥感在识别作物倒伏时准确性上具有技术优势,考虑到实际农业生产中,农户、农场主或保险公司更需要知道大面积的倒伏情况,以便指导其采取合理的生产措施或给出赔偿,使得近地遥感无法进行大面积推广应用。
在卫星作为作物倒伏信息获取平台时,Li等人利用Worldview-2影像获取玉米倒伏区域面积,将红边、近红外1及近红外2三个波段作为优选波段,采用最大似然分类方法获得玉米倒伏面积的平均误差为4.7%。Liu等人基于2景Landsat ETM影像获得小麦倒伏发生前后的归一化差异植被指数(NDVI),成功获取小麦倒伏的发生程度。由于受到天气、重返周期等因素的影响,限制了卫星影像在作物倒伏监测领域的应用。
除了卫星光学遥感影像被用到农作物倒伏监测外,在多种作物倒伏场景下,卫星雷达数据也被使用。zhao等人利用中心入射角为38°的全极化SAR影像,发现倒伏小麦的垂直极化增加,水平极化减小,去极化程度增加,同时体现反射不对称性等多项特征;进一步的,由,Yang等人利用极化参数对小麦倒伏敏感性高的特点构建极化指数,实现小麦抽穗期、成熟期的倒伏区域提取。此外,Han等人使用合成孔径雷达数据从玉米株高的角度,获取最敏感指数分别为VH和VV+VH,实现对轻度、中度以及重度倒伏小麦分类,准确率分别为97%、100%和83%。考虑到作物含水量、土壤水分、地面复杂场景等均会对卫星平台的合成孔径雷达数据造成影响,其在作物倒伏大面积提取与实际应用中还需进一步探索研究。
在早些年,有人机也被作为作物倒伏研究的数据获取平台,Gerten等人采用微机辅助图像视频分析(VIA)技术,处理由飞机航拍获取的冬小麦倒伏区域图像,得出倒伏与根腐病这双重因素导致减产138-796公斤/公顷的结论。Bouman等人使用DUTSCAT机载散射计数据研究倒伏小麦的后向散射特性,发现对于所有的小麦倒伏角度情形中倒伏导致平均雷达后向散射增加。但有人机遥感平台的使用成本太高,无法推广使用。
发明内容
本发明的目的在于提供一种基于迁移学习的多个生育期小麦倒伏区域识别方法,能够可靠、精准的识别出麦田中小麦的倒伏区域。
为实现以上目的,本发明采用的技术方案为:一种基于迁移学习的多个生育期小麦倒伏区域识别方法,包括以下步骤:A、通过无人机搭载相机拍摄待识别麦田的RGB图像和/或多光谱图像;B、对图像进行拼接和剪裁得到待识别麦田的完整图;C、将待识别麦田的完整图导入训练好的DeepLabv3+模型中进行倒伏区域的识别,DeepLabv3+模型训练时使用的图片格式与待识别麦田的图片格式一致;所述的步骤C中,DeepLabv3+模型通过以下步骤训练得到:S100、任选一块麦田,通过无人机搭载相机拍摄该麦田的RGB图像和/或多光谱图像;S200、对图像进行拼接和剪裁得到该麦田的完整图;S300、人工标记麦田完整图的倒伏区域;S400、对标记后的完整图进行滑窗和数据增广操作得到训练集和验证集;S500、用训练集和验证集训练DeepLabv3+模型即得到训练好的DeepLabv3+模型。
与现有技术相比,本发明存在以下技术效果:这里基于DeepLabv3+网络模型,采用迁移学习的方式构建两种方法实现多生育期小麦倒伏区域提取,基于无人机影像和迁移学习方法可以有效获取多时期的倒伏小麦特征,实现高精度的小麦区域自动提取,使得精准检测小麦倒伏区域称为可能,为研究小麦倒伏影响因素提供有力的数据支持;该方法受环境影响小,且实现起来方便,在训练好DeepLabv3+模型以后,只需要拍摄待识别麦田的图像导入模型中即可自动识别倒伏区域。
附图说明
图1是本发明总流程图;
图2是模型训练流程图;
图3是训练用麦田的五个生育期RGB图像及其人工标记图;
图4是第一DeepLabv3+模型和第二DeepLabv3+模型训练流程图;
图5是两种相机使用方法一和方法二的分类效果图。
具体实施方式
下面结合图1至图5,对本发明做进一步详细叙述。
参阅图1,一种基于迁移学习的多个生育期小麦倒伏区域识别方法,包括以下步骤:A、通过无人机搭载相机拍摄待识别麦田的RGB图像和/或多光谱图像;B、对图像进行拼接和剪裁得到待识别麦田的完整图;C、将待识别麦田的完整图导入训练好的DeepLabv3+模型中进行倒伏区域的识别,DeepLabv3+模型训练时使用的图片格式与待识别麦田的图片格式一致,即如果采用RGB图像训练DeepLabv3+模型,那么在步骤A中应当拍摄RGB图像,如果采用多光谱图像训练DeepLabv3+模型,那么在步骤A中应当拍摄多光谱图像。这里的RGB图像也可以是其他格式的RGB图像,多光谱图像也即下文中的RGN图像。
DeepLabv3+模型的训练流程如图2所示,所述的步骤C中,DeepLabv3+模型通过以下步骤训练得到:S100、任选一块麦田,通过无人机搭载相机拍摄该麦田的RGB图像和/或多光谱图像;S200、对图像进行拼接和剪裁得到该麦田的完整图,图4中左侧五张图分别对应五个生育期RGB格式的完整图;S300、人工标记麦田完整图的倒伏区域,图4左侧五张图标记后的如图4右侧五张图所示,图中,红色部分为小麦倒伏区域,黑色部分为正常区域;S400、对标记后的完整图进行滑窗和数据增广操作得到训练集和验证集;S500、用训练集和验证集训练DeepLabv3+模型即得到训练好的DeepLabv3+模型。步骤S100中任选的一块麦田面积不能太小,否则会导致样本数量不够,影响训练出来的DeepLabv3+模型效果。
这里基于DeepLabv3+网络模型,采用迁移学习的方式构建两种方法实现多生育期小麦倒伏区域提取,基于无人机影像和迁移学习方法可以有效获取多时期的倒伏小麦特征,实现高精度的小麦区域自动提取,使得精准检测小麦倒伏区域称为可能,为研究小麦倒伏影响因素提供有力的数据支持;该方法受环境影响小,且实现起来方便,在训练好DeepLabv3+模型以后,以后每次只需要拍摄待识别麦田的图像导入模型中即可自动识别倒伏区域。
DeepLabv3+网络模型被广泛应用于各种复杂场景中的图像分割问题,例如,自动绘制逆行融化滑塌区域、船舶图像分割、道路坑洞提取等。DeepLabv3+模型由编码模块和解码模块组成,编码模块由Xception网络和ASPP组成,解码模块由低层和高层特征组合后采样获得。该模型结构是利用空洞卷积和深度扩张卷积在增加特征获取层数的同时抑制模型参数的增加,通过降低模型的训练要求,实现模型分割精度提升的目的。
进一步地,为了让提高DeepLabv3+模型的训练速度和效果,这里首先通过公认的语义分割数据集对DeepLabv3+模型进行预训练,得到的参数作为用于小麦倒伏识别的DeepLabv3+模型的预训练参数。具体地,所述的步骤S500中,用训练集训练模型之前首先对模型进行预训练,预训练步骤如下:S501、将PASCAL VOC 2012数据集和SemanticBoundaries Dataset数据集合并,获得PASCAL VOC 2012增强数据集,合并后的PASCAL VOC2012增强数据集中,训练集包含10582张图片,验证集包含1449张图片,测试集包含1456张图片,共有20种不同物体;S502、搭建DeepLabv3+模型,使用Adam优化器,初始的学习率设为0.007,output stride为16;S503、使用PASCAL VOC 2012增强数据集对步骤S502中的DeepLabv3+模型进行预训练,训练完成后舍弃最后一个1×1的卷积层参数,其余的模型参数作为预训练参数。
参阅图3,用于小麦倒伏识别的DeepLabv3+模型训练方式多样,本发明中优选地,所述的步骤S500中,按如下步骤训练模型:S504、搭建DeepLabv3+模型,使用Adadelta优化器,将步骤S503中的预训练参数添加至该模型中;S505、将步骤S400中的训练集分组,这样可以减少训练次数来达到微调网络的目的,本发明中每组有10张图片,这样每次批处理10张图片;S506、任选下面一种方法执行训练:方法一,即图3中的Part one部分,按组导入训练集图片至步骤S504的DeepLabv3+模型进行训练,每组训练完成后计算损失函数,损失函数满足设定阈值时停止训练;方法二,即图3中Part two部分,冻结步骤S504中DeepLabv3+模型中Xception网络,然后导入一组训练集图片至该模型中进行训练,在此基础上,对Xception网络解冻,然后再导入一组训练集图片至该模型中进行训练;每两组训练完成后计算损失函数,损失函数满足设定阈值时停止训练。在深度学习中,损失函数是必须的,其作用是返回经过网络得出的损失值,用该损失值再进行微调网络参数,通过多次的迭代,当损失值达到某种标准时,即这里设置的阈值,停止网络的训练。S507、将步骤S400中的测试集导入训练好的DeepLabv3+模型中计算评价指标,若评价指标满足设定阈值,则将该训练好的DeepLabv3+模型作为最终模型输出,否则重复执行步骤S400、S505~S507,评价指标主要用于评价最终训练得到的DeepLabv3+模型进行识别时的效果,如果效果不佳,则需要返回步骤S400中重新选择训练集和测试集,再重复步骤S505~S507以新选择的训练集和测试集重新训练,直到训练好的DeepLabv3+模型识别麦田倒伏区域效果达到设定要求。
以上步骤中,其实包括了如下四种基本方案:分别是RGB图像、多光谱图像中任一个与步骤S506中方法一、方法二中任一个的随意组合,这四个基本方案可简写为RGB+方法一,RGB+方法二,RGN+方法一,RGN+方法二。这四种基本方案都可以实现麦田倒伏区域的识别。
由于获得的无人机小麦影像中,倒伏区域面积与正常区域面积差距较大,使得最终获得的样本中正常小麦样本与倒伏小麦样本出现比例极度不均匀的情况,故本发明的步骤S506中采用tversky损失函数,该损失函数是基于Tversky指数构建,其可以很好的平衡了精度与召回率,损失函数的计算公式如下:
Figure BDA0002448675440000061
式中,α值为0.3,β值为0.7,ε值为10-7,TP为被正确划分为倒伏小麦的区域,FP为被错误划分为倒伏小麦的区域,FN为被错误划分为正常小麦的区域。
为了保证麦田倒伏区域识别的准确率等,在步骤S507中设定评价指标对训练好的DeepLabv3+模型进行评价,这里的评价指标可以根据实际需要来进行设定,本发明中优选地,所述的步骤S507中,采用准确率Precision、召回率Recall以及Dice系数种的一种或多种作为评价指标,各评价指标按如下公式计算:
Figure BDA0002448675440000071
前面已经说过,通过处理不同格式的图片、以及不同的处理方法,有四种基本方案,对于这四种基本方案,本申请采用5折交叉验证方法去评估模型的鲁棒性,将原始数据随机分成5等分,依次挑选1个等分作为验证集,其余作为训练集,获得相对应的分类模型并得出分类结果。这里以5次交叉验证结果的均值作为最终结果,去展示模型对数据集的整体分类效果,如表1所示,表1中,灰色背景值为方法一的结果,白色背景值为方法二的结果。通过对5次交叉验证得到的精确度、召回率以及dice系数分别计算标准差SD,得出精确度的标准差范围为0.008~0.073之间,召回率的标准差范围为0.01~0.134之间,dice系数的标准差范围为0.002~0.081。从表1的数据中,我们可以看出,使用RGB图像作为训练数据,方法二实现DeepLabv3+模型训练,对于多个生育期的小麦倒伏区域提取的稳定性相比其他组合更好。对于5个不同生育期的多光谱图像,使用方法二时,Dice系数标准差均高于其余三种方式获得的分类模型,表明该模型的鲁棒性较差。对于RGB图像数据在方法一获得的模型在开花早期的SDDice较大,表明该模型对于开花早期的小麦倒伏区域提取的稳定性较差。
表1交叉验证结果
Figure BDA0002448675440000081
基于此,本发明中优选地,采用RGB+方法二和RGN+方法一这两个方案来训练DeepLabv3+模型。即所述的步骤C中训练好的DeepLabv3+模型包括第一DeepLabv3+模型和第二DeepLabv3+模型,第一DeepLabv3+模型训练时其步骤S100中拍摄的是麦田五个生育期的多光谱图像且步骤S506中采用方法一执行训练,第二DeepLabv3+模型训练时其步骤S100中拍摄的是麦田五个生育期RGB图像且步骤S506中采用方法二执行训练。
同时,我们可以从表1中看出,当可见光影像作为数据源时,结合精确度和dice系数得出方法二获得的模型分类各个生育期的倒伏小麦的效果均优于方法一获得的结果,如图5所示。从图5中可发现,开花晚期、灌浆期、成熟早期以及成熟晚期的精确度和dice系数均高于0.9,这表明使用RGB图像和方法二组合可以有效地提取生育后期的小麦倒伏情况。当使用多光谱影像作为数据源时,在五个生育期里,方法一获得的模型的分类结果在精确度、召回率和dice系数均优于方法二获得的结果。开花早期、成熟早期以及成熟晚期的精确度、召回率和dice系数均高于0.9,表明使用多光谱相机获得的数据和方法一组合可以有效地实现这三个生育期的小麦倒伏区域提取。综合两种相机的小麦倒伏提取效果,可得出生育后期比生育前中期的小麦倒伏提取效果好。
基于此,本发明中优选地,所述的步骤A中,判断待识别麦田的生育期,若待识别麦田处于开花早期、成熟早期或成熟晚期,则拍摄待识别麦田的多光谱图像,若待识别麦田处于开花晚期或灌浆期,则拍摄待识别麦田的RGB图像;步骤C中,若待识别麦田的完整图是多光谱图像,则导入第一DeepLabv3+模型中进行识别,若待识别麦田的完整图是RGB图像,则导入第二DeepLabv3+模型中进行识别。即这里根据待识别麦田的生育期不同,采用不同的模型进行识别。
这里只是提供了一种将基本的四种方案细化的思路,实际上,我们还可以通过以下方案来让模型更细化、更具有针对性以及更精确。
(1)训练的时候,直接采用单一生育期的图片,对每个生育期各训练一个模型,这样可以训练得到五个DeepLabv3+模型,其中,开花早期、成熟早期以及成熟晚期采用RGN+方法一来训练,开花晚期和灌浆期采用RGB+方法二来训练,然后根据待识别麦田的生育期,使用该生育期对应的DeepLabv3+模型进行识别;
(2)识别的时候,对待识别麦田的五个生育期分别进行倒伏识别,然后综合五个生育期的倒伏识别结果得到麦田的最终倒伏区域,比如某一个区域,在其中四个生育期都识别为倒伏,只有一个区域识别为正常,那么我们可以认定该区域为倒伏区域。
本发明中具体地,所述的步骤S100中,通过无人机搭载相机拍摄该麦田五个生育期的RGB图像和多光谱图像;步骤S200包括以下步骤:S201、对拍摄到的原始多光谱图像进行光谱定标得到定标后的多光谱图像;S202、将五个生育期的RGB图像和定标后的多光谱图像分别导入Photoscan软件,添加控制点完成图像拼接得到RGB大图和多光谱大图;S203、再使用Photoshop软件裁剪出研究区,然后拉伸得到单张大小为2304像素×10000像素的RGB完整图和1280像素×6000像素的多光谱完整图,其中每个生育期各有一张RGB完整图和一张多光谱完整图;所述的步骤S300中,人工标记所有10张麦田完整图中的麦穗倒伏区域。这里的步骤中,使用人工和软件手动进行剪裁和拼接的,当然也可以通过合适的算法来进行自动裁剪和拼接,但对于其中的标记步骤,必须由人工来完成。
进一步地,所述的步骤S400中包括如下步骤:S401、将五张标记后的RGB完整图作为第一组,五张标记后的多光谱完整图作为第二组;S402、以256个像素为间隔进行滑窗操作,将第一组中五张RGB完整图裁剪成指定张数的256×256像素大小的RGB图片,将第二组中五张多光谱完整图裁剪成指定张数的256×256像素大小的多光谱图片;S403、以翻转、旋转、加噪以及亮度变化操作分别对第一组和第二组中的图片进行数据增广,每组图像数量增广到5000张;S404、将每组图像中五个生育期的数据随机打乱,随机抽取4000张作为训练集,余下的1000张作为验证集,这样可以避免单个生育期下无人机影像数据因光照、长势等差异造成的训练集与验证集数据不均衡,其中5000张RGB图片用于训练第二DeepLabv3+模型,5000张多光谱图片用于训练第一DeepLabv3+模型。
需要注意的是,前面两段中述及的具体数值,只是提供一种参考,不是必须要使用该参数,比如滑窗大小、训练集图像张数等,可以根据实际需要来选择和设置。

Claims (9)

1.一种基于迁移学习的多个生育期小麦倒伏区域识别方法,其特征在于:包括以下步骤:
A、通过无人机搭载相机拍摄待识别麦田的RGB图像和/或多光谱图像;
B、对图像进行拼接和剪裁得到待识别麦田的完整图;
C、将待识别麦田的完整图导入训练好的DeepLabv3+模型中进行倒伏区域的识别,DeepLabv3+模型训练时使用的图片格式与待识别麦田的图片格式一致;
所述的步骤C中,DeepLabv3+模型通过以下步骤训练得到:
S100、任选一块麦田,通过无人机搭载相机拍摄该麦田的RGB图像和/或多光谱图像;
S200、对图像进行拼接和剪裁得到该麦田的完整图;
S300、人工标记麦田完整图的倒伏区域;
S400、对标记后的完整图进行滑窗和数据增广操作得到训练集和验证集;
S500、用训练集和验证集训练DeepLabv3+模型即得到训练好的DeepLabv3+模型。
2.如权利要求1所述的基于迁移学习的多个生育期小麦倒伏区域识别方法,其特征在于:所述的步骤S500中,用训练集训练模型之前首先对模型进行预训练,预训练步骤如下:
S501、将PASCAL VOC 2012数据集和Semantic Boundaries Dataset数据集合并,获得PASCAL VOC 2012增强数据集;
S502、搭建DeepLabv3+模型,使用Adam优化器,初始的学习率设为0.007,outputstride为16;
S503、使用PASCAL VOC 2012增强数据集对步骤S502中的DeepLabv3+模型进行预训练,训练完成后舍弃最后一个1×1的卷积层参数,其余的模型参数作为预训练参数。
3.如权利要求2所述的基于迁移学习的多个生育期小麦倒伏区域识别方法,其特征在于:所述的步骤S500中,按如下步骤训练模型:
S504、搭建DeepLabv3+模型,使用Adadelta优化器,将步骤S503中的预训练参数添加至该模型中;
S505、将步骤S400中的训练集分组;
S506、任选下面一种方法执行训练:
方法一,按组导入训练集图片至步骤S504的DeepLabv3+模型进行训练,每组训练完成后计算损失函数,损失函数满足设定阈值时停止训练;
方法二,冻结步骤S504中DeepLabv3+模型中Xception网络,然后导入一组训练集图片至该模型中进行训练,在此基础上,对Xception网络解冻,然后再导入一组训练集图片至该模型中进行训练;每两组训练完成后计算损失函数,损失函数满足设定阈值时停止训练;
S507、将步骤S400中的测试集导入训练好的DeepLabv3+模型中计算评价指标,若评价指标满足设定阈值,则将该训练好的DeepLabv3+模型作为最终模型输出,否则重复执行步骤S400、S505~S507。
4.如权利要求3所述的基于迁移学习的多个生育期小麦倒伏区域识别方法,其特征在于:所述的步骤C中训练好的DeepLabv3+模型包括第一DeepLabv3+模型和第二DeepLabv3+模型,第一DeepLabv3+模型训练时其步骤S100中拍摄的是麦田五个生育期的多光谱图像且步骤S506中采用方法一执行训练,第二DeepLabv3+模型训练时其步骤S100中拍摄的是麦田五个生育期RGB图像且步骤S506中采用方法二执行训练。
5.如权利要求4所述的基于迁移学习的多个生育期小麦倒伏区域识别方法,其特征在于:所述的步骤A中,判断待识别麦田的生育期,若待识别麦田处于开花早期、成熟早期或成熟晚期,则拍摄待识别麦田的多光谱图像,若待识别麦田处于开花晚期或灌浆期,则拍摄待识别麦田的RGB图像;步骤C中,若待识别麦田的完整图是多光谱图像,则导入第一DeepLabv3+模型中进行识别,若待识别麦田的完整图是RGB图像,则导入第二DeepLabv3+模型中进行识别。
6.如权利要求5所述的基于迁移学习的多个生育期小麦倒伏区域识别方法,其特征在于:所述的步骤S100中,通过无人机搭载相机拍摄该麦田五个生育期的RGB图像和多光谱图像;步骤S200包括以下步骤:
S201、对拍摄到的原始多光谱图像进行光谱定标得到定标后的多光谱图像;
S202、将五个生育期的RGB图像和定标后的多光谱图像分别进行拼接得到五个生育期的RGB大图和多光谱大图;
S203、剪裁出每张大图的研究区并进行拉伸后得到10张麦田完整图,其中每个生育期各有一张RGB完整图和一张多光谱完整图;
所述的步骤S300中,人工标记所有10张麦田完整图中的麦穗倒伏区域。
7.如权利要求6所述的基于迁移学习的多个生育期小麦倒伏区域识别方法,其特征在于:所述的步骤S400中包括如下步骤:
S401、将五张标记后的RGB完整图作为第一组,五张标记后的多光谱完整图作为第二组;
S402、以256个像素为间隔进行滑窗操作,将第一组中五张RGB完整图裁剪成指定张数的256×256像素大小的RGB图片,将第二组中五张多光谱完整图裁剪成指定张数的256×256像素大小的多光谱图片;
S403、以翻转、旋转、加噪以及亮度变化操作分别对第一组和第二组中的图片进行数据增广,每组图像数量增广到5000张;
S404、将每组图像中五个生育期的数据随机打乱,随机抽取4000张作为训练集,余下的1000张作为验证集,其中5000张RGB图片用于训练第二DeepLabv3+模型,5000张多光谱图片用于训练第一DeepLabv3+模型。
8.如权利要求7所述的基于迁移学习的多个生育期小麦倒伏区域识别方法,其特征在于:所述的步骤S506中,损失函数采用如下公式计算:
Figure FDA0002448675430000041
式中,α值为0.3,β值为0.7,ε值为10-7,TP为被正确划分为倒伏小麦的区域,FP为被错误划分为倒伏小麦的区域,FN为被错误划分为正常小麦的区域。
9.如权利要求8所述的基于迁移学习的多个生育期小麦倒伏区域识别方法,其特征在于:所述的步骤S507中,采用准确率Precision、召回率Recall以及Dice系数种的一种或多种作为评价指标,各评价指标按如下公式计算:
Figure FDA0002448675430000042
CN202010286392.8A 2020-04-13 2020-04-13 基于迁移学习的多个生育期小麦倒伏区域识别方法 Active CN111461052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010286392.8A CN111461052B (zh) 2020-04-13 2020-04-13 基于迁移学习的多个生育期小麦倒伏区域识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010286392.8A CN111461052B (zh) 2020-04-13 2020-04-13 基于迁移学习的多个生育期小麦倒伏区域识别方法

Publications (2)

Publication Number Publication Date
CN111461052A true CN111461052A (zh) 2020-07-28
CN111461052B CN111461052B (zh) 2023-05-23

Family

ID=71684500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010286392.8A Active CN111461052B (zh) 2020-04-13 2020-04-13 基于迁移学习的多个生育期小麦倒伏区域识别方法

Country Status (1)

Country Link
CN (1) CN111461052B (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112020982A (zh) * 2020-09-15 2020-12-04 中联农业机械股份有限公司 一种倒伏作物自动收割方法及收割机
CN112287787A (zh) * 2020-10-20 2021-01-29 华南农业大学 一种基于梯度直方图特征的作物倒伏分级方法
CN112293181A (zh) * 2020-11-02 2021-02-02 内蒙古自治区农牧业科学院 一种预防大麦、小麦物倒伏的高产栽培方法
CN112487899A (zh) * 2020-11-19 2021-03-12 武汉高德飞行器科技有限公司 基于无人机的目标识别方法、系统、存储介质及电子设备
CN112597855A (zh) * 2020-12-15 2021-04-02 中国农业大学 农作物倒伏程度识别方法及装置
CN112883915A (zh) * 2021-03-20 2021-06-01 河南农业大学 一种基于迁移学习的麦穗自动识别方法和系统
CN113537293A (zh) * 2021-06-21 2021-10-22 中国农业大学 基于无人机和全卷积神经网络的小麦倒伏区域识别方法
CN113643248A (zh) * 2021-08-04 2021-11-12 河南农业大学 一种基于改进卷积神经网络的小麦生育进程监测方法
CN114387516A (zh) * 2022-01-07 2022-04-22 宁波大学 一种针对复杂地形环境下中小田块的单季稻sar识别方法
CN114429471A (zh) * 2022-01-28 2022-05-03 吉林大学 一种基于深度学习的农作物灾害鉴别分级方法及装置
CN114782835A (zh) * 2022-05-05 2022-07-22 中国农业大学 作物倒伏面积比例检测方法及装置
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
CN115035422A (zh) * 2022-08-15 2022-09-09 杭州航天星寰空间技术有限公司 一种面向遥感影像区域土壤种植结构的数据增广方法及分割方法
CN115049945A (zh) * 2022-06-10 2022-09-13 安徽农业大学 一种基于无人机图像的小麦倒伏面积提取方法和装置
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
CN115641444A (zh) * 2022-12-23 2023-01-24 中国科学院空天信息创新研究院 小麦倒伏检测方法、装置、设备及介质
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US12136030B2 (en) 2023-03-16 2024-11-05 Tesla, Inc. System and method for adapting a neural network model on a hardware platform

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018068416A1 (zh) * 2016-10-14 2018-04-19 广州视源电子科技股份有限公司 基于神经网络的多层图像特征提取建模、图像识别方法及装置
CN110889394A (zh) * 2019-12-11 2020-03-17 安徽大学 基于深度学习UNet网络的水稻倒伏识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018068416A1 (zh) * 2016-10-14 2018-04-19 广州视源电子科技股份有限公司 基于神经网络的多层图像特征提取建模、图像识别方法及装置
CN110889394A (zh) * 2019-12-11 2020-03-17 安徽大学 基于深度学习UNet网络的水稻倒伏识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李明;黄愉淇;李绪孟;彭冬星;谢景鑫;: "基于无人机遥感影像的水稻种植信息提取" *
郑二功;田迎芳;陈涛;: "基于深度学习的无人机影像玉米倒伏区域提取" *

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US12020476B2 (en) 2017-03-23 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US12086097B2 (en) 2017-07-24 2024-09-10 Tesla, Inc. Vector computational unit
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US12079723B2 (en) 2018-07-26 2024-09-03 Tesla, Inc. Optimizing neural network structures for embedded systems
US11983630B2 (en) 2018-09-03 2024-05-14 Tesla, Inc. Neural networks for embedded devices
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
CN112020982A (zh) * 2020-09-15 2020-12-04 中联农业机械股份有限公司 一种倒伏作物自动收割方法及收割机
CN112287787B (zh) * 2020-10-20 2023-09-26 华南农业大学 一种基于梯度直方图特征的作物倒伏分级方法
CN112287787A (zh) * 2020-10-20 2021-01-29 华南农业大学 一种基于梯度直方图特征的作物倒伏分级方法
CN112293181A (zh) * 2020-11-02 2021-02-02 内蒙古自治区农牧业科学院 一种预防大麦、小麦物倒伏的高产栽培方法
CN112487899A (zh) * 2020-11-19 2021-03-12 武汉高德飞行器科技有限公司 基于无人机的目标识别方法、系统、存储介质及电子设备
CN112597855B (zh) * 2020-12-15 2024-04-16 中国农业大学 农作物倒伏程度识别方法及装置
CN112597855A (zh) * 2020-12-15 2021-04-02 中国农业大学 农作物倒伏程度识别方法及装置
CN112883915A (zh) * 2021-03-20 2021-06-01 河南农业大学 一种基于迁移学习的麦穗自动识别方法和系统
CN112883915B (zh) * 2021-03-20 2023-05-23 河南农业大学 一种基于迁移学习的麦穗自动识别方法和系统
CN113537293A (zh) * 2021-06-21 2021-10-22 中国农业大学 基于无人机和全卷积神经网络的小麦倒伏区域识别方法
CN113643248A (zh) * 2021-08-04 2021-11-12 河南农业大学 一种基于改进卷积神经网络的小麦生育进程监测方法
CN113643248B (zh) * 2021-08-04 2024-02-20 河南农业大学 一种基于改进卷积神经网络的小麦生育进程监测方法
CN114387516B (zh) * 2022-01-07 2022-08-16 宁波大学 一种针对复杂地形环境下中小田块的单季稻sar识别方法
CN114387516A (zh) * 2022-01-07 2022-04-22 宁波大学 一种针对复杂地形环境下中小田块的单季稻sar识别方法
CN114429471A (zh) * 2022-01-28 2022-05-03 吉林大学 一种基于深度学习的农作物灾害鉴别分级方法及装置
CN114782835B (zh) * 2022-05-05 2024-04-26 中国农业大学 作物倒伏面积比例检测方法及装置
CN114782835A (zh) * 2022-05-05 2022-07-22 中国农业大学 作物倒伏面积比例检测方法及装置
CN115049945B (zh) * 2022-06-10 2023-10-20 安徽农业大学 一种基于无人机图像的小麦倒伏面积提取方法和装置
CN115049945A (zh) * 2022-06-10 2022-09-13 安徽农业大学 一种基于无人机图像的小麦倒伏面积提取方法和装置
CN115035422A (zh) * 2022-08-15 2022-09-09 杭州航天星寰空间技术有限公司 一种面向遥感影像区域土壤种植结构的数据增广方法及分割方法
CN115641444B (zh) * 2022-12-23 2023-04-11 中国科学院空天信息创新研究院 小麦倒伏检测方法、装置、设备及介质
CN115641444A (zh) * 2022-12-23 2023-01-24 中国科学院空天信息创新研究院 小麦倒伏检测方法、装置、设备及介质
US12136030B2 (en) 2023-03-16 2024-11-05 Tesla, Inc. System and method for adapting a neural network model on a hardware platform

Also Published As

Publication number Publication date
CN111461052B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN111461052A (zh) 基于迁移学习的多个生育期小麦倒伏区域识别方法
CN111461053A (zh) 基于迁移学习的多个生育期小麦倒伏区域识别系统
Liu et al. Estimating leaf area index using unmanned aerial vehicle data: shallow vs. deep machine learning algorithms
WO2023029373A1 (zh) 一种高精度的农田植被信息提取方法
CN106951836B (zh) 基于先验阈值优化卷积神经网络的作物覆盖度提取方法
CN106372592B (zh) 一种基于冬小麦面积指数的冬小麦种植面积计算方法
CN110414738B (zh) 一种农作物产量预测方法及系统
CN110287944A (zh) 基于深度学习的多光谱遥感影像的农作物虫害监测方法
Sun et al. Wheat head counting in the wild by an augmented feature pyramid networks-based convolutional neural network
CN110765977A (zh) 一种基于无人机多时相遥感数据提取小麦倒伏信息的方法
CN108872140A (zh) 一种户外监测红枣品质的方法及装置
CN112861810B (zh) 一种基于时序遥感观测数据的人工林种植时间自动检测方法
CN114140695B (zh) 一种基于无人机多光谱遥感的茶树氮素诊断及品质指标测定的预测方法和系统
CN115668307A (zh) 用于估计真实世界环境中植被覆盖范围的系统和方法
CN112836725A (zh) 基于时序遥感数据的弱监督lstm循环神经网络稻田识别方法
CN114778483A (zh) 用于监测山地的遥感影像近红外波段地形阴影校正方法
CN114973024B (zh) 一种机采棉脱叶效果综合评价指标监测与评价方法及系统
CN114299379A (zh) 一种基于高动态影像的阴影区植被覆盖度提取方法
CN115015258A (zh) 一种农作物长势与土壤水分关联确定方法及相关装置
CN117889779A (zh) 一种树冠生长监测方法、装置、电子设备及可读存储介质
CN116052141B (zh) 作物生育期的识别方法、装置、设备及介质
CN109726679B (zh) 一种遥感分类误差空间分布制图方法
CN116721385A (zh) 一种基于机器学习的rgb摄像头数据蓝藻水华监测方法
CN115690781A (zh) 一种基于多光谱图像的果树病害识别方法及系统
CN113111794B (zh) 一种面向图斑的高分辨率年度城市绿地遥感信息提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant