CN113537293A - 基于无人机和全卷积神经网络的小麦倒伏区域识别方法 - Google Patents

基于无人机和全卷积神经网络的小麦倒伏区域识别方法 Download PDF

Info

Publication number
CN113537293A
CN113537293A CN202110683898.7A CN202110683898A CN113537293A CN 113537293 A CN113537293 A CN 113537293A CN 202110683898 A CN202110683898 A CN 202110683898A CN 113537293 A CN113537293 A CN 113537293A
Authority
CN
China
Prior art keywords
lodging
platform
remote sensing
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110683898.7A
Other languages
English (en)
Inventor
田菲
曹文轩
鲁赛红
乔泽宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202110683898.7A priority Critical patent/CN113537293A/zh
Publication of CN113537293A publication Critical patent/CN113537293A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明为一种基于无人机和全卷积神经网络的小麦倒伏区域识别方法，在无人机平台上搭载可见光传感器；通过无人机平台对研究区域进行拍摄；对获取到的所有可见光遥感影像进行筛选或剪裁；使用labelme将所有遥感影像中的倒伏区域圈画出来，生成数据集；在python平台上搭建FCN网络结构，构建训练平台和调用测试平台；将数据集分为两部分：80％为样本集，20％为测试集，将样本集输入到训练平台上进行训练得到FCN模型，并用测试集测试模型精度；在调用测试平台上调用训练完成的FCN模型，对待处理遥感影像进行语义分割，提取出倒伏区域。统计倒伏区域像元的个数，通过换算求得倒伏区域的面积。

Description

基于无人机和全卷积神经网络的小麦倒伏区域识别方法
技术领域
本发明涉及图像语义分割、深度学习和无人机遥感领域，特别涉及一种基于无人机和全卷积神经网络的小麦倒伏区域识别方法。
背景技术
目前各个地方的农业部门收集受灾农田信息的主要方式是：由专门的工作人员使用专门的工具来获取倒伏区域的地理坐标信息，而后再在地理信息处理软件/平台上进行后处理，统计或计算得到倒伏区域的面积和位置信息。
这种方式过度依赖人员操作，存在极大的主观不确定性，测量结果容易引起争议。而且这种测量方式，时效性低、易产生误差、容易对倒伏小麦造成二次伤害。
当前有部分学者和机构提出基于地面遥感来获取倒伏区域，其原理是：雷达特有的极化方式和作物天然的结构特点导致了雷达在HH和VV极化时会接收到不同的反馈电磁波，借助这种反馈的不同可以监测作物倒伏。
但是由于雷达影像实质上由一块一块的信息栅格组成，当目标区域面积小于信息栅格所对应的实地面积时，将难以精准的从栅格中获取信息。再考虑到倒伏区域出现的随机性、雨水飓风行道树等的影响,雷达也难以做到对倒伏区域准确的提取。
无人机具有续航时间长、操作简单、视野宽阔等优点，无人机遥感具有良好的空间分辨率和实时监测能力，因此非常适合被用于监测不同时空下作物特征变化。可见光传感器是无人机遥感中成本最低、最易获取的传感器，因此国内外有许多基于可见光传感器进行作物倒伏区域识别或提取的研究。
全卷积神经网络(Fully Convolutional Networks for SemanticSegmentation，FCN)具有可以接受数据集中任意尺寸大小的图片、能够实现对目标图像像素级别的分类——即图像语义分割、可以实现结构化输出等一系列优点。但目前还没有相关研究将其应用到倒伏区域提取的研究中。
基于此，本发明的目的是提供一种基于无人机和全卷积神经网络的小麦倒伏区域识别方法，用以对小麦倒伏区域进行高精准监测。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种基于无人机和全卷积神经网络的小麦倒伏区域识别方法，用以对小麦倒伏区域进行高精准监测。
为达到以上目的，本发明采取的技术方案是：
一种基于无人机和全卷积神经网络的小麦倒伏区域识别方法，包括以下步骤：
步骤1，在无人机平台上搭载可见光传感器；
步骤2，通过无人机平台对研究区域进行拍摄；
步骤3，对获取到的所有可见光遥感影像进行筛选或剪裁，确保新生成的每一幅遥感影像中都既包含有倒伏区域也包含有非倒伏区域，同时应确保每一幅遥感影像对应的地物视场没有重叠；
步骤4，使用labelme将所有遥感影像中的倒伏区域圈画出来，生成数据集；
步骤5，在python平台上搭建FCN网络结构，构建训练平台和调用测试平台；
步骤6，将数据集分为两部分：80％为样本集，20％为测试集，将样本集输入到训练平台上进行训练得到FCN模型，并用测试集测试模型精度；
步骤7，在调用测试平台上调用训练完成的FCN模型，对待处理遥感影像进行语义分割，提取出倒伏区域；
步骤8，统计倒伏区域像元的个数，通过换算求得倒伏区域的面积。
在上述方案的基础上，步骤3具体包括：
步骤31：根据目视估计的方法，人为对获取到的所有可见光遥感影像进行剪裁，确保新生成的每一幅遥感图像对应的地物视场完全不重合；
步骤32：确保在剪裁结果中，每一幅遥感图像里既包含有倒伏区域又包含有非倒伏区域。
在上述方案的基础上，步骤5具体包括：
步骤51：首先在python平台上面搭建全卷积神经网络结构；
步骤52：在python平台上搭建训练平台，训练平台负责接收输入的样本集同时承接并存储训练完成后生成的FCN模型；
步骤53：在python平台上搭建调用测试平台，调用测试平台负责调用训练完成的FCN模型对待处理遥感影像进行语义分割。
在上述方案的基础上，步骤6具体包括：
步骤61：在用labelme选取出倒伏区域后，将所有已选取感兴趣区域的图片不修改文件名另存到另一个文件夹中；
步骤62：将选取过感兴趣区的图片所在的文件夹和初始图片所在的文件夹作为数据集输入到训练平台，随机选取20％作为测试集，用于测试模型提取精度，80％作为样本集，用于训练模型。
在上述方案的基础上，步骤8具体包括：
步骤81：调用训练完成的FCN模型对待处理遥感影像进行像素级分类，倒伏区域和非倒伏区域分别用白色和黑色表示；
步骤83：统计倒伏区域的像元总数，根据公式计算得到每个像元对应的实地面积S，公式如下所示：
Figure BDA0003123892220000041
式中：n代表图像的分辨率；s代表传感器的尺寸面积；f代表传感器获取影像时的焦距；u代表获取影像时的物距。
本发明的有益效果：
通过无人机获取目标区域的可见光影像，基于全卷积神经网络的小麦倒伏区域识别方法，可实时准确地统计出所有倒伏区域的像元个数，进一步求出倒伏区域的面积。
附图说明
本发明有如下附图：
图1为本发明提供的一种基于无人机和全卷积神经网络的小麦倒伏区域识别方法的流程图；
图2为本发明提供的一种基于无人机和全卷积神经网络的小麦倒伏区域识别方法的结构图；
图3为本发明提供的一种基于无人机和全卷积神经网络的小麦倒伏区域识别方法的效果图。
具体实施方式
以下结合附图1-3对本发明作进一步详细说明。
一种基于无人机和全卷积神经网络的小麦倒伏区域识别方法，包括以下步骤：
步骤101：在无人机平台上装配可见光传感器；
步骤102：基于无人机平台获取研究区域的高分辨率可见光遥感影像；
步骤103：对获取到的所有可见光遥感影像进行筛选或剪裁，确保新生成的每一幅遥感影像中都既包含有倒伏区域也包含有非倒伏区域，同时应确保每一幅遥感影像对应的地物视场没有重叠。
步骤104：通过目测估计的方式，使用labelme将所有遥感影像中的倒伏区域圈画出来，生成数据集。
步骤105：在python平台上搭建FCN网络结构，构建训练平台和调用测试平台。
步骤106：将数据集分为两部分：80％为样本集，20％为测试集，将样本集输入到训练平台上进行训练得到FCN模型，并用测试集测试模型精度。
步骤107：在调用测试平台上调用训练完成的FCN模型，对待处理遥感影像进行语义分割，提取出倒伏区域。
步骤108：统计倒伏区域像元的个数，通过换算求得倒伏区域的面积。
其中，步骤103具体包括：
步骤1031：根据目视估计的方法，人为对获取到的所有可见光遥感影像进行剪裁，确保新生成的每一幅遥感图像对应的地物视场完全不重合；
由于在深度学习中，图像具有天然的平移不变性(即在深度学习的过程中，目标特征不会因为周围环境的变化而变化)，因此需要对图像进行预处理，确保每一幅遥感影像对应的地物没有重叠。
步骤1032：确保在剪裁结果中，每一幅遥感图像里既包含有倒伏区域又包含有非倒伏区域；
由于FCN模型是一种图像分割模型，在进行训练的时候，样本集需要既包含有倒伏区域又包含有非倒伏区域。这样FCN网络在进行训练的时候才可以既获取到倒伏区域的信息也能获取到倒伏区域的边界特征——这也是FCN模型不同于卷积神经网络(CNN)的地方。
步骤105具体包括：
步骤1051：首先在python平台上面搭建全卷积神经网络结构——相当于整个模型的中枢结构——该结构负责接收训练平台对样本集池化、卷积的结果，并进行迭代从而生成新的、训练完成的FCN模型。
步骤1052：在python平台上搭建训练平台，该平台负责接收输入的样本集同时承接并存储训练完成后生成的FCN模型。
步骤1053：在python平台上搭建调用测试平台，该平台负责调用训练完成的FCN模型对待处理遥感影像进行语义分割。
步骤106具体包括：
步骤1061：在用labelme选取出倒伏区域后，将所有已选取感兴趣区域的图片不修改文件名(即同一个文件名对应两个文件格式不同的文件，这两个文件为一组数据)另存到另一个文件夹中。
步骤1062：将这两个文件夹所在的文件夹作为数据集输入到训练平台，随机选取20％作为测试集，用于测试模型提取精度，80％作为样本集，用于训练模型。
步骤108具体包括：
步骤1081：调用训练完成的FCN模型对待处理遥感影像进行像素级分类，倒伏区域和非倒伏区域用白色和黑色表示。
步骤1083：统计倒伏区域的像元总数，而后根据公式：
Figure BDA0003123892220000061
可以计算得到每个像元对应的实地面积S，式中：n代表图像的分辨率；s代表传感器的尺寸面积；f代表传感器获取影像时的焦距；u代表获取影像时的物距，也即传感器距离地面的高度。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (5)

1.一种基于无人机和全卷积神经网络的小麦倒伏区域识别方法，其特征在于，包括以下步骤：
步骤1，在无人机平台上搭载可见光传感器；
步骤2，通过无人机平台对研究区域进行拍摄；
步骤3，对获取到的所有可见光遥感影像进行筛选或剪裁，确保新生成的每一幅遥感影像中都既包含有倒伏区域也包含有非倒伏区域，同时应确保每一幅遥感影像对应的地物视场没有重叠；
步骤4，使用labelme将所有遥感影像中的倒伏区域圈画出来，生成数据集；
步骤5，在python平台上搭建FCN网络结构，构建训练平台和调用测试平台；
步骤6，将数据集分为两部分：80％为样本集，20％为测试集，将样本集输入到训练平台上进行训练得到FCN模型，并用测试集测试模型精度；
步骤7，在调用测试平台上调用训练完成的FCN模型，对待处理遥感影像进行语义分割，提取出倒伏区域；
步骤8，统计倒伏区域像元的个数，通过换算求得倒伏区域的面积。
2.如权利要求1所述的基于无人机和全卷积神经网络的小麦倒伏区域识别方法，其特征在于，步骤3具体包括：
步骤31：根据目视估计的方法，人为对获取到的所有可见光遥感影像进行剪裁，确保新生成的每一幅遥感图像对应的地物视场完全不重合；
步骤32：确保在剪裁结果中，每一幅遥感图像里既包含有倒伏区域又包含有非倒伏区域。
3.如权利要求1所述的基于无人机和全卷积神经网络的小麦倒伏区域识别方法，其特征在于，步骤5具体包括：
步骤51：首先在python平台上面搭建全卷积神经网络结构；
步骤52：在python平台上搭建训练平台，训练平台负责接收输入的样本集同时承接并存储训练完成后生成的FCN模型；
步骤53：在python平台上搭建调用测试平台，调用测试平台负责调用训练完成的FCN模型对待处理遥感影像进行语义分割。
4.如权利要求1所述的基于无人机和全卷积神经网络的小麦倒伏区域识别方法，其特征在于，步骤6具体包括：
步骤61：在用labelme选取出倒伏区域后，将所有已选取感兴趣区域的图片不修改文件名另存到另一个文件夹中；
步骤62：将选取过感兴趣区的图片所在的文件夹和初始图片所在的文件夹作为数据集输入到训练平台，随机选取20％作为测试集，用于测试模型提取精度，80％作为样本集，用于训练模型。
5.如权利要求1所述的基于无人机和全卷积神经网络的小麦倒伏区域识别方法，其特征在于，步骤8具体包括：
步骤81：调用训练完成的FCN模型对待处理遥感影像进行像素级分类，倒伏区域和非倒伏区域分别用白色和黑色表示；
步骤83：统计倒伏区域的像元总数，根据公式计算得到每个像元对应的实地面积S，公式如下所示：
Figure FDA0003123892210000021
式中：n代表图像的分辨率；s代表传感器的尺寸面积；f代表传感器获取影像时的焦距；u代表获取影像时的物距。
CN202110683898.7A 2021-06-21 2021-06-21 基于无人机和全卷积神经网络的小麦倒伏区域识别方法 Pending CN113537293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110683898.7A CN113537293A (zh) 2021-06-21 2021-06-21 基于无人机和全卷积神经网络的小麦倒伏区域识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110683898.7A CN113537293A (zh) 2021-06-21 2021-06-21 基于无人机和全卷积神经网络的小麦倒伏区域识别方法

Publications (1)

Publication Number Publication Date
CN113537293A true CN113537293A (zh) 2021-10-22

Family

ID=78125328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110683898.7A Pending CN113537293A (zh) 2021-06-21 2021-06-21 基于无人机和全卷积神经网络的小麦倒伏区域识别方法

Country Status (1)

Country Link
CN (1) CN113537293A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114526709A (zh) * 2022-02-21 2022-05-24 中国科学技术大学先进技术研究院 基于无人机的面积测量方法、设备及存储介质
CN115641444A (zh) * 2022-12-23 2023-01-24 中国科学院空天信息创新研究院 小麦倒伏检测方法、装置、设备及介质
CN117592604A (zh) * 2023-11-22 2024-02-23 河北省农林科学院旱作农业研究所 一种水高效小麦品种无人机载遥感鉴定方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461052A (zh) * 2020-04-13 2020-07-28 安徽大学 基于迁移学习的多个生育期小麦倒伏区域识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461052A (zh) * 2020-04-13 2020-07-28 安徽大学 基于迁移学习的多个生育期小麦倒伏区域识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐贵力: "基于数字图像的测量实验平台的研究", 《电气电子教学学报》, vol. 27, no. 1, pages 1 - 11 *
郑二功 等: "基于深度学习的无人机影像玉米倒伏区域提取", 《河南农业科学》, vol. 47, no. 8, pages 155 - 160 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114526709A (zh) * 2022-02-21 2022-05-24 中国科学技术大学先进技术研究院 基于无人机的面积测量方法、设备及存储介质
CN115641444A (zh) * 2022-12-23 2023-01-24 中国科学院空天信息创新研究院 小麦倒伏检测方法、装置、设备及介质
CN117592604A (zh) * 2023-11-22 2024-02-23 河北省农林科学院旱作农业研究所 一种水高效小麦品种无人机载遥感鉴定方法

Similar Documents

Publication Publication Date Title
CN107389036B (zh) 一种结合无人机影像的大空间尺度植被覆盖度计算方法
Jay et al. In-field crop row phenotyping from 3D modeling performed using Structure from Motion
CN104881865B (zh) 基于无人机图像分析的森林病虫害监测预警方法及其系统
CN113537293A (zh) 基于无人机和全卷积神经网络的小麦倒伏区域识别方法
CN106971167B (zh) 基于无人机平台的作物生长分析方法及其分析系统
CN114387520B (zh) 一种用于机器人采摘的密集李子精准检测方法及其系统
CN112801230B (zh) 一种配电线路无人机智能验收方法
CN107084688A (zh) 一种基于地块尺度的农作物面积动态变化遥感监测方法
CN106126920A (zh) 农作物雹灾受灾面积遥感评估方法
CN109033937B (zh) 通过无人机影像进行植物数量统计方法及系统
Xu et al. Classification method of cultivated land based on UAV visible light remote sensing
CN106403904A (zh) 一种基于无人机的景观尺度植被覆盖度的计算方法及系统
CN109492665A (zh) 水稻生育期的检测方法、装置及电子设备
Mathews Object-based spatiotemporal analysis of vine canopy vigor using an inexpensive unmanned aerial vehicle remote sensing system
CN103090946B (zh) 果树单树产量测量的方法和系统
Brocks et al. Toward an automated low-cost three-dimensional crop surface monitoring system using oblique stereo imagery from consumer-grade smart cameras
CN114067219A (zh) 一种基于语义分割与超像素分割融合的农田作物识别方法
CN113012111A (zh) 一种基于边缘计算的水稻倒伏程度分级监测方法
CN116071424A (zh) 基于单目视觉的果实空间坐标定位方法
Gómez‐Sapiens et al. Improving the efficiency and accuracy of evaluating aridland riparian habitat restoration using unmanned aerial vehicles
CN113610040B (zh) 一种基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法
CN115861858A (zh) 基于背景过滤的小样本学习农作物冠层覆盖度计算方法
Basavegowda et al. Indicator plant species detection in grassland using EfficientDet object detector
Bakuła et al. A review of benchmarking in photogrammetry and remote sensing
CN116958961A (zh) 一种基于改进YOLOv8s的轻量级石榴识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination