CN116823916A - 一种基于yolov5x模型的水稻稻株高度测量方法 - Google Patents

一种基于yolov5x模型的水稻稻株高度测量方法 Download PDF

Info

Publication number
CN116823916A
CN116823916A CN202310555177.7A CN202310555177A CN116823916A CN 116823916 A CN116823916 A CN 116823916A CN 202310555177 A CN202310555177 A CN 202310555177A CN 116823916 A CN116823916 A CN 116823916A
Authority
CN
China
Prior art keywords
rice
rice plant
model
yolov5x
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310555177.7A
Other languages
English (en)
Inventor
龙拥兵
李钊荣
周明
范志文
樊嘉文
李金豪
白书黛
兰玉彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202310555177.7A priority Critical patent/CN116823916A/zh
Publication of CN116823916A publication Critical patent/CN116823916A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于yolov5x模型的水稻稻株高度测量方法，方法包括以下步骤：数据采集，获得水稻不同生长时期的航拍图像以及不同生长时期的高度；数据处理，对采集的航拍图像进行处理，得到包括水稻稻株高程融合图像的数据集；获取数据集中第一区域的水稻稻株的高程像素值以及对应水稻稻株的真实高度值，并建立水稻稻株的真实高度与高程像素值之间的最小二乘线性回归模型；利用YOLOv5x模型对数据集中的第二区域的位置进行识别，获取识别位置的融合图像的高程像素值；将获取的高程像素值代入建立的最小二乘线性回归模型，得到识别位置的水稻稻株高度。该方法能够快速准确检测水稻稻株的高度，为研究判断水稻的生长情况提供有力支持。

Description

一种基于yolov5x模型的水稻稻株高度测量方法
技术领域
本发明涉及农作物生长监测技术领域，尤其涉及一种基于yolov5x模型的水稻稻株高度测量方法。
背景技术
水稻是需要移栽的农作物，且水稻幼株的高度是表征水稻前期生长状况的重要表型信息。自然环境下，移栽后水稻幼苗的快速准确识别是实现精准农情检测和幼苗科学管理策略的重要内容和依据，因此，如何实现移栽后水稻前期幼苗的精准识别和高度测量是保障粮食产量的重要基础。水稻幼苗的准确识别受到光照强度变化，天气，杂草和地形等复杂环境因素影响大，而低空无人机影像作为精准农业研究的重要信息源，逐渐被用于水稻幼苗的检测研究中。
在以往的研究中，专家学者大多采用卫星或雷达数据与机器学习算法结合的方式完成水稻幼苗的识别并取得不错的精度。尽管如此，如果只是采用传统的机器学习算法，容易造成较大的识别与计数误差。因此，随着摄影测量技术与计算机技术的不断发展，基于遥感图像的水稻稻株高测量也逐渐成熟。现有的利用遥感图像+神经网络算法来获取水稻稻株高的方法，虽然在性价比和模型通用性方面都很有优势。但是在处理数据的步骤繁琐，依旧需要耗费大量的人力，而且获取数字表面模型的方法一般都是通过商用软件实现，例如需要现有的一种水稻稻株高研究方法，需先在Agisoft PhotoScan Professional 12.0软件中进行点云生成、地面控制点几何校正、高度重建等，后续再转到Eris Arcmap 10.3中进行栅格计算并输出株高。这会降低水稻稻株高的检测效率，提成检测成本，也无法实现一站式测量水稻稻株的高度。
因此，亟需设计一种新的水稻稻株高的测量方法，以保证在准确测量水稻稻株的高度的同时，降低测量成本，提高测量方法的通用性。
发明内容
为克服相关技术中存在的问题，本发明的目的是提供一种基于yolov5x模型的水稻稻株高度测量方法，该方法能够快速准确检测水稻稻株的高度，为研究判断水稻的生长情况提供有力支持。
一种基于yolov5x模型的水稻稻株高度测量方法，包括：
数据采集，获得水稻不同生长时期的航拍图像以及不同生长时期的高度；
数据处理，对采集的航拍图像进行处理，得到包括水稻稻株高程融合图像的数据集；
获取数据集中第一区域的水稻稻株的高程像素值以及对应水稻稻株的真实高度值，并建立水稻稻株的真实高度与高程像素值之间的最小二乘线性回归模型；
利用YOLOv5x模型对数据集中的第二区域的位置进行识别，获取识别位置的融合图像的高程像素值；
将获取的高程像素值代入建立的最小二乘线性回归模型，得到识别位置的水稻稻株高度。
在本发明较佳的技术方案中，所述获得水稻不同生长时期的航拍图像，包括：
利用无人机航拍待检测水稻田不同时期、不同高度的多组原始图像；
利用三维重建算法对多组原始图像进行重建，得到待检测水稻田不同时期的航拍图像。
在本发明较佳的技术方案中，利用无人机航拍待检测水稻田不同时期、不同高度的多组原始图像，包括：
利用无人机航拍待检测水稻田不同生长时期的原始图像；
利用无人机航拍待检测水稻田同一生长时期，不同时刻的原始图像；
利用无人机航拍待检测水稻田同一生长时期、同一时刻但不同高度的原始图像。
在本发明较佳的技术方案中，所述获得水稻不同生长时期的高度，包括：
使用卷尺测量地面到水稻植株自然最高点的高度。
在本发明较佳的技术方案中，所述对采集的航拍图像进行处理，得到包括水稻稻株高程融合图像的数据集，包括：
使用软件处理航拍图像，生成航拍图像的正射影像图和数字表面模型；
使用GDAL软件读取航拍图像的数字表面模型，提取数字表面模型中水稻稻株的高程像素值；
将提取的水稻稻株高程像素值融合进航拍图像的正射影像图中，得到包括水稻稻株高程融合图像的数据集。
在本发明较佳的技术方案中，所述建立水稻稻株的真实高度与高程像素值之间的最小二乘线性回归模型，包括：
对高程融合图像进行切片处理；
筛选出切片后的融合图形中不包括水稻稻株的无关图像；
获取多株切片后的图像中多株水稻稻株的高程像素值以及对应的真实高度值；
采用最小二乘线性回归算法建立水稻稻株的真实高度与高程像素值之间的最小二乘线性回归模型。
在本发明较佳的技术方案中，所述线性回归模型为：y＝0.8396x-0.0777
其中x为水稻单株的高程像素值，y为对应水稻单株的真实值，其中x、y的单位均为米。
在本发明较佳的技术方案中，所述利用YOLOv5x模型对数据集中的第二区域的位置进行识别之前，还包括：
对YOLOv5进行改进，得到YOLOv5x模型，具体包括：
选取YOLOv5x作为基础网络模型；
从筛选后的第一区域的图像中选取数据作为训练集，对YOLOv5x模型进行训练；
增加YOLOv5x基础网络模型的小目标检测层，以及减少Backbone中的卷积层数量，得到改进后的YOLOv5x模型。
在本发明较佳的技术方案中，所述利用YOLOv5x模型对数据集中的第二区域的位置进行识别前，包括：
对高程融合图像进行切片处理；
筛选出切片后的融合图形中不包括水稻稻株的无关图像；
利用目标检测标注软件对筛选后的切片图像进行标注，得到添加了识别框的切片图像；
其中，每个识别框中包括一颗水稻稻株。
在本发明较佳的技术方案中，所述获取识别位置的融合图像的高程像素值，包括：
获取识别框的坐标；
提取识别框中的高程像素值。
本发明的有益效果为：
本发明提供的一种基于yolov5x模型的水稻稻株高度测量方法，该方法包括以下步骤：数据采集，获得水稻不同生长时期的航拍图像以及不同生长时期的高度；数据处理，对采集的航拍图像进行处理，得到包括水稻稻株高程融合图像的数据集；获取数据集中第一区域的水稻稻株的高程像素值以及对应水稻稻株的真实高度值，并建立水稻稻株的真实高度与高程像素值之间的最小二乘线性回归模型；利用YOLOv5x模型对数据集中的第二区域的位置进行识别，获取识别位置的融合图像的高程像素值；将获取的高程像素值代入建立的最小二乘线性回归模型，得到识别位置的水稻稻株高度。该方法基于遥感航拍图像对水稻稻株的高度进行测量，通过采集的图像数据和高度数据建立高程像素值与稻株真实高度之间的线性回归模型，并利用算法对待检测区域的稻株进行识别，将识别结果和线性回归模型相结合来得到待测量区域的稻株的真实高度。该方法能够快速准确检测水稻稻株的高度，通用性强，为研究判断水稻的生长情况提供有力支持。
附图说明
图1是本发明提供的基于yolov5x模型的水稻稻株高度测量方法的流程图；
图2是本发明提供的采用无人机采集水稻不同时期的航拍图；
图3是本发明提供的水稻稻株高程的融合图像；
图4是本发明提供的对融合图像进行标注的示意图。
具体实施方式
下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
由于现有的利用遥感图像+神经网络算法来获取水稻稻株高的方法，虽然在性价比和模型通用性方面都很有优势。但是在处理数据的步骤繁琐，依旧需要耗费大量的人力，而且获取数字表面模型的方法一般都是通过商用软件实现，例如需要现有的一种水稻稻株高研究方法，需先在Agisoft PhotoScan Professional 12.0软件中进行点云生成、地面控制点几何校正、高度重建等，后续再转到Eris Arcmap 10.3中进行栅格计算并输出株高。这会降低水稻稻株高的检测效率，提成检测成本，也无法实现一站式测量水稻稻株的高度。基于此，本申请提出一种基于yolov5x模型的水稻稻株高度测量方法。
实施例
如图1-图4所示，该基于yolov5x模型的水稻稻株高度测量方法，包括以下步骤：
S100、数据采集，获得水稻不同生长时期的航拍图像以及不同生长时期的高度。具体地，所述获得水稻不同生长时期的航拍图像，包括以下步骤：
S110、利用无人机航拍待检测水稻田不同时期、不同高度的多组原始图像；航拍过程中，包括：
利用无人机航拍待检测水稻田不同生长时期的原始图像；
利用无人机航拍待检测水稻田同一生长时期，不同时刻的原始图像；
利用无人机航拍待检测水稻田同一生长时期、同一时刻但不同高度的原始图像。采集多个不同生长时期的水稻田的图像，经过图像处理即可得到水稻不同生长时期的稻株的高程像素图，因此也就可以对不同生长时期的水稻稻株进行高度测量。采集水稻稻株同一生长时期，同一时刻但不同高度的原始图像，通过对图像的处理，能够得到多组的原始数据，有助于提高后续水稻稻株高度的识别精度。
具体如下：
针对无人机飞行高度较高时获取检测区图像较少，为了解决这一问题，本申请设计出不同高度不同重叠率的数据采集方案，如下表1所示。
表1无人机飞行高度与重叠率对应表
拍摄过程中，无人机以4m/s的速度飞行，拍摄模式选择悬停拍摄模式，相机角度设定为相对于水平线的90°角，即获得的图像为最低点图像，飞行覆盖面积约为5亩，以上设置确保了每次的飞行任务的合理性。
无人机的其他飞行参数见表2。
表2飞行参数
为了减少无人机飞行器在飞行过程中由于拍摄云台不稳定对图像质量产生的消极影响，将拍摄模式设定为悬停拍摄，确保拍摄的图像是在飞行器较为稳定的情况下采集。另外，由于数据采集的时间都选择在光照比较强烈的晴天下午3点左右，为了减少光反射在图像间的差异影响，将无人机相机的白平衡模式统一设置为晴天模式。
数据采集时间大致根据水稻的不同生长时期确定。由于水田前期淹水较多，为避免水面光反射对数据造成污染，无人机拍摄时间选择太阳非垂直光照的时间点，如果遇到下雨或强风，拍摄时间和日期会相应改变。
最终在实际的应用中使用DJI Phantom 4RTK无人机采集了待检测区24个水稻小区，包括9个时期，9个无人飞行高度和3个重复组，共243组数据。水稻移栽后第n天采集的图像数据细节如表3所示。
表3移栽后第n天无人机数据集
随着水稻移栽时间的增加，水稻冠层高度、密度和颜色均发生变化，不同生长期水稻冠层的不同特征对冠层高程像素值的提取和分布产生重要影响，进而对冠层高度检测算法的精度产生影响。数据采集过程中，对于无人机飞行高度，本申请通过提高重叠率来增加图像的数量，以保证了图像数据分布的合理性，且满足三维重建算法对图像数量的要求。不同时间采集的水稻无人机遥感图像如图2所示。
S120、利用三维重建算法对多组原始图像进行重建，得到待检测水稻田不同时期的航拍图像。具体为利用运动恢复重构(SFM)和多视角立体(MVS)算法来将原始图像重建为水稻田的航拍图。
S200、数据处理，对采集的航拍图像进行处理，得到包括水稻稻株高程融合图像的数据集；
S300、获取数据集中第一区域的水稻稻株的高程像素值以及对应水稻稻株的真实高度值，并建立水稻稻株的真实高度与高程像素值之间的最小二乘线性回归模型；
S400、利用YOLOv5x模型对数据集中的第二区域的位置进行识别，获取识别位置的融合图像的高程像素值；
S500、将获取的高程像素值代入建立的最小二乘线性回归模型，得到识别位置的水稻稻株高度。需要说明的是，本申请的第一区域、第二区域是对得到的水稻稻株高程融合图像的数据集进行划分得到的。在实际的应用中，利用第一区域对yolov5x模型进行训练，并经过计算建立水稻稻株的真实高度与高程像素值之间的最小二乘线性回归模型。而后就可以利用建立的线性回归模型对第二区域的水稻进行高度测量。
上述的一种基于yolov5x模型的水稻稻株高度测量方法，该方法包括以下步骤：数据采集，获得水稻不同生长时期的航拍图像以及不同生长时期的高度；数据处理，对采集的航拍图像进行处理，得到包括水稻稻株高程融合图像的数据集；获取数据集中第一区域的水稻稻株的高程像素值以及对应水稻稻株的真实高度值，并建立水稻稻株的真实高度与高程像素值之间的最小二乘线性回归模型；利用YOLOv5x模型对数据集中的第二区域的位置进行识别，获取识别位置的融合图像的高程像素值；将获取的高程像素值代入建立的最小二乘线性回归模型，得到识别位置的水稻稻株高度。该方法基于遥感航拍图像对水稻稻株的高度进行测量，通过采集的图像数据和高度数据建立高程像素值与稻株真实高度之间的线性回归模型，并利用算法对待检测区域的稻株进行识别，将识别结果和线性回归模型相结合来得到待测量区域的稻株的真实高度。该方法能够快速准确检测水稻稻株的高度，通用性强，为研究判断水稻的生长情况提供有力支持。
更具体地，所述获得水稻不同生长时期的高度，包括：
使用卷尺测量地面到水稻植株自然最高点的高度。测量过程中，随机采集4个采样点，使用卷尺测量水稻单株的最高高度。
在一种实施方式中，所述对采集的航拍图像进行处理，得到包括水稻稻株高程融合图像的数据集，包括：
使用软件处理航拍图像，生成航拍图像的正射影像图和数字表面模型；
使用GDAL软件读取航拍图像的数字表面模型，提取数字表面模型中水稻稻株的高程像素值；
将提取的水稻稻株高程像素值融合进航拍图像的正射影像图中，得到包括水稻稻株高程融合图像的数据集。
具体处理过程如下：
用大疆的DJI Terra软件处理无人机的航拍图像。该图像通常是RGB格式，生成正射影像图和数字表面模型(DSM)。其中正射影像图为4波段栅格图像，包括R、G、B三波段信息以及第4波段，其中第4波段的像素值均为255。
使用GDAL软件读取航拍图像的数字表面模型，其中GDAL(Geospatial DataAbstraction Library)是读取大量栅格空间数据格式并广泛应用的遥感图像处理开源库。数字表面模型包括稻株的三维点云数据，利用GDAL读取后即可提取出三维点云数据中的水稻冠层的高程像素值。
将提取的水稻稻株高程像素值融合进航拍图像的正射影像图中，即可得到水稻冠层高程融合图像，将多个水稻冠层高程融合图像打包，即可得到水稻冠层高程融合图像的数据集。其中，融合后的图像如图3所示。
进一步地，所述建立水稻稻株的真实高度与高程像素值之间的最小二乘线性回归模型，包括：
对高程融合图像进行切片处理；切片处理的过程包括切出融合图像无用的范围。而后将大的融合图像切割成多张小图像。这不仅方便后续对水稻幼株进行标注，也可以增加检测目标在图像的比例，加快特征的提取。
筛选出切片后的融合图形中不包括水稻稻株的无关图像；切片后的图像存在一批完全不包含水稻信息的图像，通过筛选并删减出此类图像有利于提高模型的识别效果和精度。
获取多株切片后的图像中多株水稻稻株的高程像素值以及对应的真实高度值；
采用最小二乘线性回归算法建立水稻稻株的真实高度与高程像素值之间的最小二乘线性回归模型。
进一步地，所述线性回归模型为：y＝0.8396x-0.0777；
其中x为水稻单株的高程像素值，y为对应水稻单株的真实值；其中x、y的单位均为米。经过数据验证，该线性回归模型中，相关性系数R2为0.8078，均方根误差RMSE＝2.02cm。以上数据表明，该方法对水稻稻株高度测量具有较高的精度，能够满足水稻幼株高度检测的实际要求。
更进一步地，所述利用YOLOv5x模型对数据集中的第二区域的位置进行识别之前，还包括：
对YOLOv5进行改进，得到YOLOv5x模型，具体包括：
选取YOLOv5x作为基础网络模型；
从筛选后的第一区域的图像中选取数据作为训练集，对YOLOv5x模型进行训练；
增加YOLOv5x基础网络模型的小目标检测层，以及减少Backbone中的卷积层数量，得到改进后的YOLOv5x模型。
具体地，YOLOv5具有YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四个版本。在本申请中，还将筛选后的第一区域的图像按照比例8:1:1划分为训练集、验证集和测试集。利用目标检测模型评价指标(平均精度AP(Average Precision)、模型大小(Weight)和每秒帧数(FPS))去评估上述四个版本的精度，其中YOLOv5x在验证集的AP50最高，为72.31％，其次分别为YOLOv5s(62.42％)、YOLOv5l(71.28％)和YOLOv5m(67.01％)。因此选择精度最高的YOLOv5x作为基础网络模型。确定了基础网络模型后，为了提高模型的识别精度和识别时间，需要减少模型中Backbone中的卷积层数以及增加一层小目标检测层对基础网络模型作改进。通过评估指标发现，改进后的YOLOv5x模型识别的准确率有所提高，识别速度稍微下降，但改进后的YOLOv5x模型仍然具有较高的可行性，改进后的基础网络模型在测试集的测量过程中具有较高的准确率。
进一步地，所述利用YOLOv5x模型对数据集中的第二区域的位置进行识别前，包括：
对高程融合图像进行切片处理；
筛选出切片后的融合图形中不包括水稻稻株的无关图像；
利用目标检测标注软件对筛选后的切片图像进行标注，得到添加了识别框的切片图像；标注过程中，利用python编程的labelimg脚本对图像进行标注，该脚本使用的是矩形标注框，可以生成voc、yolo两种格式的标注文件，具体的标注过程如图4所示。
其中，每个识别框中包括一颗水稻稻株。
在更具体的实施方式中，所述获取识别位置的融合图像的高程像素值，包括：
获取识别框的坐标；
提取识别框中的高程像素值。
在标注过程中，保证每一个识别框中有且只有一个水稻稻株，那么识别框中的高程像素值即代表水稻稻株的高度。在用改进后的yolov5x模型得到识别框的坐标及对应的高程像素值后，将提取的高程像素值代入到最小二乘线性回归模型，即可得水稻稻株的高度。
表4为采用本申请的识别方法对水稻株高进行测量识别的反馈表。
表4水稻单株高度模型与真实值误差对比
从上表可知，本申请所请求保护的基于yolov5x模型的水稻稻株高度测量方法测量的水稻高度误差在2-3cm的范围内，准确率高，具有较大的实用价值。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。在本申请的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于yolov5x模型的水稻稻株高度测量方法，其特征在于，包括：
数据采集，获得水稻不同生长时期的航拍图像以及不同生长时期的高度；
数据处理，对采集的航拍图像进行处理，得到包括水稻稻株高程融合图像的数据集；
获取数据集中第一区域的水稻稻株的高程像素值以及对应水稻稻株的真实高度值，并建立水稻稻株的真实高度与高程像素值之间的最小二乘线性回归模型；
利用YOLOv5x模型对数据集中的第二区域的位置进行识别，获取识别位置的融合图像的高程像素值；
将获取的高程像素值代入建立的最小二乘线性回归模型，得到识别位置的水稻稻株高度。
2.根据权利要求1所述的基于yolov5x模型的水稻稻株高度测量方法，其特征在于：
所述获得水稻不同生长时期的航拍图像，包括：
利用无人机航拍待检测水稻田不同时期、不同高度的多组原始图像；
利用三维重建算法对多组原始图像进行重建，得到待检测水稻田不同时期的航拍图像。
3.根据权利要求2所述的基于yolov5x模型的水稻稻株高度测量方法，其特征在于：
利用无人机航拍待检测水稻田不同时期、不同高度的多组原始图像，包括：
利用无人机航拍待检测水稻田不同生长时期的原始图像；
利用无人机航拍待检测水稻田同一生长时期，不同时刻的原始图像；
利用无人机航拍待检测水稻田同一生长时期、同一时刻但不同高度的原始图像。
4.根据权利要求2所述的基于yolov5x模型的水稻稻株高度测量方法，其特征在于：
所述获得水稻不同生长时期的高度，包括：
使用卷尺测量地面到水稻植株自然最高点的高度。
5.根据权利要求2所述的基于yolov5x模型的水稻稻株高度测量方法，其特征在于：
所述对采集的航拍图像进行处理，得到包括水稻稻株高程融合图像的数据集，包括：
使用软件处理航拍图像，生成航拍图像的正射影像图和数字表面模型；
使用GDAL软件读取航拍图像的数字表面模型，提取数字表面模型中水稻稻株的高程像素值；
将提取的水稻稻株高程像素值融合进航拍图像的正射影像图中，得到包括水稻稻株高程融合图像的数据集。
6.根据权利要求2所述的基于yolov5x模型的水稻稻株高度测量方法，其特征在于：
所述建立水稻稻株的真实高度与高程像素值之间的最小二乘线性回归模型，包括：
对高程融合图像进行切片处理；
筛选出切片后的融合图形中不包括水稻稻株的无关图像；
获取多株切片后的图像中多株水稻稻株的高程像素值以及对应的真实高度值；
采用最小二乘线性回归算法建立水稻稻株的真实高度与高程像素值之间的最小二乘线性回归模型。
7.根据权利要求6所述的基于yolov5x模型的水稻稻株高度测量方法，其特征在于：
所述线性回归模型为：y＝0.8396x-0.0777；
其中x为水稻单株的高程像素值，y为对应水稻单株的真实值，其中x、y的单位均为米。
8.根据权利要求1所述的基于yolov5x模型的水稻稻株高度测量方法，其特征在于：
所述利用YOLOv5x模型对数据集中的第二区域的位置进行识别之前，还包括：
对YOLOv5进行改进，得到YOLOv5x模型，具体包括：
选取YOLOv5x作为基础网络模型；
从筛选后的第一区域的图像中选取数据作为训练集，对YOLOv5x模型进行训练；
增加YOLOv5x基础网络模型的小目标检测层，以及减少Backbone中的卷积层数量，得到改进后的YOLOv5x模型。
9.根据权利要求1所述的基于yolov5x模型的水稻稻株高度测量方法，其特征在于：
所述利用YOLOv5x模型对数据集中的第二区域的位置进行识别前，包括：
对高程融合图像进行切片处理；
筛选出切片后的融合图形中不包括水稻稻株的无关图像；
利用目标检测标注软件对筛选后的切片图像进行标注，得到添加了识别框的切片图像；
其中，每个识别框中包括一颗水稻稻株。
10.根据权利要求1所述的基于yolov5x模型的水稻稻株高度测量方法，其特征在于：
所述获取识别位置的融合图像的高程像素值，包括：
获取识别框的坐标；
提取识别框中的高程像素值。
CN202310555177.7A 2023-05-16 2023-05-16 一种基于yolov5x模型的水稻稻株高度测量方法 Pending CN116823916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310555177.7A CN116823916A (zh) 2023-05-16 2023-05-16 一种基于yolov5x模型的水稻稻株高度测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310555177.7A CN116823916A (zh) 2023-05-16 2023-05-16 一种基于yolov5x模型的水稻稻株高度测量方法

Publications (1)

Publication Number Publication Date
CN116823916A true CN116823916A (zh) 2023-09-29

Family

ID=88140104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310555177.7A Pending CN116823916A (zh) 2023-05-16 2023-05-16 一种基于yolov5x模型的水稻稻株高度测量方法

Country Status (1)

Country Link
CN (1) CN116823916A (zh)

Similar Documents

Publication Publication Date Title
Guo et al. Crop 3D—a LiDAR based platform for 3D high-throughput crop phenotyping
JP5020444B2 (ja) 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
CN105678281B (zh) 基于光谱和纹理特征的地膜覆盖农田遥感监测方法
CN109086826B (zh) 基于图像深度学习的小麦干旱识别方法
CN111553245A (zh) 基于机器学习算法和多源遥感数据融合的植被分类方法
GB2618896A (en) System and method for crop monitoring
CN109117811A (zh) 一种基于低空遥感测量技术估算城市植被覆盖率的系统及方法
Zhang et al. 3D monitoring for plant growth parameters in field with a single camera by multi-view approach
CN109816680B (zh) 一种农作物株高的高通量计算方法
KR20210063016A (ko) 작물 재배면적 추출방법 및 프로그램
CN105758806B (zh) 基于光谱特征的地膜覆盖农田遥感监测方法
CN113920106B (zh) 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
CN110969654A (zh) 基于收割机的玉米高通量表型测量的方法及装置、收割机
CN112036407B (zh) 一种植物群体三维表型原位获取方法及装置
CN113325872A (zh) 植物的巡查方法及装置、系统、飞行器
CN111833435A (zh) 无人机近地遥感成熟作物密度高通量测量方法
CN112163639A (zh) 一种基于高度分布特征向量的作物倒伏分级方法
CN111598937A (zh) 一种基于标定区块对靶校正的农田测亩方法及系统
Thomas et al. Impacts of abrupt terrain changes and grass cover on vertical accuracy of UAS-SfM derived elevation models
Saeed et al. Cotton plant part 3D segmentation and architectural trait extraction using point voxel convolutional neural networks
Song et al. Dynamic detection of three-dimensional crop phenotypes based on a consumer-grade RGB-D camera
CN117576195A (zh) 一种植物叶片形态识别方法
CN111814585A (zh) 无人机近地空作物苗情遥感监测方法、装置及存储介质
CN111191543A (zh) 油菜产量估测方法
CN116823916A (zh) 一种基于yolov5x模型的水稻稻株高度测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination