CN117576195A - 一种植物叶片形态识别方法 - Google Patents

一种植物叶片形态识别方法 Download PDF

Info

Publication number
CN117576195A
CN117576195A CN202311701581.7A CN202311701581A CN117576195A CN 117576195 A CN117576195 A CN 117576195A CN 202311701581 A CN202311701581 A CN 202311701581A CN 117576195 A CN117576195 A CN 117576195A
Authority
CN
China
Prior art keywords
image
leaf
blade
model
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311701581.7A
Other languages
English (en)
Inventor
李亚昕
徐乐
陈庆山
魏峭嵘
赵振庆
胡利民
李双哲
杨明亮
胡振帮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Agricultural University
Original Assignee
Northeast Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Agricultural University filed Critical Northeast Agricultural University
Priority to CN202311701581.7A priority Critical patent/CN117576195A/zh
Publication of CN117576195A publication Critical patent/CN117576195A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种植物叶片形态识别方法，属于作物表型获取技术领域，获取田间植物叶片的无人机可见光影像作为样本图像，将样本图像划分为多个子区域，对各子区域做标签，并对各子区域的无人机可见光影像中的顶部小叶进行标注；获取实地叶片图像，构建训练集；使用训练后的Yolov5目标检测模型进行顶部小叶识别，得到顶部小叶对应的各子区域的叶片图像；使用训练后的U‑Net语义分割模型，对顶部小叶对应的各子区域的叶片图像进行分割，计算各叶片的叶片形态系数；基于随机森林回归模型，对实地叶片图像的叶片形态系数与计算的叶片形态系数建模，回归预测待识别的植物叶片图像的叶片形态系数。通过该方法能够无损、快速准确的获取叶片形态信息。

Description

一种植物叶片形态识别方法
技术领域
本发明涉及作物表型获取技术领域，更具体的涉及一种基于无人机可见光影像与深度学习的植物叶片形态识别方法。
背景技术
叶片是植物进行光合作用的重要器官，在光合作用积累、气体交换、养分分配和水分输送等各方面发挥着重要的作用。叶片形态会显著影响植物冠层的蒸腾作用、光合作用效率、对病虫害的抵抗力、植株种植密度等，进而影响植物的产量与品质。作物表型组学是指采用遥感、传感器、成像技术等对植物可观察的性状进行高通量和高精度的测量，进而对表型数据与基因型数据之间的关联进行研究，以在大量作物品种内发现控制植物性状的关键基因，进行遗传改良和育种。因此，在现代化的智慧农业生产实践中，采用作物表型组学的方法对叶片形态进行快速、无损、精准、批量化的测量，对于进一步寻找控制植物叶片形态的关键基因，推进作物的遗传改良具有重要意义。
传统的植物叶片形态参数测量方法主要有方格法、称重法、回归法、像素扫描法、光电叶面积仪器法、图像处理法等。方格法测量的准确度相对较低，且不适用于形状复杂的叶片。称重法需要破坏叶片来完成测量。回归法需要大量的叶片数据来建立回归模型，且测量误差较大。像素扫描法需要高质量的图像获取设备，且处理步骤也比较复杂。光电叶面积仪器法与图像处理法的测量原理类似，均需要使用相对昂贵的专业设备，破坏性地取下叶片进行测量，测量过程较为复杂且易出现错误分析。
综上，传统的测量方法在进行叶片形态参数的表型数据获取时，需要破坏性地取下叶片进行测量，无法实现对叶片形态进行无损测量，导致测量误差大，影响了叶片形态系数的测量精度。
发明内容
针对上述领域中存在的问题，本发明提出了一种植物叶片形态识别方法，能够解决传统的测量方法在进行叶片形态参数的表型数据获取时，需要破坏性地取下叶片进行测量，无法实现对叶片形态进行无损测量，导致测量误差大，影响了叶片形态系数的测量精度的技术问题。
为解决上述技术问题，本发明公开了一种植物叶片形态识别方法，包括以下步骤：
获取田间植物叶片的无人机可见光影像作为样本图像，将样本图像划分为多个子区域，对各子区域做标签，并对各子区域的无人机可见光影像中的顶部小叶进行标注；获取实地叶片图像，将标注后的样本图像和实地叶片图像作为训练集；
通过训练集对Yolov5目标检测模型进行训练；使用训练后的Yolov5目标检测模型进行顶部小叶识别，得到顶部小叶对应的各子区域的叶片图像；
通过训练集对U-Net语义分割模型进行训练；使用训练后的U-Net语义分割模型，对顶部小叶对应的各子区域的叶片图像进行分割，根据分割结果，计算各叶片的叶片形态系数；
基于随机森林回归模型，对实地叶片图像的叶片形态系数与计算的叶片形态系数建模，进行随机森林回归模型训练；通过训练后的随机森林回归模型，回归预测待识别的植物叶片图像的叶片形态系数。
优选地，所述对各子区域的无人机可见光影像中的顶部小叶进行标注，包括以下步骤：
使用Agisoft Metashape软件对样本图像进行预处理，输出植物田间正射影像和田间正射影像的对角的坐标，并确定植株的排布方式；
在植物田间正射影像上按照每个小区的大小设置各小区矢量边界图；采用ArcGIS软件的Create Fishnet工具进行网格划分，输入植物田间正射影像上的左上角与右下角的GPS坐标，并且根据植株的排布方式输入小区的行数与列数，生成各个种植小区的矢量边界图，并在矢量图中给每个小区添加Name属性，作为区分每个小区的依据；
采用ArcGIS的Split By Attributes工具，输入矢量边界图，设置分割字段为Name，将每个小区的矢量图从整张矢量边界图中分割出来，此时Name字段被设置为每个小区矢量图文件的名称；
采用ArcGIS的模型构建器，循环读取所有小区矢量图文件，输入Extract By Mask工具中作为Input raster or feature mask data，输入植物田间正射影像作为Inputraster，输入％Name％.GIF作为Output raster，利用各小区的矢量图将每个植物种植小区的无人机可见光影像从整张无人机可见光影像中分割出来，获得各子区域的无人机可见光影像；
对各子区域的无人机可见光影像的植物顶部小叶进行标注，得到标注后的样本图像。
优选地，所述实地叶片图像的获取，包括以下步骤；
根据不同的种植小区分别采集田间每个种植小区种植的不同品种各个生长阶段的植物，采集若干个小区内植物的顶部小叶并置于采样袋中；
获取植物叶片无人机可见光影像的同时，通过相机拍摄采集实地叶片的叶片图像；采用Photoshop软件测量出实地叶片图像的叶片形态参数包括长度、宽度、面积和周长；
根据长度、宽度、面积和周长，分别计算出叶片形态系数包括叶片长宽比和叶片解剖指数。
优选地，所述得到顶部小叶对应的各子区域的叶片图像，包括以下步骤：
使用Yolov5目标检测模型，将带有顶部小叶标注的叶片图像输入Yolov5目标检测模型进行训练，得到训练后的Yolov5目标检测模型；
采用Yolov5m版本进行Yolov5目标检测模型的训练，Yolov5目标检测模型的最后一层输出检测结果，使用锚框来预测不同尺寸和纵横比的目标框，输出结果包括边界框的坐标和类别概率；
使用训练后的Yolov5目标检测模型进行顶部小叶识别，输出IoU指标为前8且检测无重叠的锚框坐标，并按照锚框坐标对各种植小区的无人机可见光影像进行裁剪，输出文件名为小区名与锚框计数组合的图像；
其中，Yolov5目标检测模型以CSPDarknet53作为其主干网络，在主干网络后添加一个称为PANet的颈部网络，用于改善多尺度特征的表示能力；目标检测模型Yolov5的头部包括一系列卷积和池化层，用于生成检测框和类别概率；
Yolov5目标检测模型中使用的主要激活函数是Leaky ReLU，用于增加网络的非线性特性；最后一层的激活函数为sigmoid函数，用于将边界框的坐标和类别概率限制在0到1之间；
使用多尺度Anchor Boxes和IoU损失函数来衡量目标检测的准确性，通过计算检测框的坐标损失和类别损失，学习如何更好地定位和分类目标。
优选地，所述对顶部小叶对应的各子区域的叶片图像进行分割，包括以下步骤：
在无人机可见光影像上按照每个小区设置大小统一的矢量边界图，通过矢量图将每个小区分割出来，并将小区号作为各子区域标签，设置为图名保存，作为输入数据；
使用训练后的U-Net语义分割模型对输入的数据进行分割，输出各叶片的图像分割结果；
使用U-Net语义分割模型，对顶部小叶对应的各子区域的叶片图像进行分割，将每个叶片从文件名为小区名与锚框计数组合的图像中分割出来，并将语义分割后的结果还原到原图片大小，计算各叶片的叶片形态系数；
其中，U-Net语义分割模型输入层的输入尺寸为128,128,3，即128×128的彩色图像，U-Net语义分割模型的左侧部分为编码器，用于从输入图像中提取高级特征，每个卷积层采用的激活函数为ReLU，最大池化层尺寸为2×2；U-Net语义分割模型的编码器部分和解码器部分之间的连接层为中间层，用于捕获不同细节级别的特征，并将这些特征传递到解码器部分以生成最终的分割结果；
U-Net语义分割模型的右侧部分为解码器，用于将中间特征图映射回原始输入图像的尺寸；解码器由多个反卷积层和跳跃连接组成，反卷积层用于逐步增加特征图的分辨率，跳跃连接将编码器和解码器的对应层相连接；
U-Net语义分割模型的输出层输出一个具有单个通道的特征图，该特征图用Sigmoid激活函数激活，用于二进制图像分割；
U-Net语义分割模型编译使用Adam优化器，二进制交叉熵损失函数，使用数据生成器进行数据集的导入，用于从指定路径加载训练图像和相应的掩码图像并将它们归一化，在训练期间生成小批量的训练数据，设置训练的Epoch数量与批量大小，将模型保存在指定路径中。
优选地，所述计算各叶片的叶片形态系数，包括以下步骤：
根据图像分割的结果，得到各叶片的图像轮廓，建立最小外接矩形；
提取最小外接矩形的长度和宽度作为叶片的长度和宽度，计算经过语义分割后的结果的最大轮廓的周长与面积得到叶片面积与周长；
将叶片长度除以叶片宽度，得到叶片的长宽比；利用叶片周长与面积计算叶片解剖指数。
优选地，所述叶片的长宽比和叶片解剖指数的计算公式分别为：
叶片的长宽比表达式为：
length/width＝rect_length/rect_width
式中，rect_length代表叶片语义分割结果中最小外接矩形的长度；rect_width代表叶片最小外接矩形的宽度；
叶片解剖指数表达式为：
(perimeter-squared)/(4π×area)＝((perimeter^2)/(4×π×area))
式中，perimeter代表叶片语义分割结果中最大轮廓的周长，area代表叶片语义分割结果中最大轮廓的面积。
优选地，所述回归预测待识别的植物叶片的叶片形态系数，包括以下步骤：
利用随机森林回归模型，将计算的叶片周长与面积计算叶片解剖指数与实地叶片图像的叶片周长与面积计算的叶片解剖指数建模；
利用网格搜索的方法，求取随机森林回归模型的最优参数，用于对随机森林回归模型进行训练；利用训练后的随机森林回归模型，对待识别的植物叶片的无人机可见光影像进行回归预测，获得待识别植物叶片的叶片长宽比和叶片解剖指数。
与现有技术相比，本发明具有如下有益效果：
本发明通过无人机可见光影像获取田间植物叶片形态信息表型并进行处理，获取各子区域的无人机影像，能够无损提取叶片形态参数信息，采用无人机搭载可见光相机获取的田间影像作为样本数据数据源，对样本数据进行标注，使用Yolov5目标检测模型能够准确输出预测锚框并进行裁剪得到顶部小叶对应的各子区域的叶片图像，采用U-Net语义分割模型对顶部小叶对应的各子区域的叶片图像进行分割，根据分割结果计算各叶片的叶片形态系数，U-Net语义分割模型具有参数量更少，网络更加轻量化的优点，大大节省了训练的时间成本；根据获取的实地叶片图像与计算的叶片形态系数，构建随机森林回归模型，对待识别的植物叶片图像进行回归预测，分别预测出叶片长宽比和叶片解剖指数。该方法通过无人机影像能够保证对叶片形态参数信息的无损提取，同时通过识别和分割能够快速准确的获取叶片形态信息，与传统的叶片形态信息获取的方法相比，突破了传统的叶片形态信息获取方法对植物叶片的破坏性及叶片形态信息获取过程的复杂性、自动化程度低与准确性低的缺陷。
附图说明
图1为本发明的整体方法流程示意图；
图2为本发明构建目标检测模型Yolov5架构图，其中：
图2(a)为本发明目标检测模型Yolov5大体组成部分示意图；
图2(b)为本发明目标检测模型Yolov5的每个模块的详细组成结构示意图；
图3为本发明的本发明采用的语义分割模型U-Net架构图；
图4为本发明实施例的实物照片，其中：
图4(a)为本发明实地采集的大豆叶片样本；
图4(b)为本发明无人机搭载可见光相机获取的大豆田间影像；
图4(c)为本发明训练后的目标检测模型Yolov5对大豆顶部小叶进行检测的结果；
图4(d)为本发明训练后的语义分割模型U-Net对裁剪后的叶片进行分割的结果；
图5为本发明实施例的随机森林回归模型进行叶片形态参数预测的结果，其中：
图5(a)为本发明随机森林回归模型训练集的预测叶片长宽比与实测叶片长宽比拟合的结果；
图5(b)为本发明随机森林回归模型训练集的预测叶片解剖指数与实测叶片解剖指数拟合的结果；
图5(c)为本发明随机森林回归模型验证集的预测叶片长宽比与实测叶片长宽比拟合的结果；
图5(d)为本发明随机森林回归模型验证集的预测叶片解剖指数与实测叶片解剖指数拟合的结果。
具体实施方式
下面将结合本发明实施例中的附图1-5，对本发明实施例中的技术方案进行清楚、完整地描述。应理解本发明中所述的术语仅仅是为描述特别的实施方式，并非用于限制本发明。
目前，通过无人机搭载可见光相机进行田间植物影像获取，并结合计算机视觉技术获取植物表型的方法受到关注，其具有快速、无损、精准、批量化等优点，相对于以往的像素扫描方法与图像处理方法具有非破坏性取样、大批量获取、自动化程度高等优点，减少了取样、整理与放置叶片到特定背景板上、相机拍照等一系列步骤，并且可以重复地对生长中的同一片叶片进行叶片形态信息的获取。
如图1所示，本发明实施例提供一种植物叶片形态识别方法，包括以下步骤：
1)无人机可见光数据采集。使用无人机搭载可见光相机对田间植物进行数据采集，同时进行实地叶片样本的采集；
2)无人机数据预处理与目标检测数据集构建。采用专业软件进行无人机影像的预处理，输出正射影像，构建目标检测数据集；
3)目标检测模型构建与语义分割数据集构建。构造Yolov5目标检测模型，将检测到的目标裁剪出来并调整图片到统一大小，构建语义分割数据集；
4)语义分割模型构建与叶片形态指数计算。构造U-Net语义分割模型，并将语义分割后的结果还原到原图片大小，计算叶片形态指数；
5)随机森林回归算法构建与预测。利用随机森林回归算法构建植物叶片指数预测模型，利用训练后的随机森林回归模型进行预测，获得各子区域的叶片形态系数的预测结果；根据预测结果，计算各子区域的叶片形态系数的测量精度。
实施例
如图1所示，本发明实例提供一种基于无人机影像与深度学习的大豆叶片形态识别方法，能够对大豆叶片形态参数进行快速、无损、精准、批量化的测量，以便获取田间大批量大豆品种的叶片形态参数，从而进一步对控制大豆叶片形态的关键基因进行挖掘。
S1：多品种大豆田间种植实验
如图4所示，为有效收集到多个品种大豆无人机叶片形态参数，本实例在农场田间进行大豆的种植。本实例共种植270个大豆品种，如图4(b)所示，获得的大豆植株的排布方式为八行五十列，每个大豆小区长2.5米，宽0.6米，播种15-20粒种子。
S2：无人机可见光影像获取与预处理
在大豆播下三个月后进行无人机影像的获取，获得的可见光数据，可以是在植物在出苗后各个生长期进行获取的。采用的无人机为四旋翼无人机，无人机飞行高度为20米，前向重叠率与侧向重叠率均设置为50％，在中午12:00到14:00点进行影像获取，保证光线充足且稳定。
使用Agisoft Metashape软件进行无人机可见光影像预处理，输出大豆田正射影像，如图4(b)所示。在大豆田正射影像上按照每个小区的大小设置各小区矢量边界图。采用ArcGIS软件的“Create Fishnet”工具，输入大豆田正射影像上的左上角与右下角的GPS坐标，并且输入小区的行数与列数，生成各个种植小区的矢量边界图，并在矢量图中给每个小区添加“Name”属性，作为区分每个小区的依据。采用ArcGIS的“Split By Attributes”工具，输入矢量边界图，设置分割字段为“Name”，将每个小区的矢量图从整张矢量边界图中分割出来，此时“Name”字段被设置为每个小区矢量图文件的名称。采用ArcGIS的模型构建器，循环读取所有小区矢量图文件，输入“Extract By Mask”工具中作为“Input raster orfeature mask data”，输入大豆田正射影像作为“Input raster”，输入“％Name％.GIF”作为“Output raster”，利用各小区的矢量图将每个大豆种植小区的影像从整张无人机影像中分割出来，最终得到各种植小区的无人机影像。
S3：实地叶片样本采集与叶片形态参数计算
为验证所建立模型的准确性，在获取无人机影像的同时采集实地叶片样本，如图4(a)所示，为采集的实地叶片示意图。选择50个大豆小区采集样本，选择大豆顶部小叶，每个小区采集四片叶片样本装入采集袋中。
采集的叶片样本使用相机进行拍摄，采用Photoshop软件测量出实地样本的叶片形态参数，包括长度(length)、宽度(width)、面积(area)、周长(perimeter)，进而计算出两个叶片形态系数包括叶片长宽比(length/width)和叶片解剖指数(perimeter-squared)/(4π×area)。
S4：目标检测模型Yolov5构造
采用的无人机拼接影像的专业软件Agisoft Metashape，将每个种植小区的正射影像使用ArcGIS软件分割出来并以小区序号命名。构建的目标检测数据集可以是采用MakeSense工具进行数据标注的。
构建了一个Yolov5目标检测模型，用于在无人机可见光影像中检测大豆顶部小叶，该Yolov5目标检测模型通过Python语言开源软件构建。
首先使用Make sense图像标注工具对每个无人机小区图中的清晰可见、无遮挡覆盖、无翻转扭曲的大豆顶部小叶进行标注，并将标注后的结果保存为可用于Yolov5目标检测模型训练的格式。采用的Yolov5目标检测模型的模型结构，具体的，采用轻量化与准确率都相对较高的Yolov5m模型进行训练。
如图2(a)和图2(b)所示，Yolov5目标检测模型为使用CSPDarknet53作为其主干(backbone)网络，在主干网络之后，添加了一个称为PANet(Path Aggregation Network)的颈部(neck)网络，用于改善多尺度特征的表示能力。模型的头部(head)由一系列卷积和池化层组成，用于生成检测框和类别概率，采用轻量化程度与精度都较高的Yolov5m版本进行模型的训练。模型的最后一层输出检测结果，使用锚框(anchor box)来预测不同尺寸和纵横比的目标框，输出结果包括边界框的位置(坐标)和类别概率，如图4(c)所示，为本发明训练后的Yolov5目标检测模型对大豆顶部小叶进行检测的结果。
Yolov5目标检测模型中使用的主要激活函数是Leaky ReLU，用于增加网络的非线性特性。最后一层的激活函数通常是sigmoid，用于将边界框的坐标和类别概率限制在0到1之间。使用多尺度Anchor Boxes和IoU(Intersection over Union)损失函数来衡量目标检测的准确性，通过计算检测框的坐标损失和类别损失，模型学习如何更好地定位和分类目标。
使用训练后的Yolov5目标检测模型对各种植小区的无人机影像进行识别，识别时输出IoU指标为前8且检测无重叠的锚框坐标，并按照锚框坐标对各种植小区的无人机影像进行裁剪，输出文件名为小区名与锚框计数组合的影像。
S5：U-Net语义分割模型构建
构建U-Net语义分割模型，用于从裁剪出的叶片图片中准确提取叶片的轮廓，将叶片从复杂的无人机影像背景中区分出来，U-Net语义分割模型通过Python语言开源软件构建。
采用U-Net语义分割模型，模型输入层的输入尺寸为(128,128,3)，即128×128的彩色图像，模型左侧部分为编码器，用于从输入图像中提取高级特征，每个卷积层采用的激活函数为ReLU，最大池化层尺寸为2×2。
U-Net语义分割模型的编码器部分和解码器部分之间的连接层为中间层，用于捕获不同细节级别的特征，并将这些特征传递到解码器部分以生成最终的分割结果。模型右侧部分为解码器，用于将中间特征图映射回原始输入图像的尺寸。解码器由多个反卷积(或上采样)层和跳跃连接(Skip Connections)组成，反卷积层用于逐步增加特征图的分辨率，跳跃连接将编码器和解码器的对应层相连接，使模型能够保留详细的低级特征信息。
U-Net语义分割模型的输出层输出一个具有单个通道的特征图，该特征图用Sigmoid激活函数激活，用于二进制图像分割。模型编译使用Adam优化器，二进制交叉熵损失函数。使用数据生成器进行数据集的导入，用于从指定路径加载训练图像和相应的掩码图像并将它们归一化，在训练期间生成小批量的训练数据。设置训练的Epoch数量与批量大小，将模型保存在指定路径中，以便后续使用。
首先使用Labelme图像标注工具对每张裁剪出的影像以小区号为标签，进行图像标注，输出Json文件。将Json文件转化为二值化的PNG图片，以构建大豆叶片语义分割数据集。将大豆叶片语义分割数据集内的图像重采样到长和宽均为128像素，并按照8:2的比例分配训练集与测试集，最终得到的数据集的训练集为2084张影像与标签，测试集为521张影像与标签。如图3所示，为所采用的U-Net模型的模型结构，将模型的输入层的输入图片尺寸设置为128×128×3进行训练。采用随机水平翻转和随机垂直翻转的方式进行数据增强，设置batch_size为16，学习率为0.001，epoch为500，每轮训练的epoch为训练集图片总数量除以batch_size。
使用训练后的U-Net语义分割模型对上一步裁剪出的各种植小区大豆顶部小叶的影像进行预测，首先将所有影像重采样到长和宽均为128像素，进行预测后输出经过语义分割的影像，如图4(d)所示，并根据原叶片影像的大小将输出的影像还原到初始大小，以进行下一步叶片形态参数的提取与计算。
S6：叶片形态参数的提取与计算
通过Python语言开源软件中的计算机视觉库OpenCV、科学计算库Numpy等开源工具进行叶片形态参数的提取与计算。首先确定要进行提取与计算的叶片形态参数，包括叶片长度(length)、宽度(width)、面积(area)、周长(perimeter)，进而计算出两个叶片形态参数叶片长宽比(length/width)和叶片解剖指数(perimeter-squared)/(4π×area)。
计算叶片形态参数时可以是获取图像中心点，通过检测轮廓内是否包含图像中心点来确定提取到正确轮廓，可以是通过去除超过三倍标准差的方法来去除异常值。
其中，叶片的长度与宽度的提取首先寻找经过语义分割后的结果的最大轮廓，计算其最小外接矩形，提取最小外接矩形的长度和宽度作为叶片的长度和宽度。叶片面积与周长的提取是计算经过语义分割后的结果的最大轮廓的周长与面积，作为叶片的周长与面积。
具体的，将叶片长度除以叶片宽度，得到叶片的长宽比length/width如式(1)所示。
length/width＝rect_length/rect_width (1)
式(1)中，rect_length代表叶片语义分割结果中最小外接矩形的长度；rect_width代表叶片最小外接矩形的宽度。
利用叶片周长与面积计算叶片解剖指数(perimeter-squared)/(4π×area)，如式(2)所示。
(perimeter-squared)/(4π×area)＝((perimeter^2)/(4×π×area)) (2)
式(2)中，perimeter代表叶片语义分割结果中最大轮廓的周长，area代表叶片语义分割结果中最大轮廓的面积。
通过检测图片中心点是否在最大轮廓内，确保所识别的最大轮廓为图片中心的叶片，而非背景中的其他叶片。
提取所有图片的叶片形态参数后，根据每个种植小区将叶片形态参数进行分组，去除大于和小于三倍标准差的值后取平均值，保存在Excel文件中。
最终的Excel文件中包含的内容为：小区名、叶片长宽比均值、叶片解剖指数均值、周长均值、面积均值、长度均值和宽度均值。
S7：随机森林回归算法的构建与预测
将实地采集的叶片形态参数与提取的叶片形态参数进行匹配，共得到43份数据，按照8:2的比例将数据分为训练集与验证集，利用随机森林回归模型将实地采集的叶片形态参数与提取的叶片形态参数建模，回归预测待识别的植物叶片的叶片形态参数，通过Python语言开源软件构建。
以步骤S6中提取的叶片形态参数作为输入特征，实地采集样本的叶片形态参数中的叶片长宽比与叶片解剖系数分别作为回归预测的真实值，构建两个随机森林回归模型。
随机森林算法的主要参数n_estimators、max_depth、min_samples_split、min_samples_leaf的最优组合通过网格搜索的方法确定，用于构建的随机森林回归模型进行训练，通过训练后的随机森林回归模型进行训练，分别预测出两个重要的叶片形态参数：叶片长宽比和叶片解剖指数。
S8：叶片形态参数预测精度评估
将待验证评估的大豆叶片样本匹配的叶片形态参数数据输入步骤S7构建的回归预测模型中，验证模型对于大豆叶片形态参数的预测效果。
使用以下四个指标，用于验证测量的叶片形态参数的精度：
均方误差(MSE)，是常用的回归模型评估指标，用于度量模型的预测值与真实值之间的平方差的平均值，MSE值越低，模型的预测效果越好：
其中，n表示样本数量，yi表示真实值，表示模型预测值。
决定系数(R2)，用于表示模型对总方差的解释程度，它的值范围从0到1，越接近1表示模型能够更好地解释观测数据的方差：
其中，yi表示真实值，表示模型预测值，/>表示真实值的平均值。
解释方差得分为(EV)，用于衡量模型对因变量的变异性中可以被模型解释的部分，提供了关于模型对数据拟合程度的度量，着重于模型所能解释的方差部分而非全部方差：
其中，yi表示真实值，表示模型预测值，Var表示方差。
平均绝对误差(MAE)，是真实值与预测值之间的绝对差值的平均值，MAE不考虑误差的平方而更关注误差的绝对大小，MAE越小表示模型对大豆叶片形态参数预测的越准确：
其中，yi表示真实值，表示模型预测值。
通过预测，得到最终的训练集与验证集的精度结果如表1所示。
表1训练集与验证集的精度结果
本发明所提出方法在大豆叶片数据集的训练集与验证集均得到了较好的精度结果，其训练集与验证集的叶片长宽比与叶片解剖指数的预测结果如图5所示。如图5(a)和图5(c)所示，叶片长宽比的预测R2值在训练集和验证集分别达到了0.89和0.69，如图5(b)和图5(d)所示，叶片解剖指数的预测R2值在训练集和验证集分别达到了0.94和0.61，测量精度指标MSE、EV与MAE也达到了较好的效果。并且利用步骤S7构建的随机森林回归模型可在数秒内完成对大豆两种叶片形态参数的预测。
本发明采用无人机影像采集叶片图像，能够对叶片的形态参数信息进行无损提取，通过构建随机森林回归模型，对大豆叶片形态参数进行快速准确预测，实现对生长中的叶片进行多次叶片形态信息的获取，该方法对于调控叶片形态的基因挖掘研究与进一步推进植物的遗传改良提供了一种强有力的技术手段。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
另外，除非另有说明，否则本发明使用的所有技术和科学术语具有本发明所属领域的常规技术人员通常理解的相同含义。本说明书中提到的所有文献通过引用并入，用以公开和描述与所述文献相关的方法。在与任何并入的文献冲突时，以本说明书的内容为准。

Claims (8)

1.一种植物叶片形态识别方法，其特征在于，包括以下步骤：
获取田间植物叶片的无人机可见光影像作为样本图像，将样本图像划分为多个子区域，对各子区域做标签，并对各子区域的无人机可见光影像中的顶部小叶进行标注；获取实地叶片图像，将标注后的样本图像和实地叶片图像作为训练集；
通过训练集对Yolov5目标检测模型进行训练；使用训练后的Yolov5目标检测模型进行顶部小叶识别，得到顶部小叶对应的各子区域的叶片图像；
通过训练集对U-Net语义分割模型进行训练；使用训练后的U-Net语义分割模型，对顶部小叶对应的各子区域的叶片图像进行分割，根据分割结果，计算各叶片的叶片形态系数；
基于随机森林回归模型，对实地叶片图像的叶片形态系数与计算的叶片形态系数建模，进行随机森林回归模型训练；通过训练后的随机森林回归模型，回归预测待识别的植物叶片图像的叶片形态系数。
2.根据权利要求1所述的植物叶片形态识别方法，其特征在于，所述对各子区域的无人机可见光影像中的顶部小叶进行标注，包括以下步骤：
使用Agisoft Metashape软件对样本图像进行预处理，输出植物田间正射影像和田间正射影像的对角的坐标，并确定植株的排布方式；
在植物田间正射影像上按照每个小区的大小设置各小区矢量边界图；采用ArcGIS软件的Create Fishnet工具进行网格划分，输入植物田间正射影像上的左上角与右下角的GPS坐标，并且根据植株的排布方式输入小区的行数与列数，生成各个种植小区的矢量边界图，并在矢量图中给每个小区添加Name属性，作为区分每个小区的依据；
采用ArcGIS的Split By Attributes工具，输入矢量边界图，设置分割字段为Name，将每个小区的矢量图从整张矢量边界图中分割出来，此时Name字段被设置为每个小区矢量图文件的名称；
采用ArcGIS的模型构建器，循环读取所有小区矢量图文件，输入Extract By Mask工具中作为Input raster or feature mask data，输入植物田间正射影像作为Input raster，输入％Name％.GIF作为Output raster，利用各小区的矢量图将每个植物种植小区的无人机可见光影像从整张无人机可见光影像中分割出来，获得各子区域的无人机可见光影像；
对各子区域的无人机可见光影像的植物顶部小叶进行标注，得到标注后的样本图像。
3.根据权利要求2所述的植物叶片形态识别方法，其特征在于，所述实地叶片图像的获取，包括以下步骤；
根据不同的种植小区分别采集田间每个种植小区种植的不同品种各个生长阶段的植物，采集若干个小区内植物的顶部小叶并置于采样袋中；
获取植物叶片无人机可见光影像的同时，通过相机拍摄采集实地叶片的叶片图像；采用Photoshop软件测量出实地叶片图像的叶片形态参数包括长度、宽度、面积和周长；
根据长度、宽度、面积和周长，分别计算出叶片形态系数包括叶片长宽比和叶片解剖指数。
4.根据权利要求3所述的植物叶片形态识别方法，其特征在于，所述得到顶部小叶对应的各子区域的叶片图像，包括以下步骤：
使用Yolov5目标检测模型，将带有顶部小叶标注的叶片图像输入Yolov5目标检测模型进行训练，得到训练后的Yolov5目标检测模型；
采用Yolov5m版本进行Yolov5目标检测模型的训练，Yolov5目标检测模型的最后一层输出检测结果，使用锚框来预测不同尺寸和纵横比的目标框，输出结果包括边界框的坐标和类别概率；
使用训练后的Yolov5目标检测模型进行顶部小叶识别，输出IoU指标为前8且检测无重叠的锚框坐标，并按照锚框坐标对各种植小区的无人机可见光影像进行裁剪，输出文件名为小区名与锚框计数组合的图像；
其中，Yolov5目标检测模型以CSPDarknet53作为其主干网络，在主干网络后添加一个称为PANet的颈部网络，用于改善多尺度特征的表示能力；目标检测模型Yolov5的头部包括一系列卷积和池化层，用于生成检测框和类别概率；
Yolov5目标检测模型中使用的主要激活函数是Leaky ReLU，用于增加网络的非线性特性；最后一层的激活函数为sigmoid函数，用于将边界框的坐标和类别概率限制在0到1之间；
使用多尺度Anchor Boxes和IoU损失函数来衡量目标检测的准确性，通过计算检测框的坐标损失和类别损失，学习如何更好地定位和分类目标。
5.根据权利要求4所述的植物叶片形态识别方法，其特征在于，所述对顶部小叶对应的各子区域的叶片图像进行分割，包括以下步骤：
在无人机可见光影像上按照每个小区设置大小统一的矢量边界图，通过矢量图将每个小区分割出来，并将小区号作为各子区域标签，设置为图名保存，作为输入数据；
使用训练后的U-Net语义分割模型对输入的数据进行分割，输出各叶片的图像分割结果；
使用U-Net语义分割模型，对顶部小叶对应的各子区域的叶片图像进行分割，将每个叶片从文件名为小区名与锚框计数组合的图像中分割出来，并将语义分割后的结果还原到原图片大小，计算各叶片的叶片形态系数；
其中，U-Net语义分割模型输入层的输入尺寸为128,128,3，即128×128的彩色图像，U-Net语义分割模型的左侧部分为编码器，用于从输入图像中提取高级特征，每个卷积层采用的激活函数为ReLU，最大池化层尺寸为2×2；U-Net语义分割模型的编码器部分和解码器部分之间的连接层为中间层，用于捕获不同细节级别的特征，并将这些特征传递到解码器部分以生成最终的分割结果；
U-Net语义分割模型的右侧部分为解码器，用于将中间特征图映射回原始输入图像的尺寸；解码器由多个反卷积层和跳跃连接组成，反卷积层用于逐步增加特征图的分辨率，跳跃连接将编码器和解码器的对应层相连接；
U-Net语义分割模型的输出层输出一个具有单个通道的特征图，该特征图用Sigmoid激活函数激活，用于二进制图像分割；
U-Net语义分割模型编译使用Adam优化器，二进制交叉熵损失函数，使用数据生成器进行数据集的导入，用于从指定路径加载训练图像和相应的掩码图像并将它们归一化，在训练期间生成小批量的训练数据，设置训练的Epoch数量与批量大小，将模型保存在指定路径中。
6.根据权利要求5所述的植物叶片形态识别方法，其特征在于，所述计算各叶片的叶片形态系数，包括以下步骤：
根据图像分割的结果，得到各叶片的图像轮廓，建立最小外接矩形；
提取最小外接矩形的长度和宽度作为叶片的长度和宽度，计算经过语义分割后的结果的最大轮廓的周长与面积得到叶片面积与周长；
将叶片长度除以叶片宽度，得到叶片的长宽比；利用叶片周长与面积计算叶片解剖指数。
7.根据权利要求6所述的植物叶片形态识别方法，其特征在于，所述叶片的长宽比和叶片解剖指数的计算公式分别为：
叶片的长宽比表达式为：
length/width＝rect_length/rect_width
式中，rect_length代表叶片语义分割结果中最小外接矩形的长度；rect_width代表叶片最小外接矩形的宽度；
叶片解剖指数表达式为：
(perimeter-squared)/(4π×area)＝((perimeter^2)/(4×π×area))
式中，perimeter代表叶片语义分割结果中最大轮廓的周长，area代表叶片语义分割结果中最大轮廓的面积。
8.根据权利要求7所述的植物叶片形态识别方法，其特征在于，所述回归预测待识别的植物叶片的叶片形态系数，包括以下步骤：
利用随机森林回归模型，将计算的叶片周长与面积计算叶片解剖指数与实地叶片图像的叶片周长与面积计算的叶片解剖指数建模；
利用网格搜索的方法，求取随机森林回归模型的最优参数，用于对随机森林回归模型进行训练；利用训练后的随机森林回归模型，对待识别的植物叶片的无人机可见光影像进行回归预测，获得待识别植物叶片的叶片长宽比和叶片解剖指数。
CN202311701581.7A 2023-12-12 2023-12-12 一种植物叶片形态识别方法 Pending CN117576195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311701581.7A CN117576195A (zh) 2023-12-12 2023-12-12 一种植物叶片形态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311701581.7A CN117576195A (zh) 2023-12-12 2023-12-12 一种植物叶片形态识别方法

Publications (1)

Publication Number Publication Date
CN117576195A true CN117576195A (zh) 2024-02-20

Family

ID=89891828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311701581.7A Pending CN117576195A (zh) 2023-12-12 2023-12-12 一种植物叶片形态识别方法

Country Status (1)

Country Link
CN (1) CN117576195A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117882546A (zh) * 2024-03-13 2024-04-16 山西诚鼎伟业科技有限责任公司 一种面向农业作业机器人的智能化种植方法
CN117882546B (zh) * 2024-03-13 2024-05-24 山西诚鼎伟业科技有限责任公司 一种面向农业作业机器人的智能化种植方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117882546A (zh) * 2024-03-13 2024-04-16 山西诚鼎伟业科技有限责任公司 一种面向农业作业机器人的智能化种植方法
CN117882546B (zh) * 2024-03-13 2024-05-24 山西诚鼎伟业科技有限责任公司 一种面向农业作业机器人的智能化种植方法

Similar Documents

Publication Publication Date Title
Sadeghi-Tehran et al. DeepCount: in-field automatic quantification of wheat spikes using simple linear iterative clustering and deep convolutional neural networks
Xu et al. Aerial images and convolutional neural network for cotton bloom detection
Li et al. Automatic organ-level point cloud segmentation of maize shoots by integrating high-throughput data acquisition and deep learning
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
WO2023029373A1 (zh) 一种高精度的农田植被信息提取方法
Deng et al. Deep learning-based automatic detection of productive tillers in rice
CN111340141A (zh) 一种基于深度学习的作物幼苗与杂草检测方法及系统
CN109977780A (zh) 一种基于深度学习算法的硅藻的检测与识别方法
Picon et al. Deep learning-based segmentation of multiple species of weeds and corn crop using synthetic and real image datasets
Miao et al. Automatic stem-leaf segmentation of maize shoots using three-dimensional point cloud
CN111553200A (zh) 一种图像检测识别方法及装置
Katal et al. Deep learning in plant phenological research: A systematic literature review
CN111368766A (zh) 一种基于深度学习的牛脸检测与识别方法
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
Atanbori et al. Convolutional neural net-based cassava storage root counting using real and synthetic images
Murray et al. The novel use of proximal photogrammetry and terrestrial LiDAR to quantify the structural complexity of orchard trees
Liu et al. Automated classification of stems and leaves of potted plants based on point cloud data
David et al. Plant detection and counting from high-resolution RGB images acquired from UAVs: comparison between deep-learning and handcrafted methods with application to maize, sugar beet, and sunflower
CN114965501A (zh) 基于冠层参数处理的花生病害检测与产量预测方法
Liu et al. PocketMaize: An android-smartphone application for maize plant phenotyping
CN113077438B (zh) 针对多细胞核彩色图像的细胞核区域提取方法及成像方法
Saeed et al. Cotton plant part 3D segmentation and architectural trait extraction using point voxel convolutional neural networks
CN116258844A (zh) 一种棉花叶片表型性状快速精准鉴定方法
CN114913523B (zh) 基于yolox的植物气孔多功能实时智能识别系统
CN117576195A (zh) 一种植物叶片形态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination