CN116229265A - 一种自动无损提取大豆植株表型的方法 - Google Patents

一种自动无损提取大豆植株表型的方法 Download PDF

Info

Publication number
CN116229265A
CN116229265A CN202310212916.2A CN202310212916A CN116229265A CN 116229265 A CN116229265 A CN 116229265A CN 202310212916 A CN202310212916 A CN 202310212916A CN 116229265 A CN116229265 A CN 116229265A
Authority
CN
China
Prior art keywords
soybean plant
stem
image
path
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310212916.2A
Other languages
English (en)
Inventor
黄岚
邱丽娟
王俊
周婉
陈伊洁
詹炜
李伟豪
张聪
熊亚俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze University
Institute of Crop Sciences of Chinese Academy of Agricultural Sciences
Original Assignee
Yangtze University
Institute of Crop Sciences of Chinese Academy of Agricultural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze University, Institute of Crop Sciences of Chinese Academy of Agricultural Sciences filed Critical Yangtze University
Priority to CN202310212916.2A priority Critical patent/CN116229265A/zh
Publication of CN116229265A publication Critical patent/CN116229265A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自动无损提取大豆植株表型的方法，包括：获取大豆植株图像，将大豆植株图像输入至预先训练的YOLOv5s‑S神经网络模型中识别豆荚区域和茎区域，获得豆荚和茎秆的坐标信息，并根据豆荚的坐标信息获取豆荚个数，采用训练后的U2‑Net神经网络模型对大豆植株图像进行语义分割，获得伪彩色分割图，对大豆植株图像进行二值化处理，获得二值化图像，将伪彩色分割图和二值化图像进行叠加，采用基于A*搜索的路径搜索算法对叠加后的图像进行处理，获得株高、有效分枝数以及分枝长度。本发明的自动无损提取大豆植株表型的方法可以在一次扫描中计算大豆植株的豆荚个数，识别所有有效分枝，测量植株高度和分枝长度，具有令人满意的精度。

Description

一种自动无损提取大豆植株表型的方法
技术领域
本发明涉及农学技术领域，特别涉及一种自动无损提取大豆植株表型的方法。
背景技术
大豆是世界上最重要的豆类作物之一，也是人类优质蛋白的主要来源。大豆的营养价值在一定程度上有助于预防心脏病和糖尿病。由于大豆在现代经济环境中发挥着重要作用，培育优质高产大豆品种成为育种专家关注的焦点。大豆的表型分析有利于筛选出优良品种，是作物育种的重要过程，也是培育优质大豆的关键步骤。获取茎相关的表型数据一直是大豆植株表型提取的难题，以往茎相关的表型主要通过人工获取，需耗费大量的人力物力，而且时间成本大，难以满足育种家的需求，人工观察的准确性和可靠性也易受主观影响。
现有申请号为CN202210870626.2、公开号为CN115205834A的中国发明专利公开了一种大豆植株茎相关表型自动获取方法，该方法通过将目标检测和定向搜索相结合，以识别成熟植株中的有效分枝数、分枝角度、主茎长度和茎曲率，但这种方法针对分枝较多、分枝向下弯曲的植株会提取出错，而且该大豆植株表型获取方法是通过直线连接茎节，不能反映真实的茎秆脉络。而且在实际生产中，植株通常存在豆荚密集、茎秆被遮挡严重、分枝数较多以及有二级分枝等问题，加大了表型提取的难度，目前没有完整的方法可以获取大豆植株分枝长度的表现型。
发明内容
本发明提出一种SPP-extractor(Soybean Plant Phenotype Extractor，大豆植株表型提取)算法，旨在自动和非破坏性地从密集生长和完整的大豆植株中提取豆荚相关和茎相关的表型特征，不仅能够提高对大豆植株表型提取的效率，而且表型提取结果具有较高精度，对大豆育种研究具有重要意义。
为实现上述目的，本发明提供了一种自动无损提取大豆植株表型的方法，所述方法包括以下步骤：
获取大豆植株图像；
将所述大豆植株图像输入至预先训练的YOLOv5s-S神经网络模型中，对所述大豆植株图像中的豆荚区域和茎区域进行识别，根据识别结果分别获取豆荚的坐标信息和茎秆的坐标信息；
根据所述豆荚的坐标信息获取豆荚个数；
采用训练后的U2-Net神经网络模型对所述大豆植株图像进行语义分割，获得伪彩色分割图；
对所述大豆植株图像进行二值化处理，获得二值化图像；
将所述伪彩色分割图和所述二值化图像进行叠加，采用基于A*搜索的路径搜索算法对叠加后的图像进行处理，获得大豆植株茎相关表型特征。
优选地，所述将所述大豆植株图像输入至预先训练的YOLOv5s-S神经网络模型中，对所述大豆植株图像中的豆荚区域和茎区域进行识别的步骤之前，所述方法还包括：
获取大豆植株图像，使用LabelImg图像标注工具对大豆植株的豆荚和茎秆进行标注，将豆荚尖端区域标注为豆荚类，将茎秆上的连续区域标注为茎秆类，获得目标检测数据集；
将所述目标检测数据集输入至基于SE注意力机制的初始YOLOv5神经网络模型进行迭代训练，得到预先训练的YOLOv5s-S神经网络模型。
优选地，所述采用训练后的U2-Net神经网络模型对所述大豆植株图像进行语义分割，获得伪彩色分割图的步骤具体包括：采用训练后的U2-Net神经网络模型对所述大豆植株图像进行语义分割，将图像中的每个像素分类为不同的语义对象类别，并根据所述语义对象类别提取主茎和所有分枝的特征，获得茎区域的伪彩色分割图。
优选地，所述采用训练后的U2-Net神经网络模型对所述大豆植株图像进行语义分割的步骤之前，所述方法还包括：
获取大豆植株图像，使用LabelMe图像标注工具对大豆植株的茎区域进行标注，获得语义分割任务数据集；
将所述语义分割任务数据集输入至初始U2-Net神经网络模型进行迭代训练，得到训练后的U2-Net神经网络模型。
优选地，所述基于A*搜索的路径搜索算法的估计代价函数为：
f(n)＝g(n)+h(n)
其中，f(n)表示从起点经过节点n到终点的估计成本，g(n)表示从起点移动到节点n的成本，h(n)表示从节点n到终点的估计成本。
优选地，所述大豆植株茎相关表型特征包括株高，相应地，所述获得大豆植株茎相关表型特征的步骤具体包括：将所述叠加后的图像中茎区域的最高点和最低点分别作为起点和终点，采用基于A*搜索的路径搜索算法寻找起点和终点之间的最短路径，将所述最短路径作为主茎给定的植株，获得主茎长度，所述主茎长度即为株高。
优选地，所述获得大豆植株茎相关表型特征的步骤还包括：在大豆植株的主茎顶部向下弯曲时，采用MSE算法对叠加后的图像进行处理，计算和提取完整的主茎路径，并根据所述主茎路径获得大豆植株茎相关表型特征株高。
优选地，所述MSE算法包括以下步骤：
S10，使用五位数字表示预先训练的YOLOv5s-S神经网络模型检测到的每个矩形框：
I＝[0,x,y,w,h]
其中x,y表示矩形框中心的水平和垂直坐标，w、h表示矩形框的宽度和高度，矩形框I中第一个数字是一个初始值为0的指标，给定n个图像中识别的茎区域的数量，并用n×5矩阵表示图像；
S11，按y坐标升序对所有主茎区域进行排序；
S12，将基于A*搜索的路径搜索算法确定的主茎路径上的所有区域的指标值更改为1，即sr(i)∈pmain，相应地，
I[i]＝[1,x,y,w,h],sr(i)∈pmain
S13，继续往下读y坐标，找到下一个标识符为0的茎区域sr(i)，将其设置为起点并寻找从该点到主茎顶点的路径；
S14，当找到绕过当前主茎顶点的路径时，将sr(i)的中心设置为主茎的新起点，并将主茎沿向下弯曲部分扩展；
S15，重复步骤S13和S14，并相应地生长主茎，直到检查完所有茎区域，获得完整的主茎路径，根据所述主茎路径计算得到株高。
优选地，所述大豆植株茎相关表型特征还包括有效分枝数和分枝长度，相应地，所述获得大豆植株茎相关表型特征的步骤还包括：采用BIL算法对叠加后的图像进行处理，获得大豆植株茎相关表型特征有效分枝数和分枝长度，其中所述BIL算法基于所述n×5矩阵图像进行分枝识别和长度测量。
优选地，所述BIL算法包括以下步骤：
S20，将通过主路径的所有矩形框I都初始化为1的指示符值；
S21，依次扫描矩形框I指示符值为0的主茎区域；
S22，给定sr(j)，采用基于A*搜索的路径搜索算法寻找从sr(j)到主茎末尾的路径pj；
S23，当发现pj与主路径pmain相交，则将交点设置为pj的终点，并据此计算pj的长度，根据路径pj的长度和矩形框I获得分枝长度；
S24，沿pj的所有茎区域都用j的指示值更新，以表示它们属于植株的第j个分枝；
S25，重复步骤S21～S24，直到所有茎区域都具有非零指示值，获得有效分枝数和所有的分枝长度。
本发明的有益效果是：本发明的自动无损提取大豆植株表型的方法结合了目标检测、语义分割、图像处理和启发式搜索，以自动、无损的方式获取大豆植株重要的表型性状。首先，针对豆荚的相互遮挡问题，对标准YOLOv5s模型进行了改进，增加了SE注意力机制，用于目标检测，由此产生的模型可以准确地识别豆荚和茎，并在一次扫描中计算植株的豆荚数量。其次，考虑到成熟分枝通常弯曲并被豆荚覆盖，结合图像处理、目标检测、语义分割和启发式搜索，设计了SPP-extractor的分枝识别与长度测量模块，在真实植株上的实验结果表明，与手动测量相比，SPP-extractor在豆荚数量、有效分枝数、株高和分枝长度上都获得了较好的性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种自动无损去大豆植株表型的方法的流程结构图；
图2是本发明对大豆植株进行标注：(a)目标检测数据标注；(b)语义分割任务标注；
图3是本发明中SE注意力机制的网络结构；
图4是本发明采用的YOLOv5s-S神经网络模型结构图；
图5是本发明利用YOLOv5s-S神经网络模型识别的豆荚和茎与豆荚个数的对比结果；
图6是本发明识别茎和分枝输出的分割图像：(a)是原始图像，(b,c)、(d,e)分别由U-Net和U2-Net语义分割的效果图，(c,e)不叠加原始图像；
图7是本发明提取分枝时仅使用二值化图像与叠加语义分割图像的对比；
图8中(a)是大豆植株原图，(b)是二值化而图像，(c)是伪彩色分割图，(d)是用于路径查找的组合地图；
图9是本发明的主茎提取过程图：(a)确定主茎的起点和终点，(b)确定路径，(c)用虚线标注的已识别路径的放大视图；
图10是本发明利用MSE算法识别向下弯曲的主茎的步骤：(a)初始不完整的主茎路径，(b-e)路径扩展过程，(f)最终完整的主茎路径；
图11是本发明MSE算法的伪代码；
图12是本发明利用BIL算法进行分枝识别和长度测量的工作过程；
图13是本发明BIL算法的伪代码；
图14是各种大豆植株的手动测量值和本发明利用SPP-extractor获取值的比较：(a)带有向下弯曲的分枝，(b)有二级分枝。
具体实施方式
下面将结合具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1所示为本发明一种自动无损提取大豆植株表型的方法的流程结构图。在本实施例中，所述方法包括以下步骤：
S1，获取大豆植株图像；
S2，将大豆植株图像输入至预先训练的YOLOv5s-S神经网络模型中，对大豆植株图像中的豆荚区域和茎区域进行识别，根据识别结果分别获取豆荚的坐标信息和茎秆的坐标信息；
S3，根据豆荚的坐标信息获取豆荚个数；
S4，采用训练后的U2-Net神经网络模型对大豆植株图像进行语义分割，获得伪彩色分割图；
S5，对大豆植株图像进行二值化处理，获得二值化图像；
S6，将伪彩色分割图和二值化图像进行叠加，采用基于A*搜索的路径搜索算法对叠加后的图像进行处理，获得大豆植株茎相关表型特征。
需要说明的是，本发明的SPP-extractor旨在自动和非破坏性地从密集生长和完整的大豆植株中提取豆荚相关和茎相关的表型特征。为此，本实施例将任务解构为三个子任务，并相应设计了三个模块：豆荚和茎区域识别、茎和分枝提取以及分枝长度计算。图1说明了SPP-extractor的整体结构。本发明的自动无损提取大豆植株表型的方法结合了目标检测、语义分割、图像处理和启发式搜索，以自动、无损的方式获取大豆植株重要的表型性状。首先，针对豆荚的相互遮挡问题，对标准YOLOv5s模型进行了改进，增加了SE注意力机制，用于目标检测，由此产生的模型可以准确地识别豆荚和茎，并在一次扫描中计算植株的豆荚数量。其次，考虑到成熟分枝通常弯曲并被豆荚覆盖，结合图像处理、目标检测、语义分割和启发式搜索，设计了SPP-extractor的分枝识别与长度测量模块，在真实植株上的实验结果表明，与手动测量相比，SPP-extractor在豆荚数量、有效分枝数、株高和分枝长度上都获得了较好的性能。
进一步地，所述步骤S2之前，所述方法还包括对初始YOLOv5神经网络模型进行训练的步骤，具体包括：
获取大豆植株图像，使用LabelImg图像标注工具对大豆植株的豆荚和茎秆进行标注，将豆荚尖端区域标注为豆荚类，将茎秆上的连续区域标注为茎秆类，获得目标检测数据集；
将目标检测数据集输入至基于SE注意力机制的初始YOLOv5神经网络模型进行迭代训练，得到预先训练的YOLOv5s-S神经网络模型。
进一步地，所述步骤S4之前，所述方法还包括对初始U2-Net神经网络模型进行训练的过程，具体包括：
获取大豆植株图像，使用LabelMe图像标注工具对大豆植株的茎区域进行标注，获得语义分割任务数据集；
将语义分割任务数据集输入至初始U2-Net神经网络模型进行迭代训练，得到训练后的U2-Net神经网络模型。
需要说明的是，本实施例制作了两种大豆植株数据集，如表1所示，分别用于目标检测任务以及语义分割任务。
表1数据标注
Figure BDA0004113936350000061
本发明使用LabelImg图像标注工具对大豆植株的豆荚和茎秆进行标注，输出位置信息保存格式为‘txt’。采用LabelMe图像标注工具对大豆植株的茎秆进行标注，输出保存格式为‘.xml’,标注如图2所示。
应理解的是，识别豆荚和茎区域是SPP-extractor的第一个子任务，为后续提取提供依据。目标检测从输入图像中识别指定对象类型的实例。在本实施例中，有两种类型的目标对象：豆荚和茎。然而，豆荚和茎之间的严重重叠对标准目标检测模型提出了严峻挑战。本实施例从三个方面来解决这个问题：
首先，只标记豆荚的尖端区域作为替代指标，而不是标记完整的豆荚。这允许被遮挡的豆荚也能被识别，只要它的一部分是可见的。图2(a)显示了一个带注释的示例。每个由四个预设颜色点(即图2(a)中显示的白色点，在实际中可以标记为绿色点)组成的矩形标记了一个目标：一个豆荚或一个茎。类似地，考虑到豆荚保留在植株上，只有茎上的连续区域被标记为茎区域的正例。
其次，本实施例提出YOLOv5s神经网络作为该模块的基础模型。YOLOv5模型是YOLO(YouOnlyLookOnce)系列目标检测算法的第五代，在精度上取得了显着的提升。
最后，为了提高模型对密集区域和稀疏区域的可预测性，本实施例在YOLOv5s结构中添加了SE(挤压和激励网络)注意力机制，即YOLOv5s-S模型。与为特征图的每个通道分配相同权重的传统卷积池化过程不同，SE注意力机制学习每个通道的重要性以及手头的任务，并根据每个通道与最终任务的相关性对每个通道进行加权。图3所示说明了这个过程：特征图的每个通道开始时都具有相同的重要性，并且在挤压和激发过程之后具有不同的权重，其中不同的颜色表示不同的权重。然后，学习过程将重点放在权重较大的通道中的模式上。SE机制通常集成到C3中的BottleNeck模块中，形成SeC3。图4详细描述了YOLOv5s-S模型的结构。
给定带注释的图像，训练YOLOv5s-S模型识别给定图像中的豆荚和茎区域，并输出它们的坐标，然后在一次植株扫描中计算豆荚总数。茎秆的坐标构成了随后提取有效分枝数、株高和分枝长度的基础，因为它们是识别主茎和分枝所必需的。
如图5所示，其显示了在非常密集的大豆植株上的检测结果，由于茎秆是分段识别的，检测出的茎秆与标注的长度不同而导致多识别或者少识别，但是长度的不同不影响获取茎秆的定位。
进一步地，所述步骤S4具体包括：采用训练后的U2-Net神经网络模型对所述大豆植株图像进行语义分割，将图像中的每个像素分类为不同的语义对象类别，并根据所述语义对象类别提取主茎和所有分枝的特征，获得茎区域的伪彩色分割图。
需要说明的是，茎和分枝提取是SPP-extractor的第二个子任务，提取与茎相关的表型特征首先需要准确识别分枝。此外，识别的分枝区域必须尽可能接近真实分枝，以确保高度和长度的计算准确。在密集种植的植株中，豆荚会以两种方式产生负面影响：第一，当它们重叠在茎的顶部时，它们可以掩盖茎区域；第二，当两个或多个豆荚意外连接并在板上放置形成假茎时，它们可能会误导路径查找。这些因素很容易使传统的路径规划算法偏离真正的茎区域，从而导致表型数据不准确。因此，本实施例首先使用U2-Net神经网络模型提取茎区域。给定输入图像，语义分割将图像中的每个像素分类为多个语义对象类别之一，例如在本实施例中，语义对象类别包括stem、pod和background。
应理解的是，SPP-extractor采用U2-Net神经网络模型进行语义分割。U2-Net是基于U-Net提出的一种新的网络结构，它采用编码器-解码器架构，在医学图像分割方面取得了巨大成功。编码器模块从输入图像中提取特征，通过获取图像的局部特征并进行图片级分类来增加感知域。解码器模块通过融合来自几个不同尺度的特征来进行上采样。整体网络结构形成一个字母'U'。U2-Net通过嵌套两层U形结构来改进U-Net，以丰富所包含的感知领域的尺度，从而捕获更多的上下文信息并增强分割效果。
在具体实现中，给定输入图像，茎和分枝提取子模块识别植株上的所有枝条，包括主茎和从枝条长出的短的次级枝条，并用亮绿色标注它们。使用此图像，SPP-extractor然后测量分枝长度，识别主茎和有效分枝，并丢弃不需要的次级分枝。对于大豆植株的茎秆区域的语义分割，本实施例使用U-Net和U2-Net两个语义分割神经网络模型进行试验对比，如图6显示了输出分割图像的示例，显然，通过图6(c)可以看到豆荚的密度会再次产生负面影响，带注释的分枝被豆荚打断了，导致分枝的路径不是连续的，这会影响后续分枝长度计算的子任务，通过图6(d)可以看到本实施例采用U2-Net神经网络模型进行语义分割，得到的分割图像效果更好。
进一步地，分枝长度提取是SPP-extractor的第三个子任务。测量分枝长度通常被建模为寻找图像栅格图上两个特定点之间的最短路径，例如，从植株的顶部到主茎的子叶节点之间，以及从分枝的顶部到它的子叶节点之间与其他分枝的主茎相交。一般来说，生成栅格图有两种选择：二值化或语义分割，然而，密集种植的大豆植株使每个选项在单独使用时变得不足。如果单独使用二值化图像，与茎重叠的豆荚会形成不必要的路径，如图7(a)中所示的虚线，寻径过程很容易从真正的茎偏离到重叠的豆荚，导致路径和长度差别较大。如果只使用语义分割产生的分割图像，路径有可能会被中断，因为茎区域通常是不连续的，也由于豆荚的遮挡。因此，SPP-extractor将二值化和语义分割的地图结合起来，形成用于后续路径查找的完整地图，如图8所示。
在具体实现中，给定带有二值化和分割分枝的像素图，本发明开发了一种基于A*(A-Star)搜索的路径搜索算法，以找到通过茎或分枝的最短端到端路径。茎和枝的长度分别测量为株高和分枝长度，有效分枝数也根据分枝找到的路径数进行计数。基于A*搜索的路径搜索算法的估计代价函数为：
f(n)＝g(n)+h(n)
给定节点n，f(n)表示从起点经过节点n到终点的估计成本，g(n)表示从起点移动到节点n的成本，h(n)表示从节点n到终点的估计成本。A*算法对下一步移动的每个候选节点的值进行评估，并选择成本最低的节点进行扩展，直到到达目标点。首先将输入图像压缩到原始宽度和高度的八分之一，以减小A*搜索所需的栅格图的大小。输入图像经过二值化、去噪、扩展后，从上到下、从左到右读取，用二维数组A表示，A的每个元素代表图像中的一个像素点，如果是黑色则赋值'0'属于背景，如果是植株的一部分则为'1'。语义分割图类似地用二维数组B表示，值'1'和'0'分别表示茎和背景区域。然后将两个数组按元素相加，得到三个不同的值'0'、'1'和'2'。值为'0'的元素表示相应像素在两个地图中都被识别为背景，因此在搜索过程中被设置为不可通过的障碍物.值为'1'和'2'的元素是搜索过程中可能的节点，移动代价分别设置为1和0.1，基本上旨在放宽对路径查找的限制，并为在两个地图中都被识别为茎区域的像素设置更高的偏好。
进一步地，大豆植株茎相关表型特征包括株高，因此分枝长度提取子模块的第一个任务是识别主茎并测量主茎的长度，获得株高，具体步骤包括：将叠加后的图像中茎区域的最高点和最低点分别作为起点和终点，采用基于A*搜索的路径搜索算法寻找起点和终点之间的最短路径，将最短路径作为主茎给定的植株，获得主茎长度，所述主茎长度即为株高。
应理解的是，大豆的株高是一个重要的表型特征，衡量的是从子叶节到主茎顶端生长点的长度。将语义分割获取的彩色图像中茎区域的最高和最低的点分别作为起点和终点，并使用上述A*算法寻找它们之间的最短路径作为主茎给定的植株。图9(b)中虚线显示了已识别的主茎。
进一步地，密集种植的植株存在一个困难：由于集中在此处的豆荚的重量，主茎可能会在顶部向下弯曲。上述算法不再适用于这种情况，因为主茎的起点不一定是所有茎区域的最高点。图10(a)显示了这样一个例子，图10(b)中的深灰色线条显示了最初提取的路径。为了解决这个问题，本实施例提出了一种算法MSE(Main Stem Extraction，其伪代码如图11所示)来计算和提取完整的主茎。所述MSE算法包括以下步骤(图10(b)-(e)显示了该过程)：
S10，使用五位数字表示预先训练的YOLOv5s-S神经网络模型检测到的每个矩形框：
I＝[0,x,y,w,h]
其中x,y表示矩形框中心的水平和垂直坐标，w、h表示矩形框的宽度和高度，矩形框I中第一个数字是一个初始值为0的指标，给定n个图像中识别的茎区域的数量，并用n×5矩阵表示图像；
S11，按y坐标升序对所有主茎区域进行排序，在本实施例中，x和y坐标分别从左下角和左上角开始，因此，茎区域从植株的顶部到底部分类；
S12，将基于A*搜索的路径搜索算法确定的主茎路径上的所有区域的指标值更改为1，即sr(i)∈pmain，pmain表示主茎路径，相应地，
I[i]＝[1,x,y,w,h],sr(i)∈pmain
S13，继续往下读y坐标，找到下一个标识符为0的茎区域sr(i)，将其设置为起点并寻找从该点到主茎顶点的路径；
S14，当找到绕过当前主茎顶点的路径，即绕过当前主茎路径顶部的主茎区域时，将sr(i)的中心设置为主茎的新起点，并将主茎沿向下弯曲部分扩展到区域；
S15，如果发现更多这样的茎区域，则重复步骤S13和S14，并相应地生长主茎，直到检查完所有茎区域，获得完整的主茎路径，根据所述主茎路径计算得到株高。
进一步地，大豆植株茎相关表型特征还包括有效分枝数和分枝长度，因此分枝长度提取子模块的第二个任务是识别分枝并测量分枝长度。分枝是从主茎延伸出来的侧枝，分枝长度定义为从分枝末端到其在主茎上的起始点的长度。有效分枝数和分枝长度是植株育种中考虑的重要表型特征。在收集的大豆植株数据集中，植株可以有零个到多达十二个分枝，一些分枝聚集在主茎周围，而另一些则散开。一些分枝还有需要从有效分枝数计数中舍弃的二级分枝。本实施例提出了一种BIL算法，其是为同一述n×5矩阵中的分枝识别和长度测量而设计，BIL算法的伪代码如图13所示。图12说明了BILS算法的工作过程，其具体包括：
S20，在上述识别主茎的情况下，将通过主路径的所有矩形框I都初始化为1的指示符值；
S21，依次扫描矩形框I指示符值为0的主茎区域，这些区域可以是分枝的顶点，因为所有主茎区域都是按其y坐标升序排序；
S22，给定这样的sr(j)，采用基于A*搜索的路径搜索算法寻找从sr(j)到主茎末尾的路径pj；
S23，当发现pj与主茎路径pmain相交，则将交点设置为pj的终点，并据此计算pj的长度；
S24，沿pj的所有茎区域都用j的指示值更新，以表示它们属于植株的第j个分枝；
S25，重复步骤S21～S24，直到所有茎区域都具有非零指示值，获得有效分枝数和所有的分枝长度。
需要说明的是，在真实的植株中，一个枝条还可以有一个或多个小枝条，即次级枝条。此类次级分枝通常较短：长度小于3厘米，花序，因此在人工测量时不计入真分枝。但BIL算法仍然可以识别和测量此类次级分枝。图14(b)中的白色线条显示了两个二级分枝。如果从sr(j)到主茎末端的路径pj改为通过分枝的底部区域，则BIL区分次级分枝。为了与手动测量标准一致，BIL舍弃了所有此类分枝。此外，考虑到分枝的起点是分枝顶部的主茎框架的中心点，我们将茎框I对角线的一半添加到计划路径pj的长度上，作为最终分枝长度。
SPP-extractor自动提取三种不同的茎相关表型特征：主茎长度、植株中的分枝数和每个分枝的长度。图14将手动测量值与本发明的算法在两个真实样本上测量的值进行了比较。
总的来说，SPP-extractor可以有效地识别并测量大豆植株的高度，即使它被密集的豆荚覆盖和弯曲。在识别分枝及其长度方面，SPP-extractor的BIL算法在大多数情况下可以识别所有分枝。本发明的算法更具吸引力的是它们也非常高效，平均而言，从单个植株中提取所有上述表型特征仅需2.8秒，比人工测量快得多，而且完全不需要人工干预，大大提高了大豆植株表型提取的效率。本发明的SPP-extractor算法无需从植株上取下任何豆荚，就可以在一次扫描中计算该植株的豆荚个数，识别所有有效分枝，测量植株的高度和分枝的长度，具有令人满意的精度。

Claims (10)

1.一种自动无损提取大豆植株表型的方法，其特征在于，所述方法包括以下步骤：
获取大豆植株图像；
将所述大豆植株图像输入至预先训练的YOLOv5s-S神经网络模型中，对所述大豆植株图像中的豆荚区域和茎区域进行识别，根据识别结果分别获取豆荚的坐标信息和茎秆的坐标信息；
根据所述豆荚的坐标信息获取豆荚个数；
采用训练后的U2-Net神经网络模型对所述大豆植株图像进行语义分割，获得伪彩色分割图；
对所述大豆植株图像进行二值化处理，获得二值化图像；
将所述伪彩色分割图和所述二值化图像进行叠加，采用基于A*搜索的路径搜索算法对叠加后的图像进行处理，获得大豆植株茎相关表型特征。
2.根据权利要求1所述的自动无损提取大豆植株表型的方法，其特征在于，所述将所述大豆植株图像输入至预先训练的YOLOv5s-S神经网络模型中，对所述大豆植株图像中的豆荚区域和茎区域进行识别的步骤之前，所述方法还包括：
获取大豆植株图像，使用LabelImg图像标注工具对大豆植株的豆荚和茎秆进行标注，将豆荚尖端区域标注为豆荚类，将茎秆上的连续区域标注为茎秆类，获得目标检测数据集；
将所述目标检测数据集输入至基于SE注意力机制的初始YOLOv5神经网络模型进行迭代训练，得到预先训练的YOLOv5s-S神经网络模型。
3.根据权利要求1所述的自动无损提取大豆植株表型的方法，其特征在于，所述采用训练后的U2-Net神经网络模型对所述大豆植株图像进行语义分割，获得伪彩色分割图的步骤具体包括：采用训练后的U2-Net神经网络模型对所述大豆植株图像进行语义分割，将图像中的每个像素分类为不同的语义对象类别，并根据所述语义对象类别提取主茎和所有分枝的特征，获得茎区域的伪彩色分割图。
4.根据权利要求1所述的自动无损提取大豆植株表型的方法，其特征在于，所述采用训练后的U2-Net神经网络模型对所述大豆植株图像进行语义分割的步骤之前，所述方法还包括：
获取大豆植株图像，使用LabelMe图像标注工具对大豆植株的茎区域进行标注，获得语义分割任务数据集；
将所述语义分割任务数据集输入至初始U2-Net神经网络模型进行迭代训练，得到训练后的U2-Net神经网络模型。
5.根据权利要求1至4任一项所述的自动无损提取大豆植株表型的方法，其特征在于，所述基于A*搜索的路径搜索算法的估计代价函数为：
f(n)＝g(n)+h(n)
其中，f(n)表示从起点经过节点n到终点的估计成本，g(n)表示从起点移动到节点n的成本，h(n)表示从节点n到终点的估计成本。
6.根据权利要求5所述的自动无损提取大豆植株表型的方法，其特征在于，所述大豆植株茎相关表型特征包括株高，相应地，所述获得大豆植株茎相关表型特征的步骤具体包括：将所述叠加后的图像中茎区域的最高点和最低点分别作为起点和终点，采用基于A*搜索的路径搜索算法寻找起点和终点之间的最短路径，将所述最短路径作为主茎给定的植株，获得主茎长度，所述主茎长度即为株高。
7.根据权利要求6所述的自动无损提取大豆植株表型的方法，其特征在于，所述获得大豆植株茎相关表型特征的步骤还包括：在大豆植株的主茎顶部向下弯曲时，采用MSE算法对叠加后的图像进行处理，计算和提取完整的主茎路径，并根据所述主茎路径获得大豆植株茎相关表型特征株高。
8.根据权利要求7所述的自动无损提取大豆植株表型的方法，其特征在于，所述MSE算法包括以下步骤：
S10，使用五位数字表示预先训练的YOLOv5s-S神经网络模型检测到的每个矩形框：
I＝[0,x,y,w,h]
其中x,y表示矩形框中心的水平和垂直坐标，w、h表示矩形框的宽度和高度，矩形框I中第一个数字是一个初始值为0的指标，给定n个图像中识别的茎区域的数量，并用n×5矩阵表示图像；
S11，按y坐标升序对所有主茎区域进行排序；
S12，将基于A*搜索的路径搜索算法确定的主茎路径上的所有区域的指标值更改为1，即sr(i)∈pmain，相应地，
I[i]＝[1,x,y,w,h],sr(i)∈pmain
S13，继续往下读y坐标，找到下一个标识符为0的茎区域sr(i)，将其设置为起点并寻找从该点到主茎顶点的路径；
S14，当找到绕过当前主茎顶点的路径时，将sr(i)的中心设置为主茎的新起点，并将主茎沿向下弯曲部分扩展；
S15，重复步骤S13和S14，并相应地生长主茎，直到检查完所有茎区域，获得完整的主茎路径，根据所述主茎路径计算得到株高。
9.根据权利要求8所述的自动无损提取大豆植株表型的方法，其特征在于，所述大豆植株茎相关表型特征还包括有效分枝数和分枝长度，相应地，所述获得大豆植株茎相关表型特征的步骤还包括：采用BIL算法对叠加后的图像进行处理，获得大豆植株茎相关表型特征有效分枝数和分枝长度，其中所述BIL算法基于所述n×5矩阵图像进行分枝识别和长度测量。
10.根据权利要求9所述的自动无损提取大豆植株表型的方法，其特征在于，所述BIL算法包括以下步骤：
S20，将通过主路径的所有矩形框I都初始化为1的指示符值；
S21，依次扫描矩形框I指示符值为0的主茎区域；
S22，给定sr(j)，采用基于A*搜索的路径搜索算法寻找从sr(j)到主茎末尾的路径pj；
S23，当发现pj与主路径pmain相交，则将交点设置为pj的终点，并据此计算pj的长度，根据路径pj的长度和矩形框I获得分枝长度；
S24，沿pj的所有茎区域都用j的指示值更新，以表示它们属于植株的第j个分枝；
S25，重复步骤S21～S24，直到所有茎区域都具有非零指示值，获得有效分枝数和所有的分枝长度。
CN202310212916.2A 2023-03-08 2023-03-08 一种自动无损提取大豆植株表型的方法 Pending CN116229265A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310212916.2A CN116229265A (zh) 2023-03-08 2023-03-08 一种自动无损提取大豆植株表型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310212916.2A CN116229265A (zh) 2023-03-08 2023-03-08 一种自动无损提取大豆植株表型的方法

Publications (1)

Publication Number Publication Date
CN116229265A true CN116229265A (zh) 2023-06-06

Family

ID=86590822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310212916.2A Pending CN116229265A (zh) 2023-03-08 2023-03-08 一种自动无损提取大豆植株表型的方法

Country Status (1)

Country Link
CN (1) CN116229265A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011713A (zh) * 2023-08-08 2023-11-07 中国水利水电科学研究院 一种基于卷积神经网络的田块信息提取方法
CN117433449A (zh) * 2023-12-19 2024-01-23 南京农业大学三亚研究院 一种基于根盒的植物地上部与地下部表型联合鉴定方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011713A (zh) * 2023-08-08 2023-11-07 中国水利水电科学研究院 一种基于卷积神经网络的田块信息提取方法
CN117011713B (zh) * 2023-08-08 2024-05-07 中国水利水电科学研究院 一种基于卷积神经网络的田块信息提取方法
CN117433449A (zh) * 2023-12-19 2024-01-23 南京农业大学三亚研究院 一种基于根盒的植物地上部与地下部表型联合鉴定方法
CN117433449B (zh) * 2023-12-19 2024-03-19 南京农业大学三亚研究院 一种基于根盒的植物地上部与地下部表型联合鉴定方法

Similar Documents

Publication Publication Date Title
CN116229265A (zh) 一种自动无损提取大豆植株表型的方法
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN111986099A (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN108416353A (zh) 基于深度全卷积神经网络的大田稻穗快速分割方法
CN109740483A (zh) 一种基于深层神经网络的水稻生长期检测方法
CN112766155A (zh) 一种基于深度学习的海水养殖区提取方法
CN112069985A (zh) 基于深度学习的高分辨率大田图像稻穗检测与计数方法
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN116129260A (zh) 基于深度学习的牧草图像识别方法
CN114170511A (zh) 基于Cascade RCNN的路面裂缝病害识别方法
CN112164030A (zh) 水稻穗粒快速检测方法、装置、计算机设备及存储介质
CN114937266A (zh) 一种基于yolox-s的硬壳蛤生物体征识别方法
CN110619297A (zh) 一种豆类植物子实图像批量采集识别方法及装置
CN117576195A (zh) 一种植物叶片形态识别方法
CN116883309A (zh) 一种大豆表型获取方法
CN116524344A (zh) 一种基于rgb-d信息融合的番茄串采摘点检测方法
CN116258844A (zh) 一种棉花叶片表型性状快速精准鉴定方法
CN113609913B (zh) 一种基于采样阈值区间加权的松材线虫病树检测方法
CN116977648A (zh) 一种基于目标检测的菜用大豆表型信息的识别方法和系统
CN113344008B (zh) 基于深度学习的茎秆组织解剖学特征参数高通量提取方法
CN112001359B (zh) 基于模式识别和最优分配的启发式多叉线修补方法
CN112465821A (zh) 一种基于边界关键点感知的多尺度害虫图像检测方法
CN114120359A (zh) 一种基于堆叠沙漏网络的群养猪体尺测量方法
CN113723833A (zh) 造林实绩质量评价方法、系统、终端设备及存储介质
Zhou et al. SPP-extractor: Automatic phenotype extraction for densely grown soybean plants

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination