CN116740704B - 基于深度学习的小麦叶片表型参数变化率监测方法和装置 - Google Patents

基于深度学习的小麦叶片表型参数变化率监测方法和装置 Download PDF

Info

Publication number
CN116740704B
CN116740704B CN202310731728.0A CN202310731728A CN116740704B CN 116740704 B CN116740704 B CN 116740704B CN 202310731728 A CN202310731728 A CN 202310731728A CN 116740704 B CN116740704 B CN 116740704B
Authority
CN
China
Prior art keywords
wheat
blade
now
rgb image
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310731728.0A
Other languages
English (en)
Other versions
CN116740704A (zh
Inventor
杨宝华
支洪波
夏海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN202310731728.0A priority Critical patent/CN116740704B/zh
Publication of CN116740704A publication Critical patent/CN116740704A/zh
Application granted granted Critical
Publication of CN116740704B publication Critical patent/CN116740704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的小麦叶片表型参数变化率监测方法和装置，涉及图像处理的技术领域，并包括：1获取小麦幼苗盆栽RGB图像信息，并对小麦幼苗盆栽RGB图像信息进行预处理，得到研究数据图像和标签数据；2构建并训练基于小麦叶片检测网络；3利用已训练好的小麦叶片检测模型，获得小麦叶片的检测框以及各个检测框的顶点坐标；4利用获得的检测框的顶点坐标进行小麦表型参数的提取，并对小麦叶片进行生长率监测。本发明能够准确提取小麦叶片表型参数，同时进行小麦长势，从而能解决现有小麦幼苗叶片表型参数变化率动态监测方法效率低的问题。

Description

基于深度学习的小麦叶片表型参数变化率监测方法和装置
技术领域
本发明涉及无损检测和图像处理领域，具体涉及一种基于深度学习的小麦叶片表型参数变化率监测方法和装置。
背景技术
小麦是中国最重要的粮食作物之一，小麦产量高且广泛应用，除了满足国内需求以外，还可以成为重要的出口商品。为了保持小麦产量增长的同时，还需提高小麦的质量，育种专家需要不断努力和探索新的改进方法。育种专家从改善耕地环境、品种的选择、合理播种等方面研究，通过研究发现，小麦品种的培育是最能起到影响结果的因素。因此，在小麦培育、改善小麦品种中，需要及时了解小麦叶片变化情况。
对于小麦品种的选择主要依赖人工对植株发育生长状况进行观测，在种植的中后期都需要投入大量的人力进行对小麦的生长发育进行人工观测，这会受到很大的主观因素的影响，不利于小麦植株的连续性观测，通过人力观测小麦的长势情况误差大、效率较低，不能满足现代小麦种植的研究需求。计算机视觉是一种可行的解决方法，通过拍摄不同时期的小麦植株图像，获得小麦叶片表型参数变化率。常见的图像处理技术是使用图像分割，将小麦叶片分割出来后进一步提取小麦的叶片变化率，但是这种分割算法会受到背景、光照等不利因素影响，效果不佳。
发明内容
本发明是为了解决上述技术中存在的不足地方，提出一种基于深度学习的小麦叶片表型参数变化率动态监测方法，旨在实现小麦叶片表型参数变化率的自动检测，从而判断出小麦叶片生长状态并采取对应的措施。
本发明为解决技术问题，采用如下技术方案：
本发明一种基于深度学习的小麦叶片表型参数变化率监测方法的特点在于，包括：
步骤1、获取若干期的小麦幼苗盆栽的N张RGB图像，并对每张小麦幼苗盆栽RGB图像进行增强，从而得到小麦盆栽RGB图像集S＝{S1,S2,…,Si,…,SI}，并对小麦叶片区域进行标注；其中，Si表示第i期小麦幼苗盆栽RGB图像集合，且Si＝{si,n|n＝1,2,…,N}；si,n表示第i期小麦幼苗盆栽的第n张RGB图像；令Si中所标注的小麦叶片区域的检测框为Yi；I表示总期数；
步骤2、建立基于小麦叶片目标旋转框检测网络，依次包括：特征提取网络模块，颈部注意力特征网络模块以及头部注意力预测模块；并对si,n进行处理，得到si,n中小麦叶片区域的预测框
步骤3、基于和Yi构建交叉熵损失函数，并基于小麦盆栽RGB图像集S，利用梯度下降法对所述小麦叶片目标旋转框检测网络进行训练，同时计算所述交叉熵损失函数以更新网络参数，直到所述交叉熵损失函数收敛为止，从而得到训练好的小麦叶片目标旋转框检测模型；
步骤4、利用训练好的小麦叶片目标旋转框检测模型对任意第i期实时拍摄的一张小麦幼苗RGB图像si,now进行小麦叶片区域检测，获得第i期的一张小麦RGB图像si,now中M个小麦叶片区域的旋转检测框以及对应的四个顶点的坐标，令第i期的一张小麦盆栽RGB图像si,now中第m个旋转检测框的左上角、右上角、左下角、右下角坐标在图像坐标系中依次记为Anow(xi1 m,yi1 m)，Bnow(xi2 m,yi2 m)，Cnow(xi3 m,yi3 m)，Dnow(xi4 m,yi4 m)；
步骤5、根据第m个旋转检测框的四个顶点坐标，计算第i期的一张小麦盆栽RGB图像si,now中表型参数信息，包括：第m个叶片区域的叶倾角、叶长、叶宽、叶片面积；从而根据si,now中每个表型参数信息，计算每个叶片区域的叶倾角变化率和叶片面积变化率，以实现小麦生长的动态监测。
本发明所述的基于深度学习的小麦叶片表型参数变化率监测方法的特点在于，所述步骤2包括：
步骤2.1、所述特征提取网络模块依次是若干个浅层单元和若干个深度可分离单元构成；每个浅层单元是由二维卷积Conv2D以及归一化层BN组成，每个深度可分离单元是由二维卷积Conv2D、归一化层BN以及激活函数ReLU组成；
将所述第n张RGB图像si,n输入基于小麦叶片目标旋转框检测网络中，并依次经过特征提取网络模块中的若干个浅层单元和若干个深度可分离单元的处理后，得到小麦叶片特征提取结果Fi,n；
步骤2.2、所述颈部注意力特征网络模块依次由若干个残差结构模块、若干个第一浅层单元以及1个第一CA注意力模块构成，其中，每个残差结构模块包括两条并行支路：残差支路以及卷积核为1×1的卷积支路；CA注意力模块包括：宽度注意力特征提取模块和高度注意力特征提取模块；
步骤2.2.1、所述小麦特征提取结果Fi,n输入到所述颈部注意力特征网络模块，并依次经过若干个残差结构模块和若干个第一浅层单元的处理后，输出小麦叶片残差结构特征提取结果Fi,′n；
步骤2.2.2、所述小麦叶片注意力特征提取结果F′i,n输入第一CA注意力模块，并由其中的宽度注意力提取模块和高度注意力特征提取模块分别对F′i,n进行全局平均池化处理，相应得到宽度池化结果GxF′i,n、高度池化结果GyF′i,n，再分别进行二维卷积和Sigmoid激活函数的处理后，相应得到宽度注意力权值和高度注意力权值/>从而利用式(1)得到第一CA注意力模块输出的小麦叶片注意力特征提取输出结果F″i,n；
步骤2.3、所述头部注意力预测模块包括：若干个第二浅层单元以及1个第二CA注意力模块；
步骤2.3.1、若干个第二浅层单元依次对F″i,n进行卷积和归一化处理后，得到小麦叶片头部特征提取结果F″′i,n；
步骤2.3.2、所述小麦叶片头部特征提取结果F″′i,n经过第二CA注意力模块的处理后，得到si,n中叶片位置的预测框
所述步骤5中的叶倾角变化率是按如下过程进行计算：
当旋转检测框与图像坐标系的x轴正方向锐角时，利用式(2)计算第i期小麦盆栽RGB图像中第m个叶片区域的叶倾角变化率αi1 m；
式(2)中，(xi2 m,yi2 m)表示旋转检测框右上角坐标点Bnow的坐标，(xi4 m,yi4 m)表示旋转检测框/>右下角坐标点Dnow的坐标，(x(i-1)2 m,y(i-1)2 m)表示旋转检测框/>右上角坐标点Bnow的坐标，(x(i-1)4 m,y(i-1)4 m)表示旋转检测框/>右下角坐标点Dnow的坐标；表示第i期的小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角，表示第i-1期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角；
当旋转检测框与图像坐标系的x轴正方向钝角时，利用式(3)计算第i期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角变化率αi2 m；
式(3)中，(xi1 m,yi1 m)表示旋转检测框左上角坐标点Anow的坐标，(xi3 m,yi3 m)表示旋转检测框/>左下角坐标点Cnow的坐标，(x(i-1)1 m,y(i-1)1 m)表示旋转检测框/>左上角坐标点Anow的坐标，(x(i-1)3 m,y(i-1)3 m)表示旋转检测框/>左下角坐标点Cnow的坐标，表示第i期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角，表示第i-1期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角。
所述步骤5中的叶片面积变化率是按如下过程进行计算：
当第m个旋转检测框与图像坐标系的x轴正方向锐角时，令Si1 m表示第i期小麦盆栽RGB图像中第m个小麦区域的叶片面积，且
S(i-1)1 m表示第i-1期小麦盆栽RGB图像中第m个小麦区域的叶片面积；且
利用式(4)计算第m个小麦叶片的叶片面积变化率σi1 m：
当旋转检测框与图像坐标系的x轴正方向钝角时，令Si2 m表示第i期小麦盆栽RGB图像中第m个小麦区域的叶片面积，且
令S(i-1)2 m表示第i-1期小麦盆栽RGB图像中第m个小麦区域的叶片面积，且
利用式(5)计算第m个小麦叶片的叶片面积变化率σi2 m：
本发明一种基于深度学习的小麦叶片表型参数变化率监测装置的特点在于，包括：获取单元、坐标标定单元、提取单元、监测单元，其中，
所述获取单元，用于获取若干期的小麦幼苗盆栽的N张RGB图像，并通过预处理方式，得到小麦盆栽RGB图像集并对小麦叶片区域进行标注；
所述构建单元，用于构建基于所述的小麦叶片目标旋转框检测网络，并利用所述小麦盆栽RGB图像集进行训练，得到训练好的小麦叶片目标旋转框检测模型；
所述坐标标定单元，用于获取任意第i期实时拍摄的一张小麦幼苗RGB图像si,now并输入训练好的小麦叶片目标旋转框检测模型中进行小麦叶片区域检测，确定第m个小麦叶片区域的旋转检测框以及对应的四个顶点的坐标；
所述监测单元，用于计算出小麦表型参数，从而计算小麦叶片表型参数变化率以实现小麦生长监测。
与现有技术相比，本发明的优势在于：
1、本发明通过已训练好的小麦叶片目标旋转框检测网络，再结合独特的旋转目标检测框顶点坐标进行运算，保证了获取的小麦叶片表型参数变化率准确性，满足了自动监测小麦生长状态需求。
2、本发明方法是基于深度学习理论进行小麦叶片检测，从本质上来说，随着后期不断增加新的小麦植株样本，检测精度会不断提高，小麦叶片目标旋转框检测网络会得到更好的训练结果，从而提高了小麦生长状态监测的准确性。
附图说明
图1为本发明方法的总体流程图；
图2为本发明方法的小麦叶片实际检测框图；
图3为本发明方法的小麦叶倾角示意图；
图4为本发明方法的小麦叶长、叶宽示意图；
图5为本发明方法的装置示意图。
具体实施方式
本实施例中，如图1所示，一种基于深度学习的小麦叶片表型参数变化率监测方法是按照如下步骤进行：
步骤1：通过手机采集不同时期大棚环境下的小麦植株图像，将这些图像作为原始数据集，原始数据集图像大小3024×3024×3。
步骤2：通过对原始数据集进行90°、180°和270°，增加2倍亮度，增加高斯噪声，得到增强5倍的新的数据集S＝{S1,S2,…,Si,…,SI}，其中，Si表示第i期小麦幼苗盆栽RGB图像集合，且Si＝{si,n|n＝1,2,…,N}；si,n表示第i期小麦幼苗盆栽的第n张RGB图像；I表示总期数；将新的数据集图像大小调整为640×640×3。
步骤3：使用图像标注软件roLabelImg对新的数据集中的所有小麦叶片进行标注，并将新的数据集按照7:2:1的比例划分为训练集、验证集和测试集；令Si中所标注的小麦叶片区域的检测框为Yi。
步骤4：建立基于小麦叶片目标旋转框检测网络，依次包括：特征提取网络模块，颈部注意力特征网络模块以及头部注意力预测模块；并对si,n进行处理，得到si,n中小麦叶片区域的预测框选择基于YOLOv5的目标检测模型训练数据集，并使用验证集进行验证训练的结果，动态调整学习率等参数，最终得到最优的小麦叶片目标旋转框检测模型。
步骤4.1、特征提取网络模块依次是若干个浅层单元和若干个深度可分离单元构成；每个浅层单元是由二维卷积Conv2D以及归一化层BN组成，每个深度可分离单元是由二维卷积Conv2D、归一化层BN以及激活函数ReLU组成；本实施例中，若干浅层单元为2，若干深度可分离单元为10，Conv2D的卷积核大小为3×3。
将第n张RGB图像si,n输入基于小麦叶片目标旋转框检测网络中，并依次经过特征提取网络模块中的若干个浅层单元和若干个深度可分离单元的处理后，得到小麦叶片特征提取结果Fi,n。
步骤4.2、颈部注意力特征网络模块依次由若干个残差结构模块、若干个第一浅层单元以及1个第一CA注意力模块构成，每个残差结构模块包括两条并行支路：残差支路以及卷积核为1×1的卷积支路；CA注意力模块包括宽度注意力特征提取模块和高度注意力特征提取模块。本实施例中，若干残差结构模块为5，若干第一浅层单元为5。
步骤4.2.1、小麦特征提取结果Fi,n输入到颈部注意力特征网络模块，并依次经过残差结构模块、第一浅层单元处理后，输出小麦叶片残差结构特征提取结果F′i,n；
步骤4.2.2、小麦叶片注意力特征提取结果F′i,n依次经过第一CA注意力模块，并路将F′i,n输入到宽度注意力提取模块、高度注意力特征提取模块进行全局平均池化处理，得到全局平均池化结果GxF′i,n、GyF′i,n，相应得到宽度池化结果GxF′i,n、高度池化结果GyF′i,n，再分别进行二维卷积和Sigmoid激活函数，相应得到宽度注意力权值和高度注意力权值/>最终利用式(1)得到小麦叶片注意力特征提取输出结果F″i,n；
步骤4.3、头部注意力预测模块包括：若干第二浅层单元以及1个第二CA注意力模块。本实施例中，若干第二浅层单元为3。
步骤4.3.1、浅层单元是对F″i,n进行卷积和归一化处理后，得到小麦叶片头部特征提取结果F″′i,n；
步骤4.3.2、小麦叶片头部特征提取结果F″′i,n经过第二CA注意力模块处理后，得到si,n中叶片位置的预测框
步骤5：利用已经训练好的小麦叶片目标旋转框检测网络，分别对Ni幅小麦RGB图像进行小麦叶片检测，获得的第i期小麦RGB图像中mi个小麦叶片区域旋转检测框以及各个小麦叶片区域的旋转检测框四个顶点的坐标。如图2的小麦叶片实际检测框图，图中共有8个小麦叶片区域旋转检测框，代表检测到8片小麦叶片。
步骤5.1：将小麦盆栽RGB图像测试集si＝{s1,···，sn}输入到小麦叶片目标旋转框检测模型进行测试，得到n幅图像的叶片区域旋转检测框的位置以及各个旋转检测框的四个顶点坐标值。
步骤5.2：令第i期的一张小麦盆栽RGB图像si,now中第m个旋转检测框的左上角、右上角、左下角、右下角坐标在图像坐标系中依次记为Anow(xi1 m,yi1 m)，Bnow(xi2 m,yi2 m)，Cnow(xi3 m,yi3 m)，Dnow(xi4 m,yi4 m)。
步骤6：通过获得旋转检测框四个顶点坐标提取小麦的表型参数变化率。
步骤6.1：叶倾角变化率的计算：
当旋转检测框与图像坐标系的x轴正方向锐角时，如图3中(a)部分图所示；利用式(2)计算第i期小麦盆栽RGB图像中第m个叶片区域的叶倾角变化率αi1 m；
式(2)中，(xi2 m,yi2 m)表示旋转检测框右上角Bnow点坐标，(xi4 m,yi4 m)表示旋转检测框/>右下角Dnow点坐标，(x(i-1)2 m,y(i-1)2 m)表示旋转检测框/>右上角Bnow点坐标，(x(i-1)4 m,y(i-1)4 m)表示旋转检测框/>右下角Dnow点坐标；/>表示第i期的小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角，/>表示第i-1期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角；
当旋转检测框与图像坐标系的x轴正方向钝角时，如图3中(b)部分图所示；利用式(3)计算第i期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角变化率αi2 m；
式(3)中，(xi1 m,yi1 m)表示旋转检测框左上角Anow点坐标，(xi3 m,yi3 m)表示旋转检测框/>左下角Cnow点坐标，(x(i-1)1 m,y(i-1)1 m)表示旋转检测框/>左上角Anow点坐标，(x(i-1)3 m,y(i-1)3 m)表示旋转检测框/>左下角Cnow点坐标，/>表示第i期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角，/>表示第i-1期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角。
步骤6.2、叶片面积变化率的计算；
当第m个旋转检测框与图像坐标系的x轴正方向锐角时，如图4中(a)部分图所示；令/>表示第i期小麦盆栽RGB图像中第m个小麦区域的叶片面积，表示第i-1期小麦盆栽RGB图像中第m个小麦区域的叶片面积，从而利用式(4)计算第m个小麦叶片的叶片面积变化率σi1 m；
当旋转检测框与图像坐标系的x轴正方向钝角时，如图4中(b)部分图所示；令/>表示第i期小麦盆栽RGB图像中第m个小麦区域的叶片面积，表示第i-1期小麦盆栽RGB图像中第m个小麦区域的叶片面积，从而利用式(5)计算第m个小麦叶片的叶片面积变化率σi2 m；
参照图5，本实施例中，一种基于深度学习的小麦植株表型参数变化率监测装置包括：获取单元、构建单元、坐标标定单元、监测单元；
获取单元，用于获取若干期的小麦幼苗盆栽的N张RGB图像，并通过预处理方式，得到小麦盆栽RGB图像集并对小麦叶片区域进行标注；
构建单元，用于构建小麦叶片目标旋转框检测网络，并利用小麦盆栽RGB图像集进行训练，得到训练好的小麦叶片目标旋转框检测模型；
坐标标定单元，用于获取任意第i期实时拍摄的一张小麦幼苗RGB图像si,now并输入训练好的小麦叶片目标旋转框检测模型中进行小麦叶片区域检测，确定第m个小麦叶片区域的旋转检测框以及对应的四个顶点的坐标；
监测单元，计算出小麦表型参数，从而计算小麦叶片表型参数变化率以实现小麦生长监测。

Claims (2)

1.一种基于深度学习的小麦叶片表型参数变化率监测方法，其特征在于，包括：
步骤1、获取若干期的小麦幼苗盆栽的N张RGB图像，并对每张小麦幼苗盆栽RGB图像进行增强，从而得到小麦盆栽RGB图像集S＝{S1,S2,…,Si,…,SI}，并对小麦叶片区域进行标注；其中，Si表示第i期小麦幼苗盆栽RGB图像集合，且Si＝{si,n|n＝1,2,…,N}；si,n表示第i期小麦幼苗盆栽的第n张RGB图像；令Si中所标注的小麦叶片区域的检测框为Yi；I表示总期数；
步骤2、建立基于小麦叶片目标旋转框检测网络，依次包括：特征提取网络模块，颈部注意力特征网络模块以及头部注意力预测模块；并对si,n进行处理，得到si,n中小麦叶片区域的预测框
步骤2.1、所述特征提取网络模块依次是若干个浅层单元和若干个深度可分离单元构成；每个浅层单元是由二维卷积Conv2D以及归一化层BN组成，每个深度可分离单元是由二维卷积Conv2D、归一化层BN以及激活函数ReLU组成；
将所述第n张RGB图像si,n输入基于小麦叶片目标旋转框检测网络中，并依次经过特征提取网络模块中的若干个浅层单元和若干个深度可分离单元的处理后，得到小麦叶片特征提取结果Fi,n；
步骤2.2、所述颈部注意力特征网络模块依次由若干个残差结构模块、若干个第一浅层单元以及1个第一CA注意力模块构成，其中，每个残差结构模块包括两条并行支路：残差支路以及卷积核为1×1的卷积支路；CA注意力模块包括：宽度注意力特征提取模块和高度注意力特征提取模块；
步骤2.2.1、所述小麦特征提取结果Fi,n输入到所述颈部注意力特征网络模块，并依次经过若干个残差结构模块和若干个第一浅层单元的处理后，输出小麦叶片残差结构特征提取结果F′i,n；
步骤2.2.2、所述小麦叶片注意力特征提取结果F′i,n输入第一CA注意力模块，并由其中的宽度注意力提取模块和高度注意力特征提取模块分别对F′i,n进行全局平均池化处理，相应得到宽度池化结果GxF′i,n、高度池化结果GyF′i,n，再分别进行二维卷积和Sigmoid激活函数的处理后，相应得到宽度注意力权值和高度注意力权值/>从而利用式(1)得到第一CA注意力模块输出的小麦叶片注意力特征提取输出结果F″i,n；
步骤2.3、所述头部注意力预测模块包括：若干个第二浅层单元以及1个第二CA注意力模块；
步骤2.3.1、若干个第二浅层单元依次对F″i,n进行卷积和归一化处理后，得到小麦叶片头部特征提取结果F″′i,n；
步骤2.3.2、所述小麦叶片头部特征提取结果F″′i,n经过第二CA注意力模块的处理后，得到si,n中叶片位置的旋转预测框
步骤3、基于和Yi构建交叉熵损失函数，并基于小麦盆栽RGB图像集S，利用梯度下降法对所述小麦叶片目标旋转框检测网络进行训练，同时计算所述交叉熵损失函数以更新网络参数，直到所述交叉熵损失函数收敛为止，从而得到训练好的小麦叶片目标旋转框检测模型；
步骤4、利用训练好的小麦叶片目标旋转框检测模型对任意第i期实时拍摄的一张小麦幼苗RGB图像si,now进行小麦叶片区域检测，获得第i期的一张小麦RGB图像si,now中M个小麦叶片区域的旋转检测框以及对应的四个顶点的坐标，令第i期的一张小麦盆栽RGB图像si,now中第m个旋转检测框的左上角、右上角、左下角、右下角坐标在图像坐标系中依次记为Anow(xi1 m,yi1 m)，Bnow(xi2 m,yi2 m)，Cnow(xi3 m,yi3 m)，Dnow(xi4 m,yi4 m)；
步骤5、根据第m个旋转检测框的四个顶点坐标，计算第i期的一张小麦盆栽RGB图像si,now中表型参数信息，包括：第m个叶片区域的叶倾角、叶长、叶宽、叶片面积；从而根据si,now中每个表型参数信息，计算每个叶片区域的叶倾角变化率和叶片面积变化率，以实现小麦生长的动态监测；
当旋转检测框与图像坐标系的x轴正方向锐角时，利用式(2)计算第i期小麦盆栽RGB图像中第m个叶片区域的叶倾角变化率αi1 m；
式(2)中，(xi2 m,yi2 m)表示旋转检测框右上角坐标点Bnow的坐标，(xi4 m,yi4 m)表示旋转检测框/>右下角坐标点Dnow的坐标，(x(i-1)2 m,y(i-1)2 m)表示旋转检测框/>右上角坐标点Bnow的坐标，(x(i-1)4 m,y(i-1)4 m)表示旋转检测框/>右下角坐标点Dnow的坐标；表示第i期的小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角，表示第i-1期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角；
当旋转检测框与图像坐标系的x轴正方向钝角时，利用式(3)计算第i期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角变化率αi2 m；
式(3)中，(xi1 m,yi1 m)表示旋转检测框左上角坐标点Anow的坐标，(xi3 m,yi3 m)表示旋转检测框/>左下角坐标点Cnow的坐标，(x(i-1)1 m,y(i-1)1 m)表示旋转检测框/>左上角坐标点Anow的坐标，(x(i-1)3 m,y(i-1)3 m)表示旋转检测框/>左下角坐标点Cnow的坐标，表示第i期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角，表示第i-1期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角；
当第m个旋转检测框与图像坐标系的x轴正方向锐角时，令Si1 m表示第i期小麦盆栽RGB图像中第m个小麦区域的叶片面积，且
S(i-1)1 m表示第i-1期小麦盆栽RGB图像中第m个小麦区域的叶片面积；且
利用式(4)计算第m个小麦叶片的叶片面积变化率σi1 m：
当旋转检测框与图像坐标系的x轴正方向钝角时，令Si2 m表示第i期小麦盆栽RGB图像中第m个小麦区域的叶片面积，且
令S(i-1)2 m表示第i-1期小麦盆栽RGB图像中第m个小麦区域的叶片面积，且
利用式(5)计算第m个小麦叶片的叶片面积变化率σi2 m：
2.一种基于深度学习的小麦叶片表型参数变化率监测装置，其特征在于，包括：获取单元、坐标标定单元、构建单元、监测单元，其中，
所述获取单元，用于获取若干期的小麦幼苗盆栽的N张RGB图像，并通过预处理方式，得到小麦盆栽RGB图像集S＝{S1,S2,…,Si,…,SI}并对小麦叶片区域进行标注；其中，Si表示第i期小麦幼苗盆栽RGB图像集合，且Si＝{si,n|n＝1,2,…,N}；si,n表示第i期小麦幼苗盆栽的第n张RGB图像；令Si中所标注的小麦叶片区域的检测框为Yi；I表示总期数；
所述构建单元，用于构建小麦叶片目标旋转框检测网络，并利用所述小麦盆栽RGB图像集进行训练，得到训练好的小麦叶片目标旋转框检测模型；
所述小麦叶片目标旋转框检测网络依次包括：特征提取网络模块，颈部注意力特征网络模块以及头部注意力预测模块；
所述特征提取网络模块依次是若干个浅层单元和若干个深度可分离单元构成；每个浅层单元是由二维卷积Conv2D以及归一化层BN组成，每个深度可分离单元是由二维卷积Conv2D、归一化层BN以及激活函数ReLU组成；
将所述第n张RGB图像si,n输入基于小麦叶片目标旋转框检测网络中，并依次经过特征提取网络模块中的若干个浅层单元和若干个深度可分离单元的处理后，得到小麦叶片特征提取结果Fi,n；
所述颈部注意力特征网络模块依次由若干个残差结构模块、若干个第一浅层单元以及1个第一CA注意力模块构成，其中，每个残差结构模块包括两条并行支路：残差支路以及卷积核为1×1的卷积支路；CA注意力模块包括：宽度注意力特征提取模块和高度注意力特征提取模块；
所述小麦特征提取结果Fi,n输入到所述颈部注意力特征网络模块，并依次经过若干个残差结构模块和若干个第一浅层单元的处理后，输出小麦叶片残差结构特征提取结果F′i,n；
所述小麦叶片注意力特征提取结果F′i,n输入第一CA注意力模块，并由其中的宽度注意力提取模块和高度注意力特征提取模块分别对F′i,n进行全局平均池化处理，相应得到宽度池化结果GxF′i,n、高度池化结果GyF′i,n，再分别进行二维卷积和Sigmoid激活函数的处理后，相应得到宽度注意力权值和高度注意力权值/>从而利用式(1)得到第一CA注意力模块输出的小麦叶片注意力特征提取输出结果F″i,n；
所述头部注意力预测模块包括：若干个第二浅层单元以及1个第二CA注意力模块；
若干个第二浅层单元依次对F″i,n进行卷积和归一化处理后，得到小麦叶片头部特征提取结果F″′i,n；
所述小麦叶片头部特征提取结果F″′i,n经过第二CA注意力模块的处理后，得到si,n中叶片位置的旋转预测框
基于和Yi构建交叉熵损失函数，并基于小麦盆栽RGB图像集S，利用梯度下降法对所述小麦叶片目标旋转框检测网络进行训练，同时计算所述交叉熵损失函数以更新网络参数，直到所述交叉熵损失函数收敛为止，从而得到训练好的小麦叶片目标旋转框检测模型；
所述坐标标定单元，用于获取任意第i期实时拍摄的一张小麦幼苗RGB图像si,now并输入训练好的小麦叶片目标旋转框检测模型中进行小麦叶片区域检测，确定第m个小麦叶片区域的旋转检测框以及对应左上角、右上角、左下角、右下角坐标在图像坐标系中依次记为Anow(xi1 m,yi1 m)，Bnow(xi2 m,yi2 m)，Cnow(xi3 m,yi3 m)，Dnow(xi4 m,yi4 m)；
所述监测单元，用于计算出小麦表型参数，从而计算小麦叶片表型参数变化率以实现小麦生长监测；
当旋转检测框与图像坐标系的x轴正方向锐角时，利用式(2)计算第i期小麦盆栽RGB图像中第m个叶片区域的叶倾角变化率αi1 m；
式(2)中，(xi2 m,yi2 m)表示旋转检测框右上角坐标点Bnow的坐标，(xi4 m,yi4 m)表示旋转检测框/>右下角坐标点Dnow的坐标，(x(i-1)2 m,y(i-1)2 m)表示旋转检测框/>右上角坐标点Bnow的坐标，(x(i-1)4 m,y(i-1)4 m)表示旋转检测框/>右下角坐标点Dnow的坐标；表示第i期的小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角，表示第i-1期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角；
当旋转检测框与图像坐标系的x轴正方向钝角时，利用式(3)计算第i期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角变化率αi2 m；
式(3)中，(xi1 m,yi1 m)表示旋转检测框左上角坐标点Anow的坐标，(xi3 m,yi3 m)表示旋转检测框/>左下角坐标点Cnow的坐标，(x(i-1)1 m,y(i-1)1 m)表示旋转检测框/>左上角坐标点Anow的坐标，(x(i-1)3 m,y(i-1)3 m)表示旋转检测框/>左下角坐标点Cnow的坐标，表示第i期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角，表示第i-1期小麦盆栽RGB图像si,now中第m个叶片区域的叶倾角；
当第m个旋转检测框与图像坐标系的x轴正方向锐角时，令Si1 m表示第i期小麦盆栽RGB图像中第m个小麦区域的叶片面积，且
S(i-1)1 m表示第i-1期小麦盆栽RGB图像中第m个小麦区域的叶片面积；且
利用式(4)计算第m个小麦叶片的叶片面积变化率σi1 m：
当旋转检测框与图像坐标系的x轴正方向钝角时，令Si2 m表示第i期小麦盆栽RGB图像中第m个小麦区域的叶片面积，且
令S(i-1)2 m表示第i-1期小麦盆栽RGB图像中第m个小麦区域的叶片面积，且
利用式(5)计算第m个小麦叶片的叶片面积变化率σi2 m：
CN202310731728.0A 2023-06-16 2023-06-16 基于深度学习的小麦叶片表型参数变化率监测方法和装置 Active CN116740704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310731728.0A CN116740704B (zh) 2023-06-16 2023-06-16 基于深度学习的小麦叶片表型参数变化率监测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310731728.0A CN116740704B (zh) 2023-06-16 2023-06-16 基于深度学习的小麦叶片表型参数变化率监测方法和装置

Publications (2)

Publication Number Publication Date
CN116740704A CN116740704A (zh) 2023-09-12
CN116740704B true CN116740704B (zh) 2024-02-27

Family

ID=87902565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310731728.0A Active CN116740704B (zh) 2023-06-16 2023-06-16 基于深度学习的小麦叶片表型参数变化率监测方法和装置

Country Status (1)

Country Link
CN (1) CN116740704B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732564A (zh) * 2015-04-03 2015-06-24 中国农业科学院农业信息研究所 一种玉米叶面积无损动态监测装置与方法
CN110517311A (zh) * 2019-08-30 2019-11-29 北京麦飞科技有限公司 基于叶片病斑面积的病虫害监测方法
CN110836027A (zh) * 2019-04-28 2020-02-25 施密特自动装备无锡有限公司 鳐鱼形泳池落物检测捕捞器
CN112184688A (zh) * 2020-10-10 2021-01-05 广州极飞科技有限公司 网络模型的训练方法、目标检测方法及相关装置
CN112884760A (zh) * 2021-03-17 2021-06-01 东南大学 近水桥梁多类型病害智能检测方法与无人船设备
CN113066120A (zh) * 2021-03-25 2021-07-02 涵涡智航科技(玉溪)有限公司 一种基于机器视觉的智能杆塔倾斜检测方法
CN114413855A (zh) * 2022-01-25 2022-04-29 湖南大学 一种基于图像识别的移动基站天线下倾角检测方法和系统
CN114743201A (zh) * 2022-04-19 2022-07-12 中山大学 一种基于旋转目标检测的万用表读数识别方法及系统
CN115187896A (zh) * 2022-06-24 2022-10-14 上海锡鼎智能科技有限公司 一种用于智能实验考评的细口瓶倾斜角度检测方法
CN115496979A (zh) * 2022-09-15 2022-12-20 常州大学 一种基于多重特征融合的果园幼果生长姿态视觉辨识方法
CN115496998A (zh) * 2022-06-17 2022-12-20 中国人民解放军战略支援部队信息工程大学 一种遥感影像码头目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4840066B2 (ja) * 2006-10-11 2011-12-21 セイコーエプソン株式会社 回転角度検出装置、および回転角度検出装置の制御方法
CA2858166C (en) * 2011-12-05 2020-10-20 Commonwealth Scientific And Industrial Research Organisation Method and system for characterising plant phenotype

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732564A (zh) * 2015-04-03 2015-06-24 中国农业科学院农业信息研究所 一种玉米叶面积无损动态监测装置与方法
CN110836027A (zh) * 2019-04-28 2020-02-25 施密特自动装备无锡有限公司 鳐鱼形泳池落物检测捕捞器
CN110517311A (zh) * 2019-08-30 2019-11-29 北京麦飞科技有限公司 基于叶片病斑面积的病虫害监测方法
CN112184688A (zh) * 2020-10-10 2021-01-05 广州极飞科技有限公司 网络模型的训练方法、目标检测方法及相关装置
CN112884760A (zh) * 2021-03-17 2021-06-01 东南大学 近水桥梁多类型病害智能检测方法与无人船设备
CN113066120A (zh) * 2021-03-25 2021-07-02 涵涡智航科技(玉溪)有限公司 一种基于机器视觉的智能杆塔倾斜检测方法
CN114413855A (zh) * 2022-01-25 2022-04-29 湖南大学 一种基于图像识别的移动基站天线下倾角检测方法和系统
CN114743201A (zh) * 2022-04-19 2022-07-12 中山大学 一种基于旋转目标检测的万用表读数识别方法及系统
CN115496998A (zh) * 2022-06-17 2022-12-20 中国人民解放军战略支援部队信息工程大学 一种遥感影像码头目标检测方法
CN115187896A (zh) * 2022-06-24 2022-10-14 上海锡鼎智能科技有限公司 一种用于智能实验考评的细口瓶倾斜角度检测方法
CN115496979A (zh) * 2022-09-15 2022-12-20 常州大学 一种基于多重特征融合的果园幼果生长姿态视觉辨识方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Leaf Segmentation and Phenotypic Feature Extraction Framework for Multiview Stereo Plant Point Clouds;Dawei Li 等;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》(第第13期期);2321-2336 *
基于无人机遥感的干旱胁迫下大田玉米长势参数动态监测;李诗瑶;《中国优秀硕士学位论文全文数据库 农业科技辑》;D043-23 *
基于机器视觉的冬小麦叶片形态测量软件开发;宫志宏 等;《中国农业气象》;935-944 *
基于视觉的作物长势表型参数量化方法及与产量的相关性研究;侯帅民;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-1454 *

Also Published As

Publication number Publication date
CN116740704A (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
WO2022160771A1 (zh) 基于自适应多尺度特征提取模型的高光谱图像分类方法
Li et al. Automatic organ-level point cloud segmentation of maize shoots by integrating high-throughput data acquisition and deep learning
CN109086826B (zh) 基于图像深度学习的小麦干旱识别方法
CN109115776B (zh) 一种基于颜色和深度信息的穴盘苗长势无损监测方法和装置
CN107316289B (zh) 基于深度学习和超像素分割的大田稻穗分割方法
CN111540006B (zh) 基于深度迁移学习的植物气孔智能检测与识别方法及系统
Zhou et al. An integrated skeleton extraction and pruning method for spatial recognition of maize seedlings in MGV and UAV remote images
CN108710766B (zh) 一种基于生长模型的温室植物水肥机调肥参数计算方法
Yang et al. A synthetic datasets based instance segmentation network for High-throughput soybean pods phenotype investigation
CN112184791A (zh) 一种基于cnn-lstm神经网络的牦牛体重预测方法
CN110610438B (zh) 一种农作物冠层叶柄夹角计算方法及系统
CN106023235B (zh) 一种农作物有效籽粒个数测量的方法
Zhao et al. Transient multi-indicator detection for seedling sorting in high-speed transplanting based on a lightweight model
CN116863341B (zh) 基于时间序列卫星遥感影像的作物分类和识别方法和系统
CN116740704B (zh) 基于深度学习的小麦叶片表型参数变化率监测方法和装置
CN110705698A (zh) 尺度自适应感知的目标计数深度网络设计方法
CN116524279A (zh) 一种数字农业的人工智能图像识别作物长势分析方法
Patel et al. Deep Learning-Based Plant Organ Segmentation and Phenotyping of Sorghum Plants Using LiDAR Point Cloud
CN112950700B (zh) 基于深度学习和图像处理的植物叶片气孔导度测量方法
Liu et al. DIRT/3D: 3D phenotyping for maize (Zea mays) root architecture in the field
Schneider et al. Towards predicting vine yield: Conceptualization of 3d grape models and derivation of reliable physical and morphological parameters
CN112488230A (zh) 基于机器学习的作物水分胁迫程度判定方法和装置
CN112800929B (zh) 一种基于深度学习的竹笋数量与高生长率在线监测方法
Zhu et al. Exploring soybean flower and pod variation patterns during reproductive period based on fusion deep learning
Gao et al. Plant Event Detection from Time-Varying Point Clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant