CN117079060B - 一种基于光合信号的叶片智能分类方法和系统 - Google Patents

一种基于光合信号的叶片智能分类方法和系统 Download PDF

Info

Publication number
CN117079060B
CN117079060B CN202311325300.2A CN202311325300A CN117079060B CN 117079060 B CN117079060 B CN 117079060B CN 202311325300 A CN202311325300 A CN 202311325300A CN 117079060 B CN117079060 B CN 117079060B
Authority
CN
China
Prior art keywords
photosynthetic
leaf
signal
signals
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311325300.2A
Other languages
English (en)
Other versions
CN117079060A (zh
Inventor
应志文
章依依
卫思迪
徐晓刚
王军
冯献忠
于慧
李萧缘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Institute of Geography and Agroecology of CAS
Zhejiang Lab
Original Assignee
Northeast Institute of Geography and Agroecology of CAS
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Institute of Geography and Agroecology of CAS, Zhejiang Lab filed Critical Northeast Institute of Geography and Agroecology of CAS
Priority to CN202311325300.2A priority Critical patent/CN117079060B/zh
Publication of CN117079060A publication Critical patent/CN117079060A/zh
Application granted granted Critical
Publication of CN117079060B publication Critical patent/CN117079060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于光合信号的叶片智能分类方法和系统，其方法包含：叶片光合信号提取、叶片光合信号分类。叶片光合信号提取通过叶片检测模型提取出视频中的叶片，使用分割算法对提取出的叶片进行分割，从而分割出叶片区块，然后以叶片区块内的像素均值记为当前帧的光合信号值，视频的多帧连续光合信号值即组成此叶片的光合信号。叶片光合信号分类使用神经网络对采集到的叶片光合信号进行特征提取训练，来实现叶片的分类。本发明提出一种基于植物叶片的光合信号，确定其提取方法，并针对植物叶片的光合信号变化，采用深度学习训练的方式，提取出植物叶片与其光合信号变化的相关性，从而大大提高叶片分类的精度。

Description

一种基于光合信号的叶片智能分类方法和系统
技术领域
本发明涉及机器学习技术领域，具体涉及一种基于光合信号的叶片智能分类方法和系统。
背景技术
在叶片分类技术当中，使用深度学习的方法对叶片进行分类得到了广泛的研究和应用，目前叶片分类主流的方法是提取叶片的纹理、形状或训练一个深度神经网络模型提取叶片的高维特征，以此对叶片进行分类。然而这些方法提取的是植物叶片表面上的特征，当叶片受到病害或形状受到外界环境的干扰发生改变时，这些方法的精度会大大下降。
文献1（Caglayan,Guclu,Can,et al.A Plant Recognition Approach UsingShape and Color Features in Leaf Images[J].LECT NOTES COMPUT SC, 2013）提出一种基于叶子形状和颜色进行分类的方法，并使用k近邻、支持向量机、朴素贝叶斯和随机森林的分类算法一起来识别植物叶片。该方法基于叶子的表面特征进行分类，需要叶片形状和颜色差异较大，在这些特征没有明显的区分性时，该方法分类结果会较差。
文献2（Turkoglu M , Hanbay D .Recognition of plant leaves: An approachwith hybrid features produced by dividing leaf images into two and four parts[J].Applied Mathematics and Computation, 2019）使用分成两部分或四部分的叶子提取特征，如颜色特征，纹理特征、傅里叶描述（FD）和灰度共生矩阵（GLCM），而不是提取整个叶子，且每种特征均能由极限学习（ELM）分类器计算。此方法重点关注叶片的局部特征，鲁棒性较差，在复杂的任务当中精度往往有限。
文献3（Tavakoli H , Alirezazadeh P , Hedayatipour A ,et al.Leaf image-based classification of some common bean cultivars using discriminativeconvolutional neural networks[J].Computers and Electronics in Agriculture,2021）提出一种基于卷积神经网络的自动识别方法，对12个不同大豆品种的叶片正面和背面进行分类，并使用余弦损失来代替标准的softmax损失函数。该方法通过深度学习网络提取叶片正面和背面的特征来进行分类，基本覆盖了叶片所有的表面信息，然而当叶片表面被外部环境干扰时，其性能会大大降低。
以上提到的方法都有其局限性，在实际应用的展开中，都难以保持其性能。
发明内容
本发明针对现有技术的不足，提出一种基于光合信号的叶片智能分类方法和系统。
与现有的叶片分类方法不同的是，本发明公开了一种针对叶片内部生理特征、提取植物叶片光合信号的方法，通过这种方法提取植物叶片上的光合信号，然后使用深度学习网络提取植物叶片光合信号的深度特征，从而对植物叶片进行分类。
本发明的目的是通过以下技术方案来实现的：
一种基于光合信号的叶片智能分类方法，包括以下步骤：
步骤一：获取叶片视频数据，训练叶片检测分割模型，然后对视频进行叶片检测分割，提取视频当中的叶片区域作为ROI区域，计算ROI区域的r像素均值作为植物叶片的光合信号，其中，ROI区域是感兴趣区域，r像素均值是红色通道像素均值；
步骤二：训练深度神经网络模型对不同植物叶片的光合信号进行特征提取并分类。
进一步，步骤一包括：
（1.1）获取叶片视频数据，训练叶片检测分割模型，进行叶片检测分割；
（1.2）提取视频当中的叶片区域，计算ROI区域内的r像素均值，作为植物叶片的光合信号。
再进一步，步骤（1.1）具体包括：首先通过深度学习训练的方法对已标注的数据进行训练，得到叶片检测分割模型，然后在实际检测中，输入叶片视频，分别检测分割叶片视频的每一帧。
再进一步，步骤（1.2）具体包括：根据步骤（1.1）得到的视频每一帧的叶片检测分割结果，提取每一帧的叶片区域作为此帧的ROI区域，计算ROI区域内r通道的像素均值，作为此帧图像对应的光合信号值，对叶片视频的每一帧图像依次处理，存入光合信号文件当中，最终生成该视频对应的原始光合信号及对应的叶片类别。
更进一步，原始光合信号的长度为视频的帧数frames。
进一步，步骤二包括：
（2.1）光合信号数据预处理；对信号预处理；然后对预处理过后的信号进行降采样，每隔4帧采取一个信号值，取信号前64*[frames/64]的长度，再以长度为256、步长为64的采样器进行切分采样，得到[frames/64]-3个信号段，信号段对应的叶片类别标签即视频中的叶片类别，将数据集以设定的比例进行训练集和验证集的划分；
（2.2）初始化神经网络模型，包括用于停止迭代的超参数初始化；使用卷积神经网络加时序神经网络作为网络的主干模型，用于提取光合信号的特征，将分类损失网络如交叉熵损失作为网络的头部网络；完成神经网络模型的构建之后，对网络进行初始化，主要包括神经网络的模型参数初始化和控制迭代的超参数初始化；在实施时，在头部网络前加一个全连接层，用来连接主干网络提取出的特征和分类预测；设置迭代的次数epoch使损失值达到收敛；在具体训练时，需要设置每次迭代训练的数据输入量参数batchsize，即batchsize个信号段及叶片类别标签，在所有训练数据经过一次迭代之后，记为一次迭代，即一个epoch；
（2.3）使用神经网络提取不同植物叶片的光合信号特征；首先使用卷积神经网络提取信号段的空间特征，每个信号段的初始维度为256*1，将其形状重新映射为16*16的维度之后，使用二维卷积神经网络进行卷积，然后对卷积神经网络提取出的特征图使用时序神经网络提取其时序特征，最终输入全连接层；
（2.4）使用光合信号特征计算叶片类别的预测值，根据真实类别与预测类别得到训练的损失；在全连接层之后，通过交叉熵函数得到信号段的叶片分类预测值，然后根据真实的标签值，经过损失网络进行损失的计算，得到此次迭代的损失值，若达到收敛条件则停止迭代，若还未达到，则把损失经过预先设置的处理之后，向之前的网络进行传递，更新网络相应的参数，重复步骤（2.2）、步骤（2.3）、步骤（2.4）进入下一次迭代。
再进一步，步骤（2.1）中对信号预处理，采用加汉明窗和去趋势化。
再进一步，步骤（2.2）中使用卷积神经网络加时序神经网络作为网络的主干模型，即CNN+LSTM。
本发明还包括实施本发明的一种基于光合信号的叶片智能分类方法的系统，包括：
叶片光合信号提取模块，用于提取出目标叶片的光合信号；
叶片光合信号分类模块，通过被提取的叶片光合信号进行叶片分类。
本发明还包括一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本发明的一种基于光合信号的叶片智能分类方法。
本发明还包括一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本发明的一种基于光合信号的叶片智能分类方法。
本发明的工作原理：提取植物叶片上的光合信号，然后使用深度学习网络提取植物叶片光合信号的深度特征，从而对植物叶片进行分类。
本发明的优点是：与其它提取叶片表面特征的方法不同，本发明提取叶片的光合信号作为内部生理特征进行分类，当叶片受到病害或形状受到外界环境的干扰发生改变时，也可准确的区分不同叶片的光合信号。
附图说明
图1是本发明的叶片光合信号提取方法流程图。
图2是本发明的叶片信号分类模型训练流程图。
图3是本发明的检测分割叶片示意图。
图4是本发明的叶片信号分类流程图。
图5是本发明的系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明的一种基于光合信号的叶片智能分类方法，包括以下步骤：
步骤一：获取叶片视频数据，训练叶片检测分割模型，然后对视频进行叶片检测分割，提取视频当中的叶片区域作为ROI区域，计算ROI区域的r像素均值作为植物叶片的光合信号；
步骤二：训练深度神经网络模型对不同植物叶片的光合信号进行特征提取并分类。
所述步骤一通过以下子步骤来实现，如图1和图3所示：
（1.1）获取叶片视频数据，训练叶片检测分割模型，进行叶片检测分割；叶片视频当中有且仅有一片完整且清晰的叶片。本方法采用现有的检测分割技术方案，通过深度学习训练得到叶片检测分割的模型。如图1所示，首先通过深度学习训练的方法对已标注的数据进行训练，得到叶片检测分割模型，然后在实际检测中，输入叶片视频，分别检测分割叶片视频的每一帧。
（1.2）提取视频当中的叶片区域，计算ROI区域内的r像素均值，作为植物叶片的光合信号。根据步骤（1.1）得到的视频每一帧的叶片检测分割结果，提取每一帧的叶片区域作为此帧的ROI区域，计算ROI区域内r通道的像素均值，作为此帧图像对应的光合信号值，对叶片视频的每一帧图像依次处理，存入光合信号文件当中，最终生成该视频对应的原始光合信号（其长度为视频的帧数frames）及对应的叶片类别。
所述步骤二通过以下子步骤来实现，如图2和图4所示：
（2.1）光合信号数据预处理。通过图像采集设备采集的过程中，会产生较多的噪声，为了去除初始光合信号的噪声，得到更加纯净的光合信号，本实施例采用目前主流的一些信号预处理方案，如加汉明窗和去趋势化。然后对预处理过后的信号进行降采样，每隔4帧采取一个信号值，取信号前64*[frames/64]的长度，再以长度为256、步长为64的采样器进行切分采样，得到[frames/64]-3个信号段，信号段对应的叶片类别标签即视频中的叶片类别，将数据集以一定的比例进行训练集和验证集的划分。
（2.2）初始化神经网络模型，包括用于停止迭代的超参数初始化。使用卷积神经网络加时序神经网络作为网络的主干模型，如CNN+LSTM，用于提取光合信号的特征，将分类损失网络如交叉熵损失作为网络的头部网络。完成神经网络模型的构建之后，对网络进行初始化，主要包括神经网络的模型参数初始化和控制迭代的超参数初始化。在实施时，在头部网络前加一个全连接层，用来连接主干网络提取出的特征和分类预测。迭代的次数epoch可以是400或300，能够让损失值达到收敛即可。在具体训练时，需要设置每次迭代训练的数据输入量参数batchsize，即batchsize个信号段及叶片类别标签，在所有训练数据经过一次迭代之后，记为一次迭代，即一个epoch。
（2.3）使用神经网络提取不同植物叶片的光合信号特征。首先使用卷积神经网络提取信号段的空间特征，每个信号段的初始维度为256*1，将其形状重新映射为16*16的维度之后，使用二维卷积神经网络进行卷积，然后对卷积神经网络提取出的特征图使用时序神经网络提取其时序特征，最终输入全连接层。
（2.4）使用光合信号特征计算叶片类别的预测值，根据真实类别与预测类别得到训练的损失。在全连接层之后，通过交叉熵函数得到信号段的叶片分类预测值，然后根据真实的标签值，经过损失网络进行损失的计算，得到此次迭代的损失值，若达到收敛条件则停止迭代，若还未达到，则把损失经过预先设置的处理之后，向之前的网络进行传递，更新网络相应的参数，重复步骤（2.2）、步骤（2.3）、步骤（2.4）进入下一次迭代。
至此，结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换（例如提取步骤1.2内ROI区域的g、b或所有通道像素均值等），这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
实施例2
参照附图5，本实施例涉及实现实施例1的一种基于光合信号的叶片智能分类方法的系统，包括：
叶片光合信号提取模块，用于提取出目标叶片的光合信号；
叶片光合信号分类模块，通过被提取的叶片光合信号进行叶片分类。
在实际应用当中，本实施例对大豆的107个品种进行了分类实验，分类结果如表1所示。
表1
在表1中，准确率的计算方法为：
准确率=（分类正确样本数/总样本数）*100%
根据实验结果表明，这种基于光合信号的叶片分类方法可以获得较高的叶片分类结果，从而可以通过叶片光合信号很好地识别出叶片品种。
实施例3
本实施例涉及一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现实施例1的一种基于光合信号的叶片智能分类方法。
实施例4
一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现实施例1的一种基于光合信号的叶片智能分类方法。
在硬件层面，该计算设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述实施例1所述的方法。当然，除了软件实现方式之外，本发明并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（ProgrammableLogic Device, PLD）（例如现场可编程门阵列（Field Programmable Gate Array，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（HardwareDescription Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（AdvancedBoolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（JavaHardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby HardwareDescription Language）等，目前最普遍使用的是VHDL（Very-High-Speed IntegratedCircuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种基于光合信号的叶片智能分类方法，包括以下步骤：
步骤一：获取叶片视频数据，训练叶片检测分割模型，然后对视频进行叶片检测分割，提取视频当中的叶片区域作为ROI区域，计算ROI区域的r像素均值作为植物叶片的光合信号；
步骤二：训练深度神经网络模型对不同植物叶片的光合信号进行特征提取并分类，包括：
（2.1）光合信号数据预处理；对信号预处理；然后对预处理过后的信号进行降采样，每隔4帧采取一个信号值，取信号前64*[frames/64]的长度，再以长度为256、步长为64的采样器进行切分采样，得到[frames/64]-3个信号段，信号段对应的叶片类别标签即视频中的叶片类别，将数据集以设定的比例进行训练集和验证集的划分；
（2.2）初始化神经网络模型，包括用于停止迭代的超参数初始化；使用卷积神经网络加时序神经网络作为网络的主干模型，用于提取光合信号的特征，将分类损失网络作为网络的头部网络；完成神经网络模型的构建之后，对网络进行初始化，包括神经网络的模型参数初始化和控制迭代的超参数初始化；在实施时，在头部网络前加一个全连接层，用来连接主干网络提取出的特征和分类预测；设置迭代的次数epoch使损失值达到收敛；在具体训练时，需要设置每次迭代训练的数据输入量参数batchsize，即batchsize个信号段及叶片类别标签，在所有训练数据经过一次迭代之后，记为一次迭代，即一个epoch；
（2.3）使用神经网络提取不同植物叶片的光合信号特征；首先使用卷积神经网络提取信号段的空间特征，每个信号段的初始维度为256*1，将其形状重新映射为16*16的维度之后，使用二维卷积神经网络进行卷积，然后对卷积神经网络提取出的特征图使用时序神经网络提取其时序特征，最终输入全连接层；
（2.4）使用光合信号特征计算叶片类别的预测值，根据真实类别与预测类别得到训练的损失；在全连接层之后，通过交叉熵函数得到信号段的叶片分类预测值，然后根据真实的标签值，经过损失网络进行损失的计算，得到此次迭代的损失值，若达到收敛条件则停止迭代，若还未达到，则把损失经过预先设置的处理之后，向之前的网络进行传递，更新网络相应的参数，重复步骤（2.2）、步骤（2.3）、步骤（2.4）进入下一次迭代。
2.如权利要求1所述的一种基于光合信号的叶片智能分类方法，其特征在于，步骤一包括：
（1.1）获取叶片视频数据，训练叶片检测分割模型，进行叶片检测分割；
（1.2）提取视频当中的叶片区域，计算ROI区域内的r像素均值，作为植物叶片的光合信号。
3.如权利要求2所述的一种基于光合信号的叶片智能分类方法，其特征在于，步骤（1.1）具体包括：首先通过深度学习训练的方法对已标注的数据进行训练，得到叶片检测分割模型，然后在实际检测中，输入叶片视频，分别检测分割叶片视频的每一帧。
4.如权利要求2所述的一种基于光合信号的叶片智能分类方法，其特征在于，步骤（1.2）具体包括：根据步骤（1.1）得到的视频每一帧的叶片检测分割结果，提取每一帧的叶片区域作为此帧的ROI区域，计算ROI区域内r通道的像素均值，作为此帧图像对应的光合信号值，对叶片视频的每一帧图像依次处理，存入光合信号文件当中，最终生成该视频对应的原始光合信号及对应的叶片类别。
5.如权利要求4所述的一种基于光合信号的叶片智能分类方法，其特征在于，原始光合信号的长度为视频的帧数frames。
6.如权利要求1所述的一种基于光合信号的叶片智能分类方法，其特征在于，步骤（2.1）中对信号预处理，采用加汉明窗和去趋势化。
7.如权利要求1所述的一种基于光合信号的叶片智能分类方法，其特征在于，步骤（2.2）中使用卷积神经网络加时序神经网络作为网络的主干模型，即CNN+LSTM。
8.实施如权利要求1所述的一种基于光合信号的叶片智能分类方法的系统，其特征在于，包括：
叶片光合信号提取模块，用于提取出目标叶片的光合信号；
叶片光合信号分类模块，通过被提取的叶片光合信号进行叶片分类。
9.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-7中任一项所述的一种基于光合信号的叶片智能分类方法。
10.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的一种基于光合信号的叶片智能分类方法。
CN202311325300.2A 2023-10-13 2023-10-13 一种基于光合信号的叶片智能分类方法和系统 Active CN117079060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311325300.2A CN117079060B (zh) 2023-10-13 2023-10-13 一种基于光合信号的叶片智能分类方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311325300.2A CN117079060B (zh) 2023-10-13 2023-10-13 一种基于光合信号的叶片智能分类方法和系统

Publications (2)

Publication Number Publication Date
CN117079060A CN117079060A (zh) 2023-11-17
CN117079060B true CN117079060B (zh) 2024-03-12

Family

ID=88702842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311325300.2A Active CN117079060B (zh) 2023-10-13 2023-10-13 一种基于光合信号的叶片智能分类方法和系统

Country Status (1)

Country Link
CN (1) CN117079060B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135357A (ja) * 2020-02-26 2021-09-13 沖電気工業株式会社 分類システム、情報処理装置、分類方法およびプログラム
CN113545280A (zh) * 2021-08-23 2021-10-26 中国农业科学院蔬菜花卉研究所 一种基于植株萎蔫程度进行精准灌溉的系统及方法
CN114202794A (zh) * 2022-02-17 2022-03-18 之江实验室 一种基于人脸ppg信号的疲劳检测方法和装置
CN114821321A (zh) * 2022-04-27 2022-07-29 浙江工业大学 一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法
CN115050020A (zh) * 2022-04-29 2022-09-13 安徽大学 一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法及系统
CN116805393A (zh) * 2023-05-22 2023-09-26 之江实验室 一种基于3DUnet光谱-空间信息融合的高光谱图像分类方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220270252A1 (en) * 2022-03-02 2022-08-25 Nuzhat Faiz Shaikh Automated System And Method For Detecting Plant Disease And Providing Disease Treatment Solution

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135357A (ja) * 2020-02-26 2021-09-13 沖電気工業株式会社 分類システム、情報処理装置、分類方法およびプログラム
CN113545280A (zh) * 2021-08-23 2021-10-26 中国农业科学院蔬菜花卉研究所 一种基于植株萎蔫程度进行精准灌溉的系统及方法
CN114202794A (zh) * 2022-02-17 2022-03-18 之江实验室 一种基于人脸ppg信号的疲劳检测方法和装置
CN114821321A (zh) * 2022-04-27 2022-07-29 浙江工业大学 一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法
CN115050020A (zh) * 2022-04-29 2022-09-13 安徽大学 一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法及系统
CN116805393A (zh) * 2023-05-22 2023-09-26 之江实验室 一种基于3DUnet光谱-空间信息融合的高光谱图像分类方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Plant Recognition Approach Using Shape and Color Features in Leaf Images;Ali Caglayan, Oguzhan Guclu, Ahmet Burak Can;Lecture Notes in Computer Science;全文 *
Intelligent diagnosis of northern corn leaf blight with deep learning model;Shuai-qun PAN, Jing-fen QIAO, Rui WANG, Hui-lin YU, Cheng WANG, Kerry TAYLOR, Hong-yu PAN;Journal of Integrative Agriculture;全文 *
基于Mask R-CNN的玉米干旱卷曲叶片检测;安江勇;黎万义;李茂松;;中国农业信息(05);全文 *
多尺度融合卷积神经网络的黄瓜病害叶片图像分割方法;张善文;王振;王祖良;;农业工程学报(16);全文 *
张善文 ; 王振 ; 王祖良 ; .多尺度融合卷积神经网络的黄瓜病害叶片图像分割方法.农业工程学报.2020,(16),全文. *

Also Published As

Publication number Publication date
CN117079060A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
Rocco et al. Efficient neighbourhood consensus networks via submanifold sparse convolutions
CN110674866B (zh) 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
US11200447B2 (en) Low- and high-fidelity classifiers applied to road-scene images
CN113095124B (zh) 一种人脸活体检测方法、装置以及电子设备
CN111476302B (zh) 基于深度强化学习的Faster-RCNN目标物体检测方法
Cech et al. Efficient sequential correspondence selection by cosegmentation
US8045783B2 (en) Method for moving cell detection from temporal image sequence model estimation
Sung et al. Scene text detection with robust character candidate extraction method
CN110942471B (zh) 一种基于时空约束的长时目标跟踪方法
EP3203417B1 (en) Method for detecting texts included in an image and apparatus using the same
CN107977634A (zh) 一种针对视频的表情识别方法、装置及设备
CN111523447B (zh) 车辆跟踪方法、装置、电子设备及存储介质
CN112991280B (zh) 视觉检测方法、系统及电子设备
CN111523537A (zh) 一种文字识别方法、存储介质及系统
CN116805393A (zh) 一种基于3DUnet光谱-空间信息融合的高光谱图像分类方法和系统
Urala Kota et al. Generalized framework for summarization of fixed-camera lecture videos by detecting and binarizing handwritten content
CN117011718B (zh) 一种基于多元损失融合的植物叶片细粒度识别方法和系统
CN117197781B (zh) 一种交通标志识别的方法、装置、存储介质及电子设备
CN112686122B (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN117036829A (zh) 一种基于原型学习实现标签增强的叶片细粒度识别方法和系统
CN117079060B (zh) 一种基于光合信号的叶片智能分类方法和系统
CN115830633B (zh) 基于多任务学习残差神经网络的行人重识别方法和系统
CN112561885A (zh) 基于YOLOv4-tiny的插板阀开度检测方法
Sliti et al. Efficient visual tracking via sparse representation and back-projection histogram
CN115359507A (zh) 手部姿势识别方法、装置、电子设备、及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant