CN116311086B - 植物监测方法、植物监测模型的训练方法、装置及设备 - Google Patents

植物监测方法、植物监测模型的训练方法、装置及设备 Download PDF

Info

Publication number
CN116311086B
CN116311086B CN202310583867.3A CN202310583867A CN116311086B CN 116311086 B CN116311086 B CN 116311086B CN 202310583867 A CN202310583867 A CN 202310583867A CN 116311086 B CN116311086 B CN 116311086B
Authority
CN
China
Prior art keywords
plant
plant organ
target
organ
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310583867.3A
Other languages
English (en)
Other versions
CN116311086A (zh
Inventor
童浩南
张闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202310583867.3A priority Critical patent/CN116311086B/zh
Publication of CN116311086A publication Critical patent/CN116311086A/zh
Application granted granted Critical
Publication of CN116311086B publication Critical patent/CN116311086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/34Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本发明实施例提供了一种植物监测方法、植物监测模型的训练方法、装置及设备,涉及计算机技术领域,在接收到待监测植物对应的目标图像的情况下,基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型;基于植物监测模型中与目标植物器官类型对应的分割器,获取目标图像对应的二值图;基于植物监测模型中与目标植物器官类型对应的监测器,对二值图进行形态学分析,得到目标植物器官的形态特征信息。这样,通过植物监测模型自动化获取目标植物器官的形态特征信息,相较于人工标注方式,节省了形态特征信息的获取成本,提高了形态特征信息的获取效率。

Description

植物监测方法、植物监测模型的训练方法、装置及设备
技术领域
本发明属于计算机技术领域,特别是涉及一种植物监测方法、植物监测模型的训练方法、装置及设备。
背景技术
由于植物的生长环境、基因型和生理状态等因素的影响,植物器官形态上存在显著差异,为了分析生物受遗传因素的影响以及生物对特殊环境、化学等因素的表型反应,需要对植物的表型进行监测。
相关技术中,对获取到的植物图像信息进行处理的方法,往往是通过人工标注获取植物的形态特征信息,人工标注花费时间较长且需要大量人力物力,使得形态特征信息的获取成本较高,且形态特征信息的获取效率较低。
发明内容
本发明提供一种植物监测方法、植物监测模型的训练方法、装置及设备,以便解决形态特征信息的获取成本较高,且形态特征信息的获取效率较低的问题。
为了解决上述技术问题,本发明是这样实现的:
第一方面,本发明提供一种植物监测方法,所述方法包括:
在接收到待监测植物对应的目标图像的情况下,基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型;所述目标植物器官是所述目标图像中包含的植物器官;
基于所述植物监测模型中与所述目标植物器官类型对应的分割器,获取所述目标图像对应的二值图;
基于所述植物监测模型中与所述目标植物器官类型对应的监测器,对所述二值图进行形态学分析,得到所述目标植物器官的形态特征信息。
可选地,所述形态特征信息包括器官长度信息,所述对所述二值图进行形态学分析,得到所述目标植物器官的形态特征信息,包括:
对所述二值图进行结构提取处理,得到所述二值图对应的骨架结构图;
获取所述骨架结构图中各线条结构的长度信息,并基于所述长度信息所表征的长度,将长度最长的线条结构确定为所述目标植物器官对应的目标线条结构;
获取所述目标线条结构的长度信息,作为所述目标植物器官的器官长度信息。
可选地,在所述目标图像为目标视频中的多个视频帧图像的情况下,所述基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型,包括:
获取所述多个视频帧图像中的初始视频帧图像;
基于所述植物监测模型中的植物器官分类器,确定所述初始视频帧图像中包含的目标植物器官对应的植物器官类型,作为目标植物器官类型;
所述基于所述植物监测模型中与所述目标植物器官类型对应的分割器,获取所述目标图像对应的二值图,包括:
基于所述植物监测模型中与所述目标植物器官类型对应的分割器,获取所述多个视频帧图像对应的二值图。
可选地,所述形态特征信息还包括生长状态信息,在所述目标图像为目标视频中的多个视频帧图像的情况下,在所述获取所述目标线条结构的长度信息,作为所述目标植物器官的器官长度信息之后,所述方法还包括:
针对所述多个视频帧图像中的任一视频帧图像,基于所述视频帧图像中包含的目标植物器官对应的目标线条结构,确定所述视频帧图像对应的目标特征点;所述目标特征点是与所述视频帧图像中包含的目标植物器官的生长特点相关的特征点;
基于各所述视频帧图像对应的目标特征点,确定所述目标植物器官的生长状态信息。
可选地,所述目标特征点包括端点,所述基于所述视频帧图像中包含的目标植物器官对应的目标线条结构,确定所述视频帧图像对应的目标特征点,包括:
基于所述视频帧图像包含的所述目标植物器官对应的目标线条结构,确定所述视频帧图像对应的第一端点以及第二端点;
所述基于各所述视频帧图像对应的目标特征点,确定所述目标植物器官的生长状态信息,包括:
针对所述多个视频帧图像中的任一视频帧图像,获取所述视频帧图像对应的所述第一端点以及所述第二端点相对于所述骨架结构图的相对坐标;
基于各所述视频帧图像对应的所述第一端点的相对坐标,确定第一位移信息,以及,基于各所述视频帧图像对应的所述第二端点的相对坐标,确定第二位移信息;
将所述第一位移信息以及所述第二位移信息确定为所述目标植物器官的生长状态信息。
可选地,所述对所述二值图进行结构提取处理,得到所述二值图对应的骨架结构图,包括:
对所述二值图进行细化处理,得到细化处理后的二值图;
对所述细化处理后的二值图进行腐蚀处理、膨胀处理以及修正处理,得到所述二值图中的前景对象对应的骨架结构图。
可选地,所述获取所述骨架结构图中各线条结构的长度信息,包括:
对所述骨架结构图进行图像分析,提取所述骨架结构图中的多个线条结构;
针对所述多个线条结构中的任一线条结构,基于所述线条结构上的像素个数或像素距离,确定所述线条结构的长度信息。
可选地,在所述基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型之前,所述方法还包括:
基于植物监测模型中的植物类型分类器,判断所述目标图像中包含的待监测植物对应的植物类型;
所述基于所述植物监测模型中的植物器官分类器,确定所述初始视频帧图像中包含的目标植物器官对应的植物器官类型,作为目标植物器官类型,包括:
基于所述植物监测模型中与所述植物类型对应的植物器官分类器,确定所述初始视频帧图像中包含的目标植物器官对应的植物器官类型,作为目标植物器官类型。
可选地,所述方法还包括:
基于所述形态特征信息中的器官长度信息,监测所述待监测植物的成长速度;
基于所述形态特征信息中的生长状态信息,监测所述待监测植物的生长移动方向。
第二方面,本发明提供一种植物监测模型的训练方法,所述方法包括:
获取第一训练样本集以及第二训练样本集;所述第一训练样本集包括同类型植物的至少两种植物器官对应的第一样本图像;
基于所述第一训练样本集,对待训练分类网络进行训练,并将经训练的所述待训练分类网络确定为植物器官分类器;
针对至少两种植物器官类型中的任一植物器官类型,基于所述第二训练样本集,对待训练分割器模型进行训练,并将经训练的所述待训练分割器模型确定为与所述植物器官类型对应的分割器;所述第二训练样本集包括同类型植物中类型与所述植物器官类型相同的植物器官对应的第二样本图像;
基于所述植物器官分类器以及所述植物器官类型对应的分割器生成植物监测模型;所述植物监测模型用于获取待监测植物对应的形态特征信息。
可选地,所述基于所述第一训练样本集,对待训练分类网络进行训练,并将经训练的所述待训练分类网络确定为植物器官分类器,包括:
将所述至少两种植物器官对应的第一样本图像作为所述待训练分类网络的输入,获取所述待训练分类网络预测的分类结果;
基于所述分类结果以及所述第一样本图像的植物器官分类标签,对所述待训练分类网络进行参数调整;所述植物器官分类标签用于表征所述第一样本图像的对应的真实植物器官分类;
在所述待训练分类网络达到停止条件的情况下,将达到停止条件的待训练分类网络确定为所述植物器官分类器。
可选地,所述待训练分类网络包括多个密集块,任一所述密集块中包含卷积层、注意力机制层以及集成层,所述卷积层以及所述注意力机制层的输出结果均被连接到所述集成层。
可选地,所述方法还包括:
获取第一验证样本集;所述第一验证样本集包括同类型植物的至少两种植物器官对应的第三样本图像;
将所述至少两种植物器官对应的第三样本图像作为所述植物器官分类器的输入,获取所述植物器官分类器输出的预测分类结果;
基于所述预测分类结果以及所述第三样本图像的植物器官分类标签,对所述植物器官分类器的性能进行评估,得到第一评估结果;
在所述第一评估结果为不合格的情况下,对所述植物器官分类器进行参数调整,并基于参数调整后的植物器官分类器,重新执行所述基于所述第一训练样本集,对待训练分类网络进行训练的操作;
在所述第一评估结果为合格的情况下,确定所述植物器官分类器通过验证。
可选地,所述方法还包括:
获取待处理样本集,并对所述待处理样本集进行预处理,得到所述第二训练样本集;所述第二训练样本集中不同的第二样本图像对应不同的标签图像,所述标签图像用于表征所对应的所述第二样本图像中不同区域对应的真实分割结果。
可选地,所述基于所述第二训练样本集,对待训练分割器模型进行训练,并将经训练的所述待训练分割器模型确定为与所述植物器官类型对应的分割器,包括:
将所述类型与所述植物器官类型相同的植物器官对应的第二样本图像作为所述待训练分割器模型的输入,获取所述待训练分割器模型预测的分割结果;
基于所述分割结果以及所述类型与所述植物器官类型相同的植物器官对应的第二样本图像对应的标签图像,对所述待训练分割器模型进行参数调整;
在所述待训练分割器模型达到停止条件的情况下,将达到停止条件的待训练分割器模型确定为与所述植物器官类型对应的分割器。
可选地,所述方法还包括:
获取第二验证样本集;所述第二验证样本集包括同类型植物中类型与所述植物器官类型相同的植物器官对应的第四样本图像;
将类型与所述植物器官类型相同的植物器官对应的第四样本图像作为与所述植物器官类型对应的分割器的输入,获取与所述植物器官类型对应的分割器输出的预测分割结果;
基于所述预测分割结果以及类型与所述植物器官类型相同的植物器官对应的第四样本图像对应的标签图像,对与所述植物器官类型对应的分割器的性能进行评估,得到第二评估结果;
在所述第二评估结果为不合格的情况下,对与所述植物器官类型对应的分割器进行参数调整,并基于参数调整后的与所述植物器官类型对应的分割器,重新执行所述基于所述第二训练样本集,对待训练分割器模型进行训练的操作;
在所述第二评估结果为合格的情况下,确定与所述植物器官类型对应的分割器通过验证。
可选地,所述待训练分割器模型包括编码器以及解码器,所述编码器与所述解码器之间跳跃连接。
第三方面,本发明提供一种植物监测装置,所述装置包括:
第一确定模块,用于在接收到待监测植物对应的目标图像的情况下,基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型;所述目标植物器官是所述目标图像中包含的植物器官;
第一获取模块,用于基于所述植物监测模型中与所述目标植物器官类型对应的分割器,获取所述目标图像对应的二值图;
第一分析模块,用于基于所述植物监测模型中与所述目标植物器官类型对应的监测器,对所述二值图进行形态学分析,得到所述目标植物器官的形态特征信息。
第四方面,本发明提供一种植物监测模型的训练装置,所述植物监测模型包括植物器官分类器;所述装置包括:
第二获取模块,用于获取第一训练样本集;所述第一训练样本集包括同类型植物的至少两种植物器官对应的第一样本图像;
第一训练模块,用于基于所述第一训练样本集,对待训练分类网络进行训练,并将经训练的所述待训练分类网络确定为植物器官分类器;
第二训练模块,用于针对至少两种植物器官类型中的任一植物器官类型,基于所述第二训练样本集,对待训练分割器模型进行训练,并将经训练的所述待训练分割器模型确定为与所述植物器官类型对应的分割器;所述第二训练样本集包括同类型植物中类型与所述植物器官类型相同的植物器官对应的第二样本图像;
第一生成模块,用于基于所述植物器官分类器以及所述植物器官类型对应的分割器生成植物监测模型;所述植物监测模型用于获取待监测植物对应的形态特征信息。
第五方面,本发明提供一种电子设备,包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法。
第六方面,本发明提供一种可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述方法。
在本发明实施例中,在接收到待监测植物对应的目标图像的情况下,基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型;目标植物器官是目标图像中包含的植物器官;基于植物监测模型中与目标植物器官类型对应的分割器,获取目标图像对应的二值图;基于植物监测模型中与目标植物器官类型对应的监测器,对二值图进行形态学分析,得到目标植物器官的形态特征信息。这样,通过植物监测模型自动化获取目标植物器官的形态特征信息,相较于人工标注方式,节省了形态特征信息的获取成本,提高了形态特征信息的获取效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种植物监测方法的步骤流程图;
图2是本发明实施例提供的一种植物监测模型的训练方法的步骤流程图;
图3是本发明实施例提供的一种植物监测方法的具体流程图;
图4是本发明实施例提供的一种具体示例的流程图;
图5是本发明实施例提供的一种植物监测装置的结构图;
图6是本发明实施例提供的一种植物监测模型的训练装置的结构图;
图7是本发明实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例提供的一种植物监测方法的步骤流程图,如图1所示,该方法可以包括:
步骤101、在接收到待监测植物对应的目标图像的情况下,基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型;所述目标植物器官是所述目标图像中包含的植物器官。
本发明实施例中,可以针对不同环境条件,对不同基因型的待监测植物进行表型分析。待监测植物可以是需要进行监测并分析的植物,如需要进行植物表型分析的植物,表型是指基因型和环境决定的形状、结构、大小、颜色等生物体的外在性状。待监测植物对应的目标图像可以是由图像获取系统获取得到的,目标图像中包含待监测植物的部分区域,即包含一个待监测植物的植物器官。本发明实施例对图像获取系统、以及得到的目标图像的性质或参数不做限制。示例性的,假设待监测植物为在乙烯气体作用下的Col-0基因型拟南芥幼苗,可以通过Guppy F-146 FireWire ½英寸CCD黑白相机拍摄得到无可见光的红外目标图像,同时,相机可以分别调整到对应200和100像素/毫米的分辨率来成像拟南芥幼苗的下胚轴器官(茎部器官)和根部器官。
植物监测模型可以部署在植物监测系统,植物监测模型可以包括植物器官分类器,分割器以及监测器,以实现自动化地对植物器官进行分类、分割和以及监测。植物监测模型可以用于对一种植物类型的植物进行监测(该植物可以为不同基因型),不同植物类型的植物对应不同的植物监测模型。基于植物监测模型中的植物器官分类器,可以确定目标图像中包含的植物器官对应的植物器官类型,并得到目标植物器官类型。植物器官类型可以包括根部器官、茎部器官、叶、花、果实、种子等。
步骤102、基于所述植物监测模型中与所述目标植物器官类型对应的分割器,获取所述目标图像对应的二值图。
本发明实施例中,由于不同植物器官类型的目标植物器官在目标图像中的轮廓和边界特征不同,所以不同植物器官类型可以对应不同的分割任务,相应的,不同植物器官类型对应不同的分割器,以对包含不同类型的植物器官的目标图像进行分割。不同的分割器可以基于不同的分割任务对目标图像进行分割,得到目标图像对应的二值图。分割任务可以是用于区分目标图像中待监测植物与背景(非待监测植物)的轮廓和边界,得到可以描述待监测植物与背景差异的二值图。二值图为图像中,灰度等级只有两种的图像,二值图可以包括前景对象以及背景对象,本发明实施例中的前景对象用于表征目标图像中的待监测植物的成像部分,背景对象用于表征目标图像中除待监测植物成像部分的剩余部分。
步骤103、基于所述植物监测模型中与所述目标植物器官类型对应的监测器,对所述二值图进行形态学分析,得到所述目标植物器官的形态特征信息。
本发明实施例中,不同植物器官类型可以对应不同的监测器,不同的监测器可以获取目标植物器官不同的形态特征信息。其中,形态特征信息可以包括目标植物器官的维度信息(如器官长度信息、器官弯曲度信息、器官宽度信息等)以及动态生长参数信息(如膨胀率、生长速度)。例如,监测器可以获取目标植物器官的器官长度信息或生长状态信息,或同时获取目标植物器官的器官长度信息以及生长状态信息。通过图像形态学处理分割器输出的二值图,获取植物器官的形态特征信息,形态特征信息可以用于表征目标植物器官的成长参数。
综上所述,本发明实施例中,在接收到待监测植物对应的目标图像的情况下,基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型;目标植物器官是目标图像中包含的植物器官;基于植物监测模型中与目标植物器官类型对应的分割器,获取目标图像对应的二值图;基于植物监测模型中与目标植物器官类型对应的监测器,对二值图进行形态学分析,得到目标植物器官的形态特征信息。这样,通过植物监测模型自动化获取目标植物器官的形态特征信息,相较于人工标注方式,节省了形态特征信息的获取成本,提高了形态特征信息的获取效率。
可选地,所述形态特征信息包括器官长度信息。其中,器官长度信息用于表征目标植物器官的长度。
步骤103可以包括以下步骤:
步骤201、对所述二值图进行结构提取处理,得到所述二值图对应的骨架结构图。
本发明实施例中,通过对二值图进行细化处理、腐蚀处理、膨胀处理以及修正处理,使得二值图中的背景对象的像素值为0,且前景对象为经线条化的线条图像,即得到二值图对应的骨架结构图。其中,骨架结构图可以理解为可以完整表达物体形状,且表现形式为线条的图像。骨架结构图中可以包含多个线条结构。
步骤202、获取所述骨架结构图中各线条结构的长度信息,并基于所述长度信息所表征的长度,将长度最长的线条结构确定为所述目标植物器官对应的目标线条结构。
本发明实施例中,通过对骨架结构图进行图像分析,可以提取出骨架结构图中全部线条结构,获取骨架结构图中各线条结构的长度信息。由于长度信息可以表征线条结构对应的长度,且目标图像中包含一种植物器官,因此可以目标图像中长度最长的线条可以视为目标植物器官,则长度信息所表征的长度最长的线条结构可以直接表征目标植物器官。将长度最长的线条结构确定为与目标植物器官对应的目标线条结构。
步骤203、获取所述目标线条结构的长度信息,作为所述目标植物器官的器官长度信息。
本发明实施例中,在确定了目标线条结构后,目标线条结构对应的长度信息,即目标植物器官的器官长度信息。将目标植物器官的器官长度信息进行记录。
本发明实施例中,通过获取二值图对应的骨架结构图,可以实现对二值图的简化,实现植物器官形态的模拟建模,进而可以更直观且清晰的基于骨架结构图确定目标植物器官对应的目标线条结构,以获取目标植物器官的器官长度信息。
可选地,在所述目标图像为目标视频中的多个视频帧图像的情况下,步骤101可以包括以下步骤:
步骤301、获取所述多个视频帧图像中的初始视频帧图像。
本发明实施例中,植物监测系统可以提供两种模式,包括图像模式以及视频模式,图像模式即植物监测模型的输入为单张图像,即目标图像。视频模式即植物监测模式的输入为目标视频,该目标视频中可以以固定角度记录待监测植物的某一植物器官在一段时间内的生长视频,此时目标图像为目标视频中的多个视频帧图像。可以将单张目标图像或多个视频帧图像(目标视频)作为植物监测系统的输入,以实现不同的植物监测需求。在目标图像为目标视频中的多个视频帧图像的情况下,获取目标视频的初始视频帧图像。
步骤302、基于所述植物监测模型中的植物器官分类器,确定所述初始视频帧图像中包含的目标植物器官对应的植物器官类型,作为目标植物器官类型。
本发明实施例中,基于植物监测模型中的植物器官分类器,确定初始视频帧图像中包含的目标植物器官对应的植物器官类型,作为目标植物器官类型。由于目标视频是对某一植物器官在一段时间内的记录,因此初始视频帧图像中包含的目标植物器官即目标视频中包含的目标植物器官,相应的,初始视频帧图像中目标植物器官对应的植物器官类型即目标视频中包含的目标植物器官对应的植物器官类型。通过判断初始视频帧图像中的目标植物器官类型,即可得知整个目标视频的记录对象的目标植物器官类型。
相应的,步骤102可以包括以下步骤:
步骤303、基于所述植物监测模型中与所述目标植物器官类型对应的分割器,获取所述多个视频帧图像对应的二值图。
本发明实施例中,基于植物监测模型中与目标植物器官类型对应的分割器,分别对多个视频帧图像进行分割,得到多个视频帧图像各自对应的二值图。
本发明实施例中,通过确定初始视频帧图像中包含的目标植物器官对应的植物器官类型,即可确定目标视频中包含的目标植物器官对应的植物器官类型,无需对每一帧视频帧图像进行植物器官类型判断,提高了判断效率。并且通过获取多个视频帧图像对应的二值图,对于多个视频帧图像也可以进行分割,提高了模型应用的全面性。
可选地,所述形态特征信息还包括生长状态信息。
在所述目标图像为目标视频中的多个视频帧图像的情况下,在步骤203之后,本发明实施例还包括以下步骤:
步骤401、针对所述多个视频帧图像中的任一视频帧图像,基于所述视频帧图像中包含的目标植物器官对应的目标线条结构,确定所述视频帧图像对应的目标特征点;所述目标特征点是与所述视频帧图像中包含的目标植物器官的生长特点相关的特征点。
本发明实施例中,针对多个视频帧图像中的任一视频帧图像,确定该视频帧图像中所包含的目标植物器官对应的目标线条结构,并基于该目标线条结构,在目标线条结构上确定一个或多个特征点,作为该视频帧图像对应的目标特征点。其中,目标特征点可以是目标线条结构上的一个或多个特征点,目标特征点可以为端点、弯曲点(转折点)、膨胀点等。目标特征点是与视频帧图像中包含的目标植物器官的生长特点相关的特征点,例如:在目标植物器官为激素影响下的拟南芥的根部器官的情况下,根部器官会弯曲延长,因此目标特征点可以为端点;在目标植物器官为激素影响下的拟南芥的下胚轴器官的情况下,下胚轴器官会膨胀变粗壮,因此目标特征点可以为膨胀点。
步骤402、基于各所述视频帧图像对应的目标特征点,确定所述目标植物器官的生长状态信息。
本发明实施例中,由于各视频帧图像中包含了时间维度的信息,因此,可以通过对各视频帧图像对应的目标特征点的变化情况的分析,可以确定目标植物器官的生长状态信息。
本发明实施例中,通过确定视频帧图像对应的目标特征点,可以基于每个视频帧图像对应的目标特征点,通过帧间分析目标特征点的变化,进而获得目标植物器官的动态生长状态信息,使得该植物监测方法可以提供更加全面的目标植物器官生长过程中的特征画像,且基于不同时刻的目标植物器官的成长状态切片,可以使得生长状态信息更能反映待监测植物的真实生长状态。
可选地,所述目标特征点包括端点。
步骤402可以包括以下步骤:
步骤501、基于所述视频帧图像包含的所述目标植物器官对应的目标线条结构,确定所述视频帧图像对应的第一端点以及第二端点。
本发明实施例中,确定该视频帧图像中所包含的目标植物器官对应的目标线条结构,并将目标线条结构上的两端点(即起点与终点)确定为该视频帧图像对应的第一端点以及第二端点。示例性的,在目标线条结构表征根部器官的情况下,第一端点可以表示根部器官的起止位置,第二端点可以表示根部器官的终点位置。
相应的,步骤402可以包括以下步骤:
步骤502、针对所述多个视频帧图像中的任一视频帧图像,获取所述视频帧图像对应的所述第一端点以及所述第二端点相对于所述骨架结构图的相对坐标。
本发明实施例中,针对多个视频帧图像中的任一视频帧图像,获取第一端点相对于骨架结构图的相对坐标,得到第一相对坐标,以及获取第二端点相对于骨架结构图的相对坐标,得到第二相对坐标。
步骤503、基于各所述视频帧图像对应的所述第一端点的相对坐标,确定第一位移信息,以及,基于各所述视频帧图像对应的所述第二端点的相对坐标,确定第二位移信息。
本发明实施例中,根据步骤502得到的各视频帧图像对应的第一端点的相对坐标,可以根据第一端点的相对坐标的变化情况,确定出第一位移信息,第一位移信息用于表征第一端点在目标视频中的位移变化。根据步骤502得到的各视频帧图像对应的第二端点的相对坐标,可以根据第二端点的相对坐标的变化情况,确定出第二位移信息,第二位移信息用于表征第二端点在目标视频中的位移变化。
步骤504、将所述第一位移信息以及所述第二位移信息确定为所述目标植物器官的生长状态信息。
本发明实施例中,基于第一位移信息表征的第一端点的位移变化以及第二位移信息表征的第二端点的位移变化,可以确定第一端点以及第二端点所表征的目标植物器官的起始位置和终止位置(前端和后端)的位移变化,即目标植物状态的生长状态信息。
本发明实施例中,通过确定多个视频帧图像对应的第一端点以及第二端点,可以记录并追踪第一端点以及第二端点在不同时刻的相对坐标,进而基于不同时刻的相对坐标,确定目标植物器官的动态生长状态信息。这样,通过分析第一端点以及第二端点的相对坐标,就可以确定目标植物器官的生长状态信息,提高了生长状态信息的获取效率。
可选地,步骤201可以包括以下步骤:
步骤2011、对所述二值图进行细化处理,得到细化处理后的二值图。
本发明实施例中,首先,可以使用侵蚀和膨胀形态学操作去除二值图中的噪声并使二值图中的前景对象像素连续整齐,以得到一个更加清晰、准确的包含前景对象的二值图。再对包含前景对象的二值图进行细化处理(thinning),以将前景对象的边缘逐渐缩小为一像素宽度的线条。示例性的,细化操作可以通过多次侵蚀(erosion)操作实现,每次侵蚀都只保留前景对象的中心像素,并将其周围的像素值设为0,直到前景对象被细化为线条。这样,通过对二值图进行细化处理,可以得到细化处理后的二值图。
步骤2012、对所述细化处理后的二值图进行腐蚀处理、膨胀处理以及修正处理,得到所述二值图中的前景对象对应的骨架结构图。
本发明实施例中,对细化后的二值图进行骨架化(skeletonization)操作,将前景对象线条化为只包含前景对象结构的线条图像,即骨架图。示例性的,骨架化操作可以通过多次腐蚀(erosion)和膨胀(dilation)操作实现,每次腐蚀操作都将骨架图向内部腐蚀一像素,并将其周围的像素值设为0,直到无法再进行腐蚀操作为止。最后,可以对骨架图进行修正(pruning)处理,去除不需要的小分支或孤立点,只保留主干线条,从而得到更简化的骨架结构图。该骨架结构图对应二值图中的前景对象,相应的,骨架结构图也可以表征待监测植物在目标图像中的成像部分。
本发明实施例中,通过对二值图进行细化处理、腐蚀处理、膨胀处理以及修正处理,可以将二值图中与前景对象无关的内容去除,并对二值图中的前景对象简化为骨架结构图,使得图像更加清晰,且便于后续确定骨架结构图中各线条结构的长度信息。
可选地,步骤202可以包括以下步骤:
步骤2021、对所述骨架结构图进行图像分析,提取所述骨架结构图中的多个线条结构。
本发明实施例中,基于对骨架图像的图像分析,以提取骨架结构图中的多个线条结构。示例性的,可以使用常见的图像处理技术,如边缘检测、连通区域分析等方式提取骨架结构图中的多个线条结构。
步骤2022、针对所述多个线条结构中的任一线条结构,基于所述线条结构上的像素个数或像素距离,确定所述线条结构的长度信息。
本发明实施例中,针对提取到的多个线条结构,分别计算线条结构上的像素个数或像素距离得到线条的长度,得到各线条结构的长度信息。示例性的,可以获取一个像素对应的标准长度,并基于线条结构上的像素个数以及一个像素对应的标准长度,确定线条结构的长度信息,或,直接计算线条结构上的像素距离,得到线条结构的长度信息。
本发明实施例中,通过从清晰的骨架结构图中提取线条结构,再基于线条结构上的像素个数或像素距离确定线条结构的长度信息,可以提高线条结构长度信息的准确度。
可选地,本发明实施例还可以包括以下步骤:
步骤601、基于植物监测模型中的植物类型分类器,判断所述目标图像中包含的待监测植物对应的植物类型。
本发明实施例中,植物监测模型中还可以部署有植物类型分类器,通过植物类型分类器可以判断目标图像中所包含的待监测植物对应的植物类型。
相应的,步骤302可以包括以下步骤:
步骤602、基于所述植物监测模型中与所述植物类型对应的植物器官分类器,确定所述初始视频帧图像中包含的目标植物器官对应的植物器官类型,作为目标植物器官类型。
本发明实施例中,不同植物类型的植物可以对应不同类型的植物器官分类器,使用与待监测植物的植物类型对应的植物器官分类器,可以确定目标植物器官对应的植物器官类型,作为目标植物器官类型。在目标图像为多个视频帧图像的情况下,基于与待监测植物对应的植物类型对应的植物器官分类器,确定初始视频帧图像中包含的目标植物器官对应的植物器官类型。这样,通过预先对植物类型进行判断,使得植物监测模型可以针对不同植物类型的待监测植物进行监测,提高了植物监测模型的适用范围,同时也提高了植物监测模型的可扩展性和灵活性。
可选地,本发明实施例还可以包括以下步骤:
步骤701、基于所述形态特征信息中的器官长度信息,监测所述待监测植物的成长速度。
本发明实施例中,可以基于形态特征信息,得到目标植物器官的生长参数,进而可以根据生长参数,对待监测植物进行植物表型分析。基于形态特征信息研究植物的生长、表现和组成,实现对待监测植物的监测。基于形态特征信息中的器官长度信息,可以通过一个器官长度信息判断目标植物器官的当前生长长度,通过不同时刻对应的多个器官长度信息,可以判断目标植物器官在一段时间内的成长速度。
步骤702、基于所述形态特征信息中的生长状态信息,监测所述待监测植物的生长移动方向。
本发明实施例中,基于形态特征信息中的生长状态信息,可以确定待监测植物的目标植物器官的生长移动方向。
本发明实施例中,通过不同类型的形态特征信息,可以实现对待监测植物不同类型的监测,提高了植物监测的高效性。进一步地,通过植物监测模型自动化获取形态特征信息,在基于形态特征信息对待监测植物的生长状态以及生长参数进行监测时,可以降低植物监测的成本,并且提高植物表型分析的效率。
图2是本发明实施例提供的一种植物监测模型的训练方法的步骤流程图,如图2所示,该方法可以包括:
步骤801、获取第一训练样本集以及第二训练样本集;所述第一训练样本集包括同类型植物的至少两种植物器官对应的第一样本图像。
本发明实施例中,第一训练样本集可以包括同类型植物的至少两种植物器官对应的第一样本图像,植物器官的种类决定了植物器官分类器的分类能力,即第一样本图像对应的植物器官的种类越多,植物器官分类器的分类能力越好。收集相同数量的同类型植物的至少两种植物器官对应的样本图像,作为第一图像数据集。通过对第一图像数据集进行下采样,并进行图像增强以增加图像的多样性。对下采样以及图像增强后的第一图像数据集随机分为第一训练样本集、第一验证样本集以及第一测试样本集,随机分配比例可以自行设置,例如7:2:1。第二训练样本集可以是基于不同植物器官类型的植物器官对应的样本图像得到的。
示例性的,针对拟南芥的下胚轴器官以及根部器官,可以收集100张具有代表性的拟南芥下胚轴器官的图像以及100张具有代表性的拟南芥根部器官的图像作为第一待处理样本,对第一待处理样本进行下采样,尺寸为256×352,并进行图像增强处理,图像增强处理可以包括随机的旋转操作,随机的亮度、对比度和色彩调整操作,加入随机的噪声,如高斯噪声、椒盐噪声。从而生成具有不同亮度、对比度和色彩等不同特征的新图像。将增强后的第一待处理样本按照比例7:2:1随机分成第一训练样本集、第一验证样本集以及第一测试样本集。这样,可以增加训练数据的多样性和数量,有助于提高模型的泛化性能和鲁棒性。
步骤802、基于所述第一训练样本集,对待训练分类网络进行训练,并将经训练的所述待训练分类网络确定为植物器官分类器。
本发明实施例中,待训练分类网络可以是卷积神经网络(CNN)。可以为待训练分类网络构建第一训练任务,第一训练任务用于识别图像中包含的植物器官的植物器官类型。基于第一训练任务以及第一训练样本集,对待训练分类网络进行训练,将训练完成的待训练分类网络确定为植物器官分类器。这样,可以使得基于第一训练样本集训练得到的植物器官分类器,能够针对同类型植物更加准确的对植物器官类型进行分类,提高了植物器官分类器的准确性。
步骤803、针对至少两种植物器官类型中的任一植物器官类型,基于所述第二训练样本集,对待训练分割器模型进行训练,并将经训练的所述待训练分割器模型确定为与所述植物器官类型对应的分割器;所述第二训练样本集包括同类型植物中类型与所述植物器官类型相同的植物器官对应的第二样本图像。
本发明实施例中,待训练分割器模型可以是U型网络(U-Net),U型网络是一种常用的图像分割神经网络,它结合了卷积神经网络和全卷积神经网络的特点,具有较好的性能和实用性。示例性的,可以使用深度学习框架,如TensorFlow、PyTorch等,来构建模型。U型网络的结构主要分为两个部分:编码器和解码器。编码器负责提取图像的特征表示,通过卷积层、池化层等操作逐渐降低特征图的大小和维度,以获取更抽象、更具语义的特征信息;解码器负责将编码器提取到的特征信息还原成与原图像相同大小的分割结果。针对至少两种植物器官类型中的任一植物器官类型,为待训练分割器模型构建第二训练任务,第二训练任务用于分割图像中前景对象以及背景对象。基于第二训练任务以及第二训练样本集,对待训练分割器模型进行训练,将训练完成的待训练分割器模型确定为该植物器官类型对应的分割器。第二训练样本集包括同类型植物中与该植物器官类型相同的植物器官对应的第二样本图像,即第二训练样本集中的第二样本图像中均包含同一类型植物的相同植物器官。也就是说,为了训练针对一植物器官类型的分割器,则需要获取同类型植物中与该植物器官类型相同的植物器官的图像,作为第二样本图像。示例性的,第二训练样本集中的第二样本图像可以是通过对不同拟南芥幼苗的根部器官进行图像获取得到的,相应的,基于第二训练样本集训练得到的分割器也是针对拟南芥的根部器官进行图像分割的分割器。
可以理解的是,第一训练样本集以及第二训练样本集中包含的样本图像中的植物器官同属一种植物。
这样,针对不同植物器官类型训练针对性的分割器,可以一定程度上结合植物器官的实际特征,进行图像分割,可以使得基于第二训练样本集训练得到的植物器官类型对应的分割器,能够更加准确的对图像进行分割,提高了分割器的分割性能。
步骤804、基于所述植物器官分类器以及所述植物器官类型对应的分割器生成植物监测模型;所述植物监测模型用于获取待监测植物对应的形态特征信息。
本发明实施例中,基于植物器官分类器以及各植物器官类型对应的分割器,生成植物监测模型。该植物监测模型可以基于待监测植物的目标图像,获取到待监测植物的形态特征信息。进而可以基于形态特征信息,实现对待监测植物的监测。
综上所述,本发明实施例中,通过获取第一训练样本集以及第二训练样本集;第一训练样本集包括同类型植物的至少两种植物器官对应的第一样本图像;基于第一训练样本集,对待训练分类网络进行训练,并将经训练的待训练分类网络确定为植物器官分类器;针对至少两种植物器官类型中的任一植物器官类型,基于第二训练样本集,对待训练分割器模型进行训练,并将经训练的待训练分割器模型确定为与植物器官类型对应的分割器;第二训练样本集包括同类型植物中类型与植物器官类型相同的植物器官对应的第二样本图像;基于植物器官分类器以及植物器官类型对应的分割器生成植物监测模型;植物监测模型用于获取待监测植物对应的形态特征信息。这样,可以通过生成植物监测模型,自动化获取形态特征信息,节省了形态特征信息的获取成本,提高了形态特征信息的获取效率。
可选地,在得到植物监测模型的情况下,可以将植物监测模型封装为API接口或嵌入到移动应用中,以便后续使用。
可选地,步骤802可以包括以下步骤:
步骤8021、将所述至少两种植物器官对应的第一样本图像作为所述待训练分类网络的输入,获取所述待训练分类网络预测的分类结果。
本发明实施例中,将至少两种植物器官对应的第一样本图像输入待训练分类网络,得到待训练分类网络输出的分类结果。
步骤8022、基于所述分类结果以及所述第一样本图像的植物器官分类标签,对所述待训练分类网络进行参数调整;所述植物器官分类标签用于表征所述第一样本图像的对应的真实植物器官分类。
本发明实施例中,为了使得待训练分类网络预测的分类结果与真实分类结果的相似度尽可能高,基于分类结果以及第一样本图像的植物器官分类标签,对待训练分类网络进行参数调整,通过不断调整待训练分类网络的参数,使得待训练分类网络输出的分类结果与第一样本图像的植物器官分类标签的相似度大于第一相似度阈值。示例性的,可以使用随机梯度下降(SGD)、批量梯度下降(BGD)等优化算法来调整待训练分类网络的参数。植物器官分类标签可以是在植物器官分类器训练之前,对第一样本图像中各样本图像包含的植物器官的真实植物器官分类进行判断得到的。示例性的,针对任一第一样本图像,识别第一样本图像中包含的植物器官的植物器官类型,基于识别得到的植物器官类型,生成该第一样本图像的植物器官分类标签。
步骤8023、在所述待训练分类网络达到停止条件的情况下,将达到停止条件的待训练分类网络确定为所述植物器官分类器。
本发明实施例中,停止条件可以包括待训练分类网络的损失值达到预设阈值、待训练分类网络的训练轮数达到预设轮数阈值等条件。
本发明实施例中,通过对待训练分类网络进行训练,可以使得待训练分类网络在训练过程中学习到通用的植物器官分类能力,以更好的对包含植物器官的图像进行自动的植物器官类型分类。
可选地,待训练分类网络可以包括多个密集块,任一密集块中包含卷积层、注意力机制层以及集成层,卷积层以及注意力机制层的输出结果均被连接到集成层。本发明实施例采用注意力机制和集成层作为密集连接网络(DenseNet)的扩展。与传统的DenseNet相比,在每个密集连接块中引入注意力机制层,可以对不同的特征图进行加权,使得网络能够自动地关注更加重要和有用的特征,从而提高植物器官分类器的表达能力和性能。此外,在每个密集连接块中引入集成层,可以将不同尺度和深度的特征进行集成,从而融合不同层次的信息,增强了模型的多尺度感受野和语义表达能力。同时,将卷积层以及注意力机制层的输出结果连接到集成层,可以使得网络的信息流动更加充分,减轻梯度消失问题,从而使得更深的网络可以被训练得更好。
示例性的,待训练分类网络的架构可以为:1、输入层:输入256x352x3的图像。2、第一个密集块(Dense Block),包括:a)卷积层1:使用3x3的卷积核,64个输出通道进行卷积,输出大小为256x352x64的特征图;b)注意力机制层1:应用自注意力机制(Self-AttentionMechanism),根据卷积层1输出的特征图和生成的注意力权重对特征进行加权;c)集成层1:将卷积层1的输出与注意力机制层1的输出进行加法集成。3、第二个密集块(Dense Block),包括:a)卷积层2:使用3x3的卷积核,128个输出通道进行卷积,不需要padding,用于输出大小为256x352x128的特征图;b)注意力机制层2:应用自注意力机制,根据卷积层2输入的特征图和生成的注意力权重对特征进行加权;c)集成层2:将卷积层2的输出与注意力机制层2的输出进行加法集成。4、第三个密集块(Dense Block),包括:a)卷积层3:使用3x3的卷积核,256个输出通道进行卷积,不需要padding,用于输出大小为256x352x256的特征图;b)注意力机制层3:应用自注意力机制,根据卷积层3输入的特征图和生成的注意力权重对特征进行加权;c)集成层3:将卷积层3的输出与注意力机制层3的输出进行加法集成。5、第一个转换层(Transition Block),包括:a)卷积层4:使用1x1的卷积核,128个输出通道进行卷积,不需要padding,用于输出大小为256x352x128的特征图;b)注意力机制层4:应用自注意力机制,根据卷积层4输入的特征图和生成的注意力权重对特征进行加权;c)集成层4:将卷积层4的输出与注意力机制层4的输出进行加法集成。6、池化层1:使用2x2的最大池化,输出大小为128x176x128。7、第四个密集块(Dense Block),包括:a)卷积层5:使用3x3的卷积核,256个输出通道进行卷积,用于输出大小为128x176x256的特征图;b)注意力机制层5:应用自注意力机制,根据卷积层5输入的特征图和生成的注意力权重对特征进行加权;c)集成层5:将卷积层5的输出与注意力机制层5的输出进行加法集成。8、第五个密集块(DenseBlock),包括:a)卷积层6:使用3x3的卷积核,512个输出通道进行卷积,不需要padding,用于输出大小为128x176x512的特征图;b)注意力机制层6:应用自注意力机制,根据卷积层6输入的特征图和生成的注意力权重对特征进行加权;c)集成层6:将卷积层6的输出与注意力机制层6的输出进行加法集成。9、全局平均池化层(Global Average Pooling):进行全局平均池化操作,用于将集成层6输出的特征图降维成1x1x512的大小,以减少网络参数和计算量,并且可以更好地捕捉全局上下文信息,从而有助于提升分类器的泛化能力。10、全连接层:用于进行分类任务的全连接层,具体的,可以使用softmax激活函数将全局平均池化层的输出映射到植物器官类型的类别概率分布上,将概率最高的分类结果作为待训练分类网络输出的分类结果。
其中,引入注意力机制和集成层可以增强分类器对图像中重要信息的关注和集成能力,从而改善分类器在复杂图像数据上的表现。同时,通过全局平均池化可以减少过拟合风险和网络的复杂性,提高分类器的泛化性能。
在一种可能的实施方式中,在每一卷积层之后,可以对特征图依次进行批量归一化处理以及使用ReLU激活函数进行激活。其中,批量归一化可以帮助加速训练过程,提高网络的收敛性和稳定性,而ReLU激活函数可以引入非线性特性,增加网络的表达能力。
可选地,本发明实施例还可以包括以下步骤:
步骤901、获取第一验证样本集;所述第一验证样本集包括同类型植物的至少两种植物器官对应的第三样本图像。
本发明实施例中,为了确保植物器官分类器的分类性能,可以通过对植物器官分类器进行验证,并获取步骤701中对第一待处理样本集进行随机分配得到的第一验证样本集。第一验证样本集中包括同类型植物的至少两种植物器官对应的第三样本图像。
步骤902、将所述至少两种植物器官对应的第三样本图像作为所述植物器官分类器的输入,获取所述植物器官分类器输出的预测分类结果。
本发明实施例中,将至少两种植物器官对应的第三样本图像输入植物器官分类器,并得到植物器官分类器输出的多个预测分类结果。预测分类结果可以是对第三样本图像中包含的植物器官的类型进行识别得到的植物器官类型的识别结果。
步骤903、基于所述预测分类结果以及所述第三样本图像的植物器官分类标签,对所述植物器官分类器的性能进行评估,得到第一评估结果。
本发明实施例中,将预测分类结果,以及第三样本图像的植物器官分类标签进行相似度对比,可以根据对比结果对植物器官分类器的性能进行评估,得到第一评估结果。示例性的,可以在对比结果大于第一预设阈值的情况下,确定第一评估结果为合格,在对比结果不大于第一预设阈值的情况下,确定第一评估结果为不合格。
步骤904、在所述第一评估结果为不合格的情况下,对所述植物器官分类器进行参数调整,并基于参数调整后的植物器官分类器,重新执行所述基于所述第一训练样本集,对待训练分类网络进行训练的操作。
本发明实施例中,在第一评估结果为不合格的情况下,表征植物器官分类器并未达到满意的分类性能,因此可以对植物器官分类器的超参数进行调整,例如学习率、正则化系数等,以优化模型性能。示例性的,可以采用网格搜索、随机搜索、贝叶斯优化等方式来搜索超参数的最佳取值。在调整完超参数后,使用第一训练样本集重新对植物器官分类器进行进一步训练,更新植物器官分类器的参数,直到植物器官分类器基于第一验证样本集进行分类的性能达到满意的水平。
步骤905、在所述第一评估结果为合格的情况下,确定所述植物器官分类器通过验证。
本发明实施例中,在第一评估结果为合格的情况下,表征植物器官分类器达到满意的分类性能,因此,可以确定植物器官分类器通过验证。
本发明实施例中,基于第一验证样本集对植物器官分类器的性能进行验证以及再训练,使得植物器官分类器输出的分类结果更加真实可靠,进一步提高了植物器官分类器的分类性能。
在一种可能的实施方式中,若第一训练样本集和第一验证样本集的样本数量较小的情况下,可能会导致验证结果的统计不稳定性。为了解决这个问题,可以采用交叉验证,将第一训练样本集分为k个子集,轮流将其中k-1个子集作为第一训练样本集,剩余的1个子集作为第一验证样本集,进行k轮训练和验证,最后取k轮验证结果的平均值作为最终的验证结果。这样,可以充分利用训练集中的数据进行验证,提高验证结果的可靠性。相应的,在验证过程中调整植物器官分类器的超参数时,也可以使用第一验证样本集和交叉验证的结果作为参考,选择性能最好的模型和超参数组合。
可选地,可以将第一测试样本集输入植物器官分类器,得到植物器官分类器的输出结果,基于输出结果,评估植物器官分类器的性能和泛化能力。示例性的,可以采用准确率(accuracy)、精确率(precision)、召回率(recall)和F1得分等指标来评估植物器官分类器的性能和泛化能力。
可选地,本发明实施例还包括以下步骤:
步骤1001、获取待处理样本集,并对所述待处理样本集进行预处理,得到所述第二训练样本集;所述第二训练样本集中不同的第二样本图像对应不同的标签图像,所述标签图像用于表征所对应的所述第二样本图像中不同区域对应的真实分割结果。
本发明实施例中,待处理样本集可以包括第一待处理样本集、第二待处理样本集以及第三待处理样本集,分别用于不同的训练过程。可以收集一定数量的同类型植物的同一植物器官对应的样本图像,作为第二图像数据集。通过对第二图像数据集进行下采样,并进行图像增强以增加图像的多样性。对下采样以及图像增强后的第二图像数据集随机分为三部分,分别用于训练、验证以及测试,得到第一待处理样本集、第二待处理样本集以及第三待处理样本集。随机分配比例可以自行设置,例如7:2:1。对于每个待处理样本集,需要进行预处理操作,例如图像的大小统一化、灰度化、归一化等,以确保待处理样本集的一致性和可训练性,得到第二训练样本集、第二验证样本集以及第二测试样本集。这样,可以增加训练数据的多样性和数量,有助于提高分割器的泛化性能和鲁棒性。
第二训练样本集中不同的第二样本图像对应不同的标签图像,标签图像可以是通过对第二样本图像的前景对象以及背景对象进行分割得到的,即针对任一第二样本图像,区分第二样本图像中前景对象以及背景对象的轮廓以及边界,得到第二样本图像的分割结果,作为第二样本图像对应的标签图像。标签图像可以用于表征所对应的第二样本图像中不同区域对应的真实分割结果,以作为分割器的训练目标。示例性的,标签图像的前景对象区域的像素值可以为1,背景对象区域的像素值可以为0。
可选地,待训练分割器模型可以包括编码器以及解码器,其中,编码器的输入图像尺寸可以是(256,352,3)(输入高度、宽度和通道数),其架构可以为:(1)第一层:卷积层,卷积核大小为3x3,通道数为64,步长为1,填充方式为"same",激活函数为ReLU;(2)第二层:卷积层,卷积核大小为3x3,通道数为64,步长为1,填充方式为"same",激活函数为ReLU;(3)第三层:池化层,池化核大小为2x2,步长为2;(4)第四层:卷积层,卷积核大小为3x3,通道数为128,步长为1,填充方式为"same",激活函数为ReLU;(5)第五层:卷积层,卷积核大小为3x3,通道数为128,步长为1,填充方式为"same",激活函数为ReLU;(6)第六层:池化层,池化核大小为2x2,步长为2;(7)第七层:卷积层,卷积核大小为3x3,通道数为256,步长为1,填充方式为"same",激活函数为ReLU;(8)第八层:卷积层,卷积核大小为3x3,通道数为256,步长为1,填充方式为"same",激活函数为ReLU;(9)第九层:池化层,池化核大小为2x2,步长为2;(10)注意力层:引入注意力机制,使用SE(Squeeze-and-Excitation)模块,将编码器最后一层的特征图输入到SE模块中,进行通道维度的注意力计算,然后将计算得到的注意力加权特征图作为下一层的输入。
解码器的架构可以为:(1)第一层:上采样层,上采样倍率为2;(2)第二层:卷积层,卷积核大小为3x3,通道数为256,步长为1,填充方式为"same",激活函数为ReLU;(3)第三层:卷积层,卷积核大小为3x3,通道数为256,步长为1,填充方式为"same",激活函数为ReLU;(4)注意力层:引入注意力机制,例如使用SE(Squeeze-and-Excitation)模块,将解码器第三层输出的特征图输入到SE模块中,进行通道维度的注意力计算,然后将计算得到的注意力加权特征图与编码器输出的特征图进行融合,例如使用加法或乘法操作。(5)第四层:上采样层,上采样倍率为2;(6)第五层:卷积层,卷积核大小为3x3,通道数为128,步长为1,填充方式为"same",激活函数为ReLU;(7)第六层:卷积层,卷积核大小为3x3,通道数为128,步长为1,填充方式为"same",激活函数为ReLU;(8)第七层:上采样层,上采样倍率为2;(9)第八层:卷积层,卷积核大小为3x3,通道数为64,步长为1,填充方式为"same",激活函数为ReLU;(10)第九层:卷积层,卷积核大小为3x3,通道数为64,步长为1,填充方式为"same",激活函数为ReLU;(11)输出层(卷积层),卷积核大小为1x1,通道数为1,步长为1,填充方式为"same",激活函数为sigmoid,用于生成输出的分割掩膜。
可选地,所述待训练分割器模型包括编码器以及解码器,所述编码器与所述解码器之间跳跃连接。
本发明实施例中,在编码器和解码器之间添加跳跃连接机制,具体用于:将编码器的第二、五、八层输出的特征图与解码器对应的第八、五、二层输入的特征图进行跳跃连接,通过拼接操作将它们融合到一起,增加信息传递和梯度流动的路径,提高待训练分割器模型的训练效果,进而提升分割器的性能。
可选地,步骤901可以包括以下步骤:
步骤9011、将所述类型与所述植物器官类型相同的植物器官对应的第二样本图像作为所述待训练分割器模型的输入,获取所述待训练分割器模型预测的分割结果。
本发明实施例中,将类型与植物器官类型相同的植物器官对应的第二样本图像输入待训练分割器模型,获取待训练分割器模型输出的分割结果。其中,分割结果可以是将第二样本图像中的前景对象以及背景对象进行划分得到的结果。
步骤9012、基于所述分割结果以及所述类型与植物器官类型相同的植物器官对应的第二样本图像对应的标签图像,对所述待训练分割器模型进行参数调整。
本发明实施例中,为了使得待训练分割器模型预测的分割结果与真实分类结果的相似度尽可能高,基于分割结果以及类型与植物器官类型相同的植物器官对应的第二样本图像对应的标签图像,对待训练分割器模型进行参数调整,通过不断调整待训练分割器模型的参数,使得待训练分割器模型输出的分割结果与类型与植物器官类型相同的植物器官对应的第二样本图像对应的标签图像的相似度大于第二相似度阈值。示例性的,可以使用随机梯度下降(SGD)、批量梯度下降(BGD)等优化算法来调整待训练分割器模型的参数。
步骤9013、在所述待训练分割器模型达到停止条件的情况下,将达到停止条件的待训练分割器模型确定为与所述植物器官类型对应的分割器。
本发明实施例中,停止条件可以包括待训练分割器模型的损失值达到预设阈值、待训练分割器模型的训练轮数达到预设轮数阈值等条件。
本发明实施例中,通过对待训练分割器模型进行训练,可以使得待训练分割器模型在训练过程中学习到通用的针对特定植物器官的图像的特征表示以及图像分割能力,以更好的对包含植物器官的图像进行自动分割。
可选地,本发明实施例还包括以下步骤:
步骤1101、获取第二验证样本集;所述第二验证样本集包括同类型植物中类型与所述植物器官类型相同的植物器官对应的第四样本图像。
本发明实施例中,为了确保植物器官类型对应的分割器的分割性能,可以通过对植物器官类型对应的分割器进行验证,并获取步骤1001中得到的第二验证样本集。第二验证样本集中包括同类型植物中类型与该植物器官类型相同的植物器官对应的第四样本图像,即第二验证样本集中包括同一类型植物的相同植物器官的第四样本图像。示例性的,第二验证样本集中的第四样本图像可以是通过对不同拟南芥幼苗的根部器官进行图像提取得到的。
步骤1102、将类型与所述植物器官类型相同的植物器官对应的第四样本图像作为与所述植物器官类型对应的分割器的输入,获取与所述植物器官类型对应的分割器输出的预测分割结果。
本发明实施例中,将植物器官类型对应的第四样本图像输入与该植物器官类型对应的分割器,并得到分割器输出的多个预测分割结果。预测分割结果可以是对第四样本图像中包含的植物器官的轮廓和边界进行识别划分得到的图像分割结果。
步骤1103、基于所述预测分割结果以及类型与所述植物器官类型相同的植物器官对应的第四样本图像对应的标签图像,对与所述植物器官类型对应的分割器的性能进行评估,得到第二评估结果。
本发明实施例中,将预测分割结果,以及第四样本图像对应的标签图像进行相似度对比,可以根据对比结果对分割器的性能进行评估,得到第二评估结果。进行相似度对比的方式可以通过计算模型在验证集上的预测结果与真实标签图像之间的差距,如交叉熵损失、Dice系数、交并比(Intersection over Union,IoU)等指标实现。示例性的,可以在对比结果大于第二预设阈值的情况下,确定第二评估结果为合格,在对比结果不大于第二预设阈值的情况下,确定第二评估结果为不合格。其中,第四样本图像对应的标签图像可以是通过对第四样本图像的前景对象以及背景对象进行分割得到的。
步骤1104、在所述第二评估结果为不合格的情况下,对与所述植物器官类型对应的分割器进行参数调整,并基于参数调整后的与所述植物器官类型对应的分割器,重新执行所述基于所述第二训练样本集,对待训练分割器模型进行训练的操作。
本发明实施例中,在第二评估结果为不合格的情况下,表征与该植物器官类型对应的分割器并未达到满意的分割性能,因此可以对分割器的超参数进行调整,例如学习率、正则化系数等,以优化模型性能。示例性的,可以采用网格搜索、随机搜索、贝叶斯优化等方式来搜索超参数的最佳取值。在调整完超参数后,使用第二训练样本集重新对分割器进行进一步训练,更新分割器的参数,直到分割器基于第二验证样本集进行分割的性能达到满意的水平。
步骤1105、在所述第二评估结果为合格的情况下,确定与所述植物器官类型对应的分割器通过验证。
本发明实施例中,在第二评估结果为合格的情况下,表征分割器达到满意的分类性能,因此,可以确定与该植物器官类型对应的分割器通过验证。
可以理解的是,本发明实施例针对至少两种植物器官类型中的任一植物器官类型,分别训练得到与之对应的分割器,即不同的植物器官类型基于不同的训练任务得到不同的分割器。
本发明实施例中,基于第二验证样本集对分割器的性能进行验证以及再训练,使得分割器输出的图像分割结果更加真实可靠,进一步提高了分割器的分类性能。
可选地,可以将第二测试样本集输入植物器官类型对应的分割器,得到植物器官类型对应的分割器的输出结果,基于输出结果,评估植物器官类型对应的分割器的性能和泛化能力。示例性的,可以使用多种性能指标来评估模型的性能,例如像素级准确率(PixelAccuracy)、平均交并比(Mean Intersection over Union, mIoU)、准确率(Accuracy)、召回率(Recall)等。这些指标可以帮助评估模型的分割精度、定位准确性和区域覆盖情况。
示例性的,图3示出了一种植物监测方法的具体流程图,如图3所示,在接收到目标图像的情况下,基于植物器官分类器,确定目标图像中包含的植物器官的目标植物器官类型,并基于该目标植物器官类型对应的分割器,获取目标图像对应的二值图。对二值图进行结构提取处理,得到骨架结构图,该骨架结构图与二值图中的前景对象相对应,根据骨架结构图中各线条结构的长度信息,确定目标线条结构,目标线条结构为骨架结构图中长度最长的线条结构。基于目标线条结构,获取目标植物器官的器官长度信息以及生长状态信息,器官长度信息以及生长状态信息可以表征目标植物器官的生长状态。基于器官长度信息以及生长状态信息,对待监测植物进行监测,以进行后续的植物表型分析研究。
示例性的,图4示出了一种具体示例图,如图4所示,在对Col-0基因型拟南芥幼苗在乙烯气体作用下的植物表型分析的场景下,接收图像监测系统采集的拟南芥的目标图像,并基于植物监测模型中的植物器官分类器,判断目标图像中包含的植物器官对应的目标植物器官类型,若识别得到目标图像中包含的植物器官为拟南芥的茎部器官,则基于植物监测模型中拟南芥茎部器官对应的分割器,获取目标图像对应的二值图,该二值图中包含拟南芥茎部器官。基于植物参数监测器,即植物监测模型中的监测器,获取拟南芥茎部器官的膨胀点(目标特征点)的形态特征信息,对拟南芥幼苗进行监测;若识别得到目标图像中包含的植物器官为拟南芥的根部器官,则基于植物监测模型中拟南芥根部器官对应的分割器,获取目标图像对应的二值图,该二值图中包含拟南芥根部器官。基于植物参数监测器,即植物监测模型中的监测器,获取拟南芥根部器官的参考点以及运动点(第一端点以及第二端点)的形态特征信息,对拟南芥幼苗进行监测。
图5是本发明实施例提供的一种植物监测装置的结构图,该装置120可以包括:
第一确定模块1201,用于在接收到待监测植物对应的目标图像的情况下,基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型;所述目标植物器官是所述目标图像中包含的植物器官。
第一获取模块1202,用于基于所述植物监测模型中与所述目标植物器官类型对应的分割器,获取所述目标图像对应的二值图。
第一分析模块1203,用于基于所述植物监测模型中与所述目标植物器官类型对应的监测器,对所述二值图进行形态学分析,得到所述目标植物器官的形态特征信息。
可选地,所述形态特征信息包括器官长度信息,所述第一分析模块1203,可以包括:
第一提取模块,用于对所述二值图进行结构提取处理,得到所述二值图对应的骨架结构图。
第一确定子模块,用于获取所述骨架结构图中各线条结构的长度信息,并基于所述长度信息所表征的长度,将长度最长的线条结构确定为所述目标植物器官对应的目标线条结构。
第一获取子模块,用于获取所述目标线条结构的长度信息,作为所述目标植物器官的器官长度信息。
可选地,在所述目标图像为目标视频中的多个视频帧图像的情况下,所述第一确定模块1201可以包括:
第二获取子模块,用于获取所述多个视频帧图像中的初始视频帧图像。
第二确定子模块,用于基于所述植物监测模型中的植物器官分类器,确定所述初始视频帧图像中包含的目标植物器官对应的植物器官类型,作为目标植物器官类型。
所述第一获取模块1202,可以包括:
第三获取子模块,用于基于所述植物监测模型中与所述目标植物器官类型对应的分割器,获取所述多个视频帧图像对应的二值图。
可选地,所述形态特征信息还包括生长状态信息,在所述目标图像为目标视频中的多个视频帧图像的情况下,所述装置120还可以包括:
第二确定模块,用于针对所述多个视频帧图像中的任一视频帧图像,基于所述视频帧图像中包含的目标植物器官对应的目标线条结构,确定所述视频帧图像对应的目标特征点;所述目标特征点是与所述视频帧图像中包含的目标植物器官的生长特点相关的特征点。
第三确定模块,用于基于各所述视频帧图像对应的目标特征点,确定所述目标植物器官的生长状态信息。
可选地,所述目标特征点包括端点,所述第二确定模块,可以包括:
第三确定子模块,用于基于所述视频帧图像包含的所述目标植物器官对应的目标线条结构,确定所述视频帧图像对应的第一端点以及第二端点。
所述第三确定模块,可以包括:
第四获取子模块,用于针对所述多个视频帧图像中的任一视频帧图像,获取所述视频帧图像对应的所述第一端点以及所述第二端点相对于所述骨架结构图的相对坐标。
第四确定子模块,用于基于各所述视频帧图像对应的所述第一端点的相对坐标,确定第一位移信息,以及,基于各所述视频帧图像对应的所述第二端点的相对坐标,确定第二位移信息。
第五确定子模块,用于将所述第一位移信息以及所述第二位移信息确定为所述目标植物器官的生长状态信息。
可选地,所述第一提取模块,可以包括:
第一处理模块,用于对所述二值图进行细化处理,得到细化处理后的二值图。
第二处理模块,用于对所述细化处理后的二值图进行腐蚀处理、膨胀处理以及修正处理,得到所述二值图中的前景对象对应的骨架结构图。
可选地,所述第一确定子模块,可以包括:
第一提取子模块,用于对所述骨架结构图进行图像分析,提取所述骨架结构图中的多个线条结构。
第六确定子模块,用于针对所述多个线条结构中的任一线条结构,基于所述线条结构上的像素个数或像素距离,确定所述线条结构的长度信息。
可选地,所述装置120还可以包括:
第一判断模块,用于基于植物监测模型中的植物类型分类器,判断所述目标图像中包含的待监测植物对应的植物类型。
所述第二确定子模块,可以包括:
第七确定子模块,用于基于所述植物监测模型中与所述植物类型对应的植物器官分类器,确定所述初始视频帧图像中包含的目标植物器官对应的植物器官类型,作为目标植物器官类型。
可选地,所述装置120,还可以包括:
第一监测模块,用于基于所述形态特征信息中的器官长度信息,监测所述待监测植物的成长速度。
第二监测模块,用于基于所述形态特征信息中的生长状态信息,监测所述待监测植物的生长移动方向。
综上所述,本发明实施例提供的植物监测装置,在接收到待监测植物对应的目标图像的情况下,基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型;目标植物器官是目标图像中包含的植物器官;基于植物监测模型中与目标植物器官类型对应的分割器,获取目标图像对应的二值图;基于植物监测模型中与目标植物器官类型对应的监测器,对二值图进行形态学分析,得到目标植物器官的形态特征信息。这样,通过植物监测模型自动化获取目标植物器官的形态特征信息,相较于人工标注方式,节省了形态特征信息的获取成本,提高了形态特征信息的获取效率。
图6是本发明实施例提供的一种植物监测模型的训练装置的结构图,该装置130可以包括:
第二获取模块1301,用于获取第一训练样本集以及第二训练样本集;所述第一训练样本集包括同类型植物的至少两种植物器官对应的第一样本图像。
第一训练模块1302,用于基于所述第一训练样本集,对待训练分类网络进行训练,并将经训练的所述待训练分类网络确定为植物器官分类器;
第二训练模块1303,用于针对至少两种植物器官类型中的任一植物器官类型,基于所述第二训练样本集,对待训练分割器模型进行训练,并将经训练的所述待训练分割器模型确定为与所述植物器官类型对应的分割器;所述第二训练样本集包括同类型植物中类型与所述植物器官类型相同的植物器官对应的第二样本图像;
第一生成模块1304,用于基于所述植物器官分类器以及所述植物器官类型对应的分割器生成植物监测模型;所述植物监测模型用于获取待监测植物对应的形态特征信息。
可选地,所述第一训练模块1302,可以包括:
第五获取子模块,用于将所述至少两种植物器官对应的第一样本图像作为所述待训练分类网络的输入,获取所述待训练分类网络预测的分类结果。
第一调整模块,用于基于所述分类结果以及所述第一样本图像的植物器官分类标签,对所述待训练分类网络进行参数调整;所述植物器官分类标签用于表征所述第一样本图像的对应的真实植物器官分类。
第八确定子模块,用于在所述待训练分类网络达到停止条件的情况下,将达到停止条件的待训练分类网络确定为所述植物器官分类器。
可选地,所述装置130还可以包括:
第三获取模块,用于获取第一验证样本集;所述第一验证样本集包括同类型植物的至少两种植物器官对应的第三样本图像。
第四获取模块,用于将所述至少两种植物器官对应的第三样本图像作为所述植物器官分类器的输入,获取所述植物器官分类器输出的预测分类结果。
第一评估模块,用于基于所述预测分类结果以及所述第三样本图像的植物器官分类标签,对所述植物器官分类器的性能进行评估,得到第一评估结果。
第二调整模块,用于在所述第一评估结果为不合格的情况下,对所述植物器官分类器进行参数调整,并基于参数调整后的植物器官分类器,重新执行所述基于所述第一训练样本集,对待训练分类网络进行训练的操作。
第四确定模块,用于在所述第一评估结果为合格的情况下,确定所述植物器官分类器通过验证。
可选地,所述装置130还可以包括:
第一预处理模块,用于获取待处理样本集,并对所述待处理样本集进行预处理,得到所述第二训练样本集;所述第二训练样本集中不同的第二样本图像对应不同的标签图像,所述标签图像用于表征所对应的所述第二样本图像中不同区域对应的真实分割结果。
可选地,所述第二训练模块,可以包括:
第六获取子模块,用于将所述类型与所述植物器官类型相同的植物器官对应的第二样本图像作为所述待训练分割器模型的输入,获取所述待训练分割器模型预测的分割结果。
第三调整模块,用于基于所述分割结果以及所述类型与所述植物器官类型相同的植物器官对应的第二样本图像对应的标签图像,对所述待训练分割器模型进行参数调整。
第五确定模块,用于在所述待训练分割器模型达到停止条件的情况下,将达到停止条件的待训练分割器模型确定为与所述植物器官类型对应的分割器。
可选地,所述装置130还可以包括:
第五获取模块,用于获取第二验证样本集;所述第二验证样本集包括同类型植物中类型与所述植物器官类型相同的植物器官对应的第四样本图像。
第六获取模块,用于将类型与所述植物器官类型相同的植物器官对应的第四样本图像作为与所述植物器官类型对应的分割器的输入,获取与所述植物器官类型对应的分割器输出的预测分割结果。
第二评估模块,用于基于所述预测分割结果以及类型与所述植物器官类型相同的植物器官对应的第四样本图像对应的标签图像,对与所述植物器官类型对应的分割器的性能进行评估,得到第二评估结果。
第四调整模块,用于在所述第二评估结果为不合格的情况下,对与所述植物器官类型对应的分割器进行参数调整,并基于参数调整后的与所述植物器官类型对应的分割器,重新执行所述基于所述第二训练样本集,对待训练分割器模型进行训练的操作。
第六确定模块,用于在所述第二评估结果为合格的情况下,确定与所述植物器官类型对应的分割器通过验证。
综上所述,本发明实施例中,通过获取第一训练样本集以及第二训练样本集;第一训练样本集包括同类型植物的至少两种植物器官对应的第一样本图像;基于第一训练样本集,对待训练分类网络进行训练,并将经训练的待训练分类网络确定为植物器官分类器;针对至少两种植物器官类型中的任一植物器官类型,基于第二训练样本集,对待训练分割器模型进行训练,并将经训练的待训练分割器模型确定为与植物器官类型对应的分割器;第二训练样本集包括同类型植物中类型与植物器官类型相同的植物器官对应的第二样本图像;基于植物器官分类器以及植物器官类型对应的分割器生成植物监测模型;植物监测模型用于获取待监测植物对应的形态特征信息。这样,可以通过生成植物监测模型,自动化获取形态特征信息,节省了形态特征信息的获取成本,提高了形态特征信息的获取效率。
本发明还提供了一种电子设备,参见图7,包括:处理器1401、存储器1402以及存储在所述存储器上并可在所述处理器上运行的计算机程序14021,所述处理器执行所述程序时实现前述实施例的方法。
本发明还提供了一种可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行前述实施例的方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明的排序设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (18)

1.一种植物监测方法,其特征在于,所述方法包括:
在接收到待监测植物对应的目标图像的情况下,基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型;所述目标植物器官是所述目标图像中包含的植物器官;
基于所述植物监测模型中与所述目标植物器官类型对应的分割器,获取所述目标图像对应的二值图;
基于所述植物监测模型中与所述目标植物器官类型对应的监测器,对所述二值图进行形态学分析,得到所述目标植物器官的形态特征信息;
所述形态特征信息包括器官长度信息,所述对所述二值图进行形态学分析,得到所述目标植物器官的形态特征信息,包括:
对所述二值图进行细化处理,得到细化处理后的二值图;
对所述细化处理后的二值图进行腐蚀处理、膨胀处理以及修正处理,得到所述二值图中的前景对象对应的骨架结构图;
获取所述骨架结构图中各线条结构的长度信息,并基于所述长度信息所表征的长度,将长度最长的线条结构确定为所述目标植物器官对应的目标线条结构;
获取所述目标线条结构的长度信息,作为所述目标植物器官的器官长度信息。
2.根据权利要求1所述的方法,其特征在于,在所述目标图像为目标视频中的多个视频帧图像的情况下,所述基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型,包括:
获取所述多个视频帧图像中的初始视频帧图像;
基于所述植物监测模型中的植物器官分类器,确定所述初始视频帧图像中包含的目标植物器官对应的植物器官类型,作为目标植物器官类型;
所述基于所述植物监测模型中与所述目标植物器官类型对应的分割器,获取所述目标图像对应的二值图,包括:
基于所述植物监测模型中与所述目标植物器官类型对应的分割器,获取所述多个视频帧图像对应的二值图。
3.根据权利要求1所述的方法,其特征在于,所述形态特征信息还包括生长状态信息,在所述目标图像为目标视频中的多个视频帧图像的情况下,在所述获取所述目标线条结构的长度信息,作为所述目标植物器官的器官长度信息之后,所述方法还包括:
针对所述多个视频帧图像中的任一视频帧图像,基于所述视频帧图像中包含的目标植物器官对应的目标线条结构,确定所述视频帧图像对应的目标特征点;所述目标特征点是与所述视频帧图像中包含的目标植物器官的生长特点相关的特征点;
基于各所述视频帧图像对应的目标特征点,确定所述目标植物器官的生长状态信息。
4.根据权利要求3所述的方法,其特征在于,所述目标特征点包括端点,所述基于所述视频帧图像中包含的目标植物器官对应的目标线条结构,确定所述视频帧图像对应的目标特征点,包括:
基于所述视频帧图像包含的所述目标植物器官对应的目标线条结构,确定所述视频帧图像对应的第一端点以及第二端点;
所述基于各所述视频帧图像对应的目标特征点,确定所述目标植物器官的生长状态信息,包括:
针对所述多个视频帧图像中的任一视频帧图像,获取所述视频帧图像对应的所述第一端点以及所述第二端点相对于所述骨架结构图的相对坐标;
基于各所述视频帧图像对应的所述第一端点的相对坐标,确定第一位移信息,以及,基于各所述视频帧图像对应的所述第二端点的相对坐标,确定第二位移信息;
将所述第一位移信息以及所述第二位移信息确定为所述目标植物器官的生长状态信息。
5.根据权利要求1所述的方法,其特征在于,所述获取所述骨架结构图中各线条结构的长度信息,包括:
对所述骨架结构图进行图像分析,提取所述骨架结构图中的多个线条结构;
针对所述多个线条结构中的任一线条结构,基于所述线条结构上的像素个数或像素距离,确定所述线条结构的长度信息。
6.根据权利要求2所述的方法,其特征在于,在所述基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型之前,所述方法还包括:
基于植物监测模型中的植物类型分类器,判断所述目标图像中包含的待监测植物对应的植物类型;
所述基于所述植物监测模型中的植物器官分类器,确定所述初始视频帧图像中包含的目标植物器官对应的植物器官类型,作为目标植物器官类型,包括:
基于所述植物监测模型中与所述植物类型对应的植物器官分类器,确定所述初始视频帧图像中包含的目标植物器官对应的植物器官类型,作为目标植物器官类型。
7.根据权利要求1-6任一所述的方法,其特征在于,所述方法还包括
基于所述形态特征信息中的器官长度信息,监测所述待监测植物的成长速度;
基于所述形态特征信息中的生长状态信息,监测所述待监测植物的生长移动方向。
8.一种植物监测模型的训练方法,其特征在于,所述方法包括:
获取第一训练样本集以及第二训练样本集;所述第一训练样本集包括同类型植物的至少两种植物器官对应的第一样本图像;
基于所述第一训练样本集,对待训练分类网络进行训练,并将经训练的所述待训练分类网络确定为植物器官分类器;
针对至少两种植物器官类型中的任一植物器官类型,基于所述第二训练样本集,对待训练分割器模型进行训练,并将经训练的所述待训练分割器模型确定为与所述植物器官类型对应的分割器;所述第二训练样本集包括同类型植物中类型与所述植物器官类型相同的植物器官对应的第二样本图像;
基于所述植物器官分类器以及所述植物器官类型对应的分割器生成植物监测模型;所述植物监测模型用于获取待监测植物对应的形态特征信息;所述形态特征信息包括器官长度信息。
9.根据权利要求8所述的方法,其特征在于,所述基于所述第一训练样本集,对待训练分类网络进行训练,并将经训练的所述待训练分类网络确定为植物器官分类器,包括:
将所述至少两种植物器官对应的第一样本图像作为所述待训练分类网络的输入,获取所述待训练分类网络预测的分类结果;
基于所述分类结果以及所述第一样本图像的植物器官分类标签,对所述待训练分类网络进行参数调整;所述植物器官分类标签用于表征所述第一样本图像的对应的真实植物器官分类;
在所述待训练分类网络达到停止条件的情况下,将达到停止条件的待训练分类网络确定为所述植物器官分类器。
10.根据权利要求9所述的方法,其特征在于,所述待训练分类网络包括多个密集块,任一所述密集块中包含卷积层、注意力机制层以及集成层,所述卷积层以及所述注意力机制层的输出结果均被连接到所述集成层。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
获取第一验证样本集;所述第一验证样本集包括同类型植物的至少两种植物器官对应的第三样本图像;
将所述至少两种植物器官对应的第三样本图像作为所述植物器官分类器的输入,获取所述植物器官分类器输出的预测分类结果;
基于所述预测分类结果以及所述第三样本图像的植物器官分类标签,对所述植物器官分类器的性能进行评估,得到第一评估结果;
在所述第一评估结果为不合格的情况下,对所述植物器官分类器进行参数调整,并基于参数调整后的植物器官分类器,重新执行所述基于所述第一训练样本集,对待训练分类网络进行训练的操作;
在所述第一评估结果为合格的情况下,确定所述植物器官分类器通过验证。
12.根据权利要求8所述的方法,其特征在于,所述方法还包括:
获取待处理样本集,并对所述待处理样本集进行预处理,得到所述第二训练样本集;所述第二训练样本集中不同的第二样本图像对应不同的标签图像,所述标签图像用于表征所对应的所述第二样本图像中不同区域对应的真实分割结果。
13.根据权利要求12所述的方法,其特征在于,所述基于所述第二训练样本集,对待训练分割器模型进行训练,并将经训练的所述待训练分割器模型确定为与所述植物器官类型对应的分割器,包括:
将所述类型与所述植物器官类型相同的植物器官对应的第二样本图像作为所述待训练分割器模型的输入,获取所述待训练分割器模型预测的分割结果;
基于所述分割结果以及所述类型与所述植物器官类型相同的植物器官对应的第二样本图像对应的标签图像,对所述待训练分割器模型进行参数调整;
在所述待训练分割器模型达到停止条件的情况下,将达到停止条件的待训练分割器模型确定为与所述植物器官类型对应的分割器。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
获取第二验证样本集;所述第二验证样本集包括同类型植物中类型与所述植物器官类型相同的植物器官对应的第四样本图像;
将类型与所述植物器官类型相同的植物器官对应的第四样本图像作为与所述植物器官类型对应的分割器的输入,获取与所述植物器官类型对应的分割器输出的预测分割结果;
基于所述预测分割结果以及类型与所述植物器官类型相同的植物器官对应的第四样本图像对应的标签图像,对与所述植物器官类型对应的分割器的性能进行评估,得到第二评估结果;
在所述第二评估结果为不合格的情况下,对与所述植物器官类型对应的分割器进行参数调整,并基于参数调整后的与所述植物器官类型对应的分割器,重新执行所述基于所述第二训练样本集,对待训练分割器模型进行训练的操作;
在所述第二评估结果为合格的情况下,确定与所述植物器官类型对应的分割器通过验证。
15.根据权利要求12-14任一所述的方法,其特征在于,所述待训练分割器模型包括编码器以及解码器,所述编码器与所述解码器之间跳跃连接。
16.一种植物监测装置,其特征在于,所述装置包括:
第一确定模块,用于在接收到待监测植物对应的目标图像的情况下,基于植物监测模型中的植物器官分类器,确定目标植物器官对应的植物器官类型,作为目标植物器官类型;所述目标植物器官是所述目标图像中包含的植物器官;
第一获取模块,用于基于所述植物监测模型中与所述目标植物器官类型对应的分割器,获取所述目标图像对应的二值图;
第一分析模块,用于基于所述植物监测模型中与所述目标植物器官类型对应的监测器,对所述二值图进行形态学分析,得到所述目标植物器官的形态特征信息;所述形态特征信息包括器官长度信息;
所述第一分析模块具体用于:对所述二值图进行细化处理,得到细化处理后的二值图;
对所述细化处理后的二值图进行腐蚀处理、膨胀处理以及修正处理,得到所述二值图中的前景对象对应的骨架结构图;
获取所述骨架结构图中各线条结构的长度信息,并基于所述长度信息所表征的长度,将长度最长的线条结构确定为所述目标植物器官对应的目标线条结构;
获取所述目标线条结构的长度信息,作为所述目标植物器官的器官长度信息。
17.一种植物监测模型的训练装置,其特征在于,所述植物监测模型包括植物器官分类器;所述装置包括:
第二获取模块,用于获取第一训练样本集以及第二训练样本集;所述第一训练样本集包括同类型植物的至少两种植物器官对应的第一样本图像;
第一训练模块,用于基于所述第一训练样本集,对待训练分类网络进行训练,并将经训练的所述待训练分类网络确定为植物器官分类器;
第二训练模块,用于针对至少两种植物器官类型中的任一植物器官类型,基于所述第二训练样本集,对待训练分割器模型进行训练,并将经训练的所述待训练分割器模型确定为与所述植物器官类型对应的分割器;所述第二训练样本集包括同类型植物中类型与所述植物器官类型相同的植物器官对应的第二样本图像;
第一生成模块,用于基于所述植物器官分类器以及所述植物器官类型对应的分割器生成植物监测模型;所述植物监测模型用于获取待监测植物对应的形态特征信息;所述形态特征信息包括器官长度信息。
18.一种电子设备,其特征在于,包括:
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1-15中任一所述的方法。
CN202310583867.3A 2023-05-23 2023-05-23 植物监测方法、植物监测模型的训练方法、装置及设备 Active CN116311086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310583867.3A CN116311086B (zh) 2023-05-23 2023-05-23 植物监测方法、植物监测模型的训练方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310583867.3A CN116311086B (zh) 2023-05-23 2023-05-23 植物监测方法、植物监测模型的训练方法、装置及设备

Publications (2)

Publication Number Publication Date
CN116311086A CN116311086A (zh) 2023-06-23
CN116311086B true CN116311086B (zh) 2023-08-22

Family

ID=86824345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310583867.3A Active CN116311086B (zh) 2023-05-23 2023-05-23 植物监测方法、植物监测模型的训练方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116311086B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346142A (zh) * 2018-01-16 2018-07-31 中国农业大学 一种基于植物光照图像的植物生长状态识别方法
CN109241918A (zh) * 2018-09-13 2019-01-18 樊江岩 一种基于植物信息的植物管控方法、装置及系统
CN115205647A (zh) * 2022-07-21 2022-10-18 南京农业大学 一种基于注意力机制与多尺度特征融合的植物图像分割方法
CN115439693A (zh) * 2022-07-29 2022-12-06 中国科学院空天信息创新研究院 目标识别网络模型的训练方法、电子设备及程序产品
CN115760867A (zh) * 2022-11-30 2023-03-07 云南大学 一种基于改进U-Net网络的类器官分割方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122606A1 (ko) * 2018-12-11 2020-06-18 시너지에이아이 주식회사 인공신경망을 이용한 장기의 부피 측정 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346142A (zh) * 2018-01-16 2018-07-31 中国农业大学 一种基于植物光照图像的植物生长状态识别方法
CN109241918A (zh) * 2018-09-13 2019-01-18 樊江岩 一种基于植物信息的植物管控方法、装置及系统
CN115205647A (zh) * 2022-07-21 2022-10-18 南京农业大学 一种基于注意力机制与多尺度特征融合的植物图像分割方法
CN115439693A (zh) * 2022-07-29 2022-12-06 中国科学院空天信息创新研究院 目标识别网络模型的训练方法、电子设备及程序产品
CN115760867A (zh) * 2022-11-30 2023-03-07 云南大学 一种基于改进U-Net网络的类器官分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
班晓娟等.《智慧医疗助力抗击疫情》.中国科学技术出版社,2021,第0004-0007页. *

Also Published As

Publication number Publication date
CN116311086A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN111738124B (zh) 基于Gabor变换和注意力的遥感图像云检测方法
CN106897673B (zh) 一种基于retinex算法和卷积神经网络的行人再识别方法
CN111126258A (zh) 图像识别方法及相关装置
CN111553240B (zh) 一种玉米病害病情分级方法、系统和计算机设备
CN110032925B (zh) 一种基于改进胶囊网络与算法的手势图像分割与识别方法
CN110796199B (zh) 一种图像处理方法、装置以及电子医疗设备
CN111967464B (zh) 一种基于深度学习的弱监督目标定位方法
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
Ngugi et al. A new approach to learning and recognizing leaf diseases from individual lesions using convolutional neural networks
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN114445715A (zh) 一种基于卷积神经网络的农作物病害识别方法
CN115965862A (zh) 基于掩码网络融合图像特征的sar舰船目标检测方法
CN111352926B (zh) 数据处理的方法、装置、设备及可读存储介质
CN111127400A (zh) 一种乳腺病变检测方法和装置
Hu et al. Computer vision based method for severity estimation of tea leaf blight in natural scene images
CN113033371A (zh) 基于csp模型的多级特征融合行人检测方法
CN116311086B (zh) 植物监测方法、植物监测模型的训练方法、装置及设备
CN113723833B (zh) 造林实绩质量评价方法、系统、终端设备及存储介质
CN117011566A (zh) 一种目标检测方法、检测模型训练方法、装置及电子设备
Kaur et al. Performance analysis of segmentation models to detect leaf diseases in tomato plant
CN113837062A (zh) 一种分类方法、装置、存储介质及电子设备
CN115131621A (zh) 一种图像质量评估方法与装置
CN113256556A (zh) 一种图像选择方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant