CN115063453A - 植物叶片气孔个体行为检测分析方法、系统及存储介质 - Google Patents

Abstract

本申请提供一种植物叶片气孔个体行为检测分析方法、系统及存储介质。本申请通过多目标跟踪算法识别视频图像中各气孔位置，通过目标检测算法检测视频图像中各气孔的开闭状态，再将两者进行匹配，标记出气孔的开闭时间，实现对气孔开闭时序的跟踪解析。本申请通过对植物叶片视频的检测分析，利用多深度学习任务的集成系统获得气孔个体开闭状态、长宽、面积和周长等多种性状。相对于传统的气孔性状研究，本发明通过对气孔视频的超时序解析技术，结合目标检测和语义分割等算法，实现气孔开闭状态的定性跟踪和气孔形态特征的量化分析，有助于分析气孔个体开闭节律的生理机理，揭示气孔个体和群体水平的运动规律。

Description

植物叶片气孔个体行为检测分析方法、系统及存储介质

技术领域

本申请涉及植物信息监测技术领域，具体而言涉及一种植物叶片气孔个体行为检测分析方法、系统及存储介质。

背景技术

植物叶片上的气孔是植物与外界环境进行CO2和水分交换的重要通道。气孔的形态学变化直接影响了植物的光合作用、蒸腾作用、水分利用效率以及抗逆性等重要生理过程。

受内源信号和外界环境因子的共同调控，气孔个体行为会表现出极大的差异。受观测方法的限制，早期认为单个气孔对环境等外界刺激的反应是独立且相似的，其行为只会表现出细微的随机差异。然而，经过大量观察和研究表明，植物叶片中气孔的行为通常表现出明显的时空异质性：例如，同一植物叶片上某些区域气孔张开，其相邻区域气孔会关闭。这种气孔行为的异质性被认为是植物适应环境的重要机制。

然而，现有的针对气孔个体行为的分析技术尚不完善。传统的气孔表型性状分析依赖于人工标定，繁琐且耗时耗力。近年来，研究人员虽然开发了一些可以识别气孔或划分表皮细胞的软件，但是，这些软件精度有限，需要使用者耗费大量精力进行人工校正工作。此外，虽然现有深度学习的图像分析算法已经可以准确地量化气孔密度等参数，但是尚不能对气孔的个体行为进行详细的性状分析。

此外，植物的气孔对干旱等胁迫环境的响应过程是迅速而敏感的，时序数据有利于更精确的反应气孔变化。然而，传统的气孔观测方法多使用硅胶油印迹法或破坏性上的表皮剥离法，这些方法难以实现密集的时间序列观测。现有技术难以对气孔个体进行连续观测，这种连续观测技术的不足，也导致目前气孔分析技术多集中在单点的图像分析算法上，进而也造成了气孔个体状态时序分析的研究空白。

发明内容

本申请针对现有技术的不足，提供一种植物叶片气孔个体行为检测分析方法、系统及存储介质，本申请利用卡尔曼滤波算法配合匈牙利算法实现对气孔检测框的预测跟踪，能够通过多目标跟踪算法，对视频图像各帧序列之间的关联性进行描述，赋予每个气孔一个“身份证”，进而分别对各个气孔的开闭状态和形状特征进行识别与跟踪。本申请具体采用如下技术方案。

首先，为实现上述目的，提出一种植物叶片气孔个体行为检测分析方法，其按照植物叶片视频图像各帧顺序，分别对每一帧图像执行以下步骤：第一步，通过多目标跟踪算法识别视频各帧图像中各个气孔所对应的目标检测框，并标记各目标检测框所对应的气孔身份信息；第二步，通过目标检测算法分别识别视频各帧图像中气孔的开闭状态，并将各气孔开闭状态与气孔身份信息进行匹配，分别标记各气孔所对应的开闭状态和开闭时间；第三步，根据各目标检测框将相应气孔图片输入语义分割模型中，检测获得气孔图片中的气孔复合体区域，根据气孔复合体区域对视频图像进行掩膜输出，并基于掩膜图像分别提取各气孔所对应的形态特征。

可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，所述多目标跟踪算法包括如下步骤：步骤101，通过目标检测器检测获得分别对应于叶片上各个气孔的目标检测框，通过卡尔曼滤波算法根据上一帧的目标检测框生成本帧预测框；步骤102，按照目标检测框与本帧预测框之间匹配程度分别识别各帧中气孔的关联情况，标记各目标检测框所对应的气孔身份信息。

可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，步骤102具体包括如下步骤：通过匈牙利算法匹配目标检测框与本帧预测框，若仅存在目标检测框而没有与之相匹配的本帧预测框，则为该目标检测框所对应的气孔单独新增气孔身份信息进行标记，并新增一条对应于该气孔身份信息的轨迹；若目标检测框与本帧预测框相匹配，则继续通过卡尔曼滤波算法对该目标检测框进行更新，生成用于匹配下一帧目标检测框的预测框；若没有与本帧预测框相匹配的目标检测框，则删除对应本帧预测框所属气孔身份信息的轨迹。

可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，通过多目标跟踪算法识别出的各气孔所对应的目标检测框标记为[x1,y1,x2,y2,ID]，其中(x1,y1)和(x2,y2)分别表示目标检测框两对角的像素坐标，ID表示目标检测框所对应的气孔身份信息；第二步中通过目标检测算法分别识别视频各帧图像中气孔的开闭状态，将各气孔开闭状态与气孔身份信息进行匹配，分别标记各气孔所对应的开闭状态和开闭时间的具体步骤包括：通过基于YOLOv3-tiny的二分类目标检测算法分别识别视频各帧图像中气孔的开闭状态，记为状态检测框[x',y',x”,y”,类别]，其中，(x',y')和(x”,y”)分别表示状态检测框两对角的像素坐标，类别表示状态检测框所对应的气孔的开闭状态；通过字符识别算法获取帧视频图像中的时间信息；比较状态检测框[x',y',x”,y”,类别]与目标检测框[x1,y1,x2,y2,ID]之间像素坐标距离，将目标检测框的开闭状态更新为与之像素坐标距离最近的状态检测框的开闭状态，输出[x1,y1,x2,y2,ID,类别，时间]。

可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，所述语义分割算法为基于Unet的深度学习模型，由编码器-解码器的网络结构构成；其中的编码器对目标检测框图像逐层下采样进行特征提取，各层编码器分别通过深度可分离卷积结构将其所提取出的特征融合至相应层的解码器，各层所述解码器逐层上采样后使用2维卷积调整特征层维度为2，然后将特征展开，再使用softmax激活函数对每个像素点进行二分类以检测确定各像素点是否属于气孔复合体区域。

可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，所述编码器包括4层，语义分割模型中仅将编码器的中间层三层分别与上采样解码器进行特征融合，在3次特征层融合操作后，对最后一层解码器所输出的特征层使用2维卷积调整其维度为2以分别标记气孔像素点和背景像素点。

可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，根据气孔复合体区域分别提取各气孔所对应的形态特征的步骤包括：计算气孔复合体区域所对应的轮廓，根据轮廓计算气孔周长，根据轮廓内像素点个数计算气孔面积，根据轮廓上横纵坐标的极值之差计算气孔长宽。

可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，计算气孔复合体区域所对应的轮廓的步骤具体包括：对气孔复合体区域的掩膜图像进行腐蚀和膨胀，去除噪声点后，计算剩余连通区域的轮廓为气孔复合体区域所对应的轮廓。

同时，为实现上述目的，本申请还提供一种植物叶片气孔个体行为检测分析系统，其包括：显微镜，用于拍摄植物叶片中气孔的视频图像；检测分析单元，用于执行如上任一所述的植物叶片气孔个体行为检测分析方法；输出单元，其根据检测分析单元所得各气孔的气孔身份信息、形态特征和/或开闭状态和/或气孔复合体区域，掩膜输出视频图像或图表数据。

此外，本申请还同时提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理设备执行时，实现如上任一所述的方法。

有益效果

本申请通过多目标跟踪算法识别视频图像中各气孔位置，通过目标检测算法检测视频图像中各气孔的开闭状态，再将两者进行匹配，标记出气孔的开闭时间，从而实现对气孔开闭时序的解析。本申请通过对植物叶片气孔视频的检测分析，利用多深度学习任务的集成系统获得多个气孔个体性状，包括气孔个体开闭状态、长宽、面积和周长等。相对于传统的气孔性状研究，本发明通过对气孔视频的超时序解析技术，同时结合目标检测和语义分割等算法能够定性地跟踪气孔开闭状态，也可定量地检测气孔形态特征，从而帮助科研人员更好分析气孔个体开闭的生理机理，揭示气孔个体和群体水平的运动规律。

本申请利用YOLOv3-tiny算法分别进行多目标跟踪和气孔开闭状态的目标检测，第一次多目标检测只返回气孔的矩形目标检测框信息，第二次开闭状态的检测返回标记气孔开闭状态的状态检测框。本申请将分别进行气孔目标的跟踪与对气孔开闭状态的检测，第一次单独只检测气孔有利于提高追踪算法的精度性能。如果采用常规设计，直接在第一次目标检测中加上对气孔开闭类别的跟踪，算法会将开闭两种状态的气孔分别判定为两种不同物体，会严重影响目标跟踪性能。两次检测所得的气孔信息可通过对检测算法所返回的检测框像素坐标之间距离进行逐一匹配，从而将两次检测所得气孔目标状态融合为统一的状态检测结果[x1,y1,x2,y2,ID,类别，时间]。本申请可通过两次检测框之间中心点间距，将坐标位置相近的两次检测框匹配至同一气孔身份信息下，由此通过简单的坐标位置判断实现对各个气孔目标的独立时序跟踪。

此外，本申请进一步利用Unet深度学习模型进行气孔语义分割，并改进了其编码器-解码器网络结构中的编码器，通过深度可分离卷积结构将该编码器所提取出的特征融合至相应层。本申请利用深度可分离卷积结构替代常规的卷积，能够使模型的参数量更少，从而进一步加快模型的检测速度。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。

附图说明

附图用来提供对本申请的进一步理解，并且构成说明书的一部分，并与本申请的实施例一起，用于解释本申请，并不构成对本申请的限制。在附图中：

图1是本申请的植物叶片气孔个体行为检测分析方法的步骤流程示意图；

图2是本申请中所采用的语义分割模型示意图；

图3是应用本申请方法所输出的叶片气孔实时视频图像；

图4是本申请对不同气孔进行时序跟踪所获得的各气孔的轨迹图像；

图5是本申请对不同气孔进行时序跟踪所获得的各气孔运动规律曲线。

具体实施方式

为使本申请实施例的目的和技术方案更加清楚，下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于所描述的本申请的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本申请中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。

本申请中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。

图1为根据本申请的一种用于植物叶片气孔个体行为检测分析系统的计算机程序执行单元。该系统包括：

显微镜，用于拍摄类似图3所示的植物叶片中气孔的视频图像；

检测分析单元，其由GPU、CPU、单片机、FPGA等计算机处理设备相应执行存储于可读存储介质中的计算机程序以通过如下方式按照植物叶片视频图像各帧顺序，分别对每一帧图像执行以下步骤以实现对植物叶片上各气孔的个体行为的检测分析：第一步，通过多目标跟踪算法识别视频各帧图像中各个气孔所对应的目标检测框，并标记各目标检测框所对应的气孔身份信息；第二步，通过目标检测算法分别识别视频各帧图像中气孔的开闭状态，并将各气孔开闭状态与气孔身份信息进行匹配，分别标记各气孔所对应的开闭状态和开闭时间；第三步，根据各目标检测框将相应气孔图片输入语义分割模型中，检测获得气孔图片中的气孔复合体区域，根据气孔复合体区域对视频图像进行掩膜输出，并基于掩膜图像分别提取各气孔所对应的形态特征；

输出单元，其可设置为显示器，或者可移动终端设备的显示单元，还可选择通过表格数据形式根据检测分析单元所得各气孔的气孔身份信息、形态特征和/或开闭状态和/或气孔复合体区域，掩膜输出类似图3所示的视频图像或类似图4、图5所示的相应图表数据。

由此，本申请的系统能够以便携显微镜拍摄的叶片气孔动态视频为输入，通过由多目标跟踪、目标检测、字符识别和语义分割等深度学习算法组成的集成系统，解析植物气孔个体行为间的差异，能够实现全自动、高精度、高效率地植物叶片个体气孔行为分析，为进一步探究植物气孔的生理机制提供有效的工具。

上述检测分析单元所采用的植物叶片气孔个体行为检测分析方法，在具体实践中可采用如下方式实现：

第一步，调用多目标跟踪算法，以为视频各帧图像画面中的每一个气孔分别赋予一个唯一的标识，记录各目标检测框所对应的气孔身份信息；该多目标跟踪算法工作原理如下：

步骤101，通过SORT(Simple Online and Realtime Tracking)这种多目标跟踪算法，利用轻量级的yolov3-tiny目标检测技术检测获得分别对应于叶片上各个气孔的目标检测框，然后通过卡尔曼滤波算法根据上一帧的目标检测框生成本帧预测框；

步骤102，按照目标检测框与本帧预测框之间匹配程度分别识别各帧中气孔的关联情况，标记各目标检测框所对应的气孔身份信息，从而返回标记为[x1,y1,x2,y2,ID]的目标检测框；其中(x1,y1)可表示目标检测框边界左上角点的坐标，(x2,y2)可表示目标检测框边界右下角的坐标，ID用于标识目标检测框所对应的气孔身份信息，目标检测框其他两对角的像素坐标也可用于标记气孔坐标位置。

第二步，调用目标检测算法，以分别识别视频各帧图像中气孔的开闭状态，并将各气孔开闭状态与气孔身份信息进行匹配，分别标记各气孔所对应的开闭状态和开闭时间；该目标检测算法工作原理如下：

步骤201，通过基于YOLOv3-tiny的二分类目标检测算法分别识别视频各帧图像中气孔的开闭状态，记为状态检测框[x',y',x”,y”,类别]，其中，(x',y')和(x”,y”)分别表示状态检测框两对角的像素坐标，类别表示状态检测框所对应的气孔的开闭状态；

步骤202，通过OCR字符识别算法获取帧视频图像中的时间信息；由于本申请中为提高运算精度性能分别对帧图像进行两次YOLOv3-tiny的，分别获得相互独立的目标检测框和状态检测框进行目标检测以分别标记气孔位置ID和开关状态，因此本申请还需要通过比较状态检测框[x',y',x”,y”,类别]与目标检测框[x1,y1,x2,y2,ID]之间像素坐标距离对其进行逐一匹配。匹配过程中，需根据各检测框坐标点的信息分别求得状态检测框和目标检测框的中心点集合，选择目标检测框集合里的一个中心点，与状态检测框集合里的所有中心点求欧氏距离，通过两个点间的距离，取最短距离的那个点进行匹配，即可将目标检测框的开闭状态更新为与之像素坐标距离最近的状态检测框的开闭状态，输出[x1,y1,x2,y2,ID,类别,时间]。

第三步，根据各目标检测框将相应气孔图片输入语义分割模型中，以对各检测框进行逐像素点的检测，获得气孔图片中的气孔复合体区域，然后根据气孔复合体区域掩膜图像进行形态学分析，进一步计算气孔长、宽、面积和周长等信息，根据气孔复合体区域对视频图像进行掩膜输出，并分别提取各气孔所对应的形态特征；该语义分割模型可通过图2所示的基于Unet的语义分割模型实现：

该语义分割模型由编码器-解码器的网络结构构成，接收根据检测框(boundingbox)的坐标信息[x1,y1,x2,y2]所截取的气孔图片，通过其编码器对目标检测框图像逐层下采样进行特征提取，由模型中各层编码器分别通过深度可分离卷积结构将其所提取出的特征融合至相应层的解码器，然后分别由各层所述解码器逐层上采样后使用2维卷积调整特征层维度为2后将特征展开，最后使用softmax激活函数对每个像素点进行二分类以检测确定各像素点是否属于气孔复合体区域。

由此，该语义分割算法基于Unet的深度学习模型，能够在特征提取的解码器部分，通过使用深度可分离卷积代替常规的卷积，使模型的参数量更少，从而有效加快模型的检测速度。替代过程中，深度可分离卷积和常规卷积可以模块化的替换：深度可分离卷积具体实现时，由深度卷积和点卷积组成。其中的深度卷积负责与每个通道进行独立的卷积操作；点卷积负责调整输出通道数。由于深度可分离卷积与常规卷积的输出形状相同，因此在模型结构中可模块化替换。

在其他实现方式下，本申请的检测分析方法还可对给定的视频原始帧执行以下操作实现对植物叶片气孔个体行为的跟踪：

1.基于多目标跟踪算法进行气孔个体识别。

为了将视频中每帧的气孔都赋予一个固定的ID，进而研究每个气孔的行为变化，本申请运行目标检测器YOLOv3-tiny(计数)进行检测，以通过轻量级目标检测获取目标检测框，配合由匈牙利算法和卡尔曼滤波算法实现的多目标跟踪技术，获取时间序列的个体气孔轨迹。

该多目标跟踪算法依赖于目标检测的检测结果。为了实现高效率的多目标跟踪，首先利用轻量、高效的YOLOv3-tiny目标检测器，检测视频第一帧中所有气孔的位置，用矩形框(bounding box)标注，称为目标检测框；

然后将第一帧所得到的检测框被输送到卡尔曼滤波算法中，以通过卡尔波曼滤波算法根据当前的运动变量去预测下一帧的运动变量。通过卡尔曼滤波算法预测出第一帧检测框的下一帧位置后，可得到第二帧预测框；

YOLOv3-tiny目标检测器继续对第二帧进行气孔目标检测，得到第二帧目标检测框，为了实现检测框和预测框的最佳匹配，通过匈牙利算法进行分配，让预测框找到最匹配的检测框，达到追踪效果。

匈牙利算法匹配过程中，会出现三种匹配情形：(1)未匹配对象，只有预测框，没有与本帧预测框相匹配的目标检测框，则说明该气孔可能移动消失在画面中，此时需要删除对应本帧预测框所属气孔身份信息的轨迹；(2)未检测对象，仅存在目标检测框而没有与之相匹配的本帧预测框，则说明该气孔第一次出现在画面中，因此需要为该目标检测框所对应的气孔单独新增气孔身份信息进行标记，并新增一条对应于该气孔身份信息的轨迹；(3)匹配对象，预测框与本帧预测框相匹配，则说明前一帧和后一帧追踪成功，此时可继续通过卡尔曼滤波算法对该目标检测框进行更新，生成用于匹配下一帧目标检测框的预测框检测框匹配。如此循环直至视频帧结束，即可获取图4所示时间序列的个体气孔轨迹。以图4第一排气孔1为例。其左侧较早时序点气孔打开，而在右侧较迟的时序点时，气孔之间开口逐渐闭合，体现出单个气孔的开闭时间序列轨迹。

2.基于目标检测的气孔个体开闭状态监测

为了获取每个气孔在每一帧的开闭状态，使用基于YOLOv3-tiny(识别开闭)的二分类目标检测算法进行气孔开闭检测，获取状态检测框及其所对应的气孔开闭状态。通过对状态检测框与目标检测框进行最短距离匹配，判断两个检测框之间关联程度，将目标检测框匹配至与其距离最短的状态检测框，从而根据状态检测框所标记的开闭类别信息实现数据关联，以相同的气孔身份信息ID标记同属于一个气孔的检测框和状态检测框，为每个目标检测框对象分配气孔目标的开闭状态类别。

通过字符识别，获取视频当前帧左上角时间信息，进一步为各个目标检测框的不同开闭状态标记上时间信息，最终以图5方式输出每个气孔的开闭变换过程。

3.基于语义分割的气孔形态学参数分析

为进一步解析每个气孔形态学参数，使用语义分割算法获得单个气孔复合体掩膜图像，根据掩膜区域分析气孔长宽、面积、周长等性状。

其具体执行过程中，先根据上述目标检测过程中，检测框的坐标信息[x1,y1,x2,y2]，对气孔位置进行截图，将图片输入到图2的语义分割模型中，语义分割模型可自动将截图图片调节至统一大小，也可通过手动方式对图片进行reshape调节其尺寸，而后，使用基于Unet的深度学习算法，通过编码器-解码器的网络结构，利用图2左边的编码器对原始输入图像进行逐层下采样的特征提取，利用图2右边的解码器进行上采样。为了实现多尺度的特征融合，将语义分割模型中编码器的中间层f1，f2，f3三层分别与右边上采样解码器进行特征融合，以获得更好的分割结果；在3次特征层融合操作后，对最后一层解码器所输出的特征层使用2维卷积调整特征层维度为2以将图像中每个像素点分为背景像素与气孔像素两个类别；使用reshape将特征展开，再使用softmax对每个像素点进行二分类，输出每个像素点是背景和气孔复合体的概率；最后根据概率的阈值，即可检测出气孔复合体区域，输出标记气孔位置的掩膜图像。

获取掩膜图像后，进一步根据气孔复合体区域的语义分割结果，对气孔复合体区域的掩膜图像进行腐蚀和膨胀操作，以去除不必要的噪声；计算去噪后连通区域轮廓为气孔复合体区域所对应的轮廓，计算连通区域中像素点的个数，记为气孔的面积；使用opencv的findcontours函数，获得连通区域轮廓后，可进一步根据轮廓信息计算气孔的周长；根据连通区域像素点的x,y坐标极值之差，得到气孔长、宽、偏心率、开度、面积和周长等信息。

计算偏心率时，可用一个椭圆去拟合气孔掩膜图像，然后根据椭圆的偏心率公式计算：从椭圆中心到椭圆半长轴的距离之比，以获得该拟合于气孔的椭圆的偏心率e＝c/a。其中c是焦距，a是半长轴的长度。

计算开度时，可计算气孔不同开闭状态下掩膜图像的面积(S)，开度＝(S-Smin)/(Smax-Smin)，开度可用[0,1]范围的数值表示气孔的开闭程度。其中，Smin表示该序列中气孔面积的最小值，S表示该序列中气孔面积的最大值。

表1各气孔检测结果时序表

循环上述1-3步骤，直至视频结束。

综上，本申请通过目标跟踪算法，建立了视频帧与帧之间的联系，如表1所示，本方法赋予视频中每个气孔唯一的ID标识，从而捕捉了每个气孔在每个时刻的形态学性状，如面积、长度等，实现了时间尺度的连续性，实现了更加细粒度的对个体气孔运动特性的检测和时序记录；

本申请结合目标检测算法，实现了更加细粒度的个体气孔运动特性分析。如图4和图5所示，通过目标检测实现了气孔开闭状态的二分类问题，并基于目标跟踪算法实现的时间连续性，量化了每个气孔开闭昼夜节律的差异。

由此，本申请所提供的气孔行为检测分析方法有利于量化表达个体气孔之间的时空异质性，为植物气孔的研究提供了有利工具，有望进一步完善现有植物气孔理论。

以上仅为本申请的实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些均属于本申请的保护范围。

Claims (10)

1.一种植物叶片气孔个体行为检测分析方法，其特征在于，按照植物叶片视频图像各帧顺序，分别对每一帧图像执行以下步骤：

第一步，通过多目标跟踪算法识别视频各帧图像中各个气孔所对应的目标检测框，并标记各目标检测框所对应的气孔身份信息；

第二步，通过目标检测算法分别识别视频各帧图像中气孔的开闭状态，并将各气孔开闭状态与气孔身份信息进行匹配，分别标记各气孔所对应的开闭状态和开闭时间；

第三步，根据各目标检测框将相应气孔图片输入语义分割模型中，检测获得气孔图片中的气孔复合体区域，根据气孔复合体区域对视频图像进行掩膜输出，并基于掩膜图像分别提取各气孔所对应的形态特征。

2.如权利要求1所述的植物叶片气孔个体行为检测分析方法，其特征在于，所述多目标跟踪算法包括如下步骤：

步骤101，通过目标检测器检测获得分别对应于叶片上各个气孔的目标检测框，通过卡尔曼滤波算法根据上一帧的目标检测框生成本帧预测框；

步骤102，按照目标检测框与本帧预测框之间匹配程度分别识别各帧中气孔的关联情况，标记各目标检测框所对应的气孔身份信息。

3.如权利要求2所述的植物叶片气孔个体行为检测分析方法，其特征在于，步骤102具体包括如下步骤：

通过匈牙利算法匹配目标检测框与本帧预测框，

若仅存在目标检测框而没有与之相匹配的本帧预测框，则为该目标检测框所对应的气孔单独新增气孔身份信息进行标记，并新增一条对应于该气孔身份信息的轨迹；

若目标检测框与本帧预测框相匹配，则继续通过卡尔曼滤波算法对该目标检测框进行更新，生成用于匹配下一帧目标检测框的预测框；

若没有与本帧预测框相匹配的目标检测框，则删除对应本帧预测框所属气孔身份信息的轨迹。

4.如权利要求1-3所述的植物叶片气孔个体行为检测分析方法，其特征在于，通过多目标跟踪算法识别出的各气孔所对应的目标检测框标记为[x1,y1,x2,y2,ID]，其中(x1,y1)和(x2,y2)分别表示目标检测框两对角的像素坐标，ID表示目标检测框所对应的气孔身份信息；

第二步中通过目标检测算法分别识别视频各帧图像中气孔的开闭状态，将各气孔开闭状态与气孔身份信息进行匹配，分别标记各气孔所对应的开闭状态和开闭时间的具体步骤包括：

通过基于YOLOv3-tiny的二分类目标检测算法分别识别视频各帧图像中气孔的开闭状态，记为状态检测框[x',y',x”,y”,类别]，其中，(x',y')和(x”,y”)分别表示状态检测框两对角的像素坐标，类别表示状态检测框所对应的气孔的开闭状态；

通过字符识别算法获取帧视频图像中的时间信息；

比较状态检测框[x',y',x”,y”,类别]与目标检测框[x1,y1,x2,y2,ID]之间像素坐标距离，将目标检测框的开闭状态更新为与之像素坐标距离最近的状态检测框的开闭状态，输出[x1,y1,x2,y2,ID,类别，时间]。

5.如权利要求1所述的植物叶片气孔个体行为检测分析方法，其特征在于，所述语义分割算法为基于Unet的深度学习模型，由编码器-解码器的网络结构构成；

其中的编码器对目标检测框图像逐层下采样进行特征提取，各层编码器分别通过深度可分离卷积结构将其所提取出的特征融合至相应层的解码器，各层所述解码器逐层上采样后使用2维卷积调整特征层维度为2，然后将特征展开，再使用softmax激活函数对每个像素点进行二分类以检测确定各像素点是否属于气孔复合体区域。

6.如权利要求5所述的植物叶片气孔个体行为检测分析方法，其特征在于，所述编码器包括4层，语义分割模型中仅将编码器的中间层三层分别与上采样解码器进行特征融合，在3次特征层融合操作后，对最后一层解码器所输出的特征层使用2维卷积调整其维度为2以分别标记气孔像素点和背景像素点。

7.如权利要求1-6所述的植物叶片气孔个体行为检测分析方法，其特征在于，根据气孔复合体区域分别提取各气孔所对应的形态特征的步骤包括：

计算气孔复合体区域所对应的轮廓，根据轮廓计算气孔周长，根据轮廓内像素点个数计算气孔面积，根据轮廓上横纵坐标的极值之差计算气孔长宽。

8.如权利要求7所述的植物叶片气孔个体行为检测分析方法，其特征在于，计算气孔复合体区域所对应的轮廓的步骤具体包括：

对气孔复合体区域的掩膜图像进行腐蚀和膨胀，去除噪声点后，计算剩余连通区域的轮廓为气孔复合体区域所对应的轮廓。

9.一种植物叶片气孔个体行为检测分析系统，其特征在于，包括：

显微镜，用于拍摄植物叶片中气孔的视频图像；

检测分析单元，用于执行权利要求1-8任一所述的植物叶片气孔个体行为检测分析方法；

输出单元，其根据检测分析单元所得各气孔的气孔身份信息、形态特征和/或开闭状态和/或气孔复合体区域，掩膜输出视频图像或图表数据。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理设备执行时，实现权利要求1-8中任一所述的方法。

Images