CN112052836A - 一种植物叶片气孔开闭状态的实时监测系统及方法 - Google Patents

一种植物叶片气孔开闭状态的实时监测系统及方法 Download PDF

Info

Publication number
CN112052836A
CN112052836A CN202011071627.8A CN202011071627A CN112052836A CN 112052836 A CN112052836 A CN 112052836A CN 202011071627 A CN202011071627 A CN 202011071627A CN 112052836 A CN112052836 A CN 112052836A
Authority
CN
China
Prior art keywords
air holes
representing
yolov3
microscope
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011071627.8A
Other languages
English (en)
Other versions
CN112052836B (zh
Inventor
孙壮壮
李庆
蔡剑
王笑
姜东�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN202011071627.8A priority Critical patent/CN112052836B/zh
Publication of CN112052836A publication Critical patent/CN112052836A/zh
Application granted granted Critical
Publication of CN112052836B publication Critical patent/CN112052836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)

Abstract

本发明提供一种植物叶片气孔开闭状态的实时监测系统及方法。本发明将叶片固定在显微镜镜头前，通过显微镜获取叶片表面气孔的清晰图像，然后由树莓派模块调用训练好的yolov3‑tiny模型对图像中的气孔进行实时的识别和检测。本发明能够根据叶片显微图像实时同步统计气孔个数，并自动进行气孔开闭状态的标记和显示。本发明能够实现对植物叶片气孔的无损动态实时监测，能够在不破坏取样的前提下，实现对气孔的快速准确实时监测。

Description

一种植物叶片气孔开闭状态的实时监测系统及方法
技术领域
本发明涉及农作物信息监测技术领域，具体而言涉及一种植物叶片气孔开闭状态的实时监测系统及方法。
背景技术
气孔是植物叶片及其他植物器官上皮上许多小的开孔之一，是植物表皮所特有的结构，是植物与大气进行碳水交换的重要通道，影响着植物的光合和蒸腾等重要生物过程。气孔的开闭变化是反映植物q代谢水平、水分胁迫水平和整体健康状况的重要指标，分析气孔的运动变化有助于科研人员了解掌握植物的生理生态动态变化过程。
在科研实验过程中，常用显微镜观察分析植物的气孔数量和气孔的开闭变化。然而，从显微镜图像中检测气孔行为并不是一项简单的任务。不同的植物具有不同的叶片结构，需要具有专业知识的生物学家才能正确识别和测量气孔形态。
目前，为获得气孔开闭状况，最常用的方法是通过指甲油印记法采集叶片气孔印迹照片，再通过ImageJ等图像处理软件手工测量叶片上气孔个数及孔径等特征。这些软件工具需要用户手动标记兴趣点，如孔隙边界、气孔长度和宽度，然后才能通过工具软件获取相关的测量结果。
虽然上述图像处理软件提供有额外的插件，以使气孔识别等任务更加容易，但现有技术下，依旧需要用户手动调整每幅图像的参数，才能准确获得合理的结果。并且，即使在上述工具的帮助下，手工测量气孔形态的过程也是十分费时费力的。
由于人工测量的局限性，生物学家被迫只能从捕获的每幅显微镜图像中选择几个气孔进行测量，只能利用较少的数据点建立叶片气孔的统计关系和模型。这样所获得的叶片气孔的统计关系和模型显然不够理想，会与实际情况出现较大偏差。
发明内容
本发明针对现有技术的不足，提供一种植物叶片气孔开闭状态的实时监测系统及方法，本发明通过机器学习的方式自动从显微镜所获取的叶片图像中识别出气孔，并对气孔数据进行测量。相对于传统的依赖于人工测量气孔的数目和开闭状态的研究方式，本发明通过计算机视觉的技术，可以有力改变这种不利情况，从而帮助科研人员更好分析气孔开闭的生理机理。本发明具体采用如下技术方案。
首先，为实现上述目的，提出一种植物叶片气孔开闭状态的实时监测方法，其步骤包括：第一步，将叶片固定放置在显微镜下，调节显微镜的角度和放大倍数至能够清晰拍摄到叶片表面的气孔；第二步，对显微镜所拍摄的叶片图像调用yolov3-tiny模型，识别叶片图像中的气孔，统计气孔的个数，并检测各气孔的开闭状态；第三步，将显微镜所拍摄的叶片图像以及yolov3-tiny模型所识别和检测到的气孔个数和开闭状态数据实时输出至显示单元；第四步，将第三步中显示单元所显示的视频数据打包为检测视频文件，将气孔个数和开闭状态的数据打包为文本日志，并在文本日志中记录拍摄日期、时间、开气孔的个数和关气孔的个数，输出或存储所述视频数据以及所述文本日志。
可选的，如上任一所述的植物叶片气孔开闭状态的实时监测方法，其中，所述yolov3-tiny模型由以下步骤训练而获得：训练步骤1，将标记有气孔信息的训练图片逐张输入至yolov3-tiny模型，由yolov3-tiny模型中的特征提取层，获得N×N个网格单元，再通过预测层对所述网格单元进行目标分类，得到分别对应两个预测分支的结果张量，所述结果张量中包含预测目标的类别和候选框的位置信息；训练步骤2，执行反向传播算法，以最小化损失函数为目标，反复对yolov3-tiny模型进行迭代更新，直至获得逼近训练图片中标记的结果张量，完成对yolov3-tiny模型的训练；
训练完成的所述yolov3-tiny模型在识别叶片图像中的气孔时，执行以下步骤201至步骤202：步骤201，接收显微镜所拍摄的叶片图像，由yolov3-tiny模型中的特征提取层，获得N×N个网格单元，再通过预测层对所述网格单元进行目标分类，得到分别对应两个预测分支的结果张量，所述结果张量中包含预测目标的类别和候选框的位置信息；步骤202，对所述结果张量进行非极大值抑制的后处理步骤，只保留目标概率最高的候选框，删除多余的候选框，并返回候选框的位置信息和类别概率。
可选的，如上任一所述的植物叶片气孔开闭状态的实时监测方法，其中，标记有气孔信息的所述训练图片包括需要检测的植物品种分别至少在生长期、开花期和成熟期三个时期中通过显微镜所拍摄的叶片图像。
可选的，如上任一所述的植物叶片气孔开闭状态的实时监测方法，其中，所述训练图片中的气孔信息通过labelImg工具标注为：对应训练图片中每一个气孔的外接矩形，其中，位于训练图片边缘的气孔仅在训练图片中至少拍摄到该气孔的三分之二时进行标注。
可选的，如上任一所述的植物叶片气孔开闭状态的实时监测方法，其中，所述yolov3-tiny模型由树莓派模块调用，所述树莓派模块在调用yolov3-tiny模型前预先按照以下步骤搭建环境：S2-1：烧录系统，下载系统Raspbian压缩文件，将解压后所获得的映像文件写入1张16G的SD卡中，将SD卡插入树莓派模块的TF卡槽中；S2-2：配置树莓派模块的Python和OpenCV，在树莓派模块开机后，更新相关的软件库，安装python3,下载OpenCV的压缩包至本地，解压后设置编译参数进行编译；S2-3：植入用于识别气孔的yolov3-tiny模型所对应的工程文件，将工程文件拷入到树莓派模块本地，包括运行主程序，yolov3-tiny模型和类别名称文件；其中，所述yolov3-tiny模型，在DarkNet53结构的基础上，只保留2个预测分支，并且，该yolov3-tiny模型所使用的神经网络结构由卷积层和池化层组合，并加入有残差结构，由所述残差结构进行层与层之间的跳跃连接。
可选的，如上任一所述的植物叶片气孔开闭状态的实时监测方法，其中，所述损失函数包括3部分：气孔的外接矩形所对应的坐标信息（x,y,w,h）的距离误差，气孔信息置信度的误差，还包括气孔开闭状态类别的分类误差。
可选的，如上任一所述的植物叶片气孔开闭状态的实时监测方法，其中，所述损失函数为
Figure 100002_DEST_PATH_IMAGE002
；其中，
Figure 100002_DEST_PATH_IMAGE004
；
表示置信度带来的损失；表示分类带来的损失；表示预测框xywh坐 标信息带来的损失；
Figure 100002_DEST_PATH_IMAGE012
表示协调系数置信度权重系数；2表示N×N个网格单元中的 总数；表示候选框的个数；表示交叉熵函数；表示无目标部分的权重系数；表示真实的类别；表示预测的类别；表示预测类别的概率；表示分类的 权重系数；表示真实的候选框的x坐标；表示预测的候选框的x坐标；表示真实的候 选框的y坐标；表示预测的候选框的y坐标；表示真实的候选框中心点的横坐标；表 示预测的候选框中心点的横坐标；hi表示真实的候选框中心点的纵坐标；
Figure DEST_PATH_IMAGE042
表示预测的候 选框中心点的纵坐标。
同时，为实现上述目的，本发明还提供一种植物叶片气孔开闭状态的实时监测系统，其包括：显微镜拍摄组件，其与显微镜固定连接，用于固定放置叶片，以及用于调节显微镜相对于叶片的角度；所述显微镜用于拍摄叶片表面的气孔，并向处理单元提供视频数据；计算存储组件，其内部存储有计算机程序指令，所述计算机程序指令在被执行时使得处理单元执行如权利要求1-7中任一项所述的方法；显示单元，其连接所述处理单元，用于显示显微镜所拍摄的视频数据以及处理单元根据视频数据中的叶片图像所获得的气孔个数和开闭状态的数据和标记。
可选的，如上任一所述的植物叶片气孔开闭状态的实时监测系统，其中，所述处理单元包括：树莓派模块、计算机、数字处理芯片中的任意一种或其组合。
可选的，如上任一所述的植物叶片气孔开闭状态的实时监测系统，其中，所述显微镜拍摄组件在拍摄过程中固定所述叶片与显微镜之间无相对移动。
有益效果
本发明将叶片固定在显微镜镜头前，通过显微镜获取叶片表面气孔的清晰图像，然后由树莓派模块调用训练好的yolov3-tiny模型对图像中的气孔进行实时的识别和检测。本发明能够根据叶片显微图像实时同步统计气孔个数，并自动进行气孔开闭状态的标记和显示。本发明能够实现对植物叶片气孔的无损动态实时监测，能够在不破坏取样的前提下，实现对气孔的快速准确实时监测。
进一步，本发明中的yolov3-tiny模型具体采用yolov3模型结构DarkNet53的精简版实现。本发明在DarkNet53结构的基础上，去掉了部分特征提取层，只保留了2个预测分支，能够有效提高模型的检测速度，实现检测结果的实时输出。本发明在yolov3-tiny模型的整个网络结构中主要使用了大量卷积层和池化层的组合，同时加入了一些残差结构，进行层与层之间的跳跃连接。由此，本发明可以将一批训练图片以张量的形式输入到神经网络中，经过特征提取层，生成N×N个gird cell，再通过预测层得到两个预测分支的结果张量。本发明能够在结果张量中保留数据结构，并保留不同通道之间的相互关系，以挖掘出数据内在的联系，保证识别效率和准确率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的植物叶片气孔开闭状态的实时监测系统的整体结构示意图；
图2是图1中监测系统进行检测的过程示意图；
图3是本发明的植物叶片气孔开闭状态的实时监测方法的步骤流程图；
图4是获取图3中气孔检测模型的生成流程示意图；
图5本发明中配置植物叶片气孔开闭状态的实时监测系统的步骤图；
图6为本发明实施例的yolov3-tiny网络结构流程图；‘
图7为本发明实施例中所获得的叶片气孔开闭状态的实时监测图像。
图中，3-显微镜，11-载物箱，12-显微镜拍摄组件，13-计算存储组件，14-显示单元。
具体实施方式
为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本发明中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。
本发明中所述的“内、外”的含义指的是相对于显微镜本身而言，由显微镜安装座指向显微镜内部的方向为内，反之为外；而非对本发明的装置机构的特定限定。
本发明中所述的“左、右”的含义指的是使用者正对显微镜拍摄组件时，横向移动轴中接近显微镜的一端即为左，接近垂直定位块的一端即为右，而非对本发明的装置机构的特定限定。
本发明中所述的“前、后”的含义指的是使用者正对显微镜拍摄组件时，纵向移动轴中接近显微镜的一端即为前，接近垂直定位块的一端即为后，而非对本发明的装置机构的特定限定。
本发明中所述的“上、下”的含义指的是使用者正对显微镜拍摄组件时，由底座指向垂直移动轴顶端的方向即为上，反之即为下，而非对本发明的装置机构的特定限定。
本发明中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。
图1为根据本发明的一种植物叶片气孔开闭状态的实时监测系统，其包括：载物箱11、显微镜拍摄组件12、计算存储组件13和显示单元14。其中的显微镜拍摄组件12可选择设于载物箱11里，显微镜拍摄组件12与计算存储组件13连接；该植物叶片气孔开闭状态的实时监测系统采用以下检测步骤，如图2，将植物置于载物箱1内，使之位于显微镜拍摄组件12的下方。使用显微镜拍摄组件12固定并通过显微镜3拍摄植物叶片；拍摄获取到气孔拍摄数据后，将所获得的气孔拍摄数据发送给计算存储组件13；计算存储组件13接收气孔拍摄数据，处理单元调用气孔检测模型，对显微镜拍摄组件12所得气孔拍摄数据的视频流逐帧进行目标检测，识别气孔的开闭状态，并统计开闭气孔的个数，然后在显示单元14中显示拍摄和检测的结果。
该种植物叶片气孔开闭状态的实时监测系统，能够实现对植物叶片气孔的无损动态实时监测，能够在不破坏取样的前提下，实现对气孔的快速准确实时监测。
该种植物叶片气孔开闭状态的实时监测系统中，如图4，气孔检测模型采用以下步骤生成：通过显微镜拍摄组件12获取植物气孔图像，然后将采集的植物气孔图像进行人工标注，制作成数据集，将数据集分为训练集和测试集，训练集的数据用于训练模型，使用深度学习YOLOv3算法，获得气孔检测模型；测试集的数据用于后期测定模型所需实现的性能的指标。
该种植物叶片气孔开闭状态的实时监测系统中，显微镜拍摄组件12可置于载物箱11内，将显微镜的拍摄组件与计算存储组件13连接，通过计算存储组件13实现对显微视频图像的存储以供处理单元进行识别。具体的，上述计算存储组件13包括壳体和开发板，开发板设于壳体内，开发板可通过图5所示的设定过程而连接显示器，实时展示测试结果。
该种植物叶片气孔开闭状态的实时监测系统，采用深度学习的图像处理技术，能实现气孔的自动识别及计数，具有较好的鲁棒性。结果表明，该算法建立的模型能够正确地识别出照片或视频的气孔，并能快速准确地估算出其气孔密度，这有利于提高科研人员的工作效率。
在一个实施方式中，以生产中常用品种扬麦16为例，本发明可通过图4所示的训练步骤获得准确模型进行气孔识别和统计。训练过程中，首先获取图片，选取使用盆栽种植的扬麦16，在该小麦的三个不同的生长时期分别通过便携显微镜进行拍照取样，分别获得三叶一心期，开花期和成熟期，一共获取900张图片。然后使用labelImg工具(也可以使用其他类似的开源标注工具)对照片进行标注，以生成标注文件。标注文件中能够将每张图片中的气孔用矩形标注出，矩形的大小可以设置为气孔最小的外接矩形以获得最佳识别标记效果。上述过程中，位于照片边缘的气孔可额外根据人工进行判断：当照片中拍摄到的气孔大小超过三分之二的则计入整体个数，否则不计入。将照片中的所有气孔标出后，保存标注文件，最后生成数据集。利用该标注文件记录照片里每个气孔矩形框的位置坐标及通道数等信息。上述过程中所获得的整个数据包括照片及其所对应标注文件。为获得针对植物气孔的YOLOv3-tiny模型，可以将整个数据集按照8:2的比例分为训练集和测试集，即，将80%的照片和其对应的标注文件放入训练集中，20%的照片和其对应的标注文件放入测试集中。利用上述训练集中的数据训练模型，而设置所述测试集的数据用于后期测定模型性能指标。
在树莓派模块、计算机、数字处理芯片等处理单元中按照图5的步骤部署YOLOv3模型：首先在计算存储组件13中搭建python的运行环境，安装opencv库，通过opencv调用便携式显微镜和YOLOv3模型，进行实时的目标检测。YOLOv3模型内置在计算存储组件13，通过该YOLOv3模型，可以识别便携显微镜拍摄组件12拍摄的视频流里每一帧图片里的气孔和气孔的开闭状态，同时统计出相应的个数，并对视频流信息和气孔状态信息进行存储以输出至显示单元14进行显示。
具体参考图3，上述系统所采用的基于yolov3-tiny和树莓派的气孔开闭动态识别方法，可通过如下的步骤实现：
S1：在实际实验环境下，植物叶片置于显微镜镜头下，调整角度和放大倍数，直至能清晰观察到气孔。
S2：将显微镜拍摄的数据发送至配置好的树莓派模块，树莓派模块将检测结果画面传送至显示器。
S3：树莓派模块调用yolov3-tiny模型算法，算法对所得拍摄数据的视频流进行每一帧目标检测，识别气孔的开闭状态，统计开闭气孔的个数，并将统计的信息打印在视频画面的左上角。
S4：算法输出两个文件：检测视频和文本日志。文本日志中记录日期，时间，开气孔的个数和关气孔的个数，用于进一步的科研分析：
其中，所述步骤2中，树莓派的环境搭建包括以下步骤：
S2-1：烧录系统，下载系统Raspbian压缩文件，将解压的映像文件写入1张16G的SD卡中，将SD卡插入树莓派TF卡槽中。
S2-2：配置Python和OpenCV，树莓派开机后，更新相关的软件库，安装python3,下载OpenCV的压缩包至本地，解压后设置编译参数进行编译。
S2-3：植入气孔识别yolov3-tiny算法工程文件，将算法的工程文件拷入到树莓派本地，包括运行主程序，yolov3-tiny模型和类别名称文件。
所述步骤3中，yolov3-tiny模型的训练包括以下步骤：
S3-1：制作数据集，选取生产常用品种扬麦16，使用盆栽种植，在植物的三个时期通过便携显微镜拍进行拍照取样，分别为：三叶一心期，开花期和成熟期。一共获取900张图片。然后进行人工标注，使用labelImg(一种开源标注工具)工具对照片进行标注，以生成标注文件。将每张图片中的气孔用矩形标注出，矩形的大小为气孔最小的外接矩形为最佳，位于照片边缘的气孔根据人工判断，气孔大小超过三分之二的则计入整体个数。将照片中的所有气孔标出后，保存标注文件，文件中记录照片里每个气孔矩形框的位置坐标及通道数等信息。最后生成数据集，整个数据包括照片及其所对应标注文件，将整个数据集分为训练集和测试集，比例为8:2，即将80%的照片和其对应的标注文件放入训练集中，20%的照片和其对应的标注文件放入测试集中，训练集的数据用于训练模型，测试集的数据用于后期测定模型性能的指标。
S3-2：所述yolov3-tiny模型，是yolov3模型结构DarkNet53的精简版，在DarkNet53结构的基础上，去掉了部分特征提取层，只保留了2个预测分支，提高了模型的检测速度。整个网络结构主要使用了类似图6所示的大量卷积层和池化层的组合，同时加入了一些残差结构，进行层与层之间的跳跃连接。将一批训练图片以张量的形式输入到神经网络中，经过特征提取层压缩成特征图后，生成N×N个gird cell网格单元，然后对每个girdcell网格单元的小图片分别进行分类预测，判断小图片里是否包含气孔，并对气孔进行坐标的回归预测，再通过预测层得到两个预测分支的结果，结果分别为[batch_size,13,13,21]和[batch_size,26,26,21]的张量，其中：
batch_size是每批图片的数量，
13×13和26×26是输出特征图的大小，
21是由公式计算出来的：3×(类别数+4+1)。3表示一个grid cell中包含3个候选框bounding box；类别数为2，即两个类：开气孔和闭气孔；4表示候选框bounding box的4个坐标信息（x,y,w,h），1为类别的置信度；
即，每个结果张量中分别包含预测目标的类别和候选框的位置信息。
S3-3：模型通过执行反向传播算法，最小化损失函数，不断地迭代更新，从而使预测值不断逼近真实值，完成对yolov3-tiny模型的训练。其中，模型的损失由3部分组成，
Figure 558488DEST_PATH_IMAGE002
，其中一个是坐标信息（x,y,w,h）的距离误差，一个是置信度的误差，一个是类别的分类误差，各误差公式分别为：
Figure DEST_PATH_IMAGE044
其中， ；
Figure 347452DEST_PATH_IMAGE006
表示置信度带来的损失，用于判断一个grid cell里是否有需要检测的物体；
Figure 308455DEST_PATH_IMAGE008
表示分类带来的损失，用于判断检测物体的类别；
Figure 831971DEST_PATH_IMAGE010
表示预测框xywh坐标信息带来的损失，用于对候选框bounding box的坐标（x,y,w,h）进行回归；
Figure DEST_PATH_IMAGE045
表示协调系数，表示无目标部分的权重系数，表示分类的 权重系数，可通过调节上述各项系数的权重大小相应表征对应项的重要程度，该项值越大， 这部分对损失函数的贡献越大，可以让网络向需要的方向训练；
Figure 492257DEST_PATH_IMAGE014
2表示N×N个网格单元中的总数；
Figure 752337DEST_PATH_IMAGE016
表示候选框 bounding box的个数；
Figure 627889DEST_PATH_IMAGE018
表示交叉熵函数，当第i个网格的第j个bounding box有某一个真实目标时，才会去计算损失函数；
Figure 410687DEST_PATH_IMAGE022
表示真实的类别；
Figure 713492DEST_PATH_IMAGE024
表示预测的类别；
Figure 195289DEST_PATH_IMAGE026
表示预测类别的概率，即，预测类别的置信度；
Figure 608953DEST_PATH_IMAGE030
表示真实的候选框的x坐标；
Figure 243328DEST_PATH_IMAGE032
表示预测的候选框的x坐标；
Figure 920297DEST_PATH_IMAGE034
表示真实的候选框的y坐标；
Figure 889390DEST_PATH_IMAGE036
表示预测的候选框的y坐标；
Figure 841165DEST_PATH_IMAGE038
表示真实的候选框中心点的横坐标；
Figure 844893DEST_PATH_IMAGE040
表示预测的候选框中心点的横坐标；
hi表示真实的候选框中心点的纵坐标；
Figure DEST_PATH_IMAGE042A
表示预测的候选框中心点的纵坐标；
这里用x和y代表候选框中心点的坐标，w和h代表候选框的长和框，通过这4个参数就可以确定候选框的位置和大小。
对于通过上述步骤S3-1至S3-3训练所获得的yolov3-tiny模型，其在识别叶片图像中的气孔时，可通过执行以下步骤201至步骤202获得相应的气孔数据：
步骤201，接收显微镜所拍摄的叶片图像，由yolov3-tiny模型中的特征提取层，获得N×N个网格单元，再通过预测层对所述网格单元进行目标分类，得到分别对应两个预测分支的结果张量，所述结果张量中包含预测目标的类别和候选框的位置信息；
步骤202，对所述结果张量所表征的预测结果进行非极大值抑制（NMS）的后处理步骤，只保留目标概率最高的候选框，删除多余的候选框，并返回候选框的坐标信息作为标记气孔位置的外接矩形在显示单元上进行显示，返回候选框的类别概率作为标记气孔开闭状态的数据在显示单元上进行显示。
由此，本发明通过将显微镜拍摄组件设于载物箱里，显微镜拍摄组件连接计算存储组件，计算存储组件连接显示单元；设置计算存储组件接收气孔拍摄数据，调用气孔检测模型，对显微镜拍摄组件所得气孔拍摄数据的视频流进行每一帧目标检测，识别气孔的开闭状态，并统计开闭气孔的个数，实现对植物叶片气孔的无损动态实时监测。本发明能够在不破坏取样的前提下，实现对气孔的快速准确实时监测。
本发明利用深度学习的网络结构进行特征提取，然后通过提取取来的特征直接回归出目标的类别和位置信息，再利用类别和位置信息相应的在显示单元上以图7中所示的图片标记的方式输出预测结果。
本发明所提供的自动识别气孔开闭的嵌入式系统能够动态拍摄植物叶片气孔视频图片，还能够实时检测气孔开闭的数目，省时省力，能够极大地提高科研效率。本发明的系统基于yolov3-tiny深度学习模型进行目标检测，训练了一个用于分类气孔开闭状态的卷积神经网络模型，相对于传统的人工计数的方法，既提高了科研得效率，也提高了计数的准确度。本发明所提供的植物叶片气孔开闭状态的实时监测方法能够在嵌入式平台树莓派3B+上稳定运行。
以上仅为本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。

Claims (10)

1.一种植物叶片气孔开闭状态的实时监测方法，其特征在于，步骤包括：
第一步，将叶片固定放置在显微镜（3）下，调节显微镜的角度和放大倍数至能够清晰拍摄到叶片表面的气孔；
第二步，对显微镜所拍摄的叶片图像调用yolov3-tiny模型，识别叶片图像中的气孔，统计气孔的个数，并检测各气孔的开闭状态；
第三步，将显微镜所拍摄的叶片图像以及yolov3-tiny模型所识别和检测到的气孔个数和开闭状态数据实时输出至显示单元（14）；
第四步，将第三步中显示单元（14）所显示的视频数据打包为检测视频文件，将气孔个数和开闭状态的数据打包为文本日志，并在文本日志中记录拍摄日期、时间、开气孔的个数和关气孔的个数，输出或存储所述视频数据以及所述文本日志。
2.如权利要求1所述的植物叶片气孔开闭状态的实时监测方法，其特征在于，所述yolov3-tiny模型由以下步骤训练而获得：
训练步骤1，将标记有气孔信息的训练图片逐张输入至yolov3-tiny模型，由yolov3-tiny模型中的特征提取层，获得N×N个网格单元，再通过预测层对所述网格单元进行目标分类，得到分别对应两个预测分支的结果张量，所述结果张量中包含预测目标的类别和候选框的位置信息；
训练步骤2，执行反向传播算法，以最小化损失函数为目标，反复对yolov3-tiny模型进行迭代更新，直至获得逼近训练图片中标记的结果张量，完成对yolov3-tiny模型的训练；
训练完成的所述yolov3-tiny模型在识别叶片图像中的气孔时，执行以下步骤201至步骤202：
步骤201，接收显微镜所拍摄的叶片图像，由yolov3-tiny模型中的特征提取层，获得N×N个网格单元，再通过预测层对所述网格单元进行目标分类，得到分别对应两个预测分支的结果张量，所述结果张量中包含预测目标的类别和候选框的位置信息；
步骤202，对所述结果张量进行非极大值抑制的后处理步骤，只保留目标概率最高的候选框，删除多余的候选框，并返回候选框的位置信息和类别概率。
3.如权利要求2所述的植物叶片气孔开闭状态的实时监测方法，其特征在于，标记有气孔信息的所述训练图片包括需要检测的植物品种分别至少在生长期、开花期和成熟期三个时期中通过显微镜所拍摄的叶片图像。
4.如权利要求3所述的植物叶片气孔开闭状态的实时监测方法，其特征在于，所述训练图片中的气孔信息通过labelImg工具标注为：对应训练图片中每一个气孔的外接矩形，其中，位于训练图片边缘的气孔仅在训练图片中至少拍摄到该气孔的三分之二时进行标注。
5.如权利要求1所述的植物叶片气孔开闭状态的实时监测方法，其特征在于，所述yolov3-tiny模型由树莓派模块调用，所述树莓派模块在调用yolov3-tiny模型前预先按照以下步骤搭建环境：
S2-1：烧录系统，下载系统Raspbian压缩文件，将解压后所获得的映像文件写入1张16G的SD卡中，将SD卡插入树莓派模块的TF卡槽中；
S2-2：配置树莓派模块的Python和OpenCV，在树莓派模块开机后，更新相关的软件库，安装python3,下载OpenCV的压缩包至本地，解压后设置编译参数进行编译；
S2-3：植入用于识别气孔的yolov3-tiny模型所对应的工程文件，将工程文件拷入到树莓派模块本地，包括运行主程序，yolov3-tiny模型和类别名称文件；
其中，所述yolov3-tiny模型，在DarkNet53结构的基础上，只保留2个预测分支，并且，该yolov3-tiny模型所使用的神经网络结构由卷积层和池化层组合，并加入有残差结构，由所述残差结构进行层与层之间的跳跃连接。
6.如权利要求2-4所述的植物叶片气孔开闭状态的实时监测方法，其特征在于，所述损失函数包括3部分：气孔的外接矩形所对应的坐标信息（x,y,w,h）的距离误差，气孔信息置信度的误差，还包括气孔开闭状态类别的分类误差。
7.如权利要求1-5所述的植物叶片气孔开闭状态的实时监测方法，其特征在于，所述损 失函数为
Figure DEST_PATH_IMAGE001
；
其中，
Figure DEST_PATH_IMAGE002
；
Figure DEST_PATH_IMAGE003
表示置信度带来的损失；
Figure DEST_PATH_IMAGE004
表示分类带来的损失；
Figure 909237DEST_PATH_IMAGE005
表示预测框xywh坐标信息带来的损失；
Figure DEST_PATH_IMAGE006
表示协调系数；
Figure 826378DEST_PATH_IMAGE007
2表示N×N个网格单元中的总数；
Figure DEST_PATH_IMAGE008
表示候选框的个数；
Figure 137273DEST_PATH_IMAGE009
表示交叉熵函数；
Figure DEST_PATH_IMAGE010
表示无目标部分的权重系数；
Figure 939007DEST_PATH_IMAGE011
表示真实的类别；
Figure DEST_PATH_IMAGE012
表示预测的类别；
Figure 284538DEST_PATH_IMAGE013
表示预测类别的概率；
Figure DEST_PATH_IMAGE014
表示分类的权重系数；
Figure 513525DEST_PATH_IMAGE015
表示真实的候选框的x坐标；
Figure DEST_PATH_IMAGE016
表示预测的候选框的x 坐标；
Figure 311717DEST_PATH_IMAGE017
表示真实的候选框的y坐标；
Figure DEST_PATH_IMAGE018
表示预测的候选框的y坐标；
Figure 415677DEST_PATH_IMAGE019
表示真实的候选框中心点的横坐标；
Figure DEST_PATH_IMAGE020
表示预测的候选框中心点的横坐标；
hi表示真实的候选框中心点的纵坐标；
Figure 615714DEST_PATH_IMAGE021
表示预测的候选框中心点的纵坐标。
8.一种植物叶片气孔开闭状态的实时监测系统，其特征在于，包括：
显微镜拍摄组件（12），其与显微镜（3）固定连接，用于固定放置叶片，以及用于调节显微镜相对于叶片的角度；
所述显微镜（3）用于拍摄叶片表面的气孔，并向处理单元提供视频数据；
计算存储组件（13），其内部存储有计算机程序指令，所述计算机程序指令在被执行时使得处理单元执行如权利要求1-7中任一项所述的方法；
显示单元（14），其连接所述处理单元，用于显示显微镜（3）所拍摄的视频数据以及处理单元根据视频数据中的叶片图像所获得的气孔个数和开闭状态的数据和标记。
9.如权利要求8所述的植物叶片气孔开闭状态的实时监测系统，其特征在于，所述处理单元包括：树莓派模块、计算机、数字处理芯片中的任意一种或其组合。
10.如权利要求8-9所述的植物叶片气孔开闭状态的实时监测系统，其特征在于，所述显微镜拍摄组件（12）在拍摄过程中固定所述叶片与显微镜（3）之间无相对移动。
CN202011071627.8A 2020-10-09 2020-10-09 一种植物叶片气孔开闭状态的实时监测系统及方法 Active CN112052836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011071627.8A CN112052836B (zh) 2020-10-09 2020-10-09 一种植物叶片气孔开闭状态的实时监测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011071627.8A CN112052836B (zh) 2020-10-09 2020-10-09 一种植物叶片气孔开闭状态的实时监测系统及方法

Publications (2)

Publication Number Publication Date
CN112052836A true CN112052836A (zh) 2020-12-08
CN112052836B CN112052836B (zh) 2024-01-26

Family

ID=73606360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011071627.8A Active CN112052836B (zh) 2020-10-09 2020-10-09 一种植物叶片气孔开闭状态的实时监测系统及方法

Country Status (1)

Country Link
CN (1) CN112052836B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112617850A (zh) * 2021-01-04 2021-04-09 苏州大学 心电信号的早搏心拍检测方法
CN112950700A (zh) * 2021-02-25 2021-06-11 安徽农业大学 基于深度学习和图像处理的植物叶片气孔导度测量方法
CN114913523A (zh) * 2022-05-30 2022-08-16 河南大学 基于yolox的植物气孔多功能实时智能识别系统
CN115063453A (zh) * 2022-06-24 2022-09-16 南京农业大学 植物叶片气孔个体行为检测分析方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3507742A1 (en) * 2016-09-05 2019-07-10 Mycrops Technologies Ltd. A system and method for characterization of cannabaceae plants
CN110569747A (zh) * 2019-08-20 2019-12-13 南京农业大学 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法
CN111540006A (zh) * 2020-04-26 2020-08-14 河南大学 基于深度迁移学习的植物气孔智能检测与识别方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3507742A1 (en) * 2016-09-05 2019-07-10 Mycrops Technologies Ltd. A system and method for characterization of cannabaceae plants
CN110569747A (zh) * 2019-08-20 2019-12-13 南京农业大学 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法
CN111540006A (zh) * 2020-04-26 2020-08-14 河南大学 基于深度迁移学习的植物气孔智能检测与识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙壮壮 等: "单子叶作物叶片气孔自动识别与计数技术", 《农业工程学报》, vol. 35, no. 23, pages 170 - 176 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112617850A (zh) * 2021-01-04 2021-04-09 苏州大学 心电信号的早搏心拍检测方法
CN112617850B (zh) * 2021-01-04 2022-08-30 苏州大学 心电信号的早搏心拍检测系统
CN112950700A (zh) * 2021-02-25 2021-06-11 安徽农业大学 基于深度学习和图像处理的植物叶片气孔导度测量方法
CN112950700B (zh) * 2021-02-25 2022-10-04 安徽农业大学 基于深度学习和图像处理的植物叶片气孔导度测量方法
CN114913523A (zh) * 2022-05-30 2022-08-16 河南大学 基于yolox的植物气孔多功能实时智能识别系统
CN114913523B (zh) * 2022-05-30 2024-02-20 河南大学 基于yolox的植物气孔多功能实时智能识别系统
CN115063453A (zh) * 2022-06-24 2022-09-16 南京农业大学 植物叶片气孔个体行为检测分析方法、系统及存储介质
CN115063453B (zh) * 2022-06-24 2023-08-29 南京农业大学 植物叶片气孔个体行为检测分析方法、系统及存储介质

Also Published As

Publication number Publication date
CN112052836B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN112052836B (zh) 一种植物叶片气孔开闭状态的实时监测系统及方法
CN111401418A (zh) 一种基于改进Faster r-cnn的员工着装规范检测方法
CN112508955B (zh) 基于深度神经网络对活体细胞形态检测的方法及相关产品
CN110223349A (zh) 一种采摘点定位方法
CN111476280A (zh) 植物叶片识别方法及系统
CN112215801A (zh) 一种基于深度学习和机器学习的病理图像分类方法及系统
CN112949517B (zh) 基于深度迁移学习的植物气孔密度和开度识别方法及系统
CN109472801A (zh) 一种用于多尺度的神经形态检测和分割方法
CN108664970A (zh) 一种快速目标检测方法、电子设备、存储介质及系统
CN111340096A (zh) 一种基于对抗互补学习的弱监督蝴蝶目标检测方法
CN113128335A (zh) 微体古生物化石图像检测、分类及发现方法、系统及应用
Aristoteles et al. Identification of human sperm based on morphology using the you only look once version 4 algorithm
CN117576195A (zh) 一种植物叶片形态识别方法
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN113327253A (zh) 一种基于星载红外遥感影像的弱小目标检测方法
CN117392104A (zh) 一种基于深度学习的计算机视觉水稻质量测定方法
CN112132137A (zh) 一种基于FCN-SPP-Focal Net的抽象画图像正确方向的识别方法
CN115601675A (zh) 一种基于Swin-transformer与yolov5模型集成的手术器械清点方法
CN112001290B (zh) 一种基于yolo算法的稻飞虱迁飞路径预测方法
CN113947715A (zh) 一种套袋方法、装置、存储介质和电子设备
CN109558791B (zh) 一种基于图像识别的寻笋装置及方法
CN112200803A (zh) 精子核蛋白成熟度检测方法及装置
CN114612898B (zh) 一种基于YOLOv5网络的荔枝蒂蛀虫羽化率检测方法
CN117765400A (zh) 多方位回归的花生叶片气孔实时无损智能检测方法及系统
CN115639194A (zh) 一种便携式田间玉米叶片气孔检测设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant