CN112861693B - 基于深度学习的植物叶片显微图像气孔分割方法 - Google Patents

基于深度学习的植物叶片显微图像气孔分割方法 Download PDF

Info

Publication number
CN112861693B
CN112861693B CN202110142547.5A CN202110142547A CN112861693B CN 112861693 B CN112861693 B CN 112861693B CN 202110142547 A CN202110142547 A CN 202110142547A CN 112861693 B CN112861693 B CN 112861693B
Authority
CN
China
Prior art keywords
image
calculating
pore
pixel
plant leaf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110142547.5A
Other languages
English (en)
Other versions
CN112861693A (zh
Inventor
黄建平
李飞
李君禹
李克新
宋文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Forestry University
Original Assignee
Northeast Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Forestry University filed Critical Northeast Forestry University
Priority to CN202110142547.5A priority Critical patent/CN112861693B/zh
Publication of CN112861693A publication Critical patent/CN112861693A/zh
Application granted granted Critical
Publication of CN112861693B publication Critical patent/CN112861693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明基于深度学习的植物叶片显微图像气孔分割方法属于数字图像处理技术领域；该基于深度学习的植物叶片显微图像气孔分割方法包括以下步骤：步骤a、获取气孔样本数据集；步骤b、构建并训练基于深度学习的植物叶片显微图像气孔分割模型；步骤c、计算植物叶片气孔特征参数；本发明基于深度学习的植物叶片显微图像气孔分割方法能够提高气孔定位和特征参数计算准确性，满足快速、高通量植物叶片显微图像气孔分析的实际需要。

Description

基于深度学习的植物叶片显微图像气孔分割方法
技术领域
本发明基于深度学习的植物叶片显微图像气孔分割方法属于数字图像处理技术领域。
背景技术
植物的气孔是植物表皮的特殊结构，主要位于植物叶片的表面，是植物与外界大气环境之间进行气体交换的通道。研究表明，气孔组织对多种环境因子(如光照、温度等)的变化极为敏感，决定着植物的光合、呼吸、蒸腾作用等重要植物生理过程。气孔特征和气孔行为由植物的物种和生态因子的综合作用决定。气孔特征参数计算的准确性对于定量评价各生态因子对叶片气孔的影响、建立植株叶表气孔行为与生态因子间的关系模型至关重要。
传统的植物叶片气孔特征的测定主要依赖于人工视觉进行观察，劳动强度大，工作效率低，且受人为主观因素影响较大，已无法满足日益增长的高通量表型组学研究的实际需要。随着计算机和数字图像处理技术的发展，计算机视觉技术在植物学和表型组学研究领域得到了广泛的关注。文章《吴晓东,马书荣,and吴跃成,"裂叶沙参气孔特征计算机视觉识别系统的研究,"齐齐哈尔大学学报,no.04,pp.6-9,1999》提出一种基于计算机视觉技术的叶片气孔特征识别系统，实现了对叶片气孔形态的测量。文章《G.A.Martins,A.M.Soares,J.P.R.Alves Delfino Barbosa,J.M.de Mello,E.M.de Castro,andA.C.Ferraz,Jr.,"Stomatal density distribution patterns in leaves of theJatoba(Hymenaea courbaril L.),"Trees-Structure and Function,vol.26,no.2,pp.571-579,Apr 2012.》借助于计算机软件UTHSCSA图像处理工具实现气孔的特征参数的计算。文章《S.Vialet-Chabrand and O.Brendel,"Automatic measurement of stomataldensity from microphotographs,"Trees-Structure and Function,vol.28,no.6,pp.1859-1865,Dec2014.》提出一种基于级联分类器的扫描电镜显微图像的气孔自动检测方法。文章《H.Jayakody,S.Liu,M.Whitty,and P.Petrie,"Microscope image basedfully automated stomata detection and pore measurement method forgrapevines,"Plant Methods,vol.13,Nov 8 2017,Art.no.94.》提出了一种级联目标检测器的气孔检测和孔隙分割方法。该方法训练一个级联分类器，采用滑窗操作遍历整个气孔图像的所有区域，得到一幅气孔图片中的所有气孔。文章《Y.Toda,S.Toh,G.Bourdais,S.Robatzek,D.Maclean,and T.Kinoshita,"DeepStomata:Facial RecognitionTechnology for Automated Stomatal Aperture Measurement,"bioRxiv,p.365098,2018.》采用梯度方向直方图提取植物气孔图像特征，利用CNN(Convolutional NeuralNetwork卷积神经网络)对候选区域进行分类，从而获得气孔的位置。文章《K.C.Fetter,S.Eberhardt,R.S.Barclay,S.Wing,and S.R.Keller,"StomataCounter:a neuralnetwork for automatic stomata identification and counting,"The Newphytologist,2019-May-06 2019.》提出一种基于深度神经网络的植物气孔检测方法。专利《杨晓慧,郗梓钧,李结平,朱晓红,and宋纯鹏,"基于深度迁移学习的植物气孔智能检测与识别方法及系统,"Patent CN111540006A,2020》公开了一种基于深度迁移学习的植物气孔智能检测与识别方法及系统。该系统采用迁移学习，结合YOLOv3网络结构构建光学显微镜图像气孔检测模型。但该方法只能获得气孔的位置，无法对气孔特征进行定量评价。专利《袁晓辉,李东野,and朱传承,"一种基于显微图像的禾本科植物叶片气孔指数测量方法,"Patent CN111860459A,2020》公开了一种基于显微图像的禾本科植物叶片气孔指数测量方法。该方法采用深度学习目标检测算法Faster R-CNN检测气孔，利用深度学习语义分割算法U-Net训练细胞网络预测模型，最终实现气孔指数的计算。然而，该方法需要同时训练两个深度卷积神经网络，训练耗时且气孔检测模型的性能影响了整个方法的结果。
发明内容
为了解决现有技术的不足，本发明提出一种基于深度学习的植物叶片显微图像气孔分割方法，该方法训练一个基于卷积神经网络的语义分割模型，采用形态学处理获得气孔位置，进而计算气孔特征参数，具有自动化程度高、准确、高效等特点。
本发明的目的是这样实现的：
基于深度学习的植物叶片显微图像气孔分割方法，包括以下步骤：
步骤a、获取气孔样本数据集；
步骤b、构建并训练基于深度学习的植物叶片显微图像气孔分割模型；
步骤c、计算植物叶片气孔特征参数。
上述基于深度学习的植物叶片显微图像气孔分割方法，步骤a的具体步骤如下：
步骤a1、将待测量植物叶片置于光学显微镜载物台上，调节显微镜焦距和放大倍数，获取该焦距下的叶片显微图像；
步骤a2、在500或1000放大倍数下，采用显微镜自带的深度合成功能，对多张不同焦距的图像进行融合，得到一幅清晰的叶片显微图像；
步骤a3、利用人工标注方式对气孔和保卫细胞进行像素级标注，获得气孔样本数据集。
上述基于深度学习的植物叶片显微图像气孔分割方法，步骤b的具体步骤如下：
步骤b1、将气孔样本数据集按照比例A1:A2:A3划分为训练集D1、验证集D2和测试集D3；
步骤b2、基于深度学习的语义分割网络，构建植物叶片显微图像气孔分割模型；所述语义分割算法为DeepLab V3+算法；DeepLab V3+算法中特征提取网络采用Resnet50网络；
步骤b3、对训练集D1进行数据增强处理，所述数据增强处理包括随机旋转和翻转；
步骤b4、采用步骤b3得到的增强结果对气孔分割模型进行训练，计算每次迭代的网络模型的损失函数值，得到训练后的网络模型；所述损失函数采用基于Tversky指数的广义损失函数Tversky loss；
步骤b5、利用验证集D2对训练后的网络模型进行验证，并根据步骤b3得到的增强结果和步骤b4得到的损失函数值调整气孔分割模型超参数；
步骤b6、依次迭代，直到损失函数值收敛，即损失函数值最小且不再变化，保存当前模型作为最终模型。
进一步地，A1:A2:A3＝3:1:1。
上述基于深度学习的植物叶片显微图像气孔分割方法，步骤c的具体步骤如下：
步骤c1、气孔分割模型输出待测植物叶片显微图像的预测结果图像IP(x,y)，IP(x,y)中的每个像素位置的取值包含三个值，分别代表：气孔孔隙像素、保卫细胞像素和背景像素；
步骤c2、将预测结果进行二值化，得到两幅二值图像，一幅由背景像素和气孔孔隙像素组成，表示为I1(x,y)；另一幅由背景像素和保卫细胞像素组成，表示为I2(x,y)；
步骤c3、采用形态学开和闭操作去除图像I2(x,y)中面积小于S的区域；S的取值根据植物叶片显微图像中气孔的大小进行选择；
步骤c4、采用形态学二值图像连通区域搜索方法计算图像I2(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
步骤c5、采用形态学二值图像连通区域搜索方法计算图像I1(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
步骤c6、统计图像I2(x,y)中矩形的个数，即为该图像上气孔的数量Ni，其中i为图像编号，第一幅图像i＝1；
步骤c7、统计图像I1(x,y)中矩形的个数，即为该图像上开放气孔的数量Mi，其中i为图像编号，第一幅图像i＝1；
步骤c8、计算n幅二值图像I2(x,y)中的气孔数量的总数
Figure BDA0002929444950000031
根据每幅图像光学显微镜的视野面积SFOV，单位：mm2，计算气孔密度RSD，计算方法为：
Figure BDA0002929444950000032
步骤c9、计算每幅二值图像I2(x,y)中每个气孔保卫细胞的面积Ci，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I2(x,y)中气孔保卫细胞平均大小SC，计算方法为：
Figure BDA0002929444950000041
步骤c10、计算每幅二值图像I1(x,y)中每个气孔孔隙的面积Pi，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I1(x,y)中气孔保卫细胞平均大小SP，计算方法为：
Figure BDA0002929444950000042
气孔样本数据集获取方法，包括以下步骤：
步骤a1、将待测量植物叶片置于光学显微镜载物台上，调节显微镜焦距和放大倍数，获取该焦距下的叶片显微图像；
步骤a2、在500或1000放大倍数下，采用显微镜自带的深度合成功能，对多张不同焦距的图像进行融合，得到一幅清晰的叶片显微图像；
步骤a3、利用人工标注方式对气孔和保卫细胞进行像素级标注，获得气孔样本数据集。
基于深度学习的植物叶片显微图像气孔分割模型的训练方法，包括以下步骤：
步骤b1、将气孔样本数据集按照比例A1:A2:A3划分为训练集D1、验证集D2和测试集D3；
步骤b2、基于深度学习的语义分割网络，构建植物叶片显微图像气孔分割模型；所述语义分割算法为DeepLab V3+算法；DeepLab V3+算法中特征提取网络采用Resnet50网络；
步骤b3、对训练集D1进行数据增强处理，所述数据增强处理包括随机旋转和翻转；
步骤b4、采用步骤b3得到的增强结果对气孔分割模型进行训练，计算每次迭代的网络模型的损失函数值，得到训练后的网络模型；所述损失函数采用基于Tversky指数的广义损失函数Tversky loss；
步骤b5、利用验证集D2对训练后的网络模型进行验证，并根据步骤b3得到的增强结果和步骤b4得到的损失函数值调整气孔分割模型超参数；
步骤b6、依次迭代，直到损失函数值收敛，即损失函数值最小且不再变化，保存当前模型作为最终模型。
进一步地，A1:A2:A3＝3:1:1。
植物叶片气孔特征参数计算方法，包括以下步骤：
步骤c1、气孔分割模型输出待测植物叶片显微图像的预测结果图像IP(x,y)，IP(x,y)中的每个像素位置的取值包含三个值，分别代表：气孔孔隙像素、保卫细胞像素和背景像素；
步骤c2、将预测结果进行二值化，得到两幅二值图像，一幅由背景像素和气孔孔隙像素组成，表示为I1(x,y)；另一幅由背景像素和保卫细胞像素组成，表示为I2(x,y)；
步骤c3、采用形态学开和闭操作去除图像I2(x,y)中面积小于S的区域；S的取值根据植物叶片显微图像中气孔的大小进行选择；
步骤c4、采用形态学二值图像连通区域搜索方法计算图像I2(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
步骤c5、采用形态学二值图像连通区域搜索方法计算图像I1(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
步骤c6、统计图像I2(x,y)中矩形的个数，即为该图像上气孔的数量Ni，其中i为图像编号，第一幅图像i＝1；
步骤c7、统计图像I1(x,y)中矩形的个数，即为该图像上开放气孔的数量Mi，其中i为图像编号，第一幅图像i＝1；
步骤c8、计算n幅二值图像I2(x,y)中的气孔数量的总数
Figure BDA0002929444950000051
根据每幅图像光学显微镜的视野面积SFOV，单位：mm2，计算气孔密度RSD，计算方法为：
Figure BDA0002929444950000052
步骤c9、计算每幅二值图像I2(x,y)中每个气孔保卫细胞的面积Ci，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I2(x,y)中气孔保卫细胞平均大小SC，计算方法为：
Figure BDA0002929444950000053
步骤c10、计算每幅二值图像I1(x,y)中每个气孔孔隙的面积Pi，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I1(x,y)中气孔保卫细胞平均大小SP，计算方法为：
Figure BDA0002929444950000061
有益效果：
本发明提出了一种基于深度学习的植物叶片显微图像气孔分割方法，该方法结合深度学系和数字图像处理技术来处理植物叶片显微图像的气孔特征，实现了显微图像气孔分析的自动化、高通量、准确分析，为细胞尺度下的表型组学研究提供技术手段。本发明基于深度学习语义分割网络，实现了气孔保卫细胞和孔隙的准确分割，依据分割结果，采用数字图像处理技术，同时实现了植物叶片显微图像中气孔的定位和特征参数的计算，可获得植物叶片的气孔密度、保卫细胞和气孔开度的大小，有效解决了现有的人工测量或半自动分析方法存在的耗时费力、主观性强、效率不高的技术问题，满足快速、高通量植物叶片显微图像气孔分析的实际需要。
附图说明
图1是本发明基于深度学习的植物叶片显微图像气孔分割方法的流程图。
图2是本发明气孔样本数据集获取方法的流程图。
图3是本发明基于深度学习的植物叶片显微图像气孔分割模型的训练方法的流程图。
图4是本发明植物叶片气孔特征参数计算方法的流程图。
图5为获取的杨树叶片的光学显微图像。
图6为杨树叶片的光学显微图像的气孔分割结果示意图(显示原图)。
图7为杨树叶片的光学显微图像的气孔分割结果示意图(二值图像，保卫细胞)。
图8为杨树叶片的光学显微图像的气孔分割结果示意图(二值图像，气孔孔隙)。
图9为杨树叶片的光学显微图像的保卫细胞计数和面积计算结果示意图。
图10为杨树叶片的光学显微图像的气孔孔隙计数和面积计算结果示意图。
具体实施方式
下面结合附图对本发明具体实施方式作进一步详细描述。
具体实施方式一
以下是本发明基于深度学习的植物叶片显微图像气孔分割方法的具体实施方式。
本实施方式下的基于深度学习的植物叶片显微图像气孔分割方法，流程图如图1所示，该方法包括以下步骤：
步骤a、获取气孔样本数据集；
步骤b、构建并训练基于深度学习的植物叶片显微图像气孔分割模型；
步骤c、计算植物叶片气孔特征参数。
具体实施方式二
以下是本发明基于深度学习的植物叶片显微图像气孔分割方法的具体实施方式。
本实施方式下的基于深度学习的植物叶片显微图像气孔分割方法，在具体实施方式一的基础上，进一步限定步骤a的具体步骤如下：
步骤a1、将待测量植物叶片置于光学显微镜载物台上，调节显微镜焦距和放大倍数，获取该焦距下的叶片显微图像；
步骤a2、在500或1000放大倍数下，采用显微镜自带的深度合成功能，对多张不同焦距的图像进行融合，得到一幅清晰的叶片显微图像；
步骤a3、利用人工标注方式对气孔和保卫细胞进行像素级标注，获得气孔样本数据集。
步骤a的流程图如图2所示。
具体实施方式三
以下是本发明基于深度学习的植物叶片显微图像气孔分割方法的具体实施方式。
本实施方式下的基于深度学习的植物叶片显微图像气孔分割方法，在具体实施方式一的基础上，进一步限定步骤b的具体步骤如下：
步骤b1、将气孔样本数据集按照比例A1:A2:A3划分为训练集D1、验证集D2和测试集D3；
步骤b2、基于深度学习的语义分割网络，构建植物叶片显微图像气孔分割模型；所述语义分割算法为DeepLab V3+算法；DeepLab V3+算法中特征提取网络采用Resnet50网络；
步骤b3、对训练集D1进行数据增强处理，所述数据增强处理包括随机旋转和翻转；
步骤b4、采用步骤b3得到的增强结果对气孔分割模型进行训练，计算每次迭代的网络模型的损失函数值，得到训练后的网络模型；所述损失函数采用基于Tversky指数的广义损失函数Tversky loss；
步骤b5、利用验证集D2对训练后的网络模型进行验证，并根据步骤b3得到的增强结果和步骤b4得到的损失函数值调整气孔分割模型超参数；
步骤b6、依次迭代，直到损失函数值收敛，即损失函数值最小且不再变化，保存当前模型作为最终模型。
步骤b的流程图如图3所示。
具体实施方式四
以下是本发明基于深度学习的植物叶片显微图像气孔分割方法的具体实施方式。
本实施方式下的基于深度学习的植物叶片显微图像气孔分割方法，在具体实施方式四的基础上，进一步限定，A1:A2:A3＝3:1:1。
具体实施方式五
以下是本发明基于深度学习的植物叶片显微图像气孔分割方法的具体实施方式。
本实施方式下的基于深度学习的植物叶片显微图像气孔分割方法，在具体实施方式一的基础上，进一步限定步骤c的具体步骤如下：
步骤c1、气孔分割模型输出待测植物叶片显微图像的预测结果图像IP(x,y)，IP(x,y)中的每个像素位置的取值包含三个值，分别代表：气孔孔隙像素、保卫细胞像素和背景像素；
步骤c2、将预测结果进行二值化，得到两幅二值图像，一幅由背景像素和气孔孔隙像素组成，表示为I1(x,y)；另一幅由背景像素和保卫细胞像素组成，表示为I2(x,y)；
步骤c3、采用形态学开和闭操作去除图像I2(x,y)中面积小于S的区域；S的取值根据植物叶片显微图像中气孔的大小进行选择；
步骤c4、采用形态学二值图像连通区域搜索方法计算图像I2(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
步骤c5、采用形态学二值图像连通区域搜索方法计算图像I1(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
步骤c6、统计图像I2(x,y)中矩形的个数，即为该图像上气孔的数量Ni，其中i为图像编号，第一幅图像i＝1；
步骤c7、统计图像I1(x,y)中矩形的个数，即为该图像上开放气孔的数量Mi，其中i为图像编号，第一幅图像i＝1；
步骤c8、计算n幅二值图像I2(x,y)中的气孔数量的总数
Figure BDA0002929444950000081
根据每幅图像光学显微镜的视野面积SFOV，单位：mm2，计算气孔密度RSD，计算方法为：
Figure BDA0002929444950000082
步骤c9、计算每幅二值图像I2(x,y)中每个气孔保卫细胞的面积Ci，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I2(x,y)中气孔保卫细胞平均大小SC，计算方法为：
Figure BDA0002929444950000091
步骤c10、计算每幅二值图像I1(x,y)中每个气孔孔隙的面积Pi，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I1(x,y)中气孔保卫细胞平均大小SP，计算方法为：
Figure BDA0002929444950000092
步骤c的流程图如图4所示。
具体实施方式六
以下是本发明气孔样本数据集获取方法的具体实施方式。
本实施方式下的气孔样本数据集获取方法，流程图如图2所示，包括以下步骤：
步骤a1、将待测量植物叶片置于光学显微镜载物台上，调节显微镜焦距和放大倍数，获取该焦距下的叶片显微图像；
步骤a2、在500或1000放大倍数下，采用显微镜自带的深度合成功能，对多张不同焦距的图像进行融合，得到一幅清晰的叶片显微图像；
步骤a3、利用人工标注方式对气孔和保卫细胞进行像素级标注，获得气孔样本数据集。
具体实施方式七
以下是本发明基于深度学习的植物叶片显微图像气孔分割模型的训练方法的具体实施方式。
本实施方式下的基于深度学习的植物叶片显微图像气孔分割模型的训练方法，流程图如图3所示，包括以下步骤：
步骤b1、将气孔样本数据集按照比例A1:A2:A3划分为训练集D1、验证集D2和测试集D3；
步骤b2、基于深度学习的语义分割网络，构建植物叶片显微图像气孔分割模型；所述语义分割算法为DeepLab V3+算法；DeepLab V3+算法中特征提取网络采用Resnet50网络；
步骤b3、对训练集D1进行数据增强处理，所述数据增强处理包括随机旋转和翻转；
步骤b4、采用步骤b3得到的增强结果对气孔分割模型进行训练，计算每次迭代的网络模型的损失函数值，得到训练后的网络模型；所述损失函数采用基于Tversky指数的广义损失函数Tversky loss；
步骤b5、利用验证集D2对训练后的网络模型进行验证，并根据步骤b3得到的增强结果和步骤b4得到的损失函数值调整气孔分割模型超参数；
步骤b6、依次迭代，直到损失函数值收敛，即损失函数值最小且不再变化，保存当前模型作为最终模型。
具体实施方式八
以下是本发明基于深度学习的植物叶片显微图像气孔分割模型的训练方法的具体实施方式。
本实施方式下的基于深度学习的植物叶片显微图像气孔分割方法，在具体实施方式七的基础上，进一步限定：A1:A2:A3＝3:1:1。
具体实施方式九
以下是本发明植物叶片气孔特征参数计算方法的具体实施方式。
本实施方式下的植物叶片气孔特征参数计算方法，流程图如图4所示，包括以下步骤：
步骤c1、气孔分割模型输出待测植物叶片显微图像的预测结果图像IP(x,y)，IP(x,y)中的每个像素位置的取值包含三个值，分别代表：气孔孔隙像素、保卫细胞像素和背景像素；
步骤c2、将预测结果进行二值化，得到两幅二值图像，一幅由背景像素和气孔孔隙像素组成，表示为I1(x,y)；另一幅由背景像素和保卫细胞像素组成，表示为I2(x,y)；
步骤c3、采用形态学开和闭操作去除图像I2(x,y)中面积小于S的区域；S的取值根据植物叶片显微图像中气孔的大小进行选择；
步骤c4、采用形态学二值图像连通区域搜索方法计算图像I2(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
步骤c5、采用形态学二值图像连通区域搜索方法计算图像I1(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
步骤c6、统计图像I2(x,y)中矩形的个数，即为该图像上气孔的数量Ni，其中i为图像编号，第一幅图像i＝1；
步骤c7、统计图像I1(x,y)中矩形的个数，即为该图像上开放气孔的数量Mi，其中i为图像编号，第一幅图像i＝1；
步骤c8、计算n幅二值图像I2(x,y)中的气孔数量的总数
Figure BDA0002929444950000111
根据每幅图像光学显微镜的视野面积SFOV，单位：mm2，计算气孔密度RSD，计算方法为：
Figure BDA0002929444950000112
步骤c9、计算每幅二值图像I2(x,y)中每个气孔保卫细胞的面积Ci，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I2(x,y)中气孔保卫细胞平均大小SC，计算方法为：
Figure BDA0002929444950000113
步骤c10、计算每幅二值图像I1(x,y)中每个气孔孔隙的面积Pi，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I1(x,y)中气孔保卫细胞平均大小SP，计算方法为：
Figure BDA0002929444950000114
具体实施方式十
以下是本发明基于深度学习的植物叶片显微图像气孔分割方法的具体实施方式。
本实施方式下的基于深度学习的植物叶片显微图像气孔分割方法，流程图如图1所示，该方法包括以下步骤：
步骤a、获取气孔样本数据集，流程图如图2所示，具体为：
步骤a1、将待测量植物叶片置于光学显微镜载物台上，调节显微镜焦距和放大倍数，获取该焦距下的叶片显微图像；
步骤a2、在500或1000放大倍数下，采用显微镜自带的深度合成功能，对多张不同焦距的图像进行融合，得到一幅清晰的叶片显微图像，如图5所示；
步骤a3、利用人工标注方式对气孔和保卫细胞进行像素级标注，获得气孔样本数据集；
步骤b、构建并训练基于深度学习的植物叶片显微图像气孔分割模型，流程图如图3所示，具体为：
步骤b1、将气孔样本数据集按照比例A1:A2:A3划分为训练集D1、验证集D2和测试集D3；
步骤b2、基于深度学习的语义分割网络，构建植物叶片显微图像气孔分割模型；所述语义分割算法为DeepLab V3+算法；DeepLab V3+算法中特征提取网络采用Resnet50网络；
所述语义分割算法为DeepLab V3+算法(参考论文：L.-C.Chen,Y.Zhu,G.Papandreou,F.Schroff,and H.Adam,Encoder-Decoder with Atrous SeparableConvolution for Semantic Image Segmentation,Computer Vision–ECCV 2018,Cham,2018,pp.833-851.)；DeepLab V3+算法中所采用的特征提取网络为Resnet50网络(参见论文：K.He,X.Zhang,S.Ren,and J.Sun,Deep Residual Learning for Image Recognition,the IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2016,pp.770-778.)；
步骤b3、对训练集D1进行数据增强处理，所述数据增强处理包括随机旋转和翻转；
步骤b4、采用步骤b3得到的增强结果对气孔分割模型进行训练，计算每次迭代的网络模型的损失函数值，得到训练后的网络模型；所述损失函数采用基于Tversky指数的广义损失函数Tversky loss；
所述损失函数采用基于Tversky指数的广义损失函数Tversky loss.(参见论文：S.S.M.Salehi,D.Erdogmus,and A.Gholipour,Tversky Loss Function for ImageSegmentation Using 3D Fully Convolutional Deep Networks,Machine Learning inMedical Imaging,Cham,2017,pp.379-387.)
步骤b5、利用验证集D2对训练后的网络模型进行验证，并根据步骤b3得到的增强结果和步骤b4得到的损失函数值调整气孔分割模型超参数；
步骤b6、依次迭代，直到损失函数值收敛，即损失函数值最小且不再变化，保存当前模型作为最终模型；
步骤c、计算植物叶片气孔特征参数，流程图如图4所示，具体为：
步骤c1、气孔分割模型输出待测植物叶片显微图像的预测结果图像IP(x,y)，IP(x,y)中的每个像素位置的取值包含三个值，分别代表：气孔孔隙像素、保卫细胞像素和背景像素；
Figure BDA0002929444950000121
其中，Pore表示气孔孔隙，Cell表示保卫细胞，Backgound表示背景，x,y为图像坐标；
图5植物叶片光学显微图像的模型输出预测结果图像如图6所示，其中气孔孔隙像素用红色表示，保卫细胞像素用蓝色表示，背景像素用绿色表示；
步骤c2、将预测结果进行二值化，得到两幅二值图像，一幅由背景像素和气孔孔隙像素组成，表示为I1(x,y)；另一幅由背景像素和保卫细胞像素组成，表示为I2(x,y)；
所述二值化操作如下所示：
Figure BDA0002929444950000131
Figure BDA0002929444950000132
预测结果图6进行二值化后的结果图I1(x,y)和I2(x,y)分别如图7和图8所示；
步骤c3、采用形态学开和闭操作去除图像I2(x,y)中面积小于S的区域；S的取值根据植物叶片显微图像中气孔的大小进行选择；
步骤c4、采用形态学二值图像连通区域搜索方法计算图像I2(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
所述闭合连通区域搜索方法中连通区域选择4连通或8连通；
所述最小外接矩形用四个参数表示，分别为该最小外接矩形的左上角坐标(x,y)、矩形的长w和宽h；
按照步骤3.4得到图4的所有闭合连通区域和最小外接矩形，如图9所示；
步骤c5、采用形态学二值图像连通区域搜索方法计算图像I1(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
所述闭合连通区域搜索方法中连通区域选择4连通或8连通；
所述最小外接矩形用四个参数表示，分别为该最小外接矩形的左上角坐标(x,y)、矩形的长w和宽h；
按照步骤3.5得到图5的所有闭合连通区域和最小外接矩形，如图10所示；
步骤c6、统计图像I2(x,y)中矩形的个数，即为该图像上气孔的数量Ni，其中i为图像编号，第一幅图像i＝1；
步骤c7、统计图像I1(x,y)中矩形的个数，即为该图像上开放气孔的数量Mi，其中i为图像编号，第一幅图像i＝1；
步骤c8、计算n幅二值图像I2(x,y)中的气孔数量的总数
Figure BDA0002929444950000133
根据每幅图像光学显微镜的视野面积SFOV，单位：mm2，计算气孔密度RSD，计算方法为：
Figure BDA0002929444950000141
步骤c9、计算每幅二值图像I2(x,y)中每个气孔保卫细胞的面积Ci，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I2(x,y)中气孔保卫细胞平均大小SC，计算方法为：
Figure BDA0002929444950000142
图7的中每个气孔保卫细胞的面积如图9所示；
步骤c10、计算每幅二值图像I1(x,y)中每个气孔孔隙的面积Pi，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I1(x,y)中气孔保卫细胞平均大小SP，计算方法为：
Figure BDA0002929444950000143
图8的中每个气孔保卫细胞的面积如图10所示。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.基于深度学习的植物叶片显微图像气孔分割方法，其特征在于，包括以下步骤：
步骤a、获取气孔样本数据集；
步骤b、构建并训练基于深度学习的植物叶片显微图像气孔分割模型；
步骤c、计算植物叶片气孔特征参数，具体步骤如下：
步骤c1、气孔分割模型输出待测植物叶片显微图像的预测结果图像IP(x,y)，IP(x,y)中的每个像素位置的取值包含三个值，分别代表：气孔孔隙像素、保卫细胞像素和背景像素；
步骤c2、将预测结果进行二值化，得到两幅二值图像，一幅由背景像素和气孔孔隙像素组成，表示为I1(x,y)；另一幅由背景像素和保卫细胞像素组成，表示为I2(x,y)；
步骤c3、采用形态学开和闭操作去除图像I2(x,y)中面积小于S的区域；S的取值根据植物叶片显微图像中气孔的大小进行选择；
步骤c4、采用形态学二值图像连通区域搜索方法计算图像I2(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
步骤c5、采用形态学二值图像连通区域搜索方法计算图像I1(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
步骤c6、统计图像I2(x,y)中矩形的个数，即为该图像上气孔的数量Ni，其中i为图像编号，第一幅图像i＝1；
步骤c7、统计图像I1(x,y)中矩形的个数，即为该图像上开放气孔的数量Mi，其中i为图像编号，第一幅图像i＝1；
步骤c8、计算n幅二值图像I2(x,y)中的气孔数量的总数
Figure FDA0003700110680000011
根据每幅图像光学显微镜的视野面积SFOV，单位：mm2，计算气孔密度RSD，计算方法为：
Figure FDA0003700110680000012
步骤c9、计算每幅二值图像I2(x,y)中每个气孔保卫细胞的面积Ci，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I2(x,y)中气孔保卫细胞平均大小SC，计算方法为：
Figure FDA0003700110680000013
步骤c10、计算每幅二值图像I1(x,y)中每个气孔孔隙的面积Pi，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I1(x,y)中气孔保卫细胞平均大小SP，计算方法为：
Figure FDA0003700110680000021
2.根据权利要求1所述的基于深度学习的植物叶片显微图像气孔分割方法，其特征在于，步骤a的具体步骤如下：
步骤a1、将待测量植物叶片置于光学显微镜载物台上，调节显微镜焦距和放大倍数，获取该焦距下的叶片显微图像；
步骤a2、在500或1000放大倍数下，采用显微镜自带的深度合成功能，对多张不同焦距的图像进行融合，得到一幅清晰的叶片显微图像；
步骤a3、利用人工标注方式对气孔和保卫细胞进行像素级标注，获得气孔样本数据集。
3.根据权利要求1所述的基于深度学习的植物叶片显微图像气孔分割方法，其特征在于，步骤b的具体步骤如下：
步骤b1、将气孔样本数据集按照比例A1:A2:A3划分为训练集D1、验证集D2和测试集D3；
步骤b2、基于深度学习的语义分割网络，构建植物叶片显微图像气孔分割模型；所述语义分割网络为DeepLab V3+算法；DeepLab V3+算法中特征提取网络采用Resnet50网络；
步骤b3、对训练集D1进行数据增强处理，所述数据增强处理包括随机旋转和翻转；
步骤b4、采用步骤b3得到的增强结果对气孔分割模型进行训练，计算每次迭代的网络模型的损失函数值，得到训练后的网络模型；所述损失函数采用基于Tversky指数的广义损失函数Tversky loss；
步骤b5、利用验证集D2对训练后的网络模型进行验证，并根据步骤b3得到的增强结果和步骤b4得到的损失函数值调整气孔分割模型超参数；
步骤b6、依次迭代，直到损失函数值收敛，即损失函数值最小且不再变化，保存当前模型作为最终模型。
4.根据权利要求3所述的基于深度学习的植物叶片显微图像气孔分割方法，其特征在于，A1:A2:A3＝3:1:1。
5.植物叶片气孔特征参数计算方法，其特征在于，包括以下步骤：
步骤c1、气孔分割模型输出待测植物叶片显微图像的预测结果图像IP(x,y)，IP(x,y)中的每个像素位置的取值包含三个值，分别代表：气孔孔隙像素、保卫细胞像素和背景像素；
步骤c2、将预测结果进行二值化，得到两幅二值图像，一幅由背景像素和气孔孔隙像素组成，表示为I1(x,y)；另一幅由背景像素和保卫细胞像素组成，表示为I2(x,y)；
步骤c3、采用形态学开和闭操作去除图像I2(x,y)中面积小于S的区域；S的取值根据植物叶片显微图像中气孔的大小进行选择；
步骤c4、采用形态学二值图像连通区域搜索方法计算图像I2(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
步骤c5、采用形态学二值图像连通区域搜索方法计算图像I1(x,y)中所有闭合连通区域，并计算每一个闭合连通区域的最小外接矩形；
步骤c6、统计图像I2(x,y)中矩形的个数，即为该图像上气孔的数量Ni，其中i为图像编号，第一幅图像i＝1；
步骤c7、统计图像I1(x,y)中矩形的个数，即为该图像上开放气孔的数量Mi，其中i为图像编号，第一幅图像i＝1；
步骤c8、计算n幅二值图像I2(x,y)中的气孔数量的总数
Figure FDA0003700110680000031
根据每幅图像光学显微镜的视野面积SFOV，单位：mm2，计算气孔密度RSD，计算方法为：
Figure FDA0003700110680000032
步骤c9、计算每幅二值图像I2(x,y)中每个气孔保卫细胞的面积Ci，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I2(x,y)中气孔保卫细胞平均大小SC，计算方法为：
Figure FDA0003700110680000033
步骤c10、计算每幅二值图像I1(x,y)中每个气孔孔隙的面积Pi，单位：像素；根据光学显微镜视野内图像像素面积R，单位：um2/像素，求得n幅二值图像I1(x,y)中气孔保卫细胞平均大小SP，计算方法为：
Figure FDA0003700110680000041
CN202110142547.5A 2021-02-02 2021-02-02 基于深度学习的植物叶片显微图像气孔分割方法 Active CN112861693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110142547.5A CN112861693B (zh) 2021-02-02 2021-02-02 基于深度学习的植物叶片显微图像气孔分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110142547.5A CN112861693B (zh) 2021-02-02 2021-02-02 基于深度学习的植物叶片显微图像气孔分割方法

Publications (2)

Publication Number Publication Date
CN112861693A CN112861693A (zh) 2021-05-28
CN112861693B true CN112861693B (zh) 2022-08-30

Family

ID=75986234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110142547.5A Active CN112861693B (zh) 2021-02-02 2021-02-02 基于深度学习的植物叶片显微图像气孔分割方法

Country Status (1)

Country Link
CN (1) CN112861693B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506263A (zh) * 2021-07-07 2021-10-15 东北林业大学 基于卷积神经网络的植物叶片气孔孔隙解剖参数测量方法
CN118334366A (zh) * 2024-04-15 2024-07-12 东北农业大学 一种基于改进U-net网络的生菜叶片气孔特征提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392225A (zh) * 2017-06-12 2017-11-24 天津科技大学 基于椭圆傅立叶描述符和加权稀疏表示的植物识别方法
CN109635653A (zh) * 2018-11-09 2019-04-16 华南农业大学 一种植物识别方法
CN111563902A (zh) * 2020-04-23 2020-08-21 华南理工大学 一种基于三维卷积神经网络的肺叶分割方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2016129489A (ru) * 2013-12-20 2018-01-25 Кэн Текнолоджиз, Инк. Калибровка количественного показателя размера частиц
EP3622436B1 (en) * 2017-05-09 2024-07-17 Blue River Technology Inc. Automatic camera parameter adjustment on a plant treatment system
CN109829900A (zh) * 2019-01-18 2019-05-31 创新奇智(北京)科技有限公司 一种基于深度学习的钢卷端面缺陷检测方法
CN110345886A (zh) * 2019-07-30 2019-10-18 中国海洋大学 一种植物胚表面积测量装置及方法
CN110910400A (zh) * 2019-10-29 2020-03-24 北京三快在线科技有限公司 图像处理方法、装置、存储介质及电子设备
CN111860459B (zh) * 2020-08-05 2024-02-20 武汉理工大学 一种基于显微图像的禾本科植物叶片气孔指数测量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392225A (zh) * 2017-06-12 2017-11-24 天津科技大学 基于椭圆傅立叶描述符和加权稀疏表示的植物识别方法
CN109635653A (zh) * 2018-11-09 2019-04-16 华南农业大学 一种植物识别方法
CN111563902A (zh) * 2020-04-23 2020-08-21 华南理工大学 一种基于三维卷积神经网络的肺叶分割方法及系统

Also Published As

Publication number Publication date
CN112861693A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
US11669971B2 (en) Colony contrast gathering
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN109190567A (zh) 基于深度卷积神经网络的异常宫颈细胞自动检测方法
CN112861693B (zh) 基于深度学习的植物叶片显微图像气孔分割方法
CN111860459B (zh) 一种基于显微图像的禾本科植物叶片气孔指数测量方法
CN111860533A (zh) 图像的识别方法及装置、存储介质和电子装置
CN111540006B (zh) 基于深度迁移学习的植物气孔智能检测与识别方法及系统
CN106340016B (zh) 一种基于细胞显微镜图像的dna定量分析方法
CN110569747A (zh) 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法
Li et al. Automatic segmentation and measurement methods of living stomata of plants based on the CV model
CN105631903A (zh) 基于rgbw特征空间图割算法的遥感图像水体提取方法、装置
CN108052886A (zh) 一种小麦条锈病菌夏孢子自动统计计数方法
CN112949517B (zh) 基于深度迁移学习的植物气孔密度和开度识别方法及系统
Ma et al. A novel two-stage deep method for mitosis detection in breast cancer histology images
CN115294377A (zh) 一种道路裂缝的识别系统及方法
CN113129281A (zh) 一种基于深度学习的小麦茎秆截面参数检测方法
US12039795B2 (en) System and method for monitoring bacterial growth of bacterial colonies and predicting colony biomass
CN109191467A (zh) 一种细胞自噬表型的预测方法及装置
Saxena et al. Study of Computerized Segmentation & Classification Techniques: An Application to Histopathological Imagery
CN104933723A (zh) 基于稀疏表示的舌图像分割方法
US20220301139A1 (en) Visual Model for Image Analysis of Material Characterization and Analysis Method Thereof
CN114419359A (zh) 一种基于atp酶染色的肌纤维细胞图像分类识别方法及系统
Khamael et al. Using adapted JSEG algorithm with fuzzy C mean for segmentation and counting of white blood cell and nucleus images
CN115861308B (zh) 一种元宝枫病害检测方法
CN116452526A (zh) 一种基于图像检测的稻种识别和计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant