CN111860459B - 一种基于显微图像的禾本科植物叶片气孔指数测量方法 - Google Patents
一种基于显微图像的禾本科植物叶片气孔指数测量方法 Download PDFInfo
- Publication number
- CN111860459B CN111860459B CN202010776498.6A CN202010776498A CN111860459B CN 111860459 B CN111860459 B CN 111860459B CN 202010776498 A CN202010776498 A CN 202010776498A CN 111860459 B CN111860459 B CN 111860459B
- Authority
- CN
- China
- Prior art keywords
- image
- cell network
- sample set
- microscopic image
- gramineous plant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011148 porous material Substances 0.000 title claims abstract description 36
- 238000000691 measurement method Methods 0.000 title claims abstract description 7
- 241000209504 Poaceae Species 0.000 title claims description 7
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000013135 deep learning Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 230000000877 morphologic effect Effects 0.000 claims abstract description 4
- 210000004027 cell Anatomy 0.000 claims description 87
- 241000196324 Embryophyta Species 0.000 claims description 59
- 238000012360 testing method Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 15
- 210000002615 epidermis Anatomy 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 210000002421 cell wall Anatomy 0.000 claims description 10
- 239000002390 adhesive tape Substances 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000012946 outsourcing Methods 0.000 claims description 6
- 229920003023 plastic Polymers 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 230000002745 absorbent Effects 0.000 claims description 3
- 239000002250 absorbent Substances 0.000 claims description 3
- 239000000853 adhesive Substances 0.000 claims description 3
- 230000001070 adhesive effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000001035 drying Methods 0.000 claims description 3
- 239000012535 impurity Substances 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000005406 washing Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 6
- 239000002699 waste material Substances 0.000 abstract description 3
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 238000005260 corrosion Methods 0.000 abstract 1
- 230000007797 corrosion Effects 0.000 abstract 1
- 241000209140 Triticum Species 0.000 description 29
- 235000021307 Triticum Nutrition 0.000 description 29
- 230000008569 process Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000029553 photosynthesis Effects 0.000 description 2
- 238000010672 photosynthesis Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 230000005068 transpiration Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 101150083127 brox gene Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及计算机视觉和深度学习技术领域，提供一种基于显微图像的禾本科植物叶片气孔指数测量方法，包括：步骤1：采集待测量禾本科植物叶片的显微图像；步骤2：基于深度学习目标检测算法，构建并训练气孔识别模型；步骤3：基于深度学习语义分割算法，构建并训练细胞网络预测模型；步骤4：利用气孔识别模型，得到气孔总数；利用细胞网络预测模型，得到细胞网络预测图像；对细胞网络预测图像依次进行自适应阈值二值化处理、骨架提取、先腐蚀再膨胀的形态学操作、连通域计数、过滤连通域，得到细胞数目；计算气孔指数。本发明能够提高气孔指数测量的精度与效率，有效解决现有技术中存在的费时费力、主观性导致对气孔和细胞误判的技术问题。
Description
技术领域
本发明涉及计算机视觉和深度学习技术领域，特别是涉及一种基于显微图像的禾本科植物叶片气孔指数测量方法。
背景技术
植物的气孔是蒸腾过程中水蒸气从体内排到体外的主要出口，也是光合作用和呼吸作用与外界气体交换的通道，从而影响着蒸腾、光合、呼吸等作用过程，所以气孔指数的测量对于研究植物的生长具有一定的实践意义。
气孔指数是指单位面积内气孔数量占表皮细胞和气孔总数的比例，要得到气孔指数需要计算出气孔数量和细胞数量，但是目前大部分研究还是处于人工计数阶段，虽然有较高准确率，但是具有主观因素，由于观察者专业水平的不一致，有可能对气孔和细胞误判，还比较费时费力。
发明内容
针对现有技术存在的问题，本发明提供一种基于显微图像的禾本科植物叶片气孔指数测量方法，能够提高气孔指数测量的精度与效率，有效解决现有人工计数方法中存在的费时费力、主观性导致对气孔和细胞误判的技术问题。
本发明的技术方案为：
一种基于显微图像的禾本科植物叶片气孔指数测量方法，其特征在于，包括下述步骤：
步骤1：采集待测量禾本科植物叶片的显微图像
步骤2：构建并训练气孔识别模型
以禾本科植物叶片的显微图像为输入、显微图像中所有气孔的位置与尺寸信息为输出，基于深度学习目标检测算法，构建并训练气孔识别模型；所述气孔的位置与尺寸信息包括气孔的最小外包矩形的左上角坐标(x,y)、长w、宽h；
步骤3：构建并训练细胞网络预测模型
以禾本科植物叶片的数据增强后的显微图像为输入、禾本科植物叶片表皮的细胞网络图像为输出，基于深度学习语义分割算法，构建并训练细胞网络预测模型；所述数据增强后的显微图像为对归一化处理后的显微图像进行数据增强处理得到的图像，所述数据增强处理包括随机旋转、裁剪、翻转操作；
步骤4：计算禾本科植物叶片气孔指数
步骤4.1：将待测量禾本科植物叶片的显微图像输入训练后的气孔识别模型中，输出待测量禾本科植物叶片的显微图像中所有气孔的位置与尺寸信息，并对识别出的气孔进行计数，得到待测量禾本科植物叶片的显微图像中气孔的总数Nstoma；
步骤4.2：对待测量禾本科植物叶片的显微图像进行归一化处理后，将待测量禾本科植物叶片的归一化处理后的显微图像输入训练后的细胞网络预测模型中，得到待测量禾本科植物叶片表皮的细胞网络预测图像；
步骤4.3：利用灰度直方图原理对细胞网络预测图像进行自适应阈值二值化处理，得到待测量禾本科植物叶片的二值图像；
步骤4.4：对二值图像进行骨架提取得到细胞壁的初始骨架图像，通过对初始骨架图像进行先腐蚀再膨胀的形态学操作将细胞壁的边缘断开处连接起来，得到连接后的细胞网络图像；
步骤4.5：对连接后的细胞网络图像进行连通域计数，得到连通域个数；
步骤4.6：过滤掉连接后的细胞网络图像中像素个数小于所在图像所有连通域平均像素数量1/4的连通域，剩下的连通域用矩形框标记，得到矩形框的个数即为细胞数目Ncell；
步骤4.7：计算待测量禾本科植物叶片的气孔指数为
所述步骤1包括下述步骤：
步骤1.1：用剪刀剪下成熟的禾本科植物叶片，对禾本科植物叶片用清水冲洗并用吸水纸干燥；
步骤1.2：将透明塑料胶带胶面朝上平放，将禾本科植物叶片的近端或远端粘在透明塑料胶带上；
步骤1.3：裁剪禾本科植物叶片以制作玻片标本；
步骤1.4：调节显微镜配合照相机对玻片标本中的禾本科植物叶片表皮进行拍照，得到禾本科植物叶片的显微图像。
所述步骤2包括下述步骤：
步骤2.1：获取样本集
按照与步骤1中相同的方法，获取多张显微图像，构成显微图像集A0；对每张显微图像中每个气孔标注最小外包矩形并获取每个气孔的位置与尺寸信息；以每张显微图像、每张显微图像中所有气孔的位置与尺寸信息为一个样本，构建样本集A；
步骤2.2：划分样本集
将样本集A中的样本按照a1:a2:a3的比例分为训练样本集A1、验证样本集A2、测试样本集A3；
步骤2.3：构建气孔识别模型
以禾本科植物叶片的显微图像为输入、显微图像中所有气孔的位置与尺寸信息为输出，基于深度学习目标检测算法，构建气孔识别模型；
步骤2.4：训练气孔识别模型
利用训练样本集A1对气孔识别模型进行训练，得到训练后的气孔识别模型。
所述步骤2.4中，
还利用验证样本集A2对训练后的气孔识别模型进行验证，并根据训练样本集A1和验证样本集A2的损失函数调整气孔识别模型的超参数和训练样本集A1的比例大小；
还利用测试样本集A3对训练后的气孔识别模型进行测试，计算精确率、召回率、mAP指数，输出mAP指数最高的气孔识别模型。
所述步骤2中，所述深度学习目标检测算法为Faster R-CNN算法。
所述步骤3包括下述步骤：
步骤3.1：获取样本集
步骤3.1.1：从显微图像集A0中选取a％的图像构成显微图像子集A0'，对显微图像子集A0'中的显微图像采用高斯滤波器进行降噪处理，再进行二值化处理得到初步的细胞网络图像；
步骤3.1.2：使用PS或者画图工具对初步的细胞网络图像进行去杂质和去毛节处理，将得到的只留下气孔和细胞壁的图像作为细胞网络的ground truth图像；
步骤3.1.3：对显微图像子集A0'中的显微图像进行最大最小值归一化处理，得到归一化处理后的显微图像；
步骤3.1.4：对归一化处理后的显微图像和ground truth图像同时进行参数共享的数据增强处理得到数据增强后的显微图像和ground truth图像，以每张数据增强后的显微图像及对应的数据增强后的ground truth图像为一个样本，构建样本集B；
步骤3.2：划分样本集
将样本集B中的样本按照b1:b2的比例分为训练样本集B1、测试样本集B2；
步骤3.3：构建细胞网络预测模型
以禾本科植物叶片的数据增强后的显微图像为输入、禾本科植物叶片表皮的细胞网络图像为输出，基于深度学习语义分割算法，构建细胞网络预测模型；
步骤3.4：训练细胞网络预测模型
利用训练样本集B1对细胞网络预测模型进行训练，得到训练后的细胞网络预测模型。
所述步骤3.4中，
还根据训练样本集B1的损失函数调整细胞网络预测模型的超参数和训练样本集B1的比例大小，直至损失函数收敛；
还利用测试样本集B2对训练后的细胞网络预测模型进行测试，计算测试样本集B2的细胞网络预测图像和ground truth图像之间的平均交并比，输出平均交并比最高的细胞网络预测模型。
所述步骤3中，所述深度学习语义分割算法为U-Net算法。
本发明的有益效果为：
(1)本发明使用深度学习技术结合数字图像处理技术来处理和分析禾本科植物叶片的显微图像，对禾本科植物叶片气孔指数进行测量，实现了高通量表型的测量，可用于不同环境下的禾本科植物叶片气孔指数特性的表型研究和禾本科植物生长模型的研究。
(2)本发明基于深度学习目标检测算法构建并训练了气孔识别模型，实现了气孔的自动识别，基于深度学习语义分割算法构建并训练了细胞网络预测模型，实现了细胞网络的自动预测，结合气孔识别模型与细胞网络预测模型，实现了禾本科植物叶片气孔指数的自动测量，提高了气孔识别与细胞网络预测的精度与效率，进而提高了气孔指数测量的精度与效率，有效解决了现有人工计数方法中存在的费时费力、主观性导致对气孔和细胞误判的技术问题，而且不受研究物种的限制，可以将本发明应用到其它相关物种。
附图说明
图1为具体实施方式中本发明的基于显微图像的禾本科植物叶片气孔指数测量方法的流程图。
图2为具体实施方式中获取的小麦叶片的显微图像。
图3为具体实施方式中小麦叶片显微图像的气孔标注示意图。
图4为具体实施方式中获取的细胞网络的ground truth图像。
图5为具体实施方式中气孔识别模型的识别结果示意图。
图6为具体实施方式中细胞网络预测模型输出的细胞网络预测图像。
图7为具体实施方式中得到的细胞网络标记图像。
具体实施方式
下面将结合附图和具体实施方式，对本发明作进一步描述。
如图1所示，为本实施例中本发明的基于显微图像的禾本科植物叶片气孔指数测量方法的流程图。本实施例中，利用本发明的方法对禾本科植物中小麦的叶片气孔指数进行测量，具体包括下述步骤：
步骤1：采集待测量小麦叶片的显微图像
步骤1.1：用剪刀剪下成熟的小麦叶片，对小麦叶片用清水冲洗并用吸水纸干燥，摆放整齐后备用；
步骤1.2：将透明塑料胶带胶面朝上平放，将小麦叶片的近端或远端粘在透明塑料胶带上，再用刀片刮几下；
步骤1.3：裁剪小麦叶片以制作玻片标本；
步骤1.4：调节显微镜配合照相机对玻片标本中的小麦叶片表皮目标区域进行拍照采样，得到如图2所示的小麦叶片的显微图像。
步骤2：构建并训练气孔识别模型
以小麦叶片的显微图像为输入、显微图像中所有气孔的位置与尺寸信息为输出，基于深度学习目标检测算法，构建并训练气孔识别模型；所述气孔的位置与尺寸信息包括气孔的最小外包矩形的左上角坐标(x,y)、长w、宽h。
本实施例中，深度学习目标检测算法为Faster R-CNN算法(参见论文：Ren S,HeK,Girshick R,et al.Faster R-CNN:towards real-time object detection withregion propo sal networks[C].neural information processing systems,2015:91-99.)，步骤2包括下述步骤：
步骤2.1：获取样本集
按照与步骤1中相同的方法，获取多张显微图像，构成显微图像集A0。
如图3所示，对每张显微图像中每个气孔标注最小外包矩形，并获取每个气孔的位置与尺寸信息。
以每张显微图像、每张显微图像中所有气孔的位置与尺寸信息为一个样本，构建样本集A。
步骤2.2：划分样本集
将样本集A中的样本按照a1:a2:a3＝6:2:2的比例分为训练样本集A1、验证样本集A2、测试样本集A3。
步骤2.3：构建气孔识别模型
以小麦叶片的显微图像为输入、显微图像中所有气孔的位置与尺寸信息为输出，基于深度学习目标检测算法，构建气孔识别模型。
步骤2.4：训练气孔识别模型
利用训练样本集A1对气孔识别模型利用批量梯度下降算法进行训练，得到训练后的气孔识别模型。
步骤2.4中，还利用验证样本集A2对训练后的气孔识别模型进行验证，并根据训练样本集A1和验证样本集A2的损失函数调整气孔识别模型的超参数和训练样本集A1的比例大小，以加强模型使其更加具有泛化能力。
损失函数为
其中，N为批量梯度下降算法中训练样本集被分成的组数，i为一组中的样本数，pi为检测到是气孔的概率，表示Ground truth；ti＝{tx,ty,tw,th}是一个向量，表示anchor，/>是与ti相同维度的向量，表示预测值相对于Groundtruth(真值)的实际偏移量；/>为两个类别即气孔与非气孔的二分类交叉熵损失， 为边界框Bounding box的回归损失，R()为smooth L1函数即/>σ＝3。
还利用测试样本集A3对训练后的气孔识别模型进行测试，计算精确率、召回率、mAP指数，输出mAP指数最高的气孔识别模型。
测试样本集A3的准确率(precision)
测试样本集A3的召回率(recall)
其中，TP:True Positive，即正类预测为正类；FN:False Negative，即把正类预测为负类；FP:False Positive，即把负类预测成正类；TN:True Negative，把负类预测为负类。
步骤3：构建并训练细胞网络预测模型
以小麦叶片的数据增强后的显微图像为输入、小麦叶片表皮的细胞网络图像为输出，基于深度学习语义分割算法，构建并训练细胞网络预测模型；所述数据增强后的显微图像为对归一化处理后的显微图像进行数据增强处理得到的图像，所述数据增强处理包括随机旋转、裁剪、翻转操作。
本实施例中，深度学习语义分割算法为U-Net算法(参加论文：Ronneberger O,Fischer P,Brox T,et al.U-Net:Convolutional Networks for Biomedical Image Segmentation[C].medical image computing and computer assisted intervention,2015:234-241.)。利用全卷积语义分割神经网络通过采集的样本集和人工标注进行训练，训练后的网络可以预测小麦细胞壁网络，计算连通域个数得到目标区域细胞数量。
步骤3包括下述步骤：
步骤3.1：获取样本集
步骤3.1.1：从显微图像集A0中选取a％的图像构成显微图像子集A0'，对显微图像子集A0'中的显微图像采用高斯滤波器进行降噪处理，再进行二值化处理得到初步的细胞网络图像。
其中，高斯滤波器被广泛应用于图像处理的降噪过程，将图像中的像素点用本身和领域内的其他像素值加权平均后替换，对于抑制服从正态分布的噪声非常有效。高斯滤波器中采用二维高斯函数σ为高斯函数的方差，实际使用中需要人为设置，高斯函数的宽度由σ决定。二值化处理中采用二值化函数/>T为阈值。
步骤3.1.2：使用PS或者画图工具对初步的细胞网络图像进行去杂质和去毛节处理，将得到的如图4所示的只留下气孔和细胞壁的图像作为细胞网络的ground truth图像。
步骤3.1.3：对显微图像子集A0'中的显微图像进行最大最小值归一化处理，即，使像素值归一化到[0,1]，得到归一化处理后的显微图像。
步骤3.1.4：对归一化处理后的显微图像和ground truth图像同时进行参数共享的数据增强处理得到数据增强后的显微图像和ground truth图像，以每张数据增强后的显微图像及对应的数据增强后的ground truth图像为一个样本，构建样本集B。
步骤3.2：划分样本集
将样本集B中的样本按照b1:b2＝8:2的比例分为训练样本集B1、测试样本集B2。
步骤3.3：构建细胞网络预测模型
以小麦叶片的数据增强后的显微图像为输入、小麦叶片表皮的细胞网络图像为输出，基于深度学习语义分割算法，构建细胞网络预测模型。
步骤3.4：训练细胞网络预测模型
利用训练样本集B1对细胞网络预测模型进行训练，得到训练后的细胞网络预测模型。
其中，在细胞网络预测模型的训练过程中，U-net语义分割网络通过下采样对训练样本集B1中的数据增强后的显微图像进行特征提取，然后将每层的特征图与经过上采样的对应特征图进行特征拼接，得到细胞网络预测图像，再将细胞网络预测图像和groundtruth图像中的每个像素一一对应计算损失函数，进行反向传播，做像素级别分类。
步骤3.4中，还根据训练样本集B1的损失函数判断细胞网络预测模型的泛化性，调整细胞网络预测模型的超参数和训练样本集B1的比例大小，直至损失函数收敛。
损失函数为
其中，X为像素点，pl(X)为像素点X在类别l上的概率值，ω(X)为像素点X的权重。
还利用测试样本集B2对训练后的细胞网络预测模型进行测试，计算测试样本集B2的细胞网络预测图像和ground truth图像之间的平均交并比MloU，输出平均交并比最高的细胞网络预测模型。平均交并比MloU为
其中，k+1为类别数(包括一个背景)；pij表示本属于类i但被预测为类j的像素数量，pii表示真正(TP)的像素数量，pij、pji分别为假正(FP)、假负(FN)的数量。
步骤4：计算小麦叶片气孔指数
步骤4.1：将待测量小麦叶片的显微图像输入训练后的气孔识别模型中，结果如图5所示，输出待测量小麦叶片的显微图像中所有气孔的位置与尺寸信息，并对识别出的气孔进行计数，得到待测量小麦叶片的显微图像中气孔的总数Nstoma。
步骤4.2：对待测量小麦叶片的显微图像进行归一化处理后，将待测量小麦叶片的归一化处理后的显微图像输入训练后的细胞网络预测模型中，得到如图6所示的待测量小麦叶片表皮的细胞网络预测图像。
步骤4.3：利用灰度直方图原理对细胞网络预测图像进行自适应阈值二值化处理，得到待测量小麦叶片的二值图像：
步骤4.4：对二值图像进行骨架提取得到细胞壁的初始骨架图像，通过对初始骨架图像进行先腐蚀再膨胀的形态学操作将细胞壁的边缘断开处连接起来，得到连接后的细胞网络图像。
步骤4.5：对连接后的细胞网络图像进行连通域计数，使用不同颜色对不同连通域进行标记，得到连通域个数。
步骤4.6：过滤掉连接后的细胞网络图像中像素个数小于所在图像所有连通域平均像素数量1/4的连通域，如图7所示，剩下的连通域用红色矩形框标记，得到矩形框的个数即为细胞数目Ncell。
步骤4.7：计算待测量小麦叶片的气孔指数为
显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。
Claims (8)
1.一种基于显微图像的禾本科植物叶片气孔指数测量方法，其特征在于，包括下述步骤：
步骤1：采集待测量禾本科植物叶片的显微图像
步骤2：构建并训练气孔识别模型
以禾本科植物叶片的显微图像为输入、显微图像中所有气孔的位置与尺寸信息为输出，基于深度学习目标检测算法，构建并训练气孔识别模型；所述气孔的位置与尺寸信息包括气孔的最小外包矩形的左上角坐标(x,y)、长w、宽h；
步骤3：构建并训练细胞网络预测模型
以禾本科植物叶片的数据增强后的显微图像为输入、禾本科植物叶片表皮的细胞网络图像为输出，基于深度学习语义分割算法，构建并训练细胞网络预测模型；所述数据增强后的显微图像为对归一化处理后的显微图像进行数据增强处理得到的图像，所述数据增强处理包括随机旋转、裁剪、翻转操作；
步骤4：计算禾本科植物叶片气孔指数
步骤4.1：将待测量禾本科植物叶片的显微图像输入训练后的气孔识别模型中，输出待测量禾本科植物叶片的显微图像中所有气孔的位置与尺寸信息，并对识别出的气孔进行计数，得到待测量禾本科植物叶片的显微图像中气孔的总数Nstoma；
步骤4.2：对待测量禾本科植物叶片的显微图像进行归一化处理后，将待测量禾本科植物叶片的归一化处理后的显微图像输入训练后的细胞网络预测模型中，得到待测量禾本科植物叶片表皮的细胞网络预测图像；
步骤4.3：利用灰度直方图原理对细胞网络预测图像进行自适应阈值二值化处理，得到待测量禾本科植物叶片的二值图像；
步骤4.4：对二值图像进行骨架提取得到细胞壁的初始骨架图像，通过对初始骨架图像进行先腐蚀再膨胀的形态学操作将细胞壁的边缘断开处连接起来，得到连接后的细胞网络图像；
步骤4.5：对连接后的细胞网络图像进行连通域计数，得到连通域个数；
步骤4.6：过滤掉连接后的细胞网络图像中像素个数小于所在图像所有连通域平均像素数量1/4的连通域，剩下的连通域用矩形框标记，得到矩形框的个数即为细胞数目Ncell；
步骤4.7：计算待测量禾本科植物叶片的气孔指数为
2.根据权利要求1所述的基于显微图像的禾本科植物叶片气孔指数测量方法，其特征在于，所述步骤1包括下述步骤：
步骤1.1：用剪刀剪下成熟的禾本科植物叶片，对禾本科植物叶片用清水冲洗并用吸水纸干燥；
步骤1.2：将透明塑料胶带胶面朝上平放，将禾本科植物叶片的近端或远端粘在透明塑料胶带上；
步骤1.3：裁剪禾本科植物叶片以制作玻片标本；
步骤1.4：调节显微镜配合照相机对玻片标本中的禾本科植物叶片表皮进行拍照，得到禾本科植物叶片的显微图像。
3.根据权利要求1所述的基于显微图像的禾本科植物叶片气孔指数测量方法，其特征在于，所述步骤2包括下述步骤：
步骤2.1：获取样本集
按照与步骤1中相同的方法，获取多张显微图像，构成显微图像集A0；对每张显微图像中每个气孔标注最小外包矩形并获取每个气孔的位置与尺寸信息；以每张显微图像、每张显微图像中所有气孔的位置与尺寸信息为一个样本，构建样本集A；
步骤2.2：划分样本集
将样本集A中的样本按照a1:a2:a3的比例分为训练样本集A1、验证样本集A2、测试样本集A3；
步骤2.3：构建气孔识别模型
以禾本科植物叶片的显微图像为输入、显微图像中所有气孔的位置与尺寸信息为输出，基于深度学习目标检测算法，构建气孔识别模型；
步骤2.4：训练气孔识别模型
利用训练样本集A1对气孔识别模型进行训练，得到训练后的气孔识别模型。
4.根据权利要求3所述的基于显微图像的禾本科植物叶片气孔指数测量方法，其特征在于，所述步骤2.4中，
还利用验证样本集A2对训练后的气孔识别模型进行验证，并根据训练样本集A1和验证样本集A2的损失函数调整气孔识别模型的超参数和训练样本集A1的比例大小；
还利用测试样本集A3对训练后的气孔识别模型进行测试，计算精确率、召回率、mAP指数，输出mAP指数最高的气孔识别模型。
5.根据权利要求1所述的基于显微图像的禾本科植物叶片气孔指数测量方法，其特征在于，所述步骤2中，所述深度学习目标检测算法为Faster R-CNN算法。
6.根据权利要求3所述的基于显微图像的禾本科植物叶片气孔指数测量方法，其特征在于，所述步骤3包括下述步骤：
步骤3.1：获取样本集
步骤3.1.1：从显微图像集A0中选取a％的图像构成显微图像子集A0'，对显微图像子集A0'中的显微图像采用高斯滤波器进行降噪处理，再进行二值化处理得到初步的细胞网络图像；
步骤3.1.2：使用PS或者画图工具对初步的细胞网络图像进行去杂质和去毛节处理，将得到的只留下气孔和细胞壁的图像作为细胞网络的ground truth图像；
步骤3.1.3：对显微图像子集A0'中的显微图像进行最大最小值归一化处理，得到归一化处理后的显微图像；
步骤3.1.4：对归一化处理后的显微图像和ground truth图像同时进行参数共享的数据增强处理得到数据增强后的显微图像和ground truth图像，以每张数据增强后的显微图像及对应的数据增强后的ground truth图像为一个样本，构建样本集B；
步骤3.2：划分样本集
将样本集B中的样本按照b1:b2的比例分为训练样本集B1、测试样本集B2；
步骤3.3：构建细胞网络预测模型
以禾本科植物叶片的数据增强后的显微图像为输入、禾本科植物叶片表皮的细胞网络图像为输出，基于深度学习语义分割算法，构建细胞网络预测模型；
步骤3.4：训练细胞网络预测模型
利用训练样本集B1对细胞网络预测模型进行训练，得到训练后的细胞网络预测模型。
7.根据权利要求6所述的基于显微图像的禾本科植物叶片气孔指数测量方法，其特征在于，所述步骤3.4中，
还根据训练样本集B1的损失函数调整细胞网络预测模型的超参数和训练样本集B1的比例大小，直至损失函数收敛；
还利用测试样本集B2对训练后的细胞网络预测模型进行测试，计算测试样本集B2的细胞网络预测图像和ground truth图像之间的平均交并比，输出平均交并比最高的细胞网络预测模型。
8.根据权利要求1所述的基于显微图像的禾本科植物叶片气孔指数测量方法，其特征在于，所述步骤3中，所述深度学习语义分割算法为U-Net算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010776498.6A CN111860459B (zh) | 2020-08-05 | 2020-08-05 | 一种基于显微图像的禾本科植物叶片气孔指数测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010776498.6A CN111860459B (zh) | 2020-08-05 | 2020-08-05 | 一种基于显微图像的禾本科植物叶片气孔指数测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860459A CN111860459A (zh) | 2020-10-30 |
| CN111860459B true CN111860459B (zh) | 2024-02-20 |
Family
ID=72972322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010776498.6A Active CN111860459B (zh) | 2020-08-05 | 2020-08-05 | 一种基于显微图像的禾本科植物叶片气孔指数测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860459B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861693B (zh) * | 2021-02-02 | 2022-08-30 | 东北林业大学 | 基于深度学习的植物叶片显微图像气孔分割方法 |
| CN112950700B (zh) * | 2021-02-25 | 2022-10-04 | 安徽农业大学 | 基于深度学习和图像处理的植物叶片气孔导度测量方法 |
| CN112949517B (zh) * | 2021-03-09 | 2022-11-22 | 河南大学 | 基于深度迁移学习的植物气孔密度和开度识别方法及系统 |
| CN113283353B (zh) * | 2021-05-31 | 2022-04-01 | 创芯国际生物科技(广州)有限公司 | 一种基于显微图像的类器官细胞计数方法及系统 |
| CN114694143B (zh) * | 2022-06-01 | 2022-08-09 | 河北医科大学第一医院 | 基于光学手段的细胞图像识别方法及装置 |
| CN114973001B (zh) * | 2022-06-17 | 2023-02-03 | 东北林业大学 | 一种湿地植物生长信息监测方法 |
| CN116543385B (zh) * | 2023-07-05 | 2023-09-05 | 江西农业大学 | 一种水稻叶片细胞形态学智能检测方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761259A (zh) * | 2016-02-15 | 2016-07-13 | 江苏大学 | 一种基于显微图像的小麦叶片气孔密度测量方法 |
| CN106909906A (zh) * | 2017-03-03 | 2017-06-30 | 河南科技学院 | 一种基于显微图像的小麦叶片气孔密度测量方法 |
| CA2948499A1 (en) * | 2016-11-16 | 2018-05-16 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| CN110503647A (zh) * | 2019-08-30 | 2019-11-26 | 北京麦飞科技有限公司 | 基于深度学习图像分割的小麦植株实时计数方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10453189B2 (en) * | 2015-12-15 | 2019-10-22 | United Arab Emirates University | Process and device for direct measurements of plant stomata |
-
2020
- 2020-08-05 CN CN202010776498.6A patent/CN111860459B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761259A (zh) * | 2016-02-15 | 2016-07-13 | 江苏大学 | 一种基于显微图像的小麦叶片气孔密度测量方法 |
| CA2948499A1 (en) * | 2016-11-16 | 2018-05-16 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| CN106909906A (zh) * | 2017-03-03 | 2017-06-30 | 河南科技学院 | 一种基于显微图像的小麦叶片气孔密度测量方法 |
| CN110503647A (zh) * | 2019-08-30 | 2019-11-26 | 北京麦飞科技有限公司 | 基于深度学习图像分割的小麦植株实时计数方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860459A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860459B (zh) | 一种基于显微图像的禾本科植物叶片气孔指数测量方法 | |
| CN107133616B (zh) | 一种基于深度学习的无分割字符定位与识别方法 | |
| Jayakody et al. | Microscope image based fully automated stomata detection and pore measurement method for grapevines | |
| CN109101938B (zh) | 一种基于卷积神经网络的多标签年龄估计方法 | |
| CN106340016B (zh) | 一种基于细胞显微镜图像的dna定量分析方法 | |
| CN111079620B (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
| CN108109160A (zh) | 一种基于深度学习的免交互式GrabCut舌体分割方法 | |
| CN108596038B (zh) | 一种结合形态学分割和神经网络的粪便中红细胞识别方法 | |
| CN104636755A (zh) | 一种基于深度学习的人脸美丽评价方法 | |
| CN111369526B (zh) | 基于半监督深度学习的多类型旧桥裂痕识别方法 | |
| CN108052886A (zh) | 一种小麦条锈病菌夏孢子自动统计计数方法 | |
| CN108629369A (zh) | 一种基于Trimmed SSD的尿沉渣有形成分自动识别方法 | |
| CN112734741B (zh) | 一种肺炎ct影像的图像处理方法和系统 | |
| CN110705565A (zh) | 淋巴结肿瘤区域识别方法与装置 | |
| CN111914902B (zh) | 一种基于深度神经网络的中药识别与表面缺陷检测方法 | |
| CN112581450B (zh) | 基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法 | |
| CN112270681B (zh) | 一种黄板害虫深度检测与计数方法与系统 | |
| CN111968081A (zh) | 鱼群自动计数方法、装置、电子设备及存储介质 | |
| CN110021019A (zh) | 一种aga临床图像的ai辅助毛发的粗细分布分析方法 | |
| CN112183237A (zh) | 基于颜色空间自适应阈值分割的白细胞自动分类方法 | |
| CN114782948A (zh) | 一种对宫颈液基细胞学涂片的全局判读方法及系统 | |
| CN109614928B (zh) | 基于有限训练数据的熊猫脸部识别方法 | |
| KR20100116404A (ko) | 영상정보로부터 독립세포와 군집세포를 분류하는 방법 및 장치 | |
| CN113435460A (zh) | 一种亮晶颗粒灰岩图像的识别方法 | |
| Peng et al. | Fully convolutional neural networks for tissue histopathology image classification and segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |